原标题:技术手段助大模型成本“瘦身”
“降价的瘦身基本逻辑是,我们有信心用技术手段降低成本,技术市场也需要更低价的手段leyu手机版登录入口官网大模型。”5月15日,模型字节跳动豆包大模型在火山引擎原动力大会上发布,成本火山引擎总裁谭待在公布豆包大模型定价时如是瘦身说。
豆包大模型的技术超低价格引起业内关注。据悉,手段豆包主力模型的模型leyu手机版登录入口官网推理输入价格只有0.0008元/千Tokens(数据中的基本单元),比行业价格便宜99.3%。成本对此,瘦身谭待坦言:“降价是技术用技术优化成本来实现的。如果只是手段补贴,用亏损换收入是模型不可持续的,我们不会走这条路。成本”
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样的底层算力用得更好,推理成本就会大大降低。
谭待表示,豆包大模型平均每天处理1200亿Tokens文本、生成3000万张图片,不同任务有不同的负载,可以把它们混合在一起,通过智能调度提高它们的利用率,就能极大地提升资源利用率,实现整体成本的优化。
“大的使用量,才能打磨出好模型,大幅降低模型推理的单位成本。”谭待拿字节跳动内部业务举例,飞书的主要流量高峰在工作时间,抖音在下班后休闲时间的流量更高,这些不同业务的大模型推理,也能根据业务特点错峰使用,降低成本。
豆包大模型原名“云雀”,是国内首批通过算法备案的大模型之一。字节跳动基于豆包大模型打造了AI对话助手“豆包”、AI应用开发平台“扣子”、互动娱乐应用“猫箱”,以及星绘、即梦等AI创作工具,并把大模型接入抖音、番茄小说、飞书、巨量引擎等50余个业务,用以提升效率和优化产品体验。
大模型从以分计价到以厘计价,将助力企业以更低成本加速业务创新。“比如一个人现在要创业,如果要花1万元钱调用大模型,可能会觉得有点贵。我们把价格降到1%都不到,相当于花100元钱,就能把大模型用起来,相关想法也就更容易得到尝试。”谭待表示,企业的AI转型充满不确定性,试错成本要尽量低,才能更快更多地实现大模型的应用落地,从而让整个行业受益。
更多
相关信息
- 大小
-
1.1GB
- 时间
- 2024-05-19 6:24
- 分类
-
MAC应用
- 版本
- v1.264.82315
- 要求
-
Android 5.0 以上
查看权限要求
- 应用程序识别身体活动
- - 允许应用程序识别身体活动
- 程序写入外部存储
- - 允许程序写入外部存储
- 读取设备外部存储空间的文件
- - 程序可以读取设备外部存储空间的文件
- 访问电话状态
- - 允许程序访问电话状态
- 写入日程
- - 允许程序写入日程但不可读取
- 读取日历活动和机密信息
- - 允许程序读取用户的日程信息
- 直接拨打电话号码
- - 允许程序从非系统拨号器里输入电话号码
- 请求安装文件包
- - 允许程序请求安装文件包
- 使用指纹硬件
- - 允许程序使用指纹硬件
- 获取额外的位置信息提供程序命令
- - 允许程序访问额外的定位提供者指令
- 设置闹钟
- - 设置闹铃提醒
- 更改您的音频设置
- - 修改声音设置信息
- 精确位置(基于GPS和网络)
- - 通过GPS芯片接收卫星的定位信息,定位精度达10米以内
- 录音
- - 录制声音通过手机或耳机的麦克
- 停用屏幕锁定
- - 允许程序禁用键盘锁
- 大致位置(基于网络)
- - 通过WiFi或移动基站的方式获取用户错略的经纬度信息,定位精度大概误差在30~1500米
- 检索正在运行的应用
- - 允许程序获取当前或最近运行的应用
- 与蓝牙设备配对
- - 允许程序连接配对过的蓝牙设备
- 访问蓝牙设置
- - 允许程序进行发现和配对新的蓝牙设备
- 控制振动
- - 允许振动
- 拍摄照片和视频
- - 允许访问摄像头进行拍照
- 在其他应用之上显示内容
- - 显示系统窗口
- 查看WLAN连接
- - 获取当前WiFi接入的状态以及WLAN热点的信息
- 完全的网络访问权限
- - 访问网络连接,可能产生GPRS流量
- 更改网络连接性
- - 改变网络状态如是否能联网
- 控制闪光灯
- - 允许访问闪光灯
- 对正在运行的应用重新排序
- - 重新排序系统Z轴运行中的任务
- 连接WLAN网络和断开连接
- - 改变WiFi状态
- 修改系统设置
- - 允许读写系统设置项
- 查看网络连接
- - 获取网络信息状态,如当前的网络连接是否有效
- 防止手机休眠
- - 允许程序在手机屏幕关闭后后台进程仍然运行
隐私政策
- 开发者
-
leyu手机版登录入口官网
- 备案号
-
浙B2-8564-56444c
程序需要调用以下重要权限:
应用程序识别身体活动
- 允许应用程序识别身体活动
程序写入外部存储
- 允许程序写入外部存储
读取设备外部存储空间的文件
- 程序可以读取设备外部存储空间的文件
访问电话状态
- 允许程序访问电话状态
写入日程
- 允许程序写入日程但不可读取
读取日历活动和机密信息
- 允许程序读取用户的日程信息
直接拨打电话号码
- 允许程序从非系统拨号器里输入电话号码
请求安装文件包
- 允许程序请求安装文件包
使用指纹硬件
- 允许程序使用指纹硬件
获取额外的位置信息提供程序命令
- 允许程序访问额外的定位提供者指令
设置闹钟
- 设置闹铃提醒
更改您的音频设置
- 修改声音设置信息
精确位置(基于GPS和网络)
- 通过GPS芯片接收卫星的定位信息,定位精度达10米以内
录音
- 录制声音通过手机或耳机的麦克
停用屏幕锁定
- 允许程序禁用键盘锁
大致位置(基于网络)
- 通过WiFi或移动基站的方式获取用户错略的经纬度信息,定位精度大概误差在30~1500米
检索正在运行的应用
- 允许程序获取当前或最近运行的应用
与蓝牙设备配对
- 允许程序连接配对过的蓝牙设备
访问蓝牙设置
- 允许程序进行发现和配对新的蓝牙设备
控制振动
- 允许振动
拍摄照片和视频
- 允许访问摄像头进行拍照
在其他应用之上显示内容
- 显示系统窗口
查看WLAN连接
- 获取当前WiFi接入的状态以及WLAN热点的信息
完全的网络访问权限
- 访问网络连接,可能产生GPRS流量
更改网络连接性
- 改变网络状态如是否能联网
控制闪光灯
- 允许访问闪光灯
对正在运行的应用重新排序
- 重新排序系统Z轴运行中的任务
连接WLAN网络和断开连接
- 改变WiFi状态
修改系统设置
- 允许读写系统设置项
查看网络连接
- 获取网络信息状态,如当前的网络连接是否有效
防止手机休眠
- 允许程序在手机屏幕关闭后后台进程仍然运行
扫一扫安装
leyu手机版登录入口官网发现更多
网友评论更多
9971 云上零下
非常正规的一款
2024-05-19 21:46 来自新疆维吾尔自治区 推荐
99551 有洞的柠檬
挺好的不错
2024-05-19 5:46 来自内蒙古自治区 不推荐
2593 181****4986
很好玩但是不好玩
2024-05-19 21:33 来自黑龙江省 推荐
4271 有风有雨
没有好友房
2024-05-19 21:15 来自福建省 推荐
38 zxkmm***99
希望大家早日脱坑
2024-05-19 24:21 来自西藏自治区 推荐