当前位置：主页热门产品 > > 正文

最大CLIP！LAION发布CLIP的扩增定律

时间： 2022-12-27 10:21:30 来源：


【资料图】

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143

关键词：

相关文章

最大CLIP！LAION发布CLIP的扩增定律

点蓝色字关注“机器学习算法工程师”设为星标，干货直达！近日，LAION等机构在Reproduciblescalinglawsforcontrastive

来源：2022-12-27

播报：12月26日基金净值：银华信用双利债券A最新净值1.138，涨0.62%

12月26日，银华信用双利债券A最新单位净值为1 138元，累计净值为1 698元，较前一交易日上涨0 62%。历史数据显示该基金近1个月下跌0 96%，近3个

来源：2022-12-27

焦点观察：誉衡药业: 第六届董事会第二次会议决议公告

哈尔滨誉衡药业股份有限公司证券代码：002437       证券简称：誉衡药业          公告编号：2022-084          

来源：2022-12-26

泸州农商银行因内部控制不到位等被罚30万_今日聚焦

中国网财经12月26日讯日前，银保监会网站显示，泸州农村商业银行内部控制不到位，违反审慎经营规则，被泸州银保监分局罚款30万元。

来源：2022-12-26

今亮点！保护农民种粮积极性也要靠产业发展

中央农村工作会议12月23日至24日在北京举行。会议强调，保障粮食和重要农产品稳定安全供给始终是建设农业强国的头等大事。要抓住耕地和种子两

来源：2022-12-26

行业资讯

知名品牌

青海西宁战“疫”大考群像：“你们的名字和功绩，西宁不会忘记”