当前位置: 首页 > 综合

最大CLIP！LAION发布CLIP的扩增定律-环球时快讯

日期：2022-12-29 10:17:40 来源：


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143

标签：

上一篇：

下一篇：

热门推荐

猜你喜欢

市场

天地壹号拟募资15亿元 拟通过深交所主板IPO上市

天地壹号拟通过深交所主板IPO募资15亿元，保荐机构为中信证券。从招股书和近期证监会的反馈意见来看，公司营收持续下滑、销售费用率偏高、

“中国历代绘画大系”先秦汉唐、宋、元画特展在杭举行

近日，《盛世修典——中国历代绘画大系先秦汉唐、宋、元画特展》在位于杭州的浙江美术馆举行。据了解，本次大展中通过数字3D打印复原技术将

人民财评：推陈出新，夜经济扮靓春节假期

月光下、锦江岸，游客们登船赏湖，畅游天府之国，沉浸式感受唐宋时期的成都盛景；深圳福田以“虎”为主题的禧春集

如何全面提高幼儿园保教质量？教育部详解

人民网北京2月15日电 （记者孙竞）近日，教育部印发了《幼儿园保育教育质量评估指南》（以下简称《评估指南》）

冬奥播报丨自由式滑雪女子坡面障碍技巧赛 谷爱凌摘银

人民网北京2月15日电 （记者李乃妍）2月15日，在刚刚结束的北京冬奥会自由式滑雪女子坡面障碍技巧决赛中，中国选

百科

Copyright   2015-2022 今日收藏网 版权所有  备案号：沪ICP备2022005074号-40   联系邮箱：5 85 59 73 @qq.com