【kalyan 420 chart】智谱 AI 开源视频理解模型 CogVLM2
感谢IT之家网友 USER 的智谱线索投递! IT之家 7 月 12 日消息,开源智谱 AI 宣布,视频kalyan 420 chart训练了一种新的理解视频理解模型 CogVLM2-Video,并将其开源。模型 据介绍,智谱当前大多数的开源视频理解模型使用帧平均和视频标记压缩方法,导致时间信息的视频丢失,无法准确回答与时间相关的理解问题。一些专注于时间问答数据集的模型kalyan 420 chart模型过于局限于特定格式和适用领域,使得模型失去了更广泛的智谱问答能力。 智谱 AI 提出了一种基于视觉模型的开源自动时间定位数据构建方法,生成了 3 万条与时间相关的视频视频问答数据。基于这个新数据集和现有的理解开放领域问答数据,引入了多帧视频图像和时间戳作为编码器输入,模型训练出 CogVLM2-Video 模型。 智谱 AI 表示,CogVLM2-Video 不仅在公共视频理解基准上达到了最新的性能,还在视频字幕生成和时间定位方面表现出色。 IT之家附相关链接: 代码:https://github.com/THUDM/CogVLM2 项目网站:https://cogvlm2-video.github.io 在线试用:http://36.103.203.44:7868/ 广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
- 最近发表
- 随机阅读
-
- Palestinian death toll in Gaza nears 41,000: health authorities
- 孔帕尼奥:只要拿下主场首胜 相信我们会持续赢下去
- 欧洲杯16强对阵出炉:法国VS比利时 英格兰遇黑马
- 奥拉罗尤:不解苏宁解散决定 中国足协没找过我
- Flamingos seen at Salt Lake in Ankara, Türkiye
- 谷爱凌夺得兔年新春第一冠 得分断层优势
- 中超广东四队三支很悬 广州队还在等老板决定
- 精选足篮专家:王云迪5连红+近12中11预测欧洲杯决赛
- Dithubaruba cultural festival celebrated in Botswana
- 四连客又是申花新难题 俱乐部提醒球员保持心态
- 上海垂直马拉松臧云海乐青华夺冠 郑姝音参赛
- 津门虎外援什科里奇:最好的理念就是全攻全守
- Pakistani PM kicks off nationwide special anti
- 中超广东四队三支很悬 广州队还在等老板决定
- 东体:苏宁球员讨薪难 有人自行垫付上百万医疗费
- 奥拉罗尤:不解苏宁解散决定 中国足协没找过我
- Teacher delivers hope to children in China's landlocked mountains
- 马莱莱质疑声中爆发 连续4场进球!胯部不适被换下
- 妻子谈江苏队解散周云退役:最痛不过心已死…
- 江苏队中超金牌在网上出售 记者:可能是工作人员
- 搜索
-