2024年将是AI视频之年@英伟达高级科学家 Jim Fan
“I”:视频输入。GPT-4V对视频的理解还相当原始,因为它将视频视为一系列离散图像。减少信息冗余的最聪明方法是什么?学习目标应该是什么?下一帧预测与下一个单词预测有着明显的类比关系,但它是否是最佳的?如何与语言交错?如何引导机器人和人工智能的视频学习?业界尚未达成共识。
新鲜AI产品点击了解:https://top.aibase.com/
据悉,M2UGen采用了创新的方法,生成了大规模的多模态音乐指导数据集,用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型,以在各个领域生成对应的指导。
站长之家(ChinaZ.com)1月3日 消息:平时有在做短视频副业项目的小伙伴,肯定遇到过想要搬运剪辑国外视频,但却卡在字幕翻译的问题上。而现在,有一款工具可以解决这个问题,为用户提供简单易用的视频翻译和配音功能。