新浪科技訊 12月23日午間消息，近日，智源研究院發(fā)布國內(nèi)外100余個開/閉源語言、視覺語言、文生圖、文生視頻大模型綜合及專項評測結(jié)果。評測發(fā)現(xiàn)，2024年下半年，大模型發(fā)展更聚焦綜合能力提升與實際應(yīng)用。多項評測結(jié)果中，字節(jié)跳動多項AI能力領(lǐng)先，阿里巴巴、百度等大廠派AI均取得優(yōu)異表現(xiàn)。

　　據(jù)評測結(jié)果，針對一般中文場景的開放式問答或生成任務(wù)，語言模型能力已趨于飽和穩(wěn)定，但是復(fù)雜場景任務(wù)的表現(xiàn)，國內(nèi)頭部語言模型仍然與國際一流水平存在顯著差距。在中文能力理解上，字節(jié)跳動Doubao-pro-32k-preview、百度ERNIE 4.0 Turbo位居第一、第二，OpenAI o1-preview-2024-09-12、Anthropic Claude-3-5-sonnet-20241022位列第三、第四，阿里巴巴Qwen-Max-0919排名第五。

　　在視覺語言多模態(tài)模型能力評測結(jié)果中，一些較好的開源模型在圖文理解任務(wù)上正在縮小與頭部閉源模型的能力差距，而長尾視覺知識與文字識別以及復(fù)雜圖文數(shù)據(jù)分析能力仍有提升空間。評測顯示，OpenAI GPT-4o-2024-11-20與字節(jié)跳動Doubao-Pro-Vision-32k-241028先后領(lǐng)先于Anthropic Claude-3-5-sonnet-20241022，阿里巴巴Qwen2-VL-72B-Instruct和Google Gemini-1.5-Pro緊隨其后。

　　此外，文生圖多模態(tài)模型今年上半年參評模型普遍無法生成正確的中文文字，但此次參評的頭部模型已經(jīng)具備中文文字生成能力，但整體普遍存在復(fù)雜場景人物變形的情況，針對常識或知識性推理任務(wù)，小于3的數(shù)量關(guān)系任務(wù)表現(xiàn)有所提升，大于3的數(shù)量關(guān)系依然無法處理。評測結(jié)果顯示，騰訊Hunyuan Image位列第一，字節(jié)跳動Doubao image v2.1、Ideogram 2.0分居第二、第三，OpenAI DALL·E 3、快手可圖次之。

　　在文生視頻多模態(tài)模型，畫質(zhì)進(jìn)一步提升，動態(tài)性更強，鏡頭語言更豐富，專場更流暢，但普遍存在大幅度動作變形，無法理解物理規(guī)律，物體消失、閃現(xiàn)、穿模的情況。評測結(jié)果顯示，快手可靈1.5（高品質(zhì)）、字節(jié)跳動即夢P2.0 pro、愛詩科技PixVerse V3、MiniMax海螺AI、Pika 1.5位列前五。

　　據(jù)介紹，本次評測依托智源研究院自2023年6月上線的大模型評測平臺FlagEval，經(jīng)過數(shù)次迭代，目前已覆蓋全球800多個開閉源模型，包含20多種任務(wù)，90多個評測數(shù)據(jù)集，超200萬條評測題目。（文猛）