【財(cái)新網(wǎng)】由科技部、北京市支持的民營非營利機(jī)構(gòu)智源研究院公布AI大模型最新進(jìn)展。6月14日,智源研究院公布萬億參數(shù)的大語言模型進(jìn)展,發(fā)布用于檢索增強(qiáng)(RAG)的向量模型、采用自回歸架構(gòu)的多模態(tài)大模型、具身智能大模型和生物計(jì)算大模型,以及支持8種芯片的智算操作系統(tǒng)。
具體來看,此次公布的萬億參數(shù)大模型“Tele-FLM“是和中國電信聯(lián)合研發(fā),中國電信主要提供算力和部分?jǐn)?shù)據(jù)。智源研究院院長王仲遠(yuǎn)稱,該項(xiàng)目是在112臺A800機(jī)器(即896塊A800 GPU)上訓(xùn)練4個(gè)月得出的,已開源發(fā)布的520億參數(shù)版本英文能力優(yōu)于Llama2-70B,接近Llama3-70B的水平,而中文能力優(yōu)于Llama3-70B和Qwen1.5-72B。