Meta公司宣布了一項(xiàng)重大技術(shù)進(jìn)展，發(fā)布了其最新的開(kāi)源模型——Llama3。這一模型包含兩種參數(shù)規(guī)模:8B（80億參數(shù)）和70B(700億參數(shù))，預(yù)計(jì)將于今年7月正式面世。Llama3模型不僅具備多模態(tài)能力，還集成了新的計(jì)算機(jī)編碼功能，能夠輸出文本和圖像，預(yù)示著其未來(lái)將被應(yīng)用于雷朋 Meta 智能眼鏡等設(shè)備。

Meta公司與谷歌建立了合作伙伴關(guān)系，將實(shí)時(shí)搜索結(jié)果整合到 AI 助手的答復(fù)中，進(jìn)一步提升了用戶體驗(yàn)。與前代 Llama2相比，Llama3在多個(gè)行業(yè)基準(zhǔn)測(cè)試中展現(xiàn)了突破性的性能，特別是在推理、代碼生成和指令跟蹤等方面取得了顯著進(jìn)步。為了訓(xùn)練這一模型，Meta 構(gòu)建了兩個(gè)包含2.4萬(wàn)個(gè)GPU的集群，其中1.6萬(wàn)個(gè)GPU同時(shí)用于Llama3的訓(xùn)練。

Llama3的開(kāi)發(fā)預(yù)示著 Meta 在 AI 領(lǐng)域的雄心壯志。目前，公司正在開(kāi)發(fā)的最大型模型擁有超過(guò)400B（400億）的參數(shù)規(guī)模。Meta Llama3的主要性能特點(diǎn)包括:

模型規(guī)模與類(lèi)型:提供8B和70B兩種規(guī)模的預(yù)訓(xùn)練和指令調(diào)優(yōu)生成文本模型，專(zhuān)為對(duì)話和其他語(yǔ)言處理任務(wù)優(yōu)化。

模型架構(gòu):采用自回歸方法和基于優(yōu)化的變換器架構(gòu)，引入了分組查詢(xún)注意力機(jī)制，提升了大規(guī)模參數(shù)下的推理可擴(kuò)展性。

訓(xùn)練與數(shù)據(jù)處理:使用超過(guò)15萬(wàn)億的tokens進(jìn)行預(yù)訓(xùn)練，訓(xùn)練集是Llama2的七倍，支持高達(dá)30種語(yǔ)言。

性能與基準(zhǔn)測(cè)試:在多個(gè)自動(dòng)化基準(zhǔn)測(cè)試中表現(xiàn)出色，包括對(duì)話、問(wèn)答、推理等多種任務(wù)，并特別針對(duì)現(xiàn)實(shí)世界場(chǎng)景進(jìn)行了優(yōu)化。

Meta 還發(fā)布了基于 Llama3的 AI 助手，目前已在美國(guó)之外的十多個(gè)國(guó)家推出。用戶可以在 Facebook、Instagram、WhatsApp 和 Messenger 上使用 Meta AI 助手，它能夠推薦餐廳、規(guī)劃周末活動(dòng)、協(xié)助學(xué)習(xí)等。此外，Meta AI 還整合了搜索功能，可以直接訪問(wèn)網(wǎng)絡(luò)上的實(shí)時(shí)信息，無(wú)需切換應(yīng)用。

Llama-3-70B-Instruct 已經(jīng)登陸Hugging Chat ，可以在上面直接使用！

體驗(yàn)地址：https://www.meta.ai/

模型下載：https://top.aibase.com/tool/meta-llama-3

Hugging Chat：https://huggingface.co/chat/conversation/6621c6d78f6a88b6b6084ac4