Meta har avduket Lama 3.1, dens nyeste og mest avanserte store språkmodell, som markerer et betydelig sprang i AI-evner og tilgjengelighet. Denne nye utgivelsen er i tråd med Metas forpliktelse til å gjøre AI åpent tilgjengelig, som understreket av Mark Zuckerberg, som mener at åpen kildekode AI er gunstig for utviklere, Meta og samfunnet for øvrig.
For å introdusere Llama 3.1 skrev Mark Zuckerberg et detaljert blogginnlegg med tittelen "Open Source AI er veien videre," skisserer hans visjon for fremtiden til AI. Han trekker en parallell mellom utvikling av Unix til Linux og den nåværende banen til AI, som understreker at åpen kildekode AI til slu*tt vil lede bransjen. Zuckerberg fremhever fordelene med åpen kildekode AI, inkludert tilpasning, kostnadseffektivitet, datasikkerhet og å unngå leverandørlåsing.
Det mener han åpen kildekode utvikling fremmer innovasjon, skaper et robust økosystem og sikrer rettferdig tilgang til AI-teknologi. Zuckerberg tar også opp bekymringer om sikkerhet, og tar til orde for at åpen kildekode AI, gjennom åpenhet og gransking av samfunnet, kan være tryggere enn lukkede modeller som OpenAIs GPT-modeller.
Metas forpliktelse til åpen kildekode AI har som mål å bygge de beste opplevelsene og tjenestene, fri fra begrensningene til lukkede økosystemer. Han avslu*tter med å invitere utviklere og organisasjoner til å være med på å bygge en fremtid der AI kommer alle til gode, og fremmer samarbeid og kontinuerlig utvikling.
Nøkkelfunksjoner
- Åpen tilgjengelighetsforpliktelse: Meta fortsetter sin dedikasjon til åpen kildekode AI, med sikte på å demokratisere tilgang og innovasjon.
- Forbedrede muligheter: Llama 3.1 kan skryte av en utvidelse av kontekstlengde til 128K, støtter åtte språk, og introduserer Llama 3.1 405B, den første frontier-level open source AI-modellen.
- Uovertruffen fleksibilitet og kontroll: Llama 3.1 405B tilbyr toppmoderne funksjoner som kan sammenlignes med ledende lukkede kildemodeller, og muliggjør nye arbeidsflyter som syntetisk datagenerering og modelldestillasjon.
- Omfattende økosystemstøtte: Med over 25 partnere, inkludert store teknologiselskaper som AWS, NVIDIA og Google Cloud, er Llama 3.1 klar for umiddelbar bruk på ulike plattformer.
Llama 3.1 Oversikt
State-of-the-art evner
Llama 3.1 405B er designet for å konkurrere med de beste AI-modellene som er tilgjengelige i dag. Den utmerker seg i generell kunnskap, styrbarhet, matematikk, verktøybruk og flerspråklig oversettelse. Denne modellen forventes å drive innovasjon på felt som generering av syntetiske data og modelldestillasjon, som tilbyr enestående muligheter for vekst og leting.
Oppgraderte modeller
Utgivelsen inkluderer forbedrede versjoner av 8B- og 70B-modellene, som nå støtter flere språk og har utvidede kontekstlengder på opptil 128K. Disse forbedringene muliggjør avanserte applikasjoner som langformig tekstoppsummering, flerspråklige samtaleagenter og kodingsassistenter.
Åpen kildekode tilgjengelighet
Tro mot sin åpen kildekode-filosofi gjør Meta disse modellene tilgjengelige for nedlasting på Meta og Klemme ansiktet. Utviklere kan bruke disse modellene for en rekke applikasjoner, inkludert forbedring av andre modeller, og kan kjøre dem i forskjellige miljøer, fra lokale til sky og lokale distribusjoner.
Modellvurderinger og arkitektur
Omfattende evalueringer
Llama 3.1 ble grundig testet på over 150 referansedatasett på flere språk og sammenlignet med ledende modeller som GPT-4 og Claude 3.5 Sonnet. Resultatene viser at Llama 3.1 er konkurransedyktig på tvers av et bredt spekter av oppgaver, og befester sin plass blant topp-tier AI-modeller.
Avanserte opplæringsteknikker
Trening av 405B-modellen innebar å behandle over 15 billioner tokens ved å bruke mer enn 16,000 100 HXNUMX GPUer. Meta tok i bruk en standard transformatormodell med bare dekoder med iterative prosedyrer etter trening, inkludert overvåket finjustering og direkte preferanseoptimalisering, for å oppnå syntetiske data av høy kvalitet og overlegen ytelse.
Effektiv slu*tning
For å støtte storskala produksjonsslu*tning ble Llama 3.1-modeller kvantisert fra 16-biters til 8-biters numerikk, noe som reduserte beregningskravene og tillot modellen å kjøre effektivt på en enkelt servernode.
Finjustering av instruksjoner og chat
Meta fokuserte på å forbedre modellens evne til å følge detaljerte instruksjoner og opprettholde høye sikkerhetsnivåer. Dette innebar flere runder med justering på toppen av den forhåndstrente modellen, ved bruk av syntetisk datagenerering og strenge databehandlingsteknikker for å sikre utdata av høy kvalitet på tvers av alle funksjoner.
Lamasystemet
Llama 3.1 er en del av et bredere system designet for å fungere med ulike komponenter, inkludert eksterne verktøy. Meta har som mål å gi utviklere fleksibiliteten til å lage tilpassede applikasjoner og atferd. Utgivelsen inkluderer Lamavakt 3 og Prompt Guard for økt sikkerhet og sikkerhet.
Llama Stack API
Meta er gi ut en forespørsel om kommentar til Llama Stack API, et standard grensesnitt for å lette bruken av Llama-modeller av tredjepartsprosjekter. Dette initiativet har som mål å effektivisere interoperabilitet og redusere barrierer for utviklere og plattformleverandører.
Bygg med Llama 3.1 405B
Llama 3.1 405B tilbyr omfattende funksjoner for utviklere, inkludert sanntids- og batchslu*tninger, overvåket finjustering, modellevaluering, kontinuerlig forhåndstrening, gjenfinning utvidet generasjon (RAG), funksjonsanrop og syntetisk datagenerering. På dag én kan utviklere begynne å bygge med disse avanserte funksjonene, støttet av partnere som AWS, NVIDIA og Databricks.
Prøv Llama 3.1 i dag
Llama 3.1-modeller er tilgjengelige for nedlasting og umiddelbar utvikling. Meta oppfordrer samfunnet til å utforske potensialet til disse modellene og bidra til det voksende økosystemet. Med robuste sikkerhetstiltak og åpen kildekode-tilgang er Llama 3.1 satt til å drive neste bølge av AI-innovasjon.
konklusjonen
Llama 3.1 representerer en betydelig milepæl i utviklingen av åpen kildekode AI, og tilbyr enestående muligheter og fleksibilitet. Metas forpliktelse til åpen tilgjengelighet sikrer at flere mennesker kan dra nytte av AI-fremskritt, fremme innovasjon og rettferdig teknologidistribusjon. Med Llama 3.1 er mulighetene for nye applikasjoner og forskning enorme, og Meta ser frem til den banebrytende utviklingen fellesskapet vil oppnå med dette kraftige verktøyet.
Lesere som ønsker å lære mer bør lese Mark Zuckerbergs detaljert blogginnlegg.
