Un modèle open source qui éclipse le GPT-3 vise à libérer l’IA des Big Tech


  • FrançaisFrançais



  • Un modèle de langage plus grand que GPT-3 est arrivé avec une ambition audacieuse : libérer l’IA des griffes de Big Tech.

    Baptisé BLOOM, le grand modèle de langage (LLM) promet des performances similaires aux principaux systèmes de la Silicon Valley, mais avec une approche radicalement différente de l’accès.

    Alors que les géants de la technologie ont tendance à garder leurs LLM vantés cachés du public, BLOOM est accessible à tous gratuitement.

    Salutations, humanoïdes

    Abonnez-vous à notre newsletter maintenant pour un récapitulatif hebdomadaire de nos histoires préférées sur l’IA dans votre boîte de réception.

    Il est également multilingue – contrairement au LaMDA de Google et au GPT-3 d’OpenAI – une caractéristique inhabituelle dans un domaine dominé par l’anglais.

    Ces fonctionnalités pourraient démocratiser l’accès à une technologie qui devrait avoir un impact profond sur la société.

    De puissants modèles d’IA peuvent être entraînés et diffusés de manière ouverte.

    Les LLM se révèlent compétents dans un éventail croissant de tâches, notamment la rédaction d’essais, la génération de code et la traduction de langues.

    Ils sont également aptes à produire du contenu préjudiciable – et leurs capacités futures sont difficile à prévoir.

    BLOOM donne aux chercheurs une chance unique d’explorer leurs risques et leurs avantages.

    “BLOOM est une démonstration que les modèles d’IA les plus puissants peuvent être formés et publiés par la communauté de recherche au sens large avec responsabilité et de manière réellement ouverte, contrairement au secret typique des laboratoires de recherche industriels sur l’IA.” a déclaré Teven Le Scao, co-responsable de la formation de BLOOM, dans un communiqué.

    Ouverture de l’IA

    Les LLM sont d’un coût prohibitif à créer et à exécuter. La formation GPT-3, par exemple, a été estimée au coût jusqu’à 27,6 millions de dollars.

    Inévitablement, les entreprises technologiques souhaitent protéger des investissements aussi importants, en particulier lorsqu’ils offrent des avantages concurrentiels.

    Il n’est donc pas surprenant que les LLM soient rarement open source – à quelques exceptions notables près.

    Meta a produit l’anomalie la plus importante. En mai, la société a offert l’accès au système OPT de 175 milliards de paramètres.

    Cependant, le modèle complet n’est disponible que sur demande et pour une utilisation non commerciale.

    BLOOM accélère l’accessibilité.

    Le modèle de 176 milliards de paramètres est disponible gratuitement pour toute personne ou institution qui accepte de le système Licence IA responsable.

    N’importe qui peut voir publiquement les notes de réunion, les discussions et le code derrière le modèle.

    Les graines de BLOOM

    BLOOM a été créé par BigScience, un projet de recherche lancé au début de 2021. L’initiative est lancée et dirigée par une startup d’IA Visage étreignant.

    “Les grands modèles ML ont changé le monde de la recherche sur l’IA au cours des deux dernières années, mais l’énorme coût de calcul nécessaire pour les former a permis à très peu d’équipes d’avoir la capacité de les former et de les rechercher”, a déclaré Thomas Wolf, co-directeur de BigScience. et co-fondateur de Hugging Face.

    Le corpus de formation aligné sur nos valeurs.

    L’équipe de 100 000 chercheurs de plus de 60 pays et 250 institutions a développé BLOOM pour promouvoir l’inclusion et la responsabilité dans les LLM.

    Ils ont formé le modèle sur le Supercalculateur Jean Zay à Paris, France.

    “Nous avons adopté une approche axée sur les données pour nous assurer que le corpus de formation était aligné sur nos valeurs”, a déclaré Christopher Akiki, chercheur BigScience basé à l’Université de Leipzig.

    « La composition multidisciplinaire et internationale de BigScience nous a permis de réfléchir de manière critique à chaque étape du processus à partir de multiples points de vue : éthique, juridique, environnemental, linguistique et technique.

    “Cela signifie que nous avons pu atténuer les préoccupations éthiques sans compromettre les performances ou l’échelle.”

    La taille est certainement imposante. Avec 176 milliards de paramètres, BLOOM est plus grand que le GPT-3 d’OpenAI et l’OPT de MetaAI.

    Le modèle peut générer du texte dans 46 langues naturelles et dialectes et 13 langages de programmation. Pour beaucoup d’entre eux, il s’agit du tout premier modèle de langage avec plus de 100 milliards de paramètres.

    Il est également exceptionnellement abordable. BigScience dit les chercheurs peuvent utiliser BLOOM pour moins de 40 $/h sur un fournisseur de cloud.

    Le modèle n’est pas susceptible de rivaliser avec ceux construits par Big Tech – mais il fournit au moins un moyen de les examiner.

    Source

    N'oubliez pas de voter pour cet article !
    1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
    Loading...

    La Rédaction

    L'équipe rédactionnnelle du site

    Pour contacter personnellement le taulier :

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée.