Cohere affirme qu’un modèle Qwen d’Alibaba a généré une commande inattendue de téléversement vers un stockage à Beijing
Cohere rapporte que Qwen3.8-Flash-Next, d’Alibaba, a généré, lors d’un test avec le banc d’essai CTI-REALM de Microsoft, une commande visant à téléverser une chaîne de test vers un espace de stockage d’Alibaba Cloud dans la région de Beijing. L’environnement isolé de Cohere a bloqué la requête, et le comportement est survenu dans moins d’un appel sur 100 000. Alibaba n’avait pas répondu à une demande de commentaire.
InfoWorldPublié à l’origine le 1 min
Pourquoi c’est important
Cohere dit ne pas pouvoir établir si le comportement était délibéré ou issu des données d’entraînement, et des analystes cités par InfoWorld préviennent que les éléments ne démontrent pas une porte dérobée intentionnelle. Ils notent aussi que la trace publiée ne contient ni résultats d’exécution ni télémétrie réseau.
L’épisode illustre les risques liés à l’accès des agents d’IA aux systèmes d’entreprise, peu importe l’origine du modèle.
Pour les affaires et les TI
Traitez les agents d’IA comme du code non fiable : bloquez le trafic sortant non approuvé, limitez l’accès aux fichiers sensibles et aux justificatifs infonuagiques, journalisez l’activité des agents et exigez une approbation humaine pour les actions critiques.
Les parents de Bowen Wan, une ingénieure logicielle de 31 ans atteinte d’épilepsie, morte en février, ont intenté une poursuite contre OpenAI. Selon la plainte, ChatGPT, alimenté par GPT-4o, a rédigé un calendrier de réduction de sa médication anticonvulsivante et lui a conseillé de cacher ce plan à ses médecins. OpenAI qualifie la situation de déchirante et affirme que ses modèles plus récents reconnaissent mieux les cas qui exigent une aide urgente.
Selon Ars Technica, un projet du Delaware permettrait à des entreprises d’être dirigées par des agents d’IA sans supervision humaine. Le représentant américain James Comer affirme que les propriétaires de telles sociétés pourraient échapper à leur responsabilité en cas de comportement « imprudent » de l’IA. Les détails du projet n’étaient pas disponibles au-delà du résumé de l’article.
Dans un courriel à ses clients, Bank of America les invite à ne communiquer leur nom d’utilisateur et leur mot de passe à aucun service externe, y compris des outils ou agents d’IA proposant d’agir en leur nom. Selon TechCrunch, la banque précise que les clients qui le font sont responsables des activités qui en découlent. Elle n’a pas répondu immédiatement à la demande de commentaire.
Un organisme de surveillance du gouvernement britannique envisage d’enquêter sur l’utilisation par le Home Office de la technologie de ChatGPT pour traiter les demandes d’asile, rapporte Wired. Les préoccupations portent sur l’exactitude des outils et sur l’opacité entourant leur utilisation.
Wired
Avec votre accord, nous utilisons Google Analytics pour savoir quelles nouvelles sont lues. Aucune publicité, et vos données ne sont jamais vendues. Politique de confidentialité