Microsoft lance une nouvelle fonctionnalité au sein de Copilot Studio permettant aux agents d’IA d’utiliser eux-mêmes des sites web et des applications de bureau.
Microsoft étend Copilot Studio avec une nouvelle fonctionnalité : ‘computer use’. Cet ajout, désormais disponible en prévisualisation précoce, permet aux agents d’IA d’interagir directement avec les sites web et les applications de bureau via leur interface graphique utilisateur. Récemment, Microsoft a lancé une fonctionnalité similaire, Copilot Actions, qui permettait à l’agent d’IA de naviguer sur le web à votre place.
Computer Use
Grâce à cette nouvelle capacité, les agents Copilot Studio peuvent effectuer des tâches dans des applications pour lesquelles aucune API n’est disponible. En cliquant sur des éléments à l’écran, en remplissant des champs ou en sélectionnant des menus, les agents agissent de manière similaire aux utilisateurs humains. Cette approche permet d’automatiser des processus manuels, tels que la saisie de données, l’étude de marché ou le traitement des factures.
Computer use fonctionne avec les navigateurs populaires tels qu’Edge, Chrome et Firefox, et s’exécute sur une infrastructure hébergée par Microsoft. Cela réduit les coûts de maintenance pour les organisations, tandis que les données d’entreprise restent dans Microsoft Cloud et ne sont pas utilisées pour l’entraînement de modèles. De plus, la fonctionnalité s’adapte automatiquement lorsque les applications ou les sites web changent, en utilisant des modèles de raisonnement intégrés.
RPA traditionnel
Cette fonctionnalité représente également une nouvelle étape vers une automatisation robotique des processus (RPA) plus accessible. Contrairement au RPA traditionnel, souvent vulnérable aux changements des éléments de l’interface utilisateur, computer use continue de fonctionner lors de modifications de l’interface. Les utilisateurs peuvent décrire les actions souhaitées en langage naturel, tandis que l’agent lui-même prend des décisions intelligentes basées sur ce qui apparaît à l’écran.
lire aussi
Microsoft 365 Copilot reçoit des outils de recherche propulsés par l’IA
Microsoft souligne que cette nouvelle approche de l’automatisation n’est pas seulement plus efficace, mais aussi adaptée aux utilisateurs sans formation technique. Grâce à Copilot Studio, les organisations peuvent désormais construire plus rapidement des agents capables d’exécuter des tâches complexes dans un environnement utilisateur visuel, avec plus de flexibilité et moins de barrières techniques.