Sikuli, automatiser des actions en les scriptant visuellement

Même si chaque jour est un recommencement sur un ordinateur, il y a toujours certaines actions que l’on fait quasi-quotidiennement ou au moins régulièrement.

Pour gagner en productivité, il existe pas mal de logiciels pour automatiser des actions. Mais en général, ceux-ci font appel à des lignes de commandes voire une peu de scripting. Autant dire que ce genre de logiciel exclu de fait les personnes qui ne sont pas à l’aise avec la programmation (même si cela n’en est pas vraiment).

 
Sikuli est un logiciel qui permet de chercher et automatiser des actions sur des interfaces graphiques en utilisant des captures d’écran. De fait, il simplifie un peu la création de scripts, même s’il reste un peu de scripting.

Dans l’exemple ci dessus, le script envoie un tweet. Il se sert de la capture d’écran pour savoir où cliquer et où insérer le texte.

Avec Sikuli, il est possible de faire des choses très complexes et très avancées.

Voici une petite démonstration en vidéo pour mieux comprendre le fonctionnement.

Sikuli est une surcouche visuelle qui développe des scripts en Jython (Python sur Java). Il fournit pour cela des outils et un environnement de développement.

Voila un outil pour le moins étonnant. Sikuli est un projet de recherche développé en JAVA qui fonctionne donc sur toutes les plateformes (Windows, MacOS, Linux, …) par le User Interface Design Group du la laboratoire « Computer Science and Artificial Intelligence Laboratory (CSAIL) » du MIT.

Téléchargez Sikuli et en savoir plus