Aller au contenu

Screen Automator — ClickInXY

Résumé

  • Nom interne : SCREEN_AUTOMATOR
  • Catégorie : Automatisation écran / Accessibilité
  • But : Effectuer un tap à des coordonnées précises (X, Y) sur l’écran de l’appareil.
  • Type de tâche : Normale

Cette tâche permet à un workflow AndroMate de simuler des interactions tactiles précises, indépendamment du texte ou de la structure de l’UI.
Utile pour automatiser des clics sur des composants UI personnalisés, jeux, images, interfaces dynamiques et éléments sans label d’accessibilité.

⚠️ Limitation importante : Certains firmwares Android ignorent les événements ClickInXY sur des zones protégées du système.
Exemples :

  • Dialogues de mise à jour système
  • Boutons de confirmation d’installation/mise à jour d’APK sur Android 16+
  • Overlays UI sécurisés ou restreints (protection OEM)

Ceci est imposé par le modèle de sécurité Android et ne peut pas être contourné.

Compatibilité

  • Version AndroMate minimale : 1.1.0
  • Version AndroMate maximale : 1.1.0
  • Android minimum : Android 13 (API 33)
  • Android maximum testé : Android 16 (API 36)

Constructeurs supportés

  • ✅ Samsung (One UI 6.x / 7.x / 8.x)

Permissions nécessaires

  • ACCESSIBILITY_SERVICE
  • (Optionnel) SYSTEM_ALERT_WINDOW pour interactions sur overlay

Description détaillée

Le mode ClickInXY de ScreenAutomator déclenche un tap physique à une coordonnée spécifique (x, y).

Il est essentiel lorsque :

  • Les éléments UI ne fournissent aucun texte d’accessibilité
  • L’interface est personnalisée (Canvas, OpenGL, Unity, UI de jeux)
  • Un workflow doit toucher un pixel exact
  • Les boutons sont purement graphiques (icônes, images, etc.)

⚠️ Les coordonnées sont absolues et nécessitent une calibration par appareil.
Elles ne se mettent pas automatiquement à l’échelle en fonction de :

  • la résolution
  • la densité de l’écran
  • la rotation

Paramètres d’entrée

Paramètre Type Obligatoire Valeurs possibles Compatibilité Android Compatibilité AndroMate Défaut
Action_type Enum Oui Doit être "ClickInXY" Android 13 (API 33) → Android 16 (API 36) 1.1.0 → 1.1.0 —
ClickInXY_X Integer Oui X ≥ 0 Android 13 (API 33) → Android 16 (API 36) 1.1.0 → 1.1.0 —
ClickInXY_Y Integer Oui Y ≥ 0 Android 13 (API 33) → Android 16 (API 36) 1.1.0 → 1.1.0 —

Paramètres de sortie

Le mode ClickInXY ne produit aucun résultat.
Il effectue simplement l’interaction système.

Détails des paramètres

1. Action_type

Doit être exactement "ClickInXY".

Exemple

"Action_type": "ClickInXY"

2. ClickInXY_X

La coordonnée horizontale de l'appuie.

Example

"ClickInXY_X": 540

3. ClickInXY_Y

La coordonnée verticale de l'appuie.

Example

"ClickInXY_Y": 1250

Exceptions

Code Nom de l’exception Description
SCREEN-AUTOMATOR-ERROR-003 INVALID_ACTION_TYPE Type d’action invalide (doit être ClickInXY)
SCREEN-AUTOMATOR-ERROR-004 INVALID_X_Y_INPUT Coordonnées X / Y invalides (les valeurs doivent être ≥ 0 et dans les limites de l’écran)
SCREEN-AUTOMATOR-ERROR-007 INVALID_JSON_ARRAY Tableau JSON invalide ou mal formé fourni en entrée
SCREEN-AUTOMATOR-ERROR-008 TIME_OUT L’exécution du clic a dépassé le délai autorisé

Complete JSON example

{
  "ScreenAutomator": [
    {
      "id": "20",
      "title": "Tap Center Screen",
      "Action_type": "ClickInXY",
      "ClickInXY_X": 540,
      "ClickInXY_Y": 1200
    },
    {
      "id": "21",
      "title": "Tap Top Right Corner",
      "Action_type": "ClickInXY",
      "ClickInXY_X": 1000,
      "ClickInXY_Y": 200
    },
    {
      "id": "22",
      "title": "Tap Bottom Menu Region",
      "Action_type": "ClickInXY",
      "ClickInXY_X": 540,
      "ClickInXY_Y": 2000
    }
  ]
}