7 lines
1.3 KiB
Markdown
7 lines
1.3 KiB
Markdown
# 桌面应用RPA标注工具
|
||
|
||
|
||
### 期望实现目标
|
||
打开软件后，桌面出现一个悬浮窗。80x80
|
||
按下快捷键ctrl+1 开始识别窗口，默认全屏半透明遮罩，通过识别鼠标在哪个应用，或者哪个应用获取到了鼠标焦点，那么就获取应用的x,y,w,h信息的bbox边框位置，然后该应用窗口用蓝色边框切应用内窗口去掉半透明遮罩，同时如果鼠标移动到其他应用窗口，则继续切换窗口激活状态。如果鼠标在桌面上，没有任何应用窗口上，则默认选中全屏。然后点击鼠标后，则选中当前窗口，此时移动鼠标则不会激活其他窗口，可以通过ESC回车撤销选中。选中窗口后，可以通过Ctrl+r 开启矩形标注框，可以在选中的应用窗口中开始标注，同时屏幕左侧会出现一个300x1200的标注信息框，标注的信息会在此处展示，同时在顶部显示当前选中的窗口信息，可以定义窗口名称与简介
|
||
标注可以多次标注，当开启标注后，拖动鼠标可以在应用窗口上进行绘制，点击鼠标后结束标注，同时已标注的框可以调整大小与位置，然后在标注框附近显示一个表单弹窗，可以输入控件、描述、类型、可选动作、特征图预览等 |