2026-06-27 17:54:44 +08:00

534 B
Raw Blame History

这个目录做一些python|go|rust的rpa控制自动化实验

基于desktop_mark 标注工具已完成,并且已经有了一定的视觉节点树信息

在这里测试Agent通过视觉节点树去控制电脑自动化执行

包括使用豆包VLM模型进行内容识别还有一些OCR识别

包括区域滚动、控件点击双击拖动等

agent 需要支持收到任务、读取记忆、理解需求、 执行、验证、总结经验教训、存储记忆、错误补标、重标。任务打断、打断恢复等