作者您好,首先感谢您开发了这个非常好用的插件,让我能通过 DeepSeek Harness 直接操作真实浏览器并保留登录态,体验非常棒!
我实际使用中遇到一个体验上的瓶颈,想请教一下是否有改进的空间:
问题描述
目前模型只能操作 browser_snapshot 里"被编号的可交互元素"(browser_click 只接受 index),无法做到:
- 鼠标悬停(hover)展开下拉菜单:很多网站(比如超星学习通等校园平台)的菜单是需要把鼠标移上去才会展开子菜单的,这种子菜单项不会被快照识别,模型就点不到;
- 点击页面上任意位置/坐标:比如点击空白处关闭浮层、点击画布元素等,这些都无法用"编号元素"完成;
- 右键菜单等鼠标事件:同样无法触发。
可能的解决方向(抛砖引玉)
我不确定哪个更契合项目的架构,仅供作者参考:
- 方向一:在工具面新增
browser_hover(index)(对某元素 hover,用于展开下拉)和 browser_click_at(x, y)(按坐标点击),并在快照里尽量把"可展开/可悬停"的控件标记出来;
- 方向二:提供能执行任意页面 JS 的工具(类似
browser_eval/browser_exec),由模型在页面上下文里用 elementFromPoint + dispatchEvent(new MouseEvent('mouseover'...)) 等方式间接实现悬停与定点点击;
- 方向三:考虑与"油猴脚本 / Tampermonkey"配合的方案,由脚本在页面注入透明操作按钮或暴露触发点,让这些按钮进入快照编号,从而模型间接触发原本需要悬停才能展现的操作。
再次感谢作者的工作,期待您的看法,也愿意协助测试!
作者您好,首先感谢您开发了这个非常好用的插件,让我能通过 DeepSeek Harness 直接操作真实浏览器并保留登录态,体验非常棒!
我实际使用中遇到一个体验上的瓶颈,想请教一下是否有改进的空间:
问题描述
目前模型只能操作
browser_snapshot里"被编号的可交互元素"(browser_click只接受 index),无法做到:可能的解决方向(抛砖引玉)
我不确定哪个更契合项目的架构,仅供作者参考:
browser_hover(index)(对某元素 hover,用于展开下拉)和browser_click_at(x, y)(按坐标点击),并在快照里尽量把"可展开/可悬停"的控件标记出来;browser_eval/browser_exec),由模型在页面上下文里用elementFromPoint+dispatchEvent(new MouseEvent('mouseover'...))等方式间接实现悬停与定点点击;再次感谢作者的工作,期待您的看法,也愿意协助测试!