Skip to content

【建议】能否支持悬停下拉菜单与点击任意位置(hover / 坐标点击)? #75

Description

@naroah-u

作者您好,首先感谢您开发了这个非常好用的插件,让我能通过 DeepSeek Harness 直接操作真实浏览器并保留登录态,体验非常棒!

我实际使用中遇到一个体验上的瓶颈,想请教一下是否有改进的空间:

问题描述

目前模型只能操作 browser_snapshot 里"被编号的可交互元素"(browser_click 只接受 index),无法做到:

  1. 鼠标悬停(hover)展开下拉菜单:很多网站(比如超星学习通等校园平台)的菜单是需要把鼠标移上去才会展开子菜单的,这种子菜单项不会被快照识别,模型就点不到;
  2. 点击页面上任意位置/坐标:比如点击空白处关闭浮层、点击画布元素等,这些都无法用"编号元素"完成;
  3. 右键菜单等鼠标事件:同样无法触发。

可能的解决方向(抛砖引玉)

我不确定哪个更契合项目的架构,仅供作者参考:

  • 方向一:在工具面新增 browser_hover(index)(对某元素 hover,用于展开下拉)和 browser_click_at(x, y)(按坐标点击),并在快照里尽量把"可展开/可悬停"的控件标记出来;
  • 方向二:提供能执行任意页面 JS 的工具(类似 browser_eval/browser_exec),由模型在页面上下文里用 elementFromPoint + dispatchEvent(new MouseEvent('mouseover'...)) 等方式间接实现悬停与定点点击;
  • 方向三:考虑与"油猴脚本 / Tampermonkey"配合的方案,由脚本在页面注入透明操作按钮或暴露触发点,让这些按钮进入快照编号,从而模型间接触发原本需要悬停才能展现的操作。

再次感谢作者的工作,期待您的看法,也愿意协助测试!

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions