预测鼠标要移动的位置

我在想有没有可能使用深度学习训练一个带点“智能”的鼠标。额,你可能会问,“智能鼠标”是什么鬼?

我说的“智能鼠标”指的是计算机可以根据你以往的操作,智能预测鼠标位置和操作。例如,你打开了Google搜索,鼠标刚要往输入框上移动,计算机就根据你以往的操作,直接给你定位到输入框上。开了挂的鼠标,额,这TM才是智能计算机,有么有。

遐想:

  1. 假设我录制了n天计算机屏幕和对应的鼠标操作。
  2. 假设计算机屏幕分辨率为1366×768,那么鼠标可移动的位置有1366×768个。
  3. 监督学习+强化学习
  4. 给深度学习模型输入屏幕图像(还可以提供鼠标在此刻的向量),输出1366×768个位置对应的概率,哪个点概率最高鼠标就往哪个点移动。如果所有点概率都小于某个阀值,那么不能预测。
  5. 抛个砖先
以上纯属虚构,下面我使用一个简单的曲线拟合算法预测鼠标要移动的位置。

我选择Python语言,使用PyAutoGUI获得当前鼠标位置。

基本原理:找到一个和鼠标移动曲线相拟合的多项式。

发表评论

电子邮件地址不会被公开。 必填项已用*标注