最近，专家们发现了一种新的攻击 *** 。该攻击利用视频 *** 将可观察到的身体运动与正在输入的文本联系起来，视频 *** 中输入的信息。
这项研究是由Mohd Sabra圣安东尼奥和德克萨斯大学分校Murtuza Jadliwala俄克拉荷马大学Anindya Maiti是的。他们说，只要 *** 摄像头能捕捉到目标用户的上半身动作，攻击范围就可以从视频 *** 扩展到YouTube和Twitch等待视频网站。
研究人员表示，随着越来越多的电子产品嵌入视频捕获硬件，如智能手机、平板电脑、笔记本电脑等，最近通过视觉渠道对信息泄露的威胁逐渐扩大。此外，他们还表示，攻击者的目标是利用所有记录帧上可观察到的上半身运动来推断受害者输入的私人文本。
为了实现这一目标，录制的视频被输入到基于视频的按键推断框架中，经历了三个阶段：
- 预处理：删除背景后，视频将转换为灰阶，然后使用FaceBoxes模型检测到的个人面部分割左右臂区域。
- 按钮检测：检索包含手臂动作的帧数，测量结构相似度指数(SSIM)，量化左右视频段每个连续帧之间的身体动作，识别发生按钮的潜在帧。
- 单词预测：按键帧将用于检测每个按键前后的运动特征，并通过基于字典的预测算法推断特定的单词。
换句话说，在检测到的按键帧池中，通过检测到的单词输入次数和连续输入之间手臂位移的大小和方向来推断单词。
这种位移是由计算机视觉技术测量的，称为稀疏光流，用于跟踪计时按键帧中肩膀和手臂的运动。
另外，还画了“标准QWERTY键盘上键间的方向”模板显示左右手混合的模板“打字员的手遵循理想的方向”。
然后，单词预测算法搜索最有可能的单词，它们匹配左手和右手按钮的顺序和数量，以及手臂位移方向和模板按钮之间的方向。
研究人员表示，他们在一个受控的场景中测试了20名参与者(9名女性和11名男性)，并采用了框架测试“hunt-and-peck”(这是一种不正确的输入形式，用户通常使用食指在键盘上寻找(hunt)按下位置(peck)此外，它们还针对不同的背景、 *** 摄像头模型、服装（特别是袖子设计）、键盘，甚至各种视频通话软件（如Zoom、Hangouts和Skype)测试推理算法。
研究结果表明，“hunt-and-peck”打字员和穿无袖衣服的人更容易被单词推理攻击，同时使用Logitech用户比使用相机Anivia用户单词恢复效果较高。
邀请10名参与者(3名女性，7名男性)在实验家庭设置中重复测试，成功推断91.1%的用户名，95.6电子邮件地址和%66.7%的网站，但只推断出18.9%的密码和21.1英语单词%。
研究人员说，他们的准确率比In-Lab设置一个原因是参考词典的等级排序是基于英语句子中单词的频率，而不是基于人们产生的随机单词。
模糊、像素化和跳帧可以成为一种有效的缓解策略，但视频数据可以与通话中的音频数据相结合，进一步提高按键检测能力。
由于最近的世界性事件，视频通话已成为个人和专业远程通信的新标准。然而，如果你在视频通话中不够谨慎，你可能会向通话中的其他人透露你的个人信息。在现实环境中，相对较高的按键推理精度突出了理解和采取对策的必要性。