目次
ご挨拶
おはよう世界。どうも、若林です。
最近急激に寒くなってきましたね、寒暖差に弱い私にとっては体調崩しがちな時期となりました。
余談ですが、今月の22日に誕生日が来るのですが、子供のころは「一つ大人に近づいたぞー！」ってワクワクしてたのですが、今だと「歳代わってしまったか・・・」みたいな気持ちで、年々寂しい気持ちになりつつあります。
さて、今回はMic-E-Mouseについてお話していきたいと思います。
私が分からないことを調べているときに、とあるまとめサイトを発見しました。
初めて見たときになんだそれ！って思い、調べてみたのでまとめてみました。
あくまで調べた素人ぐらいの目線でのお話となりますので、「へぇーそんなのもあるんだ」ぐらいの感覚で見ていただければと思います。
マウスで会話が聞ける新技術
Mic-E-Mouseってご存じでしょうか。先月くらいに発表された新しい技術で、もしかしたらマウスが盗聴器に変身するかもしれない技術です。
皆さんのほとんどがPCに触れる際、マウスを使っていると思います。
ですが、そのマウスが実は盗聴器になるかもしれません。
これはカリフォルニア大学アーバイン校の研究チームが開発した技術で、マウスの光学式センサーとAIを使って人の声で引き起こされる机の微細な振動をマウスのセンサーで検出して、それを音声に変換して会話を聞くのを可能にするっていう技術です。
詳しくは論文に書いてありますので、ここにある論文を見つつお話していこうと思います。
https://arxiv.org/abs/2509.13581
Mic-E-Mouseってどういう技術？
先程も少しお話ししましたが、Mic-E-Mouseとは、高性能のマウスの光学式センサーとAIやアルゴリズムで音声を聞くことができるっていう技術です。
では何故マウスで音声が聞けるの？って疑問があると思います。
その疑問の前にまず先にマウスのセンサーについて軽く説明していきます。
マウスのセンサーによる違い
まず、マウスには様々なセンサー方式があります。
機械式・光学式・トラックボール式、この他にも調べたらたくさん出てきます。
一般的なマウスが光学式となります。
光学式は、マウスの下にあるCMOSセンサーという小さなカメラと光源を使って机の表面の模様のズレを高速で追いかけているのです。
光学式にも、ブルーLED式やレーザー式等がありますが今回の題材的には、レーザー式が一番盗聴器として最適解です(？)
その理由といたしましては、レーザー式のマウスは性能が高く、ゲーミングデバイスやデザイン等の繊細な作業が必要な人たちがよく愛用しているマウスに多い傾向があります。
つまり、繊細な作業が必要という事は、それだけセンサーのDPI(解像度)が高いという事です。
マウスでどうやって音声が分かるの？
ここまで聞いても「マウスの性能がすごくても、音声なんて分からなくない？」って疑問に思うと思います。私も思いました。
冒頭でも軽くお話ししましたが、今回のMic-E-Mouseというのは、机の微細な振動で人の声が分かるようになっています。
光学センサーは先程、机の表面の模様のズレを追いかけているという話をしましたが、これに使われているCMOSセンサーは毎秒に数千枚撮影しており、撮った画像を前後で比較し、「模様がどの方向に何ピクセル動いたか」を計算します。
この模様のズレは、音や衝撃でも起きる小さな振動でも起こるため、CMOSセンサーは声だけでも振動が検出できるって仕組みです。
ここで最初の振動を音声に変換するってお話に戻ってきました。つまりこの一連の流れが振動を検知するのです。ここから音声の変換へ移っていきます。
Mic-E-Mouseってどういう動きをしてるの？
ここからはどうやってその小さな振動を音声に変換するのかをお話していきます。
といっても、論文から分かるのはあくまで手順であり、やり方ではないので前回のブログで私が出したハンズオンみたいな実際に体験とかは出来ません。というか私もやり方は分かりません。
そんなことが出来たら、あちこちスパイだらけです。
ですので軽く流れをお話ししつつといった感じでよろしくお願い致します。
ただの振動から音声になるまでのステップ
この技術には細かい手順はあると思いますが、大きく分けて4つの過程があります。
ステップ１：光学センサーで微細な振動を検出
これは先程お話しした内容通りですね。
マウスの裏にある小さなカメラと光源を使って、机の模様のズレを撮影して、振動を検知します。
今回の場合はカーソル移動ではなく、振動時系列のデータを得ることが出来ます。
ステップ２：その動きを変化として捉える
このままの生の振動データはノイズが多く、そのままでは使えません。
どういう事かと言いますと、この振動には様々な種類があります。
大きな振動、遅い振動、素早い振動等、この一連の動きはどれも別々の振動です。
これらをマウスのセンサーが変化として見ていることとなります。
つまり、振動だけでは違いは分かるけど、どれがどういう音声なのか分からない状態です。
ステップ３：音に変換する
これら全ての動作をデータを音声に再構成するための機械学習ベースの信号処理がされます。
つまり集めたデータから音の周波数成分を予測して、音声波形を再構成します。この辺りで殆ど音声としては完成してるみたいですね。
ステップ４：AIで更なる補正で解析
このままだとノイズで聞き取りにくい音声となっておりますので、AIで雑音除去や単語・フレーズを抽出してより聞き取りやすい音声にします。
この一連の動作により、実際の会話内容をある程度再現できるみたいです。
※論文の中に記載されている振動データのスペクトログラム
実験結果はどうなの？
この過程を聞いて、早く結果が知りたいという方が多いと思います。
論文を基に研究チームの実験結果を要約していきます。
音声の再構成精度
- 人間の声として聴きとれるレベルで復元
- 単語レベルなら80％前後で認識
環境による差
- 机・振動が伝わりやすいものは精度が高め
- 防振マウスパッドは精度が低め
距離や音声による影響
- マウスまで尾距離が近いほど精度が高い
- 音量が小さいと精度が低い
どうやら条件がそろえばかなり高い精度で音声に変換することが可能みたいですね。
会議室などの集団で多くの人の声が聞こえるところではかなりの制度を発揮しそうです。逆に人が少ない環境やマウスパッドを置いてると上手くデータが収集できないようです。
マウスの情報はどうやって抜き取るの？
「振動→音声変換までの過程は分かった。だけど盗聴っていうぐらいだから、相手のマウスから情報収集しないと盗聴にはならないじゃないか！」って思うかと思います。
ここからは何故この技術が盗聴技術の可能性があるって言われているのかをお話してきます。
確かに、これまで自分のマウスじゃないと出来ないだろって思います。
そもそもの話、マウスのデータを収集って言っても他人のじゃ隠れてコソコソ抜き取るなんて普通出来ません。貸して！って言っても盗聴する相手が貸してくれる間柄とは限りませんし、まず、マウスのデータを抜き取るにはマウスの改造も必要みたいです。
今回の研究チームも、実験用の改造マウスを使って行ってたみたいですしね。
では、どうやって情報を抜き取られる可能性があるのか、何個か可能性をお伝えしていきます。
方法１：改造済みのマウスでデータ収集。
これが一番現実的かもしれません(もちろんやらないですよ)
研究チームも実際自分たちのマウスをカスタムして実験に臨んだみたいです。
その他にも、マウスのファームウェアに脆弱性があったり改変されると危険みたいです。
方法２：マルウェアのインストール
迷惑メールや偽物のWebサイトを閲覧させてマルウェア感染する場合があります。
これでPC内に接続してOSのマウスイベントログを外部に送信することが出来るみたいです。
ただ、この方法は再構成する際の精度が低くなるらしく、ノイズだらけになるみたいです。
思いつく限りだとこれくらいでした。
つまりこの二つに気を付ければもし悪用する人が近くにいても対策は出来ると思います。
ですが、どちらとも現実的ではない為、相当IT知識に詳しくないと限りなく不可能に近いと思います。
今後できる対策
このお話を聞いて多少なりとも不安を抱いた方もいらっしゃると思います。
私は怖くてPCだけでなく、重要な情報はデジタル・アナログ関係なくしっかり管理して、より一層セキュリティには気を付けようと思いました。
そんな方向けに出来る備えを書き出していきます。
OSやソフトウェアは常に最新バージョンに保つ
アップデートがあるってことは限りなく低くとも、脆弱性があったということ。
万に一つの可能性を潰すためにも、自分のPC内は全て最新にしておきましょう。
Webサイトやメールの確認・インストール元の確認を徹底しよう
よく分からないところのWebサイト、ソフトウェアインストール元はインターネットの世界、どこにでもあります。
提供元が不明なWebサイトやインストールには手を出さないでおきましょう。
防振マウスパッドを使用する
もし本当にこの技術が脅威となるくらい発展するころになったら、防振マウスパッドを敷くことをお勧めします。
前述したとおり、Mi-E-Mouseは机の振動で模様のズレを認識しているため、振動を感じさせないマウスパッドを使うと良いと思います。
実験でも、この防振マウスパッドは精度が低くなっていて効果は高いと思います。
最後に
いかがだったでしょうか。
最初は「面白そうな技術あるじゃん！調べてみよー」って軽い気持ちで調べてたのですが、参考にしたサイトやブログのどれを見ても様々なやり方のセキュリティ対策を書いてくれてて、自分のセキュリティ意識・知識向上に繋がりました。
このMic-E-Mouseの実験では、研究チームも改造したマウスを使用してたらしく、市販のマウスでもかなりの高性能を要求するみたいです。
それだけ聞くと安心って思うかもしれませんが、どうやらこのMic-E-Mouseの研究で音声再構成が成功したモデルが複数あるみたいです。
もしかしたら今使っているマウスがそのうちの一つかも・・・って考えると怖いですよね。
今回ほぼ独自で調べましたので、若干相違があるかもしれませんが、ご了承ください。
それではまたどこかでお会いしましょう。
文系エンジニア見習いです。