MiuraGames LogoMiuraGames
Peek-a-Bot
Product PoC視線推定×ロボット

Peek-a-Bot

対応: 企業間交流コンテスト

Peek-a-Botとは

Peek-a-Bot は、見つめると恥ずかしがって卵の殻に隠れる、視線反応型ロボットクロックです。カメラで人の視線をリアルタイム追跡し、「時計を見ている」ことを検知すると、表情を変えながら卵の殻の中へと引っ込むインタラクティブ・ロボットです。

主な特徴:

  • リアルタイム視線追跡:MediaPipe、YuNet、OpenVINO を組み合わせた多段階の視線推定エンジン
  • 自動昇降ギミック:クロススライダー機構により、見つめられた瞬間に卵の殻の中へスムーズに沈み込む
  • 感情表現:Timeface(左目は時、右目は分を表示)による時刻表示と、多彩な表情アニメーション

感情行動の種類(全6種類):

ウルウル(寂しい)

一定時間誰とも目が合わないと、瞳をうるませて寂しそうな表情を浮かべます。

ムニャムニャ(眠い)

まぶたがゆっくりと重くなり、うとうとと居眠りをしそうな仕草を見せます。

グーグー(睡眠)

完全に目を閉じて眠りに落ち、穏やかな寝息を立てるような動作に入ります。

キャピキャピ(楽しい)

瞳を輝かせて笑顔を浮かべ、楽しい気分を全身の表情で豊かに表現します。

プンプン(怒る)

眉をつり上げて顔を赤らめるような仕草で、怒りやふてくされた表情を見せます。

キョロキョロ(警戒)

殻から少しだけ顔を出し、左右を警戒するように周囲の様子をうかがう定期行動です。

初期試作品

全体の構成やサイズ感が固まった段階で、段ボールを用いた初期モックアップを作成しました。今回は会社の同期とのチーム開発だったため、メンバー間で完成イメージや機構の共通認識をすり合わせ、スムーズに意思疎通を図るためのプロトタイプとして活用しました。

Peek-a-Bot 初期試作品 Mock1
初期試作品 Mock1 — 段ボールによる卵型筐体と基本サイズ感の検証

クロススライダー機構

Peek-a-Bot クロススライダー機構の設計図
クロススライダー機構:モーターの回転運動を垂直昇降スライド運動に変換する機構設計

Peek-a-Bot の最大の特徴は、「視線を感じた瞬間に卵の殻の中へと逃げ隠れる」上下昇降ギミックです。このメカニズムは、DS3225 デジタルサーボの回転運動を垂直方向の直線往復運動に変換するクロススライダークランク機構により実現されています。

機構の構成:

  • DS3225 デジタルサーボ:0°〜270° の範囲で正確な角度制御が可能。GPIO18(PWM0_0)経由で Raspberry Pi 4 から制御
  • クランク機構:サーボの回転軸に取り付けたクランクアームが、スライダーを垂直方向へ押し引きすることで、ロボット頭部(ディスプレイ)の昇降を実現
  • 卵型筐体:3D プリント製。頭部の出入り経路と、機構の組み付け精度が重要

動作状態:

  • 見られていない (is_looking=False):サーボ角度 90° → ロボット頭部が卵の殻からニョキッと顔を出す
  • 見つめられた (is_looking=True):サーボ角度 270° → ロボット頭部が殻の奥へスムーズに沈み込む

視線検出パイプライン

カメラ映像フレームから顔・虹彩・頭部姿勢を検出し、時計を見ているかを高精度かつ低負荷に判定します。

📷 カメラ映像フレーム入力 (30fps)
↓ フレーム供給
1. 顔検出ステップ 高速・低負荷パイプライン
① MediaPipe FaceDetector 短距離・高速検出 (face_detection_short_range.tflite)
② YuNet ONNX 顔検出器 未検出時の高精度フォールバック (face_detection_yunet)
↓ 顔が検出されたか?
❌ 顔未検出 よそ見・通常待機 (is_looking = False) へ →
⭕ 顔検出あり ↓ 特徴点&姿勢推定へ進む
↓
2. 特徴点 & 姿勢推定 距離に応じた適応ハイブリッド判定
MediaPipe FaceLandmarker 近〜中距離

468点メッシュと虹彩位置(Iris)から高精度な視線ベクトルをダイレクト算出

OpenVINO Head Pose 遠距離モード

虹彩が見えにくい遠距離でも、頭部の3軸姿勢(Yaw / Pitch / Roll)から時計向きを判定

↓ 最終挙動への判定とアクション連動
👀 時計を見つめている! is_looking = True

恥ずかしがって卵の殻の中へ隠れる動作を発動:

  • Timeface:照れて目を細める・赤面アニメーション
  • ServoControl:サーボ角度 270°(殻の奥へスムーズに下降)
そっぽを向いている / 未検出 is_looking = False

殻から顔を出して通常待機・警戒行動:

  • Timeface:通常時刻表示(左目:時 / 右目:分)&まばたき
  • ServoControl:サーボ角度 90°(殻からニョキッと顔を出す)
Mermaid記法コードを表示
flowchart TD
    FRAME["📷 カメラ映像フレーム (30fps)"] --> DETECT{"1. 顔検出"}

    subgraph FaceDet["顔検出ステップ"]
        MP_DET["① MediaPipe FaceDetector
(短距離・高速検出)"] YUNET["② YuNet ONNX 顔検出器
(未検出時フォールバック)"] end DETECT --> MP_DET MP_DET -- 未検出時 --> YUNET DETECT -- "顔なし" --> NOT_LOOKING["is_looking = False
【通常待機・顔を出す】
・Timeface: 通常時刻表示
・Servo: 90°(殻から上昇)"] DETECT -- "顔検出あり" --> DIST_CHECK{"2. 距離判定"} subgraph FeatureEst["特徴点 & 姿勢推定"] MP_LAND["MediaPipe FaceLandmarker
(近〜中距離:虹彩位置・視線ベクトル)"] OV_HEAD["OpenVINO Head Pose
(遠距離モード:頭部3軸姿勢 Yaw / Pitch)"] end DIST_CHECK -- "近〜中距離" --> MP_LAND DIST_CHECK -- "遠距離" --> OV_HEAD MP_LAND --> GAZE_EVAL{"3. 時計を見ているか?
(視線・頭部向き判定)"} OV_HEAD --> GAZE_EVAL GAZE_EVAL -- "YES (時計を見つめている)" --> LOOKING["is_looking = True
【恥ずかしがって隠れる】
・Timeface: 照れ顔アニメーション
・Servo: 270°(殻の奥へ下降)"] GAZE_EVAL -- "NO (よそ見・視線外)" --> NOT_LOOKING

全体システム構成

Peek-a-Bot 全体システム構成図
Peek-a-Bot 全体システム構成図 — Local TCP Socket (:8765) による3モジュールの疎結合連携

Peek-a-Bot は、EyeTracking(視線推定)、Timeface(表情描画)、Servo(昇降制御) という 3 つの独立したモジュールがローカル TCP ソケット(ポート 8765)で疎結合に連携する設計となっています。

各モジュールの役割:

  • EyeTracking:カメラ入力・視線推定エンジン。MediaPipe、YuNet、OpenVINO モデル群を活用し、TCP ソケット(:8765)で視線データを配信
  • Timeface:時刻表示(左目は時、右目は分)と感情表現を行う PySide6 UI。TCP クライアントとして視線情報を受信
  • ServoControl:クロススライダークランク昇降制御と感情行動を管理。TCP クライアントとして視線データを受信してサーボを制御

まとめ

今回制作した「Peek-a-Bot」は、「予算5万円以内で、一見無駄だけれどクスッと笑えて面白いモノを作る」という企業間交流イベント「無駄モノづくりコンテスト」への参加をきっかけに開発したプロダクトです。

イベント当日の展示ブースでは、来場した高校生にロボットと目が合って隠れるギミックを実際に体験してもらったり、参加企業の方々と技術やアイデアについて語り合ったりと、非常に刺激的な交流の場となりました。

普段の開発では実用性や合理性が重視されることが多い中、こうして「純粋な面白さ」だけをとことん追求して本気でモノづくりを楽しめる機会はとても貴重で、チーム全員にとって心から楽しめる素晴らしい経験となりました。

使用技術・ライブラリ

PythonMediaPipeYuNetOpenVINOOpenCV
Interactive Web Tool

失敗ゼロのガジェット・ケーブル診断シリーズ

30秒であなたの機器にぴったりのUSB-C・充電器・SDカード・Wi-Fiルーターを自動判定。

診断ツールを試す →

あわせて見たい制作実績・プロジェクト