JPH10105310A - 身振り入力装置及びそれを含む入力装置 - Google Patents

Abstract

(57)【要約】 【課題】 首振り動作でＹＥＳ，ＮＯの対話式入力を可
能とする。 【解決手段】 この身振り入力装置は、ディスプレイ２
に表示されている質問表示に対して操作者Ｐが縦に首を
振って肯定意志を表示した時、若しくは横に首を振って
否定意志を表示した時、カメラ３が撮像する操作者の顔
面の動きから信号処理装置５がその首振り方向を縦方向
であるか横方向であるかを検出し、首振り方向が縦方向
であれば肯定の意志を示し、横方向であれば否定の意志
を示したと判断する。そしてこれらの肯定意志若しくは
否定意志の判断結果に対応してディスプレイ２に表示さ
れている表示物を異なった態様で変化させて、首振り入
力が受け付けられたことを操作者Ｐに示す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は操作者の首振り動作
を観察してその肯定意志、否定意志を自動的に判断し、
対話式入力を行う身振り入力装置及びそれを含む入力装
置に関する。

【０００２】

【従来の技術】従来、パーソナルコンピュータやワード
プロセッサ等、情報入力を行う電子機器において操作者
と対話式手続によって情報入力を行い、演算処理を行う
入力装置において、操作者の身振り動作を自動的に認識
してその肯定、否定の意志を判断し、入力処理を行うも
のとして、特開昭６２−１００８２６号公報に開示され
たものが知られている。

【０００３】この従来の身振り入力装置は、操作者の頭
部に装着して頭部の回転運動による変動を検出する手段
を備え、操作者が表示装置に表示されるシステムの質問
に対して首振り動作によって肯定、否定の意志表示を行
うことにより、その首振り動作を自動的に認識してＹＥ
Ｓ，ＮＯの入力を行うようにしたものである。

【０００４】

【発明が解決しようとする課題】しかしながら、この従
来の身振り入力装置には、操作者が肯定若しくは否定の
首振り動作をしても、システム側でどのように受け取っ
たのか操作者にリアクションする手段がなく、操作者の
行った首振り動作を肯定意志と認識したか、否定意志と
認識したか、それともいずれの認識もしなかったのかを
操作者が直ちに判断することができず、その後のシステ
ム側の動作を見てようやく、システムが操作者の首振り
動作をどのように認識したを判断できるものであった。

【０００５】本発明はこのような従来の問題点に鑑みて
なされたもので、システム側が操作者の身振り動作を自
動的に認識して肯定意志と判断した場合と否定意志と判
断した場合とで表示装置に表示される表示物を異なった
表示態様で変化させるリアクションを行わせることによ
って、操作者の身振り動作に対して正しく認識したかど
うかを操作者がその動作直後に直ちに判別することがで
きる身振り入力装置及びそれを含む入力装置を提供する
ことを目的とする。

【０００６】本発明はまた、肯定、否定の意志表示動作
に加えてアンドゥ意志表示動作をも認識することができ
る身振り入力装置及びそれを含む入力装置を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】請求項１の発明の身振り
入力装置は、各種の表示物を表示する表示手段と、前記
表示手段に対面する所定位置の操作者の顔面の動きに対
してその首振り方向を検出する首振り方向検出手段と、
前記首振り方向検出手段によって検出された首振り方向
が縦方向の場合に前記操作者が肯定の意志を示したと判
断し、前記首振り方向が横方向の場合に前記操作者が否
定の意志を示したと判断する意志判断手段と、前記意志
判断手段の肯定意志若しくは否定意志の判断結果に対応
して前記表示手段に表示されている表示物を異なった態
様で変化させる入力認識手段とを備えたものである。

【０００８】この請求項１の発明の身振り入力装置で
は、表示手段に表示されている質問表示に対して操作者
が縦に首を振って肯定意志を表示した時、若しくは横に
首を振って否定意志を表示した時、操作者の顔面の動き
から首振り方向検出手段がその首振り方向を縦方向であ
るか横方向であるかを検出し、意志判断手段が首振り方
向が縦方向であれば肯定の意志を示し、横方向であれば
否定の意志を示したと判断する。そして入力認識手段
は、これらの肯定意志若しくは否定意志の判断結果に対
応して表示手段に表示されている表示物を異なった態様
で変化させる。

【０００９】したがって操作者が表示手段に表示されて
いる質問表示に対して首振り動作によって肯定若しく否
定の意志表示を行えば、システム側がその認識結果を直
ちに表示物を相異なる表示態様で変化させるリアクショ
ンによって示すことになり、操作者は自分の首振り動作
が正しく認識されたかどうか、したがって正しく入力さ
れたかどうかを直ちに判別することができるようにな
る。

【００１０】請求項２の発明は、請求項１の身振り入力
装置において、さらに、前記操作者の顔面を撮像する撮
像手段を備え、前記首振り方向検出手段が、この撮像手
段の撮像した映像中の前記操作者の顔面の動きに対して
その首振り方向を検出するようにしたものであり、操作
者に非接触でその首振り方向を検出することによって操
作者に与える煩わしさを少なくできる。

【００１１】請求項３の発明は、請求項１又は２の身振
り入力装置において、前記意志判断手段が肯定意志と判
断した場合に前記入力認識手段が前記表示手段に表示さ
れている表示物を縦方向に変化させるようにしたもので
ある。

【００１２】請求項４の発明は、請求項１〜３の身振り
入力装置において、前記意志判断手段が否定意志と判断
した場合に前記入力認識手段が前記表示手段に表示され
ている表示物を横方向に変化させるようにしたものであ
る。

【００１３】これらの請求項３及び４の発明の身振り入
力装置では、表示手段に表示されている質問表示に対し
て操作者が日常会話における肯定、否定の意志表示動作
と同様のリアクションを表示物に起こさせて操作者にＹ
ＥＳ，ＮＯの入力認識結果を知らせる。

【００１４】請求項５の発明は、請求項１〜４の身振り
入力装置において、前記入力認識手段により変化させる
表示物がそれを見て操作者が首振り動作した表示物であ
るようにしたものであり、これによって入力認識結果に
対応して次の処理を行う前に直前に行った首振り動作が
正しく認識されたかどうか、また入力が正しいかどうか
を操作者に確認させる。

【００１５】請求項６の発明は、請求項５の身振り入力
装置において、前記入力認識手段による表示物の変化を
微動としたものであり、これによって操作者が自分の行
った入力が正しく認識されたか、またその入力が正しい
ものであるかどうかの判断を視点を大きく変えないで行
わせる。

【００１６】請求項７の発明は、請求項５の身振り入力
装置において、前記入力認識手段による表示物の変化を
その変化方向に長い形状への変化としたものであり、こ
れによって入力認識結果に対応して次の処理を行う前に
直前に行った首振り動作が正しく認識されたかどうかを
操作者の首振り方向と同じ方向に表示物が変化するかど
うかによって確認させ、また操作者にその視点を大きく
変えないで確認させる。

【００１７】請求項８の発明は、請求項１〜４の身振り
入力装置において、前記入力認識手段が変化させる表示
物が前記意志判断手段によって判断した肯定意志若しく
は否定意志それぞれに対応して新たに表示すべき表示物
であるようにしたものであり、これによって操作者に対
して自分の首振り方向そのものの認識結果と、その首振
り入力に対する応答結果が正しいかどうかを確認させ
る。

【００１８】請求項９の発明は、請求項８の身振り入力
装置において、前記入力認識手段による新たな表示物の
表示位置を、前記直前の表示物に対して縦方向若しくは
横方向に所定幅ずらせた位置とするものであり、これに
よって操作者に対して自分の首振り動作により入力した
結果が正しい選択であったかどうかを、その選択前後の
表示物を比較して確認させる。

【００１９】請求項１０の発明は、請求項８の身振り入
力装置において、前記入力認識手段が変化させる新たな
表示物の表示に際して、当該新たな表示物の一部を表示
し、そこを起点にして縦方向若しくは横方向に徐々に表
示部分を拡大していくようにしたものであり、これによ
って操作者に対して自分の首振り方向の認識結果を表示
物の拡大方向によって確認させ、その首振り入力に対す
る応答結果を新たな表示物の内容によって容易に確認さ
せる。

【００２０】請求項１１の発明は、請求項１〜１０の身
振り入力装置において、前記入力認識手段が変化させる
表示物が文字列、又は前記文字列を背景から分離して表
示するための領域としたものである。

【００２１】請求項１２の発明は、請求項１〜１０の身
振り入力装置において、前記入力認識手段が変化させる
表示物が複数の文字列、又は複数の前記文字列を背景か
ら分離して表示するための領域としたものである。

【００２２】これらの請求項１１又は１２の発明の身振
り入力装置では、操作者に対して自分の選択した質問事
項が何であったか、あるいは自分の選択した結果、次に
すべき事項が何であるかを表示物の内容から確認させ
る。

【００２３】請求項１３の発明の入力装置は、請求項１
〜１２のいずれかの身振り入力装置と、それ以外の入力
手段とを備えたものであり、操作者の首振りによる入力
操作と、それ以外の入力操作を可能とする。

【００２４】請求項１４の発明は、請求項１３の入力装
置において、前記入力手段が操作者の手操作による手段
としたものであり、操作者は必要に応じて首振り動作に
よる入力と手操作による入力とを可能とする。

【００２５】請求項１５の発明は、請求項１３又は１４
の入力装置において、前記身振り入力装置による入力と
前記入力手段による入力とで前記表示物の表示態様を異
ならせたものであり、操作者に直前の入力操作が何によ
るものであったかを容易に判断させることができる。

【００２６】請求項１６の発明は、請求項１５の入力装
置において、前記入力手段が前記表示手段の前面に取り
付けられたタッチパネルであり、当該入力手段による入
力操作時に前記表示手段に表示されている表示物のう
ち、タッチ箇所に人手の形のマークを表示する入力受付
表示手段を備えたものであり、首振り動作による入力と
タッチ操作による入力とができ、また操作者に直前の入
力操作が首振り動作によるものであったかタッチ操作に
よるものであったかを容易に判断させることができる。

【００２７】請求項１７の発明は、請求項１〜１６の入
力装置において、入力アンドゥ手段を備えたものであ
り、誤った入力操作に対するリカバリーができる。

【００２８】請求項１８の発明は、請求項１７の入力装
置において、前記首振り検出手段の検出する操作者の特
定の首振り動作を入力アンドゥと判断する入力アンドゥ
判断手段を備えたものであり、操作者の首振り動作によ
ってアンドゥ入力を行うことができる。

【００２９】請求項１９の発明は、請求項１８の入力装
置において、前記入力アンドゥ判断手段が前記操作者の
連続して２回以上の横方向の首振りによって入力アンド
ゥと判断するようにしたもので、日常会話における打消
し意志を表示する動作に相通ずる動作によってアンドゥ
指令を入力することができ、自然な動作でアンドゥ指令
が行える。

【００３０】請求項２０の発明は、請求項１〜１９の入
力装置において、前記首振り検出手段により最初の首振
り方向を検出した後、所定時間経過した後に前記入力認
識手段により前記表示物の表示を変化させ、当該表示の
変化前の入力を受け付けないようにしたもので、これに
よって相矛盾する入力を次々に認識することにより発生
するシステムの混乱を避け、首振り入力をスムーズに行
えるようにする。

【００３１】

【発明の効果】請求項１の発明によれば、操作者が表示
手段に表示されている質問表示に対して首振り動作によ
って肯定若しく否定の意志表示を行えば、システム側が
その認識結果を直ちに表示物を相異なる表示態様で変化
させるリアクションによって示すことができ、操作者は
自分の首振り動作が正しく認識されたかどうかを直ちに
判別することができる。

【００３２】請求項２の発明によれば、首振り方向検出
手段が撮像手段の撮像した映像中の前操作者の顔面の動
きに対してその首振り方向を検出するようにしたので、
操作者に非接触でその首振り方向を検出することがで
き、操作者に与える煩わしさを少なくできる。

【００３３】請求項３及び請求項４の発明によれば、表
示手段に表示されている質問表示に対して操作者が日常
会話における肯定、否定の意志表示動作と同様のリアク
ションを表示物に起こさせて操作者にＹＥＳ，ＮＯの入
力認識結果を知らせることができる。さらに、例えば、
首を縦に振った場合には横方向に変化する表示物を目で
追うのは負担が大きくなるが、この発明の場合には、首
振り方向と表示物の変化の方向が一致しているために表
示内容を目で追いやすい。

【００３４】請求項５の発明によれば、入力認識結果に
対応して次の処理を行う前に直前に行った首振り動作が
正しく認識されたかどうか、また入力が正しいかどうか
を操作者に確認させることができ、また何が動くかを画
面内で探さなくてもよくて操作者の負担を小さくでき
る。

【００３５】請求項６の発明によれば、操作者に対して
自分の行った入力が正しく認識されたか、またその入力
が正しいものであるかどうかの判断を視点を大きく変え
ないで行わせることができる。

【００３６】請求項７の発明によれば、入力認識手段に
よる表示物の変化をその変化方向に長い形状への変化と
したので、入力認識結果に対応して次の処理を行う前に
直前に行った首振り動作が正しく認識されたかどうかを
操作者の首振り方向と同じ方向に表示物が変化するかど
うかによって確認させ、また操作者にその視点を大きく
変えないで確認させることができる。

【００３７】請求項８の発明によれば、入力認識手段が
変化させる表示物が操作者の肯定意志若しくは否定意志
それぞれに対応して新たに表示すべき表示物であるよう
にしたので、操作者に対して自分の首振り方向そのもの
の認識結果と、その首振り入力に対する応答結果が正し
いかどうかを確認させることができ、また何が動くかを
画面内で探さなくてもよくて操作者の負担を小さくでき
る。

【００３８】請求項９の発明によれば、新たな表示物の
表示位置を、首振り入力直前の表示物に対して縦方向若
しくは横方向に所定幅ずらせた位置としたので、操作者
に対して自分の首振り動作により入力した結果が正しい
選択であったかどうかを、その選択前後の表示物を比較
して確認させることができる。

【００３９】請求項１０の発明によれば、入力認識手段
が変化させる新たな表示物の表示に際して、新たな表示
物の一部を表示し、そこを起点にして縦方向若しくは横
方向に徐々に表示部分を拡大していくようにしたので、
操作者に対して自分の首振り方向の認識結果を表示物の
拡大方向によって確認させ、その首振り入力に対する応
答結果を新たな表示物の内容によって容易に確認させる
ことができる。

【００４０】請求項１１及び請求項１２の発明によれ
ば、操作者に対して自分の選択した質問事項が何であっ
たか、あるいは自分の選択した結果、次にすべき事項が
何であるかを容易に確認させることができる。

【００４１】請求項１３の発明によれば、身振り入力装
置とそれ以外の入力手段とを備えているので、状況に応
じて操作者の首振りによる入力操作と、それ以外の入力
操作が可能である。

【００４２】請求項１４の発明によれば、身振り入力装
置と手入力手段とを備えているので、操作者は必要に応
じて首振り動作による入力と手操作による入力とのいず
れも行うことができる。

【００４３】請求項１５の発明によれば、身振り入力装
置による入力とその以外の入力手段による入力とで表示
物の表示態様を異ならせるようにしたので、操作者に直
前の入力操作が何によるものであったかを容易に判断さ
せることができる。

【００４４】請求項１６の発明によれば、身振り入力装
置とタッチパネルとを備え、タッチパネルによる入力操
作時には表示物のタッチ箇所に人手の形のマークを表示
するようにしたので、首振り動作による入力とタッチ操
作による入力とができ、かつ操作者に直前の入力操作が
首振り動作によるものであったかタッチ操作によるもの
であったかを表示物の表示から容易に判断させることが
できる。

【００４５】請求項１７の発明によれば、入力アンドゥ
手段を備えたので、誤った入力操作に対するリカバリー
ができる。

【００４６】請求項１８の発明によれば、首振り検出手
段の検出する操作者の特定の首振り動作を入力アンドゥ
と判断する入力アンドゥ判断手段を備えので、操作者の
首振り動作によってアンドゥ入力を行うことができる。

【００４７】請求項１９の発明によれば、入力アンドゥ
判断手段が操作者の連続して２回以上の横方向の首振り
によって入力アンドゥと判断するようにしたので、日常
会話における打消し意志を表示する動作に相通ずる動作
によってアンドゥ指令を入力することができ、自然な動
作でアンドゥ指令が行える。

【００４８】請求項２０の発明によれば、首振り検出手
段により最初の首振り方向を検出した後、所定時間経過
した後に入力認識手段により表示物の表示を変化させ、
この表示の変化前の入力を受け付けないようにしたの
で、相矛盾する入力を次々に認識することにより発生す
るシステムの混乱を避け、首振り入力がスムーズに行え
る。

【００４９】

【発明の実施の形態】以下、本発明の実施の形態を図に
基づいて詳説する。図１〜図１２は本発明の第１の実施
の形態を示している。この第１の実施の形態の入力装置
は、自動車の運転席近くのインストルメントパネルにユ
ーザと対面するように設置され、カーナビゲーションシ
ステムとして動作させる入力装置に関し、身振り入力装
置と手入力装置としてのタッチパネルとを兼備してい
る。そのハードウェアシステム構成は、タッチパネル１
が前面に取り付けられているディスプレイ２と、ドライ
バやその他のユーザＰの顔面部分を撮像するカメラ３
と、ユーザＰの眼球部分を照らす２つの照明灯４ａ，４
ｂと、これらの接続機器をコントロールする信号処理装
置５から構成されている。

【００５０】この照明灯４ａはカメラ３のレンズ中心に
画像入力と共軸系をなすように配置され、近赤外光を発
するＬＥＤであり、照明灯４ｂは照明灯４ａと同一仕様
であるが、照明灯４ａから離れた位置に設置されてい
る。

【００５１】信号処理装置５は、接続機器１〜４との間
で入出力信号のインタフェースをなす入出力インタフェ
ース部６と、中央演算処理装置７と、プログラムその他
の固定データを保存するＲＯＭや諸パラメータ、可変デ
ータを保存するＲＡＭから構成されるメモリ８を備えて
いる。

【００５２】そして中央演算処理装置７が実行する処理
機能をブロック化して示すと図２に示す構成である。す
なわち、タッチパネル１にタッチされた場合にそのタッ
チ信号を入力するタッチ入力処理部２１と、タッチ信号
に対してディスプレイ２の表示画面に対応したタッチ位
置座標を割り出し、かつそのタッチ位置に表示されてい
る表示物からタッチ入力指令を判別するタッチ位置検出
部２２と、タッチ入力指令の認識結果を操作者に知らせ
るためにタッチ表示物に対して所定のリアクション表示
を行うリアクション処理部２３を備えている。

【００５３】またカメラからの撮像信号を入力する撮像
信号入力部２４と、入力された撮像信号をディジタル画
像に変換し、後述する方法でユーザの眼球の網膜像を抽
出する画像処理部２５と、この画像処理部２５が抽出し
た網膜像の時間的な移動方向を追跡して縦横いずれの方
向に首振りされたか、首振り方向を判別する首振り方向
判別部２６と、横方向の首振りを判別した時に所定時間
内に何回首振りされたか、首振り回数を判定する首振り
回数判定部２７と、首振り方向判定、首振り回数判定結
果に基づく所定の入力認識のリアクション表示を行うリ
アクション処理部２８と、タッチ入力若しくは首振り入
力に応答して次の表示処理を行う次処理部２９を備えて
いる。

【００５４】画像処理部２５による画像処理機能は、本
願出願人の出願に係る特開平６−２７０７１１号公報に
開示され、また後述する方法が採用されている。

【００５５】次に、上記構成の入力装置の動作について
説明する。ここでは、カーナビゲーションにおける目的
地設定、経路探索機能の操作を例にして説明する。操作
者であるユーザの縦の首振りはＹＥＳを意味し、横の首
振りは１回だけであればＮＯを意味し、２回以上であれ
ば前回の入力を取り消して前画面に戻るアンドゥ指令で
あることを意味するものと設定している。

【００５６】ユーザは目的地設定機能を選択後、設定し
たい地点を地図上で確定すると、中央演算処理装置７の
動作によって、ディスプレイ２には図４に示すように、
非アクティブになった地図表示３１上に「経路を探索し
ますか？」という質問の表示物３２と「前画面」の表示
物３３とをアクティブ表示して、図３に示すフローチャ
ートの処理を行うプログラムを起動する。

【００５７】このプログラムではまず、タッチパネル１
又は首振りによる入力を許可し（ステップＳ１０１）、
ユーザＰがタッチパネル１か首振りにより入力するのを
待つ（ステップＳ１０２，Ｓ１０３）。

【００５８】いまユーザが首振り動作によって入力した
時には、その後、所定期間、首振りによる入力処理を完
了するまで次の入力を禁止した後、首振り方向と首振り
回数を判別する（ステップＳ１０４）。この首振り入力
に対する首振り方向と首振り回数の判別は、図１０及び
図１１のフローチャートにしたがって実行されるが、こ
れは後述する。

【００５９】判別した首振り方向が縦方向であった場
合、つまり「経路探索を開始しますか？」の質問表示物
３２に対してＹＥＳの入力を与えた場合、図５に示すよ
うに「経路探索を開始しますか？」の表示物３２を首振
り動作と同じく縦方向に微動させるリアクション表示を
行わせて首振り動作が受け付けられ、それがＹＥＳと判
別されたことをユーザに知らせ（ステップＳ１０５，Ｓ
２０６）、さらに次段の質問事項の表示、すなわち図６
に示すように「有料道路を優先しますか？」の表示物３
４を表示させて次入力を促す（ステップＳ１０７）。

【００６０】他方、ステップＳ１０５で首振り入力が横
方向であれば、首振り回数を判別し（ステップＳ１０
８）、１回だけであれば図４に示した「経路探索を開始
しますか？」の質問表示物３２に対してＮＯの入力を与
えたと判断し、図７に示すように「経路探索を開始しま
すか？」の表示物３２を首振り動作と同じく横方向に微
動させるリアクション表示を行わせて首振り動作が受け
付けられ、それがＮＯと判別されたことをユーザに知ら
せ（ステップＳ１０９）、続いてＮＯ入力に対応した次
画面を表示する処理を行い、図８に示すようにディスプ
レイ２に「経由地設定を行いますか？」の表示物３５を
表示させる（ステップＳ１１０）。

【００６１】ステップＳ１０８の判定で首振り回数が横
に２回以上であった時には、前画面に戻る指令が与えら
れたものとして、この場合、横方向に微動させることな
く、前画面に直接戻る処理を行う（ステップＳ１１
１）。

【００６２】次に、図４に示した「経路探索を開始しま
すか？」の表示部３２がアクティブ表示されている状態
で、ユーザＰがタッチパネル１を操作した場合、ステッ
プＳ１０２からステップＳ１１２に分岐してタッチ操作
に対するリアクション表示を行わせる。つまり、図４に
示す状態において「前画面」の表示物３３にタッチされ
たとすれば、図９に示すように「前画面」の表示物３３
を色変わりさせ、またタッチ入力であることを示す手指
マーク３６を表示し、この後、前画面の表示に移行する
（ステップＳ１１３）。

【００６３】次に、カメラ３の撮像信号に対する画像処
理部２５による首振り方向と首振り回数の判別処理手順
について図１０〜図１３に基づいて説明する。前述した
ようにこのユーザＰの首振り動作に対してそのユーザＰ
の顔面部分を照明灯４ａ，４ｂによって一定のタイミン
グで照らしながらカメラ３によって撮像し、眼球内の網
膜反射像を抽出してその位置を検出する手法は特開平６
−２７０７１１号公報に開示されている方法を採用し、
図１０のフローチャートに示す方法で行う。この方法に
ついて説明すると、まず照明灯４ａを点灯させ、他方の
照明灯４ｂは消灯状態にして（ステップＳ２０１）、カ
メラ３でユーザＰの顔面画像Ａを撮像し、ディジタル画
像に変換してメモり８に記憶する（ステップＳ２０
２）。続いて逆に照明灯４ａを消灯し照明灯４ｂを点灯
させてカメラ３で同じくユーザＰの顔面画像Ｂを撮像
し、同じようにしてメモり８に記憶する（ステップＳ２
０３，Ｓ２０４）。

【００６４】そしてこれらほぼ同時に撮像した画像Ａ，
Ｂに対して差分演算を行い、差分画像Ｃを得る（ステッ
プＳ２０５）。ここで、画像Ａは網膜からの反射光によ
り瞳孔が明るく光って観測され、画像Ｂでは瞳孔が暗く
観測され、差分画像Ｃでは瞳孔領域だけが明るく強調さ
れたものとなる。

【００６５】こうして得た差分画像Ｃに対して、あるし
きい値を設定して２値化処理を行い（ステップＳ２０
６）、さらにラベリング処理によって領域の番号付けを
行う（ステップＳ２０７）。

【００６６】差分画像Ｃの中には網膜反射像の他に、例
えば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照
明の変動で生じた顔の一部など、様々なノイズが含まれ
ている可能性がある。これらのノイズは、一般に不定形
状、かつ面積も不定であるため、あらかじめ予想される
面積の円若しくは楕円として観測される網膜反射像と識
別可能である。そこで、網膜反射像をこれらの他のノイ
ズと識別するために、ここでは領域面積による識別処理
を行い（ステップＳ２０８）、また領域形状による識別
処理を行うことによって網膜反射像だけを抽出する（ス
テップＳ２０９）。そしてこの網膜反射像に対してその
重心座標を求めて出力する（ステップＳ２１０）。

【００６７】上記の領域面積による識別処理では、ラベ
リングの結果から得られた各領域の面積Ｒｉをあらかじ
め決めておいたしきい値Ｓ１，Ｓ２（Ｓ１＜Ｓ２）と比
較して、Ｓ１＜Ｒｉ＜Ｓ２となる領域のみを抜き出す。
ここで、しきい値Ｓ１，Ｓ２はカメラ３の撮像倍率から
推定して予想される瞳孔径（直径２〜８ｍｍの瞳孔が面
積何画素の領域として観測されるか）にセットされたも
のである。これによって、眼鏡レンズ反射像も円形領域
として観測されるが、カメラ３の絞り値を絞ることによ
ってあらかじめ網膜反射像の面積よりも眼鏡レンズ反射
像の面積が小さくなるように設定しておくことにより、
反射像の領域面積によって両者を識別することができ
る。

【００６８】また領域形状による識別処理では、領域面
積による識別処理で残った領域に対して外接長方形に対
する領域面積の比率Ｆを計算する。網膜反射像は円又は
楕円形状で観測されるために、比率Ｆがある一定値Ｆth
以上であるのに対して、例えば、眼鏡フレーム反射像の
形状はフレームに沿った細長い領域となるために、領域
面積が網膜反射像に近い面積であったとしても比率Ｆが
小さくなり、網膜反射像と容易に識別することができ
る。

【００６９】このようにして画像処理部２５が求めた網
膜反射像の位置座標に対して、首振り方向判別部２６と
首振り回数判定部２７は、図１１のフローチャートに示
す処理によってユーザＰの首振り方向と首振り回数とを
判定する。それにはまず、画像処理部２５が求めた網膜
反射像の位置座標（Ｘ１，Ｙ１）を入力し（ステップＳ
３０１）、前回計測した網膜反射像の座標を初期位置
（Ｘ０，Ｙ０）として、この初期位置からの縦方向又は
横方向の位置変化が所定値を越えたかどうか判定する
（ステップＳ３０２）。ここで横方向の位置変化は｜Ｘ
１−Ｘ０｜であり、縦方向の位置変化は｜Ｙ１−Ｙ０｜
である。

【００７０】そしてこれらのいずれかが所定値を超えた
時に、ユーザＰがその方向に首振りしたと判定し、この
判定結果をメモり８に記憶しておく（ステップＳ３０３
〜Ｓ３０５）。

【００７１】続いて、所定時間Ｔ１の間、網膜反射像の
位置座標を時系列に取得し、それらをメモリ８に記憶し
ていく（ステップＳ３０６）。この時系列データは（Ｘ
ｉ，Ｙｉ）とする。ここでｉは時間指標である。

【００７２】こうしてタイミングＴ０においてユーザＰ
の最初の首振りを検出した後、所定時間Ｔ１の間、さら
にユーザＰの首振り動作を監視していて、その所定時間
のうちに網膜反射像の位置座標が初期位置（Ｘ０，Ｙ
０）に戻った回数Ｋを求める（ステップＳ３０７）。図
１２はＫ＝１の場合の網膜反射像の位置座標の変化を示
しており、図１３はＫ＝２の場合の網膜反射像の位置座
標の変化を示している。ここでＫは、しきい値｜Ｒ´｜
をそれよりも大きい方から小さい方へクロスした回数と
して求めるのである。

【００７３】こうしてＫを求め、このＫ≧１であった
時、つまり網膜反射像位置が初期位置付近に戻った場合
にのみ首振り入力があったと判定する（ステップＳ３０
８〜Ｓ３１０）。そして次回に備えて、最終の網膜反射
像位置の座標を初期位置座標（Ｘ０，Ｙ０）として記憶
する（ステップＳ３１１）。

【００７４】なお、新たに入力された網膜反射像の位置
座標（Ｘ１，Ｙ１）が前回値と大きく変化していない場
合には、新たに入力された網膜反射像の位置座標を新た
に初期位置座標（Ｘ０，Ｙ０）として記憶し、ユーザＰ
の首振り動作に対して誤動作なく反応するようにしてい
る（ステップＳ３０１，Ｓ３０２，Ｓ３１２）。

【００７５】このようにして首振り方向判別部２６でス
テップＳ３０４，Ｓ３０５の判定で首振り方向を決定
し、またステップＳ３０９によって首振り入力有りと判
定すると、続いて首振り回数判定部２７は横方向の首振
りであってＫの値が１であればユーザＰが否定意志を入
力したと判定し、横方向の首振りであってＫの値が２以
上であれば直前の入力の取り消しの意志表示をした判定
し、それらの判定結果をリアクション処理部２８に出力
する。

【００７６】そこでリアクション処理部２８が図３のフ
ローチャートにおいてステップＳ１０６，Ｓ１０９のリ
アクションを表示物３２に対して行わせ、次処理部２９
においてステップＳ１０７，Ｓ１１０若しくはＳ１１１
の表示処理を行う。

【００７７】このようにして、この第１の実施の形態に
よれば、表示物の表示している質問事項に対してユーザ
が首を縦に振れば肯定意志として認識し、また横に振れ
ば否定意志として認識し、それらの指令に応じて表示物
を展開表示させるので、装置に対してユーザが自然な形
の対話動作によって入力することができる。

【００７８】またユーザの首振り動作を自動認識すれば
ユーザが反応した質問事項を表示している表示物を首振
り方向に微小変化させることによって入力を受け付けた
ことを示すと共に首振り方向の認識結果をもユーザに知
らせるので、ユーザは自分の首振り動作が正しく認識さ
れたかどうかを容易に知ることができ、またその確認の
ために視線をほとんど移動させる必要がなく、首振り入
力動作のために要求されるユーザの負担を小さなものに
することができる。

【００７９】またさらに首振り入力と共にタッチパネル
１に対するタッチ操作によっても入力することができ、
その場合には首振り入力とは異なった態様で入力受付を
タッチした表示物の位置に所定のマーク３６で表示する
ようにしているので、タッチ操作時にもそのタッチ操作
が受け付けられたことをユーザにとって容易に知ること
ができるようになる。

【００８０】なお、第１の実施の形態において、図３の
フローチャートにおけるステップＳ１０７，Ｓ１１０で
首振り入力動作に対してＹＥＳと認識した時、またＮＯ
と認識した時それぞれのディスプレイ２上に表示物３２
の変化態様は、図１４又は図１５に示すものとすること
ができる。図１４に示すＹＥＳ入力に対するリアクショ
ンは、「経路探索を開始しますか？」の表示物３２を縦
方向の首振り動作に対応して上下方向に拡大するように
変化させることによって入力を受け付けたことを示し、
また図１５に示すＮＯ入力に対するリアクションは、同
じ表示物３２を横方向の首振り動作に対応して横方向に
拡大するように変化させることによって入力を受け付け
たことを示すようにしている。

【００８１】この第２の実施の形態の表示態様の変化に
よっても、第１の実施の形態における図５及び図７に示
す表示態様の変化と同様に、ユーザは自分の首振り動作
が正しく入力されたかどうかを容易に知ることができ、
またその確認のために視線をほとんど移動させる必要が
なく、首振り入力動作のために要求されるユーザの負担
を小さなものにすることができる。

【００８２】次に、本発明の第３の実施の形態を図１６
〜図１８に基づいて説明する。この第３の実施の形態の
特徴は、図２の機能ブロック図におけるリアクション処
理部２８が図１６のフローチャートにおけるステップＳ
１０６´，Ｓ１０９´の処理を行うようにした点にあ
り、その他の構成はすべて第１の実施の形態と共通す
る。

【００８３】すなわち、第１の実施の形態と同様に図４
に示す表示状態でユーザＰが首を縦方向に振って肯定の
意志表示をした時、図３のフローチャートと同様にステ
ップＳ１０１〜Ｓ１０５の処理を行うが、ＹＥＳに対す
るリアクションとして図１６に示すステップＳ１０６´
の処理を行い、図１７に示すようにＹＥＳに対するリア
クションとして「有料道路を優先しますか？」を表示す
る次画面の表示物３４を直前の表示物３２と共に縦に少
しずらした位置関係で展開表示させる。また図４に示す
表示状態でユーザＰが首を横方向に１回だけ振って否定
の意志表示をした時には、図３のフローチャートと同様
にステップＳ１０１〜Ｓ１０５及びステップＳ１０８の
処理を行うが、ＮＯに対するリアクションとして図１６
に示すステップＳ１０９´の処理を行い、図１８に示す
ようにＮＯに対するリアクションとしてそのＮＯ入力に
対応した次画面である「経由地を設定しますか？」の表
示物３５を直前の表示物３２と共に横に少しずらした位
置関係で展開表示させる。

【００８４】こうして、この第３の実施の形態によって
もユーザは自分の首振り動作が正しく入力されたかどう
かを容易に知ることができ、またその確認のために視線
をほとんど移動させる必要がなく、首振り入力動作のた
めに要求されるユーザの負担を小さなものにすることが
できる。

【００８５】なお、この第３の実施の形態においても、
図１６のフローチャートのステップＳ１０６´，Ｓ１０
９´におけるリアクション表示と次画面表示とを同時に
行う処理において、その表示態様をそれぞれ図１９又は
図２０のように変更することができる。この表示態様
は、ＹＥＳ入力の場合にはそのＹＥＳ入力に対応した次
処理のための表示物３４を最初はその上端部３４ａを少
しだけ出現させ、次第に下側に展開していって全体を表
示させ、またＮＯ入力の場合にはそのＮＯ入力に対応し
た次処理のために表示物３５を最初はその中央部３５ａ
だけを出現させ、次第に左右に展開していって全体を表
示させるものである。

【００８６】これによってこの第４の実施の形態におい
ても、第３の実施の形態と同様に、ユーザは自分の首振
り動作が正しく入力されたかどうかを容易に知ることが
でき、またその確認のために視線をほとんど移動させる
必要がなく、首振り入力動作のために要求されるユーザ
の負担を小さなものにすることができる。

【００８７】次に、本発明の第５の実施の形態につい
て、図２１〜図２５に基づいて説明する。この第５の実
施の形態の特徴は、図２の機能ブロック図におけるリア
クション処理部２８が図２１のフローチャートにおける
ステップＳ１０６″，Ｓ１０９″の処理を行うようにし
た点にあり、その他の構成はすべて第１の実施の形態と
共通する。

【００８８】すなわち、第１の実施の形態と同様に図４
に示す表示状態でユーザＰが首を縦方向に振って肯定の
意志表示をした時、図３のフローチャートと同様にステ
ップＳ１０１〜Ｓ１０５の処理を行うが、ＹＥＳに対す
るリアクションとして図２１に示すステップＳ１０６″
の処理を行い、図２２に示すようにＹＥＳ入力に対して
表示すべき重要度が同じレベルの表示物が複数個存在す
る場合には、ＹＥＳに対するリアクションとして並列す
る複数の表示物、ここでは例として、「有料道路を優先
しますか？」の表示物３４、「料金を優先させますか
？」の表示物３７、「所要時間を優先させますか？」の
表示物３８を上から順次、縦に並ぶように展開表示させ
る。

【００８９】そしてこの表示態様の場合、図２３に示す
ように選択項目が順番に点滅してゆき、所望の項目が点
滅した時に首を縦に振ることによってその項目を選択す
ることができ、以後、選択された項目に対応した次画面
が同じようにして展開表示されることになる。

【００９０】また逆に、図４に示す表示状態でユーザＰ
が首を横方向に１回だけ振って否定の意志表示をした時
には、図３のフローチャートと同様にステップＳ１０１
〜Ｓ１０５及びステップＳ１０８の処理を行うが、ＮＯ
に対するリアクションとして図２１に示すステップＳ１
０９″の処理を行い、図２４に示すようにＮＯ入力に対
して表示すべき重要度が同じレベルの表示物が複数個存
在する場合には、ＮＯに対するリアクションとして並列
する複数の表示物、ここでは例として、「経由地を設定
しますか？」の表示物３５と「目的地を保存しますか
？」の表示物３９を横に並ぶ形で表示させる。そしてこ
の場合、各表示物３５，３９は共にその中央部だけを少
し表示させ、その後左右に全体を展開させる形で表示さ
せることになる。なお、この横並びの表示は、表示物３
５、表示物３９を横方向に順次展開表示させる形態であ
ってもよい。

【００９１】そしてこれらの複数の選択項目に対して
も、選択項目が順番に点滅してゆき、所望の項目が点滅
した時に首を縦に振ることによってその項目を選択する
ことができることになる。

【００９２】さらに、図２２〜図２４に示す表示状態で
はタッチパネル１を用いた入力も可能であり、この場合
には、図２５に示すように選択項目に直接タッチするこ
とによってその項目を選択することができる。そしてタ
ッチ操作に対するリアクションは図９に示した第１の実
施の形態の場合と同様に、選択項目を色変わりさせると
共に手指のマーク３６を表示することによって行う。

【００９３】なお、ある入力に対応した次画面として展
開する選択項目（表示物）として、重要度が同じレベル
のものが複数個存在せず、ただ１つの表示物だけを表示
する場合には、図１４〜図２０に示した第３の実施の形
態若しくは第４の実施の形態のような表示形態で表示さ
せることができる。

【００９４】こうして、この第５の実施の形態によれ
ば、重要度が同じレベルの選択項目が複数ある場合には
それらを同時に表示させるようにしたので、画面展開操
作が少なくて済み、最終目的処理を実行させるまでの入
力手続を短時間のうちに行えるようになる。

【００９５】なお、上記の各実施の形態では、操作者の
首振り方向を検出するのに画像処理を用いたものを示し
たが、これに限定されることはなく、従来例に見られる
ような操作者の頭部にセンサを装着させ、そのセンサに
よって首振り方向を検出する構成とすることもできる。
しかしながら、撮像手段を用いて画像処理により首振り
方向を検出する構成の方が、操作者にとって非接触に首
振り方向を検出することができるので煩わしさを与えな
い利点がある。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のハードウェア構成
を示すブロック図。

【図２】上記の実施の形態の機能構成を示すブロック
図。

【図３】上記の実施の形態の首振り入力及びタッチ入力
に対する入力処理動作を示すフローチャート。

【図４】上記の実施の形態における首振り入力直前の画
面状態を示す説明図。

【図５】上記の実施の形態における縦の首振り入力に対
する画面変化の状態を示す説明図。

【図６】上記の実施の形態における縦の首振り入力に対
応した次画面の表示状態を示す説明図。

【図７】上記の実施の形態における横の首振り入力に対
する画面変化の状態を示す説明図。

【図８】上記の実施の形態における横の首振り入力に対
応した次画面の表示状態を示す説明図。

【図９】上記の実施の形態におけるタッチ入力に対する
画面変化の状態を示す説明図。

【図１０】上記の実施の形態におけるカメラが撮像した
画像から網膜反射像の位置検出を行う動作のフローチャ
ート。

【図１１】上記の実施の形態における首振り動作の検出
処理のフローチャート。

【図１２】上記の実施の形態における首振り回数１回の
場合の網膜反射像位置の時間変化を示すグラフ。

【図１３】上記の実施の形態における首振り回数２回の
場合の網膜反射像位置の時間変化を示すグラフ。

【図１４】本発明の第２の実施の形態における縦の首振
り入力に対する画面変化の状態を示す説明図。

【図１５】上記の実施の形態における横の首振り入力に
対する画面変化の状態を示す説明図。

【図１６】本発明の第３の実施の形態の首振り入力及び
タッチ入力に対する入力処理動作を示すフローチャー
ト。

【図１７】上記の実施の形態における縦の首振り入力に
対する画面変化の状態を示す説明図。

【図１８】上記の実施の形態における横の首振り入力に
対する画面変化の状態を示す説明図。

【図１９】本発明の第４の実施の形態における縦の首振
り入力に対する画面変化の状態を示す説明図。

【図２０】上記の実施の形態における横の首振り入力に
対する画面変化の状態を示す説明図。

【図２１】本発明の第５の実施の形態の首振り入力及び
タッチ入力に対する入力処理動作を示すフローチャー
ト。

【図２２】上記の実施の形態における縦の首振り入力に
対する画面変化の状態を示す説明図。

【図２３】上記の実施の形態における縦の首振り入力に
対応して表示された次画面上での首振り入力処理動作を
示す説明図。

【図２４】上記の実施の形態における横の首振り入力に
対する画面変化の状態を示す説明図。

【図２５】上記の実施の形態における縦の首振り入力に
対応して表示された次画面上でのタッチ入力処理動作を
示す説明図。

【符号の説明】

Ｐ ユーザ １ タッチパネル ２ ディスプレイ ３ カメラ ４ａ，４ｂ 照明灯 ５ 信号処理装置 ６ 入出力インタフェース部 ７ 中央演算処理装置 ８ メモリ ２１ タッチ入力検出部 ２２ タッチ位置検出部 ２３ リアクション処理部 ２４ 撮像信号入力部 ２５ 画像処理部 ２６ 首振り方向判別部 ２７ 首振り回数判定部 ２８ リアクション処理部 ２９ 次処理部 ３１ 地図表示 ３２〜３５ 表示物 ３６ マーク ３７〜３９ 表示物

Claims (20)

【特許請求の範囲】
1. 【請求項１】 各種の表示物を表示する表示手段と、 前記表示手段に対面する所定位置の操作者の顔面の動き
   に対してその首振り方向を検出する首振り方向検出手段
   と、 前記首振り方向検出手段によって検出された首振り方向
   が縦方向の場合に前記操作者が肯定の意志を示したと判
   断し、前記首振り方向が横方向の場合に前記操作者が否
   定の意志を示したと判断する意志判断手段と、 前記意志判断手段の肯定意志若しくは否定意志の判断結
   果に対応して前記表示手段に表示されている表示物を異
   なった態様で変化させる入力認識手段とを備えて成る身
   振り入力装置。
2. 【請求項２】 前記操作者の顔面を撮像する撮像手段を
   備え、 前記首振り方向検出手段が、この撮像手段の撮像した映
   像中の前記操作者の顔面の動きに対してその首振り方向
   を検出することを特徴とする請求項１に記載の身振り入
   力装置。
3. 【請求項３】 前記意志判断手段が肯定意志と判断した
   場合に前記入力認識手段が前記表示手段に表示されてい
   る表示物を縦方向に変化させることを特徴とする請求項
   １または２に記載の身振り入力装置。
4. 【請求項４】 前記意志判断手段が否定意志と判断した
   場合に前記入力認識手段が前記表示手段に表示されてい
   る表示物を横方向に変化させることを特徴とする請求項
   １〜３のいずれかに記載の身振り入力装置。
5. 【請求項５】 前記入力認識手段が変化させる表示物が
   それを見て操作者が首振り動作した表示物であることを
   特徴とする請求項１〜４のいずれかに記載の身振り入力
   装置。
6. 【請求項６】 前記入力認識手段が行わせる前記表示物
   の変化を微動としたことを特徴とする請求項５に記載の
   身振り入力装置。
7. 【請求項７】 前記入力認識手段による表示物の変化を
   その変化方向に長い形状への変化とする請求項５に記載
   の身振り入力装置。
8. 【請求項８】 前記入力認識手段により変化させる表示
   物が前記意志判断手段によって判断した肯定意志若しく
   は否定意志それぞれに対応して新たに表示すべき表示物
   であることを特徴とする請求項１〜４のいずれかに記載
   の身振り入力装置。
9. 【請求項９】 前記入力認識手段による前記新たな表示
   物の表示位置を、前記直前の表示物に対して縦方向若し
   くは横方向に所定幅ずらせた位置とすることを特徴とす
   る請求項８に記載の身振り入力装置。
10. 【請求項１０】 前記入力認識手段による前記新たな表
    示物の表示に際して、当該新たな表示物の一部を表示
    し、そこを起点にして縦方向若しくは横方向に徐々に表
    示部分を拡大していくことを特徴とする請求項８に記載
    の身振り入力装置。
11. 【請求項１１】 前記入力認識手段が変化させる表示物
    が文字列、又は前記文字列を背景から分離して表示する
    ための領域であることを特徴とする請求項１〜１０のい
    ずれかに記載の身振り入力装置。
12. 【請求項１２】 前記入力認識手段が変化させる表示物
    が複数の文字列、又は複数の前記文字列を背景から分離
    して表示するための領域であることを特徴とする請求項
    １〜１０のいずれかに記載の身振り入力装置。
13. 【請求項１３】 請求項１〜１２のいずれかに記載の身
    振り入力装置と、それ以外の入力手段とを備えて成る入
    力装置。
14. 【請求項１４】 前記入力手段が操作者の手操作による
    手段であることを特徴とする請求項１３に記載の入力装
    置。
15. 【請求項１５】 前記身振り入力装置による入力と前記
    入力手段による入力とで前記表示物の表示態様を異なら
    せることを特徴とする請求項１３又は１４に記載の入力
    装置。
16. 【請求項１６】 前記入力手段が前記表示手段の前面に
    取り付けられたタッチパネルであり、当該入力手段によ
    る入力操作時に前記表示手段に表示されている表示物の
    うち、タッチ箇所に人手の形のマークを表示する入力受
    付表示手段を備えて成る請求項１５に記載の入力装置。
17. 【請求項１７】 入力アンドゥ手段を備えて成る請求項
    １〜１６のいずれかに記載の入力装置。
18. 【請求項１８】 前記首振り検出手段の検出する操作者
    の特定の首振り動作を入力アンドゥと判断する入力アン
    ドゥ判断手段を備えて成る請求項１７に記載の入力装
    置。
19. 【請求項１９】 前記入力アンドゥ判断手段が前記操作
    者の連続して２回以上の横方向の首振りによって入力ア
    ンドゥと判断することを特徴とする請求項１８に記載の
    入力装置。
20. 【請求項２０】 前記首振り検出手段により最初の首振
    り方向を検出した後、所定時間経過した後に前記入力認
    識手段により前記表示物の表示を変化させ、当該表示の
    変化前の入力を受け付けないようにしたことを特徴とす
    る請求項１〜１９のいずれかに記載の入力装置。