JP3997392B2

JP3997392B2 - 表示装置及び表示装置の入力方法

Info

Publication number: JP3997392B2
Application number: JP2001380236A
Authority: JP
Inventors: 文昭向山
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-12-13
Filing date: 2001-12-13
Publication date: 2007-10-24
Anticipated expiration: 2021-12-13
Also published as: JP2003186596A

Description

【０００１】
【発明の属する技術分野】
本発明は様々な情報を表示する表示装置に関し、手の届かない距離から表示装置の制御を行う入力方法に関する。
【０００２】
【従来の技術】
表示パネル技術とディジタル情報化技術の進展に伴って、壁に掛けられるような薄型の表示パネルを用いた装置に配信や蓄積した情報を複数の人間で利用する環境が整いつつある。そのために表示装置は情報ソースの切り替えや、表示個所の指示といった入力操作が必要となる。
【０００３】
こうした表示装置を離れたところから空間上で制御する入力方式としては、従来はキーボードを持つリモコンが一般的であった。しかし、細かなポインティングの位置入力や複数で共用して使用される表示装置に対しては次のような理由により不都合である。
【０００４】
▲１▼ マウスによる操作のような細かな位置入力や、連続的な移動の指示はキーボードからは困難である。
▲２▼ 不特定なユーザで共用する装置では、リモコンの置き場所やその使い方を周知させることが困難である。
▲３▼ 特別な機器を手に持ったり、装着したりせずに入力の指示が行えることが望ましい。
【０００５】
上記の解決方法として人間のジェスチャーを入力手段とする方法が提案されており、その従来例を説明する。
【０００６】
図６のブロック図は特開平１０−３１５５１の例であって、表示装置制御のような高度な入力を可能にするためにジェスチャーに加えて音声認識技術を用いている。人間６１のボデーアクションを画像センサ６２で検出し、その補助手段としての音声入力手段６３を併用し、認識手段６４が操作者の意図を判別して被制御装置６５としての表示装置等を制御するよう構成している。
【０００７】
【発明が解決しようとする課題】
しかしながら上記従来例のように音声入力を用いることにより、幾つかの不都合な問題が発生する。一つ目には複数の不特定利用者に対して音声入力が他者への迷惑になってしまうことである。例えば美術館などの環境で展示物の説明を行う表示装置では大変不都合である。二つ目には騒音その他、音が既に存在している環境において自然発声による指示音声を入力装置に分別させることは大変技術的に高度で高価格となる点である。例えば、屋外や街頭に設置した場合などである。また、屋外でなくても表示装置自体に説明のための音声、音響を発生させていることの方が一般的であり、ゲーム装置の場合にも効果音等がそれに当たる。
【０００８】
更には、制御を目的として音声認識のために発声を行わせることは通常の会話と異なり、人間にとって苦痛な作業であることも大いに考慮する必要がある。
【０００９】
よって本発明は上記の問題点に鑑み、音声入力のような他の補助入力手段を用いずに、人間の身体動作にて高度な入力制御が行える表示装置及び入力方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上記の課題を解決するために、電子情報を表示せしめる表示装置本体と、人間の身体の動作を検出する画像入力手段と、該画像入力手段記画像情報から身体動作を解析する動作解析手段と、表示の制御を行う表示制御手段とを備え、
前記動作解析手段は身体動作を複数の部位の動作に分離する分離手段と、夫々の動作部位毎の動作情報を出力する動作情報出力手段とを更に有し、前記の夫々の動作情報出力を組み合わせた結果に基づいて表示の制御を行うことを特徴とする。
【００１１】
請求項１，７に記載の、このような構成によれば、身体の動作による入力のみにて高度な表示制御を行うことが可能となる。
【００１２】
また、請求項２、８に記載の本発明は、表示装置の前に立つ複数の利用者の中から入力を行う利用者を特定する方法を実現するものである。
【００１３】
また、請求項３，９に記載のように本発明においては、人間の右手と左手の動作とに対して画像情報を分離し、一方の動作情報出力が選択や移動の操作を行う選択的入力指示であり、他方の動作情報出力を少なくとも前記選択的入力指示への決定指示とすることが望ましい。
【００１４】
また、請求項４，１０に記載のように本発明においては、人間の右手又は左手による手の動作と、顔を動かす動作とに画像情報を分離し、一方の動作情報出力が選択や移動の操作を行う選択的入力指示であり、他方の動作情報出力を少なくとも前記選択的入力指示への決定指示とすることが望ましい。
【００１５】
また、請求項５、１１に記載のように本発明においては、先に顔の位置情報を抽出し、該顔の位置情報を基にして対象とする動作部位を求めて分離する方法を取ることが望ましい。
【００１６】
また、請求項６、１２に記載のように本発明においては、複数の利用者の中から入力を行う利用者の特定をするにあたって、人間の右手と左手の動作とを組み合わせたパターンであることが望ましい。
【００１７】
【発明の実施の形態】
以下に本発明の実施例を図面に基づいて詳述する。
【００１８】
図１は、本発明の実施例による表示装置の全体図である。表示装置本体１は独立したネットワーク端末としてＩＰアドレスを有し、制御回路２（図２において詳説する）、表示パネル３及び初期設定や受信アドレス等を設定する設定入力手段４から構成され、配信される電子情報の受信手段である通信インタフェースには通信回線５が接続されてインターネット網へと繋がっている。表示装置としては、屋外の表示パネルのような規模の大きいものから家庭用の小規模なものまで多様であって、それにより表示パネルの大きさも変わってくる。複数の人に共用される場合が主であるが、個人を対象としたものであっても良い。装置の形態としてはパソコンのような据え置きタイプでなく、このような壁面等に設置する形が自然である。
【００１９】
情報の形態も文字情報から、静止画、動画と多様化され、画像への音声付加も一般的に用いられる。従ってこのような情報を得る表示装置としては、常時接続によるＰＵＳＨという配信形態となる。図１では通信回線５のローカルなネットワークには監視カメラ６も接続されてネットワークシステムを成し、離れたところにある屋内又は屋外の様子を本発明の表示装置によって見ることが出来、幼児等被保護者の様子の見守りや、外部に対するセキュリティチェックその他の用途に用いられる。
【００２０】
そして、更にはインターネット網を通して７、あるいは８に代表されるコンテンツサービス情報を受信して表示する。こうしたコンテンツは、利用者の嗜好によって選択され、料金等の契約がなされたニュースやマガジン、あるいは自然風景と多様であって定期あるいは不定期に更新されて送られてきて表示装置内に蓄積される。
【００２１】
また、図１では図示していないが表示装置と同じローカルなネットワーク内にホームサーバなるサーバを設置しておき、該サーバを窓口として入手した情報を所定のフィルタ手段で選別してから表示装置へ送信したり、大容量情報はサーバ内に蓄積しておくようなネットワーク構成にしても良い。
【００２２】
９は人間の身体の動作を検出する画像入力手段で、ＣＣＤ等を用いた撮像デバイスである。
【００２３】
図２は本発明の実施例による制御回路のブロック図で、ＣＰＵ１１、内部バス１２を介して表示用コントローラであるＤ−ＣＯＮＴ１６、ビデオＲＡＭであるＶＲＡＭ１５、受信情報を複数ページ蓄積しておくページメモリであるＰＡＧＥ−ＲＡＭ１８が接続され、Ｄ−ＣＯＮＴ１６の画像等の表示データは表示パネル１７に出力されて表示される。表示パネルの方式としては薄型化の構成が可能な、液晶、ＥＬ、プラズマ表示方式等を用いることができる。
【００２４】
更に内部バスには、前記設定入力手段４のインタフェースであるＫＩＦ１９、通信インタフェースであるＣＯＭ−ＩＦ２１、本発明の制御プログラムを内蔵したＲＯＭ１３、内部メモリであるＲＡＭ１４、表示装置が有する特定の情報発生手段であるＧＥＮ２３、音声及び音響を発生するＳＰ２４、時刻情報及びタイマ処理を行うタイマであるＴＩＭ２５が接続され、続いて本発明の入力方法に深く関わる画像入力手段２８や画像入力手段の画像情報から身体動作を解析する動作解析手段ＤＩＳである２７、２７の動作部位毎の動作情報出力であるＲとＬにより表示を制御する命令を形成するコマンド発生手段２６、特定の比較パターンを記憶したパターンメモリ２９より構成されている。
【００２５】
動作解析手段２７はＣＰＵプログラム内に格納されたアルゴリズムにより身体動作を複数の部位の動作に分離し、夫々の動作部位毎の動作情報ＲとＬを出力する。Ｒ、Ｌは、例えば右手と左手の動作情報、或いは右手と顔の上下左右の向き、更には、右手と左手と顔の上下左右の向きといった３つの部位としても良い。そして、こうした解析の処理時間を速めるためには専用のＩＣや専用のＣＰＵを割り当てても良い。なお、本発明で用いている手の動作の定義は、手の平や指といった狭い意味でなく、腕から先の部位として広く定義している。
【００２６】
コマンド発生手段２６は動作情報出力Ｒ、Ｌの組み合わせを用いて表示回路の制御を行う。特に初期制御のような特定の制御には組み合わせた結果を一つのコマンドとするが、途中の複雑な制御のためには夫々の動作情報出力Ｒ、Ｌ等に対して異なる種類の制御指示を割り当てる。例えば、異なる制御指示として一方の動作情報出力が選択や移動の操作を行う選択的入力指示であり、他方の動作情報出力を少なくとも前記選択的入力指示への決定指示とする。また異なる制御指示への考え方として表現を変えれば、一方を直接的な操作への指示、他方をその直接的な指示に対しての決定、終了、中断といった主従的な組み合わせの関係としても良い。
【００２７】
パターンメモリ２９は前記初期制御のような特定の制御のために、動作を組み合わせた結果を一つのコマンドとする比較パターンを格納しておくメモリである。例えば複数の利用者から一人を選ぶ選択時や、特定の機能の制御を開始するための場合などに適用する。具体的な身体動作としては右手と左手による特定の形などとするのが自然である。
【００２８】
２３のＧＥＮは表示装置自身による特定情報発生手段であって、受信情報の到来前や受信情報を表示し尽くしたときなどのベースの表示情報として使用する。例えば、時刻表示を針式アナログ時計表示の画像デザインで、壁掛け時計の如く表示させておくことができる。
【００２９】
ＫＩＦ１９は設定入力手段のキーボードであるＫＢ２０に接続されており、２０は表示装置の初期設定並びに受信を選択する情報先の設定などを行う。本発明はこうした初期的な設定に加えて、個々の受信情報に対しての優先ランクの設定なども行う。優先ランクにより複数の情報を受信して同時に表示したい情報が複数あったときに、表示装置自身がそのランク情報に基づき表示の方法や順序等を処理し、かつ利用者が見るにあたっても適切な情報掲示を行うことができる。
【００３０】
通信インタフェース２１は通信伝送手段２２に接続されている。そして２２は電話線やＬＡＮケーブルに限定されず、無線によるワイヤレス方式、或いは電灯線を用いた通信方式などにより本発明の表示装置を構築できる。特に電灯線通信方式を用いることにより、表示装置に要する電源供給を電灯線コンセントから取る経路と共用ができるのでケーブル等の敷設を必要とせずに設置が大変容易であり、無線における場合のように周波数資源による端末収容数の問題や電波遮蔽物などを気にしなくても良い。
【００３１】
図３は本発明の実施例における身体の動作解析と制御指令形成のフローチャートである。操作事例としては左右の手を用いて、表示されている被操作対象に対し、移動や選択を行う場合である。
【００３２】
まず、Ｓ―３１で画像入力手段より出力された画像の中に人間が存在するかの解析と検出を行う。存在が検出された場合には、Ｓ―３２の処理によって右手の動作と左手の動作に分離した解析出力を得る。
【００３３】
次にＳ―３３では制御の開始を示している身体の動作指示であるかの検出を行う。この場合は右手と左手を組み合わせて一体化した動作そのものを開始の指示としても良いし、あるいは左手のみが開始を指示するものとしても良い。
【００３４】
制御の開始が指示されると、Ｓ―３４において右手の動作に追従して表示画面中の被操作対象に対し移動や選択が行われる。具体的には、カーソルの移動であったり、画像中の特定部分の移動であったり、画面全体のページ送りであったり、画像中に現れたリストの中から特定の指示や文字を選択していく操作である。
【００３５】
また、Ｓ―３４と並行してＳ―３５によって左手の動作を監視し、特定パターンの有無を検出する。左手が操作の決定を表す動作を指示場合には、そのときの右手によって指示された移動量や選択を結果を確定する。左手の動作が決定を表すまでは右手の位置が示す指示に基づく移動・選択を継続する。これは人間にとって極めて指示をし易い手を用いて＋方向と−方向のどちらもアナログ的に二次元上で指示できるためヒューマンインタフェースとして大変優れている。なお、手の検出部位としては手の平としても良いし、肘の角度や腕そのものの角度であっても良い。
【００３６】
Ｓ―３６はＳ―３５の検出に基づき具体的な確定処理を行い、表示装置の制御ルーチンにコマンドを発行する。
【００３７】
図４は本発明の実施例における身体の動作と操作の関係を例示する表示形態図である。図中の４Ａは人間の動作を示し、表示装置に向かって左手を略直角に右手を伸ばした状態を示している。
【００３８】
４Ａは制御の開始を指示する動作を示しており、図のように両手がある形を示す状態を開始の指示としているが、左手の動作のみで表しても良い。制御が開始された後は具体的な制御操作となって４Ｂ、４Ｃに表されている動作へと移行する。図４の右側にある４Ｂ１、４Ｃ１、４Ｃ２は制御操作のモードになった以降の表示装置の画面状態を表す。
【００３９】
４Ｂは右手４１の位置により画面状態４Ｂ１にカーソル４３が出現し、手の先端である４１に追従して移動する関係を示している。また、４３はカーソルでなくても表示画面上の構成部品を対象とすることもできる。
【００４０】
４Ｃは右腕４２の角度を用いて画面状態４Ｃ１に表示させた選択リスト４４を上下に移動させる関係を示している。また４Ｃ２は、画面４Ｃ２の表示隅に表示させたページ表示部４５を、腕角度４２の上下動作がページ送りとページ戻しを移動指示している関係を示している。
【００４１】
上記の表示形態図における右手と左手の関係は限定されるものではなく、逆であっても構わない。また、手の動作でなく、手と顔の動作としても人間にとって制御しやすい動作部位である。顔の動作としては上下方向、左右方向ともに有用である。
【００４２】
４Ｚは移動や選択を決定した場合にその指示を行う動作を示している。図の例では左手４６が曲げ状態から水平状態になったことで制御の内容を決定したことの指示を表している。本発明では複雑な移動や選択と、決定動作を人間の異なる部位の動作をセレクト／セット方法に対応させるようにしたことによって複雑、高度な制御を人間にとって極めて容易に操作できる動作に置き換えて実現している。そして、手の握り方や指といった細かな動作でなく、腕等による出来るだけ大きな動作を用いていることにより表示装置が遠くからでも判別し易く、誤判断を起こさないようにしている。
【００４３】
本発明は利用者が表示装置と距離がある場合の表示制御が主目的であるが、人間が他の操作のためにキーボードを操作できない場合の用途にも有効であることは言うまでもない。この点に関しては、表示装置との距離が近い場合においてもキーボードを付けにくい構成やキーボートを排してより簡単なヒューマンインタフェースを実現する場合にも適している。
【００４４】
また、本発明の上記の構成は人間の動作を平面的に検出しているため、画像の入力手段としては一つのセンサで単純に平面入力するだけで良く、特別な装置を必要としない。身体動作の入力方法としては手の動作を平面の動きと前後の動きに分離する方法も考えられるが、その場合には二つの画像入力手段が必要になって装置が複雑になってしまう。また、三次元的要素が入ってくると利用者が制御可能な位置や角度も制限され実用性が低下してしまう。
【００４５】
図４に記載している４Ｘは複数の人間が表示装置の前に立っていたときに、制御しようとした利用者の特定化とそれを表示装置が識別するための動作パターンを示している。４Ｘの例では右手と左手を共に略直角に曲げた状態で特定化パターンを指示している。４Ｘに限定されるものではないが、出来るだけ意図的な動作であって、表示装置にも回りの他の人間にも識別し易い動作パターンであることが望ましい。
【００４６】
図５は本発明の実施例によるフローチャートの一部で、特に身体の部位を識別する部分を示している。
【００４７】
まず、Ｓ―５１で目、鼻、口等による人間の顔の特徴により顔の識別とその位置を抽出する。次にＳ―５２で顔の外形を識別し、Ｓ―５３で顔の向きを判別する。従って、顔の位置、向き、外形から腕や手の画像が存在する距離や範囲が推定できるので、それに基づいた予想範囲と実画像の輪郭パターンより効率的に目的とする部位の形や動作を求めることができる。
【００４８】
【発明の効果】
以上説明したように本発明によれば、情報を掲示する表示装置において、人間の身体動作のみの操作で高度な表示の制御が可能にすることができる。
また、本発明によれば、複数の利用者に情報を掲示する表示装置において、利用者を特定化し、その利用者による身体動作で高度な表示の制御が可能になる。
【００４９】
【図面の簡単な説明】
【図１】本発明による表示装置の実施例を示す全体図である。
【図２】本発明による表示装置の実施例を示す制御回路のブロック図である。
【図３】本発明による表示装置の実施例のフローチャートである。
【図４】本発明による表示装置の実施例の表示形態図である。
【図５】本発明による表示装置の部分フローチャートである。
【図６】従来例のブロック図である。
【符号の説明】
１・・表示装置本体
２・・制御回路
３、１７・・表示パネル
５・・通信回線
６・・監視カメラ
７、８・・コンテンツサービス情報の送信元
９・・画像入力手段
１６・・表示用コントローラ
１８・・ページメモリ
２１・・通信インタフェース
２２・・通信伝送手段
２３・・特定の情報発生手段
２６・・コマンド発生手段
２７・・動作解析手段
２８・・画像入力手段
２９・・パターンメモリ

Claims

電子情報を表示せしめる表示装置本体と、人間の身体の動作を検出する画像入力手段と、該画像入力手段記画像情報から身体動作を解析する動作解析手段と、表示の制御を行う表示制御手段とを備えた表示装置において、
前記動作解析手段は、
身体動作を複数の部位の動作に分離する分離手段と、
夫々の動作部位毎の動作情報を出力する動作情報出力手段と、
前記動作部位毎の動作情報出力を組み合わせた結果が予め設定した特定のパターンであった場合には、該特定パターンを発生させた画像発生者を表示の制御者として決定して、決定された制御者について前記動作部位毎の動作情報出力を組み合わせた結果が制御開始動作に該当するか否かを検出し、制御開始動作検出後に、分離された一方の動作情報の出力に基づき選択的入力指示動作を検出するとともに分離された他方の動作情報の出力に基づき決定指示動作を検出して、制御指令を生成して出力する制御指令生成手段を、を含み、
前記表示制御手段は、
前記制御指令に基づき、決定された制御者について制御開始動作検出後に、決定された制御者の選択的入力指示動作に基づき表示装置の電子情報の選択や移動の制御指令を行い、決定された制御者の決定指示動作に基づき、選択入力指示で指示された選択や移動の制御指令の確定処理を行うことを特徴する表示装置。
前記分離手段は、人間の右手と左手の動作とに対して画像情報を分離し、一方の動作情報出力が選択や移動の操作を行う選択的入力指示であり、他方の動作情報出力を少なくとも前記選択的入力指示への決定指示とすることを特徴する請求項１に記載の表示装置。
前記分離手段は、人間の右手又は左手による手の動作と、顔を動かす動作とに画像情報を分離し、一方の動作情報出力が選択や移動の操作を行う選択的入力指示であり、他方の動作情報出力を少なくとも前記選択的入力指示への決定指示とすることを特徴する請求項１に記載の表示装置。
前記動作部位分離手段は、先に顔の位置情報を抽出し、該顔の位置情報を基にして対象とする動作部位を求めて分離することを特徴する請求項１ないし３のいずれかに記載の表示装置。
前記特定のパターンは、人間の右手と左手の動作とを組み合わせたパターンであることを特徴する請求項１記載の表示装置。
画像入力手段により人間の身体の画像を検出する第１のステップと、
該画像情報を身体の部位に分離し、各部位ごとの動作として動作情報を出力する第２のステップと、
前記動作情報出力を組み合わせた結果が予め設定した特定のパターンであることを検出した場合に、該特定パターンを発生させた画像発生者を表示の制御者として決定し、決定された制御者について、前記動作部位毎の動作情報出力を組み合わせた結果が制御開始動作に該当するか否かを検出し、制御開始動作検出後に、分離された一方の動作情報の出力に基づき選択的入力指示動作を検出するとともに分離された他方の動作情報の出力に基づき決定指示動作を検出して、制御指令を生成し、表示制御手段へ出力する第３のステップと、
前記制御指令に基づき、決定された制御者について制御開始動作検出後に、決定された制御者の選択的入力指示動作に基づき表示装置の電子情報の選択や移動の制御指令を行い、決定された制御者の決定指示動作に基づき、選択入力指示で指示された選択や移動の制御指令の確定処理を行う第４のステップとを有することを特徴とする表示装置の入力方法。
前記第２のステップにおいて、人間の右手と左手の動作とに対して画像情報を分離して夫々の動作情報を出力し、
前記第３のステップにおいて、一方の動作情報出力が選択や移動の操作を行う選択的入力指示であり、他方の動作情報出力を少なくとも前記選択的入力指示への決定指示とすることを特徴する請求項６に記載の表示装置の入力方法。
前記第２のステップにおいて、人間の右手又は左手による手の動作と顔を動かす動作とに対して画像情報を分離して夫々の動作情報を出力し、
前記第３のステップにおいて、一方の動作情報出力が選択や移動の操作を行う選択的入力指示であり、他方の動作情報出力を少なくとも前記選択的入力指示への決定指示とすることを特徴する請求項６に記載の表示装置の入力方法。
前記第２のステップにおいて、先に顔の位置情報を抽出し、該顔の位置情報を基にして対象とする動作部位を求めて分離することを特徴する請求項６ないし８のいずれかに記載の表示装置の入力方法。
前記第３のステップにおいて、前記特定のパターンは、人間の右手と左手の動作とを組み合わせたパターンであることを特徴する請求項６記載の表示装置の入力方法。