WO2007088939A1

WO2007088939A1 - 情報処理装置

Info

Publication number: WO2007088939A1
Application number: PCT/JP2007/051716
Authority: WO
Inventors: Tomohiro Terada; Atsushi Yamashita; Takuya Hirai
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2006-02-03
Filing date: 2007-02-01
Publication date: 2007-08-09
Also published as: US20090002342A1; JPWO2007088939A1; CN101375235A; EP1980935A1; CN101375235B

Abstract

　デュアル・ビュー表示機能をもつ表示装置において、操作を行うユーザには直感的な操作感を提供しつつ、操作をしないユーザに対しては視認性を向上させることが可能な情報処理装置を提供する。左画像と右画像とを同時表示する表示部（１６）と、操作を受け付ける操作部（１２）と、操作を行う手を撮像する撮像部（１３）と、撮像された画像から操作を行う手を表す手画像を生成する手画像生成部（１０１）と、操作を行う手が左手か右手かを判定する操作手判定部（１０２）と、視認している画像が左画像か右画像かを判定する画像判定部と、右画像を視認していると判定されたとき、左画像と、手画像が重畳された右画像とを表示するとともに、右画像上の位置に対応する処理を実行し、左画像を視認していると判定されたとき、右画像と、手画像が重畳された左画像とを表示するとともに、左画像上の位置に対応する処理を実行する実行処理部（１０４）とを備える。

Description

明細書

情報処理装置

技術分野

[0001] 本発明は、情報処理装置に関し、より特定的には、デュアル 'ビュー表示された画像情報をもとにユーザによって操作された情報や命令に応じて、処理を行う情報処理装置に関する。

背景技術

[0002] 一般に知られているデュアル 'ビュー表示機能をもつ表示装置は、異なる視野角方向それぞれに対して画像を同時表示することができる。これにより、ユーザの視点位置によって異なる画像を表示することもできる (例えば特許文献 1参照)。特許文献 1 では、液晶表示パネルの前面にパララックスノリアを設置することで、ユーザの視点位置によって異なる画像を表示するデュアル 'ビュー表示を実現している。

[0003] ここで、表示された画像情報をもとにユーザが操作した情報に応じて処理を行う方法としては、タツチパネルを用いる方法が挙げられる。具体的には、タツチパネルを表示装置の画面上に設置する。ここで、画面に表示された GUI (Graphical User In terface)には、メニューやボタンスィッチに代表される表示部品（以下、 GUI部品と称す）が含まれる。ユーザは、タツチパネルを介して、画面上で所望の GUI部品に触れることによって、その GUI部品に関連付けられた命令や情報を入力することができる。このようにタツチパネルが画面上に設置されることで、ユーザに対し直感的な操作感を提供することができる。

[0004] し力しながら、デュアル 'ビュー表示機能をもつ表示装置では、ユーザの視点位置によって異なる画像が表示される。つまり、デュアル 'ビュー表示機能をもつ表示装置は、それぞれ独立した画像を各視点位置のユーザに表示するものである。したがつて、上述したように画面上に設置したタツチパネルを用いて入力を行う場合、処理装置側では、どの視野角方向に表示された画像に対して入力が行われたかが区別できな、ため、適切な処理ができな、と、う課題があった。

[0005] この課題を解決するために、異なる画像間において GUI部品を重畳しないように表示する方法が提案されている（例えば特許文献 2参照)。つまり、上述したように画面上に設置したタツチパネルを用いて入力を行っても、 GUI部品が異なる位置に表示されるので、どの視野角方向に表示された画像に対して入力されたかを区別することができ、各視点位置に対して適切な処理を行うことができる。

特許文献 1 :特開 2003— 177357号公報

特許文献 2：特開 2005 - 284592号公報

発明の開示

発明が解決しょうとする課題

[0006] ここで、 GUI部品を重畳しな、ように表示する方法では、上述したようにユーザは画面上に設置されたタツチパネルを用いて入力操作を行う。したがって、一方の視点位置に、るユーザが操作を行うとき、ユーザの操作する手が他方の視点位置に表示される画像を遮ってしまうことなる。このように、異なる画像間において GUI部品を重畳しな、ように表示する方法では、画面上に設置されたタツチパネルを用いて入力操作を行うので、操作するユーザに対しては直感的な操作感を提供することはできるが、操作をしないユーザに対しては視認できなくしてしまうという問題があった。

[0007] また、 GUI部品を重畳しないように表示する方法では、どの視野角方向に表示された画像に対して入力されたかを区別するために、 GUI部品を異なる画像間で重畳しない位置に配置する必要がある。ここで、 GUI部品は、ユーザの入力をより簡易的にする役割を果たしている。そのため、上述した従来の方法では、 GUI部品を異なる画像間で重畳しない位置に配置する必要があるため、 GUI部品を各画像上、最適な位置に配置することに制約があった。つまり、一方の視野角方向に表示された画像に対しては GUI部品をユーザがより入力し易い最適な位置に配置することができても、他方の視野角方向に表示された画像に対しては必ずしも最適な位置に配置することができな!/、と!/、う問題があった。

[0008] それ故に、本発明は、デュアル 'ビュー表示機能をもつ表示装置を用いる場合であつても、操作を行うユーザには直感的な操作感を提供しつつ、操作をしないユーザに対しては視認性を向上させることが可能な情報処理装置を提供することを目的とする。または、本発明は、異なる視野角方向にそれぞれ表示された各画像に対して GUI部品を最適な位置に配置して、ユーザの入力をより直感的、簡易的にすることが可能な情報処理装置を提供することを目的とする。

課題を解決するための手段

[0009] 本発明は、ユーザの操作に応じて処理を行う情報処理装置を前提として、る。本発明は、表示面に向力つて左の視野角方向力視認可能な左画像と表示面に向かつて右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザが表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、操作部に対してユーザが操作を行う手を撮像する撮像部と、撮像部によって撮像された画像カゝらユーザの操作を行う手を表す手画像を生成する手画像生成部と、操作部に対してユーザが操作を行う手が左手カゝ右手かを判定する操作手判定部と、操作手判定部の判定結果に基づヽて、操作を行うユーザが視認してヽる画像が左画像か右画像かを判定する画像判定部と、画像判定部において右画像を視認していると判定されたとき、左画像と、手画像が重畳された右画像とを表示するとともに、操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、画像判定部にぉヽて左画像を視認してヽると判定されたとき、右画像と、手画像が重畳された左画像とを表示するとともに、操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える。

[0010] また、操作手判定部は、手画像生成部にお!ヽて生成された手画像に基づ!ヽて、ュ一ザの操作を行う手が左手力右手かを判定することが好ましい。

[0011] また、ユーザの操作を行う手に装着された IRタグ力もつ識別情報を読み取る識別情報読取部をさらに備え、操作手判定部は、識別情報読取部において読み取られた識別情報に基づいて、ユーザの操作を行う手が左手力右手かを判定することが好ましい。

[0012] また、実行処理部は、操作手判定部において左手と判定されたとき、表示すべき左画像を右画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させることが好ましい。

[0013] また、実行処理部は、操作手判定部にお!ヽて左手と判定されたとき、右画像に含まれる GUI部品を左画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、左画像に含まれる GUI部品を右画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させることが好まし、。

[0014] また、実行処理部は、操作手判定部において左手と判定されたとき、右画像と手画像とを半透明にして左画像に重畳して表示させるとともに、手画像を右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、左画像と手画像とを半透明にして右画像に重畳して表示させるとともに、手画像を左画像に重畳して表示させることが好ましい。

[0015] また、実行処理部は、操作手判定部において左手と判定されたとき、表示すべき右画像に前記手画像を重畳して表示させるとともに、左画像に手画像の指先の位置を表す画像を重畳して表示させ、操作手判定部において右手と判定されたとき、表示すべき左画像に手画像を重畳して表示させるとともに、右画像に手画像の指先の位置を表す画像を重畳して表示させることが好ま、。

[0016] また、実行処理部は、操作手判定部において左手と判定されたとき、左画像に含まれる画像のうち、操作部にお 1ヽて指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、操作手判定部において右手と判定されたとき、右画像に含まれる画像のうち、操作部にお！ヽて指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することが好ましい。

[0017] また、左画像および前記右画像には、表示が同じ GUI部品が含まれており、左画像の GUI部品および前記右画像の GUI部品には、それぞれ異なる処理が関連付けられていることが好ましい。

[0018] また、操作部は、 GUI部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザ力も受け付け、実行処理部は、関連付け操作が行われたときに操作手判定部が左手と判定したとき、当該関連付け操作によって関連付けられる GUI部品を左画像に重畳して表示させ、関連付け操作が行われたときに操作手判定部が右手と判定したとき、当該関連付け操作によって関連付けられる GUI部品を右画像に重畳して表示させることが好まし、。

発明の効果

[0019] 以上のように、本発明によれば、操作を行うユーザが視認してヽる画像が左画像か右画像かを判定し、右画像のときは手画像を右画像に重畳し、左画像のときは手画像を左画像に重畳して表示する。つまり、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。また、このとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル 'ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなぐ視認性を向上させることができる。

図面の簡単な説明

[0020] [図 1]図 1は、本発明に係る情報処理装置が行う処理の概略を説明するための図である。

[図 2]図 2は、撮像部 13が操作部 12付近を撮像してヽる様子を示す図である。

[図 3]図 3は、本発明に係る情報処理装置の構成を示す図である。

[図 4]図 4は、本発明に係る情報処理装置の処理の流れを示すフローチャートである

[図 5]図 5は、本情報処理装置の処理による表示を模式的に示した図である。

[図 6]図 6は、右手左手判定処理の詳細な処理の流れを示すフローチャートである。

[図 7]図 7は、右手左手判定処理方法を模式的に示した図である。

[図 8]図 8は、 3D表示および 2D表示間で処理を行う様子を示した図である。

[図 9]図 9は、実行処理部 104が同じ 2D表示間であって縮尺が異なる画像間で処理を行う様子を示した図である。

[図 10]図 10は、ユーザ 21が押下した画像 A上の建物 Tが画像 B上に表示されていない場合に実行処理部 104が画像 Bの縮尺を変える様子を示した図である。

[図 11]図 11は、一連の操作を実行するためのショートカットを操作者力ゝら非操作者に移動させる様子を示した図である。 [図 12]図 12は、画像 Aおよび画像 B上に設定された移動エリアの一例を示す図である。

[図 13]図 13は、助手席のユーザ 21がオーディオ画面上での操作方法が分力ず、ヘルプボタンを押下して、る様子を示した図である。

[図 14]図 14は、ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ 22が操作方法を教授してヽる様子を示す図である。

[図 15]図 15は、図 14に関する他の例を示す図である。

[図 16]図 16は、図 14に関する他の例を示す図である。

[図 17]図 17は、図 14に関する他の例を示す図である。

[図 18]図 18は、撮像部 13が操作面の下方に配置された例を示す図である。

[図 19]図 19は、撮像部 13を 2台で構成した図である。

[図 20]図 20は、撮像部 13で撮像される操作部 12付近の画像 13gの一例を示す図である。

符号の説明

[0021] 11 画像ソース

12 操作部

13 撮像部

14 制御部

15 表示部用制御部

16 表示部

101 手画像生成部

102 右手左手判定部

103 手画像重畳部

104 実行処理部

21 助手席のユーザ

22 運転席のユーザ

発明を実施するための最良の形態

[0022] 本発明に係る情報処理装置について具体的に説明する前に、図 1を参照して、本発明に係る情報処理装置が行う処理の概略を説明する。図 1は、本発明に係る情報処理装置が行う処理の概略を説明するための図である。

[0023] 図 1では、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。車の助手席にはユーザ 21が、運転席にはユーザ 22がそれぞれ座っている。表示部 16は、デュアル 'ビュー表示機能を有するディスプレイであり、助手席のユーザ 21側には画像 Aを表示している。図 1では画像 Aとして GUI部品 Aを含む画像が表示されている。一方、表示部 16は、運転席のユーザ 22側には、画像 Aとは異なる画像 Bを表示している。図 1では画像 Bとして地図情報が表示されている。また助手席のユーザ 21と運転席のユーザ 22との間には、例えばタツチパネルで構成された操作部 12が横倒しにして設置されている。助手席のユーザ 21は、この操作部 12 上で右手 21HRを使って操作を行っている。また図 2に示すように、操作部 12はカメラなどの撮像部 13によって撮像されているとする。撮像部 13は、車の天井などに設置されている。図 2は、撮像部 13が操作部 12付近を撮像している様子を示す図である。

[0024] ここで、例えば助手席のユーザ 21が、画像 Aを見ながら GUI部品 Aを押下して GU I部品 Aに関連付けされた処理を行いたいとする。この場合、助手席のユーザ 21は、右手 21HRを使って操作部 12上で操作を行い、画像 A上の位置を指定する。このとき、本発明に係る情報処理装置の処理によって、画像 Aには撮像部 13で撮像された助手席のユーザ 21の右手画像 21SRが重畳される。そして、助手席のユーザ 21は、重畳表示された自身の右手画像 21SRを見ながら、操作部 12上の右手 21HRを動力して画像上の GUI部品 Aを押下することができる。一方、運転席のユーザ 22側の画像 Bには、助手席のユーザ 21の右手画像 21 SRは重畳されない。

[0025] このように、本発明に係る情報処理装置では、表示部 16の画面上にタツチパネルを設置する代わりに、助手席のユーザ 21の右手画像 21SRを画面上に表示する。これにより、操作する助手席のユーザ 21に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置では、操作しない運転席のユーザ 22側には、操作する助手席のユーザ 21の右手画像 21SRは表示されない。これにより、デュアル'ビュー表示機能をもつ表示部を用いる場合であっても、操作する助手席のユーザ 21の右手 HR自体が運転席のユーザ 22の邪魔になることはなぐ視認性を向上させることができる。

[0026] 以下、図 3を参照して、本発明に係る情報処理装置について具体的に説明する。

図 3は、本発明に係る情報処理装置の構成を示す図である。図 3において、本発明に係る情報処理装置は、操作部 12、撮像部 13、制御部 14、表示部用制御部 15、および表示部 16を備える。なお、画像ソース 11Aおよび画像ソース 11Bは、異なる視点位置にいるユーザに対してそれぞれに表示される画像を出力するソースである。画像としては、例えばテレビ受信による画像、 AV機器などの再生機器で再生される画像などが挙げられる。また以下、説明のために、画像ソース 11 Aから出力される画像を画像 Aとし、画像ソース 11Bから出力される画像を画像 Bとする。また以下では、画像 Aは表示部 16に向力つて左側の視野角方向（以下、単に左側方向と称す）に表示される画像とし、画像 Bは右側の視野角方向（以下、単に右側方向と称す）に表示される画像として説明する。

[0027] 操作部 12は、表示された画像上の位置をユーザが指定する操作を受け付ける。つまり操作を行うユーザ (以下、操作者と称す)は、操作部 12上に手を置いて操作を行い、画像上の位置を指定する。操作部 12は、少なくとも操作面を有するものであればよいが、ここでは例えば操作部 12がタツチノッドで構成されるとする。そして、タツチパネル上の座標位置と画像上の座標位置とが関連付けされているとする。

[0028] 撮像部 13は、少なくとも操作部 12上にある操作者の手を含む範囲内を撮像し、操作者の手を含む画像を出力する。撮像部 13は、例えば可視光力メラで構成される。撮像部 13は、可視光力メラ以外に、例えば赤外線カメラ、近赤外線カメラ、サーモグラフィなどで構成されてもよい。つまり、撮像部 13は、操作者の手領域を抽出することが可能な画像を取得する機器であれば、どのような機器で構成されてもよい。また撮像部 13は、図 2に示したように操作部 12を撮像することが可能な位置に設置される。

[0029] 制御部 14は、例えば CPUで構成される。また制御部 14は、機能的には手画像生成部 101、右手左手判定部 102、手画像重畳部 103、および実行処理部 104で構成される。手画像生成部 101は、撮像部 13で取得された操作部 12付近の画像から操作者の手を表す手領域の画像 (以下、手画像という）を生成する。なお、手画像生成部 101は実写の手画像を生成してもよいし、手領域力も輪郭だけをさらに抽出し、当該輪郭内に所定の模様や色を付した手画像を生成してもよい。右手左手判定部 1 02は、手画像生成部 101で手画像が生成されたときに、当該手画像に基づいて操作者の手が右手であるか左手であるかを判定する。手画像重畳部 103は、右手左手判定部 102において判定された結果に基づいて、画像 Aまたは画像 Bに対し、手画像生成部 101で生成された手画像を重畳する。実行処理部 104は、操作者が操作部 12において入力した情報に対応して、処理を実行する。具体的には、実行処理部 104は右手左手判定部 102の判定結果により操作者が画像 Aおよび画像 Bどちらの画像が表示されたユーザであるかという情報を取得する。つまり、実行処理部 104は、どの視野角方向にいるユーザが入力したかを右手左手判定部 102の判定結果により区別して処理を行うことができる。例えば画像 Aが表示されたユーザが操作者である場合には、実行処理部 104は画像ソース 11Aに適宜アクセスし、画像 Aが表示されたユーザの入力に基づヽた処理を実行する。

[0030] 表示部用制御部 15は、制御部 14の手画像重畳部 103で処理された各画像 (画像 Aおよび B)を表示部 16に供給し、デュアル 'ビュー表示を行うための制御を行う。表示部 16は、デュアル ·ビュー表示が可能なディスプレイである。表示部 16は、例えばその前面にパララックスノ《リアが設置された液晶表示パネルで構成される。このような表示部用制御部 15および表示部 16の構成によって、表示部 16では画像 Aと画像 B とが異なる視野角方向に同時表示される。つまり、表示部 16で表示される画像はュ一ザの視点位置によって別々の画像となる。なお、表示部用制御部 15および表示部 16は、デュアル 'ビュー表示を実現するものであれば、どのような機器で構成されてもよい。

[0031] 次に、図 4を参照して、本発明に係る情報処理装置の処理について具体的に説明する。図 4は、本発明に係る情報処理装置の処理の流れを示すフローチャートである

[0032] まず、手画像生成部 101が撮像部 13で撮像された操作部 12付近の画像を取得する (ステップ Sl)。手画像生成部 101は、ステップ S1で取得した操作部 12付近の画像力も肌色の領域を抽出する (ステップ S2)。そして、抽出した肌色の領域に対してノィズ除去を行い、手と予想される領域を取得する (ステップ S3)。ここで、ノイズ除去の方法としては、一般に知られている方法を用いて力まわない。一例としては、抽出された領域が複数ある場合に、各領域の面積を比較して、最も大きい領域を手と予想される領域として取得する方法などが挙げられる。なお、撮像部 13として赤外線カメラを使用した場合は、肌色領域を抽出することができない。そこで、手領域を抽出するために、手領域を輝度値の閾値で抽出する方法を用いる。なお、この時、赤外線投光機を設置し、操作面上部を照らすことで、手領域を抽出しやすくすることが好ましい。

[0033] ステップ S3の次に、手画像生成部 101は、ステップ S3で取得した領域が手かどうか判定する (ステップ S4)。ここで、手かどうかを判定する方法としては、一般的な方法を用いて力まわない。一例としては、手のパターンを予め記憶しておき、当該手のパターンとステップ S3で取得された領域のパターンとを比較 (パターンマッチング）する方法などが考えられる。ステップ S4において、手画像生成部 101が手であると判定した場合には、ステップ S3で取得された領域を手画像として生成し、処理はステップ S5へ進む。一方、ステップ S4において、手画像生成部 101が手ではないと判定した場合には、手画像が重畳されることなくデュアル 'ビュー表示がなされる (ステップ S6)

[0034] ステップ S4の次に、右手左手判定部 102は、抽出された手画像に基づいて操作者の手が右手であるか左手であるかを判定する（ステップ S5)。なお、ステップ S5の具体的な処理については、後述にて説明する。ステップ S5で右手と判断された場合、処理はステップ S8へ進む (ステップ S7で右手)。一方、ステップ S5で左手と判断された場合には、処理はステップ S 11へ進む (ステップ S7で左手)。

[0035] ステップ S8において、手画像重畳部 103は、左側方向に表示される画像 Aに対して、ステップ S4で得られた右手の手画像を重畳する。そして、画像 Aにのみ手画像が重畳表示された、デュアル ·ビュー表示が行われる（ステップ S 14)。つまり、右手で操作するユーザは、画像 Aの表示方向と同じ左側方向に存在するので、画像 Aに重畳表示された手画像は右手で操作するユーザにのみ視認されることとなる。ここで、理解を容易にするために図 5を参照して説明すると、操作部 12に操作者の手 (図 5では右手 21HR)が置かれると、上述した処理によって最終的には操作者の手画像（図 5では右手の手画像 21SR)が左側方向に表示される画像 Aに重畳表示される。図 5 は、本情報処理装置の処理による表示を模式的に示した図である。なお、ステップ S 8において画像 A上のどの位置に手画像を重畳するかについては、例えば撮像部 1 3で取得された操作部 12付近の画像から操作部 12の四隅を検出し、この四隅が画像 Aまたは Bの四隅と一致するように調整する方法などが考えられる。

[0036] なおステップ S8の次に、重畳表示された手画像を見ながらユーザが操作部 12で画像上の位置を指定する入力を行うとき (ステップ S9で YES)、実行処理部 104はステツプ S5で操作者の手が右手と判定されているので、画像ソース 11Aに適宜ァクセスし、操作部 12で指定された画像 A上の位置に基づいた処理を実行する (ステップ S 10)。例えば、画像 A上の位置に GUI部品等があれば、それに関連付けされた処理が実行される。その後、実行処理部 104で処理された後の画像 Aにのみ手画像が重畳表示されたデュアル ·ビュー表示が行われる（ステップ S 14)。

[0037] 一方、ステップ S5で左手と判断された場合、右側方向に表示される画像 Bに対して、ステップ S4で得られた左手の手画像を重畳する（ステップ Sl l)。そして、画像 Bにのみ手画像が重畳表示された、デュアル 'ビュー表示が行われる (ステップ S 14)。つまり、左手で操作するユーザは、画像 Bの表示方向と同じ右側方向に存在するので、画像 Bに重畳表示された手画像は左手で操作するユーザにのみ視認されることとなる。なおステップ S11の次に、重畳表示された手画像を見ながらユーザが操作部 12 で画像上の位置を指定する入力を行うとき (ステップ S12で YES)、実行処理部 104 はステップ S5で操作者の手が右手と判定されて、るので、画像ソース 11Bに適宜ァクセスし、操作部 12で指定された画像 B上の位置に基づいた処理を実行する (ステツプ S13)。その後、実行処理部 104で処理された後の画像 Bにのみ手画像が重畳表示されたデュアル ·ビュー表示が行われる（ステップ S 14)。

[0038] このように、実行処理部 104は、右手左手判定部 102の判定結果に基づいて、操作者が画像 A上の位置に対する入力を行ったのカゝ、または操作者が画像 B上の位置に対する入力を行つたかを区別し、各操作者に対して別々の処理を行うことができる。つまり、実行処理部 104は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。

[0039] 次に、図 6を参照して、右手左手判定処理（図 4のステップ S5)について詳細に説明する。図 6は、右手左手判定処理の詳細な処理の流れを示すフローチャートである。ここでは一例として、手領域力手のひら領域を求めて指領域を検出し、各指領域力指先の位置を特定して左手力右手を判定する方法について説明する。まず、手画像生成部 101で抽出された手領域内に所定半径の円を配置する (ステップ S511) 。ここで、所定半径の値は、配置する円が指の太さよりも大きい円となるように設定する。ステップ S511の次に、円の輪郭線と手領域の輪郭線との間の距離をパラメータとして求める（ステップ S512)。ここでは、例えば円の輪郭線上の全点それぞれについて手領域の輪郭線上の全点までの距離をパラメータとして算出する。ステップ S 512 の次に、閾値以下の値となるパラメータのみを抽出する (ステップ S513)。これは、手のひら領域を決定するに際し、値が大きい指領域の輪郭線に係るパラメータを予め算出対象から除外し、処理負担の軽減を図るためである。

[0040] ステップ S513の次に、配置された円の位置と半径を変えて、手領域における手のひら部分に最も近似する円を手のひら領域として求める (ステップ S514〜S518)。具体的には、まず円の位置を移動させ、パラメータ値が最小となる位置を求める (ステツプ S514および S515)。このとき、円の位置は、例えば円の輪郭線上の各点で求められたパラメータ値の偏り具合に基づいて移動する。具体的には、大きな値のパラメータが多く分布している方向へ移動する。そして、円の位置が決定後、円の半径を変更してパラメータ値が最小となる半径を求める（ステップ S516および S517)。図 7 に示すように、ステップ S514〜S 517の処理によって決定された円を手のひら領域として決定する (ステップ S 518)。図 7は、右手左手判定処理方法を模式的に示した図である。

[0041] なお、ステップ S514〜S517の処理において、手のひらに最も近似する円として半径が異なる 2つの円が存在する場合がある。この場合には、半径が大きい方の円を手のひら領域とするのが好ましい。また、上述では円を用いて手のひら領域を求めた力例えば楕円や実際の手のひらの形状と近い形状を用いて手のひら領域を求めてもよい。近似する形状が実際の手のひらの形状に近いほど、より正確な手のひら領域を求めることができる。また、上記パラメータは、一般に知られているパターンマツチングなどのパラメータであってもよ！/、。

[0042] ステップ S518の次に、図 7にも示すように、手のひら領域を除去することにより、各指領域を抽出する (ステップ S519)。そして、手のひら領域の中心（円の中心)から指領域の輪郭線までの距離を指領域ごとに算出する (ステップ S520)。そして、算出した各指領域での距離が最大となる点を指先点として設定する (ステップ S521)。図 7 において、円の中心力も距離が最大となる点が指先に位置していることが分かる。ここで、 5つの指先点が設定された場合に (ステップ S522)、各指先点について最も近い他の指先点までの距離を算出する (ステップ S523)。つまり、図 7に示すように、親指は人差し指との間の距離が他の指までの距離と比べて最も小さい値となる。このようにして求められた距離は、図 7に示すように 4つ存在することとなる。ステップ S523 の次に、設定された各指先点から、左右方向に 2つある端点のうちステップ S523で算出した距離が大きい方の端点を親指の指先点と設定する (ステップ S524)。図 7において、 2つの端点 (X点および Y点）のうち、 X点の距離 Xが Y点の距離 yよりも大きくなっていることが分かる。よって、 X点を親指と認識することができる。

[0043] ステップ S524の次に、親指の指先点が右端または左端にあるかを判断する (ステツプ S525)。親指の指先点が右端にあれば左手と判定し (ステップ S526)、左端にあれば右手と判定する (ステップ S527)。以上で右手左手判定処理の流れにつ!ヽて説明を終了する。

[0044] なお、上述した右手左手判定処理にお!ヽて、親指を左右方向の端点カゝら求めたが、これに限定されない。例えば、図 7で言えば、親指は他の指より最も画面下側にある。これを利用して画面下側にある指先点を親指として設定してもよい。また、上述した左右方向の端点から求める方法と下側にある指先点を求める方法とを両方用いて、親指の指先点を設定してもよい。また、その他一般に知られている方法を用いてもよい。

[0045] また、上述した右手左手判定処理においては、手画像生成部 101から生成された手画像を用いて右手左手を判定したが、これに限定されない。一例としては、操作者が手に右手'左手の識別情報をもつ IRタグを装着し、識別情報読取部（図示なし)と通信することで、操作者の手が右手カゝ左手かを検知する方法でもよい。識別情報読取部は、 IRタグと通信して識別情報を読み取るものである。この識別情報読取部は、操作部 12内に設けられてもよいし、操作部 12外にあってもよい。また、手のひらの手相を画像処理によって検知して、右手左手を検知する方法を用いてもょ、。

[0046] なお、上述したように実行処理部 104は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。上述では、単に一方の操作者の入力に対応した処理についてのみ説明した力これに限らない。例えば、一方の操作者の入力に対応する処理が実行されるときに、操作をして、な、他方のユーザに対してもその処理と関連した画像間の処理を実行するようにしてもよい。以下、この画像間の処理につ!ヽて具体例を挙げて説明する。

[0047] 図 8を参照して、第 1の具体例について説明する。例えば異なる地図画像を見ている各ユーザ間において、操作者が非操作者に対して地図上の特定の位置を教えたい場合がある。そこで、互いに異なる地図画像を見ている場合において、操作者が地図画像上の特定の位置を押下したときに、非操作者が見ている地図画像上で操作者が押下した特定の位置に対応する位置を点滅などさせて表示態様を変更し、非操作者に教えるようにする。

[0048] 図 8は、 3D表示および 2D表示間で処理を行う様子を示した図である。図 8では、図 1と同様に、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。また、図 8に示す各部は、図 1で示した各部に対して画像 Aおよび画像 Bの内容と処理とが異なるのみであり、他の各部の詳細な説明は省略する。図 8 において、画像 Aは 3D表示の地図画像である。画像 Bは 2D表示の地図画像である。助手席のユーザ 21は 3D表示された地図を見ている。運転席のユーザ 22は 2D表示された地図を見ている。

[0049] ここで図 8に示すように、助手席のユーザ 21が画像 Aに重畳された右手画像 21SR を見ながら、操作部 12上に置いた右手で画面上の 3D表示された建物 T(GUI部品）を押下したとする。このとき、実行処理部 104は、まず右手左手判定部 102からユーザ 21または 22のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ 21が右手 21HRで操作しているので、右手左手判定部 102では右手と判定される。つまり、操作者は左側方向にいるユーザ 21であることが分かる。これにより、実行処理部 104では、操作部 12上で押下された座標位置と対応する画像 A上の座標位置にある 3D表示された建物 Tを検出する。その後、実行処理部 104は、操作をしていな、運転席のユーザ 22が見て、る画像 Bに対し、 3D表示された建物 Tに対応する 2 D表示された建物 Tの座標位置を検索する。そして、実行処理部 104は、図 8に示したように、検索した画像 B上の 2D表示された建物 Tを点滅表示などをさせる処理を行う。なお、図 8においては、実行処理部 104の処理に際し、 3D表示された地図と 2D 表示された地図との間で座標位置の変換を行う必要があるが、この変換方式自体は一般に知られて、る変換方法を用いるとし、詳細な説明は省略する。

[0050] なお、図 8では、 3D表示および 2D表示間での処理について説明した力例えば図 9に示すように、同じ 2D表示間であって縮尺が異なる画像間でも処理を行うことができる。図 9は、実行処理部 104が同じ 2D表示間であって縮尺が異なる画像間で処理を行う様子を示した図である。さらに、図 10に示すように、ユーザ 21が押下した画像 A上の建物 Tが画像 B上に表示されていない場合に、実行処理部 104が画像 Bの縮尺を変えて建物 Tを表示するように処理を行うことも可能である。図 10は、ユーザ 2 1が押下した画像 A上の建物 Tが画像 B上に表示されて、なヽ場合に実行処理部 1 04が画像 Bの縮尺を変える様子を示した図である。

[0051] また、実行処理部 104は、押下した座標位置だけではなぐ右手左手判定部 102 の判定結果に基づいて制御命令を変えるようにしてもよい。具体的には、例えばユーザ 21および 22にそれぞれ表示された画像上で、同じ機能（同じ表示)を有するが関連付けられた処理内容が異なる GUI部品を同じ位置に設置する。これにより、操作者の手が右手か左手かによつて実行される処理内容が変わる。同じ機能を有するが処理内容が異なる GUI部品としては、例えば運転席のユーザ 22側力も実行される場合には、簡易的な表示にして運転操作に邪魔にならないように処理する。一方、助手席のユーザ 21側から実行される場合には、なるべく多くの情報を表示するように処理を行う。このような処理を行うことで、同じ機能を実行する際にも、使い勝手を向上させるなどの長所を付加することができる。

[0052] 図 11を参照して、第 2の具体例について説明する。運転中のユーザが画面を見な力複雑な操作を行うと、安全運転に支障をきたすおそれがある。そこで、複雑な操作は助手席のユーザが行って、運転するユーザはその複雑な操作を実行するタイミングだけ決定するするようにする。図 11は、一連の操作を実行するためのコマンド（ショートカット)を操作者力も非操作者に移動させる様子を示した図である。図 11では、運転しているユーザ 22の操作をより簡易なものにするために、助手席のユーザ 21 力関連付け操作を行って目的地を設定する一連の操作を実行するためのショートカット（GUI部品）を作成し、当該ショートカットを運転席のユーザ 22側の画像 Bに移動させる様子を示している。

[0053] この場合、助手席のユーザ 21は、画像 A上で目的地にしたい場所の GUI部品 23 を押下後、目的地の GUI部品 24を押下する。そして、助手席のユーザ 21は、これら目的地設定に係る一連の操作をコマンド実行するためのショートカット 25を作成する。ここで図 11においては、作成されたショートカット 25が画像 Aの右上に表示される。助手席のユーザ 21は、作成したショートカット 25を画像 Aの右上隅に設定された特定のエリア 26にドラッグアンドドロップする。そして、運転席のユーザ 22側の画像 B上の特定のエリア 27にショートカット 25が移動する。そして、運転席のユーザ 22は、画像 B上の特定のエリア 27に表示されたショートカット 25を押下するだけで、目的地の設定を行うことができる。すなわち、実行するタイミングは運転手側で任意に決定することが可能となる。

[0054] ここで、ショートカット 25を作成する処理については、一般のパソコンで用いられて V、るバッチコマンド作成と同等の方法を用いてもよ!、し、他の一般的な方法を用いてもよい。また、ショートカット 25を画像 Aから画像 Bに移動させる処理について詳細に説明すると、図 12に示すように、まず画像 Aおよび画像 Bに対してそれぞれ特定のェリア 26および 27を画像 Aおよび B間を移動するエリア (移動エリア）として設定しておく。図 12は、画像 Aおよび画像 B上に設定された移動エリアの一例を示す図である。この移動エリアにショートカット 25がドラッグアンドドロップされたときだけ、画像 Aから画像 B (または画像 B力も画像 A)に移動表示するようにすればよい。なお、図 12において、移動エリアを同じ位置に示した力画像 Aおよび画像 Bで異なる位置にあってもよい。また、このショートカットを移動させる処理は、実行処理部 104が行ってもよいし、図 4で示した構成に対して新たにショートカット移動部を設けて、当該ショートカツト移動部で行うようにしてもよ!ヽ。

[0055] 図 13〜図 17を参照して、第 3の具体例について説明する。異なる画像を見ているユーザに対して操作者が操作方法を教えるようなヘルプモードの場合には、両方の画像に操作者の手画像を表示することが望ましい。そこで、このような処理を第 3の具体例として詳細に説明する。

[0056] 図 13は、助手席のユーザ 21がオーディオ画面上での操作方法が分力もず、ヘルプボタンを押下している様子を示した図である。図 14は、ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ 22が操作方法を教授している様子を示す図である。図 15〜図 17は、図 14に関する他の例を示す図である。

[0057] 図 13において、助手席のユーザ 21が画像 Aに重畳された右手画像 21SRを見な力 Sらヘルプボタンを押下したとする。このとき、実行処理部 104は、まず右手左手判定部 102からユーザ 21または 22のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ 21が右手 21HRで操作しているので、右手左手判定部 102では右手と判定される。つまり、操作者は左側方向にいるユーザ 21であることが分かる。これにより、実行処理部 104では、操作部 12上で押下された座標位置と対応する画像 A上の座標位置にあるヘルプボタンの GUI部品を検出する。その後、図 14に示すように、実行処理部 104は運転席のユーザ 22に表示される画像を画像 Aと同じォーディォ画面に変える。そして、教える人、ここでは、運転席のユーザ 22が操作部 12上に左手 22HLを置く。このとき、操作部 12上に置かれた左手は、手画像重畳部 103 でユーザ 21および 22に表示される両方の画像 Aおよび Bに重畳される。そして、この両方の画像に重畳された左手画像 22SLを用いて運転席のユーザ 22は助手席のュ一ザ 21に操作方法を教えることができる。

[0058] なお、図 14では、運転席のユーザ 22に表示される画像をヘルプボタンを押下した助手席のユーザ 21に表示された画像 Aと同じ画像に変えた力図 15に示すように、実行処理部 104が運転席のユーザ 22に表示された画像 Bに半透明にした画像 Aを重昼するようにしてもよヽ。 [0059] また、例えば助手席のユーザ 21がオーディオ画面にてテレビや DVDなどの動画を見ているときにヘルプボタンを押下した場合、上述したように運転席のユーザ 22に対して同じ画像を表示すると、運転しているユーザ 22がその映像に気を取られ、運転面に支障をきたすおそれも考えられる。このような場合には、実行処理部 104は助手席のユーザ 21に表示された画像のうち、動画が表示される領域を運転席のユーザ 2 2側には表示しな、ようにしてもょ、。

[0060] また、実行処理部 104は、図 16に示すように、助手席のユーザ 21に表示された画像 Aのうち、操作可能なボタン GUI部品のみを運転席のユーザ 22に表示される画像 Bに重畳するようにしてもよい。このとき、実行処理部 104は、ヘルプボタンを押したユーザ 21に表示された画像 Aのうち押下できる GUI部品をすベて抽出する。そして、抽出した GUI部品を画像 A上の位置と同じ位置で画像 Bに重畳する。なお、 GUI 部品に関連付けされた機能の名称などは GUI部品内に言葉で表記することが望ましい。

[0061] また図 17に示すように、実行処理部 104は、手画像重畳部 103において、操作方法を教える運転席のユーザ 22に表示される画像には左手画像 22SLを重畳させ、教えてもらう側の助手席のユーザ 21に表示される画像 Aには左手画像 22SLに基づいたカーソルや指先点のみの画像を重畳させるようにしてもよい。図 17では、助手席のユーザ 21に表示された画像 Aには、左手画像 22SLの各指先の位置を示すポインタ一 22SLPが重畳表示されている。このポインター 22SLPは、図 17に示したような丸形状であってもよ、し、それ以外の矢印などの他の GUI部品と区別可能な形状であればどのような形状であってもよ、。

[0062] 以上のように、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、操作者に表示された画像に当該操作者の手画像を重畳することで、操作者に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置によれば、非操作者側には、操作者の手画像は表示されないので、デュアル' ビュー表示機能をもつ表示部を用いる場合であっても、操作者の手自体が非操作者の邪魔になることはなぐ視認性を向上させることができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、当該判定結果に基づいて操作者の入力に対応した処理を行うことができる。つまり、当該判定結果によつて、異なる視野角方向にいるユーザの各入力を区別することができ、各入力に応じた処理を行うことができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かの判定結果に基づ!/、て操作者の入力に対応した処理を行うことができるので、異なる視野角方向にそれぞれ表示された各画像に対して GUI部品などを最適な位置に配置することが可能となる。

[0063] なお、上述では、操作部 12がタツチパッドで構成されるとし、操作者によって押下されたタツチパネル上の座標位置と画面上の座標位置とが関連付けされているとした。ここで、タツチパッドは押下した座標位置が検出可能なデバイスであればどのような形態をとつても力まわないが、タツチパッド自体を用いなくてもよい。例えば図 18に示すように、撮像部 13を透明な操作面の下方に配置し、操作者の手との距離をを計測し、操作者の手が操作面に接触しているかどうかを判定する方法が考えられる。図 1 8は、撮像部 13が操作面の下方に配置された例を示す図である。このとき、撮像部 1 3で撮像した画像カゝら求めた接触した座標位置と画像 A上の座標位置とを関連付けしておけば、タツチパッドを用いることなぐ撮像部 13だけで操作部 12を構成することも可能である。また、図 18に示す位置に撮像部 13が配置された場合、撮像部 13で得られる手画像は手のひら側の画像となる。したがってこの場合には、手画像重畳部 103で重畳する前に、手画像の左右を反転させて、つまり手画像の鏡像を重畳すればよい。また、操作面の下方に配置された撮像部 13は、図 19に示すように 2台で構成されてもよいし、それ以上の台数で構成されてもよい。図 19は、撮像部 13を 2台で構成した図である。また、撮像部 13においては操作する手のみを撮像し、押下したか否かだけの入力を行う入力機器 (スィッチゃタツチパッドなど）を撮像部 13の撮像範囲外の位置や操作面上以外の位置に設置して、操作部 12を構成してもよい。この場合、押下した座標位置は、撮像部 13で撮像された手画像のうち例えば人指し指の位置とすればよい。

[0064] また、上述では、右手左手判定部 102において操作を行うユーザの手が左手力右手かを判定することにより、操作するユーザが視認して、る画像が画像 Aか画像 Bかを判定していた力これ以外の方法を用いて判定してもよい。例えば、操作するユーザが画像 Aまたは画像、ずれの画像を視認してヽるかと!/ヽぅ識別情報をもつ IRタグを用いるようにしてもよい。また例えば、図 20に示すように、ユーザの操作する手ではなぐ腕部分の挿入方向および Zまたは位置に基づいて、操作するユーザが画像 A または画像、ずれの画像を視認して、るかを判定する方法であってもよ、。図 20 は、撮像部 13で撮像される操作部 12付近の画像 13gの一例を示す図である。図 20 において、撮像部 13で撮像された画像 13gで、例えば手 30が挿入されたとする。このとき、手 30の腕部分 301は、画像上、右側に位置している。したがって、撮像部 13 で撮像された画像 13gから腕部分 301の位置を検出すれば、操作するユーザは操作部 12の右側方向の画像 Bを見ていると判定できる。

産業上の利用可能性

デュアル 'ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うュ一ザには直感的な操作感を提供しつつ、各ユーザに対する視認性を向上させることが可能な撮像器を備える情報処理機器等に有用である。

Claims

請求の範囲

[1] ユーザの操作に応じて処理を行う情報処理装置であって、

表示面に向力つて左の視野角方向カも視認可能な左画像と表示面に向力つて右の視野角方向から視認可能な右画像とを同時表示する表示部と、

前記ユーザが前記表示部におヽて表示された画像上の位置を指定する操作を受け付ける操作部と、

前記操作部に対して前記ユーザが操作を行う手を撮像する撮像部と、

前記撮像部によって撮像された画像カゝら前記ユーザの操作を行う手を表す手画像を生成する手画像生成部と、

前記操作部に対してユーザが操作を行う手が左手カゝ右手かを判定する操作手判定部と、

前記操作手判定部の判定結果に基づヽて、操作を行う前記ユーザが視認してヽる画像が前記左画像か前記右画像かを判定する画像判定部と、

前記画像判定部にぉヽて前記右画像を視認してヽると判定されたとき、前記左画像と、前記手画像が重畳された右画像とを表示するとともに、前記操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、前記画像判定部にぉヽて前記左画像を視認してヽると判定されたとき、前記右画像と、前記手画像が重畳された左画像とを表示するとともに、前記操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える、情報処理装置。

[2] 前記操作手判定部は、前記手画像生成部において生成された手画像に基づいて

、前記ユーザが操作を行う手が左手か右手かを判定することを特徴とする、請求項 1 に記載の情報処理装置。

[3] 前記ユーザの操作を行う手に装着された IRタグがもつ識別情報を読み取る識別情報読取部をさらに備え、

前記操作手判定部は、前記識別情報読取部において読み取られた識別情報に基づいて、前記ユーザが操作を行う手が左手力右手かを判定することを特徴とする、請求項 1に記載の情報処理装置。

[4] 前記実行処理部は、前記操作手判定部において左手と判定されたとき、表示すベき左画像を右画像と同じ画像に変更するとともに、前記手画像を左画像および右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、前記手画像を左画像および右画像に重畳して表示させることを特徴とする、請求項 1〜3のいずれかに記載の情報処理装置。

[5] 前記実行処理部は、前記操作手判定部において左手と判定されたとき、前記右画像に含まれる GUI部品を左画像に重畳して表示させるとともに、前記手画像を左画像および右画像に重畳して表示させ、前記操作手判定部にぉヽて右手と判定されたとき、前記左画像に含まれる GUI部品を右画像に重畳して表示させるとともに、前記手画像を左画像および右画像に重畳して表示させることを特徴とする、請求項 1〜 3の、ずれかに記載の情報処理装置。

[6] 前記実行処理部は、前記操作手判定部において左手と判定されたとき、前記右画像と前記手画像とを半透明にして左画像に重畳して表示させるとともに、前記手画像を右画像に重畳して表示させ、前記操作手判定部にぉヽて右手と判定されたとき、前記左画像と前記手画像とを半透明にして右画像に重畳して表示させるとともに、前記手画像を左画像に重畳して表示させることを特徴とする、請求項 1〜3のいずれかに記載の情報処理装置。

[7] 前記実行処理部は、前記操作手判定部において左手と判定されたとき、表示すベき右画像に前記手画像を重畳して表示させるとともに、前記左画像に前記手画像の指先の位置を表す画像を重畳して表示させ、前記操作手判定部において右手と判定されたとき、表示すべき左画像に前記手画像を重畳して表示させるとともに、前記右画像に前記手画像の指先の位置を表す画像を重畳して表示させることを特徴とする、請求項 1〜3のいずれかに記載の情報処置装置。

[8] 前記実行処理部は、前記操作手判定部にお！ヽて左手と判定されたとき、左画像に含まれる画像のうち、前記操作部にお！ヽて指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、前記操作手判定部において右手と判定されたとき、右画像に含まれる画像のうち、前記操作部において指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することを特徴とする、請求項 1〜3のいずれかに記載の情報処理装置。

[9] 前記左画像および前記右画像には、表示が同じ GUI部品が含まれており、

前記左画像の GUI部品および前記右画像の GUI部品には、それぞれ異なる処理が関連付けられていることを特徴とする、請求項 1〜3のいずれかに記載の情報処理装置。

[10] 前記操作部は、 GUI部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザ力受け付け、

前記実行処理部は、前記関連付け操作が行われたときに前記操作手判定部が左手と判定したとき、当該関連付け操作によって関連付けられる GUI部品を左画像に重畳して表示させ、前記関連付け操作が行われたときに前記操作手判定部が右手と判定したとき、当該関連付け操作によって関連付けられる GUI部品を右画像に重畳して表示させることを特徴とする、請求項 1〜3のいずれかに記載の情報処理装置。