JPWO2012132749A1 - 立体表示装置、指示受付方法及びプログラムならびにその記録媒体 - Google Patents

Abstract

指示用立体画像を表示する立体表示部１３と、立体表示部１３の表示画面上に配置されたタッチセンサ１６と、立体表示部１３の表示面又はタッチセンサ１６のタッチ面と指示体（指やタッチペン等）との間隔を検出する空間センサ１７と、空間センサ１７によって検出された前記間隔の減少に応じて指示用立体画像の視差量を減少させる制御部３０と、指示用立体画像を制御部３０によって決定された視差量で立体表示部１３に表示させる３次元画像処理部１２を備えた。

Description

本発明は、指示体に指示させる指示用画像を立体表示してユーザの指示を受け付ける際に、ユーザの立体感を損ねないようにすることができる立体表示装置、指示受付方法及びプログラムに関する。

従来、右目用ボタン画像および左目用ボタン画像からなる３Ｄボタン画像を表示し、表示画面上に配置したタッチセンサにユーザが指やタッチペンなどの指示体でタッチすると、その表示画面上のタッチされた位置を検出するようにした立体表示装置が知られている（例えば特許文献１を参照）。

特開２０１０−５５２６６号公報

しかしながら、図１７に示すように、タッチセンサが設けられている表示画面９０にユーザの指９２が近づくと、その指９２とボタンの立体像９４とが被り、指９２がボタンを突き抜けたかのように見えてしまい、ユーザが違和感を感じるという問題がある。即ち、ハードウェアの押しボタンであれば指によりボタンが押し込まれるのに対して、虚像である３Ｄのボタンでは、指で押し込むような操作をしてもボタンの立体像が指に被るだけであり、観察者の立体感が損なわれるという課題があった。

本発明はこのような事情に鑑みてなされたもので、指示体に指示させる指示用画像を立体表示してユーザの指示を受け付ける際に、ユーザの立体感を損ねないようにすることができる立体表示装置、指示受付方法及びプログラムを提供することを目的とする。

前記目的を達成するために、本発明は、指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、前記指示体によって指示された前記立体表示手段の表示画面上の指示位置を検出するとともに、前記立体表示手段の表示画面と前記指示体との間隔を検出する空間センサと、前記空間センサによって検出した指示位置が前記指示用立体画像に対応した検出領域内であるか否かを判定して、前記指示用立体画像に対応した指示を受け付ける判定手段と、前記立体表示手段に表示された前記指示用左目画像と前記指示用右目画像との視差量を決定する視差量決定手段であって、前記空間センサによって検出された前記間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させる視差量決定手段と、前記指示用立体画像を前記視差量決定手段によって決定された視差量で前記立体表示手段に表示させる画像処理手段と、を備えた立体表示装置を提供する。

また、本発明は、指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、前記立体表示手段の表示画面上に配置され、前記指示体でタッチされた指示位置を検出するタッチセンサと、前記タッチセンサによってタッチを検出した指示位置が前記指示用立体画像に対応した検出領域内であるか否かを判定して、前記指示用立体画像に対応した指示を受け付ける判定手段と、前記タッチセンサのタッチ面又は前記立体表示手段の表示画面と前記指示体との間隔を検出する空間センサと、前記立体表示手段に表示された前記指示用左目画像と前記指示用右目画像との視差量を決定する視差量決定手段であって、前記空間センサによって検出された前記間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させる視差量決定手段と、前記指示用立体画像を前記視差量決定手段によって決定された視差量で前記立体表示手段に表示させる画像処理手段と、を備えた立体表示装置を提供する。

本発明によれば、空間センサによって表示画面と指示体（例えば指やタッチペン）との間隔が検出され、その検出された間隔の減少に応じて指示用左目画像と指示用右目画像との視差量を減少させるので、ユーザの立体感を損ねないようにすることができる。

「指示用立体画像」は、本明細書にて、指示体によって指示させるための指示用画像であって立体表示された画像である。「指示用立体画像」の具体例としては、所謂ボタン式の３Ｄ画像（例えば、３Ｄのボタン、３Ｄのアイコン、３Ｄのサムネイル）、所謂スライド式の３Ｄ画像（例えば、３Ｄのスライドバー）等が挙げられる。タッチ操作の種類（ボタン操作、スライド操作など）および画像の表示形式は特に限定されない。

ボタン式の３Ｄ画像（３Ｄボタン画像）では、本発明により、指やタッチペンなどの指示体と一緒に立体像が押し込まれるように立体像の飛び出し量を変化させることが可能になるので、見た目の違和感を無くすことができる。ボタン式の３Ｄ画像でない場合でも、ユーザに指示体と表示画面との間隔を正確に認識させる効果を奏する。

一実施形態では、前記画像処理手段は、前記空間センサ又は前記タッチセンサによって前記指示体の指示が検出されたとき、前記指示用立体画像を平面表示に切替える。即ち、指示体がタッチしたとき指示用画像が立体表示から平面表示に切り替わるので、指示体と表示画面との間隔がゼロになったことを触覚だけでなく視覚でも感じることができ、好ましい。

また、本発明は、指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、前記指示体によって指示された前記立体表示手段の表示画面上の指示位置を検出するとともに、前記立体表示手段の表示画面と前記指示体との間隔を検出する空間センサとを用い、前記指示用立体画像を所定の視差量で前記立体表示手段に表示させるステップと、前記空間センサによって前記立体表示手段の表示画面と前記指示体との間隔を取得するステップと、前記取得された間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させるステップと、前記空間センサによって検出した指示位置が前記指示用立体画像に対応した検出領域内であるか否かを判定することで、前記指示用立体画像に対応した指示を受け付けるステップと、を備えた指示受付方法を提供する。

また、本発明は、指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、前記立体表示手段の表示画面上に配置され、前記指示体でタッチされた位置を検出するタッチセンサと、前記タッチセンサのタッチ面又は前記立体表示手段の表示画面と前記指示体との空間上の間隔の変化を検出する空間センサとを用い、前記指示用立体画像を所定の視差量で前記立体表示手段に表示させるステップと、前記空間センサから前記立体表示手段の表示画面と前記指示体との間隔を取得するステップと、前記空間センサから取得された前記間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させるステップと、前記タッチセンサによりタッチを検出した位置が前記指示用立体画像に対応した検出領域内であるか否かを判定することで、前記指示用立体画像に対応した指示を受け付けるステップと、を備えた指示受付方法を提供する。

また、本発明は、前記指示受付方法をコンピュータに実行させるプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、タッチ操作用の指示用画像を立体表示してユーザの指示を受け付ける際に、ユーザの立体感を損ねないようにすることができる。

本発明における立体表示装置の一例の全体構成を示すブロック図 指示用立体画像と指示位置検出領域の例を示す説明図 空間センサとして立体カメラを用いた立体表示装置の外観を示す図 空間センサとして赤外線センサを用いた立体装置を示す図 指示受付処理の一例の流れを示すフローチャート 利き目の指示用画像を利き目でない目の指示用画像に近づける例の説明図 指示用立体画像の飛び出し量ｄｚが指示体と表示画面との間隔の減少に応じて小さくなる様子を示す模式図 指示体に対向した指示用立体画像のみ視差量を減少させる場合を示す説明図 指示体に対向した指示用立体画像のみサイズを大きくする場合を示す説明図 指示体に対向した指示用立体画像から周辺の指示用立体画像を退避させる場合を示す説明図 利き目情報が未取得の場合における指示用立体画像と指示位置検出領域の例を示す説明図 本発明における立体表示装置の他の例の全体構成を示すブロック図 利き目測定処理の一例の説明に用いる説明図 立体表示装置の基本的なハードウェア構成例を示すブロック図 本発明における立体表示装置であって空間センサによって指示位置を検出するようにした立体表示装置の一例の全体構成を示すブロック図 図１５の立体表示装置のための基本的なハードウェア構成例を示すブロック図 本発明の課題の説明に用いる説明図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、一実施形態の立体表示装置１０の構成例を示すブロック図である。

画像入力部１１は、一視点の２Ｄ画像を入力する。３次元画像処理部１２は、画像入力部１１から出力された一視点の２Ｄ画像を、複数視点の２Ｄ画像（右目のための右目画像および左目のための左目画像）からなる３Ｄ画像に、変換する。立体表示部１３は、３Ｄ画像の立体表示を行なう。タッチセンサ１６は、立体表示部１３の表示画面上に配置され、ユーザにより指やタッチペン等の指示体でタッチされた表示画面上の指示位置（ｘｙ座標）を検出する。

なお、本明細書にて、「２Ｄ」は２次元（平面）を意味し、「３Ｄ」は３次元（立体）を意味する。つまり、「２Ｄ画像」は平面画像であり、「３Ｄ画像」は立体画像（立体視可能な画像）である。

図２（Ａ）部分〜（Ｃ）部分は、立体表示部１３及びタッチセンサ１６でユーザの指示を受け付けるため、複数視点の指示用２Ｄ画像（指示用左目画像５３Ｌ及び指示用右目画像５３Ｒ）を立体表示部１３の表示画面に表示した様子を示す。図２（Ａ）部分は視差量ゼロ（飛び出しなし）の場合、図２（Ｂ）部分は視差量小（飛び出し量小）の場合、図２（Ｃ）部分は視差量大（飛び出し量大）の場合をそれぞれ示す。符号５６は、表示画面（タッチ面）のうちタッチされた指示位置を有効なものとして検出する指示位置検出領域である。図２（Ａ）部分の場合にはユーザに立体像として認識されないが、図２（Ｂ）部分および（Ｃ）部分に示すように指示用左目画像５３Ｌと指示用右目画像５３Ｒとを視差量ｄだけｘ方向（左右方向）に位置をずらして表示することで、ユーザは表示画面の手前側に飛び出した立体像（３Ｄ画像）として指示用画像を認識する。

空間センサ１７は、指示体（指やタッチペン等）の３次元位置を検出するセンサであり、これにより立体表示部１３の表示画面（又はタッチセンサ１６のタッチ面）と指示体との間隔を検出する。なお、タッチセンサ１６は指示体の移動距離に対して薄いので、タッチセンサ１６の表面（タッチ面）と表示画面とはほぼ同じと認識される。以下では、空間センサ１７が立体表示部１３の表示画面と指示体との間隔を検出するとして、説明する。

立体感設定部１４は、指示用３Ｄ画像の立体感の大小（強弱）の設定入力操作を受け付け、設定入力された立体感の大小に対応した視差量を、初期の視差量として記憶部１５に記憶させる機能を有する。例えば、立体感設定部１４は、立体感「強」、「中」、「弱」という選択メニューを立体表示部１３に表示させて、ユーザから立体感レベルの選択入力を受け付け、その立体感レベルに対応する視差量を記憶部１５に記憶させる。

利き目情報設定部２０は、ユーザの利き目情報の設定入力を受け付け、設定入力された利き目情報を記憶部１５に記憶する。例えば、ユーザに利き目が左右のいずれであるかを表示（あるいは音声出力）により質問し、ユーザから左右の選択入力を受け付ける。なお、ここではユーザの設定入力操作により利き目情報を取得する構成を説明し、ユーザの利き目を自動的に判定することで利き目情報を取得する態様については、後述する。

指示位置検出領域決定部１８は、少なくとも利き目情報に基づいて、立体表示部１３の表示画面上における指示位置検出領域（反応領域）を決定する。例えば、利き目情報が取得されている場合、ユーザの利き目が右目であるか左目であるかに応じて、指示位置検出領域の表示画面上における位置、サイズおよび形状のうち少なくともひとつを切り替える。

判定部１９は、指示位置検出部１６によりタッチを検出した指示位置が、指示位置検出領域決定部１８により決定された指示位置検出領域（指示用３Ｄ画像に対応した領域である）の範囲内であるか否かを判定することで、指示用３Ｄ画像に対応した指示を受け付ける。即ち、判定部１９は、指示用３Ｄ画像に対応したユーザの指示の有無を判定する。

制御部３０は、立体表示装置１０の各部を制御する。また、制御部３０は、視差量決定手段として、指示用左目画像５３Ｌと指示用右目画像５３Ｒとの視差量を決定する。制御部３０は、空間センサ１７により検出された立体表示部１３の表示画面と指示体との空間上の間隔の変化に応じて、視差量を変化させる。本例の制御部３０は、空間センサ１７により検出された間隔の減少に応じて、指示用右目画像５３Ｒと指示用左目画像５３Ｌとの視差量を減少させる。また、本例の制御部３０は、タッチセンサ１６によって指示体のタッチが検出されたとき、指示用３Ｄ画像を平面表示に切替える制御を行う。指示用３Ｄ画像を平面表示に切替えるには、指示用右目画像および指示用左目画像のうちの一方のみを立体表示部１３に表示させるように切替える態様と、視差量をゼロに変更する態様とがある。

次に、利き目とユーザのタッチ位置との関係について説明しておく。図２（Ｂ）部分および図２（Ｃ）部分に示した表示を行なうと、指示用右目画像５３Ｒの中心位置と指示用左目画像５３Ｌの中心位置との中間に立体像が出現するが、その立体像をユーザが見ながら指やタッチペン等で指示した場合、その指示位置は、ユーザの利き目に依存した位置となる。例えば、ユーザの利き目が右目の場合、指示用右目画像５３Ｒの中心位置と指示用左目画像５３Ｌの中心位置との中間位置Ｃよりも、指示用右目画像５３Ｒの中心位置に近い位置が、ユーザにより指示される傾向にある。そこで、指示位置検出領域決定部１８は、利き目情報が取得されている場合、ユーザの利き目が右目であるか左目であるかに応じて、指示位置検出領域の位置、サイズおよび形状のうち、少なくともひとつを切り替える。例えば、利き目情報が取得されている場合、指示位置検出領域を指示用右目画像および指示用左目画像のうち利き目の指示用画像の表示位置寄りに配置する。例えば、指示用右目画像５３Ｒの表示領域を含む指示位置検出領域を設定する。これにより、ユーザの意図した指示を正しく判定することができる。

図１にて、画像入力部１１、３次元画像処理部１２、指示位置検出領域決定部１８、判定部１９および制御部３０は、例えばマイクロプロセッサ（ＣＰＵ）により構成される。立体感設定部１４及び利き目情報設定部２０は、例えば主としてマイクロプロセッサおよびタッチセンサ１６により構成される。立体感設定部１４および利き目情報設定部２０は、タッチセンサを用いないで、キー、マウス等の他の入力デバイスを含んで構成してもよい。記憶部１５は、例えばメモリにより構成される。もっとも、各部の処理は、記憶部１５などのコンピュータ読み取り可能な非一時的記録媒体に記録されたプログラムに従ってソフトウェアで実行してもよいし、回路によりハードウェアで実行してもよい。

次に、指示体の３次元位置を検出可能な空間センサ１７の一例について説明する。

図３は、図１の空間センサ１７として複眼の立体カメラ４２（以下「複眼３Ｄカメラ」という）を用いた場合の立体表示装置１０を示す。複眼３Ｄカメラ４２は、複数視点の光学系および撮像素子を備えたカメラであり、複数の撮像素子によりそれぞれ撮像された複数視点の撮像画像に基づいて、立体表示部１３及びタッチセンサ１６からなるタッチパネル４０にタッチしようとする指示体の３次元位置を検出する。

なお、図３では、複眼３Ｄカメラ４２を用いた場合を例示したが、単一の撮影光学系を瞳分割して立体撮影を行う単眼３Ｄカメラを、空間センサ１７として用いてもよい。

図４（Ａ）部分及び（Ｂ）部分に示すように、赤外線を発光する赤外線発光部１７ａ及びその赤外線を受光する赤外線受光部１７ｂからなる赤外線センサを空間センサ１７として用いてもよい。図４（Ａ）部分は、表示画面（ｘｙ面）に直交するｚ方向から立体表示装置１０を見た平面図である。図４（Ｂ）部分は、ｚ方向に沿った立体表示装置１０の断面を見た断面図である。本例の空間センサ１７は、赤外線発光部１７ａ及び赤外線受光部１７ｂからなる赤外線センサの組をｚ方向に積層した構造になっている。図４（Ｃ）部分に示すように、赤外線センサ１７ａ，１７ｂの組のうち、いずれの組の赤外線が指示体で遮光されているかを検出することで、指示体と表示画面との間隔が検出される。Ｚ方向における赤外線センサの素子間隔は、指示体と表示画面との間隔検出に必要な分解能に応じて決められている。

尚、空間センサ１７として、立体カメラ（立体撮像センサ）及び赤外線センサを紹介したが、他の種類のセンサを用いてもよいことは、言うまでもない。例えば、空間センサとして静電容量式のタッチセンサ（タッチパネル）を使用してもよい。

図５は、図１の立体表示装置１０ａにおける指示受付処理例を示すフローチャートである。本処理は、制御部３０を構成しているマイクロプロセッサの制御により、プログラムに従って実行される。本処理の開始前に、画像入力部１１に一視点の指示用２Ｄ画像が入力されているものとする。

まず、利き目情報が設定済みであるか否かを判定する（ステップＳ２）。即ち、記憶部１５に利き目情報が記憶されているか否かを判定する。

利き目情報が設定済みである場合、その利き目情報に基づいて、観察者の利き目が左目であるか右目であるかを判定する（ステップＳ４）。利き目が右目である場合には、指示体が表示画面に近づいたときに指示用左目画像を指示用右目画像側にシフトして立体表示部１３に表示するように、３次元画像処理部１２に予め通知する（ステップＳ６）。利き目が左目である場合には、指示体が表示画面に近づいたときに指示用右目画像を指示用左目画像側にシフトして立体表示部１３に表示するように、３次元画像処理部１２に予め通知する（ステップＳ８）。このように利き目情報に対応したシフト情報を予め設定しておくことで、指示体が立体表示部１３の表示画面に近づいたときに、利き目でない目用の指示用画像（例えば指示用左目画像）の表示位置を利き目用の指示用画像（例えば指示用右目画像）の表示位置に近づける画像処理を行なう。

利き目情報が設定済みでない場合には、指示用左目画像および指示用右目画像の両方をシフトして立体表示部１３に表示するように、３次元画像処理部１２に予め通知する（ステップＳ１０）。つまり、利き目情報が無いので、指示体が立体表示部１３の表示画面に近づいたときに指示用左目画像の表示位置と指示用右目画像の表示位置との中央に両方の指示用画像を近づけるデフォルト処理を行うように予め設定しておく。

続いて、立体表示部１３に指示用画像を３Ｄ表示する（ステップＳ１２）。即ち、画像入力部１１によって取得された一視点の指示用２Ｄ画像を、立体感設定部１４によって設定された初期の視差量に基づいて、３次元画像処理部１２によって指示用左目画像及び指示用右目画像からなる指示用３Ｄ画像に変換し、その指示用３Ｄ画像を立体表示部１３に表示させる。

続いて、観察者の指示の受付を開始する（ステップＳ１４）。本例では、記憶部１５に記憶されている利き目情報に基づいて、指示位置検出領域決定部１８によって指示位置検出領域が決定され、その指示位置検出領域が判定部１９に通知される。

続いて、指示体の３次元位置（ｐｘ、ｐｙ、ｐｚ）を空間センサ１７から取得する（ステップＳ１６）。本例では、図３の複眼３Ｄカメラ４２によって指示体の３次元位置が測定される。ｐｘ、ｐｙは、表示画面に平行な面上の座標であり、本例ではｐｘが左右方向の位置を示す。ｐｚは、表示画面からの距離（間隔）を示す。

続いて、指示体のｘｙ位置（ｐｘ、ｐｙ）と指示用３Ｄ画像のｘｙ位置とが対応するか否かを判定する（ステップＳ１８）。つまり、空間センサ１７によって検出された指示体のｘｙ位置（ｐｘ、ｐｙ）が、指示用３Ｄ画像のｘｙ平面における範囲内にあるか否かを判定する。立体表示部１３に複数の指示用３Ｄ画像が表示されている場合には、複数の指示用３Ｄ画像のうちで、指示体に対向した指示用３Ｄ画像が特定される。

指示体に対向した指示用３Ｄ画像がある場合、さらに、指示体と表示画面との間隔ｐｚと指示用３Ｄ画像の飛び出し量ｄｚとが、ｐｚ＜ｄｚであるか否かを判定する（ステップＳ２０）。初期の視差量ｄ０（左右の指示用画像間の距離）と、それに対応した初期の飛び出し量ｄｚ０は既知であり、最初にｐｚ＜ｄｚ０であるか否かが判定される。ｄｚ０は、初期の視差量ｄ０、観察者と表示画面との距離ｒ、及び観察者の両目の間隔ｓから、ｄｚ０＝（ｄ０×ｒ）／（ｄ０＋ｓ）により決定される。一例として、３インチ程度のＬＣＤの場合、ｓ＝６５ｍｍ、ｒ＝３００ｍｍとして求めることができる。ｒは、観察者の方向を向いた複眼カメラや距離センサを用いて、正確な値を求めるようにしてもよい。また、顔検出及び顔の部品検出を行なって、観察者の目の位置を検出し、ｓの正確な値を求めるようにしてもよい。

指示体に対向した指示用３Ｄ画像があり、且つ、ｐｚ＜ｄｚである場合には、３次元画像処理部１２によって、指示用左目画像及び指示用右目画像のうちで少なくとも一方を左右方向（ｘ方向）にてシフトすることで、ｄｚ＝ｐｚとなるように指示用左目画像及び指示用右目画像の視差量ｄを調整する（ステップＳ２２）。つまり、ステップＳ６、Ｓ８又はＳ１０にて設定されたシフト情報に基づいて、利き目でない目用の指示用画像の表示位置が利き目である目用の指示用画像の表示位置に近づけられる。図６は、利き目が右目である場合に、左目用の左目指示用画像５３Ｌを右目用の右目指示用画像５３Ｒを近づける様子を模式的に示している。このように空間センサ１７により検出された間隔ｄｚの減少に応じて視差量が減少することで、指示用３Ｄ画像の立体像５４が指示体により押し込まれる動きをする。

続いて、判定部１９によって、指示位置検出領域がタッチされたか否かが判定される（ステップＳ２４）。即ち、表示画面（実際には立体表示部１３及びタッチセンサ１６からなるタッチパネルのタッチ面）のうちで、指示位置検出領域決定部１８によって決められた指示位置検出領域に、指示体がタッチしたか否かが判定される。

指示位置検出領域がタッチされたと判定されたときには、指示用左目画像及び指示用右目画像のうち少なくとも一方を左右方向（ｘ方向）にシフトさせることで、指示用３Ｄ画像の飛び出し量ｄｚ＝０となるように視差量を調整する（ステップＳ２６）。つまり、３次元画像処理部１２によって、指示用左目画像及び指示用右目画像の視差量がゼロとなるように、ステップＳ６、Ｓ８又はＳ１０にて設定されたシフト情報に基づいて、指示用３Ｄ画像が２Ｄ表示に切替えられる。本例では、利き目用の指示用画像（右目が効き目であれば指示用右目画像）のみが表示された状態となる。

続いて、タッチ操作に応じたアクションを行なう（ステップＳ２８）。つまり、指示用３Ｄ画像に対応した処理が行なわれる。

そして、本処理を終了させるか否かを判定し（ステップＳ３０）、終了させる場合には本処理を終了し、続ける場合にはステップＳ１６に戻る。

以上、図５を用いて説明したように、間隔ｐｚが初期の飛び出し量ｄｚ０よりも小さいとき、間隔ｐｚの減少に応じて飛び出し量ｄｚを減少させる。この様子を図７（Ａ）部分〜（Ｄ）に示す。

図７（Ａ）部分に示す状態では、間隔ｐｚ＞飛び出し量ｄｚであり、指が３Ｄボタンの立体像５４よりも手前にあるため、間隔ｐｚが減少しても飛び出し量ｄｚを変化させない。図７（Ｃ）部分に示すように、間隔ｐｚ＜初期の飛び出し量ｄｚ０であるとき、制御部３０は、間隔ｐｚの減少に応じて、視差量を減少させることで飛び出し量ｄｚを減少させていく。図７（Ｄ）部分に示すように、指のタッチが検出されたとき、３次元画像処理部１２は、３Ｄボタンの指示用３Ｄ画像を２Ｄ表示に切替える。例えば、利き目用の指示用画像のみを表示した状態にする。あるいは、ｄｚ＝０となるように視差量を調整する。

タッチした指が表示画面から離れていくとき、空間センサ１７により検出された間隔ｐｚの増加に応じて、３Ｄボタンの視差量を増加させるようにしてもよい。つまり、図７を（Ｄ）部分→（Ｃ）部分→（Ｂ）部分と逆順で見るように、間隔ｐｚの増加に応じて飛び出し量ｄｚを増加させていってもよい。ただし、図７（Ａ）部分に示すように、間隔ｐｚが初期の飛び出し量ｄｚ０以上であるときには、飛び出し量ｄｚの増加を行わない。

以上、図７に示すように、間隔ｐｚと初期の飛び出し量ｄｚ０との関係がｐｚ＜ｄｚ０となった場合に飛び出し量ｄｚを次第に小さくする場合を例に説明したが、別の態様として、ｐｚ＜ｄｚ０となったときに飛び出し量ｄｚ＝０とするようにしてもよい。つまり、ｐｚ＜ｄｚ０となったときに２Ｄ表示に切替える。

また、利き目でない目用の指示用画像の表示位置を利き目用の指示用画像の表示位置に近づける場合を説明したが、利き目の強弱にも基づいて指示用画像のシフトを行なってもよい。具体的には、記憶部１５にユーザの利き目および利き目の強弱を示す利き目情報を予め記憶させておき、３次元画像処理部１２は、空間センサ１７で検出される間隔ｐｚの減少に応じて視差量を減少させるとき、記憶部１５に記憶された利き目情報に基づいて、指示用右目画像および指示用左目画像の中間位置よりも利き目用の指示用画像の表示位置に近い位置であって利き目の強弱に応じた割合だけ利き目用の指示用画像の表示位置に近い位置に指示用右目画像の表示位置および指示用左目画像の表示位置の両方を近づける。

次に、立体表示部１３に複数の指示用３Ｄ画像が表示されている場合の制御例を、説明する。

図８は、指示体に対向した３Ｄボタンのみ視差量を減少させる場合の説明図である。

３次元画像処理部１２は、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃが表示されている場合、空間センサ１７で検出された指の３次元位置に基づいて、指に対向した３Ｄボタン５４ｂを特定し、図８（Ｂ）部分及び（Ｃ）部分に示すように、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃのうちで指に対向した３Ｄボタン５４ｂのみ、間隔ｐｚの減少に応じて視差量を減少させることで飛び出し量ｄｚを減少させる。

また、３次元画像処理部１２は、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃが表示されている場合、空間センサ１７で検出された指の３次元位置に基づいて、３Ｄボタン５４ｂを特定し、指に対向した３Ｄボタン５４ｂを特定し、図８（Ｄ）部分に示すように、指の表示画面へのタッチが検出されたき、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃのうちで指に対向した３Ｄボタン５４ｂのみ、２Ｄ表示に切替える。

また、３次元画像処理部１２は、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃが表示されている場合、空間センサ１７から取得された指示体の３次元位置に基づいて指示体に対向した指示用３Ｄ画像を特定し、空間センサ１７で検出された指の３次元位置に基づいて、指に対向した３Ｄボタン５４ｂを特定し、図８（Ｄ）部分→（Ｃ）部分→（Ｂ）部分と逆順で見るように、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃのうちで指に対向した３Ｄボタン５４ｂのみ、間隔ｐｚの増加に応じて視差量を増加させることで飛び出し量ｄｚを増加させてもよい。

図９は、指示体に対向した指示用３Ｄ画像のみサイズを大きくする場合の説明図である。

３次元画像処理部１２は、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃが表示されている場合、空間センサ１７で検出された指の３次元位置に基づいて指に対向した３Ｄボタン５４ｂを特定し、図９（Ａ）部分及び（Ｂ）部分に示すように、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃのうちで指に対向した３Ｄボタン５４ｂのみ、サイズを大きくし、各３Ｄボタン５４ａ、５４ｂ、５４ｃの位置は変えないようにする。また、指示位置検出領域をボタンサイズの拡大に応じて拡大する。

このように指示体に対向した３Ｄボタンのみサイズを大きくした場合、押そうとしている３Ｄボタンを押し易くなる。また、各３Ｄボタンの位置が変わらないので、押す３Ｄボタンを他の３Ｄボタンに変更する場合にも、押し易い。

図１０は、指示体に対向した指示用３Ｄ画像から周辺の指示用３Ｄ画像を退避させる場合の説明図である。

３次元画像処理部１２は、複数の３Ｄボタン５４ａ、５４ｂ、５４ｃが表示されている場合、空間センサ１７で検出された指の３次元位置に基づいて指に対向した３Ｄボタン５４ｃを特定し、図１０（Ａ）部分及び（Ｂ）部分に示すように、指に対向した３Ｄボタン５４ｃ（指示用３Ｄ画像）から周辺の３Ｄボタン５４ａ，５４ｂ，５４ｄ，５４ｅ（指示用３Ｄ画像）を退避させる。

このように指示体に対向した３Ｄボタンから他の３Ｄボタンを退避させる場合、押そうとしている３Ｄボタンを押し易くなる。ただし、押す３Ｄボタンを他の３Ｄボタンに変更する場合に押し難くならないよう、指がボタンの並び方向（例えばｘ方向）にて移動したときに滑らかに表示位置を移動させる。

次に、図１に示した指示位置検出領域決定部１８の指示位置検出領域決定について説明する。

指示位置検出領域決定部１８は、記憶部１５に利き目情報が記憶されているか否か（即ち利き目情報の有無）に応じて、指示位置検出領域の位置、サイズおよび形状のうち、少なくともひとつを切り替える。

指示位置検出領域決定部１８は、利き目情報が有る場合、指示位置検出領域のサイズを利き目情報が無い場合よりも小さくする。

指示位置検出領域決定部１８は、利き目情報が有る場合、ユーザの利き目が右目であるか左目であるかに応じて、検出領域の位置、サイズおよび形状のうち、少なくともひとつを切り替える。

指示位置検出領域決定部１８は、利き目情報が有る場合、検出領域を指示用右目画像および指示用左目画像のうち利き目の指示用画像の表示位置寄りに配置する。また、指示位置検出領域決定部１８は、利き目情報が有る場合、指示用右目画像および指示用左目画像のうち利き目に対応する指示用画像の少なくとも一部が含まれるように、指示位置検出領域を決定する。

次に、利き目情報が取得されない場合の指示位置検出領域決定について、説明する。

ユーザの利き目情報が取得されない場合、指示用左目画像位置と指示用右目画像位置との中間位置のみでユーザの指示を検出するだけでは、指示される可能性のある領域をカバーできない。右目が利き目であるユーザは指示用右目画像の近傍を、左目が利き目であるユーザは指示用左目画像の近傍を、それぞれ指示する傾向にあるという理由による。そこで、指示位置検出領域決定部１８は、利き目情報が取得されない場合、図１１（Ａ）部分および（Ｂ）部分に示すように、指示用右目画像５３Ｒの少なくとも一部および指示用左目画像５３Ｌの少なくとも一部が含まれるように、指示位置検出領域５６を決定する。なお、図１１（Ａ）部分は視差量小（立体像の飛び出し量小）の場合の例、図１１（Ｂ）部分は、視差量大（立体像の飛び出し量大）の場合の例を示す。

ユーザの利き目情報が取得されない場合とは、第１に、図１の構成から利き目情報設定部２０を省略した場合があり、第２に、図１に示した構成にて、利き目情報設定部２０によりユーザの利き目情報が設定されなかった場合がある。

次に、利き目情報を測定する場合について、説明する。図１２は、利き目情報を測定可能な立体表示装置１０の構成例を示すブロック図である。なお、図１に示した構成要素には同じ符号を付してあり、説明済みの事項についてはその説明を省略する。

図１２の立体表示装置１０は、利き目情報取得手段として利き目測定部２１を備えており、利き目測定部２１により利き目測定を行い、その測定結果である利き目情報を記憶部１５に記憶させる。制御部３０は、利き目測定部２１を含む各部を制御する。

利き目測定部２１は、指示用右目画像５３Ｒおよび指示用左目画像５３Ｌからなる指示用３Ｄ画像の視差量と、その指示用３Ｄ画像が立体表示部１３に表示された状態で指示位置検出部１６により検出されたユーザの指示位置とに基づいて、利き目パラメータを算出する。

利き目パラメータは、本例における利き目情報であり、ユーザの利き目を示すとともに、利き目の強弱の程度（以下「利き目度合」という）を示す。利き目度合は、立体表示部１３の表示画面上におけるユーザの指示位置が、指示用右目画像５３Ｒの表示位置および指示用左目画像５３Ｌの表示位置のうちで利き目側の指示用画像の表示位置に片寄る程度を示す。

例えば、図１３（Ａ）部分〜（Ｃ）部分に示すように、指示用右目画像５３Ｒおよび指示用左目画像５３Ｌからなる指示用３Ｄ画像を、立体表示部１３に三通りの立体感で表示させる。本例では、立体感（立体像の飛び出し量）を小、中、大の３通りに変化させて表示させている。即ち、立体感設定部１４により視差量をｄ１、ｄ２、ｄ３と変化させることで指示用３Ｄ画像の立体感を変化させ、それぞれの指示用３Ｄ画像に対しユーザに指示操作を行わせて、指示位置検出部１６により各視差量ｄ１、ｄ２、ｄ３に対応する指示位置ｐ１、ｐ２、ｐ３を立体表示部１３の表示画面上の座標値として検出する。

本例では、利き目モデル式として、ｗ＝ａ×ｄを用いる。ここで、ｗは一方の指示用画像の基準位置（本例では指示用右目画像５３Ｒの中心位置）から指示位置までの距離であり、ａは利き目パラメータであり、ｄは視差量である。即ち、利き目測定部２１により、指示用右目画像５３Ｒの基準位置（中心位置）と、それに対応する指示用左目画像５３Ｌの基準位置（中心位置）とを基準とし、指示位置がいずれの指示用画像の基準位置により近いか（片寄っているか）を示す数値ａ＝ｗ／ｄを、利き目パラメータとして算出する。

例えば、ユーザが右目利きである場合、利き目パラメータａは、０．５未満となる。つまり指示位置が指示用右目画像５３Ｒの中心位置により近い位置になる。ユーザが左目利きである場合、利き目パラメータａは、０．５よりも大きくなる。つまり指示位置が指示用左目画像５３Ｌの中心位置により近い位置になる。なお、利き目パラメータａが０．５になった場合、ユーザは両目利きである可能性が高いが、便宜上、右目利きまたは左目利きとして扱ってもよい。

なお、利き目パラメータａは、観察者（ユーザ）ごとに異なるため、ユーザＩＤ（例えば名前）と対応付けて記憶部１５に記憶させておき、指示位置検出領域決定部１８によりユーザごとに指示位置検出領域の範囲（位置およびサイズ）を決定することが、好ましい。

利き目測定部２１による利き目測定の測定精度を向上させるため、次のような測定態様があげられる。

第１に、指示用３Ｄ画像を、視差量を異ならせて立体表示部１３に複数回表示させて、ユーザの指示位置を指示位置検出部１６により複数回検出し、利き目情報を算出する態様がある。

第２に、指示用３Ｄ画像を、表示位置を異ならせて立体表示部１３に複数回表示させて、ユーザの指示位置を指示位置検出部１６により複数回検出し、利き目情報を算出する態様がある。指示用３Ｄ画像を１回表示するごとに、視差量を異ならせると、より好ましい。

第３に、指示用３Ｄ画像を、表示位置を異ならせて立体表示部１３に複数個同時に表示させて、ユーザの指示位置を指示位置検出部１６により複数回検出し、利き目情報を算出する態様がある。指示用３Ｄ画像ごとに、視差量を異ならせると、より好ましい。

本例の立体表示装置１０は、ユーザの利き目と利き目度合とを測定し、その測定結果に基づいて指示位置検出領域を決定するので、より的確にユーザの指示を判定することができる。

なお、第１実施形態〜第３実施形態において、ユーザの利き目情報に応じて指示位置検出領域の位置およびサイズの両方を決定する場合を例に説明したが、位置およびサイズのうちいずれか一方を、ユーザの利き目に応じて決定してもよい。また、指示位置検出領域の形状が四角形である場合を例に説明したが、特に指示位置検出領域の形状は限定されない。例えば、楕円形状でもよい。

また、ユーザの利き目に応じて、指示位置検出領域の形状を決定するようにしてもよい。

以上、指示用立体画像として、発明の理解を容易にするために、単なる四角形のボタン画像を図示したが、「ボタン画像」は、このような画像には限定されず、指示体（指、タッチペン等）で押すような操作を受け付ける各種の立体画像が含まれる。例えば、３Ｄのアイコン画像、３Ｄのサムネイル画像などが含まれる。また、本発明にて、「指示用立体画像」は、「ボタン画像」には特に限定されない。例えば、３Ｄのスライドバーのように、スライドさせる操作、回転させる操作、移動させる操作、広げる操作、縮める操作など、各種のタッチ操作により指示を受け付ける各種の画像が含まれる。

また、指示体が表示画面に近づくにつれて押し込まれるように指示用立体画像を表示する場合を例に説明したが、本発明は、指示体が表示画面に近づくにつれて指示用立体画像を表示画面の奧遠くから表示画面に近づいてくるように表示する場合にも適用できる。

また、制御部３０により、タッチセンサ１６（指示位置検出部）によって指示を入力したユーザが切り替わったことを検出するようにしてもよい。

制御部３０（ユーザ切替検出手段）は、例えば、タッチセンサ１６によって検出された指示位置（タッチ位置）が指示位置検出領域決定部１８によって決定された指示位置検出領域の範囲外であった回数または頻度を算出し、その算出結果に基づいてユーザの切り替わりを検出する。制御部３０により、タッチセンサ１６によって検出された指示位置の履歴情報を作成し、その指示位置の履歴情報に基づいてユーザの切り替わりを検出するようにしてもよい。例えば、指示位置の履歴情報に基づいて、利き目または利き目の強弱の変化を検出することでユーザの切り替わりを検出する。

制御部３０は、ユーザの切り替わりが検出された場合、次のキャリブレーション処理、検出モード切替処理、表示モード切替処理、および警告処理のうち少なくとも一つの処理を実行する。

キャリブレーション処理では、新たなユーザの利き目情報を取得して指示用左目画像および指示用右目画像の表示領域に対する検出領域の位置、サイズおよび形状のうちで少なくともひとつの差分を決定する。

検出モード切替処理では、指示位置検出領域を利き目情報に基づきユーザの利き目または利き目の強弱に応じて決定する第１の検出モードから指示位置検出領域を前記第１の検出モード時よりもサイズが大きいデフォルトに設定にする第２の検出モードに切替える。

表示モード切替処理では、指示用３Ｄ画像を表示する立体表示モードから指示用２Ｄ画像を表示する平面表示モードに切替える。

ユーザの切り替わりが検出された場合に実行する処理の選択をユーザから受け付けるようにしてもよい。

図１４は、前述の第１実施形態から第３実施形態の立体表示装置を適用する基本的なハードウェア構成を示すブロック図である。図１４の立体表示装置１０では、マイクロプロセッサ１１０が、第１実施形態及び第２実施形態における３次元画像処理部１２、指示位置検出領域決定部１８、判定部１９、制御部３０、利き目測定部２１などを含んでいる。また、媒体インタフェース１０１は画像入力部１１を含んでいる。媒体インタフェース１０１は、メモリカード等、立体表示装置１０の本体に着脱自在な媒体に対しデータ読み取りおよびデータ書き込みを行なう。媒体インタフェース１０１として、ネットワークを介して通信を行なうネットワークインタフェースを用いてもよい。

図１４の立体表示装置１０として、例えば、パーソナルコンピュータ、３Ｄカメラ装置、３Ｄ携帯端末装置、３Ｄゲーム装置、３Ｄ案内装置、３Ｄテレビジョン装置など、各種の立体表示可能なデジタル装置を挙げることができる。

図１４の立体表示装置１０を３Ｄカメラ装置として用いる場合、被写体を複数視点から撮像することで３Ｄ撮像画像を取得する３Ｄ撮像手段を空間センサ１７とは別に設け、その立体撮像部で取得された立体撮像画像と指示用立体画像とを合成して立体表示部１３により立体表示する。

以上、タッチセンサ１６によって表示画面上の指示位置を検出する場合を例に説明したが、空間センサ１７によって指示位置を検出するようにしてもよい。

図１５は、空間センサ１７によって指示位置を検出するようにした立体表示装置１０の一例の全体構成を示す。図１５において、図１２に示した構成要素には同じ符号を付してあり、以下では図１２の場合と異なる点のみ説明する。

空間センサ１７は、指示体によって指示された立体表示部１３の表示画面上の指示位置を検出するとともに、立体表示部１３の表示画面と指示体との間隔を検出する。判定部１９は、空間センサ１７によって検出した指示位置が指示用３Ｄ画像に対応した検出領域内であるか否かを判定して、指示用３Ｄ画像に対応した指示を受け付ける。

３次元画像処理部１２は、空間センサ１７によって指示体の表示画面への指示が検出されたとき、指示用３Ｄ画像を平面表示に切替える。

本例の空間センサ１７によれば、指等の指示体が立体表示部１３の表示画面にタッチしているか否か、及び、指示体が表示画面上のどの位置にタッチしているかを検出することが可能である。このような空間センサ１７の例としては、立体カメラ（複眼３Ｄカメラ、単眼３Ｄカメラ）が挙げられる。

図１６は、図１５に示した立体表示装置のための基本的なハードウェア構成例を示すブロック図である。図１６において、図１４に示した構成要素には同じ符号を付してあり、図１４の場合と異なる点は、空間センサ１７を指示位置検出部１６として兼用する点である。

以上に開示された発明、及び、その発明を応用した発明は、以下の通りである。

発明１：指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、前記指示体によって指示された前記立体表示手段の表示画面上の指示位置を検出するとともに、前記立体表示手段の表示画面と前記指示体との間隔を検出する空間センサと、前記空間センサによって検出した指示位置が前記指示用立体画像に対応した検出領域内であるか否かを判定して、前記指示用立体画像に対応した指示を受け付ける判定手段と、前記立体表示手段に表示された前記指示用左目画像と前記指示用右目画像との視差量を決定する視差量決定手段であって、前記空間センサによって検出された前記間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させる視差量決定手段と、前記指示用立体画像を前記視差量決定手段によって決定された視差量で前記立体表示手段に表示させる画像処理手段と、を備えた立体表示装置。

発明２：指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、前記立体表示手段の表示画面上に配置され、前記指示体でタッチされた指示位置を検出するタッチセンサと、前記タッチセンサによってタッチを検出した指示位置が前記指示用立体画像に対応した検出領域内であるか否かを判定して、前記指示用立体画像に対応した指示を受け付ける判定手段と、前記タッチセンサのタッチ面又は前記立体表示手段の表示画面と前記指示体との間隔を検出する空間センサと、前記立体表示手段に表示された前記指示用左目画像と前記指示用右目画像との視差量を決定する視差量決定手段であって、前記空間センサによって検出された前記間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させる視差量決定手段と、前記指示用立体画像を前記視差量決定手段によって決定された視差量で前記立体表示手段に表示させる画像処理手段と、を備えた立体表示装置。

発明３：前記画像処理手段は、前記空間センサによって前記指示体の前記表示画面への指示が検出されたとき、前記指示用立体画像を平面表示に切替える発明１に記載の立体表示装置。

発明４：前記画像処理手段は、前記タッチセンサによって前記指示体の前記表示画面へのタッチが検出されたとき、前記指示用立体画像を平面表示に切替える発明２に記載の立体表示装置。

発明５：前記空間センサは、前記指示体の空間上の３次元位置を検出し、前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記複数の指示用立体画像のうちで前記指示体に対向した指示用立体画像のみ、前記間隔の減少に応じて前記指示用右目画像と前記指示用左目画像との視差量を減少させる発明１から４のうちいずれかひとつに記載の立体表示装置。

発明６：前記空間センサは、前記指示体の空間上の３次元位置を検出し、前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記指示体の前記表示画面への指示が検出されたとき、前記複数の指示用立体画像のうちで前記指示体に対向した指示用立体画像のみ、平面表示に切替える発明１から５のうちいずれかひとつに記載の立体表示装置。

発明７：前記空間センサは、前記指示体の空間上の３次元位置を検出し、前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記複数の指示用立体画像のうちで前記指示体に対向した指示用立体画像のみ、サイズを大きくする発明１から６のうちいずれかひとつに記載の立体表示装置。

発明８：前記空間センサは、前記指示体の空間上の３次元位置を検出し、前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記指示体に対向した指示用立体画像から周辺の指示用立体画像を退避させる発明１から７のうちいずれかひとつに記載の立体表示装置。

発明９：前記視差量決定手段は、前記空間センサにより検出された前記間隔の増加に応じて前記指示用右目画像と前記指示用左目画像との視差量を増加させる発明１から８のうちいずれかひとつに記載の立体表示装置。

発明１０：前記空間センサは、前記指示体の空間上の３次元位置を検出し、前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記複数の指示用立体画像のうちで前記指示体に対応した指示用立体画像のみ、前記間隔の増加に応じて前記指示用右目画像と前記指示用左目画像との視差量を増加させる発明９に記載の立体表示装置。

発明１１：ユーザの利き目を示す利き目情報を記憶する記憶手段を備え、前記画像処理手段は、前記間隔の減少に応じて前記視差量を減少させるとき、前記記憶手段に記憶された利き目情報に基づいて、前記指示用右目画像および前記指示用左目画像のうちで利き目でない目用の指示用画像の表示位置を利き目用の指示用画像の表示位置に近づける発明１から１０のうちいずれか１項に記載の立体表示装置。

発明１２：ユーザの利き目および利き目の強弱を示す利き目情報を記憶する記憶手段を備え、前記画像処理手段は、前記間隔の減少に応じて前記視差量を減少させるとき、前記記憶手段に記憶された利き目情報に基づいて、前記指示用右目画像および前記指示用左目画像の中間位置よりも利き目の指示用画像の表示位置に近い位置であって前記利き目の強弱に応じた割合だけ前記利き目の指示用画像の表示位置に近い位置に前記指示用右目画像の表示位置および前記指示用左目画像の表示位置の両方を近づける発明１から１０のうちいずれかひとつに記載の立体表示装置。

発明１３：少なくとも前記利き目情報に基づいて、前記立体表示手段の表示画面上における前記指示位置の検出領域を決定する検出領域決定手段を備えた請求項１１または１２に記載の立体表示装置。

発明１４：前記立体表示手段に前記指示用立体画像が表示された状態で検出された指示位置と前記指示用立体画像の視差量とに基づいて前記利き目情報を算出することで前記利き目情報を取得する利き目情報取得手段を備えた請求項１から１３のうちいずれか１項に記載の立体表示装置。

発明１５：前記利き目情報の入力操作を受け付けることで前記利き目情報を取得する利き目情報取得手段を備えた請求項１から１３のうちいずれか１項に記載の立体表示装置。

発明１６：前記空間センサは、立体撮像センサ、赤外線センサ、又は静電容量センサである請求項１から１５のうちいずれか１項に記載の立体表示装置。

発明１７：前記指示体は、指またはペンである請求項１から１６のうちいずれか１項に記載の立体表示装置。

発明１８〜３４：発明１〜１７にそれぞれ対応する指示受付方法。

発明３５：ユーザの指示を受け付けるための指示用右目画像および指示用左目画像からなる指示用立体画像を表示する立体表示手段と、前記立体表示手段の表示画面上における前記ユーザの指示位置を検出する指示位置検出手段と、前記ユーザの利き目を示す利き目情報を取得する利き目情報取得手段と、少なくとも前記利き目情報に基づいて、前記立体表示手段の表示画面上における前記指示位置の検出領域を決定する検出領域決定手段と、前記指示位置検出手段により検出された前記指示位置が前記検出領域内であるか否かを判定することで、前記指示用立体画像に対応する前記ユーザの指示を受け付ける判定手段と、を備えた立体表示装置。

発明３６：前記検出領域決定手段は、前記利き目情報の有無に応じて、前記検出領域の位置、サイズおよび形状のうち、少なくともひとつを切り替える発明３５に記載の立体表示装置。

発明３７：前記検出領域決定手段は、前記利き目情報が有る場合、前記検出領域のサイズを前記利き目情報が無い場合よりも小さくする発明３６に記載の立体表示装置。

発明３８：前記検出領域決定手段は、前記利き目情報が有る場合、前記ユーザの利き目が右目であるか左目であるかに応じて、前記検出領域の位置、サイズおよび形状のうち、少なくともひとつを切り替える発明３５から３７のうちいずれかひとつに記載の立体表示装置。

発明３９：前記検出領域決定手段は、前記利き目情報が有る場合、前記検出領域を前記指示用右目画像および指示用左目画像のうち利き目の指示用画像の表示位置寄りに配置する発明３８に記載の立体表示装置。

発明４０：前記検出領域決定手段は、前記利き目情報が有る場合、前記指示用右目画像および前記指示用左目画像のうち利き目に対応する指示用画像の少なくとも一部が含まれるように、前記検出領域を決定する発明３５から３９のうちいずれかひとつに記載の立体表示装置。

発明４１：前記検出領域決定手段は、前記利き目情報が無い場合、前記指示用右目画像の少なくとも一部および前記指示用左目画像の少なくとも一部が含まれるように、前記検出領域を決定する発明３５から４０のうちいずれかひとつに記載の立体表示装置。

発明４２：前記利き目情報取得手段は、前記立体表示手段に前記指示用立体画像が表示された状態で前記指示位置検出手段により検出された前記ユーザの指示位置と、前記指示用立体画像の視差量とに基づいて、ユーザの利き目および利き目の強弱を示す前記利き目情報を算出する発明３５から４１のうちいずれかひとつに記載の立体表示装置。

発明４３：前記指示用立体画像を視差量を異ならせて前記立体表示手段に複数回表示させて、前記ユーザの指示位置を前記指示位置検出手段により複数回検出し、前記利き目情報を算出する発明４２に記載の立体表示装置。

発明４４：前記指示用立体画像を表示位置を異ならせて前記立体表示手段に複数回表示させて、前記ユーザの指示位置を前記指示位置検出手段により複数回検出し、前記利き目情報を算出する発明４２または４３に記載の立体表示装置。

発明４５：前記指示用立体画像を表示位置を異ならせて前記立体表示手段に複数個表示させて、前記ユーザの指示位置を前記指示位置検出手段により複数回検出し、前記利き目情報を算出する発明４２または４３に記載の立体表示装置。

発明４６：前記利き目情報取得手段は、前記ユーザの利き目情報の入力操作を受け付ける発明３５から４１のうちいずれかひとつに記載の立体表示装置。

発明４７：前記指示用立体画像の立体感の大小の設定入力操作を受け付ける立体感設定手段と、設定入力された立体感の大小に対応した視差量で前記指示用立体画像を生成する指示用立体画像生成手段と、を備え、前記立体表示手段は、前記指示用立体画像生成手段で生成された立体表示画像を表示し、前記検出領域決定手段は、前記立体感の大小に対応した視差量にも基づいて、前記検出領域を決定する発明３５から４６のうちいずれかひとつに記載の立体表示装置。

発明４８：前記指示位置検出手段によって指示を入力したユーザが切り替わったことを検出するユーザ切替検出手段を備えた発明３５から４７のうちいずれかひとつに記載の立体表示装置。

発明４９：前記ユーザ切替検出手段は、前記指示位置検出手段によって検出された指示位置が前記検出領域決定手段によって決定された検出領域の範囲外であった回数または頻度を算出し、その算出結果に基づいてユーザの切り替わりを検出する発明４８に記載の立体表示装置。

発明５０：前記ユーザ切替検出手段は、前記指示位置検出手段によって検出された指示位置の履歴情報を作成し、その指示位置の履歴情報に基づいてユーザの切り替わりを検出する発明４８に記載の立体表示装置。

発明５１：本発明の一実施形態では、前記ユーザ切替検出手段は、前記指示位置の履歴情報に基づいて、利き目または利き目の強弱の変化を検出することでユーザの切り替わりを検出する発明５０に記載の立体表示装置。

発明５２：前記ユーザ切替検出手段によってユーザの切り替わりが検出された場合、新たなユーザの前記利き目情報を取得して前記指示用左目画像および指示用右目画像の表示領域に対する前記検出領域の位置、サイズおよび形状のうちで少なくともひとつの差分を決定するキャリブレーション処理と、前記検出領域を前記利き目情報に基づきユーザの利き目または利き目の強弱に応じて決定する第１の検出モードから前記検出領域を前記第１の検出モード時よりもサイズが大きいデフォルトに設定にする第２の検出モードに切替える検出モード切替処理と、前記指示用立体画像を表示する立体表示モードから平面指示用画像を表示する平面表示モードに切替える表示モード切替処理と、警告を出力する警告処理とのうちで少なくともいずれかの処理を実行する制御手段を備えた発明４８から発明５１のうちいずれか１項に記載の立体表示装置。

発明５３：ユーザの切り替わりが検出された場合に実行する処理の選択をユーザから受け付ける選択受付手段を備えた発明４８から５１のいずれかひとつに記載の立体表示装置。

発明５４：発明４５から発明５２のうちいずれかひとつに記載の立体表示装置と、被写体を複数視点から撮像することで立体撮像画像を取得する立体撮像手段と、を備え、前記立体撮像画像と前記指示用立体画像とを合成して前記立体表示手段により立体表示する立体撮影装置。

発明５４〜７２：発明３５〜５３にそれぞれ対応する指示受付方法。

発明７３：発明１８〜３４及び発明５４〜７２のうちいずれかひとつに記載の指示受付方法をコンピュータに実行させるプログラム。

発明７４：発明７３に記載のプログラムを記録した記録媒体。即ち、前記プログラムを所定の記録媒体に記録して、提供及び利用することができる。

以上、各種の本発明の各種の態様についてそれぞれ説明したが、本明細書の記載事項を可能な限り組み合わせて実施してよいことは、言うまでもない。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…立体表示装置、１１…画像入力部、１２…３次元画像処理部、１３…立体表示部、１４…立体感設定部、１５…記憶部、１６…タッチセンサ、１７…空間センサ、１８…指示位置検出領域決定部、１９…判定部、２０…利き目情報設定部、２１…利き目測定部、３０…制御部、５３Ｒ…指示用右目画像、５３Ｌ…指示用左目画像、５４…立体像、５６…指示位置検出領域

Claims (21)

1. 指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、
   前記指示体によって指示された前記立体表示手段の表示画面上の指示位置を検出するとともに、前記立体表示手段の表示面と前記指示体との間隔を検出する空間センサと、
   前記空間センサによって検出した指示位置が前記指示用立体画像に対応した検出領域内であるか否かを判定して、前記指示用立体画像に対応した指示を受け付ける判定手段と、
   前記立体表示手段に表示された前記指示用左目画像と前記指示用右目画像との視差量を決定する視差量決定手段であって、前記空間センサによって検出された前記間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させる視差量決定手段と、
   前記指示用立体画像を前記視差量決定手段によって決定された視差量で前記立体表示手段に表示させる画像処理手段と、
   を備えた立体表示装置。
2. 指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、
   前記立体表示手段の表示面上に配置され、前記指示体でタッチされた指示位置を検出するタッチセンサと、
   前記タッチセンサによってタッチを検出した指示位置が前記指示用立体画像に対応した検出領域内であるか否かを判定して、前記指示用立体画像に対応した指示を受け付ける判定手段と、
   前記タッチセンサのタッチ面又は前記立体表示手段の表示面と前記指示体との間隔を検出する空間センサと、
   前記立体表示手段に表示された前記指示用左目画像と前記指示用右目画像との視差量を決定する視差量決定手段であって、前記空間センサによって検出された前記間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させる視差量決定手段と、
   前記指示用立体画像を前記視差量決定手段によって決定された視差量で前記立体表示手段に表示させる画像処理手段と、
   を備えた立体表示装置。
3. 前記画像処理手段は、前記空間センサによって前記指示体の前記表示画面への指示が検出されたとき、前記指示用立体画像を平面表示に切替える請求項１に記載の立体表示装置。
4. 前記画像処理手段は、前記タッチセンサによって前記指示体の前記表示画面へのタッチが検出されたとき、前記指示用立体画像を平面表示に切替える請求項２に記載の立体表示装置。
5. 前記空間センサは、前記指示体の空間上の３次元位置を検出し、
   前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記複数の指示用立体画像のうちで前記指示体に対向した指示用立体画像のみ、前記間隔の減少に応じて前記指示用右目画像と前記指示用左目画像との視差量を減少させる請求項１から４のうちいずれか１項に記載の立体表示装置。
6. 前記空間センサは、前記指示体の空間上の３次元位置を検出し、
   前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合
   、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記指示体の前記表示画面への指示が検出されたとき、前記複数の指示用立体画像のうちで前記指示体に対向した指示用立体画像のみ、平面表示に切替える請求項１から５のうちいずれか１項に記載の立体表示装置。
7. 前記空間センサは、前記指示体の空間上の３次元位置を検出し、
   前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記複数の指示用立体画像のうちで前記指示体に対向した指示用立体画像のみ、サイズを大きくする請求項１から６のうちいずれか１項に記載の立体表示装置。
8. 前記空間センサは、前記指示体の空間上の３次元位置を検出し、
   前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記指示体に対向した指示用立体画像から周辺の指示用立体画像を退避させる請求項１から７のうちいずれか１項に記載の立体表示装置。
9. 前記視差量決定手段は、前記空間センサにより検出された前記間隔の増加に応じて前記指示用右目画像と前記指示用左目画像との視差量を増加させる請求項１から８のうちいずれか１項に記載の立体表示装置。
10. 前記空間センサは、前記指示体の空間上の３次元位置を検出し、
    前記画像処理手段は、前記立体表示手段に複数の指示用立体画像が表示されている場合、前記指示体の３次元位置に基づいて前記指示体に対向した指示用立体画像を特定し、前記複数の指示用立体画像のうちで前記指示体に対応した指示用立体画像のみ、前記間隔の増加に応じて前記指示用右目画像と前記指示用左目画像との視差量を増加させる請求項９に記載の立体表示装置。
11. ユーザの利き目を示す利き目情報を記憶する記憶手段を備え、
    前記画像処理手段は、前記間隔の減少に応じて前記視差量を減少させるとき、前記記憶手段に記憶された利き目情報に基づいて、前記指示用右目画像および前記指示用左目画像のうちで利き目でない目用の指示用画像の表示位置を利き目用の指示用画像の表示位置に近づける請求項１から１０のうちいずれか１項に記載の立体表示装置。
12. ユーザの利き目および利き目の強弱を示す利き目情報を記憶する記憶手段を備え、
    前記画像処理手段は、前記間隔の減少に応じて前記視差量を減少させるとき、前記記憶手段に記憶された利き目情報に基づいて、前記指示用右目画像および前記指示用左目画像の中間位置よりも利き目の指示用画像の表示位置に近い位置であって前記利き目の強弱に応じた割合だけ前記利き目の指示用画像の表示位置に近い位置に前記指示用右目画像の表示位置および前記指示用左目画像の表示位置の両方を近づける請求項１から１０のうちいずれか１項に記載の立体表示装置。
13. 少なくとも前記利き目情報に基づいて、前記立体表示手段の表示面上における前記指示位置の検出領域を決定する検出領域決定手段を備えた請求項１１または１２に記載の立体表示装置。
14. 前記立体表示手段に前記指示用立体画像が表示された状態で検出された指示位置と前記指示用立体画像の視差量とに基づいて前記利き目情報を算出することで前記利き目情報を取得する利き目情報取得手段を備えた請求項１から１３のうちいずれか１項に記載の立体表示装置。
15. 前記利き目情報の入力操作を受け付けることで前記利き目情報を取得する利き目情報取得手段を備えた請求項１から１３のうちいずれか１項に記載の立体表示装置。
16. 前記空間センサは、立体撮像センサ、赤外線センサ、又は静電容量センサである請求項１から１５のうちいずれか１項に記載の立体表示装置。
17. 前記指示体は、指またはペンである請求項１から１６のうちいずれか１項に記載の立体表示装置。
18. 指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、前記指示体によって指示された前記立体表示手段の表示画面上の指示位置を検出するとともに、前記立体表示手段の表示面と前記指示体との間隔を検出する空間センサとを備えた立体表示装置が、
    前記指示用立体画像を所定の視差量で前記立体表示手段に表示させるステップと、
    前記空間センサによって前記立体表示手段の表示面と前記指示体との間隔を取得するステップと、
    前記取得された間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させるステップと、
    前記空間センサによって検出した指示位置が前記指示用立体画像に対応した検出領域内であるか否かを判定することで、前記指示用立体画像に対応した指示を受け付けるステップと、
    を実行する指示受付方法。
19. 指示体によって指示させるための指示用左目画像及び指示用右目画像からなる指示用立体画像を表示する立体表示手段と、前記立体表示手段の表示面上に配置され、前記指示体でタッチされた位置を検出するタッチセンサと、前記タッチセンサのタッチ面又は前記立体表示手段の表示面と前記指示体との空間上の間隔の変化を検出する空間センサとを備えた立体表示装置が、
    前記指示用立体画像を所定の視差量で前記立体表示手段に表示させるステップと、
    前記空間センサから前記立体表示手段の表示面と前記指示体との間隔を取得するステップと、
    前記空間センサから取得された前記間隔の減少に応じて前記指示用左目画像と前記指示用右目画像との視差量を減少させるステップと、
    前記タッチセンサによりタッチを検出した位置が前記指示用立体画像に対応した検出領域内であるか否かを判定することで、前記指示用立体画像に対応した指示を受け付けるステップと、
    を実行する指示受付方法。
20. 請求項１８または１９に記載の指示受付方法を前記立体表示装置が実行するためのプログラム。
21. 請求項１８または１９に記載の指示受付方法を前記立体表示装置が実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images