JP5676608B2 - 立体表示装置、立体撮影装置、および指示判定方法 - Google Patents

Description

本発明は、ユーザの指示を受け付けるための指示画像を立体表示した場合でも、ユーザの指示位置を的確に判定することができる立体表示装置、立体撮影装置、および指示判定方法に関する。

従来、右目用画像および左目用画像からなる立体画像を表示画面に同時に表示するとともに、その表示画面上に配置したタッチパネルにユーザが指やタッチペンでタッチすると、そのタッチされた表示画面上の指示位置を検出する立体表示装置が知られている。

例えば、特許文献１には、指示画像を２次元表示した場合と３次元表示した場合とで、表示画面上の指示位置を検出するための制御範囲の位置を変更することが開示されている。３次元表示の場合には、立体像の出現位置に制御範囲を設定する。

また、特許文献２には、３次元物体を右目用および左目用にそれぞれ投影処理することで右目用および左目用の２次元画像を作成して立体表示装置に表示し、操作者によって位置制御されるカーソルを使い３次元物体上の作用点を選択する際に、操作者の利き目に応じ、利き目側の２次元画像を作成するために使用した投影条件に基づいて、３次元物体上の作用点を計算する構成が開示されている。具体的には、カーソル位置に対応する投影面の一点と投影中心とを結ぶ直線を３次元物体側に延長し、その３次元物体と直線との交点をユーザ所望の作用点と決定する。

特開２０１０−５５２６６号公報 特開２００４−３６２２１８号公報

図１４に示すように、右目用指示画像５３Ｒおよび左目用指示画像５３Ｌからなる立体指示画像５３を表示する立体表示装置において、ユーザが立体指示画像５３を見ながら立体指示画像５３を指やタッチペンで指示する操作を行った場合、立体指示画像５３の出現位置とその立体指示画像５３の元となっている２次元指示画像（右目用指示画像５３Ｒおよび左目用指示画像５３Ｌ）の表示位置とは一致しないため、ユーザがどこの位置を指示したのか正確に検出することが困難である。

立体指示画像は、右目用指示画像および左目用指示画像の略中間位置に出現するが、ユーザが立体指示画像を見ながら、その立体指示画像を指し示そうとした場合、その指示位置は観察者の利き目に依存した位置となるためである。例えば、ユーザの利き目が右目である場合、右目用指示画像および左目用指示画像の中間位置よりも右目用指示画像位置に近い位置が指示される傾向にある。

特許文献１に記載の構成では、指示位置の検出領域を中間位置に設定するが、ユーザの利き目により右目用指示画像および左目用指示画像の中間位置をユーザが指示するとは限らないため、ユーザの指示を正しく判定することができない可能性がある。

特許文献２に記載の構成では、３次元物体の２次元面への投影条件が必須であるため、そのような投影条件を用いずに作成された立体画像に対して作用点を求めることができない。

本発明はこのような事情に鑑みてなされたもので、ユーザの指示を受け付けるための指示画像を立体表示した場合でも、ユーザの指示位置を的確に判定することができる立体表示装置、立体撮影装置、および指示判定方法を提供することを目的とする。

前記目的を達成するために、本発明は、ユーザの指示を受け付けるための右目用指示画像および左目用指示画像からなる立体指示画像を表示する立体表示部と、前記立体表示部の表示面上における前記ユーザの指示位置を検出する指示位置検出部と、前記ユーザの利き目が右目であるか左目であるかを示す利き目情報を取得する利き目情報取得部と、少なくとも前記利き目情報に基づいて、前記立体表示部の表示面上における前記指示位置の検出領域を決定する検出領域決定部であって、前記利き目情報が右目を示すときは少なくとも前記右目用指示画像を含む、右目用指示画像の表示位置寄りの検出領域を決定し、前記利き目情報が左目を示すときは少なくとも前記左目用指示画像を含む、左目用指示画像の表示位置寄りの検出領域を決定する検出領域検出部と、前記指示位置検出部により検出された前記指示位置が前記検出領域内であるか否かを判定することで、前記立体指示画像に対応する前記ユーザの指示を受け付ける判定部と、を備えた立体表示装置を提供する。

即ち、ユーザの利き目に応じて、立体指示画像の表示面上における指示位置の検出範囲が自在に変化するので、立体感のある立体指示画像を表示した場合でも、ユーザの指示位置を的確に判定することができる。

「立体指示画像」は、本明細書にて、指やタッチペン等の指示体によって指示させるための指示操作用画像であって立体視可能に表示（立体表示）された画像である。「立体指示画像」の具体例としては、所謂ボタン式の３Ｄ画像（例えば、３Ｄのボタン、３Ｄのアイコン、３Ｄのサムネイル）、所謂スライド式の３Ｄ画像（例えば、３Ｄのスライドバー）等が挙げられるが、タッチ操作の種類（ボタン操作、スライド操作など）および立体指示画像の表示態様（形状、図形／記号／模様の種別など）は特に限定されない。

本発明の一実施形態では、前記検出領域決定部は、前記利き目情報が有る場合、前記検出領域のサイズを前記利き目情報が無い場合よりも小さくする。即ち、利き目情報の取得により指示位置の検出領域のサイズが小さく設定されるので、指示位置の誤検出が防止されるとともに、複数の立体指示画像を密に配置することが可能となる。

本発明の一実施形態では、前記検出領域決定部は、前記利き目情報が無い場合、前記右目用指示画像の少なくとも一部および前記左目用指示画像の少なくとも一部が含まれるように、前記検出領域を決定する。即ち、利き目が分からなくても、ユーザの指示位置を正しく判定することができる。

本発明の一実施形態にて、前記利き目情報取得部は、前記立体表示部に前記立体指示画像が表示された状態で前記指示位置検出部により検出された前記ユーザの指示位置と、前記立体指示画像の視差量とに基づいて、ユーザの利き目および利き目の強弱を示す前記利き目情報を算出する。

即ち、ユーザの実際の指示操作中にユーザの利き目および利き目の強弱を測定し、その測定結果に基づいて指示位置の検出領域が決定されるので、ユーザの指示位置をより正確に判定できることになる。

本発明の一実施形態にて、前記立体指示画像を視差量を異ならせて前記立体表示部に複数回表示させて、前記ユーザの指示位置を前記指示位置検出部により複数回検出し、前記利き目情報を算出する。

本発明の一実施形態にて、前記立体指示画像を表示位置を異ならせて前記立体表示部に複数回表示させて、前記ユーザの指示位置を前記指示位置検出部により複数回検出し、前記利き目情報を算出する。

本発明の一実施形態にて、前記立体指示画像を表示位置を異ならせて前記立体表示部に複数個表示させて、前記ユーザの指示位置を前記指示位置検出部により複数回検出し、前記利き目情報を算出する。

本発明の一実施形態では、前記利き目情報取得部は、前記ユーザの利き目情報の入力操作を受け付ける。

本発明の一実施形態では、前記立体指示画像の立体感の大小の設定入力操作を受け付ける立体感設定部と、設定入力された立体感の大小に対応した視差量で前記立体指示画像を生成する立体指示画像生成部と、を備え、前記立体表示部は、前記立体指示画像生成部で生成された立体表示画像を表示し、前記検出領域決定部は、前記立体感の大小に対応した視差量にも基づいて、前記検出領域を決定する。

即ち、ユーザの感じる立体感には個人差があるが、立体指示画像の立体感の大小の設定入力操作を受け付けて、その立体感に対応した視差量で立体指示画像を表示するとともに、その立体感の大小に対応した視差量にも基づいて指示位置の検出領域が決定されるので、ユーザの立体感を満足させつつユーザの指示位置を的確に判定することができる。

本発明の一実施形態では、前記指示位置検出部によって指示を入力したユーザが切り替わったことを検出するユーザ切替検出部を備えた。

本発明の一実施形態では、前記ユーザ切替検出部は、前記指示位置検出部によって検出された指示位置が前記検出領域決定部によって決定された検出領域の範囲外であった回数または頻度を算出し、その算出結果に基づいてユーザの切り替わりを検出する。

本発明の一実施形態では、前記ユーザ切替検出部は、前記指示位置検出部によって検出された指示位置の履歴情報を作成し、その指示位置の履歴情報に基づいてユーザの切り替わりを検出する。

本発明の一実施形態では、前記ユーザ切替検出部は、前記指示位置の履歴情報に基づいて、利き目または利き目の強弱の変化を検出することでユーザの切り替わりを検出する。

本発明の一実施形態では、前記ユーザ切替検出部によってユーザの切り替わりが検出された場合、新たなユーザの前記利き目情報を取得して前記左目用指示画像および右目用指示画像の表示領域に対する前記検出領域の位置、サイズおよび形状のうちで少なくともひとつの差分を決定するキャリブレーション処理と、前記検出領域を前記利き目情報に基づいて決定する第１の検出モードから前記検出領域を前記第１の検出モード時よりもサイズが大きいデフォルトに設定にする第２の検出モードに切替える検出モード切替処理と、前記立体指示画像を表示する第１の表示モードから平面指示画像を表示する第２の表示モードに切替える表示モード切替処理と、警告を出力する警告処理とのうちで少なくともいずれかの処理を実行する制御部を備えた。

本発明の一実施形態では、ユーザの切り替わりが検出された場合に実行する処理の選択をユーザから受け付ける選択受付部を備えた。

また、本発明は、前記立体表示装置と、被写体を複数視点から撮像することで立体撮像画像を取得する立体撮像部と、を備え、前記立体撮像画像と前記立体指示画像とを合成して前記立体表示部により立体表示する立体撮影装置を提供する。

また、本発明は、ユーザの指示を受け付けるための右目用指示画像および左目用指示画像からなる立体指示画像を表示する立体表示部、前記立体表示部の表示面上における前記ユーザの指示位置を検出する指示位置検出部、および、前記ユーザの利き目を示す利き目情報を取得する利き目情報取得部を用いる指示判定方法であって、前記利き目情報取得部により取得された前記利き目情報に基づいて、前記立体表示部の表示面上における前記指示位置の検出領域を決定する検出領域決定ステップであって、前記利き目情報が右目を示すときは少なくとも前記右目用指示画像を含む、右目用指示画像の表示位置寄りの検出領域を決定し、前記利き目情報が左目を示すときは少なくとも前記左目用指示画像を含む、左目用指示画像の表示位置寄りの検出領域を決定する検出領域検出ステップと、前記指示位置検出部により、前記立体表示部の前記表示面上における前記ユーザの指示位置を検出する指示位置検出ステップと、前記指示位置検出部により検出された前記指示位置が前記検出領域内であるか否かを判定する判定ステップと、を備え、前記立体表示部に前記立体指示画像が表示された状態で前記指示位置検出部により検出された前記ユーザの指示位置と、前記立体指示画像の視差量とに基づいて、ユーザの利き目および利き目の強弱を示す前記利き目情報を算出するステップを含む指示判定方法を提供する。

本発明の一実施形態では、前記ユーザの利き目情報の入力操作を受け付けるステップを含む。

本発明の一実施形態では、前記指示位置検出部によって指示を入力したユーザが切り替わったことを検出し、ユーザの切り替わりが検出された場合、新たなユーザの前記利き目情報を取得して前記左目用指示画像および右目用指示画像の表示領域に対する前記検出領域の位置、サイズおよび形状のうちで少なくともひとつの差分を決定するキャリブレーション処理と、前記検出領域を前記利き目情報に基づいて決定する第１の検出モードから前記検出領域を前記第１の検出モード時よりもサイズが大きいデフォルトに設定にする第２の検出モードに切替える検出モード切替処理と、前記立体指示画像を表示する第１の表示モードから平面指示画像を表示する第２の表示モードに切替える表示モード切替処理と、警告を出力する警告処理とのうちで少なくともいずれかの処理を実行する。

また、本発明は、指示判定方法をコンピュータに実行させるプログラムを提供する。このプログラムは所定の記録媒体に記録して、プログラム記録媒体として提供及び利用することができる。

本発明によれば、ユーザの指示を受け付けるための指示画像を立体表示した場合でも、ユーザの指示位置を的確に判定することができる。

第１実施形態に係る立体表示装置の構成例を示すブロック図 利き目情報が取得済の場合における右目用指示画像、左目用指示画像および指示位置検出領域の例を示す説明図 指示判定処理の基本的な流れを示すフローチャート 利き目情報が未取得の場合における右目用指示画像、左目用指示画像および指示位置検出領域の例を示す説明図 第２実施形態に係る立体表示装置の構成例を示すブロック図 第２実施形態における指示判定処理例の流れを示すフローチャート 第３実施形態に係る立体表示装置の構成例を示すブロック図 第３実施形態における利き目測定処理の説明に用いる説明図 第３実施形態における利き目測定処理例の流れを示すフローチャート 第４実施形態に係る立体表示装置の構成例を示すブロック図 第４実施形態におけるユーザ切替検出例の流れを示すフローチャート 本発明に係る立体表示装置の基本的なハードウェア構成例を示すブロック図 本発明に係る立体表示装置を適用した立体撮影装置の一例を示すブロック図 本発明の課題の説明に用いる説明図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜第１実施形態＞
図１は、第１実施形態に係る立体表示装置１０の構成例を示すブロック図である。

画像入力部１１は、一視点の２Ｄ画像を入力する。３次元画像処理部１２は、画像入力部１１から出力された一視点の２Ｄ画像を、複数視点の２Ｄ画像（右目用画像および左目用画像）からなる３Ｄ画像に、変換する。立体表示部１３は、３Ｄ画像を立体表示する。

なお、本明細書にて、「２Ｄ」は二次元（平面）を意味し、「３Ｄ」は三次元（立体）を意味する。つまり、「２Ｄ画像」は平面画像であり、「３Ｄ画像」は立体画像（立体視可能な画像）である。

図２の(Ａ)〜（Ｃ）は、ユーザの指示を受け付けるため、複数視点の２Ｄ指示画像（右目用指示画像５３Ｒおよび左目用指示画像５３Ｌ）からなる３Ｄ指示画像を立体表示部１３に表示した様子を示す。なお、図２の（Ａ）は視差量ゼロ（立体像の飛び出しなし）の場合における右目用指示画像５３Ｒ、左目用指示画像５３Ｌ、指示位置検出領域５６の例を示し、図２の（Ｂ）は視差量小（立体像の飛び出し量小）の場合における右目用指示画像５３Ｒ、左目用指示画像５３Ｌ、指示位置検出領域５６の例を示し、図２の（Ｃ）は視差量大（立体像の飛び出し量大）の場合における右目用指示画像５３Ｒ、左目用指示画像５３Ｌ、指示位置検出領域５６の例を示す。

立体感設定部１４は、３Ｄ指示画像の立体感の大小（強弱）の設定入力操作を受け付け、設定入力された立体感の大小に対応した視差量を記憶部１５に記憶する。また、立体感設定部１４は、記憶部１５に記憶された視差量を、３次元画像処理部１２および後述の指示位置検出領域決定部１８に与える。

例えば、立体感設定部１４は、立体感「強」、「中」、「弱」という選択メニューを立体表示部１３に表示させて、ユーザから立体感レベルの選択入力を受け付け、その立体感レベルに対応する視差量ｄを記憶部１５に記憶させる。ユーザの感じる立体感には個人差があるため、このように立体感を調整可能な構成は、重要である。

指示位置検出部１６は、立体表示部１３の表示面上に配置されており、ユーザにより指やタッチペン等で指示された立体表示部１３の表示面上におけるユーザの指示位置を検出する。

利き目情報設定部１７は、ユーザの利き目情報の設定入力を受け付け、設定入力された利き目情報を記憶部１５に記憶する。即ち、ユーザの入力操作を受け付けることで、利き目情報を取得する。例えば、ユーザに利き目が左右のいずれであるかを表示（あるいは音声出力）により質問し、ユーザから左右の選択入力を受け付ける。なお、本実施形態では設定入力操作により利き目情報を取得する構成を説明し、ユーザの利き目を自動的に判定することで利き目情報を取得する態様については、後述の第３実施形態で説明する。

指示位置検出領域決定部１８は、利き目情報および３Ｄ指示画像の視差量に基づいて、立体表示部１３の表示面上における指示位置検出領域を決定する。例えば、利き目情報が取得されている場合、ユーザの利き目が右目であるか左目であるかに応じて、指示位置検出領域の表示面上における位置、サイズおよび形状のうち少なくともひとつを切り替える。

判定部１９は、指示位置検出部１６により検出された指示位置が、指示位置検出領域決定部１８により決定された指示位置検出領域の範囲内であるか否かを判定することで、３Ｄ指示画像に対応するユーザの指示を受け付ける。即ち、判定部１９は、３Ｄ指示画像に対応するユーザの指示の有無を判定する。

制御部２０は、画像入力部１１、立体感設定部１４など、立体表示装置１０の各部を制御する。

図１にて、画像入力部１１、３次元画像処理部１２、指示位置検出領域決定部１８、判定部１９および制御部２０は、例えばマイクロプロセッサにより構成される。指示位置検出部１６は、例えばタッチセンサにより構成される。立体感設定部１４は、例えばタッチセンサおよびマイクロプロセッサにより構成される。利き目情報設定部１７は、例えばタッチセンサおよびマイクロプロセッサにより構成される。立体感設定部１４および利き目情報設定部１７は、タッチセンサを用いないで、キー、マウス等の他の入力デバイスを含んで構成してもよい。記憶部１５は、例えばメモリにより構成される。もっとも、各部の処理は、プログラムに従ってソフトウェアで実行してもよいし、回路によりハードウェアで実行してもよい。

図３は、３Ｄ指示画像を用いた指示判定処理の基本的な流れを示すフローチャートである。本処理は、制御部２０の制御によりプログラムに従って実行される。

まず、画像入力部１１により、一視点の２Ｄ指示画像が入力され（ステップＳ１）、立体感設定部１４から３次元画像処理部１２に視差量ｄが与えられて、３次元画像処理部１２により、一視点の２Ｄ指示画像から、視差量ｄを有した３Ｄ指示画像が生成される（ステップＳ２）。生成された３Ｄ指示画像は、立体表示部１３により立体表示される（ステップＳ３）。また、利き目情報設定部１７から指示位置検出領域決定部１８に利き目情報が与えられるとともに、立体感設定部１４から指示位置検出領域決定部１８に視差量ｄが与えられて、指示位置検出領域決定部１８により、利き目情報および視差量ｄに基づいて指示位置検出領域が決定される（ステップＳ４）。指示位置検出部１６によりユーザの指示位置が検出されると（ステップＳ５）、判定部１９により、ユーザの指示位置が指示位置検出領域内であるか否かが判定される（ステップＳ６）。なお、図３において、指示位置検出領域決定（ステップＳ４）は、表示（ステップＳ３）よりも前に行なってもよい。

例えば、図２の（Ｂ）および（Ｃ）に示したように、右目用指示画像５３Ｒと左目用指示画像５３Ｌとを、視差量ｄだけｘ方向（左右方向）に位置をずらして立体表示部１３に表示することで、３Ｄ指示画像を立体表示する。即ち、ユーザは、右目用指示画像５３Ｒおよび左目用指示画像５３Ｌからなる「Ｐ」ボタンの３Ｄ指示画像を、図面の手前側に飛び出した立体像として、認識することになる。

このような図２の（Ｂ）および図２の（Ｃ）に示した表示を行なうと、右目用指示画像５３Ｒの中心位置と左目用指示画像５３Ｌの中心位置との中間に立体像が出現するが、その立体像をユーザが見ながら立体表示部１３の表示面上を指やタッチペン等で指示した場合、その指示位置は、ユーザの利き目に依存した位置となる。

具体的に、ユーザが右目利きの場合について説明する。ユーザの利き目が右目の場合、右目用指示画像５３Ｒの中心位置と左目用指示画像５３Ｌの中心位置との中間位置Ｃよりも、右目用指示画像５３Ｒの中心位置に近い位置が、ユーザにより指示される傾向にある。本例では、右目用指示画像５３Ｒの表示領域と中間位置Ｃとを含む指示位置検出領域を設定する。

例えば、図２に示したＰボタンの右目用指示画像５３Ｒおよび左目用指示画像５３ＬのサイズをＮ×Ｎドット、右目用指示画像５３Ｒの中心位置を（ｘ１，ｙ１）、視差量をｄ、としたとき、左目用指示画像の中心位置を（ｘ２，ｙ２）＝（ｘ１＋ｄ，ｙ１）、指示位置検出領域５６の左上座標（x_area1、y_area1）および右下座標（x_area2、y_area2）は、次式のように表される。

［数１］
dが正のとき
x_area1 = x1 − N/2
y_area1 = y1 - N/2
x_area2 = x1 + (d+N)/2
y_area2 = y1 + N/2
dが負のとき
x_area1 = x1 + (d - N)/2
y_area1 = y1 - N/2
x_area2 = x1 + N/2
y_area2 = y1 + N/2
ただし、立体表示部の表示面の左上を（０，０）として、水平方向をｘ軸、垂直方向をｙ軸とする。また、水平右方向をｘ軸の正方向、垂直下方向をｙ軸の正方向とする。なお、数１はあくまでも一例である。

このように、指示位置検出領域決定部１８は、利き目情報が取得されている場合、指示位置検出領域を右目用指示画像および左目用指示画像のうち利き目の指示画像の表示位置寄りに配置する。

また、指示位置検出領域決定部１８は、指示位置検出領域５６の範囲を利き目情報および視差量ｄに応じて切り換えることで、ユーザの利き目および３Ｄ指示画像の立体感の強弱に応じて、ユーザの指示を的確に検出できる。ここで、立体感の強弱とは、右目用指示画像５３Ｒと左目用指示画像５３Ｌとの水平方向ｘにおけるズレ量（視差量ｄ）に対応する。図２の（Ａ）には視差量ゼロに設定した場合の指示位置検出領域５６、図２の（Ｂ）には視差量小に設定した場合における指示位置検出領域５６、図２の（Ｃ）には視差量大に設定した場合における指示位置検出領域５６を、それぞれ示した。

本実施形態の指示位置検出領域決定部１８は、利き目情報が取得されている（有る）場合、ユーザの利き目が右目であるか左目であるかに応じて、指示位置検出領域の位置、サイズおよび形状のうち、少なくともひとつを切り替える。例えば、利き目情報が取得されている（有る）場合、指示位置検出領域を利き目寄りに配置する。

なお、図２を用いて、利き目に対応する２Ｄ指示画像（例えば右目用指示画像５３Ｒ）の全てを含むように指示位置検出領域を決定した場合を例に説明したが、利き目に対応する２Ｄ指示画像の少なくとも一部が含まれるように指示位置検出領域を決定してよい。

従来のように、指示位置検出領域を左右の中間位置に設定した場合、ユーザの利き目によっては中間位置を指等で指示しているとは限らないため、ユーザが意図した指示位置を正しく判定できない可能性がある。これに対して、本実施形態では、立体表示部１３の表示面上の指示位置検出領域を、ユーザの利き目情報および視差量に応じて可変に決定することで、ユーザの意図した指示を正しく判定することができる。

＜第２実施形態＞
次に、第２実施形態について、説明する。以下では、第１実施形態と異なる事項を説明し、第１実施形態で既に説明した事項についてはその説明を省略する。

ユーザの利き目が判らない場合、それ相応に指示位置検出領域を決定する必要がある。従来例のように、左目用指示画像位置と右目用指示画像位置との中間位置のみでユーザの指示を検出するだけでは、指示される可能性のある領域をカバーできない。右目が利き目であるユーザは右目用指示画像の近傍を、左目が利き目であるユーザは左目用指示画像の近傍を、それぞれ指示する傾向にあるという理由による。

そこで、本実施形態の指示位置検出領域決定部１８は、利き目情報が取得されていない（無い）場合、図４の（Ａ）および（Ｂ）に示すように、右目用指示画像５３Ｒの少なくとも一部および左目用指示画像５３Ｌの少なくとも一部が含まれるように、指示位置検出領域５６を決定する。なお、図４の（Ａ）は視差量小（立体像の飛び出し量小）の場合における右目用指示画像５３Ｒ、左目用指示画像５３Ｌ、指示位置検出領域の例を示し、図４の（Ｂ）は、視差量大（立体像の飛び出し量大）の場合における右目用指示画像５３Ｒ、左目用指示画像５３Ｌ、指示位置検出領域５６の例を示す。

図４の（Ａ）および（Ｂ）にて、２Ｄ指示画像（右目用指示画像５３Ｒおよび左目用指示画像５３Ｌ）のサイズをＮ×Ｎ、右目用指示画像５３Ｒの中心位置を（ｘ１，ｙ１）、左目用指示画像５３Ｌの中心位置を（ｘ１＋ｄ、ｙ１）、ｄを３Ｄ指示画像の視差量としたとき、指示位置検出領域５６の範囲は次のように計算される。

［数２］
dが正のとき
x_area1 = x1 − N/2
y_area1 = y1 - N/2
x_area2 = x1 + d + N/2
y_area2 = y1 + N/2
dが負のとき
x_area1 = x1 + d - N/2
y_area1 = y1 - N/2
x_area2 = x1 + N/2
y_area2 = y1 + N/2
ユーザの利き目が未知の場合とは、第１に、図５に示すように、図１の構成から利き目情報設定部１７を省略した場合があり、第２に、図１に示した構成にて、利き目情報設定部１７によりユーザの利き目情報が設定されなかった場合がある。

図６は、図１に示した構成において、利き目情報設定部１７によりユーザの利き目情報を設定するかしないかを任意にした場合における、３Ｄ指示画像を用いた指示判定処理の一例の流れを示すフローチャートである。この処理は、制御部２０の制御によりプログラムに従って実行される。

ステップＳ２２にて、利き目情報が設定済みであるか否かを判定する。即ち、記憶部１５にユーザの利き目情報が記憶されているか否か（有るか無いか）を判定する。設定されている場合にはステップＳ２４に進み、設定されていない場合にはステップＳ３０に進む。

ステップＳ２４にて、利き目情報に基づいて、ユーザの利き目が右目であるか否かを判定する。利き目が右目である場合には、ステップＳ２６にて、指示位置検出領域決定部１８により、右利き目用の指示位置検出領域を決定し判定部１９に設定する。利き目が左目である場合には、ステップＳ２８にて、指示位置検出領域決定部１８により、左利き目用の指示位置検出領域を決定し判定部１９に設定する。

利き目情報が設定されていない場合、ステップＳ３０にて、利き目情報設定部１７により利き目設定を開始する。例えば、ユーザに利き目が左右のいずれであるかを表示（あるいは音声出力）により質問し、ユーザから左右の選択入力を受け付ける。

ステップＳ３２にて、利き目情報が設定されたか否かを判定し、設定された場合にはステップＳ２４に進み、設定されなかった場合には、ステップＳ３４にて、指示位置検出領域決定部１８により、図４に示したような利き目未設定用の指示位置検出領域５６を決定し判定部１９に設定する。

ステップＳ３６にて、ユーザの指示受付を開始する。

ステップＳ３８にて、指示位置検出部１６に対しユーザの指示操作があったか否か（即ち指示位置検出部１６で指示位置を検出したか否か）を判定し、指示操作があった場合にはステップＳ４０に進み、指示操作がなかった場合にはステップＳ３８の判定を繰り返す。

ステップＳ４０にて、指示位置検出部１６から指示位置（座標値）を取得する。

ステップＳ４２にて、判定部１９により、検出された指示位置が指示位置検出領域内であるか否かを判定する。

ステップＳ４４にて、指示操作継続であるか終了であるかを判定し、指示操作継続である場合には、ステップＳ３８に戻り、終了である場合には本処理を終了する。

本例の指示位置検出領域決定部１８は、利き目情報設定部１７による利き目情報の有無に応じて、指示位置検出領域の位置、サイズおよび形状のうち、少なくともひとつを切り替える。これにより、従来例の左目用指示画像位置と右目用指示画像位置との中間位置のみでユーザの指示を検出していた場合とは異なり、ユーザの利き目が判らない場合でも、ユーザにより指示される可能性のある領域を的確にカバーすることが可能なので、ユーザの指示の判定精度を向上させることができる。また、例えば、利き目情報が設定されている（有る）場合、指示位置検出領域のサイズを、利き目情報が設定されていない（無い）場合よりも小さくする。利き目情報が設定されている場合と設定されていない場合とで、指示位置検出領域の形状を異ならせてもよい。

＜第３実施形態＞
次に、第３実施形態について、説明する。図７は、第３実施形態における立体表示装置１０ｃの構成例を示すブロック図である。なお、図１に示した構成要素には同じ符号を付してあり、説明済みの事項についてはその説明を省略する。

本実施形態の立体表示装置１０ｃは、利き目情報取得部として利き目測定部２１を備えており、利き目測定部２１により利き目測定を行い、その測定結果である利き目情報を指示位置検出領域決定部１８に与える。本実施形態の制御部２０は、利き目測定部２１を含む各部を制御する。

利き目測定部２１は、右目用指示画像５３Ｒおよび左目用指示画像５３Ｌからなる３Ｄ指示画像の視差量と、その３Ｄ指示画像が立体表示部１３に表示された状態で指示位置検出部１６により検出されたユーザの指示位置とに基づいて、利き目パラメータを算出する。

利き目パラメータは、本実施形態における利き目情報であり、ユーザの利き目を示すとともに、利き目の強弱の程度（以下「利き目度合」という）を示す。利き目度合は、立体表示部１３の表示面上におけるユーザの指示位置が、右目用指示画像５３Ｒの表示位置および左目用指示画像５３Ｌの表示位置のうちで利き目側の指示画像の表示位置に片寄る程度を示す。

例えば、図８の（Ａ）〜（Ｃ）に示すように、右目用指示画像５３Ｒおよび左目用指示画像５３Ｌからなる３Ｄ指示画像を、立体表示部１３に三通りの立体感で表示させる。本例では、立体感（立体像の飛び出し量）を小、中、大の３通りに変化させて表示させている。即ち、立体感設定部１４により視差量をｄ１、ｄ２、ｄ３と変化させることで３Ｄ指示画像の立体感を変化させ、それぞれの３Ｄ指示画像に対しユーザに指示操作を行わせて、指示位置検出部１６により各視差量ｄ１、ｄ２、ｄ３に対応する指示位置ｐ１、ｐ２、ｐ３を立体表示部１３の表示面上の座標値として検出する。

本例では、利き目モデル式として、ｗ＝ａ×ｄを用いる。ここで、ｗは一方の指示画像の基準位置（本例では右目用指示画像５３Ｒの中心位置）から指示位置までの距離であり、ａは利き目パラメータであり、ｄは視差量である。即ち、利き目測定部２１により、右目用指示画像５３Ｒの基準位置（中心位置）と、それに対応する左目用指示画像５３Ｌの基準位置（中心位置）とを基準とし、指示位置がいずれの指示画像の基準位置により近いか（片寄っているか）を示す数値ａ＝ｗ／ｄを、利き目パラメータとして算出する。

例えば、ユーザが右目利きである場合、利き目パラメータａは、０．５未満となる。つまり指示位置が右目用指示画像５３Ｒの中心位置により近い位置になる。ユーザが左目利きである場合、利き目パラメータａは、０．５よりも大きくなる。つまり指示位置が左目用指示画像５３Ｌの中心位置により近い位置になる。なお、利き目パラメータａが０．５になった場合、ユーザは両目利きである可能性が高いが、便宜上、右目利きまたは右目利きとして扱ってもよい。

本例では、視差量ｄと距離ｗの組が、（ｄ１，ｗ１）、（ｄ２，ｗ２）、（ｄ３，ｗ３）の３つである。一組だけを用いて利き目パラメータａを算出することも可能だが、より精度を高めるため、最小二乗法により、三組を用いて利き目パラメータａを算出する。自乗誤差Ｊは次式のように定義される。

［数３］ Ｊ＝Σ（ｗｉ−ａ×ｄｉ）^２ ・・・ （ｉ＝１，２，３）
自乗誤差Ｊを算出したいａで偏微分し、得られる式をゼロと置き、ａについて解けばよい。

［数４］ ∂Ｊ／∂ａ＝−２×Σ｛ｄｉ×（ｗｉ−ａ×ｄｉ）｝＝０
［数５］ ａ＝Σ（ｄｉ×ｗｉ）／Σ（ｄｉ×ｄｉ）
このようにすることで、ユーザの利き目だけでなく利き目度合がわかる（ａが小さいほど右利き目度合が強い）。このモデルは一例であり、他のモデルを用いても勿論よい。

図９は、第３実施形態における利き目測定処理例の流れを示すフローチャートである。この処理は、制御部２０により、プログラムに従い実行される。

ステップＳ５２にて、２Ｄ指示画像の設定を行い、ステップＳ５４にて、インデックスｉを初期化し（ｉ＝１）、ステップＳ５６にて、３Ｄ指示画像の視差量をｄｉに設定し、ステップＳ５８にて、３Ｄ指示画像の立体表示を行い、ステップＳ６０にて、観察者による指示の受け付けを開始する。即ち、画像入力部１１により３次元画像処理部１２に対し２Ｄ指示画像を与えるとともに、立体感設定部１４により３次元画像処理部１２に対し視差量ｄｉを与えることで、３次元画像処理部１２により視差量ｄｉを有する３Ｄ指示画像が生成され、その３Ｄ指示画像が立体表示部１３の表示面に表示されるので、観察者は立体表示部１３に表示された３Ｄ指示画像を見ながら、指等により立体表示部１３の表示面上で指示操作を行う。

ステップＳ６２にて、観察者による指示操作があったか否かを判定し、指示操作があった場合には、ステップＳ６４にて、指示位置の座標値を取得し、ステップＳ６６にて、指示位置の座標値と視差量ｄｉとを関連付けて保持する。即ち、指示位置検出部１６により立体表示部１３の表示面における観察者の指示位置を検出し、利き目測定部２１により指示位置ｐｉと視差量ｄｉとを関連付けて記憶部１５に記憶させる。

ステップＳ６８にて、インデックスｉが規定回数（本例では３回）に達したか否かを判定し、規定回数未満の場合には、ステップＳ７０にてインデックスｉをインクリメントし、ステップＳ５６〜Ｓ６６を繰り返す。

ステップＳ５６〜Ｓ６６を規定回数実行したとき、ステップＳ７２にて、利き目パラメータａの計算および保持を行う。即ち、利き目測定部２１により、指示位置ｐｉを記憶部１５から読み出し、右目用指示画像の基準位置（中心位置）と指示位置との距離ｗｉを算出して、そのｗｉと視差量ｄｉとに基づいて利き目パラメータａを算出し、そのａを記憶部１５に保持（記憶）させる。本例の利き目パラメータａは、観察者の利き目および利き目度合の両方を示す。

なお、利き目パラメータａは、観察者（ユーザ）ごとに異なるため、ユーザＩＤ（例えば名前）と対応付けて記憶部１５に記憶させておき、指示位置検出領域決定部１８によりユーザごとに指示位置検出領域の範囲（位置およびサイズ）を決定することが、好ましい。

利き目測定部２１による利き目測定の測定精度を向上させるため、次のような測定態様があげられる。

第１に、３Ｄ指示画像を、視差量を異ならせて立体表示部１３に複数回表示させて、ユーザの指示位置を指示位置検出部１６により複数回検出し、利き目情報を算出する態様がある。

第２に、３Ｄ指示画像を、表示位置を異ならせて立体表示部１３に複数回表示させて、ユーザの指示位置を指示位置検出部１６により複数回検出し、利き目情報を算出する態様がある。３Ｄ指示画像を１回表示するごとに、視差量を異ならせると、より好ましい。

第３に、３Ｄ指示画像を、表示位置を異ならせて立体表示部１３に複数個同時に表示させて、ユーザの指示位置を指示位置検出部１６により複数回検出し、利き目情報を算出する態様がある。３Ｄ指示画像ごとに、視差量を異ならせると、より好ましい。

本例の立体表示装置１０ｃは、ユーザの利き目と利き目度合とを測定し、その測定結果に基づいて指示位置検出領域を決定するので、より的確にユーザの指示を判定することができる。

＜第４実施形態＞
次に、第４実施形態について、説明する。図１０は、第４実施形態における立体表示装置１０ｄの構成例を示すブロック図である。なお、図１に示した第１実施形態および図７に示した第３実施形態における構成要素には同じ符号を付してあり、説明済みの事項はその説明を省略する。

ユーザ切替検出部２２は、指示位置検出部１６によって指示を入力したユーザが切り替わったことを検出する。本例では、指示位置検出部１６を構成しているタッチセンサにおけるタッチ操作（指示位置入力）の傾向の変化を検出することで、ユーザの切り替わりを検出する。ユーザ切替検出部２２は、例えばマイクロプロセッサによって構成される。ユーザ切替検出部２２は、例えば、次の検出態様１、２のいずれかで検出する。

検出態様１：指示位置検出部１６によって検出された指示位置の履歴情報を作成し、その指示位置の履歴情報に基づいて、利き目および利き目の強弱のうち少なくとも一方の変化を検出することでユーザの切り替わりを検出する。具体的には、左目用指示画像および右目指示画像の表示位置（または指示位置検出領域の位置）を基準として、指示位置検出部１６で検出された指示位置の差分の変化により、利き目または利き目の強弱の変化を検出する。

検出態様２：指示位置検出部１６によって検出された指示位置（タッチ位置）が指示位置検出領域決定部１８によって決定された指示位置検出領域（反応領域）の範囲外であった回数（ミスヒット数）または頻度を算出し、その算出結果に基づいてユーザの切り替わりを検出する。回数または頻度として、例えば、連続してミスヒットした回数（連続ミスヒット数）、所定のタッチ数を基準としたミスヒット数の比（ミスヒット比）を用いてもよい。

本実施形態の制御部２０は、ユーザの切り替わりが検出された場合、次の処理１〜４のうち少なくともいずれかの処理を実行する。

処理１（キャリブレーション処理）：新たなユーザの利き目情報を取得し、左目用指示画像および右目用指示画像の表示領域を基準として、指示位置検出領域の位置、サイズおよび形状のうちで少なくともひとつの差分を、決定する。

処理２（検出モード切替処理）：指示位置検出領域を利き目情報に基づいて決定する第１の検出モードから、指示位置検出領域を第１の検出モード時よりもサイズが大きいデフォルトに設定にする第２の検出モードに切替える。第１の検出モードでは、第１実施形態で説明したように利き目情報に基づいて比較的狭い指示位置検出領域が設定され、第２の検出モードでは、第２実施形態で説明したように第１の検出モード時よりも広い指示位置検出領域が設定される。

処理３（表示モード切替処理）：３Ｄ指示画像を表示する表示モードから２Ｄ指示画像を表示する表示モードに切替える。

処理４（警告処理）：警告を出力する。

上記の処理１〜４は組み合わせて実行してもよい。例えば、２Ｄ表示モードに切替えることを表示する警告処理を実行した後に、前述の表示モード切替処理を実行し、２Ｄ指示画像の表示に切替える。

ユーザの切り替わりが検出された場合に実行する処理の選択をユーザから受け付けるようにしてもよい。例えば、立体表示部１３に上記処理２とするか処理３とするかをユーザに選択させるユーザ選択画面を表示し、指示位置検出部１６によりユーザの選択操作を受け付ける。なお、ユーザ選択画面では指示画像を２Ｄ表示すればよい。

図１１は、第４実施形態におけるユーザ切替検出処理例の流れを示すフローチャートである。この処理は、制御部２０およびユーザ切替検出部２２により、プログラムに従い実行される。

ステップＳ１０２にて、各変数を初期化する。即ち、タッチした回数を示すタッチ回数ｔ、指示位置検出領域内にタッチ（以下「ヒット」という）した回数を示すヒット数ｈ、指示位置検出領域外にタッチ（以下「ミスヒット」という）した回数を示すミスタッチ数ｍ１、およびミスヒットの連続回数を示す連続ミスヒット数ｍ２を、ゼロに設定する（ｔ＝ｈ＝ｍ１＝ｍ２＝０）。

ステップＳ１０４にて、利き目情報に基づいて３Ｄ指示画像を立体表示部１３に表示させる。

ステップＳ１０６にて、指示操作があったか否かを判定する。即ち、指示位置検出部１６を構成しているタッチセンサによりタッチが検出されたか否かを判定する。タッチ操作があった場合には、ステップＳ１０８に進む。

ステップＳ１０８にて、指示位置検出部１６から指示位置の座標値を取得し、タッチ回数ｔをインクリメントする（ｔ＝ｔ＋１）。

ステップＳ１１０にて、指示位置が指示位置検出領域決定部１８で決定された指示位置検出領域内であるか否かを判定する。

指示位置検出領域内である場合には、ステップＳ１１２にて、ヒット数ｈをインクリメントし（ｈ＝ｈ＋１）、連続ミスヒット数ｍ２をゼロに設定する（ｍ２＝０）。

指示位置検出領域外である場合には、ステップＳ１１４にて、ミスヒット数ｍ１および連続ミスヒット数ｍ２をインクリメントする（ｍ１＝ｍ１＋１、ｍ２＝ｍ２＋１）。

ステップＳ１１６にて、連続ミスヒット数ｍ２＞閾値Ｎ１（例えばＮ１＝２）であるか否かを判定し、ｍ２＞Ｎ１である場合にはステップＳ１２４に進む。

ステップＳ１１８にて、タッチ回数ｔ＞閾値Ｎ２（例えばＮ２＝４）であるか否かを判定し、ｔ＞Ｎ２である場合には、更に、ステップＳ１２０にて、ミスヒット数ｍ１＞Ｎ３（例えばＮ３＝２）であるか否かを判定し、ｍ１＞Ｎ３である場合にはステップＳ１２４に進み、ｍ１≦Ｎ３である場合にはタッチ回数ｔをクリア（ｔ＝０）してステップＳ１２６に進む。

ステップＳ１２４では、利き目測定部２１によって利き目情報を算出し、キャリブレーション処理を行なう。

ステップＳ１２６にて、指示操作終了か否かを判定し、終了しない場合にはステップＳ１０６に戻り、終了する場合には本処理を終了する。

なお、第１実施形態〜第４実施形態において、ユーザの利き目情報に応じて指示位置検出領域の位置およびサイズの両方を決定する場合を例に説明したが、位置およびサイズのうちいずれか一方を、ユーザの利き目に応じて決定してもよい。また、指示位置検出領域の形状が四角形である場合を例に説明したが、特に指示位置検出領域の形状は限定されない。例えば、楕円形状でもよい。

また、ユーザの利き目に応じて、指示位置検出領域の形状を決定するようにしてもよい。

図１２は、前述の第１実施形態から第４実施形態の立体表示装置を適用する基本的なハードウェア構成を示すブロック図である。図１２の立体表示装置１０ｅでは、マイクロプロセッサ１１０により、第１実施形態〜第４実施形態における画像入力部１１、３次元画像処理部１２、指示位置検出領域決定部１８、判定部１９、制御部２０、利き目測定部２１、ユーザ切替検出部２２などを構成している。媒体インタフェース１０１は、メモリカード等、立体表示装置１０ｄの本体に着脱自在な媒体に対しデータ読み取りおよびデータ書き込みを行なう。媒体インタフェース１０１として、ネットワークを介して通信を行なうネットワークインタフェースを用いてもよい。

このような立体表示装置１０ｅとして、例えば、パーソナルコンピュータ、３Ｄテレビジョン装置、３Ｄゲーム装置、３Ｄ携帯端末装置など、各種の立体表示可能なデジタル装置を挙げることができる。

図１３は、本発明の立体表示装置を適用した立体表示装置１０ｆ（３Ｄカメラ）の一例を示すブロック図である。なお、図１２の立体表示装置１０ｅに示した構成要素には、同じ符号を付した。図１３の立体表示装置１０ｆは、被写体を複数視点から撮像することで、右目用画像および左目用画像からなる立体撮像画像を取得する立体撮像部２０２を備える。本例の立体表示装置１０ｆは、図１２の立体表示装置１０ｅと同様、マイクロプロセッサ１１０により、画像入力部１１、３次元画像処理部１２、指示位置検出領域決定部１８、判定部１９、制御部２０、利き目測定部２１、ユーザ切替検出部２２などを構成している。このような立体表示装置１０ｆでは、立体撮像部２０２により取得された立体撮像画像に対し、ユーザの指示を受け付けるための立体指示画像を合成して、立体表示することが可能である。

以上、各種の本発明の各種の態様についてそれぞれ説明したが、本明細書の記載事項を可能な限り組み合わせて実施してよいことは、言うまでもない。

本明細書にて説明した各種の方法をコンピュータに実行させるプログラムは、ディスク、メモリカード等の所定の記録媒体に記録して提供および利用することが可能である。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０（１０ａ，１０ｂ，１０ｃ、１０ｄ、１０ｅ、１０ｆ）…立体表示装置、１１…画像入力部、１２…３次元画像処理部、１３…立体表示部、１４…立体感設定部、１５…記憶部、１６…指示位置検出部、１７…利き目情報設定部（利き目情報取得部）、１８…指示位置検出領域決定部、１９…判定部、２０…制御部、２１…利き目測定部、２２…ユーザ切替検出部、５３Ｒ…右目用指示画像、５３Ｌ…左目用指示画像、５６…指示位置検出領域

Claims (21)

1. ユーザの指示を受け付けるための右目用指示画像および左目用指示画像からなる立体指示画像を表示する立体表示部と、
   前記立体表示部の表示面上における前記ユーザの指示位置を検出する指示位置検出部と、
   前記ユーザの利き目が右目であるか左目であるかを示す利き目情報を取得する利き目情報取得部と、
   少なくとも前記利き目情報に基づいて、前記立体表示部の表示面上における前記指示位置の検出領域を決定する検出領域決定部であって、前記利き目情報が右目を示すときは少なくとも前記右目用指示画像を含む、右目用指示画像の表示位置寄りの検出領域を決定し、前記利き目情報が左目を示すときは少なくとも前記左目用指示画像を含む、左目用指示画像の表示位置寄りの検出領域を決定する検出領域検出部と、
   前記指示位置検出部により検出された前記指示位置が前記検出領域内であるか否かを判定することで、前記立体指示画像に対応する前記ユーザの指示を受け付ける判定部と、
   を備えた立体表示装置。
2. 前記検出領域決定部は、前記利き目情報が有る場合、前記検出領域のサイズを前記利き目情報が無い場合よりも小さくする請求項１に記載の立体表示装置。
3. 前記検出領域決定部は、前記利き目情報が無い場合、前記右目用指示画像の少なくとも一部および前記左目用指示画像の少なくとも一部が含まれるように、前記検出領域を決定する請求項１又は２に記載の立体表示装置。
4. 前記利き目情報取得部は、前記立体表示部に前記立体指示画像が表示された状態で前記指示位置検出部により検出された前記ユーザの指示位置と、前記立体指示画像の視差量とに基づいて、ユーザの利き目および利き目の強弱を示す前記利き目情報を算出する請求項１から３のうちいずれか１項に記載の立体表示装置。
5. 前記立体指示画像を視差量を異ならせて前記立体表示部に複数回表示させて、前記ユーザの指示位置を前記指示位置検出部により複数回検出し、前記利き目情報を算出する請求項４に記載の立体表示装置。
6. 前記立体指示画像を表示位置を異ならせて前記立体表示部に複数回表示させて、前記ユーザの指示位置を前記指示位置検出部により複数回検出し、前記利き目情報を算出する請求項４または５に記載の立体表示装置。
7. 前記立体指示画像を表示位置を異ならせて前記立体表示部に複数個表示させて、前記ユーザの指示位置を前記指示位置検出部により複数回検出し、前記利き目情報を算出する請求項４または５に記載の立体表示装置。
8. 前記利き目情報取得部は、前記ユーザの利き目情報の入力操作を受け付ける請求項１から３のうちいずれか１項に記載の立体表示装置。
9. 前記立体指示画像の立体感の大小の設定入力操作を受け付ける立体感設定部と、
   設定入力された立体感の大小に対応した視差量で前記立体指示画像を生成する立体指示画像生成部と、
   を備え、
   前記立体表示部は、前記立体指示画像生成部で生成された立体表示画像を表示し、
   前記検出領域決定部は、前記立体感の大小に対応した視差量にも基づいて、前記検出領域を決定する請求項１から８のうちいずれか１項に記載の立体表示装置。
10. 前記指示位置検出部によって指示を入力したユーザが切り替わったことを検出するユーザ切替検出部を備えた請求項１から９のうちいずれか１項に記載の立体表示装置。
11. 前記ユーザ切替検出部は、前記指示位置検出部によって検出された指示位置が前記検出領域決定部によって決定された検出領域の範囲外であった回数または頻度を算出し、その算出結果に基づいてユーザの切り替わりを検出する請求項１０に記載の立体表示装置。
12. 前記ユーザ切替検出部は、前記指示位置検出部によって検出された指示位置の履歴情報を作成し、その指示位置の履歴情報に基づいてユーザの切り替わりを検出する請求項１０に記載の立体表示装置。
13. 前記ユーザ切替検出部は、前記指示位置の履歴情報に基づいて、利き目または利き目の強弱の変化を検出することでユーザの切り替わりを検出する請求項１２に記載の立体表示装置。
14. 前記ユーザ切替検出部によってユーザの切り替わりが検出された場合、新たなユーザの前記利き目情報を取得して前記左目用指示画像および右目用指示画像の表示領域に対する前記検出領域の位置、サイズおよび形状のうちで少なくともひとつの差分を決定するキャリブレーション処理と、前記検出領域を前記利き目情報に基づいて決定する第１の検出モードから前記検出領域を前記第１の検出モード時よりもサイズが大きいデフォルトに設定にする第２の検出モードに切替える検出モード切替処理と、前記立体指示画像を表示する第１の表示モードから平面指示画像を表示する第２の表示モードに切替える表示モード切替処理と、警告を出力する警告処理とのうちで少なくともいずれかの処理を実行する制御部を備えた請求項１０から１３のうちいずれか１項に記載の立体表示装置。
15. ユーザの切り替わりが検出された場合に実行する処理の選択をユーザから受け付ける選択受付部を備えた請求項１０から１４のうちいずれか１項に記載の立体表示装置。
16. 請求項１から１５のうちいずれか１項に記載の立体表示装置と、被写体を複数視点から撮像することで立体撮像画像を取得する立体撮像部と、を備え、前記立体撮像画像と前記立体指示画像とを合成して前記立体表示部により立体表示する立体撮影装置。
17. ユーザの指示を受け付けるための右目用指示画像および左目用指示画像からなる立体指示画像を表示する立体表示部、前記立体表示部の表示面上における前記ユーザの指示位置を検出する指示位置検出部、および、前記ユーザの利き目を示す利き目情報を取得する利き目情報取得部を用いる指示判定方法であって、
    前記利き目情報取得部により取得された前記利き目情報に基づいて、前記立体表示部の表示面上における前記指示位置の検出領域を決定する検出領域決定ステップであって、前記利き目情報が右目を示すときは少なくとも前記右目用指示画像を含む、右目用指示画像の表示位置寄りの検出領域を決定し、前記利き目情報が左目を示すときは少なくとも前記左目用指示画像を含む、左目用指示画像の表示位置寄りの検出領域を決定する検出領域検出ステップと、
    前記指示位置検出部により、前記立体表示部の前記表示面上における前記ユーザの指示位置を検出する指示位置検出ステップと、
    前記指示位置検出部により検出された前記指示位置が前記検出領域内であるか否かを判定する判定ステップと、を備え、
    前記立体表示部に前記立体指示画像が表示された状態で前記指示位置検出部により検出された前記ユーザの指示位置と、前記立体指示画像の視差量とに基づいて、ユーザの利き目および利き目の強弱を示す前記利き目情報を算出するステップを含む指示判定方法。
18. 前記ユーザの利き目情報の入力操作を受け付けるステップを含む請求項１７に記載の指示判定方法。
19. 前記指示位置検出部によって指示を入力したユーザが切り替わったことを検出し、ユーザの切り替わりが検出された場合、新たなユーザの前記利き目情報を取得して前記左目用指示画像および右目用指示画像の表示領域に対する前記検出領域の位置、サイズおよび形状のうちで少なくともひとつの差分を決定するキャリブレーション処理と、前記検出領域を前記利き目情報に基づいて決定する第１の検出モードから前記検出領域を前記第１の検出モード時よりもサイズが大きいデフォルトに設定にする第２の検出モードに切替える検出モード切替処理と、前記立体指示画像を表示する第１の表示モードから平面指示画像を表示する第２の表示モードに切替える表示モード切替処理と、警告を出力する警告処理とのうちで少なくともいずれかの処理を実行する請求項１７または１８に記載の指示判定方法。
20. 請求項１７から１９のうちいずれか１項に記載の指示判定方法をコンピュータに実行させるプログラム。
21. 請求項１７から１９のうちいずれか１項に記載の指示判定方法を実行するためにデジタル処理装置によって実行可能な機械読み取り可能である指示のプログラムを明確に格納したプログラム可能な記録媒体。

Images