JP3647376B2

JP3647376B2 - 視点位置検出装置、視点位置検出方法及び立体画像表示システム

Info

Publication number: JP3647376B2
Application number: JP2001024366A
Authority: JP
Inventors: 雅博鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-01-31
Filing date: 2001-01-31
Publication date: 2005-05-11
Anticipated expiration: 2021-01-31
Also published as: US6856341B2; JP2002232917A; US20020101506A1

Description

【０００１】
【発明が属する技術分野】
本発明は被測定者の視点位置を検出する視点位置検出装置及び視点検出方法に関し、特に高速処理を行う視点位置検出装置及び視点位置検出方法に関するものである。
【０００２】
【従来の技術】
従来、裸眼による立体視が可能ないわゆる立体画像表示装置がある。立体画像表示装置には種々の方式があるが、例えば特開平９−３１１２９４号公報には、リアクロスレンチキュラ方式のものが開示されている。図５はリアクロスレンチキュラ方式の立体画像表示装置の例を示す要部斜視図である。図中、６は画像表示用のディスプレイデバイスであり、例えば液晶ディスプレイ（ＬＣＤ）である。図において、通常液晶ディスプレイに用いられる偏光板、カラーフィルター、電極、ブラックマトリクス、反射防止膜などは省略してある。
【０００３】
１０は照明光源となるバックライト（面光源）である。ディスプレイデバイス６とバックライト１０の間には、市松状の開口８を備えたマスクパターンを形成したマスク基板（マスク）７を配置している。マスクパターンはガラスまたは樹脂からなるマスク基板７上にクロムなどの金属蒸着膜または光吸収材等をパターニングして製作している。バックライト１０、マスク基板７は立体画像表示装置の光源を構成している。
【０００４】
マスク基板７とディスプレイデバイス６の間には、透明樹脂、ガラス等からなる第１のレンチキュラレンズ３及び第２のレンチキュラレンズ４を配置している。第１のレンチキュラレンズ３は垂直方向に長い縦シリンドリカルレンズをディスプレイの左右方向に並べて構成した縦シリンドリカルレンズアレイであり、第２のレンチキュラレンズ４は水平方向に長い横シリンドリカルレンズをディスプレイの上下方向に並べて構成した横シリンドリカルレンズアレイである。
【０００５】
ディスプレイデバイス６に表示する画像は左右の視差画像Ｌ及びＲの全体（図示せず）を夫々上下方向に分割した多数の横ストライプ状の画像Ｌ1...n、Ｒ1...n（ｎは所定の自然数）である。そして、これらストライプ状の画像をディスプレイデバイス６の表示画面において、例えば上からＬ1Ｒ1Ｌ2Ｒ2Ｌ3Ｒ3・・・・ＬnＲnと交互に並べて同一画面で表示する。
【０００６】
バックライト１０からの光はマスク基板７上に形成されたマスクパターンの開口８を透過してディスプレイデバイス６を照明し、観察者の両眼に左右のストライプ画素Ｌ、Ｒが分離して観察される。
【０００７】
すなわち、マスク基板７はバックライト１０により照明され、マスクパターンの開口８から光が出射する。マスク基板７の観察者側に配置された第１のレンチキュラレンズ３を構成する各シリンドリカルレンズは、マスク基板７がそのほぼ焦点位置となるようなレンズ曲率を有する。第１のレンチキュラレンズ断面においては第２のレンチキュラレンズ４は光学的に何の作用もしないので、開口８上の１点から射出する光束は第１のレンチキュラレンズ内では略平行光束に変換される。
【０００８】
また、マスクパターン７の開口部８と遮光部の一対が第１のレンチキュラレンズ３の１ピッチ（隣接するシリンドリカルレンズの中心距離）に対応するように開口部と遮光部の幅を設定している。
【０００９】
また、観察者の位置から第１のレンチキュラレンズ３までの光学的距離と、第１のレンチキュラレンズ３からマスクパターン７までの光学的距離の関係を元に、第１のレンチキュラレンズ３のピッチとマスクパターンの一対の開口部と遮光部のピッチを定めることによって、画面の全幅にわたって、開口部８からの光が一様に左眼又は右眼に集まるようにすることができる。このようにしてディスプレイデバイス６上の左右のストライプ画像Ｌ1..n、Ｒ1..nが水平方向に左眼、右眼の領域に分離して観察される。
【００１０】
第２のレンチキュラレンズ４は、マスクパターン７の開口部８上の各点から発する光束を、すべてディスプレイデバイス６の右目又は左目用ストライプ画像上に集光して、これを照明、透過して上下方向にのみ集光時のＮＡ（開口数）に応じて発散し、観察者の所定の眼の高さから画面の上下方向の全幅にわたって左右のストライプ画素を一様に分離して見える観察領域を与えている。
【００１１】
しかしながら、このような立体画像表示装置の立体視野角は狭く、観察者の視点が立体視野角からはずれると立体表示が認識されなくなる。そのため、観察者（被測定者）の視点位置を検出して、視点位置の移動に応答して立体画像表示装置を制御することにより、立体視野角を見かけ上拡大する技術が提案されている。例えば、特開平１０−２３２３６７号公報には、マスクパターン又はレンチキュラレンズを表示面に平行移動させて、立体視野角を拡大する技術が開示されている。
【００１２】
図６は、特開平１０−２３２３６７号公報に開示される立体画像表示装置の図である。図６において、図５と同じ構成要素には同じ参照数字を付し、説明は省略する。図６の立体画像表示装置は図５における第１のレンチキュラレンズに相当するレンチキュラレンズのみを有し、図５における第２のレンチキュラレンズ４を有していない。
【００１３】
このような構成の立体画像表示装置において、観察者５４の（左右方向の）移動に応じた視野角制御は以下のように行われる。まず、位置センサー５１が、予め設定された基準の位置からの観察者５４の左右方向のずれを検出し、その情報を制御ユニット５２へ送る。このずれ情報に応じて制御ユニット５２がディスプレイ駆動回路５０へ画像制御信号を出力すると、ディスプレイ駆動回路５０が第１又は第２の横ストライプ画像をディスプレイ６に表示する。制御ユニット５２はまた、ずれ情報に基づくアクチュエータ駆動信号を発生し、マスクパターン７を左右方向に移動させるアクチュエータ５３を駆動することにより、マスクパターン７を観察者５４が左右のストライプ画像をもっともよく分離できる位置に移動させる。この結果、立体視可能な範囲が拡大する。
【００１４】
さらに、特開平１０−７８５６３号公報では、マスクパターン７を例えば液晶ディスプレイ（ＬＣＤ）で構成し、開口部、遮光部をディスプレイ表示で形成して、開口部と遮光部のピッチを動的に変更可能とすることで、観察者の前後左右方向の移動に追従した視野角制御を行う方法も開示されている。
【００１５】
この場合、観察者の左右方向及び前後方向の視点位置検出を行う必要があるが、このような位置測定方法としては、例えばステレオビジョンを用いた方法を用いることができる。ステレオビジョンとは、ステレオカメラで撮影された複数の画像間でセグメントマッチング（セグメント（領域）の特徴をもとに領域間の対応関係を把握する処理）を行い、画像間における対応領域の変移をもとに三角測量の原理で三次元位置を特定する既知の物体位置測定技術である。
【００１６】
【発明が解決しようとする課題】
しかしながら、観察者の視点位置を検出し、視点位置に追従して立体視可能な領域を移動させることによって立体視が可能な領域（立体視観察領域）を拡大するとはいえ、立体視観察領域自体の大きさは固定であり、さらに視点位置の検出処理に伴う遅延があるため、観察者が素早く動くと立体視観察領域を外れてしまう。観察者が立体視観察領域を外れると正しい立体画像を観察できなくなるため、立体画像表示装置を観察する観察者の視点位置の検出を行う際の検出処理の高速化が望まれていた。
【００１７】
本発明はこのような従来技術の問題点に鑑みなされたものであり、その目的は、立体画像表示部が左右方向もしくは上下方向よりも前後方向に長い立体視観察領域を有していることに応じて、視点位置の検出を高速化することにある。
【００１８】
【課題を解決するための手段】
すなわち、本発明の要旨は、左右方向もしくは上下方向よりも前後方向に長い立体視観察領域を有する立体画像表示部を制御するために、立体画像表示部の表示画像を観察している被測定者の視点位置を検出する視点位置検出装置であって、被測定者の視点位置が、前記左右方向もしくは上下方向に関する位置を表す第１の位置情報と、前記前後方向に関する位置を表す第２の位置情報との組み合わせで表現され、第１の位置情報を検出する第１の位置検出手段と、第１の位置情報及び第２の位置情報を検出する第２の位置検出手段と、第１の位置情報及び第２の位置情報とを視点位置として出力する出力手段とを有し、第２の位置検出手段を用いた検出頻度が、第１の位置検出手段を用いた検出頻度より低いことを特徴とする視点位置検出装置に存する。
【００１９】
また、本発明の別の要旨は、左右方向もしくは上下方向よりも前後方向に長い立体視観察領域を有する立体画像表示部を制御するために、立体画像表示部の表示画像を観察している被測定者の視点位置を検出する視点位置検出方法であって、被測定者の視点位置が、前記左右方向もしくは上下方向に関する位置を表す第１の位置情報と、前記前後方向に関する位置を表す第２の位置情報との組み合わせで表現され、第１の位置情報を検出する第１の位置検出ステップと、第１の位置情報及び第２の位置情報を検出する第２の位置検出ステップと、第１の位置情報及び第２の位置情報とを視点位置として出力する出力ステップとを有し、第２の位置検出ステップによる検出頻度が、第１の位置検出ステップによる検出頻度よりも低いことを特徴とする視点位置検出方法に存する。
【００２１】
また、本発明の別の要旨は、コンピュータを、本発明の視点位置検出装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体に存する。
【００２２】
また、本発明の別の要旨は、コンピュータを、本発明の視点位置検出装置として機能させるためのプログラムに存する。
【００２５】
【発明の実施の形態】
（第１の実施形態）
以下、図面を参照して本発明の実施形態を詳細に説明する。以下の説明においては、本発明の実施形態に係る視点位置検出装置を立体画像表示装置に接続した立体画像表示システムについて説明するが、本発明の視点位置検出装置は単独でも、他のいかなる装置と接続しても利用可能である。
【００２６】
また、本発明において、視点位置とは観察者の目の位置を示すある一点の座標を意味するが、本発明の視点位置検出装置の出力する視点位置情報（後述）は必ずしも一点の座標値でなくともよく、ある領域を示す情報であっても良い。すなわち、用途によっては目全体の位置がおおよそわかればよい場合もあるため、本発明の視点位置検出装置の用途によって適宜選択すればよい。
【００２７】
具体的な視点位置検出装置の構成、動作を説明する前に、まず本発明の原理について説明する。本発明は、レンチキュラレンズを用いた立体画像表示装置のような、立体観察領域の形状が前後方向に長い立体画像表示装置において、左右方向における視点位置検出精度に比べ、前後方向における位置検出精度、もしくは左右方向における視点位置検出頻度に比べ、前後方向における位置検出頻度を低くすることによって視点位置検出に係る処理時間を短縮することを特徴とする。
【００２８】
ここで言う立体観察領域とは、例えば、山田「レンチキュラー板立体ディスプレイにおける立体視領域」、３Ｄ映像、Vol.７、No.２、pp.４-７、１９９３年３月（以下、文献１とする）に記載されている（正）立体視領域のことである。図７は文献１に示されている立体視領域を説明する図であり、３Ａは正しく立体視が可能な領域を示し、３Ｂは正しい立体視が不可能な領域（ストライプ画像が左右逆の目に観察される逆立体視の領域）を示している。また、最適距離では観察者の所定の眼の高さから画面の上下方向の全幅にわたって左右のストライプ画素を一様に分離して観察することが可能な立体観察領域となっている。
【００２９】
文献１によれば、立体視領域は立体画像表示部４０５の表示画面横幅、眼間距離、画像数、立体視できる最適距離によって決めることができる。ここで例えば、眼間距離を６５［ｍｍ］、立体視に用いる画像数は一般的な２とすると、通常想定できる立体画像表示装置の幅、観察距離では、立体観察領域の形状が、ディスプレイ面に対して前後方向の（最大）距離が左右方向の（最大）距離よりも長い六角柱の形になる。また、画像数が増えれば増えるほど、前後方向の立体視観察領域距離が長くなる。
【００３０】
換言すれば、レンチキュラレンズを用いた立体画像表示装置においては、一般に観察者の左右方向の移動に比べ、前後方向の移動に強く、観察者の位置を検出するに当たっても左右方向に比べて前後方向での位置検出精度もしくは検出頻度は低くても良いことを意味する。
【００３１】
本実施形態における視点位置検出装置はこの特性を利用し、観察者の位置を検出する際、左右方向については常に検出を行い、前後方向については左右方向より低い頻度で検出を行うことで検出精度を低くし、全体として検出処理の高速化を実現したことを特徴とする。
【００３２】
本実施形態において、左右方向に比べて低い頻度で前後方向の検出を行う具体的な方法としては、左右方向と前後方向の検出を一定比回数（ただし、左右方向検出回数＞前後方向検出回数）で行う方法が考えられる。例えば左右方向の検出２回に対して前後及び左右方向の検出を１回行う。
もちろん、一定回数比を適当に設定せずに立体視観察領域の前後方向距離と左右方向距離の比によって設定しても良いことは言うまでもない。
【００３３】
（立体画像表示システムの構成）
図１は、本発明の第１の実施形態に係る視点位置検出装置を用いた立体画像表示システムの構成例を示すブロック図である。図１のシステムにおいて、本実施形態における視点位置検出装置は、撮影部４０１及び視点位置検出部４０２から構成される。また、立体画像表示部４０５は図６を用いて説明した立体画像表示装置（マスクパターン７をＬＣＤ等で構成した、開口部８と遮光部を動的に変更可能な構成のもの）と同等の構成を有する。
【００３４】
マスクパターン制御部４０３は立体画像表示部４０５のマスクパターン７を制御し、画像制御部４０４は立体画像表示部４０５に表示する前述した横ストライプ画像を制御する。
【００３５】
撮影部４０１は、第１の可視画像撮影部４１１、第２の可視画像撮影部４１２、赤外画像撮影部４１３、赤外光発光部４１４から構成され、観察者の可視画像及び赤外画像を撮影する。第１の可視画像撮影部４１１、第２の可視画像撮影部４１２及び赤外画像撮影部４１３はいずれもＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を用いた撮像手段（ビデオカメラ等）によって構成可能であり、赤外画像撮影部４１３は光学フィルター等を用いて赤外光のみを内部の撮像素子に入射させていること以外は可視画像撮影部４１１、４１２と同等の構成でよい。また、第１及び第２の可視画像撮影部４１１及び４１２が、互いに異なる位置から観察者を撮影することにより、各撮影部による撮影画像から上述のステレオビジョン法を利用した観察者の前後方向位置測定が可能である。
【００３６】
また、赤外光発光部４１４は例えばLED等の赤外光発光素子から構成することができ、観察者（披測定者）と撮影部４１１との通常取りうる範囲の距離において、赤外画像撮影部４１３によって網膜反射像を得るために必要な光量が得られるように構成する。
【００３７】
視点位置検出部４０２は、第１の可視画像記憶部４２１、第２の可視画像記憶部４２２、赤外画像記憶部４２３、第１のパターンマッチング部４２４、第２のパターンマッチング部４２５、テンプレート作成部４２６、瞳孔位置検出部４２７、視点位置出力判定部４２８、赤外光発光制御部４２９及び制御部４３０から構成されている。視点位置検出部４０２は、例えば撮影部４０１が出力する各画像信号を記憶可能な汎用のコンピュータ装置から構成することができる。
【００３８】
この場合、第１の可視画像撮影部４１１、第２の可視画像撮影部４１２、赤外画像記憶部４１３が撮影した画像データを記憶する手段として用いられる第１の可視画像記憶部４２１、第２の可視画像記憶部４２２及び赤外画像記憶部４２３はいずれも磁気ディスクドライブ、光ディスクドライブなどの外部記憶装置によって実現可能である。もちろん、半導体メモリを用いても良いし、他の記憶装置を用いても良い。
【００３９】
各画像記憶部４２１〜４２３における画像取り込みのタイミングは任意に設定可能であるが、後述するように、第２の可視画像撮影部４１２が撮影した画像は第１の可視画像撮影部４１１が撮影した画像よりも使用頻度が少ないため、第２の可視画像記憶部４２２への取り込み頻度も同様に第１の可視画像記憶部４２１への取り込み頻度より少なく設定することができる。また、赤外画像記憶部４２３への画像取り込みは、赤外光発光部４１４が発光しているときのみ行えばよい。各画像撮影部４１１〜４１３からの画像取り込みは、制御部４３０の制御に従って行われる。
【００４０】
第１のパターンマッチング部４２４は、テンプレート作成部４２６から供給されるテンプレートを用いて、第１の可視画像記憶部４２１に記憶された画像とパターンマッチングを行い、テンプレートとの相関が最も高い領域の位置情報、すなわち観察者の（左右方向における）視点位置情報を視点位置出力判定部４２８へ出力する。また、パターンマッチング失敗時などに、赤外光発光制御部４２９に赤外光発光部４１４を発光させるよう指示する。
【００４１】
第２のパターンマッチング部４２５は、視点位置出力判定部４２８から信号を受け取ると、テンプレート作成部４２６から供給されるテンプレートを用いて、第２の可視画像記憶部４２２に記憶された画像とパターンマッチングを行い、第１のパターンマッチング部４２４と同様に、観察者の（左右方向における）視点位置情報として、テンプレートとの相関が最も高い領域の位置情報を視点位置出力判定部４２８へ出力する。
【００４２】
テンプレート作成部４２６は、瞳孔位置検出部４２７から供給される観察者の瞳孔位置情報を用いて、第１の可視画像記憶部４１１に記憶された画像データから、第１のパターンマッチング部４２４及び第２のパターンマッチング４２５で用いるパターンマッチング用にテンプレートを作成する。
【００４３】
瞳孔位置検出部４２７は、赤外光発光制御部４２９から通知される、赤外光発光部４１４の発光を知らせる信号に応答して、赤外画像記憶部４２３に記憶された赤外画像から瞳孔位置を検出し、その位置情報をテンプレート作成部４２６に供給する。すなわち、人間の網膜による赤外光の反射を利用し、赤外光を照射して撮影した披測定者の赤外画像から、瞳孔位置を検出する。
【００４４】
視点位置出力判定部４２８は、第１のパターンマッチング部４２４においてパターンマッチングが一定回数行われる（パターンマッチングの結果である領域位置情報が一定回数出力される）毎に、第２のパターンマッチング部４２５に対してパターンマッチング処理を指示する信号を出力する。
【００４５】
また、第２のパターンマッチング４２５から観察者の左右方向の視点位置情報が送られてきたとき（すなわち、第１及び第２のパターンマッチング部４２４及び４２５の両方から視点位置情報を受信したとき）には、それらの左右方向の視点位置情報から上述のステレオビジョン法により観察者の前後方向の視点位置を求め、左右方向及び前後方向の視点位置情報を出力する。
【００４６】
本実施形態においては上述の通り第２のパターンマッチング部４２５がパターンマッチングを行うのは第１のパターンマッチング部４２４が所定回数パターンマッチングを行う毎である。したがって、パターンマッチングが所定回数行われていない場合には、第１のパターンマッチング部４２４からのみ左右方向の視点位置情報が送られてくるが、その際は第１のパターンマッチング部４２４から送られてきた左右方向の視点位置情報と共に、直前に求めた前後方向の視点位置情報を出力する。
【００４７】
赤外光発光制御部４２９は、制御部４３０、瞳孔位置検出部４２７、第１のパターンマッチング部４２４等の制御に従い、赤外光発光部４１４の点灯制御を行う。
【００４８】
視点位置検出部４０２の各構成要素は、制御部４３０の制御によって動作する。視点位置検出部をコンピュータ装置で実現する場合、制御部４３０はＣＰＵであり、第１及び第２のパターンマッチング部４２４及び４２５、テンプレート作成部４２６、瞳孔位置検出部４２７、視点位置出力判定部４２８及び赤外光発光制御部４２９はいずれもＣＰＵがハードディスクドライブやＲＯＭに記憶されたプログラムを実行することによって実現しても、ハードウェアで構成し、このハードウェアをＣＰＵによって制御することによって実現してもよい。もちろん、ソフトウェアで構成するものとハードウェアで構成するものとを組み合わせてもよい。
【００４９】
（視点位置検出装置の動作）
以下、図１に示した立体画像表示システムの具体的な動作について説明するが、全体の動作を説明する前に、図２に示すフローチャートを用いて、本実施形態における視点位置検出装置の動作を説明する。
【００５０】
まず、撮影部４０１及び視点位置検出部４０２の電源投入に伴う、初期化などの起動処理を行う（ステップＳ１０）。次に、制御部４３０は、赤外光発光制御部４２９に赤外光発光を指示する。それを受けて赤外光発光制御部４２９は赤外光発光部４１４を点灯させる（ステップＳ１１）とともに、瞳孔位置検出部４２７及び制御部４３０に赤外光を発光した旨を通知する。
【００５１】
制御部４３０は、赤外光発光制御部４２９からの通知に応答して、第１の可視画像撮影部４１１によって撮影された第１の可視画像と、第２の可視画像撮影部４１２によって撮影された第２の可視画像と、赤外画像撮影部４１３によって撮影された赤外画像をそれぞれ第１の可視画像記憶部４２１、第２の可視画像記憶部４２２、赤外画像記憶部４２３に取り込む。
【００５２】
この際、精度良いテンプレートの作成及びパターンマッチングを行うために、各画像記憶部に取り込む画像は実質的に同じタイミング（フレームもしくはフィールド）のものとすることが好ましい。
【００５３】
また、赤外光の発光開始は、例えば観察者の有無を検知するセンサーを設けて、観察者の存在が確認されてから自動的に行ったり、観察者に開始ボタンを押し下げさせるなど任意の方法を用いることができる。
【００５４】
次に、瞳孔位置検出部４２７は赤外画像記憶部４２３に記憶した赤外画像から、瞳孔位置を検出する（ステップＳ１２）。人間の網膜は赤外光を再帰反射する特性を持っているので、赤外光発光部４１４が発光した赤外光が観察者の網膜で再帰反射される。そのため、赤外画像には網膜反射像が他の部分に比べて非常に明るく写り、網膜反射像位置を求めることができる。また、網膜反射像の位置は瞳孔の位置と等しいので結果的に瞳孔位置が分かる。
【００５５】
瞳孔位置の検出は基本的に赤外画像の２値化処理によって行うが、網膜反射による反射像は、赤外画像内の一部の領域になるため、反射像の位置から赤外画像内の１点を指す画像内座標値を求める処理も併せて行う。
【００５６】
ステップＳ１３において、瞳孔位置の検出に成功した場合はステップＳ１４へ、観察者が瞬きをしていた等の理由により正常に検出できなかった場合には、ステップＳ１１に戻って再度画像取得を行う。
【００５７】
ステップＳ１３で正常に瞳孔位置を検出できた場合には、テンプレートの作成処理を開始する（ステップＳ１４）。図８はテンプレートの作成の説明を行う図である。図８（ａ）に示すように、テンプレートの作成処理は、瞳孔位置検出部４２７が、赤外画像から検出した右眼、左眼の瞳孔位置（画像上の座標値）を用いて、第１の可視画像記憶部４１１に記憶された第１の可視画像から、右眼瞳孔位置を基点とした右眼テンプレート及び左眼瞳孔位置を基点とした左眼テンプレートを作成する。
【００５８】
図８（ａ）に示す眼のテンプレートの大きさは、例えば右眼左眼瞳孔位置間の距離によって次式から決定する。
平均的な人間の右眼左眼瞳孔位置間の距離：測定された右眼左眼瞳孔位置間の距離＝平均的な人間の眼と眉が入る程度の大きき：眼のテンプレートの大きさ
【００５９】
また図８（ｂ）に示すように、パターンマッチングを階層的に行うために、右眼瞳孔位置と左眼瞳孔位置の中点を基点として顔全体が入る大きさの顔テンプレートを作成してもよい。
顔テンプレートの大ききは、例えば右眼左眼瞳孔位置間の距離によって次式から決定する。
平均的な人間の右眼左眼瞳孔位置間の距離：測定された右眼左眼瞳孔位置間の距離＝平均的な人間の顔が入る程度の大きさ：顔テンプレートの大きさ
ここで、眼と眉が入る大きさの平均値及び顔全体が入る大きさの平均値は、例えば統計的に求めた値を用いることができる。
【００６０】
テンプレート作成部４２６が作成したテンプレートは、第１のパターンマッチング部４２４及び第２のパターンマッチング部４２５へ供給される。
【００６１】
テンプレートの作成が終わると、視点位置出力判定部４２８がパターンマッチングを一定回数行ったかどうかの判別を行う（ステップＳ１５）。視点位置出力判定部４２８がパターンマッチングを一定回数行っていないと判別した場合はステップＳ１６へ進み、パターンマッチングを一定回数行ったと判別した場合はステップＳ１８へ進む。ただし、ステップＳ１４でテンプレートを作成した直後のステップＳ１５では無条件にステップＳ１８へ進む。また、ステップＳ１８に進んだ場合は、それまで数えていたパターンマッチングの回数を０として、再度一定回数になるまでステップＳ１６に進ませる。
【００６２】
パターンマッチングを一定回数行っていないと判別された場合、第１の可視画像記憶部４２１に記憶された第１の可視画像と、上述した眼のテンプレートを用いてパターンマッチングを行う（ステップＳ１６）。第１のパターンマッチング部４２４はパターンマッチングを行うが、パターンマッチングはたとえば正規化相関関数を用いて行うことができる。正規化相関関数を用いたパターンマッチングについては例えば、「マトロックスイメージングライブラリバージョン５．１ユーザガイド（Matrox Imaging Library Version ５．１ User Guide）」第１５４〜１５５ページに記載されている。正規化相関関数によって得られる値は０〜１００（％）として表され、１００％が完全一致を意味する。
【００６３】
本実施形態においては、例えば８５％を超える相関度が得られれば、パターンマッチングが成功したと見なす。テンプレート作成直後のパターンマッチングは、テンプレートの元になった画像とパターンマッチングを行う画像データが同一であるため、基本的にほぼ１００％の相関度が得られるはずである。また、パターンマッチングはテンプレートマッチングと呼ばれることもある。
【００６４】
テンプレートと第１の可視画像のパターンマッチング結果が所定の相関度を満たした場合には、ステップＳ１７においてパターンマッチング成功と判断され、ステップＳ２１へ移行する。一方、相関度が所定値に満たなければ、テンプレートを作成し直す必要があると考えられるため、ステップＳ１１へ戻り、再度処理を行う。
【００６５】
また、パターンマッチングを階層的に行うために、上述した顔全体が入る大きさの顔テンプレートを利用しても良い。パターンマッチングを階層的に行うには、まず顔テンプレートを用いて第１の可視画像とパターンマッチングを行い、おおよその観察者の位置を検出する。次に顔テンプレートを利用したパターンマッチングの結果を元に、眼のテンプレートを用いて第１の可視画像とパターンマッチングを行い、観察者の視点位置を検出する。このように、階層的にパターンマッチングを行い、段階的に探索範囲を絞っていくことで、誤った視点位置の検出（失敗ではない）を防ぎ、精度良い追従ができる。
【００６６】
また、パターンマッチングを一定回数行ったと判別された場合、第１の可視画像記憶部４２１に記憶された第１の可視画像と上述したテンプレートを用いたパターンマッチング、及び第２の可視画像記憶部４２２に記憶された第２の可視画像と上述したテンプレートを用いたパターンマッチングを行う（ステップＳ１８）。第１の可視画像、第２の可視画像それぞれについて、パターンマッチングの方法はステップＳ１６と同様の方法を用いる。
【００６７】
ここで、テンプレートの作成元は第１の可視画像撮影部４１１で撮影した第１の可視画像であり、第２の可視画像撮影部４１２で撮影した第２の可視画像とは異なるが、本実施形態において第１の可視画像撮影部４１１と第２の可視画像撮影部４１２の距離は大きく離れていないため問題はない。
【００６８】
次にテンプレートと第１の可視画像のパターンマッチング結果及び第２の可視画像のパターンマッチング結果が所定の相関度（８５％）を満たした場合には、ステップＳ１９においてパターンマッチング成功と判断され、ステップＳ２０へ移行する。一方、相関度が所定値に満たなければ、テンプレートを作成し直す必要があると考えられるため、ステップＳ１１へ戻り、再度処理を行う。
【００６９】
パターンマッチングが成功である場合は、第１の可視画像のパターンマッチング結果及び第２の可視画像のパターンマッチング結果を利用して、ステレオビジョンによる前後方向の視点位置検出を行う（ステップＳ２０）。通常、ステレオビジョンでは複数の画像間での対応点の探索が問題点になるが、第１の画像及び第２の画像とパターンマッチングを行うとき、上述した共通のテンプレートを用いるため特に問題はない。
【００７０】
ステップＳ１７、またはステップＳ２０が終了したら視点位置出力判定部４２８が、観察者の視点位置情報の出力を行う（ステップＳ２１）。ただし、ステップＳ２０で観察者の前後方向と左右方向の視点位置検出が成功した後には、観察者の前後方向と左右方向の視点位置情報を出力する。また、ステップＳ１７で観察者の左右方向の視点位置検出が成功した後には、前後方向の視点位置については以前に求めた前後方向の視点位置検出結果を利用して、観察者の前後方向と左右方向の視点位置情報を出力する。視点位置出力判定部４２８から出力する視点位置情報は、即ち視点位置検出部４０２が出力する視点位置情報である。また、視点位置検出部４０２から視点位置情報が出力されると、マスクパターン制御部４０３が視点位置情報を受け取り、立体画像表示部４０５のマスクパターン制御を行う。
【００７１】
視点位置検出部４０２から視点位置情報が出力されると、ステップＳ２２においてシステム終了を行うか否かを判定し、システムの動作終了を指示されていなければ第１の可視画像撮影部４１１及び第２の可視画像撮影部４１２から、それぞれ第１の可視画像及び第２の可視画像を取り込み、それぞれ第１の可視画像記憶部４２１及び第２の可視画像記憶部４２２へ記憶してからステップＳ１５へ戻る。以降、パターンマッチング処理を継続し、パターンマッチングが失敗すると自動的に赤外光を発光してテンプレートの再作成処理を行う。
【００７２】
ステップＳ２２において終了処理が指示された場合には、所定の終了処理を行って（ステップＳ２３）一連の処理を終了する。以上の処理により、視点位置の検出を左右方向を一定回数（Ｓ１５）行うごとに前後方向を1回行うようにしたので、全体として演算回数を削減でき、処理の高速化を図ることができる。
【００７３】
（第２の実施形態）
第１の実施形態においては、左右方向の視点位置検出回数に比べて、前後方向の視点位置検出回数を低い頻度で行うために、左右方向と前後方向の検出を一定比回数（ただし、左右方向検出回数＞前後方向検出回数）で行うことで、全体の視点位置検出処理の高速化を行う構成を説明した。しかし、観察者が椅子などに座って頻繁に前後方向に動かない環境においては、観察者が押し下げることができるスイッチなどをあらかじめ用意して、通常は左右方向の検出のみ行い、観察者が立体画像を観察できなくなったときにスイッチを押し下げると前後方向検出を行うようにしても同様の効果が得られる。本実施形態においては、この構成について説明する。
【００７４】
図３は本発明の第２の実施形態の構成を示すブロック図である。本図においても図１と同様に、撮影部４０１、視点位置検出部４０２、マスクパターン制御部４０３、画像制御部４０４、立体画像表示部４０５を併せて立体画像表示システムを構成した場合を示している。図３において、第１の実施形態を示す図１と同一の構成要素には同じ参照番号を付し、その説明は省略する。
【００７５】
本実施形態において、第１の実施形態と異なるのは、視点位置検出部４０２が観察者指示部４３１を有している点である。観察者指示部４３１は、いわゆるスイッチ手段であり、観察者が押し下げると観察者から指示があったことを検出する。観察者からの指示があった場合、この観察者指示手段４３１からの指示信号は視点位置出力判定部４２８に入力され、それに応答して視点位置出力判定部４２８は第２のパターンマッチング部へパターンマッチングを行うように信号を送る。これにより、観察者からの指示があると前後方向の視点位置検出が行われる。
【００７６】
具体的な動作を図４を用いて説明する。図４は、本実施形態の動作を示すフローチャートである。図４において、図２と同じ動作を行うステップについては同じ参照番号を付し、重複する説明は省略する。
【００７７】
図４から明らかなように、本実施形態は、図２に示す処理ステップから、一定回数パターンマッチングを行ったかどうか判定するステップ（ステップＳ１５）を除去し、観察者からの指示があったかどうかを判定する観察者指示部４３１からの信号の有無を判別するステップＳ２４を付加したものである。
【００７８】
このステップＳ２４の付加により、通常は観察者の左右方向の視点位置のみを検出し、観察者が観察者指示手段４３１を介して指示を行ったときのみ前後方向及び左右方向の視点位置検出を行うようにすることができる。その結果、視点位置検出処理の高速化を行うことができる。
【００７９】
【その他の実施形態】
上述の実施形態では、パターンマッチングに失敗したときにはテンプレートを作成しなおす場合を説明したが、あらかじめ定めた規定回数失敗するまで、あるいは終了処理が行われるまでは同じテンプレートでパターンマッチング処理を繰り返すようにしても良い。こうすることで、テンプレートを作成するステップを減らすことができ、さらに視点位置検出の高速化を行うことができる。
【００８０】
また、上述の実施形態では、赤外光を発光する際に、立体画像表示部４０５の輝度や観察者までの距離に応じてその発光量を変化させたり、赤外画像からの瞳孔位置検出が失敗してやり直す際には前回と発光量を変化させる（強くする、あるいは弱くする）こともできる。このような発光量の制御は、赤外画像からの瞳孔位置検出を成功させる確率を高め、結果として視点位置検出の高速化を行うことができる。
【００８１】
また、上述の実施形態では、逆に、赤外光を発光する際に、立体画像表示部４０５の輝度を変化させても良い。例えば輝度を下げると、観察者の瞳孔が開くため赤外画像からの瞳孔位置検出を成功させる確率を高め、結果として視点位置検出の高速化を行うことができる。
【００８２】
また、上述の実施形態では本発明による視点位置検出装置の検出結果を立体画像表示装置に供給する場合を例にして説明したが、本発明による視点位置検出装置は、任意の用途に用いることができる。
【００８３】
また、上述の実施形態において説明した具体的な手法、例えばパターンマッチングの方法、テンプレート作成の方法等は、実施形態において説明した者に限定されるものではなく、同等に適用可能な方法を用いても良いことはいうまでもない。
【００８４】
また、上述の実施形態においては、ピンポイントの座標である視点位置を出力するように構成されていたが、例えば上述の実施形態のように最終的に得られる視点位置を立体画像表示装置の制御に用いる場合であれば、右眼と左眼の視点位置の中心位置がわかれば最低限の制御は可能であるため、テンプレートの中心位置を画像表示部３へ出力するようにしても良い。
【００８５】
また、上述の実施形態においては、視点位置を検出するためにパターンマッチング、もしくはステレオビジョンによる方法を用いているが、パターンマッチング、もしくはステレオビジョンによる方法に限定されたものではないことは言うまでもない。
【００８６】
上述の実施形態においては、本発明による視点位置検出装置を好適に用いることが可能な立体画像表示装置（立体画像表示部）として、レンチキュラレンズを用いた立体画像表示装置のみを開示したが、左右方向よりも前後方向に長い立体視観察領域を有する立体画像表示装置であれば、その方式は問わない。
【００８７】
また、上述の実施形態においては、本発明による視点位置検出装置を好適に用いることが可能な立体画像表示装置（立体画像表示部）として、レンチキュラレンズを用いた立体画像表示装置のみを開示したが、例えばインテグラルフォトグラフィー方式（レンチキュラ方式を左右方向だけでなく上下方向にも拡張した、いわゆる蝿の目レンズ方式）に適用してもよい。その場合、（左右方向だけでなく）上下方向よりも前後方向に長い立体視観察領域を有するようであれば、上下方向における位置検出よりも前後方向における位置検出に要する処理を減じることによって視点位置検出処理の高速化を実現できることはいうまでもない。
【００８８】
また、本発明の本質は視点位置検出装置において、左右方向もしくは上下方向における位置検出よりも前後方向における位置検出に要する処理を減じることによって視点位置検出処理の高速化を実現することにある。従って、実施形態で説明したような、検出頻度を変化させる方法に限定されるものではなく、左右方向もしくは上下方向の位置検出よりも処理の容易な方法によって前後方向の位置を検出する等、他の方法を用いても良い。
【００８９】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００９１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した（図２、図４のいずれかに示す）フローチャートに対応するプログラムコードが格納されることになる。
【００９４】
【発明の効果】
以上説明したように、本発明によれば、立体画像表示部が左右方向もしくは上下方向よりも前後方向に長い立体視観察領域を有していることに応じて、視点位置の検出を高速化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る視点位置検出装置を用いた立体画像表示システムの構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る視点位置検出装置の動作を説明するフローチャートである。
【図３】本発明の第２の実施形態に係る視点位置検出装置を用いた立体画像表示システムの構成例を示すブロック図である。
【図４】本発明の第２の実施形態に係る視点位置検出装置の動作を説明するフローチャートである。
【図５】従来のリアクロスレンチキュラ方式の立体画像表示装置の構成例を示す斜視図である。
【図６】視点位置により表示制御を行う従来の立体画像表示装置の例を示す斜視図である。
【図７】立体画像観察領域を説明する図である。
【図８】テンプレートの作成を説明する図である。

Claims

左右方向もしくは上下方向よりも前後方向に長い立体視観察領域を有する立体画像表示部を制御するために、該立体画像表示部の表示画像を観察している被測定者の視点位置を検出する視点位置検出装置であって、
被測定者の視点位置が、前記左右方向もしくは上下方向に関する位置を表す第１の位置情報と、前記前後方向に関する位置を表す第２の位置情報との組み合わせで表現され、
前記第１の位置情報を検出する第１の位置検出手段と、
前記第１の位置情報および前記第２の位置情報を検出する第２の位置検出手段と、
前記第１の位置情報及び前記第２の位置情報とを前記視点位置として出力する出力手段とを有し、
前記第２の位置検出手段を用いた検出頻度が、前記第１の位置検出手段を用いた検出頻度より低いことを特徴とする視点位置検出装置。
さらに、前記立体画像表示部を有し、
前記立体画像表示部は、
光源から出射する光束の方向を制御することによって被測定者の右目に入射する光束と左目に入射する光束とを生成する光束制御手段と、
前記出力手段から出力された視点位置に基づいて、前記立体視観察領域の位置を移動させる位置制御手段とを有することを特徴とする請求項１記載の視点位置検出装置。
左右方向もしくは上下方向よりも前後方向に長い立体視観察領域を有する立体画像表示部を制御するために、該立体画像表示部の表示画像を観察している被測定者の視点位置を検出する視点位置検出方法であって、
被測定者の視点位置が、前記左右方向もしくは上下方向に関する位置を表す第１の位置情報と、前記前後方向に関する位置を表す第２の位置情報との組み合わせで表現され、
前記第１の位置情報を検出する第１の位置検出ステップと、
前記第１の位置情報及び前記第２の位置情報を検出する第２の位置検出ステップと、
前記第１の位置情報及び前記第２の位置情報とを前記視点位置として出力する出力ステップとを有し、
前記第２の位置検出ステップによる検出頻度が、前記第１の位置検出ステップによる検出頻度よりも低いことを特徴とする視点位置検出方法。
前記第１の位置検出ステップは、前記被測定者を第１の位置で撮影した可視画像に基づいて前記第１の位置情報を検出し、
前記第２の位置検出ステップは、前記被測定者を前記第１の位置で撮影した可視画像と、前記第１の位置と異なる第２の位置で前記被測定者を撮影した可視画像とに基づいて、前記第２の位置情報を検出することを特徴とする請求項３に記載の視点位置検出方法。
前記第２の位置検出ステップは、ステレオビジョン法を用いて前記第２の位置情報を検出することを特徴とする請求項４記載の視点位置検出方法。
前記第１の位置検出ステップは定期的に行われ、前記第２の位置検出ステップは前記第１の位置情報の検出処理が所定回数処理された場合に行われることを特徴とする請求項３乃至請求項５のいずれか１項に記載の視点位置検出方法。
前記被測定者の赤外画像を取得する赤外画像取得ステップと、
前記赤外画像から前記被測定者の瞳孔位置を検出するとともに、当該瞳孔位置を用いて視点位置検出用テンプレートを生成するテンプレート生成ステップとをさらに有し、
前記第１の位置検出ステップにおいて、前記テンプレートと前記第１の位置から撮影した可視画像とのパターンマッチングにより前記第１の位置情報を検出し、
前記第２の位置検出ステップにおいて、前記テンプレートと前記第２の位置から撮影した可視画像とのパターンマッチング結果及び前記第１の位置情報から、前記第２の位置情報を検出することを特徴とする請求項３乃至請求項６のいずれか１項に記載の視点位置検出方法。
左右方向もしくは上下方向よりも前後方向に長い立体視観察領域を有する立体画像表示部を制御するために、該立体画像表示部の表示画像を観察している被測定者の視点位置を検出する視点位置検出装置を、コンピュータにて実現するためのプログラムであって、
前記左右方向もしくは上下方向に関する位置を表す第１の位置情報を検出する第１の位置検出手段と、
前記第１の位置情報及び、前記前後方向に関する位置を表す第２の位置情報を検出する第２の位置検出手段と、
前記第１の位置情報及び前記第２の位置情報とを前記視点位置として出力する出力手段として、コンピュータを機能させるためのプログラムであり、
前記第２の位置検出手段を用いた検出頻度を、前記第１の位置検出手段を用いた検出頻度より低くすることを特徴とするプログラム。
請求項８記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。