以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。
<第1実施形態>
図1は、第1実施形態の画像表示装置の概略について示した図である。本発明の形態の画像表示装置101Aは、眼鏡型の画像表示装置(使用者の頭部に装着可能な画像表示装置)であり、いわゆる眼鏡のレンズの位置に対応する箇所に画像を表示する装置である。画像表示装置101Aは、測距センサ部102、画像表示部103、および光源部104を有する。画像表示装置101Aは、頭部に装着する画像表示装置101に画像表示機能と演算処理機能が一体となっている例である。
画像表示装置101Aは、眼鏡のレンズ部分に対応する箇所に位置する画像表示部103に情報(例えば、画像等)を表示する。また、画像表示装置101Aは、測距センサ部102等により使用者のジェスチャを特定し、特定したジェスチャに対応する操作(指示)を認識し、認識した操作に応じて、画像表示部103に表示する内容を変更する。図1に示すように、画像表示装置101Aは、眼鏡型の装置であるが、これに限られず、頭部に装着できる形状であればよい。
また、上記画像表示部103は、両目に対応される位置に備えられていなくてもよく、片目に対応される位置に備えられていればよい。また、測距センサ部102は、例えば、画像表示装置101の中央部でなく、装置の端部に備えられていてもよい。この場合、測距センサ部102を中央に設置する場合よりも、測距センサ部102が目立たなくなり、デザイン性を向上させることが可能である。
また、光源部104は、測距センサ部102の測距範囲以上の領域を照射できるように予め設定されている。例えば、1つの光源の照射範囲が狭い場合、複数の光源を備えておく。例えば、画像表示装置101の両側に光源部104を備えるようにしてもよい。これにより、照射範囲を広げることができる。
続いて、図2を用いて、第1実施形態による画像表示装置101における機能を説明する。図2は、第1実施形態による画像表示装置101Aの機能構成を示す図である。図2に示すように、画像表示装置101Aは、測距センサ部102、画像表示部103、光源部104、全体制御部203、光源制御部204、ジェスチャ検出部206、画像分割部208、画像処理部209、測距処理部210、ジェスチャ認識部213、画像表示制御部214、カメラ制御部216、およびカメラ部217を有する。
測距センサ部102は、被写体を撮像する部分である。詳細は後述する。画像表示部103は、画像を表示する部分であり、ディスプレイ装置等である。光源部104は、光を照射する部分である。例えば、光源部104は、近赤外光を照射する。
全体制御部203は、中央処理装置であり、画像表示装置101Aにおける全体制御を行う部分である。全体制御部203は、例えば、CPU(Central Processing Unit)等により実現される。
光源制御部204は、光源部104を制御する部分であり、所定間隔で光源部104を動作させる。光源制御部204は、CPU等により実現される。
ジェスチャ検出部206は、測距センサ部102を制御し、測距センサ部102から得られた画像データに基づいて、ジェスチャを検出するための画像を取得する部分である。ジェスチャ検出部206は、GPU(Graphics Processing Unit)等により実現される。ジェスチャ検出部206は、画像分割部208、画像処理部209、および測距処理部210を有する。ジェスチャ検出部206は、ジェスチャを検出するための画像を取得すると、当該画像をジェスチャ認識部213へ送出する。ジェスチャ検出部206の詳細は、後述する。
ジェスチャ認識部213は、ジェスチャ検出部206により検出された画像に基づいてジェスチャを認識し、当該ジェスチャに応じた処理を実行する部分である。ジェスチャ認識部213は、CPU等により実現される。ジェスチャ認識部213は、ジェスチャ検出部206からジェスチャを検出するための画像を取得すると、取得した画像を解析して、対象物(例えば、使用者の手)のジェスチャを特定し、特定した動きに対応する指示を認識することにより、ジェスチャを認識する。ジェスチャ認識部213は、予めジェスチャと当該ジェスチャの意味とを対応付けた情報を記憶しており、特定したジェスチャが示す指示を認識する。
ジェスチャ認識部213は、ジェスチャを認識すると、当該ジェスチャの意味に基づいて、画像表示制御部214へ指示信号を送出する。
画像表示制御部214は、画像表示部103を制御する部分であり、ジェスチャ認識部213等からの指示信号を受信し、当該指示信号に基づいて画像表示部103へ画像を表示させる。画像表示制御部214は、例えば、画像表示部103へ表示中の画像の拡大を示す指示信号を受信した場合、表示中の画像を拡大表示させる。
カメラ制御部216は、カメラ部217を制御させる部分であり、全体制御部203等による指示信号を受信すると、当該カメラ部217を動作させる。また、カメラ制御部216は、カメラ部217を動作させた結果、カメラ部217から画像を取得すると、当該画像を画像表示制御部214へ送出する。
カメラ部217は、撮像手段であり、外界の静止画・動画等を撮像する部分である。カメラ部217は、カメラ制御部216による指示信号に応じて、外界を撮像し、撮像した結果をカメラ制御部216へ送出する。
続いて、図3を用いて、画像表示装置101による処理手順を説明する。図3は、画像表示装置101Aにより使用者のジェスチャを認識して、認識したジェスチャに応じた処理をする手順を示すフローチャートである。全体制御部203が、図3に示した処理の全体制御を行う。
まず、所定のタイミングで、光源制御部204が、光源部104を制御して、照射する光量を調整して、光を照射させる(ステップS1)。続いて、ジェスチャ検出部206は、測距センサ部102により取得した画像データに基づいて、ジェスチャを検出するための画像を取得する(ステップS2)。ジェスチャ認識部213は、ジェスチャ検出部206により取得された画像に基づき、ジェスチャを認識する(ステップS3)。画像表示制御部214は、当該ジェスチャ認識部213による認識結果による指示信号に応じて表示制御して(ステップS4)、処理を終了する。
続いて、ジェスチャ検出部206および測距センサ部102の構成の詳細について説明する前に、測距センサ部102を用いた撮像および測距の基本的な原理を説明する。
<無限遠物体の撮影原理>
図4は、本実施形態における測距センサ部102を用いた撮像装置の基本的な構成の一例を示す説明図である。測距センサ部102は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図4に示すように、測距センサ部102で取得した画像を、ジェスチャ検出部206で演算を行うものである。
図5を用いて測距センサ部102の構造を説明する。図5は、測距センサ部102の構造例を示す図である。測距センサ部102は、画像センサ803、パターン基板804、撮影用パターン805(第1のパターン)から構成されている。パターン基板804は、画像センサ803の受光面に密着して固定されており、パターン基板804に撮影用パターン805が形成された構成からなる。
パターン基板804は、例えば、ガラスやプラスティックなどの可視光に対して透明な材料からなる。撮影用パターン805は、例えば、半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
なお、撮影用パターン805の形成はこれに限定されるものでなく、例えば、インクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。また、ここでは可視光を例に説明したが、例えば、遠赤外線の撮影を行う際には、パターン基板804は、例えば、ゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン805は、遮断する材料を用いればよい。
なお、ここでは撮影用パターン805をパターン基板804に形成する方法について述べたが、図6に示すように撮影用パターン805を薄膜に形成し、支持部材801により保持する構成などによっても実現できる。なお、この装置において、撮影画角はパターン基板804の厚さによって変更可能である。よって、例えば、パターン基板804が図6の構成であり、支持部材801の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
図5に戻り、画像センサ803の表面には、受光素子である画素803aが格子状(アレイ状)に規則的に配置されている。この画像センサ803は、画素803aが受光した光画像を電気信号である画像信号に変換する。画像センサ803から出力された画像信号は、ジェスチャ検出部206によって画像処理されて、ジェスチャ認識部213へ出力される。このように、画像センサ803は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する。
以上の構成において、撮影する場合には、撮影用パターン805を透過する光は、その撮影用パターン805によって光強度が変調され、透過した光は画像センサ803にて受光される。画像センサ803から出力された画像信号は、ジェスチャ検出部206に含まれる画像処理部209によって画像処理され、ジェスチャ認識部213へ出力される。
続いて、測距センサ部102における撮影原理について説明する。まず、撮影用パターン805は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径r、係数βを用いて、
と定義する。撮影用パターン805はこの式に比例して透過率変調されているものとする。
このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図7に式1のガボールゾーンプレート、図8に式1を閾値1で2値化したフレネルゾーンプレートの例を示す。なお、ここより以降、簡単化のためにx軸方向についてのみ数式で説明するが、同様にy軸方向について考慮することで2次元に展開して考えることが可能である。
撮影用パターン805が形成された厚さdのパターン基板804に、図9に示すようにx軸方向に角度θ
0で平行光が入射したとする。パターン基板804中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、k=d・tanθだけずれて画像センサ803に入射する。このとき、
のような強度分布を持つ投影像が画像センサ803上で検出される。なお、Φは式1の透過率分布の初期位相を示す。この撮影用パターン805の投影像の例を図10に示す。式2のようにkシフトして投影される。これが測距センサ部102の出力となる。
次に、画像処理部209における、相関現像方式とモアレ現像方式による現像処理について説明する。
相関現像方式では、画像処理部209が、撮影用パターン805の投影像(図10)と第2のパターンである現像用パターン1501(図11)との相互相関関数を演算することにより、シフト量kの輝点(図12)を得る。なお、一般的に相互相関演算を2次元畳込み演算で行うと演算量が大きくなることから、フーリエ変換を用いて演算する例について、数式を用いて原理を説明する。まず、現像用パターン1501は、撮影用パターン805と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン1501は初期位相Φを用いて、
と表せる。現像用パターン1501は画像処理内で使用するため、式1のように1でオフセットさせる必要はなく、負の値を有していても問題ない。
式1、3のフーリエ変換はそれぞれ、
のようになる。
ここで、Fはフーリエ変換の演算を表し、uはx方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、画像処理部29は、この数式に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減可能である。次に、式4および5を乗算すると、
となる。この指数関数で表された項exp(-iku)が信号成分であり、この項をフーリエ変換すると、
のように変換され、元のx軸においてkの位置に輝点を得ることができる。この輝点が無限遠の光束を示しており、図5の測距センサ部102による撮影像にほかならない。
なお、相関現像方式ではパターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。
次にモアレ現像方式では、画像処理部209が、撮影用パターン805の投影像(図10)と現像用パターン1501(図11)を乗算することによりモアレ縞(図13)を生成し、フーリエ変換することによりシフト量kβ/πの輝点(図14)を得る。このモアレ縞を数式で示すと、
となる。この展開式の第3項が信号成分であり、2つのパターンのずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞をモアレ縞と呼ぶ。この第3項の2次元フーリエ変換は、
のようになる。ここで、Fはフーリエ変換の演算を表し、uはx方向の周波数座標、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークがu=±kβ/πの位置に生じることがわかる。この輝点が無限遠の光束を示しており、図5の測距センサ部102による撮影像にほかならない。このように、画像処理部209は、第2のパターンによる演算により像を復元する。
<ノイズキャンセル>
式6から式7への変換、また式8から式9への変換において信号成分に着目したが、実際には信号成分以外の項が現像を阻害する。そこで、画像処理部209が、フリンジスキャンに基づくノイズキャンセルを行う。三角関数の直交性を利用することで、相関現像方式では、
のように式6の乗算結果をΦに関して積分すると、ノイズ項がキャンセルされ信号項の定数倍が残ることになる。同様にモアレ現像方式では、
のように式8の乗算結果をΦに関して積分すると、ノイズ項がキャンセルされ信号項の定数倍が残ることになる。
なお、式10、11は積分の形で示しているが、実際には、図15に示すようなΦの組合せの総和を計算することによっても同様の効果が得られる。この組合せのように、Φは0~2πの間の角度を等分するように設定すればよい。
以上で説明したフリンジスキャンでは、撮影用パターン805として初期位相の異なる複数のパターンを使用する必要がある。これを実現するため、例えば空間分割でパターンを切り替える方法がある。
空間分割フリンジスキャンを実現するために、画像処理部209は、図16に示すように複数の初期位相を有する撮影用パターン805を使用して処理を行う。画像処理部209は、1つの画像を取得後、画像処理部209においてそれぞれの初期位相のパターンに対応して4つに分割して、フリンジスキャン演算を実施する。
続いて、説明した撮像原理に基づく画像処理部209による画像処理の概略について説明する。
図17は、画像処理部209において相関現像方式を使用した場合の概略を示すフローチャートである。まず、画像処理部209は、空間分割フリンジスキャンにより、画像センサ803から出力されるセンサ画像を複数枚取得し、各センサ画像に対して2次元高速フーリエ変換(FFT:Fast Fourier Transform)演算を実施する(ステップS11)。次に、画像処理部209は、現像用パターンFFT演算をすることにより、現像処理に使用する現像用パターン1501を生成する(ステップS12)。続いて、画像処理部209は、式10に基づいてフリンジスキャン演算を実施し(ステップS13)、逆2次元FFT演算する(ステップS14)。
画像処理部209は、この演算結果は複素数となるため、絶対値化もしくは実部を取り出して撮影対象の像を実数化して現像する実数化処理をする(ステップS15)。その後、画像処理部209は、得られた画像に対してコントラスト強調処理(ステップS16)、カラーバランス調整(ステップS17)などを実施し、撮影画像として出力する。以上により、画像処理部209による画像処理が終了となる。
対して、図18は、画像処理部209においてモアレ現像方式を使用した場合の概略を示すフローチャートである。まず、画像処理部209は、空間分割フリンジスキャンにより、画像センサ803から出力されるセンサ画像を複数取得する。続いて、画像処理部209は、現像処理に使用する現像用パターン1501を生成し(ステップS21)、式11に基づいて各センサ画像とフリンジスキャン演算を実施する(ステップS22)。画像処理部209は、これを2次元FFT演算により周波数スペクトルを求め(ステップS23)、この周波数スペクトルのうち必要な周波数領域のデータを切り出すスペクトル切出しを行う(ステップS24)。以降の処理(ステップS25~ステップS27の処理)は、図17におけるステップS15~S17の処理とそれぞれ同様である。
<有限距離物体の撮影原理>
次に、これまで述べた被写体が遠い場合における撮影用パターン805の画像センサ803への射影の様子を図19に示す。遠方の物体を構成する点2301からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン805を照射し、その投影像2302が画像センサ803に投影される場合、投影像は撮影用パターン805とほぼ同じ形状である。結果、投影像2302に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。
一方、有限距離の物体に対する撮像について説明する。図20は、撮像する物体が有限距離にある場合に撮影用パターン805の画像センサ803への射影が撮影用パターン805より拡大されることを示す説明図である。
物体を構成する点2401からの球面波が撮影用パターン805を照射し、その投影像2402が画像センサ803に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン805から点2401までの距離fを用いて、
のようにジェスチャ検出部206が、算出できる。
そのため、平行光に対して設計された現像用パターンをそのまま用いて現像処理したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン805の投影像に合わせて、現像用パターン1501を拡大させたならば、拡大された投影像2402に対して再び、単一の輝点を得ることができる。このためには、現像用パターン1501の係数βをβ/α2とすることで補正が可能である。
これにより、必ずしも無限遠でない距離の点2301からの光を選択的に再生することができる。これによって、任意の位置に焦点を合わせて撮影を行うことができる。つまり、任意の位置までの距離が算出可能である。本原理により、測距センサとして距離測定が可能となる。
以上の原理を踏まえ、本実施例におけるジェスチャ検出部206の構成について説明する。図21に、測距センサ部102及びジェスチャ検出部206の構成を示す。測距センサ部102は、変調器2502、画像センサ803を有する。変調器2502は、例えば図5のパターン基板804、撮影用パターン805から構成されるものである。
変調器2502のパターン(撮影用パターン805)は、例えば、図16の初期位相Φがそれぞれ{0、π/2、π、3π/2}のパターンのように、複数の初期位相のパターンを2次元的に並べた構成である。すなわち、撮影用パターン805は、互いに異なる複数のパターンを含む。画像分割部208は、画像センサ803の出力を変調器2502の各パターンに応じた領域に分割し、ジェスチャ検出部206の画像処理部209に順次伝送する。このように、ジェスチャ検出部206の画像分割部208は、画像センサ803で受光して得られる画像データを、変調器2502の各パターンに応じた領域に分割する。すなわち、ジェスチャ検出部206の画像分割部208は、撮影用パターン805に含まれる複数のパターンに合せて分割する。
図16の例では、画像センサ出力を2×2の領域に分割するということである。以降の画像処理部209の処理は、図17乃至図18の処理と同等であるため説明を省略する。測距処理部210では、例えば、現像用パターン1501を調整し、再度画像処理部209の演算を行うことで任意位置の距離を取得する。
このように、変調器2502は、画像センサ803の受光面に設けられた撮影用パターン805を有し、光の強度を変調する。すなわち、ジェスチャ検出部206は、上述の撮影用パターン805から点2401までの距離を算出することにより、距離を算出することができる。上述のように、ジェスチャ検出部206は、分割した画像単位で第2のパターンによる演算により像を復元し、使用者のジェスチャを検出するための画像を取得する。なお、ジェスチャ検出部206は、分割した画像単位で像を復元せずに、公知の演算手法により、まとめて復元するようにしてもよい。
本実施例においては、画像表示装置101Aに設置する光源として近赤外光を利用する。近赤外光を対象物に照射することで暗い室内においても測距が可能となる。不要な可視光を遮断するため、測距センサに、被写体から反射する赤外線光を透過させ、可視光を遮断する例えば赤外線透過フィルタまたはバンドパスフィルタを設置する。図22及び図23に赤外線透過フィルタの設置例を示す。
図22は、画像センサ803に変調器2502を設置、その上に赤外線透過フィルタ2601を設置した図である。図23では、画像センサ803の次に赤外線透過フィルタ2601を設置、その上に変調器2502を設置した図である。本フィルタを設置することにより、不要な光を遮断し、対象物からの赤外線反射光のみを受光できる。
次に、頭部装着型の画像表示装置において、例えば、ジェスチャ操作を行う位置を自身の視野範囲外で行うことでより自然な操作を実現するなど、ジェスチャ操作の使い勝手向上のため、ジェスチャ認識領域をシフトする方法について説明する。図24に、図1に示したように眼鏡部分の中央部に、画像表示部と平行して測距センサ部102を設置した例を示す。
このとき、測距センサの視野、つまりジェスチャ認識領域を2803で示す領域とする。図25に、ジェスチャ認識領域をシフトするため、測距センサ部102を基準位置から取り付け角度θ分斜めに傾けて設置した例を示す。この場合、ジェスチャ認識領域は2804で示す領域となり、図24で示したジェスチャ認識領域は角度θ分シフトした領域となる。
上述のように、測距センサ部102の変調器2502が、互いに異なる複数のパターンを含む撮影用パターン805を有し、光の強度を変調する。ジェスチャ検出部206は、変調器2502を透過した光を画像センサ803で受光して得られる画像データを分割し、分割した単位で、撮影用パターン805に対応する現像用パターン1501による演算により像を復元し、使用者のジェスチャを検出するための画像を取得する。これにより、結像させるレンズを用いることなく、外界の物体の画像を取得することができるので、使用者の装着時における負担を軽減することができる。すなわち、最適なジェスチャ認識領域でジェスチャ認識が可能な小型の画像表示装置を実現することが可能となる。
<第2実施形態>
続いて、第2実施形態について説明する。本実施形態が第1実施形態と異なる点は、測距センサ部102の構成及び取り付け方法である。第1実施形態と比較し更に小型の画像表示装置101が実現できることを示す。
図26に、基本の測距センサ部102の構成を示す。まず、画像センサ803の有効領域の中心をセンサ中心(画像センサ中心)、当該センサ中心での画像センサ面に対する法線ベクトルをセンサ光軸、撮影用パターン805の中心をパターン中心と定義する。画像センサ803と撮影用パターン805は、平行かつセンサ光軸とパターン中心が一致するように設置されており、その距離はdFとする。
このとき、測距センサの視野、つまりジェスチャ認識領域は、画像センサ803の端とパターン中心を通る直線で示す領域3003となる。これを基本構成とした場合、本実施例における測距センサの構成を図27に示す。撮影用パターン805は、パターン中心がセンサ光軸からシフト角度θ分シフトした位置に設置する。ここでシフト量δ
Fは
で表すことができる。
このとき、ジェスチャ認識領域は画像センサ803の端とパターン中心を通る直線で示す領域3103となる。このように、図26に比べて、ジェスチャ認識領域の中心をδFシフトすることができ、センサを斜めに設置した場合の測距センサ部分の飛び出しを低減することが可能となる。
ここで、撮影用パターン中心について説明する。図28に、撮影用パターンの一例を示す。図16で示したとおり、複数の初期位相のパターンを2次元的に並べた構成となっている。各同心円パターンの中心を3201、3202、3203、3204で示す。同心円パターンの中心同士を結んだ形状が3205、3205の重心となる点が3206であり、この3206が撮影用パターン中心となる。
図29及び図30を用いて、撮影用パターンのシフト方法例を説明する。図29の場合、画像センサ803に対し、前述の通り撮影用パターン中心がシフトするように、変調器2502そのものをシフトし設置する。対して、図30の場合、変調器2502そのものの位置は変更せず、撮影用パターンのみをシフトしている。いずれの場合も前述のとおり撮影用パターンのシフトによる同等の効果が得られる。
また、このように撮影用パターン中心をシフトすることにより、画像処理部209においては、シフト量に応じて現像処理時の画像切り出し位置をシフトして切り出し処理を行う。
以上示した構成により、第1実施形態で示した頭部装着型の画像表示装置に測距センサを斜めに設置する場合に比べて、小型の画像表示装置を実現することが可能となる。また、画像表示装置101Aは、上述のように、撮影用パターン805の位置をシフトしておくことにより、ジェスチャ操作を行う位置を自身の視野範囲外で行うことでより自然な操作を実現することができる。この結果、画像表示装置101Aは、ジェスチャ操作の使い勝手を向上させることができる。
<第3実施形態>
本実施形態が第1実施形態と異なる点は、変調器2502または変調器2502の撮影用パターン805の位置を動的にシフトすることである。頭部装着型の画像表示装置101の例を示し、例えば、立位、座位などの姿勢状態によって使用者が自然なジェスチャを行えるよう、動的にジェスチャ認識領域をシフトすることにより使用者の使い勝手が向上することを示す。
図31は、第3実施形態による画像表示装置101Bの機能構成を示す図である。基本的な構成は図2と同様である。画像表示装置101Bは、センサ部3504と、センサ部3504で取得した情報により使用者の姿勢を検出する姿勢検出部3503(姿勢特定部)、ジェスチャ認識領域決定部3505、測距センサ制御部3502(変調器制御部、液晶表示素子制御部)をさらに備える。
ここで、センサ部3504は、例えばジャイロセンサや9軸センサなどであり、使用者の状態を示す情報を取得する部分である。頭部装着型の画像表示装置101Bに設置することにより、例えば角速度、加速度、地磁気などの情報を取得し、使用者の状態を取得するものであれば、どのようなものでもよい。センサ部3504は、センサ情報を姿勢検出部3503へ送出する。
姿勢検出部3503は、センサ部3504からセンサ情報を取得し、当該センサ情報に基づいて、使用者の姿勢を検出する部分である。姿勢検出部3503は、例えば、CPU等により実現される。姿勢検出部3503は、検出した結果を測距センサ制御部3502へ送出する。
ジェスチャ認識領域決定部3505は、姿勢検出部3503によって検出された姿勢に応じて適切なジェスチャ認識領域を決定する部分である。ジェスチャ認識領域決定部3505は、CPU等により実現される。ジェスチャ認識領域決定部3505は、姿勢検出部3503から検出した結果を取得し、取得した結果に基づいて、ジェスチャ認識領域を決定する。ジェスチャ認識領域決定部3505は、当該ジェスチャ認識領域を決定すると、当該決定に基づいて、測距センサ部102内の変調器2502または撮影用パターン805のシフト指示を示す信号を測距センサ制御部3502へ送出する。
測距センサ制御部3502は、測距センサ部102に含まれる変調器2502または撮影用パターン805の位置をシフトする部分である。測距センサ制御部3502は、ジェスチャ認識領域決定部3505から取得した指示信号に基づいて、測距センサ部102の変調器2502または撮影用パターン805の位置をシフトさせる部分である。測距センサ制御部3502は、CPU等により実現される。測距センサ制御部3502は、ジェスチャ認識領域決定部3505から指示信号を取得すると、当該指示信号に基づいて測距センサ部102内の変調器2502または撮影用パターン805をシフトさせる。
図31で示した画像表示装置101Bの処理フロー(第3実施形態における処理フロー)について図32を用いて説明する。ステップS31では、センサ部3504で取得した使用者の情報を用いて、姿勢検出部3503で使用者の姿勢、例えば立位、座位、仰臥位、側臥位などの姿勢を検出する。次にステップS32では、ジェスチャ認識領域決定部3505が、検出した姿勢に応じて適切なジェスチャ認識領域を決定する。ステップS33では、測距センサ制御部3502がジェスチャ認識領域に対応した変調器の位置や変調器の撮影用パターン位置の制御(変調器制御)を行う。その後のステップS34~S37の処理は、図3と同様である。
ここでは、姿勢に応じてジェスチャ認識領域を決定する例を示した。他の例として、画像表示装置101Bにジェスチャ認識領域(シフト量)を使用者が指定する入力手段(設定部)を具備し、使用者がジェスチャを行う手(右手・左手)に応じてジェスチャ認識領域を指定するものでもよく、使用者が使用するアプリケーションに応じてジェスチャ認識領域を指定するものでもよい。
領域の指定においては、シフト方向または/及び角度などを指定できるものとする。このように柔軟にジェスチャ認識領域を設定できることにより、使用者の使用環境などに応じて自然なジェスチャ操作が実現でき、使用勝手が向上する。
次に、図33及び図34を用いて変調器2502の撮影用パターン805のシフト例について説明する。これらは、画像表示装置101Bに設置した測距センサ部102を画像表示装置101B側から見た図である。
図33の例では、画像センサ803に対して、変調器2502を図の上方向の位置にシフト、または下方向の位置にシフトしている。これに伴い、撮影用パターン805を上方向または下方向の位置にシフトする。上方向にシフトした撮影用パターン805が撮影用パターン805Aになる。また、下方向にシフトした撮影用パターン805が撮影用パターン805Bになる。
例えば、立位の場合に上方でジェスチャ操作を行いたい場合、変調器2502を上方向の位置にシフトする。座位の場合は、例えば椅子に座り机上でジェスチャ操作を行うことを想定すると、ジェスチャ認識領域は正面よりも下方にシフトしている方が使い勝手が良いため、変調器2502の撮影用パターン805を下方の位置にシフトする。これは立位・座位においての一例であり、姿勢に応じて自然なジェスチャ操作となるよう、変調器2502の位置をシフトすることでジェスチャ認識領域を動的に変更できる。
図34の例では、画像センサ803に対して、変調器2502の撮影用パターン805を図の左斜め下の位置にシフトまたは、変調器2502の撮影用パターン805を図の右斜め下の位置にシフトしている。例えば、左手でジェスチャ操作を行う場合、変調器2502を図の左斜め下の位置にシフトして、撮影用パターン805がシフトされる(撮影用パターン805C)。右手でジェスチャを行う場合は変調器2502を図の右斜め下の位置にシフトして、撮影用パターン805がシフトされる(撮影用パターン805D)。このように使用者がジェスチャを行う手に応じて自然なジェスチャ操作となるよう、変調器2502の位置をシフトすることでジェスチャ認識領域を動的に変更できる。
ここで、変調器2502の位置シフト方法について、機械的に変調器2502をシフトさせる方法でもよく、電気的にパターンのみをシフトさせる方法でもよい。但し、機械的に変調器2502をシフトさせる場合は変調器2502を移動させるための仕組みが必要となり、装置の大型化の要因となる可能性がある。
そこで、安価に電気的にパターンのみをシフトさせる方法について説明する。図35に画像センサ803の構成を示す。変調器2502上に、複数の撮影用パターン805を実現している。これは印刷などにより実現したフィルムを貼付したものでよい。その上に液晶表示素子3901を配置している。この液晶表示素子を図36(a)、(b)に示すように光を透過する部分を白、光を遮断する部分を黒で示す。液晶表示素子を切り替えることで変調器2502と組み合わせたとき、図37(a)、(b)のように光を透過する部分に対応した位置の撮影用パターンを表示することが可能となり、変調器2502の撮影用パターンを動的にシフトすることが可能となる。
この場合、測距センサ制御部3502は、姿勢検出部3503による検出結果に基づいて、光を遮断する箇所を定めて、測距センサ部102の液晶表示素子を制御する。また、測距センサ制御部3502は、遮断する箇所をジェスチャ検出部206に通知する。ジェスチャ検出部206は、当該遮断する箇所から特定される、光を透過する部分の撮影用パターンを特定し、当該撮影用パターンに対応する現像用パターンを生成する。
以上示した構成により、画像表示装置101Bは、使用者の姿勢に応じて、撮影用パターン805の位置を変えることにより、使用者がジェスチャすると想定される領域に合せることができる。すなわち、画像表示装置101Bは、例えば立位、座位などの使用者の姿勢状況やジェスチャを行う手に応じて動的にジェスチャ認識領域をシフトさせることで、使用者の使い勝手向上が可能となる。
<第4実施形態>
本発明に従った頭部装着型の画像表示装置101で使用する測距センサの構造の実施例を示し、視野の拡大を実現することを示す。
本実施例では、第1実施形態乃至第3実施形態に示した測距センサの構造を変更している点が異なる。
図38に測距センサ部102における画像センサ803の基本的な構造を示す。図38に示すように、画像センサ803は、受光素子アレイ4201とマイクロレンズアレイ4202とを有する。この一部分を図39に示す。図39は、受光素子アレイ4201とマイクロレンズアレイ4202との一部を示した図である。図39では、受光素子アレイ4201の1画素分の受光素子4301と、マイクロレンズアレイ4202のマイクロレンズ4302を示す。なお、マイクロレンズ4302の中心を、中心4303とする。このマイクロレンズ4302は、受光素子に光を集光する役割がある。図39は、平行光束が入射した際の様子を示している。次に、図40及び図41を用いて主光線入射角特性(CRA特性:Chief Ray Angle特性)について説明する。
図40は、標準的な入射角の受光例を示す図である。図40に示すように、平行光束4403は、受光素子に集光され受光することが出来る。図41は、入射角が大きい場合の受光例を示す図である。図41に示すように、入射角が大きくなった場合の平行光束4504は、受光素子4301上に集光されず受光できない。また、受光素子4301と隣接する受光素子4301との間には、受光素子からの電荷を取り出すための電極4304などが配置されているため、これに遮蔽され、隣の受光素子4301で受光することも出来ない。
つまり、本例では、図40に示した平行光束4403の角度が受光できる限界の角度となり、画像センサで受光可能な角度範囲、つまりCRA特性に影響する。
以上を踏まえ、図42を用いて、第2実施形態または第3実施形態で述べたように変調器2502をシフトした際のジェスチャ認識範囲について示す。図42は、変調器2502をシフトした際のジェスチャ認識範囲を説明する図である。図42に示す領域4604から入射する光線が受光素子アレイ4201で受光できる範囲となり、領域4605から入射する光線が受光素子アレイ4201上で受光できなくなるため、CRA特性によっては視野方向をシフトすることが出来ても、視野が制限されてしまう。
図43を用いて、本実施形態に係る受光素子アレイ4201とマイクロレンズアレイ4202の配置例を説明する。図43は、受光素子アレイ4201とマイクロレンズアレイ4202の配置例を示す図である。マイクロレンズアレイ4202全体を一様にシフトした構造とする。ここで、図44に受光素子アレイ4201とマイクロレンズアレイ4202の一部を示す。図44は、受光素子アレイ4201とマイクロレンズアレイ4202の一部を示した図である。
図39で示したマイクロレンズの中心4303(シフト前の中心)からマイクロレンズの中心4804をシフト角度θ分シフトしている。このシフト量は変調器2502におけるシフト角度と同じである。すなわち、各受光素子の中心での画像センサ面に対する法線ベクトルを受光素子光軸とすると、受光素子アレイ4201とマイクロレンズアレイ4202とが平行となり、マイクロレンズ中心が、パターン中心が画像センサの中心からシフトした方向と同一方向に一様に、受光素子光軸からシフトした位置となるように設置される。また、マイクロレンズの中心のシフト量はδ
Lとなり、画像センサとマイクロレンズアレイ間の距離をd
Lとすると
、
で表すことができる。このように、マイクロレンズ中心が、受光素子光軸から一様に角度θ分シフトした位置となるように設置される。
その結果、図45に示すように、図42では受光できなかった平行光束4504を光軸とする光束を受光することが可能となる。
以上示した構成、及び方法によりジェスチャ認識範囲を拡大することが可能となる。高CRA特性の画像センサを用いる場合においては問題とならないが、本方式により、最適な視野を確保することが可能となる。
上述の第1実施形態~第4実施形態に記載の画像表示装置101Aまたは画像表示装置101Bに限らず、表示部分の機能と、画像データを演算する機能とを、通信手段により分けるようにしてもよい。
例えば、図46に示すように、測距センサ部102、画像表示部103、および光源部104を備える装置と、画像データを演算する機能を有する演算装置107(例えば、スマートフォン等の端末装置)とを有線または無線による通信手段106により接続して、画像表示装置101Cとするようにしてもよい。
この場合、測距センサ部102により得られた画像データを圧縮して、演算装置107へ送信するようにしてもよい。
なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。