JP7112504B2 - 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 - Google Patents

Description

本発明は、距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法に関する。

工場作業、機器メンテナンス作業における作業支援のため頭部装着型の映像表示装置が利用されている。作業者は目的の作業に必要な物品を把持している場合が多く、映像表示装置への入力方法が簡易であることが求められており、音声操作やジェスチャ操作などによる入力手段が考案されている。

ジェスチャ操作を実現するためには、ジェスチャを行う対象物（例えば、装着者の指等）を認識し、更に対象物の動作を認識する必要がある。対象物の認識や動作の認識には、距離画像を用いた３次元認識技術が用いられているが、装着者の負担を減らすために、小型で軽量な距離計測装置が必要とされている。例えば、特許文献１のように、画像センサに特殊な回折格子基板を貼り付け、回折格子基板を透過する光が画像センサ上で生じる射影パターンを用いて、対象物までの距離測定を行う方法が考案されている。

国際公開２０１７／１４９６８７号

上述した特許文献１では、撮像結果のコントラストとフォーカス位置の関係から距離情報（対象物までの距離を示す情報）を生成している。ところで、撮像結果に背景が含まれている場合、この背景の影響により、正確な距離を計測することができず、適切な距離情報を生成することができなくなる可能性がある。

本発明の目的は、背景の影響を考慮し、より正確に被写体の距離情報を生成する技術を提供することである。

上記課題は、たとえば、特許請求の範囲に記載の発明により解決される。

本発明によれば、背景の影響を考慮し、より正確に被写体の距離情報を生成することが可能となる。

実施例１における距離計測装置を搭載した頭部装着型の映像表示装置の概略図である。 実施例１における距離計測装置を搭載した頭部装着型の映像表示装置の構成例を示す図である。 映像表示装置の実施例における処理例を示すフローチャートである。 測距センサを用いた基本的な撮像装置の構成例を示す図である。 測距センサを用いた基本的な撮像装置における撮像部の構成例を示す図である。 測距センサを用いた基本的な撮像装置における撮像部の他の構成例を示す図である。 撮影用パターンの一例を示す図である。 撮影用パターンの他の例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。 撮影用パターンの投影像の一例を示す図である。 現像用パターンの一例を示す図である。 相関現像方式による現像画像の一例を示す図である。 モアレ現像方式によるモアレ縞の一例を示す図である。 モアレ現像方式による現像画像の一例を示す図である。 フリンジスキャンにおける初期位相の組合せの一例を示す図である。 空間分割フリンジスキャンにおける撮影用パターンの一例を示す図である。 フリンジスキャン処理部の処理例を示すフローチャートである。 相関現像方式による画像処理部の処理例を示すフローチャートである。 モアレ現像方式による画像処理部の処理例を示すフローチャートである。 物体が無限距離にある場合に撮影用パターンが投影されることを説明する図である。 物体が有限距離にある場合に撮影用パターンが拡大されることを説明する図である。 画像処理部による距離計測処理の一例を示すフローチャートである。 距離計測処理におけるコントラストの計算領域を示す図である。 視野に１つの光源のみが存在する場合のＰＳＦ（点像分布関数）の例を示す図である。 視野に２つの光源が存在する場合のＰＳＦ（点像分布関数）の例を示す図である。 実施例１における測距センサと距離計測部の構成例を示す図である。 フレーム間差分処理部の処理例を示すフローチャートである。 距離計測部の処理例を示すフローチャートである。 実施例１における測距センサと距離計測部の他の構成例を示す図である。 距離計測部の他の処理例を示すフローチャートである。 センサ画像と測距用画像の関係を説明する図である。 センサ画像と測距用画像の関係を説明する図である。 センサ画像と測距用画像の関係を説明する図である。 実施例２における距離計測装置を搭載した頭部装着型の映像表示装置と演算装置の概略図である。 実施例２における映像表示装置の構成例を示す図である。 実施例２における演算装置の構成例を示す図である。 実施例２における映像表示装置の処理の一例を示すフローチャートである。 実施例２における演算装置の処理の一例を示すフローチャートである。 実施例３における距離計測装置を搭載した頭部装着型の映像表示装置の概略図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 距離計測装置を搭載した頭部装着型の映像表示装置の装着者が動いた時のセンサ画像に対する被写体の位置関係を説明する図である。 実施例３における差分画像領域決定部における処理フローの一例を示すフローチャートである。 装着者の頭の動きとフレーム間のセンサ画像の相互相関の関係を説明する図である。 装着者の頭の動きとフレーム間のセンサ画像の一部領域の相互相関の関係を説明する図である。 実施例３における距離計測処理の一例を示すフローチャートである。 実施例４における距離計測装置を搭載した頭部装着型の映像表示装置の構成例を示す図である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合及び原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値及び範囲についても同様である。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

以下、本発明の実施例について図面を用いて説明する。

（実施例１）
本発明に従った距離計測装置の実施例を示し、対象物の距離情報を生成する際に、背景の影響を低減し、高精度な距離情報を生成できることを示す。

本実施例では、本発明に従った距離計測装置を、頭部装着型の映像表示装置に搭載し、ジェスチャ認識用の測距センサとして使用する。

まず、本実施例における頭部装着型の映像表示装置の構成を説明する。図１に、本実施例における頭部装着型の映像表示装置１０１（距離計測装置）の概略図を示す。この映像表示装置１０１は、被写体までの距離を計測する装置である。

映像表示装置１０１は、測距センサ部１０２と、映像表示部１０３と、光源部１０４と、全体制御部（図示しない）とを有する。頭部装着型の映像表示装置１０１は、頭部に装着できる形状であれば眼鏡型で無くても良く、映像表示部は片眼でもよい。

測距センサ部１０２は、例えば、映像表示装置１０１の中央部ではなく端に設置してもよい。この時、図１のように中央に設置する場合よりも、端に設置することで測距センサ部１０２が目立たなくなりデザイン性を向上させることが可能である。また、光源部１０４は、測距センサ部１０２の測距範囲以上の領域に照射できるように設置する。例えば、光源の照射範囲が狭い場合は複数の光源を設置する、例えば、両端に設置することにより照射範囲を広げることが可能である。

図２は、本実施例の映像表示装置１０１における構成の一例を示すブロック図である。本例は、頭部に装着する映像表示装置に映像表示機能と演算処理機能が一体となっている例である。ＣＰＵ（Central Processing Unit）２０１は、中央処理装置であり本映像表示装置における制御処理を行う。

ＧＰＵ（Graphics Processing Unit）２０２は、リアルタイム画像処理に特化した演算装置であり、主に画像処理に関する処理を担う。全体制御部２０３は、ＣＰＵ等により実現され、映像表示装置１０１における処理全体の制御を行う。光源制御部２０４は、光源部１０４を制御する。光源部１０４は、例えば、近赤外光を照射する。距離計測部２０５は、測距センサ部１０２を制御する。映像表示制御部２１１は、映像表示部１０３を制御する。カメラ制御部２１２は、カメラ部２１３を制御することにより、例えば、外界の静止画・動画などを撮影する。カメラ部２１３は、撮像手段である。

ジェスチャ認識部２０９は、距離計測部２０５で生成された距離情報（被写体までの距離を示す情報）をもとにジェスチャを検出し、認識するものである。ジェスチャ操作入力部２１０は、ジェスチャ認識部２０９により認識されたジェスチャを映像表示装置１０１の入力操作として入力するものである。

図２で示した映像表示装置１０１の処理フローについて図３を用いて説明する。全体制御部２０３は本フローの全体を制御する。ステップＳ１では、光源制御部２０４が光源部１０４を制御することで、照射する光量を調整する。次に、ステップＳ２では、距離計測部２０５において、測距センサ部１０２を制御し、取得した画像から距離情報を生成する。ステップＳ３では、ジェスチャ認識部２０９は、距離計測部２０５が生成した距離情報を用いてジェスチャ認識を行う。ステップＳ４では、ジェスチャ認識結果をジェスチャ操作入力部２１０に入力することにより、入力操作として受付ける。ステップＳ５では入力操作に応じた応答を、映像表示制御部２１１により映像表示部１０３に表示する。

距離計測部２０５の構成について説明する前に、測距センサ部１０２を用いた撮像及び測距の基本的な原理を説明する。

〈無限遠物体の撮影原理〉
図４は、本実施例における測距センサを用いた撮像装置の基本的な構成の一例を示す説明図である。撮像装置４０２は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図４に示すように、測距センサ部１０２で取得した画像を、フリンジスキャン処理部２０７（複素センサ画像処理部）及び画像処理部２０８で演算を行うものである。上記撮像装置４０２は、測距センサ部１０２及び距離計測部２０５の機能を含む装置である。

図５に測距センサ部１０２の一例を示す。測距センサ部１０２は、画像センサ４０３、パターン基板４０４、及び撮影用パターン４０５（第１の格子パターン）を有する。パターン基板４０４は、画像センサ４０３の受光面に密着して固定されており、パターン基板４０４に撮影用パターン４０５が形成された構成からなる。

パターン基板４０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。撮影用パターン４０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

なお、撮影用パターン４０５の形成はこれに限定されるものでなく、例えば、インクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。また、例えば遠赤外線の撮影を行う際には、パターン基板４０４は例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン４０５は遮断する材料を用いればよい。

なお、ここでは撮影用パターン４０５をパターン基板４０４に形成する方法について述べたが、図６に示すように撮影用パターン４０５を薄膜に形成し、支持部材４０１により保持する構成などによっても実現できる。なお、この装置において、撮影画角はパターン基板４０４の厚さによって変更可能である。よって、例えばパターン基板４０４が図６の構成であり支持部材４０１の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。

図５又は図６に示すように、画像センサ４０３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。画像センサ４０３の撮像面（受光面）には、受光素子である画素４０３ａがアレイ状に配置されている。撮影用パターン４０５を透過する光は、その格子パターンによって光の強度が変調され、画像センサ４０３にて受光される。画像センサ４０３は、画素４０３ａが受光した光画像を電気信号である画像信号に変換して、被写体に基づくセンサ画像を出力する。

なお、画像信号（アナログの画像データ）は、例えばアナログ・デジタル変換回路を介してデジタル信号に変換され、デジタルの画像データとして出力される。本明細書では、測距センサ部１０２が画像データを出力するものとして説明する。

フリンジスキャン処理部２０７は、画像センサ４０３から出力される画像データ（センサ画像）に対してフリンジスキャンによるノイズ除去を行い、画像処理部２０８に出力する。例えば、フリンジスキャン処理部２０７は、センサ画像から複素数を有する複素センサ画像を生成する。画像処理部２０８は、フリンジスキャン処理部２０７から出力された画像データに対して所定の画像処理を行い、必要に応じてデータ形式を変換し、撮像装置４０２の備える記憶装置（図示せず）に格納したり、外部のホストコンピュータや記録媒体に出力したりする。

続いて、撮像装置４０２における撮影原理について説明する。まず、撮影用パターン４０５は中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径ｒ、係数βを用いて、以下の式（１）と定義する。

撮影用パターン４０５は、この式に比例して透過率変調されているものとする。このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図７に式（１）のガボールゾーンプレート、図８に式１を閾値１で２値化したフレネルゾーンプレートの例を示す。なお、ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。

撮影用パターン４０５が形成された厚さｄのパターン基板４０４に、図９に示すようにｘ軸方向に角度θ０で平行光が入射したとする。パターン基板４０４中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ４０３に入射する。このとき、以下の式（２）のような強度分布を持つ投影像が画像センサ４０３上で検出される。

なお、Φは式（１）の透過率分布の初期位相を示す。この撮影用パターン４０５の投影像の例を図１０に示す。式（２）のようにｋシフトして投影される。これが測距センサ部１０２の出力となる。

次に、画像処理部２０８における処理に関して、相関現像方式とモアレ現像方式による現像処理について説明する。

相関現像方式では、図１０に示す撮影用パターン４０５の投影像と図１１に示す現像用パターン１１０１（第２の格子パターン）との相互相関関数を演算することにより、図１２に示すシフト量ｋの輝点を得る。なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなることから、フーリエ変換を用いて演算する例について、数式を用いて原理を説明する。まず、現像用パターン１１０１は、撮影用パターン４０５と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン１１０１は初期位相Φを用いて、以下の式（３）と表せる。

現像用パターン１１０１は、画像処理内で使用するため、式１のように１でオフセットさせる必要はなく、負の値を有していても問題ない。式（１）、式（３）のフーリエ変換はそれぞれ、以下の式（４）及び式（５）のようになる。

ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、この数式に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減可能である。

次に、式（４）及び式（５）を乗算すると、以下の式（６）となる。

この指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、以下の式（７）のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。

この輝点が無限遠の光束を示しており、図４の撮像装置４０２による撮影像にほかならない。

なお、相関現像方式ではパターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。

次にモアレ現像方式では、図１０に示した撮影用パターン４０５の投影像と図１１に示した現像用パターン１１０１を乗算することにより、図１３に示すモアレ縞を生成し、フーリエ変換することにより、図１４に示すシフト量ｋβ／πの輝点を得る。このモアレ縞を数式で示すと、以下の式（８）となる。

この展開式の第３項が信号成分であり、２つのパターンのずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞をモアレ縞と呼ぶ。この第３項の２次元フーリエ変換は、以下の式（９）となる。

ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この結果から、モアレ縞の空間周波数スペクトルにおいて、空間周波数のピークがｕ＝±ｋβ／πの位置に生じることがわかる。この輝点が無限遠の光束を示しており、図４の撮像装置４０２による撮影像にほかならない。

〈ノイズキャンセル〉
式（６）から式（７）への変換、また式（８）から式（９）への変換において信号成分に着目したが、実際には信号成分以外の項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。

フリンジスキャンのためには、撮影用パターン４０５として初期位相Φの異なる複数のパターンを使用する必要がある。図１５は、フリンジスキャンにおける初期位相の組合せの一例を示す図である。ここでは、Φ＝０、π／２、π、３π／２となる４位相を用いて撮影したセンサ画像を以下の式（１０）に従って演算すると、複素数のセンサ画像（複素センサ画像）が得られる。

ここで、複素数の現像用パターン１１０１は、以下の式（１１）で表せる。

現像用パターン１１０１は、演算処理内で使用されるため、複素数であっても問題ない。モアレ現像方式の場合、式（１０）と式（１１）とを乗算すると、以下の式（１２）となる。

この指数関数で表された項ｅｘｐ（２ｉβｋｘ）が信号成分であり、式（８）のような不要な項が発生せず、ノイズキャンセルされていることが解る。

同様に相関現像方式についても確認すると、式（１０）及び式（１１）のフーリエ変換はそれぞれ、以下の式（１３）及び式（１４）となる。

次に、式（１３）と式（１４）とを乗算すると、以下の式（１５）のようになる。

この指数関数で表された項ｅｘｐ（－ｉｋｕ）が信号成分であり、式（８）のような不要な項が発生せず、ノイズキャンセルされていることが解る。

なお、以上の例では、４位相の複数のパターンを使用して説明したが、Φは０～２πの間の角度を等分するように設定すればよく、この４位相に限定するものではない。

以上の複数パターンによる撮影を実現するには、時分割でパターンを切り替える方法（時分割フリンジスキャン）と、空間分割でパターンを切り替える方法（空間分割フリンジスキャン）がある。

時分割フリンジスキャンを実現するには、例えば、電気的に図１５に示す複数の初期位相を切り替えて表示することが可能（すなわちパターンを変更可能）な液晶表示素子などで、撮影用パターン４０５を構成する。測距センサ部１０２は、この液晶表示素子の切替タイミングと画像センサ４０３のシャッタタイミングを同期して制御し、フリンジスキャン処理部２０７は、４枚の画像を取得後にフリンジスキャン演算を実施する。

対して、空間分割フリンジスキャンを実現するには、例えば図１６（空間分割フリンジスキャンにおける撮影用パターン４０５の一例を示す図）に示すように、複数の初期位相を有する撮影用パターン４０５を使用する。測距センサ部１０２は、画像センサ４０３のシャッタタイミングを制御し、フリンジスキャン処理部２０７は、１枚の画像を取得後、当該取得画像をそれぞれの初期位相のパターンに対応して４枚に分割し、フリンジスキャン演算を実施する。

続いて、フリンジスキャン処理部２０７でのフリンジスキャン演算について説明する。図１７は、フリンジスキャン処理部２０７の処理例を示すフローチャートである。

まず、フリンジスキャン処理部２０７は、画像センサ４０３から出力される複数位相パターンのセンサ画像（空間分割フリンジスキャンの場合は１枚、時分割フリンジスキャンの場合は複数枚）を取得する。フリンジスキャン処理部２０７は、空間分割フリンジスキャンを使用する場合には取得したセンサ画像を位相ごとに分割し（Ｓ１７０１）、時分割フリンジスキャンを使用する場合には処理Ｓ１７０１を実施しない。次に、フリンジスキャン処理部２０７は、出力用の複素センサ画像を初期化する（Ｓ１７０２）。

続いて、フリンジスキャン処理部２０７は、初期位相ごとに、処理Ｓ１７０３～Ｓ１７０５を繰り返す。例えば、図１５に示したような４位相を用いたフリンジスキャンでは、Φ＝０、π／２、π、３π／２の４回分繰り返す。フリンジスキャン処理部２０７は、対象の初期位相Φのセンサ画像を取得し（Ｓ１７０３）、その初期位相Φに応じたｅｘｐ（ｉΦ）を乗算し（Ｓ１７０４）、乗算結果を複素センサ画像に加算する（Ｓ１７０５）。フリンジスキャン処理部２０７は、全ての初期位相についての処理を終了したか否かを判定し（Ｓ１７０６）、終了していない場合は処理をＳ１７０３に戻し（Ｓ１７０６：Ｎｏ）、終了した場合は処理をＳ１７０７に進める（Ｓ１７０６：Ｙｅｓ）。

最後に、フリンジスキャン処理部２０７は、複素センサ画像を出力する（Ｓ１７０７）。以上のフリンジスキャン処理部２０７での処理は、式（１０）に相当する。

続いて、画像処理部２０８での画像処理について説明する。図１８は、相関現像方式による画像処理部２０８の処理例を示すフローチャートである。

まず、画像処理部２０８は、フリンジスキャン処理部２０７から出力される複素センサ画像を取得し、複素センサ画像に対して２次元高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）演算を実施する（Ｓ１８０１）。次に、画像処理部２０８は、現像処理に使用する現像用パターン１１０１（第２の格子パターン）を生成し、２次元ＦＦＴ演算した複素センサ画像に乗算し（Ｓ１８０２）、逆２次元ＦＦＴ演算を実施する（Ｓ１８０３）。この演算結果は複素数となるため、画像処理部２０８は、絶対値化もしくは実部を取り出して撮影対象の像を実数化して現像（復元）する（Ｓ１８０４）。その後、画像処理部２０８は、得られた現像画像に対してコントラスト強調処理（Ｓ１８０５）、カラーバランス調整（Ｓ１８０６）などを実施し、撮影画像として出力する。以上により、相関現像方式による画像処理部２０８の画像処理が終了となる。

これに対して、図１９は、モアレ現像方式による画像処理部２０８の処理例を示すフローチャートである。

まず、画像処理部２０８は、フリンジスキャン処理部２０７から出力される複素センサ画像を取得する。画像処理部２０８は、現像処理に使用する現像用パターン１１０１を生成して複素センサ画像に乗算し（Ｓ１９０１）、２次元ＦＦＴ演算により周波数スペクトルを求め（Ｓ１９０２）、この周波数スペクトルのうち必要な周波数領域のデータを切り出す（Ｓ１９０３）。以降の処理は図１８における処理Ｓ１８０４～Ｓ１８０６の処理と同様である。以上により、モアレ現像方式による画像処理部２０８の画像処理が終了となる。

〈有限距離物体の撮影原理〉
次に、これまで述べた被写体が遠い場合における撮影用パターン４０５の画像センサ４０３への射影の様子を図２０に示す。遠方の物体を構成する点２００１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン４０５を照射し、その投影像２００２が画像センサ４０３に投影される場合、投影像は撮影用パターン４０５とほぼ同じ形状である。結果、投影像２００２に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。

一方、有限距離の物体に対する撮像について説明する。図２１は、撮像する物体が有限距離にある場合に撮影用パターン４０５の画像センサ４０３への射影が撮影用パターン４０５より拡大されることを示す説明図である。物体を構成する点２１０１からの球面波が撮影用パターン４０５を照射し、その投影像２１０２が画像センサ４０３に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン４０５から点２１０１までの距離ｆを用いて、以下の式（１６）のように算出できる。

そのため、平行光に対して設計された現像用パターンをそのまま用いて現像処理したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン４０５の投影像に合わせて、現像用パターン１１０１を拡大させたならば、拡大された投影像２１０２に対して再び、単一の輝点を得ることができる。このためには、現像用パターン１１０１の係数βをβ／α^２とすることで補正が可能である。これにより、必ずしも無限遠でない距離の点２１０１からの光を選択的に再生することができる。これによって、任意の位置に焦点を合わせて撮影を行うことができる。つまり、任意の位置までの距離が算出可能である。本原理により、測距センサとして距離測定が可能となる。

図２２は、撮像装置４０２による距離計測の概略を示すフローチャートである。本距離計測は、フォーカス位置を分解能Δｆずつシフトさせながら現像処理し、コントラストが最大となる位置を算出することによって実現する。この処理について詳細に説明する。
まず、フォーカス位置の初期値（無限遠もしくは距離０など）を設定し（Ｓ２２０１）、フォーカス位置から拡大率αを算出し、現像用パターン１１０１の係数βを算出し（Ｓ２２０２）、現像処理を行う（Ｓ２２０３）。この現像処理は、図１８又は図１９で説明した現像処理と同等の処理である。

その後、図２３に示すように現像画像２３０１を分割する（Ｓ２２０４）。次に、分割した領域毎に領域内のコントラストを、領域内の最大輝度Ｉｍａｘ、最小輝度Ｉｍｉｎを用いて、以下の式（１７）及び式（１８）により算出する（Ｓ２２０５）。

この後、フォーカス位置をΔｆずらして設定（Ｓ２２０７）し、以降のＳ２２０２からＳ２２０５までの処理を予め設定したフォーカス可変範囲内の走査が完了するまで実施する（Ｓ２２０６）。探索完了後、領域毎にコントラストが最大となるフォーカス位置を探索し（Ｓ２２０８）、距離情報を出力する（Ｓ２２０９）。

〈背景の干渉が測距精度に与える影響〉
これまで述べた距離計測において、例えば図２３における測距対象である人物を成す点２３０２と、遠方にあり測距対象でない背景を成す点２３０３が近くに存在する場合、
背景のぼけが測定対象に影響を及ぼし測距精度に影響を与えてしまう。

まず、図２４に視野に点２３０２のみが存在する場合のＰＳＦ（点像分布関数）の例を示す。横軸は現像画像のピクセル位置を示し、縦軸は振幅を示す。なお、画像処理部２０８における実数化して現像（復元）する処理（Ｓ１８０４）の前の情報は複素数であるため、この縦軸は複素振幅を示すものとする。ピクセル位置ｘ０における点２３０２の複素振幅が、以下の式（１９）とすると、実数化処理（Ｓ１８０４）によって得られる値は、以下の式（２０）の平方根となる。

一方、図２５に視野に点２３０２、点２３０３が存在する場合のＰＳＦ（点像分布関数）の例を示す。点２３０２にピントが合っているとすると、点２３０３はボケるため図のように拡がったＰＳＦを有することになる。ピクセル位置ｘ０における点２３０３の複素振幅が、以下の式（２１）だとすると、実数化処理（Ｓ１８０４）前のピクセル位置ｘ０における複素振幅は、以下の式（２２）となり、実数化処理（Ｓ１８０４）によって得られる値は、以下の式（２３）の平方根となる。

式（２０）、式（２３）を比較すると点２３０２、点２３０３の干渉成分である、以下の式（２４）が存在しているのが、従来カメラにない本レンズレスカメラ方式の特徴となる。この干渉成分が測距性能に影響を与えてしまうのである。

以上の原理を踏まえ、本実施例における測距センサ部１０２及び距離計測部２０５の構成について説明する。

図２６に、測距センサ部１０２及び距離計測部２０５の構成を示す。測距センサ部１０２は、変調器２６０１、及び画像センサ４０３を有する。変調器２６０１は、例えば、図４のパターン基板４０４、撮影用パターン４０５（第１の格子パターン）から構成されるものである。変調器２６０１のパターンは、例えば図１６の初期位相Φがそれぞれ｛０、π／２、π、３π／２｝のパターンのように、複数の初期位相のパターンを２次元的に並べた構成である。変調器２６０１は、撮影用パターン４０５に基づいて光の強度を変調する。なお、画像センサ４０３は、上記変調器２６０１を透過した光を電気信号に変換し、被写体に基づくセンサ画像を生成する。

距離計測部２０５は、フレーム間差分処理部２０６、フリンジスキャン処理部２０７、及び画像処理部２０８を有する。

フレーム間差分処理部２０６は、測距センサ部１０２から出力されたセンサ画像を取得し、取得したセンサ画像と１フレーム前に取得したセンサ画像との差分画像を生成する。フレーム間差分処理部２０６は、センサ画像のフレーム間の差分画像を生成する。例えば、フレーム間差分処理部２０６は、複素センサ画像のフレーム間の差分画像を生成する。

フリンジスキャン処理部２０７は、フレーム間差分処理部２０６から出力された差分画像を取得し、フリンジスキャン演算を行う。

画像処理部２０８は、フリンジスキャン処理部２０７で生成された複素センサ画像を取得し、距離情報を生成する。

図２７は、フレーム間差分処理部２０６におけるフレーム間差分処理の一例を示すフローチャートである。

まず、フレーム間差分処理部２０６は、測距センサ部１０２からセンサ画像Ｓｉ（ｎ）を取得する（Ｓ２７０１）。ｎはメモリに記憶されている変数であり、測距センサ部１０２から、センサ画像を取得した回数を表しており、映像表示装置１０１の起動時には０で初期化される。センサ画像Ｓｉ（ｎ）は、ｎ回目に取得したセンサ画像である。

フレーム間差分処理部２０６は、取得したセンサ画像Ｓｉ（ｎ）をメモリに保存する（Ｓ２７０２）。

次に、フレーム間差分処理部２０６は、出力画像Ｓｏ（ｎ）を初期化し（Ｓ２７０３）する。フレーム間差分処理部２０６は、センサ画像Ｓｉ（ｎ－１）が保存されている場合（Ｓ２７０４：Ｙｅｓ）は、センサ画像Ｓｉ（ｎ）とセンサ画像Ｓｉ（ｎ－１）の差分画像を生成し、出力画像Ｓｏ（ｎ）に設定する（Ｓ２７０５）。

センサ画像Ｓｉ（ｎ－１）が保存されていない場合（Ｓ２７０４：Ｎｏ）は、フレーム間差分処理部２０６は、センサ画像Ｓｉ（ｎ）を出力画像Ｓｏ（ｎ）に設定する（Ｓ２７０６）。このように、フレーム間差分処理部２０６は、フレーム間のセンサ画像の保存状況に基づいてフレーム間の差分画像を生成するか否かを判断し、差分画像を生成しないと判断した場合には、センサ画像を出力画像として出力する。

最後に、フレーム間差分処理部２０６は、出力画像Ｓｏ（ｎ）を出力し（Ｓ２７０７）、ｎをインクリメントして終了する（Ｓ２７０８）。

なお、図２７では記載していないが、フレーム間差分処理部２０６は、出力画像Ｓｏ（ｎ）を生成した後、センサ画像Ｓｉ（ｎ－１）をメモリから削除してもよい。

図２８は、図２６に示した測距センサ部１０２及び距離計測部２０５における距離計測処理の一例を示すフローチャートである。

まず、フレーム間差分処理部２０６は、測距センサ部１０２から出力されたセンサ画像を取得し（Ｓ２８０１）、図２７と同等の処理を実施して、差分画像を生成する（Ｓ２８０２）。

フリンジスキャン処理部２０７は、フレーム間差分処理部２０６が生成した差分画像を取得し、フリンジスキャン演算を実施する（Ｓ２８０３）。フリンジスキャン演算は、図１７における処理Ｓ１７０１～Ｓ１７０７と同等の処理である。

画像処理部２０８は、フリンジスキャン処理部２０７で生成された複素センサ画像を用いて、距離計測処理を行い、距離情報を出力する（Ｓ２８０４）。距離計測処理は、図２２における処理Ｓ２２０１～Ｓ２２０９と同等の処理である。このように、画像処理部２０８は、差分画像と、現像用パターン１１０１との演算に基づいて、被写体までの距離を示す距離情報を生成する。

なお、フレーム間差分処理部２０６とフリンジスキャン処理部２０７の処理順序は入れ替えてもよい。

図２９にフリンジスキャン処理を先に行う場合の測距センサ部１０２及び距離計測部２０５の構成を示す。図２６と異なる点は、フレーム間差分処理部２０６とフリンジスキャン処理部２０７の順番だけであり、詳細な説明は省略する。

図３０は、図２９の構成における距離計測処理の一例を示すフローチャートである。まず、フリンジスキャン処理部２０７は、測距センサ部１０２から出力されたセンサ画像を取得し（Ｓ３００１）、フリンジスキャン演算を実施する（Ｓ３００２）。

フレーム間差分処理部２０６は、フリンジスキャン処理部２０７から出力された複素センサ画像から差分画像を生成する（Ｓ３００３）。フレーム間差分処理部２０６では、差分画像を生成する画像がセンサ画像から、複素センサ画像になるが、図２７と同等の処理で実現可能である。

画像処理部２０８は、フレーム間差分処理部２０６から出力された差分画像を取得し、距離計測処理を行い、距離情報を出力する（Ｓ３００４）。

式（１０）より、フリンジスキャン演算では、各初期位相のパターンで取得した複数のセンサ画像を１枚の複素センサ画像とするため、フリンジスキャン処理部２０７を先に実施することで、フレーム間差分処理部２０６における計算量を削減することができる。

なお、以上の例では、１フレーム前の画像との差分画像を距離計測処理に用いたが、何フレーム前の画像との差分を取るかは、任意に設定してもよい。例えば、測距センサのフレームレートに対して、被写体の移動距離が小さい場合は、差分画像の信号成分が小さくなり、距離計測ができないことがある。このような場合は、数フレーム前の画像との差分画像を用いることで、正確な距離計測が可能となる。

また、測距センサのフレームレートに対して、被写体の移動距離が大きい場合は、測距センサのフレームレートを高速に設定することで、正確な距離計測が可能となる。

また、本実施例におけるフレーム間差分処理部２０６では、センサ画像Ｓｉ（ｎ－１）が保存されていない場合、取得したセンサ画像Ｓｉ（ｎ）を出力し、距離計測処理に用いている。このようなケースは、例えば図３１に示すように、映像表示装置１０１を起動して、最初の距離計測処理を行うときに起こる。また、プログラムのエラー等で、センサ画像の保存に失敗した場合や、保存していたセンサ画像が消えてしまったときなどにも同様の処理を行ってもよい。

なお、図３２のように、センサ画像Ｓ（ｎ－１）が無い場合は、距離計測処理を中止して、次のセンサ画像Ｓ（ｎ＋１）から距離計測処理を実施してもよい。

また、図３３のように、定期的に通常のセンサ画像Ｓｉ（ｎ）を測距用画像として出力してもよい。

図３２のように全ての距離測定処理を差分画像で行う場合、動物体の距離情報のみ得ることができる。

一方、図３１や図３３のように通常のセンサ画像を用いて距離計測処理を行う場合、画像全体の距離情報を得ることができるため、被写体の形状等を把握することができる。例えば、通常のセンサ画像を用いて生成した画像全体の距離情報に対して、差分画像を用いて生成した動物体の距離情報を更新してもよい。

また、Ｓｉ（ｎ－１）が設定した閾値よりも古い場合や、差分画像の信号成分が設定した閾値以上の場合、通常のセンサ画像Ｓｉ（ｎ）を用いた距離計測を行ってもよい。

また、逆に差分画像の信号成分が閾値以下の場合、通常のセンサ画像Ｓｉ（ｎ）を用いた距離計測を行ってもよいし、対象物の動きが無いとして、前回の距離情報を距離計測の結果として出力してもよい。

上述のように、フレーム間差分処理部２０６が、センサ画像のフレーム間の差分画像を生成し、画像処理部２０８が、当該差分画像と、現像用パターン１１０１との演算に基づいて、被写体までの距離を示す距離情報を生成する。このように、映像表示装置１０１は、センサ画像のフレーム間の差分画像を生成するので、背景の影響を低減し、高精度な距離情報の生成を可能とする距離計測装置を実現することが可能となる。

（実施例２）
本実施例が実施例１と異なる点は、測距センサ部と距離計測部を別装置に搭載している点である。

図３４は、頭部装着型の映像表示装置３４０５と演算装置３４０７とを含む距離計測システムにおける構成の概略図である。映像表示機能及び撮像機能を搭載した映像表示装置３４０５（撮像装置）は、通信線３４０６を介して演算機能を搭載した演算装置３４０７と接続している。演算装置３４０７は、映像表示装置３４０５において撮像された画像を上記通信線３４０６を介して受信し、当該画像を用いて被写体までの距離を計測する装置である。すなわち、映像表示装置３４０５は、取得した画像に基づいて被写体までの距離を計測する演算装置と接続する装置である。

図３５は頭部に装着する映像表示装置３４０５の一例を示すブロック図、図３６は演算装置３４０７の一例を示すブロック図である。機能を分割して別装置に搭載することで、頭部に装着する装置部分の小型化や軽量化を図ることができる。また、映像表示装置３４０５と、演算装置３４０７間の通信においては有線通信でも無線通信でもよい。無線通信の場合は、映像表示装置３４０５と演算装置３４０７を繋ぐ通信線が不要となり、使用者が通信線の存在を気にすることなく作業を実施することができるため使用勝手が向上する。

図３５の構成について説明する。圧縮部３５０１は、演算装置３４０７にデータを送信する際にデータ圧縮を行うものである。送受信部３５０２（データ送信部）は、演算装置３４０７間とのデータの送受信を行うものである。

図３６の構成について説明する。送受信部３６０２（データ受信部）は、映像表示装置３４０５間とのデータの送受信を行うものである。送受信部３６０２で受信した、圧縮された情報を伸長部３６０１で伸長して元のデータを復元する。

本実施例では、図２の距離計測部２０５で行っていた処理を、映像表示装置３４０５と演算装置３４０７との別装置に搭載することにより、処理を分割している。

図３５に示す映像表示装置３４０５側では、距離計測部３５０５が、測距センサ部１０２からの画像に対して、フリンジスキャン処理及びフレーム間差分処理を実施した画像を送信する。

図３６に示す演算装置３４０７側では、距離計測部３６０５が前記の画像を用いて画像処理を行い、距離情報を生成する。

式（１０）より、フリンジスキャン演算では、各初期位相のパターンで取得した複数のセンサ画像を１枚の複素センサ画像とするため、フリンジスキャン処理部２０７を映像表示装置３４０５側に搭載することで、通常のセンサ画像を送信するよりもデータ量を削減することができる。

図３５及び図３６で示した映像表示装置３４０５及び演算装置３４０７の処理フローについて、図３７及び図３８を用いて説明する。

図３７の映像表示装置の処理フローについて説明する。全体制御部２０３は本フローの全体を制御する。

まずは、光源制御部２０４が光源部１０４を制御することで、照射する光量を調整する（Ｓ３７０１）。

次に、フリンジスキャン処理部２０７が、測距センサ部１０２からセンサ画像を取得し（Ｓ３７０２）、フリンジスキャン演算を行い、複素センサ画像を生成する（Ｓ３７０３）。その後、フレーム間差分処理部２０６が複素センサ画像の差分画像生成し、測距用画像として出力する（Ｓ３７０４）。

続いて、圧縮部３５０１において、フレーム間差分処理部２０６から出力された測距用画像を取得し、圧縮する（Ｓ３７０５）。圧縮したデータは、送受信部３５０２において、演算装置３４０７に送信される（Ｓ３７０６）。

最後に、送受信部３５０２において、演算装置３４０７から送信されるデータを受信し（Ｓ３７０７）、受信した情報に基づき、映像表示制御部２１１により映像表示部１０３に表示する（Ｓ３７０８）。

図３８の演算装置の処理フローについて説明する。全体制御部２０３は本フローの全体を制御する。

まず、送受信部３６０２において、映像表示装置３４０５から送信された圧縮されたデータを受信し（Ｓ３８０１）、伸長部３６０１において、前記圧縮データを伸長する（Ｓ３８０２）。

続いて、距離計測部３６０５において、前記伸長されたデータ、つまり測距センサ部で取得した画像に対して、フリンジスキャン処理とフレーム間差分処理を実施した画像を用いて距離計測処理を行い、距離情報を生成する（Ｓ３８０３）。ジェスチャ認識部２０９は、距離計測部３６０５から取得した距離情報を用いてジェスチャ認識を行い（Ｓ３８０４）、ジェスチャ認識結果をジェスチャ操作入力部２１０に入力することにより、入力操作として受付ける（Ｓ３８０５）。

最後に、送受信部３６０２より、入力操作に応じた応答を送信する（Ｓ３８０６）。

機能を分割して別装置に搭載することで、データの送受信処理が必要となり、その結果処理遅延が発生する可能性がある。しかし、送受信データを圧縮することで処理遅延を最小限に留めることが可能となる。

なお、フレーム間差分処理部２０６やフリンジスキャン処理部２０７を演算装置３４０７側に搭載してもよい。この場合、映像表示装置３４０５での計算量を削減することができるため、映像表示装置３４０５の小型化や低コスト化を実現することができる。

（実施例３）
図３９に本実施例における映像表示装置の構成の一例を示す。図２に記載の実施例１の映像表示装置の構成との違いは、距離計測部２０５に差分領域決定部３９０１（差分画像領域決定部）を追加している点である。この差分領域決定部３９０１は、フレーム間差分処理部２０６で差分を取る画像領域を決定する部分である。

本発明における距離計測装置を頭部装着型の映像表示装置に搭載して使用する際の課題を図４０及び図４１を用いて説明する。

被写体４００１は、ｎ＝ｋ－１における被写体であり、センサ画像４００２は、被写体４００１を測距センサ部１０２で撮像した際に出力されるセンサ画像Ｓｉ（ｋ－１）である。また、被写体４００３は、ｎ＝ｋにおける被写体であり、センサ画像４００４は、被写体４００３を測距センサ部１０２で撮像した際に出力されるセンサ画像Ｓｉ（ｋ）である。

差分画像４００５は、Ｓｉ（ｋ）とＳｉ（ｋ－１）の差分画像Ｓｏ（ｋ）である。

このとき、映像表示装置１０１は、Ｓｏ（ｋ）は、被写体が動かした手の部分以外の情報が除外されているため、手の部分の正確な距離情報を生成が可能である。

図４１は、ｎ＝ｋの時点で映像表示装置の装着者が頭を動かしてしまった場合の例である。被写体４１０３は、頭を動かした後の装着者（測距センサ）の位置から見た被写体であり、背景も含めた画像全体の位置関係が変わってしまっている。

この場合、被写体４１０３を測距センサ部１０２で撮像した際に出力されるセンサ画像（４１０４）と、センサ画像４００２の差分画像（４１０５）は、全体の位置関係がずれてしまっているため、背景の情報を除外できず、正確な距離計測をすることができない。

以上のように、装着者が頭を動かすなどして、測距センサと被写体の位置関係が変わってしまった場合、差分画像を用いても背景の情報を除外できず、正確な距離計測ができないことが課題となる。

本実施例では、測距センサ部１０２で取得したセンサ画像の相互相関から、測距センサの移動情報を取得することで、前記課題が解決する方法を示す。

まずは、本実施例における前記課題の解決方法の概要を図４２を用いて説明する。

図４２における、被写体と測距センサの位置関係は、図４１と同じである。図４２の点線で囲まれた領域は、差分画像に用いる領域を表している。

差分画像に用いる領域において、背景と被写体の位置関係が同じであれば、その領域における差分画像４２０５では、被写体が動かした手の部分以外の情報が除外され、被写体の手の部分の正確な距離情報を生成することが可能である。

このとき、背景と被写体の位置関係を同じとなる領域を決定するのが、差分領域決定部３９０１である。

図４３は、差分領域決定部３９０１における処理フローの一例である。まず、差分領域決定部３９０１は、フレーム間差分処理部２０６からセンサ画像Ｓｉ（ｎ－１）とＳｉ（ｎ）を取得し（Ｓ４３０１）、相互相関関数を演算する（Ｓ４３０２）。

次に相互相関関数の演算結果を用いて、測距センサ部１０２の移動情報を求める（Ｓ４３０３）。測距センサ部１０２から出力されるセンサ画像は、撮影用パターン４０５の投影像である。撮影用パターン４０５は、光源の入射する角度によってずれる。そのため、装着者が頭を動かすなどして、測距センサ部１０２に対する対象物の角度が変われば、投射されるパターンも移動する。その移動した量を相互相関から求める。

図４４は、Ｓｉ（ｎ－１）とＳｉ（ｎ）の相互相関関数の演算結果である。投射されるパターンの移動方向に応じて、相互相関関数のピークが出現するので、例えば装着者が動いたことで、Ｓｉ（ｎ－１）に対して、Ｓｉ（ｎ）が全体的にΔｘ、Δｙ移動した場合は、相互相関関数のピークが中心からΔｘ、Δｙ移動した位置に出現する。このように相互相関関数のピークの出現位置から、移動量を求めることができる。

最後に測距センサの移動情報から、背景と被写体の位置関係が同じとなるような領域を決定する（Ｓ４３０４）。

なお、撮影用パターン４０５は、センサ全体に投影されるため、センサ画像Ｓｉ（ｎ－１）とＳｉ（ｎ）の一部の領域を切り出して、相互相関関数の演算をしても、移動量を求めることができる。図４５は、Ｓｉ（ｎ－１）及びＳｉ（ｎ）を２ｘ２の領域に分割した際の左下の領域（４４０１及び４４０２）を切り出して、相互相関関数の演算をした結果である。図４５では、図４４と同様の位置（Δｘ、Δｙ）に相互相関関数のピークを得ることができる。

このように、一部の領域を切り出して、相互相関関数の演算をすることで、計算量を削減することができる。

図４６は、本実施例における距離計測の処理フローの一例である。まず、フレーム間差分処理部２０６は、測距センサ部１０２から出力されたセンサ画像を取得する（Ｓ４６０１）。そして、差分領域決定部３９０１がフレーム間差分処理部２０６から、センサ画像Ｓｉ（ｎ－１）及びＳｉ（ｎ）を取得し、差分画像領域を決定する（Ｓ４６０２）。フレーム間差分処理部２０６は、当該差分画像領域に基づいてＳｉ（ｎ－１）及びＳｉ（ｎ）から、決定した差分画像領域を切り出し、差分画像を生成する（Ｓ４６０３）。このように、差分領域決定部３９０１は、センサ画像における一部の領域を用いてフレーム間の相互相関関数を演算し、画像領域を決定する。フレーム間差分処理部２０６は、差分領域決定部３９０１によって決定された画像領域におけるフレーム間の差分画像を生成する。

フリンジスキャン処理部２０７は、差分画像を取得し、フリンジスキャン演算を行い、複素センサ画像を生成する（Ｓ４６０４）。最後に画像処理部２０８が、複素センサ画像を用いて、距離計測を行い、距離情報を生成する（Ｓ４６０５）。

なお、差分領域決定部３９０１において、センサ画像Ｓｉ（ｎ－１）とＳｉ（ｎ）の相互相関関数のピークが設定した閾値よりも小さい場合は、被写体が測距センサの撮像範囲から外れるほど、装着者が頭を動かした可能性がある。よって、映像表示装置１０１は、差分画像を用いずに、Ｓｉ（ｎ）で距離計測処理を行ってもよいし、距離計測処理を中止してもよい。

また、差分領域決定部３９０１で決定した差分画像領域が、設定した閾値よりも狭い場合も同様である。

以上示した構成、及び方法により、頭部装着型の映像表示装置に測距センサを搭載した場合でも、装着者の動きに対応した距離計測が可能となる。

（実施例４）
図４７は本実施例における映像表示装置の構成の一例である。図３９と異なる点は、センサ部４７０１及び姿勢検出部４７０２が追加されている点である。

実施例３では、測距センサ部１０２から出力されるセンサ画像の相互相関から、差分画像領域を決定したが、本実施例では、センサ部４７０１で取得した情報を用いて、姿勢検出部４７０２が装着者の姿勢を検出し、差分画像の領域を決定する。

センサ部４７０１は、例えば加速度センサ、方向センサ等であり、映像表示装置１０１の動きをセンシングすることができる。装着者の姿勢を検出する専用のセンサを用いることで、処理の高速化や計算量の削減が可能である。

具体的に、センサ部４７０１は、映像表示装置１０１の動き情報をセンシングして、当該動き情報を姿勢検出部４７０２へ送出する。姿勢検出部４７０２は、当該動き情報から映像表示装置１０１の移動情報（移動方向、移動速度を示す情報）を生成する。姿勢検出部４７０２は、当該移動情報を距離計測部２０５へ送出する。距離計測部２０５の差分領域決定部３９０１は、当該移動情報に基づいて、差分画像の領域を決定する。

また、フレーム間差分処理部２０６は、当該移動情報に基づいてフレーム間の差分画像を生成するか否かを判断するようにしてもよい。例えば、フレーム間差分処理部２０６は、当該移動情報が、移動量が多いことを示す場合、直前の画像と差分を取る意義が無いと判断する。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１…映像表示装置、１０２…測距センサ部、１０３…映像表示部、１０４…光源部、２０１…ＣＰＵ、２０２…ＧＰＵ、２０３…全体制御部、２０４…光源制御部、２０５…距離計測部、２０６…フレーム間差分処理部、２０７…フリンジスキャン処理部、２０８…画像処理部、２０９…ジェスチャ認識部、２１０…ジェスチャ操作入力部、２１２…カメラ制御部、２１３…カメラ部、２１４…映像表示制御部。

Claims (16)

1. 被写体までの距離を計測する距離計測装置であって、
   第１の格子パターンに基づいて光の強度を変調する変調器と、
   前記変調器を透過した光を電気信号に変換し、前記被写体に基づくセンサ画像を生成する画像センサと、
   前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
   前記差分画像と、第２の格子パターンのデータとの演算に基づいて、前記被写体までの距離を示す距離情報を生成する画像処理部と、
   を備える、距離計測装置。
2. 請求項１に記載の距離計測装置であって、
   前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部をさらに備え、
   前記フレーム間差分処理部は、前記複素センサ画像のフレーム間の差分画像を生成し、
   前記画像処理部は、前記差分画像と、第２の格子パターンのデータとの演算に基づいて前記距離情報を生成する、
   距離計測装置。
3. 請求項１に記載の距離計測装置であって、
   前記フレーム間差分処理部は、フレーム間のセンサ画像の保存状況に基づいて、フレーム間の差分画像を生成するか判断し、差分画像を生成しない場合は、前記センサ画像を出力し、
   前記画像処理部は、前記センサ画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する、
   距離計測装置。
4. 請求項１に記載の距離計測装置であって、
   前記距離計測装置の動き情報をセンシングするセンサ部と、
   前記センサ部によりセンシングされた動き情報からフレーム間における距離計測装置の移動情報を生成する姿勢検出部と、
   をさらに備え、
   前記フレーム間差分処理部は、前記姿勢検出部により生成された移動情報に基づいて、フレーム間の差分画像を生成するか判断し、差分画像を生成しない場合は、前記センサ画像を出力し、
   前記画像処理部は、前記センサ画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する、
   距離計測装置。
5. 請求項１に記載の距離計測装置であって、
   前記フレーム間差分処理部で差分を取る画像領域を決定する差分画像領域決定部をさらに備え、
   前記フレーム間差分処理部は、前記差分画像領域決定部により決定された画像領域におけるフレーム間の差分画像を生成する、
   距離計測装置。
6. 請求項５に記載の距離計測装置であって、
   前記差分画像領域決定部は、前記センサ画像におけるフレーム間の相互相関関数を演算し、前記画像領域を決定する、
   距離計測装置。
7. 請求項５に記載の距離計測装置であって、
   前記差分画像領域決定部は、前記センサ画像における一部の領域を用いてフレーム間の相互相関関数を演算し、前記画像領域を決定する、
   距離計測装置。
8. 請求項５に記載の距離計測装置であって、
   距離計測装置の動き情報をセンシングするセンサ部と、
   前記動き情報からフレーム間における距離計測装置の移動情報を生成する姿勢検出部と、
   をさらに備え、
   前記差分画像領域決定部は、前記移動情報を用いて前記画像領域を決定する、
   距離計測装置。
9. 取得した画像に基づいて被写体までの距離を計測する演算装置と接続する撮像装置であって、
   第１の格子パターンに基づいて光の強度を変調する変調器と、
   前記変調器を透過した光を電気信号に変換し、被写体に基づくセンサ画像を生成する画像センサと、
   前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
   前記フレーム間差分処理部により生成された差分画像を、前記演算装置へ送信するデータ送信部と、
   を備える、撮像装置。
10. 請求項９に記載の撮像装置であって、
    前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理部をさらに備え、
    前記フレーム間差分処理部は、前記複素センサ画像のフレーム間の差分画像を生成する、
    撮像装置。
11. 請求項９に記載の撮像装置であって、
    前記フレーム間差分処理部で差分を取る画像領域を決定する差分画像領域決定部と、
    を有し、
    前記フレーム間差分処理部は、前記画像領域におけるフレーム間の差分画像を生成する、
    撮像装置。
12. 撮像装置と、演算装置とを含む距離計測システムであって、
    前記撮像装置は、
    第１の格子パターンを用いてそこを透過する光の強度を変調する変調器と、
    前記変調器を透過した光を電気信号に変換してセンサ画像を生成する画像センサと、
    前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理部と、
    前記差分画像を前記演算装置へ送信するデータ送信部と、を備え、
    前記演算装置は、
    前記撮像装置から前記差分画像を受信するデータ受信部と、
    前記データ受信部により受信された前記差分画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する画像処理部と、
    を備える、距離計測システム。
13. 被写体までの距離を計測する距離計測装置が実行する距離計測方法であって、
    前記距離計測装置が有する変調器が、第１の格子パターンに基づいて光の強度を変調する変調ステップと、
    前記変調器を透過した光を電気信号に変換し、前記被写体に基づくセンサ画像を生成する画像生成ステップと、
    前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理ステップと、
    前記差分画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する画像処理ステップと、
    を含む、距離計測方法。
14. 請求項１３に記載の距離計測方法であって、
    前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理ステップと、
    を有し、
    前記フレーム間差分処理ステップは、前記複素センサ画像のフレーム間の差分画像を生成し、
    前記画像処理ステップは、前記差分画像と、第２の格子パターンのデータとの演算に基づいて距離情報を生成する、
    距離計測方法。
15. 取得した画像に基づいて被写体までの距離を計測する演算装置と接続する撮像装置で実行する撮像方法であって、
    前記撮像装置が有する変調器が、第１の格子パターンに基づいて光の強度を変調する変調ステップと、
    前記変調器を透過した光を電気信号に変換し、センサ画像を生成する画像生成ステップと、
    前記センサ画像のフレーム間の差分画像を生成するフレーム間差分処理ステップと、
    前記差分画像を、前記演算装置へ送信するデータ送信ステップと、
    を含む、撮像方法。
16. 請求項１５に記載の撮像方法であって、
    前記センサ画像から複素数を有する複素センサ画像を生成する複素センサ画像処理ステップと、
    をさらに含み、
    前記フレーム間差分処理ステップは、前記複素センサ画像のフレーム間の差分画像を生成する、撮像方法。

Images