JPWO2018163335A1 - 距離計測装置、ヘッドマウントディスプレイ装置、携帯情報端末、映像表示装置、周辺監視システム、及び距離計測方法 - Google Patents

Abstract

距離計測装置(101)は、撮像光学系(102)と、撮像光学系からの入射光を撮像する一つの撮像素子(105)と、撮像素子が撮像した複数の画像を基に、前記撮像素子から前記撮像対象までの距離を計測する距離計測部(107)と、を備える。撮像光学系は第１の偏光方向を有する第１の偏光と、第１の偏光方向と略直交する第２の偏光方向を有する第２の偏光とを分離させて撮像素子に入射させる偏光分離部を含み、撮像素子は、第１の偏光を受光して第１の偏光画像を撮像すると共に、第２の偏光を受光して第２の偏光画像を撮像し、距離計測部は、第１の偏光画像及び第２の偏光画像を基に前記撮像対象との距離を計測する。

Description

本発明は、距離計測装置、ヘッドマウントディスプレイ装置、携帯情報端末、映像表示装置、周辺監視システム、及び距離計測方法に関する。

光源が不要な距離計測技術として、ピントのボケに基づいて距離計測を行うレンズ焦点法や、複数の撮像素子間の視差を基に距離計測を行うステレオ法に代表される受動的距離計測装置がある。その一例として、特許文献１には、「本発明の多重フォーカスカメラは、撮像光学系のレンズと、レンズを介して被写体から入射する光のうち、有機光電変換膜により所定の光吸収率で光を吸収して光電変換し被写体の像を撮像する第１撮像素子と、第１撮像素子を透過させた光を光電変換し当該被写体の像を撮像する第２撮像素子と、第１撮像素子及び第２撮像素子による撮像動作を制御する制御部とを備える。制御部は、第１撮像素子及び第２撮像素子で撮像される当該被写体の像のボケ量の差に基づいて、当該被写体からレンズまでの距離を演算する測距演算部を有する（要約抜粋）」と記載されている。

特開２０１３−２０５５１６号公報

特許文献１に開示された多重フォーカスカメラは、複数の撮像素子をレンズの光軸に沿って間隔を空けて配置することで、レンズ焦点法に必要な複数の画像の同時撮像を実現している。そのため第１撮像素子及び第２撮像素子間の距離を確保する必要性から、多重フォーカスカメラの小型化に制約があるという実情がある。

そこで、本発明では小型化に対する制約をより低減した距離計測技術を提供することを目的とする。

上記課題は、例えば請求項の範囲に記載の発明により解決される。その一例を挙げるならば、複数の画像を基に当該画像に撮像された撮像対象までの距離を計測する距離計測装置であって、撮像光学系と、前記撮像光学系からの入射光を撮像する一つの撮像素子と、前記撮像素子が撮像した複数の画像を基に、前記撮像素子から前記撮像対象までの距離を計測する距離計測部と、を備え、前記撮像光学系は第１の偏光方向を有する第１の偏光と、前記第１の偏光方向と略直交する第２の偏光方向を有する第２の偏光とを分離させて前記撮像素子に入射させる偏光分離部を含み、前記撮像素子は、前記第１の偏光を受光して第１の偏光画像を撮像すると共に、前記第２の偏光を受光して第２の偏光画像を撮像し、前記距離計測部は、前記第１の偏光画像及び前記第２の偏光画像を基に前記撮像対象との距離を計測する、ことを特徴とする。

本発明によれば、小型化に対する制約をより低減した距離計測技術を提供することができる。なお、上記した以外の目的、構成、効果については以下の実施形態において明らかにされる。

本発明における距離計測装置の構成を示す図 第１実施形態における撮像光学系と撮像素子の構成を示す図 第１実施形態におけるレンズの構成を示す図 第１実施形態における偏光分離部と撮像素子の構成を示す図 本発明の距離計測装置において、第１の偏光で撮像対象物体を撮像する様子を示す図 本発明の距離計測装置において、第２の偏光で撮像対象物体を撮像する様子を示す図 撮像光学系で撮像した第１の偏光の点広がり関数を示す図 撮像光学系で撮像した第２の偏光の点広がり関数を示す図 第２実施形態において偏光制御素子を透過させた光の偏光が第１の偏光となるように偏光制御素子を制御した場合の撮像光学系と撮像素子の構成を示す図 第２実施形態において偏光制御素子を透過させた光の偏光が第２の偏光となるように偏光制御素子を制御した場合の撮像光学系と撮像素子の構成を示す図 第２実施形態における撮像光学系と撮像素子の構成を示す図 第３実施形態におけるレンズの構成を示す図 第４実施形態における撮像光学系と撮像素子の構成を示す図 第４実施形態における第１の偏光依存フレネルゾーンプレートの構成を示す図 第４実施形態における第２の偏光依存フレネルゾーンプレートの構成を示す図 第５実施形態における撮像光学系と撮像素子の構成を示す図 第１実施形態における距離計測処理フローを示す図 第１実施形態におけるＰＳＦサイズ調整の処理フローを示す図 距離計測装置を映像表示装置で使用する場合の構成の例を示す図 距離計測装置を映像表示装置で使用する場合の構成の例を示す図 距離計測装置を使用する映像表示装置におけるジェスチャ入力の処理フローを示す図 距離計測装置を使用する映像表示装置において、ユーザの手認識処理時に撮像する画像を示す図 距離計測装置を使用する映像表示装置において、ユーザの手の特徴点抽出処理時に処理する画像を示す図 距離計測装置を使用する映像表示装置において、距離計測領域決定処理時に処理する画像を示す図 自動車の周辺監視システムに距離計測装置を使用する場合の構成を示す図 自動車の走行状態を基に距離計測レンジを決定する処理フローを示す図 可変な基線長を有するステレオ法距離計測装置において、２つのカメラを距離計測装置とした構成を示す図

以下、図面を参照して本発明の実施形態について説明する。全図を通じて同一の構成には同一の符号を付し、重複説明を省略する。

近年、拡張現実(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ)技術や仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）技術への適用に向けたヘッドマウントディスプレイなどのウェアラブル端末が製品化されている。ＡＲ・ＶＲ技術におけるユーザの入力方法の１つに手の動きを認識するジェスチャ入力がある。また、ＡＲ技術においては空間中に視覚情報を重畳するために空間中の物体の位置関係を把握する空間認識機能が必要である。これらの実現には物体の奥行き情報を計測する距離計測技術が必要であり、飛行時間（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ、ＴＯＦ）法に代表される距離計測技術が利用されている。

ＴＯＦ法に代表される、能動的距離計測装置には物体に光を照射する光源が必要になる。これに対し、以下説明する本実施形態に係る距離計測装置は、物体に光を照射する光源が不要な、所謂受動的距離計測装置である。

＜第１実施形態＞
本発明における第１実施形態について添付図面に従って説明する。図１は本発明における距離計測装置１０１の構成の一例を示したものである。距離計測装置１０１は撮像対象の画像を、撮像光学系１０２を介して撮像素子１０５で撮像する。撮像光学系１０２は２つの直交する偏光にそれぞれ異なる点広がり関数を付加する点広がり関数付加部１０３と、第１の偏光方向を有する入射光と、第１の偏光方向と略直交する第２の偏光方向を有する入射光とを分離する偏光分離部１０４を有する。ここでいう略直交とは、第１の偏光方向を有する入射光の偏光方向軸と第２の偏光方向を有する入射光の偏光方向軸とが正確に９０度である場合に限定する趣旨ではなく、９０度を中心に直交していると見做せる許容確度範囲に、第１の偏光方向を有する入射光の偏光方向軸と第２の偏光方向を有する入射光の偏光方向軸とのなす角が含まれる場合とを含む。

また「点広がり関数」とは、光学系の点光源に対する応答を表す関数であり、撮像対象の一点から生じた光線を撮像素子で撮像したときに得られる画像において、撮像光学系の点広がり関数が異なる場合、撮像した画像のボケ方に差が生じる。本実施形態では、この画像のボケ方の差を用いて、距離を計測する。

撮像素子１０５により撮像された画像データは画像処理部１０６へ受け渡され、距離計測部１０７は画像を基に距離情報を生成し、表示画像生成部１０８が距離情報を反映させた表示用の画像を生成する。画像処理部１０６で生成した距離情報や表示画像は制御部１０９へと出力され、表示画像の生成以外の使用用途、例えば後述する操作入力に利用されてもよい。

撮像光学系１０２における光の入射側には、例えば複数の可動羽根を含んで構成される開口絞り２０２及び開口絞り２０２を駆動させて開口サイズを変更させる絞り駆動部２０６を更に含む。制御部１０９は、絞り駆動部２０６に対して駆動制御信号を送り、開口絞り２０２を駆動させ、撮像光学系１０２の開口サイズの変更し、光学調整を行う。更に制御部１０９は、撮像素子１０５、画像処理部１０６における各処理の実行タイミングの制御や、映像表示装置などの外部機器との通信を行う。撮像素子１０５としてはＣＭＯＳイメージセンサやＣＣＤイメージセンサ等を用いることができる。

図２は本実施形態における撮像光学系１０２と撮像素子１０５の構成の一例を示したものである。本実施形態に係る距離計測装置１０１に入射した入射光２０１は、撮像光学系１０２中の点広がり関数付加部１０３へ入射し、点広がり関数付加部１０３中の開口絞り２０２により形成される開口部２０２ａ及びレンズ２０３を透過する。点広がり関数付加部１０３を透過する光のうち、互いに直交する第１の偏光２０４と第２の偏光２０５は、それぞれ異なる点広がり関数を付加された状態で点広がり関数付加部１０３を透過する。その後、第１の偏光２０４と第２の偏光２０５は偏光分離部１０４を介して撮像素子１０５で受光され、撮像対象の画像が記録される。図２では説明の都合上、偏光分離部１０４と撮像素子１０５を離して記載しているが、近接していることが望ましく、両者を貼り合わせて構成しても良い。

図３は本実施形態におけるレンズ２０３の構成の一例を示したものである。なお、入射光２０１の進行方向は紙面垂直方向とし、第１の偏光２０４の偏光方向は軸３０１に対して平行であり、第２の偏光２０５の偏光方向は軸３０２に対して平行であるとする。

レンズ２０３は複屈折性の物質で構成されており、軸３０１に対して平行な第１の偏光２０４に対する屈折率はｎ_１であり、軸３０２に対して平行な第２の偏光２０５に対する屈折率はｎ_２であるため、レンズ２０３の焦点距離は第１の偏光２０４と第２の偏光２０５に対してそれぞれ異なった長さとなる。例えば、レンズ２０３が曲率半径Ｒの球面平凸レンズであった場合、第１の偏光２０４に対する焦点距離ｆ_１と第２の偏光２０５に対する焦点距離ｆ_２はそれぞれ式１、式２で表すことができるので、例えば、ｎ_１がｎ_２に比べて大きい場合、ｆ_１はｆ_２よりも小さい値となる。
（式１）ｆ_１＝Ｒ／（ｎ_１−１）・・・（１）
（式２）ｆ_２＝Ｒ／（ｎ_２−１）・・・（２）

図４は本実施形態における偏光分離部１０４と撮像素子１０５の構成の一例を示す。偏光分離部１０４は第１の偏光２０４を透過させ、第２の偏光２０５を遮光する第１の偏光子４０１、４０３、４０５、４０７、４０９と、第１の偏光２０４を遮光し、第２の偏光２０５を透過させる第２の偏光子４０２、４０４、４０６、４０８を並べた偏光子アレイである。偏光分離部１０４と撮像素子１０５は、第１の偏光子又は第２の偏光子４０１〜４０９を透過させた光が、それぞれ撮像素子１０５の画素４１０〜４１８で撮像されるように配置されている。このため、画素４１０、４１２、４１４、４１６、４１８は第１の偏光２０４のみを、画素４１１、４１３、４１５、４１７は第２の偏光２０５のみを撮像する。

図４は撮像素子１０５を構成する画素の一部について説明したものであり、画素数は図４に示したものに限らない。また、画素４１０〜４１８はそれぞれ単一のモノクロ画像センサであっても良いし、画素４１０〜４１８の各画素がＲＧＢに対応する画素をそれぞれ１つ以上有するベイヤーフィルタ式の画像センサなどであっても良い。

以上の構成とすることで、第１の偏光２０４と第２の偏光２０５をそれぞれ異なる焦点距離で撮像素子１０５へ入射させ、撮像素子１０５で第１の偏光２０４を撮像した第１の偏光画像と第２の偏光２０５を撮像した第２の偏光画像をそれぞれ個別に撮像することが可能となる。このため、異なるボケ量の２つの画像である第１の偏光画像及び第２の偏光画像を同時に撮影でき、レンズ焦点法の１つであるＤｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ（ＤＦＤ）法による距離計測を実行することができる。

レンズ焦点法は、ボケ量の異なる画像を少なくとも２つ以上必要とするため、従来のＤＦＤ法ではレンズと撮像素子の間の距離を変えながら複数回撮像が行われ、他の距離計測方式と比べ計測時間が長い問題があった。また、特許文献1に記載の構成では、撮像素子を２つ以上用いることで、ボケ量の異なる画像の同時撮像を可能としているが、撮像素子数が増えることで消費電力が増加してしまうという問題があった。これに対し、本実施形態の構成によれば、１つの撮像素子を用いて、ボケ量の異なる２つの第１の偏光画像及び第２の偏光画像を同時に撮像することができるため、ＤＦＤ法による距離計測を高速に実行する小型・低消費電力な距離計測装置が提供できる。

なお、偏光分離部１０４を構成する偏光子の数、並べ方は図４に示したものに限らない。例えば、第１の偏光子４０１、４０３、４０５、４０７、４０９と、第２の偏光子４０２、４０４、４０６、４０８をストライプ状に配置したものであっても良い。また、偏光分離部１０４にフォトニック結晶を用いた偏光子アレイを利用しても良い。更に、撮像素子１０５を構成する画素の数は図４に示したものに限らない。

また、本実施形態の偏光分離部１０４と撮像素子１０５の構成では、第１の偏光画像の撮像に撮像素子１０５の画素のうち半数を使用し、第２の偏光画像の撮像にもう半数の画素を使用するため、撮像素子１０５で取得できる画像の画素数が半減するが、撮像できない画素については、近接した画素で受光した光強度信号を基に補間処理を行うことで第１の偏光画像及び第２の偏光画像を生成可能である。第２の偏光画像を例に考えると、図４の画素４１４では第２の偏光２０５の光強度信号を計測できないため、当該画素における光強度信号が欠けてしまうが、周囲の画素４１１、４１３、４１５、４１７で計測した第２の偏光２０５の光強度信号の平均値を画素４１４の第２の偏光２０５の光強度信号として挿入することで画素４１４の光強度信号を補間し、第２の偏光画像を生成できる。第１の偏光２０４の画像に関しても同様の補間処理を行うことで第１の偏光画像を生成できる。

また、本実施形態のレンズ２０３は、例えば水晶、カルサイト、フッ化マグネシウム、メタホウ酸バリウムなどの複屈折性結晶を用いたレンズでも良いし、複屈折性を示すプラスチックレンズでも良い。

ここで、本実施形態における距離計測方法を、図５、６を用いて説明する。図５は本実施形態の距離計測装置において、撮像対象である物体５０１を撮像する様子を説明した図である。物体５０１とレンズ２０３の間の距離をｕ、レンズ２０３と撮像素子１０５の間の距離をｓとおく。また、開口部２０２ａの直径をＤ_０とした。図５Ａは第１の偏光２０４の入射光線を撮像素子１０５で撮像する様子を示す。物体５０１の１点から生じた第１の偏光２０４の光線はレンズ２０３を透過した後、焦点距離ｆ_１のレンズで結像される結像点５０２に結像する。

図５Ｂは第２の偏光２０５の入射光線を撮像素子１０５で撮像する様子を示す。物体５０１の１点から生じた第２の偏光２０５の光線はレンズ２０３を透過した後、焦点距離ｆ_２のレンズで結像される結像点５０３に結像する。図５の場合、結像点５０２と撮像素子１０５の間の距離の方が、結像点５０３と撮像素子１０５の間の距離より短いため、第１の偏光２０４の画像よりも第２の偏光２０５の画像のほうがボケの強い画像となる。

第１の偏光２０４と第２の偏光２０５の撮像画像におけるボケ量の差を図６を用いて説明する。物体５０１の１点から生じた光線を撮像素子１０５で撮像した場合の像を点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、 ＰＳＦ）と呼ぶ。図６は本実施形態の撮像光学系で撮像した点広がり関数を図示したものである。画像６０１は第１の偏光２０４の点広がり関数６０２を撮像した場合の画像の例であり、画像６０３は第２の偏光２０５の点広がり関数６０４を撮像した場合の画像の例である。点広がり関数６０２の直径Ｄ_１はＤ_０、ｕ、ｓおよびｆ_１を用いると式３で表すことができ、点広がり関数６０４の直径Ｄ_２はＤ_０、ｕ、ｓおよびｆ_２を用いると式４で表すことができる。
（式３）Ｄ_１＝ｓＤ_０（１／ｆ_１−１／ｕ−１／ｓ）・・・（３）
（式４）Ｄ_２＝ｓＤ_０（１／ｆ_２−１／ｕ−１／ｓ）・・・（４）

物体５０１の撮像を第１の偏光２０４や第２の偏光２０５で行うと、それぞれ式３や式４で示した点広がり関数と、ボケのない物体５０１の像との畳み込み積分に相当する画像を撮像することになる。このため、点広がり関数６０２や６０４の大きさを第１の偏光２０４や第２の偏光２０５の畳み込み画像から抽出することで、物体５０１とレンズ２０３の間の距離を計測することが可能となる。

２つの畳み込み画像から点広がり関数を抽出する方法としては、例えば２次元フーリエ変換を用いても良いし、下記文献に記載されたＳｐａｔｉａｌ Ｄｏｍａｉｎ Ｃｏｎｖｏｌｕｔｉｏｎ／Ｄｅｃｏｎｖｏｌｕｔｉｏｎ Ｔｒａｎｓｆｏｒｍを用いて計算しても良い。
（文献名）
Ｍｕｒａｌｉ Ｓｕｂｂａｒａｏ、Ｇｏｐａｌ Ｓｕｒｙａ、“Ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ： Ａ ｓｐａｔｉａｌ ｄｏｍａｉｎ ａｐｐｒｏａｃｈ、” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、 （ＵＳ） Ｓｐｒｉｎｇｅｒ、１９９４年１２月、１３巻、３号 ｐ．２７１−２９４

なお、撮像素子１０５は、第１の偏光画像と第２の偏光画像のうち、どちらか一方が撮像素子１０５上に結像するように配置しても良い。このような配置とすることで、距離計測のために撮像した２つの画像のうち一方をそのまま表示することで、ＡＲシステム等においてユーザ向け表示画像として用いることが可能となる。また、第１の偏光画像及び第２の偏光画像のどちらも撮像素子１０５上に結像しない場合でも、２つの偏光画像からＰＳＦを計算した後に、ＰＳＦの情報を基に撮像画像のボケを除去することで、ユーザ向け表示画像を生成しても良い。

次に、本実施形態の距離計測装置１０１を用いた距離計測処理フローの例を図１３を用いて説明する。処理Ｓ１３０１ではＰＳＦサイズの調整など、距離計測に関わる部分の初期化を行う。

処理Ｓ１３０２では第１の偏光２０４を撮像して第１のロー（ｒａｗ）偏光画像を生成し、第２の偏光２０５を撮像して第２のロー偏光画像を生成する。

処理Ｓ１３０３では処理Ｓ１３０２で撮像した第１のロー偏光画像及び第２のロー偏光画像についてそれぞれ補間処理を行い、第１の偏光画像及び第２の偏光画像を生成する。

処理Ｓ１３０４では処理Ｓ１３０３で生成した第１の偏光画像及び第２の偏光画像からＰＳＦを抽出する。

処理Ｓ１３０５では処理Ｓ１３０４で抽出したＰＳＦを基に対象物体との距離を計算する。

処理Ｓ１３０６では処理Ｓ１３０５で計測した距離情報を、用途に応じた形式で出力する。例えば、物体との距離情報を表示画像としてユーザに提供する使用方法の場合は、処理Ｓ１３０２で撮像した画像に処理Ｓ１３０５で計測した距離情報を重畳した画像を生成し、表示ディスプレイ等に表示する。また、ＡＲシステムのジェスチャ入力の認識に使用する場合は、距離計測情報を記録しておき、次回の距離計測時に処理Ｓ１３０５で計測した距離計測情報の差分を計算し、入力内容を判定し、ＡＲシステムの入力へ出力する。

処理Ｓ１３０７では計測の継続・終了を判定し、継続の場合は（Ｓ１３０７／Ｙｅｓ）、処理Ｓ１３０２へ、終了の場合は（Ｓ１３０７／Ｎｏ）、距離計測処理を終了する。

次にＰＳＦサイズの調整方法について説明する。一般的に、レンズ２０３の焦点距離、開口部２０２ａの直径、撮像素子１０５とレンズ２０３の間の距離などが同じ条件の場合、遠方にある物体よりも近傍にある物体の方がＰＳＦが大きくなる。ＰＳＦが撮像素子１０５と比較して一定以上のサイズになると正確な距離計測ができなくなる。このため、開口部２０２ａの直径や撮像素子１０５とレンズ２０３間の距離を制御し、ＰＳＦのサイズを低減させる操作が必要となる。

ＰＳＦのサイズが適正かは例えば開口部２０２ａの直径の変更前後に抽出したＰＳＦの変化から判定可能である。本来、開口部２０２ａの直径を小さくすると撮像素子１０５で撮像した画像のＰＳＦは小さくなるが、ＰＳＦのサイズが撮像素子１０５と比較して一定以上のサイズになる場合、開口部２０２ａの直径を小さくすると、画像から抽出したＰＳＦサイズは変化しない、もしくは増加する。これは、ＰＳＦが一定以上のサイズの場合、ＤＦＤに用いる２つの画像のうち、少なくとも一方は開口部２０２ａの直径を小さくしても、ボケ方に明確な変化が出ないためである。この状況で、もう一方の画像が開口部２０２ａの直径が小さくなった影響でボケ量が低下すると、２つの画像の間のボケ量の差は増大する。本測定方法において、ボケ量の差の増大はＰＳＦの増加を意味する。また、もう一方の画像も開口部２０２ａの直径を小さくした場合に、明確な変化が出ない場合は、開口部２０２ａの直径を変更しても２つの画像の間にボケ量の差が発生しないため、ＰＳＦは一定であるという計算結果となる。この特徴を利用してＰＳＦサイズが適正であるか判定し、適正でない場合はＰＳＦサイズを低減させる。

図１４を用いてＰＳＦサイズ調整の処理フローの例を説明する。

処理Ｓ１４０１では開口部２０２ａの直径を設定する。

処理Ｓ１４０２では第１の偏光画像と第２の偏光画像を生成し、ＰＳＦを抽出する。ここでいう「第１の偏光画像を生成」とは、第１のロー偏光画像を撮像し、補間処理をして第１の偏光画像を生成する処理でもよいし、後述する第２実施形態のように、第１の偏光２０４を撮像した際に撮像素子１０５の画素に欠損がない状態で第１の偏光画像が得られる処理でもよい。第２の偏光画像についても同様である。

処理Ｓ１４０３では、開口部２０２ａの直径を変更する。

処理Ｓ１４０４では再度第１の偏光画像と第２画像を撮像し、ＰＳＦを抽出する。

処理Ｓ１４０５では処理Ｓ１４０２で抽出したＰＳＦと処理Ｓ１４０４で抽出したＰＳＦを比較し、現在のＰＳＦが適正か判定する。例えば、処理Ｓ１４０２で撮像したときの開口部２０２ａの直径が処理Ｓ１４０４で撮像したときの開口部２０２ａの直径に比べて大きいとき、処理Ｓ１４０２で抽出したＰＳＦは処理Ｓ１４０４で抽出したＰＳＦよりも大きければ適正であると判定し（Ｓ１４０５／Ｙｅｓ）、処理を終了する。

一方、処理Ｓ１４０２で抽出したＰＳＦが、処理Ｓ１４０４で抽出したＰＳＦよりも小さいか、不変という判定が出た場合、現在のＰＳＦが適正なサイズを超過していると判定し（Ｓ１４０５／Ｎｏ）、処理Ｓ１４０３へ移行し開口部２０２ａの直径を再度変更した後に処理Ｓ１４０４でＰＳＦを抽出する。

処理Ｓ１４０５では１回目の処理Ｓ１４０４で抽出したＰＳＦと２回目の処理Ｓ１４０４で抽出したＰＳＦを比較し、ＰＳＦサイズが適正か再判定を行う。

なお、図１４の処理は、図１３の処理Ｓ１３０１内で１度のみ行っても良いし、処理Ｓ１３０７から処理Ｓ１３０２へ移る際に毎回、もしくは数回おきに行っても良い。また、図１３の処理Ｓ１３０７から処理Ｓ１３０２へ移る際に図１４の処理を行う場合、処理Ｓ１４０２や処理Ｓ１４０４で抽出したＰＳＦサイズを用いて処理Ｓ１４０５の距離情報計算を行うことで、処理Ｓ１３０２〜処理Ｓ１３０４を省略しても良い。

なお、本実施形態の距離計測装置１０１を複数台併用することで、距離計測性能を向上させても良い。図２１は可変な基線長を有するステレオ法距離計測装置において、２つのカメラを本実施形態の距離計測装置１０１とした構成の例を示すものである。２つの距離計測装置１０１はカメラ保持部２１０１に固定されている。カメラ保持部２１０１は伸縮機能を持っており、必要な距離計測精度に応じて基線長を変化させる。以上の構成とすることで、例えば、距離計測装置１０１で計測した距離情報と、ステレオ法で測定した距離情報を比較することで、カメラ保持部２１０１の伸縮時、もしくは温度変化や応力・経時劣化による基線長変化のキャリブレーションをすることが可能となる。

本実施形態の距離計測装置１０１の適用先は、例えばヘッドマウントディスプレイなどのＡＲ対応型映像表示装置や、スマートフォンなどの携帯情報端末である。ヘッドマウントディスプレイなどの映像表示装置における距離計測装置１０１の使用例を図１５〜１８を用いて説明する。

図１５は本実施形態の距離計測装置１０１を映像表示装置１５０１で使用する場合の外観の例を示し、図１６は本実施形態の距離計測装置１０１を映像表示装置１５０１で使用する場合の構成の例を示す。映像表示装置１５０１は映像表示部１５０２、音声入力部１５０３、入力スイッチ１５０４、ネットワーク上のサーバやユーザが所有するパーソナルコンピュータ、携帯情報端末などと通信を行う通信部１６０４、情報を保管する情報記憶部１６０５、および制御部１６０２を含んで構成される。

距離計測装置１０１は一例として映像表示装置１５０１をユーザが装着した場合に前方を計測できるように配置する。制御部１６０２は距離計測装置１０１、音声入力部１５０３、入力スイッチ１５０４、通信部１６０４、情報記憶部１６０５からの入力を基に、映像表示部１５０２、距離計測装置１０１、通信部１６０４、情報記憶部１６０５の動作を制御する。

図１７は距離計測装置１０１を使用する映像表示装置１５０１におけるジェスチャ入力の処理フローを示したものである。映像表示装置１５０１は制御部１６０２の指示に従い、距離計測装置１０１でのジェスチャ認識処理を開始する。ジェスチャ認識処理の開始タイミングは、映像表示装置１５０１の起動の直後でも良いし、常時例えば音声入力部１５０３、入力スイッチ１５０４、通信部１６０４と接続した携帯情報端末などからの入力に合わせて行っても良い。

処理Ｓ１７０１では距離計測に関わる部分の初期化を行う。

処理Ｓ１７０２では、撮像素子１０５で撮像した画像からユーザの手を認識し、特徴点を抽出する。

処理Ｓ１７０３では処理Ｓ１７０２で抽出した特徴点を基に距離計測領域を決定する。

処理Ｓ１７０４では処理Ｓ１７０３で決定した距離計測領域の距離計測を行い、それぞれの特徴点の３次元座標を取得する。

その後、処理Ｓ１７０５でユーザの手の特徴点を再度抽出し、処理Ｓ１７０６で距離計測領域を決定する。

処理Ｓ１７０７では処理Ｓ１７０６で決定した距離計測領域の距離計測を行い、それぞれの特徴点の３次元座標を再度取得する。

処理Ｓ１７０８では、処理Ｓ１７０４と処理Ｓ１７０７で取得した各特徴点の差から、特徴点の移動量を算出し、処理Ｓ１７０９で特徴点の移動量を反映した表示画像の更新を行う。

処理Ｓ１７１０で入力の終了・継続の判定を行い、終了の場合は（Ｓ１７１０／Ｙｅｓ）入力を終了し、継続の場合は（Ｓ１７１０／Ｎｏ）処理Ｓ１７０２へと戻る。なお、ユーザの手の位置の変化が少ない場面などでは、特徴点抽出処理と距離計測領域決定処理は特徴点座標取得処理を実行するたびに行わず、数回に一度実行しても良い。また、処理Ｓ１７０４と処理Ｓ１７０７の間に意図的に待機時間を設けても良い。

図１８は処理Ｓ１７０２、処理Ｓ１７０３実行時で距離計測装置１０１が撮像・処理する画像の例を示したものである。撮像画面１８０１にユーザの手１８０２が映ったことを認識すると（図１８Ａ）、図１８Ｂに示すように、処理Ｓ１７０２で特徴点１８０３を抽出する。ユーザの手１８０２の認識は、例えば色や形状を基に行う。また、映像表示装置１５０１にユーザ登録機能を用意することで、ユーザの手１８０２の色、サイズや、撮像画面上でジェスチャ入力に使用する頻度の高い領域を登録し、これらの登録情報を基に認識を行うことでユーザの手１８０２の認識精度を高めても良い。また、特徴点１８０３としては例えばユーザの手１８０２の関節などを用いる。

次に処理Ｓ１７０３では特徴点１８０３の奥行き情報が取得できるように距離計測領域１８０４を決定する（図１８Ｃ）。以上の処理を行うと、撮像素子１０５の全画素で距離計測処理を行う必要がないため、計算処理の負荷を軽減することが可能となる。

また、映像表示部１５０２には、例えば図１８Ｂ、図１８Ｃのように、特徴点や距離計測領域を重畳した映像をユーザに対して表示しても良いし、各特徴点までの距離情報を重畳表示しても良い。距離の表示方法としては、例えば数値をそのまま重畳しても良いし、等値線や、距離に応じて段階的に彩色した等値線として表示しても良い。

上記の例ではヘッドマウントディスプレイを映像表示装置として用い、ヘッドマウントディスプレイに対する入力操作をユーザの手のジェスチャーで行い、本実施形態に係る距離計測装置により手の特徴点の移動量を算出しそれを示す操作信号を制御部に出力し、特徴点の移動量を反映した表示画像の更新を行った。しかし、ヘッドマウントディスプレイが映像表示装置とは異なる機能、例えばヘッドマウントディスプレイが外部機器と通信する機能を有する場合に通信先を切替える操作や、音声出力機能を有する場合にボリューム調整を行う入力操作をジェスチャーで行い、入力された操作を制御部が実行するように構成されてもよい。

本実施形態の距離計測装置１０１の他の適用先としては、例えば、自動車、ドローンなどの無人航空機、ロボット、外科手術支援システム、精密形状計測装置等がある。例えば自動車、ドローン、災害調査ロボット、産業用ロボットなどの移動式機械装置に距離計測装置１０１を搭載し、周囲監視による衝突回避に利用しても良いし、位置情報と距離計測情報をネットワーク上のサーバにアップロードし、遠隔地の操縦者へ提示しても良く、ネットワーク上のサーバにアップロードした位置情報と距離計測情報を他の移動式機械装置と共有し、自動運転・自律航行における移動式機械装置の協調的な位置制御に利用しても良い。

図１９は自動車１９０１の周辺監視システムに距離計測装置１０１を使用する場合の構成の例において、距離計測装置１０１と連動する部分を抽出した図である。距離計測装置１０１は自動車制御部１９０２を介して速度計測部１９０４、電子料金支払い端末１９０５、ＧＰＳ受信機１９０６などから現在の走行状態を取得し、距離計測レンジを決定する。

図２０は自動車の走行状態を基に距離計測レンジを決定する処理フローの例を示す。自動車のエンジンが始動した後に処理Ｓ２００１で自動車の走行モードを判定する。自動車の走行モードは例えば速度計測部１９０４で判定しても良いし、ＧＰＳ受信機１９０６で走行速度および、現在走行中の道路が高速道路か一般道路か判定しても良い。また、電子料金支払い端末１９０５の通信記録をもとに、現在走行中の道路が有料高速道路か一般道路か判定しても良い。

処理Ｓ２００１で現在の走行モードを判定した後に、判定結果を基に処理Ｓ２００２で距離計測モードを決定する。距離計測モードは、例えば高速走行時は遠方の距離計測を高精度に行うためにＰＳＦが大きくなるように開口部２０２ａの直径を設定し、低速走行時では近距離での距離計測を高精度に行うためにＰＳＦが小さくなるように開口部２０２ａの直径を設定する。また、一般道路を走行中は、歩行者や軽車両の前方への急な割り込みにも対応する必要があるため、図１４で説明した開口部２０２ａの直径制御によるＰＳＦサイズ適正化処理も行う。

また、処理Ｓ２００２は、処理Ｓ２００１の判定結果に基づいて撮像素子１０５中の画素のうち、距離計測に使用する画素領域を変更し、例えば、一般道路走行中は全画素で距離計測を行い、高速道路走行中は撮像素子の一部の画素のみで距離計測を行っても良い。他にも、交差点、カーブ、直線など、道路の形状に合わせて距離計測に使用する画素領域を変更しても良い。

処理Ｓ２００２で距離計測モードを決定した後に、処理Ｓ２００３で図１３や図１４で説明した距離計測処理を行い、車両周囲の物体との距離情報を、衝突回避制御や自動運転制御に利用する。

処理Ｓ２００４では自動車走行モードを再度判定し、処理Ｓ２００５で自動車走行モードが変化したか判定する。自動車走行モードが変化していない場合は（Ｓ２００５／Ｎｏ）、処理Ｓ２００３へ戻り、距離計測を続行する。走行モードが変化した場合は（Ｓ２００５／Ｙｅｓ）、処理Ｓ２００６でエンジンが停止しているか判定し、エンジンが停止している場合は（Ｓ２００６／Ｙｅｓ）、処理を終了し、エンジンが停止していない場合は（Ｓ２００６／Ｎｏ）、処理Ｓ２００２へ戻り、走行状態に合った距離計測モードを選択しなおす。

また、本実施形態の距離計測装置１０１で得た、自動車周囲の距離情報は、自動車にフロントガラスに映像を表示するヘッドアップディスプレイやカーナビゲーションシステムの映像表示画面などの映像表示装置に表示しても良い。例えば、ヘッドアップディスプレイに表示する場合は、前方の車両や歩行者にマーカや距離情報を重畳して表示しても良いし、衝突の危険度が高い対象物に重畳するマーカを、他のマーカとは異なる色で表示させたりしても良い。また、自車両との距離変化から対象物の移動速度を推定し、映像表示部に表示させても良い。

更に、各車両が計測した距離情報をカーナビゲーションシステム等のセンターへ送信し、統合することで道路上の車両・歩行者の高精度な位置情報を生成し、生成情報を各車両へ送信し、カーナビゲーションシステムの映像表示部やヘッドアップディスプレイに表示させても良い。

＜第２実施形態＞
本実施形態が第１実施形態と異なるのは、偏光分離部が偏光子と偏光制御素子で構成されている点である。本構成とすることで、撮像素子１０５の全画素を利用して、第１の偏光２０４の画像と第２の偏光２０５の画像をそれぞれ撮像することが可能になり、第１実施形態の構成に比べて補間処理が不要であり、高解像度化することができる。

本実施形態における、第１の偏光画像と第２の画像の撮像方法を図７を用いて説明する。図７は本実施形態における撮像光学系１０２と撮像素子１０５の構成の一例を示したものである。撮像光学系１０２に入射した入射光２０１は、偏光分離部１０４へ入射し、偏光制御素子７０２、偏光子７０１を透過し、偏光分離部１０４を透過する。偏光分離部１０４を透過した後に点広がり関数付加部１０３を透過し、撮像素子１０５で撮像される。

偏光子７０１はランダムに偏光した入射光２０１のうち、特定の偏光成分を取り出す素子である。偏光制御素子７０２は、例えば液晶素子などで構成されており、電圧制御によって、偏光制御素子７０２を透過させる光の偏光を任意の方向に回転することができる。このため、偏光子７０１を透過させた光を偏光制御素子７０２に透過させ、電圧制御を行うことで、点広がり関数付加部１０３へ入射する偏光を偏光方向が異なる第１の偏光２０４と第２の偏光２０５に切り替えることが可能となる。

図７Ａは偏光制御素子７０２を透過させた光の偏光が第１の偏光２０４となるように偏光制御素子７０２を制御した場合の撮像光学系１０２と撮像素子１０５の構成を示す。レンズ２０３は第１の偏光２０４に対して焦点距離ｆ_１のレンズとして機能するため、撮像素子１０５で撮像する像は焦点距離ｆ_１のレンズで撮像した画像となる。

図７Ｂは偏光制御素子７０２を透過させた光の偏光が第２の偏光２０５となるように偏光制御素子７０２を制御した場合の撮像光学系１０２と撮像素子１０５の構成を示す。レンズ２０３は第２の偏光２０５に対して焦点距離ｆ_２（＞ｆ_１）のレンズとして機能するため、撮像素子１０５で撮像する像は焦点距離ｆ_２のレンズで撮像した画像となる。

以上の構成とすることで、ボケ量の異なる２つの画像（第１の偏光画像及び第２の偏光画像に相当する）を撮像でき、ＤＦＤ法による対象物体の距離計測を行うことができる。また、第１の偏光画像と第２の偏光画像を２回に分けて撮像するため、各画像撮像時に使用できる撮像素子の画素数が第１実施形態に比べて２倍に増加するため、高解像度化が可能である。

なお本実施形態における撮像光学系と撮像素子の構成は、以上の構成に限らず、例えば図８に示した、撮像光学系１０２と撮像素子１０５の構成でも良い。図８の構成では、偏光分離部１０４は点広がり関数付加部１０３の後方に配置されており、偏光分離部１０４に入射した光はまず偏光制御素子７０２へ入射したのちに、偏光子７０１へ入射し、撮像素子１０５で撮像される。偏光子７０１が焦点距離ｆ_１で集光される偏光のみを透過させるように、偏光制御素子７０２を制御することで、撮像素子１０５は焦点距離ｆ_１のレンズで撮像した画像が撮像でき、偏光子７０１が焦点距離ｆ_２で集光される偏光のみを透過させるように、偏光制御素子７０２を制御することで、撮像素子１０５は焦点距離ｆ_２のレンズで撮像した画像が撮像できる。

また、偏光分離部１０４は偏光子と偏光制御素子の組合わせに限らず、例えば透過させる偏光の向きが制御可能な回転式偏光子などであっても良い。

＜第３実施形態＞
本実施形態が第１実施形態、２と異なるのは、レンズ２０３が旋光性を有する物質で構成されている点である。本構成とすることで、距離計測装置の製造時のレンズ取付精度を緩和すること、および使用中のレンズ保持部の緩みによるレンズの回転に対して耐性を向上することができる。更に、レンズの回転を伴うズーム機能にも対応することができる。

図９は本実施形態におけるレンズ２０３の構成の例を示す図である。なお、入射光２０１の進行方向は紙面垂直方向とする。レンズ２０３を構成する物質は旋光性の物質であり、右円偏光と左円偏光の間で異なる屈折率を示す。例えば右円偏光９０１に対する屈折率をｎ_１、左円偏光９０２に対する屈折率をｎ_２とし、レンズ２０３の曲率半径をＲとすると、右円偏光に対する焦点距離は式１のｆ_１となり、左円偏光に対する焦点距離は式２のｆ_２となる。

このため、右円偏光９０１による画像（第１の偏光画像）と左円偏光９０２による画像（第２の偏光画像）を偏光分離部１０４で分離した後に撮像素子１０５で撮像することで、第１実施形態、２と同様にボケ量の異なる２つの画像を撮像することができる。偏光分離部１０４は、例えば右円偏光のみ透過させる偏光子と左円偏光のみ透過させる偏光子を並べた偏光子アレイであっても良いし、第１実施形態に記載の偏光子アレイの手前に１／４波長板を配置した構成でも良いし、第２実施形態に記載の液晶素子と偏光子を組合わせて配置したものでも良い。

以上の構成とすることで、第１実施形態と２同様に２つのボケ量の異なる画像から対象物体との距離を計測することができる。更に、本実施形態のレンズ２０３は、左右円偏光に対する複屈折性を利用しているため、レンズ２０３が入射光２０１の進行方向を軸として回転した場合でも焦点距離ｆ_１の画像と焦点距離ｆ_２の画像が混ざって撮像されないため、距離計測精度が低下せず、距離計測装置の製造時のレンズ取付精度を緩和すること、および使用中のレンズ保持部の緩みによるレンズの回転に対して耐性を向上することができる。更に、レンズの回転を伴うズーム機能にも対応することができる。

＜第４実施形態＞
本実施形態が第１、２実施形態と異なるのは、点広がり関数付加部１０３に複屈折レンズを用いる代わりに、偏光依存フレネルゾーンプレート１００１、１００２を使用している点である。本構成とすることで、薄型軽量なフレネルゾーンプレートを用いて２つの直交する偏光に異なるボケ量を付加することが可能になるため、装置の軽量化が可能である。また、第１〜３実施形態では、２つの直交する偏光に付加できるボケ量の差は、使用する複屈折性物質の屈折率差によって制限されていたが、フレネルゾーンプレートを使用する構成とすることで、２つの直交する偏光の焦点距離の組合わせを任意に選択することができ、付加するボケ量の差を大きくすることできるため、距離計測の精度を向上することが可能となる。

図１０は本実施形態における撮像光学系１０２と撮像素子１０５の構成の例を示したものである。点広がり関数付加部１０３は開口絞り２０２、偏光依存フレネルゾーンプレート１００１、及び偏光依存フレネルゾーンプレート１００２を含んで構成される。

フレネルゾーンプレートは透明な輪帯と不透明な輪帯を同心円状に交互に並べたパターンであり、光を集光する働きをする。波長λの光を焦点距離ｆで集光するフレネルゾーンプレートのｎ番目の輪帯の半径ｒ_ｎは、式５で表される。このため、輪帯の間隔の設計次第で、任意の焦点距離のフレネルゾーンプレートを作成することができる。
（式５）ｒ_ｎ＝（ｎλｆ）＾１／２・・・（５）

図１１は本実施形態における偏光依存フレネルゾーンプレートの構成の例を示す。図１１Ａの偏光依存フレネルゾーンプレート１００１は、第１の偏光２０４を遮光し、第２の偏光２０５を透過させる不透明輪帯１１０１と、第１の偏光２０４と第２の偏光２０５の両方を透過させる透明輪帯１１０２を同心円状に並べたものである。偏光依存フレネルゾーンプレート１００１は第２の偏光２０５に対しては透明なため、第１の偏光２０４のみを集光する。

一方、図１１Ｂの偏光依存フレネルゾーンプレート１００２は、第１の偏光２０４を透過させ、第２の偏光２０５を遮光する不透明輪帯１１０３と、第１の偏光２０４と第２の偏光２０５の両方を透過させる透明輪帯１１０２を同心円状に並べたものである。偏光依存フレネルゾーンプレート１００２は第１の偏光２０４に対しては透明なため、第２の偏光２０５のみを集光する。偏光依存フレネルゾーンプレート１００１、１００２を構成する不透明輪帯１１０１、１１０３は、例えば偏光子やフォトニック結晶などを利用する。

偏光依存フレネルゾーンプレート１００１の輪帯のｎ番目の半径を、偏光依存フレネルゾーンプレート１００１の焦点距離がｆ_１となるようにし、偏光依存フレネルゾーンプレート１００２の輪帯のｎ番目の半径を、偏光依存フレネルゾーンプレート１００２の焦点距離ｆ_２となるようにし、偏光依存フレネルゾーンプレート１００１と偏光依存フレネルゾーンプレート１００２を張り合わせて点広がり関数付加部１０３に配置すると、図１０に示すように第１の偏光２０４は焦点距離ｆ_１で結像され、第２の偏光２０５は焦点距離ｆ_２で結像されるため、第１の偏光２０４と第２の偏光２０５を偏光分離部１０４で分離した後に撮像素子１０５で撮像することで、ボケ量の異なる２つの画像が撮像できるため、ＤＦＤ法を用いた対象物体との距離計測を行うことが可能となる。

以上の構成とすることで、複屈折性のレンズの代わりに薄型軽量なフレネルゾーンプレートを用いて２つの直交する偏光に異なるボケ量を付加することが可能になるため、装置の軽量化が可能である。また、第１実施形態〜３では、２つの直交する偏光に付加できるボケ量の差は、使用する複屈折性物質の屈折率差によって制限されていたが、フレネルゾーンプレートを使用する構成とすることで、２つの直交する偏光の焦点距離の組合わせを任意に選択することができ、付加するボケ量の差を大きくすることできるため、距離計測の精度を向上することが可能となる。

また、偏光依存フレネルゾーンプレート１００１、１００２は、不透明輪帯の代わりに、第１の偏光２０４と第２の偏光２０５のどちらか一方のみに、透明輪帯を透過させた光線との位相差を付加する複屈折性の輪帯を配置した、位相型偏光依存ゾーンプレートを用いても良い。このような構成とすることで、偏光依存フレネルゾーンプレートの不透明輪帯で生じていた光強度の損失を抑制することが可能となる。

なお、本実施形態では、偏光分離部１０４での第１の偏光２０４と第２の偏光２０５の偏光分離方法は第１実施形態に記載の方法を用いても良いし、第２実施形態に記載の方法を用いても良い。また、第２実施形態に記載の方法を用いる場合は偏光分離部１０４を点広がり関数付加部１０３の手前に配置しても良い。また、偏光依存フレネルゾーンプレートを２つ利用する代わりに、一方を通常の撮像レンズとしてもよい。

＜第５実施形態＞
本実施形態が第１〜４実施形態と異なるのは、偏光依存開口を用いて、２つの直交する偏光それぞれを異なるサイズの開口で絞ることで、２つの直交する偏光に異なるボケ量を付加する点である。本構成とすることで、点広がり関数付加部１０３の薄型化・軽量化・低コスト化につながる。また、開口部２０２ａ、偏光依存開口部１２０１ａの直径を変更するだけで、第１の偏光２０４と第２の偏光２０５の画像のボケ量の差を任意に偏光することが可能となり、使用目的に応じて測距精度を制御することが可能となる。

図１２は本実施形態における撮像光学系１０２と撮像素子１０５の構成の例を示したものである。点広がり関数付加部１０３は、開口絞り２０２、偏光依存開口絞り１２０１、およびレンズ２０３を含んで構成されている。偏光依存開口絞り１２０１は、例えば、中心から直径Ｄ_０’の範囲内は第１の偏光２０４と第２の偏光２０５の両方を透過させるが、それよりも外側の入射光については、第１の偏光２０４を遮光し、第２の偏光２０５を透過させる円形の偏光依存開口部１２０１ａを形成する。なお、偏光依存開口部１２０１ａの開口直径Ｄ_０’は開口部２０２ａの開口直径Ｄ_０よりも小さいものとする。

また、レンズ２０３は複屈折性の物質を用いる必要は無く、第１の偏光２０４と第２の偏光２０５の両方に対して焦点距離ｆのレンズとして機能するものとする。

撮像光学系１０２に入射した入射光２０１のうち、第１の偏光２０４の光線は、開口部２０２ａで開口直径Ｄ_０に絞られた後、偏光依存開口部１２０１ａで開口直径Ｄ_０’に絞られる。その後、第１の偏光２０４はレンズ２０３で集光され、偏光分離部１０４を透過した後に撮像素子１０５で撮像される。第１の偏光２０４の点広がり関数の直径Ｄ_１はＤ_０’、レンズ２０３と対象物体との距離ｕ、レンズ２０３と撮像素子１０５の間の距離ｓ、およびｆを用いると式６で表すことができる。

一方、撮像光学系１０２に入射した入射光２０１のうち、第２の偏光２０５の光線は、開口部２０２ａで開口直径Ｄ_０に絞られた後、偏光依存開口部１２０１ａを透過するが開口直径は変化しない。その後第２の偏光２０５はレンズ２０３で集光され、偏光分離部１０４を透過した後に撮像素子１０５で撮像される。第２の偏光２０５の点広がり関数の直径Ｄ_２はＤ_０、レンズ２０３と対象物体との距離ｕ、レンズ２０３と撮像素子１０５の間の距離ｓ、およびレンズ２０３の焦点距離ｆを用いると式７で表すことができる。
（式６）Ｄ_１＝ｓＤ_０’（１／ｆ−１／ｕ−１／ｓ）・・・（６）
（式７）Ｄ_２＝ｓＤ_０（１／ｆ−１／ｕ−１／ｓ）・・・（７）

以上の構成とすることで、第１の偏光２０４と第２の偏光２０５を偏光分離部１０４で分離した後に撮像素子１０５で撮像することで、ボケ量の異なる２つの画像が撮像できるため、ＤＦＤ法を用いた対象物体との距離計測を行うことが可能となる。本実施形態では、第１実施形態〜３で使用する複屈折性のレンズの代わりに偏光子による円形開口を用いた偏光依存開口絞り１２０１を使用するため、点広がり関数付加部１０３を薄型・軽量化することができる。また、本実施形態の偏光依存開口絞り１２０１は、第４実施形態の偏光依存フレネルゾーンプレートよりも簡便な構造であり、製造コストを低減することが可能である。また、開口絞り２０２を既述の絞り駆動部２０６を用いて可動羽根を開閉する、所謂機械式開口絞りを用い、開口部２０２ａを可変開口として形成することで、開口直径Ｄ_０のサイズを変更するだけで、第１の偏光２０４と第２の偏光２０５の画像のボケ量の差を任意に偏光することが可能となり、使用目的に応じて測距精度を制御することが可能となる。

上記各実施形態は本発明を限定するものではなく、本発明の趣旨を逸脱しない様々な変更態様は本発明に含まれるものである。例えば、撮像する光の波長は可視光に限らず、赤外線よりも長い波長の電磁波であっても良いし、紫外線よりも短い波長の電磁波でも良い。また点広がり関数付与部と偏光分離部との組み合わせも上記に限定されない。また、上述のフローチャートに記載した処理順序は一例であり、処理の順序を入れ替えても同様の作用効果が得られる処理についてその前後を入れ替えた実施態様も、本発明に含まれる。更に図１５から図２１を参照して説明した本発明の適用例は、第１実施形態だけではなく第２〜第５実施形態に係る距離計測装置にも適用できる。

１０１・・・距離計測装置、１０２・・・撮像光学系、１０３・・・点広がり関数付加部、１０４・・・偏光分離部、１０５・・・撮像素子、１０６・・・画像処理部、１０７・・・距離計測部、１０８・・・表示画像生成部、２０１・・・入射光、２０２・・・開口、２０３・・・レンズ、７０１・・・偏光子、７０２・・偏光制御素子、１００１・・・偏光依存フレネルゾーンプレート、１００２・・・偏光依存フレネルゾーンプレート、１２０１・・・偏光依存開口、１５０１・・・映像表示装置、１５０２・・・映像表示部、１５０３・・・音声入力部、１５０４・・・入力スイッチ、２１０１・・・カメラ保持部

Claims (17)

1. 複数の画像を基に当該画像に撮像された撮像対象までの距離を計測する距離計測装置であって、
   撮像光学系と、
   前記撮像光学系からの入射光を撮像する一つの撮像素子と、
   前記撮像素子が撮像した複数の画像を基に、前記撮像素子から前記撮像対象までの距離を計測する距離計測部と、を備え、
   前記撮像光学系は第１の偏光方向を有する第１の偏光と、前記第１の偏光方向と略直交する第２の偏光方向を有する第２の偏光とを分離させて前記撮像素子に入射させる偏光分離部を含み、
   前記撮像素子は、前記第１の偏光を受光して第１の偏光画像を撮像すると共に、前記第２の偏光を受光して第２の偏光画像を撮像し、
   前記距離計測部は、前記第１の偏光画像及び前記第２の偏光画像を基に前記撮像対象との距離を計測する、
   ことを特徴とする距離計測装置。
2. 請求項１に記載の距離計測装置であって、
   前記偏光分離部は、少なくとも１つ以上の第１の偏光子と、少なくとも１つ以上の第２の偏光子を配置した偏光子アレイを有し、
   前記第１の偏光子は、前記第１の偏光を透過させ前記第２の偏光を遮光する偏光子であり、
   前記第２の偏光子は、前記第２の偏光を透過させ前記第１の偏光を遮光する偏光子であり、
   前記撮像素子は、一回の撮像において一部の画素は前記第１の偏光子を透過させた前記第１の偏光を受光し、残りの画素は前記第２の偏光子を透過させた前記第２の偏光を受光する、
   ことを特徴とする距離計測装置。
3. 請求項１に記載の距離計測装置であって、
   前記偏光分離部は、前記入射光に含まれる前記第１の偏光及び前記第２の偏光を取り出す偏光子と、
   前記撮像素子に向けて前記第１の偏光又は前記第２の偏光のどちらを前記撮像素子に向けて透過させるかを切り替える偏光制御素子と、を含み、
   前記撮像素子は、前記偏光制御素子が前記第１の偏光を透過させると前記第１の偏光画像を撮像し、前記偏光制御素子が前記第２の偏光を透過させると前記第２の偏光画像を撮像する、
   ことを特徴とする距離計測装置。
4. 請求項１に記載の距離計測装置であって、
   前記撮像光学系は、前記偏光分離部と、
   前記第１の偏光に対して第１の点広がり関数を付加し、前記第２の偏光に対して前記第１の点広がり関数とは異なる第２の点広がり関数を付加する点広がり関数付加部を更に備える、
   ことを特徴とする距離計測装置。
5. 請求項４に記載の距離計測装置であって、
   前記距離計測部は、前記第１の点広がり関数と前記第２の点広がり関数の差から前記撮像対象までの距離を計測する
   ことを特徴とする距離計測装置。
6. 請求項４に記載の距離計測装置であって、
   前記点広がり関数付加部は、前記第１の偏光と前記第２の偏光に対してそれぞれ異なる屈折率を有する複屈折性の物質で構成されたレンズを含み、
   前記レンズは、前記第１の偏光と前記第２の偏光に対して異なった焦点距離のレンズとして機能する、
   ことを特徴とする距離計測装置。
7. 請求項６に記載の距離計測装置であって、
   前記レンズは左右円偏光の間で複屈折性を示す、旋光性の物質で構成されており、
   前記第１の偏光は前記レンズの左右円偏光のうちの一方であり、前記第２の偏光は前記レンズの左右円偏光のうちの他方である、
   ことを特徴とする距離計測装置。
8. 請求項４に記載の距離計測装置であって、
   前記点広がり関数付加部は、
   前記第１の偏光を遮光し、前記第２の偏光を透過させる偏光子と、前記第１の偏光と第２の偏光を透過させる透過領域を同心円状に並べた第１のフレネルゾーンプレートと、
   前記第１の偏光を透過させ、前記第２の偏光を遮光する偏光子と、前記第１の偏光と前記第２の偏光を透過させる透過領域を同心円状に並べた第２のフレネルゾーンプレートと、
   を含み、
   前記第１のフレネルゾーンプレートの焦点距離と第２のフレネルゾーンプレートの焦点距離が異なる、
   ことを特徴とする距離計測装置。
9. 請求項４に記載の距離計測装置であって、
   前記点広がり関数付加部は、開口部を形成し、非開口部は偏光方向に応じて遮光又は透過させる偏光依存開口絞りを含み、前記第１の偏光又は前記第２の偏光の一方は前記開口部及び前記非開口部を透過させ、他方は前記開口部のみを透過させ前記非開口部において遮光する、
   ことを特徴とする距離計測装置。
10. 請求項１乃至９のいずれか一つの距離計測装置と、
    前記距離計測装置から操作信号を取得し、操作制御を行う制御部と、を備え、
    前記距離計測装置は、第１の撮像において前記撮像対象であるユーザの手の指を撮像して得られた前記第１の偏光画像及び前記第２の偏光画像から前記指の特徴点を抽出して２次元座標を取得し、前記第１の撮像の後に行われる第２の撮像において得られた前記第１の偏光画像及び前記第２の偏光画像から前記指の特徴点を抽出して３次元座標を取得し、前記第１の撮像で得られた特徴点の３次元座標と前記第２の撮像で得られた特徴点の３次元座標と差から、前記特徴点の移動量を算出して前記制御部に移動量を含む前記操作信号を出力し、
    前記制御部は、前記操作信号に基づいた操作制御を実行する、
    ことを特徴とするヘッドマウントディスプレイ装置。
11. 請求項１乃至９のいずれか一つの距離計測装置と、
    前記距離計測装置から操作信号を取得し、操作制御を行う制御部と、を備え、
    前記距離計測装置は、第１の撮像において前記撮像対象であるユーザの手の指を撮像して得られた前記第１の偏光画像及び前記第２の偏光画像から前記指の特徴点を抽出して２次元座標を取得し、前記第１の撮像の後に行われる第２の撮像において得られた前記第１の偏光画像及び前記第２の偏光画像から前記指の特徴点を抽出して３次元座標を取得し、前記第１の撮像で得られた特徴点の３次元座標と前記第２の撮像で得られた特徴点の３次元座標と差から、前記特徴点の移動量を算出して前記制御部に移動量を含む前記操作信号を出力し、
    前記制御部は、前記操作信号に基づいた操作制御を実行する、
    ことを特徴とする携帯情報端末。
12. 請求項１乃至９のいずれか一つの距離計測装置と、
    映像を表示する映像表示部と、を備え、
    前記距離計測装置は、第１の撮像において前記撮像対象であるユーザの手の指を撮像して得られた前記第１の偏光画像及び前記第２の偏光画像から前記指の特徴点を抽出して２次元座標を取得し、前記第１の撮像の後に行われる第２の撮像において得られた前記第１の偏光画像及び前記第２の偏光画像から前記指の特徴点を抽出して３次元座標を取得し、前記第１の撮像で得られた特徴点の３次元座標と前記第２の撮像で得られた特徴点の３次元座標と差から、前記特徴点の移動量を算出し、
    前記映像表示部は、前記特徴点の移動量を反映した表示画像の更新を行う、
    ことを特徴とする映像表示装置。
13. 請求項１乃至９のいずれか一つの距離計測装置と、
    自動車の速度情報の入力を受け付けて、前記自動車の走行モードを判定する制御部と、
    を備え、
    前記距離計測装置に含まれる前記撮像素子は、前記自動車の周辺にある物体を前記撮像対象とする前記第１の偏光画像及び前記第２の偏光画像を撮像し、前記距離計測部は、前記走行モードに応じて計測する距離範囲を変更し、前記第１の偏光画像及び前記第２の偏光画像を基に前記物体までの距離を計測する、
    ことを特徴とする自動車の周辺監視システム。
14. 入射光に含まれる第１の偏光を撮像した第１の偏光画像の点広がり関数と、前記入射光に含まれる第２の偏光を撮像した第２の偏光画像の点広がり関数との差から、撮像対象までの距離を計測する距離計測方法において、
    前記第１の偏光画像と前記第２の偏光画像を一つの撮像素子を用いて撮像する画像撮像ステップと、
    前記第１の偏光画像及び前記第２の偏光画像のそれぞれから点広がり関数を抽出する点広がり関数抽出ステップと、
    前記点広がり関数の差から距離情報を計算する距離情報計算ステップと、
    を含むことを特徴とする距離計測方法。
15. 請求項１４に記載の距離計測方法において、
    前記撮像対象の特徴点を抽出する特徴点抽出ステップと、
    前記距離情報計算ステップにおいて距離情報の計算に使用する画像内の画素領域を、前記特徴点に基づいて決定する距離計測領域決定ステップ、
    を有することを特徴とする距離計測方法。
16. 請求項１４に記載の距離計測方法において、
    前記距離計測方法を実行する距離計測装置に含まれる撮像光学系の開口直径を、距離計測に適正な点広がり関数のサイズにするように変更する開口直径変更ステップを更に含む、
    ことを特徴とする距離計測方法。
17. 請求項１４に記載の距離計測方法において、
    前記距離計測方法を実行する距離計測装置を搭載した移動式機械装置の走行状況を判定する走行モード判定ステップと、
    前記走行モード判定ステップでの判定結果に基づいて、前記点広がり関数の差から距離情報を計算する際の距離範囲を決定する距離範囲決定ステップと、
    を更に含む、
    ことを特徴とする距離計測方法。

Images