JPWO2017183114A1 - 距離画像生成装置および距離画像生成方法 - Google Patents

Abstract

より精度の高い距離画像を生成することができる。
異なる発光強度で被写体（ＯＢ）に向けて発光する発光部（１３）と、前記被写体（ＯＢ）からの反射光を含む光を受光することで撮像し、画素ごとの露光量を算出する受光部（１４）と、所定の場合に、第１の発光強度における露光量と、第２の発光強度における露光量とを置換して前記被写体（ＯＢ）までの距離を算出し、距離画像を生成する距離算出部と、を備える。

Description

本発明は、距離画像生成装置および距離画像生成方法に関する。

特許文献１には、「対象空間に存在する対象物までの距離画像をＴＯＦ方式で推定する際、距離画像の高解像度化や高フレームレート化を実現しようとすると、ショットノイズや環境光等の影響でＣＣＤ飽和を発生し、距離精度の低下を招く恐れがある。光源からの発光がない時点での対象物からの反射光Ｓ２を受光しその反射光Ｓ２の周波数分析をもとに環境光の影響を受けにくい発光周波数を持つ照明光Ｓ１を発光周波数選択部（７）が行う。この最適発光周波数を持つ照射光を用意された光源からの照明光Ｓ１の反射光を受光して対象物までの距離を画像生成部（６）が生成することで、受光時の環境光の影響を抑えることが可能となり、受光素子部（２）を高解像度化した際の距離精度に与えるノイズの影響を低減することが可能となる。」と記載されている。

国際公開第２０１０／０２１０９０号

近年、デジタルサイネージ、ゲーム、自律走行ロボット、自動車、セキュリティなど様々な分野において、被写体や被写体周辺の状況を正確に把握したいというニーズが高まっている。それに伴い、カメラで取得した映像に加えて被写体との距離を２次元的に表現した、いわゆる距離画像を用いて物体認識を高精度化するというアプローチが増えている。距離画像を用いた３次元認識の技術（方式）は複数あるが、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ（ＴＯＦ）方式は、カメラと投光器を組み合わせて制御し、投光器によって投光された光が対象物に反射して戻ってくるまでの時間を画素毎にリアルタイムで測定する。この方法によれば、例えばステレオ画像処理方式といった他の３次元認識技術と比較して、環境光の変化や温度変化などの影響を受けにくい点や、高精度かつリアルタイムでの距離測定が可能であるという点でメリットがある。

一方で、ＴＯＦ方式では、一般的に近赤外光を用いるため、極端に近赤外光が強い環境（例えば、日照時の屋外）や金属等の表面に光沢のある物体に対しては、イメージセンサで露光して得られる信号が飽和してしまい、正確な距離情報を取得できないという問題がある。特許文献１の技術では、環境光の影響を受けにくい発光周波数を推定し、照明の周波数を変更することによってイメージセンサの飽和を抑制することが記載されている。しかしながら、同文献の技術では、被写体表面が鏡面状になっているなど光反射率が高い被写体の場合、イメージセンサの飽和を抑制することができず、距離精度を改善できないという問題が生じ得る。

そこで、本発明は、より精度の高い距離画像の生成を可能とする距離画像生成装置の提供を目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記課題を解決するため、本発明に係る距離画像生成装置は、異なる発光強度で被写体に向けて発光する発光部と、前記被写体からの反射光を含む光を受光することで撮像し、画素ごとの露光量を算出する受光部と、所定の場合に、第１の発光強度における露光量と、第２の発光強度における露光量とを置換して前記被写体までの距離を算出し、距離画像を生成する距離算出部と、を備える。

本発明に係る距離画像生成装置によれば、より精度の高い距離画像を生成することができる。なお、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の第一実施形態に係る距離画像生成装置の概略構成の一例を示した図である。 本発明の第一および第二実施形態に係る信号処理部の詳細な構成の一例を示した図である。 本発明の第一実施形態に係る距離画像生成装置のハードウェア構成の一例を示した図である。 本発明の第一および第二実施形態に係る発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２のタイミングチャートの一例を示した図である。 本発明の第一実施形態に係る距離画像生成装置で実行される距離画像生成処理の流れの一例を示したフロー図である。 本発明の第一実施形態に係る発光強度制御信号Ｓ０ならびに発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２のタイミングチャートの一例を示した図である。 本発明の第一実施形態に係る距離画像生成装置と、被写体ＯＢ０と、被写体ＯＢ１とを含む撮像構成の一例を示した図である。 本発明の第一実施形態に係る強発光期間Ｐ０で撮像された被写体ＯＢ０、ＯＢ１の露光量Ｑ００を２次元的に配列した画像の一例を示した図である。 本発明の第一実施形態に係る弱発光期間Ｐ１で撮像された被写体ＯＢ０、ＯＢ１の露光量Ｑ１０を２次元的に配列した画像の一例を示した図である。 本発明の第二実施形態に係る距離画像生成装置の概略構成の一例を示した図である。 本発明の第二実施形態に係る発光タイミング制御信号Ｓ１ならびに露光タイミング制御信号Ｓ２および受光量制御信号Ｓ３のタイミングチャートの一例を示した図である。

以下、本発明の第一実施形態に係る距離画像生成装置について説明する。

＜第一実施形態＞
図１は、本実施形態に係る距離画像生成装置１００の概略構成の一例を示した図である。距離画像生成装置１００は、ＴＯＦ方式を採用し、被写体ＯＢまでの距離を画素ごとに２次元的に配列した距離画像を生成する装置である。具体的には、距離画像生成装置１００は、入力受付部１１と、制御部１２と、発光部１３と、受光部１４と、信号処理部１５とを有している。

入力受付部１１は、距離画像生成装置１００の使用者から指示入力を受け付ける機能部である。具体的には、入力受付部１１は、距離画像生成装置１００から被写体ＯＢまでの測定距離範囲（例えば、１〜３ｍ（近距離測定範囲）、３〜７ｍ（中距離測定範囲）、７〜１０ｍ（遠距離測定範囲）など）に関する所定の撮像モード（例えば、近距離モード、中距離モード、遠距離モードなど）の設定を使用者から受け付ける。また、入力受付部１１は、受け付けた設定情報を所定の機能部（例えば、制御部１２など）に出力する。

制御部１２は、距離画像生成装置１００で実行される様々な処理を制御する機能部である。具体的には、制御部１２は、測定距離範囲に応じた発光強度制御信号Ｓ０と、発光タイミング制御信号Ｓ１と、露光タイミング制御信号Ｓ２とを生成する。なお、発光強度制御信号Ｓ０は、発光部１３における発光の強さの度合い（発光強度）を制御する信号である。また、発光タイミング制御信号Ｓ１は、発光部１３による発光のタイミングおよび発光時間の長さを制御する信号である。また、露光タイミング制御信号Ｓ２は、受光部１４による露光のタイミングおよび露光時間の長さを制御する信号である。

制御部１２は、所定のタイミング（例えば、被写体ＯＢの撮像による距離画像の生成指示を使用者から受け付けた時）で、発光強度制御信号Ｓ０および発光タイミング制御信号Ｓ１を発光部１３に出力し、露光タイミング制御信号Ｓ２を受光部１４に出力する。また、制御部１２は、これらの制御信号に示されるタイミングに関する情報（以下、信号関連情報という）を生成し、信号処理部１５に出力する。

発光部１３は、被写体ＯＢに向けて近赤外光を照射する機能部である。具体的には、発光部１３は、発光タイミング制御信号Ｓ１および発光強度制御信号Ｓ０が示すタイミングおよび発光強度で被写体ＯＢに向けて近赤外光を照射する。

受光部１４は、被写体ＯＢに照射された光の反射光を含む光を受光し、露光量を算出する機能部である。具体的には、受光部１４は、露光タイミング制御信号Ｓ２が示すタイミングで被写体ＯＢからの反射光を含む光を受光（露光）することで被写体ＯＢを撮像する。また、受光部１４は、被写体を撮像した画素ごとに露光量を算出する。また、受光部１４は、露光量を光電変換により電気信号に変換して信号処理部１５に出力する。

信号処理部１５は、画素ごとに被写体ＯＢまでの距離を算出し、距離画像を生成する機能部である。具体的には、信号処理部１５は、光電変換された電気信号を入力信号として受光部１４から取得し、これを用いて被写体ＯＢまでの距離を画素ごとに算出する。また、信号処理部１５は、被写体ＯＢまでの距離情報を有する各画素を２次元的に配列した距離画像を生成する。

図２は、信号処理部１５の詳細な構成の一例を示した図である。信号処理部１５は、分離部１５１と、Ｒ／Ｗ制御部１５２と、バッファ１５３〜１５８と、セレクタ１５９と、距離算出部１６０とを有している。

分離部１５１は、入力信号を分離する機能部である。具体的には、分離部１５１は、信号関連情報を参照し、受光部１４から取得した露光量を示す入力信号を所定の発光強度および発光露光パターンごとに分離する。

Ｒ／Ｗ制御部１５２は、分離部１５１が分離した入力信号の各々を各バッファ１５３〜１５８へ格納し（書き込み）、各バッファ１５３〜１５８から各信号を取り出す（読み込み）機能部である。

バッファ１５３〜１５８は、分離部１５１が分離した入力信号の各々を格納する。

セレクタ１５９は、バッファ１５３〜１５８から取り出された（読み出された）入力信号を所定の基準に応じて選択し、距離算出部１６０に出力する。

距離算出部１６０は、セレクタ１５９から出力された信号を用いて、距離画像生成装置１００から被写体ＯＢまでの距離を画素ごとに算出する機能部である。なお、距離算出部１６０による処理の詳細については後述する。

以上、本実施形態に係る距離画像生成装置１００の概略構成について説明した。

図３は、距離画像生成装置１００のハードウェア構成の一例を示した図である。距離画像生成装置１００は、例えば、被写体ＯＢに照射した近赤外光の反射時間に応じて奥行き方向の距離を画素ごとに測定できる距離画像センシングカメラ（いわゆる、ＴＯＦカメラ）によって実現される。

図示するように、距離画像生成装置１００は、演算装置２０と、入力装置２１と、表示装置２２と、発光装置２３と、受光素子２４とを有している。

演算装置２０は、距離画像生成装置１００の様々な処理を実行する中心的なユニットであって、演算処理を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５およびＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）２６と、主記憶装置としてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２７およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２８とを有している。

入力装置２１は、距離画像生成装置１００の使用者から撮像モードの設定や撮像指示を受け付ける装置であって、例えば、タッチパネルやダイヤルボタンである。

表示装置２２は、距離画像生成装置１００の設定情報やメニュー情報などを表示する装置であって、例えば、液晶ディスプレイである。

発光装置２３は、被写体ＯＢに向けて近赤外光を照射する装置であって、エレクトロニックフラッシュ（ストロボ）装置である。

受光素子２４は、光の明暗を電気信号に変換する電子素子（撮像素子）であって、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

なお、距離画像生成装置１００の制御部１２および信号処理部１５は、ＦＰＧＡ２６（あるいはＣＰＵ２５）に処理を行わせる所定のプログラムによって実現される。このようなプログラムは、ＲＡＭ２７またはＲＯＭ２８に格納され、実行にあたってＲＡＭ２７上にロードされ、ＦＰＧＡ２６（あるいはＣＰＵ２５）により実行される。また、発光部１３は、発光装置２３によって実現される。また、受光部１４は、受光素子２４によって実現される。

以上、本実施形態に係る距離画像生成装置１００のハードウェア構成について説明した。

図４は、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２のタイミングチャートの一例を示した図である。図示するように、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２には、３種類の発光露光パターンが含まれている。

図示するように、３種類の発光露光パターンは、全露光期間Ｗ０と、距離測定期間Ｗ１と、バックグラウンド光測定期間ＷＢである。全露光期間Ｗ０は、発光部１３から被写体ＯＢに照射された光の反射光の全てを受光可能なタイミングで露光が行われる期間である。

制御部１２は、発光タイミング制御信号Ｓ１のパルス幅をΔｔに設定し、露光タイミング制御信号Ｓ２のパルス幅をΔｔの２倍の２Δｔに設定する。また、制御部１２は、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２の立ち上がりのタイミングを同期させる。なお、制御部１２は、全露光期間Ｗ０の時間長さを２Δｔに設定する。これにより、発光部１３による近赤外光の照射に同期して、被写体ＯＢからの反射光を全て露光できる全露光期間Ｗ０を設定することができる。

なお、Δｔの設定値は、測定しようとする被写体ＯＢまでの測定距離に比例して大きくする必要がある。そのため、制御部１２は、撮像モードの設定情報に基づいて測定距離範囲を特定し、これに対応付けられた所定の値をΔｔとして決定する。

距離測定期間Ｗ１は、反射光が発光タイミングに対して遅延すればするほど受光量が減少するようなタイミングで露光が行われる期間である。距離測定期間Ｗ１において、制御部１２は、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２の立ち下がりのタイミングを同期させる。なお、制御部１２は、全露光期間Ｗ０と同様に、距離測定期間Ｗ１の時間長さを２Δｔに設定する。これにより、発光部１３による近赤外光の照射に同期して、被写体ＯＢからの反射光が遅延するほど露光量が減少する距離測定期間Ｗ１を設定することができる。

バックグラウンド光測定期間ＷＢは、被写体ＯＢからの反射光以外のバックグラウンド光のみを受光するようなタイミングで露光が行われる期間である。バックグラウンド光測定期間ＷＢにおいて、制御部１２は、発光タイミング制御信号Ｓ１の立ち上がりと露光タイミング制御信号Ｓ２の立ち下がりのタイミングを同期させる。なお、制御部１２は、全露光期間Ｗ０と同様に、バックグラウンド光測定期間ＷＢの時間長さを２Δｔに設定する。これにより、反射光を含まないバックグラウンド光のみを露光するバックグラウンド光測定期間ＷＢを設定することができる。

このような発光露光パターンにより、距離画像生成装置１００は、被写体ＯＢを撮像した画素ごとに３種類の露光量Ｑ０、Ｑ１およびＱＢを得ることができる。

なお、ΔｔＴＯＦは、発光部１３が近赤外光を照射してから、被写体ＯＢで反射した反射光を受光部１４が受光するまでの時間（秒）である。ここで、被写体ＯＢまでの距離は、反射光の遅延時間に比例するため、全露光期間Ｗ０の露光量Ｑ０と、距離測定期間Ｗ１の露光量Ｑ１の比率によって求められる。ただし、いずれの場合もバックグラウンド光を含んでいるため、かかる期間の露光量ＱＢを用いてこれをキャンセルする必要がある。したがって、距離算出部１６０は、以下の式（１）を用いてΔｔＴＯＦの値を算出する。
ΔｔＴＯＦ＝ΔｔＸ｛１−（Ｑ１−ＱＢ）｝／（Ｑ０−ＱＢ）
・・・（１）

また、ΔｔＴＯＦは、発光部１３から被写体ＯＢまでの往復時間である。したがって、距離算出部１６０は、以下の式（２）を用いて被写体ＯＢまでの距離Ｌ（ｍ）を算出する。なお、ｃは、光速のことであり、単位は（ｍ／ｓｅｃ）である。
Ｌ＝（ｃＸΔｔＴＯＦ）／２
＝（ｃＸΔｔ）／２Ｘ｛１−（Ｑ１−ＱＢ）／（Ｑ０−ＱＢ）｝
・・・（２）

上記の式（１）および（２）は、いずれも露光量Ｑ０およびＱ１が飽和していないことが条件である。なお、露光量Ｑ１は、反射光の遅延時間に比例して減少した露光量であるから、Ｑ０＞Ｑ１が成立する。したがって、露光量Ｑ０が飽和しないように制御すれば、露光量Ｑ０およびＱ１のいずれも飽和しない条件を作り出すことができる。

本実施形態では、飽和していない露光量を得るため、発光部１３から照射する近赤外光の発光強度を変化させて測定を行う。かかる測定の詳細については後述する。

［動作の説明］
図５は、距離画像生成装置１００で実行される距離画像生成処理の流れの一例を示したフロー図である。距離画像生成処理は、例えば距離画像生成装置１００の起動と共に開始される。

距離画像生成処理が開始されると、入力受付部１１は、距離画像生成装置１００から被写体ＯＢまでの測定距離範囲に関する撮像モードの設定入力を使用者から受け付けたか否かを監視する（ステップＳ００１）。そして、設定入力を受け付けたと判定した場合（ステップＳ００１でＹｅｓ）、入力受付部１１は、設定された撮像モードに対応する測定距離範囲を制御部１２に出力する。

次に、制御部１２は、測定距離範囲に応じた発光強度制御信号Ｓ０と、発光タイミング制御信号Ｓ１と、露光タイミング制御信号Ｓ２とを生成する（ステップＳ００２）。具体的には、制御部１２は、図６に示す発光強度制御信号Ｓ０ならびに発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２を生成する。

図６は、発光強度制御信号Ｓ０ならびに発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２のタイミングチャートの一例を示した図である。図示するように、発光強度制御信号Ｓ０は２種類の異なる発光強度の期間Ｐ０およびＰ１を有し、期間Ｐ０およびＰ１の各々に、３種類の発光露光パターンが含まれている。なお、発光露光パターンの詳細は前述と同様であるため、説明を省略する。

制御部１２は、発光強度が異なる２種類の発光強度制御信号Ｓ０を生成する。具体的には、制御部１２は、強発光の発光強度期間Ｐ０と、弱発光の発光強度期間Ｐ１を含み、期間Ｐ０およびＰ１の時間長さを各々、前述の３種類の発光露光パターンが含まれる長さに設定する。言い換えれば、制御部１２は、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２の発光露光パターンが強発光の期間Ｐ０および弱発光の期間Ｐ１の各々に含まれるように発光強度制御信号Ｓ０と、発光タイミング制御信号Ｓ１と、露光タイミング制御信号Ｓ２とを生成する。

次に、制御部１２は、生成した発光強度制御信号Ｓ０および発光タイミング制御信号Ｓ１を発光部１３に出力し（ステップＳ００３）、露光タイミング制御信号Ｓ２を受光部１４に出力する（ステップＳ００４）。また、制御部１２は、信号関連情報を生成し、これを信号処理部１５に出力する。

次に、発光部１４は、発光タイミング制御信号Ｓ１および発光強度制御信号Ｓ０が示す発光タイミングおよび発光強度で近赤外光を被写体ＯＢに照射する（ステップＳ００５）。また、受光部１４は、露光タイミング制御信号Ｓ２が示すタイミングで被写体ＯＢからの反射光を受光して、露光を行う（ステップＳ００６）。

これにより、受光部１４は、強発光の期間Ｐ０において、被写体ＯＢを撮像した画素ごとに露光量Ｑ００、Ｑ０１およびＱ０Ｂを得る。また、受光部１４は、弱発光の期間Ｐ１において、露光量Ｑ１０、Ｑ１１およびＱ１Ｂを得る。また、受光部１４は、光電変換により露光量を電気信号に変換し、信号処理部１５に出力する。これにより、図６のタイミングチャートに従って得られた露光量は、同一の信号線を用いて時分割で信号処理部１５に出力される。

次に、信号処理部１５は、入力信号を用いて距離画像を生成する（ステップＳ００７）。具体的には、信号処理部１５の分離部１５１は、信号関連情報を参照し、露光量を示す入力信号を発光強度および発光露光パターンごとに分離する。また、Ｒ／Ｗ制御部１５２は、分離部１５１で分離された信号を各々、バッファ１５３〜１５８に書き込む。例えば、Ｒ／Ｗ制御部１５２は、露光量Ｑ００、Ｑ０１、Ｑ０Ｂ、Ｑ１０、Ｑ１１およびＱ１Ｂを示す信号を各々、バッファ１５３〜１５８に書き込む。

次に、Ｒ／Ｗ制御部１５２は、所定のタイミングで各バッファ１５３〜１５８から露光量を示す信号を読み出し、セレクタ１５９に入力する。セレクタ１５９は、飽和していない露光量の入力信号を選択し、距離算出部１６０に出力する。

具体的には、セレクタ１５９は、強発光期間Ｐ０に含まれる全露光期間Ｗ０の露光量Ｑ００が所定の飽和値ＱＳ以上であるか否かを画素ごとに判定する。そして、セレクタ１５９は、Ｑ００の値がＱＳの値以上の画素について、弱発光期間Ｐ１に含まれる発光露光パターンの各期間で得られた露光量Ｑ１０、Ｑ１１およびＱ１Ｂを示す信号を選択し、これらを距離算出部１６０に出力する。

一方で、セレクタ１５９は、Ｑ００の値がＱＳの値未満の画素について、強発光期間Ｐ０に含まれる発光露光パターンの各期間で得られた露光量Ｑ００、Ｑ０１およびＱ０Ｂを示す信号を選択し、これらを距離算出部１６０に出力する。

距離算出部１６０は、セレクタ１５９から取得した入力信号を用いて、距離画像生成装置１００から被写体ＯＢまでの距離を画素ごとに算出する。具体的には、セレクタ１５９によって弱発光期間Ｐ１の露光量を示す信号が選択された場合、距離算出部１６０は、Ｑ１０、Ｑ１１およびＱ１Ｂの値を用いて、以下の式（３）により被写体ＯＢまでの距離Ｌ（ｍ）を算出する。
Ｌ＝（ｃＸΔｔ）／２Ｘ｛１−（Ｑ１１−Ｑ１Ｂ）／（Ｑ１０−Ｑ１Ｂ）｝
・・・（３）

一方で、セレクタ１５９によって強発光期間Ｐ０の露光量を示す信号が選択された場合、距離算出部１６０は、Ｑ００、Ｑ０１およびＱ０Ｂの値を用いて、以下の式（４）により被写体ＯＢまでの距離Ｌ（ｍ）を画素ごとに算出する。
Ｌ＝（ｃＸΔｔ）／２Ｘ｛１−（Ｑ０１−Ｑ０Ｂ）／（Ｑ００−Ｑ０Ｂ）｝
・・・（４）

このようにして、距離算出部１６０は、撮像した被写体ＯＢの画素ごとに、距離画像生成装置１００から被写体ＯＢまでの距離を算出する。

次に、図７〜９を用いて、距離画像の生成例の一例について説明する。
図７は、距離画像生成装置１００と、被写体ＯＢ０と、被写体ＯＢ１とを含む撮像構成の一例を示した図である。
図８は、強発光期間Ｐ０で撮像された被写体ＯＢ０、ＯＢ１の露光量Ｑ００を２次元的に配列した画像（以下、Ｑ００画像という）の一例を示した図である。
図９は、弱発光期間Ｐ１で撮像された被写体ＯＢ０、ＯＢ１の露光量Ｑ１０を２次元的に配列した画像（以下、Ｑ１０画像という）の一例を示した図である。
なお、被写体ＯＢ０は、表面の光反射率が高い被写体（例えば、表面が白い素材あるいは光沢のある材質のもの）を示している。また、被写体ＯＢ１は、表面の光反射率が低い被写体（例えば、表面が黒い素材あるいは光沢のない材質のもの）を示している。

図８に示すように、強発光期間Ｐ０におけるＱ００画像では、被写体ＯＢ０の露光量が飽和してしまい、距離画像装置から被写体ＯＢ０までの正確な距離を算出することができない。一方で、強発光期間Ｐ０におけるＱ００画像であっても、被写体ＯＢ１の露光量は飽和していないため、正確な距離算出が可能である。

また、図９に示すように、弱発光期間Ｐ１におけるＱ１０画像では、被写体ＯＢ０およびＯＢ１のいずれの露光量も飽和していない。しかしながら、被写体ＯＢ１は極めて暗く写り、ショット雑音や受光部１４におけるＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換時の量子化などにより、信号のＳ／Ｎ（ｓｉｇｎａｌ／ｎｏｉｓｅ）比が低下し、距離算出の誤差要因となり得る。

そこで、距離画像生成装置１００は、前述の距離画像生成処理により、撮像した被写体の露光量が飽和している画素については弱発光期間Ｐ１の露光量を用い、露光量が飽和していない画素については強発光期間Ｐ０の露光量を用いて被写体までの距離を算出する。言い換えれば、距離画像生成装置１００は、Ｑ００画像において飽和している画素をＱ１０画像の対応する画素の露光量に置換することにより、被写体までの正確な距離算出を可能としている。

以上の通り、距離画像生成装置１００は、より精度の高い距離画像を生成することができる。特に、距離画像生成装置１００は、２種類の異なる発光強度で被写体を撮像し、露光量が飽和している画素を飽和していない画素の露光量（距離情報）に置き換えて距離画像を生成する。これにより、露光量の飽和や信号ノイズを極力含まない測定情報を用いて距離画像を生成することができる。

＜第二実施形態＞
図１０は、第二実施形態に係る距離画像生成装置１００の概略構成の一例を示した図である。本実施形態に係る距離画像生成装置１００は、受光量制御部１６を有する点で第一実施形態と異なる。受光量制御部１６は、制御部１２で生成される受光量制御信号Ｓ３に基づいて受光部１４の受光量を変化させる。なお、距離画像生成装置１００の基本的構成は第一実施形態と同様であるため、同一の符号を付して説明を省略する。

受光量制御部１６１２は、例えば、アイリス（Ｉｒｉｓ：絞り）や液晶シャッタなどのデバイスにより実現される。受光量制御部１６は、制御部１２から出力される受光量制御信号Ｓ３に基づいて絞りの値を変化させ、受光部１４が受光する光の量を調整する。これにより、受光部１４が受光する被写体ＯＢからの反射光の光量すなわち露光量を変化させることができる。

制御部１２は、発光タイミング制御信号Ｓ１と、露光タイミング制御信号Ｓ２と、受光量制御信号Ｓ３を生成する。受光量制御信号Ｓ３は、受光量制御部１６による絞りの値を制御するための信号である。なお、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２は前述と同様であるため、説明を省略する。

図１１は、発光タイミング制御信号Ｓ１ならびに露光タイミング制御信号Ｓ２および受光量制御信号Ｓ３のタイミングチャートの一例を示した図である。図示するように、受光量制御信号Ｓ３は、２種類の異なる受光量（強光量および弱光量）の期間Ｐ２およびＰ３を有している。また、期間Ｐ２およびＰ３の各々に、第一実施形態で説明した３種類の発光露光パターンが含まれている。

制御部１２は、発光露光パターンが含まれる時間長さに設定した強光量の期間Ｐ２および弱光量の期間Ｐ３を含む受光量制御信号Ｓ３を生成する。また、制御部１２は、受光量制御信号Ｓ３を所定のタイミングで受光量制御部１６に出力する。

受光量制御部１６は、受光量制御信号Ｓ３に基づいて絞りの値を制御し、受光部１４の受光量を制御する。なお、第一実施形態と同様、制御部１２は、所定のタイミングで発光タイミング制御信号Ｓ１を発光部１３に出力し、露光タイミング制御信号Ｓ２を受光部１４に出力する。また、制御部１２は、発光タイミング制御信号Ｓ１、露光タイミング制御信号Ｓ２および受光量制御信号Ｓ３に関する信号関連情報を生成し、信号処理部１５に出力する。

発光部１３は、発光タイミング制御信号Ｓ１に基づき被写体ＯＢに近赤外光を照射する。受光量制御部１６１２は、受光量制御信号Ｓ３に基づき絞りの値を変化させる。受光部１４は、被写体ＯＢに反射して戻ってきた反射光による露光を行う。これにより、受光部１４は、強光量の期間Ｐ２において、被写体ＯＢを撮像した画素ごとに露光量Ｑ２０、Ｑ２１およびＱ２Ｂを得る。また、受光部１４は、弱光量の期間Ｐ３において、露光量Ｑ３０、Ｑ３１およびＱ３Ｂを得る。また、受光部１４は、光電変換により露光量を電気信号に変換し、信号処理部１５に出力する。

信号処理部１５は、前述と同様、入力信号を用いて距離画像を生成する。具体的には、信号処理部１５の分離部１５１は、信号関連情報を参照し、露光量を示す入力信号を受光量および発光露光パターンごとに分離する。また、Ｒ／Ｗ制御部１５２は、分離部１５１で分離された各信号を所定のバッファ１５３〜１５８に書き込む。

次に、Ｒ／Ｗ制御部１５２は、所定のタイミングで各バッファ１５３〜１５８から露光量を示す信号を読み出し、セレクタ１５９に入力する。セレクタ１５９は、飽和していない露光量の入力信号を選択し、距離算出部１６０に出力する。

具体的には、セレクタ１５９は、強光量期間Ｐ２に含まれる全露光期間Ｗ０の露光量Ｑ２０が所定の飽和値ＱＳ以上であるか否かを画素ごとに判定する。そして、セレクタ１５９は、Ｑ２０の値がＱＳの値以上の画素について、弱光量期間Ｐ３に含まれる発光露光パターンの各期間で得られた露光量Ｑ３０、Ｑ３１およびＱ３Ｂを示す信号を選択し、これらを距離算出部１６０に出力する。

一方で、セレクタ１５９は、Ｑ２０の値がＱＳの値未満の画素について、強光量期間Ｐ２に含まれる発光露光パターンの各期間で得られた露光量Ｑ２０、Ｑ２１およびＱ２Ｂを示す信号を選択し、これらを距離算出部１６０に出力する。

距離算出部１６０は、セレクタ１５９から取得した入力信号を用いて、距離画像生成装置１００から被写体ＯＢまでの距離を画素ごとに算出する。具体的には、セレクタ１５９によって弱光量期間Ｐ３の露光量を示す信号が選択された場合、距離算出部１６０は、Ｑ３０、Ｑ３１およびＱ３Ｂの値を用いて、以下の式（５）により被写体ＯＢまでの距離Ｌ（ｍ）を算出する。
Ｌ＝（ｃＸΔｔ）／２Ｘ｛１−（Ｑ３１−Ｑ３Ｂ）／（Ｑ３０−Ｑ３Ｂ）｝
・・・（５）

一方で、セレクタ１５９によって強光量期間Ｐ２の露光量を示す信号が選択された場合、距離算出部１６０は、Ｑ２０、Ｑ２１およびＱ２Ｂの値を用いて、以下の式（６）により被写体ＯＢまでの距離Ｌ（ｍ）を画素ごとに算出する。
Ｌ＝（ｃＸΔｔ）／２Ｘ｛１−（Ｑ２１−Ｑ２Ｂ）／（Ｑ２０−Ｑ２Ｂ）｝
・・・（６）

以上、第二実施形態に係る距離画像生成装置１００について説明した。このような距離画像生成装置１００によっても、より精度の高い距離画像を生成することができる。特に、本実施形態に係る距離画像生成装置１００は、例えば、光源側の制約などで発光量の制御が困難な場合でも、簡易なハードウェア（アイリスや液晶シャッタ）の付加によって精度の高い距離画像を生成することができる。

なお、生成された距離画像は、被写体の奥行き方向の識別など３次元認識の解析（例えば、人流解析や工場内の工員作業の解析）に利用される。

前述の距離画像生成装置１００の各機能部は、本実施形態において実現される距離画像生成装置１００の機能を理解容易にするために、主な処理内容に応じて分類したものであり、各機能の分類の仕方やその名称によって、本発明が制限されることはない。また、距離画像生成装置１００の各構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、一つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

また、上記説明では、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１００・・・距離画像生成装置、１１・・・入力受付部、１２・・・制御部、
１３・・・発光部、１４・・・受光部、１５・・・信号処理部、
１５１・・・分離部、１５２・・・Ｒ／Ｗ制御部、１５３〜１５８・・・バッファ、
１５９・・・セレクタ、１６０・・・距離算出部、２０・・・演算装置、
２１・・・入力装置、２２・・・表示装置、２３・・・発光装置、２４・・・受光素子

Claims (10)

1. 異なる発光強度で被写体に向けて発光する発光部と、
   前記被写体からの反射光を含む光を受光することで撮像し、画素ごとの露光量を算出する受光部と、
   所定の場合に、第１の発光強度における露光量と、第２の発光強度における露光量とを置換して前記被写体までの距離を算出し、距離画像を生成する距離算出部と、を備える
   ことを特徴とする距離画像生成装置。
2. 請求項１に記載の距離画像生成装置であって、
   前記距離算出部は、
   第１の発光強度において飽和している画素の露光量を、対応する画素の第２の発光強度における露光量に置き換えて前記被写体までの距離を算出し、距離画像を生成する
   ことを特徴とする距離画像生成装置。
3. 請求項１に記載の距離画像生成装置であって、
   前記発光部は、
   発光強度の強い前記第１の発光強度と、発光強度が前記第１の発光強度よりも弱い第２の発光強度で前記被写体に向けて発光する
   ことを特徴とする距離画像生成装置。
4. 請求項１に記載の距離画像生成装置であって、
   前記受光部は、
   前記第１の発光強度および第２の発光強度ごとに、露光量が異なる所定の露光タイミングで前記被写体からの反射光を含む光を露光する
   ことを特徴とする距離画像生成装置。
5. 請求項４に記載の距離画像生成装置であって、
   前記受光部は、
   前記第１の発光強度および第２の発光強度ごとに、
   前記発光部から前記被写体に照射された光の反射光の全てを受光可能な第１のタイミングと、
   前記反射光が発光タイミングに対して遅延すればするほど受光量が減少する第２のタイミングと、
   前記被写体からの反射光以外のバックグラウンド光のみを受光する第３のタイミングと、を含む露光タイミングで前記被写体からの反射光を含む光を露光する
   ことを特徴とする距離画像生成装置。
6. 請求項５に記載の距離画像生成装置であって、
   前記距離算出部は、
   前記第１のタイミングで受光した光の露光量と、前記第２のタイミングで受光した光の露光量との比率に応じて前記被写体までの画素ごとの距離を算出する
   ことを特徴とする距離画像生成装置。
7. 被写体に向けて発光する発光部と、
   前記被写体からの反射光を含む光の受光量を制御する受光量制御部と、
   前記受光量制御部によって制御された光を受光することで撮像し、画素ごとの露光量を算出する受光部と、
   所定の場合に、第１の受光量に制御された場合の露光量と、第２の受光量に制御された場合の露光量とを置換して前記被写体までの距離を算出し、距離画像を生成する距離算出部と、を備える
   ことを特徴とする距離画像生成装置。
8. 請求項７に記載の距離画像生成装置であって、
   前記距離算出部は、
   第１の受光量において飽和している画素の露光量を、対応する画素の第２の受光量に制御された場合の露光量に置き換えて前記被写体までの距離を算出し、距離画像を生成することを特徴とする距離画像生成装置。
9. 距離画像生成装置による距離画像生成方法であって、
   異なる発光強度で被写体に向けて発光する発光ステップと、
   前記被写体からの反射光を含む光を受光することで撮像し、画素ごとの露光量を算出する受光ステップと、
   第１の発光強度において飽和している画素の露光量を、第２の発光強度の対応する画素の露光量に置き換えて前記被写体までの距離を算出し、距離画像を生成する距離画像生成ステップと、を行う
   ことを特徴とする距離画像生成方法。
10. 距離画像生成装置による距離画像生成方法であって、
    被写体に向けて発光する発光ステップと、
    前記被写体からの反射光を含む光の受光量を制御する受光量制御ステップと、
    前記受光量制御ステップによって制御された光を受光することで撮像し、画素ごとの露光量を算出する受光ステップと、
    所定の場合に、第１の受光量に制御された場合の露光量と、第２の受光量に制御された場合の露光量とを置換して前記被写体までの距離を算出し、距離画像を生成する距離画像生成ステップと、を行う
    ことを特徴とする距離画像生成方法。

Images