JP7290485B6 - 距離画像生成装置 - Google Patents

Description

本発明は、距離画像生成装置に関する。

従来、上記本技術分野の背景技術として、特許文献１がある。特許文献１には、「発光強度、発光時間、発光タイミング等が制御される測距装置。」の発明が記載されている。そして、特許文献１には、以下の記載がある。
即ち、「撮像条件設定部は、露光時間を短縮するとき、露光時間が短くなると露光量が減ってしまうので、それを補うべくゲイン値（変換利得）を上げたり、発光強度を上げてもよい。」との記載がある。

また、「画像距離データ合成部は、異なる距離の被写体に応じて、異なる撮像条件で撮像され、画像距離データ変換部により変換された複数の画像距離データを合成する。」との記載がある。
また、「画素値は距離のみではなく被写体の反射率にも依存するので、被写体が反射率の分布を持つような場合は、最も近い距離を示す画素と、画素値が最大になる画素が必ずしも一致するとは限らない。その場合、画素値が最大の画素が閾値となるように特性を調節する。 」との記載がある。

また、上述以外の背景技術として、特許文献２がある。
特許文献２には、「距離画像の撮影条件(発光量、露光時間等)を変更して、距離画像と強度画像(各画素での受光量の強度を示す画像:受光量の分布に対応)を設定枚数分取得する。距離画像と強度画像との複数のペアを用いて、合成距離画像の合成処理をおこなう。」ことが記載されている。

特開２０１１－０６４４９８号公報 特開２０１７－１８１４８８号公報

ところで、ＴＯＦセンサで距離を測定する際、「遠くの物体」と「近くの物体」が存在する環境で、撮影を行う場合、「遠くの物体」に着目して光の照射を強くすると「近くの物体」を撮像した画素の光電変換後の信号が飽和してしまい、測定距離に誤差が生じる。反対に「近くの物体」に着目して光の照射を弱めると「遠くの物体」に光が届かず、距離測定ができない。

そこで、特許文献１では、画像距離データ合成部（距離情報合成部）は、撮像部により異なる距離の被写体に応じて、異なる撮像条件で撮像され、画像距離データ変換部により変換された複数の画像距離データを合成することが記載されている。

特許文献２では、複数の距離画像に対して、受光強度を比較し、より大きい受光強度を示す画素に対応する距離画像の画素を複数の距離画像から抽出し、抽出した画素を合成距離画像に用いることが記載されている。
しかし、特許文献１、２では、距離画像データを合成し、距離測定をする手段が記載されているものの、ダイナミックレンジが狭く、広汎な距離測定に限界があるという問題がある。

本発明は上記実状に鑑み創案されたものであり、「遠くの物体」と「近くの物体」とが存在する環境でも、正確な距離測定が可能な距離画像生成装置の提供を目的とする。

前記課題を解決するため、第１の本発明の距離画像生成装置は、パルス光を発光する照明手段と、前記パルス光が被写体で反射した反射光の光量を信号量に変換する光電変換手段と、遠くを撮像するために光電変換手段に入射する光量を多くして撮像した長秒露光画像と、近くを撮像するために信号量が飽和しないよう前記光電変換手段に入射する光量を少なくして撮像した短秒露光画像とを記憶するメモリと、前記光電変換手段が前記反射光の光量を信号量に変換する光電変換量を、前記照明手段の照明強度、前記光電変換手段へ照射される光量、および／または前記光電変換手段における光電変換効率を用いて制御する光電変換量制御手段と、前記光電変換手段での前記光電変換量に応じて、前記光電変換手段の前記長秒露光画像の光量に対する信号量の特性と、前記短秒露光画像の光量に対する信号量の特性とが同じくなるように信号利得を変える利得可変手段と、利得乗算後の長秒露光画像信号と短秒露光画像信号を用いて、照明光の光量を検出する照明光検出手段と、前記照明光検出手段が検出した照明光の光量をもとに、前記メモリに記憶した前記長秒露光画像のデータと前記短秒露光画像のデータとの合成量の割合の合成比率を生成する合成比率生成部と、前記合成比率生成部が生成した前記合成比率を用いて、合成前の光量と信号量の特性の線形性を保つよう前記長秒露光画像のデータと前記短秒露光画像のデータを合成するとともに、前記パルス光と同位相で露光した前記長秒露光画像のデータと前記短秒露光画像のデータを合成して第１蓄積電荷量を求め、前記パルス光と逆位相で露光した前記長秒露光画像のデータと前記短秒露光画像のデータを合成して第２蓄積電荷量を求め、前記第１蓄積電荷量および前記第２蓄積電荷量をもとに、合成後画像を生成する信号合成手段と、前記信号合成手段の前記合成後画像を用いて、撮影対象までの距離画像を生成する距離画像データ変換手段と、を備える。

前記課題を解決するため、第２の本発明の距離画像生成装置は、パルス光を発光する照明手段と、前記パルス光が被写体で反射した反射光の光量を信号量に変換する光電変換手段と、遠くを撮像するために光電変換手段に入射する光量を多くして撮像した長秒露光画像と、近くを撮像するために信号量が飽和しないよう前記光電変換手段に入射する光量を少なくして撮像した短秒露光画像とを記憶するメモリと、前記光電変換手段が前記反射光の光量を信号量に変換する光電変換量を、前記照明手段の照明強度、前記光電変換手段へ照射される光量、および／または前記光電変換手段における光電変換効率を用いて制御する光電変換量制御手段と、前記光電変換手段での前記光電変換量に応じて、前記光電変換手段の前記長秒露光画像の光量に対する信号量の特性と、前記短秒露光画像の光量に対する信号量の特性とが同じくなるように信号利得を変える利得可変手段と、利得乗算後の長秒露光画像信号と短秒露光画像信号を用いて、照明光の光量を検出する照明光検出手段と、前記照明光検出手段が検出した照明光の光量をもとに、前記メモリに記憶した前記長秒露光画像のデータと前記短秒露光画像のデータとの合成量の割合の合成比率を生成する合成比率生成部と、前記合成比率生成部が生成した前記合成比率を用いて、合成前の光量と信号量の特性の線形性を保つよう前記長秒露光画像のデータと前記短秒露光画像のデータを合成するとともに、前記パルス光と同位相で露光した前記長秒露光画像のデータと前記短秒露光画像のデータを合成して第１蓄積電荷量を求め、前記パルス光と逆位相で露光した前記長秒露光画像のデータと前記短秒露光画像のデータを合成して第２蓄積電荷量を求め、前記第１蓄積電荷量および前記第２蓄積電荷量をもとに、合成後画像を生成する信号合成手段と、前記信号合成手段の前記合成後画像を用いて、撮影対象までの距離画像を生成する距離画像データ変換手段と、を有し、前記利得可変手段は、前記光電変換量制御手段での制御量に応じて前記信号利得を決め、前記信号合成手段は、前記照明光検出手段での検出結果に基づき、複数の信号量の合成量を決めている。

本発明によれば、「遠くの物体」と「近くの物体」とが存在する環境でも、正確な距離測定が可能な距離画像生成装置を提供できる。

本発明の第一実施形態に係る測距装置の全体構成を示す図。 一フレームと次のフレームにおける撮像素子の出力とメモリの出力のタイミングを示す図。 ＴＯＦ法による距離測定における撮像素子の露光のタイミングを示す図。 一フレームと次フレームにおいて、合成処理部が位相と露光時間が異なるセンサ出力画像から合成画像を生成する際のイメージ図。 次のフレームでの長秒露光画像データと短秒露光画像データの撮像素子へ入射される光量と光電変換後の信号量の特性を示す長秒露光画像データと短秒露光画像データの光量と光電変換後の信号量の理想的な特性を示した図。 合成前の短秒露光画像の信号量および合成後の光量と信号量の特性を示す図。 利得生成部の一部を示した図。 ＤＬ／ＤＳが非線形特性の場合の係数γと、係数γの乗算後の特性の関係を示す図。 長秒露光画像データと短秒露光画像データの光量と光電素子での光電変換後の信号量の実際の特性を示した図。 画像合成後の光量と信号量の実際の特性と、長秒露光画像データと短秒露光画像データとの合成比率の関係を示す図。 第一実施形態の各画像のフローをイメージした図。 本発明の第二実施形態に係る測距装置の全体構成を示す図。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
本発明の実施形態の測距装置は、撮影対象の被写体を撮影し、撮影した画像中の被写体までの距離を計測する装置である。

＜＜第一実施形態＞＞
図１に、本発明の第一実施形態に係る測距装置１００の全体構成を示す。
第一実施形態に係る測距装置１００を全体構成から説明する。

＜全体構成＞
測距装置１００は、照明装置５、レンズ１、メカニカルシャッタ２、撮像素子３、メモリ４、光電変換量制御部６、利得生成部７、利得乗算部８、照明光検出部９、合成比率生成部１０、合成処理部１１、および距離画像データ変換部１２を備えている。
照明装置５は、被写体までの距離を計測するために撮影対象の被写体にパルス光を発する。

レンズ１は、被写体からの光を集光するものである。
撮像素子３は、光電変換部である。撮像素子３は、光を電気信号に変換するとともに、撮像素子３を電気的にオン／オフする電子シャッタの機能をもつ。撮像素子３は、画像を構成する画素である複数の光電素子を有して構成される。つまり、撮像素子３は画素を形成する光電素子が複数集まって画像を形成している。

光電素子はグループ化されている。そして、撮像素子３の光電素子の各グループから、図１に示すように、後記の短秒露光画像の信号と後記の長秒露光画像の信号とが出力される。そこで、光電素子に着目すると短秒露光画像の信号と長秒露光画像の信号とが出力される複数の信号出力手段（信号線３ａ、信号線３ｂ）が接続されている。つまり、信号線３ａは光電素子から長秒露光画像の信号が出力される。信号線３ｂは光電素子から短秒露光画像の信号が出力される。

メモリ４は、長秒露光画像を記憶する。長秒露光画像は、短秒露光画像よりも、照明装置５から与えられた光量が多いパルス光の露光画像をいう。例えば、長秒露光画像は、照明装置５から被写体に同じ光を短秒露光画像よりも長い時間、付与されたパルス光の露光画像をいう。或いは、長秒露光画像は、照明装置５から被写体に同じ時間、 短秒露光画像よりも強い光を付与されたパルス光の露光画像をいう。
光電変換量制御部６は、撮像素子３での光電変換量を制御する。

なお、「長秒露光画像」は、遠くを撮像するために撮像素子に入射する光量を多くして撮像した画像である。一方、「短秒露光画像」は、近くを撮像するために(信号量が飽和しないように)撮像素子に入射する光量を少なくして撮像した画像である。
長秒露光、短秒露光の撮像は照明の発光強度、発光回数、絞りやシャッタ速度を全て制御する。全てが異なる場合もあるし、この中のどれか一つが異なる場合もある。

利得生成部７は、光電素子の短秒露光画像の光量－信号量の特性を、光電素子の長秒露光画像の光量－信号量の線形特性と連続した線形となるように利得を生成する。
利得を乗算する際にbit拡張を行い、信号量を圧縮することなく、合成することで広いダイナミックレンジの光量-信号量特性が得られる。
照明光検出部９は、撮像素子３で検出した電気信号から、明暗などの照明光の受光量の分布を検出する。

合成比率生成部１０は、照明光検出部９による照明光検出の結果に基づいた合成比率を生成する。合成比率とは、光量－信号量の特性における短秒露光画像の光量と長秒露光画像の光量との使用比率である。
合成処理部１１は、合成比率生成部１０にて生成された合成比率に応じて長秒露光画像と短秒露光画像とを合成することで、広いダイナミックレンジの光量-信号量特性を持った合成後画像を得ることができる。
距離画像データ変換部１２は、合成処理部１１によって得られる合成後画像を用いて距離画像を生成する。

＜測距装置１００における各フレームでの撮影対象の被写体までの距離計測情報の取得＞
次に、測距装置１００の上述の各構成要素を用いた各フレームでの撮影対象の距離計測情報の取得の流れについて説明する。なお、画像は複数の静止画像のフレームによって形成される。例えば、テレビジョンの画像は、毎秒当たり６０枚のフレームで構成されている。

測距装置１００は照明装置５によって、撮影対象の被写体に対して、光（照明パルス光）を照射する。測距装置１００の光電変換量制御部６は、メカニカルシャッタ２、電子シャッタにより、レンズ１を介して入射した被写体の反射光の撮像素子３へ入射される光の量を制御する。
撮像素子３に入射された光は光電変換が行われ、信号量に変換される。光電変換された電気信号の長秒露光画像のデータは信号線３ａを通って、メモリ４に供給される。光電変換された電気信号の短秒露光画像のデータは信号線３ｂを通って、利得生成部７と利得乗算部８とに供給される。

図２に、一フレームと次フレームにおける撮像素子３の出力とメモリ４の出力のタイミングを示す。
測距装置１００は、図１に示すメモリ４で長秒露光画像（強い光で撮像した画像）を記憶し、図２に示すように、次フレームにおいて撮像素子３で取得した短秒露光画像（弱い光で撮像した画像）とメモリ４で記憶した長秒露光画像の出力のタイミングを合わせている。つまり、図２のように、１フレーム目の長秒露光画像と２フレーム目の短秒露光画像とを、それぞれ位相差０°と位相差１８０°で合わせている。

例えば、図２について、１フレーム目の「位相差０° 長秒露光」では、遠くを適切に撮像するため、発光装置５の発光強度を上げて発光させ（パルス幅Ｔ０の強いパルス光を出射し）、その強いパルス光の立ち上がりのタイミングで露光を開始し、パルス幅Ｔ０の強いパルス光の立下りのタイミングで露光を終了さている（後記の図３参照）。また、「位相差１８０° 長秒露光」では、パルス幅Ｔ０の強いパルス光の立下りのタイミングで露光を開始し、パルス幅Ｔ０と同じ時間幅で露光を終了させている（図３参照）。
同様に、２フレーム目の「位相差０° 短秒露光」では、近くを適切に撮像するため、発光装置５の発光強度を下げ発光させ（パルス幅Ｔ０の弱いパルス光を出射し）、弱いパルス光の立ち上がりのタイミングで露光を開始し、パルス幅Ｔ０の弱いパルス光の立下りのタイミングで露光を終了さている。また、「位相差１８０° 短秒露光」では、バルス幅Ｔ０の弱いパルス光の立下りのタイミングで露光を開始し、パルス幅Ｔ０と同じ時間幅で露光を終了させている。
なお、上記例では、長秒露光と短秒露光を発光強度で分けた場合を説明したが、発光強度は同じで絞りを調節するなどもあり得るし、シャッタ速度による調節もあり得る。または全てを同時に制御する場合もあり得る。

測距装置１００は、利得生成部７で長秒露光画像データと短秒露光画像データの光量と信号量に対する特性を同じくする（図６参照）ように利得を生成する。

利得乗算部８で短秒露光画像の信号量に生成した利得を乗算する。そして、長秒露光画像の信号量と利得が乗算された短秒露光画像の信号量は、合成処理部１１と照明光検出部９へ供給される。測距装置１００は、照明光検出部９で、信号量－光量の特性(図６参照)を用いて照明光の光量を生成する。生成された光量は合成比率生成部１０に供給され、合成比率生成部１０にて長秒露光画像と短秒露光画像の合成比率を生成する。測距装置１００は、合成処理部１１で、合成比率生成部１０にて生成された比率で長秒露光画像と短秒露光画像を合成し、距離画像データ変換部１２で距離画像データが生成され、出力される。

なお、図２と異なり、短秒露光画像をメモリ４に記憶し、次フレームにおいて撮像素子３で取得した長秒露光画像とメモリ４で記憶した短秒露光画像出力のタイミングを合わせる構成でもよい。この場合、メモリ４は、長秒露光画像に代えて、短秒露光画像を記憶する。

＜ＴＯＦ法による距離測定＞
ＴＯＦ（Time Of Flight）法による距離測定における照明パルス光とセンサ受光部の撮像素子３における反射光の露光とのタイミング概要について述べる。
以下の説明に用いる手法は、センサ受光部の撮像素子３の露光のタイミングを簡単に説明するためのものであり、あくまでＴＯＦ法の一形態である。

図３に、ＴＯＦ法による距離測定におけるセンサ受光部の撮像素子３の露光のタイミングを示す。
図３に示すように、照明装置５からパルス幅Ｔ０の照明パルス光が発せられる。
パルス幅Ｔ０の照明パルス光が光速で進行して、被写体で反射して反射光が光速で進行する。そのため、照明パルス光が発せられてから時間Ｔｄ遅延してセンサ受光部の撮像素子３に照射される。

Ｑ１は、照射された光を照明パルス光の照射と同時（照明パルス光との位相差０°）に露光した蓄積電荷量である。
Ｑ２は、照明パルス光の照射から照明パルス光のパルス幅Ｔ０後（照明パルス光との位相差１８０°）にセンサ受光部（撮像素子３）で露光した蓄積電荷量である。
Ｑ１とＱ２とを用いて、距離測定が行われる。例えば、照明装置５およびセンサ受光部の撮像素子３から撮影対象までの距離が近い場合、Ｑ１が多くＱ２が少なくなる。一方、距離が遠い場合、Ｑ１が少なくなりＱ２が多くなる。

＜合成処理部１１の概要＞
図１に示す合成処理部１１の概要について説明する。
照明装置５では、図２、図３に示すように、長秒露光となるパルス幅Ｔ０の強いパルス光と短秒露光となるパルス幅Ｔ０の弱いパルス光とを１サイクル毎に交互に発する。例えば、図２に示すように、照明装置５は、一フレーム目に長秒露光となるパルス幅Ｔ０の強いパルス光を発光し、次フレーム目に短秒露光となるパルス幅Ｔ０の弱い照明パルス光Ｔ０（弱い光）を発光して露光する。なお、パルス幅Ｔ０の強いパルス光の発光後、次にパルス幅Ｔ０の弱いパルス光を発光するまでの間、また、パルス幅Ｔ０の弱いパルス光の発光後、次にパルス幅Ｔ０の強いパルス光を発光するまでの間、パルス幅Ｔ０と同じ長さの時間かそれよりも若干長い時間、発光の休止期間が設けられている。

図２に示すように、１フレーム目で、位相差０°（図３参照）の長秒露光画像と位相差１８０°（図３参照）の長秒露光画像をメモリ４に記憶する。そして、合成処理部１１は、２フレーム目で、位相差０°（図３参照）の短秒露光画像と位相差１８０°（図３参照）の短秒露光画像を取得する。短秒露光画像の信号量には、利得生成部７で生成した利得が利得乗算部８で乗算されている。
そして、合成処理部１１は、位相差０°（図３参照）の利得が乗算された短秒露光画像のデータと位相差１８０°（図３参照）の利得が乗算された短秒露光画像のデータとに、それぞれメモリ４から取得した位相差０°（図３参照）の長秒露光画像のデータと位相差１８０°（図３参照）の長秒露光画像のデータとを合成する（図４参照）。

図４に、一フレームと次フレームにおいて、合成処理部１１が位相と露光時間が異なるセンサ出力画像から合成画像を生成する際のイメージ図を示す。
図４に示すように、照明パルス光と同位相で露光した長秒露光画像データと、同じく同位相（位相差０°）で露光した短秒露光画像データを合成する。また、照明パルス光と逆位相（位相差１８０°）で露光した長秒露光画像データと、同じく逆位相で露光した短秒露光画像データを合成する。こうして、位相差０°と位相差１８０°の露光データを合成することで、図３の蓄積電荷量Ｑ１、Ｑ２を用いて、近い所から遠い所までの距離を測ることができる。

ただし、位相差毎に合成は行うが、撮像素子３への入射光に対する信号量の特性は、後記の図５に示すように同じため、位相差毎、位相差０°または位相差１８０°の合成画像を生成する際の、利得や合成比率などは、同じ特性で行われる。
以下、測距装置１００の各構成について、詳細に説明する。

＜光電変換量制御部６＞
図１に示す光電変換量制御部６は、画素の明暗を元に、照明装置５の照明強度と、メカニカルシャッタ２、撮像素子３に備えられた電子シャッタによる撮像素子３へ照射される被写体からの反射光の光量と、撮像素子３での光電変換効率を制御する。
光電変換量制御部６は、生成した制御データを利得生成部７へ供給する。

＜利得生成部７＞
長秒露光画像と短秒露光画像は、撮像時の照明装置５の発光時間などの制御データが異なる。そこで、異なる制御データの画像をそのまま合成してしまうと正確な測距はできない。

図５に、図２の次のフレーム目での長秒露光画像データと短秒露光画像データの撮像素子３へ入射される光量と光電変換後の信号量の特性を示す。
長秒露光画像データは、遠くの物体まで撮像するために遠くの物体に反射して、撮像素子３に届く反射光が弱くなる。そこで、撮像素子３に届く反射光の光量が小さな光量でも信号量を多くとるように制御を行う。しかし、その場合、大きい光量では信号量の飽和（図５の破線）が起きる。

一方、短秒露光画像データは、近くの物体を撮像するために、近くの物体に反射して撮像素子３に届く反射光が強くなる。そこで、撮像素子３に届く反射光の光量が大きい場合でも飽和しないように制御を行う。しかし、センサ受光部の撮像素子３に届く反射光が小さい光量では信号量が小さくなってしまう。
そこで、二つの画像データ、つまり、長秒露光画像データと短秒露光画像データとを合成する。

図６に、合成前の短秒露光画像の信号量および合成後の光量と信号量の特性を示す。
合成に際して、合成後の画像データで精確な測距ができるように、合成する前に長秒露光と短秒露光の光量に対する信号量の特性が同じくなるようにする。
例えば、遠くの物体まで撮像するための長秒露光画像と、近くの物体で撮像した信号量が飽和しないように発光強度を長秒露光画像の撮像時の１/４の発光強度で撮像した短秒露光画像とを合成する場合を考える。この場合、発光強度の差を補正するために利得生成部７では４倍の利得を生成する。利得乗算部８は、生成した利得を短秒露光画像の信号量に乗算する。乗算することで合成前の信号量の飽和レベルを超えるため、これ以降の演算部ではｂｉｔを拡張し演算を行う。

図６に示すように、合成後の画像データの信号量飽和レベル（図６の一点鎖線）は合成前より大きくなる。そのため、短秒露光画像データへの利得乗算後のデータはｂｉｔ拡張を行う。こうして、利得生成部７では、照明発光強度や、シャッタ制御量、光電変換効率などの制御量により変化する長秒露光画像と短秒露光画像の差を補正する利得を生成する。

図７に利得生成部７の一部を示す。
図７に示す演算を、照明装置５の発光強度や、シャッタ制御量、光電変換効率などの制御データに応じた長秒露光制御データＤＬと短秒露光制御データＤＳとで行い、その結果を利得として用いる。
長秒露光制御データＤＬと短秒露光制御データＤＳよりＤＬ／ＤＳを演算する。そして、ＤＬ／ＤＳに係数γを乗算して利得を算出する。

係数γは、線形特性の制御データ（ＤＬ／ＤＳ）に関しては１倍として乗算して、合成後の光量と信号量の特性をリニア（線形）にする。
非線形特性の制御データに関しては、合成後の光量と信号量の特性がリニア（線形）になるように、その非線形特性に応じて係数γを乗算する。

図８に、ＤＬ／ＤＳが非線形特性の場合の係数γ（破線）と、係数γの乗算後の特性（実線）の関係を示す。
非線形特性の制御データ（ＤＬ／ＤＳ）（図８の一点鎖線）に関しては、利得乗算後の特性が線形となるような、その非線形特性に応じた係数γを乗算する。
非線形特性の制御データ（ＤＬ／ＤＳ）（図８の一点鎖線）に、利得乗算後の特性が線形となるような係数γ（図８の破線）を乗算することで、利得乗算後の特性を線形にする（図８の実線）。これにより、反射光の光量から、図６に示す利得乗算後の特性を用いて信号量が求められ、距離測定を可能とする。

＜照明光検出部９＞
図１に示す照明光検出部９は、利得乗算後の長秒露光画像信号と短秒露光画像信号（図６参照）を用いて、照明光の光量を検出する。照明光検出部９は、合成比率生成部１０（図１参照）へ検出した照明光の光量の信号を供給する。

＜合成比率生成部１０＞
合成比率生成部１０は、照明光検出部９で検出した照明光の光量を元に長秒露光画像のデータと短秒露光画像のデータとの合成量の割合の合成比率（図１０参照）を決める。これにより、近い所から遠い所の距離を図れる。

図５に示す光量と光電変換後の信号量を表した特性の場合、図６に示すように、信号量が合成前飽和レベル（図５の破線）を超えるか超えないかを境として、長秒露光画像と利得乗算後の短秒露光画像のデータを切り替えれば、理想とする線形性を保つ合成後画像データを得ることができる。つまり、信号量が飽和レベル（図６の信号量の一点鎖線）以下では長秒露光画像データを合成後画像データとし、信号量が飽和レベルを超えた場合、利得を演算した短秒露光画像データを合成後画像データとする。

しかし、図５に示す光量と光電変換後の信号量を表した特性は机上の理想的な特性の場合である。
図９に、長秒露光画像データと短秒露光画像データの光量と光電素子での光電変換後の信号量の実際の特性を示す。
長秒露光画像データの実際の特性は、図９に示すように、信号量の飽和レベル（図９の信号量の一点鎖線）付近で線形性を失う。飽和レベルを境にして、長秒露光画像データと短秒露光画像データを切り替えるような合成をしてしまうと理想とする線形特性の合成後画像データを得ることができない。従来、異なる制御データの画像をそのまま合成してしまうと、光量に対する信号量の特性が異なるデータを合成することとなり、精確な距離測定ができない（特開２００８－２０９１６２号公報参照）

そこで、図１０に示すように、線形特性を失う付近で、合成比率によって、長秒露光画像データと短秒露光画像データとを合成し、線形または線形に近い合成後画像データを生成する。図１０に、画像合成後の光量と信号量の実際の特性と、長秒露光画像データと短秒露光画像データとの合成比率の関係を示す。

図１０に示す合成比率は、長秒露光画像データおよび短秒露光画像データの照明光検出結果の光量を用いて生成する。
信号量の飽和レベル（図１０の信号量の一点鎖線）前の長秒露光画像データと、信号量の飽和レベル（図１０の信号量の破線）後の利得乗算後の短秒露光画像データとが線形または線形近くになるように、閾値（１）、閾値（２）を設ける。

閾値（１）以下の光量の場合、長秒露光画像データを１００％（図１０中の合成比率（１））とする。閾値（２）以上の光量の場合、短秒露光画像データを１００％（図１０中の合成比率（２））とする。

閾値（１）から閾値（２）の範囲の光量の場合、長秒露光画像データと短秒露光画像データの合成比率（図１０中の合成比率（３））は、光量の値により、光量－信号量の特性が線形になるように、合成比率を調整する。
なお、ＴＯＦ法による距離測定のため、図２に示すように、照明パルスと同時に露光した画像データ（例えば、位相差０°の長秒露光）と、パルスから遅延して露光した画像データ（例えば、位相差１８０°の長秒露光）を取得する。

それぞれの時間の画像データ毎（例えば、図２の２フレーム）に、長秒露光画像データと短秒露光画像データの合成を行う。ここで、同じ撮像素子３における図１０に示す光量－信号量の線形特性は同じため、その際の閾値（１）、閾値（２）の設定と該合成比率の特性は、同じものを使用することができる。
閾値（１）、閾値（２）は、光量に対する信号量の傾きから、リニアな長秒露光画像データの特性と、利得を乗算後のリニアな短秒露光画像データの特性とが滑らかに連続するように予め定めておく。閾値（１）、閾値（２）は、テーブルなどに格納しておくとよい。

また、合成比率生成部１０は、照明光検出部９での検出結果に対して、光量－信号量の特性が線形となるような閾値（１）、閾値（２）を用いて合成比率を変更する変更手段と、外部より閾値（１）、閾値（２）を設定する閾値設定手段とを有している。
閾値設定手段により、閾値（１）、閾値（２）は、外部からの設定が可能である。
ここで、合成比率生成部１０は、照明光検出部９での検出結果に基づき、受光の画素単位、または、受光の領域単位で信号量の合成比率を変更する。

合成比率生成部１０により、様々な被写体に対して線形または線形に近い合成比率を取得し、ダイナミックレンジが広い光量－信号量の特性を得られる。

＜合成処理部１１＞
図１に示す合成処理部１１では、合成比率生成部１０にて生成した、長秒露光画像データと短秒露光画像データとの合成比率を用いて、長秒露光画像データと短秒露光画像データを合成する。そして、合成処理部１１は、合成前の光量と信号量の特性の線形性を保つ合成後画像データ（図１０参照）を生成する。

図１１に、第１実施形態の各画像のフローをイメージした図を示す。
本実施形態では、照明パルス光と同位相の露光タイミングで撮像した長秒露光画像（位相差０°の長秒露光画像）と短秒露光画像（位相差０°の短秒露光画像）、および照明パルス光と位相差を持たせた露光タイミングで撮像した長秒露光画像（位相差１８０の°長秒露光画像）と短秒露光画像（位相差１８０°の短秒露光画像）を取得する。そして、位相差０°と位相差１８０°の短秒露光画像にそれぞれ利得（図１１中の利得Ｋ）を乗算する。

続いて、合成処理部１１は、露光タイミングの位相毎、つまり位相差０°と位相差１８０°毎に、図６に示すように、長秒露光画像と短秒露光画像を、合成比率（図１１の合成比率α）を用いて合成し、各位相の合成画像を用いて、距離画像データ変換部１２にて距離画像のデータへ変換する。
長秒露光画像と短秒露光画像とを合成する際の利得や合成比率などについては、異なる位相であっても、入射光に対する信号量の特性は撮像素子３で同じため、撮像素子３ではそれぞれ同じ特性で行うことができる。

図１に示す合成処理部１１は、照明光検出部９での検出結果に基づき、受光の画素単位、或いは、受光の領域単位で信号の合成比率を変更する合成比率変更手段を有している。これにより、受光の画素単位、或いは、受光の領域単位で、長秒露光画像データと短秒露光画像データの信号量の合成比率を変更できる。
こうして、合成処理部１１は、受光の画素単位、或いは、受光の領域単位で、利得生成部７で生成した異なる利得で信号量を制御した信号を合成する。

＜距離画像データ変換部１２＞
図１に示す距離画像データ変換部１２は、合成処理部１１によって得られる合成後画像より、図３に示すように、露光タイミング（０°）で露光した位相差０°（図３参照）の長秒露光と位相差０°（図３参照）の短秒露光とから蓄積電荷量Ｑ１を求める。
また、距離画像データ変換部１２は、合成処理部１１によって得られる合成後画像より、図３に示すように、露光タイミング（１８０°）で露光した位相差１８０°の長秒露光と位相差１８０°の短秒露光とから蓄積電荷量Ｑ２を求める。

距離画像データ変換部１２は、位相差０°の蓄積電荷量Ｑ１と位相差１８０°の蓄積電荷量Ｑ２とから、距離測定を行う。
そして、距離画像データ変換部１２は測定した距離を元に、距離画像を生成する。
上述の第一実施形態では、明るい被写体部分を短秒露光、暗い部分を長秒露光で撮像した画像を取得する。そして、短秒露光側の画像に対して短秒露光と長秒露光の感度差分の利得を利得乗算部８で乗算しているため、短秒露光と長秒露光の入射光に対する変換利得を同じにしている。

従来の特開２００８－２０９１６２号公報には、各感光部の感度を調節し、距離計測期間には各感光部の感度を環境計測期間に調節した感度に保つ利得制御手段とを備えると記載されている。ここで、測距を目的として、複数のセンサ出力画像データを合成することを考えると、異なる制御データの画像をそのまま合成してしまうと、光量に対する信号量の特性が異なるデータを合成することとなり、正確な距離測定ができない。
このように、従来、距離画像生成前のセンサ出力画像データを合成し、距離測定をする手段に関しては十分考慮されていなかった。

これに対して、本第一実施形態では、撮像素子３が取得した長秒露光で撮像した画像と、利得乗算部８で利得を補正した短秒露光で撮像した画像に対して、照明光検出部９の結果に基づき画像を合成しているため、入射光に対して線形特性となる広いダイナミックな画像を得ることができる。そのため、「遠くの物体」と「近くの物体」が存在する環境でも測定距離に誤差が生じることなく、正確な距離測定を可能とする効果が得られる。

すなわち、撮像素子３からの複数の出力画像データを、特性を線形に保つように合成することで、「遠くの物体」と「近くの物体」が存在する環境で、遠近どちらの対象に関しても、精確な距離測定ができる。

＜＜第二実施形態＞＞
図１２に、本発明の第二実施形態に係る測距装置２００の全体構成を示す。
第二実施形態に係る測距装置２００は、第一実施形態の光電変換量制御部６と照明光検出部９の限定構成以外は、第一実施形態の測距装置１００の構成と同様である。

そこで、第一実施形態の光電変換量制御部６と照明光検出部９と異なる第二実施形態の光電変換量制御部２６と照明光検出部２９について説明を行い、同様な構成には同一の符号を付して示し、重複する説明は省略する。図１の第一実施形態と重複する部分は、説明から除外し第二実施形態の一実施例を図１２を用いて説明する。

＜光電変換量制御部２６＞
図１２に示す光電変換量制御部２６は、照明光制御部６１、シャッタ制御部６２（電荷蓄積時間制御部）、および光電変換効率制御部６３を有している。
照明光制御部６１は、照明装置５の単位時間当たりの発光回数、１パルス当たりの発光時間、発光強度などを制御する。例えば、遠い物体を測距対象（被写体）とした長秒露光画像を撮像する場合、遠い物体へ照明が届くように、発光回数を増やしたり、発光時間を延ばしたり、発光強度を強めるように制御する。

逆に、近い物体を測距対象（被写体）とした短秒露光画像を撮像する場合、光電変換後の信号量が飽和しないように発光回数を減らしたり、発光時間を減らしたり、発光強度を弱めるように制御する。
照明光制御部６１により、種々の遠近がある測距対象に対応して、精確な距離の計測が可能である。

シャッタ制御部６２は、メカニカルシャッタ２と撮像素子３に備えられている電子シャッタにより、撮像素子３へ照射される光の量を制御する。シャッタ制御部６２では、長秒露光画像を撮像する場合は、被写体までの距離が遠いことから少ない光量でも取り込めるように絞りを開放する時間を延ばす。逆に、短秒露光画像を撮像する場合は、シャッタ制御部６２は、被写体までの距離が近く光量が多いことから絞りを開放する時間を減らす制御を行う。

また、照明光による反射光以外の光は不要なため、照明光が発光している以外の期間、シャッタ制御部６２は、メカニカルシャッタ２または／および電子シャッタを閉じて撮像素子３へ光が照射されないようにする制御を行うこともできる。
光電変換効率制御部６３は、フレーム単位での撮像素子３での光電変換の効率を制御する。そのため、種々の遠近がある被写体に対して、距離計測が行える。
具体的には、長秒露光画像を撮像する場合は、信号量が少ないために光電変換の効率を上げる。照明装置５からの照明パルス光の数を増加する。

一方、短秒露光画像を撮像する場合は、相対的に信号量が少ないために光電変換効率を下げるように制御する。照明装置５からの照明パルス光の数を減少する。
光電変換量制御部２６は、光電変換手段の撮像素子３での露光の時間を決める露光時間設定手段（照明光制御部６１、シャッタ制御部６２）および／または光電変換手段の撮像素子３での電荷蓄積の時間を決める蓄積時間設定手段（シャッタ制御部６２）を有するので、フレーム単位で光電変換量を制御することで、様々な遠近の環境下で距離測定を行える。

＜照明光検出部２９＞
図１２に示す照明光検出部２９は、加算器９１で、長秒露光画像信号の信号量と利得乗算後の短秒露光画像信号の信号量とを加算器９１にて加算する。
長秒露光画像信号はＳ／Ｎ比が悪い。そこで、照明光検出部２９は、加算した結果に対して、フィルタ９２で帯域制限をかけて照明反射光以外の信号ノイズを除去し、照明反射光の光量を検出する。

そのため、照明光検出部２９は、加算器９１と、加算結果に対して信号の帯域を制限するフィルタ９２とを有している。
加算器９１とフィルタ９２とにより、長秒露光画像信号と短秒露光画像信号とに含まれるノイズを除去できる。
照明光検出部２９は、ノイズを除去した照明反射光の光量を示す信号量を合成比率生成部１０へ供給する。

＜利得生成部７＞
利得生成部７は、光電変換手段の撮像素子３での露光の時間を決める露光時間設定手段（照明光制御部６１、シャッタ制御部６２）で設定された露光時間に応じて信号量の利得を制御する。
また、利得生成部７は、光電変換手段（撮像素子３）での電荷蓄積の時間を決める電荷蓄積時間設定手段（シャッタ制御部６２）で設定された電荷蓄積時間に応じて信号量の利得を制御する。

また、利得生成部７は、照明装置５での照明量に応じて信号量の利得を制御する。
したがって、利得生成部７は、露光時間、電荷蓄積時間、照明装置５での照明量のうちの少なくとも何れかに応じて、利得を決めることができる。利得生成部７は、露光時間、電荷蓄積時間、および照明装置５での照明量に応じた利得を求められる。

＜測距装置２００の全体構成＞
以上まとめると、第二実施形態の測距装置２００は、照明装置５、レンズ１、メカニカルシャッタ２、光を電気信号に変換し電子シャッタの機能を有する撮像素子３（光電変換部）、メモリ４、光電変換量制御部２６、利得生成部７、利得生成部７にて生成された利得を乗算する利得乗算部８、撮像素子３での照明光受光量の分布を検出する照明光検出部２９、照明光検出結果に基づいた合成比率を生成する合成比率生成部１０、合成比率生成部１０にて生成された合成比率に応じて長秒露光画像と短秒露光画像を合成する合成処理部１１、および合成後画像より距離画像を生成する距離画像データ変換部１２を有している。

＜測距装置２００の処理＞
測距装置２００は照明装置５にて被写体に対して、光（パルス光）を照射する。被写体からの反射光は、レンズ１を介して撮像素子３に入射する。そして、メカニカルシャッタ２、撮像素子３に備わる電子シャッタにて撮像素子３へ照射される光の量を制御し、照射された光は撮像素子３で光電変換を行う。
光電変換した信号は、メモリ４と利得生成部７と利得乗算部８に供給される。メモリ４では長秒露光画像を記憶し、次フレームに出力することで、測距装置２００は、次フレームのセンサ出力である短秒露光画像と長秒露光画像とのタイミングを位相０°と位相１８０°で合わせる。

利得生成部７では、長秒露光画像と短秒露光画像の光量と信号量の特性を同じくする利得を生成する。利得乗算部では、タイミングを合わせた後の短秒露光画像へ、生成した利得を乗算する。そして、利得乗算後はｂｉｔ幅を拡張し、これ以降は拡張後のｂｉｔで演算する。これにより、従来の特開平０７－１３１７０８号公報のように圧縮することなく、ダイナミックレンジを広くできる。

利得乗算後の長秒露光画像と短秒露光画像は合成処理部１１と照明光検出部２９へ供給する。照明光検出部２９では長秒露光画像と短秒露光画像とを加算器９１にて加算する。そして、フィルタ９２により帯域制限をかけて照明光（照明パルス光の反射光）以外のノイズを除去し、照明光（照明パルス光の反射光）の光量を検出する。照明光検出部２９にて検出した照明光の光量は、合成比率生成部１０に供給される。

合成比率生成部１０では、図１０に示すように、長秒露光画像と短秒露光画像を合成後に、線形性を保つような合成比率を照明光（照明パルス光の反射光）の光量を用いて生成する。合成比率生成部１０にて生成された合成比率を用いて、合成処理部１１にて長秒露光画像と短秒露光画像を合成し、拡張したｂｉｔのまま、合成後画像データを距離画像データ変換部１２（図１２参照）へ供給する。距離画像データ変換部１２では、合成後画像データを距離画像へ変換し出力する。

第二実施形態の測距装置２００は、利得生成部７にて、長秒露光画像と短秒露光画像の光量と信号量の特性を同じくする利得を生成する。利得生成部７にて光電変換手段（撮像素子３）での露光の時間を決める露光時間設定手段（照明光制御部６１、シャッタ制御部６２）で設定された露光時間に応じて信号量の利得を制御するので、様々な露光時間での利得生成が可能である。また、利得生成部７にて、電荷蓄積時間、照明装置５での照明量の少なくとも何れかで利得生成が可能である。そのため、種々の条件変化に対応した利得生成が可能である。

そして、利得を利得乗算部８で短秒露光画像に乗算することで、図６に示すように、長秒露光画像と短秒露光画像の光量と信号量の特性を同じ特性とすることができる。これにより、同じ特性の長秒露光画像と短秒露光画像を合成することができるため、合成後も特性の線形性を保つことができる。そのため、合成後画像データを用いて、精確な距離測定を行える。

また、光量と信号量の特性において、画素の光電変換後の信号量が飽和する付近などでは、図９に示すように、長秒露光画像はその特性の線形性を失う。しかし、第二実施形態の測距装置２００は、照明光検出部２９にて、照明光を検出し、その結果を用いて、合成比率生成部１０にて、長秒露光画像と短秒露光画像を合成する際に、図１０に示すように、信号飽和付近でも線形性を保つような合成比率を生成する。そして、合成処理部１１にて、生成した合成比率で長秒露光画像と短秒露光画像を合成する。これにより、図１０に示すように、合成後画像データの光量と信号量の特性を線形に保つことができる。そのため、合成後の画像データを用いて、精確な距離測定をすることができる。

合成後画像データは、撮像素子３の出力時のｂｉｔ幅以上のデータを持っている。そこで、ｂｉｔ拡張を行う。
もし、本第一・第二実施形態（本発明）と異なり、ｂｉｔ拡張を行わずデータの圧縮などしてしまうと、特性の線形性が失われてしまい精確な距離測定ができなくなる。従来の特開平０７－１３１７０８号公報では、ｂｉｔを拡張を行わず、明るい領域を圧縮しており、距離計測を行う場合に生じる測定誤差に関しては十分考慮されていない。

そこで、第一・第二実施形態（本発明）では圧縮などせず、線形特性を保つようにｂｉｔ拡張した合成後画像データを出力し、距離測定には合成後画像データを使用する。第一・第二実施形態（本発明）では、利得乗算後のデータはｂｉｔ拡張を行うことから、ダイナミックレンジが広い距離計測が行える。
これにより、「遠くの物体」と「近くの物体」が存在する環境で、遠近どちらの対象に関しても、距離画像生成前の画像データから、精確な距離測定をすることができる。

なお、第一・第二実施形態等で説明した各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

＜＜その他の実施形態＞＞
１．なお、本発明は上記した第一・第二実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

３ 撮像素子（光電変換手段）
３ａ、３ｂ 信号線（信号出力手段）
４ メモリ（光電変換手段、信号出力手段）
５ 照明装置（照明手段）
６、２６ 光電変換量制御部（光電変換量制御手段）
７ 利得生成部（利得可変手段、利得制御手段）
８ 利得乗算部
９、２９ 照明光検出部（照明光検出手段）
１０ 合成比率生成部（合成比率変更手段）
１１ 合成処理部（信号合成手段）
１２ 距離画像データ変換部
６１ 照明光制御部（露光時間設定手段、照明光制御手段）
６２ シャッタ制御部（露光時間設定手段、蓄積時間設定手段）
６３ 光電変換効率制御部（光電変換効率設定手段）
９１ 加算器（加算手段）
９２ フィルタ（帯域制限手段）
１００、２００ 測距装置（距離画像生成装置）

Claims (13)

1. パルス光を発光する照明手段と、
   前記パルス光が被写体で反射した反射光の光量を信号量に変換する光電変換手段と、
   遠くを撮像するために光電変換手段に入射する光量を多くして撮像した長秒露光画像と、近くを撮像するために信号量が飽和しないよう前記光電変換手段に入射する光量を少なくして撮像した短秒露光画像とを記憶するメモリと、
   前記光電変換手段が前記反射光の光量を信号量に変換する光電変換量を、前記照明手段の照明強度、前記光電変換手段へ照射される光量、および／または前記光電変換手段における光電変換効率を用いて制御する光電変換量制御手段と、
   前記光電変換手段での前記光電変換量に応じて、前記光電変換手段の前記長秒露光画像の光量に対する信号量の特性と、前記短秒露光画像の光量に対する信号量の特性とが同じくなるように信号利得を変える利得可変手段と、
   利得乗算後の長秒露光画像信号と短秒露光画像信号を用いて、照明光の光量を検出する照明光検出手段と、
   前記照明光検出手段が検出した照明光の光量をもとに、前記メモリに記憶した前記長秒露光画像のデータと前記短秒露光画像のデータとの合成量の割合の合成比率を生成する合成比率生成部と、
   前記合成比率生成部が生成した前記合成比率を用いて、合成前の光量と信号量の特性の線形性を保つよう前記長秒露光画像のデータと前記短秒露光画像のデータを合成するとともに、前記パルス光と同位相で露光した前記長秒露光画像のデータと前記短秒露光画像のデータを合成して第１蓄積電荷量を求め、前記パルス光と逆位相で露光した前記長秒露光画像のデータと前記短秒露光画像のデータを合成して第２蓄積電荷量を求め、前記第１蓄積電荷量および前記第２蓄積電荷量をもとに、合成後画像を生成する信号合成手段と、
   前記信号合成手段の前記合成後画像を用いて、撮影対象までの距離画像を生成する距離画像データ変換手段と、を備える
   ことを特徴とする距離画像生成装置。
2. パルス光を発光する照明手段と、
   前記パルス光が被写体で反射した反射光の光量を信号量に変換する光電変換手段と、
   遠くを撮像するために光電変換手段に入射する光量を多くして撮像した長秒露光画像と、近くを撮像するために信号量が飽和しないよう前記光電変換手段に入射する光量を少なくして撮像した短秒露光画像とを記憶するメモリと、
   前記光電変換手段が前記反射光の光量を信号量に変換する光電変換量を、前記照明手段の照明強度、前記光電変換手段へ照射される光量、および／または前記光電変換手段における光電変換効率を用いて制御する光電変換量制御手段と、
   前記光電変換手段での前記光電変換量に応じて、前記光電変換手段の前記長秒露光画像の光量に対する信号量の特性と、前記短秒露光画像の光量に対する信号量の特性とが同じくなるように信号利得を変える利得可変手段と、
   利得乗算後の長秒露光画像信号と短秒露光画像信号を用いて、照明光の光量を検出する照明光検出手段と、
   前記照明光検出手段が検出した照明光の光量をもとに、前記メモリに記憶した前記長秒露光画像のデータと前記短秒露光画像のデータとの合成量の割合の合成比率を生成する合成比率生成部と、
   前記合成比率生成部が生成した前記合成比率を用いて、合成前の光量と信号量の特性の線形性を保つよう前記長秒露光画像のデータと前記短秒露光画像のデータを合成するとともに、前記パルス光と同位相で露光した前記長秒露光画像のデータと前記短秒露光画像のデータを合成して第１蓄積電荷量を求め、前記パルス光と逆位相で露光した前記長秒露光画像のデータと前記短秒露光画像のデータを合成して第２蓄積電荷量を求め、前記第１蓄積電荷量および前記第２蓄積電荷量をもとに、合成後画像を生成する信号合成手段と、
   前記信号合成手段の前記合成後画像を用いて、撮影対象までの距離画像を生成する距離画像データ変換手段と、を有し、
   前記利得可変手段は、前記光電変換量制御手段での制御量に応じて前記信号利得を決め、
   前記信号合成手段は、前記照明光検出手段での検出結果に基づき、複数の信号量の合成量を決める
   ことを特徴とする距離画像生成装置。
3. 請求項１または請求項２記載の距離画像生成装置において、
   前記光電変換手段は、光電変換素子で光電変換した信号量を読み出すための信号出力手段を有して構成され、
   前記光電変換素子に複数の信号読出手段を接続した構成を有する
   ことを特徴とする距離画像生成装置。
4. 請求項１または請求項２記載の距離画像生成装置において、
   前記光電変換手段は、光電変換素子と前記光電変換素子で光電変換した信号量を読み出すための信号出力手段とを有して構成され、
   前記光電変換素子で変換された信号を前記信号出力手段で異なる複数のタイミングで読み出す
   ことを特徴とする距離画像生成装置。
5. 請求項１または請求項２記載の距離画像生成装置において、
   前記光電変換量制御手段は、
   前記光電変換手段での露光の時間を決める露光時間設定手段、または、前記光電変換手段での電荷蓄積の時間を決める電荷蓄積時間設定手段を有し、フレーム単位で光電変換量を制御する
   ことを特徴とする距離画像生成装置。
6. 請求項１または請求項２記載の距離画像生成装置において、
   前記光電変換量制御手段は、
   前記光電変換手段での光電変換効率を決める光電変換効率設定手段を有し、フレーム単位で光電変換量を制御する
   ことを特徴とする距離画像生成装置。
7. 請求項１または請求項２記載の距離画像生成装置において、
   前記光電変換量制御手段は、前記照明手段での照明量を変える照明光制御手段を有し、
   フレーム単位で光電変換量を制御する
   ことを特徴とする距離画像生成装置。
8. 請求項１または請求項２記載の距離画像生成装置において、
   前記利得可変手段は、
   前記光電変換手段での露光の時間を決める露光時間設定手段で設定された露光時間、または、前記光電変換手段での電荷蓄積の時間を決める電荷蓄積時間設定手段で設定された電荷蓄積時間、または、前記照明手段での照明量に応じて信号の利得を制御する利得制御手段を有する
   ことを特徴とする距離画像生成装置。
9. 請求項１または請求項２記載の距離画像生成装置において、
   前記信号合成手段は、
   前記照明光検出手段での検出結果に基づき、受光の画素単位、或いは、受光の領域単位で信号の合成比率を変更する合成比率変更手段を有する
   ことを特徴とする距離画像生成装置。
10. 請求項１または請求項２記載の距離画像生成装置において、
    前記信号合成手段は、
    前記照明光検出手段での検出結果に基づき、受光の画素単位、或いは、受光の領域単位で信号の合成比率を変更する合成比率変更手段を有し、前記利得可変手段で異なる利得で信号量を制御した信号を合成する
    ことを特徴とする距離画像生成装置。
11. 請求項１または請求項２記載の距離画像生成装置において、
    前記照明光検出手段は、
    前記光電変換量制御手段により光電変換量を制御されて得られた複数の異なる制御量のデータを加算する加算手段と、該加算手段の結果に信号の帯域を制限する帯域制限手段とを有する
    ことを特徴とする距離画像生成装置。
12. 請求項１または請求項２記載の距離画像生成装置において、
    前記信号合成手段は、合成比率変更手段により同じ閾値を設定して生成した同じ光量－信号量の特性を用いて得られる合成比率で、異なる露光タイミングで撮像した画像ごとに合成を行う
    ことを特徴とする距離画像生成装置。
13. 請求項１または請求項２記載の距離画像生成装置において、
    前記照明光検出手段での検出結果に対して、前記照明光検出手段の光量－信号量の特性が線形となるような閾値を用いて、複数の信号量の合成比率を変更する変更手段と外部より前記閾値を設定する閾値設定手段とを有する合成比率変更手段を備えている
    ことを特徴とする距離画像生成装置。

Images