JP5448617B2 - 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ - Google Patents
距離推定装置、距離推定方法、プログラム、集積回路およびカメラ Download PDFInfo
- Publication number
- JP5448617B2 JP5448617B2 JP2009167810A JP2009167810A JP5448617B2 JP 5448617 B2 JP5448617 B2 JP 5448617B2 JP 2009167810 A JP2009167810 A JP 2009167810A JP 2009167810 A JP2009167810 A JP 2009167810A JP 5448617 B2 JP5448617 B2 JP 5448617B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- light
- image
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
Description
これに対して、TOF法を用いて空間の3次元計測を行う場合、三角測定法のようなレーザービーム走査を行う必要がない。このため、TOF法による空間の3次元計測では、テレビ画像(撮像画像)の画素単位で被写体までの距離(撮像装置から被写体までの距離)を高速に検出でき、また、距離測定範囲も比較的広く設定することができる(距離測定範囲を約3m以上に設定することができる)。さらに、TOF法による空間の3次元計測では、レーザ光源の代わりに、LED光源を使用できるため、人物も安全に撮影することができる。このような利点より、TOF法による3次元計測技術について、種々の方法が報告されるとともに、距離センサとして製品化された例も報告されている。
位相TOF方式は、主に強度変調された光線を、測定対象に照射して、対象物からの反射光を検出して光電子変換を行い、変換された光電子を複数の蓄積部のいずれかに時間的にずらして蓄積し、これらの蓄積部に蓄積された光電子数に応じて距離情報を生成する方式である。
位相TOF方式では、(数式1)におけるΔtの代わりに、位相量Δφを用いて距離の測定を行う。位相TOF方式では、最大検出距離Lmaxは、位相量Δφが2πとなる場合(ΔtでいえばT:変調強度の1周期時間)に相当し、次式を用いて求められる。つまり、最大検出距離Lmaxは、測定光線の変調周波数fに依存し、次式によって決定される。
現状では、位相TOF方式に類する方式を用いて空間の3次元計測を実行する技術が多く存在する(例えば、特許文献1、2参照)。以下、位相TOF方式を利用した従来の距離推定装置(従来例1および従来例2)について説明する。
まず、従来例1(特許文献1の技術)について、説明する。
図18は、従来例1の距離推定装置900の構成を示すブロック図である。距離推定装置900は、振幅変調された照明光S906で被写体OBJ1を照明することが可能な投光部902と、撮像利得を時間とともに変化させて被写体からの反射光S907を受光し、被写体の光学像を撮像することが可能な撮像部903と、を備える。また、距離推定装置900は、撮像部903からの映像信号S904を立体情報信号S905に変換するための信号処理部904と、照明光変調信号S901、撮像利得変調信号S902、制御信号S903aおよびS903bを発生するための信号発生部901と、を備える。
図19に示すように、距離推定装置900では、高速に光強度が変調された赤外光を被写体に照射し、被写体からの反射光を超高速シャッターで撮影する。
図19の上側部分(図19のEx901)に模式的に示すように、距離推定装置900は、時間が経過するにつれ光強度が減少するように変調された照明光(測定光線)(例えば、図19においてtr1で示す期間において光強度変調された照明光)を被写体O1およびO2に対して照射する。そして、距離推定装置900は、被写体O1およびO2からの反射光を、距離推定装置900において、所定のシャッタータイミングおよびシャッター時間(図19にts1として示したシャッター時間)において取得し、撮像画像に変換する。被写体O1およびO2からの反射光は、光強度が時間に対して減少するように変調されているので、距離推定装置(カメラ)900に近い被写体O1からの反射光の光強度は大きく、距離推定装置900から遠い被写体O2からの反射光の光強度は小さい。照明光は、光強度が時間に対して減少するように変調されているので、光の飛行時間(距離推定装置900から照射された光が被写体O1で反射し、距離推定装置900に戻ってくるまでの時間)が短い被写体O1からの反射光の光強度は大きく(光強度の減少量が小さく)、光の飛行時間が長い被写体O2からの反射光の光強度は小さい(光強度の減少量が大きい)。
そこで、距離推定装置900では、これらの影響を補正するために、以下の処理を行う。
図19の下側部分(図19のEx902)に模式的に示すように、距離推定装置900は、時間が経過するにつれ光強度が増加するように変調された照明光(測定光線)(例えば、図19においてtr2で示す期間において光強度変調された照明光)を被写体O1およびO2に対して照射する。そして、距離推定装置900は、被写体O1およびO2からの反射光を、距離推定装置900において、所定のシャッタータイミングおよびシャッター時間(図19にts2で示したシャッター時間)において取得し、撮像画像に変換する。被写体O1およびO2からの反射光は、光強度が時間に対して増加するように変調されているので、距離推定装置(カメラ)900に近い被写体O1からの反射光の光強度は小さく、距離推定装置900から遠い被写体O2からの反射光の光強度は大きい。
距離推定装置900では、このように、撮影された2枚の画像の除算によりTOFを求めることができるため、理論的には、赤外光の拡散、被写体の反射率、反射方向の向きあるいは背景光の影響をキャンセルすることができる。しかし、距離推定装置900では、被写体からの反射光の光強度をある程度確保する必要があるため、複数の発光ダイオードからなる発光ダイオードアレイによる光源等を用いる必要があり、装置の構成が大きくなるという欠点がある。
次に、従来例2(特許文献2の技術)について、説明する。
図20は、従来例2の距離推定装置950の構成を示すブロック図である。距離推定装置950は、対象空間に照明光S9511を照射する発光源951と、対象空間からの光を受光し受光光量を反映した出力値の電気信号を出力する光検出素子952と、発光源951および光検出素子952を制御する制御回路部953と、光検出素子952からの出力に対して画像生成処理を行う画像生成部954と、を備える。また、距離推定装置950は、受光光学系955を備える。光検出素子952は、図20に示すように、複数の感光部9521、複数の感度制御部9522、複数の電荷集積部9523および電荷取出部9524を有している。
光検出素子952に設けた各感光部9521は、制御回路部953によって対象空間からの光を受光する受光期間が制御される。各感光部9521では、変調信号の異なる位相に同期した受光期間に受光する。光検出素子952からは変調信号の1周期以上の期間である検出期間ごとに集積した電荷が画像生成部954に与えられ、画像生成部954は、複数の検出期間の電荷量を受光期間別に積算した電荷量を用いて距離を求める。
従来例2の距離推定装置950では、正弦波y(t)=a×sin(2πt/T)+bに光強度変調された赤外光(照明波)の変調周期に同期させて、所定のタイミングで受光信号(反射波)をサンプリングすることにより、受光信号の位相量を導出するものである。つまり、従来例2の距離推定装置950では、変調周期1周期あたり4点(例えば、図21のA0点,A1点,A2点,A3点の4点)のサンプリングを行い、(数式4)を用いて、位相シフト量Ψを導出する。
(1)LED(照明光の発光源)の発光量を大きくする。
(2)電荷の検出期間(1周期以上)を長くして、撮像素子の各画素において確保される光電荷量を増やす。
これらの対応策を行った場合、撮像素子の各画素の蓄積電荷量は大きくなる。この場合、ショットノイズも上記で説明した原理に基づき増えるが、電荷量Ns(被写体からの反射光を光電変換して取得される電荷量(信号成分の電荷量))とショットノイズSsとの比率SN=Ns/Ssは、電荷量Nsが大きいほど大きくなる。
さらに、撮像素子(CCD等)の各画素での電荷蓄積期間を延ばした場合、定常ノイズ成分が大きくなる。このため、各画素において電荷蓄積された電荷量のS/N比は低くなり、多量のノイズ成分の中に微小量の信号成分(電荷量Nsに相当)が存在することとなる。
光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。色分解部は、受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する。受光素子部は、色分解部により分離された第1光成分の光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、第1の画素数を持つ距離画像を生成する。撮像素子部は、色分解部により分離された第2光成分の光を画像生成用電荷信号に変換する。高解像度画像生成部は、撮像素子部により変換された画像生成用電荷信号に基づいて第1の画素数より多い画素数の高解像度画像を生成する。輪郭情報抽出部は、高解像度生成部により生成された高解像度画像から輪郭情報を抽出する。距離画像補正部は、距離画像の注目画素の距離情報を、距離画像において注目画素の周辺に存在する画素である周辺画素および輪郭情報抽出部により抽出された輪郭情報に基づいて、補正する。
第2の発明は、第1の発明であって、距離画像補正部は、距離画像の注目画素に相当する高解像度画像の画像領域内に輪郭情報がある場合、距離画像中の輪郭情報がある位置情報Pos(x,y)を特定し、位置情報Pos(x,y)と周辺画素との位置関係に基づき周辺画素の距離情報に重み付けを行い、さらに、重み付けをした周辺画素の距離情報を用いて、位置情報Pos(x,y)の距離情報を算出し、算出した位置情報Pos(x,y)の距離情報を、注目画素の距離情報に置換することによって、距離画像の注目画素の距離情報を補正する。
したがって、この距離推定装置では、受光素子部の撮像素子(距離推定用の撮像素子)の画素数を増やすことなく、高精度の距離画像(距離情報)を取得することができる。
第4の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、光源と、発光源制御部と、受光光学系と、色分解部と、受光素子部と、電荷集積部と、信号演算部と、距離画像生成部と、距離画像記憶部と、撮像素子部と、高解像度画像生成部と、高解像度画像記憶部と、ベクトル検出部と、距離画像補正部と、を備える。
なお、「所定の単位時刻」とは、例えば、フレーム単位で動きベクトルの検出処理を行う場合、1フレームに相当する時間のことをいう。また、フレーム単位で動きベクトルの検出処理を行う場合、「Img_color(t)」は、時刻tでのフレーム画像を意味し、「Img_color(t−α)」は、時刻tからαフレーム時間前のフレーム画像を意味する(距離画像についても同様)。
光源は、光強度変調可能な光を照射する。発光源制御部は、光源を制御する。受光光学系は、対象物からの光を集光する。受光素子部は、受光光学系により受光した光を電荷に変換する。電荷集積部は、受光素子部で取得された電荷を集積し、電荷信号を取得する。信号演算部は、電荷信号に基づいて、距離情報を算出する。距離画像生成部は、距離情報に基づいて、距離画像を生成する。距離信頼度算出部は、少なくとも距離情報および電荷信号のいずれか一方に基づいて、距離画像の各画素の信頼度を算出する。距離画像補正部は、距離信頼度算出部により算出された信頼度に基づいて、距離画像の注目画素の距離情報を、距離画像において注目画素の周辺に存在する画素である周辺画素の距離情報を用いて補正する。
第7の発明は、第5または第6の発明であって、信頼度算出部は、注目画素に対応する電荷信号の振幅値が小さいほど、信頼度の値が小さくなるように、信頼度を算出する。
第8の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、受光素子部において取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える、距離推定装置に用いられる距離推定方法である。そして、当該距離推定方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、高解像度画像生成ステップと、輪郭情報抽出ステップと、距離画像補正ステップと、を備える。
第9の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる距離推定方法である。この距離推定方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、距離画像記憶ステップと、高解像度画像生成ステップと、高解像度画像記憶ステップと、動きベクトル検出ステップと、距離画像補正ステップと、を備える。発光源制御ステップでは、光源を制御する。信号演算ステップでは、電荷信号に基づいて、距離情報を算出する。距離画像生成ステップでは、距離情報に基づいて、第1の画素数を持つ距離画像を生成する。距離画像記憶ステップでは、距離画像を記憶する。高解像度画像生成ステップでは、撮像素子部により変換された画像生成用電荷信号に基づいて第1の画素数より多い画素数の高解像度画像を生成する。高解像度画像記憶ステップでは、高解像度画像を記憶する。動きベクトル検出ステップでは、高解像度画像生成ステップにより、所定の単位時刻tに取得された高解像度画像Img_color(t)と、高解像度画像記憶ステップで記憶された所定の単位時刻tより前の時刻(t−α)に取得された高解像度画像Img_color(t−α)と、を比較することにより動きベクトルを検出する。距離画像補正ステップは、距離画像生成ステップにより、所定の単位時刻tに取得された距離画像Img_distance(t)と、距離画像記憶ステップで記憶された所定の単位時刻tより前の時刻(t−α)に取得された距離画像Img_distance(t−α)と、動きベクトル検出ステップにより検出された動きベクトルに基づいて、距離画像の注目画素の距離情報を補正する。
第10の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系により受光した光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、を備える距離推定装置に用いられる距離推定方法である。この距離推定装置方法は、発光源制御ステップと、信号演算ステップと、距離画像生成ステップと、距離信頼度算出ステップと、距離画像補正ステップと、を備える。
第11の発明は、第8の発明の距離推定方法を、コンピュータに実行させるプログラムである。
これにより、第1の発明と同様の効果を奏するプログラムを実現することができる。
第12の発明は、第9の発明の距離推定方法を、コンピュータに実行させるプログラムである。
第13の発明は、第10の発明の距離推定方法を、コンピュータに実行させるプログラムである。
これにより、第5の発明と同様の効果を奏するプログラムを実現することができる。
第14の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、高解像度画像生成部と、輪郭情報抽出部と、距離画像補正部と、を備える。
第15の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、距離画像記憶部と、高解像度画像生成部と、高解像度画像記憶部と、ベクトル検出部と、距離画像補正部と、を備える。
第16の発明は、光強度変調された光を対象物に照射し、対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、光強度変調可能な光を照射する光源と、対象物からの光を集光する受光光学系と、受光光学系により受光した光を電荷に変換する受光素子部と、受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、を備える距離推定装置に用いられる集積回路である。この集積回路は、発光源制御部と、信号演算部と、距離画像生成部と、距離信頼度算出部と、距離画像補正部と、を備える。
第17の発明は、第1から第7のいずれかの発明である距離推定装置を含むカメラである。
これにより、第1〜第7の発明と同様の効果を奏する距離測定装置を搭載したカメラを実現することができる。
また、第17の発明のカメラにおいて、撮像画像は、カメラに含まれる距離測定装置の高解像度画像生成部により生成される高解像度画像を用いるものであってもよいし、距離測定装置とは別に、撮像素子をさらに追加し、追加した当該撮像素子から撮像画像を取得するものであってもよい。
第1実施形態では、所定の発光周波数(光(電磁波)の周波数)を持つ光を照射できる光源から距離推定用照明光を対象物に対して照射し、距離推定用照射光の反射光を受光し、距離推定装置から対象物までの距離情報を取得し、取得した距離情報に基づいて距離画像データを生成し、距離推定用照射光の反射光と同期して得られる可視光成分より得られたカラー画像の輪郭情報を抽出し、抽出した輪郭情報に基づいて、距離画像上の対応部分において周囲の距離情報より、距離画像上の対応部分の距離情報を補正することによって距離推定を行う装置および方法について説明する。
図1から図5Bを用いて、本発明の第1実施形態について、説明する。
図1は、本発明の第1実施形態に係る距離推定装置100の概略構成図である。
また、図2は、本発明の第1実施形態に係る距離推定装置100内の最適距離情報取得部7の概略構成図である。
図4は、第1実施形態に係る距離推定方法の処理フローチャートを示す図である。
また、図5Aと図5Bは、第1実施形態に係る距離推定方法における第2の画像補間方法の概要(第1変形例および第2変形例)を模式的に示した図である。
図1に示すように、距離推定装置100は、光強度変調可能な発光源10と、発光源10の発光制御を行う発光源制御部9と、被写体(対象物)からの光を集光する受光光学系1と、受光光学系1で受光した光を可視光成分の光と赤外光成分(距離測定用の光成分)の光に分離する色分解プリズム11と、色分解プリズム11で分離された赤外光成分の光を光電変換する素子(撮像素子)を有する受光素子部2と、受光素子部2で変換された電荷を集積し、電荷信号として出力する電荷集積部3と、画像生成部6で生成された距離画像を記憶・保持する距離画像保持メモリ部8と、を備える。また、距離推定装置100は、色分解プリズム11で分離された可視光成分の光を光電変換し画像用電荷信号を取得する撮像素子部12と、撮像素子部12により取得された画像用電荷信号に基づいて画像を生成するカラー画像生成部13と、カラー画像生成部13により生成された画像から輪郭情報を抽出する輪郭情報抽出部14と、を備える。また、距離推定装置100は、輪郭情報抽出部14により抽出された輪郭情報に基づいて、距離画像保持メモリ部8に記憶・保持されている距離情報から最適距離情報を取得する最適距離情報取得部7と、最適距離情報取得部7により取得された最適距離情報に基づき、最適距離画像を生成する最適距離画像生成部15と、を備える。
発光源制御部9は、発光源10の発光制御を行う。また、発光源制御部9は、制御部4から出力される光強度変調制御信号に基づいて、発光源10から発光される照明光S1の光強度変調を行う。
色分解プリズム11は、光(電磁波)の周波数に基づき、その光路を分離する(その光成分を分離する)光学プリズムであり、距離推定装置100では、受光光学系1で集光された反射光S2を、距離推定用赤外光成分とカラー画像用可視光成分とに分離する。そして、色分解プリズム11で分離された距離推定用赤外光成分の光(電磁波)は、受光素子部2に入射される。また、色分解プリズム11で分離されたカラー画像用可視光成分の光(電磁波)は、撮像素子部12に入射される。
信号演算部5は、電荷集積部3から出力される電荷信号Diに対して、例えば、(数式4)の処理を行い、距離情報Liを算出する。なお、受光素子部2の撮像素子の画素iに対応する電荷信号Diとし、画素iに対応する距離情報をLiと表記することとする。信号演算部5は、算出した距離情報Liを画像生成部6に出力する。
画像生成部6は、信号演算部5により算出された距離情報Liを入力とし、距離情報Liに基づいて、距離画像を生成する。ここで、「距離画像」とは、受光素子部2の撮像素子の画素iに対応させた2次元画像であり、距離画像上の画素iに対応する位置の値は、画素iに相当する距離情報を表す値となっている。つまり、距離画像上の画素iに対応する位置の値は、画素iに対応する撮像対象空間内の対象物と距離推定装置100との距離を表す値となっている。この値は、必ずしも、当該距離の値そのものである必要はなく、当該距離と相関のある値であってもよい。
撮像素子部12は、複数の画素からなる撮像素子を有しており、各画素は、フォトダイオード等の光電変換素子を含んでいる。撮像素子部12では、各画素において、光電変換された受光光量に応じた電荷が取得・蓄積される。そして、撮像素子部12は、蓄積した電荷をカラー画像生成部13に出力する。なお、撮像素子部12として、例えば、CCD型イメージセンサあるいはCMOS型イメージセンサを用いるとよい。
輪郭情報抽出部14は、カラー画像生成部13により生成されたカラー画像信号から輪郭画素抽出を行い、輪郭情報を取得(抽出)する。そして、輪郭情報抽出部14は、抽出した輪郭情報を最適距離情報取得部7に出力する。
輪郭判定部71は、輪郭情報抽出部14から出力される輪郭情報と、画像生成部6から出力される注目画素の画素位置情報を入力とし、輪郭情報に基づいて注目画素内に輪郭があるか否かを検出する。具体的には、輪郭判定部71は、カラー画像生成部13により生成されたカラー画像信号より形成される画像上において、距離画像における注目画素に相当する画像領域に輪郭があるか否かを検出する。そして、輪郭判定部71は、距離画像における注目画素に相当する画像領域に輪郭があると判断した場合、輪郭判定結果を「1」として出力し、距離画像における注目画素に相当する画像領域に輪郭がないと判断した場合、輪郭判定結果を「0」として出力する。輪郭判定部71は、輪郭判定結果を補間位置算出部72および切換器75に出力する。なお、輪郭判定結果は、周囲距離情報検出部73および距離情報補間値算出部74に出力するようにしてもよい。
距離情報補間値算出部74は、補間位置算出部72から出力される輪郭画素位置情報と、周囲距離情報検出部73から出力される補間値算出用周囲距離情報と、を入力とする。距離情報補間値算出部74は、輪郭画素位置情報および補間値算出用周囲距離情報に基づいて、補間距離情報Li’を算出する。そして、距離情報補間値算出部74は、補間距離情報Li’を切換器75に出力する。
最適距離画像生成部15は、最適距離情報取得部7から出力される最適距離情報を入力とし、最適距離情報に基づいて最適距離画像を生成する。そして、最適距離画像生成部15は、生成した最適距離画像を出力する。
以上のように構成された距離推定装置100の動作および距離推定装置100において実行される距離推定方法について、図1から図5を用いて、説明する。
距離推定装置100において、
まず、発光源制御部9により、発光源10を発光させた状態にする。その状態で、対象物体OBJ10からの光を、受光光学系1に入射させる。
受光素子部2では、各画素において、距離推定用赤外光成分の光が光電変換され、電荷として取得される。
受光素子部2において取得された電荷は、電荷集積部により集積され、電荷信号Diとして信号演算部5に出力される。具体的には、制御部4からの指令に従い、光強度変調制御信号に基づいて光強度変調させた照明光S1の変調周期に同期した所定のタイミングにおいて電荷集積部3に集積された電荷量が取得され、電荷信号Diとして、信号演算部5に出力される。なお、ここでの「所定のタイミング」は、例えば、光強度変調制御信号に基づいて光強度変調させた照明光S1の変調周期の1周期あたり4点(例えば、上記(数式4)のA0点〜A4点の4点に相当。)をサンプリングすることに相当するタイミングである。以下では、説明便宜のため、照明光S1の変調周期1周期あたりのサンプリング数が4点である場合について説明する。
信号演算部5により取得された距離情報Liは、画像生成部6に出力される。
まとめると、距離推定装置100では、反射光S2を受光素子部2において受け、受光素子部2および電荷集積部3により変換・集積された電荷信号Diを、制御部4で制御して、信号演算部5により、対応する画素iの距離情報値Liに変換する。
一方、色分解プリズム11で分離されたカラー画像用可視光成分の光は、撮像素子部12により受光・集積されて、カラー画像生成部13でカラー画像信号(画像データ)に変換される。そして、カラー画像生成部13で取得されたカラー画像信号は、輪郭情報抽出部14に出力される。
stv(ij)=(xd(i,j)×xd(i,j)+yd(i,j)×yd(i,j))^0.5
を用いて求める。
以上より、距離推定装置100では、受光素子部2の撮像素子の画素数が、撮像素子部12の撮像素子の画素数よりも少ないものとして、以下、説明する。
図3Aのカラー画像Img_colorは、カラー画像生成部13により生成されたカラー画像信号により形成される画像において、輪郭情報抽出部14により抽出された輪郭情報を示している。また、図3Aのカラー画像Img_color中のブロックは、距離画像1画素に相当する画像領域を示している。具体的には、カラー画像Img_color中の画像領域blk1は、距離画像の1画素に対応する画像領域を示している。そして、画像領域blk1内には、カラー画像の画素が複数存在している。つまり、カラー画像の画素数の方が、距離画像の画素数よりも多い。言い換えると、カラー画像の画素の大きさは、距離画像の画素の大きさよりも小さい。
(1.2.1:距離画像の注目画素内に輪郭情報がある場合の処理)
まず、距離画像の注目画素内に輪郭情報がある場合の処理について説明する。
注目画素がP5である場合、輪郭判定部71は、注目画素P5の画素位置情報と、注目画素P5に相当するカラー画像の画像領域内の輪郭情報E(i,j)と、に基づいて、注目画素P5内に輪郭情報があるか否か(すなわち、輪郭があるか否か)を判断する。この場合、注目画素P5内には、輪郭情報があるので、輪郭判定部71は、輪郭判定結果を「1」にして出力する。
そして、周囲距離情報検出部73では、距離画像Img_distance内の注目画素P5に隣接する画素P1、P2、P3、P4、P6、P7、P8、P9を用いて、注目画素P5の4隅に相当する距離情報L1d、L3d、L7dおよびL9dを求める。これについて、具体的に、図3Aの領域R1の場合を例に、説明する。
同様に、注目画素P5の右上隅の距離情報L3d、左下隅の距離情報L7dおよび右下隅の距離情報L9dを、(数式8)を用いて求める。
図3Aに示すように、注目画素端Pos(L1d)とPos(L7d)を結ぶ垂線から補間位置(輪郭情報の画素位置)Pedg(s,t)までの水平方向距離をbとし、Pos(L1d)とPos(L3d)を結ぶ水平線からPedg(s,t)までの垂直方向距離をaとした場合、Pedg(s,t)における補間値L’は、(数式9)のように求めることができる。なお、a,bともに距離受光用素子画素間を「1」に正規化した場合の値となる。したがって、0≦a≦1、0≦b≦1である。また、Pos(L1d)、Pos(L3d)、Pos(L7d)およびPos(L9d)は、注目画素P5の4隅の画像上の位置を表すものとする。
距離情報補間値算出部74により求められた補間距離情報L’は、切換器75に出力される。
(1.2.2:距離画像の注目画素内に輪郭情報がない場合の処理)
次に、距離画像の注目画素内に輪郭情報がない場合の処理について説明する。
注目画素がP10である場合、輪郭判定部71は、注目画素P10の画素位置情報と、注目画素P10に相当するカラー画像の画像領域内の輪郭情報E(i,j)と、に基づいて、注目画素P10内に輪郭情報があるか否か(すなわち、輪郭があるか否か)を判断する。この場合、注目画素P10内には、輪郭情報がないので、輪郭判定部71は、輪郭判定結果を「0」にして出力する。
以上のように、最適距離情報取得部7により求めた最適距離情報Lbestは、最適距離画像生成部15に出力される。
このように、距離推定装置100では、距離画像の注目画素内(距離画像の注目画素に対応するカラー画像内の画像領域)に輪郭(カラー画像から検出される輪郭)があるか否かを判定し、輪郭画像がある場合、当該距離画像の注目画素の距離情報を、その注目画素の周囲の距離情報を用いた補間値にすげ替えることで、部分的に距離画像の解像度向上を実現することができる。つまり、距離画像の解像度が低いことにより、中間の距離情報を表現することができないという欠点を、距離推定装置100では、上記の処理を行うことによって補うことができる。特に、距離画像の注目画素内に輪郭(エッジ)が存在する部分では、当該注目画素の距離情報の精度が悪くなっている可能性が高く、距離推定装置100では、上記の処理により、このような場合であっても一定の距離推定精度を維持することができる。
なお、図3Aでは、2次元線形補間により、距離情報補間値算出部74で補間距離情報L’を算出したが、以下のようにして、補間距離情報L’を算出するようにしてもよい。
PedgとP(L1d)との距離: len1=sqrt(a^2+b^2)
PedgとP(L3d)との距離: len2=sqrt(a^2+(1−b)^2)
PedgとP(L7d)との距離: len3=sqrt((1−a)^2+b^2)
PedgとP(L9d)との距離: len4=sqrt((1−a)^2+(1−b)^2)
(「sqrt(x)」は、xの平方根を表す。「x^y」は、xのy乗を表す。)
を、(数式10)に示すような所定の非線形重み関数weight(len)に、代入して得られる、重み係数w1,w2,w3,w4を求める。そして、求めた重み係数w1,w2,w3,w4を、それぞれ、L1d,L2d,L3d,L4dの重み付けとして、重付平均値を求め、求めた重付平均値を補間距離情報L’として用いてもよい。
また、最適距離情報取得部7において、len1,len2,len3,len4,L1〜L9を変数にもつテーブル(例えば、LUT(ルック・アップ・テーブル))を用意しておき、そのテーブルを参照することによって、補間距離情報L’を求めるようにしてもよい。
さらに、周囲画素P4と注目画素P5において、水平方向での1次元補間値HD1dを求める。この場合も、周囲画素P4の距離情報L4と注目画素P5の距離情報L5は、それぞれ、画素P4とP5の画素中心にあるものとして、補間処理(距離情報の補間値の算出処理)を行う。
距離推定装置100において、上記のように、注目画素内での輪郭情報の画素位置Pedg(s,t)が存在する位置に基づき、相関性の高い隣接画素を選択的に用いて、補間距離情報L’を求めるようにしてもよい。
以上のように、距離推定装置100では、距離画像の注目画素内にカラー画像から抽出した輪郭情報がない場合、当該注目画素の距離情報は、精度の高いものであると推測されるので、最適距離情報Lbestとして、当該注目画素の距離情報を採用する。一方で、距離画像の注目画素内にカラー画像から抽出した輪郭情報がある場合、当該注目画素の距離情報は、精度が低い可能性があるので、注目画素の周囲の画素の距離情報に基づいて補間した距離情報(補間距離情報)を求め、最適距離情報Lbestとして、当該補間距離情報を採用する。
また、距離推定装置100の距離情報補間処理において、図3Aおよび図3Bを用いて説明した上記方法の代わりに、次の方法を用いることも可能である。これについて、図5Aを用いて説明する。なお、図5Aにおいて、図3Aおよび図3Bと同様の部分について、同様の表記を行い、説明を省略する。
そして、(B)距離画像の注目画素内に輪郭情報がないと判定された場合、当該注目画素の部分は平坦領域に属するものとして、距離画像の注目画素の距離情報を、そのまま出力する処理を行う。つまり、最適距離情報Lbestとして、注目画素の距離情報Liを採用する。
図5A(c)に、その2分割処理の一例を示す。なお、注目画素をP5として説明する。
注目画素(対象距離画素)P5で、輪郭(図5A(c)における家の屋根の部分(エッジ))より左上側では、注目画素P5の周囲画素P2およびP4の距離情報であるL2およびL4を使って、(数式11)を用いて、距離情報の補間値L2dが生成される。そして、距離推定装置100では、注目画素を2分割して得られた左上部分の分割画素の距離情報を補間値L2dとする。
また、距離推定装置100の距離情報補間処理において、図3Aおよび図3Bを用いて説明した上記方法の代わりに、次の方法を用いることも可能である。これについて、図5Bを用いて説明する。なお、図5Bにおいて、図3Aおよび図3Bと同様の部分について、同様の表記を行い、説明を省略する。
そして、(B)距離画像の注目画素内に輪郭情報がないと判定された場合、当該注目画素の部分は平坦領域に属するものとして、距離画像の注目画素の距離情報を、そのまま出力する処理を行う。つまり、最適距離情報Lbestとして、注目画素の距離情報Liを採用する。
図5B(c)に、微分量による補間処理の一例を示す。なお、以下では、微分量による補間処理の一例について、注目画素をP5として、(ステップ1)および(ステップ2)に分けて、説明する。
(ステップ1):
まず、注目画素(対象距離画素)P5内において、微分量が最大となる点を抽出する。具体的には、注目画素(対象距離画素)P5に対応するカラー画像内において、微分量が最大となる点を抽出する。なお、この処理は、輪郭情報抽出部14により実行するようにすればよい。
微分量をdiff(i,j)とすると、カラー画像上の座標位置(i,j)におけるX軸方向の差分値をfxとし、座標位置(i,j)におけるY軸方向の差分値をfyとしたとき、
diff(i,j)=sqrt(fx^2+fy^2)
(sqrt(x)は、xの平方根を表す。)
また、簡易的に、X軸方向のみ差分値の絶対値を微分量diff(i,j)としてもよいし(すなわち、diff(i,j)=abs(fx)(abs(x)は、xの絶対値を表す。))、あるいは、Y軸方向のみ差分値の絶対値を微分量diff(i,j)としてもよいし(すなわち、diff(i,j)=abs(fy))としてもよく、また、カラー画像上の斜め方向の差分値の絶対値を微分量diff(i,j)として用いるようにしてもよい。
以下では、図5Bのケース(A−1)および(A−2)について、説明する。なお、図5Bに示すC点が、微分量が最大となる点であるものとし、C点より左上方向に存在するK点の距離情報Lkを補間処理により求める場合(ケース(A−1))およびC点より右下方向に存在するM点の距離情報Lmを補間処理により求める場合(ケース(A−2))ついて、説明する。
(ステップ2):
ケース(A−1)の場合、K点の微分量をEkとすると、本変形例に係る距離測定装置では、N点(注目画素P5の左上隅の点)の距離情報L2dおよびC点の距離情報Lcを、
L2d=(L2+L4)/2
Lc=(L2+L4+L6+L8)/4
とし、K点の距離情報Lkを、
Lk=L2d+(Lc−L2d)×(Ek/Ec)
として算出する。なお、微分量Ecは、注目画素P5に相当するカラー画像上の画像領域における最大の微分量であるため、0≦(Ek/Ec)≦1である。したがって、上式により、微分量を用いた補間を行うことができる。なお、上式において、Lc=L5としてもよい。
L6d=(L6+L8)/2
Lc=(L2+L4+L6+L8)/4
とし、M点の距離情報Lmを、
Lm=L6d+(Lc−L6d)×(Em/Ec)
として算出する。なお、微分量Ecは、注目画素P5に相当するカラー画像上の画像領域における最大の微分量であるため、0≦(Em/Ec)≦1である。したがって、上式により、微分量を用いた補間を行うことができる。なお、上式において、Lc=L5としてもよい。
以上により、本変形例の距離測定装置によれば、注目画素において、エッジがある部分において、さらに高精細な距離画像を、微分量を用いた補間処理により求めることができる。
図6から図10を用いて、本発明の第2実施形態として、現フレームに対して1フレーム前の距離画像と、現フレームカラー画像および現フレームに対して1フレーム前のカラー画像に基づいて求めた動きベクトルに基づいて、現フレームの距離画像を補正する距離推定装置および方法について説明する。
<2.1:距離推定装置の構成>
本実施形態に係る距離推定装置200は、図6に示すように、第1実施形態に係る距離推定装置100において、最適距離情報取得部7および最適距離画像生成部15を、距離画像補正部23に置換し、輪郭情報抽出部14を削除し、さらに、カラー画像保持メモリ部21および動きベクトル検出部22を追加した構成となっている。
カラー画像保持メモリ部21は、カラー画像生成部13により生成された画像(カラー画像)をフレーム単位に記憶保持する。そして、カラー画像保持メモリ部21は、動きベクトル検出部22からの要求に従い、フレーム単位でカラー画像を出力する。
動きベクトル検出部22は、図7に示すように、輪郭情報抽出部14Aおよび14Bと、動きベクトル算出部221と、を有する。
輪郭情報抽出部14Aは、カラー画像生成部13から出力される現時刻tのフレーム画像Img_color(t)を入力とし、入力された現フレーム画像Img_color(t)から輪郭情報を抽出する。そして、輪郭情報抽出部14Aは、抽出した輪郭情報を動きベクトル算出部に出力する。
動きベクトル検出部22は、輪郭情報抽出部14Aおよび14Bから出力される現フレーム画像Img_color(t)の輪郭情報および現フレームから1フレーム前の画像Img_color(t−1)の輪郭情報を入力とし、入力された2つのフレーム画像の輪郭情報に基づいて動きベクトルを算出する。そして、動きベクトル検出部22は、算出した動きベクトルを距離画像補正部23に出力する。
以上のように構成された距離推定装置200の動作について、以下説明する。なお、第1実施形態と同様の部分については、説明を省略する。
カラー画像生成部13では、現フレーム時刻tにおけるカラー画像Img_color(t)=(C1(i,j,t),C2(i,j,t),C3(i,j,t))が生成され、生成されたカラー画像Img_color(t)が動きベクトル検出部22に出力される。ここで、(i,j)は、カラー画像における画素位置を示し、C1(i,j,t)は、フレーム時刻tでのカラー画像上の画素位置(i,j)における色情報成分C1を表すものとする。カラー画像の画素(i,j)における色情報成分は、通常3成分で表現されることが多い。例えば、RGB色空間におけるレッドR、グリーンG、ブルーBを表す信号成分あるいは、YCC色空間における輝度成分Y,色差成分CbおよびCrが、これに相当する。
動きベクトル検出部22では、現フレーム画像Img_color(t−1)および1フレーム前の画像Img_color(t−1)の比較により、動きベクトルを検出する。
ブロックマッチング方式を用いた動きベクトル検出処理では、例えば、カラー画像を8画素×8画素のブロック領域(画像領域)に分割し、ブロック領域の相関演算により2つのフレーム間の動きベクトル検出を行う。
ブロックマッチング処理では、現フレームから1フレーム時刻前のカラー画像内の輪郭情報E(i,j,t−1)が「1」の画素P(i,j,t−1)に対して、(数式12)による評価値est(x,y)を求める。そして、評価値est(x,y)が最小値となる(x,y)を求め、その(x,y)を画素P(i,j,t−1)にベクトル加算した点(画素)Q(i+x,j+y,t)を、1フレーム前の画素P(i,j,t−1)に対応する現フレームの画素点として検出する。
v(i,j)=(vx,vy)=(x,y)
(vxおよびvyは、動きベクトルのx成分およびy成分を表す。)
として求めることができる。
距離画像補正部23では、動きベクトル検出部22により検出された動きベクトルを受けて、図8に示すように、補正処理が実施される。
図8(a)は、1フレーム前のカラー画像Img_color(t−1)の模式図であり、図8(b)は、現フレームのカラー画像Img_color(t)の模式図である。そして、図8(c)は、1フレーム前の距離画像Img_distance(t−1)の模式図であり、図8(d)は、現フレームのカラー画像Img_distance(t)の模式図である。また、距離画像の注目画素(処理対象画素)を、図8の画素PPとして、以下説明する。
なお、上記では、動きベクトルが検出された場合(動きベクトルの大きさ(スカラー値)が「0」でない場合)、距離画像の注目画素を2分割して(図8の注目画素PPの場合、上下2分割)、距離画像の注目画素を、1フレーム前の画素を用いて、補間(あるいは置換)する処理について説明したが、これに限定されることはない。動きベクトルの状況に応じて、さらに多分割して、距離画像の所定の画素の距離情報の精度を向上させるようにしてもよい。
このように本実施形態の距離推定装置200では、受光素子部2の撮像素子(距離推定用の撮像素子)の画素数を増やすことなく、1フレーム前の距離画像と、カラー画像から求めた動きベクトルとに基づいて、現フレーム時刻の距離画像を補正することによって、距離画像の高精度化を実現することができる。これにより、距離推定装置200では、受光素子部2の撮像素子(距離推定用の撮像素子)の画素数を単純に増やした場合に、電荷信号のS/N比低下し、その結果、取得される距離画像において距離分解能が低下することを効果的に抑えることができる。
また、距離推定装置200において、距離画像の画素の細分化をして距離情報(距離値)を補正する場合、動きベクトルの大きさに基づき得られる値を用いて、距離画像の画素の分割数あるいは分割領域の決定方法等を制御することも可能である。
[第3実施形態]
図11から図17を用いて、本発明の第3実施形態として、距離画像データの値(距離画像の距離情報)あるいは対象物からの反射光の強度に応じて、距離画像データの値(距離情報)の確からしさを表す信頼度を算出し、前記信頼度をもとに距離画像データ(距離情報)を補正することによって、距離推定処理を行う距離推定装置および方法について説明する。
図12は、距離推定装置300内の距離信頼度算出部31の概略構成図である。図13は、第3実施形態に係る距離推定装置および方法における距離信頼度による補正の方法を模式的に示した図である。
また、図15、図16は、第3実施形態に係る距離推定装置300および距離推定方法において用いられる距離信頼度を決定する関数例を示す図である。
なお、前述の実施形態と同様な構成要素については、同じ番号を付し、詳細な説明を省略する。また、前述の実施形態と同様の部分については、説明を省略する。
図11から図17に従い、本発明の第3実施形態である距離推定方法および装置について説明する。
図11に示すように、本実施形態の距離推定装置300は、前述の実施形態に係る距離推定装置において、画像生成部6以降の信号処理を行う機能部が異なる点に特徴がある。つまり、距離推定装置300では、前述の実施形態に係る距離推定装置において、画像生成部6以降の信号処理を行う機能部として、距離信頼度算出部31および距離画像補正部32を追加した構成となっている。また、距離推定装置300は、前述の実施形態に係る距離推定装置において、色分解プリズム11、撮像素子部12以降の可視光成分の光に対する信号処理を行う機能部が省略されている。
距離信頼度算出部31は、画像生成部6により生成された距離画像の画素PP(i,j)に相当する距離情報L(i,j)と、電荷集積部3から出力される画素PP(i,j)に相当する電荷信号D(i,j)と、を入力とし、距離情報L(i,j)および電荷信号D(i,j)に基づいて、画素PP(i,j)における距離信頼度R(i,j)を求める。そして、距離信頼度算出部31は、求めた距離信頼度R(i,j)を距離画像補正部32に出力する。
なお、距離推定装置300において、発光源10として、赤外光を発光する光源を用いる場合、受光素子部2の撮像素子として、赤外光用CCDを用いることが好ましい。また、この場合、受光光学系1において、例えば、赤外光用の光学フィルタを設け、受光素子部2に、赤外領域以外の光が入射されないようにすることが好ましい。
以上のように構成された距離推定装置300の動作について説明する。なお、前述の実施形態と同様の部分については、説明を省略する。
距離信頼度算出部31では、画像生成部6で得られた距離画像の各画素PP(i,j)での距離値L(i,j)の信頼度を検出する処理を行う。
(S1)対象物からの反射波(反射光)の振幅があまり大きくない(環境光等のノイズと比較して小さい)ため、距離推定装置300と対象物との距離が大きい(つまり、遠い)ほど、距離推定装置300で取得される距離情報の精度が低い(環境光等のノイズの影響を受けやすい)。
以上に基づいて、距離信頼度算出部31での信頼度R(i,j)の算出処理について、以下、具体的に説明する。
図15Bは、(S2)に基づいて、設定した反射波振幅D(i,j)−信頼度R(i,j)特性(関数により当該特性を実現。)の一例を示すグラフである。この場合、信頼度R(i,j)は、反射波振幅D(i,j)のみをパラメータとして、1次元で制御されることになる。なお、下記(数式14)のR2(L)は、図15Aの特性を実現する関数例を示している。
また、(数式13)、(数式14)において、keisuN、keisu1,keisu2,offset1,offset2は所定の正定数を表す。
また、(数15)において、deltaは所定の正定数を表す。
なお、傾きkeisu1の値とkeisu2の値としては、どちらも正定数であれば問題ないが、通常は1.0≦keisu1≦10.0、1.0≦keisu2≦10.0の値を使うことが好ましい。keisu1、keisu2ともに「1」より小さい値が採用された場合、変化は線形的になる。一方、keisu1、keisu2ともに大きくなるにつれて非線形性が増すようになる。
また、(数15)において、deltaは、図16Bの信頼度関数における「1.0」の領域を制御する値である。この値が小さいほど、信頼度R(i、j)は、「1.0」になる領域が小さくなり、この値が大きいほど、R(i、j)は、「1.0」になる領域が大きくなる。通常は、1.0≦delta≦Delmax、(DelmaxはMaxL、MaxD最小値)の値を使うことが好ましい。
次に、距離画像補正部32における補正処理の一例を、図14を用いて説明する。
図14は、距離画像の注目画素P(i,j)を中心として、距離画像から所定サイズの画素領域(複数の距離画像の画素からなる領域)を抽出して、模式的に示した図である。また、図13に、距離画像補正部32における補正処理の処理概要を周辺の機能部とともに、模式的に示す。
距離画像補正部32において、距離画像の注目画素(対象距離画素)P(i,j)を中心にもつ所定サイズの画素領域(距離画像上の画素領域)内の画素の距離情報(距離データ)に対して、最大の信頼度をもつ画素の距離情報(距離データ)を改めて注目画素P(i,j)の距離情報として採用することで補正処理を実行する。
[他の実施形態]
上記実施形態を任意に組み合わせて本発明を実施してもよい。
例えば、(1)空間方向での補正処理(空間方向での相関性を利用した補正処理)を実現する上記第1実施形態の距離推定装置と、(2)時間方向での補正処理(時間方向での相関性を利用した補正処理(動きベクトルを用いた補正処理))を実現する上記第2実施形態の距離推定装置と、(3)さらに、信頼度を用いた処理を行う上記第3実施形態の距離推定装置を組み合わせることによって、本発明を実施してもよい。
また、本願発明により取得された距離画像に基づいて、左目用視差画像(ステレオ画像の左目用視差画像)および右目用視差画像(ステレオ画像の右目用視差画像)を生成し、生成した左目用視差画像および右目用視差画像により3次元表示装置等において、3次元画像(映像)表示を行うようにしてもよい。また、本願発明の距離測定装置と、3次元表示装置と、を備える3次元表示システムにおいて、本願発明の距離測定装置により取得した距離画像に基づいて、左目用視差画像(ステレオ画像の左目用視差画像)および右目用視差画像(ステレオ画像の右目用視差画像)を生成し、生成した左目用視差画像および右目用視差画像により3次元表示装置において、画像(映像)を3次元表示するようにしてもよい。
より詳しくは、上記各実施形態の距離推定装置は、個別に1チップ化させてもよいし、一部または全てを含むように1チップ化されてもよい。なお、ここでは、LSIとしたが、集積度の違いに基づき、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、上記各実施形態の各機能ブロックの処理は、プログラムを用いて実現されるものであってもよい。上記実施形態の各機能ブロックの処理は、例えば、コンピュータにおいて、中央演算装置(CPU)を用いて行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
10 発光源
9 発光源制御部
1 受光光学系
11 色分解プリズム
2 受光素子部
3 電荷集積部
4 制御部
5 信号演算部
6画像生成部
7 最適距離情報取得部
8 距離画像保持メモリ部
12 撮像素子部
13 カラー画像生成部
14 輪郭抽出部
15 最適距離画像生成部
21 カラー画像保持メモリ部
22 動きベクトル検出部
23 距離画像補正部
31 距離信頼度算出部
32 距離画像補正部
Claims (17)
- 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数により、第1光成分の光と、第2光成分の光とに分離する色分解部と、
前記色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第1の画素数を持つ距離画像を生成する距離画像生成部と、
前記色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第1の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像生成部により生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出部と、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出部により抽出された前記輪郭情報に基づいて、補正する距離画像補正部と、
を備える距離推定装置。 - 前記距離画像補正部は、
前記距離画像の前記注目画素に相当する前記高解像度画像の画像領域内に輪郭情報がある場合、前記距離画像中の前記輪郭情報がある位置情報Pos(x,y)を特定し、前記位置情報Pos(x,y)と前記周辺画素との位置関係に基づき前記周辺画素の距離情報に重み付けを行い、さらに、重み付けをした前記周辺画素の距離情報を用いて、前記位置情報Pos(x,y)の距離情報を算出し、算出した前記位置情報Pos(x,y)の距離情報を、前記注目画素の距離情報に置換することで、前記距離画像の注目画素の距離情報を補正する、
請求項1に記載の距離推定装置。 - 前記距離画像補正部は、
前記距離画像の前記注目画素に相当する前記高解像度画像の画像領域内に輪郭情報がある場合、前記距離画像中の前記輪郭情報に基づいて、前記注目画素を分割し、分割した画素に対して、それぞれ、距離画像上の位置が近い前記注目画素の周辺画素の距離情報を用いて、前記注目画素を分割した画素の距離情報を算出することで、前記距離画像の注目画素の距離情報を補正する、
請求項1に記載の距離推定装置。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、
前記色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第1の画素数を持つ距離画像を生成する距離画像生成部と、
前記距離画像を記憶する距離画像記憶部と、
前記色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第1の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像を記憶する高解像度画像記憶部と、
前記高解像度画像生成部により、所定の単位時刻tに取得された前記高解像度画像Img_color(t)と、前記高解像度画像記憶部に記憶されている前記所定の単位時刻tより前の時刻(t−α)に取得された前記高解像度画像Img_color(t−α)と、を比較することにより動きベクトルを検出する動きベクトル検出部と、
前記距離画像生成部により、所定の単位時刻tに取得された前記距離画像Img_distance(t)と、前記距離画像記憶部に記憶されている前記所定の単位時刻tより前の時刻(t−α)に取得された前記距離画像Img_distance(t−α)と、前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正部と、
を備える距離推定装置。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置であって、
光強度変調可能な光を照射する光源と、
前記光源を制御する発光源制御部と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、距離画像を生成する距離画像生成部と、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出部と、
前記距離信頼度算出部により算出された前記信頼度に基づいて、前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素の距離情報を用いて補正する距離画像補正部と、
を備える距離推定装置。 - 前記信頼度算出部は、
前記距離画像の注目画素の距離情報が大きい値であるほど、前記信頼度の値が小さくなるように、前記信頼度を算出する、
請求項5に記載の距離推定装置。 - 前記信頼度算出部は、
前記距離画像の注目画素に対応する前記電荷信号の振幅値が小さいほど、前記信頼度の値が小さくなるように、前記信頼度を算出する、
請求項5または6に記載の距離推定装置。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、
前記色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える、距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第1の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第1の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度生成ステップにより生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出ステップと、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出ステップにより抽出された前記輪郭情報に基づいて、補正する距離画像補正ステップと、
を備える距離推定方法。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、
前記色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第1の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記距離画像を記憶する距離画像記憶ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第1の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度画像を記憶する高解像度画像記憶ステップと、
前記高解像度画像生成ステップにより、所定の単位時刻tに取得された前記高解像度画像Img_color(t)と、前記高解像度画像記憶ステップで記憶された前記所定の単位時刻tより前の時刻(t−α)に取得された前記高解像度画像Img_color(t−α)と、を比較することにより動きベクトルを検出する動きベクトル検出ステップと、
前記距離画像生成ステップにより、所定の単位時刻tに取得された前記距離画像Img_distance(t)と、前記距離画像記憶ステップで記憶された前記所定の単位時刻tより前の時刻(t−α)に取得された前記距離画像Img_distance(t−α)と、前記動きベクトル検出ステップにより検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正ステップと、
を備える距離推定方法。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定方法であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる距離推定方法であって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、距離画像を生成する距離画像生成ステップと、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出ステップと、
前記距離信頼度算出ステップにより算出された前記信頼度に基づいて、前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素の距離情報を用いて補正する距離画像補正ステップと、
を備える距離推定方法。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、
前記色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える、距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第1の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第1の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度生成ステップにより生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出ステップと、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出ステップにより抽出された前記輪郭情報に基づいて、補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、
前記色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、第1の画素数を持つ距離画像を生成する距離画像生成ステップと、
前記距離画像を記憶する距離画像記憶ステップと、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第1の画素数より多い画素数の高解像度画像を生成する高解像度画像生成ステップと、
前記高解像度画像を記憶する高解像度画像記憶ステップと、
前記高解像度画像生成ステップにより、所定の単位時刻tに取得された前記高解像度画像Img_color(t)と、前記高解像度画像記憶ステップで記憶された前記所定の単位時刻tより前の時刻(t−α)に取得された前記高解像度画像Img_color(t−α)と、を比較することにより動きベクトルを検出する動きベクトル検出ステップと、
前記距離画像生成ステップにより、所定の単位時刻tに取得された前記距離画像Img_distance(t)と、前記距離画像記憶ステップで記憶された前記所定の単位時刻tより前の時刻(t−α)に取得された前記距離画像Img_distance(t−α)と、前記動きベクトル検出ステップにより検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定処理用プログラムであり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる距離推定方法を、コンピュータに実行させるプログラムであって、
前記光源を制御する発光源制御ステップと、
前記電荷信号に基づいて、距離情報を算出する信号演算ステップと、
前記距離情報に基づいて、距離画像を生成する距離画像生成ステップと、
少なくとも前記距離情報および前記電荷信号のいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出ステップと、
前記距離信頼度算出ステップにより算出された前記信頼度に基づいて、前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素の距離情報を用いて補正する距離画像補正ステップと、
を備える距離推定方法を、コンピュータに実行させるプログラム。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、
前記色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第1の画素数を持つ距離画像を生成する距離画像生成部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第1の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度生成部により生成された前記高解像度画像から輪郭情報を抽出する輪郭情報抽出部と、
前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素および前記輪郭情報抽出部により抽出された前記輪郭情報に基づいて、補正する距離画像補正部と、
を備える集積回路。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系で受光した光を、周波数に基づき、第1光成分の光と、第2光成分の光とに分離する色分解部と、
前記色分解部により分離された第1光成分の光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
前記色分解部により分離された前記第2光成分の光を画像生成用電荷信号に変換する撮像素子部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、第1の画素数を持つ距離画像を生成する距離画像生成部と、
前記距離画像を記憶する距離画像記憶部と、
前記撮像素子部により変換された前記画像生成用電荷信号に基づいて前記第1の画素数より多い画素数の高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像を記憶する高解像度画像記憶部と、
前記高解像度画像生成部により、所定の単位時刻tに取得された前記高解像度画像Img_color(t)と、前記高解像度画像記憶部に記憶されている前記所定の単位時刻tより前の時刻(t−α)に取得された前記高解像度画像Img_color(t−α)と、を比較することにより動きベクトルを検出する動きベクトル検出部と、
前記距離画像生成部により、所定の単位時刻tに取得された前記距離画像Img_distance(t)と、前記距離画像記憶部に記憶されている前記所定の単位時刻tより前の時刻(t−α)に取得された前記距離画像Img_distance(t−α)と、前記動きベクトル検出部により検出された前記動きベクトルに基づいて、前記距離画像の注目画素の距離情報を補正する距離画像補正部と、
を備える集積回路。 - 光強度変調された光を対象物に照射し、前記対象物からの反射光を用いて対象物までの距離を推定する距離推定装置に用いられる集積回路であり、
光強度変調可能な光を照射する光源と、
前記対象物からの光を集光する受光光学系と、
前記受光光学系により受光した光を電荷に変換する受光素子部と、
前記受光素子部で取得された電荷を集積し、電荷信号を取得する電荷集積部と、
を備える距離推定装置に用いられる集積回路であって、
前記光源を制御する発光源制御部と、
前記電荷信号に基づいて、距離情報を算出する信号演算部と、
前記距離情報に基づいて、距離画像を生成する距離画像生成部と、
少なくとも前記距離情報および前記電荷信号にいずれか一方に基づいて、前記距離画像の各画素の信頼度を算出する距離信頼度算出部と、
前記距離信頼度算出部により算出された前記信頼度に基づいて、前記距離画像の注目画素の距離情報を、前記距離画像において前記注目画素の周辺に存在する画素である周辺画素の距離情報を用いて補正する距離画像補正部と、
を備える集積回路。 - 請求項1から7のいずれかに記載の距離推定装置を含む、
カメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009167810A JP5448617B2 (ja) | 2008-08-19 | 2009-07-16 | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008211055 | 2008-08-19 | ||
JP2008211055 | 2008-08-19 | ||
JP2009167810A JP5448617B2 (ja) | 2008-08-19 | 2009-07-16 | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010071976A JP2010071976A (ja) | 2010-04-02 |
JP5448617B2 true JP5448617B2 (ja) | 2014-03-19 |
Family
ID=41696442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009167810A Active JP5448617B2 (ja) | 2008-08-19 | 2009-07-16 | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
Country Status (2)
Country | Link |
---|---|
US (1) | US8159598B2 (ja) |
JP (1) | JP5448617B2 (ja) |
Families Citing this family (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101646908B1 (ko) * | 2009-11-27 | 2016-08-09 | 삼성전자주식회사 | 거리 정보를 감지할 수 있는 이미지 센서 |
GB2478157A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for cutting between a first and second image sequence in a stereoscopic video |
GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
KR101102141B1 (ko) * | 2010-06-01 | 2012-01-02 | 주식회사 에스원 | 이동 디바이스, 그의 이동방향 및 거리 추정방법 |
KR20120007734A (ko) * | 2010-07-15 | 2012-01-25 | 삼성전기주식회사 | 거리 측정 모듈 및 이를 포함하는 디스플레이 장치, 디스플레이 장치의 거리 측정 방법 |
JP5496008B2 (ja) * | 2010-08-06 | 2014-05-21 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
KR101669412B1 (ko) | 2010-11-01 | 2016-10-26 | 삼성전자주식회사 | 3d 카메라를 위한 깊이 정보 측정 방법 및 장치 |
KR101642964B1 (ko) | 2010-11-03 | 2016-07-27 | 삼성전자주식회사 | 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치 |
KR101887099B1 (ko) | 2010-12-29 | 2018-08-09 | 삼성전자주식회사 | 이미지 처리 시스템 및 이미지 처리 방법 |
JP5820985B2 (ja) * | 2011-01-19 | 2015-11-24 | パナソニックIpマネジメント株式会社 | 立体画像処理装置および立体画像処理方法 |
US20120212477A1 (en) * | 2011-02-18 | 2012-08-23 | Intergraph Technologies Company | Fast Haze Removal and Three Dimensional Depth Calculation |
KR20120105169A (ko) * | 2011-03-15 | 2012-09-25 | 삼성전자주식회사 | 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법 |
US9470778B2 (en) * | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
TW201245768A (en) | 2011-03-29 | 2012-11-16 | Sony Corp | Image pickup apparatus, image pickup device, image processing method, aperture control method, and program |
KR101554241B1 (ko) * | 2011-06-24 | 2015-09-18 | 소프트키네틱 소프트웨어 | 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법 |
US9819879B2 (en) | 2011-07-12 | 2017-11-14 | Samsung Electronics Co., Ltd. | Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity |
EP2641527B1 (en) * | 2011-09-29 | 2017-11-08 | Olympus Corporation | Endoscope apparatus |
KR101854188B1 (ko) | 2011-10-25 | 2018-05-08 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법 |
EP2602588A1 (en) | 2011-12-06 | 2013-06-12 | Hexagon Technology Center GmbH | Position and Orientation Determination in 6-DOF |
JP5561795B2 (ja) * | 2012-03-19 | 2014-07-30 | Necシステムテクノロジー株式会社 | 物体検出装置、物体検出方法、およびプログラム |
CN103455137B (zh) * | 2012-06-04 | 2017-04-12 | 原相科技股份有限公司 | 位移感测方法与位移感测装置 |
US20130329985A1 (en) * | 2012-06-07 | 2013-12-12 | Microsoft Corporation | Generating a three-dimensional image |
US9176221B2 (en) * | 2012-08-28 | 2015-11-03 | Xerox Corporation | Distance estimation in camera-based systems utilizing motion measurement and compression attributes |
WO2014053069A1 (en) * | 2012-10-05 | 2014-04-10 | FLARM Technology GmbH | Improved method and device for estimating a distance |
JP5818773B2 (ja) * | 2012-11-22 | 2015-11-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2014102442A1 (en) * | 2012-12-28 | 2014-07-03 | Nokia Corporation | A method and apparatus for de-noising data from a distance sensing camera |
JP5979020B2 (ja) * | 2013-01-23 | 2016-08-24 | 株式会社デンソー | 物体認識装置 |
US8994867B2 (en) | 2013-03-15 | 2015-03-31 | Samsung Electronics Co., Ltd. | Image sensor, operating method thereof, and device including the image sensor |
LU92173B1 (en) * | 2013-03-20 | 2014-09-22 | Iee Sarl | Distance determination method |
US9299188B2 (en) * | 2013-08-08 | 2016-03-29 | Adobe Systems Incorporated | Automatic geometry and lighting inference for realistic image editing |
US9208566B2 (en) * | 2013-08-09 | 2015-12-08 | Microsoft Technology Licensing, Llc | Speckle sensing for motion tracking |
KR102136850B1 (ko) | 2013-11-12 | 2020-07-22 | 삼성전자 주식회사 | 깊이 센서, 및 이의 동작 방법 |
US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
US9360554B2 (en) | 2014-04-11 | 2016-06-07 | Facet Technology Corp. | Methods and apparatus for object detection and identification in a multiple detector lidar array |
US9098754B1 (en) * | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
JP6246911B2 (ja) | 2014-05-02 | 2017-12-20 | 富士フイルム株式会社 | 測距装置、測距方法、及び測距プログラム |
DE102014013099B4 (de) * | 2014-09-03 | 2019-11-14 | Basler Aktiengesellschaft | Verfahren und Vorrichtung zur vereinfachten Erfassung eines Tiefenbildes |
US10036801B2 (en) | 2015-03-05 | 2018-07-31 | Big Sky Financial Corporation | Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array |
JP2017020873A (ja) * | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | 被計測物の形状を計測する計測装置 |
WO2017057054A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
KR20170060353A (ko) | 2015-11-24 | 2017-06-01 | 삼성전자주식회사 | 전자 장치, 거리 측정 센서 및 그 제어 방법 |
JP6700818B2 (ja) * | 2016-02-03 | 2020-05-27 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
US9866816B2 (en) | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
US10134198B2 (en) | 2016-04-19 | 2018-11-20 | Adobe Systems Incorporated | Image compensation for an occluding direct-view augmented reality system |
JP2018036102A (ja) | 2016-08-30 | 2018-03-08 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、および、測距装置の制御方法 |
CN106780383B (zh) * | 2016-12-13 | 2019-05-24 | 长春理工大学 | Tof相机的深度图像增强方法 |
CN106791497B (zh) * | 2016-12-15 | 2019-08-23 | 哈尔滨工业大学 | 一种脉冲增益调制式单像素三维成像系统及方法 |
DE102017101945A1 (de) * | 2017-02-01 | 2018-08-02 | Osram Opto Semiconductors Gmbh | Messanordnung mit einem optischen Sender und einem optischen Empfänger |
JP6822230B2 (ja) * | 2017-03-09 | 2021-01-27 | 株式会社リコー | 撮像装置および撮像方法 |
JP2018160145A (ja) * | 2017-03-23 | 2018-10-11 | 富士ゼロックス株式会社 | 3次元計測装置、3次元計測プログラム、および3次元計測システム |
JP6989819B2 (ja) * | 2017-08-10 | 2022-01-12 | 富士通株式会社 | データ補正装置、データ補正方法、および、データ補正プログラム |
US10403045B2 (en) | 2017-08-11 | 2019-09-03 | Adobe Inc. | Photorealistic augmented reality system |
JP6487578B1 (ja) * | 2018-01-05 | 2019-03-20 | 株式会社スクウェア・エニックス | プログラム、記録媒体、及び影描画方法 |
JP6969425B2 (ja) * | 2018-02-20 | 2021-11-24 | 株式会社デンソー | 光測距装置 |
JP6773724B2 (ja) | 2018-06-13 | 2020-10-21 | ファナック株式会社 | 精度情報を出力する測距装置 |
JP7139168B2 (ja) * | 2018-07-04 | 2022-09-20 | 株式会社日立エルジーデータストレージ | 距離測定装置 |
CN108833889B (zh) * | 2018-08-22 | 2020-06-23 | Oppo广东移动通信有限公司 | 控制方法及装置、深度相机、电子装置及可读存储介质 |
CN108965732B (zh) | 2018-08-22 | 2020-04-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN108965721B (zh) * | 2018-08-22 | 2020-12-22 | Oppo广东移动通信有限公司 | 摄像头模组的控制方法和装置、电子设备 |
EP3855215A4 (en) * | 2018-09-18 | 2021-11-10 | Panasonic Intellectual Property Management Co., Ltd. | DEPTH ACQUISITION DEVICE, DEPTH ACQUISITION PROCESS AND PROGRAM |
CN109324633B (zh) * | 2018-09-27 | 2021-07-02 | Oppo广东移动通信有限公司 | 控制方法与装置、飞行时间设备、终端及计算机可读存储介质 |
JP6990859B2 (ja) * | 2018-09-28 | 2022-01-12 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
CN109543613A (zh) * | 2018-11-22 | 2019-03-29 | 西安科技大学 | 基于tof成像的车辆行驶速度及车牌识别系统及方法 |
EP3889645A4 (en) * | 2018-11-27 | 2022-09-14 | Aerolaser System S.L. | AIR-BASED OPTICAL COLOR SCANNER |
EP3663801B1 (en) * | 2018-12-07 | 2022-09-28 | Infineon Technologies AG | Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data |
KR20220006638A (ko) | 2019-05-13 | 2022-01-17 | 아우스터, 인크. | 전자 스캐닝 lidar 시스템을 위한 동기화된 이미지 캡처 |
US20220317269A1 (en) * | 2019-05-31 | 2022-10-06 | Sony Group Corporation | Signal processing device, signal processing method, and ranging module |
CN111538024B (zh) * | 2020-03-24 | 2022-09-16 | 奥比中光科技集团股份有限公司 | 一种滤波ToF深度测量方法及装置 |
WO2021230120A1 (ja) * | 2020-05-15 | 2021-11-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP7434115B2 (ja) | 2020-09-07 | 2024-02-20 | 株式会社東芝 | 光検出器及び距離計測装置 |
US11450103B2 (en) | 2020-10-05 | 2022-09-20 | Crazing Lab, Inc. | Vision based light detection and ranging system using dynamic vision sensor |
KR20230152661A (ko) | 2021-03-03 | 2023-11-03 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
US11663804B2 (en) | 2021-06-04 | 2023-05-30 | Micron Technology, Inc. | Determining image sensor settings using LiDAR |
KR20220166777A (ko) * | 2021-06-09 | 2022-12-19 | 엔비디아 코포레이션 | 이미지들 간의 픽셀들의 모션 컴퓨팅 |
JP7441380B2 (ja) | 2021-10-04 | 2024-02-29 | 株式会社ブルービジョン | 距離測定装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5748236A (en) * | 1993-12-10 | 1998-05-05 | Nikon Corporation | Color mixing prevention and color balance setting device and method for a field-sequential color television camera |
JP3823559B2 (ja) * | 1998-08-27 | 2006-09-20 | スズキ株式会社 | 三次元距離データを変換する方法 |
JP3840341B2 (ja) * | 1998-10-15 | 2006-11-01 | 浜松ホトニクス株式会社 | 立体情報検出方法及び装置 |
JP3637226B2 (ja) * | 1999-02-01 | 2005-04-13 | 株式会社東芝 | 動き検出方法、動き検出装置及び記録媒体 |
EP1148717A3 (en) * | 2000-04-19 | 2002-03-20 | Fuji Photo Film Co., Ltd. | Method and apparatus for photographing fluorescent and reflected-light images |
JP3855812B2 (ja) * | 2002-03-15 | 2006-12-13 | ソニー株式会社 | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
JP3988879B2 (ja) * | 2003-01-24 | 2007-10-10 | 日本電信電話株式会社 | 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 |
KR100598038B1 (ko) * | 2004-02-25 | 2006-07-07 | 삼성전자주식회사 | 다층 반사 방지막을 포함하는 고체 촬상 소자 및 그 다층반사 방지막의 제조 방법 |
JP3906858B2 (ja) | 2004-09-17 | 2007-04-18 | 松下電工株式会社 | 距離画像センサ |
JP4466366B2 (ja) * | 2004-12-27 | 2010-05-26 | パナソニック電工株式会社 | 距離画像を用いた人体検知方法および人体検知装置 |
JP4727388B2 (ja) * | 2005-10-28 | 2011-07-20 | セコム株式会社 | 侵入検知装置 |
JP2008032427A (ja) * | 2006-07-26 | 2008-02-14 | Fujifilm Corp | 距離画像作成方法及び距離画像センサ、及び撮影装置 |
-
2009
- 2009-07-16 JP JP2009167810A patent/JP5448617B2/ja active Active
- 2009-08-18 US US12/542,886 patent/US8159598B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010071976A (ja) | 2010-04-02 |
US20100046802A1 (en) | 2010-02-25 |
US8159598B2 (en) | 2012-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5448617B2 (ja) | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ | |
WO2010021090A1 (ja) | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ | |
US7511801B1 (en) | Method and system for automatic gain control of sensors in time-of-flight systems | |
JP6480441B2 (ja) | 飛行時間型カメラシステム | |
US10419741B2 (en) | Systems and methods for compression of three dimensional depth sensing | |
US9753128B2 (en) | Multi-path compensation using multiple modulation frequencies in time of flight sensor | |
KR101862199B1 (ko) | 원거리 획득이 가능한 tof카메라와 스테레오 카메라의 합성 시스템 및 방법 | |
US8446492B2 (en) | Image capturing device, method of searching for occlusion region, and program | |
US8134637B2 (en) | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing | |
KR101613133B1 (ko) | 3차원 영상 처리 장치 및 그 방법 | |
US20140168424A1 (en) | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene | |
KR102112298B1 (ko) | 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치 | |
JP2013156109A (ja) | 距離計測装置 | |
JP6467776B2 (ja) | 測距システム、情報処理装置、情報処理方法及びプログラム | |
JP4802891B2 (ja) | 距離測定システム及び距離測定方法 | |
WO2018061508A1 (ja) | 撮像素子、画像処理装置、および画像処理方法、並びにプログラム | |
KR102490335B1 (ko) | 타임 오브 플라이트 데이터를 비닝하는 방법 | |
KR102194237B1 (ko) | 깊이 영상 촬영 장치 및 깊이 정보 획득 방법 | |
JP2010175435A (ja) | 三次元情報検出装置及び三次元情報検出方法 | |
WO2006130734A2 (en) | Method and system to increase x-y resolution in a depth (z) camera using red, blue, green (rgb) sensing | |
CN112313541A (zh) | 设备和方法 | |
JP2006046959A (ja) | 画像処理装置 | |
JP2003185412A (ja) | 画像取得装置および画像取得方法 | |
KR20170072428A (ko) | 자동 초점 시스템 및 방법 | |
WO2021084891A1 (ja) | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5448617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |