JP6666620B2

JP6666620B2 - 距離画像計測装置

Info

Publication number: JP6666620B2
Application number: JP2017500669A
Authority: JP
Inventors: 香川　景一郎; 景一郎香川; 川人　祥二; 祥二川人; 風太望月; 啓太安富
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2015-02-20
Filing date: 2016-02-15
Publication date: 2020-03-18
Anticipated expiration: 2036-02-15
Also published as: JPWO2016133053A1; WO2016133053A1

Description

本発明は、距離画像計測装置に関する。

従来、パルス光を対象物へ照射し、その反射光を検出することによって当該パルス光の光飛行時間を計測する距離画像計測装置が知られている。例えば、特許文献１に記載された距離計測装置では、パルス幅が受光部の応答時間よりも十分短いパルス光を対象物へ照射する照射タイミングが制御され、その照射タイミングを基準とした２種類の位相の制御パルス電圧がゲート電圧に印加される。これにより、受光部においてパルス光の入射に応じて変換された電荷が、電荷蓄積部に変調されて蓄積される。そして、これら２種類の位相の制御パルス電圧によって変調された第１及び第２の電荷が、電荷読出部によって第１及び第２の電気信号として読み出され、算出部によって第１及び第２の電気信号を基に対象物までの距離が算出される。これにより、対象物の距離画像が生成される。

国際公開第２０１４／１８１６１９号パンフレット

ところで、上述したような距離画像計測器は、例えば自動車の衝突防止・自動運転等を含む各種技術への応用が期待されている。しかしながら、これらの技術へ応用するためには、センサチップ上における電気信号の処理回路の巨大化を抑制しつつ、近距離から長距離までの距離計測レンジの広さと、距離分解能の高さと、を更に向上させることが望まれる。

そこで、本発明の一形態は、簡素な処理回路によって、広い距離計測レンジ及び高い距離分解能を両立できる距離画像計測装置を提供することを目的とする。

本発明の一形態に係る距離画像計測装置は、対象物にて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部、受光部に接続され、当該受光部から電荷が転送されると共に当該電荷を蓄積することで電荷信号を出力する電荷蓄積部、及び、受光部に接続され、電荷の転送を制御する所定期間の複数の制御パターンに従い、当該受光部から電荷蓄積部への電荷の転送を制御するゲート部、をそれぞれ有する複数の画素部が２次元状に配列された撮像素子と、複数の制御パターンのそれぞれに従いゲート部が電荷の転送を制御することで電荷蓄積部から出力された複数の電荷信号、及び、当該複数の制御パターンに基づき、受光部に至るまでのパルス光の光飛行時間を推定する処理部と、を備える。

本発明の一形態に係る距離画像計測装置によれば、複数の画素部が２次元状に配列された撮像素子において、対象物にて反射されそれぞれの画素部の受光部へ入射したパルス光が電荷に変換される。この電荷は、複数の制御パターンに従い、ゲート部により電荷蓄積部への転送が制御される。電荷蓄積部へ転送された電荷は当該電荷蓄積部に蓄積された後、電荷信号として出力される。そして、処理部によって、電荷蓄積部から出力された複数の電荷信号、及び、複数の制御パターンに基づき、パルス光の光飛行時間が推定される。このように、電荷信号及び制御パターンから圧縮サンプリングにより光飛行時間を推定して距離画像を計測することにより、センサチップ上における電気信号の処理回路の巨大化を抑制できる。また、これによって、高効率の並列処理回路により処理できるため、近距離から長距離までの広い距離計測レンジ、及び、高い距離分解能を両立できる。

本発明の一形態によれば、簡素な処理回路によって、広い距離計測レンジ及び高い距離分解能を両立できる。

本発明の一形態に係る距離画像計測装置を用いた距離画像計測システムを示す概略構成図である。図１の距離画像計測装置に用いられる撮像素子の概略構成を示すブロック図である。図２の撮像素子内の画素部の概略構成を示す回路図である。第１実施形態に係る距離画像計測装置を用いた距離画像の生成手順を示す概略図である。光飛行時間ヒストグラムを示す概略図である。第１実施形態の変形例において、複数の撮像素子のそれぞれに対応する制御パターンの一例を示す概略図である。第１実施形態の変形例において、距離画像の生成時における距離画像計測装置の動作を示すフローチャートである。第２実施形態に係る距離画像計測装置に用いられる画素部を示す概略平面図である。第２実施形態における複数の制御パターンの一例を示す概略図である。第２実施形態の変形例における複数の制御パターンの一例を示す概略図である。第２実施形態の別の変形例における複数の制御パターンの一例を示す概略図である。第２実施形態の更に別の変形例における複数の制御パターンの一例を示す概略図である。実施例１における圧縮画像及び距離画像を示す図である。実施例２における圧縮画像及び距離画像を示す図である。

以下、図面を参照しつつ本発明に係る距離画像計測装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

［第１実施形態］
図１は、本発明の一形態に係る距離画像計測装置を用いた距離画像計測システムを示す概略構成図である。図１に示されるように、距離画像計測システム１００は、TOF（Time of flight）法を用いて対象物Ｏの距離画像を生成する装置である。距離画像計測システム１００は、距離画像計測装置１と、光源２と、を備えている。光源２は、対象物Ｏへレーザ光等のパルス光を照射するための装置である。

距離画像計測装置１は、撮像素子３と、レンズ２０と、制御手段（処理部）４と、信号処理回路（処理部）５と、を備えている。レンズ２０は、対象物Ｏにて反射されたパルス光を集光して撮像素子３へ入射させる。本実施形態では、撮像素子３は複数設けられている。制御手段４は、複数の撮像素子３のそれぞれに対して、当該撮像素子３に適用する制御パターンＰ（詳細は後述）を出力する。これと共に、制御手段４は、出力した制御パターンＰと同期するように、光源２の発光タイミングを制御する。また、制御手段４は、複数の撮像素子３のそれぞれに適用した複数の制御パターンＰの情報を信号処理回路５へ出力する。信号処理回路５は、複数の撮像素子３から入力される複数の電荷信号と、制御手段４から入力される複数の制御パターンＰと、に基づき、パルス光の光飛行時間を推定する。

図２は、図１の距離画像計測装置に用いられる撮像素子の概略構成を示すブロック図である。図２に示されるように、撮像素子３には、複数の画素部X_ij（ｉは１〜ｍの整数、ｊは１〜ｎの整数）が２次元マトリクス状に配列されており、方形状の撮像領域を構成している。そして、この撮像領域の周辺部には、複数の画素部X_ijの水平方向の画素行に沿って水平走査回路（制御手段）６が設けられると共に、複数の画素部X_ijの垂直方向の画素列に沿って垂直走査回路（制御手段）７が設けられている。これらの水平走査回路６及び垂直走査回路７にはタイミング発生回路（制御手段）８が接続されている。

撮像素子３では、タイミング発生回路８、水平走査回路６及び垂直走査回路７によって撮像素子３内の画素部X_ijが順次走査され、画素信号の読み出しや初期化が実行される。すなわち、撮像素子３を垂直走査回路７によって各画素行単位で垂直方向に走査することにより、走査された画素列に含まれる各画素列の画素信号を画素列毎に設けられた垂直信号線によって読み出す構成となっている。各画素列の画素信号の読み出しは、垂直信号線毎に設けられたノイズキャンセル回路（信号処理回路）９、及び出力バッファ回路（信号処理回路）１０を経由して出力することにより行われる。さらに、各画素列の画素信号の読み出し時には、水平走査回路６によって画素部X_ijの水平方向の走査が行われる。タイミング発生回路８は、上述したような撮像素子３の画素部X_ijの垂直走査及び水平走査のタイミングの制御を行うと共に、光源２のパルス光の照射タイミングを基準にした各画素部X_ijにおける電荷蓄積及び電荷排出のタイミングの制御を行う。

図３は、図２の撮像素子内の画素部の概略構成を示す回路図である。図３に示されるように、画素部X_ij内には画素回路として機能する半導体素子１１が複数配列されて設けられている。半導体素子１１には、受光部１２と、電荷蓄積部１３と、電荷排出部１４と、ゲート電極（ゲート部）１５と、がそれぞれ設けられている。受光部１２は、半導体素子１１に設けられた埋め込みフォトダイオードであり、光源２から照射され対象物Ｏにて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する。電荷蓄積部１３は、受光部１２に接続され、受光部１２が生成した電荷が受光部１２から転送されると共に、この電荷を蓄積する。電荷排出部１４は、受光部１２に接続され、受光部１２が生成した電荷が受光部１２から転送されると共に、この電荷を排出する。ゲート電極１５は、受光部１２に接続され、受光部１２と電荷排出部１４との間に形成される転送チャネルの電位を制御して、受光部１２から電荷蓄積部１３又は電荷排出部１４への電荷の転送を制御する。

ゲート電極１５に低電圧を印加した際には、受光部１２と電荷排出部１４との間に電位障壁が形成される。これにより受光部１２と電荷排出部１４との間の転送チャネルが閉じられ、パルス光の入射に伴って生成される電荷は全てが電荷蓄積部１３に転送される。その一方で、ゲート電極１５に高電圧を印加した際には、受光部１２と電荷排出部１４との間の電位障壁が無くなり電位勾配が形成される。これにより受光部１２と電荷排出部１４との間の転送チャネルが開かれ、パルス光の入射に伴って生成される電荷は全てが電荷排出部１４に転送される。すなわち、ゲート電極１５に高電圧を印加した際には、受光部１２と電荷排出部１４との間の転送チャネルの電荷転送効果の方が、受光部１２と電荷蓄積部１３との間の電荷転送効果よりも支配的であるため、生成される電荷は全てが電荷排出部１４に転送される。このように、ゲート電極１５は、受光部１２から電荷蓄積部１３又は電荷排出部１４への電荷の転送を制御するためのバーチャルスイッチ１６としての機能も併せ持つ。

ゲート電極１５は、タイミング発生回路８から印加される制御パルス電圧ＴＤが与えられることにより、複数の制御パターンＰに従い電荷の転送先を電荷蓄積部１３とするか電荷排出部１４とするかの制御を行う（図４参照）。制御パターンＰは、電荷の転送先として電荷蓄積部１３又は電荷排出部１４のいずれかを択一的に指定するようにオン／オフすると共に、所定期間においてその転送先を時間の経過に伴いランダムに変更するパルス状パターンである。また、複数の制御パターンＰのそれぞれは、互いに異なるパターンで電荷の転送先を指定する。

更に、画素部X_ijには、制御パターンＰの印加に伴って電荷蓄積部１３に蓄積された電荷を電気信号（電荷信号）として読み出す電荷読出回路１８が設けられている。この電荷読出回路１８は、信号読み出しトランジスタ１８ａと、スイッチングトランジスタ１８ｂと、リセットトランジスタ１８ｃとを含んで構成されている。信号読み出しトランジスタ１８ａのゲート電極は電荷蓄積部１３に接続され、信号読み出しトランジスタ１８ａのドレイン電極は電源に接続され、信号読み出しトランジスタ１８ａのソース電極は、画素選択用のスイッチングトランジスタ１８ｂのドレイン電極に接続されている。スイッチングトランジスタ１８ｂのソース電極は垂直信号線に接続され、スイッチングトランジスタ１８ｂのゲート電極には、画素列の選択用制御信号Ｓが垂直走査回路７から与えられる。選択用制御信号Ｓをハイレベルに設定することにより、スイッチングトランジスタ１８ｂが導通され、電荷蓄積部１３に蓄積された電荷量Ｑが信号読み出しトランジスタ１８ａで増幅され、増幅された電荷量に対応する電位の電気信号が垂直信号線に出力される。リセットトランジスタ１８ｃは、そのソース電極が電荷蓄積部１３に接続され、そのドレイン電極は電源に接続され、そのゲート電極には垂直走査回路７からリセット信号Ｒが与えられる。このリセットトランジスタ１８ｃは、リセット信号Ｒがハイレベルに設定された際に、電荷蓄積部１３に蓄積された電荷を吐き出すことにより電荷蓄積部１３をリセットする。

距離画像計測装置１は、上述した撮像素子３を複数備えている。これらの撮像素子３は、２次元マトリクス状に配列されており、ここでは垂直方向に３行、水平方向に５列の合計１５個の撮像素子３が配列されている。これらの撮像素子３のうち、同一の撮像素子３に含まれるゲート電極１５のそれぞれは、同一の制御パターンＰに従い電荷の転送を制御する。

上記構成に加えて、距離画像計測装置１の信号処理回路５は、算出回路１９を備えている（図２参照）。算出回路１９は、タイミング発生回路８によるタイミング制御により画素部X_ijから読み出された電気信号を基に、対象物Ｏの距離画像を生成する。具体的には、算出回路１９は、複数の制御パターンＰのそれぞれに従いゲート電極１５が電荷の転送を制御することで電荷蓄積部１３から出力された複数の電気信号の示す電荷量Ｑ、及び、これら複数の制御パターンＰに基づき、光源２から受光部１２に至るまでのパルス光の光飛行時間を画素部X_ij毎に推定する。そして、算出回路１９は、この光飛行時間に基づき対象物Ｏの距離画像を生成する。

次に、距離画像計測装置１の動作について説明する。図４は、第１実施形態に係る距離画像計測装置を用いた距離画像の生成手順を示す概略図であり、図５は、光飛行時間ヒストグラムを示す概略図である。図４に示されるように、光源２から照射され対象物Ｏにて反射されたパルス光は、複数（ここでは、１５個）の撮像素子３のそれぞれに対応する複数（ここでは、撮像素子３の数に対応して１５個）のレンズ２０によって集光されて、当該撮像素子３へ入射する。

図４においてＡ１〜Ａ１５で示される１５個の撮像素子３において、同一の撮像素子３に含まれるゲート電極１５のそれぞれは、同一の制御パターンＰに従い電荷の転送を制御する。また、上記１５個の撮像素子３において、異なる撮像素子３に含まれるゲート電極１５のそれぞれは、互いに異なる制御パターンＰに従い電荷の転送を制御する。

ある１つの撮像素子３に着目すると、当該撮像素子３の有する画素部X_ijのそれぞれには、対象物Ｏのうち互いに異なる点にて反射されることで、その点のレンズ２０からの距離に応じた光飛行時間のパルス光が入射する。そして、画素部X_ijに入射した当該パルス光によって生成された電荷のうち、制御パターンＰが電荷の転送先として電荷蓄積部１３を指定しているタイミングで生成された電荷のみが、その画素部X_ijの電荷蓄積部１３に転送され蓄積される。このようにして撮像素子３のそれぞれの画素部X_ijの電荷蓄積部１３に蓄積された電荷の電荷量Ｑから、圧縮画像Ｃが生成される。

互いに異なる撮像素子３同士に着目すると、当該撮像素子３同士では対応する制御パターンＰが互いに異なる。一例として、図４に示す例では、Ａ１〜Ａ１５で示される１５個の撮像素子３には、それぞれＰ１〜Ｐ１５で示されるような互いに異なる１５パターンの制御パターンＰが対応する。このため、それぞれの撮像素子３の複数の電荷蓄積部１３に蓄積される電荷の電荷量Ｑは互いに異なることとなり、生成される圧縮画像Ｃも互いに異なる。

続いて、算出回路１９は、上記複数の撮像素子３において圧縮画像Ｃによって表される複数の電荷量Ｑ、及び、これらの撮像素子３に対応する複数の制御パターンＰに基づき時間画像Ｄを算出し、この時間画像Ｄに基づきパルス光の光飛行時間を推定する。具体的には、算出回路１９は、圧縮画像Ｃによって表される複数の電荷量Ｑ、及び、複数の制御パターンＰから逆問題を解くことで時間画像Ｄを算出し、この時間画像Ｄにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。ここで、光飛行時間ヒストグラムは、受光部１２から電荷蓄積部１３へ電荷が転送された頻度（あるいは、入射するパルス光の光強度）を表す。逆問題を解くという処理については、例えば、Richard G. Braniuk，「Compressive Sensing」，IEEE SIGNAL PROCESSING MAGAZINE，JULY ２００７，ｐ．１１８−１２０、又は、平林晃，「圧縮センシングの基礎と最近の話題」，システム／制御／情報，２０１４年，Ｖｏｌ．５８，Ｎｏ．１０，ｐ．４１４等の文献において開示された圧縮センシングの方法を用いることが好適である。なお、本実施形態において行っている逆問題を解くという処理では、複数の画素部X_ijにおいて、時間変調を行う制御パターンＰを用いて時間変調された圧縮画像Ｃから画像の時間変化である時間画像Ｄが復元される。これに対し、上記の文献に記載された処理では、単一の画素において、空間変調を行う制御パターンを用いて空間変調した後、電荷量Ｑを検出し、その検出結果から二次元画像が推定される。このような差異はあるものの、実質的には、上記の文献に記載された処理は本実施形態における処理と同様である。従って、本実施形態では、上記の文献と同一の処理が適用できる。

図５の光飛行時間ヒストグラムは、横軸に光飛行時間を示し、縦軸に各時刻における受光部１２へのパルス光の入射の頻度（或いは、光強度）を示している。算出回路１９は、画素部X_ij毎に光飛行時間ヒストグラムを算出し、そのピーク位置ｐｋに対応する横軸の値を、各画素部X_ijにおけるパルス光の光飛行時間と推定する。算出回路１９は、このようにして推定した画素部X_ij毎の光飛行時間から画素部X_ij毎の距離を算出し、距離画像を生成する。

以上説明した距離画像計測装置１によれば、複数の画素部X_ijが２次元状に配列された撮像素子３において、対象物Ｏにて反射されそれぞれの画素部X_ijの受光部１２へ入射したパルス光が電荷に変換される。この電荷は、複数の制御パターンＰに従い、ゲート電極１５により電荷蓄積部１３への転送が制御される。電荷蓄積部１３へ転送された電荷は当該電荷蓄積部１３に蓄積された後、電荷信号として出力される。そして、制御手段４及び信号処理回路５によって、電荷蓄積部１３から出力された複数の電荷信号、及び、複数の制御パターンＰに基づき、パルス光の光飛行時間が推定される。このように、電荷信号及び制御パターンＰから圧縮サンプリングにより光飛行時間を推定して距離画像を計測することにより、センサチップ上における電気信号の処理回路の巨大化を抑制できる。また、これによって、高効率の並列処理回路により処理できるため、近距離から長距離までの広い距離計測レンジ、及び、高い距離分解能を両立できる。

ここで、本発明に係る距離画像計測装置１では、制御手段４及び信号処理回路５は、複数の電荷信号、及び、複数の制御パターンＰから逆問題を解くことで算出される光飛行時間ヒストグラムから光飛行時間を推定し、光飛行時間ヒストグラムは、受光部１２から電荷蓄積部１３へ電荷が転送されたタイミングの頻度分布に対応している。このような構成によれば、圧縮サンプリングを好適に行うことができるため、電荷信号及び制御パターンＰから光飛行時間を推定して距離画像を計測することを好適に実現できる。

また、本発明に係る距離画像計測装置１では、制御手段４及び信号処理回路５は、光飛行時間ヒストグラムのピーク位置ｐｋから光飛行時間を推定する。このような構成によれば、光飛行時間ヒストグラムのピーク位置ｐｋを簡単に計算できるため、処理回路を簡素化することができる。

また、本発明に係る距離画像計測装置１では、複数の制御パターンＰは、電荷の転送をオン／オフするランダムなパルス状のパターンである。このような構成によれば、制御パターンＰを簡単に設定できるため、処理回路を簡素化することができる。

次に、第１実施形態の距離画像の生成手順の変形例について図６及び図７を用いて説明する。図６に示されるように、本変形例に係る距離画像計測装置１では、全ての撮像素子３のうち、図６においてＡ６及びＡ１０で示される水平方向に離れた２つの撮像素子３に含まれる複数のゲート電極１５のそれぞれは、図６においてＰ６で示される同一の制御パターンＰに従い電荷の転送を制御する。それ以外の撮像素子３のそれぞれは、異なる制御パターンＰ１〜Ｐ５，Ｐ７〜Ｐ１４に従い電荷の転送を制御する。これにより、Ａ１〜Ａ１５で示される１５個全ての撮像素子３を用いて１５個の圧縮画像Ｃが取得される（Ｓ０１）。

続いて、制御手段４及び信号処理回路５は、取得した圧縮画像ＣのうちのＡ６及びＡ１０の撮像素子３によって取得された２つの圧縮画像Ｃに基づいて、複眼視差によるデプスマップを推定する。具体的には、制御手段４及び信号処理回路５は、これら２つの撮像素子３から出力された圧縮画像Ｃから、既存のステレオ法によりデプスマップを推定する（Ｓ０２）。

また、制御手段４及び信号処理回路５は、デプスマップから得られる視差情報に基づき圧縮画像Ｃの視差及び倍率を補正し、補正された複数の圧縮画像Ｃ、及び、複数の制御パターンＰに基づき光飛行時間を推定する。電荷信号の補正手法として、具体的には、電荷信号から生成される複数の圧縮画像Ｃとデプスマップとの対応点を算出し、この対応点を基準としてそれぞれの圧縮画像Ｃの視差及び倍率について位置合わせの補正を行う。これにより、補正された複数の圧縮画像Ｃにおいて、特に撮像素子３のレンズ２０から比較的近い範囲における視差の影響が低減される（Ｓ０３）。

続いて、制御手段４及び信号処理回路５は、補正された複数の圧縮画像Ｃによって表される複数の電荷信号、及び、複数の制御パターンＰから逆問題を解くことで時間画像Ｄを算出し、この時間画像Ｄにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。そして、制御手段４及び信号処理回路５は、推定された画素部X_ij毎の光飛行時間から画素部X_ij毎の距離を算出し、距離画像を生成する（Ｓ０４）。

一般に、ステレオ法を用いて生成された距離画像では、撮像素子３のレンズ２０からの距離が近いほど、視差が大きくなるため分解能が向上する。その結果、撮像素子３のレンズ２０から比較的近い範囲では、光飛行時間から求まる距離画像の分解能より、ステレオ法を用いて生成された距離画像の分解能の方が高くなり易い。一方、ステレオ法を用いて生成された距離画像では、撮像素子３のレンズ２０からの距離が遠いほど、視差が小さくなるため分解能が相対的に悪化する。その結果、撮像素子３のレンズ２０から比較的遠い範囲では、ステレオ法を用いて生成された距離画像の分解能より、光飛行時間から求まる距離画像の分解能の方が高くなり易い。以上により、ステレオ法と光飛行時間とのそれぞれを用いて生成された距離画像を距離の大小によって上記のように使い分けることによって、距離画像の精度を向上できる。

そこで、本変形例に係る距離画像計測装置１では、制御手段４及び信号処理回路５は、画素部X_ij毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離についてはデプスマップにより得られる距離を用いて、最終的なデプスマップを生成する（Ｓ０５）。

なお、デプスマップは、通常のステレオ法に限らず、マルチベースラインステレオ法によって推定してもよい。この場合、例えば１５個の撮像素子３のうち、３つ以上の複数の撮像素子３に含まれるゲート電極１５のそれぞれが、同一の制御パターンＰに従い電荷の転送を制御する。このため、互いに異なる制御パターンＰが適用される撮像素子３の数は減少するものの、外れ値（すなわち、比較的大きな推定ミス）となる画素部X_ijを少なくできるため、結果としてデプスマップの推定精度を向上できる。

［第２実施形態］
次に、第２実施形態に係る距離画像計測装置１について説明する。第２実施形態に係る距離画像計測装置１は、１つの撮像素子３を有している点と、画素部X_ijの構成と、が第１実施形態と異なっている。すなわち、図８に示されるように、この撮像素子３の有する画素部X_ijは、それぞれ、複数（図８に示す例では、３つ）の電荷蓄積部１３を有している。この画素部X_ijには、受光部１２の四隅に３つの電荷蓄積部１３及び１つの電荷排出部１４がそれぞれ接続されている。また、この画素部X_ijには、これらの電荷蓄積部１３及び電荷排出部１４への電荷の転送をそれぞれ制御する４つのゲート電極１５が、電荷蓄積部１３又は電荷排出部１４と受光部１２との間に設けられている。これらの電荷蓄積部１３に対応するゲート電極１５には、それぞれの電荷蓄積部１３を転送先とする互いに異なる制御パターンＰに基づく制御パルス電圧ＴＤが与えられる。このように、ゲート電極１５は、複数の電荷蓄積部１３に対応する互いに異なる複数の制御パターンＰに従い、電荷の転送を制御する。

図９には、画素部X_ijが、それぞれ１６個の電荷蓄積部１３を有する場合の制御パターンＰの一例が示されている。図９に示されるように、画素部X_ijのそれぞれにおいて、ゲート電極１５は、互いに異なる電荷蓄積部１３を電荷の転送先とする複数（ここでは、電荷蓄積部１３の数に対応して１６個）の制御パターンＰに順次従い、電荷の転送を制御する。撮像素子３の有する画素部X_ijのそれぞれには、対象物Ｏのうち互いに異なる点にて反射されることで、その点のレンズ２０からの距離に応じた光飛行時間のパルス光が入射する。そして、画素部X_ijに入射した当該パルス光によって生成された電荷は、パルス光の入射のタイミングで制御パターンＰが電荷の転送先として指定している電荷蓄積部１３へ転送され蓄積される。具体的には、図９においてＰ１〜Ｐ１６で表される１６個の制御パターンＰのうち、例えばＰ１で表される制御パターンＰが実行されている間は、Ｐ１に対応する第１番目の電荷蓄積部１３が電荷の転送先となる。Ｐ１で表される制御パターンＰが完了した後には、Ｐ２で表される制御パターンＰが実行され、この間は、Ｐ２に対応する第２番目の電荷蓄積部１３が電荷の転送先となる。以下、Ｐ３で表される制御パターンＰから、Ｐ１６で表される制御パターンＰまで順次実行されて、１回の繰り返し単位とされる。続いて、この１回の繰り返し単位の制御パターンＰが、複数回繰り返して実行される。

このように、第２実施形態に係る距離画像計測装置１では、第１実施形態と異なり、１つの撮像素子３において、複数の画素部X_ijのそれぞれに接続された複数の電荷蓄積部１３に蓄積された電荷の電荷量Ｑから、圧縮画像Ｃが生成される。また、この圧縮画像Ｃは、適用される制御パターンＰによって互いに異なる画像が１つの撮像素子３に生成される。

続いて、算出回路１９は、撮像素子３における上記複数の電荷蓄積部１３に蓄積された複数の圧縮画像Ｃによって表される複数の電荷量Ｑ、及び、これらの複数の制御パターンＰに基づき時間画像Ｄを算出する。算出回路１９は、この時間画像Ｄに基づきパルス光の光飛行時間を推定する。具体的には、算出回路１９は、圧縮画像Ｃによって表される複数の電荷量Ｑ、及び、複数の制御パターンＰから逆問題を解くことで時間画像Ｄを算出し、この時間画像Ｄにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。そして、算出回路１９は、画素部X_ij毎に光飛行時間ヒストグラムを算出し、各画素部X_ijにおけるパルス光の光飛行時間を推定する。算出回路１９は、このようにして推定した画素部X_ij毎の光飛行時間から画素部X_ij毎の距離を算出し、距離画像を生成する。

上記の距離画像計測装置１によれば、１つの撮像素子３を用いた簡素な構成とすることができる。また、複数の電荷蓄積部１３に順次電荷の転送を行うことができるため、電荷蓄積部１３への電荷の転送を効率良く行うことができる。

次に、第２実施形態の変形例について説明する。図１０に示されるように、本変形例に係る距離画像計測装置１においては、電荷の転送先が互いに異なる複数の制御パターンＰを、電荷が複数の電荷蓄積部１３へ同時に転送されないように並列的に組み合わせた制御パターン（以下、複合制御パターンと称する）が実行される。すなわち、画素部X_ijのそれぞれにおいて、ゲート電極１５は、複合制御パターンに従い電荷の転送を制御する。図１０においてＧ１〜Ｇ３等で表されるコードは、Ｇ１〜Ｇ３等にそれぞれ対応するいずれの電荷蓄積部１３へ電荷が転送されるかを示している。このコードが「１」のとき、対応する電荷蓄積部１３へ電荷が転送され、このコードが「０」のとき、対応する電荷蓄積部１３へは電荷は転送されない。なお、このコードを制御パターンＰとして書き換えたものが、同図に示されるＰ１〜Ｐ３である。制御パターンＰを組み合わせた複合制御パターンでは複数の電荷蓄積部１３へ同時に転送されないことが、同図によって示されている。このような複合制御パターンに従いゲート電極１５が電荷の転送を制御する。これにより、当該複合制御パターンには各電荷蓄積部１３が転送先となっているタイミングが含まれることから、各電荷蓄積部１３にはそれぞれ互いに異なる圧縮画像Ｃが出力される。

上記の距離画像計測装置１によれば、複数の電荷蓄積部１３に並行して電荷の転送を行うことができるため、電荷蓄積部１３への電荷の転送を効率良く行うことができると共に、電荷の転送に要する時間を短縮できる。

次に第２実施形態の別の変形例を説明する。図１１に示されるように、本変形例に係る距離画像計測装置１においては、制御手段４及び信号処理回路５は、互いに近接している複数の画素部X_ijのいずれかが有する電荷蓄積部１３に蓄積した複数の電荷の電荷量Ｑと、これら複数の制御パターンＰと、に基づき光飛行時間を推定する。例えば、図１１に示す例では、Ｘ１〜Ｘ１６で表される垂直方向に４行、水平方向に４列の合計１６個の画素部X_ijのそれぞれにおいて、ゲート電極１５は、Ｐ１〜Ｐ１６で示される互いに異なる制御パターンＰに従い電荷の転送を制御する。制御手段４及び信号処理回路５は、１６個の画素部X_ijのそれぞれの電荷蓄積部１３にそれぞれ蓄積した複数の電荷の電荷量Ｑと、これら複数の制御パターンＰと、に基づきパルス光の光飛行時間を推定する。

上記の距離画像計測装置１によれば、複数の画素部X_ijが仮想的に１つの画素として扱われるため、生成される距離画像の解像度は低下する。しかし、低解像度で明るいレンズ２０を用いることができるため、受光部１２へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物Ｏが比較的遠い場合にも適用できる。

なお、本変形例では、必ずしも画素部X_ijに複数の電荷蓄積部１３が含まれていなくてもよく、１つの電荷蓄積部１３のみが含まれていてもよい。

次に、第２実施形態の更に別の変形例を説明する。図１２に示されるように、本変形例に係る距離画像計測装置１においては、制御手段４及び信号処理回路５は、互いに近接している複数（ここでは、画素部X₁₁，X₁₂，X₂₁，X₂₂等で表される垂直方向に２行、水平方向に２列の合計４つ）の画素部X_ijが有する電荷蓄積部１３に蓄積した複数の電荷の電荷量Ｑと、この複数の制御パターンＰと、に基づき光飛行時間を推定する。また、これら４つの画素部X_ijのそれぞれは、複数（ここでは、４つ）の制御パターンＰに順次従い、電荷の転送を制御する。図１２において画素部X₁₁に着目すると、各画素部X_ijには、複数の電荷蓄積部１３（例えば、画素部11においてはＺ１〜Ｚ４で表される４つの電荷蓄積部１３）が設けられている。そして、距離画像計測装置１は、各電荷蓄積部１３に対応するＰ１〜Ｐ４で表される４パターンの制御パターンＰによる制御が実行される。そして、Ｐ１〜Ｐ４で表される４つの制御パターンＰのうち、例えばＰ１で表される制御パターンＰによる制御が実行されている間は、Ｐ１に対応する第１番目の電荷蓄積部１３が電荷の転送先となる。Ｐ１で表される制御パターンＰが完了した後には、Ｐ２で表される制御パターンＰが実行され、この間は、Ｐ２に対応する第２番目の電荷蓄積部１３が電荷の転送先となる。以下、Ｐ３で表される制御パターンＰ、Ｐ４で表される制御パターンＰまで順次実行されて、１回の繰り返し単位とされる。続いて、この１回の繰り返し単位の制御パターンＰが、複数回繰り返して実行される。同様に、画素部X₁₂，X₂₁，X₂₂では、X₁₁と同時期に、それぞれＰ５〜Ｐ１６で表される制御パターンＰのうちの４つがそれぞれ順次実行される。そして、制御手段４及び信号処理回路５は、これら４つの画素部X₁₁，X₁₂，X₂₁，X₂₂のそれぞれにおいて、互いに異なる４つの電荷蓄積部１３にそれぞれ蓄積した合計１６個の電荷の電荷量Ｑと、これらに対応する互いに異なる１６パターンの制御パターンＰと、に基づきパルス光の光飛行時間を推定する。

上記の距離画像計測装置１によれば、互いに近接している複数の画素部X_ijに含まれる複数のゲート電極１５のそれぞれは、互いに異なる複数の制御パターンＰに従い電荷の転送を制御し、制御手段４及び信号処理回路５は、互いに近接している複数の画素部X_ijの有する電荷蓄積部１３によって出力された複数の電荷信号、及び、複数の制御パターンＰに基づき光飛行時間を推定する。このような構成によれば、低解像度で明るいレンズ２０を用いることができるため、受光部１２へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物Ｏが比較的遠い場合にも適用できる。

次に、上記実施形態の実施例について説明する。図１３は、実施例１における圧縮画像及び距離画像を示す図であり、図１４は、実施例２における圧縮画像及び距離画像を示す図である。図１３に示される実施例１では、第１実施形態に係る距離画像計測装置１において、垂直方向に３行、水平方向に５列の合計１５個の撮像素子３を備えた構成とした。そして、対象物Ｏとレンズ２０との距離を３５ｃｍとした。このような構成において、光源２から対象物Ｏに照射し、反射されたパルス光を検出した。

図１３（ａ）は、１５個の撮像素子３によって取得された圧縮画像Ｃである。互いに異なる制御パターンＰを実行したことにより、検出されたパルス光の輝度が互いに異なっていることが分かる。図１３（ｂ）は、図１３（ａ）に示された圧縮画像Ｃの生成に用いられた電荷蓄積部１３に蓄積した電荷の電荷量Ｑと、対応する制御パターンＰと、に基づき生成された時間画像Ｄを表している。

図１４に示される実施例２では、実施例１と比較して、対象物Ｏとレンズ２０との距離が１１０ｃｍと遠くなっている点で条件が相違している。

図１４（ａ）は、１５個の撮像素子３によって取得された圧縮画像Ｃである。実施例１における図１３（ａ）と同様に、互いに異なる制御パターンＰを実行したことにより、検出されたパルス光の輝度が互いに異なっていることが分かる。図１４（ｂ）は、図１４（ａ）に示された圧縮画像Ｃの生成に用いられた電荷蓄積部１３に蓄積した電荷の電荷量Ｑと、対応する制御パターンＰと、に基づき生成された時間画像Ｄを表している。図１３（ｂ）と図１４（ｂ）とを比較すると、対象物Ｏとレンズ２０との距離が異なることに起因して、パルス光が撮影されている距離が互いに異なっている。すなわち、光飛行時間に対応する時間画像Ｄが好適に撮影されていることが示されている。

なお、本発明は上述した実施形態に限定されるものではない。例えば、制御手段４及び信号処理回路５は、光飛行時間ヒストグラムのピーク位置ｐｋの近傍における頻度の重心から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置ｐｋを精度よく計算できるため、高い距離分解能を実現できる。

ここで、本発明の一形態に係る距離画像計測装置では、処理部は、複数の電荷信号、及び、複数の制御パターンから逆問題を解くことで算出される光飛行時間ヒストグラムから光飛行時間を推定し、光飛行時間ヒストグラムは、受光部から電荷蓄積部へ電荷が転送されたタイミングの頻度分布に対応している。このような構成によれば、圧縮サンプリングを好適に行うことができるため、電荷信号及び制御パターンから光飛行時間を推定して距離画像を計測することを好適に実現できる。

また、本発明の一形態に係る距離画像計測装置では、処理部は、光飛行時間ヒストグラムのピーク位置から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置を簡単に計算できるため、処理回路を簡素化することができる。

また、本発明の一形態に係る距離画像計測装置では、処理部は、光飛行時間ヒストグラムのピーク位置の近傍における頻度分布の重心から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置を精度よく計算できるため、高い距離分解能を実現できる。

また、本発明の一形態に係る距離画像計測装置では、複数の制御パターンは、電荷の転送をオン／オフするランダムなパルス状のパターンとしてもよい。このような構成によれば、制御パターンを簡単に設定できるため、処理回路を簡素化することができる。

また、本発明の一形態に係る距離画像計測装置では、複数の撮像素子を有し、同一の撮像素子に含まれる複数のゲート部のそれぞれは、同一の制御パターンに従い電荷の転送を制御し、互いに異なる撮像素子に含まれる複数のゲート部のそれぞれは、互いに異なる複数の制御パターンに従い電荷の転送を制御してもよい。このような構成によれば、複数の撮像素子を用いることで、複数の電荷蓄積部に並行して電荷の転送を行うことができるため、計測時間を短縮できる。

また、本発明の一形態に係る距離画像計測装置では、複数の撮像素子に含まれる複数のゲート部のそれぞれは、同一の制御パターンに従い電荷の転送を制御し、処理部は、複数の当該撮像素子のそれぞれから出力された複数の画素部の電荷信号を含む圧縮画像から、ステレオ法によりデプスマップを推定し、処理部は、当該デプスマップから得られる視差情報に基づき圧縮画像の視差及び倍率を補正し、補正された複数の圧縮画像、及び、複数の制御パターンに基づき光飛行時間を推定し、処理部は、画素部毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離についてはデプスマップにより得られる距離を用いてもよい。一般に、ステレオ法を用いて生成された距離画像では、撮像素子のレンズからの距離が近いほど、視差が大きくなるため分解能が向上する。その結果、撮像素子のレンズから比較的近い範囲では、光飛行時間から求まる距離画像の分解能より、ステレオ法を用いて生成された距離画像の分解能の方が高くなり易い。一方、ステレオ法を用いて生成された距離画像では、撮像素子のレンズからの距離が遠いほど、視差が小さくなるため分解能が相対的に悪化する。その結果、撮像素子のレンズから比較的遠い範囲では、ステレオ法を用いて生成された距離画像の分解能より、光飛行時間から求まる距離画像の分解能の方が高くなり易い。以上により、ステレオ法と光飛行時間とのそれぞれを用いて生成された距離画像を距離の大小によって上記のように使い分けることによって、距離画像の精度を向上できる。

また、本発明の一形態に係る距離画像計測装置では、１つの撮像素子を有し、画素部は、それぞれ、複数の電荷蓄積部を有し、画素部のそれぞれにおいて、ゲート部は、互いに異なる電荷蓄積部を電荷の転送先とする複数の制御パターンに順次従い、複数の電荷蓄積部への電荷の転送を制御してもよい。このような構成によれば、１つの撮像素子を用いた簡素な構成とすることができる。また、複数の電荷蓄積部に順次電荷の転送を行うことができるため、電荷蓄積部への電荷の転送を効率良く行うことができる。

また、本発明の一形態に係る距離画像計測装置では、１つの撮像素子を有し、画素部は、それぞれ、複数の電荷蓄積部を有し、画素部のそれぞれにおいて、ゲート部は、電荷の転送先が互いに異なる複数の制御パターンを、電荷が複数の電荷蓄積部へ同時に転送されないように並列的に組み合わせた複合制御パターンに従い、電荷の転送を制御してもよい。このような構成によれば、複数の電荷蓄積部に並行して電荷の転送を行うことができるため、電荷蓄積部への電荷の転送を効率良く行うことができると共に、計測時間を短縮できる。

また、本発明の一形態に係る距離画像計測装置では、互いに近接している複数の画素部に含まれる複数のゲート部のそれぞれは、互いに異なる複数の制御パターンに従い電荷の転送を制御し、処理部は、互いに近接している複数の画素部の有する電荷蓄積部によって出力された複数の電荷信号、及び、複数の制御パターンに基づき光飛行時間を推定してもよい。このような構成によれば、低解像度で明るいレンズを用いることができるため、受光部へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物が比較的遠い場合にも適用できる。

１…距離画像計測装置、２…光源、３…撮像素子、４…制御手段（処理部）、５…信号処理回路（処理部）、１２…受光部、１３…電荷蓄積部、１４…電荷排出部、１５…ゲート電極、X_ij…画素部、Ｏ…対象物、Ｐ…制御パターン、Ｑ…電荷量。

Claims

対象物にて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部、
前記受光部に接続され、当該受光部から前記電荷が転送されると共に当該電荷を蓄積することで電荷信号を出力する電荷蓄積部、及び、
前記受光部に接続され、前記電荷の転送を制御する所定期間の複数の制御パターンに従い、当該受光部から前記電荷蓄積部への前記電荷の転送を制御するゲート部、
をそれぞれ有する複数の画素部が２次元状に配列された撮像素子と、
前記複数の制御パターンのそれぞれに従い前記ゲート部が前記電荷の転送を制御することで前記電荷蓄積部から出力された複数の前記電荷信号、及び、当該複数の制御パターンに基づき、前記受光部に至るまでの前記パルス光の光飛行時間を推定する処理部と、
を備え、
前記処理部は、前記複数の電荷信号、及び、前記複数の制御パターンから逆問題を解くことで算出される光飛行時間ヒストグラムから前記光飛行時間を推定し、
前記光飛行時間ヒストグラムは、前記受光部から前記電荷蓄積部へ前記電荷が転送されたタイミングの頻度分布に対応している距離画像計測装置。
前記処理部は、前記光飛行時間ヒストグラムのピーク位置から前記光飛行時間を推定する請求項１に記載の距離画像計測装置。
前記処理部は、前記光飛行時間ヒストグラムのピーク位置の近傍における前記頻度分布の重心から前記光飛行時間を推定する請求項１に記載の距離画像計測装置。
対象物にて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部、
前記受光部に接続され、当該受光部から前記電荷が転送されると共に当該電荷を蓄積することで電荷信号を出力する電荷蓄積部、及び、
前記受光部に接続され、前記電荷の転送を制御する所定期間の複数の制御パターンに従い、当該受光部から前記電荷蓄積部への前記電荷の転送を制御するゲート部、
をそれぞれ有する複数の画素部が２次元状に配列された撮像素子と、
前記複数の制御パターンのそれぞれに従い前記ゲート部が前記電荷の転送を制御することで前記電荷蓄積部から出力された複数の前記電荷信号、及び、当該複数の制御パターンに基づき、前記受光部に至るまでの前記パルス光の光飛行時間を推定する処理部と、
を備え、
前記複数の制御パターンは、前記電荷の転送をオン／オフするランダムなパルス状のパターンである距離画像計測装置。
対象物にて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部、
前記受光部に接続され、当該受光部から前記電荷が転送されると共に当該電荷を蓄積することで電荷信号を出力する電荷蓄積部、及び、
前記受光部に接続され、前記電荷の転送を制御する所定期間の複数の制御パターンに従い、当該受光部から前記電荷蓄積部への前記電荷の転送を制御するゲート部、
をそれぞれ有する複数の画素部が２次元状に配列された撮像素子と、
前記複数の制御パターンのそれぞれに従い前記ゲート部が前記電荷の転送を制御することで前記電荷蓄積部から出力された複数の前記電荷信号、及び、当該複数の制御パターンに基づき、前記受光部に至るまでの前記パルス光の光飛行時間を推定する処理部と、
を備え、
複数の前記撮像素子を有し、
同一の前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、同一の前記制御パターンに従い前記電荷の転送を制御し、
互いに異なる前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、互いに異なる前記複数の制御パターンに従い前記電荷の転送を制御する距離画像計測装置。
複数の前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、同一の前記制御パターンに従い前記電荷の転送を制御し、
前記処理部は、複数の当該撮像素子のそれぞれから出力された複数の前記画素部の前記電荷信号を含む圧縮画像から、ステレオ法によりデプスマップを推定し、
前記処理部は、当該デプスマップから得られる視差情報に基づき前記圧縮画像の視差及び倍率を補正し、補正された複数の前記圧縮画像、及び、複数の前記制御パターンに基づき前記光飛行時間を推定し、
前記処理部は、前記画素部毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離については前記デプスマップにより得られる距離を用いる請求項６に記載の距離画像計測装置。
１つの前記撮像素子を有し、
前記画素部は、それぞれ、複数の前記電荷蓄積部を有し、
前記画素部のそれぞれにおいて、前記ゲート部は、互いに異なる前記電荷蓄積部を前記電荷の転送先とする前記複数の制御パターンに順次従い、前記複数の電荷蓄積部への前記電荷の転送を制御する請求項１〜５のいずれか一項に記載の距離画像計測装置。
１つの前記撮像素子を有し、
前記画素部は、それぞれ、複数の前記電荷蓄積部を有し、
前記画素部のそれぞれにおいて、前記ゲート部は、前記電荷の転送先が互いに異なる前記複数の制御パターンを、前記電荷が複数の前記電荷蓄積部へ同時に転送されないように並列的に組み合わせた複合制御パターンに従い、前記電荷の転送を制御する請求項１〜５のいずれか一項に記載の距離画像計測装置。
互いに近接している前記複数の画素部に含まれる複数の前記ゲート部のそれぞれは、互いに異なる前記複数の制御パターンに従い前記電荷の転送を制御し、
前記処理部は、互いに近接している前記複数の画素部の有する前記電荷蓄積部によって出力された前記複数の電荷信号、及び、前記複数の制御パターンに基づき前記光飛行時間を推定する請求項１〜５のいずれか一項に記載の距離画像計測装置。