JP6328966B2 - 距離画像生成装置、物体検出装置および物体検出方法 - Google Patents

距離画像生成装置、物体検出装置および物体検出方法 Download PDF

Info

Publication number
JP6328966B2
JP6328966B2 JP2014053092A JP2014053092A JP6328966B2 JP 6328966 B2 JP6328966 B2 JP 6328966B2 JP 2014053092 A JP2014053092 A JP 2014053092A JP 2014053092 A JP2014053092 A JP 2014053092A JP 6328966 B2 JP6328966 B2 JP 6328966B2
Authority
JP
Japan
Prior art keywords
distance image
filter
distance
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014053092A
Other languages
English (en)
Other versions
JP2015175752A (ja
Inventor
良平 池野
良平 池野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stanley Electric Co Ltd
Original Assignee
Stanley Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stanley Electric Co Ltd filed Critical Stanley Electric Co Ltd
Priority to JP2014053092A priority Critical patent/JP6328966B2/ja
Publication of JP2015175752A publication Critical patent/JP2015175752A/ja
Application granted granted Critical
Publication of JP6328966B2 publication Critical patent/JP6328966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Description

本発明は、光飛行時間型距離画像センサを用いた距離画像生成技術に関し、特に、距離値算出技術および物体検出技術に関する。
光飛行型距離画像センサを用いて、撮影対象空間の対象物体の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。その中で、光飛行時間型（ＴＯＦ方式：Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ方式）距離画像センサは、変調光を出射する光源とそれを受光する受光素子（撮像素子）とからなり、変調光を出射し、画素毎に受光した反射光を元に距離値を算出する。
このような距離画像センサでは、対象物体からの反射光で距離計測を行う。よって、距離画像センサから対象物体までの距離が遠い場合や、対象物体の反射率が低い場合、撮像素子に入射する光も微弱であるため、算出される距離にばらつきが出る。従って、精度のよい距離計測ができない。
このような場合、ノイズや時間的なばらつきを低減するため、得られた距離画像に空間フィルタや時間フィルタ等を適用し、平滑化を行う。空間フィルタは、対象画素の近傍画素を用いて平滑化を行うものである。また、時間フィルタは、対象画素の、所定の時間から過去にサンプルされた値を用いて平滑化を行うものである。
例えば、検出目的の物体（対象物体）の大きさが既知の場合、空間フィルタに関しては、空間フィルタの大きさ（サイズ）が対象物体に対して大きすぎる場合、対象物体とその近傍の背景の距離までが平滑化される。このため、対象物体の正確な距離情報が消失してしまう。逆に、空間フィルタのサイズが対象物体に対して小さすぎる場合は、平滑効果が低くなるため、対象物体の距離値のノイズ低減効果は低くなる。
時間フィルタに関しては、対象物体が移動している場合、過去に遡るサンプル数（サイズ）が多すぎると、フィルタ適用時に対象物体が存在している画素に対象物体が存在していない時間までさかのぼることがあり得る。このような場合、対象物体の距離情報以外を含めて平滑化してしまうこととなり、正確な距離値が得られなくなる。逆に、時間フィルタのサンプル数が少なすぎる場合は、平滑効果が低くなるため、対象物体の距離値のノイズ低減効果が低くなる。
従って、所望の対象物体の検出に上記距離画像センサを用いる場合、距離画素毎に適用するフィルタの最適なサイズを定めることが重要である。各画素に対し、最適なフィルタサイズを定める技術に、当該画素の輝度値に応じて空間フィルタ、時間フィルタのサイズを決定するものがある（例えば、特許文献１参照）。
特開２００７−０５０１１０号公報
特許文献１の技術は、輝度値を画素値とする画像の技術である。距離画像の画素値は距離値であるため、特許文献１の技術を距離画像に適用すると、平滑化対象の画素の距離値に応じて空間フィルタ、時間フィルタサイズが決定されることとなる。すなわち、特許文献１の技術では、対象物体の大きさや移動速度は考慮されずにフィルタのサイズが定まる。従って、対象が距離画像の場合、対象物体より過剰に大きいサイズになったり、過去に過剰に遡った時間フィルタとなったりすることがあり、必ずしも、最適なフィルタ性能が得られない。
従って、大きさが既知の物体を、距離画像を用いて検出する場合、特許文献１の技術を適用したとしても、上述のように距離のばらつきの解消や距離値の精度の向上が望めない。このため、その結果、得られた平滑化後の距離画像からは、物体の正確な距離を算出できず、精度よく物体を検出できない。
本発明は上記事情に鑑みてなされたもので、光飛行時間型距離画像センサを用いた距離画像生成装置において、大きさが既知の検出対象の物体に関し、高精度な距離値を得、検出の精度を高める技術を提供することを目的とする。
本発明は、光飛行時間型距離画像センサにより算出した計算距離値に基づき、画素毎に、既知の大きさの物体を検出するために適用するフィルタの最適なパラメータを決定する。そして、決定したフィルタを、計算距離値に適用し、平滑化する。平滑化後の距離値を画素値とする距離画像上で、その極小値を検出することにより物体を検出する。なお、パラメータの決定は、計算距離値から背景情報を除去した補正値に基づいて算出してもよい。そして、この場合、フィルタの適用は、補正値を画素値とする補正距離画像であってもよい。
具体的には、対象空間に変調した変調光を照射する光源を備える光源部と、前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素についてそれぞれ備えるセンサ部と、前記光電変換素子ごとに複数設けられた電荷蓄積部と、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、前記複数の電荷蓄積部に蓄積された蓄積電荷を用いて画素値が距離値である距離画像を生成する距離画像生成部と、を備え、前記距離画像生成部は、前記複数の電荷蓄積部の前記蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成部と、前記計算距離画像における前記対象物の計算距離値および予め保持する当該対象物の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定部と、前記決定したパラメータのフィルタを適用して平滑化した後の値を画素値とする平滑化距離画像を得る平滑化画像生成部と、を備え、前記平滑化距離画像を前記距離画像とすることを特徴とする距離画像生成装置を提供する。
上記距離画像生成装置と、前記平滑化距離画像を用いて物体の有無を検出する物体検出部と、を備えることを特徴とする物体検出装置を提供する。
また、対象空間に変調した変調光を照射する光源部と、前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素それぞれについて備えるセンサ部と、前記光電変換素子ごとに複数設けられた電荷蓄積部と、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える物体検出装置における物体検出方法であって、前記複数の電荷蓄積部の前記蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成ステップと、前記計算距離画像における前記対象物の計算距離値および予め保持する当該対象物の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定ステップと、前記計算距離画像に前記パラメータのフィルタを適用して平滑化距離画像を得る平滑化ステップと、前記平滑化距離画像を用いて物体の有無を検出する物体検出ステップと、を含むことを特徴とする物体検出方法を提供する。
また、対象空間に変調した変調光を照射する光源部と、前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素それぞれについて備えるセンサ部と、前記光電変換素子ごとに複数設けられた電荷蓄積部と、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える物体検出装置における物体検出方法であって、前記複数の電荷蓄積部の前記蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成ステップと、前記計算距離画像から予め保持する参照画像を減算し、補正距離画像を得る補正ステップと、前記補正距離画像の当該対象物の画素値および予め保持する当該対象物の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定ステップと、前記補正距離画像に前記パラメータのフィルタを適用して平滑化距離画像を得る平滑化ステップと、前記平滑化距離画像を用いて物体の有無を検出する物体検出ステップと、を含むことを特徴とする物体検出方法を提供する。
本発明によれば、光飛行時間型距離画像センサを用いた距離画像生成装置において、大きさが既知の検出対象の物体に関し、高精度な距離値を得、検出の精度を高めることができる。
第一の実施形態の距離画像生成装置のブロック図である。 第一の実施形態の変調信号とゲート信号との関係を説明するための説明図である。 光飛行時間型距離画像生成装置による距離画像生成の原理を説明するための説明図である。 第一の実施形態のフィルタ例を説明するための説明図である。 （ａ）および（ｂ）は、同一の物体を異なる距離において得た距離画像例を説明するための説明図である。 （ａ）および（ｂ）は、それぞれ、図５（ａ）および（ｂ）に示す画像に、同一サイズの空間フィルタを適用した例を説明するための説明図である。 第一の実施形態の、既知の大きさの物体の画素数算出手法を説明するための説明図である。 （ａ）−（ｃ）は、第一の実施形態の空間フィルタ例を説明するための説明図である。 （ａ）−（ｃ）は、移動する同一の物体を異なる時間で撮像して得た距離画像例を説明するための説明図である。 第一の実施形態のフィルタを適用して得た距離画像例を説明するための説明図である。 第一の実施形態の距離画像生成処理および物体検出処理の流れを説明するための説明図である。 （ａ）は、第二の実施形態の参照画像例を、（ｂ）は、第二の実施形態の計算距離画像例を、（ｃ）は、第二の実施形態の補正距離画像例を、それぞれ説明するための説明図である。 第二の実施形態の距離画像生成装置のブロック図である。 第二の実施形態の距離画像生成処理および物体検出処理の流れを説明するための説明図である。
＜＜第一の実施形態＞＞
以下、本発明の第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
［距離画像生成物体検出装置構成］
まず、本実施形態の、距離画像を生成して物体を検出する、距離画像生成物体検出装置の構成を説明する。図１は、本実施形態の距離画像生成物体検出装置１００の機能ブロック図である。
本図に示すように、本実施形態の距離画像生成物体検出装置１００は、照射される変調光１１１と入射光１１２との位相差を用いて距離画像を生成するもので、光源部１１０と、光電変換部（センサ）１２０と、電荷振分部１３０と、制御部１４０と、電荷蓄積部１５０と、距離画像生成部１７０と、物体検出部１８０と、を備える。
光源部１１０は、後述する制御部１４０の制御に従って、対象空間に変調光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）１１１を照射する光源を備える。光源には、ＬＥＤ等の高速変調が可能なデバイスが用いられる。
光電変換部（センサ）１２０は、光源部１１０の光源から照射された変調光１１１が対象空間（距離画像生成物体検出装置１００の視野）内の対象物（物体）１１３で反射された反射光を含む光（入射光）１１２を受光し、電荷に変換する。センサ１２０は、受光量に応じた電荷に変換する複数の光電変換素子を備える。この光電変換素子が画素を形成する。このため、各光電変換素子は、輝度画像および距離画像の各画素に対応づけて規則的に配列されるこの光電変換部１２０の前には、レンズが配置されてもよい。
電荷振分部１３０は、後述する制御部１４０の制御に従って、センサ１２０が変換した電荷を後述する電荷蓄積部１５０に振り分ける。振り分けは、光電変換素子毎に行う。
電荷蓄積部１５０は、電荷振分部１３０が振り分けた電荷を蓄積する。距離情報である変調光１１１と入射光１１２との位相差は、電荷蓄積部１５０に蓄積された電荷（蓄積電荷）を用いて算出する。この位相差を算出するためには、少なくとも３つ以上の位相情報（蓄積電荷）が必要である。
３つ以上の位相情報の取得は、１つの電荷蓄積部１５０により実現してもよいし、複数の電荷蓄積部１５０により実現してもよい。以下、本実施形態では、具体例は、この電荷蓄積部１５０を４つとして説明する。この４つ１組の電荷蓄積部１５０が、画素毎に設けられる。
位相情報を取得する１以上の電荷蓄積部１５０は、画素（光電変換素子）毎に設けられる。このため、以降、本明細書では、各電荷蓄積部１５０に蓄積された蓄積電荷を画素値とする画像を、蓄積電荷画像と呼ぶ。
なお、電荷蓄積部１５０には、電荷そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。以下、本実施形態では、電荷そのものも、ＡＤ変換後のデータも、特に区別することなく電荷蓄積部１５０に蓄積されるものを蓄積電荷と呼ぶ。
制御部１４０は、光源部１１０と電荷振分部１３０とを同期制御する。制御は、変調信号とゲート信号とにより行う。
変調信号は、変調光の変調および出力タイミングを指示する信号であり、光源部１１０に向けて出力される。光源部１１０は、変調信号により変調された変調光１１１を生成し、対象空間に照射する。照射された変調光１１１は、物体１１３により反射され、反射光となる。反射光は、入射光１１２としてセンサ１２０に入射し、電荷に変換されて電荷振分部１３０に送られる。
ゲート信号は、各電荷蓄積部１５０への電荷の振り分けを指示する信号で、電荷振分部１３０に向けて出力される。電荷振分部１３０は、ゲート信号に応じて各電荷蓄積部１５０に電荷を振り分ける。
制御部１４０は、光源部１１０の変調周期に同期し、変調周期と電荷振分部１３０の個数応じた時間だけずらしたゲート信号を生成する。例えば、変調周期が１０ＭＨｚで電荷蓄積部が４つであれば、変調周期を４分割した時間（２５ｎｓ）ずつずらしたタイミングでゲート信号を生成する。これにより、電荷は、ゲート信号に応じて、それぞれの電荷蓄積部１５０に振り分けられる。
本実施形態の変調信号およびゲート信号の出力タイミングの一例を図２に示す。ここでは、変調信号の１周期Ｔｑを４等分した期間に、それぞれ、４つの電荷蓄積部１５０に順に電荷を振り分ける場合の、変調信号１１４およびゲート信号１１５を示す。
また、制御部１４０は、距離画像生成部１７０に読出信号を送信し、電荷蓄積部１５０に蓄積された蓄積電荷を、それぞれ読みださせる。なお、変調光１１１の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度となる。距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要する。
本実施形態の制御部１４０は、この電荷蓄積時間Ｔｆ毎に、距離画像生成部１７０が、電荷蓄積部１５０から蓄積電荷を読み出すよう、読出信号を出力する。電荷蓄積時間Ｔｆ間隔毎に得られる１枚の距離画像をフレームと呼ぶ。また、電荷蓄積時間Ｔｆを、１フレーム時間Ｔｆと呼ぶ。
なお、変調信号１１４とゲート信号１１５と読出信号とを合わせて制御信号と呼ぶ。
距離画像生成部１７０は、制御部１４０の読出信号に従って各電荷蓄積部１５０に蓄積された蓄積電荷を読出し、各蓄積電荷から画素毎に距離値を算出し、算出した距離値を画素値とする距離画像を生成する。距離値は、視野内の、物体１１３までの距離の値である。算出の詳細は、後述する。
物体検出部１８０は、距離画像生成部１７０が生成した距離画像上で、大きさが既知の物体１１３の有無を検出し、その結果を出力する。検出の詳細は後述する。
［ＴＯＦ方式の距離画像生成の原理］
ここで、光飛行時間型（ＴＯＦ方式）の距離画像生成物体検出装置１００における距離画像生成の原理を説明する。図３は、距離画像生成の原理を説明するための図である。
光源部１１０から出射される変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、センサ１２０への入射光１１２の強度も同様に正弦曲線を描くよう変化する。このとき、変調光１１１と入射光１１２とには、光が対象物まで往復する飛行時間による位相の遅延（位相差φ）が生じる。
光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物までの計算距離値Ｄは、以下の式（１）で算出される。
従って、位相差φがわかれば、計算距離値Ｄは求めることができる。本実施形態では、変調光の１周期Ｔｐを４等分し、それぞれの期間に電荷量を、それぞれ、４つの電荷蓄積部１５０に蓄積する。
変調光１１１と入射光１１２との位相差φは、変調光１１１の１周期を４等分した各期間をＴｑ（Ｔ１、Ｔ２、Ｔ３、Ｔ４）とし、それぞれの期間に各電荷蓄積部１５０に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、以下の式（２）で表される。
なお、１周期Ｔｐを４等分した各期間Ｔｑ（Ｔ１、Ｔ２、Ｔ３、Ｔ４）は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。上記では、Ｃ１は０度から９０度の間に蓄積した電荷量、Ｃ２は、９０度から１８０度の間に蓄積した電荷量、Ｃ３は、１８０度から２７０度の間に蓄積した電荷量、Ｃ４は、２７０度から０度の間に蓄積した電荷量である。
［距離画像生成部］
距離画像生成部１７０は、上述の電荷蓄積時間Ｔｆ間隔で蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求める。そして、求めた位相差φを用いて、式（１）に従って、物体１１３までの計算距離値Ｄを求める。
本実施形態では、距離画像を用いて、特定の物体１１３を検出することを目的とする。ところが、上述のように、ＴＯＦ型センサでは、光源部１１０と物体１１３との距離、物体１１３の表面態様などにより、得られる距離値にばらつきが生じる。これを補正し、当該物体１１３の距離値の精度を高めるため、フィルタ(空間フィルタおよび時間フィルタ）用いて平滑化を行う。
本実施形態の距離画像生成部１７０は、この平滑化の効果を高め、その結果得られる各画素の距離値の精度を高めるために最適なフィルタサイズを決定する。フィルタサイズの決定は、計算距離値Ｄを画素値とする計算距離画像を用いて行う。そして、最適なサイズのフィルタを計算距離画像に適用して平滑化し、平滑化後の計算距離画像を出力する。なお、物体１１３の大きさは、既知とする。
上記処理を実現するため、本実施形態の距離画像生成部１７０は、図１に示すように、計算距離画像生成部１７１と、フィルタパラメータ決定部１７２と、平滑化画像生成部１７３と、を備える。
［計算距離画像生成部］
計算距離画像生成部１７１は、複数の電荷蓄積部１５０に蓄積された蓄積電荷に演算処理を施し、画素毎の計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する。本実施形態では、１フレーム時間Ｔｆ毎に、上記式（１）を用いて計算距離値を算出する。
［フィルタパラメータ決定部］
フィルタパラメータ決定部１７２は、前記計算距離画像における対象物１１３の計算距離値および予め保持する対象物１１３の大きさの情報に応じて、、平滑化に用いるフィルタのパラメータを画素毎に決定する。以下、本明細書では、画像上の物体１１３を表示する画素数を、占有画素数と呼ぶ。
本実施形態では、フィルタとして、図４に示す、二次元の空間フィルタ３２１と一次元の時間フィルタ３２２とを組み合わせた三次元フィルタを用いる場合を例にあげて説明する。なお、図４には、３×３画素の空間フィルタ３２１と、３フレームの時間フィルタ３２２とを組み合わせた三次元フィルタ３２３を例示する。なお、以下、本明細書では、空間フィルタ３２１の画素数、時間フィルタ３２２のフレーム数を、それぞれ、サイズと呼ぶ。
本実施形態では、空間フィルタ３２１のパラメータ（サイズ（画素数）および係数）と、時間フィルタ３２２のパラメータ（サイズ（フレーム数）および係数）とを決定する。フィルタパラメータ決定部１７２は、それぞれ、まず、サイズを決定し、その後、各係数を決定する。以下、決定手法を説明する。
［フィルタパラメータ決定手法］
次に、本実施形態のフィルタパラメータ決定部１７２による、フィルタパラメータ決定手法の詳細について説明する。
［空間フィルタ］
まず、距離画像を平滑化する空間フィルタ３２１の最適なサイズ（画素数）が、物体１１３が同一であれば、センサ１２０からの距離によって異なることを説明する。
図５（ａ）および図５（ｂ）は、距離画像生成物体検出装置１００を用いて、同一の物体１１３を、異なる距離において撮像して得た距離画像２００ａおよび２００ｂである。ここでは、距離画像生成物体検出装置１００のセンサ１２０は、天井から鉛直下向きに設置されているものとする。物体１１３は直立状態の人間とする。図５（ａ）および図５（ｂ）には、頭部領域２０１と肩領域２０２とが写っている。ここでは、距離が近いものほど白く、遠いものほど黒く表示している。
距離画像２００ａと距離画像２００ｂとでは、物体１１３とセンサ１２０との距離が異なるため、同一の物体１１３の画像上の大きさも異なる。すなわち、距離画像では、同一の物体１１３であっても、センサ１２０からの距離によって、距離画像上で占める画素数（占有画素数）が異なる。
例えば、センサ１２０の水平画角および垂直画角をそれぞれ全角６０度とする。センサ１２０が備える画素数を１２８×１２８画素とし、人間の頭部の大きさを直径１５ｃｍと仮定する。物体１１３がセンサ１２０から１ｍの距離にある場合、画像上の頭部領域２０１は、約２１７画素の大きさに写る。すなわち、画像上の頭部領域２０１を表示する画素数は、約２１７画素である。一方、物体１１３がセンサ１２０から２ｍの距離にある場合、画像上の頭部領域２０１は、約５４画素の大きさに写る。すなわち、画像上の頭部領域２０１を表示する画素数は、約５４画素である。
ここで、距離画像２００ａおよび距離画像２００ｂそれぞれに、２００画素のサイズを有する空間フィルタ３２１を適用するものとする。
図６（ａ）に示すように、物体１１３が１ｍの距離にある場合、頭部領域２０１は約２１７画素であるため、空間フィルタ３２１は頭部領域２０１より小さくなり、頭部領域２０１の距離情報の消失なくフィルタ結果が得られる。
一方、図６（ｂ）に示すように、物体１１３が２ｍの距離にある場合、頭部領域２０１は約５４画素であるため、空間フィルタ３２１は頭部領域２０１より大きくなる。従って、頭部領域２０１とその周囲の領域も含めて平滑化されるため、頭部領域２０１の距離情報が消失する。
このように、空間フィルタ３２１は、距離画像上で物体１１３と略同等の大きさに設定しないと、ノイズ低減効果が低減したり、近傍の背景までを含めて平滑化し、距離情報を消失させてしまったりする。従って、物体１１３が距離画像で占める画素数に合致するサイズが最適である。同一の物体１１３であっても、センサ１２０からの距離によって距離画像上に表示される画素数が異なるため、適用する空間フィルタ３２１の最適なサイズは異なる。すなわち、同じ大きさの物体１１３が対象であれば、距離値が小さいほど、空間フィルタ３２１の最適なサイズは大きくなる。
本実施形態のフィルタパラメータ決定部１７２は、まず、計算距離値により、撮影対象とする物体１１３の、距離画像に占める画素数（占有画素数）を算出する。そして、空間フィルタ３２１の最適なサイズを決定する。なお、物体１１３の大きさは既知とする。
距離画像生成物体検出装置１００では、受光レンズの画角θや焦点距離Ｆが既知である。図７は、所定方向の、実際の物体１１３の長さ（実長）ａと計算距離画像上の長さ（占有画素数）ｐとの関係を示し、実長aから、占有画素数ｐを算出する手法を説明するための図である。ここでは、計算距離値をＤとし、距離画像生成物体検出装置１００の焦点距離をＦとする。実長ａの物体１１３の、計算距離画像上の占有画素数ｐは、以下の式（３）で表される。
ｐ＝ａ/（（Ｄ-Ｆ）/Ｆ） ・・・（３）
本実施形態のフィルタパラメータ決定部１７２は、計算距離値Ｄと、物体１１３の、所定方向および当該方向に直交する方向の大きさａと、焦点距離Ｆとを用い、式（３）に従って、その物体１１３の両方向の画素数ｐをそれぞれ算出し、乗算することにより、物体１１３の、距離画像上での面積（占有画素数）を算出する。
フィルタパラメータ決定部１７２は、占有画素数から、最適な空間フィルタ３２１のサイズ（画素数）を決定する。上述のように、本実施形態では、当該占有画素数と略同等の大きさが最適であるため、この大きさ（占有画素数）を、空間フィルタ３２１のサイズと決定する。そして、サイズ決定後、係数を決定する。
空間フィルタ３２１の種類には、平均化フィルタや重み付けフィルタなどある。本実施形態では、後述するように、空間フィルタ３２１のサイズ（画素数）や係数を、物体１１３の距離により可変することが目的であるため、フィルタの種類は問わない。
空間フィルタ３２１の例を図８（ａ）〜図８（ｃ）に示す。図８（ａ）は、３×３画素の平均化フィルタ３２１ａの例であり、図８（ｂ）は、３×３画素の重みづけフィルタ３２１ｂの例であり、図８（ｃ）は、５×５画素の平均化フィルタ３２１ｃの例である。
空間フィルタ３２１のサイズを決定後、フィルタパラメータ決定部１７２は、各係数を決定する。平均化フィルタ３２１ａ、３２１ｃでは、係数は、空間フィルタ３２１を構成する各画素において同じ値とする。
一方重み付けフィルタ３２１ｂでは、空間フィルタ３２１を構成する各画素で、係数が異なる。重み付けフィルタ３２１ｂでは、予め定めた規則に従って設定する。このとき、空間フィルタ内で値の重み付けの分布が、空間フィルタ３２１の大きさによらず一定となるように各空間フィルタ３２１の値を設定することが望ましい。
例えば、平均化フィルタを用いる場合、図５（ａ）に示すように、物体１１３までの計算距離が１ｍの場合、サイズが５×５画素と決定されるため、各係数は、図８（ｃ）に示すように、それぞれ、１/２５とする。一方、図５（ｂ）に示すように、物体１１３までの計算距離が２ｍの場合、サイズが３×３画素と決定されるため、各係数は、図８（ａ）に示すように、それぞれ、１／９とする。
なお、空間フィルタ３２１の種類に関しては、距離に応じて、異なる種類の空間フィルタ３２１を用いるよう構成してもよい。
［時間フィルタ］
次に、距離画像を平滑化する時間フィルタ３２２の最適なサイズ（フレーム数）が、物体１１３が同一（速度も同一）であれば、センサ１２０からの距離によって異なることを説明する。
図９（ａ）、図９（ｂ）、および、図９（ｃ）は、図５（ａ）と同一環境で、物体１１３が移動している場合の、時間的に連続する３つのフレームの距離画像２１０ａ、２１０ｂ、２１０ｃである。ここでは、物体１１３は、距離画像の上方から下方に移動している。
例えば、上述の、水平画角および垂直画角が全角６０度で画素数１２８×１２８画素のセンサ１２０において、フレームレート３０ｆｐｓで、水平方向に時速１．０ｋｍ／ｈで移動する直径１５ｃｍの物体１１３を撮影すると仮定する。なお、以下において、センサ１２０と物体１１３との距離とは、画像中心付近の画素の視野範囲に物体１１３が来たときの距離とする。
任意の画素（以後、対象画素と呼ぶ）（水平アドレスｘ、垂直アドレスｙ）の撮像視野内に物体１１３が差し掛かり、通り過ぎるまでのフレーム数は、センサ１２０から物体１１３までの距離が１ｍの場合、同フレーム数は、４．２５となる。また、同距離が３ｍの場合、３．７６となる。よって、距離が１ｍの場合は４フレーム、距離が３ｍの場合は、３フレームが、時間フィルタ３２２の最適なサイズである。
このように、同一の物体１１３が同一速度で同一方向に移動している場合であっても、物体１１３の、センサ１２０からの距離によって、物体１１３の、距離画像上で占有する画素数が異なるため、それに伴い、最適な時間フィルタ３２２のフレーム数は異なる。
センサ１２０の撮像範囲（撮像視野）は既知であるため、物体１１３の大きさ、距離、および移動速度とフレームレートとが分かれば、当該物体１１３が、当該画素の撮像視野内に存在する期間、すなわち、フレーム数を算出できる。
具体的には、任意の画素（以後、対象画素と呼ぶ）（水平アドレスｘ、垂直アドレスｙ）の撮像視野内に物体１１３が差し掛かり、通り過ぎるまでのフレーム数ｎは、下記の式（４）および式（５）で算出される。
ここで、Ｗは物体１１３の大きさ（ｍ）、Ｄは物体１１３までの計算距離（ｍ）、ｘは対象画素の水平アドレス、Θはセンサ１２０の画角（ｄｅｇ）、Ｎは占有画素数、Ｖは物体１１３の移動速度（ｍ／ｓ）、ｆはフレームレート（ｆ／ｓ）である。添え字Ｈを付したものは、その水平方向（画像の水平方向）成分を意味する。また、添え字Ｖを付したものは、その垂直方向（画像の垂直方向）成分を意味する。
本実施形態のフィルタパラメータ決定部１７２は、物体１１３の大きさ、移動速度、および計算距離値と、センサの画角および占有画素数と、フレームレートとを用い、上記式（４）および式（５）に従って、水平方向のフレーム数ｎＨおよび垂直方向のフレーム数ｎＶを算出する。そして、算出したｎＨおよびｎＶの、いずれか少ない値を時間フィルタ３２２の最適サイズ（フレーム数）とする。
フィルタパラメータ決定部１７２は、最適な時間フィルタ３２２のサイズを決定後、その係数を決定する。
所定の時間ｔに取得した距離画像の、所定の画素の画素値をＰ（ｔ）とし、サイズがｎフレームの時間フィルタ３２２を施す場合、平滑化後の当該画素の画素値Ｐ’（ｔ）は、以下の数（６）で表される。
ここで、ｔ−ｉは、時間ｔに取得した距離画像からｉフレーム前の距離画像を取得した時間であり、Ｆ（ｔ）は、時間ｔに取得した距離画像に適用する時間フィルタ３２２の係数である。
時間フィルタ３２２の種類には、平均化フィルタや重みづけフィルタなどがある。本実施形態では、後述するように、時間フィルタ３２２のサイズ（適用フレーム数）を、物体１１３の大きさ、速度、および物体１１３までの距離により可変することが目的であり、フィルタの種類は問わない。
空間フィルタ３２１同様、平均化フィルタは、各フレームの係数が同一な時間フィルタ３２２である。また、重み付けフィルタは、フレーム毎に異なる係数を付すフィルタである。
例えば、上記式（６）の時間フィルタ３２２において、例えば、ｎ＝３とすると、（Ｆ（ｔ），Ｆ（ｔ−１），Ｆ（ｔ−２））＝（１／３，１／３，１／３）であれば、平均化フィルタであり、（Ｆ（ｔ），Ｆ（ｔ−１），Ｆ（ｔ−２））＝（５／９，３／９，１／９）であれば、重みづけフィルタとなる。
フィルタパラメータ決定部１７２は、平均化フィルタであれば、各係数を同一のものとして設定する。一方、重み付けフィルタの場合、予め定めた規則に従って、設定する。このとき、時間フィルタ３２２内での値の重み付けの分布が、時間フィルタ３２２のフレーム数によらず一定になるように各時間フィルタ３２２の値を設定することが望ましい。
例えば、平均化フィルタを用いる場合、物体１１３までの距離が１ｍの場合、最適なサイズが４フレームと決定される。このため、フィルタ係数は、（Ｆ（ｔ），Ｆ（ｔ−１），Ｆ（ｔ−２），Ｆ（ｔ−３））＝（１／４，１／４，１／４，１／４）と決定される。一方、物体１１３までの距離が３ｍの場合、最適なサイズが３フレームと決定される。従って、フィルタ係数は、（Ｆ（ｔ），Ｆ（ｔ−１），Ｆ（ｔ−２））＝（１／３，１／３，１／３）と決定される。
［平滑化画像生成部］
平滑化画像生成部１７３は、決定したパラメータのフィルタ（空間フィルタ３２１および時間フィルタ３２２）を適用し、平滑化後の距離画像を得る。本実施形態では、フィルタを、計算距離値を画素値とする計算距離画像に適用し、平滑化する。距離画像生成部１７０は、平滑化画像生成部１７３において平滑化後の計算距離画像を平滑化距離画像として出力する。
［フィルタ適用例］
図１０に、図９（ａ）、図９（ｂ）、図９（ｃ）の時間的に連続した距離画像２１０ａ、２１０ｂ、２１０ｃに、本実施形態のフィルタパラメータ決定部１７２が決定した最適なパラメータの空間フィルタ３２１と時間フィルタ３２２とを施した後の距離画像（平滑化距離画像）２２０を示す。
一般に、空間フィルタ３２１を適用し、平滑化することで、領域のエッジ部の距離が、周囲の領域の距離値と混ざり合い、ボケたような画像となる。さらに、時間フィルタ３２２を施すことで、物体の移動方向に尾を引いたような画像となる。しかし、本実施形態では、これら空間フィルタ３２１と時間フィルタ３２２のパラメータを、上記に述べたような物体１１３の大きさ、距離、速度に応じた値とし、画素毎に異なる値とする。
これにより、例えば、頭部領域２０１の中央部の画素は、頭部領域２０１内の画素のみを用いて平滑化される。従って、床など、頭部領域２０１以外の領域の距離の影響を受けずに平滑化でき、平滑化の効果を最大限得ることができる。すなわち、フィルタ効果により距離のバラつきが減少する。よって、物体１１３の距離を精度よく取得することが可能となる。
［物体検出部］
次に、物体検出部１８０について説明する。物体検出部１８０は、平滑化距離画像２２０上で、大きさが既知の物体１１３を検出する。
空間フィルタ３２１および時間フィルタ３２２を施した平滑化距離画像２２０は、図１０に示すように、物体１１３の形状を正確に表した画像ではない。しかし、本実施形態では、上述のように、計算距離値に応じて、すなわち、平滑化距離画像２２０上の、物体１１３が占める画素数に応じて、最適なパラメータを有する空間フィルタ３２１および時間フィルタ３２２を適用している。このため、特に物体１１３の中心部において、精度の良い距離値が得られる。従って、本実施形態の、物体検出部１８０では、この領域の距離値を物体の正確な距離値とし、物体を検出する。
具体的には、物体検出部１８０は、平滑化距離画像２２０上の極値の有無で、物体１１３の有無を判別する。すなわち、極値を検出し、極値があれば、物体１１３有りと判別する。また、物体１１３有りと判別した場合、その極値を取る画素の距離値を、物体１１３の距離値とする。
図１０の例では、センサ１２０と背景との距離よりも、センサ１２０と物体１１３との距離の方が近くなるため、物体検出部１８０は、平滑化距離画像２２０上の極小値（極近値）の有無で物体検出とする。また、その極小値の距離値を、物体１１３の距離値とする。
なお、物体１１３の正確な形状を取得する場合は、物体検出部１８０で物体１１３と検出された画素、すなわち、極小値を有する画素の距離値と類似した距離値を持つ画素を、フィルタ適用前の距離画像から抽出する。抽出する画素は、例えば、予め閾値を決定しておき、極小値との差が当該閾値以内の画素とする。
これにより、エッジが鮮明な物体の形状を正確に取得することができる。
本実施形態の距離画像生成部１７０による距離画像生成処理および物体検出処理の流れを図１１に示す。
本図に示すように、本実施形態の距離画像生成部１７０は、各電荷蓄積部１５０に蓄積された蓄積電荷（Ｃ１，Ｃ２，Ｃ３，Ｃ４）をそれぞれ画素値とする、蓄積電荷画像を、電荷蓄積部１５０毎に生成する(ステップＳ１１０１）。ここでは、４枚の蓄積電荷画像が生成される。
距離画像生成部１７０は、蓄積電荷Ｃ１による蓄積電荷画像を第一の蓄積電荷画像ＩＣ１、蓄積電荷Ｃ２による蓄積電荷画像を第二の蓄積電荷画像ＩＣ２、蓄積電荷Ｃ３による蓄積電荷画像を第三の蓄積電荷画像ＩＣ３、蓄積された蓄積電荷Ｃ４による蓄積電荷画像を第四の蓄積電荷画像ＩＣ４とすると、上記式（２）に従って、第一の蓄積電荷画像ＩＣ１と第三の蓄積電荷画像ＩＣ３との差分蓄積電荷画像ＤＩ１と、第二の蓄積電荷画像ＩＣ２と第四の蓄積電荷画像ＩＣ４との差分蓄積電荷画像ＤＩ２とを算出する（ステップＳ１１０２、Ｓ１１０３）。
その後、計算距離画像生成部１７１は、差分蓄積電荷画像ＤＩ１、ＤＩ２の各画素値を用いて、式（２）および式（１）に従って計算距離値を算出し、計算距離画像ＤＤを算出する(ステップＳ１１０４）。
そして、フィルタパラメータ決定部１７２は、各画素の距離値から、空間フィルタ３２１および時間フィルタ３２２のパラメータを決定する（ステップＳ１１０５）。
そして、平滑化画像生成部１７３は、決定したパラメータの空間フィルタ３２１および時間フィルタ３２２を、ステップＳ１１０４で算出した計算距離画像ＤＤにそれぞれ適用し、平滑化距離画像ＦＤＤを得る（ステップＳ１１０６）。
そして、物体検出部１８０は、平滑化距離画像ＦＤＤ上で、上記演算により物体１１３を検出する（ステップＳ１１０７）。
なお、本実施形態の距離画像生成物体検出装置１００は、ＣＰＵと、メモリと、記憶装置とを備える。電荷振分部１３０、制御部１４０、距離画像生成部１７０、および物体検出部１８０は、ＣＰＵが、予め記憶装置に格納されたプログラムを、メモリにロードして実行することにより実現される。
また、本実施形態の距離画像生成物体検出装置１００は、物体検出部１８０が独立して構成されていてもよい。すなわち、光源部１１０と、光電変換部（センサ）１２０と、電荷振分部１３０と、制御部１４０と、電荷蓄積部１５０と、距離画像生成部１７０と、を備える距離画像生成装置と、物体検出部１８０を備える物体検出装置と、別箇独立の構成であってもよい。この場合、距離画像生成部１７０と物体検出部１８０とは、相互にデータを送受信可能な構成とする。
以上説明したように、本実施形態の距離画像生成装置は、対象空間に変調した変調光を照射する光源を備える光源部１１０と、前記光源部１１０から照射され、前記対象空間内の対象物１１３の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素についてそれぞれ備えるセンサ部１２０と、前記光電変換素子ごとに複数設けられた電荷蓄積部１５０と、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部１３０と、前記複数の電荷蓄積部１５０に蓄積された蓄積電荷を用いて画素値が距離値である距離画像を生成する距離画像生成部１７０と、を備え、前記距離画像生成部１７０は、前記複数の電荷蓄積部１５０の前記蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成部１７１と、前記計算距離画像における前記対象物１１３の計算距離値および予め保持する当該対象物１１３の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定部１７２と、前記決定したパラメータのフィルタを適用して平滑化した後の値を画素値とする平滑化距離画像を得る平滑化画像生成部１７３と、を備え、前記平滑化距離画像を前記距離画像とする。そして、前記平滑化画像生成部１７３は、前記計算距離画像に前記フィルタを適用する。
このように、本実施形態によれば、計算で得た距離値に応じて、各画素に最適なフィルタパラメータを決定する。そして、そのパラメータのフィルタを、計算距離画像に適用し、平滑化後の距離画像を得る。本実施形態では、距離画像上の、検出対象の物体１１３が占める画素数に応じて最適なパラメータを有するフィルタを適用して距離画像を補正しているため、補正後の距離画像は、ノイズやばらつきの低減された、物体検出に最適な距離画像となる。
従って、本実施形態によれば、このような距離画像上で物体１１３を検出するため、タイムオブフライト方式の距離画像センサを用い、高い精度で物体１１３を検出できる。
＜＜第二の実施形態＞＞
次に、本発明の第二の実施形態を説明する。第一の実施形態では、計算距離画像に基づいて、既知の物体１１３を検出するために最適なフィルタパラメータを決定している。本実施形態では、計算距離画像から、背景等の情報を除いた補正距離画像を用い、フィルタパラメータを決定する。
各部の説明に先立ち、本実施形態の概要を説明する。本実施形態では、背景等の情報のみを参照画像として保持しておき、撮像により得た計算距離画像から、参照画像を差し引き、背景を除いた補正距離画像を得る。そして、補正距離画像を用いてフィルタのパラメータを決定し、平滑化を行い、物体を検出する。
図１２（ａ）は、参照画像４００の一例である。これは、所定の部屋内を撮像視野とし、背景である床領域に凹凸部１１６がある場合の参照画像４００である。また、図１２（ｂ）は、凹凸部１１６のある背景環境に物体１１３が入った場合の計算距離画像４１０の例である。また、図１２（ｃ）は、計算距離画像４１０から参照画像４００を差し引いた画像（補正距離画像と呼ぶ）４２０である。
たとえ最適なフィルタを適用したとしても、計算距離画像４１０を平滑化した画像で物体の検出を行うと、物体検出部１８０は、物体１１３と凹凸部１１６との両方を物体と検出する可能性がある。
背景情報は既知である。そこで、本実施形態では、予め物体１１３がない状態で撮影を行うことにより、背景情報である参照画像４００を得る。そして、計算距離画像生成部１７１が計算距離値を算出して計算距離画像４１０を得る毎に、参照画像４００との差分を取り、補正距離画像４２０を得る。
補正距離画像４２０は、図１２（ｃ）に示すように、背景情報の凹凸部１１６を排除したものとなる。本実施形態では、以降の、フィルタサイズ決定処理、平滑化処理にこの背景情報を排除した補正距離画像４２０を用いることにより、より物体１１３の検出しやすい距離画像を得る。
本実施形態の距離画像生成物体検出装置１００ａの構成は、基本的に第一の実施形態と同様である。ただし、上述のように、本実施形態では、フィルタパラメータの決定、平滑化処理に、計算距離画像から背景等の情報を除いた補正距離画像を用いる。このため、図１３に示すように、本実施形態の距離画像生成部１７０ａは、参照画像格納部１７４と、補正距離画像生成部１７５と、をさらに備える。また、フィルタパラメータ決定部１７２および平滑化画像生成部１７３の機能も多少異なる。
［参照画像格納部］
参照画像格納部１７４は、距離画像生成物体検出装置１００の撮像視野の背景情報を、参照画像４００として格納しておく。背景情報は、上述のように、距離画像生成物体検出装置１００が検出対象とする物体１１３以外の、撮像視野内の距離画像である。なお、参照画像は、予め、物体１１３が存在しない状態で撮像し、格納しておく。
本実施形態では、参照画像格納部１７４は、距離画像生成物体検出装置１００ａが備える記憶装置、メモリ等に構築される。
補正距離画像生成部１７５は、計算距離画像生成部１７１が生成した計算距離画像４１０から、参照画像４００を減算し、補正距離画像４２０を得る。補正距離画像４２０は、計算距離画像４１０から背景情報を除いた画像である。
フィルタパラメータ決定部１７２は、計算距離画像４１０ではなく、補正距離画像４２０の各画素値である補正距離値および物体１１３の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定する。なお、用いるフィルタの種類、パラメータの決定手法は第一の実施形態と同様である。
平滑化画像生成部１７３は、決定したパラメータのフィルタ(空間フィルタ３２１および時間フィルタ３２２）を適用し、平滑化後の距離画像を得る。本実施形態では、フィルタを、計算距離画像４１０ではなく、補正距離画像４２０に適用し、平滑化する。距離画像生成部１７０は、平滑化画像生成部１７３において平滑化後の補正距離画像を、平滑化距離画像として出力する。
物体検出部１８０の処理も第一の実施形態と同様である。ただし、本実施形態の物体検出部１８０が物体を検出する際に用いる平滑化距離画像は、上述のように、背景情報が除かれた補正距離画像４２０平滑化したものである。
本実施形態の距離画像生成部１７０ａによる距離画像生成処理および物体検出処理の流れを図１４に示す。
本図に示すように、本実施形態の距離画像生成部１７０ａは、各電荷蓄積部１５０に蓄積された蓄積電荷（Ｃ１，Ｃ２，Ｃ３，Ｃ４）をそれぞれ画素値とする、蓄積電荷画像を、電荷蓄積部１５０毎に生成する(ステップＳ２１０１）。ここでは、４枚の蓄積電荷画像が生成される。
距離画像生成部１７０ａは、蓄積電荷Ｃ１による蓄積電荷画像を第一の蓄積電荷画像ＩＣ１、蓄積電荷Ｃ２による蓄積電荷画像を第二の蓄積電荷画像ＩＣ２、蓄積電荷Ｃ３による蓄積電荷画像を第三の蓄積電荷画像ＩＣ３、蓄積された蓄積電荷Ｃ４による蓄積電荷画像を第四の蓄積電荷画像ＩＣ４とすると、上記式（２）に従って、第一の蓄積電荷画像ＩＣ１と第三の蓄積電荷画像ＩＣ３との差分蓄積電荷画像ＤＩ１と、第二の蓄積電荷画像ＩＣ２と第四の蓄積電荷画像ＩＣ４との差分蓄積電荷画像ＤＩ２とを算出する（ステップＳ２１０２、Ｓ２１０３）。
その後、計算距離画像生成部１７１は、差分蓄積電荷画像ＤＩ１、ＤＩ２の各画素値を用いて、式（２）および式（１）から、計算距離画像ＤＤを算出する(ステップＳ２１０４）。
次に、補正距離画像生成部１７５は、計算距離画像ＤＤから、参照画像ＲＥＦを減算し、補正距離画像（ＣＤＤ）を得る（ステップＳ２１０５）。
そして、フィルタパラメータ決定部１７２は、補正距離画像の各画素値から、空間フィルタ３２１および時間フィルタ３２２のパラメータを決定する（ステップＳ２１０６）。
そして、平滑化画像生成部１７３は、決定したパラメータの空間フィルタ３２１および時間フィルタ３２２を、ステップＳ２１０５で算出した補正距離画像ＣＤＤにそれぞれ適用し（ステップＳ２１０７）、平滑化距離画像ＦＤＤを得る。
そして、物体検出部１８０は、平滑化距離画像ＦＤＤ上で、上記演算により物体１１３を検出する（ステップＳ２１０８）。
なお、本実施形態の距離画像生成物体検出装置１００ａも、ＣＰＵと、メモリと、記憶装置とを備える。電荷振分部１３０、制御部１４０、距離画像生成部１７０ａ、および物体検出部１８０は、ＣＰＵが、予め記憶装置に格納されたプログラムを、メモリにロードして実行することにより実現される。
また、本実施形態の距離画像生成物体検出装置１００ａも、物体検出部１８０が独立して構成されていてもよい。すなわち、光源部１１０と、光電変換部（センサ）１２０と、電荷振分部１３０と、制御部１４０と、電荷蓄積部１５０と、距離画像生成部１７０と、を備える距離画像生成装置と、物体検出部１８０を備える物体検出装置と、別箇独立の構成であってもよい。この場合、距離画像生成部１７０と物体検出部１８０とは、相互にデータを送受信可能な構成とする。
以上説明したように、本実施形態の距離画像生成物体検出装置１００ａは、対象空間に変調した変調光を照射する光源を備える光源部１１０と、前記光源部から照射され、前記対象空間内の対象物１１３の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素についてそれぞれ備えるセンサ部１２０と、前記光電変換素子ごとに複数設けられた電荷蓄積部１５０と、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部１３０と、前記複数の電荷蓄積部１５０に蓄積された蓄積電荷を用いて画素値が距離値である距離画像を生成する距離画像生成部１７０と、を備え、前記距離画像生成部１７０は、前記複数の電荷蓄積部１５０の前記蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成部１７１と、前記計算距離画像における前記対象物１１３の計算距離値および予め保持する当該対象物１１３の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定部１７２と、前記決定したパラメータのフィルタを適用して平滑化した後の値を画素値とする平滑化距離画像を得る平滑化画像生成部１７３と、を備え、前記平滑化距離画像を前記距離画像とする。
そして、前記計算距離画像から予め保持する参照画像を減算して補正距離画像を生成する補正距離画像生成部１７５をさらに備え、前記フィルタパラメータ決定部１７２は、前記補正距離画像の当該対象物の画素値および前記大きさの情報に応じて、前記パラメータを決定し、前記平滑化画像生成部１７３は、前記補正距離画像に前記フィルタを適用する。
このように、本実施形態によれば、第一の実施形態同様、距離値に応じて決定されたフィルタパラメータを用いて、計算距離画像を平滑化する。従って、物体検出に最適な距離画像を得ることができ、それを用いて物体を検出するため、高い検出精度を得ることができる。
さらに、本実施形態によれば、フィルタのパラメータを決定する際に用いる画像、フィルタを適用する画像として、背景情報を除いた補正距離画像４２０を用いる。そして、この補正距離画像を平滑化した平滑化距離画像を用いて物体を検出する。従って、背景情報を排除した画像上で物体１１３を検出するため、より高精度に物体１１３を検出できる。
なお、上記各実施形態は、例えば、所定の領域への侵入者を検出、所定領域を通過する人数のカウント、工場のラインを流れる物体の位置や大きさの検出等に適用することができる。
１００：距離画像生成物体検出装置、１００ａ：距離画像生成物体検出装置、１１０：光源部、１１１：変調光、１１２：入射光、１１３：物体、１１４：変調信号、１１５：ゲート信号、１１６：凹凸部、１２０：センサ、１２０：光電変換部、１３０：電荷振分部、１４０：制御部、１５０：電荷蓄積部、１７０：距離画像生成部、１７０ａ：距離画像生成部、１７１：計算距離画像生成部、１７２：フィルタパラメータ決定部、１７３：平滑化画像生成部、１７４：参照画像格納部、１７５：補正距離画像生成部、１８０：物体検出部、２００ａ：距離画像、２００ｂ：距離画像、２０１：頭部領域、２０２：肩領域、２１０ａ：距離画像、２１０ｂ：距離画像、２１０ｃ；距離画像、２２０：平滑化距離画像、３２１：空間フィルタ、３２１ａ：平均化フィルタ、３２１ｂ：重み付けフィルタ、３２１ｃ：平均化フィルタ、３２２：時間フィルタ、３２３：三次元フィルタ、４００：参照画像、４１０：計算距離画像、４２０：補正距離画像

Claims (8)

  1. 対象空間に変調した変調光を照射する光源を備える光源部と、
    前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素についてそれぞれ備えるセンサ部と、
    前記光電変換素子ごとに複数設けられた電荷蓄積部と、
    前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、
    前記複数の電荷蓄積部に蓄積された蓄積電荷を用いて画素値が距離値である距離画像を生成する距離画像生成部と、を備え、
    前記距離画像生成部は、
    前記複数の電荷蓄積部の前記蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成部と、
    前記計算距離画像における前記対象物の計算距離値および予め保持する当該対象物の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定部と、
    前記決定したパラメータのフィルタを適用して平滑化した後の値を画素値とする平滑化距離画像を得る平滑化画像生成部と、を備え、前記平滑化距離画像を前記距離画像とすること
    を特徴とする距離画像生成装置。
  2. 請求項１記載の距離画像生成装置であって、
    前記平滑化画像生成部は、前記計算距離画像に前記フィルタを適用すること
    を特徴とする距離画像生成装置。
  3. 請求項１記載の距離画像生成装置であって、
    前記計算距離画像から予め保持する参照画像を減算して補正距離画像を生成する補正距離画像生成部をさらに備え、
    前記フィルタパラメータ決定部は、前記補正距離画像の当該対象物の画素値および前記大きさの情報に応じて、前記パラメータを決定し、
    前記平滑化画像生成部は、前記補正距離画像に前記フィルタを適用すること
    を特徴とする距離画像生成装置。
  4. 請求項１から３いずれか１項記載の距離画像生成装置と、
    前記平滑化距離画像を用いて物体の有無を検出する物体検出部と、を備えること
    を特徴とする物体検出装置。
  5. 対象空間に変調した変調光を照射する光源部と、
    前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素それぞれについて備えるセンサ部と、
    前記光電変換素子ごとに複数設けられた電荷蓄積部と、
    前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える物体検出装置における物体検出方法であって、
    前記複数の電荷蓄積部に蓄積された蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成ステップと、
    前記計算距離画像における前記対象物の計算距離値および予め保持する当該対象物の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定ステップと、
    前記計算距離画像に前記パラメータのフィルタを適用して平滑化距離画像を得る平滑化ステップと、
    前記平滑化距離画像を用いて物体の有無を検出する物体検出ステップと、を含むこと
    を特徴とする物体検出方法。
  6. 対象空間に変調した変調光を照射する光源部と、
    前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素それぞれについて備えるセンサ部と、
    前記光電変換素子ごとに複数設けられた電荷蓄積部と、
    前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える物体検出装置における物体検出方法であって、
    前記複数の電荷蓄積部に蓄積された蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成ステップと、
    前記計算距離画像から予め保持する参照画像を減算し、補正距離画像を得る補正ステップと、
    前記補正距離画像の当該対象物の画素値および予め保持する当該対象物の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定ステップと、
    前記補正距離画像に前記パラメータのフィルタを適用して平滑化距離画像を得る平滑化ステップと、
    前記平滑化距離画像を用いて物体の有無を検出する物体検出ステップと、を含むこと
    を特徴とする物体検出方法。
  7. 対象空間に変調した変調光を照射する光源を備える光源部と、
    前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素それぞれについて備えるセンサ部と、
    前記光電変換素子ごとに複数設けられた電荷蓄積部と、
    前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える物体検出装置のコンピュータに、
    前記複数の電荷蓄積部に蓄積された蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成手順、
    前記計算距離画像における前記対象物の計算距離値および予め保持する当該対象物の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定手順、
    前記計算距離画像に前記パラメータのフィルタを適用して平滑化距離画像を得る平滑化手順、
    前記平滑化距離画像を用いて物体の有無を検出する物体検出手順、を実行させるためのプログラム。
  8. 対象空間に変調した変調光を照射する光源を備える光源部と、
    前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する光電変換素子を複数の画素それぞれについて備えるセンサ部と、
    前記光電変換素子ごとに複数設けられた電荷蓄積部と、
    前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える物体検出装置のコンピュータに、
    前記複数の電荷蓄積部に蓄積された蓄積電荷に演算処理を施して画素毎に計算距離値を得、当該計算距離値を画素値とする計算距離画像を生成する計算距離画像生成手順、
    前記計算距離画像から予め保持する参照画像を減算し、補正距離画像を得る補正手順、
    前記補正距離画像の当該対象物の画素値および予め保持する当該対象物の大きさの情報に応じて、平滑化に用いるフィルタのパラメータを画素毎に決定するフィルタパラメータ決定手順、
    前記補正距離画像に前記パラメータのフィルタを適用して平滑化距離画像を得る平滑化手順、
    前記平滑化距離画像を用いて物体の有無を検出する物体検出手順、を実行させるためのプログラム。
JP2014053092A 2014-03-17 2014-03-17 距離画像生成装置、物体検出装置および物体検出方法 Active JP6328966B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014053092A JP6328966B2 (ja) 2014-03-17 2014-03-17 距離画像生成装置、物体検出装置および物体検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014053092A JP6328966B2 (ja) 2014-03-17 2014-03-17 距離画像生成装置、物体検出装置および物体検出方法

Publications (2)

Publication Number Publication Date
JP2015175752A JP2015175752A (ja) 2015-10-05
JP6328966B2 true JP6328966B2 (ja) 2018-05-23

Family

ID=54255062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014053092A Active JP6328966B2 (ja) 2014-03-17 2014-03-17 距離画像生成装置、物体検出装置および物体検出方法

Country Status (1)

Country Link
JP (1) JP6328966B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921216B2 (en) 2019-12-11 2024-03-05 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6645151B2 (ja) * 2015-12-07 2020-02-12 富士通株式会社 投影装置、投影方法及び投影用コンピュータプログラム
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
JP6817780B2 (ja) 2016-10-21 2021-01-20 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
JP7111497B2 (ja) 2018-04-17 2022-08-02 株式会社東芝 画像処理装置、画像処理方法、距離計測装置、及び距離計測システム
JP6717887B2 (ja) 2018-07-12 2020-07-08 ファナック株式会社 距離補正機能を有する測距装置
JP2020193957A (ja) * 2019-05-30 2020-12-03 ファナック株式会社 測距異常を補正する距離画像生成装置
JP7411656B2 (ja) 2019-06-20 2024-01-11 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
JP2021032794A (ja) * 2019-08-28 2021-03-01 パイオニア株式会社 計測装置、制御方法、プログラム及び記憶媒体
JPWO2022270058A1 (ja) * 2021-06-24 2022-12-29

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2738800B2 (ja) * 1992-05-07 1998-04-08 三菱電機株式会社 三角測量式距離計と車間距離制御装置
JP4466366B2 (ja) * 2004-12-27 2010-05-26 パナソニック電工株式会社 距離画像を用いた人体検知方法および人体検知装置
US8223215B2 (en) * 2008-01-30 2012-07-17 Mesa Imaging Ag Adaptive neighborhood filtering (ANF) system and method for 3D time of flight cameras
JP2010164440A (ja) * 2009-01-16 2010-07-29 Stanley Electric Co Ltd 距離画像処理装置および撮影装置
WO2010119482A1 (ja) * 2009-04-16 2010-10-21 トヨタ自動車株式会社 距離検出装置、及び当該装置で用いられる方法
US8638424B2 (en) * 2010-01-19 2014-01-28 Microsoft Corporation Charge equalizing clock driver and other enhancements for time-of-flight depth sensing and other systems
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
JP2014025804A (ja) * 2012-07-26 2014-02-06 Sanyo Electric Co Ltd 情報取得装置および物体検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921216B2 (en) 2019-12-11 2024-03-05 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Also Published As

Publication number Publication date
JP2015175752A (ja) 2015-10-05

Similar Documents

Publication Publication Date Title
JP6328966B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
JP6764863B2 (ja) 距離測定装置
US11215700B2 (en) Method and system for real-time motion artifact handling and noise removal for ToF sensor images
JP5448617B2 (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
KR102336064B1 (ko) 촬상 장치 및 그 촬상 방법, 화상 처리 장치 및 그 화상 처리 방법, 및, 프로그램
JP5679702B2 (ja) 映像処理装置および方法
JP6125188B2 (ja) 映像処理方法及び装置
KR101815407B1 (ko) 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체
KR101613133B1 (ko) 3차원 영상 처리 장치 및 그 방법
WO2015190015A1 (ja) 測距装置
JP2016026521A5 (ja)
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
KR102490335B1 (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
EP2927710A2 (en) Ranging system, information processing apparatus, information processing method and program thereof
JP2016045240A5 (ja)
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
JP5452200B2 (ja) 距離画像生成装置および距離画像生成方法
JP6313617B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
JP2020076619A (ja) 投光制御装置、投光制御方法
JP2004301607A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2016111609A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2014070936A (ja) 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
KR20130082053A (ko) 깊이 영상을 처리하는 방법 및 장치
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
JP6273921B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180419

R150 Certificate of patent or registration of utility model

Ref document number: 6328966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250