JP6693757B2 - 距離画像生成装置および方法 - Google Patents

Description

本発明は、光飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）方式による距離画像生成装置に関する。

ロボットビジョン等の分野において、空間の３次元情報をリアルタイムで取得する距離画像センサの重要性が高まっている。そのようなセンサの一つにＴＯＦ方式による距離画像センサ（以下、単に「ＴＯＦセンサ」という）がある。このセンサは、対象空間に変調光を照射し、面状の撮像素子で受光した反射光の位相遅延を画素ごとに検出することによって距離画像を生成する。例えば、特許文献１および２にＴＯＦセンサが開示されている。

位相遅延の検出方法は多く提案されている。公知の一例を図５に基づいて説明する。 照射光の変調周期Ｔに対して、図５Ａに示すようにＴ／２期間ごとに受光した反射光の光量をＡ０、Ａ２、図５Ｂに示すように始点をＴ／４周期遅らせたＴ／２期間ごとに受光した反射光の光量をＡ１、Ａ３とすると、反射光の位相のずれφ_ｄは、
φ_ｄ＝ａｒｃｔａｎ｛（Ａ１−Ａ３）／（Ａ０−Ａ２）｝
で求められる。光を反射した反射面への往復に要した時間ｔは、ｔ＝Ｔφ_ｄ／２π、反射面までの距離ｚは、ｚ＝ｃｔ／２で求められる。ここで、ｃは光速である。

多くのＴＯＦセンサでは、光量に応じてフォトダイオード（ＰＤ）で発生した電荷をＰＤの脇に形成した複数の蓄積部に電子的に振り分け、複数回の受光で発生した電荷をまとめて、蓄積部ごとに信号として読み取る。これにより、センサ以外の構成要素を減らすことができるので装置を小型化できる。また、複数の信号の差と比を取るだけで位相遅延が計算できるので演算負荷が軽く、高速な測定が可能となる。

特開２００３−０５１９８８号公報 特開２００４−２９４４２０号公報

現状のＴＯＦセンサの課題は、距離情報の精度向上である。ＴＯＦセンサは電子的な処理によって距離情報を得るため、種々電子的な誤差の影響を受ける。ランダムな誤差は、同条件での受光回数を増やして平均化することで、影響を小さくできる。しかし、システマチックな誤差は平均化によって取り除くことができない。

本発明は、上記を考慮してなされたものであり、ＴＯＦ方式によって、より高精度な距離画像を生成可能な装置および方法を提供することを目的とする。

上記目的のために、本発明では、ＴＯＦセンサによる原距離画像を三角測量の原理に基づく距離情報で補正する。

本発明の距離画像生成装置は、対象空間に変調光を照射する第１光源と、前記対象空間を横切るビーム状またはシート状のレーザー光を照射する第２光源と、撮像部と、補正部とを有する。そして、前記撮像部は、複数の感光部がマトリクス状に配置された撮像素子を備え、前記第１光源から出射した変調光と該変調光の前記対象空間からの反射光との位相差から原距離画像を生成するとともに、前記第２光源から出射したレーザー光の前記対象空間からの反射光を含む明度画像を生成する。そして、前記補正部は、前記明度画像において前記レーザー光の反射光を記録した画素の位置に基づいて前記原距離画像の距離情報を補正して、補正された距離画像を生成する。

本発明の距離画像生成方法は、対象空間に変調光を照射し、該変調光の反射光を複数の感光部がマトリクス状に配置された撮像素子で受光して、当該反射光の位相遅延を画素ごとに検出して原距離画像を生成するステップと、前記対象空間を横切るようにビーム状またはシート状のレーザー光を照射し、前記撮像素子によって、該レーザー光の反射光を含む明度画像を生成するステップと、前記明度画像において前記レーザー光の反射光を記録した画素の位置に基づいて前記原距離画像の距離情報を補正して、補正された距離画像を生成するステップとを有する。

好ましくは、上記距離画像生成方法において、前記ビーム状またはシート状のレーザー光が、前記撮像素子に対する位置および角度が固定された第２光源から照射される。

本発明の距離画像生成装置または距離画像生成方法によれば、レーザー光の反射光を記録した画素の位置からレーザー光を反射した物体までの距離を求めて、ＴＯＦ方式による原距離画像を補正できる。レーザー光の反射光による距離測定は三角測量の原理を利用しており、ＴＯＦ方式の電子的な誤差の影響を受けないので、より高精度な距離画像を得ることができる。

本発明の一実施形態である距離画像生成装置の構成を示す図である。 ビーム状レーザーの作用を説明するための図である。 シート状レーザーの作用を説明するための図である。 本発明の一実施形態である距離画像生成方法の流れを示す図である。 ＴＯＦ方式による距離測定の公知の方法を説明するための図である。

本発明の距離画像生成装置の一実施形態を図１〜図３に基づいて説明する。

図１において、本実施形態の距離画像生成装置１０は、第１光源１１、第２光源１２、撮像部１３、制御部１６および補正部１８を有する。

第１光源１１は、測定しようとする対象空間全体に、変調光を照射する。変調される光の波長は、後述する撮像素子１４が感知できる波長であれば特に限定されないが、照射光が目立たないように近赤外線が好適に用いられる。変調光は、高周波でパルス状や正弦波状に強度変調されている。変調周波数が高いほど距離解像度が上がるので好ましい。変調周波数は、製造技術等の制限から、典型的には数ＭＨｚ〜１０ＭＨｚ程度に抑えられている。変調される光は、このような高周波数での変調が可能なＬＥＤ光やレーザー光を用いる。

撮像部１３は、撮像素子１４と画像生成部１５を有する。対象空間からの光は、レンズ等によって、撮像素子に集光される。好ましくは、撮像素子の前面に、第１光源から照射される変調光を通すバンドパスフィルターを配置する。これにより環境光の影響を抑えることができる。

撮像素子１４は、感光部であるフォトダイオード（ＰＤ）がマトリクス状に配置され、各ＰＤが距離画像の各画素に対応している。ＰＤで発生した電荷は、ＰＤの脇に形成された複数の蓄積部に振り分けられ、蓄積部には複数回の受光で発生した電荷が蓄積される。蓄積された電荷は、各ＰＤの各蓄積部ごとに、信号として画像生成部に転送される。

画像生成部１５は、ＰＤから転送された信号を演算処理して、第１光源から出射した変調光と、撮像素子が受光したその反射光との位相差から、画素ごとに距離情報を持った原距離画像を生成する。また、画像生成部は、画素ごとの受光強度からなる明度画像を生成する。

第２光源１２は、ビーム状またはシート状のレーザー光を、対象空間を横切るように、すなわち撮像部１３の視野を横切るように照射する。シート状のレーザー光を照射するには、ビーム状のレーザーをスキャンするのではなく、ラインレーザーを用いるのが好ましい。ラインレーザーは、シリンドリカルレンズを通過させるなどして、レーザービームをシート状に広げる。これによりスキャンのための時間が不要になる。レーザー光の波長は、撮像素子１４が感知できる波長であれば特に限定されない。撮像素子の前面にバンドパスフィルターを配置した場合は、そのフィルターを通過する波長とする。レーザー光の波長は、例えば、第１光源１１から照射される変調光と同じ波長とすることができる。

ここで、第２光源１２の撮像素子１４に対する位置および角度は、対象空間の距離や広がりに応じて調整可能であってもよいが、少なくとも同一対象空間に対する一連の測定の間に変化しないように固定されている。

制御部１６は、距離画像生成装置１０全体を制御する。例えば、測定の開始と終了、第１光源と第２光源のオンオフ、第１光源の変調、第１光源と撮像部の同期、撮像素子の電荷振り分けと蓄積部からの信号読み出しなどを制御する。

補正部１８は、撮像部１３から原距離画像と明度画像を受け取る。第２光源からレーザー光を照射中に生成された明度画像には、そのレーザー光の対象空間からの反射光が写っている。図２を参照して、第２光源１２からビーム状のレーザー光３１を照射する場合は、対象空間２１内の物体（対象物）２２表面からの反射光３３が撮像素子１４に受光され、明度画像上に点として写る。図３を参照して、第２光源１２からシート状のレーザー光４１を照射する場合は、その反射光が明度画像上に線状に写る。補正部は反射光が記録された画素の位置から、レーザー光を反射した物体表面までの距離を求める。補正部は、このようにして求めた距離に基づいて原距離画像を補正する。補正された距離画像は、適当なフォーマットで、イーサネット（登録商標）規格等に従って外部に出力される。

なお、以上の各部は必ずしも物理的に分離していなくてもよい。例えば、補正部が画像生成部と一体に構成されて、撮像部に組み込まれていてもよい。

次に、本発明の距離画像生成方法の一実施形態を図４に基づいて説明する。

図４において、本実施形態の距離画像生成方法は、上記距離画像生成装置を用いて実施され、原距離画像生成ステップＳ１と、明度画像生成ステップＳ２と、原距離画像補正ステップＳ３からなる。原距離画像生成ステップＳ１と明度画像生成ステップＳ２は、どちらを先に実施してもよい。

原距離画像生成ステップＳ１は公知のＴＯＦセンサと同じ方法を用いることができる。例えば次のとおりである。まず、第１光源から対象空間全体に変調光を照射する。変調光を照射しながら、制御部の制御に従って、撮像部が変調光の変調周期と同期を取って撮像素子の電子シャッターを開閉し、画素ごとに異なるタイミングで蓄積された電荷量を信号に変換して、画像生成部に転送する。画像生成部は、撮像素子からの複数の信号を演算処理して、原距離画像を生成する。なお、原距離画像生成ステップにおいて、好ましくは、第２光源は消灯する。原距離画像生成時のバックグラウンドノイズを減らすためである。

明度画像生成ステップＳ２では、まず第２光源から、対象空間を横切るようにレーザー光を照射する。次いで、レーザー光を照射しながら、適当な時間間隔で対象空間からの光を撮像素子に受光して、明度画像を生成する。画像生成部は、原距離画像生成ステップＳ１でいずれかのタイミングで蓄積された電荷量に基づく信号を利用して明度画像を生成してもよい。第２光源から照射されるレーザー光は変調されておらず、第１光源の変調周期とは無関係だからである。なお、明度画像生成ステップにおいて、好ましくは、第１光源は消灯する。明度画像生成時のバックグラウンドノイズを減らすためである。

第２光源から照射するレーザー光は、ビーム状でもシート状でもよい。ビーム状のレーザー光を照射すれば、エネルギー消費を少なくできる。その一方で、ビームが物体表面の角や段差部分に当たって、反射光が明度画像上で明瞭に判別できないことがあり得る。シート状のレーザー光を照射すれば、その反射光が明度画像上に線状に写るので、その線上の複数の点の距離情報を利用することができる。

第２光源は、撮像素子と分離可能に構成して、明度画像生成ステップＳ２を実施する度に適当な位置にセットしてもよい。ただしその場合は、第２光源の位置およびレーザー光の出射方向を都度校正する必要がある。好ましくは、第２光源の撮像素子に対する位置および角度が一定であるように、両者が一体化している。両者を一体化させるには、両者を共通の筐体に納めてもよいし、別々の筐体に納めたのちに機械的に結合してもよい。これにより、煩雑な校正作業が不要になる。

原距離画像補正ステップＳ３では、明度画像に基づいて原距離画像を補正する。明度画像によれば、レーザー光の反射光が記録された画素の位置から、当該画素に写った物体表面までの距離が一意に定まる。原距離画像の補正方法は特に限定されない。例えば、明度画像から求めた距離をｚ_Ｌ、原距離画像の同じ画素の距離情報をｚ_Ｔとして、原距離画像のすべての画素の距離情報にｚ_Ｌ−ｚ_Ｔを加えたり、ｚ_Ｌ／ｚ_Ｔを掛けたりすることができる。この方法は、原距離画像に含まれる、電子的な要因によるシステマチックな誤差の除去に特に有効である。また、原距離画像と明度画像が同じ撮像素子を用いて生成されるので、両画像に視差がないし、ステレオ視法のように２つの画像の誤対応が生じることもない。

なお、以上の方法において、原距離画像と明度画像のＳＮ比向上等のために、適宜他の画像を利用してもよい。例えば、距離情報を測定しようとする物体のない状態で対象空間を撮像した背景画像を利用して物体だけの距離画像を抽出してもよい。

本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。

例えば、複数の第２光源を用いてもよい。例えば、２つのラインレーザーを、互いのシート状光が交差するように配置して用いてもよい。その場合は、２つの第２光源を順次切り替えて明度画像を生成することで、より広い範囲で明度画像による距離情報が利用できる。

１０ 距離画像生成装置
１１ 第１光源
１２ 第２光源
１３ 撮像部
１４ 撮像素子
１５ 画像生成部
１６ 制御部
１７ 入力部
１８ 補正部
１９ 出力部
２１ 対象空間
２２ 物体（対象物）
３１ ビーム状レーザー光
３３ ビーム状レーザー光の反射光
４１ シート状レーザー光

Claims (5)

1. 対象空間全体に拡がる変調光を照射する第１光源と、
   前記第１光源とは別に設けられ、前記対象空間を横切るビーム状またはシート状であって、変調されていないレーザー光を照射する第２光源と、
   複数の感光部がマトリクス状に配置された撮像素子を備え、前記第１光源から出射した変調光と該変調光の前記対象空間からの反射光との位相差から原距離画像を生成するとともに、前記第２光源から出射したレーザー光の前記対象空間からの反射光を含む明度画像を生成する撮像部と、
   前記明度画像において前記レーザー光の反射光を記録した画素の位置に基づいて前記原距離画像の距離情報を補正して、補正された距離画像を生成する補正部と、
   を有する距離画像生成装置。
2. 前記第２光源の前記撮像素子に対する位置および角度が固定されている、
   請求項１に記載の距離画像生成装置。
3. 前記第１光源と前記第２光源が同時には照射されない、
   請求項１または２に記載の距離画像生成装置。
4. 対象空間全体に拡がる変調光を照射し、該変調光の反射光を複数の感光部がマトリクス状に配置された撮像素子で受光して、当該反射光の位相遅延を画素ごとに検出して原距離画像を生成するステップと、
   前記対象空間を横切るように、ビーム状またはシート状で変調されていないレーザー光であって、前記変調光と異なる光を照射し、前記撮像素子によって、該レーザー光の反射光を含む明度画像を生成するステップと、
   前記明度画像において前記レーザー光の反射光を記録した画素の位置に基づいて前記原距離画像の距離情報を補正して、補正された距離画像を生成するステップと、
   を有する距離画像生成方法。
5. 前記ビーム状またはシート状のレーザー光が、前記撮像素子に対する位置および角度が固定された第２光源から照射される、
   請求項４に記載の距離画像生成方法。

Images