JP7021885B2

JP7021885B2 - 距離測定装置

Info

Publication number: JP7021885B2
Application number: JP2017174076A
Authority: JP
Inventors: 浩三増田
Original assignee: Hitachi LG Data Storage Inc
Current assignee: Hitachi LG Data Storage Inc
Priority date: 2017-09-11
Filing date: 2017-09-11
Publication date: 2022-02-17
Anticipated expiration: 2037-09-11
Also published as: US10795004B2; US20190079170A1; CN109490903B; JP2019049480A; CN109490903A

Description

本発明は、被写体までの距離を距離画像として出力する距離測定装置に関する。

光の伝達時間に基づいて物体までの距離を測定し（以下、ＴＯＦ法：タイム・オブ・フライト）、距離を表示した画像（距離画像）として出力する技術が知られる。例えば特許文献１に記載の人物位置検出装置は、ＴＯＦ式距離画像センサからの距離情報に基づいて、室内空間の物体までの距離変位を検出する距離変位検出手段と、検出された距離変位領域の形状特定化によって人物かどうかを判別する人物判別手段とを有し、人物として形状特定化された距離変位領域までの方向および距離を人物位置として検出する構成が開示されている。

特開２００９－１７４８３０号公報

特許文献１の技術では、室内空間の物体までの距離を測定し、測定値の時間変化量から距離変位領域を検出するとともに、予め登録した人物形状の特徴と検出された距離変位領域の特徴とを比較することで、人物かどうかを判別するものである。

ＴＯＦ法による距離測定では、レーザ光源などから被写体に向けパルス光を照射し、被写体から反射したパルス光を受光してその時間差から被写体までの距離を計算するものである。その際、光源から出射する光の強度は一定であり、特に、店舗のように同一室内に複数の距離測定装置を備えて使用する測定システムにおいては、光源に対する全体の消費電力が増大する。例えば、測定対象が人物の場合、室内に測定対象である人物が存在しない場合でも出射光の強度は一定であり、電力の一部が無駄に消費されることになる。

一方、消費電力を低減するため光源の出射光強度を小さくすると、被写体からの反射光の強度が低下して安定した距離測定動作が困難になる。特許文献１をはじめ従来技術では、光源の消費電力の低減と距離測定性能の確保については特に考慮されていなかった。

本発明の目的は、光源の消費電力の低減と距離測定性能の確保を両立できる距離測定装置を提供することである。

本発明は、被写体までの距離を測定し距離画像として出力する距離測定装置であって、発光部と受光部と距離計算部を有し、被写体までの距離を光の伝達時間に基づいて測定する距離測定部と、前記距離測定部にて測定された距離データから被写体の距離画像を生成する画像処理部と、前記発光部における光源からの出射光の強度を制御する発光強度制御部と、前記受光部における隣接する画素信号の加算処理を制御する画素加算制御部と、を備える。前記画像処理部は、生成した距離画像に検出対象物が存在するか否かを判定し、前記距離画像に前記検出対象物が存在する場合は、前記発光強度制御部は前記発光部における出射光の強度を大きくするとともに、前記画素加算制御部は前記受光部における隣接する画素信号の加算率を小さくする高精細モードに設定する。前記距離画像に前記検出対象物が存在しない場合は、前記発光強度制御部は前記発光部における出射光の強度を小さくするとともに、前記画素加算制御部は前記受光部における隣接する画素信号の加算率を大きくする省電力モードに設定する。

本発明によれば、光源の消費電力の低減と距離測定性能の確保を両立できる距離測定装置を提供することができる。

実施例１に係る距離測定装置を示す構成図。ＴＯＦ法による距離測定の原理を説明する図。ＴＯＦ法による距離測定の原理を説明する図。差分器による差分画像の生成を説明する図。発光部と受光部の動作状態を説明する図。被写体の状況に応じた動作モードの切り替えを説明する図。距離測定の流れを示すフローチャート。距離測定の流れを示す他のフローチャート。実施例２に係る距離測定システムを示す構成図。距離測定システムを適用した店舗の例を示す図。

以下、本発明の実施形態を図面を用いて説明する。以下の例では被写体として人物を検出する場合について説明する。

図１は、実施例１に係る距離測定装置を示す構成図である。距離測定装置１では、人物を含む被写体までの３次元距離をＴＯＦ（タイム・オブ・フライト）方式で測定し、測定した被写体の各部までの距離を例えば色で表示し、２次元の距離画像として出力する。その際、被写体全体から人物以外の背景画像を除去することで、検出対象である人物の位置や姿勢を見やすく表示するものである。

距離測定装置１は、ＴＯＦ方式により被写体までの距離を測定して被写体画像Ａ（３次元距離データ）を出力する距離測定部１０（以下、ＴＯＦカメラとも呼ぶ）と、ＴＯＦカメラ１０から被写体の中に検出対象である人物が存在しない状態の被写体画像（以下、背景画像Ｂと呼ぶ）を取り込む背景画像取込部１４と、背景画像を保存する背景画像記憶部１５と、被写体画像Ａから背景画像Ｂを除去して人物などの物体を抽出した差分画像Ｃを生成する差分器１６と、差分画像の各位置までの距離データに基づいて色相を変えるカラー化処理を行って距離画像Ｄを出力する画像処理部１７と、を備える。

距離測定部（ＴＯＦカメラ）１０は、被写体にパルス光を照射するレーザダイオード（ＬＤ）や発光ダイオード（ＬＥＤ）などの発光部１１と、被写体から反射したパルス光を受光するＣＣＤセンサやＣＭＯＳセンサなどの受光部１２と、発光部１１を駆動するとともに受光部１２の検出信号から被写体までの距離を計算する距離計算部１３を含む。受光部１２では被写体の２次元画像を撮影することで、距離計算部１３は、被写体の２次元画像の距離データ、すなわち３次元の距離データを出力する。ＴＯＦによる距離測定の原理は後述する。

発光強度制御部１８は、発光部１１における出射光の強度を制御し、画素加算制御部１９は、受光部１２における画素信号の加算処理を制御する。発光強度制御部１８と画素加算制御部１９は、画像処理部１７にて得られた距離画像Ｄ内の被写体（人物）の状況に応じて、制御状態（動作モード）を切り替える。なお、各部の動作は図示しないＣＰＵによって制御される。

図２Ａと図２Ｂは、ＴＯＦ法による距離測定の原理を説明する図である。ＴＯＦ（タイム・オブ・フライト）法では、出射光信号と受光信号の時間差、すなわち光の伝達時間に基づいて距離を算出する。

図２ＡはＴＯＦカメラ１０と被写体２（例えば人物）の関係を示す図である。ＴＯＦカメラ１０は発光部１１と受光部１２を有し、発光部１１から被写体２へ距離測定用の光３１を出射する。出射光には赤外光を用いる。受光部１２は、被写体２に出射された光の反射光３２を受光するが、対物レンズ３３を介してＣＣＤなどの２次元センサ（２次元画素）３４で受光する。被写体２は、発光部１１および受光部１２からＬ［ｍ］離れた位置に存在する。ここで、光速をｃ［ｍ／ｓ］として、発光部１１が光出射を開始してから受光部１２が反射光を受光するまでの時間差（伝達時間）をｔ［ｓ］とすると、被写体２までの距離Ｌ［ｍ］は、
Ｌ［ｍ］＝ｃ［ｍ／ｓ］×ｔ［ｓ］／２・・・（１）
で求められる。

図２Ｂは時間差ｔの測定を示す図である。距離計算部１３は、発光部１１から出射した光３１のタイミングと、受光部１２で反射光３２を受光したタイミングから、その時間差ｔを測定し、式（１）から被写体２との距離Ｌを算出する。また、２次元センサ３４における各画素位置での受光タイミングのずれから、被写体各位置の距離の差、すなわち被写体の凹凸形状を求めることができる。

図３は、差分器１６による差分画像の生成を説明する図である。（ａ）はＴＯＦカメラ１０で得られる被写体画像Ａの例であり、検出対象である人物とともに他の物体が写っている。（ｂ）は被写体の中に検出対象である人物が存在しない背景画像Ｂの例である。例えば、店舗においては開店前の客がいない状態で背景画像Ｂを撮影しておく。（ｃ）は差分器１６により、被写体画像Ａから背景画像Ｂを除去した差分画像Ｃである。差分化処理により人物以外の物体や背景の凹凸が除去されて、人物のみが抽出された画像となる。ただし、受光部１２のＣＣＤセンサ等で発生する電子ノイズのため、差分画像Ｃにノイズが重畳する場合がある。その場合は、予め設定した閾値以下のレベルの信号を無信号（無限遠の距離）とする閾値処理を追加するとよい。

本実施例では、距離画像内の被写体（人物）の状況に応じて、発光部１１と受光部１２における動作モードを切り替えることに特徴がある。すなわち、画像処理部１７にて得られた距離画像Ｄ内に検出対象である人物が存在するか否かに応じて、省電力動作モードと高精細動作モードを切り替えるようにした。具体的には、画像処理部１７から発光強度制御部１８と画素加算制御部１９に対し制御信号を送り、発光強度制御部１８は発光部１１の出射光の強度を調整し、画素加算制御部１９は受光部１２における画素加算処理を切り替える。

図４は、発光部１１と受光部１２の動作状態を説明する図である。動作モードとして（ａ）省電力モードと（ｂ）高精細モードを設定する。
（ａ）の省電力モードでは光源の消費電力を抑えるため、発光部１１では単位時間当たりの発光パルス数を低減する、あるいはパルス振幅を減少させる。受光部１２では２次元センサの各画素での検出信号の低下を補うため、隣接する複数画素にて発生した電子を加算して、距離測定に必要な信号レベルを確保する。すなわち、２次元状に配列した画素について、水平方向または垂直方向または両方向に隣接する画素信号を加算する。図の例では２ｘ２＝４個の画素信号を加算して１画素の信号として扱っているが、加算率（加算方向）は被写体の状況に応じて適宜設定してもよい。例えば遠距離にある被写体については検出信号が低下するので、加算率をさらに大きくする。

一方、（ｂ）の高精細モードでは光源の出射光強度を高めるため、発光部１１では単位時間当たりの発光パルス数を増加させる、あるいはパルス振幅を増大させる。これにより、画素当たりの単位時間の検出信号レベルが増大し、Ｓ／Ｎ比が向上する。受光部１２では画素加算における加算率を小さくして、２次元方向の分解能を向上させる。図の例では各画素単位（１ｘ１）で検出している。なお、画素加算処理は、画像内を被写体の位置等に応じて複数の領域に区分し、領域毎に加算率を異ならせてもよい。

このように本実施例では、２つの動作モード（省電力モード／高精細モード）の切り替えにおいて、発光部１１の発光パルスと、受光部１２の画素加算処理の動作を組み合わせて実現しているが、組合せの内容はこれに限定することなく、適宜変更してもよい。

図５は、被写体の状況に応じた動作モードの切り替えを説明する図である。通常の測定動作は図４（ａ）の省電力モードで行い、画像処理部１７にて距離画像を生成する。すなわち、出射光の強度を弱め光源の消費電力を抑える。距離画像の中に検出対象である被写体（例えば人物）が存在しない場合は、そのまま省電力モードでの測定を継続する。

距離画像の中に検出対象である被写体（人物）が存在する場合は、図４（ｂ）の高精細モードに切り替えて測定する。すなわち出射光の強度を高め、高輝度で撮影する。これにより、通常時は消費電力を低減しつつ、被写体（人物）検出時は高精度で検出することが可能となる。ここで、被写体（例えば人物）の存否判定は差分画像で行うことも可能である。

なお、高精細モードで測定中であって、距離測定装置１から被写体までの距離が近く、あるいは被写体の反射率が高いことにより受光部１２のセンサが飽和する場合がある。このような場合には省電力モードに戻す、あるいは発光パルスまたは画素加算処理のいずれかを省電力モードの動作に戻すようにする。

図６は、本実施例における距離測定の流れを示すフローチャートである。以下に示す画像処理は、距離測定装置１のＣＰＵが図１の各部の動作を制御することで実行される。以下、ステップ順に説明する。

Ｓ１０１：初期状態の動作モードを省電力モードに設定する。すなわち、発光強度制御部１８は発光部１１の出射光の強度を小に、画素加算制御部１９は受光部１２の画素加算率を大に設定する。
Ｓ１０２：ＴＯＦカメラ１０により、予め設定された範囲内にある被写体画像Ａを取得する。

Ｓ１０３：背景画像取込部１４は、背景画像の取込み指示を受けたかどうか判定する。背景画像の取込み指示はユーザの操作で行うか、あるいは予め決められた時刻に自動的に指示するものでもよい。例えば店舗内の客の移動を検出する場合には、開店前の時刻に背景画像を取込めばよい。取込み指示があった場合はＳ１０４へ進み、指示がない場合はＳ１０５へ進む。
Ｓ１０４：現在の被写体画像Ａを背景画像Ｂとして、背景画像記憶部１５へ保存する。その後Ｓ１０２へ戻り、被写体画像Ａの取得を繰り返す。

Ｓ１０５：差分器１６は、ＴＯＦカメラ１０の被写体画像Ａから背景画像記憶部１５の背景画像Ｂを除去し、差分画像Ｃを生成する。その際、被写体画像に含まれるノイズ成分も除去する。
Ｓ１０６：画像処理部１７は、差分画像Ｃの距離データに基づきカラー化処理などを行い、距離画像Ｄを生成して外部装置に出力する。

Ｓ１０７：画像処理部１７は、距離画像Ｄ（または差分画像Ｃ）に物体が存在するか否かを判定する。物体が存在すればＳ１０８に進み、物体が存在しなければＳ１０２に戻り、被写体画像Ａの取得を繰り返す。
Ｓ１０８：物体が存在するときは、動作モードを省電力モードから高精細モードに切り替える。すなわち、発光強度制御部１８は発光部１１の出射光の強度を大に、画素加算制御部１９は受光部１２の画素加算率を小に設定する。これにより、後述のＳ１１２における物体が人物か否かの判定を容易にする。

Ｓ１０９：ＴＯＦカメラ１０により、高精細モードで被写体画像Ａ’を取得する。
Ｓ１１０：差分器１６により、ＴＯＦカメラ１０の被写体画像Ａ’から背景画像記憶部１５の背景画像Ｂを除去し、差分画像Ｃ’を生成する。なお、被写体画像Ａ’と背景画像Ｂの画素数が異なる場合は、被写体画像Ａ’と同じ画素数になるように背景画像Ｂに拡大または縮小処理を施す。

Ｓ１１１：画像処理部１７は、差分画像Ｃ’の距離データに基づきカラー化処理などを行い、距離画像Ｄ’を生成して外部装置に出力する。
Ｓ１１２：画像処理部１７は、距離画像Ｄ’（または差分画像Ｃ’）に存在する物体が検出対象の人物か否かを判定する。人物判定では、公知の画像認識技術を利用できる。人物であればＳ１０９に戻り、高精細モードにて被写体画像Ａ’の取得を繰り返す。人物でなければＳ１０１に戻り、動作モードを省電力モードに切り替えて被写体画像Ａの取得を繰り返す。

以上のフローにより、被写体画像内に検出対象である人物が存在する場合には高精細モードで、存在しない場合には省電力モードで測定することができる。
なお、図６では初期状態の動作モードを省電力モードに設定したが、高精細モードからスタートすることもできる。

図７は、本実施例における距離測定の流れを示す他のフローチャートである。
Ｓ２０１：初期状態の動作モードを高精細モードに設定する。すなわち、発光強度制御部１８は発光部１１の出射光の強度を大に、画素加算制御部１９は受光部１２の画素加算率を小に設定する。
Ｓ２０２：ＴＯＦカメラ１０により、予め設定された範囲内にある被写体画像Ａを取得する。

Ｓ２０３：背景画像取込部１４は、背景画像の取込み指示を受けたかどうか判定する。取込み指示があった場合はＳ２０４へ進み、指示がない場合はＳ２０５へ進む。
Ｓ２０４：現在の被写体画像Ａを背景画像Ｂとして、背景画像記憶部１５へ保存する。その後Ｓ２０２へ戻り、被写体画像Ａの取得を繰り返す。

Ｓ２０５：差分器１６は、ＴＯＦカメラ１０の被写体画像Ａから背景画像記憶部１５の背景画像Ｂを除去し、差分画像Ｃを生成する。なお、被写体画像Ａと背景画像Ｂの画素数が異なる場合は、被写体画像Ａと同じ画素数になるように背景画像Ｂに拡大または縮小処理を施す。
Ｓ２０６：画像処理部１７は、差分画像Ｃの距離データに基づきカラー化処理などを行い、距離画像Ｄを生成して外部装置に出力する。

Ｓ２０７：画像処理部１７は、距離画像Ｄ（または差分画像Ｃ）に物体が存在するか否かを判定する。物体が存在すればＳ２０８に進み、物体が存在しなければＳ２０９に進む。
Ｓ２０８：画像処理部１７は、距離画像Ｄ（または差分画像Ｃ）に存在する物体が検出対象の人物か否かを判定する。人物であればＳ２０１に戻り、高精細モードにて被写体画像Ａの取得を繰り返す。人物でなければＳ２０９へ進む。

Ｓ２０９：距離画像Ｄ（または差分画像Ｃ）に物体が存在しない、あるいは物体が人物でない場合は、動作モードを高精細モードから省電力モードに切り替える。すなわち、発光強度制御部１８は発光部１１の出射光の強度を小に、画素加算制御部１９は受光部１２の画素加算率を大に設定する。その後Ｓ２０２に戻り、省電力モードにて被写体画像Ａの取得を繰り返す。

このフローにおいても、被写体画像内に検出対象である人物が存在する場合には高精細モードで、存在しない場合には省電力モードで測定することができる。

実施例１によれば、被写体の状況に応じて高精細モードと省電力モードを切り替えるようにしたので、光源の消費電力の無駄をなくし、かつ必要な距離測定性能を確保できる距離測定装置を提供することができる。

実施例２では、複数の距離測定装置を連携して動作させる距離測定システムについて説明する。

図８は、実施例２に係る距離測定システム６を示す構成図である。ここでは４台の距離測定装置１（ＴＯＦ１～ＴＯＦ４）をＰＣなどのコントローラ５に接続した構成を示す。各距離測定装置においては、実施例１で説明したように、動作モードとして省電力モードと高精細モードの切り替えが可能である。コントローラ５は、各距離測定装置１（ＴＯＦ１～ＴＯＦ４）で生成した距離画像を受信して、それぞれの距離測定装置に対し動作モードの切り替えを指示する。例えば、各距離測定装置の設置位置や各距離測定装置で検出した被写体の状況に応じて、それぞれの距離測定装置の動作モードを切り替え、距離測定システム６全体として消費電力を抑えつつ効率の良い測定を行うものである。

図９は、図８の距離測定システムを適用した店舗７の例を示す図である。この例では、店舗７内の４隅に４台の距離測定装置（ＴＯＦ１～ＴＯＦ４）を設置し、コントローラ５にて各距離測定装置を制御する。このうちＴＯＦ１は入口の近くに、ＴＯＦ４はレジの近くに設置している。この例の場合、店舗７内の人物（客）を効率良く検出するため、コントローラ５は次のような制御を行う。

（１）入口設置のＴＯＦ１だけが人物を検出している場合は、ＴＯＦ１だけ高精細モードに移行し、他は省電力モードとする。
（２）入口のＴＯＦ１が人物を検出したら、全てのＴＯＦ１～４を高精細モードに移行する。
（３）ＴＯＦ１が人物を検出した場合、ＴＯＦ１を高精細モードに移行するとともに、これに連動させて、人物の移動が予想される隣接した経路を検出対象範囲とするＴＯＦ２とＴＯＦ４を高精細モードに移行する。

（４）ＴＯＦ１とＴＯＦ２は入口に近いことから、太陽光や車のヘッドライト等の外乱光を受けやすいので、常に高精細モードとする。
（５）レジに近いＴＯＦ４は、店員がいる確率が高く、レジ待ちの客が待機するため常に高精細モードとする。
（６）一番奥に設置したＴＯＦ３は最も人物検出頻度が低いので、寿命の短い安価な光源を使用する。

このように実施例２によれば、複数の距離測定装置を用いる距離測定システムの場合、各距離測定装置の設置位置や各距離測定装置で検出した被写体の状況に応じて、それぞれの距離測定装置の動作モードを切り替えるようにしたので、システム全体として消費電力を抑えつつ効率の良い測定を行うことができる。

以上述べた実施例では、被写体として人物を検出対象とする場合について説明したが、人物以外の物体を検出対象とする場合も同様に適用できる。

１：距離測定装置、
５：コントローラ、
６：距離測定システム、
１０：距離測定部（ＴＯＦカメラ）、
１１：発光部、
１２：受光部、
１３：距離計算部、
１４：背景画像取込部、
１５：背景画像記憶部、
１６：差分器、
１７：画像処理部、
１８：発光強度制御部、
１９：画素加算制御部。

Claims

複数の距離測定装置をコントローラに接続して被写体の距離画像を生成する距離測定システムにおいて、
前記複数の距離測定装置は、
発光部と受光部と距離計算部を有し、被写体までの距離を光の伝達時間に基づいて測定する距離測定部と、
前記距離測定部にて測定された距離データから被写体の距離画像を生成する画像処理部と、
前記発光部における光源からの出射光の強度を制御する発光強度制御部と、
前記受光部における隣接する画素信号の加算処理を制御する画素加算制御部と、を備え、
前記複数の距離測定装置の動作モードとして、
前記発光強度制御部により前記発光部における出射光の強度を大きくするとともに、前記画素加算制御部により前記受光部における隣接する画素信号の加算率を小さくする高精細モードと、
前記発光強度制御部により前記発光部における出射光の強度を小さくするとともに、前
記画素加算制御部により前記受光部における隣接する画素信号の加算率を大きくする省電力モードと、の切り替えが可能であり、
前記コントローラは、
前記各々の距離測定装置の設置位置や各々の距離測定装置で生成した被写体の距離画像に応じて、前記各々の距離測定装置の動作モードを連携して切り替えるよう指示し、
前記複数の距離測定装置のうち、１台の距離測定装置が生成した距離画像に検出対象物が存在する場合には、前記コントローラは、前記１台の距離測定装置とともに、前記検出対象物の移動が予想される隣接した経路を検出対象範囲とする少なくとも１つの他の距離測定装置に対して、前記高精細モードに切り替えるよう指示することを特徴とする距離測定システム。