JP2024070647A - ３次元形状計測装置および３次元形状計測方法 - Google Patents

Abstract

【課題】イメージセンサ内の複数画素において計測対象物までの測距データを均一な精度で得て３次元形状を計測することが可能な３次元形状計測装置を提供する。【解決手段】３次元形状計測装置１は発光部１２と撮像素子１４と出力量検出部１５２と演算部１５３と計測部１５６と形状情報生成部１５７とを備える。出力量検出部１５２は、発光部１２からの１回の発光に対する画素ごとの露光出力量を検出する。演算部１５３は、１回の発光に対して計測対象物で反射した反射光をすべて含む露光タイミングで出力された画素ごとの基準露光出力量を取得し、画素ごとの基準露光出力量を所定の目標値に近づけるための積算回数に基づいて、画素ごとの発光および露光回数を取得する。計測部１５６は、取得した発光および露光回数のもと、計測対象物までの距離を画素ごとに計測する。形状情報生成部１５７は、計測された情報を用いて計測対象物の３次元形状情報を生成する。【選択図】図１

Description

本発明は、３次元形状計測装置および３次元形状計測方法に関する。

通常、デジタルカメラ装置で撮影する際の撮像素子への光の露光量は、(i) 光源発光強度、(ii) 被写体反射率、(iii) レンズＴ値、(iv) レンズ絞り値、(v) センサ露光時間、および(vi) 回路による信号増幅量、の６つのパラメータにより決定される。

撮影を行う際には、撮影者は、上述したパラメータ(i)、(ii)、および(iii)に合わせてパラメータ(iv)、(v)、および(vi)を変化させ、場合によってはパラメータ(i)を加減して、適正な撮像条件を設定する。例えば撮影者は、主となる被写体と従となる被写体との信号強度のバランスにより、これらのパラメータを調整して撮影条件を設定する。

一方、ｄＴｏＦ（direct Time of Flight）方式を用いた３次元形状計測装置では、レーザ発光パルスとイメージセンサ（撮像素子）における露光の位相を変化させることで、計測対象物の測距に必要な露光出力量を取得する。その際、レーザ発光時間は非常に短時間であるため、１回の発光および露光では十分な露光出力量を得ることが難しい。そのため、センサ露光時間よりも長い間隔で発光および露光を複数回繰り返すことで、必要な露光出力量を得ることができる。

特開２００１－７４４４５号公報

ｄＴｏＦ方式を用いた３次元形状計測装置が計測対象物の測距を正確に行うためには、イメージセンサのすべての画素において適切な露光出力量を得ることが求められる。しかし、計測対象物がレーザ光の反射率が低い素材で構成されている場合や、３次元形状計測装置から計測対象物までの距離が長い場合、またはレーザ発光位置の関係で計測対象物からの反射光が得られない箇所がある場合など、計測条件によってはイメージセンサのすべての画素において適切な露光出力量を得ることができない場合があるという問題があった。

また、イメージセンサのアナログ信号増幅制御および露光制御は１画面当たりを１単位として行われており、画素毎に露光出力量を調整することができないという問題があった。

本発明は、イメージセンサ内の複数画素において計測対象物までの測距データを均一な精度で得て、３次元形状を計測することが可能な、３次元形状計測装置および３次元形状計測方法を提供することを目的とする。

上記目的を達成するための本発明の３次元形状計測装置は、計測対象物に向けてレーザ光を発光する発光部と、複数の画素を有し、前記画素ごとに、前記発光部から発光されたレーザ光が前記計測対象物で反射した反射光を所定の露光条件に基づいて受光し、光電変換して出力信号として出力する撮像素子と、前記撮像素子から出力された出力信号に基づいて、前記発光部からの１回の発光に対する画素ごとの露光出力量を検出する出力量検出部と、前記発光部からの１回の発光に対して前記計測対象物で反射した反射光をすべて含む露光タイミングで前記撮像素子が受光して出力した出力信号に基づいて、前記出力量検出部で検出された前記画素ごとの露光出力量を基準露光出力量として取得し、取得した前記画素ごとの基準露光出力量に基づいて前記計測対象物までの距離を計測するための前記画素ごとの計測条件を演算する演算部と、前記演算部で演算された計測条件のもと、前記発光部からの１回の発光に対して前記計測対象物で反射した反射光が前記撮像素子で受光される受光タイミングが、発光タイミングに対して遅延する程、露光出力量が多くなる露光タイミングで各撮像素子が受光した出力した出力信号に基づいて、前記出力量検出部で検出された前記画素ごとの露光出力量に基づいて、前記計測対象物までの距離を前記画素ごとに計測する計測部と、前記計測部で計測された前記計測対象物までの前記画素ごとの距離の情報を用いて、前記計測対象物の３次元形状情報を生成する形状情報生成部とを備え、前記演算部は、前記画素ごとの基準露光出力量を、予め設定された露光出力量の目標値に近づけるための積算回数を算出し、算出した積算回数に基づいて、前記計測条件である前記画素ごとの発光および露光回数を算出する。

また、本発明の３次元形状計測方法は、計測対象物に向けてレーザ光を発光する発光部と、複数の画素を有し、前記画素ごとに、前記発光部から発光されたレーザ光が前記計測対象物で反射した反射光を所定の露光条件に基づいて受光し、光電変換して出力信号として出力する撮像素子と、前記撮像素子から出力された出力信号に基づいて、前記発光部からの１回の発光に対する画素ごとの露光出力量を検出する出力量検出部とを備える３次元形状計測装置が、前記発光部からの１回の発光に対して前記計測対象物で反射した反射光をすべて含む露光タイミングで各前撮像素子が受光して出力した出力信号に基づいて、前記出力量検出部で検出された前記画素ごとの露光出力量を基準露光出力量として取得し、前記画素ごとの基準露光出力量を、予め設定された露光出力量の目標値に近づけるための積算回数を算出し、算出した積算回数に基づいて、前記計測対象物までの距離を計測するための前記画素ごとの計測条件である前記画素ごとの発光および露光回数を算出し、算出した発光および露光回数のもと、前記発光部からの１回の発光に対して前記計測対象物で反射した反射光が前記撮像素子で受光される受光タイミングが、発光タイミングに対して遅延する程、露光出力量が多くなる露光タイミングで各撮像素子が受光した出力した出力信号に基づいて、前記出力量検出部で検出された前記画素ごとの露光出力量に基づいて、前記計測対象物までの距離を前記画素ごとに計測し、計測された前記計測対象物までの前記画素ごとの距離の情報を用いて、前記計測対象物の３次元形状情報を生成する。

本発明の３次元形状計測装置および３次元形状計測方法によれば、イメージセンサ内の複数画素において計測対象物までの測距データを均一な精度で得て、３次元形状を計測することができる。

本発明の一実施形態による３Ｄ形状計測装置の構成を示すブロック図である。 （ａ）は、従来の３Ｄ形状計測装置が、被写体に計測対象物を含めた状態でレーザ光を発光し、計測対象物で反射されたレーザ光をすべて含むように露光を行った場合に、所定画素から出力される露光出力量を示す図であり、（ｂ）は、計測対象物で反射されたレーザ光が、発光タイミングに対して遅延する程、露光出力量が多くなるタイミングで露光を行った場合に所定画素から出力される露光出力量を示す図であり、（ｃ）は、被写体に計測対象部を含まない状態で、発光を行わずに露光を行った場合に、所定画素から出力される露光出力量を示す図である。 本発明の一実施形態による３Ｄ形状計測装置が計測条件の演算処理を実行する際の処理を示すフローチャートである。 本発明の一実施形態による３Ｄ形状計測装置が実行する計測処理を示すフローチャートである。

以下に、本発明の実施形態による３次元（３Ｄ）形状計測装置の構成および３Ｄ形状計測方法について、図面を参照して説明する。

〈一実施形態による３Ｄ形状計測装置の構成〉
図１は、本発明の一実施形態による３Ｄ形状計測装置１の構成を示すブロック図である。３Ｄ形状計測装置１は、所定の計測対象物の形状を計測するものであり、入力部１１と、発光部１２と、レンズ部１３と、イメージセンサ（撮像素子）１４と、ＣＰＵ１５とを有する。

入力部１１は、利用者による操作の情報を入力する。発光部１２は、レーザ光を計測対象物に向けて発光する。レンズ部１３は、発光部１２から発光されたレーザ光が計測対象物で反射した反射光を入射する。イメージセンサ１４は、ｘ個の画素ｐ１～ｐｘと、画素ｐ１～ｐｘごとに設けられた受光部ｒ１～ｒｘ（図示せず）および信号増幅器ａｍ１～ａｍｘ（図示せず）とを有する。

以降、画素ｐ１～ｐｘのうち、いずれであるかを特定しない場合には「画素ｐ」と記載する。同様に、受光部ｒ１～ｒｘのうち、いずれであるかを特定しない場合には「受光部ｒ」と記載する。同様に、信号増幅器ａｍ１～ａｍｘのうち、いずれであるかを特定しない場合には「信号増幅器ａｍ」と記載する。

受光部ｒは、レンズ部１３から入射された光を所定の露光条件に基づいて受光して光電変換する。信号増幅器ａｍは、対応する受光部ｒで光電変換により発生し蓄積した電荷を電圧変換して増幅し、出力信号として出力する。

ＣＰＵ１５は、発光制御部１５１と、出力量検出部１５２と、演算部１５３と、信号増幅量制御部１５４と、露光制御部１５５と、計測部１５６と、形状情報生成部１５７とを有する。

発光制御部１５１は、発光部１２からの発光を制御する。出力量検出部１５２は、イメージセンサ１４の画素ｐごとに出力された出力信号に基づいて、発光部１２からの１回の発光に対する画素ｐごとの露光出力量を検出する。

演算部１５３は、発光部１２からの１回の発光に対して計測対象物で反射した反射光をすべて含む露光タイミングで各受光部ｒが受光して出力された出力信号に基づいて、出力量検出部１５２で検出された画素ｐごとの露光出力量を基準露光出力量として取得する。本実施形態では、演算部１５３は、計測対象物までの距離を計測するための発光および露光回数を画素ｐごとに計測条件として設定し、取得した画素ｐごとの基準露光出力量に基づいて計測条件を算出（演算）する。

信号増幅量制御部１５４は、イメージセンサ１４の各画素ｐの信号増幅器ａｍによる信号増幅量を制御する。露光制御部１５５は、イメージセンサ１４の各画素ｐにおける露光時間および露光タイミングを制御する。

計測部１５６は、演算部１５３で演算された計測条件のもと、出力量検出部１５２で検出された出力信号に基づいて、計測対象物までの距離を画素ｐごとに計測する。形状情報生成部１５７は、計測部１５６で計測された情報を用いて、計測対象物の３Ｄ形状情報を生成する。

〈一実施形態による３Ｄ形状計測装置の動作〉
以下に、３Ｄ形状計測装置１の一般的な動作として、ｄＴｏＦ（Direct Time of Flight）の技術を用いて所定の計測対象物Ｂの３Ｄ形状情報を生成する際の処理について説明する。

３Ｄ形状計測装置１の計測対象範囲に計測対象物Ｂを設置し、発光制御部１５１の制御により発光部１２が計測対象物Ｂに向けてレーザ光を発光すると、発光されたレーザ光が計測対象物Ｂで反射され、レンズ部１３から入射されてイメージセンサ１４の各画素ｐの受光部ｒで受光される。

イメージセンサ１４では、各受光部ｒが受光した光を光電変換し、それぞれ対応する信号増幅器ａｍが光電変換により発生した電荷を電圧に変換して増幅し、出力信号として出力する。出力量検出部１５２は、イメージセンサ１４の画素ｐごとに、出力された出力信号に基づいて、露光出力量を検出し、計測部１５６に送出する。

計測部１５６は、出力量検出部１５２で検出された露光出力量に基づいて、画素ｐごとの計測対象物Ｂまでの距離を計測する。

計測部１５６が、画素ｐごとの計測対象物Ｂまでの距離の計測に用いるパラメータについて説明する。図２（ａ）は、被写体に計測対象物Ｂを含めた状態で発光部１２からレーザ光を発光し、計測対象物Ｂで反射されたレーザ光をすべて含むように露光時間および露光タイミングを設定して露光を行った場合に、所定画素ｐから出力される露光出力量Ｓ’０を示す図である。

図２（ａ）において、Ｔｐ（時刻ｔ０～ｔ１）は発光部１２からのレーザ光の発光時間であり、Ｔｑ（時刻ｔ０～ｔ２）は受光部ｒにおける露光時間である。露光時間Ｔｑ内に所定の画素ｐから出力される露光出力量Ｓ’０は、計測対象物Ｂの反射光に対する露光出力量Ｓ０と、計測対象物Ｂ以外の背景の反射光に対する露光出力量ＢＧとを含む。露光出力量Ｓ０は、後述する計測条件の演算処理、計測対象物Ｂまでの計測処理において基準露光出量として用いる。

ここでは、露光時間Ｔｑの開始タイミングは発光時間Ｔｐの開始タイミングと同じ時刻ｔ０であり、露光時間Ｔｑの終了タイミングである時刻ｔ２は、発光時間Ｔｐの終了タイミングである時刻ｔ１よりも遅く、計測対象物Ｂの反射光をすべて含めて露光した後の時刻である。

図２（ｂ）は、被写体に計測対象物Ｂを含めた状態で発光部１２からレーザ光を発光し、計測対象物Ｂで反射されたレーザ光が受光部ｒで受光される受光タイミングが、発光タイミングに対して遅延する程、露光出力量が多くなるような露光タイミングで露光を行った場合に、所定画素ｐから出力される露光出力量Ｓ’１を示す図である。

図２（ｂ）において、Ｔｐ（時刻ｔ５～ｔ６）は発光部１２からのレーザ光の発光時間であり、Ｔｑ（時刻ｔ６～ｔ８）は受光部ｒにおける露光時間である。露光時間Ｔｑ内に所定の画素ｐから出力される露光出力量Ｓ’１は、計測対象物Ｂの反射光に対する露光出力量Ｓ１と、計測対象物Ｂ以外の背景の反射光に対する露光出力量ＢＧとを含む。

ここでは、露光時間Ｔｑの開始タイミングは発光時間Ｔｐの終了タイミングと同じ時刻ｔ６である。露光出力量Ｓ１は、露光開始タイミングである時刻ｔ６から計測対象物Ｂの反射光の受光終了タイミングである時刻ｔ７までの期間における、計測対象物Ｂの反射光に対する露光出力量である。露光時間Δｔは、露光開始タイミングである時刻ｔ６から計測対象物Ｂの反射光の受光終了タイミングである時刻ｔ７までの時間である。露光時間Δｔは、該当する画素ｐから計測対象物Ｂまでの距離が長い程、大きな値となる。

発光時間Ｔｐに対する露光時間Δｔの割合は、下記式（１）に示すように、基準露光出力量Ｓ０に対する露光出力量Ｓ１の割合に等しい。
Δｔ／Ｔｐ＝Ｓ１／Ｓ０ （１）

図２（ｃ）は、被写体に計測対象部Ｂを含まない状態で、発光を行わずに露光を行った場合に、所定画素ｐから出力される露光出力量を示す図である。

図２（ｃ）において、Ｔｑ（時刻ｔ９～ｔ１０）は受光部ｒにおける露光時間である。露光時間Ｔｑ内に所定の画素ｐから出力される露光出力量は、計測対象物Ｂ以外の背景の反射光に対する露光出力量ＢＧである。

計測部１５６は、計測対象物Ｂに対する１回の計測において、上述した図２（ａ）、（ｂ）、および（ｃ）に関する３通りの露光を行い、イメージセンサ１４内の各画素の露光出力量Ｓ’０、Ｓ’１、ＢＧ、およびこれらから算出されるＳ０、Ｓ１の値を取得する。そして計測部１５６は、取得した値を用いて、画素ｐごとに計測対象物Ｂまでの距離を計測する。

ここで、発光時間Ｔｐは非常に短時間（例えば、数ナノ秒）であるため、１回の発光および露光では計測対象物Ｂまでの距離の算出に用いる露光出力量を得ることが難しい。そこで計測部１５６は、露光時間Ｔｑよりも長い時間間隔でｎ回の発光および露光を繰り返して露光出力量を積算することで、計測対象物Ｂまでの距離の算出に用いる露光出力量を得る。

つまり、計測部１５６は、下記式（２）により、図２（ａ）における基準露光出力量Ｓ０を算出する。
Ｓ０＝ｎ×（Ｓ’０－ＢＧ） （２）
また、計測部１５６は、下記式（３）により、図２（ｂ）における露光出力量Ｓ１を算出する。
Ｓ１＝ｎ×（Ｓ’１－ＢＧ） （３）
上記式（２）および（３）において、ｎは整数である。

上述した各種パラメータを用いて、計測部１５６は、下記式（４）により画素ｐごとの計測対象物Ｂまでの距離Ｚを算出する。
Ｚ＝Ｃ×Δｔ２＝Ｃ×Ｔｐ／２×（Ｓ１／Ｓ０） （４）
ここで、Ｃは光速である。

ところで、一般的なデジタルカメラ装置で撮影する際のイメージセンサへの光の露光量は、(i) 光源発光強度、(ii) 被写体反射率、(iii) レンズＴ値、(iv) レンズ絞り値、(v) センサ露光時間、および(vi) 回路による信号増幅量、の６つのパラメータにより決定される。

デジタルカメラ装置で撮影を行う際には、撮影者は、上述したパラメータ(i)、(ii)、および(iii)に合わせてパラメータ(iv)、(v)、および(vi)を変化させ、場合によってはパラメータ(i)を加減して、適正な撮像条件を設定する。

これに対し、３Ｄ形状計測装置等の計測装置がｄＴｏＦ（Direct Time of Flight）の技術を用いてイメージセンサの画素ごとの被写体までの距離を計測する際には、イメージセンサへの露光量を決定するパラメータとしてさらに、(vii) 発光時間と発光回数、(viii) 発光回数に対応した露光回数が加わる。

ｄＴｏＦの技術を用いる際には、発光時間および露光時間は、計測装置から計測対象物までの距離レンジにより決定され、これらのパラメータは発光および露光回数ｎにより制御される。より精度良く計測装置から計測対象物までの距離を計測するには、上述した基準露光出力量Ｓ０が、受光部ｒの容量内で可能な限り大きな目標値になるように、ｎ値を設定することが求められる。

しかし、計測対象物Ｂの形状によっては、３Ｄ形状計測装置１からの距離が画素ｐによって異なるため、基準露光出力量Ｓ０を所定の目標値に近づけるためのｎ値が画素ｐによって異なる。そこで、本実施形態の３Ｄ形状計測装置１は、すべての画素ｐで検出される基準露光出力量Ｓ０をできるだけ所定の目標値に近づけるように、画素ｐごとに適切な計測条件を演算した後、算出した計測条件により、各画素ｐについて上述した計測処理を実行する。

以下に、３Ｄ形状計測装置１が実行する、計測条件の演算処理について説明する。図３は、計測条件の演算処理を行う際に、ＣＰＵ１５が実行する処理を示すフローチャートである。

まず利用者は、計測条件の演算に用いる基準露光条件として、１回の計測処理における発光部１２からのレーザ光の発光および露光回数の基準値を設定するための操作（基準回数設定操作）を行う。このとき利用者は、３Ｄ形状計測装置１以外からの赤外光がほぼ発生しない環境、つまりＢＧ≒０の環境内で所定位置に３Ｄ形状計測装置１を設置し、当該位置から、３Ｄ形状計測装置１の測定可能距離の最小値分、離れた位置に、赤外線反射率が高く且つ自己で赤外光を発生しない被写体Ｅを設置し、３Ｄ形状計測装置１の入力部１１から基準回数設定操作を行う。

利用者が基準回数設定操作を行うと、３Ｄ形状計測装置１は、１回の発光による基準露光出力量Ｓ０の測定を行う。具体的には、発光制御部１５１の制御により発光部１２がレーザ光を発光し、イメージセンサ１４の各画素ｐの受光部ｒが被写体Ｅからの反射光を受光して光電変換し、信号増幅器ａｍが光電変換により発生した電荷を電圧に変換して増幅し、出力信号として出力する。出力量検出部１５２は、出力された信号に基づいて基準露光出力量Ｓ０を検出し、演算部１５３に送出する。

演算部１５３は、イメージセンサ１４の中央の画素ｐの露光出力量Ｓ’０の値が、適正な計測処理に必要な基準露光出力量Ｓ０の値の下限（Ｓ０ｍｉｎ）になるべく近しい値になるように積算する回数を算出し、基準発光回数ｎ＝Ｎとして設定する（ステップＳ１）。Ｓ０ｍｉｎの値は、イメージセンサ１４の電荷容量に基づいて予め設定される。つまり、上述した処理により、基準露光出力量Ｓ０がイメージセンサ１４の電荷容量に対して飽和しないように、基準発光回数Ｎが設定される。

次に、利用者は３Ｄ形状計測装置１および計測対象物Ｂを所定位置に設置し、計測条件を演算するための測定開始操作を行う。３Ｄ形状計測装置１による計測対象物Ｂの計測条件として、画素ごとの発光および露光回数を演算する。計測条件を演算するための測定開始操作が行われると、演算部１５３は、計測条件の演算処理として、（ア－１）計測可能条件に対する判別処理、（ア－２）有効画素と無効画素の判別処理、（イ）発光および露光回数の算出処理、および（ウ）信号増幅量の算出処理を実行する。これらの処理について、以下に説明する。

（ア－１）計測可能条件に対する判別処理
計測条件を演算するための測定開始操作が行われると、まず演算部１５３は、イメージセンサ１４の画素ｐごとに、計測対象物Ｂの計測が可能か否かの判別処理を行う（ステップＳ２）。この判別処理では、発光および露光回数を基準発光回数Ｎとし、演算部１５３は、発光ごとの露光出力量Ｓ’０およびＢＧを計測して積算する。Ｎ回の露光出力量Ｓ’０の積算値を露光出力量Ｓ’０（Ｎ）とし、露光出力量ＢＧの積算値を露光出力量ＢＧ（Ｎ）とする。

イメージセンサ１４の電荷容量に基づいて予め設定された、露光出力量Ｓ’０（Ｎ）が取り得る最大値をＳ’０ｍａｘとすると、演算部１５３は、下記式（５）で示す計測可能条件を満たす画素ｐ、つまり算出された露光出力量Ｓ’０（Ｎ）がＳ’０ｍａｘ以下の画素ｐを、計測可能な画素ｐと判定する。
Ｓ’０ｍａｘ ≧ ＢＧ（Ｎ）＋Ｓ０ｍｉｎ＝Ｓ’０（Ｎ） （５）

また、上記式（５）で示す計測可能条件を満たさない画素ｐ、具体的には、算出された露光出力量Ｓ’０（Ｎ）がＳ’０ｍａｘよりも大きい画素ｐは、イメージセンサ１４に蓄積される電荷が飽和状態となるため、演算部１５３は計測不能な画素ｐと判定する。

演算部１５３は、計測不能と判定した画素ｐについて、当該画素ｐの計測データが計測不能であることを示す情報、例えば「０」、または想定される発光および露光回数の最大値よりも大きい値等を該当する画素ｐに対応する計測対象物Ｂまでの計測値として保持する。上記式（５）を満たさない計測不能な画素ｐは、例えば、計測対象物Ｂまでの距離が所定の計測可能範囲よりも近い位置の画素である。

（ア－２）有効画素と無効画素の判別処理
次に演算部１５３は、（ア－１）で計測可能と判定された画素ごとに、演算された計測条件を満たす有効画素（以下、単に「有効画素」と記載する）と、演算された計測条件を満たさない無効画素（以下、単に「無効画素」と記載する）との判別処理を行う（ステップＳ３）。この判別処理では、発光および露光回数をＮ回およびａ×Ｎ回とし、演算部１５３は、発光ごとの露光出力量Ｓ’０を計測して積算する。ａは整数であり、例えば「２」である。ａ×Ｎ回の露光出力量Ｓ’０の積算値を、露光出力量Ｓ’０（ａ×Ｎ）とする。

演算部１５３は、発光回数がＮ回のときの露光出力量Ｓ’０（Ｎ）に対する、発光回数がａ×Ｎ回のときの露光出力量Ｓ’０（ａ×Ｎ）の比率が、予め設定した判定値Ａ以上になる画素ｐ、つまり下記式（６）を満たす画素ｐを、有効画素と判定する。判定値Ａは、Ｓ’０（Ｎ）の値、計測ノイズ量等に基づいて適宜設定される値であり、ａが増加する程、判定値Ａも増加する。
Ｓ’０（ａ×Ｎ）／Ｓ’０（Ｎ） ≧ Ａ （６）

また演算部１５３は、上記式（６）を満たさない画素、例えばａ＝Ａ＝２のときに、発光回数を２倍にしても、露光出力量Ｓ’０が２倍に満たない画素ｐを、無効画素と判定する。

演算部１５３は、無効画素と判定した画素ｐについて、当該画素ｐの露光出力量Ｓ’０のデータが無効であることを示す情報、例えば「０」、または想定される発光および露光回数の最大値よりも大きい値等を該当する画素ｐに対応する計測対象物Ｂまでの計測値として保持する。上記式（６）を満たさない無効画素ｐは、例えば、計測対象物Ｂまでの距離が計測可能範囲よりも遠い位置の画素、または計測対象物Ｂの反射面の角度により反射光を受光し難い位置の画素等である。

上述した（ア－１）計測可能条件に対する判別処理、および（ア－２）有効画素と無効画素の判別処理を実行しておくことで、計測不能な画素および露光出力量Ｓ’０のデータが無効と判定された画素については後述する計測処理が実行されず、無駄な処理時間を短縮することができる。

（イ）発光および露光回数の算出処理、並びに（ウ）信号増幅量の算出処理
次に演算部１５３は、（ア－２）で有効と判定された画素ごとに、発光および露光回数の算出処理、並びに信号増幅量の算出処理を実行する（ステップＳ４）。この算出処理では、発光および露光回数がＮ回のときの露光出力量Ｓ’０（Ｎ）および露光出力量ＢＧ（Ｎ）を用いる。

計測対象物Ｂまでの距離Ｚを正確に算出するためには、Ｓ０値は下記式（７）を満たす必要がある。Ｓ０ｍａｘはイメージセンサ１４の電荷容量に基づいて設定される、計測条件の演算を適正に行うことが可能なＳ０の最大値であり、Ｓ０ｍｉｎは計測条件の演算を適正に行うことが可能と想定されるＳ０の最小値である。
Ｓ０ｍａｘ ≧Ｓ０ ≧ Ｓ０ｍｉｎ （７）

演算部１５３は、処理対象の画素ｐごとに、式（７）を満たすように、発光および露光回数の算出および信号増幅量の算出を行う。ここで、基準露光出力量Ｓ０の目標値をＳ０ｔｙｐとすると、演算部１５３は、下記式（８）で算出される値がＳ０ｔｙｐになるべく近い値になるように、係数ｂおよび係数ｆを算出する。Ｓ０ｔｙｐは、例えばイメージセンサ１４の電荷容量に基づいて予め設定される。
（Ｓ’０（Ｎ）－ＢＧ（Ｎ））×ｂ×ｆ （８）

係数ｂは、下記式（９）を満たす値である。
Ｓ’０（Ｎ）×ｂ ≦ Ｓ’０ｍａｘ （９）

演算部１５３は、算出した係数ｂにＮを乗じた値を、該当する画素ｐの発光および露光回数Ｎ１として算出し、係数ｆを信号増幅量として算出する。ここで、上記式（９）を満たす範囲内で係数ｂの値を可能な限り大きい値（最大値）とし、係数ｆをなるべく小さくすることで基準露光出力量Ｓ０の目標値Ｓ０ｔｙｐに近づければ、計測対象物Ｂまでの計測精度を向上させることができる。この場合、係数ｆで示す信号増幅量は、イメージセンサ１４内の全画素ｐに対して同値とする。

また、係数ｂの値を最大値まで増やさずに発光および露光回数Ｎ１を算出し、係数ｆの値をある程度大きくすることで基準露光出力量Ｓ０の目標値Ｓ０ｔｙｐに近づければ、計測対象物Ｂまでの計測時間を短縮させることができる。この場合、係数ｆを画素ごとに異なる値で設定し、信号増幅量制御部１５４が画素ｐごとに信号増幅量を制御するようにしてもよい。

また、係数ｆを算出する際に、レンズ部１３による光量落ち等を補正する光学補正量を含めて算出してもよい。係数ｆに光学補正量を含めることで、イメージセンサ１４全体の画素ｐのＳ０値をよりＳ０ｔｙｐに近づけ、画素ｐ間での測距精度の均等化を図ることができる。

ステップＳ５に移行し、演算部１５３は、ステップＳ４で算出した画素ｐごとの発光および露光回数Ｎ１に基づいて、算出した値が近い複数画素ｐをまとめてグループ化することで、複数の画素グループＧ１、Ｇ２・・・を生成する。このとき、演算部１５３は、（ア-1）計測可能条件に対する判別処理において計測不能であることを示す情報が保持された画素ｐ、および（ア－２）有効画素と無効画素の判別処理において露光出力量Ｓ’０のデータが無効であることを示す情報が保持された画素を除いて、画素グループを生成する。

画素グループの数が多くなる程、１回の形状計測にかかる時間が長くなるため、画素グループの数は多くても４、５グループ程度にすることが望ましい。式（８）において、係数ｂを整数且つ２の階乗数で算出しておくことで、ここで生成する画素グループの数を抑えることができる。

演算部１５３は、画素グループＧ１、Ｇ２・・・ごとの発光および露光回数Ｎ２＿１、Ｎ２＿２・・・を決定する。以下、いずれの画素グループであるかを特定しない場合には「画素グループＧ」と記載し、いずれの発光および露光回数であるかを特定しない場合には「発光および露光回数Ｎ２」あるいは単に「回数Ｎ２」と記載する。

例えば、算出した発光および露光回数Ｎ１が９９５回～１００５回の画素ｐを１つの画素グループＧ１にまとめ、当該画素グループＧ１の発光および露光回数Ｎ２を１０００回として決定する。所定の画素グループＧ１に関する回数Ｎ２＿１は、例えば、当該画素グループＧ１に属する複数画素ｐについてそれぞれ算出された発光および露光回数Ｎ１ごとに、該当する画素数を示したヒストグラムから導出する。

演算部１５３は、各画素グループＧ１、Ｇ２・・・に対して決定された回数Ｎ２＿１、Ｎ２＿２・・・を、それぞれ該当する画素グループＧに属する各画素ｐの発光および露光回数として設定し、各画素ｐの発光および露光回数Ｎ２と、各画素ｐの位置を示す画素アドレスとを紐づけた統合データを生成する（ステップＳ６）。

演算部１５３は、生成した統合データを計測部１５６に送出する。計測部１５６は、取得した統合データを計測対象物Ｂに関する計測条件として設定し、この条件により画素グループごとに計測対象物Ｂまでの計測処理を実行する。図４は、計測部１５６が実行する計測処理を示すフローチャートである。

計測部１５６は、まず画素グループＧ１を計測対象の画素グループとして特定し（ステップＳ１１）、設定した計測条件に基づいて、該当する画素グループＧ１に属する画素ｐごとに計測対象物Ｂまでの距離を計測する（ステップＳ１２）。

具体的には、計測部１５６は、図２（ａ）、（ｂ）、および（ｃ）で示した３通りの露光を、画素グループＧ１の回数Ｎ２＿１分、実行するように、発光制御部１５１から発光部１２を発光させ、露光制御部１５５の制御によりイメージセンサ１４を露光させるとともに、信号増幅量制御部１５４により設定された信号増幅量ｆで信号増幅させ、出力された信号を出力量検出部１５２が検出する。

計測部１５６は、出力量検出部１５２が検出した露光出力量に基づいて該当する画素ｐごとに図２（ａ）で示した露光タイミングで回数Ｎ２＿１分の露光出力量Ｓ’０－ＢＧを積算して基準露光出力量Ｓ０を算出し、図２（ｂ）で示した露光タイミングで回数Ｎ２＿１分の露光出力量Ｓ’１－ＢＧを積算して露光出力量Ｓ１を算出する。そして計測部１５６は、算出した基準露光出力量Ｓ０およびＳ１と、上述した式（４）とを用いて、該当する画素ｐごとに計測対象物Ｂまでの距離を算出する。

同様にして、画素グループＧ２以降に関しても該当する画素ｐごとに計測対象物Ｂまでの距離を算出する処理を実行し、すべての画素グループＧに対する計測処理が終了するまで繰り返す（ステップＳ１３の「NO」→ステップＳ１１、Ｓ１２）。

すべての画素グループＧに対する計測処理が終了すると（ステップＳ１３の「YES」）、形状情報生成部１５７が、計測部１５６で計測した全画素ｐの計測情報を用いて、計測対象物の３Ｄ形状情報を生成する（ステップＳ１４）。

このように、イメージセンサ１４内の画素ｐを、必要な発光および露光回数ごとにグループ化し、グループごとに計測処理を実行することで、短時間で精度の高い計測処理を実行することができる。

以上の実施形態によれば、３次元形状計測装置は、イメージセンサ内の複数画素において均一で且つ高精度の計測データを得ることができる。

上述した実施形態では、演算部１５３が計測条件を演算する処理として、画素ごとの発光および露光回数を算出する場合について説明したが、これには限定されず、画素ごとの発光強度を算出してもよい。この場合、演算部１５３は、上述した式（８）の係数ｂに発光強度の初期値を乗じた値を、該当する画素ｐの発光強度として算出し、算出した値が近い複数の画素をまとめてグループ化して複数の画素グループを生成する。そして演算部１５３は、各画素グループの発光強度を決定し、それぞれ該当する画素グループに属する各画素の発光強度として設定して各画素ｐの画素アドレスと紐づけて統合データを生成する。

そして計測部１５６が、生成された統合データを計測対象物に関する計測条件として設定し、この条件により画素グループごと、つまり発光強度ごとに計測対象物Ｂまでの計測処理を実行する。このように処理を行うことにより、計測条件として画素ごとの発光および露光回数を設定する場合よりも発光および露光回数が少なくなり、計測時間を短縮させることができる。

上述した実施形態において、イメージセンサ１４を、画素ｐごとに露光回数を設定可能に構成してもよい。このように構成することにより、統合データの中で最も多い発光回数で発光部１２から発光する１回のシーケンスで、それぞれの画素ｐが対応する露光回数で露光を行うことが可能になり、計測時間を短縮させることができる。

また、上述した実施形態において、イメージセンサ１４の受光部ｒが、受光した光を光電変換する前に、受光した光情報からＢＧ信号に該当する背景部分を減算するように構成してもよい。このように構成することにより、ＢＧ信号が多い屋外環境で計測処理を行う場合に、精度向上を図ることができる。

また、上述した実施形態において、計測条件の演算処理を行うイメージセンサまたは画素と、計測処理を行うイメージセンサまたは画素とを分けてもよい。イメージセンサをこのように構成するとともに、上述したように画素ごとに露光回数を設定可能に構成することにより、計測精度が高く動画対応可能な３次元形状計測装置を構成することができる。

１ ３Ｄ形状計測装置
１１ 入力部
１２ 発光部
１３ レンズ部
１４ イメージセンサ（撮像素子）
１５ ＣＰＵ
１５１ 発光制御部
１５２ 出力量検出部
１５３ 演算部
１５４ 信号増幅量制御部
１５５ 露光制御部
１５６ 計測部
１５７ 形状情報生成部

Claims (5)

1. 計測対象物に向けてレーザ光を発光する発光部と、
   複数の画素を有し、前記画素ごとに、前記発光部から発光されたレーザ光が前記計測対象物で反射した反射光を所定の露光条件に基づいて受光し、光電変換して出力信号として出力する撮像素子と、
   前記撮像素子から出力された出力信号に基づいて、前記発光部からの１回の発光に対する画素ごとの露光出力量を検出する出力量検出部と、
   前記発光部からの１回の発光に対して前記計測対象物で反射した反射光をすべて含む露光タイミングで前記撮像素子が受光して出力した出力信号に基づいて、前記出力量検出部で検出された前記画素ごとの露光出力量を基準露光出力量として取得し、取得した前記画素ごとの基準露光出力量に基づいて前記計測対象物までの距離を計測するための前記画素ごとの計測条件を演算する演算部と、
   前記演算部で演算された計測条件のもと、前記発光部からの１回の発光に対して前記計測対象物で反射した反射光が前記撮像素子で受光される受光タイミングが、発光タイミングに対して遅延する程、露光出力量が多くなる露光タイミングで各撮像素子が受光した出力した出力信号に基づいて、前記出力量検出部で検出された前記画素ごとの露光出力量に基づいて、前記計測対象物までの距離を前記画素ごとに計測する計測部と、
   前記計測部で計測された前記計測対象物までの前記画素ごとの距離の情報を用いて、前記計測対象物の３次元形状情報を生成する形状情報生成部とを備える、３次元形状計測装置。
2. 前記演算部は、前記計測条件として、前記画素ごとの基準露光出力量を予め設定された露光出力量の目標値に近づけるための積算回数に基づく前記画素ごとの発光および露光回数、または、前記画素ごとの基準露光出力量を前記露光出力量の目標値に近づけるための前記画素ごとの発光強度を算出する、請求項１に記載の３次元形状計測装置。
3. 前記演算部は、前記画素ごとの基準露光出力量のうち、所定回数積算すると前記撮像素子の電荷容量を超える基準露光出力量に対応する画素を計測不能な画素と判定し、所定回数積算しても所定値に達しない基準露光出力量に対応する画素を無効画素として判定し、
   前記計測部は、前記計測不能な画素と判定された画素および前記無効画素と判定された画素については、計測処理実行しない、請求項１に記載の３次元形状計測装置。
4. 前記演算部は、算出した計測条件の値が近い画素をまとめた複数の画素グループを生成し、各画素グループに属する画素ごとの計測条件に基づいて前記画素グループごとの計測条件を決定し、
   前記計測部は、前記画素グループごとに、該当する画素グループに対して決定した計測条件のもと、検出された前記画素ごとの露光出力量に基づいて、該当する画素グループに属する画素ごとに前記計測対象物までの距離を計測する、請求項１に記載の３次元形状計測装置。
5. 計測対象物に向けてレーザ光を発光する発光部と、
   複数の画素を有し、前記画素ごとに、前記発光部から発光されたレーザ光が前記計測対象物で反射した反射光を所定の露光条件に基づいて受光し、光電変換して出力信号として出力する撮像素子と、
   前記撮像素子から出力された出力信号に基づいて、前記発光部からの１回の発光に対する画素ごとの露光出力量を検出する出力量検出部とを備える３次元形状計測装置が、
   前記発光部からの１回の発光に対して前記計測対象物で反射した反射光をすべて含む露光タイミングで各前撮像素子が受光して出力した出力信号に基づいて、前記出力量検出部で検出された前記画素ごとの露光出力量を基準露光出力量として取得し、前記画素ごとの基準露光出力量を、予め設定された露光出力量の目標値に近づけるための積算回数を算出し、算出した積算回数に基づいて、前記計測対象物までの距離を計測するための前記画素ごとの計測条件である前記画素ごとの発光および露光回数を算出し、
   算出した発光および露光回数のもと、前記発光部からの１回の発光に対して前記計測対象物で反射した反射光が前記撮像素子で受光される受光タイミングが、発光タイミングに対して遅延する程、露光出力量が多くなる露光タイミングで各撮像素子が受光した出力した出力信号に基づいて、前記出力量検出部で検出された前記画素ごとの露光出力量に基づいて、前記計測対象物までの距離を前記画素ごとに計測し、
   計測された前記計測対象物までの前記画素ごとの距離の情報を用いて、前記計測対象物の３次元形状情報を生成する、３次元形状計測方法。

Images