JP7064163B2

JP7064163B2 - ３次元情報取得システム

Info

Publication number: JP7064163B2
Application number: JP2017235543A
Authority: JP
Inventors: 誠司曽和
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2017-12-07
Filing date: 2017-12-07
Publication date: 2022-05-10
Anticipated expiration: 2037-12-07
Also published as: JP2019100985A

Description

本発明は、対象領域について測距を行うことによって３次元空間情報を検出する３次元情報取得システムに関する。

レーザーレーダー等の３次元空間情報取得システムから計測空間内の３次元情報を取得することで、監視装置や自動運転用センサーとして用いるものが提案されている。例えば、特許文献１に示すように、レーザー光等を監視空間へ向けて送出し、その送出から反射光の受光までの時間から監視空間内の対象物までの距離を計測する監視装置が知られている。かかる監視装置では、レーザー光等の測定媒体の送出方向を順次変えて監視空間内を２次元的に走査することにより、監視空間を向いた複数の方向に関する距離情報を得ることができ、これにより距離画像を形成できる。

距離画像を用いた監視装置では、移動物体が存在しない背景となる距離画像又は背景画像を予め求め、得られた背景画像と、入力された距離画像又は現画像とを比較し、背景画像より近い距離に相当する画素を抽出して変化領域を求める、いわゆる背景差分法が用いられる。これにより、変化領域の大きさ、形状、及び現画像における距離情報に基づいて、移動物体が目的とする検知対象物であるか否かを判定することができる。

距離画像は、レーザー光等の送受部から見た物体の方向と、当該物体までの距離という情報を有する。よって、距離画像により、物体の大きさ及び形状を知ることができ、例えば、侵入者検知の用途においては、遠方の比較的大きな人物と近傍の小動物（例えば猫等）とを区別することが可能となり、侵入者の検出精度を向上させることができる。

ところで、使用者が監視エリアを設定するにあたり、直感的に監視空間を把握するためには、監視装置の設置情報を加味した監視空間の正しい３次元形状を取得し表示する必要があるが、監視装置の設置情報（ピッチ及びロールといった姿勢、並びに高さ）が必要となる。これに対して、ＧＰＳ（Global Positioning System）やジャイロセンサー等の外部センサーを監視装置に取り付けるという方法が考えられるが、コスト増となってしまう。また、監視装置が据え置き型の固定設置である場合、設置姿勢は固定であるため、これらのセンサーは監視装置の設置作業時のみのために使用することとなり、費用対効果が悪い。

一方、特許文献２には、レーザーレーダーが掃引照射することによって得られる複数の測距点から、取付姿勢推定部が、路面を検出している測距点である路面候補点を抽出し、複数の路面候補点から算出される路面平面と、路面に相当する基準面とがなす角度又は距離から取付姿勢を推定する技術が開示されている。しかしながら、かかる従来技術では、路面に段差があり複数の平面が存在する場合に、自動で使用者が意図する基準面に設定することは困難である。

さらに、自動で地面を検出するには地面に相当する画素が広範囲であるという前提が必要となるが、例えば雨等で地面が濡れている場合、レーザー光が反射してこないために広範囲に測定点が得られない。

特開２００７－１２２５０７号公報特開２０１５－７５３８２号公報

本発明は、上記背景技術の問題点に鑑みてなされたものであり、地面その他の所定の基準面を正確に特定することができ、設置情報を簡易かつ正確に設定できる３次元情報取得システムを提供することを目的とする。

上記目的を達成するため、本発明に係る３次元情報取得システムは、レーザー光を射出する投光部と、検出対象から戻った反射光を受光する受光部とを有し、レーザー光の射出タイミングと反射光の受光タイミングとの差から検出対象までの距離を求めることにより、対象領域について測距を行う距離検出部と、距離検出部を利用して得た３次元空間情報から２次元画像情報を生成し、当該２次元画像情報を表示部に表示させる情報処理部とを備え、情報処理部は、２次元画像として測定点毎の反射光量情報を元に作成される処理画像を表示部に表示させるとともに、処理画像内における所定の基準面に相当する指標画素の選択を受け付け、当該指標画素から距離検出部の設置情報を、距離検出部のロール角、ピッチ角、及び前記所定の基準面からの設置高さとして算出し、距離検出部の設置情報の算出に利用するロール角の分類を検出する姿勢情報取得部をさらに備え、情報処理部は、検出されたロール角の分類を受け付け、ロール角の分類に基づいて表示部において２次元画像の表示方向を変更する。

上記３次元情報取得システムでは、情報処理部が、反射光量情報から得た処理画像内における所定の基準面に相当する指標画素の選択を受け付け、当該指標画素から距離検出部の設置情報を算出するので、所定の基準面を正確に特定することができ、設置情報の設定が簡易かつ正確となる。また、反射光量情報は肉眼によって観察される可視画像に近似したものとなる傾向があり、ユーザーにとって指標画素の選択が容易になる。
設置情報が、距離検出部のロール角、ピッチ角、及び所定の基準面からの設置高さを含む場合、路面その他の地面を基準とする設置情報が得られる。
距離検出部の設置情報の算出に利用するロール角の分類を検出する姿勢情報取得部をさらに備え、情報処理部は、検出されたロール角の分類を受け付け、ロール角の分類に基づいて表示部において２次元画像の表示方向を変更する場合、ユーザーが指標画素を選択する際の処理画像を距離検出部の天地姿勢に関わらず地面を基準とすることができ、指標画素の選択の作業性を高めることができる。

本発明のさらに別の側面によれば、情報処理部は、指標画素として３点以上の選択を受け付けた場合、選択された少なくとも３点に対応する空間座標から所定の基準面を算出する。

本発明のさらに別の側面によれば、情報処理部は、指標画素として４点以上の選択を受け付けた場合、選択に基づいて得た所定の基準面との距離の乖離が大きい点について使用者に異常を通知する。この場合、選択した指標画素に対応する点が平面に乗ってない状態であることを警告することができ、ユーザーに得られる所定の基準面について信頼度が低いことを知らせることができる。

本発明のさらに別の側面によれば、情報処理部は、指標画素として４点以上の選択を受け付けた場合、選択に基づいて得た所定の基準面との距離の乖離が大きい点を異常点として除去し、残った点から所定の基準面を再度算出する。この場合、異常点を自動的に除外した信頼度の高い所定の基準面に基づいて設置情報を取得することができる。

本発明の一実施形態としての３次元情報取得システムを説明する概念図である。図１に示す３次元情報取得システムの設置状態を説明する概念的な斜視図である。図１の３次元情報取得システムを構成するレーザーレーダーユニットの構造を説明する概略図である。レーザーレーダーユニットによって監視空間内を走査する状態を示す図である。レーザーレーダーユニットの設置情報を取得する動作を説明する図である。レーザーレーダーユニットの座標系を説明する正立状態の斜視図である。初期ロール角の分類に関する場合分けに従って算出される単位法線ベクトルを説明する図である。図１の３次元情報取得システムによる物体検出の動作を説明する図である。

以下、添付した図面を参照しながら、本発明の一実施形態である３次元情報取得システムについて説明する。

図１及び２に示す３次元情報取得システム１００は、取得した３次元情報に基づいて移動する物体を検出する物体検出システムであり、レーザーレーダーユニット２１と、支持体２３と、制御装置８０とを備える。図示の場合、距離検出部であるレーザーレーダーユニット２１は、俯瞰するような監視を可能にするため、所定の高度を有する支持体２３上部の傾いた側面に対して天地を逆にした状態で取り付けられている。

図２に示すように、制御装置８０は、ユーザーＵＳが操作するパソコンその他の端末装置であり、有線又は無線の通信媒体ＣＭを介してレーザーレーダーユニット２１に接続されている。レーザーレーダーユニット２１自体を基準とする監視範囲としての監視空間ＳＳは、極座標による帯状領域であり、レーザーレーダーユニット２１は、所定の角度で斜めに見下ろすような状態で支持体２３に設置されている。したがって、動体、建物等の対象物が存在せず平坦な地上面ＧＬを計測する場合、レーザーレーダーユニット２１からのレーザー光Ｌ１は、略水平面である地上面ＧＬを斜めに横切り、中心を除いた扇形又は截頭円錐側面の展開図形の範囲ＡＲで地上面を計測している。

図３を参照して、レーザーレーダーユニット２１の構造の一例について説明する。図中、レーザーレーダーユニット２１は倒立状態で示されている。レーザーレーダーユニット２１は、外界に存在する物体までの距離を計測することによって外界について距離画像を検出する距離検出部であり、回転する走査用ミラー５３ａによって光ビームを走査しつつその伝搬時間から反射体である検出対象ＯＢまでの距離を計測する。レーザーレーダーユニット（距離検出部）２１は、投光部５１と、受光部５２と、回転反射部５３と、駆動回路５５と、外装部品５６とを備える。これらのうち、投光部５１と、受光部５２と、回転反射部５３とは、走査型の光学系５９を構成している。

投光部５１は、後述する回転反射部５３の走査用ミラー５３ａに対して光ビーム又は投光ビームの元になるレーザー光Ｌ１を射出する。投光部５１は、赤外その他の波長域に設定されたレーザー光Ｌ１を発生する光源５１ａを有する。

受光部５２は、外装部品５６の光学窓５６ａを介して入射する検出対象ＯＢからの反射光又は光ビームであって、回転反射部５３の走査用ミラー５３ａで反射された戻り光Ｌ２を受光する。受光部５２は、戻り光Ｌ２を検出するため、縦の副走査方向に関して例えば６つの画素を有する受光素子５２ａを有する。検出領域内に静的又は動的な検出対象ＯＢがあると、レーザーレーダーユニット（距離検出部）２１から射出されたレーザー光（投光ビーム）Ｌ１が検出対象ＯＢで反射等され、検出対象ＯＢで反射等された光の一部が戻り光（反射光）Ｌ２としてレーザーレーダーユニット２１における走査用ミラー５３ａを介して受光部５２に入射する。

回転反射部５３は、走査用ミラー５３ａと回転駆動部５３ｂとを有する。走査用ミラー５３ａは、２回反射型のポリゴンミラーであり、光路折り曲げ用の第１反射部５３ｉと第２反射部５３ｊとを有する。第１及び第２反射部５３ｉ，５３ｊは、紙面の上下に対応するｙ方向（図６参照）に平行に延びる回転軸ＲＸに沿って上下にそれぞれ配置されている。第１及び第２反射部５３ｉ，５３ｊは角錐状の形状を有している。第１及び第２反射部５３ｉ，５３ｊの反射面の傾斜角は、走査用ミラー５３ａの回転位置（図示の例では９０°単位で４方位を向く位置）に伴って徐々に変化するものになっている（第１及び第２反射部５３ｉ，５３ｊの具体的な形状については、国際公開第２０１４／１６８１３７号参照）。

第１反射部５３ｉの反射面は、紙面上で左方向である＋ｚ方向（図６参照）から入射したレーザー光（投光ビーム）Ｌ１を略直交する方向に反射し、紙面上で下方向である－ｙ方向の第２反射部５３ｊの鏡面に導く。第２反射部５３ｊの鏡面は、紙面上で上方向から入射したレーザー光Ｌ１を略直交する方向に反射し、紙面上で左方向の検出対象ＯＢ側へ導く。検出対象ＯＢで反射された一部の戻り光（反射光）Ｌ２は、レーザー光Ｌ１の経路と逆の経路をたどり、受光部５２で検出される。つまり、走査用ミラー５３ａは、検出対象ＯＢで反射された戻り光Ｌ２を、第２反射部５３ｊの鏡面で再度反射させ、第１反射部５３ｉの鏡面に導く。続いて、戻り光Ｌ２を第１反射部５３ｉの鏡面で再度反射させ、受光部５２側へ導く。

走査用ミラー５３ａが回転すると、縦のｙ軸方向に直交する横の平面（つまり、ｘｚ面）内において、レーザー光Ｌ１の進行方向が変化する。つまり、レーザー光Ｌ１は、走査用ミラー５３ａの回転に伴って、ｙ軸のまわりに走査される。レーザー光Ｌ１によって走査される角度領域が検出領域となる。投光用のレーザー光Ｌ１の進行方向において縦のｙ軸方向に関する縦の開き角が副走査方向の投光角度であり、走査開始点でのレーザー光Ｌ１の進行方向と走査終了点でのレーザー光Ｌ１の進行方向とが横のｘｚ面内でなす角度が、主走査方向の照射角度である。このような投光角度と照射角度とによって検出領域に対応する投光視野が形成される。なお、投光視野は、具体例において、走査用ミラー５３ａの９０°単位の回転位置に応じて上下方向に関して４段階で変化するので、全体としての投光視野は、単一の走査で達成される投光視野に対して上下方向に４倍の広がりを有するものとなっている。

駆動回路５５は、投光部５１の光源５１ａ、受光部５２の受光素子５２ａ、回転反射部５３の回転駆動部５３ｂ等の動作を制御する。また、駆動回路５５は、受光部５２の受光素子５２ａに入射した戻り光Ｌ２の変換によって得た電気信号から検出対象ＯＢの物体情報を得る。具体的には、受光素子５２ａにおける出力信号が所定の閾値以上である場合、駆動回路５５において、受光素子５２ａが検出対象ＯＢからの戻り光Ｌ２を受光したと判断される。この場合、光源５１ａでの発光タイミングと受光素子５２ａでの受光タイミングとの差から、検出対象ＯＢまでの距離が求められる。また、受光素子５２ａへの戻り光Ｌ２の副走査方向に関する受光位置及び走査用ミラー５３ａの主走査方向に相当する回転角に基づいて、検出対象ＯＢの主走査方向及び副走査方向に関する方位情報を求めることができる。駆動回路５５には、加速度センサー等からなる姿勢判別センサー５５ｓを組み込むことができ、この場合、距離検出部であるレーザーレーダーユニット２１の上下その他の姿勢を直接的に判定することができる。

外装部品５６は、レーザーレーダーユニット２１の内蔵部品を覆い、保護するためのものである。

図１に戻って、支持体２３は、レーザーレーダーユニット２１を支持するだけの機械部品であってもよいが、制御装置８０の制御下でレーザーレーダーユニット２１の向き又は姿勢を調整する機能を有するものとできる。

制御装置８０は、ユーザーとのインターフェースである入出力部８１と、プログラムに基づいてデータ等に対する演算処理、外部装置の制御等を行う演算処理部８２と、外部からのデータ、演算処理結果等を保管する記憶部８３と、外部装置と通信するための通信部８４とを備える。

入出力部８１は、キーボード、入力キーその他からなる操作部８１ａを利用してユーザーからの指示を取り込むとともに、演算処理部８２による処理結果を表示部としてのディスプレイ８１ｂその他を介してユーザーに提示する。

演算処理部８２は、ＣＰＵ（Central Processing Unit）等の演算部、インターフェース回路等の付属回路を有しており、背景データの作成、計測画像の取得、移動体候補の抽出、クラスタリング、移動体判定等の各種工程を含む物体検出プログラムを実行する。具体的には、演算処理部８２は、背景データの作成のため事前処理として、路面その他の地面に対応する複数点の指標画素の選択を受け付ける。この際、演算処理部８２は、レーザーレーダーユニット２１によって得た３次元空間情報から物体識別を容易にする２次元画像情報を生成する。また、演算処理部８２は、移動体抽出部として、予めレーザーレーダーユニット（距離画像検出部）２１に背景画像を取得させるとともに背景画像から背景データを作成する。また、演算処理部８２は、移動体抽出部として、計測時においてレーザーレーダーユニット（距離検出部）２１に計測画像を取得させる。演算処理部８２は、移動体抽出部として、計測画像の背景データに対する差分として移動体候補を抽出し、移動体候補の画素について隣接するものをグループ化するクラスタリングを行い、得られたクラスタについてフィルタリングを行って移動体を抽出する。

記憶部８３は、物体検出プログラムやその実行に必要な諸データを記憶する。また、記憶部８３は、物体検出プログラムによって抽出した対象に関するデータを逐次記録して、演算処理部８２による対象の移動状態の監視を可能にする。具体的には、記憶部８３には、レーザーレーダーユニット２１の出力から算出した背景データ、レーザーレーダーユニット２１の出力である計測画像、レーザーレーダーユニット２１の設置情報（つまり、姿勢に関する情報）を算出するための処理情報（例えば指標画像に関するデータを含む）等が保管される。

通信部８４は、演算処理部８２とレーザーレーダーユニット２１との通信を可能にし、演算処理部８２がレーザーレーダーユニット２１等からのデータを取り込むことを可能にするとともに、演算処理部８２からの指令をレーザーレーダーユニット２１に送信することを可能にする。

図４は、監視空間ＳＳ内の全領域で測定を行った場合に得られるフレームＦＬを示している。フレームＦＬは、画素で構成される２次元画像又は処理画像であり、この２次元画像は、測定点マーカー群とも呼ばれ、測定点毎に距離情報又は反射光量情報を含んでいる。ここで、測定点毎の距離情報は、方位毎の距離データに相当し、測定点毎の反射光量情報は、方位毎の反射光量データに相当する。フレームＦＬは、レーザーレーダーユニット２１から出力された３次元空間情報を演算処理部８２によって２次元画像情報に加工したものである。２次元画像情報としてのフレームＦＬは、入出力部８１のディスプレイ（表示部）８１ｂに表示され、ユーザーＵＳによる観察の対象となる。フレームＦＬとして、測定点に距離情報を対応付けた２次元距離画像（以下では、距離画像とも呼ぶ）を表示させる場合、演算処理部８２は、距離を可視化する着色処理を行う。具体的には、例えば距離の増加に伴って赤その他の暖色から青その他の寒色に変化する色彩を割り当てる。フレームＦＬとして、測定点に反射光量情報を対応付けた２次元光量画像（以下では、反射光量画像とも呼ぶ）を表示させる場合、演算処理部８２は、反射光量を輝度に比例的に変換する。具体的には、例えば反射光量の増加に伴って黒から白に変化するモノクロの輝度値を割り当てるが、これに限らず、反射光量の大小を色彩で表現することもできる。２次元光量画像は、レーザー光Ｌ１が赤外光である場合、レーザーレーダーユニット（距離検出部）２１の位置又はその近傍から対象を観察した可視画像と近似し、或いは当該可視画像に対して相関性の高い画像となっている。つまり、不可視の波長帯のレーザーを用いた場合でも、２次元光量画像又は反射光量画像は人の目で感じる明るさに似ていることが多いので、現実の画像との対比に際して視認しやすいものとなっている。演算処理部８２は、距離情報又は距離データを含む上記距離画像と、反射光量情報又は反射光量データを含む上記反射光量画像とを、表示部であるディスプレイ８１ｂに択一的に表示させることができるが、表示部であるディスプレイ８１ｂに一括して表示させることもできる。ユーザーＵＳは、操作部８１ａを利用してディスプレイ８１ｂの表示を切り替える指示を演算処理部８２に送ることができ、ディスプレイ８１ｂに表示した距離画像を反射光量画像に切り換えたり、その逆を行わせることができる。

図示のフレームＦＬにおいて、斜線のハッチングで示すスポットエリアＳＡは、３次元情報取得システム１００の監視空間ＳＳ内で走査されるレーザースポットに対応するものであり、図２に示すレーザー光Ｌ１の瞬間的な投影範囲を示す。スポットエリアＳＡは、受光素子５２ａによって検出される６画素分のデータに相当するものともなっている。スポットエリアＳＡは、監視空間ＳＳの水平方向に主走査されつつ垂直方向に副走査されることで、第１の帯状領域Ｌｎ１で例えば左から右へと水平方向に移動した後に、第２の帯状領域Ｌｎ２のある下側に移動し、第２の帯状領域Ｌｎ２でも左から右へと水平方向に移動する。これを繰り返すことで、帯状領域Ｌｎ１～Ｌｎ４の走査が完了し、これら帯状領域Ｌｎ１～Ｌｎ４の走査により得られた画素データ（つまり、測定点毎の距離情報又は反射光量情報）を組み合わせることで１つのフレームＦＬが得られる。

なお、ユーザーＵＳは、操作部８１ａを利用してディスプレイ（表示部）８１ｂ上に表示されたフレームＦＬ内の任意の点を選択することができる。これにより、後に詳述するが、フレームＦＬとして表示された画像上の地面の画素を抽出する処理が可能になる。

以下、図５を参照して、ユーザーＵＳが地面に対応する複数点の指標画素を選択することでレーザーレーダーユニット（距離検出部）２１の設置情報を取得する手法について説明する。

情報処理部としての演算処理部８２は、ユーザーＵＳが操作部８１ａを用いてレーザーレーダーユニット（距離検出部）２１のロール角の分類を初期情報として演算処理部８２に入力することを受け付ける（ステップＳ１）。これにより、レーザーレーダーユニット２１によって取得した距離画像又は反射光量画像を表示する際の向きを当初から視認しやすい向きに設定することができ、またレーザーレーダーユニット２１の設置情報の算出が確実となる。レーザーレーダーユニット２１のロール角の分類は、例えばレーザーレーダーユニット２１の天地に関する姿勢を情報として含むものとなっている。この意味で、演算処理部８２は、ユーザーＵＳの支援でレーザーレーダーユニット２１の上下の姿勢に関する情報を取り込む姿勢情報取得部となっている。なお、図３に示すように、演算処理部８２に設けた加速度センサー、ジャイロセンサーその他の姿勢判別センサー５５ｓを利用して、レーザーレーダーユニット２１の天地姿勢を含むロール角の分類を検出させることができる。この場合、姿勢判別センサー５５ｓが姿勢情報取得部として機能する。なお、姿勢判別センサー５５ｓは、上下又は横転の姿勢の別を検知できれば足り、極めて簡易なものとできる。

図６は、レーザーレーダーユニット（距離検出部）２１の座標系を説明する斜視図であり、レーザーレーダーユニット２１の姿勢を把握するためのパラメーターを説明している。角度αは、レーザーレーダーユニット２１を基準とするｚ軸まわりのロール角を示し、角度βは、レーザーレーダーユニット２１を基準とするｘ軸まわりのピッチ角を示す。なお、上記ステップＳ１で入力するロール角の分類は、レーザーレーダーユニット２１のロール角αを天地左右の第１～第４角度範囲に４分類したものであり、具体的には、第１角度範囲Ａは、上下反転状態に対応し、角度αが－１３５°未満又は＋１３５°以上となっており、第２角度範囲Ｂは、正立状態に対応し、角度αが０°を中心として－４５°以上かつ４５°未満となっている。また、第３角度範囲Ｃは、反時計まわりに傾いた横転状態に対応し、角度αが－９０°を中心として－１３５°以上かつ－４５°未満となっており、第４角度範囲Ｄは、時計まわりに傾いた横転状態に対応し、角度αが＋９０°を中心として４５°以上かつ１３５°未満となっている。

図５に戻って、演算処理部（情報処理部）８２は、レーザーレーダーユニット（距離検出部）２１による測定結果に基づいて、図４に例示するフレームＦＬを計算するとともに、得られたフレームＦＬに対応する距離画像又は反射光量画像を表示部としてのディスプレイ８１ｂに表示させる（ステップＳ２）。この際、演算処理部８２は、姿勢情報取得部として機能するステップＳ１で得た情報（つまりロール角の分類）に基づいてディスプレイ８１ｂにおいて２次元画像の表示方向を変更する。これにより、ディスプレイ８１ｂには、地面を下方向とする距離画像又は反射光量画像が表示される。このような距離画像又は反射光量画像は、後述する地上面の画素の選択に際して、目視での比較による確認を容易にする。

次に、演算処理部（情報処理部）８２は、ユーザーＵＳが操作部８１ａを用いて地面上の複数点に対応する指標画素を選択することを受け付ける（ステップＳ３）。ユーザーＵＳは、レーザーレーダーユニット（距離検出部）２１を用いて得たフレームＦＬを観察しながら、操作部８１ａを用いて地面に対応する複数の指標画素Ｐ１～Ｐ３を選択する（図４参照）。図示の例では、地面又は路面に対応する３点Ｐ１～Ｐ３を選択しているが、演算処理部８２は、４点以上の選択を受け付ける。４点以上の選択を受け付けることで、地面検出の信頼度を高めることができる。この際、選択された点Ｐ１～Ｐ３等については、ディスプレイ８１ｂ上で点Ｐ１～Ｐ３等の色を変更したり点Ｐ１～Ｐ３等に隣接する指標を付して表示することで、これらを識別しやすくすることが望ましい。また、対象が鏡状のものである場合や遠方のものであるときは、反射光を検出できない場合もあるため、この種の測定不能点又は画素をユーザーＵＳが選択できないようにすることが望ましい。

この際、ユーザーＵＳは、表示部であるディスプレイ８１ｂに表示された距離画像又は反射光量画像である２次元画像又は処理画像と、検出対象を目視又は肉眼で観察した対象像とを見比べながら、操作部８１ａを操作して、２次元画像又は処理画像内で地上面に相当する画素を選択することができる。なお、ディスプレイ８１ｂに表示された２次元画像又は処理画像内に地面に相当する画素が全く存在しない場合でも、目標点として地面に目印となる散乱体を複数個所に配置することで測定点を取得することができ、上記複数の指標画素を抽出することが可能になる。

次に、演算処理部（情報処理部）８２は、ステップＳ３で得た地面に対応する複数の指標画素の面内位置及び距離情報に基づいて、レーザーレーダーユニット（距離検出部）２１の設置情報を算出する（ステップＳ４）。ここで、レーザーレーダーユニット２１の設置情報は、レーザーレーダーユニット２１のロール角α及びピッチ角βの他に、レーザーレーダーユニット２１の設置高さＨを含む。具体的な計算内容の流れについて説明すると、ステップＳ３で得た地面に対応する複数の指標画素から所定の基準面に対応する地面の平面式を求めるとともに、所定の基準面に対応する地面の平面式の単位法線ベクトルを求める。地面の平面式の単位法線ベクトルからは、レーザーレーダーユニット２１のロール角α及びピッチ角βを決定することができ、地面の平面式の係数からは、レーザーレーダーユニット２１の設置高さＨを決定することができる。

基準面に相当する地面の平面式を求めるため、ステップＳ３で選択された複数の指標画素Ｐ１～Ｐ３を極座標から直交座標系に変換したものを得る。極座標から直交座標系への変換は、公知の関係
ｘ＝Ｄ・ｓｉｎ（θＨ）×ｃｏｓ（θＶ）
ｙ＝Ｄ・ｓｉｎ（θＶ）
ｚ＝Ｄ・ｃｏｓ（θＨ）×ｃｏｓ（θＶ）
を用いる。ここで、値θＨ，θＶは、複数の指標画素Ｐ１～Ｐ３の検出角であり、値Ｄは、複数の指標画素Ｐ１～Ｐ３の検出距離である。

選択された点列又は空間座標群
（ｘ，ｙ，ｚ）＝（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）ｎは自然数
から地面に相当すると考えられる平面を算出する。空間的な点列から近似的な平面を算出する方法は種々あるが、ここでは最小二乗法を用いて平面式をフィッティングする場合について説明する。一般的に、ｘ，ｙ，ｚに相当するｓ，ｔ，ｕを変数とする点列又は空間座標群
（ｓ_ｉ，ｔ_ｉ，ｕ_ｉ）ｉ＝１～ｎ
を係数ａ，ｂ，ｃを用いた平面式
ｕ＝ａ・ｓ＋ｂ・ｔ＋ｃ
でフィッティングすると、以下の関係が成り立つ。

ここで、
〈ｓ^２〉＝ｓ_１ ^２＋ｓ_２ ^２＋ｓ_３ ^２＋…＋ｓ_ｎ ^２
〈ｓ・ｔ〉＝ｓ_１ｔ_１＋ｓ_２ｔ_２＋ｓ_３ｔ_３＋…＋ｓ_ｎｔ_ｎ
〈１〉＝ｎ
この関係式をＬＵ分解法を用いて溶くことで、連立方程式の要領で平面式の係数ａ，ｂ，ｃを算出することができる。

平面式については、レーザーレーダーユニット２１が上下反転状態又は正立状態にあるとき、つまり第１又は第２角度範囲Ａ，Ｂにあるとき、
ｙ＝ａ・ｘ＋ｂ・ｚ＋ｃ
を用いることができ、レーザーレーダーユニット２１が左右の横転状態にあるとき、つまり第３又は第４角度範囲Ｃ，Ｄにあるとき、
ｘ＝ａ・ｙ＋ｂ・ｚ＋ｃ
を用いることができる。

以上では、最小二乗法を用いて平面式を決定する方法を説明したが、公知の主成分分析を利用して平面式を決定することもできる。

選択された点列（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）について得た平面式の係数ａ，ｂ，ｃからは、平面式の単位法線ベクトル（ｘ_０，ｙ_０，ｚ_０）を算出する。この際、ステップＳ１１で説明した初期ロール角の分類を利用する。具体的には、図７に示す場合分けに従って単位法線ベクトル（ｘ_０，ｙ_０，ｚ_０）を算出する。

レーザーレーダーユニット２１の設置状態を表すロール角α、ピッチ角β、及び設置高さＨは、地面の平面式から得た地面の平面式の係数と、当該平面式の単位法線ベクトルとを用いて、下記の３式

からそれぞれ計算される。この際、ロール角αについては、初期ロール角の範囲に入るように必要ならば±１８０°で補正を行う。

演算処理部（情報処理部）８２は、指標画素として４点以上の選択を受け付けた場合、４点以上の選択に基づいて得た基準面である地面の平面式との距離の乖離が所定以上大きい点又は画素については、地面以外のものである可能性もあり、ユーザーＵＳに異常を通知し、乖離が大きい異常点を他と区別されるようにディスプレイ８１ｂに表示することができる。この場合、演算処理部８２は、ユーザーＵＳが地面上の複数点に対応する指標画素を再選択又は一部置換択することを受け付け、新たな指標画素が設定された場合、新たな指標画素を用いてステップＳ３の手法でレーザーレーダーユニット（距離検出部）２１の設置情報を再計算する。なお、距離の乖離は、絶対値としての距離値から判断することもできるが、他の点の距離値との相対的な比率から判断することもできる。

演算処理部（情報処理部）８２は、指標画素として４点以上の選択を受け付けた場合、４点以上の選択に基づいて得た基準面に対応する平面式との距離の乖離が所定以上大きい異常点又は画素については、平面式の算出対象から除去し、残った指標画素を用いてステップＳ３の手法でレーザーレーダーユニット（距離検出部）２１の設置情報を再計算する。この場合、異常点は１つに限らず複数とできるが、３点以上を残す必要がある。

その他、指標画素として３点以上が選択されても、それらが特定直線に近い場合、平面式の算出精度が下がるので、ユーザーＵＳに精度低下を通知することができる。

以下、図８を参照して、図１に示す３次元情報取得システム１００を用いた物体検出方法又は物体検出プログラムの実行について説明する。

まず、制御装置８０の演算処理部８２は、本測定前の事前準備として、レーザーレーダーユニット（距離画像検出部）２１を動作させることで背景データを生成する（ステップＳ１１）。背景データの生成は、移動体検出（ステップＳ１２以降の処理）に先立って行われるものであり、演算処理部８２は、検出したいエリアに所定条件を満たす移動体が存在しない状態、具体的には歩行者等の障害物がない状態でレーザーレーダーユニット２１を動作させて距離画像を取得し、それを背景として記憶部８３に登録する。背景データの生成に際しては、走査によって得た極座標の計測データ（Ｄ，θＨ，θＶ）をレーザーレーダーユニット２１から取り込んで、結果を背景の距離画像として記憶部８３に保管する。

次に、制御装置８０は、移動体検出のための計測を開始し、一回の全画面走査によって得た極座標の計測データ（Ｄ，θＨ，θＶ）をレーザーレーダーユニット２１から取り込んで、結果を現在の距離画像として記憶部８３に保管する。

次に、演算処理部８２は、ステップＳ１２で得た現在の距離画像とステップＳ１１で得た背景データとを比較し、距離の差異が所定条件を満たす距離画素を移動体に対応する画素の候補として抽出する。より具体的には、背景より手前の画素を移動体候補画素として抽出する（ステップＳ１３）。この際、現在の距離画像を構成する各距離画素について、方位（θＨ，θＶ）が一致する背景データについて、相対的距離差を算出して移動体候補画素とする。

ステップＳ１３において相対的距離差を算出する判定する際には、そのまま比較するだけではなく、最低変化距離の閾値を設け、背景の距離よりも当該閾値以上に手前である画素のみを移動体候補画素として抽出するようにしてもよい。これにより、誤差やノイズで偶発的に背景より手前になった画素を誤って抽出することを防ぐことができる。

この際、演算処理部８２は、上記手法で抽出した移動体候補画素について、極座標の計測データ（Ｄ，θＨ，θＶ）を、レーザーレーダーユニット２１を基準とする直交座標系の計測データ（ｘ，ｙ，ｚ）に変換するとともに、レーザーレーダーユニット２１の設置状態を考慮した補正を行うことで地面基準の直交座標系の計測データ（ｘ'，ｙ'，ｚ'）に変換し、結果を現在の距離画像として記憶部８３に保管する。この際、地面からの高さｙ'が所定値未満又は負である距離画素については、地面の凹凸の影響や水溜まりによる反射の誤検知を防止する観点で、所定の地上高に設定した面上の点に置き換えることができる。

レーザーレーダーユニット２１の設置状態の補正は、公知の下記回転行列

を用いることで与えられる。

次に、演算処理部８２はステップＳ１３で得た移動体候補画素について、クラスタリングを行って（ステップＳ１４）、結果を記憶部８３に保管する。クラスタリングは、隣接する画素又は計測点を繋ぐこと等によって検出点を部分集合化し、対象のサイズや輪郭的な情報を得るための処理である。クラスタリングは、直交座標系の移動体候補画素（ｘ'，ｙ'，ｚ'）に対して行うことができるが、変換前の極座標の計測データ（Ｄ，θＨ，θＶ）に対して行うこともできる。以上のクラスタリングには、得られた複数のクラスタの連結等の処理を追加することができる。

次に、演算処理部８２は、ステップＳ１７のクラスタリングによって得た各クラスタについて各種演算処理を行って、各クラスタの位置及びサイズを決定する（ステップＳ１５）。クラスタの位置の決定には、例えばクラスタを構成する検出点又は画素点の平均位置又は重心を利用することができる。また、クラスタのサイズの決定には、例えばクラスタを構成する検出点又は画素点の外縁をつなぐ領域内の体積、ｘｚ面に投影した面積等を用いることができる。

その後、演算処理部８２は、ステップＳ１４で得た各クラスタからサイズを考慮して、サイズの小さなものを除去するノイズ判定を行って、着目に値する移動体を選別する（ステップＳ１６）。つまり、演算処理部８２は、ノイズレベルよりも大きなクラスタを前方物体と判断し、このように抽出した対象を所定条件を満たす移動体としてラベリングし、記憶部８３に保管する。

次に、演算処理部８２は、通信部８４等を介して処理終了の指示があったか否かを確認し（ステップＳ１７）、処理終了の指示がなかった場合、通信部８４等を介して背景データの更新を行う指示があるか否かを確認する（ステップＳ１８）。背景データの更新を行う指示がない場合（ステップＳ１８でＮ）、ステップＳ１２に戻って移動体を抽出するための計測を開始し、背景データの更新を行う指示があった場合（ステップＳ１８でＹ）、ステップＳ１１に戻って背景データの生成を行う。

ステップＳ１６で１以上の移動体が選別された場合、詳細な説明を省略するが、演算処理部８２は、例えば所定エリアへの侵入者を監視している用途であれば、上位の管理システムに通報を発するといった通報処理を行う。

以上で説明した実施形態の３次元情報取得システム１００では、情報処理部である演算処理部８２が、反射光量情報若しくは距離情報から得た処理画像（つまり、距離画像又は反射光量画像）内における所定の基準面に相当する指標画素の選択を受け付け、当該指標画素から距離検出部であるレーザーレーダーユニット２１の設置情報を算出するので、所定の基準面を正確に特定することができ、設置情報の設定が簡易かつ正確となる。

以上、実施形態に即して本発明を説明したが、本発明は、上記実施形態等に限定されるものではない。例えば、ロール角α、ピッチ角β、及び設置高さＨのいずれか１つ又は２ついては、これを固定値とすることができ、この場合、指標画素の選択が３点未満であっても、設置情報を得ることができる。

上記実施形態では、地面を基準面として検出したが、建造物の床面、屋上等を基準面として利用することができる。さらに、建物の壁面等を基準面として部分的な設置情報の取得に利用することができる。

レーザーレーダーユニット２１の構造は単なる例示であり、様々な構造及び走査手法の距離検出部を用いることができる。

移動体又は対象を抽出した場合、その抽出した対象の移動を軌跡として捉えることも可能である。この場合、抽出した対象の同一性を形状やサイズから判定する必要がある。

ユーザーＵＳが指標画素を選択する便宜を図る観点で、レーザーレーダーユニット２１の内部又は周辺にカメラを設置して対比を容易にすることができる。

２１…レーザーレーダーユニット、２３…支持体、５１…投光部、５１ａ…光源、５２…受光部、５２ａ…受光素子、５３…回転反射部、５５…駆動回路、５５ｓ…姿勢判別センサー、５６…外装部品、５６ａ…光学窓、５９…走査型の光学系、８０…制御装置、８１…入出力部、８１ａ…操作部、８１ｂ…ディスプレイ、８２…演算処理部、８３…記憶部、８４…通信部、１００…３次元情報取得システム、ＦＬ…フレーム、ＧＬ…地上面、Ｌ１…レーザー光、Ｌ２…戻り光、Ｌｎ１-Ｌｎ４…帯状領域、ＯＢ…検出対象、Ｐ１-Ｐ３…指標画素、ＲＸ…回転軸、ＳＡ…スポットエリア、ＳＳ…監視空間、ＵＳ…ユーザー

Claims

レーザー光を射出する投光部と、検出対象から戻った反射光を受光する受光部とを有し、レーザー光の射出タイミングと反射光の受光タイミングとの差から検出対象までの距離を求めることにより、対象領域について測距を行う距離検出部と、
前記距離検出部を利用して得た３次元空間情報から２次元画像情報を生成し、当該２次元画像情報を表示部に表示させる情報処理部とを備え、
前記情報処理部は、前記２次元画像として測定点毎の反射光量情報を元に作成される処理画像を前記表示部に表示させるとともに、前記処理画像内における所定の基準面に相当する指標画素の選択を受け付け、当該指標画素から前記距離検出部の設置情報を、前記距離検出部のロール角、ピッチ角、及び前記所定の基準面からの設置高さとして算出し、
前記距離検出部の前記設置情報の算出に利用するロール角の分類を検出する姿勢情報取得部をさらに備え、
前記情報処理部は、検出されたロール角の分類を受け付け、ロール角の分類に基づいて前記表示部において２次元画像の表示方向を変更する、３次元情報取得システム。
前記情報処理部は、前記指標画素として３点以上の選択を受け付けた場合、選択された少なくとも３点に対応する空間座標から前記所定の基準面を算出することを特徴とする請求項１に記載の３次元情報取得システム。
前記情報処理部は、前記指標画素として４点以上の選択を受け付けた場合、選択に基づいて得た前記所定の基準面との距離の乖離が大きい点について使用者に異常を通知することを特徴とする請求項１及び２のいずれか一項に記載の３次元情報取得システム。
前記情報処理部は、前記指標画素として４点以上の選択を受け付けた場合、選択に基づいて得た前記所定の基準面との距離の乖離が大きい点を異常点として除去し、残った点から前記所定の基準面を再度算出することを特徴とする請求項１～３のいずれか一項に記載の３次元情報取得システム。