JP5624457B2 - 三次元データ処理装置、方法及びプログラム - Google Patents

Description

本発明は、対象物の表面にレーザを走査して、この対象物の三次元画像を生成する三次元データ処理技術に関する。

レーザスキャナ等により対象物を現物計測し、三次元位置データの集合である点群データであらわして、この対象物の表面形状を認識する技術が知られている（例えば、特許文献１参照）。さらに、このレーザスキャナが配置される基準点を複数とり、それぞれ取得された点群データを合成し、プラント、作業現場、街並、文化財建造物等といった大規模で複雑な形態を有するものの三次元情報化に広く利用されている。

特開２０１０−９７４１９号公報

ところで、点群データを構成するピクセルの輝度値は、入射したレーザの対象物表面からの反射光の強度に基づいていた。このため、レーザが垂直に入射する対象物表面を示すピクセルは、周囲と比べて顕著に高強度の輝度値（ハイライト）となり、ノイズとして観察される課題があった。

また複数の基準点から取得された点群データを合成した場合、それぞれの基準点を視点とした複数の輝度分布の足し合わせとなるので、表示画面における対象物の視認性が悪化する課題があった。
さらに、各々の基準点における各々の点群データを合成した際の重複領域は、輝度の異なるピクセル混在することとなり、表示画面のざらつき感が避けられない課題があった。

本発明はこのような事情を考慮してなされたもので、三次元画像表示された対象物の視認性が向上する三次元データ処理技術を提供することを目的とする。

三次元データ処理装置において、対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成する点群生成部と、前記点群データの前記位置データにおけるピクセルの法線を導出する法線導出部と、前記法線に基づいて前記ピクセルの輝度を演算する輝度演算部と、前記ピクセルの前記位置データ及び前記輝度に基づいて前記対象物の三次元画像を構成する３Ｄ画像構成部と、を備え、前記輝度演算部は、前記受光した反射光の強度と前記演算した輝度との差分を対象物の表面に付与された模様又は色彩の情報として反映させることを特徴とする。

本発明によれば、三次元画像表示された対象物の視認性が向上する三次元データ処理技術が提供される。

レーザスキャナにより対象物を三次元データ処理する概要の説明図。 本発明の三次元データ処理装置の実施形態を示すブロック図。 各々のレーザスキャナで取得された点群データを示す図。 各々の点群データを合成して構成した対象物の三次元画像。 （Ａ）は拡散反射による輝度演算を説明する模式図、（Ｂ）は鏡面反射による輝度演算を説明する模式図。 拡散反射光と鏡面反射光の分布模式図。 （Ａ）はボクセル空間分割を示し、（Ｂ）はオクトリー空間分割を示す模式図。 三次元データ処理動作を説明するフローチャート。 三次元データ処理動作の他の実施例を説明するフローチャート。 三次元データ処理動作の他の実施例を説明するフローチャート。

以下、本発明の実施形態を添付図面に基づいて説明する。
図１に示すように、レーザスキャナ１０は、パルス状のレーザを出力して対象物３０の表面に照射させる出力部１１と、この対象物３０からの反射光を受光する受光部１２と、このレーザ出力部１１及び受光部１２を基準点に対して固定する三脚１３とから構成されている。そして、一つの基準点においてレーザスキャナ１０Ａは、対象物３０の表面にレーザ走査を行い点群データ３１Ａ（図３）を得る。その後、別の基準点においてレーザスキャナ１０Ｂ，１０Ｃは、対象物３０の別の表面に同様にレーザ走査を行い点群データ３１Ｂ，３１Ｃを得る。
ここで、一つの基準点におけるレーザ走査により得られる点群データ３１は、数千万点程度のピクセルを生成する。

さらに図２に示すように、レーザの出力方向を動的に変化させて対象物３０の表面にレーザを走査させる走査部１４と、レーザが出力されてからその反射光が受光部１２に受光されるまでの往復時間を測定する時間計測部１５と、受光部１２に受光されたレーザの強度検知部１６とから構成されている。

走査部１４は、水平方向の回転機構（パン機構）と、俯仰方向の揺動機構（チルト機構）とを備え、基準点の周囲に略３６０度の範囲で対象物３０に対しレーザ出力するものを例示しているが、そのようなものに限定されるものではない。
そして、時間計測部１５で計測された往復時間により、基準点から対象物３０の表面の反射点までの距離が求められ、走査部１４のパン量及びチルト量からレーザの出力方向が導かれる。そして、このレーザの出力方向及び伝播距離とから、対象物３０の表面の位置データを極座標上で扱うことができる。

図２に示すように、三次元データ処理装置２０は、対象物３０（図１）の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データ３１（図３）を生成する点群生成部２１と、前記点群データ３１の位置データにおけるピクセルＰの法線４３（図５）を導出する法線導出部２２と、法線４３に基づいてピクセルＰの輝度を演算する輝度演算部２３と、ピクセルＰの前記位置データ及び前記輝度に基づいて対象物３０の三次元画像を構成する３Ｄ画像構成部２６と、を備えている。

点群生成部２１では、異なる基準点に配置されたレーザスキャナ１０（１０Ａ，１０Ｂ，１０Ｃ）による点群データ３１（３１Ａ，３１Ｂ，３１Ｃ）をそれぞれ個別に生成するとともに（図３）、それぞれの基準点の位置データに基づいて点群データ３１を合成する（図４）。

法線導出部２２は、合成された点群データ３１（図４）の構成単位であるピクセルＰの法線４３（図５）を求めるが、得られる三次元画像の視認性を向上させる観点からその法線を高精度に求める必要がある。

そのように法線を高精度に求める方法として、対象とするピクセルＰとこれとは異なる二つのピクセルＰとを結んだ二つのベクトルの外積により法線４３を導出する方法がある。
この場合、隣りあうピクセルＰを結ぶベクトルによる外積計算では、ノイズの影響を受ける為に、数個飛ばしたピクセルＰを結ぶベクトルを用いて対象のピクセルの法線４３を求めるとよい。

また別の方法として、対象とするピクセルＰとその近傍に存在する複数のピクセルＰとから導かれる近似的な平面の直交ベクトルを法線として導出する方法がある。
この場合、対象とするピクセルＰの上下左右Ｎ×Ｍ個の領域に含まれるピクセルＰに対し、対象のピクセルＰからの遠近で重み付けを行ったうえで、この対象とするピクセルＰに接する平面の直交ベクトルを求めるとよい。

なお、対象とするピクセルＰの法線４３を導出するために選択される他のピクセルＰは、近接するものであっても全く関連のない（物理的に分離している）対象物３０のものである可能性がある。このために、あらかじめ点群データ３１において、同種の対象物３０に由来するピクセルＰをグループ化し、同グループ内の隣接点のみで法線４３を計算する必要がある。
そのようなグループ化の方法の一例として、上下左右のピクセルＰにおける距離差が閾値を超えたときに別グループと認識させる方法が挙げられる。

さらにグループ化の精度を高める方法として、対象物３０上の凹凸エッジ部を認識してこれをグループ化の判断基準にするとよい。この凹凸エッジ部の認識方法としては、導出された法線４３を用いて、隣接するピクセルＰにおけるそれぞれの法線４３との角度計算を行い、閾値以上のものを凹凸エッジ部とする手法が挙げられる。

輝度演算部２３（図２）は、光源位置設定部２４で仮想的に設定された光源４１（図５）及び視点位置設定部２５で仮想的に設定された視点４２に基づいてピクセルＰの輝度を演算し、対象物３０の三次元画像の陰影処理を実行するものである。
光源４１から対象物３０の表面への入射光４４は、拡散反射するものと鏡面反射するものとに分類される。ここで、拡散反射はいずれの方向においても同じ強さで反射するもので、鏡面反射は入射角αと等しい正反射角αの方向を中心に光が強く反射され表面の一部にハイライトを視認させるものである。

ここで、図５（Ａ）は、対象物３０の表面に対し、光源４１から入射光４４が法線４３に対して入射角αで入射し、視点４２の位置において拡散反射光４５が観測されている状態を示している。なお、図示において視点４２は光源４１の近傍に位置しているが、前述したとおり、拡散反射光４５の強度Ｉ_dは視点４２の位置に依存しないものである。
ここで、拡散反射光４５の強度Ｉ_dは、入射角αの余弦に比例するとしたLambertの余弦則を用いて、次式（１）及び（２）のように表される。なお、式（１）は光源４１が平行光源である場合で、式（２）は光源４１が点光源である場合に適用される。
なお、Ｉ_i：入射光の強さ、ｋ_d：拡散反射係数、ｒ：光源４１から反射点までの距離である。

Ｉ_d＝Ｉ_iｋ_dｃｏｓα （１）
Ｉ_d＝Ｉ_iｋ_d(ｃｏｓα)／ｒ² （２）

次に、図５（Ｂ）は、対象物３０の表面に対し、光源４１から入射光４４が法線４３に対して入射角αで入射し、視点４２の位置において鏡面反射光４６が観測されている場合を示している。
ここで、鏡面反射光４６の強度Ｉ_mは、次式（３）で表されるPhongの式を用いて導かれる。なお、Ｉ_i：入射光の強さ、ｋ_s：鏡面反射係数、ｎ:ハイライト特性係数、γ：正反射方向４７と視点４２の方向（鏡面反射光４６）とのなす角度である。

Ｉ_m＝Ｉ_iｋ_sｃｏｓⁿγ （３）

そして、所定の位置の視点４２で観測されるピクセルの輝度Ｉは、次式（４）のように、拡散反射光４５の強度Ｉ_dと、鏡面反射光４６の強度Ｉ_mとの和で表される。なお、ピクセルの輝度Ｉを演算する方法として、Lambertの余弦則やPhongの式を適用することを例示したが、これに限定されず公知のモデルを適用することができる。

Ｉ＝Ｉ_d＋Ｉ_m （４）

光源位置設定部２４（図２）は、仮想的に設定された光源４１（図５）の位置に基づいてピクセルＰの輝度を輝度演算部２３に演算させるものである。つまり、設定された位置の光源４１から各々のピクセルＰへの入射光４４の入射角αを演算し、これを上記式（１）又は（２）にあてはめて、各々のピクセルの輝度を演算するものである。
これにより、複数の基準点に配置されたレーザスキャナ１０（１０Ａ，１０Ｂ，１０Ｃ）から取得して合成された点群データ３１（図４）において、光源４１の位置を合わせることができる。これによって、強度検知部１６で得られたレーザの強度をそのままピクセルの輝度に採用した場合に生じる重複領域３３（図４）のざらつき感が改善される。

視点位置設定部２５（図２）は、仮想的に設定された視点４２（図５）の位置に基づいてピクセルの輝度を輝度演算部２３に演算させるものである。つまり、各々のピクセルを対象に入射光の正反射角αと設定された視点４２の方向（鏡面反射光４６）とのなす角度γを演算し、これを上記式（３）にあてはめて、各々のピクセルの輝度を演算するものである。
さらに、この視点位置設定部２５で設定された視点４２は、３Ｄ画像構成部２６（図２）における対象物３０の三次元画像の観察角度を決定するパラメータにも利用される。

これにより、ユーザが視点４２を移動させて対象物３０の観察角度が変化するのに同期して、三次元画像の陰影のうち鏡面反射成分が変化することになる。
つまり、上記式（１）又は（２）における拡散反射成分は、光源４１の位置が固定されれば、視点４２の位置が変化しても対象物３０の陰影に変化を及ぼさないが、上記式（３）における鏡面反射成分の影響は観察角度に依存するので、現実により近い三次元画像が得られる。

また、輝度演算部２３（図２）は、レーザスキャナ１０の強度検知部１６で検知したレーザの反射光の強度値を、ピクセルの輝度値に反映させることができる。
これは、前記式（１）〜（４）に基づいて、ピクセルの輝度を求めた場合は、対象物３０の表面の質感、色彩、文字等の模様等の情報を三次元画像に反映させることができない。しかし、強度検知部１６で検知したレーザの反射光の強度値においては、そのような対象物３０の表面の質感、色彩、文字等の模様の情報を含んでいる。
このために、強度検知部１６で検知したレーザ反射光の強度値と前記式（１）〜（４）に基づいて演算された輝度との差分を、対象物３０の表面に付与された模様又は色彩の情報として反映させることができる。

また、強度検知部１６で検知したレーザの反射光の強度値から、前記式（１）〜（４）における拡散反射係数ｋ_d、鏡面反射係数ｋ_s、ハイライト特性係数ｎといった演算パラメータを推定することができる。

また、輝度演算部２３は、強度検知部１６で検知したレーザの反射光の強度値に含まれる鏡面反射成分を、前記式（３）に基づいて識別することができる。
これにより、これまでピクセルの法線４３に基づいて導いたピクセルの輝度により対象物３０の三次元画像を導くことを説明してきたが、強度検知部１６で検知した反射光の強度値から鏡面反射成分をノイズ除去して得たピクセルの輝度により対象物３０の三次元画像を導くことができる。

これは、例えば大口径配管などの金属面では、形状が円筒または円環であるためにその中心部からのレーザ反射光の強度が周囲に比べて顕著に大きく観測される。このために、強度検知部１６で検知したレーザの反射光からそのまま対象物３０の三次元画像を作成した場合に、その部分がハイライトとなって三次元画像上のノイズとなって観察される。
このような場合、強度検知部１６で検知したレーザ反射光を構成する拡散反射光と鏡面反射光を成分分離し、鏡面反射光の成分を除去することにより、三次元画像の視認性を改善させることができる。

なお、材質によって鏡面反射係数が異なる為、材質の違いを考慮しながら前記した拡散反射光と鏡面反射光の成分分離を行う必要がある。なお、前記したグループ化の情報を用いて異なる属性を排除してこの成分分離を簡略化することができる。
この成分分離においては、ＲＧＢヒストグラムが必要となるが、白黒の輝度情報からも分離は可能である。鏡面反射光成分を拡散反射光のノイズとし拡散反射光のパラメータを最小二乗法やＲＡＮＳＡＣなどのロバストな推定法により求めることで、鏡面反射光を適切に除去することができる（図６参照）。

３Ｄ画像構成部２６（図２）は、所望する観察角度における対象物３０の三次元画像を構成し、表示部２７に表示させるものである。この観察角度は、視点位置設定部２５で、対象物３０を臨む視点として設定されている位置に対応している。
また３Ｄ画像構成部２６は、三次元画像の視認性を向上させるために、複数の基準点から得られた点群データ３１Ａ，３１Ｂ，３１Ｃ（図４）を合成したことによる重複領域３３のピクセルＰを間引くか又はサイズを小さく表示する機能も備えている。

ここで、重複領域３３（図４）を検知・認識する方法について説明する。
それは、ある点群データ３１Ａと他の点群データ３１Ｂとからそれぞれ一つずつ選択したピクセルＰのペアにおいて、両者の最短距離が閾値以内でかつ同一の対象物３０のものと判断されるペアの一方のピクセルＰを削除する方法である。
ただし、この方法では、ある点群データ３１ＡのピクセルＰと他の点群データ３１ＢのピクセルＰとの総当り計算になり、処理時間が膨大になる。

これを解決するために、点群データ３１を図７に示すように区画して、単位区画において、前記したある点群データ３１ＡのピクセルＰと他の点群データ３１ＢのピクセルＰとの総当り計算を行う。これにより、計算数が削減されて処理時間の短縮が図れる。

このように、点群データ３１を区画する方法としては、点群データ３１を、図７（Ａ）に示されるように、全て包括する空間領域のＸ軸、Ｙ軸、Ｚ軸方向をそれぞれのＮ、Ｍ、Ｌの個数で分割して矩形領域を得る方法がある。
この方法で矩形に区画された領域に属する点群に対し、それぞれ前記したピクセルＰのペアの最短距離を計算した場合、区画に属するピクセルの数がばらついていると全体の処理時間は、最も多くピクセルを含む区画の計算時間に律速されてしまう。

そこで、計算処理を効率化するために、図７（Ｂ）に示すように、空間領域をオクトリー分割することを検討する。まず、空間領域をＸ軸、Ｙ軸、Ｚ軸方向のそれぞれについて１／２に分割し、空間全体で１／８の空間に分割する。
そして、この８つの区画にて点群が閾値以内の数に収まっていない区画に対し、さらに空間を１／８にする分割を行う。これ処理を区画が小さくなりすぎないレベルまで繰り返し行うと、ピクセルが密集している空間ほど分割が多く行われ、含まれるピクセル数のばらつきを抑えることができ、処理時間を短縮することができる。

また、別の区画方法として、法線導出部２２の説明において前記したグループ化を利用する方法がある。つまり、グループ毎に区画の分割を行い、ピクセルＰのペアの最短距離の計算を行う。

次に図８、図９、図１０のフローチャートを参照して、三次元データ処理装置の動作を説明する。
まず、３つの図の共通部分の説明として、レーザスキャナ１０を、第１基準点に配置し（Ｓ１１）、対象物３０に対しレーザを出力し（Ｓ１２）、その反射光を受光する（Ｓ１３）。これにより、対象物３０の表面上のピクセルの位置データが確定する。
そして、対象物３０に出力するレーザを走査することで（Ｓ１４）、対象物３０の表面を表す複数のピクセルの点群データが生成される（Ｓ１５）。

次に、図８の特有部分を説明する。取得した点群を近傍点でグループ化し（Ｓ１６）、全てのピクセルにおいて同一グループ内での近傍点にて法線を求め（Ｓ１７）、対象物３０の全領域の照射が終了するまでＳ１１〜Ｓ１５を繰り返す（Ｓ１８：Ｙｅｓ）。そして、それぞれの基準点で得られた点群データを合成し（Ｓ１９）、全ての基準点にて統一の光源を設定する（Ｓ２０）。そして、この導出された法線に基づいてピクセルの輝度を求め（Ｓ２１）、すでに得られている位置データに基づいて対象物３０の三次元画像を構成し表示する（Ｓ２２）。

なお、構成・表示される三次元画像は、視点位置を変更することにより、観察角度を変更することができる。この観察角度の変更に連動して、輝度の演算（Ｓ２１）を必要に応じ再実行し（Ｓ２３：Ｎｏ）、所望する三次元画像が得られたところで観察角度が保持される（Ｓ２３：Ｙｅｓ）。

次に、図９の特有部分を説明する。Ｓ１６〜Ｓ２３は図８と同処理となる。図８のフローに加え、レーザの反射光を受光する工程（Ｓ１３）において、逐次、その強度を検知し（Ｓ２４）、法線に基づいて演算されたピクセルに輝度との差分を演算する（Ｓ２５）。そして、この演算値が閾値を超過するものについては（Ｓ２６：Ｙｅｓ）、対象物３０の表面に付与された模様又は色彩であるとして、その差分値を構成・表示される三次元画像に加算する（Ｓ２７）。そして、この演算値が閾値を超過しないものについては（Ｓ２６：Ｎｏ）、対象物３０の表面に模様又は色彩がないとして、法線に基づき得られた三次元画像をそのまま構成・表示し（Ｓ２２）、観察角度に応じて画像の再構成・再表示を行う（Ｓ２３）。

次に、図１０の特有部分を説明する。図８のＳ１６、Ｓ１７の処理は実行しない。Ｓ１８〜Ｓ１９は図８と同処理となる。図８のＳ２０、Ｓ２１の代わりに領域分割などによる近傍点群のグループ化を行い（Ｓ２８）、重複する点群を検知し削除する（Ｓ２９）。計測した点群の輝度または図８の手法のように近傍点の法線から輝度を求め、画像の構成・表示を行い（Ｓ２２）、観察角度に応じて画像の再構成・再表示を行う（Ｓ２３）。

本発明は前記した実施形態に限定されるものでなく、共通する技術思想の範囲内において、適宜変形して実施することができる。
例えば、三次元データ処理装置は、コンピュータによって各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して三次元データ処理プログラムとして動作させることも可能である。

１０（１０Ａ，１０Ｂ，１０Ｃ）…レーザスキャナ、１１…出力部、１２…受光部、１３…三脚、１４…走査部、１５…時間計測部、１６…強度検知部、２０…三次元データ処理装置、２１…点群生成部、２２…法線導出部、２３…輝度演算部、２４…光源位置設定部、２５…視点位置設定部、２６…３Ｄ画像構成部、２７…表示部、３０…対象物、３１（３１Ａ，３１Ｂ，３１Ｃ）…点群データ、３３…重複領域、４１…光源、４２…視点、４３…法線、４４…入射光、４５…拡散反射光、４６…鏡面反射光、４７…正反射方向、Ｐ…ピクセル。

Claims (10)

1. 対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成する点群生成部と、
   前記点群データの前記位置データにおけるピクセルの法線を導出する法線導出部と、
   前記法線に基づいて前記ピクセルの輝度を演算する輝度演算部と、
   前記ピクセルの前記位置データ及び前記輝度に基づいて前記対象物の三次元画像を構成する３Ｄ画像構成部と、を備え、
   前記輝度演算部は、前記受光した反射光の強度と前記演算した輝度との差分を対象物の表面に付与された模様又は色彩の情報として反映させることを特徴とする三次元データ処理装置。
2. 請求項１に記載の三次元データ処理装置において、
   前記三次元画像は、前記レーザの出力部及び受光部が配置される基準点を変化させて、得られた前記点群データを合成したものであることを特徴とする三次元データ処理装置。
3. 請求項１又は請求項２に記載の三次元データ処理装置において、
   前記法線導出部は、対象とするピクセルとこのピクセルとは異なる二つのピクセルとを結んだ二つのベクトルの外積により前記法線を導出することを特徴とする三次元データ処理装置。
4. 請求項１から請求項３のいずれか１項に記載の三次元データ処理装置において、
   前記法線導出部は、対象とするピクセルとその近傍に存在する複数のピクセルとに接する平面の直交ベクトルを前記法線として導出することを特徴とする三次元データ処理装置。
5. 請求項１から請求項４のいずれか１項に記載の三次元データ処理装置において、
   前記輝度演算部は、前記受光した反射光の強度から鏡面反射成分をノイズとして除去することを特徴とする三次元データ処理装置。
6. 請求項１から請求項５のいずれか１項に記載の三次元データ処理装置において、
   前記輝度演算部は、画像表示される前記対象物の視点位置に基づいて前記輝度の演算値を変化させることを特徴とする三次元データ処理装置。
7. 請求項１から請求項６のいずれか１項に記載の三次元データ処理装置において、
   前記輝度演算部は、仮想的に設定された光源位置に基づいて前記輝度の演算値を変化させることを特徴とする三次元データ処理装置。
8. 請求項２から請求項７のいずれか１項に記載の三次元データ処理装置において、
   前記合成された前記点群データのうち前記基準点を変化させたことによる重複領域の前記ピクセルを間引くか又はサイズを小さく表示することを特徴とする三次元データ処理装置。
9. 点群生成部が、対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成するステップと、
   法線導出部が、前記点群データの前記位置データにおけるピクセルの法線を導出するステップと、
   輝度演算部が、前記法線に基づいて前記ピクセルの輝度を演算するステップと、
   ３Ｄ画像構成部が、前記ピクセルの前記位置データ及び前記輝度に基づいて前記対象物の三次元画像を構成するステップと、
   前記輝度演算部が、前記受光した反射光の強度と前記演算した輝度との差分を対象物の表面に付与された模様又は色彩の情報として反映させるステップと、を含むことを特徴とする三次元データ処理方法。
10. コンピュータを、
    対象物の表面に走査されたレーザの反射光を受光しその反射点の位置データの集合である点群データを生成する手段、
    前記点群データの前記位置データにおけるピクセルの法線を導出する手段、
    前記法線に基づいて前記ピクセルの輝度を演算する手段、
    前記ピクセルの前記位置データ及び前記輝度に基づいて前記対象物の三次元画像を構成する手段、
    前記受光した反射光の強度と前記演算した輝度との差分を対象物の表面に付与された模様又は色彩の情報として反映させる手段、として機能させることを特徴とする三次元データ処理プログラム。

Images