JP6845929B2

JP6845929B2 - 三次元計測装置、および方法

Info

Publication number: JP6845929B2
Application number: JP2019524550A
Authority: JP
Inventors: 聡笹谷; 誠也伊藤; 亮祐三木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2017-06-12
Filing date: 2017-06-12
Publication date: 2021-03-24
Anticipated expiration: 2037-06-12
Also published as: WO2018229812A1; JPWO2018229812A1

Description

本発明は、カメラなどの計測装置が取得した点群情報から対象の物体を検出する三次元計測装置、および方法に関する。

近年、計測装置が計測した情報を用いて、物体を検出する物体検出技術へのニーズが高まっている。

計測装置としては、監視カメラ、ステレオカメラ、距離センサ、レーザレーダ、赤外線タグなどが多く活用されている。これらの計測装置のなかでも特に、装置を新設するための導入コストが安く、かつ既設の装置を利用できればコストを抑えて物体検出技術を適用できることから、監視カメラへの期待が高い。しかし、監視カメラからの一般的な画像による物体検出技術では、入力画像と予めデータベースに保存した大量のサンプルデータ（サンプル画像）を比較する手法を採用するため、照明条件などにより物体の見え方がサンプルデータと大きく異なる場合に、物体を検出することが困難となるという問題がある。

そこで、物体の三次元形状を計測することで、物体を高精度に検出する技術に注目が集まっている。このような技術として、例えば、ステレオカメラを用いた物体検出技術が挙げられる。この技術では、ステレオカメラが撮像した左右一対のカメラ画像を比較して算出した視差により、撮像範囲内の三次元の点群情報を取得することで、物体の三次元形状を計測して物体検出を実行する。この場合に正確な三次元の点群情報を取得するためには、視差を高精度に算出する必要があり、具体的には、左右のカメラ間の位置関係を求めるキャリブレーション作業の精度を上げる、あるいは視差を高密度に算出するといった方法がある。

しかし、前者の方法では製品の開発コスト増大に繋がり、後者の方法では処理負荷の増大に繋がるため、視差算出後に物体を検出する場合に処理負荷が大きい高度なアルゴリズムを適用することが困難となる。

そのため、視差の算出精度は上げず三次元の点群情報を直接補正する技術が求められる。例えば、特許文献１では、床などの平面モデルを利用して三次元点群を直線や曲線に当てはめることで、三次元の点群情報を補正している。

特開２００３−２４８８１４号公報

特許文献１では、床などの一定の直線や曲線を持つ物体であれば三次元点群情報を補正できるものの、歩行する人物のように形状が複雑な物体を補正できず、物体検出に必要な三次元点群情報を取得できない。

以上のことから本発明においては、歩行する人物のように形状が複雑な物体の物体検出に必要な三次元点群情報を取得できる三次元計測装置、方法、およびプログラムを提供することを目的とする。

以上のことから本発明においては、「計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、撮像画像について計測対象の物体の点群情報を抽出する物体点群情報抽出部と、対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、補正パラメータにより計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。」としたものである。

また本発明は、「計測対象の物体を含む撮像画像を三次元情報として得る三次元センサからの三次元情報を点群情報として取得し、撮像画像について計測対象の物体の点群情報を抽出し、計測対象の物体の形状を物体形状モデルとして記憶し、物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出し、補正パラメータにより計測対象の物体の点群情報を補正することを特徴とする三次元計測方法。」としたものである。

以上述べた特徴により本発明の三次元計測装置を適用することで、物体の検出に必要な精度の三次元点群情報を算出できる。

また本発明の実施例によれば、ステレオカメラのような三次元情報の計測装置において、計測範囲全体の三次元点群情報から計測対象である物体の点群情報を抽出し、物体形状モデルと比較することで、点群情報の補正パラメータを求め、新たに入力された三次元点群情報を前記パラメータにて補正することで、物体の検出に必要な精度の三次元点群情報を取得するができる。

本発明の実施例１に係る三次元計測装置のブロック構成例を示す図。本発明の実施例１に係る三次元点群情報取得部４の構成例を示す図。ステレオカメラ２による撮像画像Ｄ２Ｒ、Ｄ２Ｌ（Ｄ３Ｒ、Ｄ３Ｌ）の例を示す図。本発明の実施例１に係る物体点群情報抽出部５の処理の考え方を示す図。本発明の実施例１に係る補正パラメータ算出部６の構成例を示す図。視点変換画像作成部４０により作成された視点変換画像の一例を示す図。物体形状モデルデータベースＤＢ２に記憶された物体形状モデルデータ３００の一例を示す図。本発明の実施例１に係る物体形状モデル比較部４１の処理フローを示す図。物体形状モデル比較部４１の処理ステップＳ１、Ｓ２により求めた物体の位置情報と物体形状モデルの位置の一例を示す図。本発明の実施例１に係る物体形状モデル４１の処理ステップＳ３の処理内容を説明する図。物体形状モデル４１の処理内容を補足説明するための図。本発明の実施例２に係る三次元計測装置のブロック構成例を示す図。三次元空間分割部９１の処理内容を説明する図。本発明の実施例２により出力される補正パラメータの一例を示す図。本発明の実施例３に係る三次元計測装置のブロック構成例を示す図。実施例３に係るカメラパラメータ補正部１１２の処理フローを示す図。

以下、本発明の具体的な実施形態について、図面を参照しながら説明する。

図１は本発明の実施例１に係る三次元計測装置のブロック構成例図である。図１に示す三次元計測装置１は、２台のカメラ２Ｒ、２Ｌ（撮像装置）を隣接して構成されたステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づき事前に求めたパラメータによって補正する装置である。なお、図１の三次元計測装置１における、画像取得部３、三次元点群情報取得部４、物体点群情報抽出部５、補正パラメータ算出部６、点群情報補正部７の各機能は、演算装置、主記憶装置、外部記憶装置を有するカメラ、あるいはカメラとは別に用意した計算機において実現される。

図１に示す各機能の概要をまず説明すると、画像取得部３はステレオカメラ２から画像を取得する機能であり、三次元点群情報取得部４は前記画像の情報から計測範囲の三次元点群情報を算出する機能であり、物体点群情報抽出部５は前記三次元点群情報から計測対象となる物体に対応する三次元点群情報のみを抽出する機能であり、補正パラメータ算出部６は前記抽出した物体の三次元点群情報と物体形状モデルを比較することで点群情報の補正パラメータを算出する機能であり、点群情報補正部７は算出した補正パラメータを用いて、三次元点群情報取得部４により新たに取得された点群情報を補正する機能である。以下、各機能の詳細について説明する。

画像取得部３は、右画像取得部３Ｒと左画像取得部３Ｌから構成され、ステレオカメラ２を構成する左右のカメラ２Ｒ、２Ｌからデジタル画像データＤ２Ｒ、Ｄ２Ｌを取得する。以下の説明では、画像取得部３がカメラ２から取得するデジタル画像データＤ２Ｒ、Ｄ２Ｌを単に「撮像画像」と呼ぶ。また画像取得部３が出力するデジタル画像データＤ３Ｒ、Ｄ３Ｌも「撮像画像」と呼ぶものとする。

このようにしてデジタル画像データＤ３Ｒ、Ｄ３Ｌを得るためのステレオカメラ２、あるいはさらには画像取得部３を含む構成は、その視野内に計測対象の物体を含む撮像画像を得るものであり、得られた撮像画像は三次元情報として把握可能な情報である。このことから、この機能部分は三次元センサを構成したものということができる。なお、計測対象の物体を含む撮像画像を三次元情報として把握可能な機構、手段は、上記以外に種々のものがあり、本発明はこれらに限定されるものではない。

図２は、本発明の実施例１に係る三次元点群情報取得部４の構成例を示す図である。図２を用いて、ステレオカメラ２を利用した三次元点群情報取得部４の機能について説明する。三次元点群情報取得部４は、左右の画像取得部３Ｒ、３Ｌからそれぞれ取得した撮像画像Ｄ３Ｒ、Ｄ３Ｌを用いて視差を算出する機能である視差算出部１０と、算出した視差から計測範囲の三次元点群情報の座標値を計算する機能である三次元点群座標算出部１１を持つ。

図３は、ステレオカメラ２による撮像画像Ｄ２Ｒ、Ｄ２Ｌ（Ｄ３Ｒ、Ｄ３Ｌ）の例を示している。この撮影事例では、ステレオカメラ２の視野内に歩行する人物Ｍと基本的に移動しない背景としての木Ｔが撮影されている。また右画像取得部３Ｒの撮像画像Ｄ３Ｒと左画像取得部３Ｌの撮像画像Ｄ３Ｌは、いずれも人物Ｍと背景の木Ｔを視野内に入れているものの、視認する領域や角度は相違している。

視差算出部１０では、例えばブロックマッチングという一般的な手法を利用して左右の撮影画像間の視差を算出する。まず、画像取得部３Ｒにより一方のカメラ２Ｒから取得した撮像画像Ｄ３Ｒを基準画像、画像取得部３Ｌにより他方のカメラ２Ｌから取得した撮像画像Ｄ３Ｌを比較画像として、２枚の画像Ｄ３Ｒ、Ｄ３Ｌを左右に並べた場合に画像内の物体が同じ高さになるよう平行化処理を実施する。次に、基準画像Ｄ３Ｒから例えば３２×３２画像の大きさの小領域を選定する。そして、比較画像Ｄ３Ｌにおいて、基準画像Ｄ３Ｒの小領域と相違度が最小となる同一の大きさの小領域を、基準画像Ｄ３Ｒの小領域と同じ位置から１画素ずつ水平方向に探索する。この水平方向の探索幅を、基準画像Ｄ３Ｒにて選定した小領域内の特定の画素（例えば左上の位置にある画素）の視差として決定し、基準画像Ｄ３Ｒ内の全ての範囲で同一の処理を適応することで、全画素の視差を算出する。なお、小領域の相違度を計算する方法としては、（１）式に示すＳＡＤ（ｓｕｍｏｆｓｑｕａｒｅｄｄｉｆｆｅｒｅｎｃｅ）などの方法があり、特に限定しない。また、本例以外にも２枚の画像における視差を算出可能な方法であれば、特に限定しない。

なお（１）式において、Ｔ１は小領域（基準画像Ｄ３Ｒ）の輝度値、Ｔ２は小領域（比較画像Ｄ３Ｌ）の輝度値、Ｍは小領域の横幅、Ｎは小領域の縦幅、（ｉ、ｊ）は右下を（Ｍ−１、Ｎ−１）とし、左上を（０、０）とする座標である。

三次元点群座標算出部１１は、視差算出部１０により求めた各画素の視差とカメラパラメータデータベースＤＢ１に記憶されたカメラパラメータデータ２００を用いて三次元空間内の点群の座標値を計算する。まず、算出した視差ｄと、カメラの撮影した画像上に設置した座標である画像座標（ｖ、ｕ）を用いて、（２）式によりカメラ座標Ｘ_ｃを求める。ここでカメラ座標Ｘ_ｃとは、カメラの位置を中心とした三次元空間内の座標を示しており、スキューがなく、アスペクト比を１と仮定した場合では（２）式を用いて画像座標から算出できる。

なお（２）式において、（ｕ、ｖ）は画像座標、（ｕ_０、ｖ_０）は画像中心、ｂは基線長、ｆは焦点距離、ｐｉｔは画素ピッチであり、このうち基線長ｂ、焦点距離ｆ、画素ピッチｐｉｔは、既知でありカメラパラメータ２００に含まれているものとする。

次に、（３）式によりカメラ座標Ｘ_ｃを世界座標ｘｗに変換する。

なお（３）式において、ｔはカメラ位置を表す並進ベクトル、Ｒはカメラの設置角度（姿勢）を表す回転行列であり、カメラパラメータ２００から算出可能である。本実施例では、（３）式によって求めた世界座標ｘｗを三次元点群情報取得部４により取得される三次元点群座標の座標値とする。

図４は本発明の実施例１に係る物体点群情報抽出部５の処理の考え方を示す図である。ここでは図２の三次元点群情報取得部４により取得される三次元点群座標の座標値の例が、図３の例に則して示されている。図３の人物Ｍと背景の木Ｔは、三次元の基準画像３０が示す領域内に位置付けられている。これに対し、背景の木Ｔのみを含む領域を想定したものが三次元の背景画像３２であり、三次元の基準画像３０から三次元の背景画像３２を除外したとすると、ここには計測対象である人物Ｍのみの三次元の画像３３が得られることになる。

物体点群情報抽出部５においては、図４の処理により背景に含まれない計測対象（人物）のみの三次元点群座標３３を抽出する。具体的には物体点群情報抽出部５は、三次元点群情報取得部４によって取得したステレオカメラ３の計測範囲全体の点群情報から、計測対象の物体Ｍに対応する点群情報を抽出する。計測対象が含まれる領域の選定方法としては、図４のように、計測対象である物体Ｍが存在する基準画像３０と予め保持した背景画像３２の差分を取り、求めた背景差分の画像３３を活用するといった背景差分法などの一般的な手法がある。背景差分法などにより求めた背景差分の画像３３について、計測対象Ｍが存在する画像領域３４を求め、画像領域３４内の各画素の視差から計算した三次元点群情報のみを抽出することで、物体の点群情報を取得できる。

なお、物体点群情報抽出部５は背景差分法のみに限らず、例えば画像の特徴量抽出や視差の値などにより基準画像内から物体の領域を決定する方法、物体が存在する場合と存在しない場合の三次元空間の点群情報を直接比較することで必要な点群情報を取得する方法などでも良い。

図５は、本発明の実施例１に係る補正パラメータ算出部６の構成例を示す図である。図５を用いて補正パラメータ算出部６について説明する。

補正パラメータ算出部６は、物体点群情報抽出部５から取得した物体の点群情報から視点変換画像を作成する視点変換画像作成部４０と、作成した前記視点変換画像と物体形状モデルデータベースＤＢ２より取得した物体形状モデル３００を比較して補正パラメータを計算する物体形状モデル比較部４１と、計算した前記補正パラメータを出力して点群情報補正部７に受け渡す補正パラメータ出力部４２を備える。以下、視点変換画像作成部４０、物体形状モデルデータベースＤＢ２、物体形状モデル比較部４１について説明する。

視点変換画像作成部４０は計測対象の物体Ｍの三次元情報から視点変換画像を作成する。ここで、計測対象の物体Ｍの三次元情報とは、物体点群情報抽出部５において求めた計測対象Ｍが存在する画像領域３４を含む領域の画像であり、これを物体の三次元情報として表示している。

図６は物体の三次元情報から作成した視点変換画像の一例を示しており、５１は物体の三次元情報５０を物体に対して真正面の視点Ｚから見た正面視点画像、５２は物体に対して右側面の視点Ｘから見た右側面視点画像、５３は物体に対して真上の視点Ｙから見た直上視点画像である。図６のように、視点画像は三次元点群の座標値を二次元の画像情報に変換しており、正面視点画像５１では横軸がｘ値、縦軸がｙ値、右側面視点画像５２では横軸がｚ値、縦軸がｙ値、直上視点画像５３では横軸がｘ値、縦軸がｚ値を示している。

本実施例では、（４）式から（７）式を利用して、三次元点群座標（世界座標）ｘｗから視点変換画像を作成する。なお物体の三次元情報５０についての三次元点群座標（世界座標）ｘｗは（４）式で表現され、視点変換画像のうち、正面視点画像５１は（５）式、右側面視点画像５２は（６）式、直上視点画像５３は（７）式により表現することができるが、特に本手法に限定されるものでは無い。

図７は計測対象の物体が人物の場合における、物体形状モデルデータベースＤＢ２に記憶された物体形状モデルデータ３００の一例を示している。

図７において、６０は物体形状モデルデータベースＤＢ２の記憶内容の一覧表であり、６１、６２、６３は三次元点群が高密度な場合における人物Ｍの真正面視点点群、右側面視点点群、直上視点点群をそれぞれ示し、６１ａ、６２ａ、６３ａは三次元点群が低密度な場合における人物Ｍの真正面視点点群、右側面視点点群、直上視点点群をそれぞれ示している。

ステレオカメラ２では基準画像の各画素に対応する視差の値から三次元点群情報を取得するため、基準画像自体の解像度やステレオカメラ２と物体の距離によって、物体の解像度が変化し取得可能な点群情報の密度が変化する。

例えば、基準画像の解像度が高い場合やステレオカメラ２と物体Ｍとの距離が短い場合は、６１、６２、６３のような人のシルエットがはっきり判別できる高密度な点群情報を取得でき、基準画像の解像度が低い場合やステレオカメラ２と物体との距離が長い場合は、６１ａ、６２ａ、６３ａのような人のシルエットが粗くなる低密度な点群情報を取得できる。

点群情報の指標値としては例えば（８）式を利用する方法がある。なお（８）式においてαは正規化定数、Ｗは撮影画像の横幅、Ｈは撮影画像の縦幅、Ｄは物体とステレオカメラ２との間の距離である。その他点群情報の指標値を得る手法としては、点群の数を計測しその合計数に応じてグループ化するなどの点群数を利用する方法などがあるが、特に限定するものではない。

なお図７では、三次元点群の密度を（１）から（１０）までの１０段階に分割して、人物Ｍの真正面視点点群、右側面視点点群、直上視点点群を予め準備した例を示しているが、特に分割数などは限定しないものとし、使用する点群情報の視点数についても３つに限定されるものでなく、真正面、右側面、直上以外の視点を使用しても良い。また、図７では計測対象の物体を人物とした場合のデータベースについて示したが、物体形状モデルを予め用意できる物体であれば計測対象の物体は特に限定されない。

図７に物体形状モデル比較部４１の処理フローを示す。物体形状モデル比較部４１では、まず処理ステップＳ１において、視点変換画像作成部４０により作成した物体の視点変換画像から物体の三次元空間上での位置を算出し、処理ステップＳ２において算出した物体の位置情報に応じて物体形状モデルデータベースＤＢ２から取得した物体形状モデル３００の位置を決定する。そして処理ステップＳ３において、視点変換画像における物体の三次元点群情報と物体形状モデルの点群情報を比較してフィッティングすることで補正量を算出し、処理ステップＳ４において補正量の情報から最も適した補正パラメータを決定する。

以下、上記の各処理ステップＳ１からＳ４によって、直上視点画像における物体の三次元情報と物体形状モデルをフィッティングさせて補正パラメータを出力する例について説明する。図９は、直上視点画像における物体の三次元情報と物体形状モデルの例を示している。図９において左側のｘ−Ｚ座標上の領域５３は図６の直上視点画像５３の一例を示しており、ｘ−Ｚ座標により位置づけられた複数の点群により計測対象の物体が形成されている。図９において右側のｘ−Ｚ座標上の点群７２は、図５の物体形状モデルデータベースＤＢ２から取得した物体形状モデル３００の一例を示している。

図８の処理ステップＳ１では、図９左側のｘ−Ｚ座標上の直上視点画像５３について、直上視点画像５３内の点群から物体の位置情報（ｘ１、ｚ１）を計算する。物体の位置情報（ｘ１、ｚ１）の計算方法としては、直上視点画像５３の物体の点群情報を活用して、各ｘ値、ｚ値の平均値をｘ１、ｚ１とする方法、各ｘ値の平均値をｘ１としｘ値が平均値に近く値が最小となるｚ値をｚ１とする方法、ｚ値が最小となる点のｘ値、ｚ値をｘ１、ｚ１とする方法などがあり、特に限定するものではない。

図８の処理ステップＳ２では、まず処理ステップＳ１によって求めた物体の位置情報に対して最適な物体形状モデルデータ３００を物体形状モデルデータベースＤＢ２より取得する。取得方法としては、物体の位置情報からカメラと物体の距離を求めて（５）式により点群密度を算出することで、該当する物体形状モデルを選定できる。点群密度を考慮して抽出された物体形状モデルの一例を示す点群が図９右側の７２である。

そして、選定した物体形状モデル３００において、例えば点群情報の各ｘ値、ｚ値の平均値、あるいは各ｘ値の平均値かつｘ値が平均値に近く値が最小となるｚ値、あるいはｚ値が最小となる点のｘ値、ｚ値を処理ステップＳ１で求めた（ｘ１、ｚ１）と一致するよう物体形状モデル３００を配置する。なお、物体形状モデル３００の位置を決める方法としては、処理ステップＳ１と同様の手法あるいは異なる手法のどちらでも良く、特に限定しない。

図９では処理ステップＳ１、Ｓ２により求めた物体の位置情報と物体形状モデルの位置を示している。図９において、５３は直上視点画像、７１は処理ステップＳ１により求めた直上視点画像５３上での物体の位置情報（ｘ１、ｚ１）の一例、７２は物体形状モデル３００の一例、７３は処理ステップＳ２により求めた物体形状モデルの位置を示す点の一例である。処理ステップＳ２では、点７１と点７３が一致するように物体形状モデルを配置する。

図１０は、本発明の実施例１に係る物体形状モデル４１の処理ステップＳ３の処理内容を説明する図である。図１０を用いて処理ステップＳ３について説明する。図１０は直上視点画像８０において、物体の点群情報と物体形状モデルの各点群情報からいくつか抜粋した点を示しており、８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅは物体Ｍの点群情報、８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅは物体形状モデルの点群情報、８３は物体Ｍから見たステレオカメラ２の方向である。

ステレオカメラ２では性質上、カメラより遠方になるほど視差の精度が下がり、視差から計算される三次元点群情報の算出精度も低下する。そのため、処理ステップＳ３では、物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅと物体形状モデルの点群８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅ同士をフィッティングさせる際に、カメラに近い点から順番にフィッティングする手法を適応し、補正量を算出する。

具体的には、まず物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅの内最もカメラと最近傍の位置にある８１ｅに対して、カメラ方向８３の向きにフィッティングされていない物体形状モデルの点が存在するかを探索する。存在する場合は該当の点と８１ｅを対応付けることとし、存在しない場合は、ｚ値が小さい点の中でｘ値における相対距離が最も小さい点と８１ｅを対応付ける。これを全ての物体の点群に適応することで、物体の点群情報と物体形状モデルをフィッティングさせる。図１０の図示例では、カメラと最近傍の位置にある８１ｅに対して、カメラ方向８３の向きにフィッティングされていない物体形状モデルの点が存在していないが、ｚ値が小さい点の中でｘ値における相対距離が最も小さい点である８２ｅを８１ｅと対応付けたことを示している。

最後に、対応付けた各点８２ｅ、８１ｅ同士において（９）（１０）式によりｘ軸、ｚ軸方向のそれぞれの補正量を算出する。なお（９）（１０）式において、Ｐ_ｘ、Ｐ_ｚは、ｘ値、ｚ値の補正量、ｘｔ、ｚｔは物体形状モデルの点のｘ値、ｚ値、ｘｍ、ｚｍは物体の三次元情報のｘ値、ｚ値を示している。

処理ステップＳ４では、処理ステップＳ３により求めた各点同士の補正量から最終的な補正パラメータを決定する。決定方法としては、ｘ軸、ｚ軸方向に対する各補正量Ｐ_ｘ、Ｐ_ｚの平均値を補正パラメータとする方法や、各方向に対して最大の補正量を補正パラメータとする方法など、特に限定しない。

物体形状モデル比較部４１では、以上説明した処理の流れにより補正パラメータを算出でき、ｙ軸方向に対する補正パラメータを求める場合には、右側面視点画像に対して処理ステップＳ１から処理ステップＳ４の同様の処理を適応することで対応できる。なお、処理ステップＳ３、処理ステップＳ４において、補正パラメータを算出する手段として、カメラに近い点から順番にフィッティングして求めた補正量から補正パラメータを算出する方法以外に、最適化を利用する方法でも良い。

例えば、処理ステップＳ３において最近傍探索手法などにより点群同士をフィッティングさせ、出力したｘ軸、ｚ軸方向における各点同士の補正量の差が最小となるように最適化する手法などがあり、特に限定しない。また、処理ステップＳ４の補正パラメータの決定方法として、必ず各方向に対して１つのパラメータを割り当てるのではなく、距離に応じて異なるパラメータを割り当てる方法を利用しても良い。

図１１は、物体形状モデル４１の処理内容を補足説明するための図であり、例えば、図１１に示すように、物体形状モデルの点群情報８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅの中で最もｚ値が小さい点８２ｅを基準として、点８２ｅからの距離が等間隔となる直線８４ａ、８４ｂ、８４ｃにより空間８５ａ、８５ｂ、８５ｃを作成する。そして、各空間にある点群情報からＳ３により各空間に対応する補正量Ｐ_ｘ、Ｐ_ｚを求め、空間ごとの補正量を二次関数に近似したものを補正パラメータとして使用しても良い。

また、本実施例では、物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅを全て使用し、点群数などを用いて物体の点群情報に対して適切な物体形状モデルを選定する方法を採用したが、物体の点群情報に対してダウンサンプリング処理などを実施して点群数を減らした後で、適切な物体形状モデルを選定する方法を利用しても良い。また、本実施例では、同一の向きの物体形状モデルを利用したが、複数の向きの物体形状モデルを用意しておき、物体と三次元計測装置との三次元空間上の位置関係によって、最適な向きの物体形状モデルを選定して使用するなどの方法でも良い。

点群情報補正部７では、三次元点群情報取得部４によって取得した三次元点群の座標値を、物体形状モデル比較部４１により算出した補正パラメータを用いて（１１）式により補正する。なお（１１）式において、ｘｗは補正前の三次元点群座標（世界座標）、Ｘ´_ｗは補正後の三次元点群座標（世界座標）であり、Ｐは、ｘ、ｙ、ｚ軸成分についての三次元の補正パラメータである。

本発明の実施例１では以上説明した機能構成により、計測範囲から抽出した物体の点群情報から視点画像を作成し、視点画像上にて物体の点群情報と予め用意した物体形状モデルを比較することで補正パラメータを求め、そのパラメータ値にて新規に入力される三次元点群情報を補正することで、物体検出に必要な精度の三次元点群情報を算出できる。

なお、実施例１では、三次元点群情報の補正パラメータとしてｘ軸、ｙ軸、ｚ軸の３方向に補正するパラメータを出力したが、必要に応じて、３方向の内、１方向または２方向のみ補正するという方法を用いても良い。

また、実施例１において、計測対象である物体の全体の点群情報を用いて補正パラメータを出力する必要は無い。例えば、計測対象を人物とした場合、物体点群情報抽出部５により人物の頭部の三次元点群情報を抽出して、予め用意した人物の頭部のみの物体形状モデルと比較することで補正パラメータを算出するなどといった、物体の一部の情報のみを利用する方法でも良い。

図１２は本発明の実施例２に係る三次元計測装置のブロック構成例図である。図１２に示す三次元計測装置１は、実施例１と同じく２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づき三次元空間の位置ごとに事前に求めたパラメータにより補正する装置である。

実施例２では、三次元計測装置の計測範囲を複数の三次元空間に分割した後、各三次元空間に存在する計測対象の点群情報と物体形状モデルを比較することで三次元空間ごとの補正パラメータを算出し、新規に入力された三次元点群情報を分割した空間ごとに算出したパラメータによって補正できる。

図１２において、画像取得部３、三次元点群情報取得部４の機能については実施例１と同一である。三次元空間分割部９１は、計測範囲における三次元空間を複数の領域に分割する機能であり、実施例２において新たに追加された機能である。物体点群情報抽出部５’、補正パラメータ算出部６’、点群情報補正部７’の機能は、実施例１の物体点群情報抽出部５、補正パラメータ算出部６、点群情報補正部７の機能をほぼ踏襲しているが、三次元空間分割部９１において計測範囲における三次元空間を複数の領域に分割したことに関連して、複数の分割領域ごとに処理する点で相違している。物体点群情報抽出部５’は三次元空間分割部９１によって分割された領域ごとに物体の点群を抽出する機能であり、補正パラメータ算出部６’は分割領域ごとに補正パラメータを算出する機能であり、点群情報補正部７’は分割領域ごとに補正パラメータ算出部６’によって算出された補正パラメータを用いて点群情報を補正する機能である。以下、三次元空間分割部９１の具体的な機能について説明する。

図１３は、三次元空間分割部９１の処理内容を説明する図である。図１３では、上部に人物が存在する三次元空間の例を示し、下部にｘ−Ｚ座標上の直上視点画像の例を示している。図１３は、三次元空間分割部９１によって計測範囲における三次元空間を９つの領域に分割する一例を示している。

図１３において、１００は計測範囲の三次元空間、１０１は計測対象の人物、１０２は三次元空間１００にある床平面、１０３は三次元空間１００の直上視点画像を示している。

三次元空間分割部９１では、図１３のように、三次元空間の床平面１０２を基準として領域を等分割する方法や、直上視点画像１０３を基準として領域を等分割する方法があるが、特に三次元の空間を分割する方法であれば特に限定しない。例えば、直上視点画像１０３をディスプレイに表示して、ＧＵＩなどによりユーザが直線などを引いて領域を分割しても良い。また、領域を分割する際に、必ずしも全ての領域が等しい大きさになる必要は無く、正方形以外の形状に分割しても良い。

図１４は、本発明の実施例２により出力される補正パラメータの一例を示す図である。三次元計測装置１では、図１４のように、三次元空間分割部９１により分割された各領域上において、物体点群情報抽出部５’、補正パラメータ算出部６’により補正パラメータを出力する。そして、点群情報補正部７’によって、三次元点群情報取得部４から新規に取得した三次元点群情報を各領域の補正パラメータにより補正する。領域ごとに物体の点群情報を抽出する方法としては、例えば、カメラを設置後、計測範囲内を人物に移動してもらい、領域の中心位置ごとに停止してもらい停止中の点群情報を抽出する方法や、画像処理などにより領域への出入りを自動で判定して抽出する方法などがあり、特に限定しない。

本発明の実施例２では以上説明した機能構成により、計測範囲を複数の領域に分割した後、領域ごとに抽出した物体の点群情報から視点画像を作成し、視点画像上にて物体の点群情報と予め用意した物体形状モデルを比較することで補正パラメータを求め、そのパラメータ値にて新規に入力される三次元点群情報を分割した領域ごとに補正することで、物体検出に必要な精度の三次元点群情報を算出できる。

図１５は本発明の実施例３に係る三次元計測装置のブロック構成例を示す図である。図１５に示す三次元計測装置１は、２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づきカメラのパラメータを補正する装置である。実施例３では、計測範囲内に存在する計測対象の点群情報と物体形状モデルを比較し、予め取得したカメラのパラメータを補正することで、新規に入力された三次元点群情報を補正できる。

図１５において、画像取得部３、三次元点群情報取得部４、物体点群情報抽出部５の機能については実施例１と同一である。カメラ情報抽出部１１１は、実施例３において新規に追加された構成であり、２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２の情報からカメラの焦点距離や歪み補正係数といった三次元計測装置１によって補正するパラメータを取得する機能である。カメラパラメータ補正部１１２も実施例３において新規に追加された構成であり、計測対象の点群情報と物体形状モデルを比較することで前記パラメータを補正する機能である。以下、カメラパラメータ補正部１１２の機能について詳細に説明する。

図１６はカメラパラメータ補正部１１２のフローを示している。カメラパラメータ補正部１１２では、最初の処理ステップＳ１０においてカメラ情報抽出部１１１により選定されたカメラパラメータを取得し、物体形状モデル比較部４１の処理である処理ステップＳ１と処理ステップＳ２を実施した後、処理ステップＳ１１において物体の三次元点群情報と物体形状モデルの点群情報の一致率を算出する。そして、処理ステップＳ１２において一致率が閾値以上か否かを判定し、閾値未満である場合は処理ステップＳ１３に移りカメラパラメータを更新して視点変換画像を作成し、閾値以上である場合は処理ステップＳ１４に移り最新のカメラパラメータを出力する。以下、処理ステップＳ１１、処理ステップＳ１３について詳細に説明する。

処理ステップＳ１１では、視点変換画像における物体の三次元点群情報と物体形状モデルの点群情報との一致率を算出する。一致率の算出方法としては、視点変換画像に直上視点画像を用いる場合を例にすると、処理ステップＳ３と同様に直上視点画像における物体の点群情報と物体形状モデルの点群情報をフィッティングさせた後、（１２）（１３）式により算出する方法がある。また、右側面視点画像も活用して点群のｙ値も一致率に利用する方法などもあり、２つの点群同士を比較可能な方法であれば、特に限定しない。

処理ステップＳ１３では、カメラパラメータを更新して再度三次元点群の座標値を計算した後、処理ステップＳ１にて使用する視点変換画像を作成する。例えば、修正するパラメータが焦点距離の場合は、焦点距離の値を更新し、（２）式によりカメラ座標Ｘｃを算出し、カメラ座標Ｘｃより三次元点群座標の世界座標ｘｗを求める方法などがある。

また、実施例１でも述べた通り、ステレオカメラでは、ブロックマッチングを用いて視差を算出するが、算出の精度を向上させるためにカメラ特有のレンズ歪みを補正する歪み補正処理を基準画像と比較画像に適応して、画像座標（ｖ、ｕ）を修正する場合が多い。歪み補正処理のためにはカメラ独自の歪み係数と呼ばれるカメラパラメータを利用し、三次元計測装置１ではこの歪み係数パラメータを補正する手段としても使用できる。例えば、画像座標（ｖ、ｕ）を一般的な歪み補正の数式である（１４）式により補正する場合、カメラの歪み補正パラメータが５つ存在するため、これら５つのパラメータを更新し、三次元点群の座標値を再度計算することで、新たな視点変換画像を作成できる。なお（１４）式において、ひずみ補正後の画像座標（ｖ、ｕ）の表示について、記号ｖ、ｕの上部に波の形の記号を付して区別している。また（１４）式において、ｋ_１、ｋ_２、ｋ_３、ｐ_１、ｐ_２は、ひずみ補正パラメータである。

さらに、カメラパラメータの更新幅としては、特に限定せず、カメラの特性や経験則などにより決定しても良い。また、更新するカメラパラメータの種類としては、計測範囲における三次元点群の座標値を算出する際に使用するパラメータであれば、特に限定しない。

本発明の実施例３では以上説明した機能構成により、カメラパラメータを更新して算出した物体の点群情報と、予め用意した物体形状モデルの点群情報を比較して、点群同士の一致度合が最大となるようカメラパラメータを随時更新することで、物体検出に必要な精度の三次元点群情報を算出可能なカメラパラメータを推定できる。

なお、実施例３では、実施例２のように、予め計測範囲を複数の三次元空間に分割しておき、空間ごとに最適なカメラパラメータを算出することで、新規に三次元点群情報が取得された際に、各空間における最適なカメラパラメータを用いて三次元点群の座標値を再度計算し直すという方法を用いても良い。

本発明においては、実施例１、実施例２、実施例３のいずれか、またはその組み合わせ事例を用いることで、例えば、カメラの焦点距離やレンズ歪み係数の推定精度が低い場合においても、物体検出に必要な精度の三次元点群情報を取得できるため、後段に物体認識や物体追跡といった処理が追加された状況においても、高精度に処理を実施することが可能である。

また、カメラを設置した時のみ本実施例１、２、３のいずれかの処理を実施するだけでなく、一定間隔ごとに処理を実施して三次元点群情報の補正パラメータを更新することで、監視用途などのような長時間の計測により発生し得る計測装置の経年劣化などの問題を解決できる。

また、本実施例１、２、３のいずれかを用いる場合、計測範囲の全ての三次元点群情報を補正するのではなく、例えば計測装置から一定距離離れた遠方の計測範囲に存在する三次元点群情報のみを補正するという手段を利用しても良い。

なお、実施例１、実施例２、実施例３では三次元情報を計測する装置としてステレオカメラを利用する場合について説明したが、距離センサなどの計測範囲における三次元点群情報を取得できる装置であれば、特に限定しない。

１：三次元計測装置，２：ステレオカメラ，２Ｒ、２Ｌ：カメラ（撮像装置），３：画像取得部，４：三次元点群情報取得部，５：物体点群情報抽出部，６：補正パラメータ算出部，７：点群情報補正部，１０：視差算出部，１１：三次元点群座標算出部

Claims

カメラからの計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、該三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、前記撮像画像について前記計測対象の物体の点群情報を抽出する物体点群情報抽出部と、前記計測対象の物体の形状を点群情報による物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルの前記計測対象の物体の点群情報と前記物体点群情報抽出部からの計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、前記補正パラメータにより前記計測対象の物体の点群情報を補正する点群情報補正手段を有し、
前記補正パラメータ算出手段は、
前記物体形状モデルの前記計測対象の物体の点群情報について点群情報を代表する第１の位置情報と、前記物体点群情報抽出部の前記計測対象の物体の点群情報について点群情報を代表する第２の位置情報とを算出し、前記第１の位置情報と前記第２の位置情報が一致するように、前記物体形状モデルの点群情報を配置する第１の処理と、
前記第１の位置情報と前記第２の位置情報が一致するように配置された２組の点群情報に関して、一方の点群情報内の個別点に対応する他方の点群情報内の個別点を前記カメラの方向に沿って特定する第２の処理と、
対応付けられた個別点間の距離に応じて物体の点群の座標を補正する補正パラメータを算出する第３の処理を行うことを特徴とする三次元計測装置。
請求項１に記載の三次元計測装置であって、
前記三次元センサは、２つのカメラを備えたステレオカメラであり、前記物体形状モデルと前記計測対象の物体の点群情報の比較結果を用いて前記２つのカメラの内部パラメータを補正することを特徴とする三次元計測装置。
請求項１または請求項２に記載の三次元計測装置であって、
前記計測対象の物体の形状を表す物体形状モデルは、前記計測対象の物体の形状を３次元の各方向から見た時の形状として記憶していることを特徴とする三次元計測装置。
請求項１から請求項３のいずれか１項に記載の三次元計測装置であって、
前記補正パラメータ算出手段により得られた前記補正パラメータにより、前記物体点群情報抽出部で得られた点群情報を補正することを特徴とする三次元計測装置。
請求項１から請求項４のいずれか１項に記載の三次元計測装置であって、
前記補正パラメータ算出手段は、位置情報、物体の三次元点群情報の密度情報、三次元センサと物体の距離情報、物体から三次元センサへの方向情報の少なくとも１つ以上を用いて、物体の点群情報と物体形状モデルを対応付けることを特徴とする三次元計測装置。
請求項１から請求項５のいずれか１項に記載の三次元計測装置であって、
予め計測範囲を複数の三次元空間に分割した後、前記三次元空間ごとに補正パラメータ算出手段によって点群情報を補正可能な補正パラメータを算出することを特徴とする三次元計測装置。
請求項６に記載の三次元計測装置であって、
分割された三次元空間ごとに前記補正パラメータにより点群情報を補正することを特徴とする三次元計測装置。
請求項１から請求項７のいずれか１項に記載の三次元計測装置であって、
前記三次元センサの情報を抽出する計測装置情報抽出手段と、抽出した前記三次元センサの情報と物体の点群情報と物体形状モデルから前記三次元センサのパラメータを補正する三次元センサパラメータ補正部を有することを特徴とする三次元計測装置。
請求項８に記載の三次元計測装置であって、
前記点群情報補正手段は、前記三次元センサパラメータ補正部によって補正された三次元センサのパラメータによって点群情報を補正することを特徴とする三次元計測装置。
請求項８または請求項９に記載の三次元計測装置であって、
前記三次元センサは２台以上の撮像装置を使用したステレオカメラであることを特徴とする三次元計測装置。
請求項１０に記載の三次元計測装置であって、
前記三次元センサパラメータ補正部によって補正されるパラメータが、歪み補正係数、焦点距離の少なくとも１つ以上であることを特徴とする三次元計測装置。
カメラからの計測対象の物体を含む撮像画像を三次元情報として得る三次元センサからの三次元情報を点群情報として取得し、前記撮像画像について前記計測対象の物体の点群情報を抽出し、前記計測対象の物体の形状を点群情報による物体形状モデルとして記憶し、前記物体形状モデルの前記計測対象の物体の点群情報と前記計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出し、前記補正パラメータにより前記計測対象の物体の点群情報を補正するとともに、
補正パラメータを算出するために、
前記物体形状モデルの前記計測対象の物体の点群情報について点群情報を代表する第１の位置情報と、前記計測対象の物体の点群情報について点群情報を代表する第２の位置情報とを算出し、前記第１の位置情報と前記第２の位置情報が一致するように、前記物体形状モデルの点群情報を配置し、
前記第１の位置情報と前記第２の位置情報が一致するように配置された２組の点群情報に関して、一方の点群情報内の個別点に対応する他方の点群情報内の個別点を前記カメラの方向に沿って特定し、
対応付けられた個別点間の距離に応じて物体の点群の座標を補正する補正パラメータを算出することを特徴とする三次元計測方法。
請求項１２に記載の三次元計測方法であって、
前記三次元センサは、２つのカメラを備えたステレオカメラであり、前記物体形状モデルと前記計測対象の物体の点群情報の比較結果を用いて前記２つのカメラの内部パラメータを補正することを特徴とする三次元計測方法。
請求項１２または請求項１３に記載の三次元計測方法であって、
前記計測対象の物体の形状を表す物体形状モデルは、前記計測対象の物体の形状を３次元の各方向から見た時の形状として記憶していることを特徴とする三次元計測方法。
請求項１２から請求項１４のいずれか１項に記載の三次元計測方法であって、
前記補正パラメータにより、前記点群情報を補正することを特徴とする三次元計測方法。