JP6347610B2 - 画像処理装置および３次元空間情報取得方法 - Google Patents

Description

本発明は、画像処理装置および３次元空間情報取得方法に関し、特に、２次元画像を処理して対象物体の３次元位置・姿勢に関する空間情報を取得するようになされた画像処理装置に用いて好適なものである。

近年、仮想空間と実空間とを結び付けるデバイスの研究開発が盛んに行われている。そのようなデバイスの一例として、メガネのように顔に装着することで拡張現実（ＡＲ）体験を実現するＡＲメガネが挙げられる。このような技術開発の進展に伴い、今後はますます、２次元の世界と３次元の世界とを結び付ける技術の重要性が増していくと考えられる。

従来、２次元の画像情報の中から３次元の実世界の情報（例えば、画像内に写る対象物体の３次元位置・姿勢などの空間情報）を得るための技術として、ステレオカメラやモーションキャプチャがよく知られている。しかしながら、ステレオカメラの場合は２台のカメラが必要であり、モーションキャプチャの場合は特別な計測装置が必要である。そのため、これらのハードウェア環境を利用することが難しい現場に対しては導入が困難であるという問題があった。

また、２次元の画像を処理して対象物体の３次元位置・姿勢を把握するための技術として、特許文献１に記載の技術も提案されている。特許文献１に記載の画像処理装置は、撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、入力画像に映る１つ以上の特徴点の位置に基づいて、実空間と撮像装置との間の相対的な位置及び姿勢を認識する認識部と、認識される相対的な位置及び姿勢を用いた拡張現実アプリケーションを提供するアプリケーション部とを備えている。

特開２０１３−２２５２４５号公報

上記特許文献１に記載の技術によれば、単眼カメラにより撮像された２次元画像から対象物体の３次元位置・姿勢を検出することが可能である。しかしながら、この特許文献１に記載の技術は、２次元画像の中から特徴的な部分を特定し、その特徴点の位置に基づいて対象物体の３次元位置・姿勢を検出する仕組みであるため、検出の精度は特徴点の抽出数と抽出精度に大きく依存する。そのため、特徴点が多く存在する空間や大きな空間に対する処理には適しているが、特徴点の少ない空間や限られた狭い空間に対する処理では３次元位置・姿勢の検出精度が悪くなってしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、処理対象とする空間の性質によらず、単眼カメラにより撮像された２次元画像に写る対象物体の３次元位置・姿勢を精度よく検出できるようにすることを目的とする。

上記した課題を解決するために、本発明では、撮像装置を用いて実空間を撮像することにより生成される２次元画像から対象物体の境界を抽出し、当該抽出した境界の各点と撮像装置の中心位置とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する。一方、２次元画像上に投影した対象物体の３次元データから、対象物体が２次元画像に写ったときに境界となる点を３次元データのサンプル点として抽出する。そして、放射形状上にサンプル点が位置するように、３次元データの位置および姿勢を並行して調整して３次元データの位置補正を行い、位置補正された３次元データから対象物体の３次元位置および姿勢の空間情報を取得するようにしている。

上記のように構成した本発明によれば、撮像装置により撮像される対象物体の２次元画像から生成された３次元的な放射形状と対象物体の３次元データとの位置合わせを通じて、２次元画像による２次元空間と３次元データによる３次元空間とを結びつけることができる。３次元データは対象物体の３次元位置・姿勢を有しているので、位置合わせをした３次元データから対象物体の正確な３次元位置・姿勢を取得することができる。これにより、処理対象とする空間の性質によらず、単眼の撮像装置により撮像された２次元画像に写る対象物体の３次元位置・姿勢を精度よく検出することができる。

本実施形態による画像処理装置の機能構成例を示すブロック図である。 本実施形態で用いるピンホールカメラモデルの原理を説明するための図である。 本実施形態の放射形状生成部により生成される放射形状の例を示す図である。 ２次元画像平面の座標系と３次元空間の座標系との関係を示す図である。 本実施形態の位置補正部により３次元データの位置補正が行われた結果を示す図である。 本実施形態による画像処理装置の動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による画像処理装置１００の機能構成例を示すブロック図である。図１に示すように、本実施形態の画像処理装置１００は、その機能構成として、２次元画像取得部１１、境界抽出部１２、放射形状生成部１３、３次元データ投影部１４、サンプル点抽出部１５、位置補正部１６、空間情報取得部１７およびカメラパラメータ記憶部１８を備えている。

上記各機能ブロック１１〜１７は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１７は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

本実施形態において解決すべき課題は、「２次元画像に写る対象物体の３次元位置・姿勢を定めること」である。３次元位置・姿勢が定まった対象物体の２次元画像上における像は、画像平面と３次元空間との対応関係を用いれば簡単に求めることができる。しかし、本実施形態で解決すべき課題はその逆問題であり、解決は単純ではない。この課題に対して、本実施形態では、図２に示すようなピンホールカメラモデルを用いて２次元画像と３次元空間とを結び付ける。

図２に示すように、ピンホールカメラモデルは、カメラ中心２１および画像平面２２を持つ。対象物体２３上のある点２５は、その点２５とカメラ中心２１とを結んだ直線２６と、画像平面２２との交点２４上に写し出される。これを逆に捉えると、対象物体２３上の点２５が画像平面２２上に投影された像の境界線上の点２４になるとき、対象物体２３は点２５において、カメラ中心２１と点２４とを結ぶ直線２６に接すると言える。つまり、２次元画像上に投影した対象物体２３の像の境界となる点２５は、カメラ中心２１と２次元画像の対象物体の境界上の点２４とを結んだ直線２６上に存在する。

そこで、本実施形態では、「２次元画像に写る対象物体の境界」に「２次元画像平面に投影した対象物体の３次元データによる像の境界」を一致させ、その状態での３次元データから対象物体の３次元位置・姿勢を取得するという手法をとった。すなわち、対象物体を表す３次元データを２次元の撮影画像上の初期位置に投影し、撮影画像上に写る対象物体の位置に３次元データの位置を補正することによって正確な位置に３次元データを投影し、その３次元データから対象物体の３次元位置・姿勢を取得する。

なお、カメラ中心２１と画像平面２２との距離を焦点距離と呼ぶ。また、単位距離あたりのピクセル数を解像度と呼ぶ。本実施形態では、キャリブレーションを事前に行い、単眼カメラ２００の焦点距離および解像度を算出しておく。そして、これらの焦点距離および解像度を、カメラパラメータとしてあらかじめカメラパラメータ記憶部１８に記憶しておく。

図１に示した各機能ブロック１１〜１７は、上述のような処理を行うための構成である。２次元画像取得部１１は、単眼カメラ２００を用いて実空間を撮像することにより生成される２次元画像を取得する。なお、図１の例では、パーソナルコンピュータ等の画像処理装置１００に単眼カメラ２００を接続しておき、単眼カメラ２００で撮像された２次元画像を２次元画像取得部１１がリアルタイムに取得する例を示しているが、本発明はこれに限定されない。例えば、単眼カメラ２００で撮像した２次元画像をメモリに記憶させ、このメモリに記憶された２次元画像を２次元画像取得部１１が後から取り込むようにしてもよい。

境界抽出部１２は、２次元画像取得部１１により取得された２次元画像から対象物体の境界を抽出する。２次元画像における対象物体の境界とは、対象物体の画像と背景の画像との境界に当たる線のことであり、対象物体の構成面の境界線が２次元画像における対象物体の境界になるとは限らない。境界抽出部１２は、例えば、２次元画像から前景抽出処理により対象物体を抽出した後、抽出した対象物体から境界を抽出する。境界の抽出は、例えば、いわゆるエッジ検出処理（画像の輝度や色などが鋭敏に（不連続に）変化している箇所を特定する処理）によって行うことが可能である。

放射形状生成部１３は、単眼カメラ２００の中心位置と境界抽出部１１により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を生成する。図３は、放射形状生成部１３により生成される放射形状の例を示す図である。なお、図３では図示の便宜上、放射形状を構成する直線３６を４本のみ示している。図３に示すように、放射形状生成部１３は、カメラパラメータ記憶部１８に記憶されているカメラパラメータから求められるカメラ中心３１と、画像平面３２に写る２次元画像における対象物体の境界の各点３４とをそれぞれ結んでできる複数の直線３６により放射形状を３次元空間の座標系上に生成する。

なお、本実施形態では、２次元画像平面の座標系と３次元空間の座標系との関係を、図４のように定める。すなわち、２次元画像平面３２上の座標系を、幅方向をｗ軸、高さ方向をｈ軸とする。一方、３次元空間の座標系を、カメラ中心３１を原点、カメラ中心３１から画像平面３２に垂直に下した方向をｚ軸、ｚ軸と直交し画像平面３２のｗ軸と平行な方向をｘ軸、ｚ軸と直交し画像平面３２のｈ軸と平行な方向をｙ軸とする。また、ｚ軸と画像平面３２との交点を画像中心とする。

３次元データ投影部１４は、対象物体を表す３次元データを２次元画像上に投影する。ここで投影する３次元データは、例えば、対象物体と同一形状を、三角形または四角形から成る複数のメッシュで表現した３次元のメッシュデータである。３次元データを投影する２次元画像上の位置（初期位置）は任意であるが、実際に対象物体がある位置の近傍に初期位置を設定するのが好ましい。

すなわち、境界抽出部１２により抽出された境界により、２次元画像上に写っている対象物体の位置が分かっている。また、単眼カメラ２００の位置も、カメラパラメータ記憶部１８に記憶されたカメラパラメータにより既知である。よって、これらの情報から、ピンホールカメラモデルにより３次元空間上における対象物体の大凡の位置は推定可能である。そこで、３次元データ投影部１４は、推定した２次元画像上の大凡の初期位置に３次元データを投影するのが好ましい。

サンプル点抽出部１５は、３次元データ投影部１４により２次元画像上に投影された対象物体の３次元データから、対象物体が２次元画像に写ったときに境界となる複数の点を３次元データのサンプル点として抽出する。図３において、符号３３は初期位置に投影された３次元データで表される対象物体であり、符号３５は当該３次元データによる対象物体３３から抽出される複数のサンプル点である。図３の例では、２次元画像上の４つの境界点３４に対応する４つのサンプル点３５（３次元データの初期位置では、境界点３４と正確に位置が対応していない）を示している。

例えば、投影される３次元データがメッシュデータの場合、対象物体は３つまたは４つの節点を結んで形成される三角形または四角形の形状をした複数のメッシュにより表現されている。そのメッシュの面から法線を伸ばした場合に、対象物体の境界となる場所では、カメラ中心から見た法線の角度がほぼ９０度になる。そこで、サンプル点抽出部１５は、ある１つの節点を共通に持つ複数のメッシュの面からそれぞれ法線を伸ばし、カメラ中心から見た法線の角度を確認する。そして、法線の角度が９０度より小さいメッシュと９０度より大きいメッシュとが混在している場合、当該ある１つの節点をサンプル点として抽出する。サンプル点抽出部１５は、この処理を複数の節点について行うことにより、対象物体が２次元画像に写ったときに境界となる複数の点を３次元データのサンプル点として抽出する。

なお、図３では説明の便宜上、対象物体３３の３次元データを実際に２次元画像上に投影している状態を示しているが、必ずしも実際に３次元データを投影して２次元画像上に表示させる必要はない。すなわち、対象物体３３の３次元データを仮想的に投影して、計算によって複数のサンプル点を抽出することが可能である。

位置補正部１６は、放射形状生成部１３により生成された放射形状上に、サンプル点抽出部１５により抽出されたサンプル点が位置するように、３次元データの位置補正を行う。例えば、位置補正部１６は、いわゆるＩＣＰ（Iterative Closest Point）アルゴリズムを用いて、放射形状の直線３６とサンプル点３５との対応を最近点により求め、当該求めた対応を最小化する変換処理を繰り返すことによって３次元データの位置補正を行う。

図５は、位置補正部１６により３次元データの位置補正が行われた結果を示す図である。図５に示すように、３次元データの位置補正が行われると、３次元データ上から抽出した複数のサンプル点３５は、放射形状生成部１３により生成された放射形状を構成する複数の直線３６上に位置することとなる。

空間情報取得部１７は、このように位置補正部１６により位置補正された３次元データから対象物体の３次元位置および姿勢の空間情報を取得する。３次元データは３次元のメッシュデータであるから、もともと対象物体の３次元位置・姿勢の空間情報を持っている。そこで、空間情報取得部１７は、位置合わせされた３次元メッシュデータが持っている３次元位置・姿勢の空間情報を取得すればよい。

図６は、上記のように構成した本実施形態による画像処理装置１００の動作例を示すフローチャートである。まず、２次元画像取得部１１は、３次元位置・姿勢を把握しようとする対象物体を含む実空間を撮像することによって生成された２次元画像を単眼カメラ２００から取得する（ステップＳ１）。

次に、境界抽出部１２は、２次元画像取得部１１により取得された２次元画像から対象物体の背景との境界を抽出する（ステップＳ２）。さらに、放射形状生成部１３は、単眼カメラ２００の中心位置と境界抽出部１１により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する（ステップＳ３）。

一方、３次元データ投影部１４は、対象物体を表す３次元メッシュデータを２次元画像上の任意の初期位置（好ましくは、実際に対象物体がある位置の近傍）に投影する（ステップＳ４）。そして、サンプル点抽出部１５は、３次元データ投影部１４により２次元画像上に投影された対象物体の３次元データから、対象物体が２次元画像に写ったときに境界となる点を３次元データのサンプル点として抽出する（ステップＳ５）。

なお、ステップＳ１〜Ｓ５の処理は、必ずしも以上に説明した順序で処理する必要はない。例えば、ステップＳ４〜Ｓ５の処理を最初に行い、その後でステップＳ１〜Ｓ３の処理を行うようにしてもよい。または、ステップＳ１〜Ｓ３の処理とステップＳ４〜Ｓ５の処理とを同時に行うようにしてもよい。ただし、ステップＳ４の処理よりステップＳ２の処理を先に行っておくと、２次元画像上に写っている対象物体の位置が分かるので、実際に対象物体がある位置またはその近傍を、３次元データを投影する初期位置として推定することが可能である。

次に、位置補正部１６は、例えばＩＣＰアルゴリズムを用いて、放射形状生成部１３により生成された放射形状上に、サンプル点抽出部１５により抽出されたサンプル点が位置するように、３次元データの位置補正を行う（ステップＳ６）。最後に、空間情報取得部１７は、位置補正部１６により位置補正された３次元データから対象物体の３次元位置および姿勢の空間情報を取得する（ステップＳ７）。これにより、図６に示すフローチャートの処理は終了する。

以上詳しく説明したように、本実施形態によれば、単眼カメラ２００により撮像される対象物体の２次元画像から生成された３次元的な放射形状と対象物体の３次元データとの位置合わせを通じて、２次元画像による２次元空間と３次元データによる３次元空間とを結びつけることができる。３次元データは対象物体の３次元位置・姿勢を有しているので、位置合わせした３次元データから対象物体の正確な３次元位置・姿勢を取得することができる。これにより、処理対象とする空間が特徴点を多く有する空間であるか大きな空間であるかといった性質によらず、単眼カメラ２００により撮像された２次元画像に写る対象物体の３次元位置・姿勢を精度よく検出することができる。

なお、上記実施形態では、３次元データの一例としてメッシュデータを用いる例について説明したが、対象物体の３次元位置・姿勢を有するデータであれば、メッシュデータ以外のデータを用いてもよい。例えば、ＣＡＤデータを用いてもよい。ＣＡＤデータは、複数の３次元空間上の曲面式および境界線を表す式により構成されている。各曲面式および境界線に関して、カメラ中心に向かう画像平面上への投影を考えると、ＣＡＤデータは、画像平面上における２次元空間上の曲面式および境界線を表す式として表現される。このとき、対象物体を構成する全ての曲面および境界線を投影した形状の最外周線を取得することにより、対象物体が２次元画像に写ったときの境界線を取得することが可能である。サンプル点抽出部１５は、この境界線上から複数のサンプル点を抽出する。ただし、ＣＡＤデータをメッシュデータに変換した後に投影した方が、処理が早くなる点で好ましい。その他の３次元データについてもメッシュデータに変換することができれば本処理を適用することが可能である。

また、上記実施形態では、２次元画像から対象物体の境界を抽出する処理として、前景抽出処理により対象物体を抽出した後、抽出した対象物体から境界を抽出する例について説明したが、本発明はこれに限定されない。すなわち、これ以外の公知の手法により対象物体の境界を抽出するようにしてもよい。

また、上記実施形態では、カメラ中心と２次元画像から抽出された対象物体の境界の各点とをそれぞれ結んでできる複数の直線により放射形状を生成する例について説明したが、境界上の全ての点を通る放射形状である必要は必ずしもない。すなわち、対象物体の境界上からいくつかの代表点を抽出し、その抽出した代表点とカメラ中心とをそれぞれ結んでできる複数の直線により放射形状を生成するようにしてもよい。

また、上記実施形態では、ＩＣＰアルゴリズムを用いて３次元データの位置補正を行う例について説明したが、本発明はこれに限定されない。例えば、SoftassignアルゴリズムやＥＭ−ＩＣＰアルゴリズムなど、３次元点群の位置合わせに用いられる他のアルゴリズムを利用してもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１ ２次元画像取得部
１２ 境界抽出部
１３ 放射形状生成部
１４ ３次元データ投影部
１５ サンプル点抽出部
１６ 位置補正部
１７ 空間情報取得部
１００ 画像処理装置
２００ 単眼カメラ

Claims (4)

1. 撮像装置を用いて実空間を撮像することにより生成される２次元画像を取得する２次元画像取得部と、
   上記２次元画像取得部により取得された上記２次元画像から対象物体の境界を抽出する境界抽出部と、
   上記撮像装置の中心位置と上記境界抽出部により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する放射形状生成部と、
   上記対象物体を表す３次元データを上記２次元画像上に投影する３次元データ投影部と、
   上記２次元画像上に投影した上記対象物体の３次元データから、上記対象物体が上記２次元画像に写ったときに境界となる点を上記３次元データのサンプル点として抽出するサンプル点抽出部と、
   上記放射形状生成部により生成された放射形状上に、上記サンプル点抽出部により抽出されたサンプル点が位置するように、上記３次元データの位置および姿勢を並行して調整して上記３次元データの位置補正を行う位置補正部と、
   上記位置補正部により位置補正された上記３次元データから上記対象物体の３次元位置および姿勢の空間情報を取得する空間情報取得部とを備えたことを特徴とする画像処理装置。
2. 上記位置補正部は、上記放射形状生成部により生成された放射形状と、上記サンプル点抽出部により抽出されたサンプル点との対応を最近点により求め、当該求めた対応を最小化する変換処理を繰り返すことによって上記３次元データの位置補正を行うことを特徴とする請求項１記載の画像処理装置。
3. 上記３次元データは、上記対象物体と同一形状を、三角形または四角形から成る複数のメッシュで表現した３次元のメッシュデータであることを特徴とする請求項１または２に記載の画像処理装置。
4. 画像処理装置の２次元画像取得部が、撮像装置を用いて実空間を撮像することにより生成される２次元画像を取得する第１のステップと、
   上記画像処理装置の境界抽出部が、上記２次元画像取得部により取得された上記２次元画像から対象物体の境界を抽出する第２のステップと、
   上記画像処理装置の放射形状生成部が、上記撮像装置の中心位置と上記境界抽出部により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する第３のステップと、
   上記画像処理装置の３次元データ投影部が、上記対象物体を表す３次元データを上記２次元画像上に投影する第４のステップと、
   上記画像処理装置のサンプル点抽出部が、上記２次元画像上に投影した上記対象物体の３次元データから、上記対象物体が上記２次元画像に写ったときに境界となる点を上記３次元データのサンプル点として抽出する第５のステップと、
   上記画像処理装置の位置補正部が、上記放射形状生成部により生成された放射形状上に、上記サンプル点抽出部により抽出されたサンプル点が位置するように、上記３次元データの位置および姿勢を並行して調整して上記３次元データの位置補正を行う第６のステップと、
   上記画像処理装置の空間情報取得部が、上記位置補正部により位置補正された上記３次元データから上記対象物体の３次元位置および姿勢の空間情報を取得する第７のステップとを有することを特徴とする３次元空間情報取得方法。

Images