JP4765726B2 - 画像処理装置および方法 - Google Patents

Description

本発明は、画像処理装置および方法に関し、特に、画像中における平面部分を推定する画像処理装置および方法に関する。

画像内における平面領域を検出・推定する技術として特許文献１に開示されている技術が知られている。この技術においては、複数台のカメラを用いて複数の視点から対象領域を含む画像を取得し、ステレオ復元によって画像内の各点の３次元座標を求め、それらの点群からランダムにサンプリングした点を使ってハフ変換を行うことにより、平面推定を行うものである。
特開２００３−２６９９３７号公報

しかしながら、上記技術には、以下に掲げるような問題点がある。第一に位置関係が既知である複数のカメラが必要であり、ハード的な構成が複雑になる。第二にステレオ復元によって３次元座標を求めることが可能な点は、画像内の特徴的な点だけであり、復元結果が粗くなる。第三に、このようにして得られた結果に平面を当てはめても十分な精度が得られない。

そこで本発明は、単眼カメラで取得した画像列においても密な平面領域の検出を可能とした画像処理装置および方法を提供することを課題とする。

上記課題を解決するため、本発明にかかる画像処理装置は、（１）相対的な視点位置の異なる第１の画像と第２の画像を取得する画像取得手段と、（２）これら第１の画像と第２の画像上での特徴点の画素位置の対応関係を求める対応点検出手段と、（３）対応関係が検出できた特徴点のうち、同一平面上の少なくとも３点について第１の画像上の画素位置から第２の画像上の画素位置へと変換する変換行列を求める変換行列計算手段と、（４）求めた変換行列に基づいて第１の画像から画素位置変換によって新たな第３の画像を生成する画像変換手段と、（５）生成された第３の画像と第２の画像間で変換行列を求める際に使用した特徴点が形成する閉塞領域内の領域についての類似度を算出する類似度算出手段と、（６）求めた類似度に基づいてこの領域が変換行列計算手段で変換行列を求める際に用いた対応点のなす平面上の点であるか否かを判断する判断手段と、を備えていることを特徴とする。

一方、本発明にかかる画像処理方法は、（１）相対的な視点位置の異なる第１の画像と第２の画像を取得し、（２）第１の画像と第２の画像上の特徴点の画素位置の対応関係を求め、（３）対応関係が検出できた特徴点のうち、同一平面上の少なくとも３点について第１の画像上の画素位置から第２の画像上の画素位置へと変換する変換行列を求め、（４）求めた変換行列に基づいて第１の画像から画素位置変換によって新たな第３の画像を生成し、（５）生成された第３の画像と第２の画像間で変換行列を求める際に使用した特徴点が形成する閉塞領域内の領域についての類似度を算出し、（６）求めた類似度に基づいてこの領域が変換行列を求める際に用いた対応点のなす平面上の点であるか否かを判断する各工程を備えていることを特徴とする。

本発明によれば、異なる２画像間で特徴点を対応づける。その対応点から同一平面上に位置する少なくとも３点を抽出し、これら３点等を基準として、一方の画像上の画素位置から他方の画像上の画素位置へと変換を行う変換行列を求める。この変換行列により一方の画像上の各画素位置を変換すると、これらの３点等と同一の平面上に位置する画素は、他方の画像上の画素位置と同一位置に変換されるが、他の平面上に位置する画素は、これと異なる位置に変換される。したがって、これらの３点等と同一の平面上に位置する領域は、一方の画像からこの変換行列により変換された画像と、他方の画像とで同じ位置に位置することになり、この領域については、両方の画像は類似することになる。この関係を基にして、画面内の平面を判別できる。

変換行列を求める際に用いられる対応点は、画像内における距離が所定値以下の点から選択されるとよい。画像内での距離が離れているよりも近い点のほうが同一平面の端点である可能性が高いからである。

画像変換は、変換後の画素位置における輝度値を補間により求めて画像変換を行うと好ましい。処理対象となる画像においては、通常、タイル状に画素が並んだ構成をとる。この場合に、変換行列による変換後の画素位置と他方の画像の画素位置とは、画素の間隔より小さい距離でずれる可能性がある。このずれを補正し、画素位置を合わせるために輝度値を補間により求めるとよい。

類似度算出は、変換前後の画像上の同一座標周辺の輝度値の差を予め定めたしきい値と比較することによって行うとよい。つまり、輝度値の差が大きい場合には、類似していないと判断し、差が小さい場合に類似していると判断する。

ここで、類似度算出を行う領域は、変換行列を用いる際に用いた対応点の形成する閉塞領域内に限っている。この閉塞領域とは、対応点が３点の場合には、３点の形成する３角形内であり、４点の場合には、４点の形成する矩形である。５点以上の場合には、対応点により囲まれる多角形領域に対応する。対応点となる特徴点はエッジ抽出等により求められるため、通常、平面ないし曲面の端点を構成する場合が多いからである。

本発明によれば、複数の画像、例えば、連続的に取得した対象物との位置関係の異なる画像中から取得した少なくとも２つの画像間において、一方の画像から他方の画像へと特定の平面上の点（画素）の位置を変換する変換行列を求め、この変換行列によって一方の画像を変換した場合に、他方の画像と類似する領域を平面領域と判定するので、単眼カメラで取得した画像列においても平面領域を検出することができる。特に、これらの対応点の間に非平面（例えば、曲面）が存在する場合に、これを平面領域と誤判定するのを低減できる。

変換行列を求める際に用いる対応点を画像内で近接させることで、平面である可能性の高い小領域ごとの検証が可能となる。また、画像変換の際に輝度値の補間を行うことで、比較する領域の画素位置を一致させることができ、類似判定が容易になる。

類似度算出を輝度値の差により行うと、判定基準が明確になる。

対応点は面領域の端点を構成する点である可能性が高いので、対応点による閉塞領域内を対象に平面判定を行うことで、連続する複数の面を同時に判定対象とするのを予防できる。

最初に検出した領域が平面でなくとも、さらに領域を細分化して平面判定を行うことで、端部が不明瞭な平面についても平面判定が可能となる。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。図１は、本発明にかかる画像処理装置の概略構成を示すブロック図である。この画像処理装置は、認識対象物を撮影した複数の画像が入力される画像入力手段１と、各々の画像中から特徴点を検出する特徴点検出手段２と、各画像間の特徴点の対応関係を検出する対応関係検出手段３と、選択した特徴点の一方の画像中での位置を他方の画像中での位置へと変換する変換行列計算手段４と、求めた変換行列に基づいた画像変換を行う画像変換手段５と、所定の画像間で所定の領域間の類似度を算出する類似度算出手段６と、算出した類似度から平面判定を行う判断手段７と、判断手段７の結果を基に必要であれば処理領域を指定しなおす処理領域指定手段８とを備えている。

画像入力手段１は、例えば、テレビカメラ等の動画を撮像して画像列として取り込む装置である。そのほかに、ビデオレコーダ等に保持されている動画データ中から画像列を取り込むビデオキャプチャー装置等や異なる視点からの動画または静止画を取り込む装置であれば、デジタルカメラ装置やイメージスキャナ等であってもよい。あるいはすでにコンピュータ等の記憶装置に格納されている画像を対象としてもよい。

特徴点検出手段２、対応関係検出手段３、変換行列計算手段４、画像変換手段５、類似度算出手段６、判断手段７、処理領域指定手段８は、いずれもＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成される。これらの各手段は、独立した別々のハードウェアとして構成されていてもよいが、一部または全部のハードウェアを共有し、ソフトウェアにより個々の手段が実現されていてもよい。なお、この場合に、各手段を構成するソフトウェアは別個独立していてもよいが、その一部を共有してもよく、１つのソフトウェアの内部に複数の手段が組み込まれる構成であってもよい。

続いて、本実施形態の動作である本発明にかかる画像処理方法について図２のフローチャートを参照しつつ、具体的に説明する。まず、画像入力手段１に複数の画像が入力される（ステップＳ１）。ここでは、対象物に対する相対的な視点位置の異なる２画像を入力させた場合を例に説明する。入力された２画像は、図示していない一時記憶手段（例えば、ＲＡＭ等のメモリや磁気ディスク等で構成される。）内に格納しておくとよい。

次に、特徴点検出手段２により、第１画像Ｉ中の特徴点候補を検出する（ステップＳ２）。具体的には、輝度・輝度パターンが特徴的な点を検出する手法を用いればよく、例えば、ｈａｒｒｉｓオペレータ（Ｃ． Ｈａｒｒｉｓ、Ｍ． Ｓｔｅｐｈｅｎｓ著”Ａ Ｃｏｍｂｉｎｅｄ Ｃｏｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ，”Ｐｒｏｃ． Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．，ｐｐ．１４７〜１５１，１９８８年、参照）と呼ばれる手法を用いればよい。検出した特徴点の画像上の位置は、上述した一時記憶手段内に格納される。

対応関係検出手段３は、検出した特徴点の両画像中での対応関係をテンプレートマッチングにより求める（ステップＳ３）。具体的には、第１画像Ｉ中の特徴点に対応する第２画像Ｔ中での画素位置を算出する。式（１）により、第１画像Ｉの特徴点（ｘ_１，ｙ_１）と第２画像Ｔの位置（ｘ，ｙ）間の類似度を求め、類似度が良好な画素位置を対応位置と判定すればよい。なお、Ｕ、Ｖは、類似度を判定する範囲をそれぞれ水平、垂直方向で設定した集合を表すものである。

特徴点の対応関係を検出したら、変換行列計算手段４は、対応関係が得られた特徴点のうち所定の３点を抽出する（ステップＳ４）。この３点は、同一直線上に位置している３点ではなく、画像内に映し出されている一平面上に位置すると予想される３点であり、例えば、画像内での距離が所定距離以内に近接している３点、または、３次元空間における距離が所定距離以内に近接している３点を選択する。その他の選択基準としては、（１）３点に囲まれる領域内に他の特徴点が存在しないか、存在しても所定個数以下である、（２）３点中の２点が同一輪郭線上に位置しており、他の１点は、この２点のうち１点と同一の他の輪郭線上に位置している、が挙げられる。

次に選択された３点の画素位置を変換する変換行列Ｈを求める。このＨは、第１画像Ｉ上の特徴点の画素位置Ｐを（ｕ_１，ｖ_１）、第２画像Ｔ上の特徴点の画素位置Ｐ’を（ｕ_２，ｖ_２）とすると、式（２）を満たす。

この関係を図３に示されるような３組の特徴点Ｐ_１−Ｐ_１’、Ｐ_２−Ｐ_２’、Ｐ_３−Ｐ_３’について満たす満たすＨを最小自乗法等によって求める。

次に、画像変換プロセス（ステップＳ６〜Ｓ９）を実行する。まず、変換後の画像上で３点が形成する領域内の画素を抽出する。この抽出は、第２画像Ｔ上の特徴点の画素位置Ｐ_１’、Ｐ_２’、Ｐ_３’のうち、例えば、Ｐ_１’を原点とし、Ｐ_１’から残り２つの特徴点Ｐ_２’、Ｐ_３’へと向かうベクトルをｔ、ｓとすると、この３点に囲まれる領域（閉塞領域）内の点Ｐ_ｎ’は、以下の（３）式を満たす。ここで、α＋βは０〜１のスカラー値である。

そこで（３）式を満たす画素位置、つまり、元画像内座標において座標値が整数をとる位置（図４に示されるような格子位置）を抽出すればよい。

次に求めたＰ_ｎ’の画素位置に対応する変換前画像（第１画像）における画素位置Ｐ_ｎを求める（ステップＳ７）。これは、（２）式で求めた変換行列Ｈの逆行列Ｈ^−１を使うことで、（４）式により求めることができる。

次に、画素位置Ｐ_ｎに対応する輝度値を算出する（ステップＳ８）。ここで、Ｐ_ｎの座標値は、Ｐ_ｎ’と異なり、整数値（格子位置）をとるとは限らない。そこで、以下のような手法を用いる。第１は、座標値がともに整数値をとり、第１画素Ｉの対応位置に画素が存在する場合には、その画素の値を使い、その間に存在する場合には、最も近接している画素の輝度値を用いる手法、第２は、周囲の画素（４画素〜１６画素）の座標値・輝度値を用いて内挿法により輝度値を算出する手法等がある。このように補間により輝度値を求める内挿法としては、バイリニア法やバイキュービック法等を用いることができる。こうして画素位置Ｐ_ｎの輝度値を求めたら、その輝度値を変換後の画像の画素位置Ｐｎ’の輝度値とする（ステップＳ９）。これにより、変換後の画像Ｔ’が求まる。

次に、類似度算出手段６が他方の画像Ｔと変換後の画像Ｔ’の類似度を算出し、判段手段７が類似関係にあるか否かを判断する（ステップＳ１０）。ここで、類似度を算出するのは、画像Ｔ’の画素位置Ｐ_ｎ’に対応する領域である。類似度による評価手法としては、例えば、画像ＴとＴ’の対応位置の輝度値の差が所定値以内である場合に類似していると評価すればよい。なお、個々の輝度値の差の絶対値がいずれも所定値以内である場合に限ってもよいが、取得画像におけるノイズ等の影響を排除するため、所定値以内である画素が所定比率以上であること、最大差が所定値以下であること等により評価してもよい。さらには、輝度値の差の絶対値の積算値、累積二乗和、平均値、二乗平均等により評価してもよい。この積算や累積において、重みづけを行ってもよい。あるいは、当該画素と周囲の画素との輝度値の大小関係が変換後の画像Ｔ’と他方の画像Ｔとの間で同一の場合に類似していると判断する手法を用いてもよい。

このような基準によって類似していると判断した場合には、当該領域は平面であると判定し（ステップＳ１１）、類似していないと判定した場合には非平面であると判定する（ステップＳ１２）。判定終了後は、ステップＳ１３へと移行して３点の組み合わせが終了したかどうかを判定し、未了の場合には、ステップＳ１４へと移行して、次の３点を選択し、ステップＳ５へと戻ることで、全ての３点の組み合わせについて検証を行う。

変換行列Ｈは、第１の画像Ｉ上の選択した３点のなす平面上の点が第２の画像Ｔ上において占める位置へと変換するものである。したがって、変換行列Ｈにより第１の画像Ｉから変換された画像Ｔ’と第２の画像Ｔにおいて同一位置に位置している点は、当該平面上の点であると推定できる。本実施形態はこの関係を利用したものであり、当該３点に囲まれる領域の各画素について類似判定を行うことができるので、広い領域についても精度よく判定を行うことができる。

特に、変換行列を求めるには、両画像間で対象平面の見え方が異なれば足りるので、複数のカメラで取得した画像でなくともカメラまたは対象物が移動した場合の移動前、移動後の画像を用いてもよい。したがって、単眼カメラで取得した画像列（動画像）からも平面を判定することができる。

なお、特徴点の間隔が画像内や３次元空間において離れている場合に、選択した３点により囲まれる領域が１つの平面を含む複数の平面や曲面によって構成されている場合がありうる。このような場合には、当該領域全体は選択した３点のなす平面と同一の平面上には存在しないため、平面でないと判定されてしまう。そこで、処理領域指定手段８により、最初に選択した３点内の領域を細分化し、細分化した領域それぞれについて上述のステップＳ５〜Ｓ１２の判定処理を行い、必要ならこれを繰り返すことで、多面で構成された領域から平面を判定することができる。細分化の手法としては、当該領域内で別の特徴点検出手法に基づいて特徴点を検出する手法や画像内で領域を等分することで、領域を分割する手法等を用いればよい。

以上の説明では、３点を選択する例を説明したが、４点以上を選択してもよい。４点以上を選択すれば、変換行列Ｈの精度は高まるが、３点の場合と異なり、当該４点が必ずしも同一平面上にあるとは限らないので、当該４点以上が同一面の端点である可能性が高いと予想される場合に用いることが好ましい。

本発明にかかる画像処理装置の概略構成を示すブロック図である。 本発明にかかる画像処理方法の具体的な動作処理を示すフローチャートである。 変換行列の算出を説明する図である。 画素の様子を示す図である。

符号の説明

１…画像入力手段、２…特徴点検出手段、３…対応関係検出手段、４…変換行列計算手段、５…画像変換手段、６…類似度算出手段、７…判断手段。

Claims (8)

1. 相対的な視点位置の異なる第１の画像と第２の画像を取得する画像取得手段と、
   前記第１の画像と前記第２の画像上での特徴点の画素位置の対応関係を求める対応点検出手段と、
   対応関係が検出できた特徴点のうち、同一平面上の少なくとも３点について第１の画像上の画素位置から第２の画像上の画素位置へと変換する変換行列を求める変換行列計算手段と、
   求めた変換行列に基づいて第１の画像から画素位置変換によって新たな第３の画像を生成する画像変換手段と、
   生成された第３の画像と前記第２の画像間で前記変換行列を求める際に使用した特徴点が形成する閉塞領域内の領域についての類似度を算出する類似度算出手段と、
   求めた類似度に基づいて前記領域が変換行列計算手段で変換行列を求める際に用いた対応点のなす平面上の点であるか否かを判断する判断手段と、
   を備えていることを特徴とする画像処理装置。
2. 前記変換行列計算手段で変換行列を求める際に用いられる対応点は、画像内における距離が所定値以下の点から選択されることを特徴とする請求項１記載の画像処理装置。
3. 画像変換手段は、変換後の画素位置における輝度値を補間により求めて画像変換を行うことを特徴とする請求項１記載の画像処理装置。
4. 前記類似度算出手段は、変換前後の画像上の同一座標周辺の輝度値の差を予め定めたしきい値と比較することによって行うことを特徴とする請求項１記載の画像処理装置。
5. 相対的な視点位置の異なる第１の画像と第２の画像を取得し、
   前記第１の画像と前記第２の画像上の特徴点の画素位置の対応関係を求め、
   対応関係が検出できた特徴点のうち、同一平面上の少なくとも３点について第１の画像上の画素位置から第２の画像上の画素位置へと変換する変換行列を求め、
   求めた変換行列に基づいて第１の画像から画素位置変換によって新たな第３の画像を生成し、
   生成された第３の画像と第２の画像間で変換行列を求める際に使用した特徴点が形成する閉塞領域内の領域についての類似度を算出し、
   求めた類似度に基づいて前記領域が変換行列を求める際に用いた対応点のなす平面上の点であるか否かを判断する各工程を備えていることを特徴とする画像処理方法。
6. 前記変換行列を求める際に用いられる対応点は、画像内における距離が所定値以下の点から選択されることを特徴とする請求項５記載の画像処理方法。
7. 前記画像変換は、変換後の画素位置における輝度値を補間により求めて画像変換を行うことを特徴とする請求項５記載の画像処理方法。
8. 変換前後の画像上の同一座標周辺の輝度値の差を予め定めたしきい値と比較することによって類似度算出を行うことを特徴とする請求項５記載の画像処理方法。

Images