JP6027705B2 - 画像処理装置，方法，およびそのプログラム - Google Patents

Description

この発明は，画像処理装置，方法，およびそのプログラムに関する。

画像処理技術には，様々なものが提案されている。たとえば，次のようなものがある。複数のカメラの画像からオブジェクトを抽出し，地表面，三次元空間上での大きさを定義し，オブジェクトの高さを比較することにより同じものと判断するもの（特許文献１）。正規化した形状情報に加えて断面積と高さ，または断面積と体積，または体積と高さなどの物体の大きさ情報の中で少なくとも２つの情報を物体認識ニューラル・ネットワークに与えることにより，物体を認識するもの（特許文献２）。ステレオ・カメラ画像の対応点の中から４点を選び，それらの含まれる三次元平面情報を求め，三次元情報から傾斜角度を求めて，正面となるように補正するもの（特許文献３）。

特開2000-20728号公報 特開平7-318331号公報 特開2010-198554号公報

画像上に長方形，平行四辺形などのように直線で囲まれた形状がある場合，その形状の縦横比を算出することは比較的簡単に求めることができる。しかしながら，撮像によって得られた画像に長方形，平行四辺形などのように直線で囲まれた形状が含まれている場合，大きさが分っていれば，それらの形状も分るが，画角によっては，その形状が表す実空間上の対象物も実際に長方形か，平行四辺形であるかなどを判定できないことがある。このようなことは特許文献１から３においても考えられていない。

この発明は，撮像によって得られた画像に含まれている直線で囲まれた形状が，実空間上における大きさが分らなくとも，実際にそのような形状を持っているかどうかを判定することを目的とする。

この発明による画像処理装置は，撮像によって得られる基準画像を入力する基準画像入力手段，基準画像を撮像した画角と異なる画角で撮像して得られる参照画像を入力する参照画像入力手段，基準画像入力手段から入力した基準画像から，直線によって囲まれた形状（三角形，矩形，平行四辺形，五角形その他の多角形など，直線によって囲まれた形状を特定形状と呼ぶことする。）を，特定の形状（例えば，矩形）をもつ特定形状候補と推定して検出する特定形状候補検出手段，特定形状候補検出手段によって検出された特定形状候補が表す対象物を，基準画像を撮像した画角と異なる画角で撮像した場合に得られる仮想対象物画像を特定する仮想対象物情報（座標,仮想対象物画像そのものを含む。）を生成する仮想対象物情報生成手段，仮想対象物情報生成手段によって生成された仮想対象物情報を用いて，参照画像入力手段から入力した参照画像の中から，仮想対象物画像を検出する仮想対象物画像検出手段，仮想対象物画像検出手段によって仮想対象物画像が検出されたことに応じて，特定形状候補検出手段によって検出された特定形状候補を，特定の形状をもつ特定形状と判定する形状判定手段，仮想対象物画像検出手段によって仮想対象物画像が検出されなかったことに応じて，仮想対象物画像の大きさまたは位置の少なくとも一方を変えることにより得られる仮想対象物画像を特定する仮想対象物情報を生成するように仮想対象物情報生成手段を制御する生成制御手段，ならびに仮想対象物画像検出手段における検出処理，形状判定手段における判定処理，および生成制御手段における制御処理を繰り返す繰り返し制御手段を備えていることを特徴とする。

この発明は，画像処理方法も提供している。すなわち，この方法は，基準画像入力手段が，撮像によって得られる基準画像を入力し，参照画像入力手段が，基準画像を撮像した画角と異なる画角で撮像して得られる参照画像を入力し，特定形状候補検出手段が，基準画像入力手段から入力した基準画像から，直線によって囲まれた形状を，特定の形状をもつ特定形状候補と推定して検出し，仮想対象物情報生成手段が，特定形状候補検出手段によって検出された特定形状候補が表す対象物を，基準画像を撮像した画角と異なる画角で撮像した場合に得られる仮想対象物画像を特定する仮想対象物情報を生成する仮想対象物情報生成手段，仮想対象物情報生成手段によって生成された仮想対象物情報を用いて，参照画像入力手段から入力した参照画像の中から，仮想対象物画像を検出し，形状判定手段が，仮想対象物画像検出手段によって仮想対象物画像が検出されたことに応じて，特定形状候補検出手段によって検出された特定形状候補を，特定の形状をもつ特定形状と判定し，生成制御手段が，仮想対象物画像検出手段によって仮想対象物画像が検出されなかったことに応じて，仮想対象物画像の大きさまたは位置の少なくとも一方を変えることにより得られる仮想対象物画像を特定する仮想対象物情報を生成するように仮想対象物情報生成手段を制御し，繰り返し制御手段が，仮想対象物画像検出手段における検出処理，形状判定手段における判定処理，および生成制御手段における制御処理を繰り返すものである。

この発明は，画像処理装置のコンピュータを制御するプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

形状判定手段によって特定の形状をもつものと判定された特定形状を，対象物を正面から撮像した場合に得られる形状に補正する補正手段をさらに備えてもよい。

仮想対物情報生成手段は，たとえば，対象物の大きさが分っている場合には，あらかじめ定められている１または複数の大きさにもとづいて仮想対象物情報を生成するものとなろう。

実空間において対象物の輪郭が表す角度を算出する角度算出手段，および角度算出手段によって算出された角度にもとづいて特定形状候補検出手段によって検出された特定形状候補のうち対象とする特定形状候補を決定する特定形状決定手段をさらに備えてもよい。この場合，仮想対象物情報生成手段は，たとえば，特定形状決定手段によって決定された特定形状が表す対象物を，基準画像を撮像した画角と異なる画角で撮像した場合に得られる仮想対象物画像を特定する仮想対象物情報を生成するものとなろう。

形状判定手段において判定された特定形状が複数あった場合に，複数の特定形状が同一平面上にあるか，平行平面上にあるか，または垂直する平面上にあるかを決定する状態決定手段をさらに備えてもよい。

特定の形状は，たとえば，三角形，矩形，台形または平行四辺形である。

基準画像を撮像する第１の撮像装置，および参照画像を撮像する第２の撮像装置をさらに備えてもよい。基準画像入力手段および参照画像入力手段は，１つの撮像装置でもよい。この場合，撮像装置における撮像によって得られる基準画像および参照画像を入力するとなろう。

この発明によると，撮像によって得られる基準画像から，直線によって囲まれた形状（たとえば，三角形，矩形，平行四辺形，台形など）が，特定の形状をもつ特定形状候補（たとえば，矩形）と推定されて検出される。検出された特定形状候補が表す実空間上における対象物を，基準画像を撮像した画角と異なる画角で撮像した場合に得られる仮想対象物画像を特定する仮想対象物情報（座標，仮想対象物画像そのものでもよい）が生成される。生成された仮想対象物情報を用いて，異なる画角で撮像して得られる参照画像の中から，仮想対象物画像が検出されると，検出された特定形状候補が，特定の形状をもつ特定形状と判定される。特定形状候補が特定の形状をもつものであれば，仮想対象物画像が，参照画像から検出される筈であるから，参照画像から仮想対象物画像が検出された場合には，その特定形状候補を，特定の形状をもつ特定形状と判定でき，実空間上においても，そのような特定形状をもつと判定できる。仮想対象物画像が検出されなければ，仮想対象物画像の大きさまたは位置の少なくとも一方が変えられるように仮想対象物画像を特定する仮想対象物情報が生成される。生成された仮想対象物情報を用いて，参照画像の中から仮想対象物画像の検出および形状判定が繰り返される。実空間上での大きさが分らなくとも，実空間上で特定の形状をもつ特定形状と判定できるようになる。

画像処理装置の電気的構成の一例である。 実空間の一例である。 基準画像の一例である。 参照画像の一例である。 画像処理装置の処理手順を示すフローチャートである。 画像処理装置の処理手順を示すフローチャートである。 基準画像から直線で囲まれた形状を検出した様子を示している。 仮想対象物画像の一例である。 対象物を撮像している様子を示している。 画像処理装置の処理手順の一部を示すフローチャートである。 画像処理装置の処理手順を示すフローチャートである。 画像処理装置の処理手順を示すフローチャートである。 対象物を撮像している様子を示している。 画像処理装置の処理手順を示すフローチャートである。

図１は，この発明の実施例を示すもので，画像処理装置の電気的構成を示すブロック図である。

画像処理装置は，スマートフォンのように携帯自在なものであるが，屋外に設置されていてもよい。

画像処理装置の全体の動作は，ＣＰＵ９によって統括される。

画像処理装置には，第１のカメラ（基準画像入力手段）１および第２のカメラ（参照画像入力手段）２が含まれている。第１のカメラ１は，撮像によって得られる基準画像を画像処理装置に入力するものであり，第２のカメラ２は，基準画像と異なる画角で撮像して得られる参照画像を画像処理装置に入力するものである。第１のカメラ１および第２のカメラ２の少なくとも一方が画像処理装置に設けられていなくとも，基準画像および参照画像が画像処理装置に入力されればよい。たとえば，一台のカメラを用いて異なる画角で二度撮像することにより，基準画像と参照画像とが得られるようにしてもよい。画像処理装置にカメラが設けられていなくともよい。

画像処理装置には，表示装置３が設けられている。この表示装置３の表示画面にはタッチ・パネル４が形成されている。タッチ・パネル４からの指示がＣＰＵ９に入力する。また，画像処理装置には，データを記憶するためのメモリ５，インターネットなどのネットワークを介して接続するための通信装置６，およびメモリ・カード・インターフェイス７が設けられている。後述する処理を制御するプログラムが格納されているメモリ・カード８がメモリ・カード・インターフェィス７を介して読み取られる。すると，読み取られたプログラムが画像処理装置にインストールされる。もっとも，メモリ・カード８のような可搬型記録媒体にプログラムが格納されていなくとも，ネットワークを介して送信されるプログラムを通信装置６において受信し，受信したプログラムが画像処理装置にインストールされるようにしてもよい。

図２は，屋外の景色の一例である。

道路27沿いに第１の建物10および第２の建物20が建っている。実空間上での第１の建物10の側壁は平行四辺形，正面の壁12および屋上13は矩形，背面の壁14は背面から見て矩形である。また，実空間上での第２の建物20の壁21および24は矩形であるが，屋根の側面22は正三角形，屋根の正面23は矩形である。そのような景色が，画角が異なる上述の第１のカメラ１および第２のカメラ２を用いて撮像されたものとする。

図３は，第１のカメラ１を用いた撮像により得られた画像（基準画像という）の一例である。

基準画像には，第１の建物画像10Ａ，第２の建物画像20Ａおよび道路画像27Ａが含まれている。第１の建物画像10Ａ，第２の建物画像20Ａおよび道路画像27Ａは，図２に示した第１の建物10，第２の建物20および道路27に対応している。第１の建物画像10Ａの側面の壁画像11Ａ，正面の壁画像12Ａおよび背面の壁画像14Ａは，図２に示す第１の建物10の側面の壁11，正面の壁12および背面の壁14にそれぞれ対応し，第２の建物画像20Ａの側面の壁画像21Ａ，正面の壁画像24Ａ，屋根の正面画像23Ａ，および屋根の側面画像22Ａは，図２に示す第２の建物20の側面の壁21，正面の壁24，屋根の正面23および屋根の側面22にそれぞれ対応している。

図４は，第２のカメラ２を用いた撮像により得られた画像（参照画像という）の一例である。

参照画像には，基準画像と同様に，第１の建物画像10Ｂ，第２の建物画像20Ｂおよび道路画像27Ｂが含まれている。第１の建物画像10Ｂ，第２の建物画像20Ｂおよび道路画像27Ｂは，図２に示した第１の建物10，第２の建物20および道路27に対応している。第１の建物画像10Ｂの側面の壁画像11Ｂ，正面の壁画像12Ｂおよび背面の壁画像14Ｂは，図２に示す第１の建物10の側面の壁11，正面の壁12および背面の壁14にそれぞれ対応し，第２の建物画像20Ｂの側面の壁画像21Ｂ，正面の壁画像24Ｂ，屋根の正面画像23Ｂ，および屋根の側面画像22Ｂは，図２に示す第２の建物20の側面の壁21，正面の壁24，屋根の正面23および屋根の側面22にそれぞれ対応している。

第１のカメラ１と第２のカメラ２とは，画角が異なるように画像処理装置１に配置されているから，第１のカメラ１の撮像によって得られた基準画像（図３参照）と第２のカメラ２の撮像によって得られた参照画像（図４参照）との画角が異なっている。

図５および図６は，画像処理装置１の処理手順を示すフローチャートである。

この処理手順は，実空間上において矩形（特定の形状）をもつ特定形状（三角形，矩形，平行四辺形，台形，正方形，五角形以上の多角形のように直線で囲まれた形状を特定形状と呼ぶこととする。）の対象物を表す対象物画像が基準画像に含まれているかどうかを判定するもので，具体的には，平行四辺形の対象物を表わす対象物画像が基準画像に含まれているかどうかを判定する。

まず，撮像により得られた基準画像20Ａから直線がＣＰＵ２によって検出される（ステップ31）。つづいて，検出された直線の交点がＣＰＵ２によって検出される（ステップ32）。さらに，直線によって囲まれた矩形（特定形状）が，平行四辺形候補（特定の形状をもつ特定形状候補）として検出される（ステップ33）。

図７は，検出された平行四辺形候補（特定形状候補）の一例である。

図３の基準画像に含まれる第１の建物画像10Ａの側面の壁11Ａ，正面の壁12Ａおよび背面の壁14Ａから，平行四辺形候補画像11Ｃ，12Ｃおよび14Ｃが平行四辺形候補と推定して検出される。また，図３の基準画像に含まれる第２の建物画像20Ａの側面の壁画像21Ａ，正面の壁画像24Ａおよび屋根の正面の画像23Ａから，平行四辺形候補画像24Ｃ，21Ｃおよび23ＣがＣＰＵ９によって平行四辺形候補として推定して検出される（直線によって囲まれた形状を，特定の形状をもつ特定形状候補として推定して検出される。特定形状候補検出手段）。

平行四辺候補画像11Ｃ，12Ｃ，14Ｃ，21Ｃ，23Ｃおよび24Ｃが検出されると，それらの平行四辺形候補画像11Ｃ，12Ｃ，14Ｃ，21Ｃ，23Ｃおよび24Ｃが実空間上で表す平行四辺形の形と向きとが推定される（ステップ34）。この推定について詳しくは後述する。

つづいて，平行四辺形候補画像11Ｃ，12Ｃ，14Ｃ，21Ｃ，23Ｃおよび24Ｃが実空間上で表す対象物の大きさおよび対象物までの距離が仮定される（ステップ35）。対象物の大きさは，対象物となると考えられるもの，例えば，建物，車，標識，ナンバープレート，本などに応じて一般的な大きさから仮定される。対象物までの距離についても同様である。ナンバープレートや本のように，あらかじめ大きさの規格があるものについては，機器にて保持されている大きさの規格の情報から設定するのが望ましい。

さらに，仮想対象物情報がＣＰＵ９によって生成される（ステップ36）（仮想対象物情報生成手段）。仮想対象物情報は，検出された平行四辺形候補画像（特定形状候補画像）が表す対象物を，第２のカメラ２によって撮像した場合に得られる仮想対象物画像を特定するものである。仮想対象物情報は，仮想対象物画像そのものでもよいし，仮想対象物画像の位置，大きさを特定する座標でもよい。この実施例では，仮想対象物情報として仮想対象物画像が利用されるものとする。

図８は，仮想対象物画像の一例である。

仮想対象物画像11Ｄ，12Ｄ，14Ｄ，21Ｄ，23Ｄおよび24Ｄは，平行四辺形候補画像11Ｃ，12Ｃ，14Ｃ，21Ｃ，23Ｃおよび24Ｃが平行四辺形の対象物を撮像して得られたものと仮定した場合において，第２のカメラ２の撮影アングルから，それらの平行四辺形の対象物を撮像した場合に得られるものである。

このようにして生成された仮想対象物画像11Ｄ，12Ｄ，14Ｄ，21Ｄ，23Ｄおよび24Ｄが図４に示す参照画像の中に含まれているかどうかの検出処理がＣＰＵ９によって行われる（ステップ37）（仮想対象物画像検出手段）。仮想対象物画像11Ｄ，12Ｄ，14Ｄ，21Ｄ，23Ｄおよび24Ｄのうち，いずれかの仮想対象物画像が参照画像の中から検出されると（ステップ38でＹＥＳ），検出された仮想対象物画像に対応する平行四辺形候補画像が表す対象物が，ＣＰＵ９によって平行四辺形（特定形状）と決定される（ステップ39）（形状判定手段）。たとえば，仮想対象物画像11Ｄが図２の参照画像の中から検出される（第２の建物10の側面の壁11は平行四辺形であるから，第２の建物の画像10Ｂの側面の壁画像11Ｂが検出されることとなる）と，その仮想対象物画像11Ｄに対応する実空間上の対応物（第１の建物20の側壁11Ａ）は平行四辺形と判断される。平行四辺形と決定された平行四辺形候補画像11Ｄがアフィン変換され，その平行四辺形候補画像に対応する対象物を正面から撮像した場合に得られる補正された形状の画像が得られる（ステップ40）（補正手段）。たとえば，図２に示す第１の建物10の側壁11を正面から撮像した場合に得られる画像がアフィン変換により得られる。また，平行四辺形と決定された側壁11に対応する側壁画像11Ａ（図３参照）を，平行四辺形と分るように表示（例えば，決められた色で囲む）してもよいし，座標，面積，辺の長さなどを記録してもよい。

図４に示す参照画像の中から仮想対象物画像が検出されない場合には（ステップ38でＮＯ），対象物の大きさと対象物までの距離の仮定がＣＰＵ９によって変更させられる（ステップ41）。これにより，図８に示す仮想対象物画像12Ｄ，14Ｄ，21Ｄ，23Ｄおよび24Ｄの大きさ，位置が変更させられることとなる（生成制御手段）。複数の対象物があり，それらの大きさが予め分っている場合には，それぞれの対象物の大きさに応じた仮想対象物画像（情報）を生成する。対象物が想定される大きさおよび距離を超えるまで（ステップ42でＮＯ），ステップ37からの処理（仮想対象物画像検出手段における検出処理，形状判定手段における判定処理，および生成制御手段における制御処理）が繰り返される（繰り返し制御手段）。これらの繰り返しの過程において，仮想対象物画像12Ｄ，14Ｄ，21Ｄ，23Ｄおよび24Ｄに対応する画像部分が図４に示す参照画像の中から検出され，これらの仮想対象物画像12Ｄ，14Ｄ，21Ｄ，23Ｄおよび24Ｄに対応する実空間上の対応物12，14，21，23および24も平行四辺形と判断される。

対象物が想定される大きさおよび距離が超えた平行四辺形候補は平行四辺形（特定形状候補）ではないと決定される（ステップ42でＹＥＳ，ステップ43）。

図９は，実空間上での平行四辺形（特定形状）を推定する処理を説明するためのものである。

たとえば，第１の建物10の側壁11が第１のカメラ１に内蔵されているイメージ・センサ70によって撮像されるとすると，その壁11を表す光像は第１のカメラ１の撮像レンズ71（焦点距離ｆ）によってイメージ・センサ70の受光面上に結像する。イメージ・センサ70の受光面上に，側壁11の画像11Ｅが形成される。

イメージ・センサ70上に形成される側壁11の画像11Ｅの四隅の座標をα＝（ｕ１，ｖ１），β＝（ｕ２，ｖ２），γ＝（ｕ３，ｖ３）およびδ＝（ｕ４，ｖ４）とする。これらの四隅の座標α，β，γおよびδは，実空間上の側壁11の四隅ａ，ｂ，ｃおよびｄに対応する。側壁11の画像11Ｅの中心の座標を（ｕ０，ｖ０）とすると，実空間上の四隅ａ，ｂ，ｃおよびｄの座標ａ＝（ｘ１，ｙ１，ｚ１），ｂ＝（ｘ２，ｙ２，ｚ２），ｃ＝（ｘ３，ｙ３，ｚ３）およびｄ＝（ｘ４，ｙ４，ｚ４）は，次の通りとなる。但し，Ａ，Ｂ，ＣおよびＤは，係数（倍率）である。

ｘ１＝Ａ（ｕ１−ｕ０），ｙ１＝Ａ（ｖ１−ｖ０），ｚ１＝Ａｆ
ｘ２＝Ｂ（ｕ２−ｕ０），ｙ２＝Ｂ（ｖ２−ｖ０），ｚ２＝Ｂｆ
ｘ３＝Ｃ（ｕ３−ｕ０），ｙ３＝Ｃ（ｖ３−ｖ０），ｚ３＝Ｃｆ
ｘ４＝Ｄ（ｕ４−ｕ０），ｙ４＝Ｄ（ｖ４−ｖ０），ｚ４＝Ｄｆ

実空間上の四隅ａ，ｂ，ｃおよびｄは，係数Ａ，Ｂ，ＣおよびＤがある定数となるどこかに存在していることとなるから，実空間上の四隅ａ，ｂ，ｃおよびｄが平行四辺形の場合には，式１が成立する。

式１および上述した実空間上の四隅ａ，ｂ，ｃおよびｄの座標の関係から，係数の関係Ｂ／Ａ，Ｃ／ＡおよびＤ／Ａが求まる。係数Ａが一義的に決定しないために，四隅ａ，ｂ，ｃおよびｄで規定される側壁11の大きさおよび側壁11までの距離は決定できないが，その側壁11の向きが決定する。

図10は，変形例を示すもので，画像処理装置の処理手順の一部を示している。

実空間上での平行四辺形（特定形状）の形および向きが推定されると（図５ステップ34），実空間上での対象物の輪郭が表す角度が算出される（図９ステップ61）（角度算出手段）。例えば，第１の建物21の壁の輪郭が表す角度が算出される。算出された角度が，見つけ出す特定形状の角度を持っているかどうかが判断される（ステップ62）。たとえば，矩形の特定形状のみを見つけ出す場合には，直角があるかどうかが判断される。そのような角度を持っていなければ（ステップ62でＮＯ），その平行四辺形候補は矩形ではないと決定される（図６ステップ43）。そのような角度をもっていれば（ステップ62でＹＥＳ），図６ステップ35以降の処理が行われ，矩形が検出される（特定形状決定手段）。

特定形状が正三角形の場合には，次のようにして，正三角形の向きを求めることができる。

図11および図12は，画像処理装置の他の処理手順を示すフローチャートであり，図５および図６に示す処理手順に対応している。図11または図12において，図５または図６に示す処理同一の処理については同一符号を付して説明を省略する。

図５および図６に示す処理は平行四辺形を検出する処理であったが，図11および図12は正三角形を検出する処理である。

上述のように基準画像（図３参照）から直線および交点検出が行われ（ステップ31，32），得られる三角形が正三角形候補と推定して検出される（ステップ33Ａ）。後述するように，正三角形の形と向きとが推定される（ステップ34Ａ）。

上述した処理と同様の処理が行われて，正三角形と決定された正三角形候補については，検出された正三角形候補によって特定される対象物画像が，正面から撮像されたようにアフィン変換される（ステップ39Ａ，40Ａ）。また，その他の正三角形候補については正三角形ではないと決定される（ステップ43Ａ）。

図13は，正三角形の屋根の側面22を撮像している様子を示している。

上述したのと同様に，第１のカメラ１に内蔵されているイメージ・センサ70によって撮像されるとすると，その屋根の側面22を表す光像は第１のカメラ１の撮像レンズ71によってイメージ・センサ70の受光面上に結像する。イメージ・センサ70の受光面上に屋根の側面22の画像22Ｅが形成される。

イメージ・センサ70上に形成される側壁26の画像26Ａの３つの隅の座標をα１，β１およびγ１とする。これらの３つの隅の座標α１＝（ｕ11，ｖ11），β１＝（ｕ12，ｖ12）およびγ１＝（ｕ13，ｖ13）は，実空間上の側壁26の３つの隅ａ１，ｂ１およびｃ１に対応する。側壁26の画像26Ａの中心の座標を（ｕ10，ｖ10）とすると，実空間上の座標ａ１＝（ｘ11，ｙ11，ｚ11），ｂ１＝（ｘ12，ｙ12，ｚ12），ｃ１＝（ｘ13，ｙ13，ｚ13）は，次のとおりとなる。但し，Ａ１，Ｂ１およびＣ１は，係数（倍率）である。

ｘ11＝Ａ１（ｕ11−ｕ10），ｙ11＝Ａ１（ｖ11−ｖ10），ｚ11＝Ａ１×ｆ
ｘ12＝Ｂ１（ｕ12−ｕ10），ｙ12＝Ｂ１（ｖ12−ｖ10），ｚ12＝Ｂ１×ｆ
ｘ13＝Ｃ１（ｕ13−ｕ10），ｙ13＝Ｃ１（ｖ13−ｖ10），ｚ13＝Ｃ１×ｆ

上述したように，実空間上の３つの隅ａ１，ｂ１およびｃ１は，係数Ａ１，Ｂ１およびＣ１がある定数となるどこかに存在していることとなるから，実空間上の３つの隅ａ１，ｂ１およびｃ１が正三角形の場合には，式２および式３が成立する。

式２および式３ならびに上述した実空間上の３つの隅ａ１，ｂ１およびｃ１の座標の関係から，係数の関係Ｂ１／Ａ１およびＣ１／Ａ１が求まる。係数Ａ１が一義的に決定しないために，３つの隅ａ１，ｂ１およびｃ１で規定される側壁26の大きさおよび側壁26のまでの距離は決定できないが，その側壁26の向きが決定する。画像26Ａが正三角形かどうかにかかわらず側壁26の向きが決定する。

図14は，変形例を示すもので，画像処理装置１の処理手順を示すフローチャートである。この処理手順は，図６等の処理終了後に行われるもので，決定された平行四辺形，矩形，正三角形などの特定形状が複数存在した場合に，複数の特定形状が直角をなすか，平行か，同一平面かを検出するものである。

複数の特定形状のうち，一の特定形状が選択され（ステップ81），選択された一の特定形状以外の他の特定形状が選択される（ステップ82）。これらの二つの特定形状が表す実空間での対象物のなす角が算出される（ステップ83）。なす角は，上述のように実空間での対象物の向きを検出することによりわかる。

二つの特定形状が表す実空間での対象物のなす角が直角であれば（ステップ84でＹＥＳ）（状態決定手段），それらの二つの対象物を直角の組としてリスト化される（ステップ85）。

二つの特定形状が表す実空間での対象物のなす角が直角でなければ（ステップ84でＮＯ），平行かどうかが確認される（ステップ86）（状態決定手段）。平行であれば（ステップ86でＹＥＳ），さらに，同一平面にあるかどうかが確認される（ステップ87）（状態決定手段）。同一平面にあれば，その二つの特定形状が表す実空間での対象物は同一平面にあるとして，それらの二つの対象物を同一平面の組としてリスト化される（ステップ88）。同一平面になければ（ステップ87でＮＯ），それらの二つの対象部を平行平面の組としてリスト化される（ステップ89）。

このようにリスト化されると，そのリストが表示装置３に表示され，かつメモリ５に記録されることとなる（ステップ90）。

１ 第１のカメラ（基準画像入力手段）
２ 第２のカメラ（参照画像入力手段）
９ ＣＰＵ（特定形状候補検出手段，仮想対象物情報生成手段，仮想対象物画像検出手段，形状判定手段，補正手段，制御手段，角度算出手段，特定形状決定手段，状態決定手段）

Claims (10)

1. 撮像によって得られる基準画像を入力する基準画像入力手段，
   上記基準画像を撮像した画角と異なる画角で撮像して得られる参照画像を入力する参照画像入力手段，
   上記基準画像入力手段から入力した基準画像から，直線によって囲まれた形状を，特定の形状をもつ特定形状候補と推定して検出する特定形状候補検出手段，
   上記特定形状候補検出手段によって検出された特定形状候補が表す対象物を，上記基準画像を撮像した画角と異なる画角で撮像した場合に得られる仮想対象物画像を特定する仮想対象物情報を生成する仮想対象物情報生成手段，
   上記仮想対象物情報生成手段によって生成された仮想対象物情報を用いて，上記参照画像入力手段から入力した参照画像の中から，上記仮想対象物画像を検出する仮想対象物画像検出手段，
   上記仮想対象物画像検出手段によって上記仮想対象物画像が検出されたことに応じて，上記特定形状候補検出手段によって検出された特定形状候補を，上記特定の形状をもつ特定形状と判定する形状判定手段，
   上記仮想対象物画像検出手段によって上記仮想対象物画像が検出されなかったことに応じて，上記仮想対象物画像の大きさまたは位置の少なくとも一方を変えることにより得られる上記仮想対象物画像を特定する仮想対象物情報を生成するように上記仮想対象物情報生成手段を制御する生成制御手段，ならびに
   上記仮想対象物画像検出手段における検出処理，上記形状判定手段における判定処理，および上記生成制御手段における制御処理を繰り返す繰り返し制御手段，
   を備えた画像処理装置。
2. 上記形状判定手段によって上記特定の形状をもつものと判定された特定形状を，上記対象物を正面から撮像した場合に得られる形状に補正する補正手段，
   をさらに備えた請求項１に記載の画像処理装置。
3. 上記仮想対象物情報生成手段は，
   上記対象物の大きさが分っている場合には，あらかじめ定められている１または複数の大きさにもとづいて上記仮想対象物情報を生成するものである，
   請求項１または２に記載の画像処理装置。
4. 実空間において上記対象物の輪郭が表す角度を算出する角度算出手段，および
   上記角度算出手段によって算出された角度にもとづいて上記特定形状候補検出手段によって検出された特定形状候補のうち対象とする特定形状候補を決定する特定形状決定手段をさらに備え，
   上記仮想対象物情報生成手段は，
   上記特定形状決定手段によって決定された特定形状が表す対象物を，上記基準画像を撮像した画角と異なる画角で撮像した場合に得られる仮想対象物画像を特定する仮想対象物情報を生成するものである，
   請求項１から３のうち，いずれか一項に記載の画像処理装置。
5. 上記形状判定手段において判定された特定形状が複数あった場合に，複数の特定形状が同一平面上にあるか，平行平面上にあるか，または垂直する平面上にあるかを決定する状態決定手段，
   を備えた請求項１から４のうち，いずれか一項に記載の画像処理装置。
6. 上記特定の形状は，三角形，矩形，台形または平行四辺形である，
   請求項１から５のうち，いずれか一項に記載の画像処理装置。
7. 上記基準画像入力手段は，上記基準画像を撮像する第１の撮像装置であり，
   上記参照画像入力手段は，上記参照画像を撮像する第２の撮像装置である，
   請求項１から６のうち，いずれか一項に記載の画像処理装置。
8. 上記基準画像入力手段および上記参照画像入力手段は，１つの撮像装置であり，
   上記撮像装置における撮像によって得られる上記基準画像および上記参照画像を入力するものである，
   請求項１から６のうち，いずれか一項に記載の画像処理装置。
9. 基準画像入力手段が，撮像によって得られる基準画像を入力し，
   参照画像入力手段が，上記基準画像を撮像した画角と異なる画角で撮像して得られる参照画像を入力し，
   特定形状候補検出手段が，上記基準画像入力手段から入力した基準画像から，直線によって囲まれた形状を，特定の形状をもつ特定形状候補と推定して検出し，
   仮想対象物情報生成手段が，上記特定形状候補検出手段によって検出された特定形状候補が表す対象物を，上記基準画像を撮像した画角と異なる画角で撮像した場合に得られる仮想対象物画像を特定する仮想対象物情報を生成する仮想対象物情報生成手段，
   上記仮想対象物情報生成手段によって生成された仮想対象物情報を用いて，上記参照画像入力手段から入力した参照画像の中から，上記仮想対象物画像を検出し，
   形状判定手段が，上記仮想対象物画像検出手段によって上記仮想対象物画像が検出されたことに応じて，上記特定形状候補検出手段によって検出された特定形状候補を，上記特定の形状をもつ特定形状と判定し，
   生成制御手段が，上記仮想対象物画像検出手段によって上記仮想対象物画像が検出されなかったことに応じて，上記仮想対象物画像の大きさまたは位置の少なくとも一方を変えることにより得られる上記仮想対象物画像を特定する仮想対象物情報を生成するように上記仮想対象物情報生成手段を制御し，
   繰り返し制御手段が，上記仮想対象物画像検出手段における検出処理，上記形状判定手段における判定処理，および上記生成制御手段における制御処理を繰り返す，
   画像処理方法。
10. 画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    撮像によって得られる基準画像を入力させ，
    上記基準画像を撮像した画角と異なる画角で撮像して得られる参照画像を入力させ，
    入力した基準画像から，直線によって囲まれた形状を，特定の形状をもつ特定形状候補と推定して検出させ，
    検出された特定形状候補が表す対象物を，上記基準画像を撮像した画角と異なる画角で撮像した場合に得られる仮想対象物画像を特定する仮想対象物情報を生成させ，
    生成された仮想対象物情報を用いて，入力した参照画像の中から，上記仮想対象物画像を検出させ，
    上記仮想対象物画像が検出されたことに応じて，検出された特定形状候補を，上記特定の形状をもつ特定形状と判定させ，
    上記仮想対象物画像が検出されなかったことに応じて，上記仮想対象物画像の大きさまたは位置の少なくとも一方を変えることにより得られる上記仮想対象物画像を特定する仮想対象物情報を生成するように上記仮想対象物情報生成手段を制御させ，
    上記仮想対象物画像を検出する処理，上記形状判定をする処理，および上記生成制御の処理を繰り返すように画像処理装置のコンピュータを制御するプログラム。
    

Images