JP6107372B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、例えば、カメラの位置および姿勢を算出するカメラのキャリブレーション処理に利用される、撮像画像上におけるマーカーの座標の抽出に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

自車両の周囲状況を運転者にとって確認し易くし、運転者の安全運転に資することを目的として、自車両の周囲画像をカメラにより取得し、取得した画像を車の運転者に提示する技術が提案されている。例えば、自車両の周囲に複数のカメラを設け、各カメラで撮像した画像を合成すれば、自車両周囲の広範囲の画像を運転者に視認させることが可能になる。

複数の撮像画像を合成した結果として、運転者にとって違和感の無い画像、すなわち、画像間の継ぎ目がずれたり、画像が傾いたりしていない合成画像を得る為には、複数のカメラが、所定の位置、所定のカメラ向きで設置されている必要がある。しかしながら、カメラは車両に取り付けられる為、走行などによる震動などに起因して、カメラの設置位置や角度などが変化してしまう場合がある。そのため、出荷時や車検時など、利用開始後の任意のタイミングで、カメラの取り付け位置、角度にズレが生じていないかを確認し、カメラの設置位置や角度の校正処理（キャリブレーション処理）を行う必要がある。

カメラの設置位置や角度の校正処理では、カメラ撮影範囲の規定の位置に設置したマーカー（冶具）を撮影し、撮影画像上におけるマーカー位置、換言すると、撮像画像上におけるマーカーの特徴点の座標と、規定の位置とを対応付ける。校正処理に用いるマーカーとしては、撮像画像上で特徴点を抽出しやすい模様を有していることが望ましく、例えば、市松模様のマーカーなどが一般的に利用されている。なお、市松模様のマーカーは、例えば、市松模様が交差する中心点を特徴点として抽出する。

市松模様のマーカーの特徴点を抽出する方法として、撮像画像上の市松模様を構成する色領域の色境界線を検出し、検出した色境界線を利用して交点を求めることにより、マーカーの特徴点を抽出する技術が開示されている。

特開２０１０−８７７４３号公報

ところで、マーカーの特徴点の画像上の座標は、上述した校正処理のパラメータとして利用される。そのため、撮像画像上のマーカーから特徴点を抽出する際の抽出精度が低いと、カメラの設置位置や角度の校正処理の精度が劣化する。従って、撮像画像上におけるマーカーの特徴点を高い精度で抽出する必要がある。

例えば、自車両の周囲の状況を撮影するために車両に搭載されるカメラは、少ない台数で車両の周囲を撮像できることが望ましいため、例えば、広角カメラが用いられる。しかしながら、広角カメラは撮像画像の中心から距離が離れるにつれて、撮像画像上の物体となるマーカーの形状が歪んだりするなど、撮像画像上のマーカーの形状が不鮮明になる傾向にある。なお、広角カメラ以外のカメラでマーカーを撮影したとしても、撮像画像の両端近傍では、マーカーの形状が少なからず歪み、撮像画像上のマーカーの形状が不鮮明になる。

更に、校正処理を実施する照明環境の状態によっては、撮像画像上のマーカーの市松模様が、市松模様の様に撮像されない場合も生じる。例えば、白色領域と黒色領域との２色の色領域を有する市松模様のマーカーでは、照明の光が強く明るい場合、マーカーの市松模様の白色領域が膨張した状態で撮像される。また、照明の光が弱く暗い場合、マーカーの市松模様の白色領域が収縮した状態で撮像される。この様な不鮮明なマーカーの画像から、市松模様の色境界線を検出し、マーカーの特徴点を抽出することは難しい。よって、上述した従来技術では、マーカーの特徴点を十分に精度良く抽出することは難しい。

この為、画像処理装置においては、マーカーの特徴点を高精度で抽出することが必要となる。本発明は、マーカーの特徴点を高精度で抽出することが出来る画像処理装置を提供することを目的とする。

本発明が開示する画像処理装置は、複数の第１色領域と、第１色領域とは異なる色の複数の第２色領域を有し、複数の第１色領域同士と、複数の第２色領域同士が互いに対向するマーカーを含む画像を取得する取得部を備える。更に、当該画像処理装置は、画像から第１色領域、または第２色領域を抽出する抽出部を備える。更に、当該画像処理装置は、抽出された第１色領域、または第２色領域の形状と、所定の楕円形状との第１類似度が所定の第１閾値を満たすまで第１色領域または第２色領域を減退する減退部を備える。第１閾値を満たした第１色領域または第２色領域と、所定の蝶形状との第２類似度を算出する算出部を備える。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、不鮮明な画像でもマーカーの特徴点を高精度で抽出することが可能となる。

（ａ）は、マーカーの第１の例を示す図である。（ｂ）は、マーカーの第２の例を示す図である。（ｃ）は、マーカーの第３の例を示す図である。 （ａ）は、マーカーを構成する色領域を正しく認識した場合の概念図である。（ｂ）は、マーカーを構成する色領域を誤って認識した場合の概念図である。 一つの実施形態による画像処理装置１の機能ブロック図である。 マーカーの配置状況の一例を示す図である。 算出部による蝶形状の判定フローチャートである。 （ａ）は、蝶形状ではない第１色領域を含む回転前の画像を示す図である。（ｂ）は、蝶形状ではない第１色領域を含む回転後の画像を示す図である。（ｃ）は、蝶形状ではない第１色領域の射影ヒストグラムである。 （ａ）は、蝶形状の第１色領域を含む回転前の画像を示す図である。（ｂ）は、蝶形状の第１色領域を含む回転後の画像を示す図である。（ｃ）は、蝶形状の第１色領域の射影ヒストグラムである。 マーカーを構成する第１色領域と第２色領域の領域ペアの概念図である。 画像処理装置１による画像処理のフローチャートである。 一つの実施形態による画像処理装置１のハードウェア構成図である。

図１（ａ）は、マーカーの第１の例を示す図である。図１（ｂ）は、マーカーの第２の例を示す図である。図１（ｃ）は、マーカーの第３の例を示す図である。図１（ａ）ないし図１（ｃ）において、マーカーは市松模様である。図１（ａ）に示す様に、マーカーは、例えば、４０センチメートル程度の正方形の領域の中心部に、円形領域を有する。また、図１（ｂ）、図１（ｃ）に示す様に、マーカーは、例えば、４０センチメートル程度の正方形の領域の中心部に、更に正方形領域を有する。

図１（ａ）ないし図１（ｃ）において、マーカーは、複数の第１色領域と、第１色領域とは異なる色の複数の第２色領域を有し、複数の第１色領域同士と、複数の第２色領域同士が互いに対向している。換言すると、マーカーは、例えば、白色領域と黒色領域とが互い違いの市松模様となっている。また、マーカーの中心部に位置する円形領域または正方形領域は、マーカーの中心部を挟んで、対向する白色領域の対と、黒色領域の対とを有する。なお、マーカーを、例えば、白黒の市松模様とするのは、例えば、マーカーの円形領域または正方形領域の中心を特徴点として抽出する為である。なお、本実施例においては、図１（ａ）に示すマーカーを用いて説明を行うが、図１（ｂ）または図１（ｃ）に示すマーカーを用いても実施可能である。また、説明の便宜上、第１色領域は白色領域に対応し、第２色領域は黒色領域に対応するものと説明するが、対応関係を逆に規定することも出来る。

本発明者らの鋭意検証により、不鮮明な画像からマーカーの特徴点を抽出する画像処理装置において、以下の課題が明らかになった。例えば、国際公開第２０１２／０６１２０５号パンフレットにおいて、不鮮明な画像でもマーカーの特徴点抽出する画像処理装置が開示されている。当該画像処理装置は、マーカーの特徴点が、市松模様のマーカーの白色領域の対（ペア）と、黒色領域の対（ペア）との交点であることに着目したもので、マーカーの色領域を抽出し、その位置関係によりマーカー特徴点を抽出する方法が開示されている。

上述の通り、校正処理を実施する照明環境の影響により、マーカーの一方の色領域が膨張し、他方の色領域が縮退して撮影される。この為、撮像画像のマーカーは、一方の色領域が侵食した状態（繋がった状態と称しても良い）で撮像画像上に現れうる。国際公開第２０１２／０６１２０５号パンフレットに開示される画像処理装置においては、侵食した領域を分離する為に、マーカーを構成する色領域の候補領域に対して、所定凸形状（楕円形状）との類似性の判定を行い、類似しない場合は縮退処理を実施することが開示されている。具体的には、例えば、当該画像処理装置は、マーカーを構成する色領域の候補領域から疑似的な楕円形状を算出する。画像処理装置は、当該楕円面積と候補領域の面積を比較し、面積の類似度が高い場合に凸形状（楕円形状）であると判定することで、マーカーを構成する色領域（白色領域と黒色領域の対）を特定する。

しかしながら、本発明者らの鋭意検証により、撮像画像のマーカーにおいて、一方の色領域がある程度の大きさで侵食した状態になった場合、撮像画像上で観測されるマーカーを構成する色領域の候補領域は、楕円形状ではなく蝶形状として観測されることが明らかになった。図２（ａ）は、マーカーを構成する色領域を正しく認識した場合の概念図である。図２（ｂ）は、マーカーを構成する色領域を誤って認識した場合の概念図である。図２（ａ）に示す様に、色領域に侵食が発生しない場合においては、マーカーを構成する色領域（例えば白色領域）を楕円形状と判定することで、マーカー構成する白色領域の対を認識することが出来る。

一方、図２（ｂ）に示す様に、色領域に侵食が発生する場合（例えば照明の光が強く明るい場合）、マーカー構成する白色領域の対が連結して蝶形状となる。この様な蝶形状においては、上述の楕円形状と候補領域の面積の比較において、面積の類似度が条件を満たし得るため、縮退処理が実施されない為に、マーカー構成する白色領域の対を特定すること出来ない課題が存在することが明らかになった。

本発明者らにより、所定の楕円形状との類似性の判定条件を、蝶形状を排除出来る様に、より厳しい判定条件に設定することが検証された。しかしながら、不鮮明な画像で判定条件を厳しく設定した場合、ロバスト性に影響が出ることが明らかになった。例えば、判定条件として面積を用いて比較する場合、類似していると判定する閾値を高く設定することが考えられる。しかし、不鮮明な画像の場合、市松模様のマーカー自体が歪んで撮像される為、マーカーを構成する色領域が分離されている状態であっても閾値を満たさなくなる問題がある。また、本発明者らにより、蝶形状のテンプレートを予め用意し、類似性を判定することも検証されたが、不鮮明な画像では、蝶形状も様々に歪んで撮像される為、テンプレートを適用することも難しいことが明らかになった。

上述の制約を鑑みつつ、本実施例においては、図２（ｂ）に示す様な、不鮮明な画像において、マーカー構成する白色領域の対が連結して蝶形状となる場合においてもマーカーの特徴点を高精度で抽出する画像処理装置を開示する。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、本実施例は、開示の技術を限定するものではない。

（実施例１）
図３は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、取得部２、抽出部３、減退部４、算出部５、認識部６を有する。なお、画像処理装置１は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。

取得部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部２は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部２は、外部装置が撮像する画像を受け取る。画像を撮像する外部装置は、例えば撮像素子である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。なお、撮像素子を、必要に応じて画像処理装置１に含めることも可能である。撮像素子は、例えば、市松模様のマーカーを撮像する。取得部２は、取得したマーカーが含まれる画像を抽出部３に出力する。

図４は、マーカーの配置状況の一例を示す図である。図４に示す通り、車両７に対し、複数の撮像素子８ａ〜８ｄが、例えば、車両７の全周囲を撮像可能な位置に設置される。なお、図４に示す８Ａ〜８Ｄは、車両７に設置された撮像素子８ａ〜８ｄの撮影範囲に該当する。図４に示す様に、撮像素子８аの撮影範囲８Ａの一部と、撮像素子８ｂの撮影範囲８Ｂの一部、ならびに撮像素子８ｃの撮像範囲８Ｃの一部とが重複している。また、撮像素子８ｄの撮影範囲８Ｄの一部と、撮像素子８ｂの撮影範囲８Ｂの一部、ならびに撮像素子８ｃの撮影範囲８Ｃの一部とが重複している。

図４において、車両７は、所定の停車位置に停車する。そして、車両７に設置された撮像素子８ａ〜８ｄのそれぞれが、例えば、最低４つのマーカーを撮影できる様に、車両７の周囲にマーカー９を配置する。この場合、ある撮像素子により撮影される４つのマーカー９のうちの２つのマーカー９は、隣接する撮像素子でも撮影されるようにマーカー９を配置しても良い。例えば、撮像素子８ａにより撮影される４つのマーカー９のうちの１つのマーカー９は、撮像素子８ａに隣接する撮像素子８ｂにより撮影される様に、マーカー９を配置しても良い。

更に、撮像素子８ａにより撮影される４つのマーカー９のうちの１つのマーカー９は、撮像素子８ａに隣接する撮像素子カメラ８ｃにより撮影される様にマーカー９を配置しても良い。換言すると、複数の撮像素子の撮影範囲が重複する位置にマーカー９を配置すればよい。但し、重複する位置を含め、マーカー９の車両７に対する物理的な配置位置は予め計測されているものとする。なお、撮像素子とマーカー９は一つでも良い為、実施例１においては、撮像素子とマーカー９は一つであるものとして説明する。なお、以降の説明のおいては、説明の便宜上のマーカー９の参照符号は省略する。

図３の抽出部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、抽出部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。抽出部３は、取得部２から画像を受け取り、当該画像から第１色領域、または第２色領域を抽出する。具体的には、抽出部３は、先ず、取得部２から受け取ったマーカーが含まれる画像（例えば、ＲＧＢカラーの原画像）を、次式に従って輝度を変化させることにより、グレースケール画像に変換する。

但し、上述の（数１）において、（ｘ、ｙ）は、原画像の位置（原点は、例えば、画像の左上端であれば良い）である。Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、ならびにＢ（ｘ、ｙ）は、原画像の位置（ｘ、ｙ）におけるＲ成分値、Ｇ成分値、ならびにＢ成分値である。

次に、抽出部３はグレースケール画像から２値画像をそれぞれ生成する。抽出部３は、例えば、グレースケール画像の画素値を所定の閾値と比較し、当該閾値以上の値を「１」、当該閾値未満の値を「０」に２値化を実施することにより、グレースケール画像から２値画像を生成する。例えば、市松模様の白色領域の候補が「１」、黒色領域の候補が「０」に設定される。なお、上述の所定の閾値は、固定値でなくともよく、対象画像に基づいて局所的もしくは大局的に動的に決定してもよい。公知の方法としては、例えば、大津の判別法やＮｉＢｌａｃｋ法などが存在する。

抽出部３は、２値化した２値化画像に対してラベリングを実施することにより、第１色領域と第２色領域（換言すると白色領域または黒色領域）を抽出する。なお、ラベリング方法は、例えば、公知の手法となる４連結（４近傍）法や８連結（８近傍）法を用いることが出来る。なお、抽出部３は、抽出結果を格納する図示しない画像バッファを具備しても良い。当該画像バッファは、例えば、上述の２値化画像と同じサイズの画像であり、かつ、白色（１）または黒色（０）で初期化されている。なお、画像バッファは、抽出部３ではなく、減退部４などが具備しても良い。抽出部３は、抽出した第１色領域と第２色領域を減退部４に出力する。

減退部４は、抽出部３が抽出した第１色領域と第２色領域を、抽出部３から受け取る。減退部４は、第１色領域と第２色領域の形状と、所定の楕円形状との第１類似度を算出する。なお、以降の処理は、第１色領域（白色領域）について処理する方法について説明する。第２色領域（黒色領域）についても、例えば白黒の反転処理を行うことで第１色領域と同様に処理することが出来る為、詳細な説明は省略する。

減退部４は、２値化画像に複数含まれる第１色領域のそれぞれが、楕円形状か否かを判定する。具体的には、減退部４は、先ず、ラベリングにより抽出された第１色領域に対応する疑似的な楕円の長軸と短軸を以下の手順で算出する。

２値化画像の位置（ｘ、ｙ）の２値化画像をＢＷ（ｘ、ｙ）とし、２値化画像に複数含まれる任意の第１色領域について判定処理を実施する場合、当該第１色領域のモーメントＭ_ｉｊは次式で定義される。

上述の（数２）において、モーメントＭ_ｉｊは、（ｉ＋ｊ）次のモーメントとも称される。ここで、次式で表現される０次モーメントは、第１色領域の面積となる。

上述の（数２）ならびに（数３）に基づいて第１色領域の重心座標（ｘ_Ｇ、ｙ_Ｇ）を算出することが出来る。

更に、重心周りのモーメントを、次式を用いて算出することが出来る。

上述の（数５）において、重心周りの２次モーメント（ＭＧ_２０、ＭＧ_０２、ＭＧ_１１の３つ）は、慣性モーメントと称される。ここで、０次モーメント（第１色領域の面積）で正規化した正規化慣性モーメントμ_ｉｊは次式で表現される。

上述の（数６）の右辺をモーメントＭ_ｉｊをのみを次式で表現することが出来る。

次に、第１色領域の楕円形状（面積はＭ_００）への近似を実施する為、近似する擬似的な楕円形状の長軸の長さａ、短軸の長さｂを、上述の（数７）を用いて、次式の通り算出する。

擬似的な楕円形状の面積Ｓは、上述の（数８）を用いて次式の通り、算出することが出来る。

図２（ａ）に示す様に、マーカーを構成する色領域に侵食が発生しない場合においては、マーカーを構成する色領域（例えば白色領域）を楕円形状と判定することで、マーカー構成する白色領域の対を認識することが出来る。換言すると、マーカーの白色領域の対が正常に分離した状態で撮像されている場合、白色領域の面積と、疑似的な楕円形状の面積とが大きく異なることは無い。そこで、図３の減退部４は、処理対象の第１色領域の面積と、その領域に当てはまる疑似的な楕円形状の面積との比（第１類似度と称しても良い）が所定の閾値（第１閾値と称しても良い）を満たしているか否かにより、処理対象としている第１色領域が楕円形状であるか否かを判定する。減退部４は、例えば、面積の比（第１類似度）を評価する次式を用いてを用いて評価値Ｅを算出し、第１閾値を例えば０．３と設定し、Ｅ＜０．３の場合は楕円形状であると判定し、Ｅ≧０．３の場合は楕円形状では無いと判定する。

なお、減退部４は、例えば、国際公開第２０１２／０６１２０５号パンフレットに開示される減退方法や評価方法を適宜適用することが出来る。

図３の算出部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部５は、減退部５にアクセスし、２値化画像に複数含まれる第１色領域において、上述の（数１０）の条件を満たすことによって楕円形状と判定された第１色領域と、所定の蝶形状との第２類似度を算出する。ここで、算出部５による楕円形状と判定された第１色領域と、所定の蝶形状との第２類似度を算出する技術的な意義について説明する。本発明者らの検証により、図２（ｂ）に示す様に、色領域に侵食が発生する場合（例えば照明の光が強く明るい場合）、マーカー構成する第１色形状の対が連結して蝶形状となることが明らかになった。この様な蝶形状においては、上述の（数１０）の条件を満たし得るため、縮退処理が実施されない為に、マーカー構成する白色領域の対を特定すること出来ない誤検出の問題が生じる。しかしながら、上述の（数１０）の条件を満たした場合において、蝶形状であるか否かを判定することが可能となれば、誤検出を防止することが出来、ロバスト性が向上する。なお、算出部５による所定の蝶形状との第２類似度の算出方法については後述する。

算出部５は、処理対象となる第１色領域が蝶形状で無いと判定した場合は、当該第１色領域を、マーカーを構成する第１色領域の候補とする。算出部５は、抽出部３が有する画像バッファにアクセスし、画像バッファに、当該第１色領域をコピーし、元の画像の第１色領域の範囲を消去する（黒で塗りつぶす）ことを実施しても良い。また、算出部５は、処理対象となる第１色領域が蝶形状であると判定した場合は、当該第１色領域が楕円形状であったとしてもマーカーを構成する第１色領域の候補としない。算出部５は、複数の第１色領域に対して第２類似度を算出し、蝶形状か否かの判定処理を行うと、画像バッファには、マーカーを構成する第１色領域候補が抽出され、元の２値化画像には、候補ではない第１色領域が残存している。

上述の算出部５の処理が実施された後に縮退部４は、元の２値化画像の縮退処理を行う。換言すると、減退部４は、楕円形状と判定されなかった第１色領域または、楕円形状と判定されたが蝶形状と判定された第１色領域に対して減退処理を実行する。なお、縮退処理は、第１色領域（白色領域）の外周の画素を１画素ずつ削る（削除する）方法や、第１色領域のエッジ部分の画素を所定のフィルタリング処理で削る方法など、様々な公知の技術を用いることが出来る。縮退部４による縮退処理が完了すると、抽出部３は、縮退後の２値化画像に対して再度ラベリングを実施することにより、第１色領域と第２色領域（換言すると白色領域または黒色領域）を再度抽出し、減退部４と算出部５は上述した一連の処理を第１色領域が消滅するまで反復する。反復処理が完了した場合、画像バッファには、マーカーを構成する第１色領域の候補が抽出されている。なお、第２色領域（黒色領域）についても、例えば白黒の反転処理を行うことで第１色領域と同様に処理することが出来る為、以下の処理においても詳細な説明は省略する。

ここで、算出部５による楕円形状と判定された第１色領域が所定の蝶形状か否かを判定する方法について説明する。図５は、算出部５による蝶形状の判定フローチャートである。算出部５は、楕円形状であると判定された第１色領域を入力データとして、当該第１色領域の重心位置を算出する（ステップＳ５０１）。ステップＳ５０１において、算出部５は、第１色領域の重心位置を上述の（数４）に基づいて算出することが出来る。

次に、算出部５は、処理対象となる第１色領域の慣性主軸を算出する（ステップＳ５０２）。なお、算出部５は慣性主軸を次式に基づいて算出することが出来る。

なお、慣性主軸は、ステップＳ５０１で算出した重心位置を通過する上述の（数１１）で算出される角度θの傾きを有する直線である。

次に、算出部５は、処理対象となる第１色領域において、算出した慣性主軸上への射影ヒストグラムを生成する（ステップＳ５０３）。なお、算出部５は、ステップＳ５０３において、射影ヒストグラムを、例えば、以下の手順で生成することが出来る。
（１）処理対象となる第１色領域が含まれる画像を、上述の（数４）を用いて算出した重心座標（ｘ_Ｇ、ｙ_Ｇ）の周りに、上述の（数１１）に基づいて算出される角度（−θ）だけ回転させる。なお、回転後の画像においては、慣性主軸の方向が画像の横方向（換言するとｘ軸方向）になる。
（２）回転後の画像の各列方向（縦方向、換言するとｙ軸方向）に、第１色領域の画素数をカウントする。各列毎の画素数のカウント結果が射影ヒストグラムとなる。

図６（ａ）は、蝶形状ではない第１色領域を含む回転前の画像を示す図である。図６（ｂ）は、蝶形状ではない第１色領域を含む回転後の画像を示す図である。図７（ａ）は、蝶形状の第１色領域を含む回転前の画像を示す図である。図７（ｂ）は、蝶形状の第１色領域を含む回転後の画像を示す図である。図６（ａ）、図７（ａ）に示す通り、左上端を原点とする画像に含まれる第１色領域においては、重心座標（ｘ_Ｇ、ｙ_Ｇ）と傾きθの慣性主軸が規定される。また、図６（ｂ）、図７（ｂ）に示す通り、第１色領域は、慣性主軸の方向が画像のｘ軸と平行方向となる様に回転される。

図６（ｃ）は、蝶形状ではない第１色領域の射影ヒストグラムである。図７（ｃ）は、蝶形状の第１色領域の射影ヒストグラムである。図６（ｃ）に示す射影ヒストグラムは単峰形状になっており、図７（ｃ）に示す射影ヒストグラムは、双峰形状多峰性になっていることが確認出来る。この為、算出部５は、射影ヒストグラムが所定の双峰形状との類似度（第２類似度と称しても良い）が所定の類似度（第２閾値と称しても良い）以上であれば、第１色領域が蝶形状であること判定出来る。

図５において、算出部５は、ステップＳ５０３で生成した射影ヒストグラムの重心位置を算出する（ステップＳ５０４）。重心位置は、例えば、回転後の画像の第１色領域の重心位置のｘ座標であれば良い。ところで、図７（ａ）ないし図７（ｃ）に示される通り、第１色領域が蝶形状であれば、重心位置付近に射影ヒストグラムの極小値が存在することが理解できる。そこで、次に、算出部５は、射影ヒストグラムの重心位置から所定の探索範囲内において、最小値と当該最小値位置を探索する（ステップＳ５０５）。所定探索範囲は、例えば、射影ヒストグラムの重心位置から左端（または右端）までの距離の０．６倍までと設定すれば良い。これは、射影ヒストグラムが双峰形状であれば、重心位置から左端（または右端）までの距離の１／２の距離の付近に極大値があると考えられ、それよりやや大きい０．６を設定すれば、探索される最小値は極小値である可能性が高い為である。

算出部５は、ステップＳ５０５において、射影ヒストグラムから、探索により最小値位置を得たのち、最小値位置よりも左側と右側でそれぞれ最大値を探索し、探索した最大値を、それぞれ左極大値ならびに右極大値として設定する（ステップＳ５０６）。次に、算出部５は、左極大値ならびに右極大値と先に探索した最小値との比率をそれぞれ計算し、これを左比率ならびに右比率（第２類似度と称しても良い）として設定する（ステップＳ５０７）。

射影ヒストグラムが蝶領域であれば、探索した最小値位置の左右にはそれぞれ上に凸の領域が存在する為、左比率と右比率（第２類似度）は、蝶形状でない場合と比較して大きな値になる。そこで、算出部５は、左比率と右比率がともに第２閾値なる所定の閾値（例えば３．０）以上であるか否かを判定する（ステップＳ５０８）。算出部５は、処理対象となる第１色領域の第２類似度が、第２閾値以上の場合（ステップＳ５０８−Ｙｅｓ）、双峰性を有するものとして、蝶型形状肯定の結果を出力する（ステップＳ５０９）。また、算出部５は、処理対象となる第１色領域の第２類似度が第２閾値未満の場合（ステップＳ５０８−Ｎｏ）、双峰性を有さないものとして、蝶型形状否定の結果を出力する（ステップＳ５１０）。ステップＳ５０９またはＳ５１０の処理の完了に伴い、算出部５は、図５のフローチャートに示す蝶形状の判定処理を終了する。算出部５は、蝶形状判定の処理結果を図３の認識部６へ出力する。

図３の認識部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、認識部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。認識部６は、算出部５から蝶形状判定の処理結果を受け取る。認識部６は、蝶形状判定の処理結果に基づいて第２類似度が第２閾値を満たさない第１色領域または第２色領域を、マーカーを構成する第１色領域または第２色領域として認識する。具体的には、認識部６は、認識したマーカーを構成する第１色領域または第２色領域を用いて、マーカーの特徴点すなわち市松模様の交点を検出する。換言すると、認識部５は、第２閾値を満たさなく、かつ、互いに対向する複数の第１色領域の所定位置を連結する第１線分と、第２閾値を満たさなく、かつ、互いに対向する複数の第２色領域の所定位置を連結する第２線分と、の交点をマーカーの特徴点として認識する。具体的には、認識部６は、例えば、以下の処理を実行する。

マーカーの構成する色領域の候補は複数抽出されている場合も有り得るが、マーカーを構成する第１色領域ならびに第２色領域であるには、２つの白色領域と２つの黒色領域からなる必要がある。また、白色領域のそれぞれの重心を結んだ線分と、黒領域のそれぞれの重心を結んだ線分が交差する必要がある。抽出した領域ペアが、複数に渡る場合は、認識部６は、領域ペアを更に絞り込んでも良い。認識部６は、例えば、マーカーの画像上での大凡のサイズを利用し、領域ペアのうち、重心間の距離が所定値（例えば、マーカーのおおよそのサイズ）以内のものに絞り込んでも良い。次に、認識部６は、抽出された複数の領域ペアに対して検証処理を行う。例えば、マーカーの形状は既知であるから、あらかじめマーカー形状のテンプレートを用意しておき、テンプレートマッチングのスコアをもとにマーカーらしい領域ペアを選択する。なお、画像上のマーカーは歪んで現れ得るため、テンプレートマッチングの際には、領域ペアの各領域の重心位置が、マーカー形状のテンプレートの各領域の重心位置に一致するように領域ペアの画像を、例えばアフィン変換することで、歪みを補正しておくことが好ましい。

上述の処理によって認識部６は、マーカーを構成する第１色領域と第２色領域の領域ペアを選択することが出来る。認識部６は、選択した領域ペアの重心を結んだ線分の交点を市松模様の交点として抽出し、マーカーの特徴点として認識する。

認識部６は、上述の条件を満たす白色領域ペアと黒色領域ペアを含む４領域（以下、領域ペアと称する）の組み合わせを認識する。図８は、マーカーを構成する第１色領域と第２色領域の領域ペアの概念図である。図８に示す通り、認識部６は、互いに対向する第１色領域の重心位置を連結する第１線分と、互いに対向する第２色領域の重心位置を連結する第２線分の交点がマーカーの特徴点として認識することが出来る。なお、認識部６は、例えば、国際公開第２０１２／０６１２０５号パンフレットに開示される特徴点の決定方法を適宜適用することが出来る。

図９は、画像処理装置１における画像処理のフローチャートである。図９において、取得部２は、外部装置が撮像する撮像画像を取得する（ステップＳ９０１）。抽出部３は、取得部２から画像を受け取り、当該画像から第１色領域、または第２色領域を上述の方法で抽出する（ステップＳ９０２）。なお、説明の便宜上、第１色領域ならびに第２色領域を合わせて色領域と称することとする。減退部４は、抽出された第１色領域、または第２色領域の領域数が０より多い場合（ステップＳ９０３−Ｙｅｓ）、抽出された複数の色領域から１つの色領域を選択する（ステップＳ９０４）。減退部４は、選択した色領域の形状と、所定の楕円形状との第１類似度を上述の方法を用いて算出する（ステップＳ９０５）。減退部４は、例えば、上述の（数１０）に基づいて第１類似度と第１閾値を比較し、選択した色領域が楕円形状を満たすか否かを判断する（ステップＳ９０６）。

第１類似度が第１閾値未満の場合（ステップＳ９０６−Ｙｅｓ）、選択した色領域が楕円形状を満たすものとして、算出部５は、上述の方法で第２類似度を算出する（ステップＳ９０７）。算出部５は、選択した色領域が蝶形状を満たすか否かを、第２類似度と第２閾値を比較することで判定する（ステップＳ９０８）。第２類似度が第２閾値未満（ステップＳ９０８−Ｎｏ）の場合は、認識部６は、選択した色領域が蝶形状を満たさないものとして、換言すると、選択した色領域がマーカーを構成する色領域として認識する（ステップＳ９０９）。なお、画像処理装置１は、ステップＳ９０６において、第１類似度が第１閾値以上の場合（ステップＳ９０６−Ｎｏ）や、ステップＳ９０８において、第２類似度が第２閾値以上（ステップＳ９０８−Ｙｅｓ）の場合は、選択した色領域がマーカーを構成しない色領域としてステップＳ９１０に処理を進める。画像処理装置１は、ステップＳ９０２で抽出部３が抽出した、全ての色領域において第１類似度と第１閾値ならびに第２類似度と第２閾値の比較処理が完了したか否かを判定する（ステップＳ９１０）。ステップＳ９１０において、比較処理が完了していない場合（ステップＳ９１０−Ｎｏ）、画像処理装置１は、ステップＳ９０４〜Ｓ９１０の処理を繰り返す。

ステップＳ９１０において、比較処理が完了した場合（ステップＳ９１０−Ｙｅｓ）、減退部４は、ステップＳ９０６で楕円形状と判定されなかった色領域または、ステップＳ９０８で楕円形状と判定されたが蝶形状と判定された色領域に対して減退処理を実行する（ステップＳ９１１）。ステップＳ９１１の処理が完了すると、抽出部３は再び色領域を抽出する。次に、減退部４は、抽出された色領域の数が０以上か否かを判定する（Ｓ９０３）。なお、ステップＳ９１１で減退処理を行っている為、色領域は次第に消滅する為、ステップＳ９０２〜Ｓ９１１の処理を繰り返すことによって、いずれは、色領域数が０となる（ステップＳ９０３−Ｎｏ）。

ステップＳ９０３において、色領域数が０となった場合（ステップＳ９０３−Ｎｏ）、認識部は、ステップＳ９０９で認識したマーカーを構成する色領域から、上述した方法で特徴点を認識する（ステップＳ９１２）。ステップＳ９１２の処理の完了に伴い、画像処理装置１は、図９のフローチャートに示す画像処理を完了させる。

実施例１に係る画像処理装置においては、不鮮明な画像において、マーカー構成する白色領域の対が連結して蝶形状となる場合においてもマーカーの特徴点を高精度で抽出することが可能となる。

（実施例２）
図１０は、一つの実施形態による画像処理装置１のハードウェア構成図である。図１０に示すように、画像処理装置１は、制御部１０、主記憶部１１、補助記憶部１２、ドライブ装置１３、ネットワークＩ／Ｆ部１５、入力部１６、表示部１７を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部１０は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１０は、主記憶部１１や補助記憶部１２に記憶されたプログラムを実行する演算装置であり、入力部１６や記憶装置からデータを受け取り、演算、加工した上で、表示部１７や記憶装置などに出力する。

主記憶部１１は、ＲＯＭやＲＡＭなどであり、制御部１０が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

補助記憶部１２は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１３は、記録媒体１４、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部１２にインストールする。また、記録媒体１４に、所定のプログラムを格納し、この記録媒体１４に格納されたプログラムはドライブ装置１３を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。

ネットワークＩ／Ｆ部１５は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。

入力部１６は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１７の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部１６は、ユーザが制御部１０に操作指示を与えたり、データを入力したりするためのユーザインタフェースである。

表示部１７は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成され、制御部１０から入力される表示データに応じた表示が行われる。

なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することが出来る。

また、このプログラムを記録媒体１４に記録し、このプログラムが記録された記録媒体１４をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１４は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることが出来る。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが出来る。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することが出来る。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の第１色領域と、前記第１色領域とは異なる色の複数の第２色領域を有し、複数の前記第１色領域同士と、複数の前記第２色領域同士が互いに対向するマーカーを含む画像を取得する取得部と、
前記画像から前記第１色領域、または前記第２色領域を抽出する抽出部と、
抽出された前記第１色領域、または前記第２色領域の形状と、所定の楕円形状との第１類似度が所定の第１閾値を満たすまで前記第１色領域または前記第２色領域を減退する減退部と、
前記第１閾値を満たした前記第１色領域または前記第２色領域と、所定の蝶形状との第２類似度を算出する算出部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記第２類似度が所定の第２閾値を満たさない前記第１色領域または前記第２色領域を、前記マーカーを構成する前記第１色領域または前記第２色領域として認識する認識部を更に備えることを特徴とする付記１記載の画像処理装置。
（付記３）
前記算出部は、前記第１閾値を満たした前記第１色領域または前記第２色領域の慣性主軸を算出し、前記慣性主軸に対する射影ヒストグラムを生成し、前記射影ヒストグラムと所定の双峰形状との類似度を前記第２類似度として算出することを特徴とする付記２記載の画像処理装置。
（付記４）
前記減退部は、前記第２閾値を満たした前記第１色領域または前記第２色領域が、前記第１閾値を満たすまで前記第１色領域または前記第２色領域を減退することを特徴とする付記３記載の画像処理装置。
（付記５）
前記認識部は、前記第２閾値を満たさなく、かつ、互いに対向する複数の前記第１色領域の所定位置を連結する第１線分と、
前記第２閾値を満たさなく、かつ、互いに対向する複数の前記第２色領域の所定位置を連結する第２線分と、の交点を前記マーカーの特徴点として認識する付記２ないし付記４のいずれか一つに記載の画像処理装置。
（付記６）
前記マーカーは市松模様であることを特徴とする付記１ないし付記４のいずれか一つに記載の画像処理装置。
（付記７）
前記減退部は、前記第１色領域または前記第２色領域の外周の画素を削除、またはエッジ部分のフィルタリングにより、前記第１色領域または前記第２色領域を減退させることを特徴とする付記１記載の画像処理装置。
（付記８）
複数の第１色領域と、前記第１色領域とは異なる色の複数の第２色領域を有し、複数の前記第１色領域同士と、複数の前記第２色領域同士が互いに対向するマーカーを含む画像を取得し、
前記画像から前記第１色領域、または前記第２色領域を抽出し、
抽出された前記第１色領域、または前記第２色領域の形状と、所定の楕円形状との第１類似度が所定の第１閾値を満たすまで前記第１色領域または前記第２色領域を減退し、
前記第１閾値を満たした前記第１色領域または前記第２色領域と、所定の蝶形状との第２類似度を算出する
ことを含むことを特徴とする画像処理方法。
（付記９）
前記第２類似度が所定の第２閾値を満たさない前記第１色領域または前記第２色領域を、前記マーカーを構成する前記第１色領域または前記第２色領域として認識することを更に含む備えることを特徴とする付記８記載の画像処理方法。
（付記１０）
前記算出することは、前記第１閾値を満たした前記第１色領域または前記第２色領域の慣性主軸を算出し、前記慣性主軸に対する射影ヒストグラムを生成し、前記射影ヒストグラムと所定の双峰形状との類似度を前記第２類似度として算出することを特徴とする付記９記載の画像処理方法。
（付記１１）
前記減退することは、前記第２閾値を満たした前記第１色領域または前記第２色領域が、前記第１閾値を満たすまで前記第１色領域または前記第２色領域を減退することを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記認識することは、前記第２閾値を満たさなく、かつ、互いに対向する複数の前記第１色領域の所定位置を連結する第１線分と、
前記第２閾値を満たさなく、かつ、互いに対向する複数の前記第２色領域の所定位置を連結する第２線分と、の交点を前記マーカーの特徴点として認識する付記９ないし付記１１のいずれか一つに記載の画像処理方法。
（付記１３）
前記マーカーは市松模様であることを特徴とする付記８ないし付記１１のいずれか一つに記載の画像処理方法。
（付記１４）
前記減退することは、前記第１色領域または前記第２色領域の外周の画素を削除、またはエッジ部分のフィルタリングにより、前記第１色領域または前記第２色領域を減退させることを特徴とする付記８記載の画像処理方法。
（付記１５）
コンピュータに、
複数の第１色領域と、前記第１色領域とは異なる色の複数の第２色領域を有し、複数の前記第１色領域同士と、複数の前記第２色領域同士が互いに対向するマーカーを含む画像を取得し、
前記画像から前記第１色領域、または前記第２色領域を抽出し、
抽出された前記第１色領域、または前記第２色領域の形状と、所定の楕円形状との第１類似度が所定の第１閾値を満たすまで前記第１色領域または前記第２色領域を減退し、
前記第１閾値を満たした前記第１色領域または前記第２色領域と、所定の蝶形状との第２類似度を算出する
ことを実行させることを特徴とする画像処理プログラム。

１ 画像処理装置
２ 取得部
３ 抽出部
４ 減退部
５ 算出部
６ 認識部

Claims (7)

1. 複数の第１色領域と、前記第１色領域とは異なる色の複数の第２色領域を有し、複数の前記第１色領域同士と、複数の前記第２色領域同士が互いに対向するマーカーを含む画像を取得する取得部と、
   前記画像から前記第１色領域、または前記第２色領域を抽出する抽出部と、
   抽出された前記第１色領域、または前記第２色領域の形状と、所定の楕円形状との第１類似度が所定の第１閾値を満たすまで前記第１色領域または前記第２色領域を減退する減退部と、
   前記第１閾値を満たした前記第１色領域または前記第２色領域と、所定の蝶形状との第２類似度を算出する算出部と、
   を備えることを特徴とする画像処理装置。
2. 前記第２類似度が所定の第２閾値を満たさない前記第１色領域または前記第２色領域を、前記マーカーを構成する前記第１色領域または前記第２色領域として認識する認識部を更に備えることを特徴とする請求項１記載の画像処理装置。
3. 前記算出部は、前記第１閾値を満たした前記第１色領域または前記第２色領域の慣性主軸を算出し、前記慣性主軸に対する射影ヒストグラムを生成し、前記射影ヒストグラムと所定の双峰形状との類似度を前記第２類似度として算出することを特徴とする請求項２記載の画像処理装置。
4. 前記減退部は、前記第２閾値を満たした前記第１色領域または前記第２色領域が、前記第１閾値を満たすまで前記第１色領域または前記第２色領域を減退することを特徴とする請求項３記載の画像処理装置。
5. 前記認識部は、前記第２閾値を満たさなく、かつ、互いに対向する複数の前記第１色領域の所定位置を連結する第１線分と、
   前記第２閾値を満たさなく、かつ、互いに対向する複数の前記第２色領域の所定位置を連結する第２線分と、の交点を前記マーカーの特徴点として認識する請求項２ないし請求項４のいずれか一項に記載の画像処理装置。
6. 複数の第１色領域と、前記第１色領域とは異なる色の複数の第２色領域を有し、複数の前記第１色領域同士と、複数の前記第２色領域同士が互いに対向するマーカーを含む画像を取得し、
   前記画像から前記第１色領域、または前記第２色領域を抽出し、
   抽出された前記第１色領域、または前記第２色領域の形状と、所定の楕円形状との第１類似度が所定の第１閾値を満たすまで前記第１色領域または前記第２色領域を減退し、
   前記第１閾値を満たした前記第１色領域または前記第２色領域と、所定の蝶形状との第２類似度を算出する
   ことを含むことを特徴とする画像処理方法。
7. コンピュータに、
   複数の第１色領域と、前記第１色領域とは異なる色の複数の第２色領域を有し、複数の前記第１色領域同士と、複数の前記第２色領域同士が互いに対向するマーカーを含む画像を取得し、
   前記画像から前記第１色領域、または前記第２色領域を抽出し、
   抽出された前記第１色領域、または前記第２色領域の形状と、所定の楕円形状との第１類似度が所定の第１閾値を満たすまで前記第１色領域または前記第２色領域を減退し、
   前記第１閾値を満たした前記第１色領域または前記第２色領域と、所定の蝶形状との第２類似度を算出する
   ことを実行させることを特徴とする画像処理プログラム。

Images