JP6221283B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、デジタル画像から特徴点を検出する技術に関する。

画像における特徴点を抽出する技術として、コーナー検出法が知られている。コーナー検出法では、例えば、ＨａｒｒｉｓオペレータやＳＵＳＡＮオペレータを用いて、特徴点として、画像内の物体の形状におけるコーナーを検出する。コーナーは、２つのエッジの交点となる画素であって、コーナー検出法は、当該画素を特徴点として抽出する。

ここで、デジタル画像においては、ジャギーが発生することが知られている。ジャギーとは、画像における物体や文字などの輪郭に見られる階段状のギザギザのことである。デジタル画像はＸ軸方向またはＹ軸方向に規則的に並んだ複数の画素で表現されるため、物体や文字の輪郭のうち、画像のＸ軸またはＹ軸方向に平行でない部分は、階段状で表現されることとなる。よって、ジャギーが発生する。ジャギーは階段状に発生するため、ジャギーに相当する画素は、２方向のエッジを構成する。

コーナー検出のための各種オペレータにより抽出した特徴点から、不要に抽出された点を除外する画像特徴点抽出方法がある（例えば、特許文献１）。当該画像特徴点抽出方法は、例えば、アフィン変換により画像を変動させた複数の画像データを取得し、画像データごとに、各種オペレータにより特徴点を抽出する。

そして、当該画像特徴点抽出方法は、変動前の画像における、各画像データから抽出した特徴点に対応する位置を求める。そして、画像の変動に付随して抽出される特徴点のみが選択され、他の点は、不要に抽出された特徴点として除外される。

特開２０１１−４３９６９号公報

上記画像特徴点抽出方法によれば、ジャギー由来の特徴点と、画像に撮像された物体等に由来する特徴点とを区別するとともに、物体等に由来する特徴点を抽出することができる。

しかし、ある時点で撮影された画像から物体等に由来する特徴点を抽出するために、複数の画像データを生成することが要される。複数の画像データ生成にかかる処理負荷が増加するとともに、複数の画像データを保持するための記憶領域を確保する必要がある。

そこで、ひとつの側面では、本発明は、効率的に、画像中の物体に関するコーナーを、特徴点として抽出することを目的とする。

上記課題を解決する為に、ひとつの実施態様においては、画像処理装置が、複数の画素が縦方向および横方向に配列された画像である画像データを撮像装置から取得する取得部と、前記画像データにおいて、縦方向および横方向の各配列における前記複数の画素が形成するエッジのうち、前記縦方向におけるエッジの前記縦方向の幅または前記横方向におけるエッジの前記横方向の幅が一個の画素に相当するエッジを形成する画素を特徴点の抽出対象から除外して、コーナーを示す特徴点を抽出する抽出部とを有する。

本発明の一観点によれば、効率的に、画像中の物体に関するコーナーを、特徴点として抽出することが可能になる。

図１Ａおよび図１Ｂは、ジャギー由来の特徴点候補と、物体由来の特徴点候補とを説明するための図である。 図２は、画像処理装置の機能ブロック図である。 図３Ａおよび図３Ｂは、ジャギー由来の特徴点候補を特定する第一の方法を説明するための図である（その１）。 図４Ａおよび図４Ｂは、ジャギー由来の特徴点候補を特定する第一の方法を説明するための図である（その２）。 図５Ａおよび図５Ｂは、ジャギー由来の特徴点候補を特定する第二の方法を説明するための図である。 図６は、画像処理方法のフローチャートである。 図７は、ジャギー由来の特徴点候補を特定する第一の方法にかかるフローチャートである。 図８は、ジャギー由来の特徴点候補を特定する第二の方法にかかるフローチャートである。 図９は、画像処理装置のハードウェア構成例である。

以下詳細な本発明の実施例に関して説明する。なお、以下の各実施例は、処理の内容を矛盾させない範囲で適宜組み合わせることが可能である。以下、図面に基づいて各実施例について説明する。

まず、Ｈａｒｒｉｓオペレータを採用したコーナー検出法について、簡単に説明する。なお、本実施例おいても、Ｈａｒｒｉｓオペレータを利用する。ただし、本実施例に開示の技術は、これに限られず、Ｍｏｒａｖｅｃオペレータなどの他のオペレータを採用することも可能である。

Ｈａｒｒｉｓオペレータは、画像における各画素の輝度情報に基づいて、Ｘ軸方向およびＹ軸方向各々のエッジ強度と、周囲との相関とに依存する特徴量を算出するためのオペレータである。Ｈａｒｒｉｓオペレータに限らず、コーナー検出法に利用される各種オペレータは、画像における各画素の輝度情報に基づき、特徴量を算出する。特徴量は、各画素のＸ軸方向およびＹ軸方向各々のエッジ強度と、周囲との相関とに依存する値である。

特徴量は、Ｘ軸方向およびＹ事項方向ともにエッジ強度が大きな画素ついて、より大きな値となる。つまり、特徴量が大きな画素は、横方向のエッジを構成する辺と縦方向のエッジを構成する辺を有する可能性が高い画素ということになる。また、特徴量は、画像上で、ある画素を中心とした矩形と、近傍画素を中心とした矩形との相関が小さい場合に、より大きな値となる。つまり、周囲との相関が小さい画素は、エッジの中心部分に存在する画素である可能性よりも、エッジの端部分に存在する画素である可能性が高い画素ということになる。

ここからは、従来のコーナー検出法について、説明する。従来のコーナー検出法は、Ｈａｒｒｉｓオペレータにより求められた特徴量に基づき、コーナーを形成する画素を、特徴点として検出する。例えば、閾値以上の特徴量を有する画素が、コーナーを形成する画素として検出される。

一方、本実施例においては、後述するように、ジャギー由来のコーナーについては、特徴点の抽出対象から除外する。つまり、物体由来のコーナーが抽出される。例えば、本実施例においては、特徴量に基づき検出された画素を、まず、特徴点候補とする。さらに、特徴点候補からジャギー由来の特徴点候補が除去され、残りの特徴点候補が、物体に由来する特徴点として検出される。

本実施例における特徴点候補は、ジャギー由来のコーナーおよび物体由来のコーナーである可能性が高い画素を含む。一方、最終的に抽出される特徴点は、後述の処理により、抽出された特徴点候補からジャギー由来の特徴点候補が除外された、特徴点候補を含む。

ここで、本実施例における特徴点候補と特徴点とをさらに詳しく説明する。図１Ａおよび図１Ｂは、ジャギー由来の特徴点候補と、物体由来の特徴点候補とを説明するための図である。図１Ａは、撮像画像全体を示す図である。なお、ＸおよびＹは、各々画素の配列方向を示す。

図１Ａが示す画像には、四角形の物体が、２つ、撮影されている。２つの四角形のうち一つについては、輪郭は、画素の配列方向に平行である。一方、他方については、輪郭の少なくとも一部は、画素の配列方向に対して平行ではない。図１Ａに示す撮影画像において、本来、四角形の物体由来の特徴点として、例えば、１０１、１０２、１０３、１０４の点が認められる。

また、図１Ｂは、ジャギー由来の特徴点候補を説明するための図である。なお、図１Ｂは、図１Ａにおける領域１００を、拡大したものである。１２１，１２２，１２３，１２４の画素は、画素の配列方向に対して平行ではない、物体の輪郭を表現するために発生したジャギーに由来するコーナーである。従来のコーナー検出法によれば、図１Ｂに示すように、図１Ａにおける１０１、１０２、１０３、１０４に対応する１１１，１１２，１１３，１１４以外に、１２１，１２２，１２３，１２４などの画素も、特徴点候補として検出される可能性がある。なぜなら、従来の特徴量は、コーナーである可能性が高い画素について大きな値となるため、ジャギー由来のコーナーと物体由来のコーナーとを区別できないためである。

画素の配列によって発生したジャギー由来の特徴点は、本来、特徴点として検出すべきではない。本実施例においては、特徴点候補の中から、ジャギー由来の特徴点候補を除外し、最終的な特徴点を検出する。例えば、特徴点候補１１１，１１２，１１３，１１４，１２１，１２２，１２３，１２４の中から、ジャギー由来の特徴点候補１２１，１２２，１２３，１２４を除外して、特徴点１１１，１１２，１１３，１１４を検出する。

つぎに、図２を用いて、本実施例にかかる画像処理装置の機能的な構成を説明する。図２は、画像処理装置の機能ブロック図である。

なお、本実施例にかかる画像処理装置は、特徴点を検出するとともに、検出した特徴点を用いて、特定の処理を実行する。例えば、画像処理装置は、複数の画像各々から、物体に由来する特徴点抽出するとともに、複数画像間で、特徴点同士を対応付ける。対応付けられた特徴点の動きから、画像内の接近物を検知する。

なお、画像処理装置は、特徴点の検出結果を、他の装置へ出力し、他の装置が接近物の検知処理を実行するとしても良い。また、画像処理装置は、対応付けられた特徴点の動き量から、撮像装置が搭載されている移動体の移動速度を算出してもよい。このように、画像処理装置は、本実施例にかかる方法で抽出された特徴点を、さまざまな処理に利用可能である。

画像処理装置１は、本実施例にかかる特徴点の抽出処理を実行するコンピュータである。撮像装置２は、特徴点の抽出の対象となる画像を撮像する装置である。例えば、撮像装置２は、一定のフレーム間隔で画像を撮影するカメラである。警報装置３は、表示または音声にて、接近物の存在を警報する装置である。例えば、警報装置３は、ディスプレイやマイクを備えるカーナビゲーションシステムである。

本実施例においては、画像処理装置１と撮像装置２は、通信可能なように接続されている。また、画像処理装置１と警報装置３も、通信可能なように接続されている。なお、画像処理装置１と撮像装置２、または、画像処理装置１と警報装置３の少なくとも一方が、ネットワークを介して、接続されてもよい。

画像処理装置１は、取得部１１、抽出部１２、検知部１３、出力部１４、記憶部１５を備える。

取得部１１は、撮像装置２から、順次、画像データを取得する。ここでいう画像データは、撮像装置２が撮影した画像に関するデータである。画像データは、少なくとも、各画素についての輝度情報を含む。また、画像データは、ＲＧＢなどの色情報を含んでもよい。

なお、図１Ａに示した画像は、画像データに基づき描画処理が実行された結果である。なお、必要に応じて、撮像装置２から警報装置３が画像データを取得して、警報装置３が有するディスプレイに画像が表示されてもよい。

抽出部１２は、画像から特徴点を抽出する。抽出部１２は、複数の画素が、縦方向および横方向に、複数個の画素が配列したエッジを形成するかを、輝度情報に基づき判定するとともに、判定結果に基づき、コーナーを示す特徴点を抽出する。

例えば、抽出部１２は、複数の画素が、縦方向および横方向に、複数個の画素が配列したエッジを形成する場合、当該エッジを形成する画素のうちコーナーにあたる画素を、特徴点を抽出する。一方、抽出部１２は、取得した画像データにおいて、縦方向および横方向に、単一の画素が配列したエッジを形成する画素については、特徴点として抽出しない。

特徴点の抽出の一例について、より具体的に説明する。例えば、画像データに含まれる輝度情報に基づき、抽出部１２は、特徴量を算出する。なお、Ｈａｒｒｉｓオペレータを利用した場合は、数１に基づき特徴量ｄｓｔ（ｘ，ｙ）が算出される。なお、ｋは、０．０４−０．１５の間の数であることが望ましい。また、ｄｓｔ（ｘ，ｙ）の算出に用いられるＭは、数２により求められる。ここで、係数ｋは調整パラメータであり、ｄＩ／ｄｘは輝度値Ｉの横方向の傾き、ｄＩ／ｄｙは縦方向の傾きである。

つぎに、抽出部１２は、各画素の特徴量に基づき、特徴点候補を抽出する。例えば、特徴量が閾値以上である画素を特徴点候補として抽出する。また、抽出部１２は、ある画素を中心とした近傍Ｎ個の画素のうち最大の特徴量を有する画素を、特徴点候補として抽出してもよい。例えば、ある画素を中心として、上下左右各々４つの画素のうち、最大の特徴量を有する画素が抽出される。

また、特徴点候補の抽出に先駆けて、特徴量は二値化されてもよい。例えば、特徴量は二値化される。この場合、以下説明する処理は、二値化された特徴量に基づき実行されてもよい。

続いて、抽出部１２は、ジャギー由来の特徴点候補を特定する。つまり、抽出部１２は、取得した画像データにおいて、縦方向および横方向に、単一の画素が配列したエッジを形成する画素を特定する。特定の方法としては、例えば、単一の画素が配列したエッジを直接的に検出する第一の方法と、単一の画素が配列したエッジを間接的に検出する第二の方法がある。

第一の方法においては、抽出部１２は、Ｘ軸方向およびＹ軸方向の各々について、各画素の輝度値に基づきエッジの幅を求める。なお、エッジの幅とは、エッジを形成する画素の数（ギャップの長さ）である。そして、幅が１であるエッジが存在する場合に、抽出部１２は、幅１のエッジを形成する画素に対応する特徴点候補を、ジャギー由来の特徴点候補として特定する。

また、第二の方法においては、抽出部１２は、特徴点候補各々の特徴量と、当該特徴点候補の近傍画素の特徴量とを比較する。なお、近傍画素は、例えば、ある特徴点候補の上下左右に隣接する画素である。

そして、抽出部１２は、比較結果に基づき、ジャギー由来の特徴点候補を特定する。特徴点候補の特徴量に類似する特徴量を有する画素が、近傍画素に含まれる場合、当該特徴点候補を、ジャギー由来の特徴点候補であると判定する。なお、近傍画素の特徴量と特徴点候補の特徴量との差分が一定以下である場合や、近傍画素の特徴量が特徴点候補の特徴量の±β％以内の値である場合に、当該特徴点候補はジャギー由来の特徴点候補であると判定される。例えば、βは１０である。

また、抽出部１２は、βの値を、特徴量の大きさに応じて変動させてもよい。例えば、各画素の特徴量に、１０００程度の大きさの値が含まれている場合は、βを５０程度に設定する。例えば、暗い画像においては、各画素の輝度値の分布は小さくなる。よって、エッジ強度に依存する特徴量は、たとえエッジに対応する画素であっても、比較的小さな値となる。

また、明るい画像においては、各画素の輝度値の分布は大きくなる。よって、エッジ強度に依存する特徴量は、エッジに対応する画素については、比較的大きな値となる。したがって、抽出部１２は、画像の特徴に応じて、閾値（β）を適切に制御する。

そして、ジャギー由来の特徴点候補を特定したあと、抽出部１２は、特徴点候補の中から、ジャギー由来の特徴点候補を除去する。そして、抽出部１２は、残りの特徴点候補を、特徴点の抽出結果として、検知部１３へ出力する。

このように、抽出部１２による、特徴点の抽出方法は、ジャギー由来のエッジは、幅１のエッジであることに着目したものである。この特徴を利用することで、既存のコーナー検出法を利用した場合であっても、ジャギー由来の特徴点候補を除去することができる。つまり、抽出部１２は、画像データが表す画像から、物体由来の特徴点を精度よく検出することができる。

図３Ａおよび図３Ｂ、図４Ａおよび図４Ｂを用いて、ジャギー由来の特徴点候補を特定する第一の方法を説明する。図３Ａおよび図３Ｂと、図４Ａおよび図４Ｂは、ジャギー由来の特徴点候補を特定する第一の方法を説明するための図である。各矩形は画素を示し、矩形内に示された値は、輝度値に基づく画素値を示す。

まず、図３Ａおよび図３Ｂを用いて、ｙ軸方向に延びるエッジの幅を求める場合について説明する。図３Ａは、輝度情報に基づき生成された、取得部１１が取得した画像データの二値化画像である。各画素Ｙ（ｘ、ｙ）各々が、０または１の値を持つ。なお、二値化により各画素に付与された値を、画素値と称する。

つぎに、図３Ｂは、Ｙ（ａ＋１，ｂ）の画素値とＹ（ａ，ｂ）の画素値との差分を、各Ｙ（ｘ，ｙ）について求めた結果を示した図である。つまり、図３Ｂは、ｙ軸方向に延びるエッジを検出した結果である。そして、抽出部１２は、各列（ｘ方向の各位置）について、差分が１である画素が連続する個数を計数する。計数結果は、左から４列目が「１」を示し、他の列については「０」となる。

抽出部１２は、計数結果が１を示す列には、幅１のエッジが存在すると判断する。図３Ｂの上図において１を示す画素は、幅１のエッジを形成する画素であると判断される。つまり、図３Ｂの上図において、左から４つ目、上から６つ目の画素は、幅１のエッジを形成する画素である。そして、この画素に対応する特徴点候補は、ジャギー由来の特徴点候補である。

図３Ａの二値画像においては、画素値０（白）を基準とした場合のコーナーは、左から４つ目、上から６つ目の画素に相当する。一方、画素値１（黒）を基準とした場合のコーナーは、左から５つ目、上から６つ目の画素に相当する。従来のオペレータによれば、この２つの画素に大きな特徴量が与えられるとともに、本実施例に置いては特徴点候補として、２つの画素が抽出される。

そこで、２つの画素の画素値の差分を求める際、左側の画素を基準とする場合には、抽出部１２は、幅が１であるエッジを形成する画素の右側に隣接する画素についても、特徴点候補から除外する。例えば、図３Ｂの例では、左から４つ目、上から６つ目の画素の右側に隣接する画素（左から５つ目、上から６つ目の画素）についても、特徴点候補から除外される。

同様に、差分を求める際に右側の画素を基準とする場合には、左側に隣接する画素についても、特徴点候補から除外される。

つぎに、図４Ａおよび図４Ｂを用いて、ｘ軸方向に延びるエッジの幅を求める場合について説明する。図４Ａは、図３Ａと同様の二値化画像である。図４Ｂは、Ｙ（ａ，ｂ＋１）の画素値とＹ（ａ，ｂ）の画素値との差分を、各Ｙ（ｘ，ｙ）について求めた結果を示した図である。そして、抽出部１２は、各行（ｙ方向の各位置）について、差分が１である画素が連続する個数を計数する。計数結果は、上から５行目および６行目が「４」を示し、他の列については「０」となる。

つまり、図４Ｂの上図において１を示す画素は、ｘ軸方向に、幅４（以上）のエッジを形成する画素であることがわかる。言い換えると、図４Ａの画像には、ｘ軸方向に幅が１であるエッジが存在しないことを示す。よって、図４Ａの場合は、ｘ軸方向に関しては、ジャギー由来の特徴点候補は特定されないこととなる。

なお、図３Ａおよび図３Ｂと同様に、２つの画素の画素値の差分を求める際、上側の画素を基準とした場合には、抽出部１２は、幅１のエッジを形成する画素の下側に隣接する画素についても、特徴点候補から除外する。同様に、差分を求める際に下側の画素を基準とする場合には、上側に隣接する画素についても、特徴点候補から除外する。

また、図３Ａおよび図３Ｂ、図４Ａおよび図４Ｂにて説明した処理は、画像をｎ個の領域に分割し、各々の領域ごとに行っても良いし、画像の左上端からラスタスキャン順に処理して、ジャギー由来のエッジを判定したら、当該エッジまでの計数結果を０リセットし、その位置から再度計数を開始するようにして、画像内の全画素を処理する。

例えば、図３Ａおよび図３Ｂ、図４Ａおよび図４Ｂにて説明した処理によって、抽出部１２は、単一の画素が配列したエッジを直接的に検出する。そして、抽出部１２は、ｘ軸方向およびｙ軸方向のいずれかにおいて、幅１のエッジを形成する画素を、ジャギー由来の特徴点候補の画素として、特定する。

つぎに、図５Ａおよび図５Ｂを用いて、ジャギー由来の特徴点候補を特定する第二の方法を説明する。図５Ａおよび図５Ｂは、ジャギー由来の特徴点候補を特定する第二の方法を説明するための図である。なお、各矩形は画素を示し、矩形内に示された値は、Ｈａｒｒｉｓオペレータを使用した場合の、各画素の特徴量を示す。そして、抽出部１２は、特徴量が５１２以上である画素を特徴点候補として抽出するとする。

例えば、図５Ａにおいては、画素５１および画素５２が、特徴点候補として、抽出される。特徴点候補である画素５１の特徴量「５５０」と、上下左右に存在する４つの画素の特徴量を各々比較する。ここで、画素５１の左隣に存在する画素５２の特徴量「５５０」は、画素５１の特徴量「５５０」の上下１０％以内の値となっている。よって、当該特徴点候補の画素５１は、ジャギー由来の特徴点候補であると判定される。また、特徴点候補である画素５２を基準として、同様の判定を行った場合にも、画素５２に相当する特徴点候補は、ジャギー由来の特徴点候補であると判定される。

ここで、図５Ａのように、コーナーを示す画素５１と画素５２とが、互いに幅１のエッジを形成する場合には、図５Ａにおいて白色で示した画素から見ると、画素５１がコーナーとなり、網掛けの画素からみると画素５２がコーナーとなる。つまり、隣接する画素５１および画素５２は、ともに大きな特徴量を有する。したがって、ジャギー由来の特徴点候補を特定するために、特徴点候補に隣接する画素の特徴量を利用することができる。 一方、図５Ｂを例に、抽出部１２による同様の処理を説明する。例えば、図５Ｂにおいて、特徴点候補として、画素５３および画素５４が抽出されているとする。抽出部１２は、画素５３の上下左右に隣接する画素の特徴量と、画素５３の特徴量とを比較する。図５Ｂの例では、特徴点候補である画素５３の特徴量と、上下左右に隣接する画素の特徴量は、類似しないと判定される。つまり、特徴点候補である画素５３は、ジャギー由来の特徴点候補として特定されない。また、特徴点候補である画素５４についても同様である。

以上のように、本実施例においては、抽出部１２は、取得部１１が取得した画像データを対象として、エッジの幅に着目するそして、抽出部１２は、物体由来のコーナーを示す特徴点を、ジャギー由来のコーナーを示す点とは区別して、抽出する。

また、本実施例においては、取得部１１が取得した画像データにおいて、エッジ幅が１であれば、ジャギー由来のコーナーを示す点であると考える。つまり、取得部１１が取得した画像データを、拡大した場合には、ジャギー由来のエッジも、拡大率に応じた複数画素から形成されることとなる。よって、抽出部１２は、拡大後の画像において、拡大率に応じた複数画素から形成されるエッジを、元の画像データにおいて単一画素からなるエッジとみなす。

取得した画像データが、特徴点抽出処理の前に拡大処理されている場合には、ジャギー由来の特徴点候補を特定する第一の方法においては、抽出部１２は、拡大率αに応じて、元の画像データにおいて、幅が１となるエッジを形成する特徴点候補を特定する。元の画像データにおいて、幅が１となるエッジは、拡大画像において、幅がαであるエッジである。そして、抽出部１２は、拡大率αのエッジを形成する特徴点候補以外の特徴点候補を、特徴点として抽出する。

また、ジャギー由来の特徴点候補を特定する第二の方法においては、抽出部１２は、拡大率αに応じた範囲内の画素を近傍画素として、特徴点候補の特徴量との比較対象とする。つまり、上下左右に隣接する画素だけでなく、上下左右α個の画素を対象とする。よって、抽出部１２は、上下左右α個の画素の特徴量が、特徴点候補の特徴量と類似しない場合には、当該特徴点候補を特徴点として抽出する。

ここで、図２の説明に戻る。検知部１３は、抽出部１２により抽出された特徴点を用いて、接近物を検知する。なお、先に述べたとおり、接近物の検知以外にも、抽出された特徴点を用いて、他の処理を実行してもよい。

例えば、検知部１３は、新たに取得した画像データから抽出された特徴点と、１時刻前に取得した画像データから抽出された特徴点とを対応付ける。なお、特徴点の対応付けについては、従来から知られている方法が適用される。

そして、検知部１３は、各々の特徴点のオプティカルフローを算出する。そして、検知部１３は、オプティカルフローに基づき、接近物を検知する。接近物の検知については、従来から知られている方法が適用される。

ここで、撮像装置２が車両に搭載されている場合について、検知部１３の処理を簡単に説明する。また、画像処理装置１は、車両内のＣｏｎｔｒｏｌｌｅｄ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＣＡＮ）経由で、車両の移動状態に関わる情報（ＣＡＮ信号）を取得する。例えば、車速センサが検出した速度の情報や、舵角センサが検知した旋回に関わる情報が、画像処理装置１により取得される。

検知部１３は、車両の移動状態に基づき、接近物の有無を判定する。例えば、背景に相当する物体における特徴点は、車両が前進したときに、時刻Ｔ１の画像と時刻Ｔ２の画像との間で、内側から外側へ流れるようなオプティカルフローを示す。一方、人や車などの接近物が存在する場合には、時刻Ｔ１の画像と時刻Ｔ２の画像との間で、接近物に由来する特徴点は、外側から内側へ流れるようなオプティカルフローを示す。このような性質を活かし、検知部１３は、画像間で対応付けた特徴点のオプティカルフローから、接近物を検出する。

なお、検知部１３は、接近物だけでなく移動物体を検知することもできる。この場合、検知部１３は、オプティカルフローのベクトルの向きだけでばく、大きさも考慮する。例えば、背景の特徴点にかかるオプティカルフローの大きさと、異なる大きさを持つオプティカルフローが存在する場合、検知部１３は、移動物体が存在することを検知する。

また、検知部１３は、時刻Ｔ１の画像と時刻Ｔ２の画像との間で、特徴点を対応付けるとともに、特徴点の移動量から、自車両の速度を求めることも可能である。

ここで、画像から物体由来の特徴点を抽出することは、正確性の高い特徴点抽出という面から重要である。さらに、検知部１３の処理のように、複数画像間で特徴点の対応付けを行うような場合には、よりいっそう重要である。

通常、物体と撮像装置との位置関係により、画像における特徴点の位置が決定される。つまり、所定のフレーム間隔で撮影された複数の画像において、時間の経過とともに、撮像装置２の位置が変化する場合には、物体由来の特徴点の位置も変化する。そして、先に述べたとおり、接近物の検知や移動体の速度算出においては、この性質が利用される。

しかし、ジャギー由来の特徴点は、物体と撮像装置２との位置関係により、規則的な変化をするものではない。なぜならジャギーの発生は、物体の輪郭を、規則的に配列した画素で表現する際に発生するもので、どの位置にジャギーが発生するかは、輪郭の形状と画素の配列に依存するからである。

したがって、ジャギー由来の特徴点候補も特徴点として抽出された場合には、ジャギー由来の特徴点は、物体由来の特徴点のような性質を示さない。したがって、後段の処理の精度が低下を招く。つまり、接近物が存在しないにもかかわらず、ジャギー由来の特徴点を抽出してしまったために、オプティカルフローが接近物相当のフローを示す可能性があり、誤検知が誘発される。また、抽出した特徴点を用いて、移動体の速度を算出する場合にも、正確な速度を得ることはできない。

一方、本実施例の抽出部１２により抽出された特徴点を、検知部１３が利用することで、より精度よい処理が可能となる。つまり、図１において、特徴点１１１，１１２，１１３，１１４のみが検出されている場合には、検知部１３は、より正確に、接近物を検知したり、移動体の速度を求めるなどの処理を行うことができる。

また、先に述べたとおり、ジャギーは曲線や斜めの線を、デジタル画像上で表現する際に発生する。ここで、実際に物体の形状が曲線や斜め線である場合だけでなく、撮像装置２の性質に依存し手、曲線や斜め線が発生する場合も多々ある。

撮像装置２においては、撮像装置２の画角に応じた視野が撮影される。そして、撮像装置２は、撮影された視野の情報を、縦および横に配列した画素で表現する。つまり、画角が、画素の配列により制限される。このようにして、例えば、実空間において直線であっても、画像上では曲線で表現されることがある。そして、画像上では、ジャギーが発生することとなる。

広角レンズ等が搭載されたカメラで撮影された画像には、物体の輪郭は、ほぼ曲線が描かれることとなるため、ジャギー由来の特徴点候補を除去することがより強く求められる。例えば、車載カメラは、より広い視野を撮影することを目的として搭載されることが多く、広角レンズまたは超広角レンズを有することが多い。

つぎに、図２における出力部１４は、検知部１３の検知結果に基づく警報情報を、警報装置３へ出力する。例えば、警報情報は、接近物の存在を警報する情報である。

記憶部１５は、各種処理に必要な情報や、画像データ、特徴点の検出結果等を記憶する。各種処理に必要な情報としては、例えば、閾値に関する情報である。また、記憶部１５は、一定期間内に取得した画像データとともに、各画像データから抽出された特徴点の検出結果を保持してもよい。

撮像装置２は、画像を撮影する装置である。そして、撮像装置２は、撮影した画像を表す画像データを画像処理装置１へ送信する。

警報装置３は、必要に応じて、ユーザへ警報を行う装置である。例えば、警報装置３は、画像処理装置１から受信した警報情報に基づき、警報処理を実行する。警報は、音声や表示により行われる。

つぎに、図６を用いて、画像処理装置１の処理の流れを説明する。図６は、画像処理方法のフローチャートである。

取得部１１は、撮像装置２から、画像データを取得する（Ｏｐ．１）。つぎに、抽出部１２は、画像データに基づき、各画素の特徴量を算出する（Ｏｐ．２）。Ｘ軸方向およびＹ軸方向各々についてのエッジ強度と、周囲の画素との相関とに基づき、特徴量が求められる。

抽出部１２は、各画素の特徴量に基づき、特徴点候補を抽出する（Ｏｐ．３）。例えば、特徴量が閾値以上である画素や、近傍Ｎ個の画素のうち最大の特徴量を有する画素が、特徴点候補として抽出される。

つぎに、抽出部１２は、Ｏｐ．３にて抽出された特徴点のうち、ジャギー由来の特徴点候補を特定する（Ｏｐ．４）。ジャギー由来の特徴点候補を特定する処理については、後述する。

なお、Ｏｐ．４においては、抽出部１２は、幅が１であるエッジを構成する画素を特定することで、当該画素を、Ｏｐ．５で抽出する特徴点から除外する。言い換えると、抽出部１２は、画像データに含まれる複数の画素が、縦方向および横方向に複数個の画素が配列したエッジを形成するかを判定する。そして、抽出部１２は、判定結果に基づき、続くＯｐ．５で抽出すべき特徴点を明らかにする。

そして、抽出部１２は、Ｏｐ．４の結果に基づき、Ｏｐ．３にて抽出された特徴点候補の中から、特徴点を抽出する（Ｏｐ．５）。例えば、抽出部１２は、Ｏｐ．４にてジャギー由来の特徴点候補として特定された特徴点候補を、Ｏｐ．３にて抽出された特徴点候補から除外する。つまり、残った特徴点候補が、特徴点として抽出される。

抽出部１２は、特徴点の画素の位置情報（座標）を、画像データとともに、検知部１３へ出力する。さらに、抽出部１２は、記憶部１５へ、画像データとともに特徴点の位置情報も格納する。

つぎに、検知部１３は、特徴点の画素の位置情報および画像データに基づき、接近物を検知する（Ｏｐ．６）。例えば、記憶部１５を参照し、１時刻前の画像データと、当該画像データにおける特徴点の位置情報を取得する。そして、検知部１３は、画像間で対応付けられた特徴点のオプティカルフローに基づき、接近物を検知する。検知部１３は、接近物を検知した場合に、接近物の存在を知らせる警報情報を生成するとともに、警報情報を出力部１４へ出力する。

出力部１４は、警報情報を、警報装置３へ出力する（Ｏｐ．７）。なお、検知部１３が接近物を検知しなかった場合は、Ｏｐ．７は省略される。

以上のように、本実施例に開示の画像処理方法によれば、画像処理装置は、物体由来の特徴点を抽出することができる。また、抽出された特徴点を利用した処理が実行される場合には、当該処理の精度の向上が見込まれる。

ここで、Ｏｐ．４の処理について、詳しく説明する。なお、先の図３Ａおよび図３Ｂ、図４Ａおよび図４Ｂに示した第一の方法と、図５Ａおよび図５Ｂに示した第二の方法について、各々処理の流れを示す。まず、図７は、ジャギー由来の特徴点候補を特定する第一の方法にかかるフローチャートである。

抽出部１２は、画像データに含まれる各画素の輝度情報に基づき、未処理の軸方向のエッジを検出する（Ｏｐ．１１）。例えば、初めにＹ軸方向が処理対象として設定される。

つぎに、抽出部１２は、検出されたエッジの幅を算出する（Ｏｐ．１２）。ここで、エッジの幅は、エッジを形成する画素数で表されるものとする。例えば、抽出部１２は、図３Ｂに示したように、各列について、画素値１が連続する個数を計数する。なお、複数のエッジが存在する場合には、各々のエッジについて、幅が算出される。

つぎに、抽出部１２は、算出されたエッジの幅に基づき、Ｏｐ．１１で検出されたエッジの中に、単一画素で構成されるエッジが存在するかを判定する（Ｏｐ．１３）。つまり、幅が１のエッジの有無が判定される。

単一画素で構成されるエッジが存在する場合には（Ｏｐ．１３Ｙｅｓ）、抽出部１２は、当該エッジを構成する画素を特定するとともに、当該画素に対応する特徴点候補を、ジャギー由来の特徴点候補として特定する（Ｏｐ．１４）。

なお、先に述べたとおり、ここでは、当該エッジを構成する画素だけでなく、当該画素に対して特定の位置関係に存在する画素についても、同様に、ジャギー由来の特徴点候補を示す画素であると判断される。また、単一画素で構成されるエッジが複数存在する場合も、各エッジについて、同様の処理が行われる。

単一画素で構成されるエッジが存在しない場合（Ｏｐ．１３Ｎｏ）、またはＯｐ．１４の処理が終了した後、抽出部１２は、全軸方向について、処理が終了したかを判定する（Ｏｐ．１５）。終了していない場合には（ＯＰ．１５Ｎｏ）、Ｏｐ．１１から、抽出部１２は、新たな軸方向を処理対象として、処理を実行する。例えば、Ｘ軸方向について、同様の処理を実行する。終了している場合には（ＯＰ．１５Ｙｅｓ）、ジャギー由来の特徴点候補を特定する処理が終了する。

つぎに、図８は、ジャギー由来の特徴点候補を特定する第二の方法にかかるフローチャートである。抽出部１２は、Ｏｐ．３にて抽出された特徴点候補のうち、未処理の特徴点候補を処理対象に設定する（Ｏｐ．２１）。

そして、抽出部１２は、処理対象の特徴点候補の特徴量Ａを取得する（Ｏｐ．２２）。さらに、抽出部１２は、処理対象の特徴点候補の画素の近傍画素についても、特徴量Ｂを取得する（Ｏｐ．２３）。例えば、特徴点候補の画素の上下左右に隣接する４つの近傍画素について、各々の特徴量Ｂが取得される。

つぎに、抽出部１２は、特徴量Ｂは、特徴量Ａの±β未満の値であるかを判定する（Ｏｐ．２４）。なお、複数の近傍画素各々の特徴量Ｂの中に、少なくともひとつ、特徴量Ａの±β未満の値となる特徴量が含まれていればよい。

特徴量Ｂが特徴量Ａの±β未満の値である場合（Ｏｐ．２４Ｙｅｓ）、処理対象の特徴点候補を、ジャギー由来の特徴点候補として特定する（Ｏｐ．２５）。特徴量Ｂが特徴量Ａの±β未満の値でない場合（Ｏｐ．２４Ｎｏ）、またはＯｐ．２５の処理が終了した後、抽出部１２は、全特徴点候補について、処理が終了したかを判定する（Ｏｐ．２６）。

終了していない場合には（ＯＰ．２６Ｎｏ）、Ｏｐ．２１から、抽出部１２は、新たな特徴点候補を処理対象として、処理を実行する。終了している場合には（ＯＰ．２６Ｙｅｓ）、ジャギー由来の特徴点候補を特定する処理が終了する。

図７および図８に示したように、本実施例は、取得部１１が取得した元の画像データにおいては、ジャギー由来のエッジは単一画素で表現されることに着目し、物体由来の特徴点候補と、ジャギー由来の特徴点候補とを区別する。つまり、画像処理装置１は、複数画素により構成されるエッジに基づき、物体由来のコーナーを示す特徴点を抽出することができる。

つぎに、画像処理装置１のハードウェア構成について説明する。図９は画像処理装置のハードウェア構成の一例を示す図である。

画像処理装置１は、メモリおよび、当該メモリにアクセス可能なプロセッサーによって、ハードウェア的に実現される。つまり、画像処理装置１は、本実施例にかかる画像処理を実行するプロセッサーと、当該画像処理にかかるプログラムを記憶するメモリとを含む。プロセッサーが画像処理を実行する際には、メモリから読み出したプログラムに従って、処理が実行される。なお、メモリは、プログラム以外にも、本実施例にかかる画像処理方法に必要な情報を記憶してもよい。

図９を用いて、画像処理装置１がコンピュータである場合のハードウェア構成について、より具体的に説明する。コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２４、通信装置２５を有する。各部はバス２６を介して相互に接続されている。そしてＣＰＵ２１による管理下で相互にデータの送受を行うことができる。

各実施例のフローチャートに示した画像処理が記述された画像処理プログラムは、コンピュータが読み取り可能な記録媒体に記録されてもよい。コンピュータが読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。

光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ − ＯＰｔｉｃａｌ ｄｉｓｋ）などがある。このプログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売されることが考えられる。

画像処理プログラムを実行するコンピュータが媒体読取装置をさらに備える場合には、画像処理プログラムを記録した記録媒体から、該プログラムを読み出す。ＣＰＵ２１は、読み出されたプログラムをＨＤＤ２４若しくはＲＯＭ２２、ＲＡＭ２３に格納する。

ＣＰＵ２１は、画像処理装置１全体の動作制御を司る中央処理装置である。なお、ＣＰＵは、画像処理装置１が備えるプロセッサーの一例である。そして、ＣＰＵ２１が、画像処理プログラムをＨＤＤ２４から読み出して実行することで、ＣＰＵ２１は、図２に示す抽出部１２、検知部１３として機能するようになる。先に述べたとおり、画像処理プログラムはＣＰＵ２１とアクセス可能なＲＯＭ２２またはＲＡＭ２３に格納されていても良い。

つぎに、通信装置２５は、ＣＰＵ２１の制御の下、取得部１１および出力部１４として機能する。なお、通信装置２５は、ネットワークを経由する通信を司る装置であってもよいし、ネットワークを経由しない通信を司る装置であってもよい。

さらに、ＨＤＤ２４は、ＣＰＵ２１の管理下で図２に示す記憶部１５として機能する。つまり、ＨＤＤ２４は、画像処理に必要な閾値の情報などを記憶する。プログラム同様、画像処理に必要な閾値の情報などは、ＣＰＵ２１とアクセス可能なＲＯＭ２２またはＲＡＭ２３に格納されても良い。

さらに、処理の過程で生成される、画像データや、特徴点の位置情報は、例えば、ＲＡＭ２３に格納される。つまり、ＲＡＭ２３が記憶部１５として機能する場合もある。

撮像装置２は、例えば、カメラである。撮像装置２は、所定のフレーム間隔で撮影を行い、撮影した情報をデジタル信号に変換したのち、デジタル信号を画像処理装置１に対して出力する。撮像装置２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを有する。

センサ２７は、各種情報を検出するとともに、検出した情報を画像処理装置１へ出力する。例えば、画像処理装置１が、移動体に搭載された撮像装置２が撮影した画像を処理する場合には、センサ２７は、パルスセンサや、舵角センサである。そして、センサ２７は、車速度や舵角に関する情報を検出する。

警報装置３は、ディスプレイ２８やスピーカー２９を有する。なお、カーナビゲーションシステムが警報装置３として機能してもよい。警報装置３は、画像処理装置１から出力された警報情報に基づき、警報を実行する。

ディスプレイ２８は、警報装置３が備えるプロセッサーの制御の下、画面を表示する。例えば、ディスプレイは、接近物に関する警報画面を表示する。また、スピーカーは、警報装置３が備えるプロセッサーの制御の下、音声を出力する。例えば、スピーカーは、接近物に関する警報音を出力する。

（変形例１）
画像処理装置１は、図６に示すフローチャートを以下のように変形して、実行することも可能である。例えば、Ｏｐ．１およびＯｐ．２のあと、抽出部１２は、各画素について、特徴点候補となるか否かを判定する。処理対象の画素が、特徴点候補になる場合には、Ｏｐ．４が実行される。一方、処理対象の画素が特徴点候補にならない場合や、Ｏｐ．４が終了した場合は、抽出部１２は、新たな画素を処理対象とする。全画素について、処理が終了した場合に、Ｏｐ．５乃至Ｏｐ．７の処理が実行される。

（変形例２）
図６に示す実施例では、特徴点候補を抽出したあとで、特徴点を抽出することとしたがこれに限られない。例えば、特徴点候補を抽出することなく、抽出部１２は、複数画素からなるエッジを検出するとともに、当該エッジに含まれる特徴量が一定以上の画素を、特徴点として抽出する。例えば、エッジの幅は、例えば図３Ａおよび図３Ｂ、図４Ａおよび図４Ｂに示した手法により求められる。

（変形例３）
撮像装置２が移動体に備えられ、かつ画像処理装置が接近物検知を行う場合、ジャギー由来の特徴点候補を特定する処理は、移動体が動いている場合に実行されるとしてもよい。これは、ジャギー由来の特徴点候補と、背景由来の特徴点候補は、時間が経過したとしても、移動体が停止している間は動かないためである。逆に、接近物などの移動物体の特徴点候補は、時間の経過とともに移動する。つまり、ジャギー由来の特徴点候補の有無に関わらず、移動体が静止している場合には、画像処理装置１は、移動物体を検知することができる。よって、移動体が移動している場合にのみ、移動物体を正確に検知することを目的として、本実施例に開示の特徴点抽出を含む画像処理方法が実行されるとしてもよい。

１ 画像処理装置
１１ 取得部
１２ 抽出部
１３ 検知部
１４ 出力部
１５ 記憶部
２ 撮像装置
３ 警報装置
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ＨＤＤ
２５ 通信装置
２６ バス
２７ センサ
２８ ディスプレイ
２９ スピーカー

Claims (9)

1. 複数の画素が縦方向および横方向に配列された画像である画像データを撮像装置から取得する取得部と、
   前記画像データにおいて、縦方向および横方向の各配列における前記複数の画素が形成するエッジのうち、前記縦方向におけるエッジの前記縦方向の幅または前記横方向におけるエッジの前記横方向の幅が一個の画素に相当するエッジを形成する画素を特徴点の抽出対象から除外して、コーナーを示す特徴点を抽出する抽出部と
   を有することを特徴とする画像処理装置。
2. 前記抽出部は、
   輝度情報に基づき、前記複数の画素のうち特徴点候補となる画素を抽出し、
   前記特徴点候補となる画素の中から、前記縦方向におけるエッジの前記縦方向の幅または前記横方向におけるエッジの前記横方向の幅が一個の画素に相当するエッジを形成する画素を除外することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出部は、
   前記輝度情報に基づき、前記縦方向および前記横方向の各々について、前記縦方向におけるエッジの前記縦方向の幅または前記横方向におけるエッジの前記横方向の幅が一個の画素に相当するエッジを検出することを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出部は、
   前記特徴点候補となる画素および該特徴点候補となる画素の近傍画素に基づき、該特徴点候補画素が、前記縦方向におけるエッジの前記縦方向の幅または前記横方向におけるエッジの前記横方向の幅が一個の画素に相当するエッジを形成する画素であるかを判定することを特徴とする請求項２に記載の画像処理装置。
5. 前記近傍画素は、前記特徴点候補となる画素に隣接する画素であることを特徴とする請求項４に記載の画像処理装置。
6. 前記抽出部は、
   前記輝度情報に基づき、前記複数の画素各々についての特徴量を算出し、
   前記特徴点候補となる画素の特徴量と、該近傍画素の特徴量とが、類似する場合に、当該特徴点候補となる画素は、前記縦方向におけるエッジの前記縦方向の幅または前記横方向におけるエッジの前記横方向の幅が一個の画素に相当するエッジを形成する画素であると判定することを特徴とする請求項４または５のいずれか１項に記載の画像処理装置。
7. 前記画像データにおける前記特徴点と、該画像データよりも前に撮像された他の画像データにおける他の特徴点との位置変化に基づき、前記撮像装置を搭載する移動体に対する接近物を検知する検知部を、さらに備えることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. コンピュータが、
   複数の画素が縦方向および横方向に配列された画像である画像データを撮像装置から取得し、
   前記画像データにおいて、縦方向および横方向の各配列における前記複数の画素が形成するエッジのうち、前記縦方向におけるエッジの前記縦方向の幅または前記横方向におけるエッジの前記横方向の幅が一個の画素に相当するエッジを形成する画素を特徴点の抽出対象から除外して、コーナーを示す特徴点を抽出することを特徴とする画像処理方法。
9. コンピュータに、
   複数の画素が縦方向および横方向に配列された画像である画像データを撮像装置から取得し、
   前記画像データにおいて、縦方向および横方向の各配列における前記複数の画素が形成するエッジのうち、前記縦方向におけるエッジの前記縦方向の幅または前記横方向におけるエッジの前記横方向の幅が一個の画素に相当するエッジを形成する画素を特徴点の抽出対象から除外して、コーナーを示す特徴点を抽出する処理を実行させることを特徴とする画像処理プログラム。