JP5446641B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像に表示される物体を認識する装置及び方法等の技術分野に関する。

画像に表示される物体を認識する画像処理技術は、様々な分野で利用されている。例えば、デジタルカメラ及びデジタルビデオカメラでは、かかる画像処理技術によって、手ブレ補正技術が実現されている。

例えば、手ブレ補正機能を搭載したデジタルビデオカメラでは、撮影可能領域を一定のサイズに狭め、撮影の際にバッファメモリに画像を読み込む。そして、最初に撮影した画像の被写体を認識し、それ以降に撮影した画像の被写体とを比較し、その被写体の前記撮影可能領域からのはみ出し量を演算する。そして、当該被写体が、撮影可能領域の中心に来るように、当該撮影可能領域を自動的にずらして撮影し記録するようになっている。

上記画像認識技術において、最初に撮影した画像の被写体を認識し、それ以降に撮影した画像の被写体とを比較する処理は、一般的に追跡と呼ばれ、かかる追跡は、Lucas-Kanade法を用いてオプティカルフローを算出することにより実現されている。

オプティカルフローとは、連続する２つの画像における当該画像を構成する画素毎の動きベクトルをいう。すなわち、オプティカルフローは、画像の動きを表す画素毎の速度ベクトルで表され、かかる速度ベクトルを求めることにより、その動きを検出する。

従って、オプティカルフローの算出を実現するためには、上記画像の特徴点の動き（例えば、上記画素又は速度ベクトル等）を正確かつ確実に抽出することが必要である。

特許文献１では、連続する２つの画像における上記特徴点の動きを得るために、特徴点の信頼度の低い領域と、信頼度の高い領域とに分け、信頼度の低い領域のオプティカルフローを、その４近傍又は８近傍の領域のオプティカルフローに対してそれらの信頼度に応じた重み付けを行い、当該重み付けを行った結果を用いて補完する発明が開示されている。

特開平１１−３３９０２１号公報

しかし、かかる信頼度の算出は、ＣＰＵ（処理装置）に対して過度な処理負担をかけることとなってしまう。また、近年、デジタルカメラ又はデジタルビデオカメラでは、記録媒体の大容量化に伴い、長時間の動画像が記録可能になっている。かかる動画像は、膨大な量の画像から構成されているため、当該動画像に対して上記オプティカルフローを算出するためには、当該動画像を構成する全ての画像に対して上記重み付けを行わなければならない。従って、特許文献１に記載された発明を適用すると、ＣＰＵに対する処理負担は更に増大してしまう。

そこで、本発明は上記各問題点に鑑みてなされたもので、その目的の一例は、過度な処理負担を与えることなく画像に表示される物体を認識する装置及び方法等を提供することである。

上記課題を解決するために、請求項１に記載の画像処理装置は、画像を構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出する抽出手段と、前記抽出された輝度情報に基づいて、前記座標値が付与された前記画素データの前記画像としての特徴点に対応した値を有する固有値を算出する算出手段と、前記算出された固有値が予め設定された閾値以下である前記座標値に対して、予め設定された微分フィルタを用いてフィルタリング処理を施すフィルタリング処理手段と、を備えることを特徴とする。

請求項２に記載の画像処理方法は、画像を構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出する抽出工程と、前記抽出された輝度情報に基づいて、前記座標値が付与された前記画素データの前記画像としての特徴点に対応した値を有する固有値を算出する算出工程と、前記算出された固有値が予め設定された閾値以下である前記座標値に対して、予め設定された微分フィルタを用いてフィルタリング処理を施すフィルタリング処理工程と、を有する。

請求項３に記載の画像処理プログラムは、画像処理装置に含まれるコンピュータを、画像を構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出する抽出手段、前記抽出された輝度情報に基づいて、前記座標値が付与された前記画素データの前記画像としての特徴点に対応した値を有する固有値を算出する算出手段、及び、前記算出された固有値が予め設定された閾値以下である前記座標値に対して、予め設定された微分フィルタを用いてフィルタリング処理を施すフィルタリング処理手段、として機能させることを特徴とする。

これらの発明によれば、画像を構成する画素データの座標値が付与された画素データの画像としての特徴点に対応した値を有する固有値を算出し、その固有値が予め設定された閾値以下である座標値に対して、予め設定された微分フィルタを用いてフィルタリング処理を施す。

従って、連続する２つの画像における特徴点の動きを得るために、特徴点の信頼度の低い領域に対して個別に重み付け等を行う等の計算処理を行う必要がなくなるため、ＣＰＵに対して過度な処理負担をかけることなく追跡等の画像処理を行うことができる。

以上のように、本発明によれば、画像処理装置は、画像を構成する画素データの座標値が付与された画素データの画像としての特徴点に対応した値を有する固有値を算出し、その固有値が予め設定された閾値以下である座標値に対して、予め設定された微分フィルタを用いてフィルタリング処理を施すため、連続する２つの画像における特徴点の動きを得るために、特徴点の信頼度の低い領域に対して個別に重み付け等を行う等の計算処理を行う必要がなくなる。従って、ＣＰＵに対して過度な処理負担をかけることなく追跡等の画像処理を行うことができる。

本実施形態にかかる画像処理装置の構成を示すブロック図である。 本実施形態にかかる制御部２の動作を示すフローチャートである。 本実施形態にかかる微分フィルタを施さず上記特徴点を抽出した場合の表示画面例を示す図である。 本実施形態にかかる微分フィルタを施した後に上記特徴点を抽出した場合の表示画面例を示す図である。 本実施形態にかかる方向フィルタを施さず上記特徴点を抽出した場合の表示画面例を示す図である。 本実施形態にかかる方向フィルタを施した後に上記特徴点を抽出した場合の表示画面例を示す図である。

まず、本願の最良の実施形態を添付図面に基いて説明する。なお、以下に説明する実施の形態は、画像処理装置に対して本願を適用した場合の実施形態である。

まず、本実施形態にかかる画像処理装置の構成及び機能概要について、図１を用いて説明する。

図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。
画像処理装置Ｓは、光学系エンジン１、本願の特徴点抽出手段、輝度勾配算出手段、フィルタリング処理手段としての制御部２、出力データとしての画像を表示する表示部３等、とを備える。

光学系エンジン１は、図示しないレンズ、絞り機構、イメージセンサ（例えば、ＣＣＤ（Charge Couple Semiconductor）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等）、カラーフィルタ及びインターフェース部等、とを備える。

具体的には、光学系エンジン１では、レンズから取り込まれた光が、絞り機構等によって調節され、イメージセンサ上に光学像として結像される。かかる光学像（静止画像及び動画像を含む）は、イメージセンサによって電気信号に変換され、インターフェース部へ出力される。

光学系エンジン１には、さらに、インターフェース部へ入力される空間周波数を制限する図示しない光学的ローパスフィルタ、インターフェース部へ入力される可視光領域以外の長波長成分をカットするための図示しない赤外カットフィルタ等が備えられている。

インターフェース部は、撮像された画像を、制御部２へ出力するためのインターフェースである。

具体的には、インターフェース部は、撮像された画像に対して、当該画像を構成する画素を示す画素データと、前記画素に対応する色データから構成される入力データとして、制御部２へ出力する。

制御部２は、前記入力データに基いて画像処理を行い、二次元的に視認可能な平面画像及び動画像を示す出力データを生成するための処理回路であり、例えば、図示しないＣＰＵ、ＲＡＭ及びＲＯＭとを備えて構成される。

また制御部２は、例えば手ブレ補正機能を実現するために、かかる画像処理の一例として、追跡を行う。

手ブレ補正機能を搭載した画像処理装置では、撮影可能領域を一定のサイズに狭め、撮影の際にバッファメモリに画像を読み込む。そして、最初に撮影した画像の被写体を認識し、それ以降に撮影した画像の被写体とを比較し、その被写体の前記撮影可能領域からのはみ出し量を演算する。そして、当該被写体が、撮影可能領域の中心に来るように、当該撮影可能領域を自動的にずらして撮影し記録するようになっている。

上記画像認識技術において、最初に撮影した画像の被写体を認識し、それ以降に撮影した画像の被写体とを比較する処理は、一般的に追跡と呼ばれ、かかる追跡は、Lucas-Kanade法を用いてオプティカルフローを算出することにより実現されている。

ここで、上記追跡及びLucas-Kanade法は、公知の技術であるため詳しい説明は省略するが、オプティカルフローとは、連続する２つの画像における当該画像を構成する画素毎の動きベクトルをいう。すなわち、オプティカルフローは、画像の動きを表す画素毎の速度ベクトルで表され、かかる速度ベクトルを求めることによりがその動きを検出する。

従って、正確なオプティカルフローを算出するためには、制御部２は、上記画素データ等、上記画像の特徴点を正確かつ確実に抽出することが必要である。

次に、本実施形態にかかる制御部２の動作について、図２〜４を用いて説明する。

上述したように、制御部２は、Lucas-Kanade法を用いてオプティカルフローを算出し追跡を行う。そして、制御部２は、オプティカルフローを算出するに当たって、画像の特徴点を抽出する。

ここで、一般的に、画像がなだらかな輝度勾配を示す場合（例えば、画像に示される対象が曇り空や車のダッシュボード等のように、かかる対象が示す輝度の変化が少なく一定の色素を有するものである場合）には、画像処理装置の制御部等が、上記特徴点の抽出を行うことは困難であるとの問題があった。

そこで、制御部２は、上記特徴点の抽出に際して、画像を構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出（一例として、グレースケール化）し、前記輝度情報が示す輝度の大きさである輝度勾配の一例としての固有値を算出し、前記固有値が予め設定された閾値以下である前記座標値に対して、予め設定されたフィルタを用いてフィルタリング処理を施すようになっている。

以下に、制御部２の上記動作を詳細に説明する。

図２は、本実施形態にかかる制御部２の動作を示すフローチャートである。

まず、制御部２は、画像処理の対象である画像を構成する画素データに対して座標値を付与する。

例えば、制御部２が、ある画像を構成する画素データに対する座標値として、Ｍ行×Ｎ行の座標値を付与したとする。

そして、制御部２は、前記座標値に対応する前記画素データの輝度情報を抽出すべく、かかる座標値に対してグレースケール化を行う（ステップＳ１）。

上記グレースケール化は公知の技術であるため詳しい説明は省略するが、当該グレースケール化は、任意の画素データを、明度のみの諧調表示（即ち、輝度の大きさである輝度情報）に変換するための処理であり、変換後の画素データは、輝度情報をもつこととなる。

次に、制御部２は、上記画像の固有値を算出する（ステップＳ２）。

上記画像における輝度勾配（隣り合う上記画素データ間の輝度の差をいい、濃度勾配ともいう。）がなだらかな（少ない）箇所では、上記特徴点を抽出することが困難であり、かつ、上記固有値の値は小さくなるという特質を有する。一方、上記輝度勾配の変化量が大きい場合には、制御部２は、上記特徴点を良好に抽出することができるという特質を有する。

従って、制御部２が上記特徴点の抽出を行う場合に、対象となる画素データについて固有値を算出することにより、制御部２は、かかる画素データについて上記特徴点を抽出することが困難であるか否かを予め判断することができる。

なお、上記特徴点を抽出することが困難である点は、正確なオプティカルフローが算出される可能性が低いことから、信頼度が低いと概念化することもできる。

従って、制御部２は、上記画像における輝度勾配として上記固有値を算出し、上記特徴点を抽出することが困難であるか否かを予め判断する。

そこで、制御部２は、固有値が予め設定された閾値以下であるか否かを判断する（ステップＳ３）。

以下に、上記固有値としての固有値Ｇの算出及び固有値が予め設定された閾値以下であるか否かの判断について、説明する。

まず、上記画像の画像領域ωに対する微分値をｇ（ｐ）とすると、固有値Ｇは、式（１）で表される。

そして、上記画像に対して、式（２）に示すような２×２の座標値が付与された場合を例に採る。

上記画像の微分値の算出結果は、式（３）に示される値となる。

そして、式（３）の値に基いて、固有値Ｇを算出すると、式（４）に示される値となる。

式（４）より、固有値Ｇの値は０であるため、低いことが分かる。従って、制御部２は、式（２）に示される座標値が付与された上記画像を構成する画素データについて、上記特徴点を抽出することが困難である（信頼度が低い）ことが分かる。

一方、上記画像に対して、式（５）に示すような２×２の座標値が付与された場合を例に採る。

上記画像の微分値の算出結果は、式（６）に示される値となる。

そして、式（６）の値に基いて、固有値Ｇを算出すると、式（７）に示される値となる。

式（７）より、固有値Ｇの値は２であるため、高いことが分かる。従って、制御部２は、式（５）に示される座標値が付与された上記画像を構成する画素データについて、上記特徴点を良好に抽出することができる（信頼度が高い）ことが分かる。

なお、上述した例では、固有値Ｇの大きさの判断について、固有値Ｇの値が０の場合を低い、２の場合を高いとしたが、これに限定されるものではない。

即ち、固有値Ｇの大きさを判断するために、予め閾値を設定し、かかる閾値を基準として当該判断を行う。換言すれば、この閾値は、任意の値と採ることができる。

図２の説明に戻り、制御部２は、固有値が予め設定された閾値以下であった場合には（ステップＳ３：ＹＥＳ）、予め設定されたフィルタを用いてフィルタリング処理を施す（ステップＳ４）。

かかるフィルタリング処理は、上記特徴点を抽出することが困難である（信頼度が低い）領域について、一様のエッジを検出するために行われる処理であり、例えば、微分フィルタ、又は方向フィルタが適用される。

まず、フィルタリング処理の一例としての微分フィルタについて以下に説明する。

微分フィルタの一例としては、例えばＵ行×Ｖ列を持つフィルタＷがあった場合に、画像を構成する画素データの全ての画素データ（ピクセル）をｆ（ｉ，ｊ）とすると、前記画素データに対して、式（８）を適用することをいい、適用された結果は、ｇ（ｉ，ｊ）で表される。

ここで、微分フィルタを施さず上記特徴点を抽出した結果と、微分フィルタを施した後上記特徴点を抽出した結果について、図３及び図４を比較しながら説明する。

先ず、図３及び図４を比較する前に、各図について説明する。

図３は、本実施形態にかかる微分フィルタを施さず上記特徴点を抽出した場合の表示画面例を示す図である。

図３（Ａ）は、微分フィルタを施さず上記特徴点を抽出する前の鉄板の表面を撮像した画像を示しており、当該鉄板は単色かつ模様が無いため、なだらかな輝度勾配を示すことが分かる。

図３（Ｂ）は、微分フィルタを施さず上記特徴点を抽出した場合の鉄板の表面を撮像した画像を示している。図３（Ｂ）に示す白点が、抽出された上記特徴点である。

図４は、本実施形態にかかる微分フィルタを施した後に上記特徴点を抽出した場合の表示画面例を示す図である。

図４（Ａ）は、微分フィルタを施した後の鉄板の表面を撮像した画像を示しており、上記鉄板に上記微分フィルタを施した結果、当該鉄板の上記輝度勾配が明瞭に示されている。

図４（Ｂ）は、微分フィルタを施した後に上記特徴点を抽出した場合の鉄板の表面を撮像した画像を示している。図３（Ｂ）と同様に、図４（Ｂ）に示す白点が、抽出された上記特徴点である。

ここで、図３（Ｂ）と図４（Ｂ）に示される白点の個数を比較すると、図４（Ｂ）に示される白点の個数の方が多いことがわかる。これは、同じ対象物を撮像した画像において、微分フィルタを施した画像の方が、より多くの特徴点を抽出することができることを示している。

次に、フィルタリング処理の他の例として、方向フィルタ（二次元フィルタリング処理）について説明する。

方向フィルタは、所定のフィルタ係数を用いて、画像を構成する全ての画素について、例えば、水平、垂直、斜め方向に前記フィルタを掛ける処理をいい、かかるフィルタは例えば、式（９）のように設定することができる。

ここで、方向フィルタを施さず上記特徴点を抽出した結果と、微分フィルタを施した後上記特徴点を抽出した結果について、図５及び図６を比較しながら説明する。

先ず、図５及び図６を比較する前に、各図について説明する。

図５は、本実施形態にかかる方向フィルタを施さず上記特徴点を抽出した場合の表示画面例を示す図である。

図５（Ａ）は、方向フィルタを施さず上記特徴点を抽出する前の自動車の後部を撮像した画像を示している。自動車の後部は、単色かつ模様が略無いため、なだらかな輝度勾配を示すことが分かる。

図５（Ｂ）は、方向フィルタを施さず上記特徴点を抽出した場合の自動車の後部を撮像した画像を示している。図５（Ｂ）に示す白点が、抽出された上記特徴点である。

図６は、本実施形態にかかる方向フィルタを施した後に上記特徴点を抽出した場合の表示画面例を示す図である。

図６（Ａ）は、方向フィルタを施した後の自動車の後部を撮像した画像を示しており、上記自動車の後部に上記方向フィルタを施した結果、当該自動車の後部の上記輝度勾配が明瞭に示されている。

図６（Ｂ）は、方向フィルタを施した後に上記特徴点を抽出した場合の自動車の後部を撮像した画像を示している。図５（Ｂ）と同様に、図６（Ｂ）に示す白点が、抽出された上記特徴点である。

ここで、図５（Ｂ）と図６（Ｂ）に示される白点の個数を比較すると、図６（Ｂ）に示される白点の個数の方が多いことがわかる。これは、同じ対象物を撮像した画像において、方向フィルタを施した画像の方が、より多くの特徴点を抽出することができることを示している。

また、図６（Ａ）の枠１１は、なだらかな輝度勾配を示す個所に方向フィルタを施した後の表示結果を示している。そして、図６（Ｂ）の枠１２は、枠１１と同一の個所について、上記特徴点を抽出した結果を示している。このように、なだらかな輝度勾配を示す個所であっても、方向フィルタを施すことによって、上記特徴点が明瞭に抽出することができる。

上記フィルタリング処理は、画面全体に対して実施するわけではなく、信頼度が低いと判定された箇所についてだけ局所的に実施する。そのため、輝度勾配が少ない領域に対しても安定的に特徴データを取得し追跡できる。

また、上記微分フィルタ及び方向フィルタは、予め設定された係数であるため、上記特徴点の抽出に当たって、制御部２は、計算処理を行う必要がない。従って、制御部２に対して過度な処理負担をかけることなく追跡等の画像処理を行うことができる。

そして、制御部２は、かかるフィルタリング処理によって画像の特徴点を抽出し、オプティカルフロー等を算出する。

図２の説明に戻り、制御部２は、固有値が予め設定された閾値以下でなかった場合には（ステップＳ３：ＮＯ）、処理を終了する。

以上説明したように、本実施形態においては、制御部２は、画像を構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出し、前記輝度情報が示す輝度の大きさである輝度勾配としての固有値を算出し、前記固有値が予め設定された閾値以下である前記座標値に対して、フィルタリング処理を施す。

従って、連続する２つの画像における特徴点の動きを得るために、特徴点の信頼度の低い領域に対して個別に重み付け等を行う等の計算処理を行う必要がなくなるため、ＣＰＵに対して過度な処理負担をかけることなく追跡等の画像処理を行うことができる。

また、上記輝度勾配が少ない領域である白い壁を背景にした場合でも手ブレを検出することが可能になる。加えて、揺れる自動車の動きを取得してブレ補正などに応用できる。
自動車のような工業製品では、プレーンなところを含む画像（輝度勾配が少ない領域を含む画像）が多いので、特徴が少ないところを含む画像になる場合が多い。従って、自動車の一部を画像処理することで特徴点を看過することなく追跡が可能となる。

なお、上記実施形態においては、本願を画像表示装置に対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器、監視カメラ、車載用カメラ又はＷＥＢカメラ等に対しても適用可能である。

１ 光学系エンジン
２ 制御部
３ 表示部
Ｓ 画像処理装置

Claims (3)

1. 画像を構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出する抽出手段と、
   前記抽出された輝度情報に基づいて、前記座標値が付与された前記画素データの前記画像としての特徴点に対応した値を有する固有値を算出する算出手段と、
   前記算出された固有値が予め設定された閾値以下である前記座標値に対して、予め設定された微分フィルタを用いてフィルタリング処理を施すフィルタリング処理手段と、
   を備えることを特徴とする画像処理装置。
2. 画像を構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出する抽出工程と、
   前記抽出された輝度情報に基づいて、前記座標値が付与された前記画素データの前記画像としての特徴点に対応した値を有する固有値を算出する算出工程と、
   前記算出された固有値が予め設定された閾値以下である前記座標値に対して、予め設定された微分フィルタを用いてフィルタリング処理を施すフィルタリング処理工程と、
   を有することを特徴とする画像処理方法。
3. 画像処理装置に含まれるコンピュータを、
   画像を構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出する抽出手段、
   前記抽出された輝度情報に基づいて、前記座標値が付与された前記画素データの前記画像としての特徴点に対応した値を有する固有値を算出する算出手段、及び、
   前記算出された固有値が予め設定された閾値以下である前記座標値に対して、予め設定された微分フィルタを用いてフィルタリング処理を施すフィルタリング処理手段、
   として機能させることを特徴とする画像処理プログラム。