JP5414620B2 - 画像処理装置、画像処理方法、プログラム、及び集積回路 - Google Patents

画像処理装置、画像処理方法、プログラム、及び集積回路 Download PDF

Info

Publication number
JP5414620B2
JP5414620B2 JP2010118605A JP2010118605A JP5414620B2 JP 5414620 B2 JP5414620 B2 JP 5414620B2 JP 2010118605 A JP2010118605 A JP 2010118605A JP 2010118605 A JP2010118605 A JP 2010118605A JP 5414620 B2 JP5414620 B2 JP 5414620B2
Authority
JP
Japan
Prior art keywords
vectors
luminance gradient
vector
origin
voting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010118605A
Other languages
English (en)
Other versions
JP2011248463A (ja
Inventor
育規 石井
政夫 平本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010118605A priority Critical patent/JP5414620B2/ja
Priority to CN201180002958.9A priority patent/CN102473306B/zh
Priority to US13/386,500 priority patent/US8520950B2/en
Priority to PCT/JP2011/001609 priority patent/WO2011148549A1/ja
Publication of JP2011248463A publication Critical patent/JP2011248463A/ja
Application granted granted Critical
Publication of JP5414620B2 publication Critical patent/JP5414620B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像中から指定された物体を検出し、認識する画像処理装置及び画像処理方法に関するものである。
近年、撮像素子の進化によって、デジタルスチルカメラ及びデジタルムービーの画素数がますます増加してきている。画素数が増えることによって、撮影者は、観たままの風景を高解像度、且つ広視野で撮影できる。このような高解像度で広視野の画像は、約１０億もの画素を有するギガピクセル画像と呼ばれ、ギガピクセル画像に関する研究、開発が進められている。
ギガピクセル画像の課題は、撮影時と閲覧時とでそれぞれ異なっている。撮影時は、手ぶれによる画像ブレの問題、フォーカスの調整が難しいといった問題がある。しかし、ギガピクセル画像は視野の広い画像であるため、据え置きで撮影すれば、撮影時の課題を回避することができる。
一方、閲覧時は、画素数が多いために、ギガピクセル画像中から観たいものを見つけることが難しいという課題がある。全てを一度に閲覧しようとすると、ディスプレイが大きくなり、専用のシステムが必要になる。また、一般に使われるディスプレイを利用する場合、画像の縮小率が大きくなるため、観たい物体を見つけることが難しい。
このような背景のもと、画素数の多い画像であるギガピクセル画像において、画像から物体検出を行い、観たい物体を自動で見つけることで、閲覧を簡便にすることへの要求が高まっている。
従来、画像から物体を検出する方法として、例えば、特許文献１のＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、又は非特許文献１のＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）と呼ばれる特徴記述子を利用する方法がある。
ＳＩＦＴは、特徴点の検出及び特徴量の記述を行うアルゴリズムである。そのアルゴリズムについて簡単に述べる。ＳＩＦＴの処理は、スケール及びキーポイントの検出を行う処理（ｄｅｔｅｃｔｉｏｎ）と、オリエンテーションの算出及び特徴量の記述とを行う処理（ｄｅｓｃｒｉｐｔｉｏｎ）とを含む。スケールとキーポイントとは、Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ Ｇａｕｓｓｉａｎ（ＤｏＧ）処理により検出される。次に、回転に不変な特徴を得るために、キーポイントのオリエンテーションを求める。最後に、オリエンテーションに基づいて、キーポイントの特徴量を記述する。以下詳細について述べる。
スケール及びキーポイントの検出のために、ＤｏＧ処理を行う。ＤｏＧ処理は、分散係数の異なる二つのＧａｕｓｓｉａｎフィルタによりフィルタ処理を施した画像をそれぞれ二枚算出し、その差分を求める処理である。この差分画像をＤｏＧ画像と呼ぶ。複数の分散係数によってフィルタ処理することで、複数のＤｏＧ画像が得られる。ある一点について、分散係数を変えて生成したＤｏＧ画像の出力値を観測すると、その出力値には極値が存在する。この極値は、画像サイズが二倍になれば、分散の大きさが二倍になったときのＤｏＧ画像の出力値に対応するという関係がある。
このように、ＳＩＦＴは、極値によって相対的なスケール変化を記述することができる。そのため、実際の物体サイズを知らなくても、ＤｏＧ画像から極値を求めるだけで、物体のスケールを知ることができる。このような特徴は、拡大又は縮小に対して不変な特徴と呼ばれる。ここで、得られる極値は複数あるため、コントラスト又は輝度値の曲率によって認識に有効でない極値が排除される。
次に、オリエンテーションの算出について説明する。オリエンテーションは、キーポイントが得られた画像の勾配強度と勾配方向とを求める処理である。キーポイントの周辺の勾配強度と勾配方向とから重み付きヒストグラムを求める。例えば、３６方向に勾配方向を分割し、ヒストグラムを構築する。このとき、最大値から８０％以上となる方向成分がキーポイントのオリエンテーションとして割り当てられる。
特徴量の記述には、キーポイント周辺の勾配情報を用いる。まず、キーポイント周辺の領域をキーポイント方向の座標軸に合わせるため、キーポイントの方向が垂直方向になるようにキーポイント周辺の領域を回転する。回転した領域を４ｘ４の１６ブロックに分け、ブロックごとに８方向（４５度ずつ）の勾配方向ヒストグラムを作成する。オリエンテーションの方向に座標軸を合わせた領域で特徴を記述するため、回転に不変な特徴量となる。
以上の処理によって、画像からＳＩＦＴ記述子を求める方法があるが、ＤｏＧ算出処理の処理量が多いという課題があった。そこで、ＳＵＲＦ特徴量が提案されている。
ＳＵＲＦ記述子は、ＤｏＧ画像の極値を求めるのではなく、Ｆａｓｔ−Ｈｅｓｓｉａｎ Ｄｅｔｅｃｔｏｒによって極値を求める。Ｆａｓｔ−Ｈｅｓｓｉａｎ Ｄｅｔｅｃｔｏｒは、ヘシアン行列を矩形で近似したものである。
異なる解像度のヘシアン行列を用いて行列式を求める。このとき、ヘシアン行列を求めるために、Ｉｎｔｅｇｒａｌ Ｉｍａｇｅを用いることにより、あらゆるサイズの矩形の総和が、４点の画素の加減算で処理できる。
Ｉｎｔｅｇｒａｌ Ｉｍａｇｅについて説明する。理解を容易にするため、１次元で説明する。１次元の画像が図２７（ａ）のように格納されているとする。このときＩｎｔｅｇｒａｌ Ｉｍａｇｅは、次のように作られる。ある画素ｉのＩｎｔｅｇｒａｌ Ｉｍａｇｅの画素値は、図２７（ｂ）に示されるように、１番目から（ｉ−１）画素目までの画素の画素値を加算して得られる値に、ｉ番目の画素の画素値を加算することで算出される。２つ目の要素から６つ目の要素までの和がＩｎｔｅｇｒａｌ Ｉｍａｇｅにおける６つ目の要素と１つ目の要素との差になる（図２７（ｃ））。
以上のように、ＳＵＲＦはＳＩＦＴと異なりＤｏＧ画像を求めないため、高速に処理ができるという特徴がある。しかし、ＳＵＲＦは画素値の和（Ｉｎｔｅｇｒａｌ Ｉｍａｇｅ）を格納する必要があるため、多くのメモリ量が必要となる。例えば、１次元上に複数の画素が並んだ画像のＩｎｔｅｇｒａｌ Ｉｍａｇｅを作成する場合を考える。１画素の画素値を１Ｂｙｔｅとすると、Ｉｎｔｅｇｒａｌ Ｉｍａｇｅの２つ目の要素には２Ｂｙｔｅ、３つ目の要素には３Ｂｙｔｅが必要となる。このように、画素の数に応じて徐々に必要になるメモリの容量が増えてくる。ギガピクセル画像を考えると、１Ｇ番目の要素には１ＧＢｙｔｅのメモリ容量が必要になる。さらに、全要素について同じ要領を確保すると、１ＧＢｙｔｅ＊１Ｇ個のメモリ量が必要になる。したがって、ＳＵＲＦのギガピクセル画像への適用は現実的ではない。
そこで、メモリ量が少なく処理量も小さい方法として、従来までに特許文献２、特許文献３、特許文献４、非特許文献２がある。これらは、画像から輝度の勾配を求め、その勾配に基づいて認識用の画像（以下、認識画像）から、物体を検出する。
米国特許第６７１１２９３号明細書 特開２００８−２４３１７５号公報 特開２００８−２５０９５０号公報 特許第３６０６４３０号公報
Herbert Bay ,Tinne Tuytelaars and Luc Van Gool "SURF: Speeded up robust features", ECCV 2006, pp404-417. 平本 政夫、小川 貴弘、長谷川 美紀、「輝度こう配ベクトルを用いた画像識別方法」 電子情報通信学会論文誌D、２００６年６月１日（Ｐ１３４８−Ｐ１３５８）
従来の特許文献２の方法では、特徴量の抽出時に、ある勾配の点（ベース点と呼ぶ）からその近傍にあるサポート点を選択し、必要最低限の点数を選択する。参照画像と認識画像とから勾配点を選択し、勾配点同士の対応関係を求めることで、検出を行っていた。しかし、回転又はスケールの変化に対応するためには、回転させた参照画像又はスケールを変えた参照画像を用いる必要があるため、任意の回転又はスケールの変化に対応する場合、多くの処理量が必要になる。
また、従来の特許文献３の方法では、勾配の方向を、方向を持つものと無方向のものとに分けることで照合の効率化が行われている。検出は、勾配方向の一致する画素数と、勾配方向のパターン合致度とによって判定が行われている。勾配方向のパターンは回転によって異なる。したがって、この方法でも勾配方向のパターン合致度を求めるために、回転又はスケールの変化に対応した複数の参照画像が必要となる。
さらに、従来の特許文献４の方法では、輝度の勾配を垂直方向及び水平方向のそれぞれで求めて輝度勾配ベクトルとし、輝度勾配ベクトルの類似性を利用して検出を行っている。このとき、基準ベクトルを定め、そのベクトルからの相対的な角度差及び距離の比例関係を利用することで、回転又はスケールの変化にロバストな物体検出を行っている。
また、非特許文献２でも同様に、輝度勾配ベクトルを用いて検出処理を行っている。非特許文献２では、原点と輝度勾配ベクトルまでの距離と角度とが定義され、原点から輝度勾配ベクトルまでの距離と角度とを表すベクトルを位置ベクトルという。この距離と角度とを保持した位置ベクトル及び位置ベクトルの逆方向を向くベクトルである投票ベクトルが検出に用いられる。参照画像と認識画像とで対応する輝度勾配ベクトルが見つかった場合、投票ベクトルが指す位置へ投票を行う。正しい対応関係が見つかった場合、投票数が最大となるのは原点である。
この方法も原点を基準とした相対角度と位置とを利用しているため、回転とスケール変化とにロバストである。しかしながら、特許文献４及び非特許文献２は、参照画像と認識画像とから輝度勾配ベクトルの対応関係を求める必要がある。ギガピクセル画像の場合、輝度勾配ベクトル数が膨大になる。例えば、参照画像からＭ個、認識画像からＮ個の輝度勾配ベクトルが算出される場合、全体の処理量はＯ(Ｍ＊Ｎ)になる。
本発明は、上記従来の課題を解決するもので、画素数の多い画像に対しても、高速な物体の認識を可能とした画像処理装置及び画像処理方法を提供することを目的とする。
本発明の一形態に係る画像処理装置は、探索画像内における参照画像の位置を特定する。具体的には、前記参照画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｒと、前記参照画像平面内に設定された原点から前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置に向かう複数のベクトルであって、第１の２次元座標系で表現される複数の位置ベクトルＲｒと、前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置から前記原点に向かう複数のベクトルであって、前記複数の輝度勾配ベクトルＶｒそれぞれの方向を基準軸とする第２の２次元座標系で表現される複数の投票ベクトルＵｒとを、互いに対応付けて記憶する記憶部と、前記探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する輝度勾配ベクトル算出部と、前記輝度勾配ベクトル算出部で算出された前記複数の輝度勾配ベクトルＶｓと、前記記憶部に記憶されている前記複数の位置ベクトルＲｒ及び前記複数の投票ベクトルＵｒとに基づいて、前記探索画像平面上における前記原点に対応する位置を特定することによって、前記探索画像内における前記参照画像の位置を特定する位置特定部とを備える。そして、前記位置特定部は、前記輝度勾配ベクトル算出部で算出された前記複数の輝度勾配ベクトルＶｓ、及び前記記憶部に記憶されている前記複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の前記輝度勾配ベクトルＶｓ及び処理対象の前記投票ベクトルＵｒを抽出するサンプリング部と、前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、前記輝度勾配ベクトルＶｓと前記基準軸とが一致するように回転させた前記処理対象の投票ベクトルＵｒを配置し、前記投票ベクトルＵｒの終点位置を、前記探索画像平面上における前記原点に対応する位置である候補点と推定する原点位置推定部と、前記原点位置推定部で推定された候補点それぞれに前記複数の位置ベクトルＲｒを配置し、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する再検証部とを備える。
上記構成によれば、輝度勾配ベクトルＶｓ及び投票ベクトルＵｒの少なくとも一方を間引いてから原点位置推定処理（投票）を実行するので、処理量を削減することができる。また、再検証処理を実行することにより、処理精度の劣化を防止することができる。
さらに、前記再検証部は、前記原点位置推定部で推定された前記候補点それぞれに対して、当該候補点を指し示す前記投票ベクトルＵｒの始点位置に存在する前記輝度勾配ベクトルＶｓと、前記投票ベクトルＵｒに対応付けられて前記記憶部に記憶されている前記輝度勾配ベクトルＶｒとのなす角である回転角を算出し、前記回転角だけ回転させた前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定してもよい。これにより、探索画像中の探索物体の回転に対してロバストな処理を実現することができる。
さらに、前記再検証部は、前記原点位置推定部で推定された前記候補点それぞれに対して、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓのうち、当該位置ベクトルＲｒに対応付けられて前記記憶部に記憶されている前記輝度勾配ベクトルＶｒと大きさが実質的に一致するか、又方向が実質的に一致する前記輝度勾配ベクトルＶｓの数を算出し、算出された前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定してもよい。
さらに、前記位置特定部は、特定の画素の画素値と、当該特定の画素の周囲に位置する複数の画素の画素値の平均値との差分値である特徴量を算出する特徴量算出部を備えてもよい。そして、前記再検証部は、さらに、前記原点位置推定部で推定された前記候補点それぞれに対して、前記複数の位置ベクトルＲｒそれぞれの終点位置の画素のうち、前記特徴量が、前記参照画像において対応する画素の前記特徴量と実質的に一致する画素の数を算出し、算出された画素の数が最も多い前記候補点を、前記原点に対応する位置と特定してもよい。
上記の各形態における再検証処理のように、輝度勾配ベクトルＶｓの有無だけでなく、その妥当性を検証することにより、より精度の高い画像認識が可能となる。なお、「実質的に一致」とは、例えば、±１０％、より好ましくは、±５％程度の誤差を許容することを指す。
また、前記原点位置推定部は、前記投票ベクトルの終点位置が予め定めた閾値以上集まる位置のみを、前記候補点と推定してもよい。これにより、処理精度を劣化させることなく、処理量を削減することが可能となる。
さらに、原点位置推定部は、前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、所定の倍率に拡大又は縮小した前記処理対象の投票ベクトルＵｒを配置してもよい。これにより、探索画像中の探索物体の拡大又は縮小に対してロバストな処理を実現することができる。
本発明の一形態に係る画像処理方法は、参照画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｒと、前記参照画像平面内に設定された原点から前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置に向かう複数のベクトルであって、第１の２次元座標系で表現される複数の位置ベクトルＲｒと、前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置から前記原点に向かう複数のベクトルであって、前記複数の輝度勾配ベクトルＶｒそれぞれの方向を基準軸とする第２の２次元座標系で表現される複数の投票ベクトルＵｒとを、互いに対応付けて記憶する記憶部を備える画像処理装置に、探索画像内における前記参照画像の位置を特定させる方法である。具体的には、前記探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する輝度勾配ベクトル算出ステップと、前記輝度勾配ベクトル算出ステップで算出された前記複数の輝度勾配ベクトルＶｓと、前記記憶部に記憶されている前記複数の位置ベクトルＲｒ及び前記複数の投票ベクトルＵｒとに基づいて、前記探索画像平面上における前記原点に対応する位置を特定することによって、前記探索画像内における前記参照画像の位置を特定する位置特定ステップとを含む。そして、前記位置特定ステップは、前記輝度勾配ベクトル算出ステップで算出された前記複数の輝度勾配ベクトルＶｓ、及び前記記憶部に記憶されている前記複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の前記輝度勾配ベクトルＶｓ及び処理対象の前記投票ベクトルＵｒを抽出するサンプリングステップと、前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、前記輝度勾配ベクトルＶｓと前記基準軸とが一致するように回転させた前記処理対象の投票ベクトルＵｒを配置し、前記投票ベクトルＵｒの終点位置を、前記探索画像平面上における前記原点に対応する位置である候補点と推定する原点位置推定ステップと、前記原点位置推定ステップで推定された候補点それぞれに前記複数の位置ベクトルＲｒを配置し、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する再検証ステップとを含む。
本発明の一形態に係るプログラムは、参照画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｒと、前記参照画像平面内に設定された原点から前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置に向かう複数のベクトルであって、第１の２次元座標系で表現される複数の位置ベクトルＲｒと、前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置から前記原点に向かう複数のベクトルであって、前記複数の輝度勾配ベクトルＶｒそれぞれの方向を基準軸とする第２の２次元座標系で表現される複数の投票ベクトルＵｒとを、互いに対応付けて記憶する記憶部を備えるコンピュータに、探索画像内における前記参照画像の位置を特定させる。具体的には、前記探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する輝度勾配ベクトル算出ステップと、前記輝度勾配ベクトル算出ステップで算出された前記複数の輝度勾配ベクトルＶｓと、前記記憶部に記憶されている前記複数の位置ベクトルＲｒ及び前記複数の投票ベクトルＵｒとに基づいて、前記探索画像平面上における前記原点に対応する位置を特定することによって、前記探索画像内における前記参照画像の位置を特定する位置特定ステップとを、コンピュータに実行させてる。そして、前記位置特定ステップは、前記輝度勾配ベクトル算出ステップで算出された前記複数の輝度勾配ベクトルＶｓ、及び前記記憶部に記憶されている前記複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の前記輝度勾配ベクトルＶｓ及び処理対象の前記投票ベクトルＵｒを抽出するサンプリングステップと、前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、前記輝度勾配ベクトルＶｓと前記基準軸とが一致するように回転させた前記処理対象の投票ベクトルＵｒを配置し、前記投票ベクトルＵｒの終点位置を、前記探索画像平面上における前記原点に対応する位置である候補点と推定する原点位置推定ステップと、前記原点位置推定ステップで推定された候補点それぞれに前記複数の位置ベクトルＲｒを配置し、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する再検証ステップとを、コンピュータに実行させる。
本発明の一形態に係る集積回路は、参照画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｒと、前記参照画像平面内に設定された原点から前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置に向かう複数のベクトルであって、第１の２次元座標系で表現される複数の位置ベクトルＲｒと、前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置から前記原点に向かう複数のベクトルであって、前記複数の輝度勾配ベクトルＶｒそれぞれの方向を基準軸とする第２の２次元座標系で表現される複数の投票ベクトルＵｒとを、互いに対応付けて記憶する記憶部を備える画像処理装置に搭載されて、探索画像内における前記参照画像の位置を特定する。具体的には、前記探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する輝度勾配ベクトル算出部と、前記輝度勾配ベクトル算出部で算出された前記複数の輝度勾配ベクトルＶｓと、前記記憶部に記憶されている前記複数の位置ベクトルＲｒ及び前記複数の投票ベクトルＵｒとに基づいて、前記探索画像平面上における前記原点に対応する位置を特定することによって、前記探索画像内における前記参照画像の位置を特定する位置特定部とを備える。そして、前記位置特定部は、前記輝度勾配ベクトル算出部で算出された前記複数の輝度勾配ベクトルＶｓ、及び前記記憶部に記憶されている前記複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の前記輝度勾配ベクトルＶｓ及び処理対象の前記投票ベクトルＵｒを抽出するサンプリング部と、前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、前記輝度勾配ベクトルＶｓと前記基準軸とが一致するように回転させた前記処理対象の投票ベクトルＵｒを配置し、前記投票ベクトルＵｒの終点位置を、前記探索画像平面上における前記原点に対応する位置である候補点と推定する原点位置推定部と、前記原点位置推定部で推定された候補点それぞれに前記複数の位置ベクトルＲｒを配置し、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する再検証部とを備える。
本発明によれば、画素数の多い画像に対しても高速な物体の認識を可能とした画像処理装置及び画像処理方法を得ることができる。
本発明の実施の形態１に係る撮像装置のブロック図である。 図１の画像処理部のブロック図である。 参照画像の一例を示す図である。 探索画像の一例を示す図である。 参照画像データ作成処理を示すフローチャートである。 輝度勾配ベクトルＶｒの一例を示す図である。 位置ベクトルＲｒの一例を示す図である。 投票ベクトルＵｒの一例を示す図である。 基準軸の方向を揃えた状態の投票ベクトルＵｒを示す図である。 原点Ｏ’を揃えた状態の投票ベクトルＵｒを示す図である。 投票方式による画像認識の概念を示す図である。 探索画像内における参照画像の位置特定処理を示すフローチャートである。 輝度勾配ベクトルＶｓの一例を示す図である。 サンプリング処理の結果の一例を示す図である。 投票処理の結果の一例を示す図である。 再検証処理の結果の一例を示す図である。 探索画像内の探索物体を拡大した場合の処理結果の一例を示す図である。 探索画像内の探索物体を縮小した場合の処理結果の一例を示す図である。 探索物体を回転させた場合における図１３に対応する図である。 探索物体を回転させた場合における図１４に対応する図である。 探索物体を回転させた場合における図１５に対応する図である。 探索物体を回転させた場合における図１６に対応する図である。 探索物体を４０°回転させた場合の処理結果の一例を示す図である。 探索物体を８０°回転させた場合の処理結果の一例を示す図である。 回転方向の影響を受けない特徴量の一例を示す図である。 拡大又は縮小の影響を受けない特徴量の一例を示す図である。 Ｉｎｔｅｇｒａｌ Ｉｍａｇｅを説明するための図である。
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本実施の形態では、処理量が少なく、回転、拡大、又は縮小にロバストな物体の認識を可能にする画像処理装置、及び、画像処理方法について述べる。
図１及び図２を参照して、本発明の実施の形態１に係る撮像装置１０を説明する。図１は、撮像装置１０全体のブロック図である。図２は、画像処理部２１０のブロック図である。
本実施の形態１に係る撮像装置１０は、図１に例示するように、撮像部１００と、各種信号処理を行う信号処理部２００と、撮像部１００によって取得された画像を表示する表示部３００と、画像データを記録する記録部４００と、各部を制御するシステム制御部５００とを備える。
撮像部１００は、光学レンズ１１０と、撮像素子１２０とを備える。光学レンズ１１０は、光軸方向に移動して焦点位置又は拡大率の調整等を行う。撮像素子１２０は、光学レンズ１１０を通過した光を光電変換して、探索画像データを信号処理部２００に出力する。撮像素子１２０は、典型的には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等で実現できる。
信号処理部２００は、画像処理部２１０と、メモリ２２０と、ＩＦ（ＩｎｔｅｒＦａｃｅ）２３０とを備える。画像処理部２１０は、撮像部１００から取得した探索画像中における参照画像の位置を特定する処理を実行する。メモリ２２０は、画像処理部２１０で処理され、表示部３００に表示される画像データを一時的に記憶する記憶領域である。ＩＦ２３０は、記録部４００との間でデータの入出力を行う。
表示部３００は、画像処理部２１０で処理された画像データを表示する。表示部３００の具体的な構成は特に限定されないが、例えば、液晶ディスプレイ、プラズマディスプレイ、又は有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を採用することができる。
記録部４００は、信号処理部２００で処理された画像データ、及びその他のデータを記憶する。記録部４００の具体的な構成は特に限定されないが、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等のデータを記憶可能なあらゆる記憶媒体を採用することができる。後述する記憶部２１１も同様である。
システム制御部５００は、撮像装置１０の各構成要素を制御する。システム制御部５００は、例えば、プログラムを読み出して実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で実現してもよいし、集積回路で実現してもよい。
本実施の形態１の画像処理装置が公知の画像処理装置と異なる主な点は、主に画像処理部２１０の動作にある。したがって、以下の説明では、主として、画像処理部２１０を詳しく説明する。
画像処理部２１０は、図２に示されるように、記憶部２１１と、輝度勾配ベクトル算出部２１２と、位置特定部２１３とを備える。
記憶部２１１は、参照画像から生成された複数の輝度勾配ベクトルＶｒ、複数の位置ベクトルＲｒ、及び複数の投票ベクトルＵｒとを互いに対応付けて記憶している。輝度勾配ベクトルＶｒは、参照画像を構成する複数の画素間の輝度値の勾配を示すベクトルである。位置ベクトルＲｒは、参照画像平面内に設定された原点から複数の輝度勾配ベクトルＶｒの始点位置に向かうベクトルである。投票ベクトルＵｒは、輝度勾配ベクトルＶｒの始点位置から原点に向かうベクトルである。
ここで、対応する位置ベクトルＲｒと投票ベクトルＵｒとを図示すると、絶対値が同じで方向が反対となる。しかしながら、位置ベクトルＲｒは、第１の２次元座標系で表現されるベクトルであり、投票ベクトルＵｒは、対応する輝度勾配ベクトルＶｒの方向を基準軸とする第２の２次元座標系（第１の２次元座標系と異なる）で表現されるベクトルである。
輝度勾配ベクトル算出部２１２は、探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する。なお、輝度勾配ベクトルＶｒ、Ｖｓの算出方法は同一であり、後述する。
位置特定部２１３は、輝度勾配ベクトル算出部２１２で算出された複数の輝度勾配ベクトルＶｓと、記憶部２１１に記憶されている複数の位置ベクトルＲｒ及び複数の投票ベクトルＵｒとに基づいて、探索画像平面上における原点に対応する位置を特定することによって、探索画像内における参照画像の位置を特定する。より具体的には、位置特定部２１３は、サンプリング部２１４と、原点位置推定部２１５と、再検証部２１６とを備える。
サンプリング部２１４は、輝度勾配ベクトル算出部２１２で算出された複数の輝度勾配ベクトルＶｓ、及び記憶部２１１に記憶されている複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の輝度勾配ベクトルＶｓ及び処理対象の投票ベクトルＵｒを抽出する。サンプリング手法の典型例は、ランダムサンプリングである。また、以下の例では、複数の輝度勾配ベクトルＶｓのうちの一部を間引く例を説明する。
原点位置推定部２１５は、処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、輝度勾配ベクトルＶｓと基準軸とが一致するように回転させた処理対象の投票ベクトルＵｒを配置し、投票ベクトルＵｒの終点位置を、探索画像平面上における原点に対応する位置である候補点と推定する。
再検証部２１６は、原点位置推定部２１５で推定された候補点それぞれに複数の位置ベクトルＲｒを配置し、複数の位置ベクトルＲｒそれぞれの終点位置に存在する輝度勾配ベクトルＶｓが最も多い候補点を、原点に対応する位置と特定する。
図３〜図１６を参照して、画像処理部２１０の動作を説明する。まず、図３は、参照画像の一例を示す図である。図４は、探索画像の一例を示す図である。
本実施の形態１では、輝度勾配ベクトルに基づく画像認識を行う。輝度勾配ベクトルに基づく画像認識とは、参照画像の輝度勾配ベクトルと探索画像の輝度勾配ベクトルとの関係性を利用して、探索画像中から参照画像に一致する画像を探索する処理である。
輝度勾配ベクトルに基づく画像認識では、画像データを輝度勾配ベクトルデータ群に変換する。そして、その輝度勾配ベクトルデータ群から識別用データを求める。識別用のデータは、各輝度勾配ベクトルデータの位置から任意の位置に設定された原点に向かう投票ベクトルである。その後、探索画像の輝度勾配ベクトルを求め、探索画像内において、投票ベクトルを用いて投票を行うことで物体認識を行う。
まず、図５〜図１０を参照して、図３に示される参照画像から、輝度勾配ベクトルデータＶｒと、位置ベクトルＲｒと、投票ベクトルＵｒとを含む参照画像データを求める参照画像データ作成処理を説明する。図５は、参照画像データ作成処理を示すフローチャートである。図６〜図１０は、参照画像データ作成処理の各ステップにおける各種ベクトルのイメージ図である。
参照画像データ生成処理について述べる。参照画像とは、図３に示されるように、探したい物体（探索物体）が大きく写った画像である。また、探索物体のみが写っている画像でもよい。認識処理では、探索画像中において、探索物体が存在する場所を調べる。
まず、参照画像の輝度勾配ベクトルＶｒｉ（ｉ＝１〜４）を算出する（Ｓ１１）。
参照画像を平滑化する。これにより、ノイズを減らすことができる。その結果、後述する輝度勾配（エッジともいう）の抽出処理において、不要な輝度勾配成分を除去することができる。式１に、平滑化フィルタの例を示す。
ここでは、平滑化フィルタとして、参照画像を構成する各画素に、式１に示すようなガウシアンフィルタを施す。式１から例えば、３×３のガウシアンカーネルを作る。これに限らず平均値フィルタでもよい。このとき、平均値フィルタは計算量が小さいという効果がある。
次に、参照画像の輝度勾配の抽出を行う。輝度勾配の抽出は、ｘ方向及びｙ方向それぞれについて行う。輝度勾配抽出オペレータは、例えば、Ｓｏｂｅｌオペレータを用いた抽出を行なえばよい。
輝度勾配検出オペレータについて、以下に一例を述べる。輝度勾配検出オペレータは様々あるが、ここでは一例として、一般的に輝度勾配を抽出するために用いられるＳｏｂｅｌオペレータについて説明する。プレウィットフィルタ又は隣接する画素値の差分フィルタなど他の手法でも構わない。式２及び式３に、Ｓｏｂｅｌフィルタの例を示す。
式２は、参照画像のｘ方向の輝度勾配を抽出するフィルタである。一方、式３は、参照画像のｙ方向の輝度勾配を抽出するフィルタであるこれらのフィルタそれぞれを、参照画像の各画素値に適用することで、輝度勾配ベクトルのｘ方向のデータ群とｙ方向のデータ群とを獲得することができる。図３に示される参照画像から算出された輝度勾配ベクトルＶｒ1〜Ｖｒ4の例を図６に示す。
次に、各輝度勾配ベクトルＶｒｉ（ｉ＝１〜４）に対応する位置ベクトルＲｒｉを算出する（Ｓ１２）。なお、輝度勾配ベクトルＶｒｉ及び位置ベクトルＲｒｉは、共に原点Ｏを中心とするｘ−ｙ座標系で表現されるベクトルである。
位置ベクトルの算出方法について述べる。距離ベクトルＲｒｉは、参照画像のｘ−ｙ平面上に設定された原点Ｏから各輝度勾配ベクトルＶｒｉの始点位置に向かって延びるベクトルである。
輝度勾配ベクトルＶｒｉと位置ベクトルＲｒｉとの関係を図７に示す。図７に示されるように、参照画像上に定義した原点Ｏ（例えば、参照画像の中心座標）から位置ベクトルＲｒｉが張られており、そこから輝度勾配ベクトルＶｒｉが張られる。
これらの情報を用いて識別用データである投票ベクトルＵｒｉを作成する（Ｓ１３）。投票ベクトルＵｒｉは、例えば、式４及び式５によって作られる。なお、ここでは、参照画像データの生成に式４及び式５を用いる例を説明しているが、これらの式は識別用データの生成にも利用できる。そこで、式４及び式５では、輝度勾配ベクトルＶｒｉをＶｉと、位置ベクトルＲｒｉをＲｉと、投票ベクトルＵｒｉをＵｉと一般化して表記している。
投票ベクトルＵｒｉは、図８に示すように、各輝度勾配ベクトルＶｒｉの始点位置から原点Ｏに向かって延びるベクトルである。そして、投票ベクトルＵｒｉは、各輝度勾配ベクトルＶｒｉの始点位置の座標を原点とし、その方向を水平基準軸（ｘ’軸）とした２次元座標系（ｘ’−ｙ’座標系）で表現される。特徴として、投票ベクトルＵｒｉが指し示す位置（投票ベクトルＵｒｉの終点位置）が全て原点Ｏに一致する。
ここで、ｘ’軸が輝度勾配ベクトルＶｒ1の方向を向くように投票ベクトルＵｒ1〜Ｕｒ4を回転させると、図９に示すような状態となる。さらに、原点Ｏ’の位置が一致するように、図９に示す投票ベクトルＵｒ1〜Ｕｒ4を重ね合わせると、図１０に示すような状態となる。つまり、投票ベクトルＵｒ1〜Ｕｒ4は、ｘ’−ｙ’座標系の原点Ｏ’から放射状に延びるベクトルとして表現することができる。
そして、以上までの処理によって生成された輝度勾配ベクトルＶｒｉ、位置ベクトルＲｒｉ、及び投票ベクトルＵｒｉは、互いに対応付けられた状態で記憶部２１１に記憶される（Ｓ１４）。これにより、参照画像において、識別ためのデータ準備ができた。なお、上記の処理は、参照画像を取得した画像処理部２１０が行ってもよいし、外部装置が算出した輝度勾配ベクトルＶｒｉ、位置ベクトルＲｒｉ、及び投票ベクトルＵｒｉを記憶部２１１に格納してもよい。
次に、識別の原理について述べる。まず、従来の非特許文献２の方法と課題とを論じた後、本発明の方法を述べる。
まず、識別対象の画像（探索画像）の輝度勾配ベクトルＶｓｉ及び位置ベクトルＲｓｉ（ｉは１〜ｎ：ｎはベクトル数）と、参照画像の輝度勾配ベクトルＶｒｊ及び投票ベクトルＵｒｊ（ｊは、１〜ｍ：ｍはベクトル数）とを用意する。本手法では、図１１に示すように、探索画像において参照画像の識別データに基づき投票するので、投票用の空間が必要になる。実際には、二次元空間で考え、比較する二つの画像サイズより大きい平面（以下、投票平面）を考える。
投票平面上に原点を設定し、探索画像の輝度勾配ベクトルＶｓｉと位置ベクトルＲｓｉとを配置する。次に、探索画像の輝度勾配ベクトルＶｓｉと参照画像の輝度勾配ベクトルＶｒｊとを、全て比較する。従来の非特許文献２においては、探索画像の輝度勾配ベクトルＶｓｉ及び参照画像の輝度勾配ベクトルＶｒｊの絶対値が等しい場合に、投票平面において、位置ベクトルＲｓｉが指し示す位置に投票ベクトルＵｒｊを配置し、投票ベクトルＵｒｊが指し示す位置に一票投票していた。もし、参照画像と探索画像とが等しいならば最多得票点は原点であり、その得票数はｎである。そこで、この値が決められた閾値より大きいとき、探索画像中に探索物体（参照画像）が存在すると判定していた。
しかしながら、ギガピクセル画像では、探索画像の輝度勾配ベクトルＶｓｉの数が多く、対応点を探索する計算量も多くなる。そこで、本実施の形態１では、以下に示すような輝度勾配ベクトルＶｓｉのサンプリングと、投票結果の再検証とを行うことで、処理負荷を軽減する方法を説明する。
図１２〜図１６を参照して、本実施の形態１に係る探索画像内における参照画像の位置特定処理を説明する。図１２は、位置特定処理のフローチャートである。図１３〜図１６は、位置特定処理の各ステップにおけるベクトルのイメージを示す図である。
まず、探索画像の輝度勾配ベクトルＶｓｉ（ｉ＝１〜１０）を算出する。輝度勾配ベクトルＶｓｉの算出方法は、上述の輝度勾配ベクトルＶｒｉの算出方法と共通するので、説明を省略する。図４に示される探索画像から算出された輝度勾配ベクトルＶｒ1〜Ｖｒ10を図１３に示す。
次に、探索画像の輝度勾配ベクトルＶｓｉをランダムにサンプリングする（Ｓ２２）。これにより、不要なデータの投票を削減できるので、ノイズと計算量とを同時に削減できる。ここでは、図１４に示されるように、輝度勾配ベクトルＶｓ3、Ｖｓ5、Ｖｓ6が間引かれて、輝度勾配ベクトルＶｓ1〜Ｖｓ3、Ｖｓ7〜Ｖｓ10が処理対象として抽出されたものとする。
なお、サンプリングレートは任意に設定することができる。一般的には、サンプリングレートが低くなる程、処理量は少なくなるが、認識精度は低下する。しかしながら、後述の再検証処理を行うことで認識精度の低下を抑制することができるので、例えば、サンプリングレートを２５％以下に設定したとしても、十分な認識精度を得ることができる。
そして、サンプリングした輝度勾配ベクトルＶｓｉそれぞれに対して、全ての投票ベクトルＵｒｊを用いて投票を行う（Ｓ１３）。具体的には、図１０のｘ’軸が各輝度勾配ベクトルＶｓｉの方向に一致するように回転させた投票ベクトルＵｒ1〜Ｕｒ4を、各投票ベクトルＵｒ1〜Ｕｒ4の始点位置が原点Ｏ’に一致するように、探索画像上に配置する。このときの状態を図１５に示す。
図１５において、各投票ベクトルＵｒ1〜Ｕｒ4の終点位置が、探索画像中における原点Ｏに対応する位置の候補点となる。ここで、各投票ベクトルＵｒ1〜Ｕｒ4の指し示す全ての位置を候補点としてもよいが、処理量を軽減する観点からは、１つの投票ベクトルＵｒｉのみによって指し示される点（孤立点）を除去し、投票ベクトルＵｒｉの終点が所定の閾値（例えば、２個）以上集まる点のみを候補点としてもよい。図１５の例では、３つの投票ベクトルＵｒ1、Ｕｒ2、Ｕｒ3が指し示す候補点Ｏ1と、２つの投票ベクトルＵｒ1、Ｕｒ4が指し示す候補点Ｏ2とを抽出する。
具体的には、次に述べる方法で孤立点の除去を行ってもよい。孤立点は、その点の近傍に投票された点が閾値より少ない点である。そこで、ある点の近傍に、投票された点が何点あるかを計測することで孤立点の判定を行う。判定式を式６に示す。
式６のＰは、孤立点を判定する点の近傍点の集合であり、ｐは近傍点である。また、ｆ(ｐ)は、近傍点ｐが投票されていれば１を、そうでなければ０を返す関数であり、ｆ(ｐ)によって、点ｐに投票点が存在するか否かを判定している。
以上をまとめると、ランダムにサンプリングした輝度勾配ベクトルＶｓｉが、参照画像の輝度勾配ベクトルＶｒｊのいずれかに対応しているという仮説のもとで投票を行う。仮説が正しければ投票平面の原点Ｏに投票点の集合ができる。また、対応しているものがなければ、それらには関連性がなく集合をつくらない。したがって、投票平面において投票数が多い点（候補点）が現れる。このことからランダムにサンプリングし、投票を行い、投票平面において、一定以上の得点が得られた点を原点の候補と考えることができる。
しかしながら、ここで得られる候補は、ランダムにサンプリングして得られる結果によるものであるので、その投票結果にはノイズ成分が含まれている。そのため、投票平面の分布は分散が大きくなる傾向にある。そこで、本実施の形態１では、このデータ群を再検証することで、投票されたデータ群の再検証を図る（Ｓ２４）。
投票点（候補点Ｏ1、Ｏ2）からｍ（ｍ＝１〜４）個の位置ベクトルＲｒｉ（逆投票ベクトル）を用いて逆投票を行う。正しい投票点の場合は、位置ベクトルＲｒｉの指し示す終点位置に合計ｍ個の輝度勾配ベクトルＶｓｉがあるはずである。逆に誤った投票点では、位置ベクトルＲｒｉの終点位置に存在する輝度勾配ベクトルＶｓｉは少ない。これにより、最大値がｍとなる「類似度」を定義することができる。この類似度によって各候補点を評価することで、複数の候補点のうちから正しい原点Ｏの位置を特定することができる。
具体的には、図１６に示されるように、各候補点Ｏ1、Ｏ2と原点Ｏとが一致するように、図７に示される位置ベクトルＲｒ1〜Ｒｒ4を探索画像上に配置する。そして、各位置ベクトルＲｒ1〜Ｒｒ4の終点位置に輝度勾配ベクトルＶｓｉが存在するか否かを判定する。なお、再検証処理においては、サンプリング処理（Ｓ２２）で間引いた輝度勾配ベクトルＶｒ3、Ｖｒ5、Ｖｒ6も処理対象とする。
図１６の例においては、候補点Ｏ1から延びる位置ベクトルＲｒ1〜Ｒｒ4の指し示す先には、４つの輝度勾配ベクトルＶｒ1〜Ｖｒ4が存在する。つまり、候補点Ｏ1における類似度は、４となる。一方、候補点Ｏ2から延びる位置ベクトルＲｒ1〜Ｒｒ4の指し示す先には、２つの輝度勾配ベクトルＶｒ9、Ｖｒ10が存在する。つまり、候補点Ｏ2における類似度は、２となる。そして、再検証部２１６は、複数の候補点Ｏ1、Ｏ2のうち、類似度が最も大きい候補点Ｏ1を原点Ｏに対応する位置と特定する。すなわち、探索画像中の候補点Ｏ1を含む領域に、図３に示す参照画像と実質的に同一の画像が存在することが分かる。
以上の方法によれば、ランダムサンプリングにより画像認識に利用する輝度勾配ベクトルＶｓｉの数を削減できるため、ベクトルの対応関係を求める処理を削減できる。具体的には、参照画像の輝度勾配ベクトルＶｒｉの数がＭ個で、認識画像の輝度勾配ベクトルＶｓｉの数がＮ個の場合、従来の処理量はＯ(Ｍ＊Ｎ)であったが、本発明の処理量はＯ(Ｍ＊Ｎ／ｍ)となる。ここで１／ｍは、探索画像の輝度勾配ベクトルＶｓｉのサンプリングレートを示す。
しかしながら、従来の非特許文献２のように、回転、拡大、又は縮小といった幾何学的変換の際、画素値が補間されると、探索画像の輝度勾配ベクトルＶｓｉ及び参照画像の輝度勾配ベクトルＶｒｊの絶対値が等しくならないため、対応関係を見つけることが難しいという課題がある。
そこで、拡大又は縮小に対応するために、図１２のＳ２３において、投票ベクトルＵｒｊの倍率を変えて投票する（例えば、０．７〜１．３倍することで、探索画像中の探索物体と参照画像とのサイズが０．７〜１．３倍の範囲で異なる場合においても対応できる）。
より具体的には、図１２のＳ２３において、倍率１倍の投票ベクトルＵｒｊと、倍率０．７倍の投票ベクトルＵｒｊと、倍率１．３倍の投票ベクトルＵｒｊとを、処理対象の各輝度勾配ベクトルＶｓｉの位置に配置する。そして、同一の倍率の投票ベクトルＵｒｊが所定の閾値以上集まる点を、候補点とする。さらに、図１２のＳ２４において、各候補点上に配置される位置ベクトルＲｒｊは、候補点を指し示す投票ベクトルＵｒｊと同じ倍率だけ拡大又は縮小される。
ここで、倍率の幅を小さくする程、拡大又は縮小に対するロバスト性は高くなるが、処理量は増大する。そこで、倍率の幅を小さくするのに応じて、サンプリング処理におけるサンプリングレート、又は孤立点除去処理における閾値を大きくすることによって、処理量の増加を抑制するのが望ましい。
図１７及び図１８は、探索画像中の探索物体と参照画像との倍率が異なる場合における処理結果を示す図である。図１７（ａ）に示すように、探索画像中の探索物体を参照画像の１３０％に拡大すると、図１７（ｂ）に示すように、候補点は中心付近に集まる。一方、図１８（ａ）に示すように、探索画像中の探索物体を参照画像の７０％に縮小すると、図１８（ｂ）に示すように、候補点が分散する。これは、画像を縮小する際に画素の一部が間引かれることによる誤差である。
しかしながら、図１７及び図１８のように、拡大又は縮小がある場合においても、意図した位置で投票点の数が多くなっており、拡大又は縮小にロバストであるという効果が確認できた。
また、探索画像中の探索物体が参照画像に対して回転している場合には、投票点の再検証において、参照画像と投票画像中の探索物体との角度差推定が必要になる。
参照画像と探索画像中の探索物体との角度差の推定について図１９〜図２２を用いて説明する。なお、図１９〜図２２は、それぞれ図１３〜図１６に対応する図であって、探索画像中の探索物体が参照画像に対して時計回りにθだけ回転している点が異なる図である。つまり、図１９〜図２２の輝度勾配ベクトルＶｓ1’〜Ｖｓ4’は、図１３〜図１６の輝度勾配ベクトルＶｓ1〜Ｖｓ4をそれぞれ時計回りにθだけ回転させたベクトルである。
探索画像中の探索物体が参照画像に対して回転している場合であっても、図１２のＳ２１〜Ｓ２３の処理は同じように実行することができる。但し、Ｓ２３の終了後に、以下に示す角度差推定処理を実行する必要がある。
具体的には、図２１に示されるように、候補点Ｏ1を指し示す投票ベクトルＵｒ1、Ｕｒ2、Ｕｒ4の始点位置に存在する輝度勾配ベクトルＶｓ1’、Ｖｓ2’、Ｖｓ4’と、投票ベクトルＵｒ1、Ｕｒ2、Ｕｒ4に対応付けられて記憶部２１１に記憶されている輝度勾配ベクトルＶｓ1、Ｖｓ2、Ｖｓ4とのなす角度をそれぞれ算出する。
対応する輝度勾配ベクトルＶｒｉ、Ｖｓｉのなす角度は、式７のようにして求めることができる。
これにより、一組の輝度勾配ベクトルＶｒｉ、Ｖｓｉについて、参照画像と探索画像中の探索物体との角度差を求めることができる。さらに、全ての投票ベクトルＵｒｉの始点位置に存在する輝度勾配ベクトルＶｒｉ、Ｖｓｉに対して、上記の方法で角度差が求められる。そして、例えば、角度差の最頻値を参照画像（参照画像中の対象物体）と探索画像との角度差θとする。
次に、類似度の算出について説明する。類似度は、先述した認識物体の回転を考慮した位置ベクトルＲｒｉ’の指し示す終点位置に輝度勾配ベクトルＶｓｉが存在するか否かによって求める。つまり、図７に示される位置ベクトルＲｒ1〜Ｒｒ4を角度差θだけ回転させて得られる位置ベクトルＲｒ1’〜Ｒｒ4’を用いて、再検証処理を実行する。回転を考慮するため、位置ベクトルＲｒ1’〜Ｒｒ4’は式８のようになる。
ここで、Ｒｉｘは位置ベクトルＲｒｉのｘ成分、Ｒｉｙは位置ベクトルＲｒｉのｙ成分とする。これを回転逆投票ベクトルと呼ぶ。投票点からｍ個の回転逆投票ベクトルを用いて逆投票を行う。正しい投票点の場合は、回転逆投票ベクトルの指し示す終点位置に、合計ｍ個の輝度勾配ベクトルＶｓｉあるはずである。逆に誤った投票点では、逆投票の位置に存在する輝度勾配ベクトルＶｓｉは少ない。回転を考慮して類似度を算出することにより、認識物体の幾何学的変化にロバストな認識が可能になる。
図２３及び図２４は、探索画像中の探索物体と参照画像との角度が異なる場合における処理結果を示す図である。図２３（ａ）に示すように、探索画像中の探索物体を参照画像に対して４０°回転させると、図２３（ｂ）に示すように、候補点は中心付近に集まる。一方、図２４（ａ）に示すように、探索画像中の探索物体を参照画像に対して８０°回転させると、図２４（ｂ）に示すように、候補点が分散する。つまり、回転角が大きいほど、検出精度が若干低下する。しかしながら、図２３及び図２４のように、回転がある場合においても、意図した位置で投票点数が多くなっており、回転にロバストであるという効果が確認できた。
（実施の形態２）
本実施の形態２で用いる画像処理装置の構成は、実施の形態１と同じであるため、詳細な説明は省略する。
実施の形態２に係る再検証部２１６は、さらに、原点位置推定部２１５で推定された候補点それぞれに対して、複数の位置ベクトルＲｒそれぞれの終点位置に存在する輝度勾配ベクトルＶｓのうち、当該位置ベクトルＲｒに対応付けられて記憶部２１１に記憶されている輝度勾配ベクトルＶｒと大きさが実質的に一致するか、又方向が実質的に一致する輝度勾配ベクトルＶｓの数を算出し、算出された輝度勾配ベクトルＶｓが最も多い候補点を、原点に対応する位置と特定する。
または、実施の形態２に係る位置特定部２１３は、さらに、特定の画素の画素値と、当該特定の画素の周囲に位置する複数の画素の画素値の平均値との差分値である特徴量を算出する特徴量算出部（図示省略）を備える。そして、再検証部２１６は、さらに、原点位置推定部２１５で推定された候補点それぞれに対して、複数の位置ベクトルＲｒそれぞれの終点位置の画素のうち、特徴量が、参照画像において対応する画素の特徴量と実質的に一致する画素の数を算出し、算出された画素の数が最も多い候補点を、原点に対応する位置と特定する。 実施の形態１で述べた画像認識では、ランダムにサンプリングした輝度勾配ベクトルＶｓｉに対して投票を行い、その投票結果に対して逆投票をした結果、そこに輝度勾配ベクトルＶｓｉが存在すれば、類似度のカウントを１追加していた。
実施の形態２では、逆投票した位置にある輝度勾配ベクトルＶｓｉの確からしさを評価する基準を設ける。これにより、ただ輝度勾配ベクトルＶｓｉが存在するというだけでなく、誤った輝度勾配ベクトルＶｓｉにおいて、類似度をカウントしないことにより、精度をさらに上げることが可能になる。
以下、詳細について説明する。
実施の形態１で述べたように、投票した結果を回転逆投票ベクトルによって、再検証することができる。そこに存在する輝度勾配ベクトルは、参照画像と探索画像とで強度が完全に一致するとは限らない。しかしながら、認識する物体において、全く異なる場所を選んでいるわけではないため、一定の類似性を保持している。そこで、輝度勾配ベクトルＶｓｉ、Ｖｒｉの絶対値に幅を持たせて、絶対値の類似性が高いときのみ類似度としてカウントする。つまり、実施の形態１では、回転逆投票ベクトルによって輝度勾配ベクトルＶｓｉが見つかれば類似度をカウントしていたが、本実施の形態２は、探索画像の輝度勾配ベクトルＶｓｉが参照画像の輝度勾配ベクトルＶｒｉの絶対値のＮ％（例えば、５％）以内に存在するとき、類似度が高いとしてカウントする。
これにより、輝度勾配ベクトルＶｓｉが存在するだけではなく、その絶対値の類似性により、ありえない対応をカウントしないため、ノイズ成分の影響を受けにくく、精度の高い物体認識が可能になる。
また、再検証の際に、以下に述べる幾何学的な性質を導入することにより、再投票結果の評価を行うことができる。回転のみの変化、あるいは、拡大又は縮小のみの変化であれば、次の性質がある。
回転の変化が生じると、参照画像と探索画像とで、輝度勾配ベクトルＶｒｉ、Ｖｓｉを求めるための画素対が異なる。通常、水平方向の画素対の差分、垂直方向の画素対の差分によって輝度勾配ベクトルを求めるが、回転すると、水平、垂直方向の基準が変わるため、勾配の方向性が異なる。そこで、勾配の方向性を無くす特徴量を用いることで、逆投票をした結果の信頼性を高める。方向性を無くす特徴量として、図２５に示す特徴量を考える。
ここでは、特徴量を抽出するフィルタを目にあてはめた例を示している。このフィルタはある画素（ｘ，ｙ）と、その近傍画素（ｘ−１，ｙ−１）、（ｘ，ｙ−１），（ｘ＋１，ｙ−１），（ｘ−１，ｙ），（ｘ＋１，ｙ），（ｘ−１，ｙ＋１），（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１）の平均値との差分を特徴量としたものである。これは、回転に対して不変な特徴量である。このため、探索画像中の探索物体が参照画像に対して回転しているのみであれば、逆投票した場所の輝度勾配ベクトル位置において、この特徴量が一致する。したがって、この一致する場所のみカウントすることで、精度をさらに上げることができる。もしくは、完全に一致しなくても誤差Ｎ％以内であれば、カウントするようにしてもよい。
また、拡大又は縮小のみの変化を考える。このとき、図２６（ａ）及び図２６（ｂ）に示すように、参照画像と探索画像との対応する点における輝度勾配ベクトルＶｒｉ、Ｖｓｉのなす角度は、拡大又は縮小に対して不変である。そこで、逆投票した位置において、対応する輝度勾配ベクトルＶｒｉ、Ｖｓｉのなす角度を求める。そして、この角度が実質的に０になる位置（すなわち、輝度勾配ベクトルＶｒｉ、Ｖｓｉの方向が実質的に一致する）のみをカウントすることで、精度をさらにあげることができる。もしくは、輝度勾配ベクトルＶｒｉ、Ｖｓｉの方向が完全に一致しなくても誤差Ｎ％以内であれば、カウントするようにしてもよい。
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶さている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
本発明は、ディジタルカメラやムービーの物体認識ＡＥ、ＡＦ、多画素画像の閲覧機能等として有用である。また監視カメラ・ドアフォン等の用途にも応用できる。
１０ 撮像装置
１００ 撮像部
１１０ 光学レンズ
１２０ 撮像素子
２００ 信号処理部
２１０ 画像処理部
２１１ 記憶部
２１２ 輝度勾配ベクトル算出部
２１３ 位置特定部
２１４ サンプリング部
２１５ 原点位置推定部
２１６ 再検証部
３００ 表示部
４００ 記録部
５００ システム制御部

Claims (9)

  1. 探索画像内における参照画像の位置を特定する画像処理装置であって、
    前記参照画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｒと、前記参照画像平面内に設定された原点から前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置に向かう複数のベクトルであって、第１の２次元座標系で表現される複数の位置ベクトルＲｒと、前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置から前記原点に向かう複数のベクトルであって、前記複数の輝度勾配ベクトルＶｒそれぞれの方向を基準軸とする第２の２次元座標系で表現される複数の投票ベクトルＵｒとを、互いに対応付けて記憶する記憶部と、
    前記探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する輝度勾配ベクトル算出部と、
    前記輝度勾配ベクトル算出部で算出された前記複数の輝度勾配ベクトルＶｓと、前記記憶部に記憶されている前記複数の位置ベクトルＲｒ及び前記複数の投票ベクトルＵｒとに基づいて、前記探索画像平面上における前記原点に対応する位置を特定することによって、前記探索画像内における前記参照画像の位置を特定する位置特定部とを備え、
    前記位置特定部は、
    前記輝度勾配ベクトル算出部で算出された前記複数の輝度勾配ベクトルＶｓ、及び前記記憶部に記憶されている前記複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の前記輝度勾配ベクトルＶｓ及び処理対象の前記投票ベクトルＵｒを抽出するサンプリング部と、
    前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、前記輝度勾配ベクトルＶｓと前記基準軸とが一致するように回転させた前記処理対象の投票ベクトルＵｒを配置し、前記投票ベクトルＵｒの終点位置を、前記探索画像平面上における前記原点に対応する位置である候補点と推定する原点位置推定部と、
    前記原点位置推定部で推定された候補点それぞれに前記複数の位置ベクトルＲｒを配置し、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する再検証部とを備える
    画像処理装置。
  2. 前記再検証部は、さらに、前記原点位置推定部で推定された前記候補点それぞれに対して、当該候補点を指し示す前記投票ベクトルＵｒの始点位置に存在する前記輝度勾配ベクトルＶｓと、前記投票ベクトルＵｒに対応付けられて前記記憶部に記憶されている前記輝度勾配ベクトルＶｒとのなす角である回転角を算出し、前記回転角だけ回転させた前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する
    請求項１に記載の画像処理装置。
  3. 前記再検証部は、さらに、前記原点位置推定部で推定された前記候補点それぞれに対して、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓのうち、当該位置ベクトルＲｒに対応付けられて前記記憶部に記憶されている前記輝度勾配ベクトルＶｒと大きさが実質的に一致するか、又方向が実質的に一致する前記輝度勾配ベクトルＶｓの数を算出し、算出された前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する
    請求項１又は２に記載の画像処理装置。
  4. 前記位置特定部は、さらに、特定の画素の画素値と、当該特定の画素の周囲に位置する複数の画素の画素値の平均値との差分値である特徴量を算出する特徴量算出部を備え、
    前記再検証部は、さらに、前記原点位置推定部で推定された前記候補点それぞれに対して、前記複数の位置ベクトルＲｒそれぞれの終点位置の画素のうち、前記特徴量が、前記参照画像において対応する画素の前記特徴量と実質的に一致する画素の数を算出し、算出された画素の数が最も多い前記候補点を、前記原点に対応する位置と特定する
    請求項１〜３のいずれか１項に記載の画像処理装置。
  5. 前記原点位置推定部は、前記投票ベクトルの終点位置が予め定めた閾値以上集まる位置のみを、前記候補点と推定する
    請求項１〜４のいずれか１項に記載の画像処理装置。
  6. 原点位置推定部は、さらに、前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、所定の倍率に拡大又は縮小した前記処理対象の投票ベクトルＵｒを配置する
    請求項１〜５のいずれか１項に記載の画像処理装置。
  7. 参照画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｒと、前記参照画像平面内に設定された原点から前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置に向かう複数のベクトルであって、第１の２次元座標系で表現される複数の位置ベクトルＲｒと、前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置から前記原点に向かう複数のベクトルであって、前記複数の輝度勾配ベクトルＶｒそれぞれの方向を基準軸とする第２の２次元座標系で表現される複数の投票ベクトルＵｒとを、互いに対応付けて記憶する記憶部を備える画像処理装置に、探索画像内における前記参照画像の位置を特定させる画像処理方法であって、
    前記探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する輝度勾配ベクトル算出ステップと、
    前記輝度勾配ベクトル算出ステップで算出された前記複数の輝度勾配ベクトルＶｓと、前記記憶部に記憶されている前記複数の位置ベクトルＲｒ及び前記複数の投票ベクトルＵｒとに基づいて、前記探索画像平面上における前記原点に対応する位置を特定することによって、前記探索画像内における前記参照画像の位置を特定する位置特定ステップとを含み、
    前記位置特定ステップは、
    前記輝度勾配ベクトル算出ステップで算出された前記複数の輝度勾配ベクトルＶｓ、及び前記記憶部に記憶されている前記複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の前記輝度勾配ベクトルＶｓ及び処理対象の前記投票ベクトルＵｒを抽出するサンプリングステップと、
    前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、前記輝度勾配ベクトルＶｓと前記基準軸とが一致するように回転させた前記処理対象の投票ベクトルＵｒを配置し、前記投票ベクトルＵｒの終点位置を、前記探索画像平面上における前記原点に対応する位置である候補点と推定する原点位置推定ステップと、
    前記原点位置推定ステップで推定された候補点それぞれに前記複数の位置ベクトルＲｒを配置し、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する再検証ステップとを含む
    画像処理方法。
  8. 参照画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｒと、前記参照画像平面内に設定された原点から前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置に向かう複数のベクトルであって、第１の２次元座標系で表現される複数の位置ベクトルＲｒと、前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置から前記原点に向かう複数のベクトルであって、前記複数の輝度勾配ベクトルＶｒそれぞれの方向を基準軸とする第２の２次元座標系で表現される複数の投票ベクトルＵｒとを、互いに対応付けて記憶する記憶部を備えるコンピュータに、探索画像内における前記参照画像の位置を特定させるプログラムであって、
    前記探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する輝度勾配ベクトル算出ステップと、
    前記輝度勾配ベクトル算出ステップで算出された前記複数の輝度勾配ベクトルＶｓと、前記記憶部に記憶されている前記複数の位置ベクトルＲｒ及び前記複数の投票ベクトルＵｒとに基づいて、前記探索画像平面上における前記原点に対応する位置を特定することによって、前記探索画像内における前記参照画像の位置を特定する位置特定ステップとを、コンピュータに実行させ、
    前記位置特定ステップは、
    前記輝度勾配ベクトル算出ステップで算出された前記複数の輝度勾配ベクトルＶｓ、及び前記記憶部に記憶されている前記複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の前記輝度勾配ベクトルＶｓ及び処理対象の前記投票ベクトルＵｒを抽出するサンプリングステップと、
    前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、前記輝度勾配ベクトルＶｓと前記基準軸とが一致するように回転させた前記処理対象の投票ベクトルＵｒを配置し、前記投票ベクトルＵｒの終点位置を、前記探索画像平面上における前記原点に対応する位置である候補点と推定する原点位置推定ステップと、
    前記原点位置推定ステップで推定された候補点それぞれに前記複数の位置ベクトルＲｒを配置し、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する再検証ステップとを、コンピュータに実行させる
    プログラム。
  9. 参照画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｒと、前記参照画像平面内に設定された原点から前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置に向かう複数のベクトルであって、第１の２次元座標系で表現される複数の位置ベクトルＲｒと、前記複数の輝度勾配ベクトルＶｒそれぞれの始点位置から前記原点に向かう複数のベクトルであって、前記複数の輝度勾配ベクトルＶｒそれぞれの方向を基準軸とする第２の２次元座標系で表現される複数の投票ベクトルＵｒとを、互いに対応付けて記憶する記憶部を備える画像処理装置に搭載されて、探索画像内における前記参照画像の位置を特定する集積回路であって、
    前記探索画像を構成する複数の画素間の輝度値の勾配を示す複数の輝度勾配ベクトルＶｓを算出する輝度勾配ベクトル算出部と、
    前記輝度勾配ベクトル算出部で算出された前記複数の輝度勾配ベクトルＶｓと、前記記憶部に記憶されている前記複数の位置ベクトルＲｒ及び前記複数の投票ベクトルＵｒとに基づいて、前記探索画像平面上における前記原点に対応する位置を特定することによって、前記探索画像内における前記参照画像の位置を特定する位置特定部とを備え、
    前記位置特定部は、
    前記輝度勾配ベクトル算出部で算出された前記複数の輝度勾配ベクトルＶｓ、及び前記記憶部に記憶されている前記複数の投票ベクトルＵｒのうちの少なくとも一方からベクトルの一部を間引くことによって、処理対象の前記輝度勾配ベクトルＶｓ及び処理対象の前記投票ベクトルＵｒを抽出するサンプリング部と、
    前記処理対象の輝度勾配ベクトルＶｓそれぞれの始点位置に、前記輝度勾配ベクトルＶｓと前記基準軸とが一致するように回転させた前記処理対象の投票ベクトルＵｒを配置し、前記投票ベクトルＵｒの終点位置を、前記探索画像平面上における前記原点に対応する位置である候補点と推定する原点位置推定部と、
    前記原点位置推定部で推定された候補点それぞれに前記複数の位置ベクトルＲｒを配置し、前記複数の位置ベクトルＲｒそれぞれの終点位置に存在する前記輝度勾配ベクトルＶｓが最も多い前記候補点を、前記原点に対応する位置と特定する再検証部とを備える
    集積回路。
JP2010118605A 2010-05-24 2010-05-24 画像処理装置、画像処理方法、プログラム、及び集積回路 Expired - Fee Related JP5414620B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010118605A JP5414620B2 (ja) 2010-05-24 2010-05-24 画像処理装置、画像処理方法、プログラム、及び集積回路
CN201180002958.9A CN102473306B (zh) 2010-05-24 2011-03-18 图像处理装置、图像处理方法、程序以及集成电路
US13/386,500 US8520950B2 (en) 2010-05-24 2011-03-18 Image processing device, image processing method, program, and integrated circuit
PCT/JP2011/001609 WO2011148549A1 (ja) 2010-05-24 2011-03-18 画像処理装置、画像処理方法、プログラム、及び集積回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010118605A JP5414620B2 (ja) 2010-05-24 2010-05-24 画像処理装置、画像処理方法、プログラム、及び集積回路

Publications (2)

Publication Number Publication Date
JP2011248463A JP2011248463A (ja) 2011-12-08
JP5414620B2 true JP5414620B2 (ja) 2014-02-12

Family

ID=45003551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010118605A Expired - Fee Related JP5414620B2 (ja) 2010-05-24 2010-05-24 画像処理装置、画像処理方法、プログラム、及び集積回路

Country Status (4)

Country Link
US (1) US8520950B2 (ja)
JP (1) JP5414620B2 (ja)
CN (1) CN102473306B (ja)
WO (1) WO2011148549A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473543B (zh) * 2012-06-07 2016-10-05 富士通株式会社 用于提取图像中对象边界的装置、方法以及电子设备
JP5533988B2 (ja) * 2012-11-30 2014-06-25 株式会社デンソーアイティーラボラトリ 画像処理システム
CN104166977B (zh) * 2013-05-17 2017-10-10 中国航空工业集团公司洛阳电光设备研究所 一种图像匹配相似性测度方法及其图像匹配方法
KR102601732B1 (ko) * 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
FR3069087B1 (fr) * 2017-07-11 2019-08-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de traitement d'une image
JP6590329B1 (ja) * 2019-06-26 2019-10-16 株式会社ラディウス・ファイブ 画像表示システム及びプログラム
CN112333903B (zh) * 2020-10-28 2023-04-07 浙江大华技术股份有限公司 灯光场景下的聚焦方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3606430B2 (ja) * 1998-04-14 2005-01-05 松下電器産業株式会社 画像整合性判定装置
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2005228150A (ja) * 2004-02-13 2005-08-25 Matsushita Electric Ind Co Ltd 画像照合装置
JP4187704B2 (ja) * 2004-08-31 2008-11-26 三洋電機株式会社 手ぶれ補正装置
JP4348441B2 (ja) * 2007-01-22 2009-10-21 国立大学法人 大阪教育大学 位置検出装置、位置検出方法、データ判定装置、データ判定方法、コンピュータプログラム及び記憶媒体
JP2010525299A (ja) * 2007-02-09 2010-07-22 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 生体物質の動きを追跡するシステム及び方法
US8103115B2 (en) * 2007-02-26 2012-01-24 Sony Corporation Information processing apparatus, method, and program
JP4378660B2 (ja) 2007-02-26 2009-12-09 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4790653B2 (ja) * 2007-03-30 2011-10-12 シャープ株式会社 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
US8321144B2 (en) * 2008-10-23 2012-11-27 Microsoft Corporation Non-contiguous regions processing

Also Published As

Publication number Publication date
CN102473306A (zh) 2012-05-23
JP2011248463A (ja) 2011-12-08
CN102473306B (zh) 2015-04-01
US20120121189A1 (en) 2012-05-17
WO2011148549A1 (ja) 2011-12-01
US8520950B2 (en) 2013-08-27

Similar Documents

Publication Publication Date Title
JP5414620B2 (ja) 画像処理装置、画像処理方法、プログラム、及び集積回路
JP5384746B2 (ja) プルーニング機能、画像スケーリング、および、空間制約付き特徴マッチングによる画像認識アルゴリズムの性能の改善
JP5602940B2 (ja) 事前計算されたスケール空間からのデイジー記述子生成
US20130208997A1 (en) Method and Apparatus for Combining Panoramic Image
US20100033584A1 (en) Image processing device, storage medium storing image processing program, and image pickup apparatus
CN106469455B (zh) 图像处理方法、图像处理设备以及记录介质
US9058655B2 (en) Region of interest based image registration
EP3093822B1 (en) Displaying a target object imaged in a moving picture
JP2011511340A (ja) 画像識別のための特徴ベースの識別特性（ｓｉｇｎａｔｕｒｅ）
US20190279022A1 (en) Object recognition method and device thereof
KR101868740B1 (ko) 파노라마 이미지 생성 방법 및 장치
CN105208263B (zh) 图像处理装置及其控制方法
CN114187333A (zh) 一种图像对齐方法、图像对齐装置及终端设备
JP2014186520A (ja) 画像処理装置、画像処理方法およびプログラム
JP6171660B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
JP4966080B2 (ja) 対象物検出装置
US11232323B2 (en) Method of merging images and data processing device
EP4124015A1 (en) Information processing device, information processing method, and information processing program
JP6716769B1 (ja) 画像検査方法、画像検査装置、及び画像検査プログラム
JP6265641B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5865687B2 (ja) 画像特徴量抽出装置およびそのプログラム
WO2015159585A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101636481B1 (ko) 컴파운드뷰 이미지 생성 방법 및 장치
KR101627974B1 (ko) 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131112

R150 Certificate of patent or registration of utility model

Ref document number: 5414620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees