JP4579646B2 - 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 - Google Patents

画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 Download PDF

Info

Publication number
JP4579646B2
JP4579646B2 JP2004314726A JP2004314726A JP4579646B2 JP 4579646 B2 JP4579646 B2 JP 4579646B2 JP 2004314726 A JP2004314726 A JP 2004314726A JP 2004314726 A JP2004314726 A JP 2004314726A JP 4579646 B2 JP4579646 B2 JP 4579646B2
Authority
JP
Japan
Prior art keywords
image
histogram
edge
pixels
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004314726A
Other languages
English (en)
Other versions
JP2006127159A5 (ja
JP2006127159A (ja
Inventor
洋 東條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004314726A priority Critical patent/JP4579646B2/ja
Publication of JP2006127159A publication Critical patent/JP2006127159A/ja
Publication of JP2006127159A5 publication Critical patent/JP2006127159A5/ja
Application granted granted Critical
Publication of JP4579646B2 publication Critical patent/JP4579646B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体に関する。
従来より、画像データベースから画像を検索する際に、画像そのものから、類似した画像を検索したり、予め標準的な画像との類似性を判定することにより、入力された画像がどのような画像であるかを認識する方法が提案されている。また、動画像中の場面の切り替わり(カット点)を検出することを可能とするために、画像の類似性を判定する方法が提案されている。このような画像の類似性判定の方法としては、画像を解析して特徴量を抽出し、特徴量同士の距離を求める方法が提案されている。特徴量としては、色、テクスチャ、エッジなど様々なものが提案されている。
エッジを用いたものとしては、その多くは文字認識方法として提案されており、例えば、画像中の素ごとにエッの方向を求め、いくつかの方向成分に量子化し、画像を部分領域としてのブロックに分割し、各ブロックに含まれる各方向成分のヒストグラム(以降、エッジヒストグラムと呼ぶ)を特徴量とする方法が提案されている(特許文献1を参照。)。
このようなヒストグラムによる画像の類似性判定を行う場合を図1を例として説明する。図1は1ブロック内の各画素に対応するエッジの方向を示している。ここで方向成分としては、図6に示したように0度、45度、90度、135度の4方向とし、向きは考慮しないものとする。 (a)は0度方向のエッジがまばらに存在しており、(b)は0度方向のエッジが直線をなしている。エッジが直線をなしているときは、画像が自然画であれば画像中の対象物などの輪郭に相当している。
このような輪郭の線分である場合は、人の目につきやすいため、違いが認識されやすい。よって、(a)と(b)は人にとっては識別しやすいものになっている。類似性を判定する上で、このように人間にとって識別しやすい特徴を捉えた特徴量を作成することは重要なポイントである。しかしながらヒストグラムに基づく判定方法では、(a),(b)のエッジヒストグラムは、図1の下側に示したように、それぞれ0度方向のエッジが6個存在するので、同じものになってしまい、区別がつかなくなってしまう。
特許第3150762号公報
このように、ヒストグラムを特徴量として画像の類似性を判定した場合には、エッジの特徴が判定結果に反映されないために、精度が低くなってしまう。
本発明はこのような課題に鑑みてなされたものであり、エッジの特徴が反映されるヒストグラムの生成を可能とすると共に、当該ヒストグラムを利用した画像の類似性判定を可能とすることを目的とする。
上記課題を解決するために本発明に係る画像処理装置は、画像の各画素についてエッジとエッジ方向とを検出するエッジ検出手段と、
前記画像を複数の部分領域に分割し、当該部分領域を構成する画素で注目方向に並ぶ画素のうち、前記エッジ検出手段により検出したエッジ方向が前記注目方向と同一方向か、または、該注目方向と一定角度以内の傾きを有する方向である画素の数が、前記注目方向に並ぶ画素の数に対して所定の割合以上である場合に、前記注目方向に並ぶ画素のうち前記注目方向と同一か、または、該注目方向と一定角度以内の傾きを有するエッジ方向が検出された連続する画素を1つの線分として抽出する抽出手段と、前記部分領域の夫々について、前記抽出手段により抽出された線分の本数を前記エッジ方向の方向成分ごとにカウントし、当該方向成分ごとの線分の本数に基づいてヒストグラムを作成するヒストグラム生成手段とを備えることを特徴とする。
また、本発明の画像処理装置は、画像の各画素についてエッジとエッジ方向とを検出するエッジ検出手段と、前記画像を複数の部分領域に分割し、当該部分領域を構成する画素で注目方向に並ぶ画素のうち、前記エッジ検出手段により検出したエッジ方向が前記注目方向と同一方向か、または、該注目方向と一定角度以内の傾きを有する方向である画素の数が、前記注目方向に並ぶ画素の数に対して所定の割合以上である場合に、前記注目方向に並ぶ画素のうち前記注目方向と同一か、または、該注目方向と一定角度以内の傾きを有するエッジ方向が検出された連続する画素の数の合計を線分の長さとして抽出する抽出手段と、前記部分領域の夫々について、前記抽出手段により抽出された線分の長さを前記エッジ方向の方向成分ごとに合計してヒストグラムを作成するヒストグラム生成手段とを備えることを特徴とする。
本発明によれば、エッジの特徴が反映されるヒストグラムの生成が可能となると共に、当該ヒストグラムを利用した画像の類似性判定が可能となる。
以下、本発明の実施形態について図面を参照して詳細に説明する。
図2は、本実施形態に対応する本発明の画像処理装置の構成の一例を示すブロック図である。図2において、200は画像処理装置全体を示す。201はCPUであり、画像処理装置200における各種制御を実行する。202はROMであり、画像処理装置200の起動時に実行されるブートプログラムや各種データを格納する。203はRAMであり、CPU201が処理するための制御プログラムを格納するとともに、CPU201が各種制御を実行する際の作業領域を提供する。204はキーボード、205はマウスであり、ユーザによる各種入力操作環境を提供する。
206は外部記憶装置であり、ハードディスクやフロッピー(登録商標)ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等で構成される。207は表示器であり、ディスプレイなどで構成され、結果等をユーザに対して表示する。208はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。209はIEEE1394、USBなどのインターフェースであり、210のスキャナや211のデジタルカメラなどの機器と通信を行う。上記各構成は内部バス212により接続されている。
なお、上記の構成において外部記憶装置206、スキャナ210、デジタルカメラ211はネットワーク上に配置されたもので代用してもよい。
図3は、本実施形態に対応する画像処理装置200の機能構成を示すブロック図である。図3において、301は画像入力部であり、スキャナ210、デジタルカメラ211などの機器で取得した画像をインターフェース209を介して、或いは、インターネット上やLAN上に存在する画像を、ネットワーク(インターネット、LAN)からネットワークインターフェース208を介して入力するものである。302は入力された画像に対して前処理を行う前処理部である。303は、前処理後の画像に対してエッジを検出するエッジ検出部である。
304は、エッジからラインヒストグラムを作成するラインヒストグラム作成部304である。305は画像データベースであり、入力された画像とラインヒストグラムを関連付けて記憶・管理するものである。306は検索時に、画像データベース305中のラインヒストグラムと、検索元として入力された画像についてラインヒストグラム作成部304において生成されたラインヒストグラムとの距離を算出する画像間距離算出部である。307はユーザに対して検索結果の画像の表示を行う表示部307である。
[登録処理]
まず、画像処理装置200への画像の登録処理について、図4のフローチャートを用いて説明する。
まず、ステップS401において、画像入力部301により登録対象の画像の入力を行う。
次に、ステップS402において前処理部302において、入力画像がカラーかグレースケールかの判定を行ない、カラーならばステップS403でグレースケールに変換される。この変換は、カラー画像データのそれぞれの画素のR(赤)、G(緑)、B(青)の画素値からグレースケールの信号(Y)へ次式で変換できる。
Y=0.29900*R+0.58700*G+0.11400*B ‥‥式1
次に、ステップS404において前処理部302では、コントラストを強調するために、濃淡ヒストグラムの平坦化を行なう。この平坦化処理は、それぞれの濃度に対応する画素数が一定になるように割り当て直していく処理である。
次に、ステップS405においてエッジ検出部303では、エッジの検出を行って各画素に対応するエッジの強度と方向を得る。エッジの検出方法としては、各画素ごとに、周囲の画素を含めた範囲に対して、微分フィルタを用いて演算を行う方法が挙げられる。フィルタとしては、Prewittフィルタ、Sobelフィルタ、Robinsonフィルタ、Kirishフィルタなどがある。ここでは、Prewittフィルタ(図7)を用いて演算する例を示す。
なお、本実施形態では図6に示すように4つの方向成分に量子化し、向きは考慮しないものとするので、例えば、180度のフィルタで検出されたものは、0度方向として扱う。まず、注目する画素とその周りの8画素それぞれに対して、Prewittフィルタの値を係数として乗じ、総和を求めることによって、方向成分ごとのエッジ強度を求める。この中で最もエッジ強度が大きい方向成分を、注目画素のエッジ方向とする。ただし、最大のエッジ強度が所定の閾値よりも小さい場合は、エッジなしと判定する。
次に、ステップS406においてラインヒストグラム作成部304では、ラインヒストグラムを作成する。処理の詳細は後述する。
次に、ステップS407においてラインヒストグラム作成部304では、作成したラインヒストグラムをインデックスとして画像と関連付けて画像データベース305に記憶する。図8は、インデックスの例である。画像IDは、登録される画像に与えられた識別子としてのIDである。ラインヒストグラムは、対応する画像のラインヒストグラムである。画像ファイルへのパスは、登録された画像ファイルへのパス情報であり、ここを参照することで、画像本体を読み出すことができる。
尚、画像ファイルのファイル形式は、例えば、BITMAP形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式(例えば、GIF、JPEG)であればどのようなものでも良い。
[カラー/グレースケール判定処理]
次に、図4のステップS402におけるカラー/グレースケール判定処理の詳細について説明する。デジタルカメラ211から画像を取得した場合などでは、画像のデータフォーマットを解析し、そのヘッダ情報を参照することで判定できる。
一方、スキャナ210から画像を取得した場合などでは、スキャン条件をカラーとしていても、読み取る対象はグレースケールである場合がある。このときは、データフォーマット上はカラー画像であるのに、その中はグレースケール画像となる。このような場合には、画像の色に関する解析を利用する方法がある。
この解析は、画像に占める色情報の割合を解析するものであり、画像に占める色情報の割合が予め定められた閾値以上である場合に色情報が十分であると判定し、閾値未満である場合に色情報が不十分であると判定する、というものである。
図18は、本実施形態における色情報の割合を判定する処理の一例に対応するフローチャートである。ステップS1810で、画像を構成する全画素の色の平均色を算出する。ステップS1820で、平均色を輝度成分と色差成分に変換する。ステップS1830で、輝度成分値に対する色差成分値の割合Rを算出する。ここで、色を輝度成分と色差成分に分離する分離方法については、公知の方法を用いる。
例えば、YCbCr色空間を用いると、24ビットRGB値との関連は、
Y =0.29900*R+0.58700*G+0.11400*B
Cb=-0.16874*R−0.33126*G+0.50000*B+128
Cr=0.50000*R−0.41869*G+(-0.08131)*B+128‥‥式2
と表現される。
この式2に従って平均色から算出した輝度成分及び色差成分を、それぞれYave、Cbave及びCraveとすると、割合Rは以下のように求めることができる。
割合R=sqrt(Cbave*Cbave+Crave*Crave)/Yave‥‥式3
そして、ステップS1840で、この割合Rが所定の閾値以上であるか否かを判定する。閾値以上である場合(ステップS1840でYES)、ステップS1850に進み、画像の色情報が十分であると判定する(即ち、カラー画像であると判定する)。一方、閾値未満である場合(ステップS1840でNO)、ステップS1860に進み、画像の色情報が不十分であると判定する(即ち、グレースケール画像であると判定する)。
[ラインヒストグラム作成処理]
次に、図4のステップS406におけるラインヒストグラム作成処理の詳細について説明する。ラインヒストグラム作成処理の方法には、2つの方法がある。
第1の方法は、画像を部分領域としてのブロックに分割し、そのブロックに存在する方向成分ごとの線分の数をビンとすることでヒストグラムを表現するものである。また、第2の方法は、画像を部分領域としてのブロックに分割し、そのブロックに存在する方向成分ごとの線分の長さをビンとすることでヒストグラムを表現するものである。この2つの方法により生成されるヒストグラムを比較すると、第1の方法で生成されるヒストグラム(以下、「第1ヒストグラム」という。)の方が第2の方法により生成されるヒストグラム(以下、「第2ヒストグラム」という。)に比べて、より曖昧な検索が可能となるのが特徴である。よって、2種類のヒストグラムを用途に応じて使い分けることが好ましい。
図15はステップS406のラインヒストグラム作成処理のうち、上記第1の方法を実行した場合に対応するフローチャートである。
まず、ステップS1501において、ステップS405によって抽出されたエッジ画像を所定のブロックに分割する。このブロック分割の手法は特に限定されるものではないが、本実施形態では1枚の画像を4×4、8×8など縦横でブロック数が同数になるように分割する場合について説明する。この場合、元々の画像のアスペクト比の影響により各ブロックを構成する画素数は縦横で必ずしも一致しない。また、画像に対するブロックの大きさも特に限定されるものではない。但し、ブロックが大きいほど粗く特徴量を抽出することになるので、より曖昧な検索が可能になる。
次に、ブロック毎にステップS1502からステップS1506までの処理を行う。
まず、ステップS1502において、ある方向成分に着目してブロック中の線分の検出を行う。図9は、0度方向に着目して線分を検出する例を示した図である。図中の各升目は1画素を示している。0度方向のときは、行ごとに0度方向のエッジがどれだけ含まれているかを計数する。901の行のように全て0度方向のエッジであれば、当然に線分であるとみなす。また、902のように途中でエッジが検出されない画素がいくつか存在する場合であっても線分とみなすことができる場合がある。これは自然画、特にスキャナ210で入力された場合、輪郭線がかすれたりすることがあることに対応するためのものである。
また、903のように他の方向のものが混じっていても、注目する方向と45度以内の方向(0度方向に対しては、45度と135度)であれば許容するものとする。これは、エッジ検出において方向成分が量子化されているため、例えば、22.5度方向近辺のエッジは0度方向として判定されることも、45度方向として判定されることもあるためである。
以上を踏まえて、例えば、次式、
((注目方向と同一方向のエッジ数)+(注目方向と45度以内のエッジ数)/2)/(1行の画素数)x100>=80(%)‥‥式4
を満たすものを線分とみなすようにすればよい。なお、(注目方向と45度以内のエッジ数)は、同一方向とみなせる可能性があるが、確定的ではないので式4では1/2倍として評価したが、これに限られるものではない。また、80%以上としたのも、1行の画素数の大半を占めていればよいという意味で、値はこれに限られるものではない。
45度方向、90度方向、135度方向も同様であり、90度方向ならば、列ごとにチェックし、45度方向ならば、図10の矢印の単位にチェックする。22.5度方向などのように、各方向の中間付近の線分は、近い方向成分のうち、特定の方向の線分として扱う。例えば22.5度方向ならば図11の斜線部分の単位にチェックし、付近の0度と45度のうち左側の、45度方向の線分として扱うようにする。
どの方向成分として扱うかは、特に上記のパターンに限定されるものではなく、例えば斜め方向の45度か135度の近い方として扱うようにしてもよいし、近い方向の両方であるとして扱ってもよい。チェックするタイミングとしては、45度方向とみなすのならば、45度方向をチェックする時に併せてチェックを行うようにすればよい。
ところで、上記のように線分を検出すると、以下のような場合に問題が発生する。図12のB1201、B1202はブロックであり、L1201、L1202は同じ長さの線分である。この場合、L1201は線分として検出されるが、L1202はブロックB1201ではブロック幅の80%に満たないために検出されず、ブロックB1202においても同様の理由で検出されない。
また、45度(または135度)方向の場合は、対角線上の画素数が式4の1行の画素数に相当するが、もともとブロック内に45度(または135度)方向の線分をひくと、対角線上の画素数の80%未満となる線分も出てくるので、式4を使うと全ての線分を検出できなくなる。
このような場合、画像の中の物体の位置がずれているような画像同士では距離が大きくなる。例えば、2つの画像間で画像内の物体位置が移動しているような場合、1枚目の画像では物体の輪郭線が丁度ブロック内に収まるが、2枚目の画像では物体の輪郭線が移動して2つのブロックにまたがってしまう場合が考えられる。この場合、1枚目では物体の輪郭線が検出されるが、2枚目では物体の輪郭線が検出されなくなってしまうので、特徴量の距離は大きくなってしまう。
これに対処すべく、画像中の物体の位置ずれに対する曖昧性をもたせるためには、L1202のような線分もどちらかのブロックで検出できるようにする必要がある。そこで、これに対応するために、検出の範囲をブロックを注目している方向にブロック同士が重複領域を有するようにずらした形に広げるようにする。
例えば、0度方向であれば、図13のように実線のブロックに対しては、点線のようにずらして、実線と点線の両方を含めた範囲で検出を行うようにする。同様に45度方向であれば、図14のようになる。(もちろん、ずらす向きはどちらでも構わない。) このように検出の範囲を広げた上で、上記条件で線分を検出するようにすれば、L1202のような線分も、検出できるようになる。
次に、ステップステップS1502で、注目している方向成分の単位中に線分が検出された場合は、ステップS1503において、線分の本数をインクリメントする。そして、ステップS1504において、注目している方向の線分を注目しているブロックに対して全て検出したかをチェックし、検出し終えていなければ、ステップS1502、S1503を繰り返す。検出し終えていれば次にステップS1505において、ブロックにおける方向毎の線分の最大数を1として、方向毎の総本数の正規化を行う。
正規化を行うのは、本実施形態のように縦横を同数のブロックに分割すると、画像のアスペクト比によって、ブロックの縦横のサイズ(画素数)が変わり、総本数の最大値が変化してしまうためである。例えば、0度方向であれば、ブロック中の行数の半分が線分の最大数となる。第1のラインヒストグラムでは、注目するブロックの注目する方向成分の正規化された総線分数が、ヒストグラムのひとつのビンになる。即ち、ステップS1502からステップS1505までの処理でひとつのビンを算出することができる。
次に、ステップS1506において、全方向成分について処理を終えたかどうかをチェックし、終えてなければステップS1502からステップS1505までの処理を繰り返す。終えていれば、1つのブロックに対するラインヒストグラムは作成できたので、ステップS1507で、画像中の全ブロックについて処理を終了したか否かを判定する。未処理のブロックがある場合には、未処理ブロックについてステップS1502からステップS1506を繰り返す。全ブロックについて処理を終了している場合は、1画像に対してラインヒストグラムを作成できたので、本ラインヒストグラム作成処理を終了する。
次に、第2のラインヒストグラム作成方法について説明する。図16はステップS406におけるラインヒストグラム作成処理のうち、上記第2の方法を実行した場合に対応するフローチャートである。
図16のフローチャートにおいて、図15に示した第1の方法のラインヒストグラム作成処理と同一の処理ステップについては、図15と同一のステップ番号を付与し、その詳細については説明を省略する。第2の方法では方向成分ごとの線分の長さをビンとするので、ひとつのビンを求める処理が第1の方法と異なる。
ステップS1602において、ステップS1502と同様に線分の検出を行い、線分が検出された場合、検出された線分の長さとして同一方向のエッジを持つ画素の数をカウントする。例えば、図9の901では6となり、902は5となる。902のように途切れていても、第1の方法と同様に所定以上の長さであれば線分とみなすが、第1の方法では、本数をカウントしていたので、901でも、902でもカウント結果は“1本”と同一になるのに対し、第2の方法では、線分を構成する画素数をカウントするので、901は“6”であるのに対し902は“5”となり、カウント結果が異なる。また、903のような場合は、45度方向として検出されたエッジを0度方向とみなし、0.5として扱い、全体では5.5になる。これにより、輪郭線のかすれなどに対する曖昧性はなくなるが、より厳密な比較が可能になる。なお、45度方向を0.5として扱ったのは、第1の方法と同様に、同一方向としてみなせる可能性があるためであり、値はこれに限られるものではない。
第2の方法においても、検出の範囲を注目しているブロック内にすると、図12のような場合では第1の方法と同様にL1202を検出できない問題が発生するので、検出範囲を図13及び図14に示すように拡張することができる。このとき、線分の長さの最長は、もちろんブロック内に引ける線分の長さの最長と同一となる。
ステップS1602において注目している方向成分の単位中に線分が検出された場合は、ステップS1603において、その長さをNに足してこれを新たなNとする。ここでNは線分の長さの合計値を表すパラメータであり、Nの初期値は0である。
次に、ステップS1604において、注目している方向の線分を注目ブロックについて全て検出したかを判定し、検出し終えていない場合は、ステップS1602、S1603を繰り返す。
同一方向の線分を全て検出した場合、この時点でのNは検出された線分の長さの総長となる。ステップS1605では、このNを正規化する。例えば、0度方向のときは、ブロックの横の長さが一つの線分の最大長であり、線分は縦の長さ分の半分引けるので、結局ブロックに含まれる画素数分の半分が最大長となる。90度方向、45度方向、135度方向についても同様である。以上のように求めた最大長を1となるように正規化を行う。
このようにして、自然画像に含まれる対象物の輪郭線や、グラフや線画などの線分の違いを識別可能な特徴量である、ラインヒストグラムを作成することが可能となる。
[検索処理]
次に、画像処理装置200における検索処理について、図5のフローチャートを参照して説明する。まず、検索元画像が入力され、入力された検索元画像のラインヒストグラムが作成される。ここまでの処理は、図4の登録処理におけるステップS401からステップS406と同様であるので、図5においても、同一のステップ番号を付加し、その詳細については説明を省略する。
検索元画像のラインヒストグラムが作成されると、ステップS507において画像間距離算出部306は、画像DB305中の各画像のラインヒストグラムを順次読み出して、検索元画像のラインヒストグラムとの距離を算出する。具体的には、ラインヒストグラムの各ビンの差分の絶対値の総和を求めればよい。この総和が小さいほど距離が小さくなり互いの画像が類似していることを示す。よって、最も距離が小さいものが、検索元画像の類似画像の第一候補となる。このように算出された距離と検索先画像のIDのリストをRAM203に一時保存する。
次に、ステップS508において画像間距離算出部306は、当該リストを距離の昇順にソートした後、順に画像IDからインデックスを参照して画像を画像DB305より読み出し、縮小してサムネイル画像とする。
次に、ステップS509において表示部307は、検索結果として候補のサムネイル画像を距離と共にマトリックス上に並べて表示する。第一候補から順に列の左から右へ、上の列から下の列へ並べて表示する。ユーザはこれにより所望の画像が得られたかを確認することができる。
なお、本実施形態では方向成分について向きを考慮しなかったが、もちろん、向きを考慮するようにしても構わない。すなわち、図6の例でいえば、4つでなく8つにするようにしてもよい。このようにすればより厳密な検索が可能になる。
なお、本実施形態においては、エッジの検出は入力画像の画素単位に行ったが、前処理部302において縮小し、縮小画像の画素単位に行っても良い。こうすることで、入力画像にノイズが含まれている場合であっても、ノイズの影響を軽減することができる。また、微小で複雑な形状が含まれている場合であっても、その影響を軽減することができる。縮小する方法としては、例えば、画像をブロック分割するときのブロックよりもはるかに小さいメッシュブロックに分割し、メッシュブロック内の画素の輝度値を平均化し、新たな画素の輝度値とする方法がある。
なお、本実施形態に対応する登録処理においては、エッジ検出後、ラインヒストグラムを作成しているが、エッジ検出後、エッジ画像に対して細線化処理を行った後に、ラインヒストグラム作成を行っても良い。このように細線化処理を行った場合は、ラインヒストグラムが輪郭線の太さに依存しなくなるので、検索元画像として手書きの線画を入力し、類似する自然画像を検索するといったことが可能となる。
なお、本実施形態においては、ラインヒストグラム作成の方法として方向ごとの線分の本数をラインヒストグラムとする第1の方法と、方向ごとの線分の長さをラインヒストグラムとする第2の方法を挙げた。第1の方法の方が、第2の方法に比べて、より曖昧な検索が可能となるのが特徴である。これらは、用途に応じて選択して使用するとしたが、第2の方法でラインヒストグラムを作成しておき、検索時に詳細な検索を行いたい時は、実施形態に記載の通りに行い、より曖昧な検索を行う場合は、ラインヒストグラムのビンを線分1本の最大長単位で量子化し、第1の方法で作成したヒストグラムと同じにして、距離計算を行ってもよい。
例えば、図9のような場合、水平方向のビンは第2の方法では、16.5を18で正規化して0.9166..となる。ここで、線分の1本の最大長は6であり、これを18で正規化して0.3333..となる。このステップで量子化することになる。よって、0.9166を量子化すると、1.0000..となる。このように量子化した値は、第1の方法で抽出した時と同じになるので、第1の方法のときと同様な曖昧性をもった検索が行える。
更にこのとき、曖昧な検索をするか否かを、ユーザが指定できる手段を設けるようにしてもよい。曖昧な検索が指定された場合は、前述の通り、ラインヒストグラムを量子化した上で、距離計算を行えばよい。このようにすることで、2つの方法の特徴を検索時に使い分けることが可能になる。
尚、実施形態において、画像入力部301から入力した画像を検索元画像として用いたが、既に登録された画像DB中の画像を検索元画像として用いるようにすることもできる。例えば、表示部307に画像DB中の画像のいくつかをランダムに選び出して、そのサムネイルを表示し、ユーザから所望の画像に類似する画像の検索指示を受け付けることで検索を行う。なお、このときは、既にライヒストグラムが、画像DBに記憶されているので、改めてラインヒストグラム作成処理を行う必要がないことはいうまでもない。
以上説明したように、本発明によれば、人の目につきやすい画像中の対象物の輪郭線などを識別しやすい、画像の類似判定が可能となる。これにより精度の高い画像検索や、画像の認識や、カット点検出などが可能となる。
以上、本発明の実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
従来のエッジヒストグラムの問題点を説明するための図である 本発明の実施形態に対応する画像処理装置200のハードウェア構成の一例を示すブロック図である。 本発明の実施形態に対応する画像処理装置200の機能構成の一例を示すブロック図である。 本発明の実施形態の登録処理の一例に対応するフローチャートである。 本発明の実施形態の検索処理の一例に対応するフローチャートである。 本発明の実施形態におけるエッジの方向成分の一例を示す図である。 本発明の実施形態に対応する微分フィルタの一例を示す図である。 本発明の実施形態に対応するインデックスの一例を示す図である 本発明の実施形態に対応する線分の検出方法の一例を説明するための図である。 本発明の実施形態に対応する線分の検出方法の一例を説明するための図である。 本発明の実施形態に対応する線分の検出方法の一例を説明するための図である。 本発明の実施形態に対応する線分の検出における問題点を説明するための図である。 本発明の実施形態に対応する線分の検出方法をの一例を説明するための図である。 本発明の実施形態に対応する線分の検出方法をの一例を説明するための図である。 本発明の実施形態の第1ラインヒストグラムの作成処理の一例に対応するフローチャートである。 本発明の実施形態の第2ラインヒストグラムの作成処理の一例に対応するフローチャートである。 本発明の実施形態に対応する線分の検出方法の一例を説明するための図である。 本発明の実施形態のカラー/グレースケール判定処理の一例に対応するフローチャートである。

Claims (11)

  1. 画像の各画素についてエッジとエッジ方向とを検出するエッジ検出手段と、
    前記画像を複数の部分領域に分割し、当該部分領域を構成する画素で注目方向に並ぶ画素のうち、前記エッジ検出手段により検出したエッジ方向が前記注目方向と同一方向か、または、該注目方向と一定角度以内の傾きを有する方向である画素の数が、前記注目方向に並ぶ画素の数に対して所定の割合以上である場合に、前記注目方向に並ぶ画素のうち前記注目方向と同一か、または、該注目方向と一定角度以内の傾きを有するエッジ方向が検出された連続する画素を1つの線分として抽出する抽出手段と、
    前記部分領域の夫々について、前記抽出手段により抽出された線分の本数を前記エッジ方向の方向成分ごとにカウントし、当該方向成分ごとの線分の本数に基づいてヒストグラムを作成するヒストグラム生成手段と
    を備えることを特徴とする画像処理装置。
  2. 前記ヒストグラム生成手段は、カウントされた前記方向成分ごとの線分の本数を、前記部分領域における同一方向成分の線分の最大本数により正規化する正規化手段を更に備え、
    前記部分領域毎に前記正規化手段により求められた正規化結果により正規化ヒストグラムを生成することを特徴とする請求項1に記載の画像処理装置。
  3. 画像の各画素についてエッジとエッジ方向とを検出するエッジ検出手段と、
    前記画像を複数の部分領域に分割し、当該部分領域を構成する画素で注目方向に並ぶ画素のうち、前記エッジ検出手段により検出したエッジ方向が前記注目方向と同一方向か、または、該注目方向と一定角度以内の傾きを有する方向である画素の数が、前記注目方向に並ぶ画素の数に対して所定の割合以上である場合に、前記注目方向に並ぶ画素のうち前記注目方向と同一か、または、該注目方向と一定角度以内の傾きを有するエッジ方向が検出された連続する画素の数の合計を線分の長さとして抽出する抽出手段と、
    前記部分領域の夫々について、前記抽出手段により抽出された線分の長さを前記エッジ方向の方向成分ごとに合計してヒストグラムを作成するヒストグラム生成手段と
    を備えることを特徴とする画像処理装置。
  4. 前記ヒストグラム生成手段は、前記線分の長さの合計を、前記部分領域における対応する方向成分ごとの長さの合計の最大値により正規化する第1の正規化手段を備え、前記第1の正規化手段の正規化結果により前記ヒストグラムを生成することを特徴とする請求項3に記載の画像処理装置。
  5. 前記ヒストグラム生成手段は更に、
    前記部分領域における方向成分ごとの前記線分の長さの最大値を、対応する方向成分における前記長さの合計の最大値により正規化する第2の正規化手段と、前記第1の正規化手段の正規化結果を、前記第2の正規化手段の正規化結果により量子化する量子化手段とを備え、前記量子化手段の量子化結果により前記ヒストグラムを生成することを特徴とする請求項4に記載の画像処理装置。
  6. 前記部分領域を設定する部分領域設定手段を更に備え、
    前記部分領域設定手段は、隣接する部分領域同士が重複領域を有するように部分領域を設定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記ヒストグラム生成手段により生成されたヒストグラムを、前記ヒストグラムに対応する画像と関連づけて格納する格納手段と、
    画像の指定を受け付ける指定受付手段と、
    指定を受け付けた前記画像について前記ヒストグラム生成手段により生成されたヒストグラムと、前記格納手段に格納されたヒストグラムとを比較し、前記対応する画像のうち前記指定を受け付けた画像に類似する画像を決定する類似画像決定手段と
    を更に備えることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記ヒストグラム生成手段により生成されたヒストグラムを、前記ヒストグラムに対応する画像と関連づけて格納する格納手段と、
    画像の指定を受け付ける指定受付手段と、
    指定を受け付けた前記画像について前記ヒストグラム生成手段により生成されたヒストグラムと、前記格納手段に格納されたヒストグラムとを比較し、前記対応する画像のうち前記指定を受け付けた画像に類似する画像を決定する類似画像決定手段と、
    検索時の曖昧さに関する情報の指定を受け付ける指定受付手段と、
    前記指定受付手段により指定を受け付けた曖昧さに応じて、前記第2の正規化手段と前記量子化手段とによる演算結果を利用するか否かを決定する決定手段と
    を更に備えることを特徴とする請求項5に記載の画像処理装置。
  9. 画像の各画素についてエッジとエッジ方向とを検出するエッジ検出工程と、
    前記画像を複数の部分領域に分割し、当該部分領域を構成する画素で注目方向に並ぶ画素のうち、前記エッジ検出手段により検出したエッジ方向が前記注目方向と同一方向か、または、該注目方向と一定角度以内の傾きを有する方向である画素の数が、前記注目方向に並ぶ画素の数に対して所定の割合以上である場合に、前記注目方向に並ぶ画素のうち前記注目方向と同一か、または、該注目方向と一定角度以内の傾きを有するエッジ方向が検出された連続する画素を1つの線分として抽出する抽出工程と、
    前記部分領域の夫々について、前記抽出工程において抽出された線分の本数を前記エッジ方向の方向成分ごとにカウントし、当該方向成分ごとの線分の本数に基づいてヒストグラムを作成するヒストグラム生成工程と
    を備えることを特徴とする画像処理方法。
  10. 画像の各画素についてエッジとエッジ方向とを検出するエッジ検出工程と、
    前記画像を複数の部分領域に分割し、当該部分領域を構成する画素で注目方向に並ぶ画素のうち、前記エッジ検出手段により検出したエッジ方向が前記注目方向と同一方向か、または、該注目方向と一定角度以内の傾きを有する方向である画素の数が、前記注目方向に並ぶ画素の数に対して所定の割合以上である場合に、前記注目方向に並ぶ画素のうち前記注目方向と同一か、または、該注目方向と一定角度以内の傾きを有するエッジ方向が検出された連続する画素の数の合計を線分の長さとして抽出する抽出工程と、
    前記部分領域の夫々について、前記抽出工程において抽出された線分の長さを前記エッジ方向の方向成分ごとに合計してヒストグラムを作成するヒストグラム生成工程と
    を備えることを特徴とする画像処理方法。
  11. 請求項9又は10に記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。
JP2004314726A 2004-10-28 2004-10-28 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 Expired - Fee Related JP4579646B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004314726A JP4579646B2 (ja) 2004-10-28 2004-10-28 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004314726A JP4579646B2 (ja) 2004-10-28 2004-10-28 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2006127159A JP2006127159A (ja) 2006-05-18
JP2006127159A5 JP2006127159A5 (ja) 2007-12-06
JP4579646B2 true JP4579646B2 (ja) 2010-11-10

Family

ID=36721861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004314726A Expired - Fee Related JP4579646B2 (ja) 2004-10-28 2004-10-28 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP4579646B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4690266B2 (ja) * 2006-08-08 2011-06-01 富士通株式会社 撮像装置
JP5376906B2 (ja) * 2008-11-11 2013-12-25 パナソニック株式会社 特徴量抽出装置、物体識別装置及び特徴量抽出方法
JP2010224987A (ja) * 2009-03-24 2010-10-07 Sharp Corp 画像処理装置、画像処理方法、プログラム、および記録媒体
JP5314521B2 (ja) * 2009-07-22 2013-10-16 共同印刷株式会社 画像処理システム及び画像処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63228382A (ja) * 1987-03-18 1988-09-22 Toshiba Corp 物体認識装置
JPH05342412A (ja) * 1992-06-08 1993-12-24 Ricoh Co Ltd グラディエントベクトルの抽出方式及び文字認識用特徴抽出方式
JPH06348849A (ja) * 1993-06-01 1994-12-22 Nippon Steel Corp 画像シンボル認識方法
JPH08137908A (ja) * 1994-11-15 1996-05-31 Canon Inc 画像検索方法及び装置
JPH11102442A (ja) * 1997-09-25 1999-04-13 Matsushita Electric Works Ltd エッジ検出方法及びその装置
JP2000057355A (ja) * 1998-08-06 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 領域抽出装置と画像処理装置
JP2000149032A (ja) * 1998-11-17 2000-05-30 Sunao Shibata 画像処理方法及び画像処理方法を記憶した記憶媒体並びに画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63228382A (ja) * 1987-03-18 1988-09-22 Toshiba Corp 物体認識装置
JPH05342412A (ja) * 1992-06-08 1993-12-24 Ricoh Co Ltd グラディエントベクトルの抽出方式及び文字認識用特徴抽出方式
JPH06348849A (ja) * 1993-06-01 1994-12-22 Nippon Steel Corp 画像シンボル認識方法
JPH08137908A (ja) * 1994-11-15 1996-05-31 Canon Inc 画像検索方法及び装置
JPH11102442A (ja) * 1997-09-25 1999-04-13 Matsushita Electric Works Ltd エッジ検出方法及びその装置
JP2000057355A (ja) * 1998-08-06 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 領域抽出装置と画像処理装置
JP2000149032A (ja) * 1998-11-17 2000-05-30 Sunao Shibata 画像処理方法及び画像処理方法を記憶した記憶媒体並びに画像処理装置

Also Published As

Publication number Publication date
JP2006127159A (ja) 2006-05-18

Similar Documents

Publication Publication Date Title
US7623712B2 (en) Image processing method and apparatus
JP4690339B2 (ja) 画像処理
JP4799246B2 (ja) 画像処理方法及び画像処理装置
US7729545B2 (en) Signal processing method and method for determining image similarity
CN101443785B (zh) 检测之前压缩过的图像中的合成
TW201437925A (zh) 物體識別裝置、方法及電腦程式產品
EP1587295A2 (en) Boundary extracting method, and device using the same
JP2002288658A (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
JP2000112997A (ja) 画像をイベントに自動的に分類する方法
US8064705B2 (en) Image processing apparatus and control method thereof
JP2002288589A (ja) 画像処理方法、画像処理装置および画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
KR100924690B1 (ko) 디지털 영상 특징 관리 시스템 및 그 방법
US6766054B1 (en) Segmentation of an object from a background in digital photography
CN112818983B (zh) 一种利用图片相识度判断字符倒置的方法
JP4739082B2 (ja) 画像処理方法及び画像処理装置
Julliand et al. Automated image splicing detection from noise estimation in raw images
JP4579646B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP4378261B2 (ja) 画像処理方法、画像処理装置
JP6272219B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4748789B2 (ja) 画像処理方法及び画像処理装置
JP2006221525A (ja) オブジェクト検索システムおよび方法
JP5979008B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2004152087A (ja) 画像の特徴量を抽出する方法および装置
US7899255B2 (en) Method for recognizing and indexing digital media
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071018

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100528

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100820

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100826

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees