JP4205517B2 - 奥行情報を含んだ画像の分類装置およびプログラム - Google Patents

Description

本発明は、奥行情報を含んだ画像の分類および検索を行う方法、装置に関する。

従来、画像の分類方法としては色情報が主に用いられている（特許文献１）。また、他の手段としては、ファイル形式やメタデータ等が利用されている。しかしながら、画像の奥行という構造的な面からの分類方法は、従来手法では複雑な処理が必要となり、簡易な分類を行うことは困難であった。
特開２００３−０６７７６４号公報

本発明の目的は、従来の方法では複雑な処理が必要であった画像の構造的な側面からの画像分類の奥行方向の凹凸分布での画像分類が容易な画像分類方法および装置を提供することにある。

本発明の他の目的は、上記画像分類方法を用いた画像検索方法および装置を提供することにある。

本明細書において、以下の記述を簡易化するために、画像をいくつかの領域に分割し、その領域の代表値としてある値を与え、前記分割された領域を行列と見なし、代表値を行列の要素とするとき、この要素によって構成される行列を画像の「特徴行列」と称し、画像を風景画像や人物画像などに分類を行う際、それらのカテゴリで代表的となる特徴行列を「テンプレート行列」と称する。

本発明の画像分類装置は、
画素単位に奥行情報を含んだ画像を、その奥行情報を元にして分類する装置であって、
画像メモリと、
奥行情報を含む画像を入力し、前記画像メモリに保存する保存手段と、
該画像を複数の領域に区分する区分手段と、
前記各領域に含まれる各画素の奥行情報の平均値と、画像全体での各画素の奥行情報の平均値とを比較することで、区分された領域に対する代表値を決定する決定手段と、
テンプレート行列を記憶したメモリと、
各領域の代表値を行列の要素として見なし、画像全体に対する奥行特徴行列を算出し、該奥行特徴行列と各テンプレート行列との相関性を検出する検出手段と、
相関性が最も高いテンプレート行列の有する一意的なＩＤコードを入力された画像に付与する付与手段とを有する。

本発明の画像分類装置は、
テンプレート行列の有する一意的なＩＤコードを有する画像を格納した画像データベースと、
前記付与手段で付与されたＩＤコードに基づいて、前記入力された画像の類似画像を前記画像データベースから検索する検索手段と、
検索結果を出力する出力手段とを有する。

請求項１と３の発明は、従来は色やメタデータによって分類を行っていた奥行情報のついた画像を、奥行情報を利用することによって、より容易に分類することが可能となる。

また、請求項２と３の発明は、従来、画像の検索を行う場合、画像データに付加されたメタデータや色、形状、ファイル形式によって検索を行っていたため、ユーザは求めたい画像を取得するまでに検索のキーワードを選択したり、大量の画像を見る必要があり、時間や手間がかかっていたが、本発明を利用することによって、色や形だけでなく、画像の構造という情報を含んだ検索が可能となり、従来よりも容易に、ユーザの求めるものに近い画像を検索することが可能となる。

次に、本発明の実施の形態について図面を参照して説明する。

図１は本発明の一実施形態の画像分類装置の構成図である。本実施形態の画像分類装置は画像入力部１０１と画像記憶部１０２と領域区分部１０３と領域代表値決定部１０４と相関性検出部１０５とテンプレート行列記憶部１０６と識別子付与部１０７と画像出力部１０８とから構成されている。

画像入力部１０１は、色情報のみならず奥行情報を含む画像を入力し、画像記憶部１０２に保存する。たとえば、色の情報として、赤、緑、青の３色の輝度に関する値がＲ、Ｇ、Ｂと与えられるとき、画素ごとに［Ｒ，Ｇ，Ｂ］として表される。この表現のように色情報に奥行の値Ｚを付加して、［Ｒ，Ｇ，Ｂ，Ｚ］と表すことが可能であるとする。

領域区分部１０３は保存された画像を複数の領域に分割する。画像の分割の方法としては、図２に示すように複数の分割方法が考えられる。２０１のように、縦横に複数の四角形の領域に分割する方法や、２０２のように画像に対して斜め方向に複数の四角形の領域に分割する方法、また、２０３のように複数の六角形の領域に分割する方法が考えられるが、分割方法は画像の入力を行う以前に決定されているものとする。また、分割数に関しても、同様に複数の方法が考えられるが、この分割数も分割領域と同じく、画像入力以前に決定されているものとする。計算上のコストを考慮すると、領域の分割数は画像のピクセル数に対して十分小さいものが望ましく、簡易な分割を行うためには、縦横に３×３や３×５などに大まかに分割することが望ましい。また、分割数は、画像の大きさに関わらず一定とする。

領域代表値決定部１０４は分割された領域に対して代表値を決定する。図３は代表値を決定する方法を示した図である。ここでは、奥行情報のヒストグラム分布を利用した代表値決定方法について説明する。３０１に示されるように、画像全体の奥行のヒストグラムを形成し、その平均値をＺａｖとしたとき、その値を求める。ここで、例として奥行情報はカメラのレンズ中心からの距離を取るものとし、単位としてｍの値を持ち、常に正値を取るものとする。よって奥行値は、カメラレンズ中心から０ｍの位置から、Ｚの取りうる最大値までもつものとする。次に、各分割された領域に関して、３０２に示されるように、奥行ヒストグラムを形成する。形成された奥行ヒトグラムを画像全体の奥行ヒストグラムの平均値Ｚａｖとを比較し、領域内の奥行ヒストグラムの平均値がＺａｖよりも大きい値となるときには、領域の代表値として−１の値を与える。また、領域の平均値がＺａｖの値に近い値である場合、領域の代表値として０を与える。そして、領域の平均値がＺａｖよりも小さい値である場合は、代表値として１を与えるものとする。もしくは、撮影点から１０ｍまでの範囲、１０ｍから１００ｍまでの範囲、それ以上の範囲というように、前記分割された領域における奥行方向の閾値を画像を入力する以前に決定しておき、これを利用して奥行情報を分類し、前記分割領域の代表値を決定してもよい。

相関性検出部１０５は図４に示すように、領域代表値決定部１０４で決定された各領域の代表値から画像の奥行特徴行列を作成し、テンプレート行列記憶部１０６中のテンプレート行列との相関を求める。テンプレート行列と、奥行特徴行列の行、列における要素数は同じものであるとする。この要素数は、画像を入力する以前に決定されているものとする。奥行特徴行列とテンプレート行列との相関を求める手法としては、多数考えられるが、例としては、奥行特徴行列とテンプレート行列との差を求めた後、この行列式を求める、という手法でもよい。このとき、値が０に近いほど、奥行特徴行列とテンプレート行列とが類似した行列であるということができる。ここでは、奥行特徴行列とテンプレート行列とがどれだけ似ているか、ということを計算結果として求められる方法であればよい。

識別子付与部１０７は図５に示すように、相関性検出部１０５にて検出された、相似性が最も高いテンプレート行列を画像の識別子として、入力された画像に付加する。この際、テンプレート行列そのものを画像に付加してもよいし、テンプレート行列に対して一意となるＩＤのようなものを画像に付加してもよい。付加する手法としては、電子透かしのように画素そのものに埋め込むという方法も考えられ、また、画像そのものの構造を壊さないような方法でデータを付加するという方法も考えられる。例えば、データのヘッダ部分にデータを付与したり、ＸＭＬ（eXtensibe Markup Language）を用いて別ファイルのようにデータを画像に関連付けを行えば、画像そのものは変質することなく、分類に関する情報を付加することが可能となる。このようにして付加された情報は画像のメタデータの一部として利用してもよい。この結果、付加された識別子によって、入力された画像がどのような奥行情報を含んだ画像であるか分類することが可能となる。

画像出力部１０８は、識別子が付与された画像をディスプレイ、プリンタ等の出力装置に出力する。

次に、本発明の他の実施形態として、構造的に類似する画像を検索する画像検索装置を図６に示す。画像検索装置は画像／テンプレート行列入力部６０１と画像分類装置６０２と識別子決定部６０３と類似画像検索部６０３と検索結果出力部６０５と画像データベース６０６とから構成されている。

画像／テンプレート行列入力部６０１を用いて、ユーザは、検索したい画像の構造に類似した、奥行情報を含んだ画像を選択するか、または、ユーザが検索しようとする画像の構造に近いテンプレート行列を選択する。

ユーザが奥行情報を含んだ画像を入力した場合、図１の画像分類装置６０２を用いて画像の分類を行い、識別子付与までを行い、ユーザが入力した画像を表すテンプレート行列に一意に対応する識別子が出力される。画像／テンプレート行列入力部６０１にてテンプレート行列が入力された場合は、テンプレート行列に一意に対応する識別子が決まっているため、画像分類装置６０２の処理は行わなくともよい。

識別子決定部６０３にて、入力された画像に対する識別子、または、ユーザが入力したテンプレート行列の識別子が決定される。

類似画像検索部６０４では、識別子決定部６０３にて決定された識別子に一致する識別子が付けられている画像を、画像データベース６０６中から検索する。このとき、検索の基準として画像の奥行方向だけでなく、色の分布に関する情報も利用することによって、ユーザの求める画像の検索精度を上げることも可能である。

他にも、ユーザが選択したテンプレート行列の識別子に一致するもののみを検索対象にするだけではなく、類似したものも含めて検索対象としてもよい。なぜなら、テンプレート行列が含まれている空間を考えた場合、画像に含まれる構造が類似したテンプレート行列が偏りをもって存在していると考えられるため、この分布の偏りを参考として、ユーザが選択したテンプレート行列に近い空間に分布する他のテンプレート行列も検索の対象とすることができるため、画像の検索対象を広げることが可能となる。

検索結果出力部６０５にて、類似画像検索部６０４で検索された結果をディスプレイ、プリンタ等に出力する。

なお、本発明の画像分類方法、画像検索方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

本発明の一実施形態の画像分類装置の構成図である。 領域分割の例を示す図である。 領域代表値決定の手順を示す図である。 相関性検出の手順を示す図である。 識別子付与の説明図である。 本発明の他の実施形態の画像検索装置の構成図である。

符号の説明

１０１ 画像入力部
１０２ 画像記憶部
１０３ 領域分割部
１０４ 領域代表値決定部
１０５ 相関性検出部
１０６ テンプレート行列記憶部
１０７ 識別子付与部
１０８ 画像出力部
２０１〜２０３ 領域分割例
３０１ 画像全体での奥行ヒストグラム
３０２ 各領域の奥行ヒストグラム
３０３ 領域代表値
６０１ 画像／テンプレート行列入力部
６０２ 画像分類装置
６０３ 識別子決定部
６０４ 類似画像検索部
６０５ 検索結果出力部
６０６ 画像データベース

Claims (3)

1. 画素単位に奥行情報を含んだ画像を、その奥行情報を元にして分類する装置であって、
   画像メモリと、
   奥行情報を含む画像を入力し、前記画像メモリに保存する保存手段と、
   該画像を複数の領域に区分する区分手段と、
   前記各領域に含まれる各画素の奥行情報の平均値と、画像全体での各画素の奥行情報の平均値とを比較することで、区分された領域に対する代表値を決定する決定手段と、
   テンプレート行列を記憶したメモリと、
   各領域の代表値を行列の要素として見なし、画像全体に対する奥行特徴行列を算出し、該奥行特徴行列と各テンプレート行列との相関性を検出する検出手段と、
   相関性が最も高いテンプレート行列の有する一意的なＩＤコードを入力された画像に付与する付与手段とを有する、奥行情報を含んだ画像の分類装置。
2. テンプレート行列の有する一意的なＩＤコードを有する画像を格納した画像データベースと、
   前記付与手段で付与されたＩＤコードに基づいて、前記入力された画像の類似画像を前記画像データベースから検索する検索手段と、
   検索結果を出力する出力手段とを有する、請求項１に記載の奥行情報を含んだ画像の分類装置。
3. 請求項１または請求項２に記載の奥行情報を含んだ画像の分類装置を構成する各手段としてコンピュータを機能させるプログラム。

Images