JPH10162136A

JPH10162136A - 画像自動分類方法

Info

Publication number: JPH10162136A
Application number: JP8323833A
Authority: JP
Inventors: Koichi Kimura; 宏一木村; Eiji Ohira; 栄二大平; Hiromichi Fujisawa; 浩道藤澤
Original assignee: GIJUTSU KENKYU KUMIAI SHINJOHO; GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Hitachi Ltd
Current assignee: GIJUTSU KENKYU KUMIAI SHINJOHO; GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Hitachi Ltd
Priority date: 1996-12-04
Filing date: 1996-12-04
Publication date: 1998-06-19

Abstract

(57)【要約】【課題】不特定の対象を不特定の位置から撮影した多
数の静止画像をその見かけ上の類似性に合致するように
自動的にかつ効率良く分類することができない。【解決手段】実世界の３次元対象を撮影した複数の２
次元画像を、それぞれ同じ実世界の３次元対象を撮影し
たものどうしに分類する画像自動分類方法であって、種
々組合せた２次元画像のペアから、それぞれの２次元画
像が同じ実世界の３次元対象を撮影したペアを判別して
抽出し、抽出した各ペアで同じ２次元画像を含むペアを
連鎖させ、この連鎖を辿ることにより、それぞれ同じ実
世界の３次元対象を撮影した２次元画像どうしに分類す
ることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、静止画像等の２次
元画像間の類似性の自動判別を、それぞれに含まれる３
次元物体の画像を用いて行う技術に係り、特に、ビデオ
カメラ等で実世界を撮影して得られた動画像の各フレー
ム（２次元画像）などを、それぞれ同じ実世界を写した
ものどうしに分類するのに好適な画像自動分類方法に関
するものである。

【０００２】

【従来の技術】二つの２次元画像の内容が類似するもの
であるか否かを機械的に判別する場合、航空写真のよう
に元々２次元的なものを写した２次元画像であれば、そ
れぞれの画像の重なりを比較することにより容易に判別
することができる。しかし、実世界の３次元物体を写し
た２次元画像の場合、たとえ同じ３次元物体を写した２
次元画像どうしであっても、それぞれの撮影位置が異な
っている場合には、人が見た目で判断するように容易に
は自動判別できない。このような場合には、まず、その
３次元物体を認識することが考えられる。

【０００３】このように、静止画像等の２次元画像か
ら、そこに写されている３次元物体を機械的に認識する
ための従来技術の多くは、例えば、白井良明編「知識工
学講座９パターン理解」（１９８７年、株式会社オー
ム社発行）に記載のように、２次元の入力画像特徴から
３次元構造を復元しながら３次元モデルとの照合を行う
ものである。この３次元構造を復元する手掛かりとし
て、ステレオ視、陰影、動き（オプティカルフロー）な
どが用いられる。

【０００４】しかし、このような２次元画像から３次元
構造を復元する技術には、論理的には不十分な情報に基
づく種々の判断が必要になるという「逆問題」としての
難しさがある。そこで、より直接的に、見かけの２次元
画像を用いて３次元物体を自動的に認識する様々な技術
が、従来から試みられてきている。しかし、この技術で
問題となることは、たとえ同じ３次元物体を映しても、
カメラ位置の違いにより、その見かけの２次元画像は大
きく変化するため、カメラ位置の違いを補正するための
何らかの正規化(画像変換)を行うことが必要になるとい
うことである。

【０００５】このような正規化処理を避けるための技術
が幾つか知られている。例えば、不変特徴量を用いる技
術（杉本晃宏、「ＣＶＣＶ特別報告−ビジョンにおける
不変量とその応用」、『情報処理学会コンピュータビ
ジョン研究会資料』、ＣＶ93-03、pp.19-34、1995年）
は、物体における不変量を用いるものであり、正規化が
必要とならない優れた技術である。しかし、不変量が見
つかる対象は、空間内の数本の直線からなるものなど、
幾何学的に単純な対象に限られる。従って、実世界の不
特定の対象に対してそのような不変量を求めることは困
難である。

【０００６】また、３次元物体を映した２次元画像で
は、その大域的な特徴量に比較してその局所的な特徴量
は、カメラ位置の違いによって受ける変化が少ない。従
って、局所的な特徴量だけを用いることにより、正規化
処理が不要になる。このような特性を利用した技術とし
ては、特徴的な局所的配色パターンを追跡する技術（例
えば、上田博唯、宮武孝文、炭野重雄、長坂晃明「動画
像解析に基づくビデオ構造の視覚化とその応用」、『電
子情報通信学会論文誌Ｄ-II』、vol.J76-D-II、no.8、p
p.1572-1580、1993年）や、局所的な高次自己相関係数
を利用する技術（例えば、大津展之「パターン認識にお
ける特徴抽出に関する数理的研究」、『電総研研究報
告』、第818号、昭56年）等がある。しかし、このよう
な技術の改良によって、大域的な特徴量を捉えようとす
ると、適切な正規化処理と巨視化処理が必要になる。

【０００７】さらに、正規化処理をする代わりに、ＭＢ
Ｒ（Memory-Based Reasoning、記憶に基づく推論）と似
た考え方で、あらゆる視点から対象を見た画像を予め記
憶しておこうというアプローチもある。例えば、画素値
を要素とするベクトルの主成分分析による方法（村瀬洋
・シュリーナイヤー「２次元照合による３次元物体認識
−パラメトリック固有空間法」『、電子情報通信学会
論文誌Ｄ-II』、vol.J77-D-II、no.11、pp.2179-2187、
1993年）では、３次元物体を平面内の４度刻みで３６０
度方向から見た９０通りの画像を記憶している。ここ
で、記憶容量の効率性の観点から、各画像は符号化した
上で記憶される。この技術は、特定の対象であれば、そ
れがどのように複雑な形状をしていても対応できるとい
う意味で優れている。しかし、不特定多数の対象を扱う
ためは、それらをあらゆる角度から見た２次元画像を予
め用意する必要があり、非効率的とならざるを得ない。

【０００８】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、二つの２次元画像が、同じ実世
界をそれぞれ異なる位置から撮影したものであるか否か
を、そこに含まれる３次元物体の画像から自動的にかつ
効率良く判別することができない点である。本発明の目
的は、これら従来技術の課題を解決し、動画像のフレー
ムを構成する各静止画像等の２次元画像を、それぞれ同
じ実世界を写したものどうしに自動的、かつ効率良く分
類することを可能とする画像自動分類方法に関するもの
である。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像自動分類方法は、（１）種々組合せた
２次元画像のペアから、それぞれの２次元画像が同じ実
世界の３次元対象を撮影したペアを判別して抽出し、抽
出した各ペアで同じ２次元画像を含むペアを連鎖させ、
この連鎖を辿ることにより、それぞれ同じ実世界の３次
元対象を撮影した２次元画像どうしに分類することを特
徴とする。また、（２）上記（１）に記載の画像自動分
類方法において、ペアの判別は、ペアを構成する第１の
２次元画像における３次元対象の像に、同ペアを構成す
る第２の２次元画像における３次元対象の像が重なるよ
う、第２の２次元画像を変換する第１のステップと、こ
の第１のステップで変換した第２の２次元画像と第１の
２次元画像との類似度を、変換した第２の２次元画像の
歪みの大きさを少なくとも含む評価値を用いて求める第
２のステップとを少なくとも含み、第２のステップで求
めた類似度が所定値に達していれば、第２の２次元画像
を第１の２次元画像に類するものと判別することを特徴
とする。また、（３）上記（２）に記載の画像自動分類
方法において、第２のステップで求める類似度を、変換
した第２の２次元画像の歪みの大きさと、変換した第２
の２次元画像と第１の２次元画像のそれぞれ同じ位置の
画素のＲＧＢ値の差の大きさと、変換した第２の２次元
画像と第１の２次元画像のそれぞれ重なり合う部分の大
きさとを少なくとも含む評価値に基づき求めることを特
徴とする。また、（４）上記（２）もしくは（３）のい
ずれかに記載の画像自動分類方法において、第２のステ
ップで求める類似度が最も高くなる、第２の２次元画像
の変換に用いるパラメータを、確率的組合せ探索により
定めることを特徴とする。また、（５）上記（２）から
（４）のいずれかに記載の画像自動分類方法において、
第２の２次元画像の変換に用いたパラメータで特定され
る辺の両端に、第１の２次元画像と第２の２次元画像を
位置付けて、ペアをグラフ表現し、ペア間の各辺から一
つの辺を選択して、この選択した辺で各２次元画像を連
鎖させることを特徴とする。また、（６）上記（５）に
記載の画像自動分類方法において、ペア間の各辺からの
一つの辺の選択は、貪欲法によりペア間の最小コスト極
大部分木を順次きりだして行うことを特徴とする。ま
た、（７）上記（１）から（６）のいずれかに記載の画
像自動分類方法において、ペアは、予め画素値に基づく
比較でそれぞれ近似すると判定された２次元画像を組合
せてなることを特徴とする。また、（８）上記（１）か
ら（７）のいずれかに記載の画像自動分類方法におい
て、ペアを構成する２次元画像は、動画像データから切
り出された静止画像からなることを特徴とする。

【００１０】

【発明の実施の形態】本発明においては、まず、比較対
象となる二つの２次元画像の一方に、２次元射影変換
（正規化）を行い、視点の違いにより得られる画像の変
化を近似的に作り出す。そして、それぞれの２次元画像
を比較し、その変換を評価する。このような「画像の変
換」と「その変換の評価」を繰り返すことにより、「変
換の評価結果」が最適となる「変換」を探索する。この
ことにより、３次元的な広がりをもつ同じ場所を異なる
カメラ位置から撮影した二つの２次元画像データに対し
て、カメラ位置の違いを補正するための正規化変換が、
近似的に「変換のパラメータ」として効率よく求められ
る。

【００１１】さらに、本発明においては、種々に組み合
わせた２つの２次元画像に対して、上述の「画像の変
換」と「その変換の評価」を繰り返す。そして、各比較
結果を、２次元射影空間内に重み付きグラフとして表現
する。この「重み」は、最適な「画像の変換」で得られ
る「変換パラメータ」に基づき生成され、この「変換パ
ラメータ」はカメラ位置に関する情報を含んでおり、グ
ラフ内で重み付き辺の連鎖を辿ることにより、直接比較
されなかった画像どうしが同じ類に含まれるか否かを判
定することができる。このように、２つの２次元画像を
比較する度に得られたそれらの変換（正規化）パラメー
タに基づきグラフ表現された重み付き辺の連鎖を辿るこ
とにより、２次元画像の全データを相互に関係付けて分
類することができる。

【００１２】以下、人の身体に装着された小型カメラで
撮影・収集した多数の静止画像データの分類を例に、本
発明の実施例を図面により詳細に説明する。図１は、本
発明の画像自動分類方法の本発明に係る処理手順の一実
施例を示すフローチャートであり、図２は、本発明の画
像自動分類方法を適用する機器構成例を示すブロック図
である。図２に示すように、本実施例では、小型カメラ
を頭部に装着してオフィス内で活動しながら撮影した映
像から、一連の静止画を切り出して分類する。この分類
結果を参照することにより、その人が、後で、過去の出
来事を思い出そうとするとき、その手掛かりが得られ
る。

【００１３】図２において、作業者の頭に取付けられた
カメラ２０１から収録されたビデオ映像は、制御部（図
中、ＣＯＮＴと記載）２０２、バス２０３を経由してメ
モリ２０４に動画像データとしてロードされる。この動
画像データは、ビデオ映像を３０フレーム／秒、横６４
０×縦４８０画素／フレームで標本化して得られる。メ
モリ２０４には、本発明に係る画像の自動分類処理のプ
ログラムが格納されており、ＣＰＵ２０５は、メモリ２
０４からそのプログラムとデータを読み出して実行す
る。

【００１４】このＣＰＵ２０５のプログラムの実行によ
り、メモリ２０４にある動画像データから代表的な静止
画像データが選び出されて分類され、その結果は磁気デ
ィスク装置２０６に格納される。また、この分類結果
は、ＣＰＵ２０５により磁気ディスク装置２０６よりメ
モリ２０４に読み出され、インタフェース部（図中、Ｉ
Ｆと記載）２０７を介してディスプレイ装置（図中、Ｃ
ＲＴと記載）２０８に表示される。利用者は、キーボー
ド（図中、ＫＥＹと記載）２０９とマウス２１０を用い
て、表示された分類結果の検索を行う。

【００１５】図３は、図２における機器を用いた映像に
よる行動来歴作成システムの構成例を示すブロック図で
ある。本図３に示すシステム構成は、本発明者らによる
既出願の特許（特願平７−３４９８６号）に基づくもの
であり、カメラ２０１で収録されたビデオ映像は、静止
・移動区間検出部３０２で静止区間と移動区間に分割さ
れる。要約処理部３０３は類似静止画検出部３０４と移
動区間処理部３０５とからなり、類似静止画検出部３０
４では、本発明による静止画自動分類法に基づき静止区
間を分類し、移動区間処理部３０５では、カメラの移動
方向を求める。事象境界検出部３０７および場所テンプ
レート３０９を参照する場所同定部３０８は、要約処理
部３０３からの結果をさらに要約して要約結果３０６を
与える。

【００１６】以下、図１を用いて、図２におけるメモリ
２０４に格納された静止画像の自動分類処理プログラム
に基づく本発明に係る処理手順を説明する。まず、静止
画像データ系列の入力処理（ステップ１０１）では、動
画像データから静止区間を切り出して、静止画像の時系
列データとして入力する。そのためには、動画像データ
内の隣接するフレーム間で画素値の差分の大きさの平均
値を計算し、それが一定の閾値以下であり続ける時間区
間を求め、それを静止区間とする。次に、サイズの縮小
・画素値の量子化処理（ステップ１０２）では、入力さ
れた各静止画像を横８０×縦６０のサイズに縮小し、Ｒ
ＧＢ（Red,Green,Blue）各２５６階調の各画素値を、そ
れぞれ１２値、８値、８値の色相、彩度、明度に変換す
る。

【００１７】各静止画像の１次特徴ベクトルの計算処理
（ステップ１０３）では、各フレーム毎に色相、彩度、
明度の度数分布を調べ、１２×８×８＝７６８次元のベ
クトルとする。また、主成分方向への射影処理（ステッ
プ１０４）では、各画像ごとに求めた７６８次元の一次
特徴ベクトルを並べた行列を作り、その特異値分解を行
う。その特異値を大きさの順にソートして、その上位２
０位内に対応する主成分方向を求め、各画像の１次特徴
ベクトルの主成分方向への射影（２０次元のベクトル）
を求める。

【００１８】近接する画像ペアの選出処理（ステップ１
０５）では、各画像に対して上述のようにして得られた
２０次元の１次特徴ベクトルどうしの距離を計算して、
互いに近い画像のペアを求める。そして、画像のマッチ
ングによる２次特徴量とその信頼度の計算処理（ステッ
プ１０６）では、互いに近いと判断された画像のペアに
対して本発明に係るマッチングを試みる。このマッチン
グに際しては、２つの画像を撮った際のカメラの視点位
置の違いを吸収するために、一方の画像を２次元射影変
換して射影歪みを補正した上で他方の画像と比較する。
以下、その詳細を説明する。

【００１９】フレームの横・縦方向のピクセル数をそれ
ぞれ、ｘｍａｘ＝８０、ｙｍａｘ＝６０として、（ｘ、
ｙ）の位置にあるピクセルの２次元射影変換後の位置を
（ｕ、ｖ）とすると、この変換（ｕ、ｖ）＝Ｔ（ｘ、
ｙ）は、

【数１】のように８個のパラメータ「ａ、ｂ、ｃ、ｄ、ｈ、ｋ、
ｐ、ｑ」を用いて表現される。

【００２０】これらの値は、変換した後の２つの画像が
最もよくマッチするように定める。そのマッチングの程
度は、次のコスト関数Ｃにより評価する。

【数２】

【００２１】ここで、「α１、α２、β１、β２」は定
数、「Σ」は「ｘ＝１、２、．．．、ｘｍａｘ」と「ｙ
＝１、２、．．．、ｙｍａｘ」に関する総和、「Ｒ０
（ｘ、ｙ）、Ｇ０（ｘ、ｙ）、Ｂ０（ｘ、ｙ）」は一方
の静止画Ｆ０内の位置（ｘ、ｙ）にある画素のＲＧＢ
値、「Ｒ１（ｘ、ｙ）、Ｇ１（ｘ、ｙ）、Ｂ１（ｘ、
ｙ）」は、もう一方の静止画Ｆ１の位置（ｘ、ｙ）にあ
る画素のＲＧＢ値、「＾」は冪乗、「＃」は集合に含ま
れる要素数、「‖．．．‖」は２次元ベクトルのユーク
リッドノルム、「ｄｅｔ」は２次の行列式を表わす。

【００２２】コスト関数Ｃの各成分は、次のように、こ
のマッチングを評価している。「Ｃ０」は、変換後の２
枚の画像の同位置にあるピクセルのＲＧＢ値の差の大き
さの平均値を評価している。「Ｃ１」はその変換によっ
て２枚の画像が重なり合う部分の大きさを評価してい
る。「Ｃ２」はその変換の歪みの大きさを評価してい
る。変換のパラメータ「ａ、ｂ、ｃ、ｄ、ｈ、ｋ、ｐ、
ｑ」は、このコスト関数Ｃが最小になるように定める。

【００２３】そのためには、シミュレーテッド・アニー
リング法（S.Kirkpatric、C.D.Gellat、Jr.,M.P.Vecci「O
ptimization by Simulated Annealing」、『SCIENCE』、v
ol．220、no.4598、13 May,1983）を用いて確率的組み
合わせ探索を行う。その結果、コスト関数Ｃの値が或る
閾値以下であれば、それらの画像Ｆ０とＦ１はマッチし
たと考えられる。このとき、パラメータ「ａ、ｂ、ｃ、
ｄ、ｈ、ｋ、ｐ、ｑ」は、この２つの画像間の関係を簡
潔に表現している。そこで、パラメータ「ａ、ｂ、ｃ、
ｄ、ｈ、ｋ、ｐ、ｑ」をこの画像間の２次特徴量、「−
Ｃ」をその信頼度と呼ぶ。

【００２４】また、各静止画像を頂点とするグラフの生
成処理（ステップ１０７）では、１次特徴ベクトルの主
成分の距離に関して近接している各画像ペアＦ０，Ｆ１
に対して、２次特徴量「ａ、ｂ、ｃ、ｄ、ｈ、ｋ、ｐ、
ｑ」とその信頼度「−Ｃ」を求め、コスト関数Ｃが或る
閾値以下であれば、各画像ペアＦ０，Ｆ１を頂点として
その間を辺で結び、コスト関数Ｃを辺のコストとする。
これを繰り返すことにより、グラフが生成される。

【００２５】最小コスト森の生成による画像の分類処理
（ステップ１０８）では、グラフの中から、貪欲（ｇｒ
ｅｅｄｙ）法により、最小コスト極大部分木を順次切り
出していく。これにより静止画像の分類が行われる。す
なわち、各部分木内の頂点に対応する静止画像の集まり
が一つの類となる。各部分木の任意の２頂点間には、そ
れらを結ぶパスが唯一通り存在する。パス内の各辺に対
しては２次特徴量「ａ、ｂ、ｃ、ｄ、ｈ、ｋ、ｐ、ｑ」
が計算されている。これらは２次射影変換の係数であっ
て、両端の頂点に対応する静止画像のカメラの視点位置
の違いを表現している。

【００２６】いま、画像Ｆ０と画像Ｆ１が、２次特徴量
「ａ、ｂ、ｃ、ｄ、ｈ、ｋ、ｐ、ｑ」を持つ辺で結ば
れ、さらに、画像Ｆ１と画像Ｆ２が、２次特徴量
「ａ’、ｂ’、ｃ’、ｄ’、ｈ’、ｋ’、ｐ’、ｑ’」
をもつ辺で結ばれているとする。このとき、これらの２
次特徴量に対応する射影変換を合成したものは、次の数
３の式で示す３次正方行列の乗算により計算される。

【数３】ここで、括弧内は３次の正方行列を表わし、セミコロン
はその行の区切りを表わしている。

【００２７】これらを正規化した「ａ”／ｒ”、ｂ”／
ｒ”、ｈ”／ｒ”、ｃ”／ｒ”、ｄ”／ｒ”、ｋ”／
ｒ”、ｐ”／ｒ”、ｑ”／ｒ”」は、画像Ｆ０と画像Ｆ
１の関係を表現する２次特徴量を与えていると考えられ
る。そこで、パスに沿ってこの射影変換を順次合成して
行くことにより、この木を２次元射影変換群ＰＧＬ
（３、Ｒ）がなす実８次元空間の中に埋め込んで表現で
きる。これをさらに２次元に投影して可視化したものを
図４に示す。

【００２８】図４は、図１における処理手順による静止
画像の分類結果の計算機内部表現を可視化した例を示す
説明図である。図３におけるステップ１０８の「最小コ
スト森の生成による画像の分類処理」での投影では、
「ａ、ｂ、ｃ、ｄ、ｈ、ｋ、ｐ、ｑ」に平面上の点
「（ａ／２＋ｂ／２＋ｈ）／（ｐ／２＋ｑ／２＋１）、
（ｃ／２＋ｄ／２＋ｋ）／（ｐ／２＋ｑ／２＋１）」を
対応させた。

【００２９】これにより、本図４の左右上下方向は、ほ
ぼカメラの視点の動きの左右上下方向に対応する。図４
の４０１、４０２が、静止画像を分類する８次元空間を
２次元平面へ投影する第１，第２の座標軸であり、カメ
ラの視点の動きの方向を示す。さらに、図４の４０３
は、一つの静止画像に対応する点であり、４０４はその
両端点に対応する２枚の静止画像間で相対的に信頼性の
高いマッチングが行われたことを示す辺であり、４０５
は最小コスト森を構成する一つの最小コスト極大部分木
である。

【００３０】以上、図１〜図４を用いて説明したよう
に、本実施例の画像自動分類方法では、まず、特徴ベク
トルを各画像ごとに計算するのではなく、類似している
と思われる画像のペアごとに計算するため、より詳細な
分類に対応する情報を少数のパラメータで抽出できる。
そして、実際にマッチングを行ってその類似の程度をコ
スト関数として計算することにより、それらのパラメー
タの信頼性を相対的に評価できる。また、画像のペアの
特徴ベクトルは画像間の変換を表わしているため、直接
マッチングを行わなかった画像間の特徴ベクトルも、変
換の合成を計算することによって求めることができる。

【００３１】このように、画像の変換とマッチングを基
礎として画像を分類しているので、視点の変化を考慮し
つつ見た目に忠実な画像の分類を行うことができ、二つ
の静止画像のそれぞれが、同じ場所を異なる撮影位置で
撮影したものであることを機械的に特定できる。このこ
とにより、人の身体に装着された小型カメラで、不特定
の対象を不特定の位置から繰り返し撮影して収集した多
数の静止画像データを、その撮影時刻に拘わらずその撮
影場所に概ね対応し得るような精度で自動的に分類で
き、オフィスで働く人の映像による行動来歴の作成を支
援するシステムを実現できる。尚、本発明は、図１〜図
４を用いて説明した実施例に限定されるものではなく、
その要旨を逸脱しない範囲において種々変更可能であ
る。

【００３２】

【発明の効果】本発明によれば、二つの２次元画像が、
同じ実世界をそれぞれ異なる位置から撮影したものであ
るか否かを、そこに含まれる３次元物体の画像から自動
的にかつ効率良く判別することができ、動画像の各フレ
ームを、それぞれ同じ実世界を写したものどうしに自動
的かつ効率良く分類することが可能である。

【図面の簡単な説明】

【図１】本発明の画像自動分類方法の本発明に係る処理
手順の一実施例を示すフローチャートである。

【図２】本発明の画像自動分類方法を適用する機器構成
例を示すブロック図である。

【図３】図２における機器を用いた映像による行動来歴
作成システムの構成例を示すブロック図である。

【図４】図１における処理手順による静止画像の分類結
果の計算機内部表現を可視化した例を示す説明図であ
る。

【符号の説明】

２０１：小型ビデオカメラ、２０２：制御部、２０３：
バス、２０４：メモリ、２０５：ＣＰＵ、２０６：磁気
ディスク、２０７：インタフェィス部、２０８：ディス
プレイ、２０９：キーボード、２１０：マウス、３０
２：静止・移動区間検出部、３０３：要約処理部、３０
４：類似静止画検出部、３０５：移動区間処理部、３０
６：要約結果、３０７：事象境界検出部、３０８：場所
同定部、３０９：場所テンプレート、４０１：静止画像
を分類する８次元空間を２次元平面へ投影する第一の座
標軸、４０２：静止画像を分類する８次元空間を２次元
平面へ投影する第二の座標軸、４０３：一つの静止画像
に対応する点、４０４：静止画像間で信頼性の高いマッ
チングが行われたことを示す辺、４０５：最小コスト部
分木。

───────────────────────────────────────────────────── フロントページの続き (72)発明者大平栄二東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者藤澤浩道東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】実世界の３次元対象を撮影した複数の２
次元画像を、それぞれ同じ実世界の３次元対象を撮影し
たものどうしに分類する画像自動分類方法であって、種
々組合せた上記２次元画像のペアから、それぞれの２次
元画像が同じ実世界の３次元対象を撮影したペアを判別
して抽出し、該抽出した各ペアで同じ２次元画像を含む
ペアを連鎖させ、該連鎖を辿ることにより、それぞれ同
じ実世界の３次元対象を撮影した２次元画像どうしに分
類することを特徴とする画像自動分類方法。
【請求項２】請求項１に記載の画像自動分類方法にお
いて、上記ペアの判別は、上記ペアを構成する第１の２
次元画像における上記３次元対象の像に、同ペアを構成
する第２の２次元画像における上記３次元対象の像が重
なるよう、上記第２の２次元画像を変換する第１のステ
ップと、該第１のステップで変換した第２の２次元画像
と上記第１の２次元画像との類似度を、上記変換した第
２の２次元画像の歪みの大きさを少なくとも含む評価値
を用いて求める第２のステップとを少なくとも含み、上
記第２のステップで求めた類似度が所定値に達していれ
ば、上記第２の２次元画像を上記第１の２次元画像に類
するものと判別することを特徴とする画像自動分類方
法。
【請求項３】請求項２に記載の画像自動分類方法にお
いて、上記第２のステップで求める類似度を、上記変換
した第２の２次元画像の歪みの大きさと、上記変換した
第２の２次元画像と上記第１の２次元画像のそれぞれ同
じ位置の画素のＲＧＢ値の差の大きさと、上記変換した
第２の２次元画像と上記第１の２次元画像のそれぞれ重
なり合う部分の大きさとを少なくとも含む評価値に基づ
き求めることを特徴とする画像自動分類方法。
【請求項４】請求項２、もしくは、請求項３のいずれ
かに記載の画像自動分類方法において、上記第２のステ
ップで求める類似度が最も高くなる、上記第２の２次元
画像の変換に用いるパラメータを、確率的組合せ探索に
より定めることを特徴とする画像自動分類方法。
【請求項５】請求項２から請求項４のいずれかに記載
の画像自動分類方法において、上記第２の２次元画像の
変換に用いたパラメータで特定される辺の両端に、上記
第１の２次元画像と上記第２の２次元画像を位置付け
て、上記ペアをグラフ表現し、上記ペア間の各辺から一
つの辺を選択して、該選択した辺で各２次元画像を連鎖
させることを特徴とする画像自動分類方法。
【請求項６】請求項５に記載の画像自動分類方法にお
いて、上記ペア間の各辺からの一つの辺の選択は、貪欲
法により上記ペア間の最小コスト極大部分木を順次きり
だして行うことを特徴とする画像自動分類方法。
【請求項７】請求項１から請求項６のいずれかに記載
の画像自動分類方法において、上記ペアは、予め画素値
に基づく比較でそれぞれ近似すると判定された２次元画
像を組合せてなることを特徴とする画像自動分類方法。
【請求項８】請求項１から請求項７のいずれかに記載
の画像自動分類方法において、上記ペアを構成する２次
元画像は、動画像データから切り出された静止画像から
なることを特徴とする画像自動分類方法。