JP4477439B2

JP4477439B2 - 画像分割処理システム

Info

Publication number: JP4477439B2
Application number: JP2004205120A
Authority: JP
Inventors: 裕史塚原; 浩史土井
Original assignee: Hitachi Software Engineering Co Ltd; Denso IT Laboratory Inc
Current assignee: Hitachi Software Engineering Co Ltd; Denso IT Laboratory Inc
Priority date: 2004-07-12
Filing date: 2004-07-12
Publication date: 2010-06-09
Anticipated expiration: 2024-07-12
Also published as: JP2006031114A

Description

本発明は、画像分割処理システムに関し、特に、画像の特徴量に基づいて複数の部分領域に分割するシステムに関するものである。

画像の中から対象物体を識別するための方法として、画像をその特徴量に基づいて複数の小さい部分領域に分割する方法がある。このような方法では、特徴量（の相関係数）が大きく変化する箇所を検出し、そこを部分領域間の境界と見なすことで領域の分割を行うことができる。ここで、特徴量とは、画像の各部分領域における構造を特徴付ける情報である。特徴量を抽出するには、平均輝度と分散を用いる方法、あるいはエッジ強度やテクスチャーなどの情報に基づいて抽出するヒューリスティックな方法などがある。例えば、特許文献１では、平均色、代表色または濃度という量を特徴量として使用している。ところが、このようにして抽出される特徴量が画像を領域分割するにあたって最適な基準となるかどうかは自明ではないので、客観的な評価に基づいて真に最適な特徴量を求めることが重要である。

画像の中から対象物体を識別するプロセスにおいては、統計的手法によって有用な特徴量を抽出するアプローチが知られている。特に、画像から線形変換によって得られるような特徴量を抽出するものとして、（１）主成分分析（Principal Component Analysis；PCA）や重判別分析（Multiple Discriminant Analysis；MDA）を用いるものなどが一般的である。例えば、特許文献２には、MDAに基づく物体認識方法及び物体認識装置が記載されている。ところが、対象物体や背景（環境）の条件などによっては、線形性の仮定が成り立たないこともあり、画像からの線形変換によって常に領域分割に有用な特徴量が得られるとは限らない。このような場合に対処する方法としては、（２）ニューラルネットワークや非線形変換を行った後に主成分分析を行う方法がある。但し、これらの手法では、非線形変換の形を予め仮定する必要があるが、抽出すべき特徴量が予め仮定した非線形変換と異なる場合には、適切な特徴量を得ることができない。そこで、どのような非線形変換を行うかを予め仮定しない手法として、（３）自己組織化写像（Self-Organizing Maps；SOM）を用いる手法や、計量的多次元尺度構成法（Multi Dimensional Scaling；MDS）などを利用することができる。例えば、特許文献３には、SOMに基づいた画像検索装置が記載されており、特許文献４には、MDSに基づいた画像の類似尺度構成処理方法が記載されている。

特開平１１−１６７６３４号公報。特開２０００−２４２７８４号公報。特開２０００−９０２３９号公報。特許第３１５５０３３号公報。田口善弘他，2001年，「非計量多次元尺度構成法への期待と新しい視点」，統計数理第49巻第1号，p133-153。

まず、画像に関する統計的な特徴量の構成手法について全般的に言える問題は、統計的分析を行う前に、原始的な特徴量として平均輝度と分散、またはエッジやテクスチャー情報など、分析者がヒューリスティックに導入した特徴量を初期特徴量として抽出した後に、統計処理を行って、さらに統計的特徴量を抽出していることである。つまり、統計処理を行う以前に分析者がノイズであると判断した情報は取り除かれてしまうこととなる。ところが、実際にはどのような情報がノイズであるかを予め予測することはできない。また、特徴量として抽出された情報にもノイズが含まれている可能性がある。むしろ、従来の統計的特徴抽出方法は、ヒューリスティックに定義された特徴量に含まれているノイズを除去するためだけに統計分析を行うものであると言える。そうすると、統計分析によってノイズを排除し統計学的に真に意味のある特徴量を抽出するためには、画像から情報を切り落とすことなく統計分析を実行するのが望ましい。しかしながら、一般的に画像データは非常に次元が高いデータであり、そのような高次元のデータに対して判別分析などを行うに膨大な量の計算処理が必要となるため、画像から情報を切り落とすことなく統計分析を実行するのは実質的には困難である。このため、従来の手法では、まず分析者がヒューリスティックな特徴量を抽出し、こうして次元が下がったデータに対して統計分析を実行している。

従来技術（１）で説明した手法では、特徴量が画像情報に関する線形変換として与えられることを仮定しているが、そのような仮定が一般的に成り立つとは限らないので、適用できる対象が限られてしまうという問題がある。

従来技術（２）で説明した手法では、非線形変換によって得られる特徴量を扱うためには、どのような非線形変換を行うかを予め決めておかなければならないが、これを予め決定できない場合には、適切な特徴量を得ることができないという問題がある。

従来技術（３）で説明した手法では、非線形変換を予め仮定する必要はないが、特徴量の成す空間に計量を与えなければならず、解析結果はこの計量に大きく影響される。しかしながら、求めるべき特徴空間に計量をどのように与えれば良いかは自明ではないので、設定した計量が不適切であった場合には、精度が悪くなるという問題がある。さらに、SOMの場合には、特徴空間が離散的な格子によって表されるため、離散化に伴う誤差が大きく影響する可能性がある。

また、画像分割処理では、画像計測装置による解像度などの違い、対象物体の変化、オクルージョンや環境（背景）の突然の変化などによるノイズが発生するが、これらは統計的に扱うことは困難である。上記した従来技術はずれもデータを計量的に扱っているため、このようなノイズの発生に対するロバスト性が低いという問題がある。また、このような大きなノイズの影響を画像に対する前処理において十分に補正することも困難である場合が多い。

さらに、MRI画像のような３次元画像に対して、従来の手法を適用する際には、特徴量を抽出するために、一度、２次元の断面画像を取ってから解析を行い、再度３次元の情報に組み直す必要性があるが、このような場合には、断面間のグローバルな特徴を抽出するのが困難である。また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、テンソル値（行列値）のデータは色相や輝度のようなデータとは異なり、各成分自体の値よりも、行列式、固有値およびトレースなどの量の方に本質的な意味があり、従来手法のような平均輝度やエッジ強度のような特徴量は有効な特徴量とはならない場合が多い。

本発明は、このような従来技術における問題点に鑑みてなされたものであり、画像を複数の領域に分割処理するシステムであって、適切な特徴量をより客観的な規準によって抽出することにより、画像の解像度の違い、対象物体の変化、オクルージョンや環境の突然な変化などに対してロバストな領域分割を行うことができるシステムを提供しようとするものである。

本発明者は、上記の課題を解決するために、まず画像の大きさに比べて十分に小さく予め定められた形状の領域（窓）を、この窓が画像全体を覆うように設定し（窓はお互いに重なりあっても良いし、重なりがないようにしても良い）、それぞれの窓から画像の小領域を切り出した部分画像の集合を作成し、切り出されたすべての部分画像同士の間にそれらの間の非類似度（あるいは類似度）に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、このようにして写像された距離空間における点の集合に関してクラスタリングを行い、各クラスタに属する点を逆写像して得られる部分画像を同じ領域に属するものとして再統合することで、画像を対象物体の領域と背景領域とに分割することに想到した。

従来技術で説明した手法に比べ、本発明では、特に、従来技術（１）で説明した手法に比べ、写像元における非類似度あるいは類似度といった量の間の順序関係のみを使用すること、順序関係のみが大切なので、ノイズや環境の明るさの変動などに対してロバスト性が高いこと、先の非類似度あるいは類似度のスケールの選び方にも依存しないため、写像先の空間における距離スケールすなわち計量の定義に影響されずに、精度高く写像を構成することができること、かつ写像が非線形であっても適用することができること、さらに、従来技術（２）で説明した手法に比べ、予め非線形写像の形を決めておく必要がないため、任意の形の非線形写像を構成することができること、また、従来技術（３）で説明した手法に比べ、写像先の空間は連続空間として扱うことができ、自己組織化写像のように空間を離散化することによる写像の精度の悪化はないこと、かつ、距離スケールすなわち計量の定義に依存しないため、自己組織化写像及び計量的多次元尺度構成法のように精度良く写像を構成するためには、距離スケールを非常に正確に調整しなければならないというような問題に影響されなくなることに特徴を有している。

さらに、ノイズ削除、輝度補正、背景変動補正などの画像に対する前処理を実行しなくとも、これらの影響を受けずに処理を行うことが出来るため、計算コストを大きく削減することが可能であることにおいても特徴を有している。

さらに、MRI画像のような３次元画像に対しても、本発明では、３次元画像を２次元の断面に分割する必要性はなく、３次元画像のまま、解析を行うことが可能であり、また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、このようなテンソル値のデータであっても客観的に本質な特徴量を抽出することができるようになることにおいても特徴を有している。

以上のような特徴を実現するための手段として、本発明は、画像の分割対象領域に対して、該分割対象領域全体を覆うようにして所定形状の窓領域を複数個設定する窓領域設定手段と、前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する類似度計算手段と、前記類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する順序関係決定手段と、前記各部分画像組の間で決定された順序関係が保存されるようにして、前記各部分画像を距離空間上に写像する写像手段と、前記距離空間上に写像された点を距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、各クラスタに属する点に対応する部分画像を前記写像の逆写像によって求め、これらの部分画像を１つの領域として統合する領域分割手段と、を含むことを特徴とする画像分割処理システムを提供するものである。

本発明の画像分割処理システムにおいて、前記写像手段は、前記部分画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする。

本発明の画像分割処理システムにおいて、前記写像手段は、前記部分画像の組の間で決定された順序関係に基づいて各部分画像組に自然数による番号付けを行うとともに、前記部分画像集合から前記距離空間に写像される点の集合から、互いに異なる２点からなる組を生成し、それらの組に対して２点間の距離により順序関係を決定し、この順序関係に従ってそれらの組に自然数による番号付けを行い、前記部分画像の組に付けられた番号とそれらが前記距離空間に写像される点の組に付けられた番号との差の自乗を全ての前記部分画像の組について足し合わせた値が最小化されるようにして、写像を行うことを特徴とする。

本発明の画像分割処理システムにおいて、前記写像手段は、前記部分画像の組が前記距離空間に写像される点の組の２点間距離を計算するとともに、前記写像される点の組において補助距離の大小関係によって定められる順序関係が、前記部分画像の組の間で決定される順序関係と一致するようにして、前記２点間距離の補助距離を計算し、前記写像される点の組における２点間距離と補助距離との差の自乗を全ての前記写像される点の組について足し合わせた値が最小化されるようにして、写像を行うことを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値（あるいはスカラー値）とを与える関数の汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする。ここで、差分とは色相の差分又は濃淡値の差分のことであり、負の値を取り得るものとする。また、オプティカルフローは速度場に相当し、２次元あるいは３次元のベクトルで表されるものである。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数（構造テンソル）に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、全クラスタ数を予め指定せずにクラスタリング行うことを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、全クラスタ数を予め指定して行うことを特徴とする。

本発明の画像分割処理システムにおいて、前記クラスタリング手段は、K-最近接法又はK-平均法を実行するクラスタリングを行うことを特徴とする。

以上、説明したように、本発明の画像分割処理システムによれば、統計的な解析において、最も客観性の高い規準に従い、かつ画像における対象物体の違い、変化、オクルージョン及び環境の大きな変動に対してロバスト性が高い画像の領域分割において真に有益な特徴量を抽出することができ、しかも、この特徴量を用いることで、ロバスト性の高い対象物体の領域と背景領域との領域分割を行うことができるようになる。

また、そのロバスト性の高さから、画像の解像度の違いや、各種の統計的または非統計的なノイズ、環境の状態の大きな変化があっても、特に特殊な前処理を行うことなく、領域の分割を行うことができ、適用できる問題の範囲が広がり、かつ、このような前処理のための処理時間を短縮することが可能となる。

また、３次元以上の画像中における空間的な構造を特徴づける特徴量を抽出することができるようになる。さらには、テンソル値（行列値）の画像（２次元及び３次元以上）であっても、画像を特徴づける特徴量を抽出することができるようになる。

以下、添付図面を参照しながら、本発明の画像分割処理システムを実施するための最良の形態を詳細に説明する。図１〜図５は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。

図１は、本発明の一実施形態として構築される画像分割処理システムの内部構成を概略的に示す機能ブロック図である。この画像分割処理システムは、画像データを保存する記録装置１００、ユーザに対するインタフェース画面や画像データを分割処理した結果などを表示するための表示装置１０１、ユーザからの操作入力を受け付けるためのキーボード１０２とマウスなどのポインティングデバイス１０３、画像分割処理に必要な演算処理、制御処理等を行う中央処理装置１０４、画像分割処理に必要なプログラムを格納するプログラムメモリ１０５、画像分割処理の対象となる画像データ１１０を格納するデータメモリ１０６を備えている。

図２は、図１に示す画像分割処理システムのプログラムメモリ１０５に含まれる各種の処理プログラムを概略的に示す機能ブロック図である。図２において、プログラムメモリ１０５には、画像入力処理部Ｂ１、画像処理部Ｂ２、部分画像構成処理部Ｂ３、初期特徴量計算処理部Ｂ４、非類似度計算処理部Ｂ５、順序関係保存特徴写像構成処理部Ｂ６、クラスタリング処理部Ｂ７、画像領域分割処理部Ｂ８、領域演算処理部Ｂ９、領域分割画像出力処理部Ｂ１０が含まれている。以下において、これらの処理部における処理を詳細に説明する。

画像入力処理部Ｂ１は、記録装置１００などから分割対象となる画像データをメモリ１０６に取得する。以下においては、２次元画像を分割する場合について説明するが、本発明の画像分割処理システムは３次元画像であっても同様に分割処理を実行することができる。

画像処理部Ｂ２は、取得した対象画像がカラー画像である場合には、グレースケール画像への変換、輝度正規化、ヒストグラム平滑化、サイズ変更、ノイズ低減などの各種フィルタリング処理を行うものとする。但し、これらの画像処理は必ずしも行う必要があるものではなく、画像入力処理部Ｂ１により取得した画像データをそのまま用いて以下の処理を行ってもよい。従来技術では、ここで輝度の正規化処理などを行わないと以下の処理に重大な影響を与えることとなるが、本発明の画像分割処理システムは、ここで輝度の正規化処理を行わなくとも以下の処理に問題が生じないという点でロバスト性が高いシステムである。ここでは、取得した画像データはRGB値で表されるカラー画像データであり、画像処理部Ｂ２では特に上記したような画像処理を行わないものとする。

部分画像構成処理部Ｂ３は、画像データ全体を覆うように窓を設定して、複数の部分画像を構成する。ここで、画像データに対する窓の設定方法を図３に示す。図３に示す窓の設定方法は、注目領域が画像全体であり窓が矩形である場合の例であり、図３（ａ）に示すように窓はお互いに交差しないように設定されていても良く、あるいは図３（ｂ）に示すようにお互いに交差するものがあるように設定されていても良い。また、窓の形も図３のような矩形ではなくても、注目領域全体を覆うことができるようになっていれば、形は任意で構わない。以下の処理では、図３（ａ）に示すような窓の設定方法を採用するが、部分画像の大きさは原理的にはかならずしも全て同じではなくても良い。

初期特徴量計算処理部Ｂ４は、構成された各部分画像からヒストグラムやエッジ強度などの初期特徴量を抽出する。但し、特に特徴抽出せずに、与えられた部分画像そのものを特別な場合における特徴量として使用してもよい。ここでは、初期特徴抽出において、有益な情報を一切失わないようにするため、与えられた部分画像をそのまま初期特徴量として、以下の処理を行うものとする。

非類似度計算処理部Ｂ５は、お互いに異なるように選ばれた２つの部分画像からなる組全体について、各組に属する２つの部分画像間の非類似度を計算する。非類似度としては、部分画像組全体から順序集合上への任意の写像を使用することができる。対象画像に応じて、適切な非類似度が与えられれば良い。以下の説明では、順序集合として、特に、実数を使用するものとする。今、各部分画像をC_i (i=1,2,...,N) と表す。Nは部分画像構成処理部Ｂ３において、切り出された部分画像の数（すなわち設定された窓の数）を表す。部分画像C_iに属する画素をkと表し、部分画像C_j に属する画素をlと表し、画素kにおけるRGBの値をそれぞれR_k 、G_k、B_k と表すことにする。非類似度としては、２つの部分画像それぞれに属する画素値すべてから実数への任意の関数が使用できる。例えば、画像の領域の平行移動や回転に対して不変性が高い非類似度の与え方としては、（１）式に示すような関数dが使用できる。

または、カラーヒストグラムインターセクションのような量も非類似度として良く使用される。このようにして与えられた非類似度に基づいて、部分画像組全体からなる集合の上に順序関係が、非類似度が写像する順序集合上において定義されている順序関係によって自然に定義される。このように、非類似度計算処理部Ｂ５では、各部分画像の組の間に順序関係が定義される。この順序関係を与える順序関数δを（２）式のように表す。

順序関数は（３）式のような関係を満たすものである。

このように任意の２つのお互いに異なる部分画像の組の間に順序関係が定義された部分画像の集合は、順序関係保存特徴写像構成処理部Ｂ６において写像処理されることとなる。

順序関係保存特徴写像構成処理部Ｂ６は、部分画像の集合をある距離空間の点の集合に１対１で写像する。ここで写像に関しては、写像によって写される距離空間上の点全体からなる集合から選ばれるお互いに異なる２点の組合せ全体がなす集合上に、２点間の距離に基づいて与えられる、お互いに異なる２点の組の全体からなる集合上に定義される順序関係が、写像元の部分画像のお互いに異なる２つの部分画像の組全体からなる集合対して、非類似度計算処理部Ｂ５において計算される順序関係と一致するように選ばれていれば、任意の写像を使用することができる。以下では、このような写像を「特徴写像」と呼ぶ。例えば、非計量多次元尺度構成法を用いて、このような写像の一つを構成することができる。特に、以下の処理では、非計量的多次元尺度構成法を部分画像の全体からなる集合上から選ばれたお互いに異なる２つの部分画像の組合せ全体からなる集合上に定義される順序関係のみを用いて特徴写像を構成する方法（非特許文献１参照）に従う。

特徴写像を構成するために、まず、部分画像C_i が写される距離空間上の点の位置座標をランダムに初期状態として選び、ベクトル

で表す。お互いに異なる２つの部分画像の組から成る集合上における順序関係を順序が小さいものから順に1,2,...,Nと番号をつけるものとする。つまり、ある部分画像組(C_i, C_j)の写像元での順番がmであったとき、順序関数δ(C_i, C_j)の値はmで与えられ、（４）式のように表すことができる。

同様に、位置ベクトル

から選ばれるお互いに異なる２つの位置ベクトルの組合せ全体から成る集合上に、位置ベクトル

間の距離

の大小関係に基づいて順序関係を定義し、順序が小さいものから順に1,2,...,N番号が付けるものとする。この順序関係を与える順序関数をとおく。つまり、位置ベクトルの組

の順序がnであったとき、順序関数

の値はnで与えられ、（５）式のように表すことができる。

部分画像組(C_i, C_j)の写像元での順位がmで与えられるとき、写像先での位置座標の組

の順位をT_m と置く。つまり、（６）式のように表すことができる。

目的の特徴写像を構成するためには、以下の手順（ア）〜（オ）に従う。

（ア）以下の（７）式に定義する行列の成分を対角成分以外のすべてについて計算する。（対角成分はすべて０と置いても良い。）ここで、mは部分画像の組(C_i, C_j)の順位を表し、T_m は（６）式で定義される位置ベクトルの組

の順位を表す。

（イ）位置ベクトル

それぞれについて以下の（８）式で与えられる差分ベクトル

を計算する。

（８）式におけるμは更新率で小さい正の数である。

（ウ）手順（イ）で求めた差分ベクトルによって、位置ベクトルを以下の（９）式のように更新する。

（エ）更新された位置ベクトル

を

と置きなおし、以下の（１０）式が満たされるように、位置ベクトル

のスケールを変換する。

（オ）手順（ア）〜（エ）を終了条件が満たされるまで繰返し行う。例えば、（７）式で与えられる行列D_i,j の全ての非対角成分がすべて０となるか、予め決めた最大繰返し数に達するまで繰り返す。

以上のようにして、順序関係保存特徴写像構成処理部Ｂ６において特徴写像が構成される。この処理の様子を図４に示す。図４は、２次元のユークリッド空間に写像する特徴写像の例である。ある領域に属する部分画像は同じ領域に属する部分画像とは非類似度が小さく、他の流域に属する部分画像とは非類似度が大きいので、同一の領域に属する部分画像同士は写像先の距離空間では近くの点に写像され、他の領域に属する部分画像に対応する点からは離れている。部分画像の集合及び特徴写像によって写像される距離空間上の点の集合は、クラスタリング処理部Ｂ７によってさらに処理される。

クラスタリング処理部Ｂ７は、順序関係保存特徴写像構成処理部Ｂ６で計算された特徴写像による部分画像全体の像である位置ベクトル

の配置に関するクラスタリングを行う。クラスタリング手法としてはクラスタ数を予め与える必要のない混合ガウス分布などの混合確率分布を用いた最尤推定法のようなクラスタリング手法が良いが、位置ベクトル間の距離を用いたdivisive clusteringなどを用いても良い。

混合ガウス分布を使用する場合には、位置ベクトルの配置

は、以下の（１１）式で表されるような混合ガウス分布からランダムに選ばれたN個の点であると見なす。

（１１）式において、Jは特徴写像の写像先の距離空間の次元を表し、Lはガウス分布の成分数を表し、

は各ガウス分布成分のそれぞれ平均値ベクトル、共分散行列を表し、Θ_l ^-1 は共分散行列Θ_l の逆行列を表し、|Θ_l|は共分散行列Θ_lの行列式を表し、λ_l は各ガウス分布成分の重みを表し、以下の（１２）式を満たす。

各ガウス分布成分が一つのクラスタを表す。このとき、位置ベクトルの配置

に関する対数尤度関数

は以下の（１３）式で表される。

この対数尤度関数

をパラメタ

について最適化することで、目的のクラスタ数およびクラスタ位置とサイズとが計算される。最適化手法としては、例えば、Greedy-EMアルゴリズム（J. Verbeek, N. Vlassis, and B. Krose, Neural Computation Vol.15, No.2, pages 469-485, 2003.）が使用できる。位置ベクトルがどのクラスタに属するかは、各ガウス分布成分に関するマハラノビス距離を計算し、もっともマハラノビス距離が小さくなるガウス成分として決めることができる。第ガウス分布成分で表されるクラスタから位置ベクトル

までのマハラノビス距離は以下の（１４）式で計算される。

図５（ａ）に、混合ガウス分布によるクラスタリング結果の例を表す。楕円は同一のクラスタに属する点を囲んでいる。

以上のようにして、クラスタリング処理部Ｂ７では、順序関係保存特徴写像構成処理部Ｂ６で計算された特徴写像による部分画像全体の像である位置ベクトル

の配置に関するクラスタリングを行い、クラスタごとにどの位置ベクトルがそのクラスタに属するかを表すリストを構成することができる。

画像領域分割処理部Ｂ８では、クラスタリング処理部Ｂ７により構成されたリストに基づいて、各クラスタについて、そのクラスタに属する位置ベクトルの特徴写像による逆写像の像である部分画像を切り出す際に使用した窓の領域を計算する。このようにして計算された窓領域の集合和を計算し、そのクラスタに対応する領域とする。このようにして、各クラスタに属する領域を計算することができる。このとき、窓領域に重なりがある場合には、以下の領域演算処理部Ｂ９により窓領域の重なりを領域演算し、その重なり領域を再分類する。

領域演算処理部Ｂ９は、窓領域に重なりがある場合に、重なり領域を計算するための処理を行う部分である。一般的には、窓の重なりがある領域では、まず、重なっている窓がどの分割領域に属すると判定されたかを、その窓領域の大きさで重み付けして投票し、もっとも多く投票された分割領域に属すると判定する方法をとる。このような投票において、同じ値となる分割領域が複数現れた場合には、それらの中から一様かつランダムに一つと選択するか、または、判定不可能領域という特別な分割領域を一つ追加し、その分割領域に属するものとする。尚、重なりがない窓領域を使用する場合には、領域演算処理部Ｂ９による処理は省略することができる。

領域分割画像出力処理部Ｂ１０では、画像領域分割処理部Ｂ８によるクラスタリング結果又は領域演算処理部Ｂ９による再分類結果に基づいて、各クラスタに属する領域を統合し、対象画像の領域分割結果の表示データを生成して出力する。このようにして、画像分割処理システムの表示装置１０１には、画像データを領域分割した結果が図５（ｂ）のようにして表示されることとなる。

以上、本発明の画像分割処理システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態又は他の実施形態にかかる発明の構成及び機能に様々な変更・改良を加えることが可能である。

本発明の画像分割処理システムは、医療システム、監視システム、検査システムおよび高度道路交通システム（Intelligent Transportation Systems；ITS）などにおいて、計測された画像を領域分割することにより画像中の物体を検出及び認識するシステムとして利用可能である。

本発明の一実施形態として構築される画像分割処理システムの内部構成を概略的に示す機能ブロック図である。図１に示す画像分割処理システムのプログラムメモリに含まれる各種の処理プログラムを概略的に示す機能ブロック図である。図１に示す画像分割処理システムの部分画像構成処理部により画像データに対する窓を設定する方法を示す図である。図１に示す画像分割処理システムの順序関係保存特徴写像構成処理部において特徴写像が構成される様子を示す図である。（ａ）は混合ガウス分布によるクラスタリング結果の例を表す図である。（ｂ）は画像データを領域分割した結果を示す図である。

符号の説明

１００記録装置
１０１表示装置
１０２キーボード
１０３ポインティングデバイス
１０４中央処理装置
１０５プログラムメモリ
１０６データメモリ
１１０画像データ

Claims

画像の分割対象領域に対して、該分割対象領域全体を覆うようにして所定形状の窓領域を複数個設定する窓領域設定手段と、
前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する類似度計算手段と、
前記類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する順序関係決定手段と、
前記各部分画像組の間で決定された順序関係が保存されるようにして、前記各部分画像を距離空間上に写像する写像手段と、
前記距離空間上に写像された点を距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、
各クラスタに属する点に対応する部分画像を前記写像の逆写像によって求め、これらの部分画像を１つの領域として統合する領域分割手段と、を含むことを特徴とする画像分割処理システム。
前記写像手段は、前記部分画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする請求項１に記載の画像分割処理システム。
前記写像手段は、前記部分画像の組の間で決定された順序関係に基づいて各部分画像組に自然数による番号付けを行うとともに、前記部分画像集合から前記距離空間に写像される点の集合から、互いに異なる２点からなる組を生成し、それらの組に対して２点間の距離により順序関係を決定し、この順序関係に従ってそれらの組に自然数による番号付けを行い、前記部分画像の組に付けられた番号とそれらが前記距離空間に写像される点の組に付けられた番号との差の自乗を全ての前記部分画像の組について足し合わせた値が最小化されるようにして、写像を行うことを特徴とする請求項１に記載の画像分割処理システム。
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数の汎関数として定義されていることを特徴とする請求項１〜３のいずれか１項に記載の画像分割処理システム。
各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする請求項１〜３のいずれか１項に記載の画像分割処理システム。
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする請求項１〜３のいずれか１項に記載の画像分割処理システム。
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする請求項４に記載の画像分割処理システム。
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする請求項４に記載の画像分割処理システム。
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数に関する汎関数として定義されていることを特徴とする請求項４に記載の画像分割処理システム。
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする請求項４に記載の画像分割処理システム。
各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする請求項４に記載の画像分割処理システム。
前記クラスタリング手段は、全クラスタ数を予め指定せずにクラスタリング行うことを特徴とする請求項１〜１１のいずれか１項に記載の画像分割処理システム。
前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする請求項１２に記載の画像分割処理システム。
前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする請求項１３に記載の画像分割処理システム。
前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする請求項１２に記載の画像分割処理システム。
前記クラスタリング手段は、全クラスタ数を予め指定して行うことを特徴とする請求項１〜１１のいずれか１項に記載の画像分割処理システム。
前記クラスタリング手段は、K-最近接法を実行するクラスタリングを行うことを特徴とする請求項１６に記載の画像分割処理システム。
前記クラスタリング手段は、K-平均法を実行するクラスタリングを行うことを特徴とする請求項１６に記載の画像分割処理システム。