JP5487212B2 - 画像処理方法、コンピュータシステム及びコンピュータプログラム - Google Patents

Description

コンピュータを利用して画像に関連する演算を的確かつ正確に実行するに当たっての問題は、視覚世界で発生している物理的現象を真に反映し、表現するアルゴリズムの開発である。例えば、画像内の影と有形物のエッジとを正確かつ的確に区別するコンピュータの能力は、科学者にとって解決されない問題であってきた。対象物エッジ検出のための、初期の通常アプローチには画面内の明度境界解析を含んでいた。その解析では、物質（マテリアル）対象物によって生じた境界はシャープであり、一方で陰影によって生じた境界は陰影の半影効果によってソフト又は段階的であることを仮定している。このアプローチは、コンピュータによって正確に実行することのできるアルゴリズムによって実行可能であるが、その結果はしばしば正確なものではない。現実世界では、陰影がシャープな境界を形成したり、逆に物質対象物エッジがソフトな境界を形成する多くの事例がある。したがって従来の陰影と対象物エッジ認識技術を採用する場合には、陰影認識においてフォールスポジティブ及びフォールスネガティブの可能性が大きい。つまり、例えば陰影に似た物質（マテリアル）エッジがそれによってコンピュータで陰影として誤って認識されたり、シャープな陰影境界が対象物境界として誤って解釈されたりするのである。したがって画像に関連した、例えば画像の物質（マテリアル）及び照明特性を認識することに関連したコンピュータの作用において使用可能である、正確で適切な技術の開発に対し永続的なニーズが存在する。

ＵＳ ２００７／０１７６９４０ ＵＳ ２００７／０２４２８７８ ＵＳ ２００６／０１７７１４９

Randen, T. [Trygve], Husoy, J.H. [John Hakon], "Filtering for Texture Classification: A Comparative Study", PAMI (21), No. 4, April 1999, pp. 291-310. "Are Filter Banks Necessary?", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June 2003, volume 2, pages 691-698. P. Felzenszwalb and D. Huttenlocher, "Distance Transforms of Sampled Functions", Cornell Computing and Information Science Technical Report TR2004-1963, September 2004. Abdi, H. (2007), "Z-scores", in N.J. Salkind (Ed.), Encyclopedia of Measurement and Statistics, Thousand Oaks, CA: Sage. Peter J. Rousseeuw, "Least Median of Squares Regression," Journal of the American Statistical Association, Vol 79, No. 388 (Dec., 1984), pp. 871-880. Zvi Galil and Giuseppe F. Italiano. "Data structures and algorithms for disjoint set union problems", ACM Computing Surveys, Volume 23, Issue 3 (September 1991), pages 319-344. M. A. Fischler, R. C. Bolles. "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. Of the ACM, Vol 24, pp 381-395, 1981.

本発明は、画像の照明及び物質様相（アスペクト）を正確且つ適切に識別する、画像に関連する空間スペクトル情報を採用する画像処理技術を備えた方法とシステムを提供する。

本発明の実施形態では、画像を処理するために自動化されコンピュータ化された方法がもたらされる。本発明の特徴構成にしたがい、当該方法は、多帯域色画像を供給するステップと、前記画像のための空間スペクトル演算子で表される空間スペクトル情報を生成するステップと、ここで前記空間スペクトル情報は、カラーバンドに関して前記画像の連続したピクセル間のスペクトル関係により与えられ、これらスペクトル関係は前記画像の物質特性及び照明特性と、ピクセルスペクトル関係の空間エクステント（範囲）に関連し、前記空間スペクトル情報の関数として制約条件を規定するステップと、ここで前記制約条件は、前記空間スペクトル演算子の幾つかに加えられて行列式において表された制約関係の表現式であり、及び、それぞれが前記画像に対応していて、前記画像の物質成分を表示する物質画像及び前記画像の照明成分を表示する照明画像を識別するために、前記行列式の最適化した解を有する画像分離操作で前記制約条件を使用するステップで構成される。

本発明のさらに別の実施形態では、上記方法を実行するように構成された（例えばプログラムされた）１つ以上のコンピュータを備えたコンピュータシステムがもたらされる。本発明の他の実施形態にしたがい、上記実施形態を実行する１つ又は複数のコンピュータを制御操作できる処理ステップを実行可能なコンピュータをそこに格納したコンピュータ読み取り可能なメディアがもたらされる。当該自動化されコンピュータ化された方法は、デジタルコンピュータ、アナログコンピュータ、光センサ、状態機械、シーケンサ、又は本発明の方法ステップを実行するように設計され又はプログラムされ得るいかなる装置又は設備によっても実行可能である。

画像に関連した演算を実行するように配置され且つ構成されたコンピュータシステムのブロック図である。 図１のコンピュータシステム内に保存された画像に対するｎ×ｍピクセル配列の図である。 本発明の特徴構成にしたがい、ヒストグラムを生じるために用いられる、図２ａの画像ファイルの左上角から形成された１１×１１ピクセル配列の図である。 図２ｂの１１×１１ピクセル配列から生じたヒストグラムの図である。 本発明の特徴構成にしたがい、図１のコンピュータシステム内に組み込まれた画像分離システム構造の機能上のブロック図である。 本発明の特徴構成である画像分離システム構造の組み込みについて用いる、図式的な利用者インターフェースの図である。 本発明の特徴構成にしたがい、図２ａの画像ファイルにおいてＣ型トークン領域を識別するためのフローチャートである。 Ｃ型トークンの識別に於いて一例として用いられた原画像の図である。 図５ｂの画像内におけるＣ型トークン領域の図である。 本発明の特徴構成にしたがい、図５ｃのＣ型トークンから生じたＢ型トークンの図である。 本発明の特徴構成にしたがい、図５ａのフローチャートのルーチンによって識別されたＣ型トークンをテストするルーチン用フローチャートである。 本発明の特徴構成にしたがい、任意境界除去技術によってＢ型トークンを構築するためのフローチャートである。 本発明の特徴構成にしたがい、トークンマップ情報を含む、トークングラフを創り出すためのフローチャートである。 本発明の特徴構成にしたがい、隣接する平面トークンマージン技術によるＢ型トークンを構築するためのフローチャートである。 本発明の特徴構成にしたがい、局所的トークン解析技術によってＣ型トークンを生成するためのフローチャートである。 本発明の特徴構成にしたがい、図１０の局所的トークン解析技術によって生じたＣ型トークンからＢ型トークンを生成するためのフローチャート。 各物質エッジ、物質の一部分を覆う陰影を有する単一物質、及び一定照明下の単一物質の輝度プロファイル、その一次微分及び二次微分プロファイルの図である。 ＬｏＧフィルタマスクの一例の図である。 図２ａのｎ×ｍピクセル配列画像ファイル内の、７×７ピクセルパッチの照明の図である。 本発明の特徴構成にしたがい、図２ａのｎ×ｍピクセル配列画像ファイル内の、均一物質反射率の領域を識別するためのフローチャートである。 本発明の特徴構成にしたがい、図１３のルーチンの実行結果を異なるパラメータと組み合わせるためのフローチャートである。 本発明の特徴構成にしたがい、［Ａ］［ｘ］＝［ｂ］行列関係式を表現する図である。 本発明の特徴構成にしたがい、図５ｄの、二つのＢ型トークン間の境界を表現する図である。 本発明の特徴構成にしたがい、図３ｄの、二つのＢ型トークン間の境界を表現する別の図である。 本発明の特徴構成にしたがい、図３ｄの、二つのＢ型トークン間の境界を表現するさらに別の図である。 図３の画像分離システム構造において用いられるサービスプロバイダ要素用の機能上のブロック図である。 図３の画像分離システム構造のような画像変換方法を試験するテスト・ベッド用ブロック図である。

次に図面を参照すると、最初に図１を参照すると、画像に関連した演算を実行するように配置され且つ構成されたコンピュータシステム１０のブロック図を示している。ＣＰＵ１２を、例えばデジタルカメラ１４のような装置に、例えばＵＳＢポートを介して接続する。デジタルカメラ１４は、カメラ１４で局所的に保存された画像をＣＰＵ１２へダウンロードするように働く。ＣＰＵ１２はメモリ１６内にダウンロードされた画像を画像ファイル１８として保存する。画像ファイル１８には、モニタ２０に表示するため又はプリンタ２２で印刷するためにＣＰＵ１２がアクセスすることができる。

一方でＣＰＵ１２は、例えばデジタルカメラ１４又はロボットのような装置内に埋め込まれたマイクロプロセッサとして組み込むことが可能である。ＣＰＵ１２には、例えばユーザーによるロボット操作又は対話式操作について、画像に関連した同時操作用の同時操作システムも装備することが可能である。

図２ａに示したように、各画像ファイル１８はｎ×ｍピクセル配列を有している。各ピクセルであるｐは、全画像の個別部分に対応する画素である。全ピクセルが一緒になって画像ファイル１８によって表現される画像を定義する。各ピクセルは、例えば画素の赤、緑、及び、青色成分（ＲＧＢ）の色バンドの一セットに対応するデジタル値を有している。本発明は、各バンドが一片の電場スペクトルに対応するところのいかなる多帯域画像にも使用可能である。ピクセル配列は、ピクセルｐ（１，１）で始まりピクセルｐ（ｎ，ｍ）で終わるｎ行ｍ列を各々有している。画像を表示又は印刷する際、その場合には恐らく一般的に知られているような画像ファイル１８におけるピクセルのデジタル値の関数として、ＣＰＵ１２は対応する画像ファイル１８をメモリ１６から取り出し、モニタ２０又はプリンタ２２を操作する。

本発明の特徴構成にしたがい、画像処理においてＣＰＵ１２は、例えば画像ファイル１８に保存した画像ピクセルのＲＧＢ値などの情報を解析及び処理して、例えば固有画像（intrinsic image）を供給するために画像ファイル１８の画像において描かれたシーンの照明及び物質アスペクトの分離等様々な目的を達成する。当該固有画像は、コンピュータ・ビジョンのようなアプリケーションにおいてより良い処理をするための、原画像に対応する物質（マテリアル）画像及び／又は照明画像を有することができる。本発明の基本的発見の基礎を成す基本観測は、物質と照明の二つの要素を含んだ一つの画像である。画像内の全ての変化はこれら要素のうち一つ又は別の要素によって生じる。空間スペクトル情報とは、画像ファイル１８において描かれた画像の、連続するピクセルに関連した情報であり、例えばピクセルのＲＧＢ値のようなカラーバンドに関して連続したピクセル間のスペクトル関係、及び、例えば画像内に描かれた単一物質又は当該画像に変化をもたらす照明束（illumination flux）のような画像の特性に関連したピクセルスペクトル特性の空間エクステント（範囲）である。

コンピュータシステム１０によって保存された画像ファイル１８の表示で人の目が見ることのできるものは、例えばデジタルカメラ１４によって撮影されたシーン内の物質対象物の鏡面反射及び本体反射特性と、当該撮影がされた時に存在した照明束との間の相互作用によって生じたピクセルカラー値である。照明束は周辺光と入射光とを含んでいる。入射光は陰影を生じる光であり、陰影周囲の外側で見られる。周辺光は陰影の明るい側及び暗い側の両方に存在する光であるが、暗い領域内でより感じ取られる。本発明の特徴構成にしたがい、コンピュータシステム１０は、例えば対象物エッジのような画像の物質アスペクトと、照明束において入射光と周辺光の相互作用で生じたスペクトルシフトの識別を経た照明束とを区別するように操作することが可能である。

一つの画像内において物質と照明のうち一つが分かっている場合には、他者は直ぐに推測可能である。入射光と照明光のスペクトルは互いに異なり得る。したがって、スペクトルシフトは陰影、つまり、入射光強度の低下によって生じるのである。本発明の特徴構成にしたがい、スペクトルシフト現象が空間スペクトル情報で捉えられる。当該空間スペクトル情報はスペクトル比を含んでおり、スペクトル比とは一つの画像内に描かれたシーンの二つの領域間における、異なる物質（対象物エッジ）、照明変化（照明境界）によって又はその両者によって生じるのかもしれない色又は輝度の違いに基いている。本発明の好ましい実施形態では、当該スペクトル比は暗／明−暗に等しく、ここで暗とは、画像の陰影領域内の、照明境界における或る点でのカラーバンド値（例えばＲＧＢカラー値）であり、明とは、同一照明境界の照明側の或る点でのカラーバンド値である。

照明境界が入射光と周辺光との相互作用によって生じるので、照明変化に関係する画像全体に渡るスペクトル比は、境界の明るい側の色又は物質対象物特性に関わらず一貫しておよそ等しいはずである。照明境界に対応するスペクトル比は、画像の特性イルミナント比と呼ばれ得る。

本発明のさらなる特徴構成にしたがい、空間スペクトル演算子を生じて、画像ファイル１８に描かれたシーンの照明と物質様相の分離処理を容易にする。空間スペクトル演算子は、一画像の物質及び照明様相の処理において有用な空間スペクトル情報を含んでいる画像の表現又は特性をなす。空間スペクトル演算子は、ソルバー（解析プログラム、solver）への入力に対して、演算子間の制約条件空間スペクトル関係を規定する制約条件に準拠する。当該ソルバーは、画像ファイル１８に保存された原画像から誘導した物質画像及び／又は照明画像のような固有画像を生じるために最適化した解を得るために、空間スペクトル演算子間の制約条件関係の関数として、数学的処理エンジン（engine）を含んでいる。

空間スペクトル演算子は、例えばトークン、トークンマップ情報、ログ−色度表現値、Ｘ−ジャンクション（Ｘ−接合、X-junction）、ＢＩＤＲモデル表現（画像）、境界表現（画像）、及びテクストンヒストグラム（texton histogram）に基いたピクセル表現を含む。

本発明の特徴構成にしたがうと、トークンは一画像の結合した一領域であって、当該領域のピクセルは、物質及び照明の識別のように画像の特徴及び特性の識別に関連しながら互いに結び付けられている。トークンの使用は、画像の物質／照明／幾何学的特性の、特定の組み合わせが単一ピクセルを越えて広がり、及び、したがってピクセルレベルでここに記載した画像処理が実施され得る間にトークンは画像特性のより効率的な処理を促進するという事実が認められる。トークンのピクセルは、例えばピクセル間のカラー値の近い相関関係のような同種ファクタ（homogeneous factors）、又は、例えば通常テクスチャ（模様）と呼ばれるＲＧＢ空間のような色空間内において幾何学的に関連した異なるカラー値のような異質ファクタ（nonhomogeneous factors）の点から関連付けることが可能である。本発明の典型的な実施形態は、画像ファイルのより良い処理を行うために、様々な型の同種トークン（homogeneous tokens）又は異種トークン（nonhomogeneous tokens）を識別するための方法とシステムとをもたらす。本発明は、画像ファイル１８内に描かれた画像の隣接するピクセルに関連した空間スペクトル情報を用いて、トークン領域を識別する。

本発明の一つの典型的な実施形態にしたがい、同種トークンを各々Ａ型トークン、Ｂ型トークン、又はＣ型トークンのいずれかに分類する。Ａ型トークンとは、シーン中の単一物質を含んでいる画像の最大可能領域を表す複数の隣り合ったピクセルを有する、結合された画像領域である。Ｂ型トークンとは、シーン中の単一物質を含んでいる画像の一領域を表す複数の隣り合ったピクセルを有する、結合された画像領域であるが、必ずしもその物質に対応する最大領域ではない。Ｃ型トークンとは、トークンの隣り合ったピクセル間の類似の画像特性、ここで類似とは画像を記録するために用いられた結像システムに対するノイズモデルについて規定されている、例えば類似の色及び輝度の、結合された画像領域を含んでいる。

線形トークンとは画像の結合された領域を含む同種トークンであって、当該領域の隣り合うピクセルは、ＲＧＢスペースのシリンダ内で（陰影内の）暗端から明端（明るい端）へ右上がり斜線に沿って減少する、異なるカラー測定値を有する。色変化が画像内に描かれたシーンの単一物質に渡る陰影を形成する照明変化による場合には（即ち、照明場において入射光又は直接光と周辺光との相互作用によって入射光強度が低下する場合には）、本発明の特徴構成にしたがいシリンダ形状が二光源二色性反射モデル（ＢＩＤＲモデル）によって予想される。

線形トークンを表現して識別して用いるために、ＢＩＤＲモデルは次のように表す。
Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}＝ｃ_ｂ（λ）ｌ_ｄ（λ）γ_ｂ＋Ｍ_ａ（λ）ｃ_ｂ（λ）
ここで、Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}は表面の点（ｘ，ｙ，ｚ）において波長λに対するθ、φ方向への輝度、ｃ_ｂ（λ）は波長λに対する表面の幾何学的形状非依存性本体反射率、ｌ_ｄ（λ）は波長λに対する入射光源明度、γ_ｂは陰影係数ｓ_{ｘ，ｙ，ｚ}と幾何学的係数ｍ_ｂ（θ_ｉ）との積、及び、Ｍ_ａ（λ）は入射光源明度を除く、周辺光源明度と、半球に渡る幾何学的本体反射率との積分である。ＢＩＤＲモデルに係る、より詳細な情報は、２００６年１月２７日に出願、２００７年８月２日公開の、「画像処理用二光源二色性反射モデル」という名称の特許文献１を参照されたい。

トークンマップ情報は、一画像内の複数トークンの互いに対する位置を表す。当該マップ情報を、ソルバーへの入力用に、隣り合うトークンを識別してトークン間の制約条件空間スペクトル関係に関連したトークン隣接関係の解析を実行するために用いる。

ログ−色度表現値（色度対数表現値）は、画像のピクセルに対し照明不変値を供給する。画像ピクセルのカラーバンド値の対数値をログ−カラー空間グラフにプロットする。次に対数値を、ＢＩＤＲモデルの関数として適合されたログ−色度投影面へ投影する。当該色度平面値は、各ピクセルのカラーバンド値（例えばＲＧＢ値）の代わりに使う。ログ色度表現値に係るより詳細な情報については、２００６年４月１３日に「ログカラー空間を用いた照明と反射を分離するための方法とシステム」という題で出願し、２００７年１０月１８日に公開された特許文献２を参照されたい。

Ｘ−ジャンクションとは、物質（マテリアル）エッジと照明境界とが互いに交わるところの画像の領域である。Ｘ−ジャンクションは、画像の物質及び照明様相を精度高く解析するためには最適な場所である。

境界画像とは、例えば隣り合うＢ型トークンによって形成された境界の各側におけるピクセル配列である。当該配列は、当該境界を平滑表面上における物質境界（他の種類の境界、例えば、照明エッジ、深さ境界、又は照明及び物質の同時変化に対立するものとして）として分類するための境界解析を容易にするために用いられる。当該ピクセル画像は、境界を形成している各Ｂ型トークン内のピクセルのサンプルを供給するように構成される。サンプルのピクセルは空間スペクトル解析にかけられて、その結果を比較して、各境界が物質変化に対応しているかどうか決定する。

テクストンとは、テクスチャを含む画像領域に対する同種画像である。画像テクスチャは、ピクセル輝度における空間変化量の関数として規定される。画像テクスチャパターンは、しばしば画像表面の物理的又は反射特性の結果である。通常、画像テクスチャは空間的均一性に関連しており、典型的には、しばしばランダムな変化を伴った（例えば、ランダムな位置、オリエンテーション、又は色）、繰り返し構造体を含んでいる。画像テクスチャは、規則性、粗さ、コントラスト、及び、異方性のような特定の視覚的特性によってもしばしば特徴づけられる。画像テクスチャの一例は、空間的には同質のようだが、特定の繰り返しパターンを形成する色強度の変化を含むように見える、シマウマの皮膚表面の画像である。幾つかの画像テクスチャは、ストライプ又はスポットのような幾何学的特性によって規定することが可能である。テクストンベースの演算子は、テクスチャ付きの物質によって生じた異なる反射のパターンを、画像のテクスチャ付き領域のスペクトル及び空間特性を捕らえる同種画像に変換する。

制約条件は、例えばアンカー制約条件、同一照明制約条件、平滑照明制約条件、Ｂ型トークン制約条件、線形トークン制約条件、ＢＩＤＲ実施制約条件、同一テクストンヒストグラム制約条件、ログ色度類似制約条件、Ｘジャンクション制約条件、及び境界画像制約条件を含んでいる。各制約条件は、各制約条件で用いられる空間スペクトル演算子を定義する制約条件生成プログラムソフトウェアモジュールとして構成され、制約条件演算子に加えられた制約関係の表現式を与える。

アンカー制約条件は、画像内の最も明るい／最も大きな多数のＣ型トークンを利用する。当該制約関係は、選択した最も明るい／最も大きなＣ型トークンでできた物質が画像内で観察された色／輝度（brightness）に対する絶対値となるように制約されることである。当該制約条件は、相対的輝度制限を回避するために、絶対輝度で、画像に対し物質マップを投錨する。

同一照明制約条件は、一画像内で識別したＣ型トークンとＢ型トークン、並びにトークンマップ情報を利用する。当該制約関係は、隣り合うＣ型トークンが同一のＢ型トークンの部分でなければ、トークンマップ情報によって示されたように、隣り合うＣ型トークンは同一照明の状態にあることである。用語「照明」に関連した用語「同一」というのは、画像を記録するのに用いられる撮像システムに対するノイズモデルについての平均値を表すために用いられている。これは、同一Ｂ型トークンの部分ではない隣り合うＣ型トークン間のいかなる差も、物質変化となって現れるように強制するのである。

平滑照明制約条件は、同一照明制約条件と類似である。しかしながら、同一照明制約条件でのように、同一照明を有するべき隣り合うＣ型トークンの全ピクセルを制約するのではなく、平滑照明制約条件では、当該制約条件は、隣り合うＣ型トークン間の共用された境界付近にあるピクセルの平均照明（明度）に基いているのである。これは、（上記で規定したものと同様の）一つのトークン全体を渡る区分的コントラストとは対照的に、照明場を幾分平滑になるように制約するのである。

Ｂ型トークン制約条件は、Ｃ型トークンならびにＢ型トークンも使用する。しかしながら、制約関係は、同一のＢ型トークンの一部である全Ｃ型トークンが同一物質からなるように制約されるということである。この制約条件は、Ｂ型トークンの定義、つまり、シーン内の一物質を含んでいる画像領域を表現する連続したピクセルを含む結合した画像領域を、最大領域が当該物質に一致することを必ずしも必要としないで、強制するのである。つまり、同一のＢ型トークン内に在る全Ｃ型トークンは、必ずしも同一の照明でない、同一物質の、Ｂ型トークンに課された定義によるのである。Ｃ型トークンはしたがって、照明変化によって生じた外見上の観察差に一致するように制約されるのである。

この結果、Ｂ型トークン制約条件は、上記したように照明変化とは対照的な、観察差を物質変化に一致するように制約する同一及び平滑照明制約条件と相補的である。このことは、同一及び平滑照明制約条件の各々において、隣り合うがＢ型トークンの一部ではないＣ型トークンが、同一の照明に制約されるという事実によるのである。これらＣ型トークンは異なる物質を含んでいる筈である、というのも、制約条件によってそれらは同一のＢ型トークン内に存在せず、したがって当該制約条件によって強制されたＢ型トークンの規定によって単一物質を含まないからであり、その結果、照明は一定である筈であり、且つ、いかなる観察差も物質変化に起因し得るものと考慮される。

まとめると、本発明の特徴構成にしたがい、Ｃ型及びＢ型トークン空間スペクトル演算子が規定されて、照明と物質の分離を可能にする画像の特徴をもたらす。Ｃ型トークンは各々、画像ファイル１８に記録され保存されたのと類似の画像特性、例えば類似の色を有する結合した画像領域を含む。よって、隣り合う複数のＣ型トークンは、画像内の変化のある形態を示すか、さもなければ、同一のＣ型トークンを形成するであろう。Ｂ型トークンは単一物質を含む。同一／平滑照明制約条件及びＢ型トークン制約条件の相補的制約条件は、物質変化又は照明変化のいずれかを示すトークン間の関係を強制する。

隣り合うＣ型トークンが同一のＢ型トークン内に存在する場合には、Ｂ型トークン制約条件に従い、それらの差は、一般的なＢ型トークンの同一物質特性のために照明変化に対応する筈である。隣り合うＣ型トークンが同一のＢ型トークン内に存在しない場合には、同一／平滑照明制約条件に従い、それらの差はそれゆえ物質変化に対応する筈である、というのも、それらは両者ともに一般的な単一物質Ｂ型トークンでは規定されないからである。

線形トークン制約条件は、Ｃ型トークンと線形トークンを用いる。制約関係は、線形トークンによって間隔をあけられた二つのＣ型トークン間の差が、画像の固有の照明スペクトル比と概ね等しいという関係である。規定されたように、線形トークンは色空間を通る、右上がり斜線に沿ったシリンダ形状（円柱形状）をたどっている。ＢＩＤＲモデルは、右上がりの斜線が画像の固有の照明スペクトル比に等しいことを予測している。したがって、二つのＣ型トークン間の色差、つまり線形トークンの各暗端及び明端の差は、画像の、各固有の照明スペクトル比の値を反映している筈である。

ＢＩＤＲ強制制約条件は、Ｃ型トークン、及び、ログ色度投影面に対する法線ベクトルを規定したＢＩＤＲモデルを用いる。当該制約関係は、画像の局所パッチ内における全Ｃ型トークンに対する照明が、ログ−カラー空間内における複数の平行線の組を形成する関係であって、当該平行線の配向は法線ベクトルを形成すたＢＩＤＲモデルによって定義される、関係である。当該制約条件はしたがって、画像内に存在する照明場を照明に対するＢＩＤＲモデル予測にきっちりと当てはまるように強制する。

よって各線形トークン制約条件とＢＩＤＲ強制制約条件は、ＢＩＤＲモデル予測を、画像の照明と物質様相を分離するための基準として用いる。ＢＩＤＲモデルは、色変化が画像内に描かれたシーンの単一物質に渡る影を形成する照明の変化（つまり、照明場における入射又は直接照明と周辺照明との間の相互作用としての入射照明の強度減少）による場合には、画像内の色変化を予測する。ＢＩＤＲモデルの色変化予測は、Ｃ型トークン間の全色バンド変化量を、照明場の入射照明と周辺照明成分間で発生するスペクトル変化（variations）間関係の関数として演算することにより画像内に生じる照明場効果へ厳密に制約する。したがってＢＩＤＲモデルに基いた制約条件は、全てのカラーバンド変化を一つの積分制約関係へ結びつける。

同様のテクストンヒストグラム制約条件は、Ｃ型トークンと、画像内のテクスチャ領域を識別するテクストンヒストグラム演算子とを使用する。テクストン解析が用いられるが、例えばＲＧＢカラーバンド値のような各画像ファイル１８の保存されたカラーバンド表現由来の画像の各ピクセル（又は、テクスチャを含むように識別された画像のこれら領域のピクセル）は二つのバンド表現に変換され、当該二つのバンドはテクストンラベルとテクストンヒストグラムラベルとを有している。当該二つのバンド表現は、次にテクスチャトークンを以下に記載するように識別するために用いられる。同一テクスチャトークン内の全Ｃ型トークンが同一平均物質で作られるという制約条件が課され得る。

ログ色度類似制約条件は、Ｃ型トークンと、ログ色度表現値とを使用する。当該制約関係は、類似のログ色度表現値を備えたピクセルを有するこれらＣ型トークンが、同一カラー値へ制約されるが、その際、観測差は照明場内の変化量に起因する。

Ｘ−ジャンクション制約条件はＣ型トークンとＸ−ジャンクション演算子とを使用する。上で述べたように、Ｘ−ジャンクションとは、物質エッジと照明境界とが互いに交わるところの画像の領域である。Ｘ−ジャンクションは、典型的には四つのＣ型トークンと、物質エッジを形成する二組の同一物質Ｃ型トークンによって識別されるが、その際、各同一物質組は、各同一物質をＣ型トークンの日向と陰影の組に分割する照明境界を含有している。制約条件関係は以下のとおり。１）Ｂ型トークン制約条件が、Ｘ−ジャンクションを形成するＣ型トークンの各同一物質組（間に照明境界を備えているもの）間に課される。２）同一照明制約条件が、Ｘ−ジャンクションの物質エッジを形成するＣ型トークンの各組間に課される。Ｘ−ジャンクションと制約トークンの関係に係るより詳細な記載については、２００６年１月２７日に出願され、２００６年８月１０日に公開された「画像における照明束を識別するための方法とシステム」という題の特許文献３を参照。

境界画像制約条件を標準比率制約条件で規定する。物質変化を表す場合に境界画像において実行される当該解析は、境界によって規定した二つの隣り合う領域間の、例えば隣り合うＢ型トークン間のカラー比率の推定値を、当該領域に渡って照明が変化する場合でさえももたらす。当該制約条件は、二つの隣り合う領域のカラー比率がＸであると指定する。境界画像解析がＢ型トークンのレベルで実行されて、境界を物質変化によって生じたものとして分類し、次に、Ｃ型トークン成分のレベルまで広げられる。当該制約条件は、境界に沿った全ての隣り合うＣ型トークンの対、（境界各側の一つのＣ型トークン、及び各境界を形成しているＢ型トークン内に存在する全てのＣ型トークン）、が、境界画像解析によって示されたように、比率Ｘを満たす色を有していると指定する。

本発明の好ましい実施形態にしたがい、上記各制約条件は、各々三種類の制約条件、絶対的物質カラー制約条件、同一物質制約条件、及び、相対反射制約条件のうちの一つに分類され得る。前記絶対的物質制約条件は、画像の特定位置の物質を、特定の色となるように、例えばアンカー制約条件において実行されるように制約する。前記同一物質制約条件は、画像に関連する演算子（例えば、二つのピクセル又はＣ型トークン）を、同一物質で構成されるように制約する。同一物質型の制約条件は、例えば、Ｂ型、Ｘ−ジャンクション、ログ色度類似性、同一テクストンヒストグラム、及び線形トークン制約条件において実行され得る。前記相対反射制約条件は、画像に関連する演算子（例えば、二つのピクセル又はＣ型トークン）を、平滑照明及び同一照明制約条件によって規定されたように、且つ、Ｘ−ジャンクション及び境界画像制約条件によって規定され得る、類似の反射特性を有するように制約する。

本発明の特徴構成にしたがう、模範的なソルバーは、最適関数を実行するための、例えば［Ａ］［ｘ］＝［ｂ］ここで、選択した制約条件によって表示されるように、［Ａ］は演算子の定義、及び当該演算子への制約関係によって満足されるべき値の行列であり、［ｘ］は当該式が最適解を発見する変化量の行列であって、例えば画像成分のうち照明又は物質成分のうち一つが例えばピクセル又はトークンの行列であり、及び、［ｂ］は処理用に選択された画像内で観察された値の行列であって、例えば画像ファイル１８の各ピクセルのＲＧＢカラーバンドに対し記録された値の行列である、で表現される式への結果の最適化を実行するための、数学的処理エンジンを含んでいる。最適化式は、公知の最適化ソルバーの組、例えば、最小自乗ソルバー、又は前処理付き共役勾ソルバーのような公知のとつ最適化演算の組から選択された、数学的最適化関数において実行され得る。

本発明の別の特徴構成にしたがい、制約関係に加え、現実世界照明と物質現象の関数として、境界を含むファクタがソルバー演算に導入され、物質／照明値を、以下に記載するリミット１、リミットインフィニティソルバー（Ｌ_１，Ｌ_∞）、有界最小自乗ソルバー、又は、有界Ｌ_１，Ｌ_∞ソルバーのような物理的にもっともらしい範囲内に維持する。

図３は、本発明の特徴構成にしたがい、例えば図１のコンピュータシステム内に実装された、画像分離システム構造の機能ブロック図である。代替として、図３の機能ブロックは、図３のブロックの機能を実行するように定められた専用のハードウェア回路に実装することも可能である。（画像ファイル１８中に描かれたような）画像３２を前処理ブロック３３へ入力する。前処理ブロック３３は、画像３２内における色収差の補正、複数像を組み合わせて高増幅画像（high dynamic range image）を供給すること、画像のピクセルデータを線形化すること等、処理用に画像を最適化するような機能を実行することができる。前処理した画像は次に、以下に記述するように前処理画像内のＣ型トークンを識別するよう作用する、Ｃ型トークン化ブロック３５へ入力する。Ｃ型トークンは、本発明の模範的実施形態において用いられる制約条件の多くに共通しているため、入力画像３２に対するＣ型トークンの初期識別子は更なる処理を早める。

本発明の模範的実施形態では、ＣＰＵ１２がコードを実行して前処理ブロック３３とＣ型トークン化ブロック３５の両方を実施し、ならびに、（メモリ１６内に構成される）中央エージェント及びキャッシング構造として機能するサービスプロバイダ２４を実施し、本発明の教示にしたがう処理を目的として画像を取り扱う。前記サービスプロバイダ２４は、前処理した画像と、Ｃ型トークン化ブロック３５からの関連したＣ型トークン情報を受け入れて保存し、且つ、出現するであろう選択した制約条件に要求される画像に対する他のいかなる演算子をも生じるように定められた、（ＣＰＵ１２によって実行される）オペレータブロック２８に結合される。前記サービスプロバイダ２４は、大域的特徴抽出入力２９にも結合される。前記大域的特徴抽出入力２９は、例えば撮像時の光源の指示（太陽光、蛍光、白熱ランプ光）、日付、場所、領域情報のような、処理した画像に関連する情報と、例えば屋内、屋外、建物、緑の草を有する芝生、花盛りの葉をつけた木々等のような、画像本質に関連する情報と、及び、画像処理に関連する他のいかなるパラメータをもシステムに供給するために使用することが可能である。前記サービスプロバイダ２４は、関連した入力画像３２を大域的特性抽出入力２９に格納する。

制約条件ビルダー２６をサービスプロバイダ２４に結合する。前記制約条件ビルダー２６は、上記した様々な制約条件に対する制約条件生成ソフトウェアモジュールを保存する、（メモリ１６内に構成された）制約条件生成プログラムライブラリを用いる。前記サービスプロバイダ２４と制約条件ビルダー２６は、例えば［Ａ］［ｘ］＝［ｂ］行列式において、制約条件生成ソフトウェアモジュールのうち選択したものにしたがって、前処理した画像に関連する空間スペクトル演算子を定めるように作用する。

（ＣＰＵ１２によって実行される）ソルバー３０が前記制約条件ビルダー２６に結合され、上記したように、前処理画像から固有画像を生じるために用いる、［Ａ］［ｘ］＝［ｂ］行列式の最適解のために最適化操作を実行する。ソルバー３０は、特定の後処理操作を行うために（ＣＰＵ１２によって実行される）後処理ブロック３６にも結合される。前記後処理操作は、例えば単調性保守（monotonicity maintenance）を含み得る。単調性保守において、二つの大きな領域が入力画像３２内で線形移行を示す場合には、当該移行は算出した固有画像３４（intrinsic image）において線形移行を維持すべきである。後処理は、ソルバー３０によって残された穴を埋めるために用いられる照明伝播と、照明マップに基くホワイト平衡化、及び他のフィルタリング、平滑化処理も含み得る。前記後処理ブロック３６は固有画像３４を算出する。

次に図４を参照すると、本発明の画像分離システム構造特徴構成の模範的態様に関連して用いる、図式的ユーザーインターフェース（ＧＵＩ）を示している。図４のＧＵＩがサービスプロバイダ２４によってコンピュータシステム１０のモニタ２０上に表示されており、ユーザーが所望の画像分離操作を選択できるようになっている。ＧＵＩの左上の角には、画像をひらく、画像をトリミングする、パラメータを表示する、及び、分離するという選択項目表示を示している。ユーザーは所望の選択表示上にカーソルを動かしてクリックすることが可能である。画像をひらくという表示は、メモリ１６内に現在のところ保存している全ての画像ファイル１８を列挙して、ユーザーが処理用に画像を選択できるようにする。選択した画像は、モニタ２０の中央上に選択した画像を表示するように作用するサービスプロバイダ２４へ（前処理ブロックとＣ型トークン化ブロック３５を通って）入力３２（図３参照）される。

模範的な分離システムの作用によって選択した画像から誘導された物質画像は、ソルバー３０による画像分離処理の実行後に出力３４（図３参照）され、且つ、モニタ２０（図４）の右下側に表示される。誘導された照明画像はモニタ２０の右下側に表示される。

本発明の特徴構成にしたがうと、画像をトリミングするという選択項目は、ユーザーが選択した画像をトリミングし、それによって全画像の一部を処理できるようにする。パラメータを表示するという選択項目は、選択した画像ファイル１８に関連したパラメータを表示する。各画像ファイル１８のパラメータは、対応する画像ファイル１８に関連したパラメータデータファイルに保存することが可能であり、且つ、例えば大域的特徴抽出入力２９のような、関連した画像ファイル１８に描かれた画像の処理に関連するいかなるパラメーターをも含み得る。パラメータは、例えば空間スペクトル演算子の生成における、例えばＣＰＵ１２によるピクセル解析用の変数のような画像処理に関連したいかなるデータ、及び、屋内、屋外、建物、緑色の草を有する芝生、花盛りの葉を備えた木々等のような画像の本質に関連した情報のようなドメイン知識を含み得る。

選択項目表示の下には、ソルバー３０として使用可能な各最適化関数のリストと、制約条件ビルダー２６の制約条件生成プログラムライブラリに含まれた各制約条件生成プログラムの更なるリストとが在る。ユーザーは所望の数学的操作及び選択した画像に課されるべき一つ又はそれ以上の制約条件を選択する。処理されるべき画像、課されるべき制約条件ならびに実行されるべき数学的操作の選択後、ユーザーは分離するという表示をクリックして画像分離処理を開始することができる。

画像分離処理を開始次第、前記サービスプロバイダ２４は、選択した制約条件に対して制約条件生成ソフトウェアモジュールを検索して選択した制約条件によって使用される空間スペクトル演算子を識別する。サービスプロバイダ２４によってまだ保存されていないいかなる空間スペクトル演算子も画像を分離するためにオペレータブロック２８によって生成され、サービスプロバイダ２４はその結果を格納する。格納された結果は、選択された画像に対するいかなる次の操作においても、同一の関連したパラメータの組と共に再利用可能である。

例えば選択した制約条件が同一照明制約条件である場合には、サービスプロバイダ２４は、選択した画像に対しＣ型トークン、Ｂ型トークン、トークンマップを識別する。Ｃ型トークンはＣ型トークン化ブロック３５によって生成された。サービスプロバイダ２４はオペレータブロック２８を操作して同一照明制約条件によって規定された残りの演算子を生成する。

次に図５ａを参照すると、本発明の特徴構成にしたがって図２ａの画像ファイルでＣ型トークン領域を生成するためのフローチャートを示している。Ｃ型トークンは、図５ａのステップを用い、Ｃ型トークン化ブロック３５によって画像内において迅速に識別され得る。次にオペレータブロック２８は記載のとおりＣ型トークンを解析して処理し、選択した制約条件によって規定された時にＢ型トークンを組立てる。

図５ａのルーチンを実行する前に、ＣＰＵ１２は原画像ファイル１８に描かれた画像をフィルタ処理するように作用できる。前記フィルタは、例えばテクスチャ（のある）物質によって生じた異なる反射率のパターンを画像内におけるテクスチャ領域のスペクトル及び空間特性を捕らえる同種画像に変換するために、画像テクスチャフィルタを含んでもよい。一つの画像テクスチャ内においてＢ型トークンの識別は困難かもしれない。テクスチャ物質は、例えば定義特性として表面化する一つ以上の反射機能を有する物質を含んでいる。例えば、前記定義特性は、テクスチャが画像のテクスチャ領域内のいずれか選択したいかなるパッチ又は領域内においても特定の色分布を表示するような、テクスチャ内の色の１パターンであり得る。

多くの事例において、画像の大部分が均一に色づけされた対象物を含んでいるので、テクスチャフィルタは入力画像の部分にのみ必要としてもよい。したがって、テクスチャフィルタの適用前に、均一色の領域を識別してマスクを取ることが有用である。テクスチャフィルタは、次にテクスチャ物質が現れるであろう領域にのみ用いられる。テクスチャ領域を識別するためのアルゴリズムの一例を以下に示す。
１）Ｎ−バンドカラー値（例えばＲＧＢ）についてＣ型トークン化を実行し、トークン結果を領域マップＲ、ここで、当該領域マップ内の各ピクセルはそれの属するトークンのトークンＩＤを有している（図５ａの記載参照）マップに保存する。
２）領域マップＲについてメディアンフィルタ（例えば、各ピクセルＰ＿ｉｊがＰ＿ｉｊ周囲の７×７ボックスのメディアントークンＩＤによって置き換えられる）を実行する。結果をＲ−メディアンに保存する。
３）原画像についてフィルタを実行し、各カラーバンドに対し、各ピクセル周囲のボックス（例えば７×７）内におけるピクセルの標準偏差を計算する。結果をＳに入力する。
４）Ｓ内の各ピクセルに対し、各カラーバンドに対して算出した標準偏差を推定ノイズモデル値で割る。ノイズモデルの一例は、Ｓｎ＝Ａ^＊ｍａｘＶａｌｕｅ＋Ｂ^＊ｐｉｘｅｌＶａｌｕｅであり、ここで、ｍａｘＶａｌｕｅは最大可能なカラーバンド値であり、ｐｉｘｅｌＶａｌｕｅは特定のバンドの強度（intensity）であり、及び、ＡとＢは画像システムに対して実験的に決定された定数である（例えばＡ＝０．００１及びＢ＝０．０６が典型的である）。このステップは、標準偏差を各カラーバンドに対する規格化偏差に変換する。その結果をＳｎに保存する。
５）Ｓｎ内の各ピクセルに対し、全Ｎカラーバンドに対する規格化偏差の自乗を足し合わせ、その結果の平方根をとって、バンドの数Ｎで割って偏差値Ｄ＿ｉｊを生成する。結果として得られた偏差値Ｄ＿ｉｊを閾値（例えば１．０）と比較し、当該閾値よりも高い偏差値を有するピクセルに１を割り当てる、そうでなければピクセルに０を割り当てる。結果をテクスチャマスク画像Ｔに保存する。
６）Ｔ内の各ピクセルに対し、テクスチャマスク値がＴ＿ｉｊ＝１であり、且つ、メディアン領域マップＲ−ｍｅｄｉａｎ＿ｉｊ内に於いて与えられたＩＤを有するトークン領域のシードサイズが閾値よりも低い場合（例えば＜４）、ピクセルをテクスチャピクセルとして標識付ける。そうでなければ、同種ピクセルとして標識付ける。結果をテクスチャマスクＴｍａｓｋに保存する。

上記アルゴリズムの結果はマスク、つまり原画像ファイル１８のサイズ（ｎ，ｍ）の配列であるＴｍａｓｋである。値１を有する配列において同一のＴｍａｓｋロケーション（位置）を有するピクセル（ｐ（ｎ，ｍ））は、テクスチャ物質に対応する画像領域の一部として取り扱われ、且つ、値０を有する同一のＴｍａｓｋ配列位置を備えたピクセルは、均一色の物質に対応する画像領域の一部として取り扱われるべきである。

ＣＰＵ１２は、テクスチャを扱ういかなる公知の方法、例えばローズフィルタバンク（Laws filter bank）、又はウェーブレット（wavelets）（例えば、非特許文献１、２参照）等を実装するソフトウェアモジュールを実行することが可能である。

本発明の一つの模範的実施形態では、Ｃ型トークンが、画像の各ピクセルに対する（又は、好ましくは、テクスチャを含むものとして識別された領域内の画像のピクセルに対する）輝度ヒストグラム表現を用いることによって生じる。輝度ヒストグラムを用いることによって生じたＣ型トークンは次に、Ｂ型トークンを生じるために用いられる。画像出力テクスチャフィルタ内の各ピクセルに対する輝度ヒストグラム表現が以下のアルゴリズムを用いて生成可能である。
Ａ）Ｔｍａｓｋ配列（ｎ，ｍ）内の全メモリアドレス／インデックスを通りループする。
Ｂ）各メモリにおいて、Ｔｍａｓｋ配列のアドレス／インデックスが、各位置での値が１か０かを決定する。
Ｃ）Ｔｍａｓｋのメモリアドレス／インデックスがテクスチャを示す値１を有する場合には、
ａ．該当する画像ファイル１８ｐ（ｎ，ｍ）内の該当するメモリアドレス／インデックスを開き、そのメモリアドレス／インデックスにアクセスする；
ｂ．データを書き込むためにそのメモリアドレス／インデックスを開く；
ｃ．Ｎ８−ビン ヒストグラムをゼロに初期化し、各カラーバンドについては１つに初期化する；
ｄ．ｐの近傍内の各ピクセルｑ（例えば、１１×１１ピクセル配列）に対して：
ｑの各Ｎカラー値Ｃｎ（例えば、各カラー値が０−２５５の間で設定されるＲＧＢ）に対して；
（ｉ）Ｎカラー値が０と３１の間にある場合には、次にカラーＮの８−ビン ヒストグラムにおける最初のビンをインクリメントする；
（ｉｉ）Ｎカラー値が３２と６４の間にある場合には、次にカラーＮの８−ビン ヒストグラムにおける二番目のビンをインクリメントする；
（ｉｉｉ）Ｎカラー値が６５と９７の間にある場合には、次にカラーＮの８−ビン ヒストグラムにおける三番目のビンをインクリメントする；
（ｉｖ）Ｎカラー値が９８と１３０の間にある場合には、次にカラーＮの８−ビン ヒストグラムにおける四番目のビンをインクリメントする；
（ｖ）Ｎカラー値が１３１と１６３の間にある場合には、次にカラーＮの８−ビン ヒストグラムにおける五番目のビンをインクリメントする；
（ｖｉ）Ｎカラー値が１６４と１９６の間にある場合には、次にカラーＮの８−ビン ヒストグラムにおける六番目のビンをインクリメントする；
（ｖｉｉ）Ｎカラー値が１９７と２２９の間にある場合には、次にカラーＮの８−ビン ヒストグラムにおける七番目のビンをインクリメントする；
（ｖｉｉｉ）Ｎカラー値が２３０と２５５の間にある場合には、次にカラーＮの８−ビン ヒストグラムにおける八番目のビンをインクリメントする；
ｅ．Ｎ８−ビン ヒストグラム値を互いに繋いで、８×Ｎ要素ベクトルを有する一つの輝度（intensity）ヒストグラムにする；
ｆ．８×Ｎエレメントベクトルを、画像ファイル配列ｐ（ｎ，ｍ）内の対応するピクセルｐへ代入する；
ｇ．現在の又は次のメモリアドレス／インデックスが最後の／Ｔｍａｓｋ（ｎ，ｍ）でなければ、次にＴｍａｓｋ（ｎ，ｍ）配列内の次のメモリアドレス／インデックスに移ってステップＢを実行する；
ｈ．現在のアドレス／インデックスが最後の／Ｔｍａｓｋ（ｎ，ｍ）に等しい場合には、次にＴｍａｓｋ（ｎ，ｍ）配列を通るループをやめる。
Ｄ）メモリアドレス／インデックスが値０を有する場合には：
（ｉ）現在のアドレス／インデックスがＴｍａｓｋ（ｎ，ｍ）配列内の最後の要素でなければ、次にＴｍａｓｋ（ｎ，ｍ）配列内の次のアドレス／インデックスに移り、ステップＢを実行する；
（ｉｉ）現在のアドレス／インデックス位置がＴｍａｓｋ（ｎ，ｍ）配列内の最後の要素である場合には、次にＴｍａｓｋ（ｎ，ｍ）配列を通るループをやめる。

画像のテクスチャ領域における各ピクセルを、カラーバンドの組、例えばＲＧＢから、フィルタ出力データの組を含む輝度ヒストグラムベクトル、例えば８×Ｎ連結に変換後、画像は、ＲＧＢカラーバンド値の代わりに用いられた８×Ｎ要素輝度ヒストグラムベクトルとＣ型トークンを関連付けることについて、元のカラーバンド画像と全く同様に取り扱われる。

図２ｂは画像ファイル１８の左上側に１１×１１ピクセル配列を示している。図２ｂの１１×１１ピクセル配列は、上記の模範的なアルゴリズムにしたがい、配列の中央Ｚでピクセルｐ（６，６）を表示する輝度ヒストグラムを生成するために用いられている。実施例において、画像ファイル１８内に描かれた画像内のチェッカーボードパターン内に１１×１１配列が存在すると仮定している。前記チェッカーボードパターンは、図示したように交互に並んだ赤、緑、青色ボックスのパターンを有している。したがって実施例のピクセルｐ（６，６）は、ＣＰＵ１２によって生じた該当するＴｍａｓｋにおいて値１を有するであろう。

実施例のアルゴリズムにしたがい、三つの８ビンヒストグラムがＣＰＵ１２によって初期化され（図２ｃ参照）、対象となるピクセルｐ（６，６）の各赤、緑、青色値を１つにする。次に１１×１１ピクセル配列が用いられて、三つのヒストグラムのｂｉｎ（ビン）内における値を決定する。本実施例では１１×１１配列の左上側部分は、チェッカーボードパターンの赤色ボックスであり、部分（ｐ（１，１）からｐ（５，５））内の各ピクセルは、（１２３，０，０）のＲＧＢ値を有している。右上側部分は緑であり、したがって部分（ｐ（１，７）からｐ（５，１１））内のピクセルは、ぞれぞれ（０，１２３，０）のＲＧＢ値を有している。左下側部分は青色ボックスであり、ピクセルｐ（７，１）からｐ（１１，５）のそれぞれは（０，０，１２３）のＲＧＢ値を有している。最後に実施例の右下側部分は、再度赤色部分であり、赤、緑、青を繰り返しているチェッカーボードパターン内において、ピクセルｐ（７，７）からｐ（１１，１１）の各々は、（１２３，０，０）のＲＧＢ値を有している。

図２ｂに示すように、赤色象限（ｐ（１，１）からｐ（５，５））、緑色象限（ｐ（１，７）からｐ（５，１１））、青色象限（ｐ（７，１）からｐ（１１，５））、及び赤色象限（ｐ（７，７）からｐ（１１，１１））の間にある１ピクセル（１）厚みの十字型境界線、又は、ｐ（６，１）からｐ（６、ｍ）の間のいかなるピクセル、及び、ｐ（ｎ，６）からｐ（１１，６）の間のいかなるピクセルも、（１２３，１２３，１２３）のＲＧＢ値を有することができる。中央Ｚのピクセルｐ（６，６）も（１２３，１２３，１２３）のＲＧＢ値を有することができる。

次に、ピクセルＺを中央に有する１１×１１ピクセルボックス３０１が用いられて、ピクセルＺのＲＧＢカラーバンド値のヒストグラム表現によってピクセルＺの値を以下に模範的に記載するステップを用いて決定する。図２ｂに示すように、ｐ（１，１）は、赤色の存在と緑色及び青色の不在を示すＲＧＢ値（１２３，０，０）を有している。ｐ（１，１）の赤色値は１２３なので、赤色８ビンヒストグラム内の当該数値に対応するビンは、図２ｃに示すようにインクリメントされるであろう、つまり、赤色８−ビン（ｂｉｎ）ヒストグラム内の四番目のビン（ｂｉｎ）がインクリメントされるであろう。この処理は、ピクセルボックス３０１内のｐ（ｎ，ｍ）に到達するまで繰り返される。この時までに、図２ｃに示すように、３つの８−ビンヒストグラムは異なる値で充てんされ得る。これらの値は次に互いに連結されて一つの８×３要素ベクトルになり、図２ｂの画像ファイル１８内に描かれた１１×１１ピクセル配列内のピクセルＺに代入され得る。

したがって上記の模範的なアルゴリズムと図２ｂに記載の画像１８内に示した１１×１１ピクセルボックス３０１内のチェッカーボードパターンにしたがい、３つの８−ビンヒストグラムは次のように充てんされる。

赤色８−ビンヒストグラムにおいて、四番目のビンは値７１を有するであろう（２つの赤色象限の２５ピクセルにおける９８と１３０間の赤色値の繰り返し量と、ｐ（６，１）からｐ（６，ｍ）の間の１１ピクセルにおける９８と１３０間の赤色値の繰り返し量と、ｐ（ｎ，６）からｐ（１１，６）の間の１０ピクセルにおける９８と１３０間の赤色値の繰り返し量とを足すと、２５＋２５＋１１＋１０＝７１が結果として得られる）。同様の計算で、値ゼロを有する全てのピクセルで赤を表示するために、一番目のビンは値５０を有するであろう。赤色８−ビンヒストグラム内における他の全てのビンは、値０を有するだろう。したがって、赤色８−ビンヒストグラムは［５０,０，０，７１，０，０，０，０］となるであろう。

緑色８−ビンヒストグラムにおいて、四番目のビンは値４６を有するであろう（緑色象限の２５ピクセルにおける９８と１３０間の緑色値の繰り返し量と、ｐ（６，１）からｐ（６，ｍ）間の１１ピクセルにおける９８と１３０間の緑色値の繰り返し量と、ｐ（ｎ，６）からｐ（１１，６）間の１０ピクセルにおける９８と１３０間の緑色値の繰り返し量とを足すと、２５＋１１＋１０＝４６が結果として得られる）。一番目のビンは値７５を有する（緑色のゼロ値のために）。緑色８−ビンヒストグラムにおける他の全てのビンは、値０を有するだろう。したがって、緑色８−ビンヒストグラムは［７５,０，０，４６，０，０，０，０］となるであろう。

青色８−ビンヒストグラムにおいて、四番目のビンは値４６を有するであろう（青色現象の２５ピクセルにおける９８と１３０間の青色値の繰り返し量と、ｐ（６，１）からｐ（６，ｍ）間の１１ピクセルにおける９８と１３０間の青色値の繰り返し量と、ｐ（ｎ，６）からｐ（１１，６）間の１０ピクセルにおける９８と１３０間の青色値の繰り返し量とを足すと、２５＋１１＋１０＝４６が結果として得られる）。再度ではあるが、一番目のビンは値７５を有する。青色８−ビンヒストグラムにおける他の全てのビンは、値０を有するだろう。したがって、青色８−ビンヒストグラムは［７５,０，０，４６，０，０，０，０］となるであろう。

上記アルゴリズムの結果として、各８−ビンヒストグラムは、本実施例では３つであるが、互いに繋げられて一つの８×３要素ベクトルになる。これにより、このベクトルは［５０,０,０,７１,０,０,０,０，７５，０,０,４６,０,０,０,０,７５,０，０，４６，０，０，０，０］となる。

次に、上記ベクトルは１１×１１配列の中央Ｚにｐ（６，６）で割り当てられ、これによって、当初は（１２３，１２３，１２３）であったピクセルｐ（６，６）のＲＧＢ値を、［５０，０，０，７１，０，０，０，０，７５，０，０，４６，０，０，０，０，７５，０，０，４６，０，０，０，０］として規定された輝度ヒストグラムで置き換える。

１次の一様な、同種（homogeneous）Ｃ型トークンは、画像の隣接するピクセル間の一つのロバストカラー測定を含んでいる。図５ａの識別ルーチンの開始では、（Ｃ型トークン化ブロック３５として実行する）ＣＰＵ１２がメモリ内の領域マップをセットアップする。ステップ１００では、ＣＰＵ１２は当該領域マップを消去して、領域ＩＤを割り当て、初期には１で設定する。ピクセル数に対応するルーチンの繰り返しはｉ＝０で設定され、且つ、トークンを決定するシードとして用いるピクセル配列の数は初期値Ｎ＝Ｎ_{ｓｔａｒｔ}で設定される。Ｎ_{ｓｔａｒｔ}は０より大きないかなる整数であっても良く、例えば１１又は１５ピクセルで設定することが可能である。

ステップ１０２ではシードテストを開始する。ＣＰＵ１２は最初のピクセル、例えば画像ファイル１８の第１Ｎ×Ｎサンプルの左上角にあるピクセルである、ｉ＝（１，１）を選択する（図２ａ参照）。当該ピクセルは次に、選択したピクセルが良好なシードの一部であるかどうか決定するために決定ブロック１０４においてテストする。当該テストは、選択したピクセルのカラー値を、例えばＮ×Ｎ配列の、シードとしての予め選択した多くのその近隣ピクセルのカラー値と比較することを含む。カラー値比較は、ピクセルの多重カラーバンド値（本実施例ではＲＧＢ）又は、上記のように、当該画像がテクスチャ領域をフィルタリングされる場合には、ピクセルのフィルタ出力データ輝度ヒストグラム表現に関連し得る。前記比較が、シード内のピクセルに対して概ね等しい値（例えば、ＲＧＢ値の記録装置のノイズレベル以内）に結果としてならない場合には、次のＮ×Ｎシードサンプルに対して、ＣＰＵ１２は値ｉ、例えばｉ＝（１，２）をインクリメントし（ステップ１０６）、次にｉ＝ｉ_ｍａｘかどうかを決定するためにテストする（決定ブロック１０８）。

ピクセル値がｉ_ｍａｘである場合には、より良い結果を得るためにシードサイズの減少を決定するための閾値として選択された値、シードサイズＮは、例えばＮ＝１５からＮ＝１２へ減少される（ステップ１１０）。本発明の模範的な実施形態では、ｉ_ｍａｘはｉ＝（ｎ，ｍ）に設定することが可能である。このようにして図５ａのルーチンは、減じられたＮの値に対してルーチンを繰り返す前に、最初のＮの値で全画像をパース（構文解析）する。

シードサイズの減少後、ルーチンはステップ１０２に戻り、トークンシードのテストを続ける。Ｎ_ｓｔｏｐ値（例えばＮ＝２）もステップ１１０でチェックされ、当該解析が完了したかどうか決定する。Ｎの値がＮ_ｓｔｏｐにある場合には、ＣＰＵ１２は画像ピクセル配列の検査を完了してルーチンを出る。

ｉの値がｉ_ｍａｘよりも小さく、且つＮがＮ_ｓｔｏｐよりも大きい場合には、ルーチンはステップ１０２に戻り、トークンシードのテストを続ける。

良好なシード（概ね等しいピクセル値を有するＮ×Ｎ配列）が見つかった場合には（ブロック１０４）、シードからトークンを成長させる。ステップ１１２では、ＣＰＵ１２はシードから待ち行列へピクセルを加える。待ち行列内の全てのピクセルは、領域マップ内の現在の領域ＩＤによって標識付けされる。ＣＰＵ１２は次に待ち行列が空かどうか調査する（決定ブロック１１４）。待ち行列が空の場合には、ルーチンはステップ１１６へ進む。

ステップ１１６では、ＣＰＵ１２はフロントピクセルを待ち行列から消去し、ステップ１１８へ進む。ステップ１１８では、ＣＰＵ１２は対象となるピクセル周辺の、対象となるピクセルとカラー値において概ね等しい区域である、「良好な」区域を、現在の領域ＩＤで標識付ける。標識付けした全ての良好な区域が領域マップ内に置かれ、且つ待ち行列へ加えられる。ＣＰＵ１２は次に決定ブロック１１４へ戻る。待ち行列が空になるまでステップ１１４、１１６、１１８のルーチンが繰り返される。その時、現在の領域内にトークンを形成している全てのピクセルは識別されて、Ｃ型トークンとして領域マップ内において標識付けされる。ピクセルが輝度ヒストグラム表現を含む場合には、トークンはＣ_Ｔ型として識別され得る。

待ち行列が空になると、ＣＰＵ１２はステップ１２０へ進む。ステップ１２０では、ＣＰＵ１２は次のトークンの識別と共に用いるために領域ＩＤをインクリメントする。ＣＰＵ１２は次に、新しい現在のトークン領域についてルーチンを繰り返すためにステップ１０６へ戻る。

図５ａのフローチャートにおけるステップ１１０のＮ＝Ｎ_ｓｔｏｐに至る、又は画像に一致する領域マップが完成すると、ルーチンはトークン構築作業を完了する。図５ｂは、当該トークンの識別において一例として用いられる原画像である。当該画像は、青、陰のかかった青、ならびに、ティール、影のかかったティールの領域を示している。図５ｃは、例えば図５ａのルーチンの実行によって識別されたような（Ｃ型トークン）、領域マップに対応するトークン領域を図５ｂの画像について示している。前記トークン領域はカラーコード化されて、画像の自然色（フルカラー）青とティール領域の間の半影領域、及び、色付けられた領域の陰影を含む、図５ｂの画像のトークン作成を表示する。

Ｃ型トークン化ブロック３５による図５ａのルーチンが完了すると、サービスプロバイダ２４は選択した画像のＣ型トークン領域情報を保存する。識別したＣ型トークンからＢ型トークンを発生するいかなる工程をも開始する前にオペレータブロック２８は、識別した各Ｃ型トークンを試験して、各Ｃ型トークンが一つの物質を含んでいることを明確にする。各Ｃ型トークンが、画像の隣接する複数のピクセル間に一つのロバストカラー測定を有する画像領域を含む限りには、トークンが物質境界を越えて成長してもよい。

典型的に異なる複数の物質が一緒になって、陰影境界にしばしば位置するネック領域を通る一つのＣ型トークンに、又は、類似の色相であるが異なる輝度を有する異なる複数の物質を渡って変化する照明を有する領域になる。ネックピクセルは、隣り合うピクセルの特性を試験することによって識別され得る。一つのピクセルが、同一トークン内に存在しない向かい合った二つの隣接ピクセルを有し、且つ、同一トークン内に存在する向かい合った二つの隣接ピクセルを有する場合には、ピクセルはネックピクセルとして規定される。

図６はＣ型トークンに対するネック試験のフローチャートを示す。ステップ１２２では、ＣＰＵ１２は識別したトークンの各ピクセルを試験して、試験下にあるピクセルがネックを形成するかどうか決定する。図６のルーチンは、図５ａのルーチンの実施中に特定のトークンが識別された直後に、サブルーチンとして実行することが可能である。ネックとして識別された全てのピクセルは、「成長不能」として標識付けられる。決定ブロック１２４では、ＣＰＵ１２はピクセルのいずれかが標識付けられたかどうか決定する。

（ネックピクセルが）無い場合には、ＣＰＵ１２は図６のルーチンを出て、図５ａのルーチンへ戻る（ステップ１２６）。

（ネックピクセルが）有る場合には、ＣＰＵ１２はステップ１２８に進み、図５ａのルーチンに従って、シードサイズと領域ＩＤのカウントを変更することなく、現在のトークンの識別されていないピクセルの間から選択されたシード位置からトークンを再成長するように演算する。再成長処理の間、ＣＰＵ１２は、以前成長不能として識別したいかなるピクセルも含有しない。トークンを再成長させた後、以前識別されたピクセルは識別がとられ、その結果、他のトークンがその中に成長し得る。

以前識別したピクセルのないトークンの再成長に引き続き、ＣＰＵ１２はステップ１２２に戻って新しく再成長したトークンをテストする。

ネックテストは、物質境界を横断するＣ型トークンを識別し、且つ、Ｂ型トークンを作り出すために用いるのに最適な単一物質Ｃ型トークンをもたらすために識別したトークンを再成長させる。図５ｄは、本発明の特徴構成にしたがい、図５ｃのＣ型トークンから生じたＢ型トークンを表している。本発明は、Ｃ型トークンからＢ型トークンを構築するための、ピクセル特性解析の幾つかの模範的な技術をもたらす。一つの模範的な技術は、任意境界除去を含んでいる。任意境界除去技術は、Ｃ型トークンがピクセルのＮカラーバンド値（本実施例ではＲＧＢ）を用いて生じたのであろうとなかろうと、又は、画像がフィルタ処理された場合には、ピクセルのフィルタ出力データ画像であろうとなかろうと、Ｃ型トークンに用いることが可能である。あらゆる特定のＣ型トークンにおける実際の境界が、トークンを生じるために用いられたシード位置の関数となり、したがって、それら境界は、幾らか任意となるであろう。各特定のトークンに対し、典型的に多くの潜在的なシード位置が存在し、その際、各潜在的シード位置は、様々なシードのピクセルにおけるカラー値間の記録装置のノイズ範囲内での違いにより、僅かに異なる境界及び空間的範囲を有するトークンを生じる。

図７は、本発明の特徴構成にしたがい、任意境界除去技術によりＢ型トークンを構築するためのフローチャートである。ステップ２００では、ＣＰＵ１２には、生じたＣ型トークンの組（Ｔ_ｃ）と、図５ａのルーチンによって生じたシードサイズ（Ｓ）と、図６のルーチンによって生じたネック除去が供給される。シードサイズはＳ＝Ｓ_ｍａｘ、例えば、Ｓ＝４ピクセルである。ステップ２０２では、各Ｃ型トークンと組Ｔ_ｃ内のｔ_ｃについて、ＣＰＵ１２はｓ_１からｓ_ｎの潜在的（ポテンシャル）シードの数（例えば５０）を選択する。本実施例では、選択された各シードはトークン領域内出身の４×４ピクセル配列であり、当該配列のピクセルは（記録装置のノイズレベル内の）概ね等しい値を有している。

ステップ２０４では、ＣＰＵ１２は、図５ａと図６のルーチンを用いることによって、組Ｔ_ｃ内の各トークンｔ_ｃのｓ_１からｓ_ｎである各シード位置から新しいＣ型トークンを成長させる。各トークンｔ_ｃに対して新たに成長したトークンは、トークンｒ_ｃ１からｒ_ｃｎとして表示する。各トークンｔ_ｃに対して新たに成長したトークンであるｒ_ｃ１からｒ_ｃｎは、一般的に元のＣ型トークンｔ_ｃならびに互いに重なる。

ステップ２０６では、ＣＰＵ１２は、各トークンｔ_ｃの新たに生じたトークンであるｒ_ｃ１からｒ_ｃｎをそれぞれ組み合わせるように作用する。結果として得られるのは、組Ｔ_ｃ内の元の各トークンｔ_ｃに対応する新しいトークンＲ_ｔである。各新しいトークンＲ_ｔは、対応する元のトークンｔ_ｃから生じた、それぞれ重なるトークンｒ_ｃ１からｒ_ｃｎの全領域を含んでいる。それぞれ組み合わせられた新しいトークンＲ_ｔを含む領域の合併は、それぞれが当該組の元のＣ型トークンよりも遥かに広範囲なトークンである。結果として得られる、組み合わせられた新しいトークンＲ_ｔは結果として画像ファイル１８の複数領域になり、各トークンＲ_ｔのピクセル間における変化量の幅は元のＣ型トークンよりも遥かに広いにもかかわらず、構成成分ピクセル間の変化量の幅は依然として比較的平滑となるであろう。Ｒ_ｔはＢ型トークンの限定した形である、Ｂ_ａｂ１として規定され、本発明の特徴構成にしたがい任意境界除去技術の第一段階（ステップ２００〜２０６）によって生じたトークンを表示する。

ステップ２０８では、ＣＰＵ１２はステップ２０２〜２０６においてトークンの組Ｔ_ｃから生じた各Ｂ_ａｂ１型トークンを保存して、ステップ２１０へ進む。ステップ２０２〜２０６の実行によって生じたＢ_ａｂ１型トークンは著しく重なってもよい。ステップ２１０では、ＣＰＵ１２は、各トークンサイズの特定の割合だけ互いに重なる、ステップ２０８で保存されたＲ_ｔトークンを組み合わせるように作用する。例えば、３０％の重なりは一般的に、異なる物質を含んでいる領域を組み合わせているフォールスポジティブマージをたとえあったとしても殆どもたらさないためには十分である。マージ（併合）したトークンの新しい組は依然として重なっているトークン、例えば、３０％未満の重なりを有する前もって重なっているトークンを有してもよい。全てのマージが完了した後、ＣＰＵ１２はステップ２１２へ進む。

ステップ２１２では、ＣＰＵ１２は一つ以上のトークン内（二つの以上のトークンの重なり部分におけるもの）の全てのピクセルを認識する。各識別したピクセルは、画像の最大範囲を占めているトークンに割り当てられる。これにより、全ての重なっているトークンは全ての重なりを除去するように修正される。

ステップ２１４では、ＣＰＵ１２は（Ｃ型トークン化ブロック３５又はオペレーションブロック２８に従って）、今やＢ_ａｂ２として表示される、最終的に合併され且つ修正されたトークンの組を保存して、次にルーチンを終了する。先に特筆したように、Ｂ_ａｂ２型トークンは、Ｃ型トークンがピクセルのＮカラーバンド値（本実施例ではＲＧＢ）を用いて生じたのであろうと、画像がフィルタ処理された場合にはピクセルのフィルタ出力データ画像を用いて生じたのであろうと、いずれにせよ、Ｃ型トークンから生じたのである。

本発明にしたがう第２の模範的技術は、Ｂ型トークンを作り出すためにＣ型トークンを用いるための、隣接する平面トークンマージン法である。当該隣接する平面トークンマージン法は、画像が均一な色の領域を表示する場合に実行され得る、画像のテクスチャの無い領域に対するものである。最初に、互いに近くに在る複数のトークンを識別するためにトークングラフが用いられる。図８は、本発明の特徴構成にしたがい、トークンマップ情報を含む、トークングラフを作り出すためのフローチャートを示している。図５ａ及び図６のルーチンの実行によって生じたＣ型トークンの組Ｔ_ｃは、当該組Ｔ_ｃの、隣り合うトークンの対ｔ_ｃ、ｔ_ｎを規定しているトークン間の最大距離Ｄ_ｍａｘと、隣り合うトークン対の各トークンにおけるトークン周辺画素の最小数Ｐ_ｍｉｎ、及び、Ｄ_ｍａｘ内に存在するように要求された、隣り合うトークン対の各トークンの、周辺画素（周辺ピクセル）（perimeter pixel）の最小小数Ｆ_ｍｉｎについて評価される。

ステップ３００では、ＣＰＵ１２はＣ型トークンの組Ｔ_ｃ内でＣ型トークンｔ_ｃを選択し、前記トークンの周辺を形成している選択されたｔ_ｃのピクセルを識別する。決定ブロック３０２において、ＣＰＵ１２は周辺画素の数がＰ_ｍｉｎ、例えば１０ピクセルよりも小さいかどうか決定する。

そうである場合には、ＣＰＵ１２は決定ブロック３０４へ進んで、Ｃ型トークンの組Ｔ_ｃ内にトークンｔ_ｃが残っているかどうか決定する。そうである場合には、ＣＰＵ１２はステップ３００へ戻り、そうでない場合には、ＣＰＵ１２はルーチンを終了する。

そうでない場合には、ＣＰＵ１２はステップ３０８へ進む。ステップ３０８では、ＣＰＵ１２は、選択したトークンｔ_ｃを包み込むためのマスクとして用いられる結合ボックスを生じる。前記結合ボックスは、全ての方向におい選択したトークンよりも大きな、少なくともＤ_ｍａｘとなるサイズに形成される。（例えば、非特許文献３に記載のような）公知の距離変換（distance transform）を実行して、選択したトークンｔ_ｃの各周辺画素から含んでいる結合ボックス内の全ピクセルまでの距離を検出する。距離変換の結果は各々結合ボックスと同じサイズを有する二つのマップ、つまり、距離マップと最短距離ピクセルマップとを含んでいる。前記距離マップは、結合ボックスの各ピクセルから、選択したトークンｔ_ｃの最近接周辺画素までのユークリッド距離を含んでいる。最短距離ピクセルマップは、例えば距離マップ内の各ピクセルに対し、いずれのピクセルがそれに最も近いかを識別する。

ステップ３１０では、ＣＰＵ１２は、ステップ３０８で生じた距離マップをスキャンして、前記結合ボックスのピクセルに対応するトークンを（図５ａのルーチンによって生じた領域マップから）識別し、結合ボックスにおいてピクセルによって表現された全てのトークンの間から、距離Ｄ_ｍａｘ以内にＮ_ｃｎ個のピクセルを有する一つのトークンを識別し、ここで、Ｎ_ｃｎはＰ_ｍｉｎよりも、且つ、各トークンのＦ_ｍｉｎ ^＊周辺画素よりも大きく、各トークンとｔ_ｃとの間の平均距離は、結合ボックス内のピクセルに対応するトークンのうち最低である。これらの条件が満たされれば、各トークンは、実行できるトークン対ｔ_ｃ，ｔ_ｎのうちｔ_ｎと表示され、リンクＬ_ｃｎは稼動中と表示される。

ステップ３１２において、ＣＰＵ１２は相互リンクＬ_ｃｎも稼動中と表示されているかどうか決定するためにチェックし、それが稼動中と表示されている場合には、ＣＰＵ１２は、トークン対ｔ_ｃ、ｔ_ｎが隣り合うトークン対であるという標識をつけて、トークングラフ内に保存する。前記相互リンクは、現在の評価のｔ_ｎと表示されたトークンの評価におけるリンク状態を意味する。そのトークンをまだ評価しなければならない場合には、当該対には、次のトークンｔ_ｎの評価においてリンクＬ_ｃｎが稼動中として確認されるまで、隣り合うトークン対であるという標識はつけない。ＣＰＵ１２は次に、決定ブロック３０４へ戻って組Ｔ_ｃ内に別のトークンが存在するか否か決定する。

トークングラフが完成するとすぐに、ＣＰＵ１２は、図９のルーチンの実行において前記グラフ内に保存されたトークン対情報を使用する。図９は、本発明の特徴構成にしたがい、隣接する平面トークンマージン（併合）技術によってＢ型トークンを構築するためのフローチャートを示している。隣接する平面トークンマージン技術では、トークンの対が検査されて、二次元測定において対のトークン間に、カラー値の滑らかでコヒーレントな変化があるかどうか決定する。色変化が、例えば本発明の模範的な実施形態にしたがいＲＧＢ成分のような、各カラーチャンネルの平面表示に関して検査される。滑らかな変化は、平面の組（一つの色成分について一平面）が二つの隣接するトークンのピクセル値に対して良好にフィットする条件と規定する。つまり、二次元のシーンにおける色変化が概ね平坦である場合には、隣り合う複数のトークンは、同一の物質及びＢ型トークンと考えられる。

ステップ３２０では、ＣＰＵ１２はトークングラフからトークン対ｔ_ｃ、ｔ_ｎを選択する。決定ブロック３２２では、ＣＰＵ１２は、トークンｔ_ｃ内の平均カラーが、トークンｔ_ｃ内の平均カラーと著しく異なっているかどうか決定する。当該差は、公知な統計的測定（例えば、非特許文献４参照）のｚ−スコアの関数であることができ、例えば３．０よりも大きなｚ−スコアであることが可能である。

トークン対の平均カラーが異なる場合には、ＣＰＵ１２は決定ブロック３２４へ進んでトークングラフ内に他にトークン対が存在するか否か決定する。存在する場合には、ＣＰＵ１２はステップ３２０に戻る。存在しなければ、ＣＰＵ１２はルーチンを終了する（ステップ３２６）。

平均カラーがｚ−スコアパラメータ内に存在する場合には、ＣＰＵ１２はステップ３２８へ進む。ステップ３２８では、ＣＰＵ１２は、例えば最小中央値二乗回帰（例えば、非特許文献５参照）のような数学的操作を実行して、平面をトークン対ｔｃ、ｔｎのピクセルの各カラーチャンネル（本実施例ではＲＧＢ）に、行ｎ及び列ｍ（図２参照）の関数として適合させる、前記平面は次の式：
Ｒ＝Ｘ_Ｒｎ＋Ｙ_Ｒｍ＋Ｚ_Ｒ Ｇ＝Ｘ_Ｇｎ＋Ｙ_Ｇｍ＋Ｚ_Ｇ Ｂ＝Ｘ_Ｂｎ＋Ｙ_Ｂｍ＋Ｚ_Ｂ
ここで、パラメータ値Ｘ、Ｙ、Ｃは、ＣＰＵ１２の最小中央値二乗回帰操作によって決定される。

平面適合操作（plane fitting operation）が完了するとすぐに、ＣＰＵ１２はステップ３３０へ進む。ステップ３３０では、ＣＰＵ１２はトークン対ｔ_ｃ、ｔ_ｎの各トークンの各ピクセルを検査して、トークンの各ピクセルと最小中央値二乗回帰操作の式によって表した平面適合の間でｚ−スコアを計算する。前記対の各トークンのピクセルの少なくとも閾値割合（例えば８０％）が最大ｚ−スコア内（例えば０．７５）に存在する場合には、次に隣り合うトークン対は、画像内の同一物質を表示するものとしてトークングラフ内で標識付けされる。ステップ３３０を完了した後、ＣＰＵ１２は決定ブロック３２４へ戻る。

図９のルーチンを終了するとすぐに、ＣＰＵ１２は、同一物質を表示する全てのトークン対についてトークングラフを検査する。ＣＰＵ１２は、例えばユニオンファインド（UNION-FIND）アルゴリズムのような公知の技術を実行して前記検査を成し遂げることが可能である（例えば、非特許文献６参照）。簡単な例として、７つのＣ型トークンの組、Ｔ_１、Ｔ_２、Ｔ_３、Ｔ_４、Ｔ_５、Ｔ_６、Ｔ_７を仮定する。図９の実行の結果、（隣接平面解析の実行）、トークンＴ_１とＴ_２が同一物質として標識付けされ、且つ、トークンＴ_１及びＴ_３も同一物質として標識付けされたと仮定する。その上、さらにトークンＴ_４及びＴ_５が同一物質であると標識づけられ、且つ、トークンＴ_５及びＴ_６も同一物質として標識づけられた結果も表示する。ユニオンファインドアルゴリズムの実行結果は、したがって、トークン｛Ｔ_１，Ｔ_２，Ｔ_３｝が単一物質から成る画像内の第１グループを形成し、トークン｛Ｔ_４，Ｔ_５，Ｔ_６｝が単一物質から成る画像内の第２グループを形成し、トークン｛Ｔ_７｝が単一物質から成る画像内の第３グループを形成することを示すであろう。グループ｛Ｔ_１，Ｔ_２，Ｔ_３｝、｛Ｔ_４，Ｔ_５，Ｔ_６｝及び｛Ｔ_７｝は三つのＢ型トークンを形成する。

Ｂ型トークンを作り出すためにＣ型トークンを用いるための、本発明にしたがう第３の模範的な技術は、局所的トークン解析である。局所的トークンアプローチは、画像ファイル１８内に表示されたシーンのウィンドウ解析を用いてＣ型トークンを生じる。そのようなトークンは、Ｃ_ｗ型トークンとして表示される。図１０は、本発明の特徴構成にしたがう、局所的トークン解析技術によりＣ_ｗ型トークンを発生するためのフローチャートである。

ステップ４００では、ＣＰＵ１２は固定したサイズのウィンドウ、例えば３３×３３ピクセル配列マスクを、画像上のスキャン位置の予め選択した列上に置く。前記ウィンドウは、四角以外の形状をし得る。前記スキャン位置は、決まった量だけ、例えば１／２ウィンドウサイズだけ互いにずれており、且つ、全体として完全に画像を覆うように定められる。各スキャン位置でのピクセルのウィンドウ領域はＣ_ｗ型トークンを生じるが、各スキャン位置におけるウィンドウ内の全てのピクセルが各スキャン位置で発生するＣ_ｗ型トークン内に存在するわけではない。

各スキャン位置では（ステップ４０２）、ＣＰＵ１２はウィンドウ内のピクセルの関数として、平面の組、各カラーチャンネル（例えばＲＧＢ）の強度と一致するもの、及び、ウィンドウ内の開始点Ｉ_０とＩ_１によって特徴づけられる、ＲＧＢ空間内のＲＧＢラインの各々を適合（fit）させるように作用する。前記平面適合は、ウィンドウ内のピクセル強度の空間的表示をもたらし、且つ、ライン適合は、ウィンドウ内のピクセルの空間的表示をもたらす。

平面適合に対し、平面は次の式で規定する。
Ｒ＝Ｘ_Ｒｎ＋Ｙ_Ｒｍ＋Ｚ_Ｒ Ｇ＝Ｘ_Ｇｎ＋Ｙ_Ｇｍ＋Ｚ_Ｇ Ｂ＝Ｘ_Ｂｎ＋Ｙ_Ｂｍ＋Ｚ_Ｂ
ここで、パラメータ値Ｘ、Ｙ、及びＣは、上記の最小中央値二乗回帰、特異値分解のような最小自乗推定値、又は、ＲＡＮＳＡＣ（例えば、非特許文献７参照）のようなロバスト推定値、のような数学的操作をＣＰＵ１２が実行することによって決定される。

ＲＧＢライン適合について、ラインは次の式で規定する。
Ｉ（ｒ，ｇ，ｂ）＝Ｉ_０（ｒ，ｇ，ｂ）＋ｔ（Ｉ_１（ｒ，ｇ，ｂ）−Ｉ_０（ｒ，ｇ，ｂ））
ここで、パラメータｔは０から１の間の値であって、平面適合を検出するために用いられたいずれかの数学的技術を用いることによってＣＰＵ１２によって決定され得る。

各スキャン位置において、ステップ４０２を完了した後に、ＣＰＵ１２はステップ４０４において、各ウィンドウスキャン位置に対応する平面適合表現及びＲＧＢライン表現の各々に関してウィンドウ内の各ピクセルを検査する。各ピクセルに対し、ＣＰＵ１２は、各既定した平面及びＲＧＢラインに関するピクセルのエラーファクタを決定する。前記エラーファクタは、平面適合又はＲＧＢライン適合のいずれかから出っ張っているピクセルの絶対距離に関連している。前記エラーファクタは、記録装置内に存在するノイズの関数、又は、ウィンドウ内の最大ＲＧＢ値の割合、例えば１％であり得る。空間的平面適合又は空間的ライン適合のいずれかに関連するエラーファクタ内のいずれのピクセル距離も、各スキャン位置で発生したＣ_ｗ型トークンの正対応（inlier）と表示される。ＣＰＵ１２は、各スキャン位置で発生したＣ_ｗ型トークンに対し、全正対応ピクセルのリストも保存する。

各スキャン位置では、ステップ４０４の完了後に、ＣＰＵ１２はステップ４０６において作用し、ウィンドウ内の各正対応ピクセルにメンバーシップ値を割り当てる。前記メンバーシップ値は、平面適合又はＲＧＢライン適合のいずれかからの正対応ピクセルの距離に基づくことができる。本発明の一つの模範的な実施形態では、前記メンバーシップ値はピクセルの正対応状態を決定するために用いられた距離の逆数である。二つ目の模範的な実施形態では、標準偏差を有するゼロ中心のガウス分布が実行され、正対応ピクセルのメンバーシップ値を計算する。

全てのスキャン位置が処理されてＣ_ｗ型トークンを生じた後に、スキャン位置毎に、ＣＰＵ１２はトークンデータリストをコンパイルして保存するように作用する（ステップ４０８）。当該トークンデータリストは二つのリストを含んでいる。一つ目のリストは、画像ファイル１８内の全ピクセルと、各ピクセルについて、それが正対応ピクセルとして標識付けされている各Ｃ_ｗ型トークンの表示、ならびに対応するメンバーシップ値を表にする。二つ目のリストは、生じた全てのＣ_ｗ型トークンと、各トークンについて、各トークンの正対応ピクセルの表示、ならびに対応するメンバーシップ値を表にする。トークンデータリストをコンパイルして保存した後、ＣＰＵ１２はルーチンを終了する（ステップ４１０）。

図１１は、本発明の特徴構成にしたがい、局所的トークン解析技術によって生じたＣ_ｗ型トークンからＢ型トークンを構築するためのフローチャートである。ステップ４２０では、ＣＰＵ１２は、図１０のルーチンの実行により生じた隣接する又は重なり合う複数のＣ_ｗ型トークンの、空間的平面寸法及びスペクトルＲＧＢラインのパラメータの類似度を計算する。重なり合うＣ_ｗ型トークン及び隣接するＣ_ｗ型トークンは、重なり合う又は隣接する（連続する）スキャン位置に該当するトークンとして規定され得る。類似度閾値は、比較される二つの重なり合う又は隣接するＣ_ｗ型トークン間の、各空間的平面寸法及びスペクトルＲＧＢラインの差の割合として定められ得る。前記割合は、例えば画像ファイル１８のシーンを記録するために用いられたカメラ１４のノイズの関数であることができる。類似度閾値内に算出した類似度を有する、全ての重なり合う又は隣り合うＣ_ｗ型トークンの対がリストに載せられる。

ステップ４２２では、ＣＰＵ１２は、類似度閾値内に算出した類似度を有する、重なり合う又は隣接するＣ_ｗ型トークン対のリストを、最小類似対に最も似ている順に分類する。ステップ４２４では、ＣＰＵ１２は、分類、及び類似度の程度ごとの対の標識付け順に、類似なトークン対をマージ（併合）する。各併合されたトークン対は、_Ｂ型トークンとみなされるだろう。ステップ４２６では、ＣＰＵ１２は_Ｂ型トークンのリストを保存して、ルーチンを終了する。

本発明にしたがう別の模範的技術では、フィルタレスポンス（filter response）、例えば二次微分フィルタレスポンスがＣＰＵ１２によって実行され、均一な物質反射を有する画像の領域を識別する。前記識別された領域は、次にＢ型トークンを生じるために用いられる。フィルタレスポンスは、ピクセル値の畳み込みを実施することによって実行される。畳み込みとは、ピクセルの列にフィルタマスクを適用して当該列の中央のピクセルに対し応答関数値（function response value）を決定する数学的技術である。前記フィルタマスクは、例えばガウスカーネルのラプラシアン（ＬｏＧ）のような数学的関数を表している。前記ＬｏＧフィルタは公知のフィルタであり、画像の各ピクセル位置での数学的関数算出値、つまり、各ピクセル位置での微分値に関連し且つ画像内の物質エッジを検出するために用いられる算出値を決定するのに用いられる。

図１２ａは、画像内の強度変化の様子（intensity profile）と、各物質エッジ、物質の部分に渡って陰影を有する単一物質、及び、一定の照明下にある単一物質に対応する一次微分及び二次微分変化の様子を表している。微分は変化率の程度である。画像において、一次微分はカラーバンドの強度の変化率、例えば画像のピクセルからピクセルへの赤色変化率を測定している。二次微分は変化率の程度である、つまり、一次微分の変化率の程度である。図１２ａの縦の列Ａは、画像内の物質エッジにおける、強度変化の様子、及び一次及び二次微分変化の様子を表している。縦列Ａに示されるように、カラー強度変化の様子は、物質境界における物質強度の急な変化率を反映する一次微分値のスパイク波形となる、物質境界での急なエッジ変化の様子を形づくっている。これによって、二次微分値は、境界において一次微分ピークにしたがいゼロを横切る正の方向のピークと、次に一次微分ピークにしたがいゼロを横切りゼロに戻る負の方向のピークを経る。

公知のＬｏＧフィルタ技術では、ピクセル間で高い一次微分値、第一微分ピーク、又はゼロを横切る二次微分が、図１２ａの縦列Ａを反映するような物質エッジのしるしとして用いられる。物質エッジの一次微分ピーク及びゼロを横切る二次微分とは対照的に、図１２ａの縦列Ｂ及びＣは各々、強度変化の様子と、物質の一部に渡る陰影を有する単一物質、及び、一定照明下の単一物質に対応する一次微分及び二次微分の変化の様子を表している。縦列Ｂでは、画像の強度は、単一物質を表現しているピクセルを横断して落ちている半影に対応する段階的な陰影のエッジを経ている。したがって一次微分はゆっくりと上昇し、半影の段階的な変化に伴って下降し、且つ、二次微分は、一次微分値のゆっくりとした上昇ならびに下降の間ずっと比較的低い値を維持する。縦列Ｃに示すように、単一物質の照明の一定値は、一次微分及び二次微分のそれぞれについて、ピクセル間で一定の低い値に結果としてなる。

本発明の特徴構成にしたがうと、例えばＬｏＧフィルタのような二次微分フィルタが新規に用いられて、例えば一様に低い二次微分値を有するピクセルを含む区画（patch）のような画像の領域を、それぞれ図１２ａの縦列Ｂ及びＣに示したように識別する。模範的な実施形態では、各区画は予め選択したサイズから成る（例えば、３×３ピクセル配列、５×５ピクセル配列、又は７×７ピクセル配列のいずれか）。先に述べたように、一様な光の下での均一な物質反射の区画は、当該区画内の各ピクセル位置で低い二次微分値に結果としてなる、区画のピクセルを横断する概ね一定のカラー値を有するだろう。さらに、段階的な半影における一定の物質反射も区画のピクセル間で低い二次微分値となるだろう。

したがって、低い二次微分値を有する全てのピクセルの区画の位置を確実にすることは、当該区画内に物質エッジが存在せず、且つ、当該区画の全ピクセルが同一の物質反射を有している尤度（likelihood）の高い兆候をもたらす。本発明は、均一な物質反射の尤度に関連したピクセルの区画間のいかなる関数反応、例えば二次微分値、三次微分値、又は他の、画像の強度変化の様子を表す曲率の程度をも熟慮するが、ここで強度変化の様子とは、（ｘ，ｙ，強度）空間における画像の形状である。

ラプラシアンフィルタは、画像内の一点における二次偏微分の和をもたらす。ラプラシアンフィルタはしたがって、画像のピクセルに対する二次微分値に比例した関数結果を確認するために実行され得る。画像Iのラプラシアンは次のように定義する。

上記の関数は、（図２のｎ行ｍ列の配列に沿った）ｘ及びｙ方向の二次偏微分の和であり、全ての方向にわたる平均的二次微分に比例している。

画像内におけるノイズ及び小さな程度の変化の存在により、画像の一次及び二次微分解析は、典型的に画像の不鮮明版に対して実行される。画像の不鮮明版は、ノイズ及び画像変化によって生じたあらゆる変調も掻き均し、且つ、あらゆる標準的なブラーリング関数（blurring function）によって得ることができる。例えば、フィルタマスクを有する画像の畳み込みはガウス関数に基づく。ガウス関数は次のように規定される。

σファクタは標準偏差であり、畳み込まれた画像のブラーリング（ぼかし）の程度を制御する。小さいσ値は比較的小さな程度のブラーリングを結果としてもたらし、一方で多きなσ値は著しいブラーリングを結果としてもたらす。

ＬｏＧ関数は、ラプラシアンとガウス関数を組み合わせて、画像をぼかし且つラプラシアン値を確実にするように働く一つの関数にし、画像のピクセルの二次微分値に比例する正確な結果をもたらす。ＬｏＧ関数の代わりに、ガウシアンの差、又はブラーリング画像における一次微分マスクによる畳み込みを用いることも可能である。ＬｏＧ関数式は以下のとおり。

図１２ｂはＬｏＧフィルタマスクの一例である。当該マスクは、２ｋ＋１×２ｋ＋１列の倍増ファクタを含んでおり、本実施例では、ｋ＝３であり、ファクタの７行に対し、それぞれ７列、したがって、中央に対して７σの長さを有しており、図１２ｂのフィルタマスクにおいてはσ＝１を有している。図１２ｂのフィルタマスクが、図２ａの画像ファイルの７×７ピクセル区画サンプルによる画像の畳み込みに関連して用いるように準備される。前記倍増ファクタはＬｏＧ関数を表現しており、対応する区画のピクセルに当てはめられ、全ての結果が合計されて次に記載するように、７×７配列の中央のピクセルに応答関数値を供給する。

そのため図１２ｃは、図２ａの画像ファイルの、ｎ×ｍピクセル配列内の７×７列を有する代表的なピクセル区画の図を表している。図１２ｂの実施令の７×７区画は、図２ａのｎ×ｍピクセル配列の左上角を形成しており、且つ、代表的な列の中央ピクセルである、ピクセルｐ（４，４）（太字で示されている）の二次微分に比例する値を計算するために用いられるだろう。

フィルタマスクの各倍増ファクタは、７×７区画の対応するピクセルの応答関数に一致しており、前記区画の各ピクセルに対する掛け算結果を算出するために用いられる。各ピクセルに適用される倍増ファクタは、当該技術分野において公知であるように（ＬｏＧフィルタマスク）、前記の組み合わせられたラプラシアン及びガウシアン関数に関連して決定される。フィルタマスクは、以下の総括式で表現する。

各ピクセルｐ（ｎ，ｍ）は、Ｎカラーバンド、例えば、ピクセルｐ（ｎ，ｍ）のカラー値の赤色、緑色及び青色成分に係るＲＧＢによって表現される。フィルタマスクの倍増ファクタは、区画のピクセルの各カラーバンドに別々に適用され、その結果、各カラーバンドについて別々の二次微分値を生じる。本実施例では、赤色バンドに対する計算を記載する（ｐ（ｎ，ｍ ＲＥＤ））。したがって、ｐ（１，１ ＲＥＤ）にはファクタ０．０００３１４２６が掛けられ、一方で次の列のピクセル、ｐ（１，２ ＲＥＤ）には０．００２６３２０７８が掛けられる、などである。各列のピクセル、１−７には、列の横に順番に、ＬｏＧフィルタマスクの行及び列に対応する倍増ファクタが掛けられる。ＬｏＧ関数の関数として、全ての掛け算結果が足しあわされて中央ピクセルｐ（４，４）の二次微分値に比例する合計をもたらす。

類似のフィルタレスポンス結果（output）が、ｎ×ｍ列の各ピクセルｐ（ｎ，ｍ）と、各ピクセルの各カラーバンドに対して実行され、画像ファイル１８のピクセルｐ（ｎ，ｍ）の二次微分値のリストをコンパイルする。画像の境界領域において、例えば画像境界の３ピクセル以内のピクセルにおいて、画像境界を越えて延びる７×７区画の点のピクセル値に対し、各カラー値について以下のように様々な仮定に基づいた推定を行うことが可能である。
１．境界において、当該境界を越えて続くピクセルの値を、当該画像境界を越えて延びる区画内のピクセルの値が、最も近い境界ピクセルのカラー強度と同じカラー強度で定められていると仮定する；
２．境界で画像が反射している、例えば、当該画像境界を越える区画のピクセルの値が、画像内の対応するピクセルのミラー画像であると仮定する；又は、
３．画像の外側の全ての値が一定値である、例えば０又は最大画像値であると仮定する。

二次微分値は正であっても負であってもよい。本発明の模範的実施形態では、絶対値が二次微分に用いられている。また、各バンドに対する値は、本実施例では、赤色、緑色及び青色が、ピクセル毎に一つの数として表されている。前記単一数値は、ピクセルのカラーバンドの間から最大二次微分フィルタレスポンス結果を取ることによって、全バンドのリフィルタレスポンス結果の平均を取ることによって、又は、超スペクトル結像において、各バンドからパーセンタイル値、例えばカラーバンドの間から９０番目のパーセンタイル値をとることによって得ることができる。

フィルタレスポンス特徴構成の一実施形態では、二次微分値がログスペースバージョン（log space version）又は、画像のガンマ変換において決定される。画像の領域が非常に暗く、さらに濃い影に入っている場合には、一次微分及び二次微分は小さくなり、均一物質反射領域の正確な表示として有用ではなくなる。カラー強度の対数値、又はガンマ変換の使用は、照明束（又は画像露光量）が画像に影響を及ぼすにもかかわらず、色差の相等性を維持する。

図１３は、本発明のフィルタレスポンス特徴構成にしたがい、図２ａのｎ×ｍピクセル配列画像ファイル内の均一な物質反射の領域を識別するためのフローチャートである。ステップ５００では、画像ファイル１８（図２ａ参照）がＣＰＵ１２に入力される。ステップ５１０では、ＣＰＵ１２は、画像ファイル１８の各ピクセルｐ（ｎ，ｍ）についてフィルタレスポンスを計算する。本発明の模範的な実施形態では、前記フィルタレスポンスは、画像ファイル１８の各ピクセルｐ（ｎ，ｍ）での二次微分に比例する値である。そのような値は、画像ファイル１８の畳み込みを介しＣＰＵ１２によって、つまり、図１２ｂ及び１２ｃで記載したようなＬｏＧフィルタマスクを用いてＣＰＵ１２によって計算され得る。

フィルタレスポンスステップを実行するために、適切なフィルタパラメータがＣＰＵ１２に入力される。ＬｏＧフィルタマスクの場合には、関連したパラメータは、ブラーリングの程度を決定するσファクタである。σファクタは例えば、０．５から３．０の範囲を有することが可能である。

ステップ５２０では、ＣＰＵ１２は前記区画のピクセル間で均一な物質反射を表示する、フィルタレスポンスを備えたピクセル配列の区画の位置を見つけるように作用する。二次微分値の実施例では、低フィルタレスポンスは物質エッジが存在しないことを表示する、したがって、上記のように、当該区画が均一な物質反射を有する画像領域を含むことの高い尤度をもたらす。ステップ５２０に関連する入力パラメータは、区画サイズ及び形状、ならびに低フィルタレスポンスの規定を含んでいる。各区画は、例えば正方形、長方形、円形当であることが可能である。本実施例では、各区画は３×３正方形、又は半径９を有する円形区画を含むことが可能である。ＣＰＵ１２は、画像ファイル１９全体に渡って一連の区画を検査し、その際、各区画は、配列の全ピクセルの中で、対象である画像ファイル１８の配列のピクセルｐ（ｎ，ｍ）のうち異なる一つに集中する。

各検査したピクセルについて、ＣＰＵ１２は、検査下にある区画のピクセルのフィルタレスポンスが閾値を下まわっているかどうか決定する。前記尺度は、例えば前記区画のピクセルの平均フィルタレスポンスと比較された閾値、又は、前記区画のピクセルの間で最大の二次微分値と比較された閾値であってもよい。前記閾値は経験的に決定可能であり、その際、より低い値はより著しい細分化の傾向があり（画像をあまりにも多くの領域に分割する）、より高い値はエラーを導く（二つの領域が同一物質反射でない場合であってもそのように考慮する）。ＣＰＵ１２は、閾値を下回る結果を有する、従って、検査した区画内に均一物質反射の高い尤度を示す、対象となる画像ファイル１８の検査した各区画を表にする。

ステップ５３０では、ＣＰＵ１２は、均一物質反射の高い尤度を示す区画の上記コンパイルしたリストに存在する、区画の間から十分に重なり合う全ての区画を併合し、併合した区画のリストをＢ型トークンとして構成するように作用する。ステップ５３０に関連するパラメータは、「十分に重なり合う」という規定である。例えばＣＰＵ１２は、共通して５ピクセル、又は共通して１０ピクセル等を有する全ての表にされた区画を併合する。各区画が均一物質反射の高い尤度を有しており、当該区画が共通して或る数のピクセルを共有すると、二つの十分に重なり合う区画は、同一の物質反射を共有する十分に重なり合う区画を有していると結論付けることが可能である。選択した数のピクセルを共有するほどまで重なり合う全ての列挙された区画が併合され、且つ、当該併合は、互いに重なり合う区画がもたらす均一な反射を有する領域の最大範囲をしだいに増大することになる。ルーチンの結果（５４０）はＢ型トークンのリスト、つまり画像の均一な反射を有する領域への分割である。各併合した領域がゼロでない一次微分を有するピクセルを含むかもしれないので、識別された各Ｂ型トークンは、かなりの照明変化を含んでいるかもしれない。

次に図１４を参照すると、本発明の特徴構成にしたがい、図１３のルーチン実行による結果と、異なるパラメータとを組み合わせるためのフローチャートを示している。図１３に注釈をつけているように、様々に変化可能なパラメータをＣＰＵ１２に入力する。本模範的実施形態では、可変パラメータは、σファクタ、区画サイズと形状、低フィルタレスポンスの規定、及び、十分に重なり合う規定を含んでいる。パラメータの異なる組み合わせは異なる結果を生じる。一組のパラメータは、上手く規定したＢ型トークンによって、画像の幾つかの部分を上手く捕らえることが可能である、しかし、多くの小さな非結合区画内の、画像の他の部分をそのまま残している、一方で、他のパラメータの組は画像の他の部分を上手く捕らえるかもしれない。したがって、パラメータの組内の値を変化することによって、且つ、図１３のルーチンを幾度も実行することによって、各特定のパラメータの組につき一回、ＣＰＵ１２は、分割結果の複数組を得ることができ、特定パラメータの組のいずれからも得られるであろう結果から、著しく改善した全体的によりロバストな結果をもたらす。

例えば、小さな区画サイズは物質エッジをより効果的に局在化するだろう、一方で、より大きな区画サイズはエッジが時々消滅するところの溝を横断することを回避する。閾値も区画サイズまで低下すべきであり、σファクタは増加すべきである、などである。その目的のために、ステップ５５０では、画像ファイル１８をＣＰＵ１２へ入力する。ステップ５６０では、ＣＰＵ１２は、それぞれ異なるパラメータの組を入力しながら、図１１のルーチンを継続的に何度も実行する。

ステップ５７０では、ＣＰＵ１２は、対象である画像ファイル１８の幾度もの分割操作の結果を併合するように作用する。前記併合操作は、図１３のルーチンの併合ステップ５３０と同様であり得る、例えば、選択した数のピクセルだけ重なる識別された全てのＢ型トークンの併合である。代替としてＣＰＵ１２は、上記重なり基準を以下のように、本発明の別の模範的な次の実施形態について実行することが可能である。

ステップ５８０では、ＣＰＵ１２は、上記のように、図５ａのルーチンの実行中にＣＰＵ１２によって識別されたＣ型トークンに必要ならば併合することが可能である。低い二次微分値のピクセル区画の検査において、フィルタレスポンス技術は、本質的に物質エッジを避ける傾向があり、したがって当該技術は、エッジの周囲で画像領域に至ることのできないＢ型トークンをもたらす。二次微分フィルタレスポンス技術によって識別されたＢ型トークンに「記入する」ために、ＣＰＵ１２は、前もって識別したＣ型トークンに重なる、識別されたＢ型トークンを併合することが可能である。再度ではあるが、重なり基準は上記したように存在し得る。ステップ５９０では、ＣＰＵ１２はＢ型トークンのリストを出力する。

本発明の別の模範的実施形態では、ＣＰＵ１２は（オペレータブロック２８のように実行して）、任意の境界除去、隣接平面トークン併合、局所的トークン解析、及び、フィルタレスポンス技術のそれぞれによって、及び／又はそれらのうち一つ以上の組み合わせによって別々に生じたＢ型トークンのリストをコンパイルする。用いられた技術の組み合わせの決定は特に、画像の特定の領域が画像のテクスチャのためにフィルタにかかったかどうかに依存する。上記技術によって生じた各Ｂ型トークンが変化する照明条件下で一つの物質を表現する傾向があるために、様々に異なる技術を用いることによって生じた十分なＢ型トークンの重なりを併合することは、単一物質を含んでいる画像のより広い区域を表現し、且つ、Ａ型トークンの範囲に近づく、併合したＢ型トークンという結果をもたらす。

十分に重なり合うというのは、特定のピクセル特性基準を満足することによって、例えば以下のように規定することが可能である。
Ａ）前記二つのＢ型トークンが、共通して初期Ｃ型トークンの少なくともｎ、例えばｎ＝１を有する。
Ｂ）前記二つのＢ型トークンが、共通して少なくともｎ、例えばｎ＝２０個のピクセルを有する。
Ｃ）前記二つのＢ型トークンが少なくともｎ％の重なりを有する、つまり、前記二つのＢ型トークンのうち、一番目のものにおける少なくともｎ％、例えばｎ％＝１０％のピクセルが、前記二つのＢ型トークンのうち、二番目のものにおいても検出される又はその逆である。
Ｄ）前記二つのＢ型トークンのうち小さいほうのものにおけるピクセルの割合が、二つのＢ型トークンのうち大きいほうのものにおいても検出され、当該割合が予め選択した閾値、例えば１５％より上である。
Ｅ）基準Ａ〜Ｄの予め選択した組み合わせ。

二つの十分に重なっているＢ型トークンの併合は、先に述べたユニオンファインドアルゴリズムの実行のような数学的操作によって達成することが可能である。二つの重なり合うＢ型トークンが上記基準を満たさない場合には、二つのトークンの重なり合うピクセルは、二つのＢ型トークンのうり大きいほうのものに割り当てられ得る。

本発明の特徴構成にしたがう、Ｃ型トークン化ブロック３５及び／又はオペレータブロック２８（ＣＰＵ１２による）のトークン発生及び併合技術による実行の結果として、画像は、シーン内に描かれた不連続な物質を表現するトークン（Ｂ型トークン）と同じ、ロバストな（頑健な）色の領域を表現するトークン（Ｃ型トークン）とに正確に分割することが可能であり、それによって、トークン画像が大きな数の構成成分ピクセルの空間スペクトル情報を捕らえるのでコンピュータ化効率の基礎をもたらす。サービスプロバイダ２４は、選択した画像のあらゆる分割処理に使用するために、上記トークン発生技術の実行によって生じた全てのＣ型及びＢ型を、例えば隣接平面トークン併合技術の実行中に決定されたような関連するトークンマップ情報、及び、保存された演算子が対応付けられた選択画像ファイル１８を結果として生じる相互参照と共に保存する。

同一照明制約条件の本実施例では、サービスプロバイダ２４はＣ型トークンとＢ型トークンを、選択した制約条件によって必要とされる演算子として識別する。Ｃ型トークン化ブロック３５はＣ型トークンを生じた。サービスプロバイダ２４はオペレータブロック２８を操作して上記技術を実行し、画像３２に関連するＢ型トークン並びにトークンマップを生じる。制約条件ビルダー２６は、生じたトークン演算子を模範的な行列式、［Ａ］［ｘ］＝［ｂ］をソルバー３０へ入力するために編成する。同一照明制約条件では、関連する制約条件生成ソフトウェアモジュールの制約条件関係は、トークンマップ情報によって表示されたような隣り合うＣ型トークンが、同一のＢ型トークンの一部でない限り、同一の照明によって照らされるということである。

サービスプロバイダ２４によって保存された各Ｃ型トークンは、領域ＩＤによって識別され、且つ、行及び列番号による各ピクセル構成成分の表を含む。Ｃ型トークンの各ピクセルは、例えばＲＧＢ値について、画像を記録するために用いられた装置のノイズレベル内の、同一Ｃ型トークンの、他の全構成成分ピクセルのように、概ね同一カラー値で構成されるだろう。各特定のＣ型トークンの構成成分ピクセルの平均カラー値が、各Ｃ型トークンのカラー値を表現するために用いられ得る。各Ｂ型トークンはＣ型トークン構成成分によって識別され、したがって、各Ｃ型トークンによってその全てのピクセル構成成分を識別するために処理され得る。

本発明の特徴構成にしたがい、画像形成用モデルは、物質と照明の二つの成分を含んでいるような画像の基本的概念を反映している。この関係は次のように表され得る、つまり、Ｉ＝ＭＬ、ここでＩは各画像ファイル１８に記録及び保存されるような画像カラーであり、Ｍは記録した画像カラーの物質成分であり、Ｌは記録した画像カラーの照明成分である。各Ｃ型トークンのＩ値はしたがって、トークンのピクセル構成成分の記録したカラー値の、平均カラー値である。

したがって、ｌｏｇ（Ｉ）＝ｌｏｇ（ＭＬ）＝Ｌｏｇ（Ｍ）＋ｌｏｇ（Ｌ）である。これは次のように書き換えることが可能である。ｉ＝ｍ＋ｌ、ここでｉはｌｏｇ（Ｉ）を表し、ｍはｌｏｇ（Ｍ）を表し、及びｌはｌｏｇ（Ｌ）を表す。同一照明制約条件の制約関係において、三つのＣ型トークン、ａ，ｂ，ｃ（図１５参照）が隣接トークン（且つ同一のＢ型トークン内には存在しない）である場合の実施例では、（全ピクセル構成成分の行及び列の数を比較することによって示され得るように）、ｌ_ａ＝ｌ_ｂ＝ｌ_ｃである。ｌ_ａ＝ｉ_ａ−ｍ_ａ、ｌ_ｂ＝ｉ_ｂ−ｍ_ｂ、及びｌ_ｃ＝ｉ_ｃ−ｍ_ｃなので、これら数学的関係は以下のように表され得る。（１）ｍ_ａ＋（−１）ｍ_ｂ＋（０）ｍ_ｃ＝（ｉ_ａ−ｉ_ｂ）、（１）ｍ_ａ＋（０）ｍ_ｂ＋（−１）ｍ_ｃ＝（ｉ_ａ−ｉ_ｃ）、及び、（０）ｍ_ａ＋（１）ｍ_ｂ＋（−１）ｍ_ｃ＝（ｉ_ｂ−ｉ_ｃ）

図１５は、同一照明制約条件によって制約されたつまり隣接Ｃ型トークンａ，ｂ，ｃは同一照明に存在するように制約された、上記三つの隣接するＣ型トークン、ａ，ｂ，ｃの実施例の数学的関係についての［Ａ］［ｘ］＝［ｂ］行列式を表している。図１５の行列式では、［ｂ］行列内のｌｏｇ（Ｉ）の様々な値は、画像分離のために選択した画像からＣ型トークン化ブロック３５によって生じた隣接Ｃ型トークンａ，ｂ，ｃのピクセル構成成分について記録した平均ピクセルカラーから既知である。０、１及び−１の［Ａ］行列は、先に述べたように選択した同一照明制約条件を表す式の組によって規定される。［Ａ］行列の上から下までの行の数は、トークンに課せられた実際の制約条件の数と一致し、この場合は３つの、三つの隣接Ｃ型トークン間の同一照明である。［Ａ］行列内の左から右までの列の数は、解かれるべき未知数と一致し、この場合には再度であるが三つである。したがって、［ｘ］行列内の、各Ｃ型トークンａ，ｂ，ｃの物質成分の値は当該行列式で解かれ得る。各値は実際には、本実施例のＲＧＢカラーバンドに対応する三つの値を有する一つのベクトルであることに注意すべきである。

したがって、制約条件ビルダー２６によって決められたように、図１５の行列式は制約条件ビルダー２６によってソルダー３０へ入力されて、選択した画像の隣接Ｃ型トークンａ，ｂ，ｃの物質成分の値についての最適化した解を得る。先に述べたように、本発明の模範的なＧＵＩ実施形態では、ユーザー（使用者）は制約条件［Ａ］［ｘ］＝［ｂ］のシステムに対する最適解を見つけるために幾つかの数学的技術のうち一つを選択する。ＣＰＵ１２は、ユーザーによって選択された数学的操作にしたがいソルバー３０を設定する。

例えば、標準最小自乗法ソルバーでは、行列式は＼ｕｎｄｅｒｓｅｔ｛ｘ｝｛ｍｉｎ｝（Ａｘ−ｂ）^２と書き換えられる。ソルバー３０は次に標準最小自乗法操作を実行して、各ｍ_ａ、ｍ_ｂ、ｍ_ｃについて最適化した値を決定する。ソルバー３０は次に、最適ｍ_ａ、ｍ_ｂ、ｍ_ｃに基いて物質画像を生じて画面に表示するように進行する。物質画像では、ｍ_ａ、ｍ_ｂ、ｍ_ｃ値は、初期に記録されたＲＧＢ値、つまり、それぞれのトークンの各ピクセルで置換される。前記ソルバー３０は次に、記録された既知の画像値ｉ_ａ、ｉ_ｂ、ｉ_ｃ及び決定されたｍ_ａ、ｍ_ｂ、ｍ_ｃ値から、ｉ＝ｍ＋ｌによって表されるモデルを用いることによって照明画像を生じるようにも進行する。

物質及び照明画像の各々はモニタ２０上に表示されて、サービスプロバイダ２４によって保存され、且つ、初期の画像ファイル１８と相互参照され得る。

本発明の別の特徴構成にしたがうと、ソルバー３０は、現実世界の照明及び物質現象の制限を捕捉する範囲（bounds）を導入し、最適化手法によって解［ｘ］として決定された物質／照明値を物理的にもっともらしい範囲内に維持するように設定され得る。これは、例えば反復技術において、各反復で追加の不等式制約条件を［ｘ］内の範囲値外へ導入して、規定の範囲内の値へ転換するように実行することが可能である。したがって上記の最小自乗技術は、（［ｘ］の全てによって表現される）個々の物質評価の最少及び最大範囲を含むように増補され得る。さらに［ｘ］の全ては、物質評価が物質特性の経験的（a priori）知識と一致するように調整され得る。

本発明の模範的実施形態では、選択した制約条件を指定するために最小自乗法ソルバーにおいて用いられた行列、［Ａ］及び［ｂ］は、以下の問題で表現された範囲に準拠する。
線形最小自乗式：ｍｉｎ_ｘ：Σ_ｉ（Ａ_ｉ ^Ｔｘ’−ｔ_ｉ）^２
条件：ｘ’≧α_ｍ１
ｘ’≦ω_ｍ１
ｘ’≧ｉｍｇ_ｊ
ここで、１はあらゆる１のベクトルを表し、α_ｍは最も暗い物質値（例えば、物質は石炭よりも暗くなることはできない）を表し、及び、ω_ｍは最も明るい物質値を表す。ｉｍｇ_ｊ値は、特定のトークンｊにおけるログ強度値であり、分離後の物質カラーが原画像で表されたものよりも暗くなることができないという現実世界に基いた制約条件をもたらす、というのは、照明が観察対象である物質の外見上の色のみを照らすことができるからである。

線形最小自乗式では、ｘ’についての唯一の最小解は、Ａ^ＴＡｘ’＝Ａ^Ｔｔで表された線形システムにおいて、目標物質差ｔ_ｉと推定差Ａ_ｉ ^Ｔｘ’の間における差の二乗平均を最小化する物質マップである。例えば「ｉ番目の」制約条件Ａ_ｉが二つのトークンａ及びｂが同一物質であると指示する場合には、Ａ^ＴＡｘ’はｘ’におけるトークンａ及びｂの値の差をとり、目標値ｔ_ｉ＝０から歪を演算する。

上記「条件」範囲によって表した不等式は、最大可能な及び最小可能な物質カラー値の現実世界の制約条件を満たすもっともらしい物質解ｘ’の組を形成する。これは、標準の、つまり、「条件」範囲による制約条件がそれ以上無い場合にｘ’が、現実世界の反射観測に違反する画像の与えられた位置の値を取り、にもかかわらずｍｉｎ_ｘ’式についてより最適な解を達成するという公知の最小自乗解とは違う。

ソルバー３０によって実行される最適化処理では、処理の特定の反復において、「条件」不等式に違反する物質カラー値をトークンのいずれかが有する時にはいつでも、違反している物質値の原因をつきとめる追加の仮の制約条件が、制限条件を満たす値へ加えられる。このようにして、初期の行列［Ａ］と［ｂ］は、新しい制限条件Ａ_{ｂｏｕｎｄｓ}とｂ_{ｂｏｕｎｄｓ}（「条件」範囲の表現として）を満たす新しい行列によって増補されて、行列式［Ａ；Ａ_{ｂｏｕｎｄｓ}］［ｘ］＝［ｂ；ｂ_{ｂｏｕｎｄｓ}］の新しい増補システムを規定する。前記式の増補システムは、初期システムについてアナログ方式で、例えば公知の最小自乗処理を用いて解を与える。

本発明の上記制限の特徴構成にしたがい、追加の仮の制約条件が、カラー値が現実世界現象に違反する場合にはいつでも加えられる。増補式の再計算は必要に応じて初期システムＡ^ＴＡｘ’＝Ａ^Ｔｔから毎度（つまり、仮の制限制約条件は、反復の間に渡って実行する必要はない）繰り返し開始することが可能であり、且つ、「条件」範囲が満たされるまで増補システムＡ’^ＴＡ’ｘ’＝Ａ’^Ｔｔ’を繰り返し解く。

本発明のさらに別の特徴構成によると、Ｌ_１、Ｌ_∞目標関数が、少数の物質変化についての優先をコード化することによって最適解の正則化をあたえる。要するに、Ｌ１、Ｌ∞ソルバーは、物質マップが利点を有する像（figure-of-merit）内に少数の物質を含んでいる筈であるという経験的な判断を含んでいる。前記システムのソルバーには、利点を有する像をあらゆる可能な解に割り当てる式である目標関数と、与えられた目標関数にしたがい最適値である解を見つけだすために用いられたアルゴリズムとの間において区別がある。本実施例では問題が最小化、ｍｉｎ_ｘ’：Σ_ｉ（Ａ_ｉ ^Ｔｘ’−ｔ_ｉ）^２、であると明言しているので、目標関数が割り当てた値は「コスト（cost）」と特徴づけられ得る。

本問題では、ｘ’をカラーバンドの多くの行と多くの列で構成された行列とし、ここでｘ^’ｃはｃ番目のカラーバンドに関連したｃ番目の（縦）列を示す。最小自乗目標関数は、計算式に於いて次のように増補される。
ｍｉｎ_ｘ’：Σ_ｃΣ_ｉ（Ａ_ｉ ^Ｔｘ^’ｃ−ｔ^ｃｉ）^２＋γΣ_ｋ｜ｔｋｍａｘ_ｃ｜Ａ_ｋ ^Ｔｘ^’ｃ｜
ここで、γ｜γ＞０は、最小自乗項に関連したコストと、Ｌ_１、Ｌ_∞ペナルティとの間のトレードオフ（trade-off）を支配する。Σ_ｋ｜ｔｋｍａｘ_ｃ｜Ａ_ｋ ^Ｔｘ^’ｃ｜という表現は、［Ａ］内の全同一物質制約条件に渡る最大チャンネル毎の絶対差を累算する。

例えばトークンａとｂの間に同一物質制約条件を与えると、Ｌ_１、Ｌ_∞関数はカラーチャンネルｃに渡るｘ^ｃ _ａとｘ^ｃ _ｂの間に最大差を有するカラーチャンネルについての項だけを含むだろう。本発明の模範的な実施形態では、例えば目標関数 ｍｉｎ_ｘ’：Σ_ｃΣ_ｉ（Ａ_ｉ ^Ｔｘ^’ｃ−ｔ^ｃｉ）^２＋γΣ_ｋ｜ｔｋｍａｘ_ｃ｜Ａ_ｋ ^Ｔｘ^’ｃ｜によって表されるような最適化処理は、縮小技術である。即ち、最小自乗問題の数列は、各回において、同一物質制約条件に違反すると決定された制約対象は縮小されるという方法で解かれる。数列の最後には、与えられた閾値を下まわる値を有する制約条件が制約条件システムから間引かれ、新しい最小自乗解を演算する。上記「条件」範囲のような範囲が、制限されたＬ_１、Ｌ_∞ソルバーをもたらすために目標関数に加えられ得ることに注目すべきである。

図１６ａ、１６ｂ及び１６ｃは、境界画像空間スペクトル演算子の実施例を表している。図におけるピクセル解析は、各境界を形成している画像の領域間のカラー比に関する情報を、境界画像制約条件において用いるために与える。

図１６ａを参照すると、図５ｄの二つのＢ型トークン間における境界６２６の詳細が表れている。本発明の特徴構成にしたがうと、境界６２６の表示は、当該境界６２６に位置し且つ境界６２６を規定している各Ｂ型トークン内に延びる隣接ピクセルから構成される。前記ピクセル表示は、境界に関連するピクセルのサンプル、例えば、境界６２６を形成している各Ｂ型トークン内にパッド６２８を有するピクセル配列をもたらすように設定され、前記パッド６２８によって、供給されたピクセルの各カラー値（例えばＲ、Ｇ、Ｂ値のような）の関数として空間スペクトル解析に供することが可能となる。前記サンプルは比較され、物質変化に対応する境界６２６の尤度を決定する。ＣＰＵ１２は、最初のＢ型トークン６３０の周辺ピクセルを横断することにより、且つ、前記境界６２６の反対側にあるＢ型トークン６３２の対応する周辺ピクセルまでの距離を決定することにより、パッド構成を生じるように操作される。

周辺ピクセル間の最短距離の位置が見つけられると、次にその位置は画像を生じるための開始点として用いられる。対応するＢ型トークン６３０、６３２の周辺ピクセル間の最短距離のまさに真中にあるピクセル６３４（図中では図示を目的としてサイズは誇張している）が、前記画像の一つ目の分離を規定する。次にＣＰＵ１２は、ピクセル６３４から、多くのピクセル例えば１０−１２ピクセルを含むＢ型トークン６３０内の、境界６２６に垂直方向にピクセルをトラバースする。前記位置で、ＣＰＵ１２は、パッド６２８のうち一つを、ピクセル６３４から１０−１２ピクセル離れた位置周辺で、複数ピクセルのうち一つの配列、例えば３×３配列として識別する。ＣＰＵ１２はＢ型トークン６３２について同様の操作を繰り返し、ピクセル６３４の両側で一つのパッド対６２８と、Ｂ型トークン６３０，６３２の各一方で、境界を形成する一つのパッド６２８を規定する。

パッド６２８の対を含んでいる第１セグメント（segment）を完了するとすぐに、ＣＰＵ１２は、対象とする境界６２６の全長さに沿って、さらなる一連のパッド対を生じる。そのために、ＣＰＵ１２は、ピクセル６３４の両側で境界ピクセル６３６を識別するが、当該境界ピクセルは、互いに決まった数のピクセル例えば５ピクセルずつ互いに離れており、且つ、Ｂ型トークン６３０、６３２の周辺ピクセル間の境界内に各々配置している。各境界ピクセル６３６について、ＣＰＵ１２は、各ピクセル６３６の両側で一つのパッド対６２８と、Ｂ型トークン６３０，６３２の各一方で、境界を形成する一つのパッド６２８とを、ピクセル６３４周辺のパッド対に関して実行したのと同様に識別する。

本発明の特徴構成にしたがい、ＣＰＵ１２は、境界変化が物質変化であるかどうかに関する尤度を表示するデータを生じるための計算を含む、前記画像のピクセルにおける一連の空間スペクトル試験を実行する。

最初の試験は勾配一致のログを含んでいる。当該試験は、前記画像の各側（図１６ａの表示された画像の上側及び下側）での境界に並列な勾配間の一致を検査する。勾配のログは、異なる強度を有する物質を説明するのに用いられる。ＣＰＵ１２は次のように操作する。
１．和変数をゼロに、Ｅ＝０に初期化する；
２．各パッド６２８について、
（ａ）各側について、現在のパッドと次のパッドの、平均カラー値の差を計算する（勾配）；
（ｂ）各側について、前記差のログを取る（勾配のログ）；
（ｃ）上側と下側のログ差（図１６ａ中に示した画像の、上側パッド６２８と下側パッド６２８について）間の差二乗和を計算する；
（ｄ）当該値をＥへ加える；
３．Ｅを例えば数学的な疑似尤度（pseudo-likelihood）へ変換する：

次の試験は、動的タイム・ワーピング（ＤＴＷ）を用いた左及び右側勾配の一致を含んでいる。この試験では、ＣＰＵ１２は次のように操作する。
１．前記画像の各パッド対について：
（ａ）各側について、パッド位置からパッド位置へ、境界６２６と平行な線を辿る（図１６ｂ参照）；
（ｂ）各側について、上側及び下側に、各線の点をベクトル、つまりＶ（Ｕ）又はＶ（Ｌ）へ追加する（図１６ｂ参照）；
２．各Ｖ（Ｕ）及びＶ（Ｌ）の勾配のログを演算して、結果を∇Ｖ（Ｕ）及び∇Ｖ（Ｌ）へ入れる；
３．動的タイム・ワーピングを用いて、∇Ｖ（Ｌ）を∇Ｖ（Ｒ）と比較し、エラー量Ｅを生ずる；
４．Ｅを例えば数学的擬似尤度へ変換する。

三つ目の試験では、ＣＰＵ１２は、ログ空間一致操作（log space matching operation）を実行する。
１．各側について（図１６ａ参照）、パッド６２８の全ての平均カラー値を一つのベクトルへ収集し、ピクセル強度にしたがって分類する；
２．各側について、５パーセントと９５パーセントのピクセルを、例えばそれぞれ暗及び明として選択する；
３．各側について、明及び暗ピクセルのログ、即ちＤ（Ｒ）とＤ（Ｌ）間のユークリッド距離を計算する；
４．二つの距離の差、即ちＥ（１）＝Ｄ（Ｒ）−Ｄ（Ｌ）を演算する；
５．Ｅ（１）を数学的擬似尤度へ変換する、例えばｐ（１）＝ｅ^{-10(square of E(1))}
６．各側について、例えば特異値分解（ＳＶＤ）を用いることによって、境界ピクセルの共分散行列の一次固有ベクトルを計算する；
７．（各側についてひとつ）二つの一次固有ベクトルの内積を計算して、結果をＥ（２）へ入れる；
８．Ｅ（２）を擬似尤度へ変換する、例えばそれを直接的に用いるｐ（２）＝Ｅ（２）；
９．長さ尤度と配向尤度を組み合わせて、最終的な擬似尤度、Ｌ＝ｐ（１）ｐ（２）を生成する。

四つ目の試験では、ＣＰＵ１２は、各ムカデ様パッド対について多重スケール比一致（multi-scale ratio matching）を実行する。ＣＰＵ１２は次のように操作する。
１．各側について（図１６ａ）、パッド６２８の全ての平均カラー値を一つのベクトルへ収集し、境界に沿った順に分類する；
２．収集変数（collection variable）Ｐとカウンタ変数（counter variable）Ｎとを初期化する；
３．各パッドｉについて、
例えば１から３までの各距離ｄについて、
ｉ．一方の側の、パッドｉの各バンドが、反対側のその相手方よりも明るく、且つ、ｉ＋ｄの各バンドが、両側間で同一関係を表す場合、
− 位置ｉでの上側と下側パッド間の反射比が、ノイズモデル（例えば、一定の項と画像強度において線形である項とを考慮に入れた線形ノイズモデル）を用いることによって、位置ｉ＋ｄでの上側と下側パッドについての反射比と等しくなる確率ｐを計算する；
− 結果ｐを収集変数Ｐへ加える；
− カウンタ変数Ｎをインクリメントする
ｉｉ．そうでなければ、つまり二つのパッド位置での色が類似ではない、例えばＲ（ｍｘ）ａｘよりも大きな（例えば１．３）又はＲ（ｍ）ｉｎよりも小さい（例えば０．７７）のカラーバンド比を有する場合には、０をＰに加えて、カウンタ変数Ｎをインクリメントする；
４．Ｎ＞０であれば、ＰとＮから擬似尤度を計算する、例えば、Ｌ＝Ｐ／Ｎ；
５．そうでなければ尤度をゼロに設定する、Ｌ＝０。

別の試験では、ＣＰＵ１２は画像の二光源二色性反射モデル（ＢＩＤＲモデル）を用いる。ＢＩＤＲモデルの予測にしたがい、二つのＢ型トークンの全ピクセルが、直接／周辺趾光源対下で単一物質由来である場合には、当該ピクセルはＲＧＢ空間内の線によって良好に表現されるであろう。パッド線形性試験が、前記画像（図１６ａ）の両側におけるパッド６２８の平均カラー値がいかに上手くＲＧＢ空間内の線に近似するかということを決定するように考案され得る。パッド線形性試験では、ＣＰＵ１２は次のように操作する。
１．各側

について、
（ａ）パッド６２８の平均カラー値を一つのベクトルへ収集する；
（ｂ）一次及び二次固有ベクトル（ｅ（１），ｅ（２））と、共分散行列の固有値とを、例えばＳＶＤを用いることによって計算する；
（ｃ）二次固有ベクトルに対する一次固有ベクトルの比、Ｒ＝ｅ（１）／ｅ（２）を計算し、二次固有ベクトルがゼロであり、一次固有ベクトルがゼロでない場合には、Ｒ＝２０とし、一次固有ベクトルもゼロである場合には、Ｒ＝０とする；
（ｄ）当該比を、例えば以下の式を用いて数学的擬似尤度に変換する、

ここで、

且つ、定数についての実施例値はα＝１２とｃ＝０．５である；
（ｅ）各パッド平均値を一次固有ベクトルへ投影し、当該固有ベクトルにしたがって最小及び最大距離、Ｄ（ｍｉｎ）及びＤ（ｍａｘ）を計算する；
（ｆ）距離Ｄ（ｍａｘ）−Ｄ（ｍｉｎ）をＫ個のビンへ（例えば、Ｋ＝５）分割する；
（ｇ）幾つのピクセルが一次固有値にしたがう各距離に存在するかというヒストグラムを構築する；
（ｈ）幾つのピクセルが、それらの中にＣ個のピクセル（例えばＣ＝０）以上を有さないかを数えて、結果をＥ（ｓ）へ保存する。
２．算出した複数の擬似尤度を一つの擬似尤度、例えば
Ｌ＝Ｒ（ｌｅｆｔ）Ｒ（ｒｉｇｈｔ）（Ｅ（ｌｅｆｔ）Ｒ（ｒｉｇｈｔ）^０．７
へ変換する。

六番目の試験では、ＣＰＵ１２は、画像（図１６ａ）の両側のパッド６２８が、妥当な二光源の直接／周辺光源対に対応するかどうかを決定する試験を実行する。この試験では、ＣＰＵ１２は次のように操作する。
１．各側

について、
（ａ）パッド６２８の全ての平均カラー値を一つのベクトルへ収集する；
（ｂ）例えばＳＶＤを用いることによって、ピクセルの共分散行列の一次固有ベクトルｅ（１）を計算する；
（ｃ）全ての要素ｅ（１）が同一の符号を有しない場合には、Ｒ（ｓ）＝１とする；
（ｄ）そうでない場合には、ｅ（１）に１又は−１をかける、その結果全て正となり、その彩度（saturation）、
Ｒ（ｓ）＝ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ）／ｍａｘ（Ｒ，Ｇ，Ｂ）
を計算する；
（ｅ）Ｒ（ｓ）を、例えば次式を用いて擬似尤度へ変換する、

ここで、定数に対する実施例値はα＝２５とＭ＝０．６５である。

もっと別の試験では、ＣＰＵ１２は、画像（図１６ａ）の両側におけるパッド６２８の平均カラー値間での変化量について検査する。変化量が大きければ大きいほど、境界変化の性質に係る情報量も大きくなる。ＣＰＵ１２はつぎのように作用する。
１．各側について、パッド６２８の平均カラー値のうち、最小、最大及び平均強度を計算する；
２．各側について、規格化した変化量Ｖ（ｓｉｄｅ）＝（ｍａｘｉｍｕｍ−ｍｉｎｉｍｕｍ）／ａｖｅｒａｇｅを計算する；
３．各側について、規格化した変化量を、例えば次式を用いて擬似尤度に変換する、

ここで、定数についての実施例値はα＝２５とＭ＝０．４である。
４．例えば、Ｌ＝Ｌ（ｌｅｆｔ）Ｌ（ｒｉｇｈｔ）を用いて、各側についての擬似尤度を組み合わせる。

次の試験はストリップトークン検査を含んでいる。ＣＰＵ１２は、境界ピクセル６３６毎に一つ、且つ、それぞれ各境界ピクセルから８−１０ピクセル長さ及び２−４ピクセル幅延びている一連のストリップ（細長）トークン６４２（図１６ｃ参照）を含んでいるストリップトークン画像を計算する。ＣＰＵ１２は、各側でストリップトークン６４２の鮮明度(sharpness)を解析する、ここで鮮明度とは、全ストリップに渡る最大変化の部分として、ストリップ内で二つの隣り合うピクセル間の最大差で規定される。ＣＰＵ１２は以下のように操作する。
１．一組のピクセル細長片（ストリップ）の組（例えば２×８ピクセルサイズ）であって、境界に沿って中心に揃えられて且つ境界に対し垂直に配向される（図１６ｃ参照）、ピクセル細長片の組を生じる；
２．各細長片について、その鮮明度を、当該細長片内の最大及び最小強度ピクセル間の差に対する、当該細長片内の隣り合ういずれか二つのピクセル間の最大差の比として計算する；
３．全細長片の平均鮮明度を計算する；
４．平均鮮明度である、

を擬似尤度として戻す。

次のストリップトークン試験では、ＣＰＵ１２は、各細長片の直線性の解析を実行する。ＣＰＵ１２は次のように操作する。
１．一組のピクセル細長片の組（例えば２×８ピクセルサイズ、図１６ｃ参照）であって、境界に沿って中心に揃えられて且つ境界に対し垂直に配向される、ピクセル細長片の組を生じる；
２．各細長片について、当該細長片内におけるピクセルの共分散行列の、一次及び二次固有値の比を用いることによって、その直線性の程度を計算する；
３．各細長片ｉについて、その直線性ｌ（ｉ）を、例えば

を用いることによって、擬似尤度へ変換する。
ここで、定数の実施例値はα＝０．５及びＣ＝１０である。

さらに別のストリップトークン試験では、ＣＰＵ１２は、画像がどのようにして各ストリップトークンに対して垂直に変化するのかを検査する。ＣＰＵ１２は次のように操作する。
１．ピクセルのＮ個のストリップ（例えば、２×８ピクセルサイズ）（図１６ｃ参照）の組を生じる；
２．カウンタをＣ＝０に初期化する；
３．各ストリップについて、ストリップのエッジピクセルを識別する
（ａ）各エッジピクセルｐについて：
ｉ．前記ストリップの長軸に垂直な線内のＭ個のピクセルを検査する
ｉｉ．Ｍ個のピクセルの各々について、ノイズモデルを用いることによって、エッジピクセルｐに対する類似度を計算する
ｉｉｉ．Ｍ個のピクセルのいずれかがｐと異なる場合には、当該ストリップが試験に不合格であるとみなして、Ｃをインクリメントする；
４．不合格の割合Ｌ＝Ｃ／Ｎを計算することにより、不合格のストリップの数を、擬似尤度へ変換する。

特徴計算についての試験の組が完了するとすぐに、ＣＰＵ１２はコンピュータ学習技術を実行して、ＣＰＵ１２の試験操作によって蓄積した、数学的に決定された擬似尤度データを解析する。前記ＣＰＵ１２は、前記試験において決定された様々な尤度Ｌから特徴ベクトルを形成する。当該ＣＰＵ１２は次に操作されて、前記特徴ベクトルが、十中八九物質境界であり、他の種類の境界、例えば、照明エッジ、深さ境界又は、照明と物質の同時変化ではない、境界を表示するかどうかについての決定をすることが可能な、分類を学習する。例えば、各擬似尤度について入力を伴うニューラルネットワーク(neural network)を操作して決定を出力することが可能である。他の実施手法例は、サポートベクトル機械（ＳＶＭ）、ベイズの決定樹、又はブースティング（boosting）を含む。前記境界が物質境界であるという尤度の決定がされるとすぐに、比Ｘが、境界を形成するＢ型トークンの物質カラーについて決定され、且つ、上記のようにＣ型トークンを縁取る制約条件として適用され得る。

図１７は、サービスプロバイダ２４と制約条件ビルダー２６についての汎用機能ブロック図である。全体図中の上記制約条件例をまとめると、画像３２と、制約条件生成プログラムの組１，２，・・・Ｎから（制約条件発生プログラムソフトウェアモジュール）、例えばユーザーがＧＵＩを用いて多くの制約条件生成プログラムの選択を成す。制約条件生成プログラムの組１−Ｎは、上記の制約条件と、画像についての空間スペクトル情報の関数として生じたいずれの追加制約条件関係も含んでいる。上記の制約条件の組は一例としてもたらした。本発明は、画像の物質及び照明様相に関する論理的演繹をもたらす、空間スペクトルオペレータに基いた、したがって、最適解が供与された画像の固有照明と物質構成成分とを捕らえている式の組を規定するために行列［Ａ］と［ｂ］を構築するための基本原理に基いた、あらゆる制約関係をも予想している。

また、Ｃ型トークン化ブロック３５又はオペレータブロック２８によって生じた、オペレータの組１−Ｍは、制約条件先生プログラムモジュール１−Ｎにおいて規定された全てのオペレータを含んでいる。図１７において示されているように、サービスプロバイダ２４は、選択された制約条件生成プログラム１−Ｎによって要求されたように全てのオペレータ１−Ｍを供給し、さらに、選択された制約条件生成プログラム１−Ｎを制約条件アセンブリ３９と、ロジカルスイッチ４０を介して結合する（いずれも制約条件ビルダー２６内に構築される）。選択した画像３２のいずれのオペレータ１−Ｍもまだサービスプロバイダ２４によって保存されていなければ、当該サービスプロバイダ２４はオペレータブロック２８を使用して、そのようなオペレータを必要に応じて上記のようにしてコンピュータで計算する。制約条件アッセンブリ３９は、オペレータの関数として、選択した制約条件生成プログラムのうち各々一つに対し別々の［Ａ］［ｘ］＝［ｂ］行列と、各制約条件生成プログラム１−Ｎで規定された制約関係を構築する。各々、［Ａ］［ｘ］＝［ｂ］行列が上記と同様にして、同様の照明実施例について構築される。

式［Ａ］_ｉ［ｘ］＝［ｂ］_ｉのシステムの構築が完了するとすぐに、選択した制約条件生成プログラム、ｉ＝｛１，２，・・・Ｎ｝について、制約条件アッセンブリ３９は、各制約条件生成プログラムから、行列成分［Ａ］_ｉ、［ｂ］_ｉを連結する。連結された各式が、異なる未知の部分集合［ｘ］を含んでいるかもしれないので、前記アッセンブリは、［ｘ］内の特定の未知数に制約を加える、個々の行列［Ａ］_ｉの対応する列が位置合せされるように実行される。前記連結された行列、［Ａ］［ｘ］＝［ｂ］は、次にソルバー３０へ入力されて、完全な［ｘ］ベクトル内の未知数を解き、選択した最適化手順に従って、固有画像３４の出力をする。結合した行列［Ａ］［ｘ］＝［ｂ］内の個々の制約条件は、（五感で）認識される各制約条件の重要性、強度、又は経験的に決定された信頼水準のようなファクタの関数として、互いに評価され得る。

上記実施例の同一照明制約条件は、Ｃ型トークン及びＢ型トークン空間スペクトルオペレータを使用する。これらトークンオペレータは、人工物を含む、画像内にしばしば描かれるような一つの物質の広い表面積を含んでいる画像の優れた表現をもたらす。しかしながら多くの自然のシーンでは、砂、草、石、葉等のような非常にテクスチャ（表面模様）のついた広い面積の領域が存在する。先に述べたように、Ｃ型トークンを用いたＢ型トークンの識別は、一つの画像テクスチャ内では困難であろう。本発明のさらなる特徴構成にしたがうと、テクストンヒストグラムオペレータが、例えば［Ａ］［ｘ］＝［ｂ］行列によって表現されたような制約条件に基いた最適化において有用である手法で、テクスチャ領域の均一な空間変化を統計学的に捕らえるための手法をもたらす。

したがって本発明のこの特徴構成にしたがい、上記のようにＢ型トークンを識別することにおいて用いるために強度ヒストグラムから、画像のテクスチャ領域内にＣ型トークンを発生するのではなく、テクスチャトークンが、制約条件において用いるためにＢ型トークンの種として発生される。トークンヒストグラムオペレータの模範的な実施形態では、オペレータブロック２８は、画像の各ピクセル（又は、テクスチャを含んでいるものとして識別された画像のこれら領域のピクセル）を、例えばＲＧＢカラーバンド値のような、記録した各画像ファイル１８のカラーバンド表現から、テクストンラベル及びテクストンヒストグラムラベルを有する二つのバンド表現へ変換する。前記ピクセルについての二つのバンド表現は、それから、次に記載のように、テクスチャトークンを識別するために用いられる。

各ピクセルに対するテクストンラベルが、クラスタ化処理の実行によって生じる。テクスチャは、テクスチャ基本要素（例えば、草テクスチャ、草の単一葉身で）によって、及び、当該基本要素の空間分布によって特徴を描写される。テクストン解析は、例えば、クラスタ化アルゴリズムによって、テクスチャ基本要素の特徴を描写するための分析的手法である。クラスタ化とは、自然群又は自然クラスタの中心をデータ内に位置決めする処理である。本発明の模範的な実施形態では、前記データは、物質要素と照明要素とに分離された画像のピクセルの間から選択されたピクセル区画を含んでいる。例えば、３×３ピクセル区画がＫ個の異なる群にクラスタ化され、その際、各群は指定番号（１，２，３，・・・Ｋ）を割り当てられる。３×３配列の各ピクセルに対するテクストンラベルとは、クラスタ化処理中に各区画が割り当てられた群の群番号である。

クラスタ化アルゴリズムの実行を速めるために、３×３区画の無作為サンプルが画像全体にわたって、又は、クラスタ化アルゴリズムにおいて処理するためのテクスチャを含んでいるとして識別された画像の領域全体にわたって選択され得る。ＣＰＵ１２によるクラスタ化アルゴリズムの実行後（オペレータブロック２８としての処理）、画像の各３×３区画は、選択された無作為サンプルについて実行されたように、クラスタ化処理中に識別された複数のＫ群中央のうち最も近い一つのテクストンラベルに割り当てられる。

有利には、クラスタ化アルゴリズムの実行前に、画像のピクセルを画像強度規格化する。強度に基いた距離行列を使用するクラスタ化処理では、画像の暗領域は一つの群内におかれるかもしれず、その結果、画像のテクスチャ領域の陰影領域に対する群の過少表現となる。画像の規格化は、変化する照明下でのテクストン領域に対し、より正確なテクストン表現をあたえる。ピクセルに対する規格化した強度は次の式によって表され得る。
ｉ_ｎｏｒｍ（ｎ，ｍ）＝ｌｏｇ（ｉ（ｎ，ｍ）／ｉ_ｂ（ｎ，ｍ））
ここで、ｉ_ｎｏｒｍ（ｎ，ｍ）はピクセルｐ（ｎ，ｍ）に対する規格化した強度であり、画像ファイル１８に記録されたように、ｉ（ｎ，ｍ）はピクセルｐ（ｎ，ｍ）に対する強度、及び、ｉ_ｂ（ｎ，ｍ）はピクセルｐ（ｎ，ｍ）のぼかしフィルタ又は低減フィルタをかけたものである。例えば、１０ピクセルのブラー半径が、いずれの標準ブラーリング関数においても用いられ得る。

クラスタ化は、例えばＫクラスタ又は群Ｓ_ｉ、ｉ＝１，２，・・・Ｋが存在するＫ平均クラスタ化のような公知のクラスタ化アルゴリズムに従って実行することが可能であり、及び、μ_ｉは全てのデータ点

の平均点又は中央点である。実施例では、各ｘ_ｊは、前記区画中の９個のピクセルの９×１ベクトルとして定められた、一つの選択された３×３ピクセル区画を含む（ベクトルの各９個のベクトルのＲＧＢ値を含み、総数２７要素）。先に述べたように、各平均点μ_ｉはテクストンラベル、１，２，３・・・Ｋに割り当てられ、各平均点が中央となる群へクラスタ化された３×３区画のいずれのピクセルに対してもテクストンラベルとなる。

本発明の模範的な実施形態にしたがい、ＣＰＵ１２は、画像の３×３ピクセル区画を表現している選択した９×１ベクトルを、初期にＫ個の初期群Ｓ_ｉに区分化することにより、前記アルゴリズムを実行する。ＣＰＵ１２は次に、各群Ｓ_ｉについて、強度に基いた距離行列を用いることにより中央点μ_ｉを計算する。各群Ｓ_ｉについて中央点μ_ｉを決定後、ＣＰＵ１２は、必要ならば群を変更することによって、各９×１ベクトルを最も近い中央点μ_ｉに関連付ける。次にＣＰＵ１２は、中央点μ_ｉを再計算する。ＣＰＵ１２は、各９×１ベクトルを最も近い中央点μ_ｉに関連付けるステップと、中央点μ_ｉを再計算するステップとを、集束するまで繰り返し実行する。集束したとは、９×１ベクトルのいずれについても群を変更する必要がなくなった時である。その時には、ＣＰＵ１２は、その群の各ベクトルのピクセルに対するテクストンラベルとして、各中央点μ_ｉに対し群番号を割り当てる。

先に述べたように、クラスタ化用サンプルとして選択されなかった３×３区画のピクセルは、クラスタ化処理において、選択した無作為サンプルと同様に識別された、Ｋ群中央μ_ｉのうち最も近い一つのテクストンラベルに割り当てられる。テクストンラベルマップはサービスプロバイダ２４によって保存されて、図２のピクセル配列と同じ範囲を占めている。テクストンラベルマップでは、各ピクセル位置について、各テクストンラベルの表示が存在する。

画像のピクセルに対するテクストンラベル割り当てが完了するとすぐに、ＣＰＵ１２は、各ピクセルについてテクストンヒストグラムを生成し、画像のテクスチャ領域内の、テクストン表現の空間的変化の表示をもたらす。それを目的として、ＣＰＵ１２はテクストンラベルマップにアクセスする。テクストンラベルマップ内の各ピクセル位置には、例えば２１×２１ピクセルのピクセル区画が、現在位置の周辺に設定される。２１×２１区画サイズは、テクスチャの空間的変化を捉えるように、テクストン表現を生じるために用いられた３×３区画サイズよりも遥かに大きい。次にテクストンヒストグラムが、先に述べた強度ヒストグラムと同様にして、２１×２１区画の中央のピクセル位置に対して生成される。しかしながら、テクストンヒストグラムには、カラーバンド値に基いたビンではなく、各テクストンラベル値、１，２，３，・・・Ｋについてのビンが存在する。各ビンの数は、各ビンに対してテクストンラベル値を有する２１×２１区画内のピクセルの数と一致する。

テクストンラベルマップの各ピクセルについてテクストンヒストグラムが生成した時に、ＣＰＵ１２は第２クラスタ化ステップを実行する。第２クラスタ化ステップでは、テクストンヒストグラムは、スペクトル（波長別）クラスタ化を用いることによってクラスタ化される。スペクトルクラスタ化技術は、クラスタ化の次元の数をより少数の次元に減少するように、興味の対象であるデータの相似行列のスペクトル（実施例では、テクストンヒストグラム）を用いる。供与されたデータ点の組Ａについての相似行列は行列Ｓとして規定され得る、ここでＳ_ｉｊは、複数の点間における類似度の基準を表す。

実施例では、ラプラシアンの固有ベクトルが平均シフト（mean shift）を用いることによってクラスタ化される。距離計量（distance metric）は、ヒストグラムのカイ二乗距離である。

テクストンヒストグラムラベル（１，２，・・・）が、クラスタ化手法によって規定された各クラスタ群に割り当てられる。テクストンラベルマップの各ピクセルについて、各ピクセルの前記テクストンヒストグラムに最も近づく別のテクストンヒストグラムに対応するクラスタ群のテクストンヒストグラムラベルが、そのピクセルに割り当てられる。距離は、カイ二乗ヒストグラム距離として規定される。各ピクセルへのテクストンヒストグラムラベルの割り当てが完了するとすぐに、各ピクセルは今や、二つのバンド、つまりテクストンラベル、テクストンヒストグラムラベル表現によって表示されている。

本発明の特徴構成にしたがい、前記二つのバンド、つまりテクストンラベル、画像ファイル１８のピクセルに対するテクストンヒストグラムラベル表現は、連結された行列［Ａ］［ｘ］＝［ｂ］内の［Ａ］_ｉ［ｘ］＝［ｂ］_ｉ構成成分の構築用制約条件において用いられ得る。例えば、一つの画像の或る領域であって、当該領域内の隣接するピクセルが全て同一の二つのバンド、つまりテクストンラベル、テクストンヒストグラムラベル表現を有する領域が、当該画像内に表示されたテクスチャと同一の平均物質領域を含んでいると仮定することができる。そのような領域は、テクスチャトークン、つまりＢ型トークンの種として参照され得る。したがって、同一テクスチャトークン内の全てのＣ型トークンが同一の平均物質で成っているという制約条件を課することが可能となる。この制約条件では、前記Ｃ型トークンは、隣接するピクセルのカラーバンド値から、Ｃ型トークン化ブロック３５によって生じたＣ型トークンである。

ユーザーが、制約条件生成プログラム及びＧＵＩを介して数学的操作を選択することによって本発明の上記模範的実施形態を書き表す間に、画像分離処理は他の操作モードで例えば自動的に、制約条件生成プログラムと数学的操作が、例えば画像パラメータの関数として自動的に選択されることによって、画像に実行される。

次に図１８を参照すると、図３の画像分離システム構成のような画像変換手法を試験するためのテストベッド用ブロック図を示している。前記テストベッドは、自動選択を確認して設定するために、画像分離操作を試験するのに用いられる。入力３２は、画像ファイル１８のようなデータとパラメータを、データ及びその関連したパラメータデータファイルとして含む。変換要素５０は、実施例では、入力画像ファイル１８の画像に対応する固有画像を生成することによって、データを変換するように操作する、図３の画像分離システム構成を含む。前記固有画像は、先に述べたように物質画像と照明画像とを含む。

本発明の特徴構成にしたがい、生成した固有画像は、当該固有画像を入力データとして用いるテスト／アプリケーションモジュール５２に入力される。本実施例の前記テスト／アプリケーションモジュール５２は対象物認識手法である。前記対象物認識手法は、特徴に基いた学習フレームワーク、外観に基いた学習フレームワーク、形状に基いた解析と分類、及び、モデルに基いた対象物認識のような公知の対象物認識手法を含む。試験手順において、既知対象物の画像の組を含んでいるギャラリー５４が、変換要素に入力された画像ファイル１８を含むプローブ５６と共に入力される。対象物認識手法は、例えば或る画像とその対応する固有画像との間のような認識能力における改善を確実にするように、プローブと固有画像の各々に実行される。

全ての試験結果は、一連のプローブと対応する固有画像に対する全ての対象物認識結果をコンパイルするように作用する、解析モジュール５８に入力される。前記コンパイルは、パブリッシュモジュール６０によって表示され、フィードバックループ６２に出力もされる。前記フィードバックループ６２は、変換要素５０とテスト／アプリケーションモジュール５２の各々を制御し、異なる制約条件生成プログラム、数学的最適化操作及び変数パラメータの選択下で、同一画像に操作を実施する。

例えばＢ型トークンを識別するためのフィルタレスポンスの本模範的実施形態では、変換要素５０の分離操作において用いられるべき変数パラメータは、σファクタ、区画サイズと形状、低フィルタレスポンスの規定、及び、十分な重なりの規定を含んでいる。異なるパラメータの組み合わせは異なる結果を生じる。一組のパラメータは一つの画像の幾つかの部分を、上手く規定されたＢ型トークンによって捕らえることができるが、当該画像の、多くの小さな非結合区画で存在する他の部分は捕らえられずに残っており、他のパラメータの組が画像の他の部分を上手く捕らえるかもしれない。したがって、パラメータ組内において値を変化することによって、解析及び比較についてより優れた全体的な結果をもたらす、幾つかのセグメント化結果の組が得られうる。また、用いられた特定の対象物認識手法は、様々な対象物認識手法／パラメータの組み合わせ、及び、結果への影響を解析するために、テスト／アプリケーションモジュール５２内で変更することも可能である。

ドメイン知識も、特定の種類の画像に対し自動的な設定を確定するために、異なる制約条件及び最適化処理に相関することが可能である。例えば、冬の午後３時に撮られた広い緑色の芝を有する屋外シーンを描いている画像について、変換要素５０及びテスト／アプリケーションモジュール５２の各々によって、様々に異なる制約条件、最適化処理、変数パラメータ、対象物認識手法等によって操作を実行すること、及び、そのような画像に対して最善な設定を経験的に決定するように解析することが可能となる。そのために、公知の学習アルゴリズムがフィードバックループ６２において実行されうる。選択した異なる制約条件の組について、各選択した制約条件に対する最適な重きを確定するために、各々のウェートを変化することも可能である。

上記明細書では、本発明は特定の模範的実施形態とその実施例を参照して記載されてきた。しかしながら、請求項に列挙された本発明の広い精神と範囲から逸脱することなくそれらに対する様々な修正及び変更が成されうる。したがって当該明細書と図面は、認識を限定するのではなく一つの例示手法であるとみなされる。

Claims (10)

1. 自動化され、コンピュータ管理された画像処理方法において、
   多帯域色画像を供給するステップと、
   前記画像のための空間スペクトル演算子で表される空間スペクトル情報を生成するステップと、ここで前記空間スペクトル情報は、カラーバンドに関して前記画像の連続したピクセル間のスペクトル関係により与えられ、これらスペクトル関係は前記画像の物質特性及び照明特性と、ピクセルスペクトル関係の空間エクステント（範囲）に関連し、
   前記空間スペクトル情報の関数として制約条件を規定するステップと、ここで前記制約条件は、前記空間スペクトル演算子の幾つかに加えられて行列式において表された制約関係の表現式であり、及び、
   それぞれが前記画像に対応していて、前記画像の物質成分を表示する物質画像及び前記画像の照明成分を表示する照明画像を識別するために、前記行列式の最適化した解を有する画像分離操作で前記制約条件を使用するステップとを含む、方法。
2. 前記空間スペクトル情報がトークンを含む、請求項１に記載の方法。
3. 前記空間スペクトル情報がログ色度表現を含む、請求項１に記載の方法。
4. 前記空間スペクトル情報がＸジャンクションを含む、請求項１に記載の方法。
5. 前記空間スペクトル情報が、入射光と周辺光の両方を考慮する二光源二色性反射（ＢＩＤＲ）モデル表現を含む、請求項１に記載の方法。
6. 前記空間スペクトル情報が境界表現を含む、請求項１に記載の方法。
7. 前記空間スペクトル情報が、テクストンヒストグラムに基いたピクセル表現を含み、与えられたピクセルに隣接するピクセルの色値のヒストグラムをそれぞれのカラーバンドのために生成して、ここでそれぞれのヒストグラムは同数のビンを有し、またこれらのヒストグラムを一つのヒストグラムに繋ぐことで得られるヒストグラムにより、与えられたピクセルが表される、請求項１に記載の方法。
8. 前記制約条件が、画像の特定位置の物質を特定の色となるように制約する絶対的物質カラー制約条件、スペクトル演算子を同一物質で構成されるように制約する同一物質制約条件、及び、スペクトル演算子を類似の反射特性を有するように制約する相対反射制約条件のうちの一つを含む、請求項１に記載の方法。
9. ＣＰＵと、
   多帯域色画像を規定する画像ファイルを保存するメモリとを有するコンピュータシステムにおいて、
   前記ＣＰＵは、前記画像のための空間スペクトル演算子により表される空間スペクトル情報を生成するためのルーチンを実行するように定められ且つ構成されており、ここで前記空間スペクトル情報は、カラーバンドに関して前記画像の連続したピクセル間のスペクトル関係により与えられ、これらスペクトル関係は前記画像の物質特性及び照明特性と、ピクセルスペクトル関係の空間エクステント（範囲）に関連し、
   当該ＣＰＵは前記空間スペクトル情報の関数として制約条件を規定し、ここで前記制約条件は、前記空間スペクトル演算子の幾つかに加えられて行列式において表された制約関係の表現式であり、
   当該ＣＰＵは、それぞれが前記画像に対応していて、前記画像の物質成分を表示する物質画像及び前記画像の照明成分を表示する照明画像を識別するために、前記行列式の最適化した解を有する画像分離操作で前記制約条件を用いる、コンピュータシステム。
10. コンピュータ読み取り可能な媒体に配されるコンピュータプログラムにおいて、
    コンピュータ制御可能な次の処理ステップ、つまり、
    コンピュータメモリ内の、多帯域色画像を描いている画像ファイルを供給するステップと、
    前記画像のための空間スペクトル演算子により表される空間スペクトル情報を生成するステップと、ここで前記空間スペクトル情報は、カラーバンドに関して前記画像の連続したピクセル間のスペクトル関係により与えられ、これらスペクトル関係は前記画像の物質特性及び照明特性と、ピクセルスペクトル関係の空間エクステント（範囲）に関連し、
    前記空間スペクトル情報の関数として一つの制約条件を規定するステップと、ここで前記制約条件は、前記空間スペクトル演算子の幾つかに加えられて行列式において表された制約関係の表現式であり、及び、
    それぞれが前記画像に対応していて、前記画像の物質成分を表示する物質画像及び前記画像の照明成分を表示する照明画像を識別するために、前記行列式の最適化した解を有する画像分離操作に前記制約条件を用いるステップとを有している、コンピュータプログラム。

Images