JP4097742B2

JP4097742B2 - 関数演算プロセッサ制御マシンの操作方法

Info

Publication number: JP4097742B2
Application number: JP18170997A
Authority: JP
Inventors: エイチ．マリモントデイビッド
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1996-06-26
Filing date: 1997-06-23
Publication date: 2008-06-11
Anticipated expiration: 2017-06-23
Also published as: JPH1091809A; US5835099A

Description

【０００１】
【発明の属する技術分野】
本発明は、一般にカラー画像表示の分野におけるプロセッサベースの技術に関し、更に詳細には、画像領域におけるカラーの空間的構造モデル及び画像領域におけるカラー空間構造モデルを用いてカラー画像領域をコンパクトに表示するためのプロセスに関し、前者の構造は後者の構造と分離されていて、１つ又は両方のモデルを独立して操作することができる。
【０００２】
【従来の技術】
自然風景画像のデジタル式表示は、一般に画像の空間的なサンプリング及び各サンプルの明るさの量子化からなる。全てのサンプル（通常画素と呼ばれる）は同じ量の情報を伝えるものとみなされるので、コンパクトな表示ではない。このデジタル表示は、合成画像（描画、ペイント、又は３次元（３Ｄ）グラフィックツールを用いて生成される画像）は、同じように表示されるであろう。デジタル画像のカラー領域を表示又はコード化するための他のデータ表示が幾つか提案されてきた。これらの表示は一般によりコンパクトであって且つ同時に主体的品質の損失を最小限に止めたカラーを表示することを目的とするものである。特にフォトリアリスティック（photorealistic）な外観を含む自然画像及び合成画像は、パターン化された又はテクスチャー化されたカラー領域を含み、及び写真画像又はフォトリアリスティック画像のこのパターン及びテクスチャーをコンパクトに且つ正確にコード化するプロセスは、更なる研究及び努力の余地がある。
【０００３】
ポールジェイ．ベスル及びラメッシュシー．ジェインは、IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 10, no.2, pp.167-192, 1988 の中の"Segmentation Through Variable-Order Surface Fitting" で、レンジ若しくは階調強度画像の表示及びこれを算出するためのアルゴリズムについて開示している。この表示は任意の形の領域への画像の区分化であり、これらの領域のそれぞれは、可変次数の２変数多項式関数で表される（ここで２変数多項式とは、画像座標ｘとｙの関数である）。この表示によって、抽出された機能及び領域に基づいて完全でノイズのない再構成を算出することが可能になる。アルゴリズムは、粗第一セグメンテーションを演算し、これは可変次数表面フィッティングに基づいた反復領域成長方法によって正確になる。
【０００４】
エム．コッチャー（M. Kocher)及びエム. クント(M. Kunt) は、Applications of Digital Image Processing, Andre Oosterlink, Andrew G. Tescher, Eds., Proceeings of the SPIE, 1983, pp.132-139 の中の "Image data compression by contour texture modeling" で、テクスチャーのコード化方法について開示している。コッチャー及びクントは、元の画像への区分化に基づいて、グレイレベルの発生が鋭い非連続性を含まない領域に、階調画像をコード化する技術について開示している。次に各領域は、そのテクスチャー及びその輪郭の構成要素によって記述される。テクスチャーコード化スキームは、２つのステップからなる。先ず、グレイレベルの発生の一般的な形は、２Ｄ多項式関数によって各領域毎に近似される。多項式の次数は、近似によって得られた誤差に基づいて各領域毎に決定され、そのコストは、多項式の係数を記述するために使用されたビット数によって画定される。次に、元の画像のノイズは、プリ処理操作によって除去され、各領域の多項式記述子に付加された擬似ランダム信号によって近似され、画像をより自然に再現する。こうして画像の冗長性は、２Ｄ多項式関数によってテクスチャー情報を記述することによって利用され、高圧縮率をもたらす。
【０００５】
エム．ガーランド(M. Garland)及びピー. ヘックバート(P. Heckbert) は、"Fast Polygonal Approximation of Terrains and Height Fields," Carnegie Mellon University Technical Report CMU-CS-95-181, Carnegie Mellon University, Pittsburgh, PA, September, 1995の中で、高度フィールドを入力とみなし、及びこれを三角形変則ネットワークとして公知である三角形のメッシュで近似する、アルゴリズムのクラスについて開示している。高度フィールドデータに加えてカラー情報を含む画像データにアルゴリズムを拡張することによって、各三角形を横切る直線補間を有する三角形の表面が生成され、これは殆どのグラフィックワークステーションにハードウェアアシストされたゴウラウド(Gouraud）シェーディングを行うことによって達成される。
【０００６】
現在の多くのテクスチャー近似及び表示技術は、階調画像において可変なシェーディング及びテクスチャーを円滑にコード化するために使用される。ガーランド及びヘッカーバートによって開示された画像三角化方法は、画像領域においてカラーを表すために良く知られた技術、ゴウラウドシェーディング技術を使用しており、三角形の３つの頂点のそれぞれの間のカラーの直線補間を生成する。ゴウラウドシェーディング技術は、リアリスティックな結果を提供するように近似されることができるテクスチャー及びパターンのタイプに限定される。カラー画像編集ツールは、フレキシブルで、パワフル且つ効果的なカラー編集能力をユーザに提供するつもりなら、機能的ベースの、コンパクト画像領域表現を必要とする。画像編集及びカラー仮印刷のための現在の多くのシステムは、ハイレベル記述子を変換するのではなくビットマップを変換することによって、カラー変換を実施する。
【０００７】
【発明が解決しようとする課題】
本発明は、カラー画像領域を有効に表示するには、再現及びディスプレイされたときの外観が主観的に許容できるカラーを生成し、コンパクトであり、且つ編集操作の間許容できる外観を維持しなければならないということを設計前提とする。本発明は２つのことに注目している。第一には、画像領域におけるカラーの円滑なシェーディング又はテクスチャーは、数学的にモデルにされ得るある空間的な構造を有する。第二には、同じ円滑なシェーディング又はテクスチャーは、カラー空間、又はカラー空間のサブ空間又はサブセットにおいてもモデリングされ得る。本発明は、画像領域における空間的構造及びカラーのカラー空間構造を別々にモデルリングすれば、カラー画像領域を表すためのパワフル且つフレキシブルな技術を提供する、という発見を前提としたものである。一旦別々にモデリングしたあと、この２つのモデルを１つの表示に合成することによって、画像領域におけるカラーテクスチャーを表すコンパクトな方法が提供される。この表示は”空間−カラー分離可能”モデルと呼ばれ、以下ＳＣＳモデルとも呼ばれる。本発明は以下の３つの特徴を組み合わせる。（１）カラー画像において円滑なシェーディング及びテクスチャーを表す。（２）画像領域におけるカラーの空間的構造をそのカラー空間構造から分離する。（３）ＳＣＳモデル自体を変換することによって画像及びそのカラーの変換を可能にする。
【０００８】
ＳＣＳモデルは２つの関数を使用する。１つは画像領域におけるカラーの空間的構造を表し、もう１つはその領域におけるカラーのカラー−空間構造を表す。第一の関数は画像ドメインにおけるカラーの空間的構造をパラメータ空間にマッピングする。第二関数はこのパラメータ空間をカラー空間の０次、１次、２次、又は３次元のサブセットにマッピングする。このサブセットは画像領域におけるカラーの分布を表す。この２つの関数を合成すると、画像領域のカラーがカラー空間におけるカラーのサブセットにマッピングされる。
【０００９】
このモデルの１つの実施において、空間的モデルは画像位置をパラメータ空間にマッピングする任意の次数の多項式を使用してカラー−空間モデルのパラメータ値を特定する。次に１次関数はこれらのパラメータ値をカラー空間のサブ空間にマッピングし、アファイン関数までの１次関数の延長はほんの僅かである。この多項式−１次式実施におけるＳＣＳモデルの大きな利点は、比較的ストレートに演算を行うことであり、複雑な２つの関数を別々に制御することができ、及び正確且つ主観的に許容可能なカラー表示を提供する簡単な関数を選択することができる。
【００１０】
ＳＣＳモデルは比較的コンパクトな画像表示であるため、様々な画像圧縮、プリント及びディスプレイアプリケーションにも有効である。例えば、ＳＣＳモデルはカラー画像の円滑にシェーディングされた領域のコンパクトな記述を生成する。このコンパクトな記述はプリント用又はディスプレイ用の再現ハードウェアに効果的に伝達されることができる。ＳＣＳ記述を理解した再現ハードウェアは、カラー画像領域における円滑なシェーディングへの良好な近似を非常に速くプリント又はディスプレイできるであろう。
【００１１】
【課題を解決するための手段】
従って、本発明の第一の態様に従って、カラー画像の画像領域における元の画像位置のカラー値を表す関数を演算するためのプロセッサ制御マシンの操作方法が提供される。このマシンは、画像を画定する画像定義データ及び指示データを含むデータを格納するためのメモリを含む。また、このマシンは画像定義データにアクセスし、及びそのマシンを操作するためにメモリに格納された指示データにアクセスするために接続されたプロセッサも含む。この方法は、入力カラー画像領域を定義する画像定義データを示す複数の画像領域データアイテムの獲得を含む。各画像領域データアイテムは、入力カラー画像領域における元の各画像位置及び各画像位置の元のカラー値の座標値を示す。入力カラー画像領域の空間的画像構造を表す第一の関数が演算され、この第一関数は入力カラー画像領域における元の画像位置を示す各座標値をパラメータ空間のポイントにマッピングする。次に入力カラー画像領域のカラー空間構造のカラー空間サブセットを表す第二関数が演算され、この第二関数はパラメータ空間における各ポイントをカラー空間サブセットにおけるカラー空間位置にマッピングする。次に空間−カラー分離可能関数と呼ばれる第三関数が、第一及び第二関数の合成として演算される。空間−カラー分離可能関数は、入力カラー画像領域の座標値をカラー空間サブセットのカラー値にマッピングする。空間−カラー分離可能関数は、入力カラー画像領域におけるカラーを表すために画像領域データアイテムの代わりに使用されるとき、入力カラー画像領域における元のカラー値及び元の画像位置を近似し、入力カラー画像領域に実質的に外観の類似した再現カラー画像領域を生成する。
【００１２】
本明細書中で次の注釈が使用される。ａ_ijはマトリックスＡのエレメント（ｉ，ｊ）であり、ｘ_iはベクトルｘのエレメントｉである。上付きのｔはマトリックス又はベクトルの転置を表す。上付きの＋はマトリックスの擬逆行列を表す。小文字は関数及びスカラー変数を示す。
【００１３】
【発明の実施の形態】
図１は、カラー画像領域を表すための空間−カラー分離可能モデル２の一般的な構成要素を表す図である。画像領域１０は、ＳＣＳモデルによって表わされるカラー画像領域であり、Ｘで示される。画像領域１０内における位置は、ベクトルｘ_i＝（ｘ_i，ｙ_i）で表される。カラー空間５０はＱで示され、カラー空間におけるポイントはベクトルｑ_i’で示され、ＲＧＢでは（ｒ_iｇ_iｂ_i）で表される。またｑ_iは、ＣＩＥＸＹＺ又はあらゆる他のカラー空間で表現されてもよい。カラー空間５０のサブセット４０（Ｓで示される）は、画像領域１０内のカラーに近似するカラー値を含むＱにおけるポイント、カーブ、若しくは表面（又はＱ全部）である。関数ｐはカラー空間５０におけるポイントのサブセット４０内のこれらのポイント（カラー）の近似への投影であり、及びサブセット４０はパラメータ可能関数によって表されることができるという制約を課して、選択される。
【００１４】
パラメータ空間３０（Ｕで示される）はＵのエレメントをＳのエレメントにマッピングする関数ｈが存在するようなサブセット４０のパラメータ決定であり、関数ｈはＳ上の全てのポイントｓでｓ＝ｈ（ｕ）となるようにＵのポイントｕが存在することを必要とする。パラメータ空間３０の次元でサブセット４０の次元が決まる。つまり、Ｕの次元はＳが次元０、１、２、及び３にそれぞれ等しいポイント、カーブ、表面、又はカラー空間全体であるかを決定する。
【００１５】
空間−カラー分離可能モデル２の目的は、２つのパーツに解体できる関数で画像の円滑にシェーディングされた領域にカラーを表示することである。この２つのパーツのうち１つは領域の空間的構造（即ち画像−空間構造）を表し、もう１つはその領域のカラーのカラー−空間構造を表す。画像領域１０は、１セットのペア（ｘ_i，ｑ_i）からなる。全体のＳＣＳ関数６０はｆで示され、これはｓ_i＝ｆ（ｘ_i）及びｓ_iはｑ_i（実際にはｑ_iの近似値）を表すように、ｘ_iをサブ空間Ｓ上のポイントにマッピングする。
【００１６】
関数ｆは２つの成分関数からなる。これらのうち第一の関数はｇであり、この関数ｇは画像領域の空間的構造を表し、ｕ_i＝ｇ（ｘ_i）を介して画像領域１０のｘ_iをカラー空間サブセット４０のパラメータ空間３０であるＵのエレメントにマッピングする。第２の関数はｈで示され、ｈはカラー空間のサブセットの構造を表し、ｓ_i＝ｈ（ｕ_i）を介してｕ_iをカラー空間サブセットＳにマッピングする。成分関数ｆは空間−カラー分離可能モデルを表し、ｇ及びｈの合成であり、ｓ_i＝ｆ（ｘ_i）＝ｈ（ｇ（ｘ_i））となるように、ｈοｇで表される（ここで小さな丸οは合成を表す）。
【００１７】
図２及び図３は、白黒の描画を用いて充分にできる限りにおいて、空間−カラー分離可能表示の概念を表している。図２において、カラー画像６はカラー画像領域１０を含む。画像領域１０の空間的構造は、チェッカーボードのような模様で円滑に分配されたカラーを有するように表されている。つまり、明るい色及び暗い色がこれらの間の移行において円滑に変化すると仮定する。カラー空間５０はＲＧＢ空間として表され、カラー空間５０内にはサブセット４２が画像領域１０におけるカラーのカラー空間構造を近似する湾曲として存在する。つまり、画像領域１０内のカラーは湾曲４２にだいたい沿って表されることができる。１次元のパラメータ空間３２はサブ空間４２のパラメータ決定である。画像領域１０内のカラー１１及び１２は関数ｇによってパラメータ空間３２内のポイント３３及び３４にマッピングされ、関数ｈはポイント３３及び３４をサブ空間４２内のカラー４３及び４４にマッピングする。
【００１８】
図３において、カラー画像領域１４はカラー画像８内の表面を表し、円滑に変化するカラーを有する。画像領域１４のカラーはＲＧＢカラー空間５０の２次元平面サブ空間４５のカラーにマッピングされて表されている。図３において、画像領域１４におけるカラーは平面４５上にだいたい沿って表されることができる。２次元のパラメータ空間３６はサブ空間４５のパラメータ決定である。画像領域１４におけるカラー１５及び１７は、関数ｇによってパラメータ空間３６のポイント３７及び３８にそれぞれマッピングされる。関数ｈはポイント３７及び３８をサブ空間４５のカラー４６及び４７にマッピングする。図２及び図３は、画像領域におけるカラーを近似するために選択されたカラー−空間構造が画像領域の空間的構造に関係なく変化し、画像領域のカラーバリエーションの複雑さによって、１次元又は２次元の近似が演算されることができることを表している。
【００１９】
図４は、画像領域の空間的構造もまた本発明の空間−カラー分離可能表示においてカラー空間表示と独立して変化することができるというコンセプトを表している。図４は、行の見出し位置にカラー画像領域１０及び２０を含むグラフィックテーブルを表している。画像領域１０及び２０は白黒で表されており、それぞれ白と黒の間にシャープなエッジ移行を有する同じ２色のみを有するが、各画像のカラーパターンは移行において円滑に変化する２つのカラーを表すことを意図している。画像領域１０及び２０は、画像領域２０において同心円の異なるパターンで、及び画像領域１０ではチェッカーボードのような模様で、空間的に分配された２つのカラーを表している。２つのカラー空間サブセットは列の見出し位置（カラー空間サブセット湾曲４８及びカラー空間サブセットライン４９）として表されている。これらのカラー空間サブセットはカラー空間５０において異なる傾き及び湾曲を有してカラーの異なるサブセットを表すように見える。テーブル４の各行及び各列の合流点は、サブセット４８又は４９のカラー空間サブセット近似に従った画像領域１０又は２０におけるカラーの最終マッピングを表す画像領域である。画像領域１６及び２２は、カラー空間近似４８によって生成されたカラーを表す。これらは画像領域１０及び２０の各空間的構造の空間構造にそれぞれ従って分布された、２つのタイプのクロスハッチング（水平、及び右斜め）によって表される。白黒の描画という制限のため表現できないが、２つのカラーの間の移行において円滑なシェーディングがあることがもちろん理解されるべきである。同様に、画像領域１８及び２４は、画像領域１０及び２０の各空間的構造の空間構造にそれぞれ従って分配された、垂直及び左斜めのクロスハッチングによって示されたように、カラー空間近似４９によって生成されたカラーを表す。ここでも、カラー間の移行における円滑なシェーディングは、画像領域１８及び２４から省かれる。カラー画像領域のＳＣＳ表示は、この領域をその空間的構造及びカラー空間構造に解体し、これらの構造は一旦解体されると別々に操作することができることがわかる。
【００２０】
ＳＣＳカラー画像領域表示の図示された実施の形態において、関数ｇを多項式（即ちｘ及びｙ）と仮定し、関数ｈは１次関数である。これは、カラー空間サブセットＳがポイント、ライン、平面、又はカラー空間全体のどれかであることを意味している。多項式の次数、及びＳの次元は、近似の正確さと関数の複雑さをトレードオフして選択されることができる。これは、これらの関数が自然画像に見られる多くのタイプの領域を適切に表示できるため、有効である。
【００２１】
画像領域のカラー−空間構造を近似するパラメータ関数は、カラー空間のサブ空間を画定する。このサブ空間の次元はｋで示され、次元ｋを有するパラメータベクトルはｕで示される。ｋ＝１の場合、サブ空間はラインであり、ｋ＝２の時は平面であり、ｋ＝３の時はカラー空間である。カラー−空間近似関数は（１）の式で表される。ここでＡは３×ｋのマトリックスである。
【００２２】
【数１】

【００２３】
画像の空間的構造を近似する関数は、次数ｄ（ｄ＞０）の多項式のベクトルである。この関数は、パラメータベクトルｕ（次元ｋを有する）に画像位置をマッピングする。従って、多項式のベクトルも次元ｋを有する。ｄ＝０の場合、ＳＣＳモデルは領域において一定であり、平均カラーに等しい。ｋ＝ｄ＝１の場合、空間的近似は以下の式で表される。
【００２４】
【数２】

【００２５】
これは以下のベクトルで表される。
【００２６】
【数３】

【００２７】
ここで、ｂ＝（ｂ₁ｂ₂ｂ₃）^tは多項式の係数ベクトルであり、ｚ＝（１ｘｙ）^tである。
【００２８】
ｋ＞１のとき、パタメータベクトルｕ_iの各エレメントのための別々の多項式がある。各多項式はそれ自身の係数ベクトルを有し、ｂ_iで示される。Ｂをｋ×３のマトリックス（ｂ₁ｂ₂ｂ₃）^Tとする。従って、空間的近似は以下の式で表される。
【００２９】
【数４】

【００３０】
この記数法によって、高次多項式を簡単に扱うことができる。ｚの定義は、そのエレメントが次数ｄの多項式の基底関数になるように一般化される。ｄ＝１の場合、ベクトルｚは３つのエレメント１，ｘ，ｙを有する。ｄ＝２の場合、エレメントｘ²，ｘｙ、及びｙ²が加わる。ｄ＝３である場合、ｘ³，ｘ²ｙ，ｘｙ²，及びｙ³が加わる。ｘをｚにマッピングする関数をｆとし、ｚ＝ｆ（ｘ）として、ｚの次数をｒ_dとすると、回帰関係によってｒ_dが定義されることがすぐに分かる。
【００３１】
【数５】

【００３２】
ｚのこの再定義をｘの関数とすると、先の記数法は、空間的近似関数の定義を任意次数の多項式に一般化するために使用され得る。等式（４）は前のままである。しかし、幾つかの次元は変わる。ｚは次元ｒ_dを有し、マトリックスＢ（ｚをｋ−ベクトルｕにマッピングする）はｋ×ｒ_dとなる。ｄ＞１及びｒ₁＝３なので、ｒ_d＞３となる。
【００３３】
ＳＣＳ近似関数は、等式（４）によって与えられた空間的近似値（画像位置をパラメータ値にマッピングする）を等式（１）によって与えられたカラー−空間近似値（パラメータ値をカラーにマッピングする）と組み合わせることによって、画像位置をカラーにマッピングする。等式（４）の中の表現を等式（１）に置き換えると、以下の式が得られる。
【００３４】
【数６】

【００３５】
また、Ｃ＝ＡＢとすると、以下のように書き換えられる。
【００３６】
【数７】

【００３７】
マトリックスＣはＳＣＳ近似関数（画像領域の位置をカラーにマッピングする）を記述するパラメータ全てを含む。ＣはＡ（＝３×ｋ）とＢ（＝ｋ×ｒ_d）との積なので、Ｃは３×ｒ_dであるが、ｍｉｎ（３，ｋ，ｒ_d）以下のランクを有することができる。ｋ＜３及びｒ_d ＞３なので、ｍｉｎ（３，ｋ，ｒ_d）＝ｋであり、従って、Ｃはｋ以下のランクを有することができる。
【００３８】
カラー−空間近似によって画定されるサブ空間が３次元（即ちｋ＝３）であつとき、カラー空間には近似値はないことに注意されたい。この場合、ＳＣＳモデルは画像領域の空間的構造のみを近似する。
【００３９】
図５は、ＳＣＳモデルの多項式−１次式表示を生成するための操作の基本的ステップを表したものである。入力画像領域が与えられ、及びセット（ｘ_i，ｑ_i）によって画定される。各ｘ_iは画像領域における（ｘ，ｙ）で特定された画像位置であり、各ｑ_iは先に述べたような各画像位置におけるＲＧＢカラー空間内のカラーである。
【００４０】
最初のステップ（ボックス２１０）では、画像ポイントをパラメータ空間にマッピングする多項近似式（関数ｇ）の次数を選択し、画像領域データのマトリックスを形成する。アルゴリズムを表すために次数２が使用されているが、いかなる次数でも可能である。Ｎ（ｘ_i，ｑ_i）ペアが画像領域に存在すれば、各画像位置がパラメータの列によって表され、マトリックスＺが６×Ｎの寸法を有するように、以下のマトリックスＺを形成する。
【００４１】
【数８】

【００４２】
ここでもまた、Ｎ（ｘ_i，ｑ_i）ペアが画像領域に存在すると仮定して、Ｒは３×Ｎのマトリックス（各列は１つの画像位置でのカラー値を表す）であるように、入力画像領域のカラーデータｑ_iを用いてボックス２２０内でマトリックスＲが形成される。
【００４３】
【数９】

【００４４】
次に、ボックス２３０でマトリックスＴは以下のように演算される。
【００４５】
【数１０】

【００４６】
ここでＺ⁺はＺの擬逆行列である。
【００４７】
【外１】

【００４８】
【外２】

【００４９】
最後に、ボックス２６０に表されたようにＲへの近似がＣ_kＺとして演算される（ｋはカラー空間内のサブ空間の次元であって、１〜３の範囲内で可変である）。１次元の場合、
【００５０】
【数１１】

【００５１】
であり、２次元の場合、
【００５２】
【数１２】

【００５３】
である。ここで（ａ₁ａ₂）は３×２のマトリックスである。３次元の場合、Ｃ₃は単にマトリックスＴに等しいが、１次元及び２次元の場合と同じように表されることができる。
【００５４】
ＳＣＳモデル２（図１）のこの多項式−１次式実施において、関数ｈ（ここでは１次関数）は、１次元ではマトリックスａ₁（ａ１×３マトリックス）、２次元では（ａ₁ａ₂）（ａ２×３マトリックス）、又は３次元では（ａ₁ａ₂ａ₃）（ａ３×３マトリックス）でそれぞれ表される。これは、先のセクションからのマトリックスＡである。多項式関数ｇは１次元の場合マトリックスａ₁ ^t＊Ｔ（ａ１×６マトリックス）によって、２次元の場合は、
【００５５】
【数１３】

【００５６】
（ａ２×６マトリックス）によって、及び３次元の場合は、
【００５７】
【数１４】

【００５８】
（ａ３×６マトリックス）によって、表される。これは先のセクションからのマトリックスＢである。
【００５９】
従って、カラー空間のサブ空間の次元ｋは、ｋが増大するときに誤差の減少によってＣを表すのに必要な追加のパラメータ、及び近似関数が評価される度に行われなければならない追加の演算を位置調整するかどうかに基づいて選択されることができる。この選択の基準は、ＳＣＳ関数を演算するアプリケーションの必要性に基づく。
【００６０】
ＳＣＳモデル２の多項式−１次式実施は、このモデルを画定するより一般的なアプローチの特定の実施である。多項式−１次式の実施は、関数ｇ及びｈが多項式及び１次式としてそれぞれ与えられる意味で独特であり、関数をデータにフィットするために使用される特徴が、特にあたえらえる。しかし、より一般的には、他のタイプの関数が使用されてもよく、選択された関数を所与の入力データにフィットするために他の適切な特徴が使用されてもよい。
【００６１】
図６は、カラー画像領域を表す図１のＳＣＳ関数６０を生成するためのより一般的なＳＣＳモデルを実施するための操作３００のフローチャートを表す。操作３００は、幾つかの入力がＳＣＳモデルによって表されるカラー画像領域を表すデータ３１０（セット｛ｘ_i，ｑ_i｝で定義される）、及び関数ｈ及びカラーデータにｈをフィットするためのアルゴリズムｑ_iを含んで提供される必要がある。この２つは図６でまとめて参照番号３２０で示されている。また、一般的ＳＣＳモデル３００への入力として必要なものは、ｑ_iを近似されたカラーｓ_iにマッピングする関数ｐ（図６に参照番号３３０でまとめて示されている）−例えばｐ（ｑ_i）はカラー空間サブセットＳの上又はＳの中のｑ_iに最も近いポイントｓ_iであろう−、及び関数ｇ及びパラメータ空間Ｕにおいてｇ（ｘ_i）がｕ_iを近似するようにｇをフィットするためのアルゴリズム（図６中に参照番号３４０でまとめて示されている）、である。
【００６２】
一般的なＳＣＳモデルのコンテクストにおけるフィッティングアルゴリズムが意味するものの例は、以下のものである。目的はセット｛（ａ_i，ｂ_i）｝を
【００６３】
【数１５】

【００６４】
となるように関数ｆで近似することであると仮定する。これは一般に関数ｆがパラメータのベクトルｗに基づいて、ｆがａ_i及びｗの両方の関数、即ち
【００６５】
【数１６】

【００６６】
（；はａ_i及びｗが異なる役割を有することを示す）である必要がある。ｆをデータにフィットするアルゴリズムはｗを演算してｆ（ａ_i；ｗ）とｂ_iとの差の約数を最少にする。
【００６７】
カラー空間サブセットＳをカラー空間Ｑにフィットする関数ｈの場合（データはセット｛ｑ_i｝）、３次元空間におけるポイント、及びパラメータ空間における対応するポイントは特定されず、ｈを見つけるための１つの方法は、ｆ（ｑ；ｗ）＝０（ｗはパラメータのベクトル）及びＳ−｛Ｑ｜ｆ（ｑ；ｗ）＝０｝となるように陰関数ｆを見つけることである。この場合、ｗはｑ_iからＳ上の最も近いポイントまでの距離の約数を最少にするように選択される。関数ｆは他の関数、例えばｈによって、
【００６８】
【数１７】

【００６９】
となるようにパラメータ決定が可能でなければならない。
【００７０】
一般的なアルゴリズムは図６に図示されており、以下のように述べられる：パラメータ空間Ｕの次元を選択して、
【００７１】
【数１８】

【００７２】
となるように関数ｈをセット｛ｑ_i｝にフィットする。ｈの逆数はｈ^-1で表される。次に、ｕ_i＝ｈ^-1（ｐ（ｑ_i））を用いてセット｛（ｘ_i，ｕ_i）｝を、及び｛（ｘ_i，ｑ_i）｝を構成する、即ちセット｛（ｘ_i，ｕ_i）｝＝｛（ｘ_i，ｈ^-1（ｐ（ｑ_i））｝である。ここで、
【００７３】
【数１９】

【００７４】
となるように、ｇをセット｛（ｘ_i，ｕ_i）｝にフィットする。従って、
【００７５】
【数２０】

【００７６】
である関数ｆ全体は単にｇとｈの合成であって、ｈοｇで表される。
【００７７】
ＳＣＳモデルの多項式−１次式実施において、画像位置ｘ_iが擬似変換によって変換される場合、ＳＣＳ近似関数は変換位置の項によって簡単に表現されることができる。擬似変換は、画像位置の回転、スケーリング、シェアリング、又は平行移動の任意の組み合わせである。画像位置の擬似変換は、
【００７８】
【数２１】

【００７９】
で表され、Ｅは回転、スケール、及びシェアを表す２×２のマトリックスであり、ｔは平行移動を表す次元２のベクトルであり、及びｘ’は変換された画像位置を含む次元２のベクトルである。
【００８０】
等式（７）のＳＣＳモデル形式は擬似変換に関して不変であり、従って
【００８１】
【数２２】

【００８２】
であるようなマトリックスＣ’が存在し、ここでｚ’＝ｆ（ｘ’）である。Ｃ’のための式が見つけられば、ＳＣＳモデルを変換された画像位置の項で表現することができる。
【００８３】
次数ｄのｘの多項式のセットは、ｘの非縮退擬似変換のもとでは閉じている。これは、Ｓ及びｔで表されたあらゆる擬似変換に対し、
【００８４】
【数２３】

【００８５】
となるようなｒ_d×ｒ_dマトリックスＧが存在することを意味する。Ｓが特異でなければ、Ｇも特異ではない。
【００８６】
ｄ＝１及びｄ＝２の場合について、以下に詳しく述べる。ｄ＝１の場合、等式（１６）は
【００８７】
【数２４】

【００８８】
となる。ｄ＝２の場合（ｚ’及びｚはスペースを省くために省略してある）、Ｇは以下のようになる。
【００８９】
【数２５】

【００９０】
ｑをｚ’項で合わすと、公式（１６）はｚ＝Ｇ^-1ｚ’で表され、従って、この式を等式（７）のｚに置き換えると、
【００９１】
【数２６】

【００９２】
となる。ここでＣ’＝ＣＧ^-1であり、これはＣ’を求める式である。
【００９３】
図７は、カラー画像領域の画像構造をそのカラー空間構造から切り離して操作するコンセプトを表している。図６はカラー画像領域１３を表しており、これは図２のカラー画像領域１３を回転させてスケールしたものを表す。ＳＣＳモデルにおいて、画像空間Ｘ’は回転させてスケールした画像領域を表す。変換関数ｖは画像領域１３を画像領域１０に変換し、関数ｇ’はＸにおける画像位置をパラメータ空間Ｕにフィットする。ｇ’とｈの合成によって新しいＳＣＳ関数６６ｆ’、合成ｈοｇ’が生成され、これもカラー画像領域のマトリックス表示である。
【００９４】
カラー画像領域をＳＣＳ関数で表すことによって、画像領域におけるカラーを１次式変換を適用して編集することが容易となる。このような変換の適用によって領域の空間的構造は変わらない。カラーの１次変換はこのコンテクストにおいて様々に使用できる。カラー−空間サブセット関数ｈがカラー空間におけるライン又は平面を画定するとき、カラー空間の１次変換はこのライン又は平面を新しいライン又は平面に変換する役割を果たす。このような変換は、領域におけるカラーの美的アピールを増強するために選択される。カラーの１次変換は他に、風景における照明のカラーの変更をシミュレートするためにも使用される。これは、カラー修正システムにおいて、一般的な操作である。
【００９５】
今述べた多項式−１次式実施におけるＳＣＳ関数は、変換されたカラーの項で容易に表されることができる。我々のカラーの１次変換は、以下の式で表される。
【００９６】
【数２７】

【００９７】
ここでｑ’は変換されたカラーであり、Ｗは３×３マトリックスである。等式（７）によって与えられたＳＣＳ関数を表すために、３×ｒ_dマトリックスＣ’は以下のように求められなければならない。
【００９８】
【数２８】

【００９９】
等式（７）のｑを等式（２２）中に置き換えると、
【０１００】
【数２９】

【０１０１】
となる。ここでＣ’＝ＷＣであり、これはＣ’を求める式である。
【０１０２】
従って、１次式カラー変換をＳＣＳ関数ｆに直接適用すると、領域内の各カラーに個々に変換を実際に行わずに画像領域におけるカラーを有効に変える。図８はカラー空間サブセット４９と共にカラー空間５０を表しており、カラー空間サブセット４９はサブセットＳとして多項式−１次式実施に従って所与の画像領域のためのＳＣＳ表示を生成するために使用される。カラー空間サブセット４９はこのサブセット４９が変化しているところを示すために破線で表されている。画像領域内のカラーを変化させてカラー空間サブセット７２に合わせることは、変換関数ｗを元のカラー空間サブセットＳに適用してＳ’を生成することによって達成される。関数ｈ’はパラメータ空間Ｕを新しいカラー空間サブセットＳ’にフィットし、及びｈ’とｇとを合成することによって新しいＳＣＳ関数ｆ’、合成ｈ’οｇを生成する。これもカラー画像領域のマトリックス表示である。
【０１０３】
一般的ケースにおいて、ＳＣＳモデルはカラー座標の任意の変換を扱うので画像座標の任意の非特異変換を扱い、画像編集を容易にする。。ここでの説明は、先のセクションで述べた多項式−１次式ケースの説明とほぼ同じである。
【０１０４】
画像の座標変換をｘ’＝ｖ（ｘ）と仮定する。新しいＳＣＳ近似値をｑ＝ｆ（ｘ’）とする。ｕ＝ｇ（ｘ）及びｘ＝ｖ^-1 （ｘ’）なので、ｕ＝ｇ（ｖ^-1（ｘ’））となる。ｇ’＝ｇοｖ^-1とすると、ｑ＝ｈ（ｇ（ｘ））なので、ｑ＝ｈ（ｇ’（ｘ’））となり、ｆ’＝ｈοｇ’＝ｈοｇ’οｖ^-1となる。
【０１０５】
これは、ＳＣＳモデルが画像座標の任意の非特異変換を扱うことを表している。
【０１０６】
ここでカラーの座標変換をｑ’＝ｗ（ｑ）と仮定する。新しいＳＣＳ近似をｑ’＝ｆ’（ｘ）とするｑ＝ｆ’（ｘ）なので、ｆ’（ｘ）＝ｗ（ｆ（ｘ））となり、ｆ＝ｗοｆとなる。これは、ＳＣＳモデルが画像座標の任意の非特異変換を扱うことを表している。
【０１０７】
カラー画像領域表示のＳＣＳモデルは、元の入力セット（ｘ_i，ｑ_i）に比べてコンパクトな表示であり、カラー画像のハイレベルデータ構造表示に適している。カラー画像は、他の領域と比較したその領域の位置とともに画像における各領域のためのＳＣＳ近似関数を示すデータによって表されてもよい。
【０１０８】
”画像構造マップ”即ちＩＳＭは、カラー画像を含む様々なタイプの画像を表すための特別な種類のハイレベル画像表示である。ＩＳＭは元の画像における領域の幾何学、位相、及び信号特性を正確且つ明確に表す仕切りデータ構造であり、画像及びこれらの領域の有効且つ正確な空間的インデックスを可能にする。仕切りデータ構造は、元の画像の頂点、領域境界、及び領域、各領域境界に隣接する頂点、及び各領域に隣接する領域境界及び頂点を示すデータを含む、データ構造として定義される。
【０１０９】
画像構造マップ表示は、領域の円滑な可変特性の関数に従って入力画像を領域に区切る、動的インクリメンタル平面仕切り操作を用いて、及び入力画像領域境界データ（自動画像区分化入力及びユーザ供給画像区分化入力のコンビネーションであってもよい）を用いて、入力画像から動的に生成される。
【０１１０】
画像構造マップ表示は、画像構造マップが非常にコンパクトな形で各画像領域における円滑な可変信号特性を呈示するという点で、元の画像データ構造に比べてコンパクトである。こうして、画像信号の著しい冗長を取り除く。本発明の空間−カラー分離可能関数は、カラー画像の画像構造マップデータ構造表示でカラー画像領域を表すのに使用されてもよい。ＳＣＳ関数はパラメータのマトリックスを用いて画素位置の全領域に渡ってカラーを効果的に表すことができる。コンパクトな画像表示の利点は、画像情報の内容を大幅に損なうことなくこうして達成されることができる。画像構造マップは画像の幾何学的及び位相構造を明確にし、ＳＣＳ関数は各画像領域におけるカラーの空間的及びカラー空間分布を効果的に近似する。画像構造マップから再現された画像は尚、元の画像の対象物、これらの相互的な空間的関係、及びこれらの領域の信号特性についての実質的な情報を保持している。
図９は、カラー画像の画像構造マップデータ構造表示のブロック図を表す。各領域記述データアイテム５０２は、領域を構成する領域境界５０８を示す。各領域境界はその頂点５１０の位置を示す。各領域記述データアイテム５０２は、カラー画像領域を表すＳＣＳ関数６０を示す。
【図面の簡単な説明】
【図１】カラー画像領域を表すための空間−カラー分離可能（ＳＣＳ）モデルの一般的な構成要素を表す図である。
【図２】本発明に従って、入力カラー画像領域を１次元のパラメータ空間にマッピングする第一関数、及び１次元パラメータ空間をカラー空間における湾曲にマッピングする第二関数のコンセプトを表す。
【図３】本発明に従って、入力カラー画像領域を２次元のパラメータ空間にマッピングする第一関数、及び２次元パラメータ空間をカラー空間内の表面にマッピングする第二関数のコンセプトを表す。
【図４】所与の入力領域におけるカラーの空間的な分布が、カラー空間のサブセットにおけるこれらの分布と別個に表される、本発明のＳＣＳモデルのコンセプトをグラフィックテーブルで表した図である。
【図５】入力画像領域をパラメータ空間にフィットするための多項式関数及びカラー空間におけるカラーを選択されたサブ空間にフィットするための１次関数を用いた、本発明に従ったＳＣＳモデルの実施をフローチャートで表した図である。
【図６】より一般的な用語でＳＣＳモデルをフローチャートで表した図であり、ＳＣＳ関数全体を生成するために多くの入力がどのように操作されるかを表す。
【図７】画像領域のためのＳＣＳ表示を操作することによってどのように画像領域へ画像変換されるかを表す。
【図８】画像領域の元のカラーに１次式変換を適用することによるカラー編集が、画像領域のためのＳＣＳ表示を操作することによってどのように行われるかを表す。
【図９】カラー画像領域を表すためにＳＣＳ関数を用いたカラー画像のハイレベルデータ構造表示のブロック図を表す。
【符号の説明】
２空間−カラー分離可能モデル
１０画像空間
３０パラメータ空間
４０カラー空間のサブセット
５０ＲＧＢカラー空間
６０空間−カラー分離可能モデル

Claims

カラー画像の画像領域における元の画像位置の元のカラー値を表す関数を演算するためのプロセッサ制御マシンを制御するための方法であって、
前記マシンはデータを格納するためのメモリを含み、前記データは画像を画定する画像定義データ及び指示データを含み、及び前記プロセッサは画像定義データにアクセスし、及びそのマシンを操作するためにメモリに格納された指示データにアクセスするために接続されており、前記方法が
入力カラー画像領域を画定する画像定義データを示す複数の画像領域データアイテムを獲得するステップを含み、各画像領域データアイテムは入力カラー画像領域におけるそれぞれの元の画像位置の座標値及び元の各画像位置の元のカラー値を示し、
入力カラー画像領域の空間的画像構造を表すための第一関数を演算するステップを含み、前記第一関数は入力カラー画像領域における元の画像位置を示す各座標値をパラメータ空間のポイントにマッピングし、
入力カラー画像領域のカラー空間構造のカラー空間サブセットを表すための第二関数を演算するステップを含み、前記第二関数はパラメータ空間における各ポイントをカラー空間サブセットにおけるカラー空間位置にマッピングし、及び、
第一及び第二関数の合成を演算して第三関数を生成するステップを含み、この第三関数は入力カラー画像領域の座標値をカラー空間サブセットにおけるカラー値にマッピングするための空間−カラー分離可能関数と呼ばれ、空間−カラー分離可能関数は入力カラー画像領域における元のカラー値及び元の画像位置を近似し、空間−カラー分離可能関数は、入力カラー画像領域を表すために画像領域データアイテムの代わりに使用されるとき、入力カラー画像領域に外観がほぼ類似した再現カラー画像領域を生成する、
関数演算プロセッサ制御マシンの制御方法。
入力カラー画像領域における元の画像位置の元のカラー値を表す関数を演算するためのプロセッサ制御マシンを制御するための方法であって、元のカラー値が修正されたカラー値で表されるときに、更に、
カラー座標変換を表すカラー変換関数をカラー空間サブセットを表すための第二関数に適用することによって、カラー空間サブセットにカラー座標変換を適用して修正第二関数を生成するステップを含み、
空間−カラー分離可能関数を生成するための第一及び第二関数の合成の演算が、第一関数及び修正された第二関数の合成の演算を含み、
第一関数と別個に第二関数を修正することによってカラー座標変換が入力カラー画像領域の空間的画像構造とは別にカラー空間サブセットに適用され、空間−カラー分離可能関数が、入力カラー画像領域を表すための画像領域データアイテムの代わりに使用されるとき、修正されたカラー値を有する再現カラー画像領域を生成する、
請求項１に記載の方法。
入力カラー画像領域における元の画像位置の元のカラー値を表す関数を演算するためのプロセッサ制御マシンを制御するための方法であって、元の画像位置が修正された画像位置で表されるときに、更に、
画像座標変換を表す画像変換関数を入力カラー画像領域の空間的画像構造を表すための第一関数に適用して修正された第一関数を生成することによって画像座標変換を入力カラー画像に適用するステップを含み、
空間−カラー分離可能関数を生成するための第一及び第二関数の合成の演算が、修正された第一関数及び第二関数の合成の演算を含み、
第一関数を第二関数とは別に修正することによって入力カラー画像領域のカラー空間構造と別個に入力カラー画像領域の空間的構造に画像座標変換が適用され、空間−カラー分離可能関数は、入力カラー画像領域を表すための画像領域データアイテムの代わりに使用されるとき、修正された画像位置を有する再現カラー画像領域を生成する、
請求項１に記載の方法。