JP3771315B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3771315B2 JP3771315B2 JP09227296A JP9227296A JP3771315B2 JP 3771315 B2 JP3771315 B2 JP 3771315B2 JP 09227296 A JP09227296 A JP 09227296A JP 9227296 A JP9227296 A JP 9227296A JP 3771315 B2 JP3771315 B2 JP 3771315B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- data
- point
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、特にカラー画像の色調修正に適用して好適な画像処理装置に関する。
【０００２】
【従来の技術】
画像の特徴空間上で特徴的な分布を持つ点データ群を移動させることにより、その画像を処理することが行われている。その１つに、カラースキャナ等の色調修正装置で（ハイライト／シャドウ）・ポイント、グラデーション・カーブ、カラー・コレクション等のパラメータを用いて行う色調修正がある。以下、この色調修正の場合を中心に説明する。
【０００３】
カラー画像の入出力機器の普及に伴い、異なるメディア間の色のマッチングが取れない、色の修正が簡単にできない等の問題が指摘されるようになり、画像の色再現・色修正が重要な技術的課題として広く認識されるようになってきた。このような課題を解決するために、近年、印刷機用のＣＭＹＫやディスプレイ用のＲＧＢ等の特定のデバイスに依存した色空間ではなく、測色的に定義されたＣＩＥＬＡＢ（ＣＩＥ（国際照明委員会）により１９７６年に勧告されたＬ＊ａ＊ｂ＊均等色空間）のようなデバイス・インディペンデントな色空間に変換した上で、色相／明度／彩度を制御することにより色調修正を行う手法が種々提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、形状等を表現する３次元空間を含む画像の特徴空間上でデータ分布を移動させて行う画像処理は、演算量が膨大で難しいという問題がある。とりわけ、特徴空間として色空間を用いてカラー画像の色調修正を行う従来の色調修正装置には以下の問題がある。
【０００５】
色調修正を行う場合、画素毎に修正演算が必要であることから演算量が膨大であるために、複雑なアルゴリズムの実装は難しい。又、画像データを色空間に一旦変換して色調修正を行う場合でも、画像の色調に関する特徴をオペレータが目で見て判断し、色空間の制御を行っているために熟練が必要である。更に、印刷製版現場等で行う色調修正作業では、特定領域のみの色を変えたいという要求があるが、このような領域選択的な色調修正を行う場合には、領域指定を効率的に実行できない。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、色空間上の画素値の分布を移動させることにより、色調修正の画像処理を少ない演算量で実行できるようにすると共に、色調修正を熟練したオペレータでなくとも、領域選択的な色調修正をも容易に行うことができる画像処理装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、画像の色空間上での画素値の分布であるデータ分布をクラスタリングして得られるクラスタ代表点と、色域境界を表わす複数の点とを制御点として設定する手段と、設定された制御点を母点として色空間を四面体からなる単体に単体分割する手段と、データ分布中の各点が、単体分割された単体のいずれに属するか判定する判定手段と、空間座標で記述されている各点を、それぞれが属する単体で規定される単体内部座標に変換する手段と、任意の制御点を色空間上で移動させる手段と、単体内部座標に変換された各点を元の空間座標に逆変換する手段と、を備えた構成とすることにより、前記課題を解決したものである。
【０００８】
即ち、本発明においては、画像データの色空間上での分布特徴に依存した表現に画像を一旦変換し、その分布の特徴を表わす制御点を元に単体分割を行い、画像データをこの分割により作成された単体で規定される単体内部座標に変換することにより、演算量を大幅に低減できると共に、オペレータは制御点を移動させるだけで、容易に色調修正ができるようになるため、熟練を要することなく、領域選択的な色調修正も簡単にできるようになる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００１０】
図１は、本発明に係る一実施の形態の色調修正装置の概略構成を示すブロック図である。この色調修正装置（画像処理装置）は、カラー写真等の原画からカラー画像を入力するためのスキャナ等の画像入力装置１０、該画像入力装置１０で入力した画像データを保持する画像保持用メモリ１２、入力した上記カラー画像を表示するディスプレイ等の画像表示装置１４、最終的に修正されたカラー画像を出力するための画像出力装置１６を備えている。
【００１１】
又、この色調修正装置は、上記画像保持用メモリ１２に保持されている画像データを読み出し、以下に詳述するカラー画像に対する色調修正を実行するために、色空間座標で記述されている画像データをドローネ網表現データに変換する変換部２０と、該変換部２０で作成したデータを保持するドローネ網表現データ保持部３０と、該データ保持部３０に保持されているドローネ網表現データを元の色空間座標データに逆変換するための画素値データ逆変換部４０と、後述する色域境界を表わす点列データ保持用メモリ４２と、色を修正する際の指示を入力するための修正指示部４４とを備えている。
【００１２】
又、上記変換部２０には、各機能については後に詳述するが、制御点リスト作成部２２、四面体リスト作成部２４、画素値データ変換部２６が含まれている。又、上記データ保持部３０には、画像特徴量データ保持用メモリ３２、画素値データ保持用メモリ３４が含まれている。
【００１３】
更に、要部詳細を図２に示すように、制御点リスト作成部２２は、クラスタリング処理部２２Ａと、点列データ組合せ部２２Ｂを、四面体リスト作成部２４は、ドローネ網構成部２４Ａと、四面体抽出部２４Ｂを、画像特徴量データ保持用メモリ３２は、制御点リスト３２Ａと、四面体リスト３２Ｂを、それぞれ有している。
【００１４】
この色調修正装置では、上記変換部２０、保持部３０、逆変換部４０で、以下に詳述する画像の色調修正が実行され、修正後の画像データが前記メモリ１２に出力され、保存されると共に、必要に応じて前記出力装置１６に出力されるようになっている。
【００１５】
この実施の形態では、カラー画像上の、例えば１つの物体である対象領域に存在する画素について、図３に示すような色空間上におけるバナナ形状の分布を求め、該分布を利用して色調修正を行う。
【００１６】
即ち、通常、画像は３次元的な広がりを持った物体に照明光を当て、その反射光を適切なレンズ系を通し、２次元平面にマッピングすることによって撮影が行われる。その際、ある１つの物体は同一の分光反射率、つまり同一の色を持っていて、照明光と物体表面の角度と視点の位置の関係により、その色には様々なグラデーションが生じている。
【００１７】
従って、カラー画像中で１つの物体に注目すると、その物体に対応する画像領域に属する画素値の色空間上における分布には、ある特徴的な傾向があることが知られている。即ち、物体が同一でも、影になり照明光が届かない部分は黒くなり、物体の表面に対して照明光が入射したときの入射角で決まる出射角に視線が近い物体表面の領域では、鏡面反射に近い状態となるため、照明光と同じ白になり、その中間の部分は物体表面が拡散反射をし、視線角度に対し反射率が分布を持つので、同一領域（同一物体）の画素は、上記図３に色空間がＬ＊ａ＊ｂ＊空間の場合を示すように、黒（シャドウ）から物体固有の色（物体色）を通り、白（ハイライト）へ至る曲線に沿った弧状のグラデーションで分布する傾向がある。ここで、Ｌ＊は明度、ａ＊ｂ＊平面内で、Ｌ＊軸からの距離は彩度、回転角は色相を表わす。
【００１８】
この実施の形態では、同一物体を表わす画素値の色空間上における分布のこのような特徴を利用し、該分布を色空間上で移動（変形）させることにより、その物体の色調を修正できるようにし、容易にカラー画像の色調修正を行えるようにした。
【００１９】
この実施の形態では、図４に、複数の物体が描写されているカラー画像について求めた色空間上の画素値の分布を示したように、各分布についてその特徴を表わす複数の点（黒丸●で示す）を制御点として、これを矢印で示す方向に移動させることにより、色調修正を行う。その際、制御点以外のデータについては適当な補間演算が必要であるが、補間を効率的に実行するためには、ランダムにばらまかれた点を何等かの手法により構造化する必要がある。そのために、制御点を母点として空間を単体に分割する単体分割を行う。ここで言う単体とは、空間をｎ次元に拡張した場合、ｎ＋１個のアフィン独立な点の凸包である。
【００２０】
ここでは、この単体分割の具体的な方法としてドローネ網の作成を採用する。このドローネ網は、計算幾何学における重要な概念であるが、これについて簡単に説明しておく。
【００２１】
平面上にｎ個の、（母点）Ｐi （ｘi ，ｙi ）（ｉ＝０，・・・，ｎ−１）が与えられたとき、点Ｐi の勢力圏：Ｖ（Ｐi ）を、次の（１）式で定義し、これを点Ｐi に対するボロノイ（Ｖoronoi）領域、又は、これに基づいた領域分割をボロノイ分割と呼ぶ。
【００２２】
【数１】
ここで、ｄ（Ｐ，Ｑ）は点Ｐと点Ｑのユークリッド距離
【００２３】
点Ｐi と点Ｐj に対応するボロノイ領域が共有する境界を持つ、即ち隣接しているとき、それらの点を線分で結ぶことによってあるグラフを作ることができる。このグラフは平面の三角形（単体）分割になっており、ドローネ三角形分割あるいはドローネ網と呼ばれている。即ち、ドローネ網とは、各点の集まり（母点）に対してボロノイ分割したとき、隣接したボロノイ領域の母点同士を線で結んでできるグラフである。このドローネ網は、最小角最大の意味で最適な単体分割であり、しかも一意に決まるという特徴を有している。
【００２４】
図５に２次元表記したドローネ網の例を概念的に示したが、以上のことは３次元以上の空間においても同様に定義でき、ここで扱う色空間は３次元であるので、ドローネ単体分割は四面体分割となり、ドローネ網の構成単位（単体）は四面体となる。なお、このドローネ網については、伊里：“ｂｉｔ別冊計算幾何学と地理情報処理”共立出版（１９８６）、今井：“計算幾何学”，共立出版（１９９４）に詳説されている。
【００２５】
ここでは、データを適切に表現するために、図６（Ａ）及び（Ｂ）にそれぞれ示すようなクラスタ代表点及び色域境界を表わす点列データを母点（これは制御点となる）として、同図（Ｃ）に示すドローネ網を構成する。
【００２６】
即ち、この色調修正装置では、まず入力されたカラー画像データが画像保持用メモリ１２から前記図４に示したような色空間上での画素値の分布データとして制御点リスト作成部２２に入力される。この作成部２２では、クラスタリング処理部２２Ａで、分布の特徴を表わす点列データを、例えばＫ平均クラスタリング等の通常のクラスタリングによって得られる各クラスタの代表点（例えば、クラスタの重心）として選択する。このクラスタリング処理部２２Ａで選択された上記点列データは、点列データ組合せ部２２Ｂに入力され、ここで色域境界を表わす点列データ保持用メモリ４２から別途入力される色域境界を表わす点列データと組合わされ、実際の修正に使用する制御点として四面体リスト作成部２４に出力される。
【００２７】
上記点列データ保持用メモリ４２に保持されている色域境界を表わす点列データは、実データから予め抽出して作成されている。この点列データは、入力もしくは出力に想定しているデバイスの信号値（ＲＧＢ、ＣＭＹＫ等）と、Ｌ＊ａ＊ｂ＊色空間との対応を記述するＬＵＴ（ルック・アップ・テーブル）を作成しておくことにより、次のようにして抽出することができる。
【００２８】
上記ＬＵＴに登録されている各値をＬ＊ａ＊ｂ＊色空間上にプロットしてみると、図７に示すような点の集合が得られる。但し、実際には３次元空間であるが、ここでは便宜上２次元で表わしてある。この点の集合から、凸包を形成し、且つ凸包内部の点以外の白丸○で示す点だけを抽出すれば、それが色域境界を表わす点の集合（点列）となる。
【００２９】
具体例としては、ＣＭＹＫで表現されている原画像を使用して、ＣＭＹＫからＬ＊ａ＊ｂ＊への変換用ＬＵＴとして、ＣＭＹＫの各値が０、２５、５０、７５、１００（％）の２５％毎に等分割した５4 個の点のデータからなるＬＵＴを使用することができる。このＬＵＴに登録されているＬ＊ａ＊ｂ＊値は、印刷されたカラー・パッチを実際に測色した値である。
【００３０】
なお、上記のような実測に基づくＬＵＴでなくとも、解析的な式により両者の変換が定義されている場合であれば、その変換式に基づいてＬＵＴを作成しておくことで、同様に色域境界を表わす点列データを抽出できる。
【００３１】
前記点列データ組合せ部２２Ｂで点列データを組合せて作成した制御点は、四面体リスト作成部２４のドローネ網構成部２４Ａに入力され、該制御点に基づきドローネ網が作成される。これを概念的に示したのが前記図６（Ｃ）である。
【００３２】
上記のようにして抽出された点列データとクラスタ代表点とを合わせたものに対して、この図６（Ｃ）のようなドローネ網を構成することにより、色域境界の外には原理的に画素値は存在しないため、全ての画素をドローネ網の内側として表現できるようになる。
【００３３】
この図６（Ｃ）にも、便宜上２次元的に表記してあるが、実際の色空間は３次元であるため、ドローネ網により分割される単体は前記の如く四面体である。このように構成部２４Ａで作成されたドローネ網は、四面体抽出部２４Ｂに入力され、ここで該ドローネ網から四面体リストを抽出する。抽出された四面体リストは、前記点列データ組合せ部２２Ｂで作成された全制御点を特定した制御点リストと共に、画像の分布特徴を表わすデータ（以下、両者の組合せを画像特徴量データと呼ぶ）として、画像特徴量データ保持用メモリ３２に保持される。
【００３４】
更に、この画像特徴量データは、画素値データ変換部２６に入力され、ここで各画素の画素値を該画像特徴量データに基づく画素値データに変換し、それを画素値データ保持用メモリ３４に保持する。この画素値データは、四面体ＩＤと四面体内部座標として表現される。
【００３５】
このようにしてドローネ網による表現（以下、ドローネ網表現と呼ぶ）の画像データが得られる。図８は、このようなドローネ網表現された画像データを概念的に示したものである。このデータ構成について詳述すると、前述した如く、図８（Ａ）に示すようなドローネ網（前記図６（Ｃ）に当る）は、四面体の集まりとみなせることから、四面体のみを抽出し、同図（Ｂ）に示すように、［四面体リスト］＋［制御点リスト］としてこれを表現する。
【００３６】
図８（Ｃ）に、このデータ構造を示すように、制御点を表わすデータの内部構造はＬ＊ａ＊ｂ＊の座標値であり、これは３つの実数値からなる。制御点リストはドローネ網を構成する元となった制御点［０］〜［Ｎ−１］の集合からなるリストで、リストの要素は上記制御点データ（色空間座標値）である。一方、四面体を表わすデータの内部構造は各頂点に対応した制御点の制御点番号（制御点リスト中のアドレス）であり、これは０〜Ｎ−１の中の４つの整数値からなる。四面体リストはドローネ網を構成する四面体［０］〜［Ｍ−１］の集合からなるリストで、リストの要素は上記四面体データ（制御点番号）である。以上のようなデータ構造でドローネ網は完全に表現できる。
【００３７】
次に、各画素に対応した画素値の表現方法について説明する。図８（Ａ）に×印で示した画素値が含まれる四面体を同図（Ｄ）に２次元的に拡大して示したように、該画素値を表現するために、同図（Ｅ）に示すように、まず、その画素値の属している四面体の四面体番号（四面体リスト中のアドレス。以下四面体ＩＤと表記する）を各画素毎に記述しておく。更に、その画素値が四面体内部でどのような位置にあるかを四面体内部座標で記述する。これには、四面体の任意の頂点を原点とし、原点から延びる３本の辺の方向に基底ベクトルを取り、各辺の長さを１に正規化した斜交座標系での座標値として表現する。従って、×印の座標値は、（ｐ1 ，ｐ2 ，ｐ3 ）の四面体内部座標値で記述できる。
【００３８】
上記図８（Ｄ）には、この四面体座標値を便宜上２次元で表現してあり、底辺左頂点を原点とする座標で、×印は（ｐ1 ，ｐ2 ）で規定できることを表わしている。即ち、四面体内部にある任意の点の座標を、各頂点にある制御点の座標値で補間できることを意味する。
【００３９】
実際の演算では、この四面体内部座標値を実数データとして保持しておくのはデータ量の観点から、現実的ではないので、適当に量子化する必要がある。又、四面体ＩＤも、四面体の個数に応じた適切なビット数で記述するようにしなければならない。四面体ＩＤのビット数についてはドローネ網に含まれる四面体の数から、その対数をとることで簡単に計算することができる。四面体内部座標の量子化については、単純な線形量子化を基本とし、ｐ1 、ｐ2 、ｐ3 に存在する拘束条件を利用して、若干圧縮する方式を導入する。
【００４０】
具体的には以下のようにする。ｐ1 、ｐ2 、ｐ3 は０以上１以下の実数なので、次の（２）式により、それぞれの数値を（２s −１）倍し、それを四捨五入することでｓビットに量子化する。なお、（２）式右辺の左右端に記したＬ及び逆Ｌ字状の記号はその内側の計算値の小数点以下を切捨てることを意味する。
【００４１】
【数２】
【００４２】
これで四面体内部座標は３s ビットで表される。ｐ1 、ｐ2 、ｐ3 は四面体内部の点の位置を決めるパラメータなので、次の（３）式のような拘束条件が存在する。
【００４３】
ｐ1 ＋ｐ2 ＋ｐ3 ≦１ …（３）
【００４４】
この条件から、量子化されたＰ1 、Ｐ2 、Ｐ3 では、それぞれの値の最上位ビットに含まれる１の個数は２以上にならない。２以上になると、Ｐ1 、Ｐ2 、Ｐ3 を足し合わせた結果の桁が一つ上がってしまうため条件を満たさなくなる。従って、最上位ビットに関する可能な状態は、（１）Ｐ1 の最上位ビットのみ１、（２）Ｐ2 の最上位ビットのみ１、（３）Ｐ3 の最上位ビットのみ１、（４）最上位ビットに１がない、の４通りしかなく、これは２ビットで表現できる。結局図９のように、最上位ビット情報Ｑ（２ｂｉｔ）とＰi （ｉ＝１，２，３）から最上位ビットを除いたものＰi ′（ｉ＝１，２，３）（各（s-1 ）ｂｉｔ）で、四面体内部座標は表現することができ、合計３s-1 ビットとなり、１ビット分節約できる。
【００４５】
ところで、四面体内部座標を記述する基底ベクトルが直交していないことから、一つ問題が発生する。（２）式で量子化すれば、直交座標系では、ユークリッド距離最小という意味で最適な量子化ができる。しかし、斜交座標系の座標値でデータの値が設定されている場合、（２）式で最適な量子化はできない。正確には四面体内部に存在する量子化による格子点全てに対して、距離計算をして判定すればよいのだが、実際にはそこまで必要ない。対象となる画素の回りの格子点６４（＝４3 ）点程度の距離計算で距離最小となる格子点を決めるようにすれば十分である。
【００４６】
実際に作成され、前記データ保持部３０に保持されている全体のデータ構造は、図１０に示されるように、大きく分けてドローネ網自体を記述する画像特徴量データと、各画素を記述する画素値マップの２つの部分からなる。画像特徴量データの部分は、制御点リストと四面体リストからなり、画像の色空間上での分布特徴を記述し、画素値マップは、四面体内部座標と四面体ＩＤからなる画素値データの集まりで、画像データの本体を形成する。
【００４７】
なお、図１０では、制御点リストが複数記載されているが、これは、色調修正が制御点を移動させることに当るため、色調修正した場合、その結果を制御点リストの異なるバージョンとして順次登録することもできるということを示している。保存の必要がなければ、元の制御点リストに上書きすればよい。
【００４８】
色空間座標で記述された画素値を上述したドローネ網表現へ変換するまでの順変換の処理手順を、図１１のフローチャートに示した。まず、色空間上でのクラスタリング（Ｋ平均クラスタリング）により、クラスタ代表点を抽出する（ステップＳ１）。次いで、このクラスタ代表点と色域境界を表わす点列データを合わせて制御点リストを作成する（ステップＳ２）。作成した制御点リストを元に、ドローネ網を構成する（ステップＳ３）。そのドローネ網から、四面体リストを作成する（ステップＳ４）。その後、各画素がどの四面体に属するか判定し、四面体内部座標と四面体ＩＤを得る（ステップＳ５）。こうして前記画素値マップが作成される。
【００４９】
上記ステップＳ５の最終ステップは、各画素がどの四面体に属するか判定しなければならないため、この判定処理は全画素が終了するまで繰り返し実行される。従って、上記順変換処理で問題になるのは、この判定に全ての四面体について内外判定をする全探索法を採用したのでは、非常に演算コストがかかる。因みに、例えば制御点が２００点で四面体数は１０００個程度になり、これに対する帰属を１０２４×１０２４画素の画像について探索するには数時間かかる。
【００５０】
そこで、前記画素値データ変換部２６で行う上記判定には、次に示す高速探索法を新たに導入する。この高速探索法は、図１２に便宜上２次元で示すように、色空間を１６のブロック（実際の色空間では４3 個の立方体ブロック）に分割し、各ブロックに少なくとも一部が含まれる関係にある四面体のリストを予め登録しておく。各画素に対して、それがどのブロックに存在しているかは簡単な計算で分かるので、そのブロックに関係あるとして登録されている四面体のみを探索し、内外判定を行えばよいことになる。これにより、全探索法では数時間要した演算を、１０分程度に収めることができた。
【００５１】
このように変換されたデータに対して色調修正を行う際、ポインティングデバイス等の修正指示部４４で制御点を変更するだけで、修正処理は終了する。即ち、制御点が変更された後のデータは、画素値データ逆変換部４０に入力され、ここで元の色空間の表現に逆変換され、画像保持用メモリ１２に出力される。
【００５２】
ここで実行される逆変換について以下に説明する。逆変換には、まず、量子化された四面体内部座標値から、次の（４）式のように元の実数値ｐi バーを得る。
【００５３】
【数３】
【００５４】
次に、四面体ＩＤから四面体リスト及び制御点リストを参照し、今注目している画素が属している、四面体の頂点の座標値：ベクトルＶi （ｉ＝０、１、２、３、）を得る。これにより、元の画素値：ベクトルＸは、次の（５）式のように計算することができる。これを全画素に対して実行する。ここでは、Ｖ0 が四面体の原点であるとしている。
【００５５】
【数４】
【００５６】
この逆変換は各画素毎に９回の乗算で実行できるため高速である。ディスプレイ上で修正結果を表示しながらのオペレーションを考えると、逆変換が高速であることは、ほとんど必須条件であるが、この演算方法で実現できる。
【００５７】
ここで実行される上記逆変換を、前記図８（Ｄ）に相当する２次元表記した四面体内部座標を示す図１３に示す概念図を元に、より具体的に説明する。
【００５８】
いま、上記内部座標が頂点Ａを原点とする三角形ＡＢＣで表わされ、×印で示した注目画素の修正前の内部座標値が（ｐ1 ，ｐ2 ）であったとする。色調修正の計算を容易にするために、色空間Ｌ＊ａ＊ｂ＊における各頂点（制御点）Ａ、Ｂ、Ｃの座標値をベクトル表記する。図中矢印はベクトルを表わしている。
【００５９】
点Ａ、Ｂ、Ｃの位置ベクトルを、それぞれベクトルａ、ｂ、ｃとすると、×印の座標を表わすベクトルｘは、次の（６）式で与えられる。×印の座標値は、四面体を規定する４つの制御点の座標値で簡単に補間演算できる。但し、図示しない頂点Ｄの位置ベクトルをｄとし、辺ＡＤに関する内部座標値をｐ3 として３次元表記してある。
【００６０】
【数５】
【００６１】
そして、色調修正を行う際に制御点を変更し、Ｂ点をＢ′に、Ｃ点をＣ′に移動させたとすると、変更後の×印の座標であるベクトルｘ′は、次の（７）式で与えられる。但し、Ａ点もＡ′点（図示せず）に変更した場合も想定し、ベクトルａ′として一般化してある。
【００６２】
【数６】
【００６３】
この式は、前記（５）式に相当し、各項は次の関係にある。
【００６４】
【数７】
【００６５】
上記（７）式から分かるように色調修正時には、四面体内部座標値ｐ1 、ｐ2 、ｐ3 は変更する必要がない。又、ベクトルｕ′、ｖ′、ｗ′は、前記（６）式と同様に、Ｌ＊ａ＊ｂ＊で記述された変更後の制御点Ｂ′、Ｃ′、Ｄ′の各座標値から原点に当る制御点Ａ′の座標値を引くだけで簡単に求めることができる。
【００６６】
前記逆変換部４０で実行される逆変換は、画素毎の四面体ＩＤと四面体内部座標値から、四面体リスト及び制御点リストを参照しながら、上記（７）式で、ベクトルａ′、ｕ′、ｖ′、ｗ′にＬ＊ａ＊ｂ＊の具体的な値を入れることにより実行されるが、前記（５）式のところで説明した如く、この処理は１画素当り数回の積和演算のみで済むので、十分高速で実行できる。
【００６７】
従って、色調修正を行う場合は、制御点リストだけを変更するだけで、上記（７）式により、任意画素についての画素値の補間演算が実行できるため、四面体リストも、画素値データも全く変える必要はない。従来のほとんどの色調修正アルゴリズムは、画素データそのものを変えるような処理を行っていたため、複雑な色の処理を実行しようとすると、処理が遅くなるという欠点があったが、この実施の形態（本発明）によれば、どんな複雑な色の処理でも、制御点の移動だけで済むため、幅の広い処理が高速でできるという利点がある。
【００６８】
以上詳述したこの実施の形態では、オペレータは、次のようにして色調修正の作業を行うことができる。
【００６９】
（１）色修正に先立ち、画像データをドローネ網表現に変換しておく。
（２）ドローネ網表現のデータをロードし、ディスプレイ上に表示する。
（３）特定色領域のみを修正したい場合は、適当なユーザ・インターフェイスにより領域指定を行う。即ち、移動させたい制御点を選択する。全体を修正したい場合は、全制御点を選択しておく。
（４）選択された各制御点に対して、それぞれどれだけ移動させるかを指定し、移動させる。
（５）新しい制御点を元にディスプレイ上に修正結果を表示する。結果が良ければ次のステップへ進む。
（６）新しい制御点リストを新しいバージョンとして付け加え、セーブする。
（７）必要があれば、通常の画像表現へ逆変換する。
【００７０】
以上のように、この実施の形態によれば、色修正を実行することで、ドローネ網表現での画素値データを全く変えることなく、制御点の移動と通常の画像表現への逆変換だけで色調修正ができるようになる。
【００７１】
そのため、複雑な色調修正を行いたい場合でも、複雑な処理を画素数分繰り返す必要はなく、制御点に対してのみ複雑な処理を実行するだけでよい。又、修正結果を制御点リストの異なるバージョンとして記述しておくことで、修正の履歴を保存しておくことができる。更に、画素毎にどの四面体に属しているかの情報が四面体ＩＤとして記述されているので、これを利用して領域指定の処理を効率的に実行できる。
【００７２】
以上、本発明を具体的に説明したが、本発明は、前記実施の形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００７４】
例えば、前記実施の形態では、デバイスに依存しない色空間もＬ＊ａ＊ｂ＊に限定されない。更に、単体分割もドローネ網の作成に限定されない。
【００７５】
【発明の効果】
以上説明したとおり、本発明によれば、色空間上の画素値の分布を移動させることにより、色調修正の画像処理を少ない演算量で実行することができる。又、カラー画像の色調修正は、熟練したオペレータでなくとも、しかも領域選択的な色調修正をも容易に行うことができる。
【図面の簡単な説明】
【図１】本発明に係る色調修正装置の概略構成を示すブロック図
【図２】上記色調修正装置の要部詳細を示すブロック図
【図３】色空間上の画素値の分布特徴を示す説明図
【図４】複数の物体に関する色空間上の画素値の分布特徴を示す説明図
【図５】ドローネ網を概念的に示す線図
【図６】色域境界を表わす点列データの抽出を示す線図
【図７】色空間上で構成するドローネ網を概念的に示す説明図
【図８】ドローネ網表現された画像データを概念的に示す説明図
【図９】四面体内部座標のデータ圧縮を示す説明図
【図１０】ドローネ網表現された画像データの構造を概念的に示す説明図
【図１１】色空間上の画素値をドローネ網表現に変換する手順を示すフローチャート
【図１２】画素値の属する四面体の高速探索法を説明する線図
【図１３】ドローネ網表現から色空間座標への逆変換の演算を説明する線図
【符号の説明】
１０…画像入力装置
１２…画像保持用メモリ
１４…画像表示装置
１６…画像出力装置
２０…ドローネ網表現データへの変換部
２２…制御点リスト作成部
２２Ａ…クラスタリング処理部
２２Ｂ…点列データ組合せ部
２４…四面体リスト作成部
２４Ａ…ドローネ網構成部
２４Ｂ…四面体抽出部
２６…画素値データ変換部
３０…ドローネ網表現データ保持部
３２…画像特徴量データ保持用メモリ
３２Ａ…制御点リスト
３２Ｂ…四面体リスト
３４…画素値データ保持用メモリ
４０…画素値データ逆変換部
４２…色域境界を表わす点列データ保持用メモリ
４４…修正指示部
【発明の属する技術分野】
本発明は、画像処理装置、特にカラー画像の色調修正に適用して好適な画像処理装置に関する。
【０００２】
【従来の技術】
画像の特徴空間上で特徴的な分布を持つ点データ群を移動させることにより、その画像を処理することが行われている。その１つに、カラースキャナ等の色調修正装置で（ハイライト／シャドウ）・ポイント、グラデーション・カーブ、カラー・コレクション等のパラメータを用いて行う色調修正がある。以下、この色調修正の場合を中心に説明する。
【０００３】
カラー画像の入出力機器の普及に伴い、異なるメディア間の色のマッチングが取れない、色の修正が簡単にできない等の問題が指摘されるようになり、画像の色再現・色修正が重要な技術的課題として広く認識されるようになってきた。このような課題を解決するために、近年、印刷機用のＣＭＹＫやディスプレイ用のＲＧＢ等の特定のデバイスに依存した色空間ではなく、測色的に定義されたＣＩＥＬＡＢ（ＣＩＥ（国際照明委員会）により１９７６年に勧告されたＬ＊ａ＊ｂ＊均等色空間）のようなデバイス・インディペンデントな色空間に変換した上で、色相／明度／彩度を制御することにより色調修正を行う手法が種々提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、形状等を表現する３次元空間を含む画像の特徴空間上でデータ分布を移動させて行う画像処理は、演算量が膨大で難しいという問題がある。とりわけ、特徴空間として色空間を用いてカラー画像の色調修正を行う従来の色調修正装置には以下の問題がある。
【０００５】
色調修正を行う場合、画素毎に修正演算が必要であることから演算量が膨大であるために、複雑なアルゴリズムの実装は難しい。又、画像データを色空間に一旦変換して色調修正を行う場合でも、画像の色調に関する特徴をオペレータが目で見て判断し、色空間の制御を行っているために熟練が必要である。更に、印刷製版現場等で行う色調修正作業では、特定領域のみの色を変えたいという要求があるが、このような領域選択的な色調修正を行う場合には、領域指定を効率的に実行できない。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、色空間上の画素値の分布を移動させることにより、色調修正の画像処理を少ない演算量で実行できるようにすると共に、色調修正を熟練したオペレータでなくとも、領域選択的な色調修正をも容易に行うことができる画像処理装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、画像の色空間上での画素値の分布であるデータ分布をクラスタリングして得られるクラスタ代表点と、色域境界を表わす複数の点とを制御点として設定する手段と、設定された制御点を母点として色空間を四面体からなる単体に単体分割する手段と、データ分布中の各点が、単体分割された単体のいずれに属するか判定する判定手段と、空間座標で記述されている各点を、それぞれが属する単体で規定される単体内部座標に変換する手段と、任意の制御点を色空間上で移動させる手段と、単体内部座標に変換された各点を元の空間座標に逆変換する手段と、を備えた構成とすることにより、前記課題を解決したものである。
【０００８】
即ち、本発明においては、画像データの色空間上での分布特徴に依存した表現に画像を一旦変換し、その分布の特徴を表わす制御点を元に単体分割を行い、画像データをこの分割により作成された単体で規定される単体内部座標に変換することにより、演算量を大幅に低減できると共に、オペレータは制御点を移動させるだけで、容易に色調修正ができるようになるため、熟練を要することなく、領域選択的な色調修正も簡単にできるようになる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００１０】
図１は、本発明に係る一実施の形態の色調修正装置の概略構成を示すブロック図である。この色調修正装置（画像処理装置）は、カラー写真等の原画からカラー画像を入力するためのスキャナ等の画像入力装置１０、該画像入力装置１０で入力した画像データを保持する画像保持用メモリ１２、入力した上記カラー画像を表示するディスプレイ等の画像表示装置１４、最終的に修正されたカラー画像を出力するための画像出力装置１６を備えている。
【００１１】
又、この色調修正装置は、上記画像保持用メモリ１２に保持されている画像データを読み出し、以下に詳述するカラー画像に対する色調修正を実行するために、色空間座標で記述されている画像データをドローネ網表現データに変換する変換部２０と、該変換部２０で作成したデータを保持するドローネ網表現データ保持部３０と、該データ保持部３０に保持されているドローネ網表現データを元の色空間座標データに逆変換するための画素値データ逆変換部４０と、後述する色域境界を表わす点列データ保持用メモリ４２と、色を修正する際の指示を入力するための修正指示部４４とを備えている。
【００１２】
又、上記変換部２０には、各機能については後に詳述するが、制御点リスト作成部２２、四面体リスト作成部２４、画素値データ変換部２６が含まれている。又、上記データ保持部３０には、画像特徴量データ保持用メモリ３２、画素値データ保持用メモリ３４が含まれている。
【００１３】
更に、要部詳細を図２に示すように、制御点リスト作成部２２は、クラスタリング処理部２２Ａと、点列データ組合せ部２２Ｂを、四面体リスト作成部２４は、ドローネ網構成部２４Ａと、四面体抽出部２４Ｂを、画像特徴量データ保持用メモリ３２は、制御点リスト３２Ａと、四面体リスト３２Ｂを、それぞれ有している。
【００１４】
この色調修正装置では、上記変換部２０、保持部３０、逆変換部４０で、以下に詳述する画像の色調修正が実行され、修正後の画像データが前記メモリ１２に出力され、保存されると共に、必要に応じて前記出力装置１６に出力されるようになっている。
【００１５】
この実施の形態では、カラー画像上の、例えば１つの物体である対象領域に存在する画素について、図３に示すような色空間上におけるバナナ形状の分布を求め、該分布を利用して色調修正を行う。
【００１６】
即ち、通常、画像は３次元的な広がりを持った物体に照明光を当て、その反射光を適切なレンズ系を通し、２次元平面にマッピングすることによって撮影が行われる。その際、ある１つの物体は同一の分光反射率、つまり同一の色を持っていて、照明光と物体表面の角度と視点の位置の関係により、その色には様々なグラデーションが生じている。
【００１７】
従って、カラー画像中で１つの物体に注目すると、その物体に対応する画像領域に属する画素値の色空間上における分布には、ある特徴的な傾向があることが知られている。即ち、物体が同一でも、影になり照明光が届かない部分は黒くなり、物体の表面に対して照明光が入射したときの入射角で決まる出射角に視線が近い物体表面の領域では、鏡面反射に近い状態となるため、照明光と同じ白になり、その中間の部分は物体表面が拡散反射をし、視線角度に対し反射率が分布を持つので、同一領域（同一物体）の画素は、上記図３に色空間がＬ＊ａ＊ｂ＊空間の場合を示すように、黒（シャドウ）から物体固有の色（物体色）を通り、白（ハイライト）へ至る曲線に沿った弧状のグラデーションで分布する傾向がある。ここで、Ｌ＊は明度、ａ＊ｂ＊平面内で、Ｌ＊軸からの距離は彩度、回転角は色相を表わす。
【００１８】
この実施の形態では、同一物体を表わす画素値の色空間上における分布のこのような特徴を利用し、該分布を色空間上で移動（変形）させることにより、その物体の色調を修正できるようにし、容易にカラー画像の色調修正を行えるようにした。
【００１９】
この実施の形態では、図４に、複数の物体が描写されているカラー画像について求めた色空間上の画素値の分布を示したように、各分布についてその特徴を表わす複数の点（黒丸●で示す）を制御点として、これを矢印で示す方向に移動させることにより、色調修正を行う。その際、制御点以外のデータについては適当な補間演算が必要であるが、補間を効率的に実行するためには、ランダムにばらまかれた点を何等かの手法により構造化する必要がある。そのために、制御点を母点として空間を単体に分割する単体分割を行う。ここで言う単体とは、空間をｎ次元に拡張した場合、ｎ＋１個のアフィン独立な点の凸包である。
【００２０】
ここでは、この単体分割の具体的な方法としてドローネ網の作成を採用する。このドローネ網は、計算幾何学における重要な概念であるが、これについて簡単に説明しておく。
【００２１】
平面上にｎ個の、（母点）Ｐi （ｘi ，ｙi ）（ｉ＝０，・・・，ｎ−１）が与えられたとき、点Ｐi の勢力圏：Ｖ（Ｐi ）を、次の（１）式で定義し、これを点Ｐi に対するボロノイ（Ｖoronoi）領域、又は、これに基づいた領域分割をボロノイ分割と呼ぶ。
【００２２】
【数１】
【００２３】
点Ｐi と点Ｐj に対応するボロノイ領域が共有する境界を持つ、即ち隣接しているとき、それらの点を線分で結ぶことによってあるグラフを作ることができる。このグラフは平面の三角形（単体）分割になっており、ドローネ三角形分割あるいはドローネ網と呼ばれている。即ち、ドローネ網とは、各点の集まり（母点）に対してボロノイ分割したとき、隣接したボロノイ領域の母点同士を線で結んでできるグラフである。このドローネ網は、最小角最大の意味で最適な単体分割であり、しかも一意に決まるという特徴を有している。
【００２４】
図５に２次元表記したドローネ網の例を概念的に示したが、以上のことは３次元以上の空間においても同様に定義でき、ここで扱う色空間は３次元であるので、ドローネ単体分割は四面体分割となり、ドローネ網の構成単位（単体）は四面体となる。なお、このドローネ網については、伊里：“ｂｉｔ別冊計算幾何学と地理情報処理”共立出版（１９８６）、今井：“計算幾何学”，共立出版（１９９４）に詳説されている。
【００２５】
ここでは、データを適切に表現するために、図６（Ａ）及び（Ｂ）にそれぞれ示すようなクラスタ代表点及び色域境界を表わす点列データを母点（これは制御点となる）として、同図（Ｃ）に示すドローネ網を構成する。
【００２６】
即ち、この色調修正装置では、まず入力されたカラー画像データが画像保持用メモリ１２から前記図４に示したような色空間上での画素値の分布データとして制御点リスト作成部２２に入力される。この作成部２２では、クラスタリング処理部２２Ａで、分布の特徴を表わす点列データを、例えばＫ平均クラスタリング等の通常のクラスタリングによって得られる各クラスタの代表点（例えば、クラスタの重心）として選択する。このクラスタリング処理部２２Ａで選択された上記点列データは、点列データ組合せ部２２Ｂに入力され、ここで色域境界を表わす点列データ保持用メモリ４２から別途入力される色域境界を表わす点列データと組合わされ、実際の修正に使用する制御点として四面体リスト作成部２４に出力される。
【００２７】
上記点列データ保持用メモリ４２に保持されている色域境界を表わす点列データは、実データから予め抽出して作成されている。この点列データは、入力もしくは出力に想定しているデバイスの信号値（ＲＧＢ、ＣＭＹＫ等）と、Ｌ＊ａ＊ｂ＊色空間との対応を記述するＬＵＴ（ルック・アップ・テーブル）を作成しておくことにより、次のようにして抽出することができる。
【００２８】
上記ＬＵＴに登録されている各値をＬ＊ａ＊ｂ＊色空間上にプロットしてみると、図７に示すような点の集合が得られる。但し、実際には３次元空間であるが、ここでは便宜上２次元で表わしてある。この点の集合から、凸包を形成し、且つ凸包内部の点以外の白丸○で示す点だけを抽出すれば、それが色域境界を表わす点の集合（点列）となる。
【００２９】
具体例としては、ＣＭＹＫで表現されている原画像を使用して、ＣＭＹＫからＬ＊ａ＊ｂ＊への変換用ＬＵＴとして、ＣＭＹＫの各値が０、２５、５０、７５、１００（％）の２５％毎に等分割した５4 個の点のデータからなるＬＵＴを使用することができる。このＬＵＴに登録されているＬ＊ａ＊ｂ＊値は、印刷されたカラー・パッチを実際に測色した値である。
【００３０】
なお、上記のような実測に基づくＬＵＴでなくとも、解析的な式により両者の変換が定義されている場合であれば、その変換式に基づいてＬＵＴを作成しておくことで、同様に色域境界を表わす点列データを抽出できる。
【００３１】
前記点列データ組合せ部２２Ｂで点列データを組合せて作成した制御点は、四面体リスト作成部２４のドローネ網構成部２４Ａに入力され、該制御点に基づきドローネ網が作成される。これを概念的に示したのが前記図６（Ｃ）である。
【００３２】
上記のようにして抽出された点列データとクラスタ代表点とを合わせたものに対して、この図６（Ｃ）のようなドローネ網を構成することにより、色域境界の外には原理的に画素値は存在しないため、全ての画素をドローネ網の内側として表現できるようになる。
【００３３】
この図６（Ｃ）にも、便宜上２次元的に表記してあるが、実際の色空間は３次元であるため、ドローネ網により分割される単体は前記の如く四面体である。このように構成部２４Ａで作成されたドローネ網は、四面体抽出部２４Ｂに入力され、ここで該ドローネ網から四面体リストを抽出する。抽出された四面体リストは、前記点列データ組合せ部２２Ｂで作成された全制御点を特定した制御点リストと共に、画像の分布特徴を表わすデータ（以下、両者の組合せを画像特徴量データと呼ぶ）として、画像特徴量データ保持用メモリ３２に保持される。
【００３４】
更に、この画像特徴量データは、画素値データ変換部２６に入力され、ここで各画素の画素値を該画像特徴量データに基づく画素値データに変換し、それを画素値データ保持用メモリ３４に保持する。この画素値データは、四面体ＩＤと四面体内部座標として表現される。
【００３５】
このようにしてドローネ網による表現（以下、ドローネ網表現と呼ぶ）の画像データが得られる。図８は、このようなドローネ網表現された画像データを概念的に示したものである。このデータ構成について詳述すると、前述した如く、図８（Ａ）に示すようなドローネ網（前記図６（Ｃ）に当る）は、四面体の集まりとみなせることから、四面体のみを抽出し、同図（Ｂ）に示すように、［四面体リスト］＋［制御点リスト］としてこれを表現する。
【００３６】
図８（Ｃ）に、このデータ構造を示すように、制御点を表わすデータの内部構造はＬ＊ａ＊ｂ＊の座標値であり、これは３つの実数値からなる。制御点リストはドローネ網を構成する元となった制御点［０］〜［Ｎ−１］の集合からなるリストで、リストの要素は上記制御点データ（色空間座標値）である。一方、四面体を表わすデータの内部構造は各頂点に対応した制御点の制御点番号（制御点リスト中のアドレス）であり、これは０〜Ｎ−１の中の４つの整数値からなる。四面体リストはドローネ網を構成する四面体［０］〜［Ｍ−１］の集合からなるリストで、リストの要素は上記四面体データ（制御点番号）である。以上のようなデータ構造でドローネ網は完全に表現できる。
【００３７】
次に、各画素に対応した画素値の表現方法について説明する。図８（Ａ）に×印で示した画素値が含まれる四面体を同図（Ｄ）に２次元的に拡大して示したように、該画素値を表現するために、同図（Ｅ）に示すように、まず、その画素値の属している四面体の四面体番号（四面体リスト中のアドレス。以下四面体ＩＤと表記する）を各画素毎に記述しておく。更に、その画素値が四面体内部でどのような位置にあるかを四面体内部座標で記述する。これには、四面体の任意の頂点を原点とし、原点から延びる３本の辺の方向に基底ベクトルを取り、各辺の長さを１に正規化した斜交座標系での座標値として表現する。従って、×印の座標値は、（ｐ1 ，ｐ2 ，ｐ3 ）の四面体内部座標値で記述できる。
【００３８】
上記図８（Ｄ）には、この四面体座標値を便宜上２次元で表現してあり、底辺左頂点を原点とする座標で、×印は（ｐ1 ，ｐ2 ）で規定できることを表わしている。即ち、四面体内部にある任意の点の座標を、各頂点にある制御点の座標値で補間できることを意味する。
【００３９】
実際の演算では、この四面体内部座標値を実数データとして保持しておくのはデータ量の観点から、現実的ではないので、適当に量子化する必要がある。又、四面体ＩＤも、四面体の個数に応じた適切なビット数で記述するようにしなければならない。四面体ＩＤのビット数についてはドローネ網に含まれる四面体の数から、その対数をとることで簡単に計算することができる。四面体内部座標の量子化については、単純な線形量子化を基本とし、ｐ1 、ｐ2 、ｐ3 に存在する拘束条件を利用して、若干圧縮する方式を導入する。
【００４０】
具体的には以下のようにする。ｐ1 、ｐ2 、ｐ3 は０以上１以下の実数なので、次の（２）式により、それぞれの数値を（２s −１）倍し、それを四捨五入することでｓビットに量子化する。なお、（２）式右辺の左右端に記したＬ及び逆Ｌ字状の記号はその内側の計算値の小数点以下を切捨てることを意味する。
【００４１】
【数２】
これで四面体内部座標は３s ビットで表される。ｐ1 、ｐ2 、ｐ3 は四面体内部の点の位置を決めるパラメータなので、次の（３）式のような拘束条件が存在する。
【００４３】
ｐ1 ＋ｐ2 ＋ｐ3 ≦１ …（３）
【００４４】
この条件から、量子化されたＰ1 、Ｐ2 、Ｐ3 では、それぞれの値の最上位ビットに含まれる１の個数は２以上にならない。２以上になると、Ｐ1 、Ｐ2 、Ｐ3 を足し合わせた結果の桁が一つ上がってしまうため条件を満たさなくなる。従って、最上位ビットに関する可能な状態は、（１）Ｐ1 の最上位ビットのみ１、（２）Ｐ2 の最上位ビットのみ１、（３）Ｐ3 の最上位ビットのみ１、（４）最上位ビットに１がない、の４通りしかなく、これは２ビットで表現できる。結局図９のように、最上位ビット情報Ｑ（２ｂｉｔ）とＰi （ｉ＝１，２，３）から最上位ビットを除いたものＰi ′（ｉ＝１，２，３）（各（s-1 ）ｂｉｔ）で、四面体内部座標は表現することができ、合計３s-1 ビットとなり、１ビット分節約できる。
【００４５】
ところで、四面体内部座標を記述する基底ベクトルが直交していないことから、一つ問題が発生する。（２）式で量子化すれば、直交座標系では、ユークリッド距離最小という意味で最適な量子化ができる。しかし、斜交座標系の座標値でデータの値が設定されている場合、（２）式で最適な量子化はできない。正確には四面体内部に存在する量子化による格子点全てに対して、距離計算をして判定すればよいのだが、実際にはそこまで必要ない。対象となる画素の回りの格子点６４（＝４3 ）点程度の距離計算で距離最小となる格子点を決めるようにすれば十分である。
【００４６】
実際に作成され、前記データ保持部３０に保持されている全体のデータ構造は、図１０に示されるように、大きく分けてドローネ網自体を記述する画像特徴量データと、各画素を記述する画素値マップの２つの部分からなる。画像特徴量データの部分は、制御点リストと四面体リストからなり、画像の色空間上での分布特徴を記述し、画素値マップは、四面体内部座標と四面体ＩＤからなる画素値データの集まりで、画像データの本体を形成する。
【００４７】
なお、図１０では、制御点リストが複数記載されているが、これは、色調修正が制御点を移動させることに当るため、色調修正した場合、その結果を制御点リストの異なるバージョンとして順次登録することもできるということを示している。保存の必要がなければ、元の制御点リストに上書きすればよい。
【００４８】
色空間座標で記述された画素値を上述したドローネ網表現へ変換するまでの順変換の処理手順を、図１１のフローチャートに示した。まず、色空間上でのクラスタリング（Ｋ平均クラスタリング）により、クラスタ代表点を抽出する（ステップＳ１）。次いで、このクラスタ代表点と色域境界を表わす点列データを合わせて制御点リストを作成する（ステップＳ２）。作成した制御点リストを元に、ドローネ網を構成する（ステップＳ３）。そのドローネ網から、四面体リストを作成する（ステップＳ４）。その後、各画素がどの四面体に属するか判定し、四面体内部座標と四面体ＩＤを得る（ステップＳ５）。こうして前記画素値マップが作成される。
【００４９】
上記ステップＳ５の最終ステップは、各画素がどの四面体に属するか判定しなければならないため、この判定処理は全画素が終了するまで繰り返し実行される。従って、上記順変換処理で問題になるのは、この判定に全ての四面体について内外判定をする全探索法を採用したのでは、非常に演算コストがかかる。因みに、例えば制御点が２００点で四面体数は１０００個程度になり、これに対する帰属を１０２４×１０２４画素の画像について探索するには数時間かかる。
【００５０】
そこで、前記画素値データ変換部２６で行う上記判定には、次に示す高速探索法を新たに導入する。この高速探索法は、図１２に便宜上２次元で示すように、色空間を１６のブロック（実際の色空間では４3 個の立方体ブロック）に分割し、各ブロックに少なくとも一部が含まれる関係にある四面体のリストを予め登録しておく。各画素に対して、それがどのブロックに存在しているかは簡単な計算で分かるので、そのブロックに関係あるとして登録されている四面体のみを探索し、内外判定を行えばよいことになる。これにより、全探索法では数時間要した演算を、１０分程度に収めることができた。
【００５１】
このように変換されたデータに対して色調修正を行う際、ポインティングデバイス等の修正指示部４４で制御点を変更するだけで、修正処理は終了する。即ち、制御点が変更された後のデータは、画素値データ逆変換部４０に入力され、ここで元の色空間の表現に逆変換され、画像保持用メモリ１２に出力される。
【００５２】
ここで実行される逆変換について以下に説明する。逆変換には、まず、量子化された四面体内部座標値から、次の（４）式のように元の実数値ｐi バーを得る。
【００５３】
【数３】
次に、四面体ＩＤから四面体リスト及び制御点リストを参照し、今注目している画素が属している、四面体の頂点の座標値：ベクトルＶi （ｉ＝０、１、２、３、）を得る。これにより、元の画素値：ベクトルＸは、次の（５）式のように計算することができる。これを全画素に対して実行する。ここでは、Ｖ0 が四面体の原点であるとしている。
【００５５】
【数４】
この逆変換は各画素毎に９回の乗算で実行できるため高速である。ディスプレイ上で修正結果を表示しながらのオペレーションを考えると、逆変換が高速であることは、ほとんど必須条件であるが、この演算方法で実現できる。
【００５７】
ここで実行される上記逆変換を、前記図８（Ｄ）に相当する２次元表記した四面体内部座標を示す図１３に示す概念図を元に、より具体的に説明する。
【００５８】
いま、上記内部座標が頂点Ａを原点とする三角形ＡＢＣで表わされ、×印で示した注目画素の修正前の内部座標値が（ｐ1 ，ｐ2 ）であったとする。色調修正の計算を容易にするために、色空間Ｌ＊ａ＊ｂ＊における各頂点（制御点）Ａ、Ｂ、Ｃの座標値をベクトル表記する。図中矢印はベクトルを表わしている。
【００５９】
点Ａ、Ｂ、Ｃの位置ベクトルを、それぞれベクトルａ、ｂ、ｃとすると、×印の座標を表わすベクトルｘは、次の（６）式で与えられる。×印の座標値は、四面体を規定する４つの制御点の座標値で簡単に補間演算できる。但し、図示しない頂点Ｄの位置ベクトルをｄとし、辺ＡＤに関する内部座標値をｐ3 として３次元表記してある。
【００６０】
【数５】
そして、色調修正を行う際に制御点を変更し、Ｂ点をＢ′に、Ｃ点をＣ′に移動させたとすると、変更後の×印の座標であるベクトルｘ′は、次の（７）式で与えられる。但し、Ａ点もＡ′点（図示せず）に変更した場合も想定し、ベクトルａ′として一般化してある。
【００６２】
【数６】
この式は、前記（５）式に相当し、各項は次の関係にある。
【００６４】
【数７】
上記（７）式から分かるように色調修正時には、四面体内部座標値ｐ1 、ｐ2 、ｐ3 は変更する必要がない。又、ベクトルｕ′、ｖ′、ｗ′は、前記（６）式と同様に、Ｌ＊ａ＊ｂ＊で記述された変更後の制御点Ｂ′、Ｃ′、Ｄ′の各座標値から原点に当る制御点Ａ′の座標値を引くだけで簡単に求めることができる。
【００６６】
前記逆変換部４０で実行される逆変換は、画素毎の四面体ＩＤと四面体内部座標値から、四面体リスト及び制御点リストを参照しながら、上記（７）式で、ベクトルａ′、ｕ′、ｖ′、ｗ′にＬ＊ａ＊ｂ＊の具体的な値を入れることにより実行されるが、前記（５）式のところで説明した如く、この処理は１画素当り数回の積和演算のみで済むので、十分高速で実行できる。
【００６７】
従って、色調修正を行う場合は、制御点リストだけを変更するだけで、上記（７）式により、任意画素についての画素値の補間演算が実行できるため、四面体リストも、画素値データも全く変える必要はない。従来のほとんどの色調修正アルゴリズムは、画素データそのものを変えるような処理を行っていたため、複雑な色の処理を実行しようとすると、処理が遅くなるという欠点があったが、この実施の形態（本発明）によれば、どんな複雑な色の処理でも、制御点の移動だけで済むため、幅の広い処理が高速でできるという利点がある。
【００６８】
以上詳述したこの実施の形態では、オペレータは、次のようにして色調修正の作業を行うことができる。
【００６９】
（１）色修正に先立ち、画像データをドローネ網表現に変換しておく。
（２）ドローネ網表現のデータをロードし、ディスプレイ上に表示する。
（３）特定色領域のみを修正したい場合は、適当なユーザ・インターフェイスにより領域指定を行う。即ち、移動させたい制御点を選択する。全体を修正したい場合は、全制御点を選択しておく。
（４）選択された各制御点に対して、それぞれどれだけ移動させるかを指定し、移動させる。
（５）新しい制御点を元にディスプレイ上に修正結果を表示する。結果が良ければ次のステップへ進む。
（６）新しい制御点リストを新しいバージョンとして付け加え、セーブする。
（７）必要があれば、通常の画像表現へ逆変換する。
【００７０】
以上のように、この実施の形態によれば、色修正を実行することで、ドローネ網表現での画素値データを全く変えることなく、制御点の移動と通常の画像表現への逆変換だけで色調修正ができるようになる。
【００７１】
そのため、複雑な色調修正を行いたい場合でも、複雑な処理を画素数分繰り返す必要はなく、制御点に対してのみ複雑な処理を実行するだけでよい。又、修正結果を制御点リストの異なるバージョンとして記述しておくことで、修正の履歴を保存しておくことができる。更に、画素毎にどの四面体に属しているかの情報が四面体ＩＤとして記述されているので、これを利用して領域指定の処理を効率的に実行できる。
【００７２】
以上、本発明を具体的に説明したが、本発明は、前記実施の形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００７４】
例えば、前記実施の形態では、デバイスに依存しない色空間もＬ＊ａ＊ｂ＊に限定されない。更に、単体分割もドローネ網の作成に限定されない。
【００７５】
【発明の効果】
以上説明したとおり、本発明によれば、色空間上の画素値の分布を移動させることにより、色調修正の画像処理を少ない演算量で実行することができる。又、カラー画像の色調修正は、熟練したオペレータでなくとも、しかも領域選択的な色調修正をも容易に行うことができる。
【図面の簡単な説明】
【図１】本発明に係る色調修正装置の概略構成を示すブロック図
【図２】上記色調修正装置の要部詳細を示すブロック図
【図３】色空間上の画素値の分布特徴を示す説明図
【図４】複数の物体に関する色空間上の画素値の分布特徴を示す説明図
【図５】ドローネ網を概念的に示す線図
【図６】色域境界を表わす点列データの抽出を示す線図
【図７】色空間上で構成するドローネ網を概念的に示す説明図
【図８】ドローネ網表現された画像データを概念的に示す説明図
【図９】四面体内部座標のデータ圧縮を示す説明図
【図１０】ドローネ網表現された画像データの構造を概念的に示す説明図
【図１１】色空間上の画素値をドローネ網表現に変換する手順を示すフローチャート
【図１２】画素値の属する四面体の高速探索法を説明する線図
【図１３】ドローネ網表現から色空間座標への逆変換の演算を説明する線図
【符号の説明】
１０…画像入力装置
１２…画像保持用メモリ
１４…画像表示装置
１６…画像出力装置
２０…ドローネ網表現データへの変換部
２２…制御点リスト作成部
２２Ａ…クラスタリング処理部
２２Ｂ…点列データ組合せ部
２４…四面体リスト作成部
２４Ａ…ドローネ網構成部
２４Ｂ…四面体抽出部
２６…画素値データ変換部
３０…ドローネ網表現データ保持部
３２…画像特徴量データ保持用メモリ
３２Ａ…制御点リスト
３２Ｂ…四面体リスト
３４…画素値データ保持用メモリ
４０…画素値データ逆変換部
４２…色域境界を表わす点列データ保持用メモリ
４４…修正指示部
Claims (3)
- 画像の色空間上での画素値の分布であるデータ分布をクラスタリングして得られるクラスタ代表点と、色域境界を表わす複数の点とを制御点として設定する手段と、
設定された制御点を母点として色空間を四面体からなる単体に単体分割する手段と、
データ分布中の各点が、単体分割された単体のいずれに属するか判定する判定手段と、
空間座標で記述されている各点を、それぞれが属する単体で規定される単体内部座標に変換する手段と、
任意の制御点を色空間上で移動させる手段と、
単体内部座標に変換された各点を元の空間座標に逆変換する手段と、を備えていることを特徴とする画像処理装置。 - 請求項１において、
前記判定手段が、色空間を複数のブロックに分割する手段と、注目点が属するブロックを判定する手段と、該ブロックに少なくとも一部が含まれる単体の中から該注目点が属する単体を探索する手段とを備えていることを特徴とする画像処理装置。 - 請求項１において、
単体内部座標に変換された点のデータを、該単体内部座標に存在する拘束条件を利用して圧縮することを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09227296A JP3771315B2 (ja) | 1996-04-15 | 1996-04-15 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09227296A JP3771315B2 (ja) | 1996-04-15 | 1996-04-15 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09284578A JPH09284578A (ja) | 1997-10-31 |
| JP3771315B2 true JP3771315B2 (ja) | 2006-04-26 |
Family
ID=14049772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09227296A Expired - Lifetime JP3771315B2 (ja) | 1996-04-15 | 1996-04-15 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3771315B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7265870B2 (en) | 2001-11-26 | 2007-09-04 | Agfa Graphics Nv | Colour separation method |
| DE60109461T2 (de) * | 2001-11-26 | 2006-06-01 | Agfa-Gevaert | Farbtrennungsverfahren |
| JP4787453B2 (ja) * | 2002-05-23 | 2011-10-05 | 日本電気株式会社 | 色変換方法、色変換装置および色変換プログラム |
| KR100467600B1 (ko) * | 2002-07-30 | 2005-01-24 | 삼성전자주식회사 | 컬러 정정 방법 |
-
1996
- 1996-04-15 JP JP09227296A patent/JP3771315B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09284578A (ja) | 1997-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7333237B2 (en) | Color adjustment method, color adjustment apparatus, color conversion definition editing apparatus, image processing apparatus, program, and storage medium | |
| JP3664364B2 (ja) | 色変換方法 | |
| US6734851B2 (en) | Analytic warping | |
| JP3290870B2 (ja) | 色変換調整方法および装置 | |
| US6758574B1 (en) | Conversions between standard color spaces | |
| JPH07154812A (ja) | 画像レンダリング装置、その装置のための量子化手段および画像をレンダリングする方法 | |
| JP2002304621A (ja) | 大きいカラー・ルックアップテーブルの高速補間 | |
| US5442717A (en) | Sharpness processing apparatus | |
| US7440136B2 (en) | Color processing apparatus and method | |
| JP3771315B2 (ja) | 画像処理装置 | |
| JPH0720841A (ja) | 色空間間のマッピング方法及びその装置 | |
| JP3171081B2 (ja) | 画像処理装置 | |
| JP3687193B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3934206B2 (ja) | 画像処理装置 | |
| JPH0799587A (ja) | 色変換方法および色変換装置 | |
| JPH0546750A (ja) | 色変換方法および色変換装置 | |
| JP2006173825A (ja) | 画像処理装置および方法 | |
| CN109076142B (zh) | 高精度色域映射 | |
| US10979601B2 (en) | High precision gamut mapping | |
| JP4345027B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
| JPH11238127A (ja) | 刈り込み放射状補間および刈り込み四面体補間の共用補間回路 | |
| JPH0799586A (ja) | 色変換装置 | |
| JPH05284346A (ja) | 色変換装置 | |
| Li | Anisotropic Mesh Representation for Color Images | |
| JP4905425B2 (ja) | 色変換テーブルの作成方法、色変換テーブル、色変換テーブル作成プログラム及び色変換テーブル作成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060209 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130217 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |