JP6292010B2 - 画像処理装置 - Google Patents

Description

本発明は、入力画像の色調を補整する画像処理装置に関する。

従来、この種の画像処理装置としては、所望とする色調を有する目標画像の選択を受け付けると共に、表示装置に表示された表示画像における領域の指定を受け付け、指定された領域に対して、所望とする領域の色調を目標画像の色調に補整するものが知られている（例えば、特許文献１参照）。

この構成により、従来の画像処理装置は、人物の顔などの画像中の特定の領域を所望の色調に補整することができるようにしていた。

しかしながら、このような従来の画像処理装置は、理想的な人肌の色調になっている撮影データのデータベースを持っていて、データベースの中から対象領域に写っているのと同一人物を検索して、データベース中にある理想的な色調に変換する。

しかしながら、人物の色調は確かに理想的な色調になる効果はあるものの、基にしたデータベース中の写真とは背景の色調が著しく異なる場合、写真全体としてのバランスが悪くなることや、色の対比効果の影響で、人間が感じる「色（色彩）」という意味で理想の色からずれていると感じてしまう問題があった。

また、従来の画像処理装置は、いわゆる色の対比効果の影響で、周囲の色の違いによって、同じ値の成分からなる色であっても異なる色に見られてしまったり、視覚的に期待通りの色とならなかったりすることがあるといった課題があった。

本発明は、上述したような課題を解決するためになされたもので、画像全体としての色のバランスを向上させるとともに、色の対比効果の影響を抑制することができる画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、入力画像の色調を補整する画像処理装置であって、前記入力画像の中で選択された対象領域の周囲領域を決定する周囲領域決定部と、前記周囲領域決定部で決定した周囲領域の代表となる色を周囲色として抽出する代表周囲色抽出部と、所定の色調を有する参照対象領域を含む画像を参照画像として格納したデータベースと、前記データベースから読み出した前記参照画像の前記参照対象領域を除く画像を前記周囲色に変換して表示用参照画像を生成する表示用画像生成部と、前記表示用画像生成部で生成した前記表示用参照画像を画面表示させる参照画像表示部と、ユーザ選択を受け付けて前記表示用参照画像から目標画像を決定する目標画像選択受付部と、前記入力画像の前記対象領域における色調を前記目標画像の前記参照対象領域における色調に変更する色調変更部と、を備える構成を有している。

本発明は、画像全体としての色のバランスを向上させるとともに、色の対比効果の悪影響を抑制することができる画像処理装置を提供することができる。

本発明の実施の形態に係る画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置の機能ブロック図である。 本発明の実施の形態に係る画像処理装置における入力画像表示状態の表示画面の説明図である。 本発明の実施の形態に係る画像処理装置における対象領域と周囲領域とを表示した状態の表示画面の説明図である。 本発明の実施の形態に係る画像処理装置における参照対象領域と参照周囲領域との選択画面を表示した状態の表示画面の説明図である。 本発明の実施の形態に係る画像処理装置における参照周囲領域を周囲領域の周囲色に変換した状態の表示画面の説明図である。 本発明の実施の形態に係る画像処理装置におけるメイン動作ルーチンを説明するフロー図である。 本発明の実施の形態に係る画像処理装置の代表色決定部における代表周囲色決定ルーチンを説明するフロー図である。 本発明の実施の形態に係る画像処理装置の色調変更部における色調変更ルーチンを説明するフロー図である。

以下、本発明に係る画像処理装置の実施の形態について、図面を用いて説明する。

図１に示すように、本発明の実施の形態に係る画像処理装置１は、ＣＰＵ２と、ハードディスク装置（ＨＤＤ)３と、サブメモリ４と、ワークエリアＲＡＭ５と、プログラム格納ＲＯＭ／ＲＡＭ６と、を備えたコンピュータ装置によって構成されている。また、画像処理装置１は、このコンピュータ装置にバス１１等を介して接続された、表示装置７、入力装置８、印字装置９、ネットワークストレージ１０、等を備えている。

画像処理装置１は、本実施の形態に係る処理をマイクロプロセッサであるＣＰＵ２を用いてデジタル処理により実行し得るために構築したものである。

ＣＰＵ２は、プログラム格納ＲＯＭ／ＲＡＭ６及びＨＤＤ３から画像処理プログラムを読み出してワークエリアＲＡＭ５の一部に読み込ませ、その画像処理プログラムをワークエリアＲＡＭ５の他の一部を作業領域として実行する。ＣＰＵ２は、図示しないデジタルカメラで撮影した画像、スキャナ等で読み取った画像、他のパーソナルコンピュータ等で取得した画像、等の画像データを受け取り、その画像データを入力画像としてＨＤＤ３に格納する。ＣＰＵ２は、本発明に係る画像処理プログラムを用いてＨＤＤ３に格納した画像データに後述する処理を施し、その処理後の画像データを出力画像としてサブメモリ４に格納し、必要により表示装置７に画面表示したり、印字装置９に出力する。

ＨＤＤ３及びワークエリアＲＡＭ５には、コンピュータ装置を画像処理装置１として機能させるための画像処理プログラムが記憶されている。すなわち、画像処理プログラムを実行するＣＰＵ２により、コンピュータ装置が画像処理装置１として機能する。ＨＤＤ３は、上述した入力画像の他、サブメモリ４に換えて出力画像を格納してもよい。ＨＤＤ３は、その入力画像や出力画像をＣＰＵ２の指令によってプログラムに供給する。なお、後述する参照画像ＤＢは、このＨＤＤ３に格納してもよいし、プログラム格納ＲＯＭ／ＲＡＭ６に格納してもよいし、ネットワークストレージ１０に格納（公開）されるケースなど様々な形態を取り得る。

表示装置７には、液晶ディスプレイが用いられ、特に、タッチパネル方式の液晶ディスプレイを用いるのが好ましい。

入力装置８は、コンピュータ装置本体に接続されたキーボドやマウス、或いは、タッチパネル方式のディスプレイにおけるタッチ画面等が用いられている。また、入力装置８には、所謂、ポインティングデバイスを用いてタッチ画面やＸＹプロッタ等による対象物の領域、参照画像、目標画像等の選択を可能とするのが好ましい。

一方、ＣＰＵ２は、例えば、ＨＤＤ３に格納された画像のうち、入力装置８によって選択された入力画像を対象として、入力画像の中で入力装置８によって選択された対象領域の色調（トーン）を補整する機能を実現するようになっている。なお、本実施の形態において、「色調」とは、一般的な意味として「明度」と「彩度」との二つの属性をまとめて表現したものに限らず、色の三属性の全て、すなわち、「色相」、「明度」、「彩度」のバランスのことをいうものとする。また、本実施の形態において、ＣＰＵ２は、図２に示すように、ＨＤＤ３等の記憶装置（以下、記憶装置３と称する）に格納された入力画像を画像入力部として用いている。ＣＰＵ２は、入力装置８としてのポインティングデバイス（以下、「ポインティングデバイス８」とも称する）を用いている。ＣＰＵ２は、データベースとしての記憶装置３から、所定の色調を有する参照対象領域及びその参照周囲領域が予め設定済みの複数の参照画像を読み出して表示装置７に画面表示させる機能を有する。そして、ＣＰＵ２は、周囲領域決定部２１、代表周囲色抽出部２２、表示用画像生成部２３、参照画像表示部２４、目標画像選択受付部２５、色調変更部２６、としての機能を有する。

以下、ＣＰＵ２におけるこれら各部の具体例を示す。

周囲領域決定部２１は、入力画像の周囲領域を決定する機能を有する。すなわち、周囲領域決定部２１は、図３に示すように、入力画像Ｐ１として人物の画像を表示装置７の表示画面７ａに表示させる。この際、ユーザは、所定の操作によって入力画像Ｐ１を適宜拡大・縮小表示させることができる。

そして、周囲領域決定部２１は、その入力画像Ｐ１からポインティングデバイス８を用いてユーザーによって唇の周囲が選択されると、その唇を対象領域Ｐ２とするとともに、唇を除く周囲を周囲領域Ｐ３として決定する。

さらに、周囲領域決定部２１は、ユーザの所定の操作として、例えば、周辺色除去表示操作により、図４に示すように、表示画面７ａの表示から対象領域Ｐ２のみを表示し、周囲領域Ｐ３を除去して格子等の疑似背景を表示する。

代表周囲色抽出部２２は、周囲領域決定部２１で決定した周囲領域の代表となる色を周囲色として抽出する機能を有する。すなわち、代表周囲色抽出部２２は、周囲領域決定部２１で決定した周囲領域Ｐ３の代表となる色として、唇の周囲の肌色を周囲色として抽出する。

ここで、ＣＰＵ２は、図５に示すように、記憶装置３から、所定の色調を有する参照対象領域Ｐ４及び参照周囲領域Ｐ５が予め設定済みの複数の参照画像ＰＳ１，ＰＳ２，ＰＳ３，ＰＳ４を読み出して表示装置７の表示画面７ａに画面表示させる。この際、各参照画像ＰＳ１〜ＰＳ４の参照周囲領域Ｐ５は、図５の周囲領域Ｐ３と同様に格子等の疑似背景を表示する。なお、以下の説明においては、特に限定のない限り、参照画像ＰＳ１〜ＰＳ４を「参照画像ＰＳ」と省略して説明する。

データベースに格納する参照画像ＰＳを画像データの対象オブジェクトから作成する際には、対象オブジェクトに対して参照対象領域Ｐ４の範囲だけを設定すれば足りる。例えば、唇を参照画像ＰＳとする場合には、対象オブジェクトの唇以外の周囲等を全て代表色に変換する等の処理は必要ない。

参照画像ＰＳの作成方法には、対象オブジェクトを含む範囲を参照対象領域Ｐ４として切り出し、参照対象領域Ｐ４を除く参照周囲領域Ｐ５を代表色に変換する手法でもよい。また、その他には、対象オブジェクトを含む範囲（Ｗｒ、Ｈｒ）として、Ｗｒ，Ｈｒを縦横とした画像を新規に作成することも可能である。

表示用画像生成部２３は、記憶装置３から読み出した参照画像の参照周囲領域を代表周囲色抽出部２２で抽出した周囲色に変換する機能を有する。すなわち、表示用画像生成部２３は、記憶装置３から読み出した参照画像ＰＳ１〜ＰＳ４の各参照周囲領域Ｐ５を代表周囲色抽出部２２で抽出した周囲色である肌色に変換して表示用参照画像ＰＰ１，ＰＰ２，ＰＰ３，ＰＰ４を生成する。なお、以下の説明においては、特に限定のない限り、表示用参照画像ＰＰ１〜ＰＰ４を「表示用参照画像ＰＰ」と省略して説明する。

なお、この代表色を周囲色に変換した表示用参照画像ＰＰを画像をＮとすると、画像Ｎと参照画像ＰＳの参照対象領域Ｐ４である対象オブジェクト画像、そして対象オブジェクト画像の選択範囲（マスク情報）を合成するという方法もある。

例えば、マスク情報が２５６階調であり、０＝未選択、２５５＝１００％の選択という状態であれば、対象オブジェクトの任意位置の画素をＲ（ｘ，ｙ）としたときに、マスク値をＭ（ｘ，ｙ）、周囲色をＳとしたときに、表示する画像の画素値Ｄ（ｘ，ｙ）は、
Ｄ（ｘ，ｙ）＝（Ｒ（ｘ，ｙ）＊Ｍ（ｘ，ｙ）＋Ｓ＊（２５５−Ｍ（ｘ，ｙ）））／２５５
という合成方法を用いれば、多値マスクの情報でも問題なく表示用参照画像ＰＰを作成することができる。

参照画像表示部２４は、表示用画像生成部２３で処理した後の表示用参照画像ＰＰを表示装置７に画面表示させる機能を有する。すなわち、参照画像表示部２４は、図６に示すように、表示用画像生成部２３で生成した表示用参照画像ＰＰを表示装置７の表示画面７ａに画面表示させる。

目標画像選択受付部２５は、参照画像表示部２４によって表示装置７に表示した表示用参照画像から目標とすべき色調の参照対象領域を有する参照画像を目標画像としてポインティングデバイス８によりユーザ選択指示を受け付ける機能を有する。すなわち、目標画像選択受付部２５は、表示画面７ａに画面表示した表示用参照画像ＰＰの中から、目標とすべき色調の唇を参照対象領域Ｐ４として有する表示用参照画像ＰＰを目標画像としてポインティングデバイス８によりユーザ選択指示を受け付ける機能を有する。

色調変更部２６は、目標画像選択受付部２５で受け付けた目標画像を用いて入力画像の対象領域における色調を目標画像の参照対象領域における色調に色成分毎に変更する機能を有する。すなわち、色調変更部２６は、表示用参照画像ＰＰのユーザ選択により、目標画像選択受付部２５で受け付けた目標画像を用いて入力画像Ｐ１の対象領域Ｐ２における色調を目標画像の参照対象領域Ｐ４における色調に色成分毎に変更する。

このように、本実施の形態においては、表示用参照画像ＰＰの参照対象領域Ｐ４を表示画面７ａに表示する際に、参照対象領域Ｐ４の周囲の参照周囲領域Ｐ５を、対象領域Ｐ２の周囲領域Ｐ３の周囲色で埋めて表示する。

このようにすることで、参照対象領域Ｐ４の色調を入力画像Ｐ１の対象領域Ｐ２に反映させたときの色の「見え」を表現することができる。例えば、灰色（黒／白）を背景としたときに見える対象領域Ｐ２の色の「見え」は対比効果の影響で違っている場合がある。

そこで、入力画像Ｐ１の条件に合わせて見たときの「見え」を使って、表示用参照画像ＰＰを選択するようにしたものである。

すなわち、対象領域Ｐ２の周囲領域Ｐ３に含まれる背景色（周囲色）を参照対象領域Ｐ４の参照周囲領域Ｐ５における背景色として表示して参照対象領域Ｐ４を浮かび上がらせた絵をユーザに提示する。

これにより、ユーザは、入力画像Ｐ１の対象領域Ｐ２に表示用参照画像ＰＰの参照対象領域Ｐ４の色を転写することによって対比効果を含めて、補正後の対象領域Ｐ２の「見え」を想像し易くすることができる。

ユーザーは、その表示用参照画像ＰＰの何れかを選択して、その表示用参照画像ＰＰの参照対象領域Ｐ４の色調を真似した色調に入力画像Ｐ１の対象領域Ｐ２の色調を補正することになるので、色の対比効果による見え方のズレを小さくする効果を期待することができる。

ここで、色の対比効果とは、色相の異なった色が配されたとき、それぞれの色相が色相環の反対方向に移ったように感じられる対比効果を示す。これにより、色相の異なる二つ背景色上に同一色の図色を配すると、各背景色の心理補色が誘発されて図柄に混色されて知覚される。この際、背景と図柄（対象領域Ｐ２）との面積比が大きいほどその効果は大きく、背景と図柄の色の明度が近いほど、また高彩度同士の組み合わせほど大きく効果が発揮される。

本実施の形態は、この色の対比効果によって、現実の色を再現しているにも関わらず、対象領域Ｐ２の色の「見え」が所望の色となっていないような場合において、対象となる部分等の色調を色成分毎に変更する際に用いることができる。

ユーザーは提示された表示用参照画像ＰＰの参照対象領域Ｐ４と参照周囲領域Ｐ５との対比効果を考慮した色を見て、表示用参照画像ＰＰから最も自分の所望する色と近い表示用参照画像ＰＰを選択する。

参照画像表示部２４は、この選択された表示用参照画像ＰＰを目標画像とし、その目標画像の参照対象領域Ｐ４の色調を参照して（真似して）入力画像Ｐ１の対象領域Ｐ２の色調を補整する。

なお、表示画面７ａに表示される表示用参照画像ＰＰは、予めデータベースとしての記憶装置３に格納された画像データから、ユーザのカテゴリ選択操作によって、格納順で複数表示されるようになっている。

すなわち、データベースは、複数の参照画像を参照対象領域Ｐ４に応じて所定の振り分け条件、例えば、物カテゴリと色彩カテゴリとに基づいて対応付けして記憶装置３に格納されている。

具体的には、ユーザが選択するデータベースとして、例えば、補整対象と類似する人物等の物カテゴリ又は補整対象と類似する色彩カテゴリとで選択可能となっている。

この際、物カテゴリの場合、例えば、人物、顔、唇のように階層順でカテゴリ選択を行う。これにより、記憶装置３に格納済みの唇を参照画像ＰＳとして読み出して表示画面７ａに表示することができる。

一方、色彩カテゴリの場合、カラーパレット等から所望する色系統のカテゴリ選択を行う。これにより、記憶装置３に格納済みの色系統の物、例えば、リンゴ，サクランボ等の果物や唇等の人物等を、参照画像ＰＳとして読み出して表示画面７ａに表示することができる。

表示用画像生成部２３は、データベースに格納した複数の参照画像から所定の振り分け条件で該当した参照画像ＰＳから生成した表示用参照画像ＰＰを１つ以上で表示画面７ａに画面表示する。

目標画像選択受付部２５は、表示用画像生成部２３で振り分けされた表示状態の表示用参照画像ＰＰの中から目標画像としてユーザ選択指示を受け付けるようになっている。

なお、ユーザは、任意の表示用参照画像ＰＰを選択すると、表示画面７ａの右にある参照画像エリア７ｂに拡大表示され、対象領域Ｐ２と選択した表示用参照画像ＰＰの参照対象領域Ｐ４との色調を確認することができる。

また、ユーザは、選択した表示用参照画像ＰＰの参照対象領域Ｐ４の色調又は補整後の対象領域Ｐ２の色調が所望の色調でない場合には、パラメータ設置領域７ｃで調整したうえで補整することが可能となっている。

さらに、補整前及び補整後の対象領域Ｐ２の画像は、ユーザの設定操作により新たにデータベース化することができる。

次に、図７に基づいて本発明の実施の形態に係る画像処理装置１におけるＣＰＵ２が実行するメイン動作ルーチンを説明する。なお、以下の各ルーチンは、ユーザの所定操作を受け付けることにより実行するが、その一部の操作は省略して説明する。

先ず、ユーザは、入力装置８を用いてコンピュータ装置から本実施の形態に係るプログラムを立ち上げ、例えば、デジタルカメラ等の外部装置やＨＤＤ３に格納したＪＰＧデータ等の画像データから入力画像Ｐ１を選択する。

ステップＳ１において、ＣＰＵ２は、この選択操作を受け付けて、図３に示すように、入力画像Ｐ１を表示画面７ａに表示させる。

ステップＳ２において、周囲領域決定部２１は、ユーザがポインティングデバイス８を用いて唇の周囲を囲む操作がなされると、ユーザによる所定の決定操作がなされたことを契機として、その唇を対象領域Ｐ２として決定する。これにより、ユーザは、入力画像Ｐ１に対して、どの範囲の色を変更したいかという要望を決定することができる。なお、このステップＳ２の対象領域Ｐ２の決定方法は後述する。

ステップＳ３において、周囲領域決定部２１は、決定した対象領域Ｐ２の周囲を周囲領域Ｐ３として決定する周囲領域決定ステップを実行する。この際、周囲領域決定部２１は、ユーザによって唇の中を別途周囲領域Ｐ３として指定した場合には、その唇の中も周囲領域Ｐ３として決定する。また、周囲領域決定部２１は、対象領域Ｐ２及び周囲領域Ｐ３が正しく選択されているかをユーザが容易に表示画面７ａで確認することができるよう、図４に示すように、対象領域Ｐ２の唇のみを表示した画面表示に切り替える。

ステップＳ４において、代表周囲色抽出部２２は、ステップＳ３の周囲領域決定ステップで決定した周囲領域Ｐ３の代表となる色を周囲色として抽出する代表周囲色抽出ステップを実行する。すなわち、代表周囲色抽出部２２は、周囲領域Ｐ３の画素（色）情報を使用して周囲領域Ｐ３の代表となる色を決定する。なお、このステップＳ４の代表周囲色抽出ステップにおける詳細な処理ルーチンは後述する。

ステップＳ５において、表示用画像生成部２３は、ユーザのカテゴリ選択操作等により、記憶装置３に格納した所定の色調を有する参照対象領域Ｐ４及び参照周囲領域Ｐ５を予め設定した複数の参照画像ＰＳ１〜ＰＳ４を記憶装置３のデータベースから読み出す。また、表示用画像生成部２３は、参照画像ＰＳ１〜ＰＳ４の選択結果を含め、ユーザが容易に表示画面７ａで確認することができるよう、図５に示すように、対象領域Ｐ２の唇のみを表示した画面表示に切り替える。そして、表示用画像生成部２３は、各参照画像ＰＳ１〜ＰＳ４の参照周囲領域Ｐ５をステップＳ４の代表色抽出ステップで抽出した周囲色に変換して表示用参照画像ＰＰ１〜ＰＰ４を生成する表示用画像生成ステップを実行する。

ステップＳ６において、参照画像表示部２４は、ステップＳ５の表示用画像生成ステップで処理した後の表示用参照画像ＰＰを画面表示させる参照画像表示ステップを実行する。これにより、図６に示すように、周囲領域Ｐ３及び各参照周囲領域Ｐ５を周囲色に変換した画像が表示画面７ａに表示される。

ステップＳ７において、目標画像選択受付部２５は、ステップＳ６の参照画像表示ステップで表示した参照画像ＰＳから目標とすべき色調の参照対象領域Ｐ４を有する表示用参照画像ＰＰを目標画像としてユーザ選択指示を受け付ける目標画像選択受付ステップを実行する。これにより、例えば、選択された目標画像としての表示用参照画像ＰＰが参照画像エリア７ｂに拡大表示される。

ステップＳ８において、色調変更部は、ステップＳ７の目標画像選択受付ステップで受け付けた目標画像を用いて入力画像Ｐ１の対象領域Ｐ２における色調を目標画像の参照対象領域Ｐ４における色調に色成分毎に変更する色調変更ステップを実行する。なお、このステップＳ５の色調変更ステップにおける詳細な処理ルーチンは後述する。

なお、上記ステップＳ２において、公知のフォトレタッチソフトを用いたレイヤーマスク画像のように、対象領域Ｐ２が予め作成されており、入力画像Ｐ１と同時に対象領域Ｐ２情報も格納されているフォーマットを使用しても良い。また、各種画像処理ソフトのように、入力画像Ｐ１と対象領域Ｐ２の個別情報を受け取る方式でも良い。

また、ステップＳ５において、表示用画像生成部２３は、参照画像ＰＳの抽出に当たり、データベースの全ての画像データを処理することはせずに、同時に表示される枚数分の画像に対してだけ処理をすればよい。この際、ユーザにおいても、カテゴリ選択操作の他、例えば、シーン識別や対象領域Ｐ２の画像認識処理によって物や色の対象を限定することで表示画面７ａに表示する表示用参照画像ＰＰの作成枚数を減らすこともできる。

次に、ステップＳ２において周囲領域決定部２１が処理する入力画像Ｐ１に対する対象領域Ｐ２の決定方法を説明する。

（対象領域Ｐ２の決定手法１）
周囲領域決定部２１は、対象領域Ｐ２と周囲領域Ｐ３とが二値で表される場合には、そのまま境界として使用し、対象領域Ｐ２と周囲領域Ｐ３との確率を濃度で示している場合には、０〜２５５の中間の１２８を閾値として用いて境界を確立する。

例えば、周囲領域決定部２１は、対象領域Ｐ２の境界領域の法線方向に一定の距離Ｄ１だけ離れているところを周囲領域Ｐ３の境界とし、対象領域Ｐ２を１周することで、対象領域Ｐ２の境界の範囲を決定する。

また、対象領域Ｐ２の内部にも周囲領域Ｐ３が穴のように含まれている口を開けた唇のような場合、ユーザによってその領域も周囲領域Ｐ３として選択される可能性がある。したがって、周囲領域決定部２１は、そのような領域に対しても同様の処理を実行する。

周囲領域決定部２１は、周囲領域Ｐ３として計算された座標値が入力画像Ｐ１の外側にある場合には、画像からはみ出した部分は周囲領域Ｐ３には含めない。

周囲領域決定部２１は、一定の距離Ｄ１に対して入力画像サイズの１／Ｘという値を用いるものとする。なお、値Ｘは実験から決めた定数である。なお、一定の距離Ｄ１としては、上記の他に、対象領域Ｐ２の面積の平方根、対象領域Ｐ２を囲む最小矩形サイズ（縦横）のうち大きい方の１／４の値、という決め方をすることもできる。

この決め方では、入力画像Ｐ１に対する対象領域Ｐ２の大きさに応じてパラメータを切り替える方法となるため、対象領域Ｐ２が小さければ小さい範囲を、対象領域Ｐ２が大きければ周囲の領域を広く取ることで、対比効果の影響範囲を考慮することができる。

色の対比効果は、対象領域Ｐ２としての図柄と周囲領域Ｐ３としての背景との面積比が大きい（Ｐ２＜Ｐ３）ほど対比効果は大きくなるため、対象領域Ｐ２の大きさによらない一定値を使用するよりも、対比効果を小さくするための効果が期待できる。

（対象領域Ｐ２の決定手法２）
また、周囲領域決定部２１は、ユーザによる選択範囲の外接矩形との距離Ｄ２とを用いて対象領域Ｐ２を決定してもよい。

例えば、周囲領域決定部２１は、対象領域Ｐ２の境界を定め、多値で表されている場合には、０と１以上のところを境界とする。

ここで、周囲領域決定部２１は、０，１と画素が並んでいた場合には１の画素を境界とし、０，１２８と画素が並んでいた場合には１２８の画素を境界とする。

次に、周囲領域決定部２１は、対象領域Ｐ２の外接矩形Ｒを作成した後、その外接矩形Ｒの上下左右に距離Ｄ２だけ離れた矩形Ｒ'を作成する。なお、周囲領域決定部２１は、距離Ｄ２だけ離れた距離が画像範囲内に収まらない場合は、画像範囲内までとする。

そして、周囲領域決定部２１は、矩形Ｒ'の範囲内の画素から、対象領域Ｐ２を引いた画素を周囲領域Ｐ３として決定する。なお、周囲領域決定部２１は、距離Ｄ２のパラメーターを上記の手法の距離Ｄ１と同様の考え方で対象領域Ｐ２を決定する。

（対象領域Ｐ２の決定手法３）
さらに、周囲領域決定部２１は、選択範囲の境界からの水平・垂直方向の距離Ｄ３を用いて対象領域Ｐ２を決定してもよい。

例えば、周囲領域決定部２１は、対象領域Ｐ２の境界を定め、多値で表されている場合には、０と１以上のところを境界とする。

ここで、周囲領域決定部２１は、境界の全画素から水平、垂直それぞれの方向に距離Ｄ３だけ離れている点までの画素で、領域の内部以外の点を周囲領域Ｐ３とする。

次に、周囲領域決定部２１は、この領域の内部以外の点を周囲領域Ｐ３の中で、対象領域Ｐ２に囲まれている領域、すなわち、対象領域Ｐ２の中の穴に相当する領域を対象領域Ｐ２から除外する。

この場合においても、周囲領域決定部２１は、距離Ｄ３のパラメーターを上記距離Ｄ１と同様の考え方で対象領域Ｐ２を決定する。

次に、本実施の形態における代表周囲色抽出部２２の機能を図８のフロー図を参照しつつ説明する。

ステップＳ４１において、代表周囲色抽出部２２は、周囲領域Ｐ３の範囲の中にある画素から色ヒストグラムを計測する。

ここで、代表周囲色抽出部２２は、使用する色成分を求めるのに、画像データをＲＧＢのまま使用したり、ＬＡＢやＨＳＶなどのＲＧＢ以外の色空間に変更することも可能である。また、代表周囲色抽出部２２は、色調を変更する対象物の内容（空や肌等）によって色空間を変えたり、色調を変更する対象物自体の色によって色空間を変えたりすることも可能である。

そして、代表周囲色抽出部２２は、適切な色空間に変更した後に、色ヒストグラムを作成する。

ステップＳ４２において、代表周囲色抽出部２２は、ステップＳ４１で作成した色ヒストグラムを用いて色クラスタリングを行う。ここで、代表周囲色抽出部２２は、色クラスタリングの手法として、例えば、Ｋ−ｍｅａｎｓを使うことで分類する。この方式では、代表周囲色抽出部２２は、２つのクラスタに分けるものとし、その結果を得る。

ステップＳ４３において、代表周囲色抽出部２２は、色クラスタリングを２つのクラスタに分類したことにより、結果的に色は２つのカテゴリに分けられる。その中で最もカテゴリに属する画素が多い方の平均色を代表色として決定し、その代表色を周囲領域Ｐ３の周囲色とする。

なお、代表周囲色抽出部２２は、対象領域Ｐ２として人物の唇の色とした場合、正面に向いた状態での唇画像の周囲に髪の毛や景色が介入せず、肌が主体となることが多い。このような場合、代表周囲色抽出部２２は、クラスタリングを行わずに周囲領域Ｐ３の範囲の肌色の平均値を使用することで代表色と決定してもよい。

この際、対象領域Ｐ２には、口の中の色や歯の色は除外したいため、周囲領域Ｐ３を決める際に、対象領域Ｐ２と周囲領域Ｐ３とを明確にユーザ選択するのが望ましい。

また、代表周囲色抽出部２２は、上記に換えて、周囲色の範囲の色を明度のヒストグラムを用い、最も頻度の高い明度であった画素の色の平均値を代表色として算出し、周囲色として決定してもよい。

次に、本実施の形態における色調変更部２６の機能を図９のフロー図を参照しつつ説明する。

ステップＳ８１において、色調変更部２６は、対象領域Ｐ２の各階調に属する画素の数を集計してヒストグラムＨｉを作成する。このとき、必要に応じて各階調に属する画素の数を全画素数で除算して割合に直してもよい。

ステップＳ８２において、色調変更部２６は、ステップＳ８１と同様にして参照対象領域Ｐ４の各階調に属する画素の数を集計してヒストグラムＨｇを作成する。このとき、必要に応じて各階調に属する画素の数を全画素数で除算して割合に直してもよい。

ステップＳ８３において、色調変更部２６は、ヒストグラムＨｉを単一モデル又は混合モデルを用いてモデル化する。ここでは、ガウス分布を用いてモデル化するものとする。単一ガウスでモデル化する場合、色調変更部２６は、ステップＳ８１で作成したヒストグラムＨｉの統計データを用いてヒストグラムＨｉの平均と分散とを求める。

なお、混合ガウス分布でモデル化する場合、色調変更部２６は、例えば、ＥＭアルゴリズムなどを用いて、最尤推定によりパラメータを更新すればよい。ＥＭアルゴリズムなどを用いて反復計算によりモデルパラメータを更新する際の初期値は、予め決定された固定値を用いてもよいし、ランダムな値を用いてもよい。また、色調変更部２６は、データ群のクラスタリングに際して、既にクラスタリングされて記録されているデータ群の中から類似するデータ群を検索する。そして、色調変更部２６は、この類似するデータ群をクラスタリングする際に用いられたモデルパラメータに基づいて、反復計算によりモデルパラメータを更新する際の初期値を決定するようにしてもよい。そして、色調変更部２６は、最終的に得られたパラメータをモデルパラメータとする。

また、色調変更部２６は、モデル化にガウス分布を用いた場合には平均と分散との組を混合数、すなわち、モデル化に用いたガウス分布の数分だけ取得する。したがって、混合数３の混合ガウス分布でモデル化した場合に、３つのクラスをハイライト、中間調、シャドーとラベル付けすれぱ、ハイライト用の値、中間調用の値、シャドー用の値の３つの値からなるモデルパラメータを取得する。

ステップＳ８４において、色調変更部２６は、ステップＳ８３と同様に、ヒストグラムＨｇを単一モデル又は混合モデルを用いてモデル化する。ここでは、ガウス分布を用いてモデル化するものとする。単一ガウスでモデル化する場合、色調変更部２６は、ステップＳ８２で作成したヒストグラムＨｇの統計データを用いてヒストグラムＨｇの平均と分散とを求め、上記度同様の処理にて目標パラメータを取得する。

ステップ８５において、色調変更部２６は、ステップＳ８３のモデル化により得られたモデルパラメータと、ステップＳ８４のモデル化により得られた目標パラメータとを対応付けて、各パラメータが同一となるように変換式を作成する。なお、このステップＳ８５の処理は、対象領域Ｐ２のデータ分布を分類したクラスごとに行われる。すなわち、色調変更部２６は、１つのクラスに対応する変換式を全てのクラスに対応して反感式の作成を繰り返す。具体的には、色調変更部２６は、モデルパラメータ及び目標パラメータにおいて同じラベルのクラスに割り当てられた値同士を対応付けて各クラスに対応する変換式を生成する処理を、全てのクラスに対して繰り返す。例えば、対象領域Ｐ２のデータ分布がハイライト、中間調、シャドーの３つのクラスに分類されている場合には、３つの変換式を作成する。

そして、この変換式は、対象領域Ｐ２を補正するための卜−ンカーブとなる。例えば、色調変更部２６は、所定の関数を用いた補間処理を行うことにより、対象領域Ｐ２を補正するためのトーンカーブを生成する。

この際、補間処理に用いる所定の関数としては、例えば、直線、Ｂスプライン関数、キュービック・スプライン関数などが挙げられる。直線を用いると計算コストが低く抑えられるが、制御点を挟んで傾きが急激に変化し階調が不連続となりやすい。一方、キュービック・スプライン関数は制御点を３次関数により結ぶ方法であり、滑らかな曲線が得られる。また、Ｂスプライン関数は制御点を通らないため、キュービック・スプライン関数よりも緩やかな勾配を持った曲線が得られる。なお、補間処理の制御点として用いる制御情報に階調の端部が含まれない場合には、階調の端部に相当する制御点を適宜追加することが望ましい。例えば、２５６階調の卜一ンカーブを設計するのであれば、制御点として（０，０）や（２５５，２５５）を追加することで階調全休をカバーするトーンカーブを生成することができる。一方、ダイナミックレンジが制限されているようであれば、例えば（０，１０）や（２５５，２４５）のように、出力階調側（目標パラメータ側）の値を適宜設定すればよい。

ステップＳ８６において、色調変更部２６は、ステップＳ８５で生成したトーンカーブを用いて、対象領域Ｐ２の画素値を変換する。具体的には、色調変更部２６は、トーンカーブを用いた対象領域Ｐ２の階調変換を行う。この際、トーンカーブにより定まる入力階調と出力階調との対応関係を記述したルック・アップ・テーブルを事前に作成しておき、このルック・アップ・テーブルを用いて階調変換を行うようにすれば、処理時間の短縮を図ることができる。

このように、表示用参照画像ＰＰの参照周囲領域Ｐ５を入力画像Ｐ１の周囲色に近似させた形態でユーザに提示することで、対象領域Ｐ２の色を入力画像Ｐ１に反映させたときに色の対比効果が軽減された状態とすることができる。

ユーザは、その状態を確認したうえで、「この参照画像の領域の色にしたい」という表示用参照画像ＰＰを選択し、その色を入力画像Ｐ１に対して反映させることができる。

その結果として、ユーザにとっての対比効果が軽減され、「入力画像の背景と合わせると思っていた色ではない」、「入力画像の背景の色と合わない」といったやりなおしの手間を抑制した色補整を実現することができる。

ところで、上記実施の形態では、色そのものの「見え」について説明したが、色そのもの以外の印象として、例えば、ざらつき感のようなテキスチャの強度情報や光沢感の度合いなどがり、これらを考慮した補整をすることも可能である。

このように、本発明の画像処理装置は、入力画像Ｐ１の色調を補整する画像処理装置１であって、対象領域Ｐ２の周囲領域Ｐ３を決定する周囲領域決定部２１と、周囲領域決定部２１で決定した周囲領域Ｐ３の代表となる色を周囲色として抽出する代表周囲色抽出部２２と、所定の色調を有する参照対象領域Ｐ４を含む画像を参照画像ＰＳとして格納したデータベースと、データベースから読み出した参照画像ＰＳの参照対象領域Ｐ４を除く画像を周囲色に変換して表示用参照画像ＰＰを生成する表示用画像生成部２３と、表示用画像生成部２３で生成した表示用参照画像ＰＰを画面表示させる参照画像表示部２４と、ユーザ選択を受け付けて前記表示用参照画像ＰＰから目標画像を決定する目標画像選択受付部２５と、入力画像Ｐ１の対象領域Ｐ２における色調を目標画像の参照対象領域Ｐ４における色調に変更する色調変更部２６と、を備えることにより、画像全体としての色のバランスを向上させるとともに、色の対比効果の悪影響を抑制することができる。

本発明の画像処理装置は、画像全体としての色のバランスを向上させるとともに、色の対比効果の悪影響を抑制することができるという効果を有し、入力画像の色調を補整する画像処理装置全般に適用可能である。

１ 画像処理装置
２ ＣＰＵ
２１ 周囲領域決定部
２２ 代表周囲色抽出部
２３ 表示用画像生成部
２４ 参照画像表示部
２５ 目標画像選択受付部
２６ 色調変更部

特許第４４２１７６１号公報

Claims (6)

1. 入力画像の色調を補整する画像処理装置であって、
   前記入力画像の中で選択された対象領域の周囲領域を決定する周囲領域決定部と、
   前記周囲領域決定部で決定した周囲領域の代表となる色を周囲色として抽出する代表周囲色抽出部と、
   所定の色調を有する参照対象領域を含む画像を参照画像として格納したデータベースと、
   前記データベースから読み出した前記参照画像の前記参照対象領域を除く画像を前記周囲色に変換して表示用参照画像を生成する表示用画像生成部と、
   前記表示用画像生成部で生成した前記表示用参照画像を画面表示させる参照画像表示部と、
   ユーザ選択を受け付けて前記表示用参照画像から目標画像を決定する目標画像選択受付部と、
   前記入力画像の前記対象領域における色調を前記目標画像の前記参照対象領域における色調に変更する色調変更部と、
   を備えることを特徴とする画像処理装置。
2. 前記データベースは、前記参照画像を前記参照対象領域に応じて所定の振り分け条件に基づいて対応付けして格納し、
   前記表示用画像生成部は、前記データベースに格納した前記参照画像から所定の振り分け条件で該当した前記参照画像を前記表示用参照画像として１つ以上で画面表示し、
   前記目標画像選択受付部は、前記表示用画像生成部で振り分けた前記表示用参照画像の中から前記目標画像としてユーザ選択指示を受け付ける
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記データベースは、前記参照画像の前記参照対象領域を除く領域を参照周囲領域として格納し、
   前記表示用画像生成部は、前記参照周囲領域を前記周囲色に変換して前記表示用参照画像を生成する
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 入力画像の色調を補整する画像処理方法であって、
   前記入力画像の中で選択された対象領域の周囲領域を決定する周囲領域決定ステップと、
   前記周囲領域決定ステップで決定した周囲領域の代表となる色を周囲色として抽出する代表周囲色抽出ステップと、
   所定の色調を有する参照対象領域を含む画像を参照画像として格納したデータベースから読み出した前記参照画像の前記参照対象領域を除く画像を前記周囲色に変換して表示用参照画像を生成する表示用画像生成ステップと、
   前記表示用画像生成ステップで生成した前記表示用参照画像を画面表示させる参照画像表示ステップと、
   ユーザ選択を受け付けて前記表示用参照画像から目標画像を決定する目標画像選択受付ステップと、
   前記入力画像の前記対象領域における色調を前記目標画像の前記参照対象領域における色調に変更する色調変更ステップと、
   を備えることを特徴とする画像処理方法。
5. コンピュータに請求項３に記載の手順を実行させるための画像処理プログラム。
6. 請求項５に記載の画像処理プログラムがコンピュータに読み取り可能に記録された記録媒体。