JP6675594B2 - 画像処理システム、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像の修整を行う画像処理システム、画像処理方法およびその方法をコンピュータに実行させるためのプログラムに関する。

デジタルカメラ等で撮像して得られた画像に対し、不具合のある部分に手を加えてその不具合を解消する画像の修整（補正）が行われている。この修整は、例えば、色調やシャープネス等の画像表現を変更することにより行われている。

画像修整には、ユーザあるいは装置が、画像処理の手段やパラメータ等を指定し、それに従って修整を行う型（以下、標準型と呼ぶ。）と、目標である画像や特徴量等を指定し、その目標に向けて修整を行う型（以下、転写型と呼ぶ。）の２つの型が存在する。画像修整は、このような修整の型による区分のほか、ユーザが指定する内容によって区分する以下の３つの型も存在する。

１つ目の型は、ユーザが画像修整の操作（オペレータ）やパラメータを直接指定する型（以下、手段指定型と呼ぶ。）である。２つ目の型は、ユーザが画像の形式等で目標を指定する型（以下、目標指定型と呼ぶ。）である。３つ目の型は、複数の修整画像の中からユーザが最終的に期待と合致する修整画像を指定する型（以下、結果指定型と呼ぶ。）である。

前者の２つの型と後者の３つの型との組み合わせを考えると、合計６通りの区分が考えられる。しかしながら、転写型と手段指定型を同時に満たす方法は存在しないので、実際には５通りである。

標準型の例としては、トーンカーブ変換、シャープネス変換、エッジ強調等がある。これらの手段は公知であるので、詳細な説明は省略する。これらの手段は、パラメータを自在に変えられるので、処理自由度が高い。しかしながら、目標を達成するために試行錯誤が要求され、熟練度が必要とされる。この標準型と手段指定型とを組み合わせた例としては、指定画素の色とその所望の色とをユーザに指定させ、それらに基づいて画像全体の色調整を行う技術がある（特許文献１参照）。

また、画像データの調整結果を用いて、調整前後の画素値の対応関係を色変換リストとして作成し、これを他の画像に適用して補正する技術もある（特許文献２参照）。そのほか、色変換リストを、ユーザ・インタラクションを含めて簡単に作成する技術（特許文献３参照）や、処理対象に映像を想定している同様の技術（特許文献４参照）もある。

標準型と目標指定型とを組み合わせた例としては、Ｉｎｓｔａｇｒａｍというアプリケーションにより実行される、効果をアイコン形式でユーザに提示して選択させる技術がある。標準型と結果指定型とを組み合わせた例としては、予め代表的な処理やパラメータを少数個定めておき、それと修整画像とを対にしてユーザに提示し、選択させる技術がある（特許文献５参照）。

転写型と目標指定型とを組み合わせた例としては、類似のシーンの写真プリントの仕上がりの色階調等を揃えるため、画像特性（ハイライト濃度、シャドー濃度、平均濃度等）を基準画像の画像特性に合わせる技術（特許文献６参照）がある。また、デジタルフォトプリンタで同一被写体の顔の色階調を合わせるため、目標とする顔画像（領域）をユーザに選択させて、入力画像の顔画像の色領域の色階調を、目標の顔画像の色領域の色階調に合わせる技術もある（特許文献７参照）。さらに、好みの画像再現を直感的に行うため、入力画像を画像再現項目（色再現、階調再現、輪郭再現）が参照する教師データの画像再現項目に近づくように補正する技術もある（特許文献８参照）。

転写型と結果指定型とを組み合わせた例としては、複数種類の第１画像の各々の第１特徴量に、画像補正対象の第２画像の第２特徴量を近づけるように補正処理した結果から、所望の第１画像を選定させる技術がある（特許文献９参照）。

標準型と手段指定型の組み合わせは、標準型の利点である処理自由度を犠牲にして、ユーザに簡単な選択肢を与えるため、処理自由度が限定的になってしまう。また、画素単位に色変換を適用した結果が画像全体の印象にどのような変化をもたらすか、実際に実行してみないとわからないという予測困難性がある。この点、標準型と目標指定型の組み合わせも、実際の効果が入力画像に依存するため、予測困難性があり、試行錯誤が必要である。標準型と結果指定型の組み合わせは、修整画像の中から選択できるので予測困難性には問題がないが、処理自由度を犠牲にしてユーザに選択肢を与えるため、処理自由度が限定的になってしまう。

転写型と目標指定型の組み合わせは、手段やパラメータを自在に変えられないので、処理自由度が極めて限定的になってしまう。予測困難性についても、上記各組み合わせより緩和されるが、解消はされない。転写型と結果指定型の組み合わせは、予測困難性を解消することができるが、上記転写型と目標指定型の組み合わせと同様、処理自由度が限定的になってしまうという問題を解消することはできない。

このように２つの型の組み合わせは、標準型のみに比べて、予測困難性を解消することができるようになるが、処理自由度が限定的になってしまう。この処理自由度を高めるために、標準型のみにすれば、予測困難性が生じてしまう。ちなみに、予測困難性が生じなければ、直観性が高まり、使い勝手が良く、より少ない工数で所望の結果に到達することができる。そこで、直観的で簡単な使い勝手をもち、より少ない工数で所望の結果に到達することができるとともに、処理自由度も高めることができるシステムや方法の提供が望まれていた。

本発明は、上記課題に鑑み、画像の修整を行う画像処理システムであって、修整の内容を特定するために参照される修整時参照情報と、その修整の内容に従って修整を行った事例を識別可能な事例識別情報とを含む複数の事例情報を記憶する情報記憶部と、画像の入力を受け付け、当該画像を取得する画像取得部と、情報記憶部に記憶された複数の事例情報を、各前記事例情報に含まれる事例識別情報に基づき表示部上に配置して表示させ、ユーザから事例情報の選択を受け付ける事例選択部と、選択された事例情報に含まれる修整時参照情報により特定された修整の内容に従って、画像取得部により取得された画像を修整する事例適用部とを含む、画像処理システムが提供される。

本発明によれば、直観的で簡単な使い勝手をもち、より少ない工数で所望の結果に到達することができるとともに、処理自由度も高めることができる。

本実施形態の画像処理システムの構成例を示した図。 本実施形態の画像処理システムのハードウェア構成図。 画像修整の型を説明する図。 事例情報を説明する図。 標準型と転写型の事例情報を階層化した例を示した図。 複数の事例情報の中から１つの事例情報を選択させるための画面を例示した図。 事例識別情報に基づき事例情報を配置して表示させたときの画面の一例を示した図。 事例識別情報に基づき事例情報を配置して表示させたときの画面の別の例を示した図。 目標指定型および結果指定型の表示例を示した図。 本実施形態の画像処理システムの第１実施形態を示した機能ブロック図。 図１０に示す画像処理システムにより実行される画像処理の流れを示したフローチャート。 本実施形態の画像処理システムの第２実施形態を示した機能ブロック図。 領域選択部により修整対象の領域を選択した画面を例示した図。 図１２に示す画像処理システムにより実行される画像処理の流れを示したフローチャート。 本実施形態の画像処理システムの第３実施形態を示した機能ブロック図。 図１５に示す画像処理システムにより実行される画像処理の流れを示したフローチャート。 本実施形態の画像処理システムの第４実施形態を示した機能ブロック図。 画像評価部によりユーザに評価させる評価指標を表示した画面の例を示した図。 図１７に示す画像処理システムにより実行される画像処理の流れを示したフローチャート。

図１は、画像処理システムの構成例を示した図である。画像処理システムは、画像処理装置１０と、後述する事例情報を記憶するサーバ装置１１とを含んで構成される。画像処理システムは、この事例情報をサーバ装置１１に記憶するのではなく、画像処理装置１０が備える記憶装置に記憶すれば、画像処理装置１０のみで構成されていてもよい。また、事例情報は、画像処理装置１０やサーバ装置１１以外の機器に記憶させることもでき、この場合、画像処理システムは、画像処理装置１０とその機器とを含んで構成される。

図１に示す例では、画像処理装置１０およびサーバ装置１１のほか、原稿等を読み取り、画像処理装置１０へ画像データとして画像を入力する画像読取装置１２と、被写体を撮像し、画像処理装置１０へ画像データとして画像を入力する撮像装置１３とを含んでいる。サーバ装置１１は、上記の事例情報のほか、画像としての画像データを記憶し、画像処理装置１０からの要求により画像データを読み出し、送信することができる。

図１に示す画像処理システムは、画像処理装置１０と撮像装置１３とがケーブル１４により直接接続され、画像処理装置１０と画像読取装置１２とサーバ装置１１とがネットワーク１５を介して互いに接続されている。

画像処理システムは、画像処理装置１０、サーバ装置１１、画像読取装置１２、撮像装置１３を２台以上含んで構成されていてもよく、他の機器をさらに含んで構成されていてもよい。図１では、ケーブル１４を使用して接続しているが、無線通信により接続することもできる。また、画像処理装置１０と画像読取装置１２およびサーバ装置１１は、ネットワーク１５でなくても、直接ケーブルにより接続されていてもよい。

また、ネットワーク１５には、ケーブルにより接続することもできるし、無線により接続することも可能である。無線により接続する場合、アクセスポイントと呼ばれる基地局を介してネットワーク１５に接続することができる。ネットワーク１５は、ＷＡＮ(Wide Area Network)やインターネット等を利用することができる。

画像処理装置１０としては、画像の修整を行うことができるＰＣやタブレット端末等を使用することができる。画像処理装置１０のハードウェア構成、機能、その処理内容については後述する。

サーバ装置１１としては、ＰＣやワークステーション等を使用することができる。サーバ装置１１のハードウェア構成は画像処理装置１０のハードウェア構成と同様のものとすることができる。このため、ここでは説明を省略する。画像処理装置１０は、サーバ装置１１にアクセスし、サーバ装置１１に対して事例情報や画像データを要求し、サーバ装置１１から要求した事例情報や画像データを取得することができる。

画像読取装置１２としては、スキャナ装置やＭＦＰ(Multi Function Peripheral)等を使用することができる。画像読取装置１２は、原稿を所定の位置にセットするための原稿台、その原稿に光を照射する光源、原稿からの光を所定の方向へ導くミラー、光を電気信号に変換する光電変換素子、電気信号をデジタルデータへ変換するＡ／Ｄコンバータ等を含む。画像読取装置１２は、変換されたデジタルデータを画像データとして画像処理装置１０へ出力する。

撮像装置１３としては、デジタルカメラやビデオカメラ等を使用することができる。例えば、デジタルカメラは、レンズと絞り機構とを含む光学系と、レンズを通して入射された光を受光し、電気信号として出力する受光素子と、出力された電気信号をデジタルデータへ変換する等の処理を行う画像演算回路とを含む。また、デジタルカメラは、処理されたデジタルデータを画像データとして記録するメモリ、撮像された画像を表示するための表示装置、ストロボ、操作スイッチ、ケーブルを接続するためのインタフェース等を含む。画像処理装置１０は、このメモリにアクセスし、このメモリに記録された画像データを読み出し、取得することができる。

図２を参照して、画像処理装置１０のハードウェア構成について説明する。画像処理装置１０は、一般のＰＣと同様、入力Ｉ／Ｆ２０、ＣＰＵ２１、メモリ等の記憶装置２２、ＨＤＤ等の補助記憶装置２３、出力Ｉ／Ｆ２４、記録媒体２５が挿入されるドライブ２６、コントローラ２７を備える。入力Ｉ／Ｆ２０は、例えば、撮像装置１３を画像処理装置１０にケーブル１４により接続する際、そのケーブル１４の一端を接続する。ケーブル１４の他端は、撮像装置１３に接続される。

ＣＰＵ２１は、補助記憶装置２３に記憶されたプログラムを実行し、画像処理装置１０を制御し、また、所定の機能を実現する。この所定の機能の実現により、画像の修整を行う。記憶装置２２は、ＣＰＵ２１に対して作業空間を与え、また、ブートプログラムやファームウェア、設定パラメータ等を記憶する。出力Ｉ／Ｆ２４は、図示しない表示装置とケーブルにより接続する際、そのケーブルの一端を接続する。ケーブルの他端は、図示しない表示装置に接続される。

記録媒体２５は、例えば、上記の画像の修整を行うためのプログラムが記録される。このプログラムは、記録媒体２５の読み書きを制御するドライブ２６を介して補助記憶装置２３へインストールされる。コントローラ２７は、ネットワーク１５に接続するネットワークＩ／Ｆとして機能し、ネットワーク１５との通信を制御する。なお、上記プログラムは、独立したプログラムソフトウェアであってもよいし、プリンタドライバ内に実装されていてもよい。

画像処理装置１０の具体的な機能やその機能により実行される処理について説明する前に、本発明の概要について説明しておく。指定された画像処理の手段やパラメータを用いて修整する標準型の欠点は、熟練を要し、試行錯誤を必要とする点である。標準型と手段指定型等の組み合わせや、目標として参照される画像に向けて修整する転写型と目標指定型等の組み合わせの欠点は、処理自由度が低い点である。これらの点は、相関関係があり、両方の欠点を解消することは、これまでの技術では出来なかった。

この両方の欠点を解消するために、本発明では、画像修整の粒度（単位）を、上記の標準型より大きくし、それらの登録、再利用が可能な仕組みを導入する。そして、その登録、再利用が可能な単位を、事例と定義する。事例は、熟練者が行った修整の実例であり、その事例からは、その修整の内容や使用したパラメータ、修整前後の画像等の事例情報を得ることができる。このような事例を適用すれば、熟練を要することなく、また、試行錯誤を要することなく、所望の画像に修整できる。また、多くの事例の中から所望の事例を選択して適用できれば、処理自由度も高められる。

そこで、事例を収集する必要があるが、事例の収集を効率良く行うことを考えた場合、転写型が有効である。これは、所望する画像のみを収集すればよく、入力された画像や途中の修整過程を記録する必要がないからである。しかしながら、以下の２点を考慮すると、標準型を排除することは得策ではない。すなわち、多くのプロ・レタッチャ（専門の写真編集を行う人）は、現実に標準型による修整を活用していること、転写型による修整は現時点で発展途上であることの２点である。

詳細に説明すると、標準型による画像修整は、熟練者によってのみ適切に使いこなすことができる。熟練者は、多くの知識と経験を有していて、どのような画像処理手段を、どの程度、どのような順序で適用すれば、どのような結果が得られるかを理解している。熟練者は、画像の絵柄に応じて対応可能で、修整された画像（修整画像）の品質を評価する審美眼を有しており、これらのスキルを総合的に有するが故、標準型による画像修整を可能にしている。しかしながら、このようなスキルは、極めて貴重で、簡単に外在化させることは難しい。このため、初心者やあまり経験のない者は、熟練者に教わりつつ、試行錯誤を繰り返してスキルを身に付けているのが現状である。また、熟練者といえども、言葉で明確に表現して伝達することは難しい。

したがって、このようなスキルを外在化させるための唯一の方法は、熟練者が行った画像修整の実例を蓄積し、それを活用していくことである。本発明では、事例という情報形式を導入することによって、熟練者が選んだ手法を蓄積し、利用する。そうすれば、標準型において蓄積した手法や画像を転写型において利用することが可能になる。

ここで、図３〜図５を参照して、各型による修整、事例情報について説明する。図３（ａ）は、標準型による修整を例示した図である。この修整では、事例において使用した修整前後の２つの画像（事例画像）と、その事例において適用した画像処理の手段であるトーンカーブとを使用している。トーンカーブは、画像を階調補正するための手段であり、２つの事例画像のうちの画像Ａを、もう１つの画像Ｂとなるように階調補正する。このため、修整対象の画像が入力画像として入力されると、このトーンカーブにより変換され、変換後の画像が修整画像として出力される。トーンカーブは、階調変換関数で表すことができ、この関数を使用して変換することができる。図３（ａ）では、この修整により、背景、人物の顔の色や洋服の色等が変更されている。

図３（ｂ）は、転写型による修整を例示した図である。この修整では、目標として参照される画像（参照画像）のみを使用する。転写型では、参照画像に向けて修整を行うため、参照画像のみがあればよいからである。この転写型では、例えば、色彩転写（http://www.thegooch.org/Publications/PDFs/ColorTransfer.pdf）等の既知の方法を用いて修整することができる。図３（ｂ）では、この修整により、背景、人物の顔の色や洋服の色が変更されている。

図４（ａ）は、標準型の事例情報の例を、図４（ｂ）は、転写型の事例情報の例を示した図である。事例情報は、修整の内容を特定するために参照される修整時参照情報と、その修整の内容に従って修整を行った事例を識別可能な事例識別情報とを含む。図４には、修整時参照情報として、画像処理オペレータと、画像処理パラメータとが示されている。

画像処理オペレータは、画像処理の手段を表すもので、図４（ａ）ではオペレータ名「Ｌトーンカーブ」が、図４（ｂ）では「転写オペレータ」が示されている。画像処理パラメータは、その手段に使用されるパラメータで、図４（ａ）ではトーンカーブを作成するのに使用される制御点情報が、図４（ｂ）ではパラメータはないので、ＮＵＬＬが示されている。なお、図４（ｂ）では、ＮＵＬＬに続いてかっこ書きで「画像Ｂを参照」と記述され、画像Ｂを参照画像として使用することが示されている。

事例識別情報は、その事例を他の事例と識別することができる情報であれば、いかなる情報であってもよい。図４では、修整の型であるタイプ、事例識別子（事例ＩＤ）、撮影位置、撮影日時、画像ファイル名、色調情報、撮影シーンのシーン名、撮影対象の対象物名、画像の印象を表す印象表現、画像内の領域を選択する場合の選択領域情報が示されている。したがって、上記の修整時参照情報も、他の事例と識別することができれば、事例識別情報に含めることができる。

図４（ａ）は、標準型であるから、タイプは標準型とされ、画像の撮影位置として緯度、経度の情報が、対象物名として画像内の人物の氏名が、印象情報としてその人物の印象が示されている。また、標準型の場合、事例画像として２つの画像を必要とするため、画像Ａ、画像Ｂのファイル名、色調情報が登録されている。

図４（ｂ）は、転写型であるから、タイプは転写型とされ、それ以外は図４（ａ）と同様とされる。ただし、転写型の場合、参照画像のみがあればよいことから、参照画像である画像Ｂのみのファイル名、色調情報が登録されている。このため、もう１つのファイル名、色調情報の欄は、情報がないことを示す「ＮＵＬＬ」が入力される。

ここでは、事例情報がテーブル形式で表現されているが、実際には、ＸＭＬ(eXtensible Markup Language)等の記述方法に従って実現することができる。これは一例であるので、他の記述方法を採用してもよい。

標準型による事例で収集された２つの事例画像は、２つの転写型の参照画像として使用することが可能である。図５（ａ）に示す標準型の事例情報は、図４（ａ）と同様であるが、この中の画像Ａの情報、画像Ｂの情報を参照情報とし、図５（ｂ）、（ｃ）に示すような事例情報を作成することができる。図５では、図５（ａ）をルートノードとし、そのルートノードに接続される子ノードを図５（ｂ）、（ｃ）として、事例情報を階層化して保持することができる。このようにすることで、標準型と転写型の両方の修整を行える枠組みを提供することができる。なお、図５（ｂ）、（ｃ）中の矢印は、図５（ａ）中の対応する項目の内容と同じであることを意味する。

次に、直観的で簡単な使い勝手を実現するためには、事例を何らかの形で視覚的に表示し、ユーザに選択の余地を与えることが好適である。事例の数が少ない場合、事例情報をそのまま並べて表示することができる。

ところが、事例の収集や登録が進むにつれて、上記のように並べて表示しても、一度に表示できる数には限界があるため、全部の事例を一度に表示することはできなくなってしまう。図６に示すように、一度に表示することができる事例としての事例画像や参照画像は数枚から数十枚であるから、スクロールバー等により画面をスクロールさせて表示しなければならない。表示に制約がなくランダムに並べられている場合、好適な事例情報を探し出すのが非常に困難である。

そこで、事例情報に事例識別情報を含ませ、ランダムに並べるのではなく、事例識別情報に基づき（例えば、型や色調情報に従って並ぶように）、表示装置である表示部上に事例情報を適切に配置して表示させることができるようにする。これにより、好適な事例情報を探し出すのが困難という問題を解消することができる。

図７を参照して、顔画像の肌色を例にとり、具体的に説明する。事例識別情報には、顔領域といった特定の領域を選択するための選択領域情報と、その選択領域情報により選択された領域の色調情報が含まれている。色調情報は、例えば、平均Ｌａｂ値である。Ｌは、明度を示す次元、ａ、ｂは、色次元であり、図４や図５にも例示したように（８０，１０，１０）のようなＬａｂ色空間における座標値で表される。この色調情報は、登録時に計算して登録しておいてもよいし、必要になったときに計算してもよい。

転写型においては、事例画像である画像Ｂにおける顔画像の色調情報を用いて修整が行われる。このため、標準型に対して、この色調情報を用いるというルールを設けるか、ユーザに選択させるようにすることで、事例の型によらず、両者を二次元に配置することができる。なお、表示は、アイコンやサムネイル等の画像形式であってもよいし、事例ＩＤや撮影位置等の言語形式であってもよい。ちなみに、図７では、画像形式により事例情報の一覧が表示されている。

表示は、図７に示すような事例情報の一覧表示のほか、図８に示すようにＬａｂ空間のａｂ平面（二次元）をマップ化し、各点を各事例として表示することができる。任意の点にカーソルを移動させ、その点上で停止させたとき、事例情報をアイコン等で表示させることができるようにされていてもよい。また、現状の入力画像を点と区別可能な形、図８では星形で示し、目標をどのように選択するかを、より直観的に行うことができるようにされていてもよい。この例では、顔画像の肌色を例に挙げたが、それ以外のシーン名や対象物名等であってもよい。

すべての事例情報を一覧表示すると、その数だけ表示しなければならないが、多くの場合は、同一カテゴリの中で事例情報を選択するので、一覧表示の対象をそのカテゴリに限定することで、表示する事例情報の数を減少させることができる。例えば、事例識別情報の中のシーン名や対象物名といった項目を、カテゴリとして選択できるようにすることで、表示する事例情報の数を減少させることができる。図８では、「空」、「芝」、「花」等をタブによって選択することができるようになっている。

そのほか、タイプを選択すると、図９（ａ）に示すように、標準型は各事例情報につき２つの事例画像を表示させなければならないが、転写型は１つの参照画像のみで済むため、一度により多くの事例情報を表示することが可能となる。また、目標指定も可能となる。標準型については、図９（ｂ）に示すように、２つの事例画像を並べて表示させるのではなく、一定時間間隔で交互に表示させることができる。これにより、転写型の場合と同様、一度により多くの事例情報を表示することが可能となる。

表示する画像は、標準型については２つの事例画像、転写型については１つの参照画像のみであってもよいが、図９（ｃ）に示すように、その事例における修整の内容に従って修整した後の修整画像も表示させることができる。これにより、結果指定が可能となる。この場合においても、標準型については、その修整画像を含め、３つの画像を交互に表示させることができる。また、転写型についても、その修整画像を含め、２つの画像を交互に表示させることができる。これにより、一度により多くの事例情報を表示することが可能となる。

これまで概略について説明してきたが、以下、上記の修整を実現するための機能構成、各機能部が行う処理について詳細に説明する。図１０は、画像処理装置１０の第１実施形態を示した機能ブロック図である。画像処理装置１０は、機能部として、制御部３０と、画像取得部３１と、事例取得部３２と、情報記憶部３３と、事例選択部３４と、事例適用部３５と、画像出力部３６とを含んで構成される。事例適用部３５は、第一形式補正部３７と、第二形式補正部３８とを含んで構成される。

制御部３０は、画像処理装置１０全体の制御を行う。画像取得部３１は、図１に示した画像読取装置１２、撮像装置１３やサーバ装置１１等から画像の入力を受け付け、その画像を取得する。ここでは、画像を取得するとしているが、実際にはその画像の画像データを取得している。画像の取得は、撮像装置１３等から入力される画像データを取得してもよいし、制御部３０がユーザからの指示を受けてサーバ装置１１へ要求し、読み出した画像データを取得することもできる。

事例取得部３２は、画像取得部３１が画像を取得したことを受けて、情報記憶部３３に記憶された複数の事例情報を取得し、事例選択部３４へ渡す。事例取得部３２は、情報記憶部３３に記憶された全ての事例情報を取得することもできるし、ユーザが上記のカテゴリを選択した場合は、そのカテゴリの事例情報のみを取得することができる。例えば、ユーザがタイプとして転写型を選択した場合、事例識別情報に転写型を含むもののみを取得することができる。

事例選択部３４は、事例取得部３２から受け取った複数の事例情報を、各事例情報に含まれる事例識別情報に基づき表示部上に配置して表示させる。そして、事例選択部３４は、ユーザからの事例情報の選択を受け付ける。事例適用部３５は、ユーザにより選択された事例情報に含まれる事例識別情報から事例における修整の型、すなわちタイプを特定する。タイプが標準型であれば、第一形式補正部３７に修整を依頼し、タイプが転写型であれば、第二形式補正部３８に修整を依頼する。

第一形式補正部３７では、依頼を受けると、ユーザにより選択された事例情報に含まれる修整時参照情報により特定された修整の内容に従って、画像取得部３１が取得した画像に対して標準型による修整を行う。第二形式補正部３８では、依頼を受けると、ユーザにより選択された事例情報に含まれる修整時参照情報により特定された修整の内容に従って、画像取得部３１が取得した画像に対して転写型による修整を行う。

事例適用部３５は、修整が終了し、修整画像を得ると、画像出力部３６に渡す。画像出力部３６は、修整画像を表示部に表示し、また、修整画像を印刷して出力し、さらには、修整画像を情報記憶部３３に記憶させる。これらの出力は、予め設定された内容に応じて実行することができる。

これらの機能部は、図２に示したＣＰＵ２１が、補助記憶装置２３に記憶された画像修整を行うプログラムを、記憶装置２２に読み出し実行することにより実現される。なお、情報記憶部３３は、サーバ装置１１が備える記憶装置とすることができるが、画像処理装置１０が備える補助記憶装置２３や、ケーブルあるいはネットワーク１５に接続された外部記憶装置等の他の機器とすることも可能である。

図１１に示すフローチャートを参照して、図１０に示す画像処理装置１０が実行する画像を修整する処理について詳細に説明する。ステップ１１００において、撮像装置１３等から画像の入力を、画像取得部３１が受け付けることにより開始する。ステップ１１０５では、画像取得部３１は、その入力された画像を取得する。ステップ１１１０では、事例取得部３２が、画像取得部３１が画像を取得したことを受けて、情報記憶部３３から複数の事例情報を取得する。ここでは、情報記憶部３３に記憶されている全ての事例情報を取得するものとして説明する。

ステップ１１１５では、事例選択部３４が、事例取得部３２が取得した事例情報を、各事例情報に含まれる事例識別情報に基づき表示部上に配置して表示させる。最も単純な配置例は、事例ＩＤの順に事例情報を並べるという配置である。事例ＩＤは、数値やアルファベット等から構成されるので、数字の１から順に、あるいはアルファベット順に並べることができる。これ以外に、撮影位置や撮影日時の順に並べることもできる。

事例選択部３４は、ユーザ・インタラクション、すなわちユーザとの対話により項目を指定し、その項目の順に並べることもできるし、予め定めた項目、例えば色調情報に従って配置を求め、そこに配置することもできる。

事例情報の表示方法については、修整の型の違いを踏まえて適切に行う必要があり、標準型の場合、修整前後の２つの画像（事例画像）を並べて、または交互に表示させる。転写型の場合は、目標として参照される参照画像のみを表示させる。これにより、目標指定が可能となる。

また、事例情報の表示方法については、画像取得部３１により取得された画像（入力画像）に対する修整画像も含めて表示することができ、標準型の場合、２つの事例画像に修整画像を含めた３つの画像を並べて、または交互に表示させる。転写型の場合は、参照画像に修整画像を含めた２つの画像を並べて、または交互に表示させる。これにより、結果指定が可能となる。

ステップ１１１５では、ユーザが、このように表示された事例情報の中から好適な事例情報を選択し、事例選択部３４は、ユーザが選択した事例情報を受け付ける。ステップ１１２０では、事例情報が選択されたことを受けて、事例適用部３５が、入力画像に対して事例情報を適用するために、まず、事例識別情報の中のタイプを参照し、型の識別を行う。型が標準型であれば、ステップ１１２５へ進み、転写型であれば、ステップ１１３０へ進む。

ステップ１１２５では、第一形式補正部３７が、標準型による修整を行い、ステップ１１３０では、第二形式補正部３８が、転写型による修整を行う。修整は、事例情報に含まれる修整時参照情報の中の画像処理オペレータおよび画像処理パラメータを取り出し、これを適用することにより行われる。画像処理オペレータには、トーンカーブ、シャープネス、エッジ強調等が指定され、画像処理パラメータには、それらに使用される制御点情報等が指定されている。第一形式補正部３７は、トーンカーブが指定されていれば、トーンカーブ変換を行い、シャープネスが指定されていれば、シャープネス変換を行う。これらの変換については、既に公知であるので、その内容については説明を省略する。なお、画像処理オペレータは、１つに限定されるものではなく、２つ以上であってもよい。

上記のトーンカーブ等は、標準型に対して指定されるもので、転写型に対しては、転写オペレータが指定される。このとき、画像処理パラメータには、参照画像が指定される。転写型による修整については、上記の色彩転写等の既知の方法を用いて行うことができる。第一形式補正部３７または第二形式補正部３８は、画像の修整が終ると、事例適用部３５に修整結果としての修整画像を渡す。

ステップ１１３５では、画像出力部３６が、事例適用部３５から修整画像を受け取り、表示部に表示する等して、修整画像をユーザに提示する。ステップ１１４０では、その提示された修整画像でよいかどうかを判断する。例えば、ＯＫボタンとやり直しボタンを表示させ、ユーザがＯＫボタンを押下した場合は、その修整画像でよいと判断し、やり直しボタンを押下した場合は、その修整画像ではダメと判断することができる。

ステップ１１４０で判断した結果が、修整画像でよい場合、ステップ１１４５へ進み、画像出力部３６は、その修整画像を情報記憶部３３に記憶させ、ステップ１１５０でこの処理を終了する。これに対し、修整画像ではダメである場合、ステップ１１１５へ戻り、再びユーザが事例情報の選択を行い、事例選択部３４がその選択を受け付ける。

以上に説明した実施形態では、２つの型による修整を可能にしているが、一方の型に限定し、その型のみの修整を行うことも可能である。この場合、事例識別情報は、タイプという項目を含んでいなくてもよく、事例適用部３５は、タイプを特定する判断を行う必要がなく、いずれか一方の補正部のみを保持していればよい。

次に、画像処理装置１０の別の機能構成、各機能部が行う処理について説明する。図１２は、画像処理装置１０の第２実施形態を示した機能ブロック図である。図１０に示した画像処理装置１０と同様、制御部３０と、画像取得部３１と、事例取得部３２と、情報記憶部３３と、事例選択部３４と、事例適用部３５と、画像出力部３６とを含んで構成される。事例適用部３５は、第一形式補正部３７と、第二形式補正部３８とを含んで構成される。この図１２に示す実施形態では、さらに、領域選択部４０を備えている。上記の制御部３０等の同じ機能部については既に説明したので、ここでは領域選択部４０についてのみ説明する。

領域選択部４０も、ＣＰＵ２１がプログラムを実行することにより実現され、修整対象の領域の選択を行う。この領域選択部４０は、入力画像における修整対象の領域を限定するものである。

画像全体について事例情報に基づき修整を行うことは、標準型、転写型の両方において可能である。標準型は、例えば、色調を明るく、鮮やかにといった簡単な修整に対して好適で、転写型は、シーンとして画像全体が類似しているものに対して好適である。画像全体を対象とする修整では、このような好適な場合がある反面、必ずしも意図する画像に修整することができない場合がある。例えば、顔だけを少し明るくしたい場合や、青味成分だけを少し抑えたい場合や、高周波数成分だけを強調したい場合等である。

このような特定の領域のみを修整したい場合に、領域選択部４０によりその修整したい領域を選択し、事例適用部３５によりその選択された領域を修整することができる。領域の選択は、既に知られた、色相で選択する方法、領域境界をユーザがなぞる方法、ブラシにより領域面をなぞる方法、顔領域抽出、高速フーリエ変換（ＦＦＴ）等を用いて行うことができる。

図１３を参照して、具体的に説明すると、図１３には、入力画像４１が表示され、その向かって左側にツールボックス４２が表示されている。ツールボックス４２内には、様々なツールがアイコン表示されていて、ここでは、自動選択ツール４３が選択されている。自動選択ツール４３は、マウスによりクリックした位置にある画素およびそれに隣接する近似色の画素を自動的に選択するツールである。

図１３では、顔の肌を表示している画素がクリックされたため、それに隣接する肌色の画素すべてを抽出し、抽出されたすべての画素により形成される領域が選択され、それが破線により表示されている。

領域選択部４０が選択する領域は、画像空間（平面）における領域に限定されるものではない。カラー画像の特定のチャネル、例えば赤、青、緑で示される画像信号のチャネル領域を選択してもよいし、周波数空間における特定の帯域をもつ画像信号の周波数領域を選択してもよい。領域選択部４０は、これら３つの領域のうちの１つを選択することに限られるものではなく、これら３つの領域のうちの２つ以上を組み合わせた領域を選択してもよい。

図１４に示すフローチャートを参照して、この実施形態の画像処理装置１０が実行する画像を修整する処理について説明する。ステップ１４００からこの処理を開始する。この場合も、図１１と同様、撮像装置１３等から画像の入力を、画像取得部３１が受け付けることにより開始する。ステップ１４０５、ステップ１４１５〜ステップ１４５５は、図１１に示すステップ１１０５〜ステップ１１５０と同様であるため、ここではその説明を省略する。

ステップ１４１０では、領域選択部４０が、ユーザから領域の指定を受け付け、その指定された領域を選択する。この選択された領域の情報は、事例適用部３５へ送られ、修整する領域を特定し、その領域につき修整が行われる。

画像処理装置１０のさらに別の機能構成、各機能部が行う処理について説明する。図１５は、画像処理装置１０の第３実施形態を示した機能ブロック図である。図１０に示した画像処理装置１０と同様、制御部３０と、画像取得部３１と、事例取得部３２と、情報記憶部３３と、事例選択部３４と、事例適用部３５と、画像出力部３６とを含んで構成される。事例適用部３５は、第一形式補正部３７と、第二形式補正部３８とを含んで構成される。この図１５に示す実施形態では、さらに、事例登録部５０を備えている。上記の制御部３０等の同じ機能部については既に説明したので、ここでは事例登録部５０についてのみ説明する。なお、画像処理装置１０は、事例登録部５０と上記の領域選択部４０の両方を備えていてもよい。

事例登録部５０は、ＣＰＵ２１がプログラムを実行することにより実現され、画像修整により得られた修整画像に付加情報を加えて新しい事例情報として情報記憶部３３に記憶させ、登録する。事例登録部５０は、図４に示した表現形式に従って、各項目に対応する内容を特定し、１つの事例情報として登録する。したがって、修整画像を除く、各項目に対応する内容が付加情報とされる。タイプは、修整を行ったときに特定されたタイプがそのまま継承される。

タイプが標準型である場合、修整時参照情報には、修整の際に参照された画像処理オペレータ、画像処理パラメータをそのまま指定する。事例識別情報には、図４に示した画像Ａ、画像Ｂの内容として、入力画像、修整画像の内容が指定される。すなわち、入力画像および修整画像のファイル名、色調情報が指定される。その他の情報は、修整の際に参照した事例情報内の各情報がデフォルト値として指定される。このため、修正が必要であれば、ユーザ・インタラクションを介して修正したい箇所の情報を修正することができる。

タイプが転写型である場合も、修整時参照情報には、修整の際に参照された画像処理オペレータ、画像処理パラメータをそのまま指定する。そして、事例識別情報には、画像Ｂの内容として、修整画像の内容が指定される。その他の情報については、標準型と同様である。

このようにして新しい１つの事例情報として作成し、それを追加することで、その事例情報を再利用することが可能となる。なお、標準型の場合、図５に示したように、２つの事例画像を含むため、２つの事例画像の各々を参照画像とし、２つの転写型の事例情報として登録することも可能である。これにより、標準型の事例情報のほか、転写型の事例情報も追加することができる。また、事例情報の追加により、より所望する修整画像を得ることが可能となる。

図１６に示すフローチャートを参照して、この実施形態の画像処理装置１０が実行する画像を修整する処理について説明する。ステップ１６００からこの処理を開始する。この場合も、図１１と同様、撮像装置１３等から画像の入力を、画像取得部３１が受け付けることにより開始する。ステップ１６０５〜ステップ１６４５、ステップ１６５５は、図１１に示すステップ１１０５〜ステップ１１５０と同様であるため、ここではその説明を省略する。

ステップ１６５０では、事例登録部５０が、入力画像に対して行った修整を追加の事例とし、その事例において得られた事例情報を、情報記憶部３３に追加の事例情報として記憶させ、登録する。この登録された事例情報は、次の画像修整において、ユーザに提示され、選択可能にされる。

画像処理装置１０のさらに別の機能構成、各機能部が行う処理について説明する。図１７は、画像処理装置１０の第４実施形態を示した機能ブロック図である。図１０に示した画像処理装置１０と同様、制御部３０と、画像取得部３１と、事例取得部３２と、情報記憶部３３と、事例選択部３４と、事例適用部３５と、画像出力部３６とを含んで構成される。事例適用部３５は、第一形式補正部３７と、第二形式補正部３８とを含んで構成される。この図１７に示す実施形態では、さらに、画像評価部６０を備えている。上記の制御部３０等の同じ機能部については既に説明したので、ここでは画像評価部６０についてのみ説明する。なお、画像処理装置１０は、画像評価部６０と、上記領域選択部４０および上記事例登録部５０のいずれか１つもしくはその両方を備えていてもよい。

画像評価部６０は、ＣＰＵ２１がプログラムを実行することにより実現され、修整画像の品質を評価するための指標を表示部に表示させる。熟練者でない場合、鑑識眼が十分ではないため、修整画像を見ただけでは、所望の画像が得られたかどうかを判断することは難しい。このため、画像評価部６０を設け、ユーザが客観的に評価を行うことができる評価指標を表示させることが望ましい。

画像評価部６０は、評価指標を提供するため、画像対評価と単一評価の少なくとも一方を利用する。図１８を参照して、画像評価部６０が表示させる評価指標について説明する。図１８に示す画像は、向かって左側から、入力画像、修整画像、Ｃｈ差分（明度Ｌ）画像で、Ｃｈ差分画像が画像対評価により得られる評価指標の例である。Ｃｈ差分画像の下側には、ΔＥ（色差）が数値として示されている。このΔＥも、画像対評価により得られる評価指標の例である。要するに、単一評価と画像対評価の違いは、評価指標を画像一枚から得るか、２つの画像から得るかの違いである。

画像対評価により得られる評価指標の例としては、Ｓ／Ｎ（信号対ノイズ比）、ＭＳＥ（平均二乗誤差）、ΔＥ等が知られている。これらの評価指標により、信号レベルでどれほどの変化があるかを客観的に理解することができる。そのほか、Ｓ／ＮやＭＳＥよりも主観との合致度が高いとされるＳＳＩＭと呼ばれる評価指標を導入することもできる。

単一評価により得られる評価指標の例としては、明度あるいは色チャネル毎のヒストグラムが知られている。このヒストグラムは、例えば、画像を構成するＲ、Ｇ、Ｂの各画素値が何個使用されているかを棒グラフで表したものである。このため、このヒストグラムを見ることで、ユーザは、画像全体の調子を客観的に理解することができ、適切な判断を行うことが可能になる。画質を評価する要因としては、明度等のほか、コントラスト、シャープネス、鮮鋭性、粒状性等を挙げることができ、これらについての評価指標を導入することもできる。

単一評価により得られる指標の例としては、そのほか、Ｓａｌｉｅｎｃｙ Ｍａｐ（誘目性マップ）を挙げることができる。これは、人の視覚特性に照らして目立ち度合いを、画素値を流用し、画像的に表現する方法である。このマップによれば、どの当たりに注目して評価すべきかの指針を得ることができる。これらの例は、一例であり、これ以外の評価指標を加えてもよい。

評価する対象の画像あるいは画像対としては、修整画像、修整画像と入力画像もしくは参照画像もしくは事例画像を挙げることができる。評価する対象の画像あるいは画像対は、その他の入力画像、参照画像、入力画像と参照画像等であってもよい。このうち、入力画像と参照画像または事例画像の画像対評価は、将来的に、より適した事例情報を配置するという目的に拡張するための基盤となる。修整画像の評価は、得られた結果を判断するための客観的な情報として活用される。この評価により、ユーザは安心して評価を下すことができ、同時に、画像修整に必要なスキル・レベルの向上を図ることが可能となる。

図１９に示すフローチャートを参照して、この実施形態の画像処理装置１０が実行する画像を修整する処理について説明する。ステップ１９００からこの処理を開始する。この場合も、図１１と同様、撮像装置１３等から画像の入力を、画像取得部３１が受け付けることにより開始する。ステップ１９０５〜ステップ１９３５、ステップ１９４５〜ステップ１６５５は、図１１に示すステップ１１０５〜ステップ１１５０と同様であるため、ここではその説明を省略する。

ステップ１９４０では、画像評価部６０が、ユーザに修整画像の品質を評価させるため、評価指標を表示させる。画像評価部６０は、修整画像の品質を、修整画像の情報、例えばＲＧＢの画素値を用いて上記のヒストグラムという指標を生成し、そのヒストグラムをユーザに提示するため、表示部に表示させる。また、画像評価部６０は、修整画像と、入力画像もしくは参照画像もしくは事例画像の情報とを用いて、上記のＳ／Ｎ等を求め、その数値を指標としてユーザに提示するため、表示部に表示させる。

以上のように、事例識別情報に基づき事例情報を配置して表示させることにより、直観的で簡単な使い勝手をもち、より少ない工数で所望の結果に到達することができ、また、多くの事例から選択できるようにすることで、処理自由度を高めることができる。また、事例識別情報が色調情報やシーン名等を含み、それに基づいて適切に配置するので、直観的な目標指定が可能となる。型によらない事例表示が可能となり、これによっても直観的な目標指定が可能となる。

修整画像も含めて表示することで、直観的な結果指定が可能となる。そして、領域を選択することで、処理対象を限定し、画像修整の効果を高めることができる。また、追加の事例として登録することができるようにすることで、処理自由度をさらに高めることができる。また、標準型で一定の事例の登録がなされれば、その情報から転写型の事例として使用することができるので、これによって転写型の事例収集、蓄積を加速させることができる。

画像評価のための評価指標を表示させることで、客観的な判断材料を提供できるので、ユーザはより安心して評価を下すことができ、画像修整に必要なスキル・レベルの向上を図ることができる。

これまで本発明の画像処理装置、画像処理方法およびプログラムにより実行される処理について図面に示した実施形態を参照しながら詳細に説明してきたが、本発明は、上述した実施形態に限定されるものではない。したがって、他の実施形態や、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。よって、本発明では、画像処理装置を含む画像処理システムや、コンピュータに実行させるための上記プログラムが記録された記録媒体も提供することができるものである。

１０…画像処理装置、１１…サーバ装置、１２…画像読取装置、１３…撮像装置、１４…ケーブル、１５…ネットワーク、２０…入力Ｉ／Ｆ、２１…ＣＰＵ、２２…記憶装置、２３…補助記憶装置、２４…出力Ｉ／Ｆ、２５…記憶媒体、２６…ドライブ、２７…コントローラ、３０…制御部、３１…画像取得部、３２…事例取得部、３３…情報記憶部、３４…事例選択部、３５…事例適用部、３６…画像出力部、３７…第一形式補正部、３８…第二形式補正部、４０…領域選択部、４１…入力画像、４２…ツールボックス、４３…自動選択ツール、５０…事例登録部、６０…画像評価部

特開２００７−２２１５９１号公報 特開２００４−１２９２２６号公報 特許第４６４６７３５号公報 特開２００８−２９４９６９号公報 特許第４９１０９４８号公報 特開２００２−１７１４０８号公報 特許第４４２１７６１号公報 特開２００６−０８０７４６号公報 特許第４９８５２４３号公報

Claims (9)

1. 画像の修整を行う画像処理システムであって、
   修整の内容を特定するために参照される修整時参照情報と、前記修整の内容に従って修整を行った事例を識別可能な事例識別情報と、を含む複数の事例情報を記憶する情報記憶部と、
   画像の入力を受け付け、当該画像を取得する画像取得部と、
   前記情報記憶部に記憶された複数の事例情報を、各前記事例情報に含まれる前記事例識別情報に基づき表示部上に配置して表示させ、事例情報の選択を受け付ける事例選択部と、
   選択された前記事例情報に基づいて、前記画像取得部により取得された前記画像を修整する事例適用部とを含み、
   前記事例選択部は、前記各事例情報につき目標として参照される一の画像をそれぞれ表示させ、前記各事例情報につき表示させた複数の画像の中から目標となる一の画像の指定を受け付け、
   前記事例適用部は、指定された前記一の画像に向けて修整する、画像処理システム。
2. 前記事例識別情報は、前記事例に割り当てられた事例識別子、前記事例で使用された画像の撮影位置、撮影日時、画像ファイル名、色調情報、撮影シーンのシーン名、撮影対象の対象物名、当該画像の印象を表す印象表現、当該画像内の領域を選択する場合の選択領域情報の少なくとも１つを含む、請求項１に記載の画像処理システム。
3. 前記事例選択部は、前記事例適用部により修整された前記画像を、指定された前記一の画像とともに並べて、もしくは交互に表示させる、請求項１または２に記載の画像処理システム。
4. 前記画像取得部により取得された前記画像に対して修整を行う領域として、画像空間の領域、画像信号のチャネル領域、画像信号の周波数領域の少なくとも１つの指定を受け付け、指定された少なくとも１つの領域を選択する領域選択部をさらに含む、請求項１〜３のいずれか１項に記載の画像処理システム。
5. 前記画像取得部により取得された前記画像に対して行った修整を追加の事例とし、当該修整において得られた事例情報を、前記情報記憶部に追加の事例情報として記憶させる事例登録部をさらに含む、請求項１〜４のいずれか１項に記載の画像処理システム。
6. 前記事例適用部により修整された前記画像の品質をユーザに評価させるために、修整された前記画像の情報、または修整された前記画像の情報と前記画像取得部により取得された前記画像もしくは前記一の画像の情報とを用いて評価指標を生成し、前記評価指標を表示部に表示させる画像評価部をさらに含む、請求項１〜５のいずれか１項に記載の画像処理システム。
7. 画像の修整を行う画像処理システムにより実行される画像処理方法であって、前記画像処理システムは、修整の内容を特定するために参照される修整時参照情報と、前記修整の内容に従って修整を行った事例を識別可能な事例識別情報と、を含む複数の事例情報を記憶する情報記憶部を含み、
   画像の入力を受け付け、当該画像を取得するステップと、
   前記情報記憶部に記憶された複数の事例情報を、各前記事例情報に含まれる前記事例識別情報に基づき表示部上に配置して表示させるステップと、
   前記表示部に表示された前記複数の事例情報のうちの１つの選択を受け付けるステップと、
   選択された前記事例情報に基づいて、前記取得するステップで取得された前記画像を修整するステップとを含み、
   前記選択を受け付けるステップでは、前記各事例情報につき目標として参照される一の画像をそれぞれ表示させ、前記各事例情報につき表示させた複数の画像の中から目標となる一の画像の指定を受け付け、
   前記修整するステップでは、指定された前記一の画像に向けて修整する、画像処理方法。
8. 前記取得するステップで取得された前記画像に対して修整を行う領域として、画像空間の領域、画像信号のチャネル領域、画像信号の周波数領域の少なくとも１つの指定を受け付け、指定された少なくとも１つの領域を選択するステップと、
   前記取得するステップで取得された前記画像に対して前記修整するステップで行った修整を追加の事例とし、当該修整において得られた事例情報を、前記情報記憶部に追加の事例情報として記憶させるステップと、
   前記修整するステップで修整された前記画像の品質をユーザに評価させるために、修整された前記画像の情報、または修整された前記画像の情報と取得された前記画像もしくは前記一の画像の情報とを用いて評価指標を生成し、前記評価指標を表示部に表示させるステップとをさらに含む、請求項７に記載の画像処理方法。
9. 請求項７または８に記載の画像処理方法をコンピュータに実行させるためのプログラム。