JP3956970B2

JP3956970B2 - 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体

Info

Publication number: JP3956970B2
Application number: JP2004327172A
Authority: JP
Inventors: 直樹鍬田; 至宏中見
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2004-11-11
Filing date: 2004-11-11
Publication date: 2007-08-08
Anticipated expiration: 2017-11-13
Also published as: JP2005130516A

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムを記録した媒体に関し、特に、デジタル写真画像のようなドットマトリクス状の画素からなる実写の画像データを入力して各画素の画像データを所定の対応関係で変換する画像処理装置および画像処理プログラムを記録した媒体に関する。

デジタル写真画像のような実写の画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するとか、色度を補正するとか、明るさを補正するといった画像処理である。これらの画像処理は、各画素の画像データを所定の対応関係となるように変換して行われる。色度を補正する例では、色変換テーブルを用意しておき、変換元の画像データを入力データとして同色変換テーブルを参照して出力データを生成する。これにより、肌色補正であれば画像の肌色部分が鮮やかになったりする。

上述した従来の画像処理装置においては、ある色度の補正を行おうとすると画像全体がそのような補正を施されることになり、必ずしも満足のいく結果が得られるとは限らないという課題があった。例えば、人の顔が青みがかって血色が悪く感じられるような場合に血色を良くさせようとした場合、画面全体が赤みがかってしまうといったことが生じていた。すなわち、ある画像修正を行うことによって本来の効果も得られるものの、副作用的に好ましくない画像修正も行われてしまう。

本発明は、上記課題にかんがみてなされたもので、画像データを修正するにあたり、できる限り副作用的な画像処理を行わないようにすることが可能な画像処理装置の提供を目的とする。

上記目的を達成するため、本発明の画像処理装置は、複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する画像処理装置であって、前記画像データを変換する対応関係を複数保持する第１保持手段と、
画像処理の適用対象とされる部位に関する部位関係情報を、画像処理の内容を表わす処理内容情報と関連付けて、該部位関係情報および処理内容情報の組を複数保持する第２保持手段と、前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記複数の部位関係情報を参照して判定する適用対象判定手段と、前記画素が画像処理の適用対象であると判定された場合に、前記参照した複数の部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、複数種類の画像処理の内容のそれぞれを実現する対応関係を特定する対応関係特定手段と、該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する画像データ変換手段とを具備する構成としてある。

上記のように構成した本発明においては、画像を複数の画素として表すとともに各画素を画像データで表現している場合に、各画素の画像データを入力する。この際、適用対象判定手段は、入力された画像データに対応する画素が画像処理の適用対象であるか否かを、画像処理の適用対象とされる部位に関する部位関係情報を参照して判定し、当該画素が画像処理の適用対象であると判定された場合には、対応関係特定手段が、前記参照した部位関係情報に関連付けられた処理内容情報を参照して、画像データを変換する複数の対応関係のうちから、画像処理の内容を実現する対応関係を特定し、該対応関係の特定が行なわれた画素については、画像データ変換手段が、該特定した対応関係を参照して、当該画素の画像データを変換する。具体的には、画像をドットマトリクス状の画素として表すとともに各画素を画像データで表現している場合に、各画素の画像データを所定の対応関係で変換する。この際、第１，第２保持手段は同画像データを変換する対応関係をその適用対象の情報とともに複数備えており、適用対象判定手段ないし対応関係特定手段は、第２保持手段にて保持される各対応関係の適用対象の情報に基づいて各画素の画像データを変換すべき対応関係を判断し、画像データ変換手段はこの対応関係特定手段にて特定された対応関係を上記第１保持手段から参照して各画素の画像データを変換する。

すなわち、画像データを変換する対応関係を複数備え、各画素毎にどの対応関係を適用すべきか判断し、各画素毎に適切な対応関係を適用して画像データを変換する。例えば、木々の緑を鮮やかにする対応関係は木々の緑の画素に適用し、肌を血色良く見せる対応関係は肌色の画素に適用するというように、適宜、対応関係を変化させている。

画像処理を行う関係上、対象となる画像データは実写画像において特に好適であり、ここにおける実写画像は必ずしも１００％実写である必要はなく、半合成であったり、複数の実写画像を混合させたものでも構わない。

第１，第２保持手段は対応関係をその適用対象の情報とともに複数備えている。対応関係は画像データを入力して所定の変換を行うものであり、それぞれの対応関係毎に適用対象の情報も備えている。このような適用対象の情報自体は各種のものを採用可能であり、その一例として、上記第１保持手段が、画像の部位毎に適用すべき対応関係を保持するとともに、上記第２保持手段が、各対応関係を適用すべき部位の情報を有し、上記適用対象判定手段ないし対応関係特定手段が、各画素の画像内における部位を検知するとともに検知された部位と上記第２保持手段が有する各対応関係ごとの部位の情報とを照らし合わせて変換すべき対応関係を判断する構成を考えることができる。

上記の構成によれば、画像の部位毎に適用すべき対応関係が異なり、上記第２保持手段は各対応関係を適用すべき部位の情報を有している。このため、上記適用対象判定手段ないし対応関係特定手段は各画素の画像内における部位を検知し、検知された部位と上記第２保持手段が有する各対応関係ごとの部位の情報とを照らし合わせる。そして、一致するものがあればその対応関係を変換すべきものとして判断する。

すなわち、画像の部位毎に異なる対応関係を用意して画像データに適用する。
例えば、画像の上方部分には空色に対する対応関係を適用し、下方部分は特に変換しないというものが含まれる。この場合の画像の部位の単位は特に制限されるものではなく、矩形であったり、丸形であったり、フリーな図形などを採用可能である。また、必ずしもある範囲を持って部位を特定する必要もなく、ある部分を中心として所定の範囲を指定するといったものでも良い。この場合、中心から離れるに従って徐々に変換度合いを下げていくといったものでも良い。むろん、一つの対応関係を複数の部位に適用しても構わない。また、上記の画像処理装置において、前記第２保持手段を、部位関係情報および処理内容情報の組を、複数保持する手段とした場合には、前記適用対象判定手段を、前記複数の各部位関係情報を参照して、前記判定を行なう手段とし、前記対応関係特定手段を、前記参照した複数の各部位関係情報に関連付けられた処理内容情報を参照して、複数種類の画像処理の内容のそれぞれを実現する前記対応関係の特定を行なう手段としてもよい。

適用対象を特定する他の一例として、上記第１保持手段が、複数の対応関係を保持するとともに各対応関係を適用すべき色度の情報を有し、上記対応関係特定手段は、各画素の色度を検知するとともに検知された色度と上記第２保持手段が有する各対応関係ごとの色度の情報とを照らし合わせて変換すべき対応関係を判断する構成を考えることができる。

上記の構成によれば、上記第１保持手段は複数の対応関係を保持しており、各色度毎に適用すべき対応関係が異なっている。このため、上記第２保持手段は各対応関係毎に適用すべき色度の情報を有しており、上記適用対象判定手段ないし対応関係特定手段は、各画素の色度を検知し、検知された色度と上記第２保持手段が有する各対応関係ごとの色度の情報とを照らし合わせ、変換すべき対応関係を判断する。この場合、あくまでも適用すべき対応関係を判断するために色度を利用するのであり、必ずしも色度を修正する必要はない。

色度を判断するには入力された画像データをそのまま利用しても構わないし、いわゆる色空間を変更してより色度を判断しやすい画像データに変換してから判断しても良い。さらには、必ずしも狭義の色度にとらわれず、画像データから判断可能な所定の特徴量を利用する場合であっても広義の意味で色度と判断することが可能である。

一方、画像データを変換するための対応関係を備えるための各種の具体的手法を採用可能である。その一例として、上記第１保持手段が、上記の対応関係を、トーンカーブの形態で保持する構成や、上記の対応関係を、変換元の画像データと変換後の画像データの対応関係を表わした色変換テーブルの形態で保持する構成を考えることができる。

上記の色変換テーブルの形態で保持する構成においては、上記第１保持手段の色変換テーブルに変換元の画像データと変換後の画像データとが記憶されており、画像データ変換手段は変換元の画像データを用いて同色変換テーブルを参照することにより、変換後の画像データを得ることになる。すなわち、対応関係をテーブルとして記憶するものである。

むろん、これ以外にも演算式であるとか、演算用パラメータといった形で対応関係を保持することも可能であるが、テーブルを利用する場合には参照するだけの手間であるなどのメリットもある。

複数の対応関係は必ずしも個別の対応関係が複数ある場合に限るものではなく、実質的に複数の変換結果が得られるようなものでも良い。その一例として、上記第１保持手段が、複数の対応関係を、一の対応関係と該対応関係を適用する度合いを変化させることによって生成される他の対応関係として保持する構成を考えることができる。

上記の構成においては、第１保持手段は対応関係を適用する度合いを変化させることにより複数の対応関係を実現する。例えば、同対応関係を適用しない画像データと適用した画像データとの間で適応度合いに応じた値に設定すると入ったことが可能である。この場合、リニアな関連づけであってもよいし非線形的な関連づけをしても構わない。

さらには、このような適用度合いを利用する場合には、一つの対応関係だけを備えれば、当該対応関係を適用して変換させた状態と、実質的に変換させない状態とが得られ、複数の対応関係を備えたものということができるし、この場合に適応度合いを変化させることによってさらに多くの対応関係を実現できる。

第２保持手段が備える対応関係は予め定められたものであってもよいし、適宜定めるものであっても良く、後者の一例として、上記第２保持手段を、使用者の操作によって入力された部位関係情報および処理内容情報を保持する手段とした構成を考えることができる。

上記の構成においては、上記画像データに適用すべき対応関係が、使用者の操作によって入力された部位関係情報および処理内容情報に基づいて特定される。対応関係には変換内容と適用対象の二つの要素があり、上記第２保持手段はいずれを対象とするものであっても構わない。この場合、各画像の部位を指定し、指定された部位における変換内容を選択するといったことも可能である。また、画像処理のオプションとして肌色補正であるとか空色補正といった項目を選択するといったものでも良い。

このような対応関係の具体的な一例として、上記第１保持手段が、対応関係として、画像データに基づいて明るさを変化させる関係を保持する構成を考えることができる。

上記の構成においては、第１保持手段が画像データに基づいて明るさを変化させる対応関係を保持し、画像データ変換手段はこの対応関係を利用して所定の画素に対して明るさを変化させる変換を行う。例えば、画像のある部分について画素を明るくするといった変換を行う。

また、他の一例として、上記第１保持手段が、対応関係として、画像データに基づいて色度を変化させる関係を保持する構成を考えることができる。

上記の構成においては、第１保持手段が画像データに基づいて色度を変化させる対応関係を保持し、画像データ変換手段はこの対応関係を利用して所定の画素に対して色度を変化させる変換を行う。例えば、画像の中に肌色の画素があれば赤みを強調させる変換を行う。

さらに、他の一例として、上記第１保持手段が、対応関係として、画像データに基づいて色の鮮やかさを変化させる関係を保持する構成を考えることができる。

上記の構成においては、第１保持手段が画像データに基づいて色の鮮やかさを変化させる対応関係を保持し、画像データ変換手段はこの対応関係を利用して画像の鮮やかさを変化させる変換を行う。例えば、色鮮やかな被写体を周りの背景と比べて引き立てたい場合に当該被写体をより鮮やかにする変換を行う。

ところで、所定の対応関係を適用するか否かがはっきりと分かれると、見た目にその境界が分かってしまいかねない。このため、上記の画像処理装置において、上記画像データ変換手段が、対応関係が異なる領域の間の遷移領域の画素について徐々に対応関係が変化するように画像データを変換する構成を考えることができる。

上記の構成においては、対応関係が異なる領域の間に遷移領域を設け、当該遷移領域の画素については徐々に対応関係が変化するように画像データ変換手段が画像データを変換する。これにより、段差が生じないようにする。

遷移領域で徐々に対応関係が変化する態様は適宜選択可能であり、線形の遷移としてもよいし、非線形の遷移としても良い。

上述したようにして、複数の対応関係を備えて画素に応じて対応関係を変える手法は、実体のある装置に限定される必要はなく、その方法としても機能することは容易に理解できる。このため、本発明の画像処理方法は、複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する方法であって、
前記画像データを変換する対応関係を複数保持すると共に、画像処理の適用対象とされる部位に関する部位関係情報を、画像処理の内容を表わす処理内容情報と関連付けて保持し、前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記部位関係情報を参照して判定し、前記画素が画像処理の適用対象であると判定された場合に、前記参照した部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定し、該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する構成としてある。

すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。

以上のような手法で画像処理する発明の思想は、各種の態様を含むものである。すなわち、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。発明の思想の具現化例として画像処理するソフトウェアとなる場合には、かかるソフトウェアを記録したソフトウェア記録媒体上においても当然に存在し、利用されるといわざるをえない。その一例として、本発明の記録媒体は、複数の画素からなる実写画像の画像データを変換するプログラムを、コンピュータに読み取り可能に記録した記録媒体であって、前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、画像処理の適用対象とされる部位に関する部位関係情報を参照して判定する機能と、前記画素が画像処理の適用対象であると判定された場合に、前記参照した部位関係情報に関連付けられた、画像処理の内容を表わす処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定する機能と、該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する機能とを記録した構成としてある。

むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなるソフトウェア記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。

さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部をソフトウェア記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。

以上説明したように本発明の画像処理装置は、画素毎に画像データを変換する対応関係を変化させることができるため、他の部分に悪影響を与えることなく、所望の画像処理を実現することが可能な画像処理装置を提供することができる。また、本発明の画像処理装置によれば、画像の部位で対応関係を変化させるので、場所を指定した画像処理を行うことができ、操作などが容易となる。

さらに、各画素の画像データに適用すべき対応関係の特定を、複数組の部位関係情報および処理内容情報を参照して行なう構成を採れば、画像処理したい画素が複数の部分に存在する場合であっても、他の部分に悪影響を与えない画像処理を比較的容易に実現することができる。

さらに、色度で対象を選択できる構成を採れば、画像処理したい画素が複数の部分に存在する場合であっても比較的容易に実現できる。

さらに、対応関係を色変換テーブルの形態で保持する構成を採れば、画像変換が比較的容易となる。

さらに、複数の対応関係を、一の対応関係と該対応関係を適用する度合いを変化させることによって生成される他の対応関係として保持する構成を採れば、適応度合いを変化させることで、一つの対応関係を複数のように利用可能となる。

さらに、画像データに適用する対応関係を、使用者の操作によって入力された部位関係情報および処理内容情報を用いて特定する構成を備えることで、対応関係の適用に関する自由度が向上する。

さらに、画像データに基づいて明るさを変化させる関係を対応関係として保持する構成を採れば、適用すべき対応関係で明るさを変化させることができる。

さらに、画像データに基づいて色度を変化させる関係を対応関係として保持する構成を採れば、適用すべき対応関係で色度を変化させることができる。

さらに、画像データに基づいて色の鮮やかさを変化させる関係を対応関係として保持する構成を採れば、適用すべき対応関係で鮮やかさを変化させることができる。

さらに、遷移領域の画素について徐々に対応関係が変化するように画像データを変換する構成を採れば、一つの画像の中で異なる対応関係が適用されることになっても境界部分で段差が生じないようにすることができる。

さらに、本発明の画像処理方法によれば、同様の効果を得ることが可能な画像処理方法を提供でき、本発明の記録媒体によれば、画像処理プログラムを記録した媒体を提供することができる。

以下、図面にもとづいて本発明の実施形態を説明する。

図１は、本発明の一実施形態にかかる画像処理装置を利用する画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。

図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した実写の画像データを画像処理装置２０へ出力し、同画像処理装置２０は画像処理の適用対象と内容を指定してから対象となる画素について画像処理を実行する。同画像処理装置２０は画像処理した画像データを画像出力装置３０へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。

画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とマウス２７とＣＤ−ＲＯＭドライブ２４とフレキシブルディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、画像の不具合を修正すべく対象となる画素を指定しつつ所定の対応関係で画像処理を行なうものであるため、画像データとしては写真などの実写データが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。

本実施形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要とする。一方、コンピュータ２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。

また、画像処理アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して所定の画像処理を実行する。従って、画像処理装置２０としてのこのコンピュータ２１の具体的役割は、ＲＧＢの階調データを入力して画像を評価しつつ最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させることになる。

このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像評価と画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対して各種の画像処理を行うシステムに適用可能である。例えば、図３に示すようにデジタルスチルカメラ１２ａ内に所定の適用対象毎に対応する画像処理を実行する画像処理装置を組み込み、変換した画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモデム２６ｂ等を介して入力される画像データから各画素毎に適用対象に属するか否かを判定して対応する画像処理を実行するように構成することも可能である。

上述した画像評価とそれに伴う画像処理は、具体的には上記コンピュータ２１内にて図５などに示すフローチャートに対応した画像処理プログラムで行っている。処理内容を大まかに説明すると、次のようになる。最初のステップＳ１００では画像処理ごとに適用すべき対象を指定する処理を実施しておき、ステップＳ１１０〜Ｓ１４０では図６に示すようにドットマトリクス状の各画素について対象画素を移動させながら所定の画像処理を実行する。この際、ステップＳ１１０では対象画素がステップＳ１００にて指定した画像処理の対象であるか否かを判定し、ステップＳ１２０ではその判定結果に従って画像データを変換する。むろん、この変換によって実質的に画像処理されたことになる。ステップＳ１３０，Ｓ１４０については対象画素を移動させていく処理に該当する。以下、この大きな流れに沿って詳細に説明する。

画像処理をどの画素に対して行うべきかは画像処理の内容にも依存するが、本実施形態においては、図７および図８に示すように、処理対象となる画像の部位を指定する。図７に示すように、ウィンドウ４０の上辺に沿って当該ウィンドウ枠を操作するための操作エリア４１が設けられるとともに、中央部分には画像の表示エリア４２を設けてあり、下辺に沿って画像処理を指定する処理メニューエリア４３を設けてある。

表示エリア４２に処理対象となる画像を表示した状態でマウス２７で矩形領域を指定するとともに、同マウス２７で処理メニューエリア４３の中の画像処理を選択する。処理メニューエリア４３には実行可能な画像処理として「コントラスト」修正、「明るさ」修正、「シャープネス」修正、「彩度」修正の各領域とともにその程度を指示する矢印を設けてあり、例えば、コントラストの上矢印をマウス２７でクリックすればコントラストを強調する画像処理を指定したことになり、下矢印をクリックすればコントラストを弱める画像処理を指定したことになる。

各領域について複数の画像処理を選択しても良いし、選択した画像処理は上記処理メニューエリア４３の中の「リスト表示・編集」をクリックすれば図９に示すような領域の左上座標と右下座標と画像処理の処理種類とレベルを表示する。
レベルは画像処理の程度を示すものであり、上述した上矢印と下矢印のクリック回数によって処理程度を強めたり弱めたりするためのデータである。処理種類は後述するように画像処理の種類を示すものであり、この例では「コントラスト」修正は１で「明るさ」修正は２で、「シャープネス」修正は３で、「彩度」修正は４となってそれぞれ対象を意味する。なお、処理種類とレベルについては画像処理の内容の説明とともに後述する。また、選択した画像処理を削除する場合にはそれぞれの指定をクリックしてハイライトさせ、キーボード２３の削除キーを押下すればよい。この他、編集は通常のアプリケーションの操作に準ずればよい。

本実施形態においては、画像処理アプリケーション２１ｄがアプリケーションレベルで実行されるため、処理対象となる画像をウィンドウ４０内に表示して領域指定することが可能となっている。しかし、同様の画像処理をプリンタドライバ２１ｂのようなドライバレベルで実現する場合もあり、この場合には必ずしも画像をウィンドウ表示できないことがある。

図１０はウィンドウ表示にかかわらず画像処理対象を指定する一例を示しており、プリンタドライバ２１ｂを起動したときにオプションとして選択するウィンドウ５０を示している。図７〜図９が画像の部位を指定しているのに対し、この例では、画像の色度を指定して対象となる画素を選択するものである。ここで、色度について説明する。

色度の具体例としてｘ−ｙ色度を計算する。いま、対象画素のＲＧＢ表色系におけるＲＧＢ階調データが（Ｒ，Ｇ，Ｂ）であるとするときに、
r=R/(R+G+B) ...（１）
g=G/(R+G+B) ...（２）
とおくとすると、ＸＹＺ表色系における色度座標ｘ，ｙとの間には、
x＝(1.1302+1.6387r+0.6215g) ／(6.7846-3.0157r-0.3857g) ...（３）
y＝(0.0601+0.9399r+4.5306g)／(6.7846-3.0157r-0.3857g) ...（４）
なる対応関係が成立する。ここにおいて、色度は明るさに左右されることなく色の刺激値の絶対的な割合を表すものであるから、色度からその画素がどのような対象物かを判断することができるといえる。

例えば、人物像を画像のオブジェクトと考えると、肌色の部分の画素を抽出すれば良いと言える。肌色の場合の色度は、
0.35＜x＜0.40 ...（５）
0.33＜y＜0.36 ...（６）
というような範囲に含まれているから、各画素の色度を求めたときにこの範囲内であればその画素は人間の肌を示す画素と考えてもあながち誤っていないと言える。同様に青空の色度や木々の緑の色度といったものも色度として判断すれば明るさに関わらず空の画素や木々の緑の画素を概ね特定できる。図１１はｘ−ｙ色度の分布関係を示しており、肌色の領域であるとか、青空の色の領域であるとか、木々の緑の色の領域がこのような矩形の領域として把握できる様子を示している。なお、図１０に示すようにこのｘ−ｙ色度の分布範囲を直に指定して個別指定できるようにしても良い。

一方、図１２には同様に領域を決めるにあたって中心点を指定する手法を示している。肌色の場合であれば、（５）（６）式よりその中心点として、
x=0.375 ...（７）
y=0.345 ...（８）
が得られる。そこで、この中心点を基準として一定半径の円内に入っていれば上記領域に属するものと判定するようにすればよい。

プリンタドライバ２１ｂのオプションで表示するウィンドウ５０では、色度で対象を指定すべく所定の色度に対する具体例を表示し、操作者が観念的に青空をきれいにしたいとか、木々の緑を鮮やかにしたいといった要望を反映できるようにしている。この場合、それぞれの色度の画素を強調させるのか弱めるのか指示するための矢印ボタンも設けてある。

この例では色度で画素の範囲を指定しつつその色度を強調するか否かといった画像処理に利用するようにしているが、色度による画素の選択と実行すべき画像処理が一致する必要はない。例えば、肌色の画素を明るくするとか、緑色の画素のコントラストを強調するといった画像処理でも構わない。すなわち、あくまでも色度は画素を処理対象であるか否かの指標として利用することができるものであり、この例ではさらに画像処理の選択に利用しているに過ぎない。

以上のようにして画像処理ごとに適用すべき対象を指定するステップＳ１００の処理が対応関係指定手段を構成するが、むろんこれらに限る必要はなく、部位や色度を指定する手法としても適宜変更可能であるし、これら以外の要素、例えば、明るさとかシャープさなどで指定することも可能である。また、図９に示すようにして所定の領域を指定しつつその画像処理を対応づけて保持する対応表はコンピュータシステム内の記憶領域に保持されるが、後述する画像処理のための色変換テーブルとともに第１，第２保持手段を構成することはいうまでもない。

次のステップＳ１１０以下では対象画素を移動させながら上述したように指定した画像処理の対象画素であるか否かを判定する。対象画素が画像処理の対象であるか否かは図９に示す領域・テーブル対応表における各欄の左上座標と右下座標を参照して対象画素の座標と比較すればよい。該当する欄があれば画像処理の適用対象画素であると判断するし、いずれの欄の領域にも属しなければ当該対象画素には画像処理しなくても良いと判断する。また、図１０に示すように色度で判断する場合には（１）〜（４）式に従って対象画素の色度を計算し、プリンタドライバ２１ｂのオプションで選択された色度の範囲に属するか否かを判定する。

画像処理の適用対象であるか否かは部位あるいは色度に基づいて上述したように判定するもののこれらの範囲に属するか属しないかといった二者択一の判定を行うと、隣接領域について何らかの視覚的な段差が生じやすい。例えば、ある矩形領域を明るくしようとしたとき、矩形領域のすぐ外側では明るくしないとすれば、その境界で明るさの段差が生じ、矩形領域がはっきりと分かってしまう。

このため、本実施形態においては、画像処理の適用度ｋのパラメータを利用する。図１３に示すように、ステップＳ１１１にて所定の領域に属すると判断されればステップＳ１１２にて適用度ｋに「１」をセットするものの、その領域の周縁の遷移領域については適用度ｋを「０」〜「１」の範囲で変化させる。すなわち、ステップＳ１１３にて遷移領域内であると判断された場合、ステップＳ１１４では領域に近いならば適用度ｋを「１」に近づけるし、遠いならば「０」に近づける。そして、所定の領域にも遷移領域にも属しない場合にはステップＳ１１５にて適用度ｋに「０」をセットする。一方、図１２に示す例では色度の中心点を指定しているが、図１４に示すように半径ｒ０内を画像処理の対象として適用度ｋに「１」を設定するものとし、遷移領域を半径ｒ０〜半径ｒ１の範囲として周縁部分で徐々に適用度ｋが「０」に近づくようにすればよい。

ステップＳ１１０では適用対応関係を判定するとともにステップＳ１１１〜Ｓ１１５にてこの適用度ｋを求めておく。以上のようなステップＳ１１０〜Ｓ１１５のソフトウェア処理とこれを実現するハードウェアによって対応関係判断手段を構成する。本実施形態においては、その判定結果を各画像処理の適用度ｋとして求めるようにしているが、適用するか否かという二者択一の判定が実現可能であることはいうまでもない。

次のステップ１２０では適用度ｋに注目して対象画素に対して画像処理を実行する。ここで、本実施系において用意されている画像処理の具体的内容についてそれぞれ説明する。

コントラストは画像全体としての輝度の幅を示し、コントラストを修正したいと感じる場合、コントラストの幅を広げたいという要望が主である。ある画像の各画素における輝度の分布をヒストグラムとして集計したものを図１５で実線にて示している。実線に示す分布を取る場合、明るい画素の輝度と暗い画素の輝度との差が少ないが、輝度の分布が一点鎖線に示すように広がれば明るい画素の輝度と暗い画素の輝度との差が大きくなり、コントラストの幅が広がることになる。ここで、図１７はコントラストを拡大するための輝度変換を示している。変換元の輝度ｙと変換後の輝度Ｙとの間において、
Ｙ＝ａｙ＋ｂ ...（９）
なる関係で変換させるとすると、ａ＞１において変換元の最大輝度ｙｍａｘと最小輝度ｙｍｉｎの画素の差は変換後においてより大きくなり、図１５に示すように輝度の分布が広がることになる。この場合、輝度の分布に応じて傾きａとオフセットｂを決定すればより好適である。例えば、
ａ＝２５５／（ｙmax−ｙmin） ...（１０）
ｂ＝−ａ・ｙminあるいは２５５−ａ・ｙmax ...（１１）
とおくとすると、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するには再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「５」ぐらいを残すようにすればよい。この結果、変換式のパラメータは次式のようになる。

ａ＝２４５／（ｙmax−ｙmin） ...（１２）
ｂ＝５−ａ・ｙminあるいは２５０−ａ・ｙmax ...（１３）
そして、この場合にはｙ＜ｙminと、ｙ＞ｙmaxの範囲においては変換を行わないようにする。

画像データを変換するにあたって、毎回計算する必要はない。輝度の範囲が「０」〜「２５５」という値をとるとすれば、各輝度値について予め変換結果を予めておき、図１６に示すように変換テーブルを形成しておく。ただし、この場合はあくまでも輝度の変換であり、画像データが輝度を要素として備えていればこの変換テーブルを利用することができるものの、輝度を間接的な要素としか備えていない場合には同変換テーブルを利用することができない。コンピュータシステムにおいては、画像データとして赤緑青の各要素について明るさを階調で表した階調データ（Ｒ，Ｇ，Ｂ）であることが多い。このような階調データ（Ｒ，Ｇ，Ｂ）では、直接には輝度の値を持っておらず、輝度を求めるためにＬｕｖ表色空間に色変換する必要があるが、演算量などの問題から得策ではない。このため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。

ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ ...（１４）
このように階調データと輝度ｙとの間に線形の変換か可能であることを前提とすれば、変換前の階調データ（Ｒ0,Ｇ0,Ｂ0）と変換後の階調データ（Ｒ1,Ｇ1,Ｂ1）との間には（９）式を適用可能であり、
Ｒ1＝ａＲ0＋ｂ ...（１５）
Ｇ1＝ａＧ0＋ｂ ...（１６）
Ｂ1＝ａＢ0＋ｂ ...（１７）
なる関係で求めることができるから、結果として図１６に示す変換テーブルを利用して階調データを変換すればよいことが分かる。

次に、明るさを修正する画像処理の手法について説明する。先程と同様に輝度のヒストグラムを想定すると、図１８にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図１９にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。このような場合には図１７に示すような直線的な輝度の変換を施すのではなく、図２０に示すようないわゆるγ曲線を利用した輝度の変換を行えばよい。

γ曲線による補正ではγ＜１において全体的に明るくなるし、γ＞１において全体的に暗くなる。この度合いはステップＳ１００にて図７に示す処理メニューエリア４３で明るさ修正の欄の上矢印や下矢印をクリックした回数によって徐々に変化させればよい。

また、コントラストの修正の場合と同様に自動的にγの値を設定することも可能である。各種の実験を行った結果、輝度分布におけるメジアンｙｍｅｄを求め、同メジアンｙｍｅｄが「８５」未満である場合に暗い画像と判断して以下のγ値に対応するγ補正で明るくする。

γ＝ｙｍｅｄ／８５ ...（１８）
あるいは、
γ＝（ｙｍｅｄ／８５）**（１／２） ...（１９）
とする。ただし、γ＜０．７となっても、γ＝０．７とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。

一方、メジアンｙｍｅｄが「１２８」より大きい場合に明るい画像と判断して以下のγ値に対応するγ補正で暗くする。

γ＝ｙｍｅｄ／１２８ ...（２０）
あるいは、
γ＝（ｙｍｅｄ／１２８）**（１／２） ...（２１）
とする。この場合、γ＞１．３となっても、γ＝１．３として暗くなり過ぎないように限界を設けておく。

なお、このγ補正についても図１６に示すような変換テーブルを形成しておけばよい。

画像のシャープさを修正するエッジ強調処理は、強調前の各画素の輝度Ｙに対して強調後の輝度Ｙ'が、
Ｙ'＝Ｙ＋Ｅenhance・（Ｙ−Ｙunsharp） ...（２２）
として演算される。ここで、Ｅenhanceは、エッジ強調度であるとともに、Ｙunsharpは各画素の画像データに対してアンシャープマスク処理を施したものであり、ここでアンシャープマスク処理について説明する。図２１は一例として５×５画素のアンシャープマスク６０を示している。このアンシャープマスク６０は、中央の「１００」の値をマトリクス状の画像データにおける処理対象画素Ｙ（ｘ，ｙ）の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。このアンシャープマスク６０を利用する場合、

なる演算式に基づいて積算する。（２３）式において、「３９６」とは重み付け係数の合計値であり、サイズの異なるアンシャープマスクにおいては、それぞれ升目の合計値となる。また、Ｍｉｊはアンシャープマスクの升目に記載されている重み係数であり、Ｙ（ｘ，ｙ）は各画素の画像データである。なお、ｉｊについてはアンシャープマスク４１に対して横列と縦列の座標値で示している。

（２２）式に基づいて演算されるエッジ強調演算の意味するところは次のようになる。Ｙunsharp（ｘ，ｙ）は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった（アンシャープ）」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙunsharp（ｘ，ｙ）」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対してエッジ強調度Ｅenhanceを乗算して「Ｙ（ｘ，ｙ）」に加えれば同エッジ強調度Ｅenhanceに比例して高周波成分を増したことになり、エッジが強調される結果となる。なお、エッジ強調が必要になる状況を考えるといわゆる画像のエッジ部分であるから、隣接する画素との間で画像データの差が大きな場合にだけ演算するようにして処理量を激減させることもできる。

この場合においてもエッジ強調度ＥenhanceはステップＳ１００にて図７に示す処理メニューエリア４３でシャープさ修正の欄の上矢印や下矢印をクリックした回数によって変化させればよい。また、エッジ強調度Ｅenhanceを自動設定することも可能である。

画像のエッジ部分では隣接する画素間での階調データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにする。画像の輝度の変化度合いは、ベクトルを水平方向成分と垂直方向成分とに分けて求めれば演算可能となる。ドットマトリクス状の画素からなる画像においては、対象画素を中心としたときに八つの画素と隣接しているが、演算を簡易とするために水平方向と垂直方向に隣接する画素との間でのみ変化度合いを求め、ベクトルの長さを当該対象画素のエッジ度ｇとして積算し、積算されたエッジ度を画素数で除算することにより平均値を算出する。すなわち、このオブジェクト画像のシャープ度合いＳＬは、画素数をＥ（Ｉ）ｐｉｘとすると、

のようにして演算することができる。この場合、ＳＬの値が小さい画像ほどシャープネスの度合いが低い（見た目にぼけた）ことになるし、ＳＬの値が大きい画像ほどシャープネスの度合いが高い（見た目にはっきりとしたもの）ことになる。

一方、画像のシャープさは感覚的なものであるため、実験的に得られた最適なシャープ度合いの画像データについて同様にしてシャープ度合いＳＬを求め、その値を理想のシャープ度合いＳＬｏｐｔと設定するとともに、エッジ強調度Ｅenhanceを、
Ｅenhance＝ｋｓ・（ＳＬｏｐｔ−ＳＬ）**（１／２） ...（２５）
として求める。ここにおいて、係数ｋｓは画像の大きさに基づいて変化するものであり、画像データが縦横方向にそれぞれｈｅｉｇｈｔドットとｗｉｄｔｈドットからなる場合、
ｋｓ＝ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）／Ａ ...（２６）
のようにして求めればよい。ここにおいて、ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）はｈｅｉｇｈｔドットとｗｉｄｔｈドットのうちのいずれか小さい方を指し、Ａは定数で「７６８」としている。むろん、これらは実験結果から得られたものであり、適宜変更可能であることはいうまでもない。ただし、基本的には画像が大きいものほど強調度を大きくするということで良好な結果を得られている。

以上のようにすればマニュアル設定あるいは自動設定でエッジ強調処理を実行できる。

彩度の画像処理は次のように実施する。彩度強調パラメータＳratioというものを採用して彩度を強調するとした場合、上述したように画像データが彩度のパラメータを備えているものであれば同パラメータを変換すればよいものの、上述したように階調データとしてＲＧＢの成分値しか持っていないため、本来的には彩度値が直接の成分値となっている表色空間への変換を行なわなければ彩度値を得ることができない。しかしながら、ＲＧＢの画像データを、一旦、Ｌｕｖ空間内の画像データに変換し、彩度強調後に再びＲＧＢに戻すといった作業が必要となり、演算量が多くならざるを得ない。従って、ＲＧＢの階調データをそのまま利用して彩度強調することにする。

ＲＧＢ表色空間のように各成分が概略対等な関係にある色相成分の成分値であるときには、Ｒ＝Ｇ＝Ｂであればグレイであって無彩度となる。従って、ＲＧＢの各成分における最小値となる成分については各画素の色相に影響を与えることなく単に彩度を低下させているにすぎないと考えれば、各成分における最小値をすべての成分値から減算し、その差分値を拡大することによって彩度を強調できるといえる。

ＲＧＢ階調データの各成分（Ｒ，Ｇ，Ｂ）における青（Ｂ）の成分値が最小値であったとすると、この彩度強調パラメータＳratioを使用して次のように変換する。

Ｒ'＝Ｂ＋（Ｒ−Ｂ）×Ｓratio ...（２７）
Ｇ'＝Ｂ＋（Ｇ−Ｂ）×Ｓratio ...（２８）
Ｂ'＝Ｂ ...（２９）
この結果、ＲＧＢ表色空間とＬｕｖ空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、（２７）〜（２９）式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。

（２７）〜（２９）式を採用する場合でも、良好な変換が可能であるものの、この場合には彩度を強調すると輝度も向上して全体的に明るくなるという傾向がある。従って、各成分値から輝度の相当値を減算した差分値を対象として変換を行うことにする。

彩度強調が、
Ｒ'＝Ｒ＋ΔＲ ...（３０）
Ｇ'＝Ｇ＋ΔＧ ...（３１）
Ｂ'＝Ｂ＋ΔＢ ...（３２）
となるとすると、この加減値ΔＲ，ΔＧ，ΔＢは輝度との差分値に基づいて次式のように求める。すなわち、
ΔＲ＝（Ｒ−Ｙ）×Ｓratio ...（３３）
ΔＧ＝（Ｇ−Ｙ）×Ｓratio ...（３４）
ΔＢ＝（Ｂ−Ｙ）×Ｓratio ...（３５）
となり、この結果、
Ｒ'＝Ｒ＋（Ｒ−Ｙ）×Ｓratio ...（３６）
Ｇ'＝Ｇ＋（Ｇ−Ｙ）×Ｓratio ...（３７）
Ｂ'＝Ｂ＋（Ｂ−Ｙ）×Ｓratio ...（３８）
として変換可能となる。なお、輝度の保存は次式から明らかである。

Ｙ'＝Ｙ＋ΔＹ ...（３９）
ΔＹ＝０．３０ΔＲ＋０．５９ΔＧ＋０．１１ΔＢ
＝Ｓratio｛（０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）−Ｙ｝
＝０ ...（４０）
また、入力がグレー（Ｒ＝Ｇ＝Ｂ）のときには、輝度Ｙ＝Ｒ＝Ｇ＝Ｂとなるので、加減値ΔＲ＝ΔＧ＝ΔＢ＝０となり、無彩色に色が付くこともない。（３６）式〜（３８）式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。

むろん、この場合の彩度強調指数Ｓratioは、ステップＳ１００にて図７に示す処理メニューエリア４３で彩度修正の欄の上矢印や下矢印をクリックした回数によって変化させればよい。ただし、この彩度強調指数Ｓratioについても自動設定することが可能である。

まず、画素の彩度を簡略化して求める。これには彩度の代替値Ｘとして次のように演算する。

Ｘ＝｜Ｇ＋Ｂ−２×Ｒ｜ ...（４１）
本来的には彩度は、Ｒ＝Ｇ＝Ｂの場合に「０」となり、ＲＧＢの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な（４１）式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「０」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
Ｘ'＝｜Ｒ＋Ｂ−２×Ｇ｜ ...（４２）
Ｘ"＝｜Ｇ＋Ｒ−２×Ｂ｜ ...（４３）
という式にも代替可能である。

この彩度の代替値Ｘについてのヒストグラムの分布を求めるとすると彩度が最低値「０」〜最大値「５１１」の範囲で分布するので、概略的には図２２に示すような分布となる。次に、集計された彩度分布に基づいてこの画像についての彩度指数というものを決定する。この彩度分布から上位の「１６％」が占める範囲を求め、この範囲内での最低の彩度「Ａ」がこの画像の彩度を表すものとして、Ａ＜９２なら
Ｓ＝−Ａ×（１０／９２）＋５０ ...（４４）
９２≦Ａ＜１８４なら
Ｓ＝−Ａ×（１０／４６）＋６０ ...（４５）
１８４≦Ａ＜２３０なら
Ｓ＝−Ａ×（１０／２３）＋１００ ...（４６）
２３０≦Ａなら
Ｓ＝０ ...（４７）
というように彩度強調指数Ｓを決定する。図２３はこの彩度「Ａ」と彩度強調指数Ｓとの関係を示している。図に示すように、彩度指数Ｓは最大値「５０」〜最小値「０」の範囲で彩度「Ａ」が小さいときに大きく、同彩度「Ａ」が大きいときに小さくなるように徐々に変化していくことになる。この彩度指数Ｓから彩度強調指数Ｓratioへの変換は、
Ｓratio＝（Ｓ＋１００）／１００ ...（４８）
として求めればよい。この場合、彩度強調指数Ｓ＝０のときに彩度強調パラメータＳratio＝１となって彩度強調されない。

最後に、図１０に示すようにして色度で画素の範囲を指定しつつその色度を強調する手法について説明するが、基本的には当該色調を強調するにあたってその画素の輝度を強くする手法を採用する。従って、図２０に示すようなγ補正のトーンカーブを利用する。むろん、強調程度に応じてγの値を変化させればよい。
なお、自動設定する場合には理想値に近い画像について青空、木々の緑、肌色について平均値（Rs.ideal,Gs.ideal,Bs.ideal）を求めるとともに、その平均値（Rs.ideal,Gs.ideal,Bs.ideal）と当該画像での集計結果に基づく平均値（Rs.ave,Gs.ave,Bs.ave）とのずれを求め、その差を修正量ΔＲ，ΔＧ，ΔＢとすればよい。

以上、本実施形態において用意されている画像処理の手法について説明したが、ステップＳ１１０にて対象画素の適用対応関係を判定するとともにステップＳ１１１〜Ｓ１１５にて適用度ｋを求められるので、ステップＳ１２０では判定結果に基づいて画像データを変換する。

前述したように図７に示す処理メニューエリア４３では画像処理の種類を選択するとともに強調レベルも選択している。従って、ステップＳ１００では上述した画像処理を前提としつつそれぞれの強調レベルに応じた変換テーブルを作成し、コンピュータシステムにおける所定の記憶領域に保存しておく。そして、ステップＳ１２０ではかかる変換テーブルを参照して次のように変換する。

変換前のＲＧＢ階調データの各成分（Ｒpre，Ｇpre，Ｂpre）とするとともに、所定の変換テーブルを参照した変換後のＲＧＢ階調データの各成分（Ｒpost，Ｇpost，Ｂpost）とするとともに、最終的な画像データを（Ｒfinl，Ｇfinl，Ｂfinl）とすると、
Ｒfinl＝ｋ・Ｒpost＋（１−ｋ）・Ｒpre ...（４９）
Ｇfinl＝ｋ・Ｇpost＋（１−ｋ）・Ｇpre ...（５０）
Ｂfinl＝ｋ・Ｂpost＋（１−ｋ）・Ｂpre ...（５１）
と変換する。この意味するところは、適用度ｋが「０」〜「１」で変化する遷移領域において徐々に画像処理が重みを持つようになり、段差が生じなくなることである。

むろん、対象画素が適用対応となる全ての画像処理の変換テーブルについて、順次、（４９）式〜（５１）式を適用するし、適用度ｋが「０」であれば画像データ変換を行わなくてもよい。また、（４９）式〜（５１）式についてはＲＧＢの各成分についての演算となっているが、対象となる成分が一部であることもある。さらに、適用度ｋを利用しない場合には単に変換テーブルの種類だけを変えて得られるＲＧＢ階調データの各成分（Ｒpost，Ｇpost，Ｂpost）をそのまま利用してもよい。

ところで、以上においては画像処理ごとに適用すべき対象を指定していた。すなわち、全体から見れば特定の領域だけが画像処理を実施されている。しかしながら、全体に対してある画像処理をしながらも特定の領域に対してさらに別の画像処理を重ねて実施するといったことも当然に可能となる。

ここで、画像全体に対する画像処理の変換結果として各成分（Ｒtotal，Ｇtotal，Ｂtotal）が得られるとともに、特定の領域に対する画像処理の変換結果として各成分（Ｒpart，Ｇpart，Ｂpart）が得られるとしたならば、最終的な画像データ（Ｒfinl，Ｇfinl，Ｂfinl）は、同様の適用度ｋ'を利用して、
Ｒfinl＝ｋ'・Ｒpart＋（１−ｋ'）・Ｒtotal ...（５２）
Ｇfinl＝ｋ'・Ｇpart＋（１−ｋ'）・Ｇtotal ...（５３）
Ｂfinl＝ｋ'・Ｂpart＋（１−ｋ'）・Ｂtotal ...（５４）
といった重み付け加算で演算すればよい。

例えば、図２４は図７の写真において全体的に色の鮮やかさを強調させる一方で、逆光気味の人物を明るくさせたい状況での選択態様を概略的に示している。
すなわち、画像全体を対象とする左下下がりのハッチング領域に対する変換結果（Ｒtotal，Ｇtotal，Ｂtotal）と、人物像を対象とする右下下がりのハッチング領域に対する変換結果（Ｒpart，Ｇpart，Ｂpart）とが、適用度ｋ'を利用して重ね合わされる。この場合、人物像に対して指定した領域内で適用度ｋ'が最大の０．５となるとともに、その周縁の遷移領域で適用度ｋ'が０＜ｋ'＜０．５の範囲で変化させればよい。これに対して、人物像に対して指定した領域内での適用度ｋ'を最大１．０となるように設定し、その周縁の遷移領域で適用度ｋ'が０＜ｋ'＜１．０の範囲で変化させるようにすれば、人物像に対して指定した領域内では画像全体に対する変換を適用させないようにすることもできる。むろん、同様にしてさらに多数の画像処理の結果を適用させることもできる。

以後、ステップＳ１３０で対象画素を移動させるとともにステップＳ１４０で全ての対象画素について処理を終了したか判断し、終了していれば本画像処理を終了する。

なお、それぞれの画像処理で強調程度を自動設定する手法について説明したが、それらは上述したようにして対象画素を移動させていく前の段階で均等に画像データをサンプリングして必要な集計を行ない、集計結果に基づいて強調程度を自動設定するとともに変換テーブルを作成しておけばよい。

プリンタドライバ２１ｂで色度に基づくオプション選択するような場合にはこのような自動設定によって強調レベルを設定することができるので、操作性を向上させることができる。

次に、上記構成からなる本実施形態の動作を説明する。

写真画像をスキャナ１１で読み込み、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ２１にてオペレーティングシステム２１ａが稼働しているもとで、画像処理アプリケーション２１ｄを起動させ、スキャナ１１に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム２１ａを介して画像処理アプリケーション２１ｄに取り込まれたら、同画像処理アプリケーション２１ｄは図５に示すフローチャートに基づいて画像処理を実行する。

先ず、ステップＳ１００にて適用対象を指定すべく、図７に示すように読み込んだ写真画像をウィンドウ４０の表示エリア４２に表示する。この状態で操作者は図８に示すようにマウス２７で空色部分を矩形領域として指定するとともに処理メニューエリア４３で彩度を強調させるように上矢印を数回クリックする。また、中央の人物像が入るように矩形領域を選択し、処理メニューエリア４３で明るさを強調させるように上矢印を数回クリックする。すなわち、背景のうちの空の領域を指定して彩度を強調する画像処理を指定するとともに、人物の領域を指定して明るさをあげる画像処理を指定したことになる。

ウィンドウを閉じることによって指定を終了させると、この指定に基づいて変換テーブルを作成する。すなわち、図９に示す領域テーブル対応表を参照し、処理種類を参照して画像処理の種類を決めるとともにレベルに基づいて強調程度を判断し、変換テーブルを作成する。ここでは彩度強調処理のための変換テーブルと明るさを明るくするための変換テーブルを作成することになる。

この後、処理対象画素を初期位置に設定し、ステップＳ１１０にて対象画素の座標が図９に示す領域テーブル対応表の各領域に含まれるか否かを判断する。むろん、この場合に遷移領域も考慮し、適用度ｋを得る。図８に示すように対象画素がハッチングした領域内に入っていれば適用度ｋとして「１」が設定されるため、ステップＳ１２０では対象となる画像処理の変換テーブルを参照し、（４９）〜（５１）式に基づいて画像データを変換する。また、図８に示す例では背景部分を指定した矩形領域と人物像を指定した矩形領域とが一部で重なっており、重なっている部分では二段階に（４９）〜（５１）式を適用して画像データを変換する。むろん、遷移領域についても画像データは変換され、指定されなかった周縁部分と段差が生じないようにする。

以上の処理をステップＳ１３０にて処理対象画素を移動させながらステップＳ１４０にて全画素について実行したと判断されるまで繰り返す。これにより、空色部分については彩度を強調して青空らしく鮮やかにする画像処理が行われるし、人物像の部分を明るくして逆光状態であったとしてもフラッシュを点灯させて撮影したような見やすい画像となる。むろん、人物像が明るくなったとしても空の部分が明るくなってしまうことはないし、人物像の部分で特に彩度強調されてしまうこともない。

この後、画像処理された画像データをディスプレイドライバ２１ｃを介してディスプレイ３２に表示し、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷させる。すなわち、同プリンタドライバ２１ｂは指定した領域毎に指定したとおりの画像処理を実行されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。

一方、画像処理アプリケーション２１ｄとして画像処理するのではなく、所定のアプリケーションから印刷処理を実行し、プリンタドライバ２１ｂが起動された場合には、ウィンドウ４０の表示エリア４１に読み込み画像を表示できない場合も多い。この場合、プリンタドライバ２１ｂは図１０に示すようなオプション選択の画面を表示することができ、操作者は読み込む前の写真などを見ながら人の肌の部分をきれいにしたいとか、木々の緑を鮮やかにしたいなど、所望の画像処理となる項目を選択しておく。この処理は図５に示すステップＳ１００の適用対象指定の処理に該当する。

オプション選択後、同プリンタドライバ２１ｂは内部で変換テーブルを作成しておき、入力される画像データの各画素について色度を判定し、オプション選択された対象の色度であるか判断する。そして、対象となっている場合には、変換テーブルを参照して（４９）〜（５１）式に基づいて変換を実行し、変換後の画像データをプリンタ３１に出力可能なＣＭＹの画像データに変換する。

この結果、オリジナルの画像のうち人の肌の画素や木々の緑の画素については明るく修正され、結果として鮮やかに見えるように印刷されることになる。

このように、画像処理の中枢をなすコンピュータ２１はステップＳ１００で画像処理を適用したい領域を指定しておき、ステップＳ１１０〜Ｓ１４０では対象画素を移動させながら指定されている領域に属するかどうかを判定しつつ、属する場合には指定された画像処理を実行することになるため、ある領域の画像データを修正することによって別の領域の画像データに悪影響を与えるといったことが無くなり、全体として美しくすることが容易に実現できるようになる。

本発明の一実施形態にかかる画像処理装置のブロック図である。同画像処理装置の具体的ハードウェアのブロック図である。本発明の画像処理装置の他の適用例を示す概略ブロック図である。本発明の画像処理装置の他の適用例を示す概略ブロック図である。本発明の画像処理装置における画像処理を示すフローチャートである。処理対象画素を移動させていく状態を示す図である。処理対象エリアと処理内容を指定する表示状態を示す図である。二つの処理対象エリアを選択した状態を示す図である。指定した領域と画像処理の対象を記憶する領域・テーブル対応表を示す図である。処理対象と処理内容をオプション選択する画面の表示状態を示す図である。ｘ−ｙ色度で指定される矩形領域を示す図である。ｘ−ｙ色度で中心点を指定する状況を示す図である。適用度を設定する際のフローチャートである。ｘ−ｙ色度で中心点を指定したときの適用度の変化を示すグラフである。輝度分布を拡大する場合の分布範囲を示す図である。輝度分布を拡大する際の変換テーブルを示す図である。輝度分布を拡大させるための変換関係を示す図である。 γ補正で明るくする概念を示す図である。 γ補正で暗くする概念を示す図である。 γ補正で変更される輝度の対応関係を示す図である。５×５画素のアンシャープマスクを示す図である。彩度分布の集計状態の概略図である。彩度Ａと彩度強調指数Ｓとの関係を示す図である。全体に適用する画像処理と一部に適用する画像処理とが行わせる場合の処理対象エリアを示す図である。

符号の説明

１０...画像入力装置
２０...画像処理装置
２１...コンピュータ
２１ａ...オペレーティングシステム
２１ｂ...プリンタドライバ
２１ｃ...ディスプレイドライバ
２１ｄ...画像処理アプリケーション
２２...ハードディスク
２３...キーボード
２４...ＣＤ−ＲＯＭドライブ
２５...フレキシブルディスクドライブ
２６...モデム
３０...画像出力装置

Claims

複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する画像処理装置であって、
前記画像データを変換する対応関係を複数保持する第１保持手段と、
画像処理の適用対象とされる部位に関する部位関係情報を、画像処理の内容を表わす処理内容情報と関連付けて、該部位関係情報および処理内容情報の組を複数保持する第２保持手段と、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記複数の部位関係情報を参照して判定する適用対象判定手段と、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した複数の部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、複数種類の画像処理の内容のそれぞれを実現する対応関係を特定する対応関係特定手段と、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する画像データ変換手段と
を備えた画像処理装置。
前記第１保持手段は、前記対応関係を、トーンカーブの形態で保持する請求項１に記載の画像処理装置。
前記第１保持手段は、前記対応関係を、変換元の画像データと変換後の画像データの対応関係を表わした色変換テーブルの形態で保持する請求項１または２記載の画像処理装置。
前記第１保持手段は、前記複数の対応関係を、一の対応関係と該対応関係を適用する度合いを変化させることによって生成される他の対応関係として保持する請求項１ないし３のいずれかに記載の画像処理装置。
前記第２保持手段は、使用者の操作によって入力された前記部位関係情報および前記処理内容情報を保持する手段である請求項１ないし４のいずれかに記載の画像処理装置。
前記第１保持手段は、前記対応関係として、前記画像データに基づいて明るさを変化させる関係を保持する請求項１ないし５のいずれかに記載の画像処理装置。
請求項１ないし６のいずれかに記載の画像処理装置であって、
前記第１保持手段は、前記対応関係として、画像データを変換する関係を保持しており、
前記画像データ変換手段は、前記特定された一の対応関係に基づいて、前記画像データの色度を変換する手段である
画像処理装置。
前記第１保持手段は、前記対応関係として、前記画像データに基づいて色の鮮やかさを変化させる関係を保持する請求項１ないし７のいずれかに記載の画像処理装置。
複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する方法であって、
前記画像データを変換する対応関係を複数保持すると共に、画像処理の適用対象とされる部位に関する部位関係情報を、画像処理の内容を表わす処理内容情報と関連付けて、該部位関係情報および処理内容情報の組を複数保持し、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記複数の部位関係情報を参照して判定し、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した複数の部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、複数種類の画像処理の内容のそれぞれを実現する対応関係を特定し、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する
画像処理方法。
複数の画素からなる実写画像の画像データを変換するプログラムを、コンピュータに読み取り可能に記録した記録媒体であって、
前記画像データを変換するために用意された複数の対応関係と、画像処理の適用対象とされる部位に関する部位関係情報および画像処理の内容を表わす処理内容情報を関連付けた複数の組とを、それぞれ参照する機能と、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、画像処理の適用対象とされる部位に関する前記複数の部位関係情報を参照して判定する機能と、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した複数の部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、複数種類の画像処理の内容のそれぞれを実現する対応関係を特定する機能と、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する機能と
を記録した記録媒体。