JP3975530B2

JP3975530B2 - 画像処理装置

Info

Publication number: JP3975530B2
Application number: JP28489197A
Authority: JP
Inventors: 信雄鈴木; 裕二小林; 信行竹尾
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-12-27
Filing date: 1997-10-17
Publication date: 2007-09-12
Anticipated expiration: 2017-10-17
Also published as: US6064775A; JPH10243240A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データに対して画質調整等の画像処理を行う画像処理装置に関し、特に質感向上あるいは立体感向上のような画像処理の目的および処理対象となる画像の特性に応じて実際の処理オペレーションを決定し、処理対象となる画像データに最も適切な画像処理を選択し実行することにより操作者の意図する画像を容易に得ることができる画像処理装置に関する。
【０００２】
【従来の技術】
昨今、画像データを編集、加工、解析するための画像処理装置が各種開発されている。画像処理の実現形態にはさまざまなものがあるが、基本的には対象となる画像を画像表示装置で表示し、画像処理を加えたい領域を指定するとともに、コントラスト、シヤープネス、エッジ等の画像表現を変化させる画像処理オペレータを指定し、さらに場合によっては処理パラメータで細かな設定を行い、画像処理を実行することにより、所望の画像を得るのが一般的である。
【０００３】
これら一般的な画像処理装置には多数の例えば、「濃度反転」、「画像回転」、「シヤープネス調整」、「エッジ強調」「コントラスト向上」等の画像および画質の変化をもたらす画像処理オペレータがあり、操作者が、これら多数の画像処理オペレータを用いて画像処理を実行し、さらに場合によっては各オペレータごとに設定された所定の画像処理パラメータを設定しながら、より微妙な調整を実行することによって所望の画像を得ている。そのため、これらの画像処理プロセスは、操作者の試行錯誤の繰り返しのプロセスが多くを占めることとなる。すなわち、所定のオペレータ、およびパラメータを操作者が設定し、設定されたパラメータに基づいて画像処理を実行し、その処理結果を操作者が確認し、所望の結果が得られない場合には、再度異なるオペレータ、パラメータ設定によって繰り返し画像処理を実行するということになる。
【０００４】
これら従来の画像処理装置は画像処理を実行する際、所定のオペレータの指示を与えることが必要となる。例えば「エッジ強調」あるいは「コントラスト向上」等である。しかしながら、被処理画像によっては操作者の指定したオペレータが不適切な場合が生じる。すなわち画像データには、例えばカメラ、ラジオ、ガラス等の光沢のある製品、風景、植物、生鮮食品、果物、そして、日光あるいはその他の光のあたる物品および風景、陰のある物等、さまざまな画質を有するものがある。これら各種の画像データに対して、同一のオペレータによる処理を実行すると、その結果はそれぞれの被処理画像データによって異なる結果をもたらすこととなる。よって画像処理が操作者の意図した目的、例えば質感の向上、立体感の向上等が十分に達成されない場合が発生する。
【０００５】
【発明が解決しようとする課題】
これまでの画像処理装置は、操作者が画像処理の目的に応じて適切と思われるオペレータを指定し、指定された所定の画像処理オペレータに対して画像処理パラメータを設定し、その指定された画像処理オペレータおよび画像処理パラメータをもとに画像処理が実行されていた。被処理画像の画像特性は操作者の感覚に基づいて判断され、その操作者の判断によって適切と判断した画像処理オペレータおよびパラメータが設定されていた。従って、適切なオペレータ、パラメータの設定は操作者の感覚に依存するものとなってしまい、画像処理に不慣れな操作者にとっては試行錯誤の繰り返しとなり、適切な画像処理を容易に行うことは困難であった。
【０００６】
本発明は上記の問題を解決するためになされたものである。本発明の目的は、特性が異なるさまざまな画像データに対して画像処理を実施する際に、処理目的に応じて被処理画像がどのような画像特性を有するかを判断し、その画像特性に応じて画像処理オペレータおよびパラメータを設定して、適切な画像処理を実行するようにした画像処理装置を提供することにある。
【０００７】
本発明の画像処理装置は、画像データを入力する画像入力手段と、画像データに対する画質調整の指示情報を認識する画質調整指示情報認識手段と、画像データの属性情報を認識する画像データ認識手段と、画質調整指示情報認識手段によって認識された画質調整指示情報および画像データ認識手段によって認識された画像データの属性情報を入力し、画質調整指示情報に応じた画像処理態様を決定するための分類情報を分類ルール情報保持手段から取得し、画質調整指示情報と分類情報の少なくともいずれかの情報に基づいて、画像データの画像表現を変化させるための画像処理態様としての画像処理オペレータを決定する画像処理オペレータ決定手段と、画像処理オペレータ決定手段によって決定された画像処理オペレータの実行する画像処理において適用する画像処理パラメータを決定する画像処理パラメータ決定手段と、画像処理オペレータおよび画像処理パラメータに基づいて画像データの画像処理を実行する画像処理手段とを有することを特徴とする。
さらに、本発明の画像処理装置の一実施態様は、
画像データを入力する画像入力手段と、
画像データに対する画質調整の指示情報を認識する画質調整指示情報認識手段と、
画像データの属性情報を認識する画像データ認識手段と、
画質調整指示情報と該画質調整指示情報に応じた画像処理態様を決定するための分類情報を対応付けた分類ルール情報を保持する分類ルール情報保持手段と、
前記画質調整指示情報認識手段によって認識された画質調整指示情報に基づき前記分類ルール情報保持手段から分類情報を選択する分類ルール選択手段と、
前記分類ルール選択手段によって選択された分類ルール情報に含まれる画像データの属性情報を前記画像データ認識手段から取得し、取得した属性情報から画像表現を変化させる画像処理と処理特性とを決定する画像処理決定手段と、
を有することを特徴とする画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様は、
画像データを入力する画像入力手段と、
画像データに対する画質調整の指示情報を認識する画質調整指示情報認識手段と、
画像データの解析を実行し、画像解析特徴量を抽出する画像データ認識手段と、
前記画質調整指示情報認識手段によって認識された画質調整指示情報および前記画像データ認識手段によって認識された画像データの属性情報に基づき、画像表現を変化させるための具体的な画像処理態様を決定する下記（ａ）〜（ｅ）の構成を有する画像処理オペレータ決定手段と、
（ａ）画質調整指示情報と該画質調整指示情報に応じた画像処理態様を決定するための分類情報を対応付けた分類ルール情報を保持する分類ルール情報保持手段、
（ｂ）前記画質調整指示情報認識手段によって認識された画質調整指示情報に基づき、前記分類ルール情報保持手段から前記画質調整指示情報に対応付けられた分類ルールを選択する分類ルール選択手段、
（ｃ）前記指示情報と、選択された前記分類ルールの少なくともいずれかの情報に基づいて、前記画像データの画像表現を変化させるための画像処理態様を決定する画像処理オペレータ選択用の分類フラグを生成する分類手段、
（ｄ）前記分類フラグに対応するカテゴリ毎に具体的な画像処理態様情報を格納した処理オペレータ・特性テーブル、
（ｅ）前記処理オペレータ・特性テーブルから、前記分類フラグに対応して登録された具体的画像処理態様としての画像処理オペレータを選択する画像処理オペレータ選択手段、
前記画像処理オペレータ決定手段において決定された画像処理オペレータによる画像処理の処理強度を決定する処理パラメータ決定手段と、
前記画像処理オペレータおよび前記画像処理パラメータに基づいて前記画像データの画像処理を実行する画像処理手段と、
を有することを特徴とする画像処理装置にある。
【０００８】
また、本発明の画像処理装置中の画像データ認識手段は、前記画像データに対する画像データの解析を実行する画像データ解析手段を有し、画像処理パラメータ決定手段は、前記画像データ解析手段による画像解析情報に基づいて画像処理パラメータを決定する。
【０００９】
また、本発明の画像処理装置中の画像解析手段は画像データのテクスチャの有無を解析し、テクスチャを有するときは該画像をテクスチャものと判別し、画像処理オペレータおよび画像処理パラメータ決定手段は、テクスチャものと判別された画像データに対して、シャープネスを向上させる画像処理オペレータおよび画像処理パラメータを決定し、画像処理手段は該決定されたシャープネス向上用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの質感を向上させる。
【００１０】
また、本発明の画像処理装置中の画像解析手段は画像データのテクスチャの有無および色分布の解析を実行し、該画像データがテクスチャを有さず、かつ略無彩色の場合は該画像データを黒ものと判別し、画像処理オペレータおよび画像処理パラメータ決定手段は、黒ものと判別された画像データに対して、明度コントラストを向上させる画像処理オペレータおよび画像処理パラメータを決定し、画像処理手段は該決定された明度コントラスト向上用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの質感を向上させる。
【００１１】
また、本発明の画像処理装置中の画像解析手段は前記画像データのテクスチャの有無および色分布を解析し、該画像データがテクスチャを有さず、かつ略有彩色の場合は該画像データを色ものと判別し、画像処理オペレータおよび画像処理パラメータ決定手段は、色ものと判別された画像データに対して、彩度を強調させる画像処理オペレータおよび画像処理パラメータを決定し、画像処理手段は該決定された彩度強調用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの質感を向上させる。
【００１２】
また、本発明の画像処理装置中の画像解析手段は前記画像データのキャッチライトの有無を解析し、該画像データがキャッチライトを有するときは該画像をキャッチライト系画像として判別し、画像処理オペレータおよび画像処理パラメータ決定手段は、キャッチライト系画像と判別された画像データに対して、明度コントラストを強調させる画像処理オペレータおよび画像処理パラメータを決定し、画像処理手段は該決定された明度コントラスト強調用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの立体感を向上させる。
【００１３】
また、本発明の画像処理装置中の画像解析手段は画像データのキャッチライトの有無および色分布を解析し、該画像データがキャッチライトを有さず、かつ略無彩色の場合は該画像データを低彩度系画像と判別し、画像処理オペレータおよび画像処理パラメータ決定手段は、低彩度系画像と判別された画像データに対して、エッジコントラストを向上させる画像処理オペレータおよび画像処理パラメータを決定し、画像処理手段は該決定されたエッジコントラスト向上用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの立体感を向上させる。
【００１４】
また、本発明の画像処理装置中の画像解析手段は前記画像データのキャッチライトの有無および色分布を解析し、該画像データがキャッチライトを有さず、かつ略有彩色の場合は該画像データを高彩度系画像と判別し、画像処理オペレータおよび画像処理パラメータ決定手段は、高彩度系画像と判別された前記画像データに対して、彩度コントラストを強調させる画像処理オペレータおよび画像処理パラメータを決定し、画像処理手段は該決定された彩度コントラスト強調用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの立体感を向上させる。
【００１５】
また、本発明の他の実施態様の画像処理装置中の画像データ認識手段は、外部よりに入力された画像データの属性情報として認識することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明を実施例に基づいて、図面を参照して具体的に説明する。図１は、本発明の一実施例の画像処理装置の全体構成を示すブロック図である。図１における画像処理装置は、画像入力手段１、画像データ解析手段２、画質調整指示情報認識手段３、画像処理オペレータ決定手段４、画像処理パラメータ決定手段５、および、画像処理手段６によって構成されている。これら各構成部は相互にデータ転送が可能なように所定のバスによって連結されている。
【００１７】
図１の構成をデータの流れに沿って表現したものが図２である。図２を用いて、以下各手段の処理について説明する。画像入力手段１は、スキャナ、デジタルビデオ、デジタルカメラのようなさまざまな機器から出力された画像情報をデジタルデータとして入力するものである。画像データ解析手段２は、画像入力部１に入力された画像情報について各種画像解析を行い解析結果を出力する。画質調整指示情報認識手段３は画質調整として操作者からどのような指示があったかについての情報を認識する。画像処理オペレータ決定手段４は、画像データ解析手段２と画質調整指示情報認識手段３の情報に基づいて処理オペレータの決定を行う。画像処理パラメータ決定手段５は、決定されたオペレータの各処理係数を決定する。決定された画像処理オペレータおよび画像処理パラメータは、画像処理手段６に入力される。画像処理部６は、入力された画像処理オペレータと画像処理パラメータおよび画像処理パラメータ適用領域情報をもとに、画像データに対して画像処理を行う。
【００１８】
ここで画像データの解析結果は、画像データ解析手段２による実際の解析結果を使用するのみならず、例えば、外部から所定の画像の属性情報を入力するようにしてもよい。この場合は操作者等によって入力された画像に関する特徴データが画像解析データと同様に取り扱われる。
【００１９】
次に、本発明の画像処理装置の一実施例の動作について図面を参照して具体的に説明する。図３は画像処理の手順をフローで示したものである。まず、処理対象となる画像に対してどのような処理を実行するか、例えば「質感」等のユーザの調整指示をステップ３０１で受領する。次にステップ３０２において画像の分類ルールを選択する。ステップ３０１のユーザ調整指示は図４に示すように分類ルール情報選択手段４０３へ入力され、指示に従って分類ルール情報保持手段４０４から所定の分類情報を選択する。分類ルール情報は図５に示すように、ユーザの指示に対応した各種の分類手段を持っている。図６に各種の分類手段の例を示す。図６（ａ）はユーザ指示が「質感」、図６（ｂ）はユーザ指示が「明るく」の場合に対応する分類手段である。図５の分類ルール情報を用いて、図３のステップ３０１のユーザ調整指示に基づいて図６（ａ）または図６（ｂ）に示すような分類手段を選択する。
【００２０】
一方、図３において入力された画像データ３０６は、ステップ３０７において画像解析特徴量算出が実行される。画像解析特徴量として得られる値の例を画像データ属性パラメータと対応させて示したのが図７である。図７に示すように画像データの属性パラメータには、明度情報：Ｌ^*、彩度情報：Ｃ^*、エッジ量（空間周波数情報）があり、これらのパラメータに対応してそれぞれ図７の右欄のような平均値、ヒストグラム中心値、分散等の値を画像データの解析特徴量として得る。これらの特徴量は入力された画像データの解析によって算出する。ただし、ユーザの指示内容によっては、図７に示すすべての特徴量を必要とするとは限らないので、その場合には画像データの解析を選択的に実行し、必要な特徴量のみを得るようにしてもよい。
【００２１】
ステップ３０２で選択された分類ルールにステップ３０７で得られた画像解析特徴量を付与し、画像データの分類を行うステップがステップ３０３である。図６に基づいて、このステップ３０３を説明する。ユーザ指示が「質感」であった場合は、図６（ａ）の分類手段「質感」を使用し、これにステップ３０７で得られた特徴量が付与される。特徴量としてはエッジ量、彩度Ｃ^*についての各特徴量、すなわち前述した図７に示す平均値、ヒストグラム中心値等が付与される。これら各特徴量に応じてテクスチャの有無、および色分布の判定が実行される。これらの判定結果に基づいてフラグが作成される。図６（ａ）に示すようにテクスチャ判定結果を０，１で分類し、色分布を０，１で分類し、その結果に分類ルール情報（ここでは質感）を付加したものを分類フラグとしている。
【００２２】
一方、ユーザ指示が画像を「明るく」等のような処理であり、画像処理が画像の特徴量に依存しない場合には、図６（ｂ）に示すように特徴量の付与は実施されない。フラグはユーザ指示にしたがって生成される。
【００２３】
分類フラグの生成が終了すると、図３におけるステップ３０４に移行する。ステップ３０４では、生成された分類フラグにしたがって処理オペレータ・特性テーブルから処理オペレータを選択する。処理オペレータ・特性テーブルの例を図８に示す。図８に示す処理オペレータ・特性テーブルは、カテゴリ名、基本的処理方針、および処理オペレータの項目を有し、処理オペレータは、さらに属性パラメータ、演算方法、および処理特性の各項目を有する。基本的処理方針とはカテゴリに対する処理の基本を示すものである。処理オペレータはその基本的処理を実行する際に処理すべき属性パラメータ、画像処理を行う際に用いるＤＦ（デジタルフイルタ）、ＬＵＴ（ルックアップテーブル）などの演算方法、およびそれぞれの処理特性の候補（フイルタ形状、トーンカーブ形状等）が記述されている。ＬＵＴの種類としては例えば図８の下欄に示すようなＡ，Ｂ，Ｃ，Ｄ，Ｅの種類を有する。
【００２４】
図３のステップ３０３で生成された分類フラグに応じて、この処理オペレータ・特性テーブルから、まず処理オペレータセットを選択する。例えば分類フラグが「テクスチャもの」、「黒もの」、「色もの」、あるいは「明るく」であるかによってその選択すべき処理オペレータセットがそれぞれのカテゴリ名から選択される。この処理オペレータセット選択は、図４に示した処理オペレータ選択手段４０６によって実行される。図４の処理オペレータ選択手段４０６が、処理オペレータ・特性テーブル保持手段４０７をアクセスし、所定の処理オペレータセットと基本的処理方針が選択される。
【００２５】
所定の処理オペレータセットが選択されると、次に図３のステップ３０５において、処理オペレータ中の処理特性が特徴量より決定される。これは図４の処理特性決定手段４０８によって実行される。この処理特性決定手段の詳細を図９に示す。図９中、特徴量選択手段９０２は、画像解析によって得られた特徴量を入力し、入力された各種の特徴量の中から、どの特徴量を用いて処理特性を決定するかを選択する。この選択はステップ３０４で選択された処理オペレータセット中の属性パラメータと演算方法を用いて実行される。入力される特徴量は図７で示したように明度Ｌ^*、彩度Ｃ^*、エッジ量に関する平均値、ヒストグラム中心値等多数あり、この複数の特徴量から、特徴量選択手段９０２に入力される選択済みのオペレータセットに含まれる属性パラメータ、演算方法を用いて選択される。次に選択された特徴量である例えばヒストグラム等を用いて処理特性の候補の中から最適な処理特性が処理特性選択手段９０３によって選択される。選択された処理特性は処理オペレータセットの属性パラメータと演算方法とともに最終的な選択処理オペレータとして出力される。
【００２６】
次に複数の処理特性候補から画像の特徴量を用いて最適なものを選択する方法を述べる。図７の画像データ解析項目中には図３のステップ３０３で分類するために用いる特徴量なども含まれている。処理特性を決定するために用いる特徴量はこの中から選択する。処理オペレータセット中の属性パラメータがＬ^*の場合にはＬ^*ヒストグラム分散、Ｃ^*の場合にはａ^*およびｂ^*ヒストグラム分散、エッジ量の場合にはエッジ量ヒストグラム分散をそれぞれ選択する。
【００２７】
図８において、処理特性の候補が各カテゴリ毎に挙げられている。これら候補から最適なものを選択するには、前述のヒストグラム分散の特徴量と基本的処理方針を用いる。図８では各カテゴリ別にその基本的処理方針と処理オペレータの概略を記したが、さらに特徴量の情報が加わることによってどのような処理特性が対応するかを詳細に記すると図１０のようになる。異なるカテゴリに属する基本的処理方針とその処理オペレータが同じものもある。例えば「黒もの」カテゴリと「キャッチライト系」カテゴリはどちらもＬ^*のコントラストを強調する画像処理（図１０での一番上の欄）となる。
【００２８】
図３のステップ３０８において、画像処理パラメータ（オペレータ強度を設定するもの）の決定が実行される。各「属性パラメータ／処理方針」ごとにまず前述の図１０を用いて処理特性を選択した理由について述べ、次にどのように特徴量から画像処理パラメータを算出するかについて具体的に説明する。
【００２９】
まず、基本的処理方針のうち色処理に関するものから説明する。ここで用いる画像データはＬ^*ａ^*ｂ^*空間で表わされているとする。また、Ｌ^*ヒストグラム分散の特徴量とは、例えば図１１に示すように画像中のＬ^*値のヒストグラムをとり、Ｌ^*＝０から見て全体の５％，９５％の画素が含まれるＬ^*値をそれぞれ特徴量Ｈ₅，Ｈ₉₅として算出したもののことを言う。
【００３０】
（１）「Ｌ^*／コントラストｕｐ」の場合
＜処理特性＞
コントラストをアップさせるということを一言で言えば、「暗い部分はより暗く、明るい部分はより明るく」することである。基本的にはトーンを立ててやればよい。それにはＥ＋型のＬＵＴを用いる。（図１１−右）
【００３１】
但し、画素値がＬ^*ダイナミックレンジの一方領域（暗いまたは明るい領域）にのみ分布している場合（図１１−左，図１１−中）には、まず全体のレンジを広げることが必要である。ある程度広いダイナミックレンジを確保できたら、さらにＥ型のＬＵＴでトーンを立てることも有効である。
【００３２】
図１１の３つのパターンのどれに属するかはＨ₅，Ｈ₉₅の値とＬ^*＝５０との大小関係で判定することができる。閾値を例えばＨ_low＝３０、Ｈ_high＝７０などすると、以下のようになる。
【００３３】
【数１】
Ｈ₅＜Ｈ_low且つＨ₉₅＜Ｈ_high・・・・・図１１−左
Ｈ_low＜Ｈ₅且つＨ_high＜Ｈ₉₅・・・・・図１１−中
その他・・・・・図１１−右
【００３４】
＜処理パラメータ＞
図１１に処理パラメータ強度０（Ｍｉｎ：破線）と強度１００（Ｍａｘ値：太い実線）を示す。図１７中、（２）特徴量から算出の最適値にはこのＭａｘ値を設定すればよい。強度１００は、ＬＵＴの数学的な限界および一般的な色再現における画像欠陥を生じさせない常識的なトーン形状というものなどから制約を受ける。
【００３５】
まず図１１−左，図１１−中では強度１００は、それぞれＨ₅，Ｈ₉₅の値から（破線のように作図することで）一意に求められる。
【００３６】
次に図１１−右のＥ型ＬＵＴの場合には数学的にはＭａｘは１点鎖線のようになるがこれは現実的ではない。図１１−右のちょうど中間調のＬＵＴの２次微分が変化する部分で最もトーンが立っているが、その付近でのトーンジャンプや、シャドー部でのつぶれなどの画像欠陥を発生しないようにすることが大前提である。例えばトーンジャンプを発生させないためにはＬＵＴの傾きｔａｎ＜１．５に抑えたほうが好ましい。
【００３７】
非常に単純化してＥ＋型ＬＵＴを２つの２次曲線で作るとすると、２次多項式の３つの係数は、両端点（それぞれ（０，０）と（ｐ，ｑ）、（ｐ，ｑ）と（１００，１００））の２点を通ることと、２つの２次曲線の接点（ｐ，ｑ）における微分係数が等しく且つ１．５以下であるという条件より数学的に求めることができる。
【００３８】
以上のように求めたＬＵＴを用いて画像処理を施し、処理後の画像の有効階調数を算出して元画像の有効階調数よりも所定の割合（例えば２０％）以上減っていたならばＬＵＴの最大傾斜をさらに小さく制限して強度１００ＬＵＴを算出しなおす。以上のステップを上記条件を満たすまで繰り返すことで最適な処理パラメータを求めることができる。
【００３９】
しかし実際には強度１００ＬＵＴでは処理後の画像によっては人の目に違和感を生じることもありうる。このような場合には、図１７中、項目４の「バリエーション」に示すように強度２５、５０、７５、１００というような複数個のＬＵＴを強度０と強度１００ＬＵＴから線形補間により求め、それらによって処理を行なった画像をバリエーションとしてユーザに提示して選択させることも有効である。
【００４０】
（２）「Ｌ^*／明るく」の場合
＜処理特性＞
単純に「明るく」という場合には、画像中の対象領域のＬ^*ヒストグラムを見て（明るい領域にあることはないと思われるが）暗い領域部分をＡ型ＬＵＴを用いて明るい方向にシフトしてやればよい（図１２−左）。対象領域のヒストグラム分散が既に十分広い場合には中間調部分を明るい方向に押し上げてやるＣ型のＬＵＴを用いる（図１２−右）。どちらを用いるかの判定は、例えばＨ₉₅＞５０％か否かで行なうことができる。
【００４１】
＜処理パラメータ＞
図１２−左では図１１−左，図１１−中と同様、Ｈ₉₅の値から強度１００については数学的に決定される。また図１２−右についても図１１−右と同様、画像欠陥を生じないギリギリのＬＵＴ形状というものに制約を受ける。中間調の持ち上げすぎはハイライト部での急峻なトーンの立ち上がりとなりこれはトーンジャンプを引き起こす。経験的にはハイライト部のＬＵＴの立ち上がりの傾きは最大１．５程度にするのがよい。
【００４２】
上記のように算出したＣ＋型のＬＵＴを用い（１）と同様に最適値を求める。画像処理後の画像ヒストグラム分布においてハイライト部に画素数０の階調が連続して２階調あったらトーンジャンプが発生したと見なし、ＬＵＴ立ち上がり傾斜を小さく制限して算出し直す。以上のステップを上記条件を満たすまで繰り返すことで強度１００ＬＵＴを求めることができる。（図１３）
【００４３】
さらに（１）と同様に、求めた強度１００ＬＵＴをベースにバリエーション表示を行ない、ユーザの好みに合わせた処理強度を選択させることが実際のシステムとしては有効である。
【００４４】
（３）「Ｃ^*／対象色を強調」の場合
＜処理特性＞
ＬＣＨ画像ならば図１１，図１２の手法でＬ^*をＣ^*と読み替えればよいが、ここでは画像はＬａｂ空間としているので、ａ^*／アップ、ｂ^*／アップを同時に行なうという例を示す。ここではシンプルにａ^*，ｂ^*各２本のＬＵＴで処理を行なう方法を示す。ただしａ^*ＬＵＴとｂ^*ＬＵＴは同じもの、且つ、原点を通る直線ＬＵＴであることが必要である。さもないと色相が変化してしまう。
【００４５】
本発明において「色もの」と判定されるような対象物は、経験的にａ^*−ｂ^*面上で占める色域は比較的狭い。つまり通常２本のＢ型ＬＵＴを用いて処理を行なう。色域が広い面積を占めるような場合、所定の閾値Ｈ_low，Ｈ_highに対して、
【００４６】
【数２】
（Ｈ_95-a＞Ｈ_high 且つＨ_5-a＜Ｈ_low）又は
（Ｈ_95-b＞Ｈ_high 且つＨ_5-b＜Ｈ_low）
が成り立つ場合には色相が多少変化してしまうことに目をつぶってＥ型を用いる。
【００４７】
また彩度を上げる処理をした場合、明度も同時に上げた方が一般的によい結果が得られることが知られているがここでは触れない。
【００４８】
＜処理パラメータ＞
２本のＢ型ＬＵＴを用いて処理を行なう場合を例に説明する。
彩度アップ処理後の対象物の色域が帯域（Ｇａｍｕｔ）からはみ出してしまうと、それは色のつぶれとなって画像欠陥を生じる。これを起こさないためには、Ｈ_95-aとＨ_95-b、さらには帯域（Ｇａｍｕｔ）形状との関係から処理強度（ＬＵＴの傾き）を求めなければならない。
【００４９】
まず色域の中で最大Ｃ^*の点Ｍを見つけ出し、点Ｍの色相方向のＧａｍｕｔのへりの値（Ｇａ，Ｇｂ）を求める。次にＨ_95-a、Ｈ_95-bとＧａ、Ｇｂから最大倍率をそれぞれ算出し小さいほうを採用する。（図１４および下式参照）
【００５０】
【数３】
強度１００ＬＵＴ（傾き）
＝ｍｉｎ（Ｇａ／Ｈ_95-a，Ｇｂ／Ｈ_95-b）×Ｓ
【００５１】
一般的にＧａｍｕｔ形状はプリンタによって異なった複雑な形状をしているので、処理後画像がＧａｍｕｔ内に収まっているかどうかをチェックする。例えばＧａｍｕｔ外画素数が対象物画素数の例えば５％以上の場合には倍率Ｓ（Ｓ＜１．０）を所定のステップだけ小さくし再度ＬＵＴ傾きを算出する。これを繰り返すことで、最適の処理パラメータを得ることができる。
【００５２】
さらに、（１）、（２）と同様に、この処理パラメータ（最大値）をベースにユーザにバリエーション提示を行なう。
【００５３】
Ｅ型ＬＵＴを用いる場合も（１）で述べたようにトーンジャンプに留意して同様に算出することが可能である。
【００５４】
次に、空間周波数処理に関して、処理パラメータを特徴量から算出する方法を説明する。
【００５５】
（４）「エッジ量／エッジ強調」の場合
例えば、属性パラメータ＝エッジ量、演算方法＝ＤＦ、処理特性＝高域強調、からなる処理オペレータセットに対する処理パラメータ算出は、処理対象画像のエッジ量に関連する特徴量を用いて、予め用意された基本高域強調フィルタの処理強度を算出することにより行う。
【００５６】
エッジ量特徴量は、画像データ中の各注目画素を注目画素値およびその周辺画素値の重み付和により算出される値に変換する２次元ＦＩＲフィルタ（ＦＩＲＦ：ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅＦｉｌｔｅｒ：有限インパルス応答フィルタ）を用いて算出する。例えば図１５に示すように高周波成分にのみ空間周波数伝達特性Ｆｅｄ（ｆｒｑ）を有する２次元ＦＩＲフィルタをエッジ量検出フィルタとして用い、対象画像を該エッジ量検出フィルタでフィルタ処理した値の絶対値をエッジ量とする。次に対象画像に対して算出されたエッジ量のヒストグラムを作成し、図１６に示すよう例えば９５％の画素が含まれるエッジ量Ｅ₉₅を特徴量として算出する。
【００５７】
＜処理特性＞
予め用意された基本高域強調フィルタは、エッジ量検出フィルタ同様に２次元ＦＩＲフィルタであり、例えば図１５に示すような空間周波数伝達特性Ｆｈｐ（ｆｒｑ）を有している。
【００５８】
ここで、例えば、エッジ量検出フィルタと基本高域強調フィルタの関係を、空間周波数ｆｒｑ＝ｘに対する伝達特性が、Ｆｈｐ（ｘ）＝Ｆｅｄ（ｘ）＋１となるようにする。つまり、エッジ量検出フィルタは係数の和が０となる２次元ＦＩＲフィルタであり、基本高域強調フィルタは注目画素に対するフィルタ係数は該エッジ量検出フィルタのフィルタ係数に１加算した値で他のフィルタ係数は該エッジ量検出フィルタと等しく、和が１となる２次元ＦＩＲフィルタである。
【００５９】
＜処理パラメータ＞
基本高域強調フィルタの処理強度を算出するに際しては、まず、図１６に示すように、予め鮮鋭さが感じられる一般的画像から統計的に算出した目標エッジ量Ｅｔと前述した処理対象画像のエッジ量の特徴量Ｅ₉₅の比較を行う。
【００６０】
Ｅ₉₅≧Ｅｔの場合には、強度値Ｇを予め設定した基準処理強度値αに設定する。Ｅ₉₅＜Ｅｔの場合には、Ｇ＝（Ｅｔ−Ｅ₉₅）／Ｅ₉₅に設定する。
【００６１】
基本高域強調フィルタに対して処理強度がＧ倍となる高域強調フィルタのフィルタ係数は、前述したエッジ量検出フィルタと基本高域強調フィルタの関係から、前記エッジ量検出フィルタ係数より算出することができる。注目画素に対しては前記エッジ量検出フィルタのフィルタ係数をＧ倍し１加算した値が、他は前記エッジ量検出フィルタのフィルタ係数を各々Ｇ倍した値が、それぞれ該高域強調フィルタのフィルタ係数となる。これによりパラメータの算出が完了する。
【００６２】
このようにエッジ量の特徴量から自動的に算出された処理強度を用いて高域強調フィルタ処理をすることにより、処理後の画像のエッジ量の特徴量Ｅ₉₅は前述した目標エッジ量Ｅｔと等しくなり、適度にエッジ強調された画像を取得できる。
【００６３】
図１７および図１８を用いて上述のパラメータ決定について簡単に説明する。図１７に処理パラメータの決定方法を表で示した。デフォルト（ｄｅｆａｕｌｔ）値に基づくもの、特徴量から算出する方法、外部からの情報（ユーザ指示）に基づく場合、これらの組み合わせによるバリエーション（複数候補提示）などがある。デフォルト値は、処理オペレータの演算方法（ＤＦ，ＬＵＴ）ごとに設定されている。例えばＬＵＴのタイプＡなら「１／２５６ステップ刻みにシフトする。」をデフォルト値とする。ＬＵＴのタイプＢ，Ｃについても振り幅の最小ステップを決めてデフォルト値として保持しておく。ＤＦ（デジタルフィルタ）については平滑化フイルタ、広域強調フィルタなどそれぞれのフィルタに対して最小の振り幅のテンプレートを用意して保持しておく。これらデフォルト値の設定は一例であり、これら以外のデフォルト値を用いることも可能である。
【００６４】
図１８は処理パラメータ決定においてデフォルト値を使用し、図１７中のユーザ指示のない場合の処理を説明するものである。処理オペレータがデフォルト（ｄｅｆａｕｌｔ）値参照手段１１０１に入力されると、デフォルト（ｄｅｆａｕｌｔ）値保持手段１１０２から入力処理オペレータに対応して設定されたデフォルト値を引き出し、これを係数変数手段１１０３に出力する。ここでユーザが強度の指示、例えばデフォルトのｋ倍の処理を指定すると、デフォルト×ｋが処理パラメータとして出力される。デフォルト値そのままの値を出力する場合はｋ＝１．０と設定すればよい。
【００６５】
次に、質感の向上、および立体感の向上を本発明の画像処理装置において実行する場合の複数の具体例を説明する。まず、質感の向上の画像解析、分類、処理について説明したものを図１９および図２０を用いて説明する。図１９は被処理画像の具体例として「いくら」、「カメラ」、および「カーペット」をとりあげてその画像解析について説明したものである。図１９の上段に示すごとく、画像処理の対象として「いくら」の画像があるとする。まず、この「いくら」の画像について空間周波数の解析により、この画像データには高周波におけるパワーがないと判断される。その結果、この画像データはテクスチャ物ではないと判定され、次に色分布の解析に移る。色分布解析では色空間Ｌ^*ａ^*ｂ^*における分布が個別に解析され、この色分布の解析結果、（ａ^*／ｂ^*）からこの画像データは色ものと判定される。
【００６６】
さらに、被処理画像が「カメラ」である場合を図１９中段に示す。上述の「いくら」の場合と同様に、まず「カメラ」の画像に対する空間周波数解析を実行し、高周波におけるパワー有無の判定がなされる。この「カメラ」の画像の場合、高周波のパワーが有ると判断され、テクスチャものである可能性がある。次に、この高周波のパワーがテクスチャによるものであるか、エッジによるものであるかを判定する。そのためにエッジヒストグラムによる分析が実行される。この分析の結果、この「カメラ」の画像におけるエッジヒストグラムの分散は大きいことから、空間周波数解析の高周波のパワーはエッジによるものであったと判断される。次に、色分布の解析を実行する。色空間Ｌ^*ａ^*ｂ^*における分布が個別に解析され、この色分布の解析結果、（ａ^*／ｂ^*）からこの画像データは黒ものと判定される。
【００６７】
図１９下段は、被処理画像が「カーペット」である場合を示したものである。上記の場合と同様に、まず「カーペット」の画像に対する空間周波数解析を実行し、高周波におけるパワー有無の判定がなされる。この「カーペット」の画像の場合も、高周波のパワー有りと判断され、テクスチャものである可能性がある。次に、カメラの場合と同様にこの高周波のパワーがテクスチャによるものであるか、エッジによるものであるかをエッジヒストグラムによって判定する。この分析の結果、この「カーペット」の画像におけるエッジヒストグラムの分散は小さくこの画像はテクスチャ物であると判断される。
【００６８】
以上の画像解析と分類、そしてその画像処理の形態を表としてまとめたものが図２０である。図２０は被処理画像の質感を向上させる処理についてまとめたものである。図２０の中央部分が各対象物をテクスチャもの、色もの、黒ものと分類した分類分けを示し、左側の欄が、これらの画像について画像解析を行った場合のエッジ、コントラスト、色についての判定を○および×で示してある。＊は解析不要、すなわち、質感の向上に関する処理においては解析を必要としないものである。右側の欄は各画像に対する処理を示したものであり、処理を画像処理要点とメインオペレータで示してある。この表から理解されるように、同じ質感向上という指示であっても、被処理画像が異なれば適切な処理は、それぞれ異なってくる。
【００６９】
次に画像の立体感の向上に関する処理について図２１および図２２を用いて具体的に説明する。図２１は、被処理画像が「プリン」、「人参」、「お地蔵様」の場合の処理について示したものである。まず、解析１として、被処理画像についての明度分布を解析する。この明度分布ではハイライト部の局所ピークが調査される。「プリン」の場合、局所ピークがあり、この画像はキャッチライト系であると判断される。「人参」および「お地蔵様」の明度分布の分析結果にはハイライト部における局所ピークが見当たらずキャッチライト系ではないと判断される。次に、解析２として色分布ａ^*およびｂ^*が解析される。この解析された色分布から人参の場合は高彩度系画像、お地蔵様の場合は低彩度系画像であると判断される。
【００７０】
以上の立体感向上に関する画像解析と分類、そしてその画像処理の形態を表としてまとめたものが図２２である。図２２の中央部分が各対象物をキャッチライト系、高彩度系、低彩度系と分類した分類分けを示し、左側の欄が、これらの画像について画像解析を行った場合のエッジ、キャツチライト、色についての判定を○および×で示してある。＊は解析不要項目である。表中、右の欄は処理の形態を示してある。質感向上の場合と同様、立体感向上の指示においても被処理画像によって適切な処理が異なる。
【００７１】
【発明の効果】
以上説明したように、本発明の画像処理装置によれば、画像処理の指示および画像データの特徴にしたがって、適切な画像処理オペレータ、および画像処理パラメータを選択して実行するので、画像に応じた適切な画像処理が容易に実行でき、操作者の希望する画像を効率よく得ることが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の構成を示すブロック図である。
【図２】本発明に係る画像処理装置の構成をデータの流れにそって説明する図である。
【図３】本発明における、画像処理のフローを示す図である。
【図４】本発明に係る画像処理装置の処理オペレータ決定手段の構成を示す図である。
【図５】分類ルール情報を示す図である。
【図６】分類手段の構成を示す図である。
【図７】画像データ解析項目を示す図である。
【図８】処理オペレータ・特性テーブルを示す図である。
【図９】処理特性決定手段の構成を示す図である。
【図１０】属性パラメータおよび処理方針とヒストグラム分散、処理特性の対応を示す図てある。
【図１１】コントラストアップ処理における使用ルックアップテーブルの型を説明する図である。
【図１２】処理「明るく」における使用ルックアップテーブルの型を説明する図である。
【図１３】処理「明るく」における使用ルックアップテーブルの最適形態の求めかたを説明する図である。
【図１４】処理「対象色を強調」における使用ルックアップテーブルの導出方法を説明する図である。
【図１５】エッジ量特徴量を求める際に使用される２次元ＦＩＲフィルタの周波数特性を示す図である。
【図１６】エッジ量ヒストグラムからエッジ量特徴量を求める手法を説明する図である。
【図１７】処理パラメータ決定方法を示す図である。
【図１８】処理パラメータ決定手段の構成を示す図である。
【図１９】質感向上を目的とする画像処理における画像解析の具体例を説明する図である。
【図２０】質感向上を目的とする画像処理における画像解析、分類、画像処理についての相関を示す図である。
【図２１】立体感向上を目的とする画像処理における画像解析の具体例を説明する図である。
【図２２】立体感向上を目的とする画像処理における画像解析、分類、画像処理についての相関を示す図である。
【符号の説明】
１画像入力手段
２画像データ解析手段
３画質調整指示情報認識手段
４画像処理オペレータ決定手段
５画像処理パラメータ決定手段
６画像処理手段
４０３分類ルール情報選択手段
４０４分類ルール情報保持手段
４０５分類情報生成手段
４０６処理オペレータ選択手段
４０７処理オペレータ・特性テーブル保持手段
４０８処理特性決定手段
９０２特徴量選択手段
９０３処理特性選択手段
１１０１デフォルト値参照手段
１１０２デフォルト値保持手段
１１０３係数変換手段

Claims

画像データを入力する画像入力手段と、
画像データに対する画質調整の指示情報を認識する画質調整指示情報認識手段と、画像データの属性情報を認識する画像データ認識手段と、
前記画質調整指示情報認識手段によって認識された画質調整指示情報および前記画像データ認識手段によって認識された画像データの属性情報を入力し、前記画質調整指示情報に応じた画像処理態様を決定するための分類情報を分類ルール情報保持手段から取得し、前記画質調整指示情報と前記分類情報の少なくともいずれかの情報に基づいて、前記画像データの画像表現を変化させるための画像処理態様としての画像処理オペレータを決定する画像処理オペレータ決定手段と、
前記画像処理オペレータ決定手段によって決定された画像処理オペレータの実行する画像処理において適用する画像処理パラメータを決定する画像処理パラメータ決定手段と、
前記画像処理オペレータおよび前記画像処理パラメータに基づいて前記画像データの画像処理を実行する画像処理手段と、
を有することを特徴とする画像処理装置。
画像データを入力する画像入力手段と、
画像データに対する画質調整の指示情報を認識する画質調整指示情報認識手段と、
画像データの属性情報を認識する画像データ認識手段と、
画質調整指示情報と該画質調整指示情報に応じた画像処理態様を決定するための分類情報を対応付けた分類ルール情報を保持する分類ルール情報保持手段と、
前記画質調整指示情報認識手段によって認識された画質調整指示情報に基づき前記分類ルール情報保持手段から分類情報を選択する分類ルール選択手段と、
前記分類ルール選択手段によって選択された分類ルール情報に含まれる画像データの属性情報を前記画像データ認識手段から取得し、取得した属性情報から画像表現を変化させる画像処理と処理特性とを決定する画像処理決定手段と、
を有することを特徴とする画像処理装置。
画像データを入力する画像入力手段と、
画像データに対する画質調整の指示情報を認識する画質調整指示情報認識手段と、
画像データの解析を実行し、画像解析特徴量を抽出する画像データ認識手段と、
前記画質調整指示情報認識手段によって認識された画質調整指示情報および前記画像データ認識手段によって認識された画像データの属性情報に基づき、画像表現を変化させるための具体的な画像処理態様を決定する下記（ａ）〜（ｅ）の構成を有する画像処理オペレータ決定手段と、
（ａ）画質調整指示情報と該画質調整指示情報に応じた画像処理態様を決定するための分類情報を対応付けた分類ルール情報を保持する分類ルール情報保持手段、
（ｂ）前記画質調整指示情報認識手段によって認識された画質調整指示情報に基づき、前記分類ルール情報保持手段から前記画質調整指示情報に対応付けられた分類ルールを選択する分類ルール選択手段、
（ｃ）前記指示情報と、選択された前記分類ルールの少なくともいずれかの情報に基づいて、前記画像データの画像表現を変化させるための画像処理態様を決定する画像処理オペレータ選択用の分類フラグを生成する分類手段、
（ｄ）前記分類フラグに対応するカテゴリ毎に具体的な画像処理態様情報を格納した処理オペレータ・特性テーブル、
（ｅ）前記処理オペレータ・特性テーブルから、前記分類フラグに対応して登録された具体的画像処理態様としての画像処理オペレータを選択する画像処理オペレータ選択手段、
前記画像処理オペレータ決定手段において決定された画像処理オペレータによる画像処理の処理強度を決定する処理パラメータ決定手段と、
前記画像処理オペレータおよび前記画像処理パラメータに基づいて前記画像データの画像処理を実行する画像処理手段と、
を有することを特徴とする画像処理装置。
前記画像データ認識手段は前記画像データの解析を実行する画像データ解析手段を有することを特徴とする請求項１から３いずれかに記載の画像処理装置。
前記画像処理パラメータ決定手段は、前記画像データ解析手段による画像解析情報に基づいて画像処理パラメータを決定することを特徴とする請求項１または３に記載の画像処理装置。
前記画像解析手段は前記画像データのテクスチャの有無を解析し、テクスチャを有するときは該画像をテクスチャものと判別し、
前記画像処理オペレータおよび画像処理パラメータ決定手段は、テクスチャものと判別された前記画像データに対して、シャープネスを向上させる画像処理オペレータおよび画像処理パラメータを決定し、
前記画像処理手段は該決定されたシャープネス向上用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの質感を向上させることを特徴とする請求項１または３に記載の画像処理装置。
前記画像解析手段は前記画像データのテクスチャの有無および色分布を解析し、該画像データがテクスチャを有さず、かつ略無彩色の場合は該画像データを黒ものと判別し、
前記画像処理オペレータおよび画像処理パラメータ決定手段は、黒ものと判別された前記画像データに対して、明度コントラストを向上させる画像処理オペレータおよび画像処理パラメータを決定し、
前記画像処理手段は該決定された明度コントラスト向上用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの質感を向上させることを特徴とする請求項１または３に記載の画像処理装置。
前記画像解析手段は前記画像データのテクスチャの有無および色分布を解析し、該画像データがテクスチャを有さず、かつ略有彩色の場合は該画像データを色ものと判別し、
前記画像処理オペレータおよび画像処理パラメータ決定手段は、色ものと判別された前記画像データに対して、彩度を強調させる画像処理オペレータおよび画像処理パラメータを決定し、
前記画像処理手段は該決定された彩度強調用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの質感を向上させることを特徴とする請求項１または３に記載の画像処理装置。
前記画像解析手段は前記画像データのキャッチライトの有無を解析し、該画像データがキャッチライトを有するときは該画像をキャッチライト系画像として判別し、
前記画像処理オペレータおよび画像処理パラメータ決定手段は、キャッチライト系画像と判別された前記画像データに対して、明度コントラストを強調させる画像処理オペレータおよび画像処理パラメータを決定し、
前記画像処理手段は該決定された明度コントラスト強調用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの立体感を向上させることを特徴とする請求項１または３に記載の画像処理装置。
前記画像解析手段は前記画像データのキャッチライトの有無および色分布を解析し、該画像データがキャッチライトを有さず、かつ略無彩色の場合は該画像データを低彩度系画像と判別し、
前記画像処理オペレータおよび画像処理パラメータ決定手段は、低彩度系画像と判別された前記画像データに対して、エッジコントラストを向上させる画像処理オペレータおよび画像処理パラメータを決定し、
前記画像処理手段は該決定されたエッジコントラスト向上用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの立体感を向上させることを特徴とする請求項１または３に記載の画像処理装置。
前記画像解析手段は前記画像データのキャッチライトの有無および色分布を解析し、該画像データがキャッチライトを有さず、かつ略有彩色の場合は該画像データを高彩度系画像と判別し、
前記画像処理オペレータおよび画像処理パラメータ決定手段は、高彩度系画像と判別された前記画像データに対して、彩度コントラストを強調させる画像処理オペレータおよび画像処理パラメータを決定し、
前記画像処理手段は該決定された彩度コントラスト強調用の画像処理オペレータおよび画像処理パラメータに基づいて画像処理を実行して前記画像データの立体感を向上させることを特徴とする請求項１または３に記載の画像処理装置。
前記画像データ認識手段は外部の入力手段から入力された属性情報を画像データ属性情報として認識することを特徴とする請求項１から３いずれかに記載の画像処理装置。