JP3921737B2 - 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル写真画像のような実写画像データに対して最適な画像処理を自動的に実行する画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
ディジタル画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するものであるとか、色調を補正するものであるとか、明るさを補正するといった画像処理である。これらの画像処理は、通常、マイクロコンピュータで実行可能となっており、操作者がモニタ上で画像を確認して必要な画像処理を選択したり、画像処理のパラメータなどを決定している。
【０００３】
【発明が解決しようとする課題】
近年、画像処理の技法については各種のものが提案され、実際に効果を発揮している。しかしながら、どの技法でどの程度の処理を行うかとなると、依然、人間が関与しなければならない。これは、画像処理の対象となるディジタル画像データにおいて、どこが重要であるのかを判断することができなかったためである。
【０００４】
例えば、明るさを補正する画像処理を考えた場合、画面全体の平均が暗ければ明るく補正し、逆に平均が明るければ暗く補正するという自動処理を考えたとする。ここで、夜間撮影した人物像の実写画像データがあるとする。背景は殆ど真っ暗に近いものの、人物自体は良好に撮影できていたとする。この実写画像データを自動補正すると、背景が真っ暗であるがために明るく補正しようとしてしまい、昼間の画像のようになってしまうことになる。
【０００５】
この場合、人間が関与していれば人物像の部分だけに注目する。そして、人物像が暗ければ少し明るく補正するし、逆に、フラッシュなどの効果で明る過ぎれば暗くする補正を選択する。
【０００６】
このように、従来の画像処理では実写画像データの中の重要な部分（これを、オブジェクトと呼ぶことにする）を判断することができないため、人間が関与しなければならないという課題があった。
【０００７】
本発明は、上記課題にかんがみてなされたもので、デジタル写真画像のような実写画像データにおける重要な部分を検出し、自動的に最適な画像処理を選択して実行することが可能な画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体の提供を目的とする。
【０００８】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するため、本発明の画像処理装置は、
ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての画像データを入力し、該画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する処理内容決定手段と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する処理手段と
を備え、
上記画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう手段であることを要旨としている。
【０００９】
一般的な人物像の写真画像を想定すると、その人物を中心に捉えて撮影するのが普通である。従って、人物部分にピントが合わせられてシャープな画像となっている。画像がシャープであるとその輪郭部分がはっきりし、画像の変化度合いは大きくなる。このため、画像の変化度合いが大きな画素はピントを合わせられた本来のオブジェクトであると想定しても誤りではない可能性が極めて高い。よって、上記検出画素をオブジェクトを構成する画素とみなすことが可能である。
【００１０】
上記の発明では、実写画像を構成する各画素についての画像データに基づいて、画素抽出手段が、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する。処理内容決定手段は、抽出された検出画素の画像データにおける統計的な性質に基づいて実写画像に対する画像処理の内容を決定し、該決定された内容での画像処理を、処理手段が、上記実写画像の画像データに対して実施する。画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう。
【００１１】
画素抽出手段が周辺画素に対する変化の度合いを判断する手法は適宜各種のものを採用可能である。その一例として、上記オブジェクト判断手段は、隣接する画素間での画像データの差に基づいて周辺画素に対する変化の度合いを判断する構成を考えることができる。
【００１２】
上記の構成においては、各画素について周辺画素に対する変化の度合いを判断するにあたり、隣接する画素間での画像データの差に基づいて判断する。ドットマトリクス状の画素のように一定間隔で並んでいる場合、隣接する画素間のデータの差は一次微分値と比例するため、このような差分をもってして一の画素の周辺画素に対する変化度合いと判断できる。この場合、差分をベクトルの大きさと考えるとともに、隣接方向を考慮してベクトルを合成するようにしてもよい。
【００１４】
写真の構図を想定すると、人物像を中央に据えて取ることが多い。この場合、オブジェクトを構成する画素を中央部分から選択して、画像処理の内容を決定することが好ましいと言える。ところで、画素の周辺画素に対する変化度合いが大きいか否かは比較となる値との差といえるし、このような比較の値が必ずしも一定でなければならない理由はない。
【００１５】
そこで、上記の構成においては、画素の周辺画素に対する変化の度合いが所定の基準以上大きなものか否かを判断するにあたり、所定の基準を実写画像の部位によって異ならせて、部位毎の基準と各画素の周辺画素に対する変化度合いとを比較する。
【００１６】
所定の基準を異ならせる方針は各種のものを採用可能である。その一例として一定の傾向を決めておいても良いし、他の一例として所定の基準を異ならせる傾向自体を画像から読み取るような方針でも良い。前者の一例として、実写画像の中央部における所定の基準を実写画像の周縁部よりも低くする構成を考えることができる。
【００１７】
上記の構成においては、実写画像の中央部における基準を周縁部よりも低くすることにより、同程度の画像の変化度合いであったとしても画像の中央部の方がよりオブジェクトを構成する画素として判断されやすくなる。従って、中央部に人物像があればこの人物像の画素がより多くオブジェクトを構成する画素として判断されることになる。
【００１８】
また、所定の基準を異ならせる傾向自体を画像から読み取る場合の後者の一例として、実写画像を構成する画素の周辺画素に対する変化の度合いが、該実写画像において分布する状態を特定する分布状態特定手段と、該分布状態特定手段により特定された分布状態に基づいて上記所定の基準を決定する基準決定手段とを備え、この基準決定手段により決定された所定の基準を適用して、上記画素抽出手段が検出画素の抽出を行なう手法がある。具体的には、実写画像の部位毎における、上記実写画像を構成する画素の周辺画素に対する変化の度合いの分布状態に基づいて、上記所定の基準を決定する構成を考えることができる。
【００１９】
上記の構成においては、実写画像の部位毎における画素の変化度合いの分布を求め、この分布を求めてから上記所定の基準を決定する。この後、上記画素抽出手段が、同所定の基準と比較してオブジェクトを構成する画素であるか否かを判断する。
【００２０】
画素の変化度合いの分布状態に基づいて所定の基準を決定する場合、変化度合いの大きな画素が多く集まっている部位はオブジェクトの可能性が高いものと判断して基準を低くするようなものでも良いし、予め変化度合いの分布パターンに応じた基準設定のパターンを用意しておき、検出された分布パターンに基づいて基準設定のパターンを選択するというようなものでもよい。
【００２１】
一方、処理内容決定手段ないし処理手段はオブジェクトを構成すると判断された画素の画像データに基づいて画像処理内容を決定しつつ同決定した内容に基づいて画像処理するものであればよく、具体的な処理手法などは特に限定されない。一例として、上記処理内容決定手段が、検出画素の画像データにおける統計的な性質として、上記検出画素についてのヒストグラムを用いる構成を考えることができる。こうしたヒストグラムは、例えば、検出画素（換言すれば、オブジェクトを構成すると判断された画素）の輝度分布を求め、この輝度分布に基づいて作成することができる。この場合において、輝度分布範囲が狭ければ所定の割合で拡大するように輝度を修正すればコントラストを拡大する画像処理を実行できる。また、検出画素の輝度分布が全体として暗いようであれば、明るくする補正を実行しても良い。さらに、検出画素の色分布を求め、グレイバランスがずれていないかを判断し、ずれているようであればトーンカーブなどを使用してグレイバランスを修正することもできる。また、上記のヒストグラムを、検出画素の彩度分布に基づいて作成してもよい。上記のヒストグラムを、検出画素の画像データから導かれたパラメータを用いて作成することも可能である。
【００２２】
実写画像を構成する画素から、周辺画素に対する変化度合いの大きな画素を検出画素として抽出し、検出画素の画像データにおける統計的な性質に基づいて実写画像に対する画像処理の内容を決定する手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出し、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定し、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施することを要旨としている。
【００２３】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【００２４】
ところで、上述した画像処理装置は、単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【００２５】
発明の思想の具現化例として画像処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００２６】
その一例として、本発明の記録媒体は、ドットマトリクス状の画素からなる実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する機能と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する機能と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する機能と
をコンピュータにより実現するプログラムを記録したことを要旨としている。
【００２７】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。
【００２８】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００２９】
以上説明したように、本発明の画像処理装置は、従来は人間が関与しなければ判断できなかったオブジェクトの判断を、周辺画素に対する変化度合いの大きな画素を実写画像から検出画素として抽出することにより自動的に実現可能となり、そのオブジェクトに応じて画像処理内容を適宜変更して最適な画像処理を実行することが可能な画像処理装置を提供することができる。加えて、実写画像に対する画像処理の内容は、抽出された検出画素の画像データにおける統計的な性質に基づいて決定されるので、実写画像の画像データに対する画像処理をバランスよく行なうことができる。さらに、実写画像の部位に応じて、画素の周辺画素に対する変化度合いの評価基準を変える構成としているので、構図などを考慮したより融通の高い判断が可能となる。
【００３０】
また、隣接する画素間での画像データの差を求める構成とすれば、演算が容易であり、オブジェクト判断のための処理量を低減できる。
【００３２】
さらに、画素の周辺画素に対する変化度合いを評価する基準を、実写画像の中央部が実写画像の周縁部よりも低くなるように定めれば、写真の構図としての中央部分に重点をおく判断が可能となり、多くの画像データを効率的に処理することが可能となる。
【００３３】
さらに、実写画像を構成する画素の周辺画素に対する変化の度合いが該実写画像において分布する状態を考慮して、周辺画素に対する変化度合いの大きな画素を抽出する構成とすれば、種々の実写画像についてオブジェクトの判断が可能となり、柔軟な対処が可能となる。
【００３４】
さらに、本発明の画像処理方法によれば、オブジェクトを自動的に判断し、オブジェクトに応じた画像処理をバランスよく行なうことが可能となり、本発明の記録媒体によれば、同様の処理をコンピュータにて実行する画像処理制御プログラムを記録した媒体を提供することができる。
【００３５】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
【００３６】
図１は、本発明の一実施形態にかかる画像処理装置を適用した画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。
【００３７】
図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した実写画像データを画像処理装置２０へ出力し、同画像処理装置２０は所定の処理を経て画像処理の内容と程度を決定してから画像処理を実行する。同画像処理装置２０は画像処理した画像データを画像出力装置３０へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。ここにおいて、画像処理装置２０が出力する画像データは、実写画像を構成する各画素のうち、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素（換言すれば、オブジェクトを構成する画素）として抽出し、このような検出画素の画像データにおける統計的な性質に基づいて、実写画像に対する画像処理の内容を決定し、この内容に基づいて画像処理されたものである。従って、画像処理装置２０は、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、検出画素の画像データにおける統計的な性質に基づいて、実写画像に対する画像処理の内容を決定する処理内容決定手段と、該決定された内容での画像処理を実写画像の画像データに対して実施する処理手段とを備えている。
【００３８】
画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とＣＤ−ＲＯＭドライブ２４とフロッピーディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、画像処理としてオブジェクトを見つけて適切な画像処理を行なうものであるため、画像データとしては写真などの実写データが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【００３９】
本実施形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要とする。一方、コンピュータ２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。また、画像処理アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して所定の画像処理を実行する。従って、画像処理装置２０としてのこのコンピュータ２１の具体的役割は、ＲＧＢの階調データを入力して最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させることになる。
【００４０】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対して各種の画像処理を行うシステムであればよい。例えば、図３に示すようにデジタルスチルカメラ１２ａ内にオブジェクトを判断して画像処理する画像処理装置を組み込み、変換した画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモデム２６ｂ等を介して入力される画像データから自動的にオブジェクトを判断して画像処理するように構成することも可能である。
【００４１】
上述したオブジェクトの判断とそれに伴う画像処理は、具体的には上記コンピュータ２１内にて図５などに示すフローチャートに対応した画像処理プログラムで行っている。同図に示すフローチャートにおいては、オブジェクトであるか否かの判断を実行している。
【００４２】
オブジェクトは他の部分と比較して画像がシャープであるという経験的事実に基づいて、本発明においては画像がシャープな画素がオブジェクトの画素であると判断する。画像データがドットマトリクス状の画素から構成されている場合には、各画素ごとに上述したＲＧＢの輝度を表す階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにし、ステップＳ１１０では各画素でのエッジ度を判定する。図６に示すようなＸＹ直交座標を考察する場合、画像の変化度合いのベクトルはＸ軸方向成分とＹ軸方向成分とをそれぞれ求めれば演算可能となる。ドットマトリクス状の画素からなるディジタル画像においては、図７に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをｆ（ｘ，ｙ）で表すものとする。この場合、ｆ（ｘ，ｙ）はＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）であったり、あるいは全体の輝度Ｙ（ｘ，ｙ）であってもよい、なお、ＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と全体の輝度Ｙ（ｘ，ｙ）との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、後述するようにして簡易な対応関係を利用するようにしても良い。
【００４３】
図７に示すものにおいて、Ｘ方向の差分値ｆｘとＹ方向の差分値ｆｙは、
ｆｘ＝ｆ（ｘ＋１，ｙ）−ｆ（ｘ，ｙ） …（１）
ｆｙ＝ｆ（ｘ，ｙ＋１）−ｆ（ｘ，ｙ） …（２）
のように表される。従って、これらを成分とするベクトルの大きさ｜ｇ（ｘ，ｙ）｜は、
｜ｇ（ｘ，ｙ）｜＝（ｆｘ**２＋ｆｙ**２）**（１／２）…（３）
のように表される。むろん、エッジ度はこの｜ｇ（ｘ，ｙ）｜で表される。なお、本来、画素は図８に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。
【００４４】
以上のようにして各画素についてエッジ度が求められるので、基本的にはあるしきい値と比較してエッジ度の方が大きい画素をオブジェクトの画素と判断すればよい。しかしながら、経験的事実から考察すると、オブジェクトは構図の中央部分に位置することが多い。この事実は、中央部分から多くの画素が抽出されるような仕組みとすることによって実行すべき画像処理の判断に利用されるようにすることが好ましい効果を得られるということを裏付けるものである。
【００４５】
このため、図９に示すように、画像の中の部分毎に比較するしきい値Ｔｈ１，Ｔｈ２，Ｔｈ３を異ならせておくようにしている。むろん、この例では、
Ｔｈ１＜Ｔｈ２＜Ｔｈ３ …（４）
なる関係があり、中央に近い部分ほどしきい値は低く、エッジ度が比較的低くてもオブジェクトと判断されるようになっている。
【００４６】
同図に示すように、しきい値を変化させるため、領域としては画像の中央から水平方向と垂直方向に均等に三等分している。そして、ステップＳ１２０ではエッジ度を判定した画素がどの領域にあるかに基づいて比較のためのしきい値を判定し、ステップＳ１３０にて同エッジ度と同しきい値とを比較して変化度合いが大きいか否かを判断する。比較の結果、エッジ度の方が大きければこの画素はオブジェクトの画素であると判断し、ステップＳ１４０にてその画素の画像データをワークエリアに保存する。ワークエリアはコンピュータ２１内のＲＡＭであってもよいしハードディスク２２であってもよい。
【００４７】
以上のような処理を画像データの各画素について行うため、ステップＳ１５０にて処理の対象画素を移動させ、ステップＳ１６０にて全画素について終了したと判断されるまで処理を繰り返す。
【００４８】
上述した実施形態においては、しきい値を変更するにあたって常に画像の中央部分を基準とした領域の分割を行っているが、エッジ度の分布に基づいて領域の分割の仕方を変化させるようにしても良い。図１０はこのように領域の分割を適宜変化させるためのフローチャートを示しており、図１１はこれによって分割される領域を示している。
【００４９】
この場合も同様に処理対象となる画素を移動させながら各画素について以下の処理を実行していく。ステップＳ２１０で上記エッジ度を判定したら、ステップＳ２２０では水平軸方向に集計し、ステップＳ２３０では垂直軸方向に集計する。ステップＳ２４０にて対象画素を移動させ、ステップＳ２５０で全画素終了と判断されるまでループする。
【００５０】
水平軸方向と垂直軸方向とについて集計が終了したら、ステップ２６０では水平軸での最大分布位置を決定し、ステップＳ２７０では垂直軸での最大分布位置を決定する。図１１に示すように、水平軸と垂直軸でのエッジ度の高い部分を画像の中心と考え、領域を次のように分割している。
【００５１】
水平方向と垂直方向とについて、中央から端までの距離を二等分し、その内側の領域についてしきい値Ｔｈ１とし、残りの距離をそれぞれ二等分して内側の領域についてしきい値Ｔｈ２とするとともに、外側の領域についてしきい値Ｔｈ３とする。ステップＳ２８０ではこのようにして領域を分けることによって比較基準を決定し、ステップＳ２９０ではこの領域としきい値との対応のもとで上述したステップＳ１１０〜Ｓ１６０と同じ処理でエッジ度に基づくサンプリングを行ってオブジェクトの画素を判断する。
【００５２】
この例では、水平軸方向と垂直軸方向のそれぞれで中央部分を求めてから領域を二等分ずつしながら分割しているが、エッジ度の分布に基づいて領域の分割手法を変更することができれば良く、具体的な分割手法などは適宜変更可能である。
【００５３】
例えば、上述した例では、水平軸方向と垂直軸方向の集計を画素単位で行っていたが、図１２に示すように、画像を比較的大きな升目に区切り、この升目の単位で集計し、最大分布位置を決定するとともに、領域分割を実行するようにしても良い。
【００５４】
以上のようにしてオブジェクトの画素を抽出することができたら、これらの画素の画像データに基づいて最適な画像処理を決定し、実行する。図１３は、その一例としてコントラストの拡大と明度の補正の画像処理を実行するためのフローチャートを示している。
【００５５】
本実施形態でのコントラストを拡大するための基本的な手法は、オブジェクトの画像データに基づいて輝度分布を求め、この輝度分布が本来の階調幅（２５５階調）の一部分しか利用していないのであれば分布を拡大するというものである。
【００５６】
従って、ステップＳ３１０では輝度分布のヒストグラムを作成し、ステップＳ３２０では拡大する幅を決定する。拡大幅を決定するにあたり、輝度分布の両端を求めることを考える。写真画像の輝度分布は図１４に示すように概ね山形に表れる。むろん、その位置、形状についてはさまざまである。輝度分布の幅はこの両端をどこに決めるかによって決定されるが、単に裾野が延びて分布数が「０」となる点を両端とすることはできない。裾野部分では分布数が「０」付近で変移する場合があるし、統計的に見れば限りなく「０」に近づきながら推移していくからである。
【００５７】
このため、分布範囲において最も輝度の大きい側と小さい側からある分布割合だけ内側に経た部分を分布の両端とする。本実施形態においては、同図に示すように、この分布割合を０．５％に設定している。むろん、この割合については、適宜、変更することが可能である。このように、ある分布割合だけ上端と下端をカットすることにより、ノイズなどに起因して生じている白点や黒点を無視することもできる。すなわち、このような処理をしなければ一点でも白点や黒点があればそれが輝度分布の両端となってしまうので、２５５階調の輝度値であれば、多くの場合において最下端は階調「０」であるし、最上端は階調「２５５」となってしまうが、上端部分から０．５％の画素数だけ内側に入った部分を端部とすることにより、このようなことが無くなる。
【００５８】
実際の処理ではオブジェクトとして抽出した画素数に対する０．５％を演算し、再現可能な輝度分布における上端の輝度値及び下端の輝度値から順番に内側に向かいながらそれぞれの分布数を累積し、０．５％の値となった輝度値を求める。以後、この上端側をｙｍａｘと呼び、下端側をｙｍｉｎと呼ぶ。
【００５９】
再現可能な輝度の範囲を「０」〜「２５５」としたときに、変換前の輝度ｙと輝度の分布範囲の最大値ｙmaxと最小値ｙminから変換先の輝度Ｙを次式に基づいて求める。
【００６０】
Ｙ＝ａｙ＋ｂ …（５）
ただし
ａ＝２５５／（ｙmax−ｙmin） …（６）
ｂ＝−ａ・ｙminあるいは２５５−ａ・ｙmax …（７）
また、上記変換式にてＹ＜０ならばＹ＝０とし、Ｙ＞２５５ならばＹ＝２５５とする。ここにおける、ａは傾きであり、ｂはオフセットといえる。この変換式によれば、図１５に示すように、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するため本実施形態においては、再現可能な範囲を制限している。すなわち、再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「５」だけ残している。この結果、変換式のパラメータは次式のようになる。
【００６１】
ａ＝２４５／（ｙmax−ｙmin） …（８）
ｂ＝５−ａ・ｙminあるいは２５０−ａ・ｙmax …（９）
そして、この場合にはｙ＜ｙminと、ｙ＞ｙmaxの範囲においては変換を行わないようにする。
【００６２】
ただし、このままの拡大率（ａに対応）を適用してしまうと、非常に大きな拡大率が得られる場合も生じてしまう。例えば、夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けておき、ａが１．５（〜２）以上とはならないように制限する。これにより、薄暮は薄暮なりに表現されるようになる。なお、この場合は輝度分布の中心位置がなるべく変化しないような処理を行っておく。
【００６３】
ところで、輝度の変換時に、毎回、上記変換式（Ｙ＝ａｙ＋ｂ）を実行するのは非合理的である。というのは、輝度ｙの取りうる範囲が「０」〜「２５５」でしかあり得ないため、予め輝度ｙが取りうる全ての値に対応して変換後の輝度Ｙを求めておくことも可能である。従って、図１６に示すようなテーブルとして記憶しておく。
【００６４】
このような変換テーブルを形成することがステップＳ３２０の拡大幅決定処理に該当し、画像データを変更することが可能になる。しかし、このような輝度の範囲の拡大によってコントラストを強調するだけでなく、合わせて明るさを調整することも極めて有効であるため、ステップＳ３３０にて画像の明るさを判断し、補正のためのパラメータを生成する。
【００６５】
例えば、図１７にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図１８にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。
【００６６】
各種の実験を行った結果、本実施形態においては、輝度分布におけるメジアンｙｍｅｄを求め、同メジアンｙｍｅｄが「８５」未満である場合に暗い画像と判断して以下のγ値に対応するγ補正で明るくする。
【００６７】
γ＝ｙｍｅｄ／８５ …（１０）
あるいは、
γ＝（ｙｍｅｄ／８５）**（１／２） …（１１）
とする。
【００６８】
この場合、γ＜０．７となっても、γ＝０．７とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。
【００６９】
一方、メジアンｙｍｅｄが「１２８」より大きい場合に明るい画像と判断して以下のγ値に対応するγ補正で暗くする。
【００７０】
γ＝ｙｍｅｄ／１２８ …（１２）
あるいは、
γ＝（ｙｍｅｄ／１２８）**（１／２） …（１３）
とする。この場合、γ＞１．３となっても、γ＝１．３として暗くなり過ぎないように限界を設けておく。
【００７１】
なお、このγ補正は変換前の輝度分布に対して行っても良いし、変換後の輝度分布に対して行っても良い。γ補正をした場合における対応関係を図１９に示しており、γ＜１であれば上方に膨らむカーブとなり、γ＞１であれば下方に膨らむカーブとなる。むろん、かかるγ補正の結果も図１６に示すテーブル内に反映させておけばよく、テーブルデータに対して同補正を行っておく。
【００７２】
最後に、ステップＳ３４０にてコントラスト補正と明度補正が必要であるか否かを判断する。この判断は上述した拡大率（ａ）とγ値について適当なしきい値と比較し、拡大率の方が大きかったりγ値が所定範囲を超えていたら必要性有りと判断する。そして、必要性有りと判断されれば画像データの変換を行う。すなわち、ステップＳ３１０〜ステップＳ３４０にて画像処理の必要性とその程度を判断し、ステップＳ３５０にて必要と判断された画像処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【００７３】
画像処理が必要であると判断された場合、（５）式に基づく変換を行うが、同式の変換式は、ＲＧＢの成分値との対応関係においても当てはめることができ、変換前の成分値（Ｒ0，Ｇ0，Ｂ0）に対して変換後の成分値（Ｒ，Ｇ，Ｂ）は、
Ｒ＝ａ・Ｒ0＋ｂ …（１４）
Ｇ＝ａ・Ｇ0＋ｂ …（１５）
Ｂ＝ａ・Ｂ0＋ｂ …（１６）
として求めることもできる。ここで、輝度ｙ，Ｙが階調「０」〜階調「２５５」であるのに対応してＲＧＢの各成分値（Ｒ0，Ｇ0，Ｂ0），（Ｒ,Ｇ,Ｂ）も同じ範囲となっており、上述した輝度ｙ，Ｙの変換テーブルをそのまま利用すればよいといえる。
【００７４】
従って、ステップＳ３５０では全画素の画像データ（Ｒ0，Ｇ0，Ｂ0）について（１４）〜（１６）式に対応する変換テーブルを参照し、変換後の画像データ（Ｒ,Ｇ,Ｂ）を得るという処理を繰り返すことになる。
【００７５】
ところで、この処理内容決定手段ないし処理手段の場合はコントラスト補正と明度補正だけについて判断を行なうようにしているが、画像処理の具体例はこれに限られるものではない。
【００７６】
図２０は彩度強調のための画像処理を実行する場合のフローチャートを示している。
【００７７】
まず、オブジェクトと判断された画素の画素データがその成分要素として彩度を持っていればその彩度の値を用いて分布を求めることが可能であるが、ＲＧＢの成分値しか持っていないため、本来的には彩度値が直接の成分値となっている表色空間への変換を行なわなければ彩度値を得ることができない。例えば、標準表色系としてのＬｕｖ空間においては、Ｌ軸が輝度（明度）を表し、Ｕ軸及びＶ軸で色相を表している。ここにおいて、Ｕ軸及びＶ軸においては両軸の交点からの距離が彩度を表すため、実質的に（Ｕ**２＋Ｖ**２）**（１／２）が彩度となる。
【００７８】
このような異なる表色空間の間での色変換は対応関係を記憶した色変換テーブルを参照しつつ、補間演算を併用しなければならず、演算処理量は膨大となってくる。このような状況に鑑み、本実施形態においては、画像データとして標準的なＲＧＢの階調データを直に利用して彩度の代替値Ｘを次のようにして求めている。
【００７９】
Ｘ＝｜Ｇ＋Ｂ｜−２×Ｒ …（１７）
本来的には彩度は、Ｒ＝Ｇ＝Ｂの場合に「０」となり、ＲＧＢの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な（１７）式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「０」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
Ｘ’＝｜Ｒ＋Ｂ｜−２×Ｇ …（１８）
Ｘ”＝｜Ｇ＋Ｒ｜−２×Ｂ …（１９）
という式にも代替可能である。
【００８０】
ステップＳ４１０では、このような彩度の代替値Ｘについてのヒストグラムの分布を求める。（１７）式においては、彩度が最低値「０」〜最大値「５１１」の範囲で分布し、概略的には図２１に示すような分布となる。次なるステップＳ４２０では、集計された彩度分布に基づいてこの画像についての彩度指数というものを決定する。本実施形態においては、オブジェクトと判断された画素数の範囲で、分布数として上位の「１６％」が占める範囲を求める。そして、この範囲内での最低の彩度「Ａ」がこの画像の彩度を表すものとして次式に基づいて彩度強調指数Ｓを決定する。
【００８１】
すなわち、
Ａ＜９２なら
Ｓ＝−Ａ×（１０／９２）＋５０ …（２０）
９２≦Ａ＜１８４なら
Ｓ＝−Ａ×（１０／４６）＋６０ …（２１）
１８４≦Ａ＜２３０なら
Ｓ＝−Ａ×（１０／２３）＋１００ …（２２）
２３０≦Ａなら
Ｓ＝０ …（２３）
とする。図２２は、この彩度「Ａ」と彩度強調指数Ｓとの関係を示している。図に示すように、彩度指数Ｓは最大値「５０」〜最小値「０」の範囲で彩度「Ａ」が小さいときに大きく、同彩度「Ａ」が大きいときに小さくなるように徐々に変化していくことになる。
【００８２】
彩度強調指数Ｓに基づいて彩度を強調するにあたり、上述したように画像データが彩度のパラメータを備えているものであれば同パラメータを変換すればよいものの、ＲＧＢの表色空間を採用している場合には、一旦、標準表色系であるＬｕｖ空間に変換し、Ｌｕｖ空間内で半径方向へ変移させなければならないといえる。しかしながら、ＲＧＢの画像データを、一旦、Ｌｕｖ空間内の画像データに変換し、彩度強調後に再びＲＧＢに戻すといった作業が必要となり、演算量が多くならざるを得ない。従って、ＲＧＢの階調データをそのまま利用して彩度強調することにする。
【００８３】
ＲＧＢ表色空間のように各成分が概略対等な関係にある色相成分の成分値であるときには、Ｒ＝Ｇ＝Ｂであればグレイであって無彩度となる。従って、ＲＧＢの各成分における最小値となる成分については各画素の色相に影響を与えることなく単に彩度を低下させているにすぎないと考えれば、各成分における最小値をすべての成分値から減算し、その差分値を拡大することによって彩度を強調できるといえる。
【００８４】
まず、上述した彩度強調指数Ｓから演算に有利な彩度強調パラメータＳratioを、
Ｓratio＝（Ｓ＋１００）／１００ …（２４）
として求める。この場合、彩度強調指数Ｓ＝０のときに彩度強調パラメータＳratio＝１となって彩度強調されない。次に、ＲＧＢ階調データの各成分（Ｒ，Ｇ，Ｂ）における青（Ｂ）の成分値が最小値であったとすると、この彩度強調パラメータＳratioを使用して次のように変換する。
【００８５】
Ｒ’＝Ｂ＋（Ｒ−Ｂ）×Ｓratio …（２５）
Ｇ’＝Ｂ＋（Ｇ−Ｂ）×Ｓratio …（２６）
Ｂ’＝Ｂ …（２７）
この結果、ＲＧＢ表色空間とＬｕｖ空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、（２５）〜（２７）式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。
【００８６】
（２５）〜（２７）式を採用する場合でも、良好な変換が可能であるものの、この場合には彩度を強調すると輝度も向上して全体的に明るくなるという傾向がある。従って、各成分値から輝度の相当値を減算した差分値を対象として変換を行うことにする。
【００８７】
まず、輝度を求めるために、上述したＬｕｖ空間に色変換したのでは演算量が多大となってしまうため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。
【００８８】
輝度Ｙは、
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ …（２８）
一方、彩度強調は、
Ｒ’＝Ｒ＋△Ｒ …（２９）
Ｇ’＝Ｇ＋△Ｇ …（３０）
Ｂ’＝Ｂ＋△Ｂ …（３１）
とする。この加減値△Ｒ，△Ｇ，△Ｂは輝度との差分値に基づいて次式のように求める。すなわち、
△Ｒ＝（Ｒ−Ｙ）×Ｓratio …（３２）
△Ｇ＝（Ｇ−Ｙ）×Ｓratio …（３３）
△Ｂ＝（Ｂ−Ｙ）×Ｓratio …（３４）
となり、この結果、
Ｒ’＝Ｒ＋（Ｒ−Ｙ）×Ｓratio …（３５）
Ｇ’＝Ｇ＋（Ｇ−Ｙ）×Ｓratio …（３６）
Ｂ’＝Ｂ＋（Ｂ−Ｙ）×Ｓratio …（３７）
として変換可能となる。なお、輝度の保存は次式から明らかである。
【００８９】
Ｙ’＝Ｙ＋△Ｙ …（３８）
△Ｙ＝０．３０△Ｒ＋０．５９△Ｇ＋０．１１△Ｂ
＝Ｓratio｛（０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）−Ｙ｝
＝０ …（３９）
また、入力がグレー（Ｒ＝Ｇ＝Ｂ）のときには、輝度Ｙ＝Ｒ＝Ｇ＝Ｂとなるので、加減値△Ｒ＝△Ｇ＝△Ｂ＝０となり、無彩色に色が付くこともない。（３５）式〜（３７）式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。
【００９０】
以上のようにして彩度強調指数Ｓratioを求めたら、ステップＳ４３０にて所定のしきい値と比較し、彩度強調が必要な画像であるかを判断する。そして、必要であればステップＳ４４０にて（３５）式〜（３７）式に基づいて全画素について画像データを変換する。
【００９１】
従って、ステップＳ４１０〜Ｓ４３０にて、彩度強調処理の必要性とその程度を判断し、ステップＳ４３０にて必要と判断された場合に彩度強調処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【００９２】
また、オブジェクトの画素に基づいて画像処理の内容と程度を判定するものとして、その対象をエッジ強調処理とすることもできる。図２３は、このエッジ強調処理のフローチャートを示している。オブジェクトの画素が選択されているので、ステップＳ５１０では積算されたエッジ度を画素数で除算することにより、オブジェクトの画素についてのエッジ度を平均化する。すなわち、このオブジェクト画像のシャープ度合いＳＬは、画素数をＥ（Ｉ）ｐｉｘとすると、
【００９３】
【数１】

【００９４】
のようにして演算することができる。この場合、ＳＬの値が小さい画像ほどシャープネスの度合いが低い（見た目にぼけた）と判断できるし、ＳＬの値が大きい画像ほどシャープネスの度合いが高い（見た目にはっきりとしたもの）と判断できる。
【００９５】
一方、画像のシャープさは感覚的なものであるため、実験的に得られた最適なシャープ度合いの画像データについて同様にしてシャープ度合いＳＬを求め、その値を理想のシャープ度合いＳＬｏｐｔと設定するとともに、ステップＳ５２０においてエッジ強調度Ｅenhanceを、
Ｅenhance＝ｋｓ・（ＳＬｏｐｔ−ＳＬ）**（１／２）…（４１）
として求める。ここにおいて、係数ｋｓは画像の大きさに基づいて変化するものであり、画像データが図２４に示すように、縦横方向にそれぞれｈｅｉｇｈｔドットとｗｉｄｔｈドットからなる場合、
ｋｓ＝ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）／Ａ …（４２）
のようにして求めている。ここにおいて、ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）はｈｅｉｇｈｔドットとｗｉｄｔｈドットのうちのいずれか小さい方を指し、Ａは定数で「７６８」としている。むろん、これらは実験結果から得られたものであり、適宜変更可能であることはいうまでもない。ただし、基本的には画像が大きいものほど強調度を大きくするということで良好な結果を得られている。
【００９６】
このようにしてエッジ強調度Ｅenhanceを求めたら、ステップＳ５３０にて所定のしきい値と比較してエッジ強調が必要であるか判断し、必要であると判断されればステップＳ５４０にて全画素についてエッジ強調処理を実行する。
【００９７】
エッジ強調処理は、強調前の各画素の輝度Ｙに対して強調後の輝度Ｙ’が、
Ｙ’＝Ｙ＋Ｅenhance・（Ｙ−Ｙunsharp） …（４３）
として演算される。ここで、Ｙunsharpは各画素の画像データに対してアンシャープマスク処理を施したものであり、ここでアンシャープマスク処理について説明する。図２５は一例として５×５画素のアンシャープマスク４１を示している。このアンシャープマスク４１は、中央の「１００」の値をマトリクス状の画像データにおける処理対象画素Ｙ（ｘ，ｙ）の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。このアンシャープマスク４１を利用する場合、
【００９８】
【数２】

【００９９】
なる演算式に基づいて積算する。（４４）式において、「３９６」とは重み付け係数の合計値であり、サイズの異なるアンシャープマスクにおいては、それぞれ升目の合計値となる。また、Ｍｉｊはアンシャープマスクの升目に記載されている重み係数であり、Ｙ（ｘ，ｙ）は各画素の画像データである。なお、ｉｊについてはアンシャープマスク４１に対して横列と縦列の座標値で示している。
【０１００】
（４３）式に基づいて演算されるエッジ強調演算の意味するところは次のようになる。Ｙunsharp（ｘ，ｙ）は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった（アンシャープ）」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙunsharp（ｘ，ｙ）」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対してエッジ強調度Ｅenhanceを乗算して「Ｙ（ｘ，ｙ）」に加えれば同エッジ強調度Ｅenhanceに比例して高周波成分を増したことになり、エッジが強調される結果となる。なお、エッジ強調が必要になる状況を考えるといわゆる画像のエッジ部分であるから、隣接する画素との間で画像データの差が大きな場合にだけ演算するようにしてもよい。このようにすれば、殆どのエッジ部分でない画像データ部分でアンシャープマスクの演算を行う必要がなくなり、処理が激減する。
【０１０１】
なお、実際の演算は、強調後の輝度Ｙ’と強調前の輝度Ｙから、
ｄｅｌｔａ＝Ｙ−Ｙ’ …（４５）
と置き換えれば、変換後のＲ’Ｇ’Ｂ’は、
Ｒ’＝Ｒ＋ｄｅｌｔａ
Ｇ’＝Ｇ＋ｄｅｌｔａ
Ｂ’＝Ｂ＋ｄｅｌｔａ …（４６）
のように演算可能となる。
【０１０２】
従って、このエッジ強調処理では、ステップＳ５１０〜Ｓ５３０にて、エッジ強調処理の必要性とその程度を判断し、ステップＳ５３０にて必要と判断された場合に画像処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【０１０３】
なお、上述したコントラスト補正、明度補正、彩度強調、エッジ強調のそれぞれについて、画像処理を行うかを判断している。しかし、必ずしも画像処理を行うか否かの二者択一の判断を行う必要はない。すなわち、それぞれにおいて強調程度を設定しており、このようにして設定した強調程度で画像処理を行うようにしても良い。むろん、この場合でも実行すべき画像処理の内容とその程度を判定して実行するものと言える。
【０１０４】
次に、上記構成からなる本実施形態の動作を説明する。
【０１０５】
写真画像をスキャナ１１で読み込み、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ２１にてオペレーティングシステム２１ａが稼働しているもとで、画像処理アプリケーション２１ｄを起動させ、スキャナ１１に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム２１ａを介して画像処理アプリケーション２１ｄに取り込まれたら、処理対象画素を初期位置に設定する。続いて、ステップＳ１１０にて（１）式〜（３）式に基づいてエッジ度を判定し、ステップＳ１２０では処理対象画素の画像全体に対する位置に応じて決まるしきい値を判定するとともに、ステップＳ１３０にて同しきい値とエッジ度とを比較する。そして、エッジ度の方が大きい場合には処理対象画素がオブジェクトの画素であると判断し、ステップＳ１４０にて当該画素の画像データをワークエリアに保存する。以上の処理をステップＳ１５０にて処理対象画素を移動させながらステップＳ１６０にて全画素について実行したと判断されるまで繰り返す。
【０１０６】
全画素について実行し終えたら、ワークエリアにはオブジェクトと判断された画素についての画像データが保存されていることになる。従って、このワークエリアの画像データから読み取られた写真画像の状況を判断しても、背景などの影響を受けて画像の質を誤認することはないといえる。本実施形態においては、ワークエリアに画像データそのものを保存するようにしたが、メモリ容量や処理時間の面から考えると必ずしも画像データをそのものをワークエリアに保存しておく必要はない。すなわち、このようなオブジェクトとして判断される画素について輝度分布や彩度代替値分布のヒストグラムを作成することになるので、予めステップＳ１４０にてヒストグラムの情報を蓄積していくようにすればよい。
【０１０７】
自動的にコントラスト補正と明度補正を実行する場合は、このようなステップＳ１４０やステップＳ３１０にて輝度分布のヒストグラムを求めておき、ステップＳ３２０にて（８）（９）式に基づいて拡大処理のためのパラメータを決定するとともに、ステップＳ３３０にて（１０）〜（１３）式に基づいて明度補正のためのパラメータを決定する。そして、ステップＳ３４０ではこれらのパラメータを所定のしきい値と比較し、画像処理すべきと判断すればステップＳ３５０にて上記パラメータに基づいて輝度変換する。この場合、演算量を減らすために最初に図１６に示す輝度の変換テーブルを作成しておき、（１４）〜（１６）式に基づいて画像データを変換する。
【０１０８】
この後、画像処理された画像データをディスプレイドライバ２１ｃを介してディスプレイ３２に表示し、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷させる。すなわち、同プリンタドライバ２１ｂはエッジ強調されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。
【０１０９】
以上の処理により、スキャナ１１を介して読み込まれた写真の画像データは自動的に最適なコントラスト補正と明度補正を施されてディスプレイ３２に表示された後、プリンタ３１にて印刷される。すなわち、当該写真画像のオブジェクト部分に基づいてコントラスト補正や明度補正が必要であるか否かを判断し、必要である場合にはそれに最適な程度で画像処理することができる。
【０１１０】
一方、このようなコントラスト補正や明度補正に限らず、彩度強調やエッジ強調の場合にも、画像の変化度合いであるエッジ度が大きい画素をオブジェクトの画素と判断し、オブジェクトの画素の画像データに基づいて実行すべき画像処理の内容と程度を判断し、必要な画像処理を実行することになる。
【０１１１】
なお、オブジェクトの画素を抽出するにあたってはパラメータを決定するために必要なものであるから、全画素についてエッジ度を求めて判断するのではなく、サンプリングした画素に対してエッジ度を判定し、オブジェクトの画素であるか否かを判断するようにしても良い。
【０１１２】
このように、画像処理の中枢をなすコンピュータ２１はステップＳ１１０にて隣接する画素間のデータの差分値から画像の変化度合いであるエッジ度を求め、ステップＳ１２０，Ｓ１３０にてエッジ度の大きい画像のみ選択してオブジェクトの画素と判断し、ステップＳ３１０〜Ｓ３３０にてオブジェクトの画素についての画像データからコントラスト補正と明度補正のための最適なパラメータを求めるようにしているため、オブジェクトの画素の画像データに基づいて画像処理の指針が決定され、自動的に最適な画像処理を実行することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像処理装置を適用した画像処理システムのブロック図である。
【図２】同画像処理装置の具体的ハードウェアのブロック図である。
【図３】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図４】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図５】本発明の画像処理装置におけるメイン処理の前段部分を示すフローチャートである。
【図６】画像の変化度合いを直交座標の各成分値で表す場合の説明図である。
【図７】画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。
【図８】隣接する全画素間で画像の変化度合いを求める場合の説明図である。
【図９】しきい値を変化させる領域を示す図である。
【図１０】領域を自動分割する場合のフローチャートである。
【図１１】領域の設定状況を示す図である。
【図１２】変形例にかかる領域の設定状況を示す図である。
【図１３】メイン処理の後段部分を示すフローチャートである。
【図１４】輝度分布の端部処理と端部処理にて得られる端部を示す図である。
【図１５】輝度分布の拡大と再現可能な輝度の範囲を示す図である。
【図１６】輝度分布を拡大する際の変換テーブルを示す図である。
【図１７】γ補正で明るくする概念を示す図である。
【図１８】γ補正で暗くする概念を示す図である。
【図１９】γ補正で変更される輝度の対応関係を示す図である。
【図２０】メイン処理の後段部分で彩度強調する場合のフローチャートである。
【図２１】彩度分布の集計状態の概略図である。
【図２２】彩度Ａと彩度強調指数Ｓとの関係を示す図である。
【図２３】メイン処理の後段部分でエッジ強調する場合のフローチャートである。
【図２４】画像データの大きさと処理対象画素を移動させていく状態を示す図である。
【図２５】５×５画素のアンシャープマスクを示す図である。
【符号の説明】
１０…画像入力装置
２０…画像処理装置
２１…コンピュータ
２１ａ…オペレーティングシステム
２１ｂ…プリンタドライバ
２１ｃ…ディスプレイドライバ
２１ｄ…画像処理アプリケーション
２２…ハードディスク
２３…キーボード
２４…ＣＤ−ＲＯＭドライブ
２５…フロッピーディスクドライブ
２６…モデム
３０…画像出力装置
４１…アンシャープマスク

Claims (10)

1. ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう画像処理装置であって、
   上記実写画像を構成する各画素についての画像データを入力し、該画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、
   上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する処理内容決定手段と、
   該決定された内容での画像処理を、上記実写画像の画像データに対して実施する処理手段と
   を備え、
   上記画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう手段である
   画像処理装置。
2. 上記画素抽出手段は、上記周辺画素に対する変化の度合いを、隣接する画素間での画像データの差に基づいて判断し、上記検出画素の抽出を行なう手段である請求項１に記載の画像処理装置。
3. 上記画素抽出手段は、実写画像の中央部における上記所定の基準を実写画像の周縁部よりも低くして、上記検出画素の抽出を行なう手段である請求項１または２に記載の画像処理装置。
4. 請求項１または２に記載の画像処理装置であって、
   上記実写画像を構成する画素の周辺画素に対する変化の度合いが、該実写画像において分布する状態を特定する分布状態特定手段と、
   該分布状態特定手段により特定された分布状態に基づいて上記所定の基準を決定する基準決定手段と
   を備え、
   上記画素抽出手段は、上記基準決定手段により決定された所定の基準を適用して、上記検出画素の抽出を行なう手段である
   画像処理装置。
5. 上記処理内容決定手段は、上記検出画素の画像データにおける統計的な性質として、上記検出画素についてのヒストグラムを用いる請求項１ないし４に記載の画像処理装置。
6. 上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の輝度分布に基づいて作成する請求項５に記載の画像処理装置。
7. 上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の彩度分布に基づいて作成する請求項５に記載の画像処理装置。
8. 上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の画像データから導かれたパラメータを用いて作成する請求項５に記載の画像処理装置。
9. ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう方法であって、
   上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を、上記所定の基準を上記実写画像の部位によって異ならせて、検出画素として抽出し、
   上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定し、
   該決定された内容での画像処理を、上記実写画像の画像データに対して実施する
   画像処理方法。
10. ドットマトリクス状の画素からなる実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
    上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を、上記所定の基準を上記実写画像の部位によって異ならせて、検出画素として抽出する機能と、
    上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する機能と、
    該決定された内容での画像処理を、上記実写画像の画像データに対して実施する機能と
    をコンピュータにより実現するプログラムを記録した記録媒体。

Images