JP3921737B2 - 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 - Google Patents
画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 Download PDFInfo
- Publication number
- JP3921737B2 JP3921737B2 JP15141397A JP15141397A JP3921737B2 JP 3921737 B2 JP3921737 B2 JP 3921737B2 JP 15141397 A JP15141397 A JP 15141397A JP 15141397 A JP15141397 A JP 15141397A JP 3921737 B2 JP3921737 B2 JP 3921737B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- pixel
- pixels
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、デジタル写真画像のような実写画像データに対して最適な画像処理を自動的に実行する画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体に関する。
【0002】
【従来の技術】
ディジタル画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するものであるとか、色調を補正するものであるとか、明るさを補正するといった画像処理である。これらの画像処理は、通常、マイクロコンピュータで実行可能となっており、操作者がモニタ上で画像を確認して必要な画像処理を選択したり、画像処理のパラメータなどを決定している。
【0003】
【発明が解決しようとする課題】
近年、画像処理の技法については各種のものが提案され、実際に効果を発揮している。しかしながら、どの技法でどの程度の処理を行うかとなると、依然、人間が関与しなければならない。これは、画像処理の対象となるディジタル画像データにおいて、どこが重要であるのかを判断することができなかったためである。
【0004】
例えば、明るさを補正する画像処理を考えた場合、画面全体の平均が暗ければ明るく補正し、逆に平均が明るければ暗く補正するという自動処理を考えたとする。ここで、夜間撮影した人物像の実写画像データがあるとする。背景は殆ど真っ暗に近いものの、人物自体は良好に撮影できていたとする。この実写画像データを自動補正すると、背景が真っ暗であるがために明るく補正しようとしてしまい、昼間の画像のようになってしまうことになる。
【0005】
この場合、人間が関与していれば人物像の部分だけに注目する。そして、人物像が暗ければ少し明るく補正するし、逆に、フラッシュなどの効果で明る過ぎれば暗くする補正を選択する。
【0006】
このように、従来の画像処理では実写画像データの中の重要な部分(これを、オブジェクトと呼ぶことにする)を判断することができないため、人間が関与しなければならないという課題があった。
【0007】
本発明は、上記課題にかんがみてなされたもので、デジタル写真画像のような実写画像データにおける重要な部分を検出し、自動的に最適な画像処理を選択して実行することが可能な画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体の提供を目的とする。
【0008】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するため、本発明の画像処理装置は、
ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての画像データを入力し、該画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する処理内容決定手段と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する処理手段と
を備え、
上記画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう手段であることを要旨としている。
【0009】
一般的な人物像の写真画像を想定すると、その人物を中心に捉えて撮影するのが普通である。従って、人物部分にピントが合わせられてシャープな画像となっている。画像がシャープであるとその輪郭部分がはっきりし、画像の変化度合いは大きくなる。このため、画像の変化度合いが大きな画素はピントを合わせられた本来のオブジェクトであると想定しても誤りではない可能性が極めて高い。よって、上記検出画素をオブジェクトを構成する画素とみなすことが可能である。
【0010】
上記の発明では、実写画像を構成する各画素についての画像データに基づいて、画素抽出手段が、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する。処理内容決定手段は、抽出された検出画素の画像データにおける統計的な性質に基づいて実写画像に対する画像処理の内容を決定し、該決定された内容での画像処理を、処理手段が、上記実写画像の画像データに対して実施する。画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう。
【0011】
画素抽出手段が周辺画素に対する変化の度合いを判断する手法は適宜各種のものを採用可能である。その一例として、上記オブジェクト判断手段は、隣接する画素間での画像データの差に基づいて周辺画素に対する変化の度合いを判断する構成を考えることができる。
【0012】
上記の構成においては、各画素について周辺画素に対する変化の度合いを判断するにあたり、隣接する画素間での画像データの差に基づいて判断する。ドットマトリクス状の画素のように一定間隔で並んでいる場合、隣接する画素間のデータの差は一次微分値と比例するため、このような差分をもってして一の画素の周辺画素に対する変化度合いと判断できる。この場合、差分をベクトルの大きさと考えるとともに、隣接方向を考慮してベクトルを合成するようにしてもよい。
【0014】
写真の構図を想定すると、人物像を中央に据えて取ることが多い。この場合、オブジェクトを構成する画素を中央部分から選択して、画像処理の内容を決定することが好ましいと言える。ところで、画素の周辺画素に対する変化度合いが大きいか否かは比較となる値との差といえるし、このような比較の値が必ずしも一定でなければならない理由はない。
【0015】
そこで、上記の構成においては、画素の周辺画素に対する変化の度合いが所定の基準以上大きなものか否かを判断するにあたり、所定の基準を実写画像の部位によって異ならせて、部位毎の基準と各画素の周辺画素に対する変化度合いとを比較する。
【0016】
所定の基準を異ならせる方針は各種のものを採用可能である。その一例として一定の傾向を決めておいても良いし、他の一例として所定の基準を異ならせる傾向自体を画像から読み取るような方針でも良い。前者の一例として、実写画像の中央部における所定の基準を実写画像の周縁部よりも低くする構成を考えることができる。
【0017】
上記の構成においては、実写画像の中央部における基準を周縁部よりも低くすることにより、同程度の画像の変化度合いであったとしても画像の中央部の方がよりオブジェクトを構成する画素として判断されやすくなる。従って、中央部に人物像があればこの人物像の画素がより多くオブジェクトを構成する画素として判断されることになる。
【0018】
また、所定の基準を異ならせる傾向自体を画像から読み取る場合の後者の一例として、実写画像を構成する画素の周辺画素に対する変化の度合いが、該実写画像において分布する状態を特定する分布状態特定手段と、該分布状態特定手段により特定された分布状態に基づいて上記所定の基準を決定する基準決定手段とを備え、この基準決定手段により決定された所定の基準を適用して、上記画素抽出手段が検出画素の抽出を行なう手法がある。具体的には、実写画像の部位毎における、上記実写画像を構成する画素の周辺画素に対する変化の度合いの分布状態に基づいて、上記所定の基準を決定する構成を考えることができる。
【0019】
上記の構成においては、実写画像の部位毎における画素の変化度合いの分布を求め、この分布を求めてから上記所定の基準を決定する。この後、上記画素抽出手段が、同所定の基準と比較してオブジェクトを構成する画素であるか否かを判断する。
【0020】
画素の変化度合いの分布状態に基づいて所定の基準を決定する場合、変化度合いの大きな画素が多く集まっている部位はオブジェクトの可能性が高いものと判断して基準を低くするようなものでも良いし、予め変化度合いの分布パターンに応じた基準設定のパターンを用意しておき、検出された分布パターンに基づいて基準設定のパターンを選択するというようなものでもよい。
【0021】
一方、処理内容決定手段ないし処理手段はオブジェクトを構成すると判断された画素の画像データに基づいて画像処理内容を決定しつつ同決定した内容に基づいて画像処理するものであればよく、具体的な処理手法などは特に限定されない。一例として、上記処理内容決定手段が、検出画素の画像データにおける統計的な性質として、上記検出画素についてのヒストグラムを用いる構成を考えることができる。こうしたヒストグラムは、例えば、検出画素(換言すれば、オブジェクトを構成すると判断された画素)の輝度分布を求め、この輝度分布に基づいて作成することができる。この場合において、輝度分布範囲が狭ければ所定の割合で拡大するように輝度を修正すればコントラストを拡大する画像処理を実行できる。また、検出画素の輝度分布が全体として暗いようであれば、明るくする補正を実行しても良い。さらに、検出画素の色分布を求め、グレイバランスがずれていないかを判断し、ずれているようであればトーンカーブなどを使用してグレイバランスを修正することもできる。また、上記のヒストグラムを、検出画素の彩度分布に基づいて作成してもよい。上記のヒストグラムを、検出画素の画像データから導かれたパラメータを用いて作成することも可能である。
【0022】
実写画像を構成する画素から、周辺画素に対する変化度合いの大きな画素を検出画素として抽出し、検出画素の画像データにおける統計的な性質に基づいて実写画像に対する画像処理の内容を決定する手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出し、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定し、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施することを要旨としている。
【0023】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【0024】
ところで、上述した画像処理装置は、単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【0025】
発明の思想の具現化例として画像処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【0026】
その一例として、本発明の記録媒体は、ドットマトリクス状の画素からなる実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する機能と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する機能と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する機能と
をコンピュータにより実現するプログラムを記録したことを要旨としている。
【0027】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。
【0028】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【0029】
以上説明したように、本発明の画像処理装置は、従来は人間が関与しなければ判断できなかったオブジェクトの判断を、周辺画素に対する変化度合いの大きな画素を実写画像から検出画素として抽出することにより自動的に実現可能となり、そのオブジェクトに応じて画像処理内容を適宜変更して最適な画像処理を実行することが可能な画像処理装置を提供することができる。加えて、実写画像に対する画像処理の内容は、抽出された検出画素の画像データにおける統計的な性質に基づいて決定されるので、実写画像の画像データに対する画像処理をバランスよく行なうことができる。さらに、実写画像の部位に応じて、画素の周辺画素に対する変化度合いの評価基準を変える構成としているので、構図などを考慮したより融通の高い判断が可能となる。
【0030】
また、隣接する画素間での画像データの差を求める構成とすれば、演算が容易であり、オブジェクト判断のための処理量を低減できる。
【0032】
さらに、画素の周辺画素に対する変化度合いを評価する基準を、実写画像の中央部が実写画像の周縁部よりも低くなるように定めれば、写真の構図としての中央部分に重点をおく判断が可能となり、多くの画像データを効率的に処理することが可能となる。
【0033】
さらに、実写画像を構成する画素の周辺画素に対する変化の度合いが該実写画像において分布する状態を考慮して、周辺画素に対する変化度合いの大きな画素を抽出する構成とすれば、種々の実写画像についてオブジェクトの判断が可能となり、柔軟な対処が可能となる。
【0034】
さらに、本発明の画像処理方法によれば、オブジェクトを自動的に判断し、オブジェクトに応じた画像処理をバランスよく行なうことが可能となり、本発明の記録媒体によれば、同様の処理をコンピュータにて実行する画像処理制御プログラムを記録した媒体を提供することができる。
【0035】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
【0036】
図1は、本発明の一実施形態にかかる画像処理装置を適用した画像処理システムをブロック図により示しており、図2は具体的ハードウェア構成例を概略ブロック図により示している。
【0037】
図1において、画像入力装置10は写真などをドットマトリクス状の画素として表した実写画像データを画像処理装置20へ出力し、同画像処理装置20は所定の処理を経て画像処理の内容と程度を決定してから画像処理を実行する。同画像処理装置20は画像処理した画像データを画像出力装置30へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。ここにおいて、画像処理装置20が出力する画像データは、実写画像を構成する各画素のうち、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素(換言すれば、オブジェクトを構成する画素)として抽出し、このような検出画素の画像データにおける統計的な性質に基づいて、実写画像に対する画像処理の内容を決定し、この内容に基づいて画像処理されたものである。従って、画像処理装置20は、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、検出画素の画像データにおける統計的な性質に基づいて、実写画像に対する画像処理の内容を決定する処理内容決定手段と、該決定された内容での画像処理を実写画像の画像データに対して実施する処理手段とを備えている。
【0038】
画像入力装置10の具体例は図2におけるスキャナ11やデジタルスチルカメラ12あるいはビデオカメラ14などが該当し、画像処理装置20の具体例はコンピュータ21とハードディスク22とキーボード23とCD−ROMドライブ24とフロッピーディスクドライブ25とモデム26などからなるコンピュータシステムが該当し、画像出力装置30の具体例はプリンタ31やディスプレイ32等が該当する。本実施形態の場合、画像処理としてオブジェクトを見つけて適切な画像処理を行なうものであるため、画像データとしては写真などの実写データが好適である。なお、モデム26については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【0039】
本実施形態においては、画像入力装置10としてのスキャナ11やデジタルスチルカメラ12が画像データとしてRGB(緑、青、赤)の階調データを出力するとともに、画像出力装置30としてのプリンタ31は階調データとしてCMY(シアン、マゼンダ、イエロー)あるいはこれに黒を加えたCMYKの二値データを入力として必要とするし、ディスプレイ32はRGBの階調データを入力として必要とする。一方、コンピュータ21内ではオペレーティングシステム21aが稼働しており、プリンタ31やディスプレイ32に対応したプリンタドライバ21bやディスプレイドライバ21cが組み込まれている。また、画像処理アプリケーション21dはオペレーティングシステム21aにて処理の実行を制御され、必要に応じてプリンタドライバ21bやディスプレイドライバ21cと連携して所定の画像処理を実行する。従って、画像処理装置20としてのこのコンピュータ21の具体的役割は、RGBの階調データを入力して最適な画像処理を施したRGBの階調データを作成し、ディスプレイドライバ21cを介してディスプレイ32に表示させるとともに、プリンタドライバ21bを介してCMY(あるいはCMYK)の二値データに変換してプリンタ31に印刷させることになる。
【0040】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対して各種の画像処理を行うシステムであればよい。例えば、図3に示すようにデジタルスチルカメラ12a内にオブジェクトを判断して画像処理する画像処理装置を組み込み、変換した画像データを用いてディスプレイ32aに表示させたりプリンタ31aに印字させるようなシステムであっても良い。また、図4に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ31bにおいては、スキャナ11bやデジタルスチルカメラ12bあるいはモデム26b等を介して入力される画像データから自動的にオブジェクトを判断して画像処理するように構成することも可能である。
【0041】
上述したオブジェクトの判断とそれに伴う画像処理は、具体的には上記コンピュータ21内にて図5などに示すフローチャートに対応した画像処理プログラムで行っている。同図に示すフローチャートにおいては、オブジェクトであるか否かの判断を実行している。
【0042】
オブジェクトは他の部分と比較して画像がシャープであるという経験的事実に基づいて、本発明においては画像がシャープな画素がオブジェクトの画素であると判断する。画像データがドットマトリクス状の画素から構成されている場合には、各画素ごとに上述したRGBの輝度を表す階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにし、ステップS110では各画素でのエッジ度を判定する。図6に示すようなXY直交座標を考察する場合、画像の変化度合いのベクトルはX軸方向成分とY軸方向成分とをそれぞれ求めれば演算可能となる。ドットマトリクス状の画素からなるディジタル画像においては、図7に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをf(x,y)で表すものとする。この場合、f(x,y)はRGBの各輝度であるR(x,y),G(x,y),B(x,y)であったり、あるいは全体の輝度Y(x,y)であってもよい、なお、RGBの各輝度であるR(x,y),G(x,y),B(x,y)と全体の輝度Y(x,y)との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、後述するようにして簡易な対応関係を利用するようにしても良い。
【0043】
図7に示すものにおいて、X方向の差分値fxとY方向の差分値fyは、
fx=f(x+1,y)−f(x,y) …(1)
fy=f(x,y+1)−f(x,y) …(2)
のように表される。従って、これらを成分とするベクトルの大きさ|g(x,y)|は、
|g(x,y)|=(fx**2+fy**2)**(1/2)…(3)
のように表される。むろん、エッジ度はこの|g(x,y)|で表される。なお、本来、画素は図8に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。
【0044】
以上のようにして各画素についてエッジ度が求められるので、基本的にはあるしきい値と比較してエッジ度の方が大きい画素をオブジェクトの画素と判断すればよい。しかしながら、経験的事実から考察すると、オブジェクトは構図の中央部分に位置することが多い。この事実は、中央部分から多くの画素が抽出されるような仕組みとすることによって実行すべき画像処理の判断に利用されるようにすることが好ましい効果を得られるということを裏付けるものである。
【0045】
このため、図9に示すように、画像の中の部分毎に比較するしきい値Th1,Th2,Th3を異ならせておくようにしている。むろん、この例では、
Th1<Th2<Th3 …(4)
なる関係があり、中央に近い部分ほどしきい値は低く、エッジ度が比較的低くてもオブジェクトと判断されるようになっている。
【0046】
同図に示すように、しきい値を変化させるため、領域としては画像の中央から水平方向と垂直方向に均等に三等分している。そして、ステップS120ではエッジ度を判定した画素がどの領域にあるかに基づいて比較のためのしきい値を判定し、ステップS130にて同エッジ度と同しきい値とを比較して変化度合いが大きいか否かを判断する。比較の結果、エッジ度の方が大きければこの画素はオブジェクトの画素であると判断し、ステップS140にてその画素の画像データをワークエリアに保存する。ワークエリアはコンピュータ21内のRAMであってもよいしハードディスク22であってもよい。
【0047】
以上のような処理を画像データの各画素について行うため、ステップS150にて処理の対象画素を移動させ、ステップS160にて全画素について終了したと判断されるまで処理を繰り返す。
【0048】
上述した実施形態においては、しきい値を変更するにあたって常に画像の中央部分を基準とした領域の分割を行っているが、エッジ度の分布に基づいて領域の分割の仕方を変化させるようにしても良い。図10はこのように領域の分割を適宜変化させるためのフローチャートを示しており、図11はこれによって分割される領域を示している。
【0049】
この場合も同様に処理対象となる画素を移動させながら各画素について以下の処理を実行していく。ステップS210で上記エッジ度を判定したら、ステップS220では水平軸方向に集計し、ステップS230では垂直軸方向に集計する。ステップS240にて対象画素を移動させ、ステップS250で全画素終了と判断されるまでループする。
【0050】
水平軸方向と垂直軸方向とについて集計が終了したら、ステップ260では水平軸での最大分布位置を決定し、ステップS270では垂直軸での最大分布位置を決定する。図11に示すように、水平軸と垂直軸でのエッジ度の高い部分を画像の中心と考え、領域を次のように分割している。
【0051】
水平方向と垂直方向とについて、中央から端までの距離を二等分し、その内側の領域についてしきい値Th1とし、残りの距離をそれぞれ二等分して内側の領域についてしきい値Th2とするとともに、外側の領域についてしきい値Th3とする。ステップS280ではこのようにして領域を分けることによって比較基準を決定し、ステップS290ではこの領域としきい値との対応のもとで上述したステップS110〜S160と同じ処理でエッジ度に基づくサンプリングを行ってオブジェクトの画素を判断する。
【0052】
この例では、水平軸方向と垂直軸方向のそれぞれで中央部分を求めてから領域を二等分ずつしながら分割しているが、エッジ度の分布に基づいて領域の分割手法を変更することができれば良く、具体的な分割手法などは適宜変更可能である。
【0053】
例えば、上述した例では、水平軸方向と垂直軸方向の集計を画素単位で行っていたが、図12に示すように、画像を比較的大きな升目に区切り、この升目の単位で集計し、最大分布位置を決定するとともに、領域分割を実行するようにしても良い。
【0054】
以上のようにしてオブジェクトの画素を抽出することができたら、これらの画素の画像データに基づいて最適な画像処理を決定し、実行する。図13は、その一例としてコントラストの拡大と明度の補正の画像処理を実行するためのフローチャートを示している。
【0055】
本実施形態でのコントラストを拡大するための基本的な手法は、オブジェクトの画像データに基づいて輝度分布を求め、この輝度分布が本来の階調幅(255階調)の一部分しか利用していないのであれば分布を拡大するというものである。
【0056】
従って、ステップS310では輝度分布のヒストグラムを作成し、ステップS320では拡大する幅を決定する。拡大幅を決定するにあたり、輝度分布の両端を求めることを考える。写真画像の輝度分布は図14に示すように概ね山形に表れる。むろん、その位置、形状についてはさまざまである。輝度分布の幅はこの両端をどこに決めるかによって決定されるが、単に裾野が延びて分布数が「0」となる点を両端とすることはできない。裾野部分では分布数が「0」付近で変移する場合があるし、統計的に見れば限りなく「0」に近づきながら推移していくからである。
【0057】
このため、分布範囲において最も輝度の大きい側と小さい側からある分布割合だけ内側に経た部分を分布の両端とする。本実施形態においては、同図に示すように、この分布割合を0.5%に設定している。むろん、この割合については、適宜、変更することが可能である。このように、ある分布割合だけ上端と下端をカットすることにより、ノイズなどに起因して生じている白点や黒点を無視することもできる。すなわち、このような処理をしなければ一点でも白点や黒点があればそれが輝度分布の両端となってしまうので、255階調の輝度値であれば、多くの場合において最下端は階調「0」であるし、最上端は階調「255」となってしまうが、上端部分から0.5%の画素数だけ内側に入った部分を端部とすることにより、このようなことが無くなる。
【0058】
実際の処理ではオブジェクトとして抽出した画素数に対する0.5%を演算し、再現可能な輝度分布における上端の輝度値及び下端の輝度値から順番に内側に向かいながらそれぞれの分布数を累積し、0.5%の値となった輝度値を求める。以後、この上端側をymaxと呼び、下端側をyminと呼ぶ。
【0059】
再現可能な輝度の範囲を「0」〜「255」としたときに、変換前の輝度yと輝度の分布範囲の最大値ymaxと最小値yminから変換先の輝度Yを次式に基づいて求める。
【0060】
Y=ay+b …(5)
ただし
a=255/(ymax−ymin) …(6)
b=−a・yminあるいは255−a・ymax …(7)
また、上記変換式にてY<0ならばY=0とし、Y>255ならばY=255とする。ここにおける、aは傾きであり、bはオフセットといえる。この変換式によれば、図15に示すように、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するため本実施形態においては、再現可能な範囲を制限している。すなわち、再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「5」だけ残している。この結果、変換式のパラメータは次式のようになる。
【0061】
a=245/(ymax−ymin) …(8)
b=5−a・yminあるいは250−a・ymax …(9)
そして、この場合にはy<yminと、y>ymaxの範囲においては変換を行わないようにする。
【0062】
ただし、このままの拡大率(aに対応)を適用してしまうと、非常に大きな拡大率が得られる場合も生じてしまう。例えば、夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けておき、aが1.5(〜2)以上とはならないように制限する。これにより、薄暮は薄暮なりに表現されるようになる。なお、この場合は輝度分布の中心位置がなるべく変化しないような処理を行っておく。
【0063】
ところで、輝度の変換時に、毎回、上記変換式(Y=ay+b)を実行するのは非合理的である。というのは、輝度yの取りうる範囲が「0」〜「255」でしかあり得ないため、予め輝度yが取りうる全ての値に対応して変換後の輝度Yを求めておくことも可能である。従って、図16に示すようなテーブルとして記憶しておく。
【0064】
このような変換テーブルを形成することがステップS320の拡大幅決定処理に該当し、画像データを変更することが可能になる。しかし、このような輝度の範囲の拡大によってコントラストを強調するだけでなく、合わせて明るさを調整することも極めて有効であるため、ステップS330にて画像の明るさを判断し、補正のためのパラメータを生成する。
【0065】
例えば、図17にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図18にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。
【0066】
各種の実験を行った結果、本実施形態においては、輝度分布におけるメジアンymedを求め、同メジアンymedが「85」未満である場合に暗い画像と判断して以下のγ値に対応するγ補正で明るくする。
【0067】
γ=ymed/85 …(10)
あるいは、
γ=(ymed/85)**(1/2) …(11)
とする。
【0068】
この場合、γ<0.7となっても、γ=0.7とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。
【0069】
一方、メジアンymedが「128」より大きい場合に明るい画像と判断して以下のγ値に対応するγ補正で暗くする。
【0070】
γ=ymed/128 …(12)
あるいは、
γ=(ymed/128)**(1/2) …(13)
とする。この場合、γ>1.3となっても、γ=1.3として暗くなり過ぎないように限界を設けておく。
【0071】
なお、このγ補正は変換前の輝度分布に対して行っても良いし、変換後の輝度分布に対して行っても良い。γ補正をした場合における対応関係を図19に示しており、γ<1であれば上方に膨らむカーブとなり、γ>1であれば下方に膨らむカーブとなる。むろん、かかるγ補正の結果も図16に示すテーブル内に反映させておけばよく、テーブルデータに対して同補正を行っておく。
【0072】
最後に、ステップS340にてコントラスト補正と明度補正が必要であるか否かを判断する。この判断は上述した拡大率(a)とγ値について適当なしきい値と比較し、拡大率の方が大きかったりγ値が所定範囲を超えていたら必要性有りと判断する。そして、必要性有りと判断されれば画像データの変換を行う。すなわち、ステップS310〜ステップS340にて画像処理の必要性とその程度を判断し、ステップS350にて必要と判断された画像処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【0073】
画像処理が必要であると判断された場合、(5)式に基づく変換を行うが、同式の変換式は、RGBの成分値との対応関係においても当てはめることができ、変換前の成分値(R0,G0,B0)に対して変換後の成分値(R,G,B)は、
R=a・R0+b …(14)
G=a・G0+b …(15)
B=a・B0+b …(16)
として求めることもできる。ここで、輝度y,Yが階調「0」〜階調「255」であるのに対応してRGBの各成分値(R0,G0,B0),(R,G,B)も同じ範囲となっており、上述した輝度y,Yの変換テーブルをそのまま利用すればよいといえる。
【0074】
従って、ステップS350では全画素の画像データ(R0,G0,B0)について(14)〜(16)式に対応する変換テーブルを参照し、変換後の画像データ(R,G,B)を得るという処理を繰り返すことになる。
【0075】
ところで、この処理内容決定手段ないし処理手段の場合はコントラスト補正と明度補正だけについて判断を行なうようにしているが、画像処理の具体例はこれに限られるものではない。
【0076】
図20は彩度強調のための画像処理を実行する場合のフローチャートを示している。
【0077】
まず、オブジェクトと判断された画素の画素データがその成分要素として彩度を持っていればその彩度の値を用いて分布を求めることが可能であるが、RGBの成分値しか持っていないため、本来的には彩度値が直接の成分値となっている表色空間への変換を行なわなければ彩度値を得ることができない。例えば、標準表色系としてのLuv空間においては、L軸が輝度(明度)を表し、U軸及びV軸で色相を表している。ここにおいて、U軸及びV軸においては両軸の交点からの距離が彩度を表すため、実質的に(U**2+V**2)**(1/2)が彩度となる。
【0078】
このような異なる表色空間の間での色変換は対応関係を記憶した色変換テーブルを参照しつつ、補間演算を併用しなければならず、演算処理量は膨大となってくる。このような状況に鑑み、本実施形態においては、画像データとして標準的なRGBの階調データを直に利用して彩度の代替値Xを次のようにして求めている。
【0079】
X=|G+B|−2×R …(17)
本来的には彩度は、R=G=Bの場合に「0」となり、RGBの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な(17)式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「0」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
X’=|R+B|−2×G …(18)
X”=|G+R|−2×B …(19)
という式にも代替可能である。
【0080】
ステップS410では、このような彩度の代替値Xについてのヒストグラムの分布を求める。(17)式においては、彩度が最低値「0」〜最大値「511」の範囲で分布し、概略的には図21に示すような分布となる。次なるステップS420では、集計された彩度分布に基づいてこの画像についての彩度指数というものを決定する。本実施形態においては、オブジェクトと判断された画素数の範囲で、分布数として上位の「16%」が占める範囲を求める。そして、この範囲内での最低の彩度「A」がこの画像の彩度を表すものとして次式に基づいて彩度強調指数Sを決定する。
【0081】
すなわち、
A<92なら
S=−A×(10/92)+50 …(20)
92≦A<184なら
S=−A×(10/46)+60 …(21)
184≦A<230なら
S=−A×(10/23)+100 …(22)
230≦Aなら
S=0 …(23)
とする。図22は、この彩度「A」と彩度強調指数Sとの関係を示している。図に示すように、彩度指数Sは最大値「50」〜最小値「0」の範囲で彩度「A」が小さいときに大きく、同彩度「A」が大きいときに小さくなるように徐々に変化していくことになる。
【0082】
彩度強調指数Sに基づいて彩度を強調するにあたり、上述したように画像データが彩度のパラメータを備えているものであれば同パラメータを変換すればよいものの、RGBの表色空間を採用している場合には、一旦、標準表色系であるLuv空間に変換し、Luv空間内で半径方向へ変移させなければならないといえる。しかしながら、RGBの画像データを、一旦、Luv空間内の画像データに変換し、彩度強調後に再びRGBに戻すといった作業が必要となり、演算量が多くならざるを得ない。従って、RGBの階調データをそのまま利用して彩度強調することにする。
【0083】
RGB表色空間のように各成分が概略対等な関係にある色相成分の成分値であるときには、R=G=Bであればグレイであって無彩度となる。従って、RGBの各成分における最小値となる成分については各画素の色相に影響を与えることなく単に彩度を低下させているにすぎないと考えれば、各成分における最小値をすべての成分値から減算し、その差分値を拡大することによって彩度を強調できるといえる。
【0084】
まず、上述した彩度強調指数Sから演算に有利な彩度強調パラメータSratioを、
Sratio=(S+100)/100 …(24)
として求める。この場合、彩度強調指数S=0のときに彩度強調パラメータSratio=1となって彩度強調されない。次に、RGB階調データの各成分(R,G,B)における青(B)の成分値が最小値であったとすると、この彩度強調パラメータSratioを使用して次のように変換する。
【0085】
R’=B+(R−B)×Sratio …(25)
G’=B+(G−B)×Sratio …(26)
B’=B …(27)
この結果、RGB表色空間とLuv空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、(25)〜(27)式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。
【0086】
(25)〜(27)式を採用する場合でも、良好な変換が可能であるものの、この場合には彩度を強調すると輝度も向上して全体的に明るくなるという傾向がある。従って、各成分値から輝度の相当値を減算した差分値を対象として変換を行うことにする。
【0087】
まず、輝度を求めるために、上述したLuv空間に色変換したのでは演算量が多大となってしまうため、テレビジョンなどの場合に利用されているRGBから輝度を直に求める次式の変換式を利用する。
【0088】
輝度Yは、
Y=0.30R+0.59G+0.11B …(28)
一方、彩度強調は、
R’=R+△R …(29)
G’=G+△G …(30)
B’=B+△B …(31)
とする。この加減値△R,△G,△Bは輝度との差分値に基づいて次式のように求める。すなわち、
△R=(R−Y)×Sratio …(32)
△G=(G−Y)×Sratio …(33)
△B=(B−Y)×Sratio …(34)
となり、この結果、
R’=R+(R−Y)×Sratio …(35)
G’=G+(G−Y)×Sratio …(36)
B’=B+(B−Y)×Sratio …(37)
として変換可能となる。なお、輝度の保存は次式から明らかである。
【0089】
Y’=Y+△Y …(38)
△Y=0.30△R+0.59△G+0.11△B
=Sratio{(0.30R+0.59G+0.11B)−Y}
=0 …(39)
また、入力がグレー(R=G=B)のときには、輝度Y=R=G=Bとなるので、加減値△R=△G=△B=0となり、無彩色に色が付くこともない。(35)式〜(37)式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。
【0090】
以上のようにして彩度強調指数Sratioを求めたら、ステップS430にて所定のしきい値と比較し、彩度強調が必要な画像であるかを判断する。そして、必要であればステップS440にて(35)式〜(37)式に基づいて全画素について画像データを変換する。
【0091】
従って、ステップS410〜S430にて、彩度強調処理の必要性とその程度を判断し、ステップS430にて必要と判断された場合に彩度強調処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【0092】
また、オブジェクトの画素に基づいて画像処理の内容と程度を判定するものとして、その対象をエッジ強調処理とすることもできる。図23は、このエッジ強調処理のフローチャートを示している。オブジェクトの画素が選択されているので、ステップS510では積算されたエッジ度を画素数で除算することにより、オブジェクトの画素についてのエッジ度を平均化する。すなわち、このオブジェクト画像のシャープ度合いSLは、画素数をE(I)pixとすると、
【0093】
【数1】
【0094】
のようにして演算することができる。この場合、SLの値が小さい画像ほどシャープネスの度合いが低い(見た目にぼけた)と判断できるし、SLの値が大きい画像ほどシャープネスの度合いが高い(見た目にはっきりとしたもの)と判断できる。
【0095】
一方、画像のシャープさは感覚的なものであるため、実験的に得られた最適なシャープ度合いの画像データについて同様にしてシャープ度合いSLを求め、その値を理想のシャープ度合いSLoptと設定するとともに、ステップS520においてエッジ強調度Eenhanceを、
Eenhance=ks・(SLopt−SL)**(1/2)…(41)
として求める。ここにおいて、係数ksは画像の大きさに基づいて変化するものであり、画像データが図24に示すように、縦横方向にそれぞれheightドットとwidthドットからなる場合、
ks=min(height,width)/A …(42)
のようにして求めている。ここにおいて、min(height,width)はheightドットとwidthドットのうちのいずれか小さい方を指し、Aは定数で「768」としている。むろん、これらは実験結果から得られたものであり、適宜変更可能であることはいうまでもない。ただし、基本的には画像が大きいものほど強調度を大きくするということで良好な結果を得られている。
【0096】
このようにしてエッジ強調度Eenhanceを求めたら、ステップS530にて所定のしきい値と比較してエッジ強調が必要であるか判断し、必要であると判断されればステップS540にて全画素についてエッジ強調処理を実行する。
【0097】
エッジ強調処理は、強調前の各画素の輝度Yに対して強調後の輝度Y’が、
Y’=Y+Eenhance・(Y−Yunsharp) …(43)
として演算される。ここで、Yunsharpは各画素の画像データに対してアンシャープマスク処理を施したものであり、ここでアンシャープマスク処理について説明する。図25は一例として5×5画素のアンシャープマスク41を示している。このアンシャープマスク41は、中央の「100」の値をマトリクス状の画像データにおける処理対象画素Y(x,y)の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。このアンシャープマスク41を利用する場合、
【0098】
【数2】
【0099】
なる演算式に基づいて積算する。(44)式において、「396」とは重み付け係数の合計値であり、サイズの異なるアンシャープマスクにおいては、それぞれ升目の合計値となる。また、Mijはアンシャープマスクの升目に記載されている重み係数であり、Y(x,y)は各画素の画像データである。なお、ijについてはアンシャープマスク41に対して横列と縦列の座標値で示している。
【0100】
(43)式に基づいて演算されるエッジ強調演算の意味するところは次のようになる。Yunsharp(x,y)は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった(アンシャープ)」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Y(x,y)−Yunsharp(x,y)」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対してエッジ強調度Eenhanceを乗算して「Y(x,y)」に加えれば同エッジ強調度Eenhanceに比例して高周波成分を増したことになり、エッジが強調される結果となる。なお、エッジ強調が必要になる状況を考えるといわゆる画像のエッジ部分であるから、隣接する画素との間で画像データの差が大きな場合にだけ演算するようにしてもよい。このようにすれば、殆どのエッジ部分でない画像データ部分でアンシャープマスクの演算を行う必要がなくなり、処理が激減する。
【0101】
なお、実際の演算は、強調後の輝度Y’と強調前の輝度Yから、
delta=Y−Y’ …(45)
と置き換えれば、変換後のR’G’B’は、
R’=R+delta
G’=G+delta
B’=B+delta …(46)
のように演算可能となる。
【0102】
従って、このエッジ強調処理では、ステップS510〜S530にて、エッジ強調処理の必要性とその程度を判断し、ステップS530にて必要と判断された場合に画像処理を実行することになり、これらを実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。
【0103】
なお、上述したコントラスト補正、明度補正、彩度強調、エッジ強調のそれぞれについて、画像処理を行うかを判断している。しかし、必ずしも画像処理を行うか否かの二者択一の判断を行う必要はない。すなわち、それぞれにおいて強調程度を設定しており、このようにして設定した強調程度で画像処理を行うようにしても良い。むろん、この場合でも実行すべき画像処理の内容とその程度を判定して実行するものと言える。
【0104】
次に、上記構成からなる本実施形態の動作を説明する。
【0105】
写真画像をスキャナ11で読み込み、プリンタ31にて印刷する場合を想定する。すると、まず、コンピュータ21にてオペレーティングシステム21aが稼働しているもとで、画像処理アプリケーション21dを起動させ、スキャナ11に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム21aを介して画像処理アプリケーション21dに取り込まれたら、処理対象画素を初期位置に設定する。続いて、ステップS110にて(1)式〜(3)式に基づいてエッジ度を判定し、ステップS120では処理対象画素の画像全体に対する位置に応じて決まるしきい値を判定するとともに、ステップS130にて同しきい値とエッジ度とを比較する。そして、エッジ度の方が大きい場合には処理対象画素がオブジェクトの画素であると判断し、ステップS140にて当該画素の画像データをワークエリアに保存する。以上の処理をステップS150にて処理対象画素を移動させながらステップS160にて全画素について実行したと判断されるまで繰り返す。
【0106】
全画素について実行し終えたら、ワークエリアにはオブジェクトと判断された画素についての画像データが保存されていることになる。従って、このワークエリアの画像データから読み取られた写真画像の状況を判断しても、背景などの影響を受けて画像の質を誤認することはないといえる。本実施形態においては、ワークエリアに画像データそのものを保存するようにしたが、メモリ容量や処理時間の面から考えると必ずしも画像データをそのものをワークエリアに保存しておく必要はない。すなわち、このようなオブジェクトとして判断される画素について輝度分布や彩度代替値分布のヒストグラムを作成することになるので、予めステップS140にてヒストグラムの情報を蓄積していくようにすればよい。
【0107】
自動的にコントラスト補正と明度補正を実行する場合は、このようなステップS140やステップS310にて輝度分布のヒストグラムを求めておき、ステップS320にて(8)(9)式に基づいて拡大処理のためのパラメータを決定するとともに、ステップS330にて(10)〜(13)式に基づいて明度補正のためのパラメータを決定する。そして、ステップS340ではこれらのパラメータを所定のしきい値と比較し、画像処理すべきと判断すればステップS350にて上記パラメータに基づいて輝度変換する。この場合、演算量を減らすために最初に図16に示す輝度の変換テーブルを作成しておき、(14)〜(16)式に基づいて画像データを変換する。
【0108】
この後、画像処理された画像データをディスプレイドライバ21cを介してディスプレイ32に表示し、良好であればプリンタドライバ21bを介してプリンタ31にて印刷させる。すなわち、同プリンタドライバ21bはエッジ強調されたRGBの階調データを入力し、所定の解像度変換を経てプリンタ31の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをRGBからCMYKへ色変換し、その後でCMYKの階調データから二値データへ変換してプリンタ31へ出力する。
【0109】
以上の処理により、スキャナ11を介して読み込まれた写真の画像データは自動的に最適なコントラスト補正と明度補正を施されてディスプレイ32に表示された後、プリンタ31にて印刷される。すなわち、当該写真画像のオブジェクト部分に基づいてコントラスト補正や明度補正が必要であるか否かを判断し、必要である場合にはそれに最適な程度で画像処理することができる。
【0110】
一方、このようなコントラスト補正や明度補正に限らず、彩度強調やエッジ強調の場合にも、画像の変化度合いであるエッジ度が大きい画素をオブジェクトの画素と判断し、オブジェクトの画素の画像データに基づいて実行すべき画像処理の内容と程度を判断し、必要な画像処理を実行することになる。
【0111】
なお、オブジェクトの画素を抽出するにあたってはパラメータを決定するために必要なものであるから、全画素についてエッジ度を求めて判断するのではなく、サンプリングした画素に対してエッジ度を判定し、オブジェクトの画素であるか否かを判断するようにしても良い。
【0112】
このように、画像処理の中枢をなすコンピュータ21はステップS110にて隣接する画素間のデータの差分値から画像の変化度合いであるエッジ度を求め、ステップS120,S130にてエッジ度の大きい画像のみ選択してオブジェクトの画素と判断し、ステップS310〜S330にてオブジェクトの画素についての画像データからコントラスト補正と明度補正のための最適なパラメータを求めるようにしているため、オブジェクトの画素の画像データに基づいて画像処理の指針が決定され、自動的に最適な画像処理を実行することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる画像処理装置を適用した画像処理システムのブロック図である。
【図2】同画像処理装置の具体的ハードウェアのブロック図である。
【図3】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図4】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図5】本発明の画像処理装置におけるメイン処理の前段部分を示すフローチャートである。
【図6】画像の変化度合いを直交座標の各成分値で表す場合の説明図である。
【図7】画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。
【図8】隣接する全画素間で画像の変化度合いを求める場合の説明図である。
【図9】しきい値を変化させる領域を示す図である。
【図10】領域を自動分割する場合のフローチャートである。
【図11】領域の設定状況を示す図である。
【図12】変形例にかかる領域の設定状況を示す図である。
【図13】メイン処理の後段部分を示すフローチャートである。
【図14】輝度分布の端部処理と端部処理にて得られる端部を示す図である。
【図15】輝度分布の拡大と再現可能な輝度の範囲を示す図である。
【図16】輝度分布を拡大する際の変換テーブルを示す図である。
【図17】γ補正で明るくする概念を示す図である。
【図18】γ補正で暗くする概念を示す図である。
【図19】γ補正で変更される輝度の対応関係を示す図である。
【図20】メイン処理の後段部分で彩度強調する場合のフローチャートである。
【図21】彩度分布の集計状態の概略図である。
【図22】彩度Aと彩度強調指数Sとの関係を示す図である。
【図23】メイン処理の後段部分でエッジ強調する場合のフローチャートである。
【図24】画像データの大きさと処理対象画素を移動させていく状態を示す図である。
【図25】5×5画素のアンシャープマスクを示す図である。
【符号の説明】
10…画像入力装置
20…画像処理装置
21…コンピュータ
21a…オペレーティングシステム
21b…プリンタドライバ
21c…ディスプレイドライバ
21d…画像処理アプリケーション
22…ハードディスク
23…キーボード
24…CD−ROMドライブ
25…フロッピーディスクドライブ
26…モデム
30…画像出力装置
41…アンシャープマスク
Claims (10)
- ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての画像データを入力し、該画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を検出画素として抽出する画素抽出手段と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する処理内容決定手段と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する処理手段と
を備え、
上記画素抽出手段は、上記所定の基準を上記実写画像の部位によって異ならせて、上記検出画素の抽出を行なう手段である
画像処理装置。 - 上記画素抽出手段は、上記周辺画素に対する変化の度合いを、隣接する画素間での画像データの差に基づいて判断し、上記検出画素の抽出を行なう手段である請求項1に記載の画像処理装置。
- 上記画素抽出手段は、実写画像の中央部における上記所定の基準を実写画像の周縁部よりも低くして、上記検出画素の抽出を行なう手段である請求項1または2に記載の画像処理装置。
- 請求項1または2に記載の画像処理装置であって、
上記実写画像を構成する画素の周辺画素に対する変化の度合いが、該実写画像において分布する状態を特定する分布状態特定手段と、
該分布状態特定手段により特定された分布状態に基づいて上記所定の基準を決定する基準決定手段と
を備え、
上記画素抽出手段は、上記基準決定手段により決定された所定の基準を適用して、上記検出画素の抽出を行なう手段である
画像処理装置。 - 上記処理内容決定手段は、上記検出画素の画像データにおける統計的な性質として、上記検出画素についてのヒストグラムを用いる請求項1ないし4に記載の画像処理装置。
- 上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の輝度分布に基づいて作成する請求項5に記載の画像処理装置。
- 上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の彩度分布に基づいて作成する請求項5に記載の画像処理装置。
- 上記処理内容決定手段は、上記ヒストグラムを、上記検出画素の画像データから導かれたパラメータを用いて作成する請求項5に記載の画像処理装置。
- ドットマトリクス状の画素からなる実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を、上記所定の基準を上記実写画像の部位によって異ならせて、検出画素として抽出し、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定し、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する
画像処理方法。 - ドットマトリクス状の画素からなる実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての画像データに基づいて、周辺画素に対する変化の度合いが所定の基準以上大きな画素を、上記所定の基準を上記実写画像の部位によって異ならせて、検出画素として抽出する機能と、
上記抽出された検出画素の画像データにおける統計的な性質に基づいて、上記実写画像に対する画像処理の内容を決定する機能と、
該決定された内容での画像処理を、上記実写画像の画像データに対して実施する機能と
をコンピュータにより実現するプログラムを記録した記録媒体。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15141397A JP3921737B2 (ja) | 1997-06-09 | 1997-06-09 | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 |
EP98304509A EP0891075A3 (en) | 1997-06-09 | 1998-06-08 | An image processing apparatus and method, and an image evaluation device and method |
US09/093,094 US6738527B2 (en) | 1997-06-09 | 1998-06-08 | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, and image evaluation method and a medium on which an image evaluation program is recorded |
EP10158002A EP2199973A3 (en) | 1997-06-09 | 1998-06-08 | An image processing apparatus and method, and an image evaluation device and method |
US10/742,718 US7259894B2 (en) | 1997-06-09 | 2003-12-22 | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
US11/491,278 US7940426B2 (en) | 1997-06-09 | 2006-07-24 | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
US11/491,305 US7755801B2 (en) | 1997-06-09 | 2006-07-24 | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
US11/739,858 US7508548B2 (en) | 1997-06-09 | 2007-04-25 | Image processing method and image processing apparatus |
US13/081,027 US8553285B2 (en) | 1997-06-09 | 2011-04-06 | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
US13/455,575 US8867099B2 (en) | 1997-06-09 | 2012-04-25 | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
US13/719,602 US8681380B2 (en) | 1997-06-09 | 2012-12-19 | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15141397A JP3921737B2 (ja) | 1997-06-09 | 1997-06-09 | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002215349A Division JP3501151B2 (ja) | 2002-07-24 | 2002-07-24 | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10340332A JPH10340332A (ja) | 1998-12-22 |
JP3921737B2 true JP3921737B2 (ja) | 2007-05-30 |
Family
ID=15518073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15141397A Expired - Lifetime JP3921737B2 (ja) | 1997-06-09 | 1997-06-09 | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3921737B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4492555B2 (ja) | 2006-02-07 | 2010-06-30 | セイコーエプソン株式会社 | 印刷装置 |
JP4513764B2 (ja) * | 2006-02-20 | 2010-07-28 | セイコーエプソン株式会社 | 画像判定装置および画像判定方法 |
JP4182990B2 (ja) | 2006-06-02 | 2008-11-19 | セイコーエプソン株式会社 | 印刷装置、画像がぼやけているか否かを決定する方法、およびコンピュータプログラム |
JP4251217B2 (ja) | 2006-06-21 | 2009-04-08 | セイコーエプソン株式会社 | 印刷装置、画像データファイル処理装置、画像データファイルの選択方法、およびコンピュータプログラム |
JP5237312B2 (ja) * | 2010-01-29 | 2013-07-17 | 株式会社コナミデジタルエンタテインメント | ゲームプログラム、ゲーム装置、ゲーム制御方法 |
CN105006059B (zh) * | 2015-08-13 | 2017-11-07 | 深圳怡化电脑股份有限公司 | 一种处理纸币的方法及装置 |
-
1997
- 1997-06-09 JP JP15141397A patent/JP3921737B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH10340332A (ja) | 1998-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8553285B2 (en) | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded | |
US7155060B2 (en) | Image processing system, image processing method, and medium having an image processing control program recorded thereon | |
JP4492704B2 (ja) | エッジ強調処理装置、出力装置、エッジ強調処理方法およびコンピュータ読み取り可能な記録媒体 | |
JP2007310887A (ja) | 画像データの自動マッピング方法及び画像処理デバイス | |
JP2007310886A (ja) | 画像データの自動マッピング方法及び画像処理デバイス | |
JP4243362B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 | |
JP4019204B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JPH11146219A (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP3921737B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP4219577B2 (ja) | 画像処理装置と画像出力装置と画像処理方法及び記憶媒体 | |
JP3501151B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP4161141B2 (ja) | エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3705250B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP3731573B2 (ja) | 画像処理装置、画像評価装置、画像処理方法、画像評価方法および画像処理プログラムを記録した記録媒体 | |
JP4475316B2 (ja) | 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理方法 | |
JP5029779B2 (ja) | 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置 | |
JP4941575B2 (ja) | 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置 | |
JP3573143B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3956970B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP3570416B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP3558073B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JPH10200756A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP4557087B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
JP3941810B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP2008245321A (ja) | 画像処理装置、画像処理方法、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040609 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070212 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140302 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |