JP4006590B2

JP4006590B2 - Image processing apparatus, scene determination apparatus, image processing method, scene determination method, and program

Info

Publication number: JP4006590B2
Application number: JP2003000068A
Authority: JP
Inventors: 康成岸本; 吉晴日比
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2003-01-06
Filing date: 2003-01-06
Publication date: 2007-11-14
Anticipated expiration: 2023-01-06
Also published as: JP2004215005A

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタルスチルカメラ等で撮影されたディジタル画像に対して、撮影条件に応じた画像処理を可能にする画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラムに関する。
【０００２】
【従来の技術】
画像データに撮影時の情報を付加し、付加された撮影時の情報に応じて画像処理を行う形態が提案されている。例えば、フィルムに磁気的もしくは光学的に記録されたシーン情報に応じて、画像処理条件を設定する画像処理方法（例えば、特許文献１）や、撮影日時等の付加的な情報を画像データと共に取得し、これらの付加的な情報に基づいて撮影シーンを推定し画像処理を行う画像処理方法（例えば、特許文献２）が開示されている。
【０００３】
【特許文献１】
特開平１１−２３９２６９号公報
【特許文献２】
特開２００１−２３８１７７号公報
【０００４】
【発明が解決しようとする課題】
本発明は、上述した背景からなされたものであり、画像のシャープネス度合いに基づいて、画像の撮影シーンを推定するシーン判定装置を提供することを目的とする。また、シャープネス度合いに基づいて推定された撮影シーンに応じて、画像調整処理を施すことができる画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる画像処理装置は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出する強度値算出手段と、前記強度値算出手段により算出されたシャープネス強度値に基づいて、人物シーンおよび風景シーンを含むよう複数に分類された撮影シーンのいずれかに属するかを推定する推定手段と、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するシーン情報抽出手段と、前記ディジタル画像のシャープネス強度を変更する変更手段と、前記推定手段により推定された撮影シーンおよび前記シーン情報抽出手段により抽出された撮影シーン情報に基づいて、前記変更手段による変更処理を制御する制御手段とを有し、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【０００６】
また、前記推定手段は、シャープネス強度値と撮影シーンの分類とを対応付けるシーン分類手段を有する。これにより、入力画像に対して撮影シーン情報を付加することができる。
【０００７】
また、前記シーン分類手段は、ディジタル画像の画素数に応じて、各シーン分類に対応する。したがって、種々の画像サイズに寄与したシャープネス度合いの判定のばらつきを抑えることができる。
【０００８】
また、前記制御手段は、前記シャープネス強度値および前記撮影シーン情報が風景シーンに対応する場合に、前記ディジタル画像のシャープネスをより強調するように前記変更手段を制御し、前記シャープネス強度値および前記撮影シーン情報が人物シーンに対応する場合に、前記ディジタル画像のシャープネスをより弱くするように前記変更手段を制御してもよい。すなわち、本発明の画像処理装置は、画像解析から撮影シーンを推定し、シャープネス度合いを修正する場合に、添付された画像情報などから風景シーンとわかった場合に、自動的にシャープネスをより強調した補正をし、人物シーンとわかった場合に、自動的にシャープネス強調をより弱くすることを特徴とする。
また、前記制御手段は、前記シャープネス強度値が既定値よりも低い場合に、前記変更手段による変更処理を禁止してもよい。すなわち、本発明の画像処理装置は、シャープネス度合いを含む画像の特徴量を算出し、その度合いに応じたシャープネス補正を実施する場合、シャープネス度合いが所定値以下の場合、シャープネス補正を行わないことを特徴とする。
【０００９】
［シーン判定装置］
また、本発明のシーン判定装置は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出する強度値算出手段と、前記強度値算出手段により算出されたシャープネス強度値に基づいて、人物シーンおよび風景シーンを含むよう複数に分類された撮影シーンのいずれかに属するかを推定する推定手段と、を有する。すなわち、本発明のシーン判定装置は、ディジタル画像から原画の持つシャープネス度合いを算出する手段を有し、該シャープネス度合いに応じて原画の撮影シーンを推定することを特徴とする。
また、シーン判定装置は、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するシーン情報抽出手段をさらに有し、前記推定手段は、算出されたシャープネス強度値と、抽出された撮影シーン情報とに基づいて、撮影シーンを推定してもよい。すなわち、本発明のシーン判定装置は、推定された撮影シーンを、ディジタル画像にタグとして添付された撮影シーンに応じて推定シーン分類を修正することを特徴とする。
さらに、前記推定手段は、算出されたシャープネス強度値、および、抽出された撮影シーン情報の少なくとも一方が人物シーンに対応する場合に、撮影シーンを人物シーンであると推定してもよい。すなわち、本発明のシーン判定装置は、推定された撮影シーンと添付された撮影シーンとが異なる場合、人物優先と判定することを特徴とする。
【００１０】
ディジタルスチルカメラ撮影の画像信号などには、撮影状況を記録したチャンク情報やタグ情報（付属情報）を画像形式(例えば、EXIF2.2)に保持している。そのため、画像画素数、解像度、シーン分類などシャープネスに関わる付属情報も利用しても良い。もちろん、EXIFの画像形式の付属情報はディジタルスチルカメラ画像形式に限らない。さらに、可逆圧縮にて高精度の撮影情報を保持できる画像形式TIFF等においても、同様にチャンク情報やタグ情報（付属情報）を利用してもよい。
【００１１】
［画像処理方法］
また、本発明の画像処理方法は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出し、前記強度値算出手段により算出されたシャープネス強度値に基づいて、人物シーンおよび風景シーンを含むよう複数に分類された撮影シーンのいずれかに属するかを推定し、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出し、推定された撮影シーン、および、抽出された撮影シーン情報に基づいて、前記ディジタル画像のシャープネス強度を変更する。
【００１２】
［シーン判定方法］
また、本発明のシーン判定方法は、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出し、前記強度値算出手段により算出されたシャープネス強度値に基づいて、人物シーンおよび風景シーンを含むよう複数に分類された撮影シーンのいずれかに属するかを推定する。
【００１３】
［プログラム］
また、本発明のプログラムは、コンピュータを含む画像処理装置において、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出するステップと、ディジタル画像に添付された付加情報に基づいて、このディジタル画像が撮影された撮影シーンに関する撮影シーン情報を抽出するステップと、前記強度値算出手段により算出されたシャープネス強度値に基づいて、人物シーンおよび風景シーンを含むよう複数に分類された撮影シーンのいずれかに属するかを推定するステップと、前記ディジタル画像のシャープネス強度を変更するステップと、前記推定手段により推定された撮影シーンおよび前記シーン情報抽出手段により抽出された撮影シーン情報に基づいて、前記ディジタル画像のシャープネス強度を変更するステップとを前記画像処理装置のコンピュータに実行させる。
また、本発明のプログラムは、コンピュータを含むシーン推定装置において、ディジタル画像に基づいて、このディジタル画像のシャープネスの強度を示すシャープネス強度値を算出するステップと、前記強度値算出手段により算出されたシャープネス強度値に基づいて、人物シーンおよび風景シーンを含むよう複数に分類された撮影シーンのいずれかに属するかを推定するステップとを前記シーン推定装置のコンピュータに実行させる。
【００１４】
【発明の実施の形態】
［背景］
まず、本発明の理解を助けるために、その背景を説明する。
ディジタル画像の画品質（色・階調再現やシャープネスなど）は、ディジタル画像信号の特性、画像が出力されるカラー画像記録装置および画像記録材料の画品質に関する特性、又は、画像表示装置の画品質に関する特性で決定される。
反射原稿を読み込むカラースキャナ装置から入力されるディジタル画像信号は、反射原稿の画品質を維持することを目的にすれば、カラースキャナ装置の画品質に関する特性を補正するようなカラー画像処理、または、出力装置の特性を補正するようなカラー画像処理を利用することで、ある程度原稿に近い画品質を得ることができる。
例えば、カラー複写機などに用いられる画像処理がある。これらは入力されたディジタル画像信号（入力画像信号）に対して、入力装置、カラー画像記録装置、表示装置、又は画像記録材料の特性に合わせた補正（最適化）を目的とする処理方法として分類される。一方、ディジタルスチルカメラなどで、一般のシーンを撮影してディジタル化された画像の場合、入力装置であるカメラ機器の特性のみでなく、被写体の状態や、撮影条件が画品質の観点から様々な状況が想定されるため、入力のディジタル画像の画品質が特定できなかったり、不明な場合が多い。そのような入力画像信号の場合、画像の解析を行い、撮影シーンや撮影状況を推定しながら、好ましいと思われる画品質の調整を行なう必要があった。
後者の場合、主観的に好ましく画像を再現することを目的とする処理方法として分類される。
【００１５】
入力画像信号を調整するための画像処理装置での色補正処理は、コントラスト調整や色味のバランス調整、ホワイトバランス調整、かぶり補正等の技術で構成される他、空間処理的な補正としては、エッジ強調を含むシャープネス強調、解像度変換、ノイズ除去等の技術で構成されている。
【００１６】
画品質の中でも、階調や色品質に比べて、シャープネス品質に関しては、補正方法や補正パラメータの設定が難しい。
なぜならば、デジタルカメラでの撮影の場合、被写体の状況が様々であることや、撮影時の状態（ピントや手ぶれなど）、記録時の圧縮状態等、種々の要因に特性が左右されているためである。
そのため、前記した撮影状態などの情報からは、一概に好ましい処理パラメータが得られない。
【００１７】
空間補正処理は、機器の特性を前もって入手可能な限られた情報で記述したシャープネス補正フィルタを利用して、画像処理を施す仕組みになっていることが一般的である。
しかし、機器補正の情報は、ディジタル画像その物の情報とは独立した情報であるため、前述した撮影条件などにより、ディジタル画像にとって最適な出力条件を考慮しておらず、バランスが崩れたディジタル画像を出力されることもある。
【００１８】
ディジタル画像信号の調整を行う最善の施策は、利用者が利用している表示・出力装置で、表示・出力画像の程度を確認しつつ好みにあった処理を施す方法である。しかし、この方法では、利用者に画像処理の経験及び作業時間を要求するといった問題が生じる。そのため、画像処理装置は、最小の手間、もしくは自動で画像そのものから情報を獲得する画像計測及び画質調整を施す方法（自動画質調整技術）を備えることも提案されている。
【００１９】
前述の自動画質調整技術でのシャープネス処理は、ディジタル画像からシャープネス度合い（エッジ度合いや画像ノイズ等が複合した程度を表す）を測り、計測結果に応じてシャープネス処理を施す機能が想定される。
【００２０】
また、シャープネス処理の問題は、単純に、暈し処理を施すと高精細な再現（キメ）がなくなり、シャープネス度合いが下がり、シャープネス強調処理でシャープネスが強すぎると、肌の荒れ（肌荒れ）、無彩色部でのノイズやエッジ部の境界の破綻（リンギング）が目立つことで不快と感じることである。この問題は、通常のシャープネス処理技術が、鮮鋭度（シャープネス度合い）と共にシャープネス阻害が変化し、それぞれを独立に制御できないことに起因している。このため、ディジタル画像信号の情報だけでは上記問題を根本的に解決することが困難であった。
【００２１】
この問題に対応するには、測定量として、シャープネス度合いと共に、シャープネスの良好さを阻害する又は劣化した量（シャープネス阻害量）を反映させたシャープネスの好ましさの度合い（シャープネス嗜好度）が必要である。この問題解決するために、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする発明が本発明者らによりなされている。
【００２２】
同様に、画像信号そのものから画像の特性を測る技術、特に、シャープネス計測の技術は、幾つかの方法が提案されている。例えば、鮮鋭度評価方法は微分画像（ベクトル画像、またはエッジ画像）の信号強度の総和を鮮鋭度の評価値とする鮮鋭度評価手法（三宅洋一：テレビジョン学会誌，４３，１１（１９８９））が提案されている。三宅は微分画像を経て、画素のエッジ強度値の総和を利用することを提案している。一方、ガウス性雑音、インパルス性雑音が混在する混合雑音で劣化した画像信号に対しては、計測・判定手段を利用した方法（Y.H.Lee, S.A.Kassam, Generalized median altering and related non-linear altering techniques", IEEE Trans.Acoust., Speech & Signal Process.,vol.ASSP-33, no.3, pp.672-683, June 1987.）が知られている。但し、このような例は、画像のシャープネス度合いを計測することが目的であり、それらを用いて、入力画像の撮影シーンの推定に適用するものはなかった。
【００２３】
また、最近のディジタルスチルカメラ撮影の画像信号などの画像形式では、利用者が指定した撮影シーンを保持できる仕組みがある。例えば、ディジタルスチルカメラの標準フォーマットであるEXIF規格では、標準の他に、人物・風景・夜景等を指定できる。このように、撮影時にある程度撮影シーンを特定できる情報をタグとして付加しておくことで、後処理において前記した画品質の調整等に利用できるようになってきている。
しかしながら、このようなタグのみではシャープネス調整に適した分類であるとは限らず、解析した推定シーンとあわせて処理方法やパラメータを考慮する必要があった。
さらに撮影者が、撮影時に適切なシーン選択をするとは限らず、標準で利用することや前回設定のままで撮影を行うことで被写体と異なる撮影シーン情報を間違って記録する場合もあるものと考えられる。
そのため、画像処理や画像検索等のために、適切な撮影シーンを得る施策として、例えば、画像形式だけで判断するのではなく、何らかの情報を利用してシーンの誤判定を検出する汎用的な仕組みも必要となる。
【００２４】
そこで、本発明にかかるシーン判定装置は、画像データのシャープネス強度に基づいてシーンを判定する。また、本発明にかかる画像処理装置は、画像データのシャープネス強度に基づいてシーンを判定し、判定されたシーンに応じて画像のシャープネスを変更する。
【００２５】
［第１の実施形態］
次に、本発明の第１の実施形態について図面を用いて説明する。
図１は、本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
図１に示すように、プリンタ装置１は、制御装置２およびコピー装置本体１０から構成される。
制御装置２は、ＣＰＵ２０２およびメモリ２０４などを含む制御装置本体２０と、通信装置２２と、ＨＤＤ・ＣＤ装置などの記録装置２４と、ＬＣＤ表示装置あるいはＣＲＴ表示装置およびキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６とから構成される。
プリンタ装置１は、ディジタルスチルカメラ等で撮影された画像データを、通信装置２２または記録装置２４を介して取得し、画像データに基づいて撮影シーンを判定する。そして、プリンタ装置１は、撮影シーンの判定結果に応じてシャープネス調整処理などの画像処理を行い、画像処理された画像データをシート上に印刷する。
ここで、プリンタ装置１が判定する撮影シーンとは、シャープネス度合いと撮影シーンとを複合した分類であり、対応テーブルとしてだけでなく、特徴量として求めても良い。本実施形態では、「ピンボケ」、「人物」、「物」、「風景」、「複雑なシーン」を撮影シーンの具体例として以下説明する。
なお、プリンタ装置１が行う画像処理は、空間補正を行うシャープネス調整処理などであり、システム系の線形性を仮定したシステム伝達関数（ＭＴＦ）などで記述する処理手法に限定されないものである。
【００２６】
図２は、制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する第１の画像処理プログラム５の構成を示す図である。
図２に示すように、画像処理プログラム５は、シーン判定部５００（シーン判定装置）、シャープネス処理部５４０、制御部５５０および画像出力部５６０から構成される。
また、シーン判定部５００は、画像データ取得部５１０、強度値算出部５２０および撮影シーン推定部５３０を含み、強度値算出部５２０は、明度・輝度信号変換部５２２、帯域処理部５２４およびシャープネス計測部５２６を含む。
画像処理プログラム５は、例えば記録媒体２４０（図１）を介して制御装置２に供給され、メモリ２０４にロードされて実行される。
【００２７】
画像処理プログラム５において、シーン判定部５００およびシャープネス処理部５４０には、自然画を含んだディジタル画像がＲＧＢ色空間の画像信号として入力される。なお、本実施形態において入力される画像信号は、もとの状態の画像信号だけでなく、最適な出力条件を求める場合に得られた途中経過のディジタル画像としてもよい。更に、この他にも、少なくとも入力画像信号の計測結果と同程度以上の良好なディジタル画像であれば如何なるものも適用することが可能である。
【００２８】
シーン判定部５００において、画像データ取得部５１０は、通信装置２２または記録装置２４を介して、ディジタルの画像データを取得すると、強度値算出部５２０およびシャープネス処理部５４０に対して出力する。
強度値算出部５２０において、明度・輝度信号変換手段５２２は、画像データ取得部５１０から入力された画像データについて、ＲＧＢ色空間からＹＣrＣb色空間の輝度信号（＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）に変換し、帯域処理部５２４に対して出力する。ここで輝度信号は、ｓＹＣＣ色空間に準拠した輝度信号や三刺激値ＣＩＥＸＹＺやＧ信号だけでも良い。但し、高精度の処理を行うためには、画像データの輝度信号は、ＣＩＥＬＡＢ信号のＬ＊、あるいは、主成分分析またはＫ−Ｌ変換した信号であってもよい。なお、上記に限定されず、本実施形態において明度・輝度信号変換手段５２２が変換する輝度・明度情報は、明るさを表す信号であれば、知覚量の均等性と処理速度に応じて適宜変更可能である。ここで、シャープネス処理は、便宜上、知覚的に等歩的な明度または輝度の画像信号を対象に説明を行うが、本実施形態において、上記画像信号を含む処理であるなら特に限定しない。
【００２９】
帯域処理部５２４は、明度・輝度信号変換部５２２から入力された画像データの輝度信号に対して、所定の帯域処理を行い、中高周波数帯域だけの信号（以下、これを微分画像信号という）を生成し、シャープネス計測部５２６に対して出力する。
この帯域処理において、処理速度を考慮する場合、１次微分を適用するとよいが、像が暈ける現象の基本要因の１つである拡散仮定と視覚特性とが２次微分画像と深く関わるため、本実施形態では２次微分画像を生成する場合を適用する。例えば、帯域処理部５２４は、微分画像として、２次微分画像を生成する。
２次微分画像は、下記（式１）に基づいて算出される。例えば、２次微分画像（Ｆｘ）は、元の画像信号に対して図３に例示するアンシャープマスク（ＵＳＭ）フィルタ６００を作用させて暈した輝度画像信号Ｆｂを求め、輝度画像信号Ｆからこの輝度画像信号Ｆｂを除いた輝度画像信号の絶対値として算出される。
Ｆｘ＝｜Ｆ−Ｆｂ｜・・・（式１）
【００３０】
シャープネス計測部５２６は、帯域処理部５２４から入力された微分画像信号に基づいて、シャープネス強度値を算出し、撮影シーン推定部５３０に対して出力する。シャープネス計測部５２６は、例えば、以下の（式２）のようにシャープネス強度値を算出する。すなわち、シャープネス計測部５２６は、微分画像信号における評価対象領域の強度値の総和ΣＦｘを評価対象領域の画素数Ｐで正規化し、正規化した強度値の総和に任意の係数Ｋを乗算してシャープネス強度値Ｓｄを求める。
Ｓｄ＝Ｋ×ΣＦｘ／Ｐ・・・（式２）
【００３１】
撮影シーン推定部５３０は、シャープネス計測部５２６から入力されたシャープネス強度値に基づいて、撮影シーンを推定し、撮影シーンを識別する情報を制御部５５０に対して出力する。撮影シーン推定部５３０は、例えば、「ピンボケ」、「人物」、「物」、「風景」および「複雑なシーン」の順にシャープネス強度値が大きくなるように、シャープネス強度値の範囲を各撮影シーンに割り当てた判定テーブルを保持し、判定テーブルに基づいて撮影シーンを推定する。
【００３２】
制御部５５０は、撮影シーン推定部５３０が推定した撮影シーンに応じて、シャープネスの変更量を決定し、変更量に応じた制御信号をシャープネス処理部５４０に対して出力する。すなわち、制御部５５０は、シャープネス強度値に応じて、シャープネスの変更量を設定し、シャープネス処理部５４０に画像のシャープネス強度を変更させる。
例えば、制御部５５０は、図４に例示する補正テーブルに基づいて、撮影シーン（シャープネス強度値）に応じたシャープネス変更量を決定する。すなわち、制御部５５０は、ピンボケ画像に対してはシャープネス変更処理を禁止し、人物画像に対してはシャープネス強度を小さくするよう制御する。また、制御部５５０は、風景画像に対してはシャープネス強度を上げて、微小部分を鮮鋭な画像に変換させる。
【００３３】
シャープネス処理部５４０は、制御部５５０からの制御信号に応じて、画像データのシャープネス強度を変更して、画像出力部５６０に対して出力する。
画像出力部５６０は、プリンタ装置本体１０のプリントエンジン（不図示）を制御して、シャープネス処理部５４０から入力された画像データをシート上に印刷させる。また、画像出力部５６０は、ＵＩ装置２６を制御して、シャープネス処理部５４０から入力された画像データをＬＣＤ表示装置等に表示させてもよい。
【００３４】
なお、制御部５５０は、シャープネス強度値と、シャープネスの変更量とを対応付ける補正テーブルを有してもよく、この場合、撮影シーン推定部５３０による撮影シーンの判定処理は必須ではない。
また、撮影シーン推定部５３０は、シャープネス強度値に応じて撮影シーンを推定し、画像データに対して撮影シーン情報を付加することができる。
また、入力される画像データの画素数、および、出力される画像の大きさによって、人間が感じるシャープネス度合いが異なる。そこで、撮影シーン推定部５３０は、画像データの画素数（画像サイズ）に応じて、各撮影シーンに対応するシャープネス強度値の範囲を変化させてもよい。
【００３５】
［動作］
以下、プリンタ装置１の動作を説明する。
図５は、プリンタ装置１（画像処理プログラム５）の第１の動作（Ｓ１０）を示すフローチャートである。
ステップ１００（Ｓ１００）において、プリンタ装置１は、通信装置２２または記録装置２４を介して、画像データを取得し、ノイズ除去、ホワイトバランス補正、露出補正等の補正処理を行る。
画像データ取得部５１０は、これらの補正処理がなされた画像データを取得し、明度・輝度信号変換部５２２およびシャープネス処理部５４０に対して出力する。
【００３６】
ステップ１０２（Ｓ１０２）において、明度・輝度信号変換部５２２は、画像データのＲＧＢ信号を輝度信号に変換し、帯域処理部５２４に対して出力する。帯域処理部５２４は、輝度信号に基づいて、微分画像を生成し、シャープネス計測部５２６に対して出力する。シャープネス計測部５２６は、微分画像に基づいて、シャープネス強度値を算出し、撮影シーン推定部５３０に対して出力する。
【００３７】
ステップ１０４（Ｓ１０４）において、撮影シーン推定部５３０は、「ピンボケ」、「人物」、「物」、「風景」および「複雑なシーン」等の画像グループと、シャープネス強度値の範囲とを互いに対応付ける判定テーブルを参照して、シャープネス強度値に応じた撮影シーンのグループを特定し、制御部５５０に対して出力する。
なお、本例の撮影シーン推定部５３０は、画像データ取得部５１０が取得した画像データの画素数と、画像出力部５６０が出力させる画像の大きさとに対応する判定テーブルを複数有しており、入力された画像データの画素数と、出力される画像の大きさとに応じた判定テーブルを用いて、撮影シーンを特定する。
【００３８】
ステップ１０６（Ｓ１０６）において、制御部５５０は、撮影シーン推定部５３０により特定された撮影シーンに基づいて、シャープネスの変更処理を行うか否かを判断する。画像処理プログラム５は、特定された撮影シーンが「ピンボケ」であると判断された場合、すなわち、シャープネス強度値が既定値より小さい場合に、Ｓ１１２の処理に移行し、これ以外の場合に、Ｓ１０８の処理に移行する。
ピンボケ画像の場合には、シャープネス補正を行っても無駄になる場合が多く、ピンボケ画像と判断された場合に、プリンタ装置１がシャープネス処理を禁止することにより、不必要なシャープネス処理を防止でき、同時に処理コストを少なくできる。
【００３９】
ステップ１０８（Ｓ１０８）において、制御部５５０は、撮影シーンとシャープネス変更量とを対応付ける補正テーブルを参照して、撮影シーンに応じたシャープネス変更量を決定し、シャープネス変更量に応じたシャープネス処理係数をシャープネス処理部５４０に対して出力する。
【００４０】
ステップ１１０（Ｓ１１０）において、シャープネス処理部５４０は、シャープネス処理係数に応じたシャープネス補正処理を画像データに対して行い、画像出力部５６０に対して出力する。
ステップ１１２（Ｓ１１２）において、画像出力部５６０は、利用者からの指示に応じて、プリントエンジンまたはＵＩ装置２６を制御して、画像データに基づく画像形成を行う。
【００４１】
以上のよう、本実施形態のプリンタ装置１は、入力されたディジタル画像信号に対して推定した撮影シーンに応じてシャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を自動的に生成することができる。
【００４２】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態のプリンタ装置１は、画像データのシャープネス強度値と、画像データに付加された付加情報とに基づいて、撮影シーンを判定する。例えば、プリンタ装置１は、図６に例示するようなタグデータ（付加情報）と画像データとを取得し、タグデータに含まれる撮影シーン情報と、画像データに基づいて算出されるシャープネス強度値とに応じて、シャープネス強度を変更する。
【００４３】
図７は、第２の画像処理プログラム５２の構成を説明する図である。
図７に示すように、画像処理プログラム５２は、図２に示した画像処理プログラム５に、タグデータ取得部５７０を追加した構成をとる。
タグデータ取得部５７０は、画像データに付加されたタグデータを取得し、撮影条件を特定する撮影シーン情報を抽出し、撮影シーン推定部５３０に対して出力する。撮影シーン情報には、撮影モード（標準撮影モード、人物撮影モード、風景撮影モードなど）、焦点距離、露出条件およびディジタルズーム倍率などを特定する情報が含まれる。
【００４４】
本実施形態の撮影シーン推定部５３０は、シャープネス強度値と、撮影シーン情報とに基づいて、撮影シーンを推定する。
また、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが異なり、いずれか一方が人物シーンに対応する場合に、人物シーンを優先適用する。
【００４５】
図８は、第２の画像処理プログラム５２の動作（Ｓ１２）を説明するフローチャートである。なお、図８に示した第２の動作における各処理の内、図５に示した第１の動作における各処理と実質的に同一なものには、同一の符号が付してある。
ステップ１１２（Ｓ１１２）において、画像データ取得部５１０は、画像データを取得して、強度値算出部５２０およびシャープネス処理部５４０に対して出力し、タグデータ取得部５７０は、画像データに添付されたタグデータを取得して、タグデータに含まれる撮影シーン情報を抽出し、撮影シーン推定部５３０に対して出力する。
【００４６】
ステップ１１４（Ｓ１１４）において、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとを比較する。画像処理プログラム５２は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが一致する場合に、Ｓ１０６の処理に移行し、不一致の場合に、Ｓ１１６の処理に移行する。
ステップ１１６（Ｓ１１６）において、画像処理プログラムは、さらに、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとのいずれかが、人物シーンに対応する場合に、Ｓ１１８の処理に移行し、これ以外の場合に、Ｓ１２０の処理に移行する。
ステップ１１８（Ｓ１１８）において、撮影シーン推定部５３０は、人物シーンであると判断して、人物シーンに対応する情報を制御部５５０に対して出力する。
ステップ１２０（Ｓ１２０）において、撮影シーン推定部５３０は、シャープネス強度値に基づいて推定された撮影シーンを採用し、採用された撮影シーンに対応する情報を制御部５５０に対して出力する。
すなわち、第２の画像処理プログラム５２は、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとが不一致の場合であって、いずれか一方が人物シーンに対応する場合に人物シーンを優先して、シャープネス変更量を決定し、いずれも人物シーンに対応しない場合に、シャープネス強度値に基づいて推定された撮影シーンを優先して、シャープネス変更量を決定する。
【００４７】
以上のように、本実施形態のプリンタ装置１は、複数の情報に基づいて撮影シーンを推定するので、撮影シーンの誤判定により的外れな画像調整を行うことを防止できる。また、プリンタ装置１は、撮影者が撮影シーンに不適合な撮影モードで撮影した場合にも、実際の画像データに基づく撮影シーン判定も加味するので、撮影者の設定ミスをフォローすることができる。
【００４８】
なお、本例では、撮影シーン推定部５３０がシャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに基づいて撮影シーンを推定しているが、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとの両方を制御部５５０に対して出力し、制御部５５０が、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに応じたシャープネス補正量を修正しても同じ効果を得ることができる。
【００４９】
また、シャープネス強度値に基づいて推定された撮影シーンと、撮影シーン情報に基づいて推定された撮影シーンとに応じて、シャープネス変更量を決定する方法は、種々考えられる。
図９は、撮影シーン推定部５３０がシャープネス強度値およびタグデータを撮影シーンに対応付ける他の方法を説明する図である。
本例では、撮影シーン推定部５３０は、撮影モードに基づいて、図９に例示する撮影シーンの大分類（「人物撮影モード」、「標準撮影モード」、「風景撮影モード」）を決定し、決定された大分類内の小分類（Ｐ１，Ｐ２，Ｐ３など）をシャープネス強度値に基づいて決定する。
まず、撮影シーン推定部５３０は、図４を用いて説明したようにシャープネス強度値に基づいて撮影シーンを推定し、大分類と推定結果が対応する場合（なお「物」は「標準」に対応する）に、対応する大分類の中位分類（Ｐ２，Ｓ２またはＬ２）に決定する。また、撮影シーン推定部５３０は、大分類が「風景撮影モード」の場合において、シャープネス強度値が図４の「ピンボケ」または「物」に対応するときはＬ１に決定し、「複雑なシーン」に対応するときはＬ３に決定する。同様に、撮影シーン推定部５３０は、大分類が「標準」の場合において、シャープネス強度値が図４の「ピンボケ」に対応するときはＳ１に決定し、「風景」または「複雑なシーン」に対応するときはＳ３に決定する。
制御部５５０は、図９に例示する小分類（Ｐ１〜Ｐ３、Ｓ１〜Ｓ３、Ｌ１〜Ｌ３）に対応するシャープネス変更量を特定し、シャープネス処理部５４０によるシャープネス変更処理を制御する。
【００５０】
［第３の実施形態］
次に、本発明の第３の実施形態を説明する。本実施形態では、画像のシーンを判定して、判定結果を画像データに付加する付加情報生成装置について説明する。付加情報生成装置は、例えば、画像を撮影するディジタルスチルカメラ、または、画像のレタッチなどを行う画像処理装置などである。なお、付加情報生成装置のハードウェア構成は、通常のディジタルスチルカメラまたはコンピュータ端末と同様である。
また、付加情報生成装置にインストールされている付加情報生成プログラムは、図７を用いて説明したシーン判定部５００と実質的に同一である。すなわち、付加情報生成プログラムは、画像データ取得部５１０、強度値算出部５２０、撮影シーン推定部５３０およびタグデータ取得部５７０を有する。また、強度値算出部５２０は、明度・輝度信号変換部５２２、帯域処理部５２４およびシャープネス計測部５２６を含む。
画像データ取得部５１０は、固体撮像素子、リムーバブルメディア、ＵＳＢ等のケーブル、または、ＬＡＮ等の通信網を介して、画像データを取得し、強度値算出部５２０に対して出力する。
強度値算出部５２０は、図２を用いて説明したものと実質的に同一な機能を有する。
タグデータ取得部５７０は、ディジタルスチルカメラに設定された撮影条件、焦点距離および絞り値などの撮影パラメータ、または、画像データに付加されていたタグデータを取得し、撮影シーン情報として撮影シーン推定部５３０に対して出力する。
撮影シーン推定部５３０は、強度値算出部５２０により算出されたシャープネス強度値およびタグデータ取得部５７０により取得された撮影シーン情報またはこれらのいずれかに基づいて、この画像データの撮影シーンを推定し、推定された撮影シーンを識別するシーン識別情報を画像データに付加して、不揮発性記録装置、リムーバブルメディアまたは外部端末に出力する。
【００５１】
以上説明したように、第３の実施形態の付加情報生成装置によれば、画像のシャープネス強度値を解析し、解析結果とその他の情報とに基づいて撮影シーンを推定し、画像データに付加することができる。これは、撮影シーンに応じた画像データの仕分けや、撮影シーンに応じた画像処理などを可能にする。
【００５２】
［変形例］
上記実施形態では、強度値算出部５２０は、画像全体の輝度・明度情報に基づいてシャープネス強度値を算出していたが、図１０に示すように、画像の一部領域（評価対象領域）についてシャープネス強度値を算出してもよい。例えば、図１０（Ａ）に示すように、強度値算出部５２０は、画像の中心部の矩形領域（シャープネス強度値算出エリアＡ）のみについてシャープネス強度値を算出し、撮影シーン推定部５３０に出力してもよい。画像の中心領域に主題となる像が存在する場合が多く、プリンタ装置１は、この部分についてシャープネス強度を評価してシャープネス変更量を決定することにより、より主題の内容に応じたシャープネス補正を行うことができる。
また、強度値算出部５２０は、図１０（Ｂ）に示すように、画像の全体的な特徴を扱うために図に示す矩形領域の集合（シャープネス強度値算出エリアＢ）について、シャープネス強度値を算出してもよい。この場合、プリンタ装置１は、それぞれの矩形領域に所定の重み付けを行うことにより、シャープネス評価の柔軟に行うことができ、また、全体についてシャープネス強度値を算出する場合よりも処理負荷を小さくすることができる。
上記いずれの場合も、分母を一定にすることで、正規処理を省いた相対強度とすることができる。この他にも、例えば、画素を間引いた領域または注目している領域等についてシャープネス強度値を算出することができる。
【００５３】
以上、説明した実施形態は本発明の好適な一実施形態にすぎず、本発明はその趣旨を逸脱しない限り種々変形して実施可能である。
例えば、上記した構成は、ソフトウェアで実現される形態を具体例として説明したが、ハードウェアで実現してもよい。
【００５４】
以上説明したように、上記実施形態によれば、入力された画像データに基づいて算出されたシャープネス強度値に応じて、適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５５】
また、上記実施形態によれば、入力された画像データに基づいて推定された撮影シーンに応じて、処理に則した撮影シーン情報を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５６】
また、上記実施形態によれば、入力された画像データに基づいて推定されたシャープネス強度値に応じて、適宜シャープネス処理係数を変更するため、人間の視覚特性を鑑みて、好ましいシャープネスを有するディジタル画像を得ることができ、シャープネスの自動調整を可能とする。
【００５７】
また、上記実施形態によれば、処理に要するデータ量が削減され、より効率よく的確なシャープネス処理係数を求め、好ましいシャープネスを有する出力画像を得ることが可能となる。
【００５８】
また、上記実施形態によれば、更に人間の視覚特性が鑑みられた、好ましいシャープネスを有する出力画像を自動調整により得ることができる。
【００５９】
なお、上記第１および第２の実施形態は、プリンタ装置１を具体例として説明したが、これに限定されるものではなく、ディジタルスチルカメラ内で上記処理を行い、ディジタルスチルカメラに設けられた液晶モニタ上に表示させてもよい。また、スキャナで画像データを取り込み、上記処理を行った後で、コンピュータに接続されたモニタ上で表示させてもよい。このように、本発明にかかる画像処理方法は、プリンタ装置、コンピュータ端末、ディジタルスチルカメラ、スキャナ、携帯電話、または、これらの組合せにより行われてもよい。
【００６０】
【発明の効果】
以上説明したように、本発明にかかる画像処理装置またはシーン推定装置によれば、撮影シーンを簡易な方法で推定することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
【図２】制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する第１の画像処理プログラム５の構成を示す図である。
【図３】帯域処理部５２４が微分画像を生成するときに用いるアンシャープマスクフィルタ６００を例示する図である。
【図４】シャープネス強度値と撮影シーンとの対応関係、および、撮影シーンとシャープネス変更量との対応関係を例示する図である。
【図５】プリンタ装置１（画像処理プログラム５）の第１の動作（Ｓ１０）を示すフローチャートである。
【図６】タグデータを含む画像データのデータフォーマットを例示する図である。
【図７】第２の画像処理プログラム５２の構成を説明する図である。
【図８】第２の画像処理プログラム５２の動作（Ｓ１２）を説明するフローチャートである。
【図９】撮影シーン推定部５３０がシャープネス強度値およびタグデータを撮影シーンに対応付ける他の方法を説明する図である。
【図１０】（Ａ）は、強度値算出部５２０がシャープネス強度値を算出する中心部の矩形領域を例示し、（Ｂ）は、強度値算出部５２０がシャープネス強度値を算出する矩形領域の集合を例示する図である。
【符号の説明】
１・・・プリンタ装置
１０・・・プリンタ装置本体
２・・・制御装置
２０・・・制御装置本体
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記録装置
２４０・・・記録媒体
２６・・・ＵＩ装置
５，５２・・・画像処理プログラム
５００・・・シーン判定部
５１０・・・画像データ取得部
５２０・・・強度値算出部
５２２・・・明度・輝度信号変換部
５２４・・・帯域処理部
５２６・・・シャープネス計測部
５３０・・・撮影シーン推定部
５７０・・・タグデータ取得部
５４０・・・シャープネス処理部
５５０・・・制御部
５６０・・・画像出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing device, a scene determination device, an image processing method, a scene determination method, and a program that enable image processing according to shooting conditions to a digital image shot with a digital still camera or the like.
[0002]
[Prior art]
There has been proposed a form in which information at the time of shooting is added to image data and image processing is performed in accordance with the added information at the time of shooting. For example, an image processing method for setting image processing conditions according to scene information magnetically or optically recorded on a film (for example, Patent Document 1) and additional information such as shooting date and time are acquired together with image data. In addition, an image processing method (for example, Patent Document 2) that performs image processing by estimating a shooting scene based on these additional information is disclosed.
[0003]
[Patent Document 1]
JP 11-239269 A
[Patent Document 2]
JP 2001-238177 A
[0004]
[Problems to be solved by the invention]
The present invention has been made based on the above-described background, and an object thereof is to provide a scene determination device that estimates a shooting scene of an image based on the degree of image sharpness. It is another object of the present invention to provide an image processing device, a scene determination device, an image processing method, a scene determination method, and a program that can perform image adjustment processing according to a shooting scene estimated based on the degree of sharpness. .
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus according to the present invention, based on a digital image, intensity value calculating means for calculating a sharpness intensity value indicating the intensity of sharpness of the digital image, Estimating means for estimating whether the image belongs to one of a plurality of shooting scenes classified into a person scene and a landscape scene based on the sharpness intensity value calculated by the intensity value calculating means; Based on additional information attached to the digital image, scene information extracting means for extracting shooting scene information relating to a shooting scene in which the digital image was shot; and changing means for changing the sharpness intensity of the digital image; Photographed scene estimated by the estimating means and extracted by the scene information extracting means Control means for controlling the changing process by the changing means based on the photographic scene information, and in view of human visual characteristics, a digital image having a preferable sharpness can be obtained, and the sharpness can be automatically adjusted. To do.
[0006]
Also, The estimation means includes There is a scene classification means for associating the sharpness intensity value with the classification of the shooting scene. Thereby, shooting scene information can be added to the input image.
[0007]
The scene classification means corresponds to each scene classification according to the number of pixels of the digital image. Therefore, it is possible to suppress variations in determination of the degree of sharpness that contributes to various image sizes.
[0008]
The control means controls the changing means to further enhance the sharpness of the digital image when the sharpness intensity value and the shooting scene information correspond to a landscape scene, and the sharpness intensity value and the shooting When the scene information corresponds to a person scene, the changing means may be controlled so that the sharpness of the digital image is weakened. In other words, the image processing apparatus of the present invention automatically enhances sharpness when estimating a shooting scene from image analysis and correcting the degree of sharpness when it is recognized as a landscape scene from attached image information or the like. It is characterized in that sharpness enhancement is automatically weakened when correction is made and a person scene is found.
Further, the control means may prohibit the changing process by the changing means when the sharpness intensity value is lower than a predetermined value. That is, the image processing apparatus of the present invention calculates the feature amount of the image including the sharpness degree, and performs the sharpness correction according to the degree, and does not perform the sharpness correction when the sharpness degree is a predetermined value or less. Features.
[0009]
[Scene determination device]
Further, the scene determination device of the present invention, based on the digital image, intensity value calculating means for calculating a sharpness intensity value indicating the intensity of the sharpness of the digital image, Estimating means for estimating whether the image belongs to one of a plurality of shooting scenes classified into a person scene and a landscape scene based on the sharpness intensity value calculated by the intensity value calculating means; Have That is, the scene determination apparatus of the present invention has means for calculating the sharpness degree of the original picture from the digital image, and estimates the shooting scene of the original picture according to the sharpness degree.
The scene determination apparatus further includes scene information extraction means for extracting shooting scene information related to a shooting scene in which the digital image is shot based on additional information attached to the digital image, and the estimation means includes the calculation The shooting scene may be estimated based on the obtained sharpness intensity value and the extracted shooting scene information. In other words, the scene determination device of the present invention is characterized in that the estimated scene classification is corrected for the estimated shooting scene according to the shooting scene attached as a tag to the digital image.
Further, the estimation unit may estimate that the shooting scene is a person scene when at least one of the calculated sharpness intensity value and the extracted shooting scene information corresponds to a person scene. That is, the scene determination apparatus of the present invention is characterized in that, when the estimated shooting scene is different from the attached shooting scene, it is determined that the person has priority.
[0010]
In an image signal or the like of digital still camera shooting, chunk information and tag information (attached information) recording the shooting status are held in an image format (for example, EXIF 2.2). Therefore, additional information related to sharpness such as the number of image pixels, resolution, and scene classification may be used. Of course, the attached information of the EXIF image format is not limited to the digital still camera image format. Furthermore, chunk information and tag information (attached information) may also be used in an image format TIFF or the like that can hold high-accuracy shooting information by lossless compression.
[0011]
[Image processing method]
The image processing method of the present invention calculates a sharpness intensity value indicating the intensity of sharpness of the digital image based on the digital image, Based on the sharpness intensity value calculated by the intensity value calculating means, it is estimated whether it belongs to any of a plurality of shooting scenes classified to include a person scene and a landscape scene, Based on the additional information attached to the digital image, shooting scene information relating to the shooting scene where the digital image was shot is extracted. Based on the estimated shooting scene and the extracted shooting scene information, the digital image is extracted. Change the sharpness intensity.
[0012]
[Scene judgment method]
Further, the scene determination method of the present invention calculates a sharpness intensity value indicating the sharpness intensity of the digital image based on the digital image, Based on the sharpness intensity value calculated by the intensity value calculation means, it is estimated whether the scene belongs to one of a plurality of shooting scenes classified to include a person scene and a landscape scene .
[0013]
[program]
The program of the present invention is based on a step of calculating a sharpness intensity value indicating the intensity of sharpness of a digital image based on the digital image in an image processing apparatus including a computer, and additional information attached to the digital image. Extracting the shooting scene information related to the shooting scene in which the digital image was shot; Based on the sharpness intensity value calculated by the intensity value calculating means, estimating whether it belongs to any of a plurality of shooting scenes classified to include a person scene and a landscape scene; Change the sharpness intensity of the digital image Step When, Photographed scene estimated by the estimating means and extracted by the scene information extracting means And causing the computer of the image processing apparatus to execute a step of changing the sharpness intensity of the digital image based on the photographing scene information.
Further, the program of the present invention, in a scene estimation apparatus including a computer, based on the digital image, calculating a sharpness intensity value indicating the intensity of the sharpness of the digital image; Based on the sharpness intensity value calculated by the intensity value calculation means, whether the image belongs to one of a plurality of shooting scenes classified into a person scene and a landscape scene Is caused to be executed by the computer of the scene estimation apparatus.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
[background]
First, the background will be described in order to help understanding of the present invention.
The image quality of a digital image (color / tone reproduction, sharpness, etc.) depends on the characteristics of the digital image signal, the characteristics related to the image quality of the color image recording device and image recording material from which the image is output, or the image quality of the image display device. Is determined by the characteristics.
For the purpose of maintaining the image quality of the reflective original, the digital image signal input from the color scanner device that reads the reflective original is color image processing that corrects the characteristics relating to the image quality of the color scanner device, or By using color image processing that corrects the characteristics of the output device, it is possible to obtain image quality close to a certain level of original.
For example, there is image processing used for a color copying machine. These are classified as processing methods for the purpose of correcting (optimizing) the input digital image signal (input image signal) according to the characteristics of the input device, color image recording device, display device, or image recording material. Is done. On the other hand, in the case of an image digitized by shooting a general scene with a digital still camera or the like, not only the characteristics of the camera device as an input device but also the state of the subject and shooting conditions vary from the viewpoint of image quality. Since the situation is assumed, there are many cases where the image quality of the input digital image cannot be specified or is unknown. In the case of such an input image signal, it is necessary to adjust the image quality considered to be preferable while analyzing the image and estimating the shooting scene and shooting situation.
The latter case is classified as a processing method that aims to reproduce an image preferably subjectively.
[0015]
The color correction processing in the image processing apparatus for adjusting the input image signal is composed of techniques such as contrast adjustment, color balance adjustment, white balance adjustment, fog correction, and spatial processing correction. It consists of techniques such as sharpness enhancement including edge enhancement, resolution conversion, and noise removal.
[0016]
Among image qualities, it is difficult to set correction methods and correction parameters for sharpness quality compared to gradation and color quality.
This is because, when shooting with a digital camera, the characteristics depend on various factors such as the situation of the subject, the shooting state (focus, camera shake, etc.), and the compression state during recording. It is.
Therefore, generally preferable processing parameters cannot be obtained from the information such as the shooting state.
[0017]
In general, the spatial correction processing is configured to perform image processing using a sharpness correction filter described with limited information that can be obtained in advance on the characteristics of the device.
However, since the device correction information is independent of the information of the digital image itself, the optimal output conditions for the digital image are not considered due to the above-described shooting conditions, etc., and the digital image is out of balance. May be output.
[0018]
The best measure for adjusting the digital image signal is to perform a process suitable for the user while confirming the degree of the displayed / output image on the display / output device used by the user. However, this method has a problem that the user is required to have experience in image processing and working time. For this reason, it has also been proposed that the image processing apparatus includes a method (automatic image quality adjustment technique) for performing image measurement and image quality adjustment that automatically obtains information from the image itself with minimal effort.
[0019]
The sharpness processing in the above-described automatic image quality adjustment technique is assumed to have a function of measuring the degree of sharpness (representing the degree of combination of edge degree and image noise) from a digital image and performing the sharpness processing according to the measurement result.
[0020]
Also, the problem with sharpness processing is simply that if fine processing is applied, high-definition reproduction (texture) is lost, the degree of sharpness decreases, and if sharpness enhancement is too strong, rough skin (rough skin), no It is uncomfortable because noise in the chromatic part and the failure of the boundary of the edge part (ringing) are conspicuous. This problem is caused by the fact that the normal sharpness processing technique changes the sharpness inhibition as well as the sharpness (sharpness degree) and cannot control each independently. For this reason, it has been difficult to fundamentally solve the above problem only by the information of the digital image signal.
[0021]
To cope with this problem, the degree of sharpness preference (sharpness preference degree) that reflects the amount of sharpness and the amount of deterioration of sharpness (amount of sharpness inhibition) is reflected as the measurement amount. It is. In order to solve this problem, the present inventors have made an invention capable of obtaining a digital image having a preferable sharpness in view of human visual characteristics and enabling automatic sharpness adjustment.
[0022]
Similarly, several methods have been proposed for measuring the characteristics of an image from the image signal itself, in particular, for sharpness measurement. For example, a sharpness evaluation method is a sharpness evaluation method in which the sum of signal intensities of differential images (vector images or edge images) is an evaluation value of sharpness (Yoichi Miyake: Journal of the Television Society, 43, 11 (1989)). Has been proposed. Miyake has proposed to use the sum of the edge intensity values of the pixels through the differential image. On the other hand, for image signals degraded by mixed noise that includes both Gaussian noise and impulsive noise, a method using measurement / judgment means (YHLee, SAKassam, Generalized median altering and related non-linear altering techniques ", IEEE Trans.Acoust., Speech & Signal Process., Vol.ASSP-33, no.3, pp.672-683, June 1987.) However, in this example, the sharpness of the image is controlled. The purpose was to measure, and none of them was used to estimate the shooting scene of the input image.
[0023]
Also, in recent image formats such as image signals captured by digital still cameras, there is a mechanism that can hold a shooting scene designated by a user. For example, in the EXIF standard, which is a standard format for digital still cameras, people, landscapes, night views, etc. can be designated in addition to the standard. In this way, by adding information that can specify a shooting scene to some extent at the time of shooting as a tag, it can be used for the adjustment of the image quality described above in post-processing.
However, such a tag alone is not necessarily a classification suitable for sharpness adjustment, and it is necessary to consider a processing method and parameters in addition to the analyzed estimated scene.
In addition, the photographer does not always select the appropriate scene at the time of shooting, but it may be possible to mistakenly record shooting scene information different from the subject by using the standard or shooting with the previous settings. It is done.
Therefore, as a measure for obtaining an appropriate shooting scene for image processing, image retrieval, etc., for example, a general-purpose mechanism that detects misjudgment of a scene using some information, instead of judging only by image format Is also required.
[0024]
Therefore, the scene determination apparatus according to the present invention determines a scene based on the sharpness intensity of the image data. The image processing apparatus according to the present invention determines a scene based on the sharpness intensity of the image data, and changes the sharpness of the image according to the determined scene.
[0025]
[First Embodiment]
Next, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a hardware configuration of a printer apparatus 1 to which an image processing method according to the present invention is applied, centering on a control apparatus 2 thereof.
As shown in FIG. 1, the printer device 1 includes a control device 2 and a copy device main body 10.
The control device 2 includes a control device main body 20 including a CPU 202 and a memory 204, a communication device 22, a recording device 24 such as an HDD / CD device, a user interface including an LCD display device or a CRT display device, and a keyboard / touch panel. And a device (UI device) 26.
The printer device 1 acquires image data captured by a digital still camera or the like via the communication device 22 or the recording device 24, and determines a shooting scene based on the image data. The printer device 1 performs image processing such as sharpness adjustment processing according to the determination result of the shooting scene, and prints the image data subjected to the image processing on a sheet.
Here, the shooting scene determined by the printer device 1 is a classification that combines the degree of sharpness and the shooting scene, and may be obtained not only as a correspondence table but also as a feature amount. In the present embodiment, “out-of-focus”, “person”, “thing”, “landscape”, and “complex scene” will be described below as specific examples of shooting scenes.
Note that the image processing performed by the printer apparatus 1 is sharpness adjustment processing that performs spatial correction, and is not limited to a processing method described by a system transfer function (MTF) that assumes linearity of the system system.
[0026]
FIG. 2 is a diagram showing the configuration of the first image processing program 5 that is executed by the control device 2 (FIG. 1) and implements the image processing method according to the present invention.
As shown in FIG. 2, the image processing program 5 includes a scene determination unit 500 (scene determination device), a sharpness processing unit 540, a control unit 550, and an image output unit 560.
The scene determination unit 500 includes an image data acquisition unit 510, an intensity value calculation unit 520, and a shooting scene estimation unit 530. The intensity value calculation unit 520 includes a brightness / luminance signal conversion unit 522, a band processing unit 524, and a sharpness measurement. Part 526.
The image processing program 5 is supplied to the control device 2 via, for example, the recording medium 240 (FIG. 1), loaded into the memory 204, and executed.
[0027]
In the image processing program 5, a digital image including a natural image is input as an image signal in the RGB color space to the scene determination unit 500 and the sharpness processing unit 540. Note that the image signal input in the present embodiment may be not only the image signal in the original state but also a halfway digital image obtained when obtaining an optimum output condition. Further, any other digital image can be applied as long as it is at least as good as the measurement result of the input image signal.
[0028]
In the scene determination unit 500, when the digital image data is acquired via the communication device 22 or the recording device 24, the image data acquisition unit 510 outputs the digital image data to the intensity value calculation unit 520 and the sharpness processing unit 540.
In the intensity value calculation unit 520, the brightness / brightness signal conversion unit 522 converts the image data input from the image data acquisition unit 510 from the RGB color space to the luminance signal in the YCrCb color space (= 0.30R + 0.59G + 0.11B). The data is converted and output to the bandwidth processing unit 524. Here, the luminance signal may be only a luminance signal based on the sYCC color space, the tristimulus value CIE XYZ, or the G signal. However, in order to perform high-precision processing, the luminance signal of the image data may be L * of the CIELAB signal, or a signal obtained by principal component analysis or KL conversion. The brightness / brightness information converted by the brightness / brightness signal conversion unit 522 in the present embodiment is appropriately changed according to the uniformity of the perceived amount and the processing speed as long as the brightness / brightness information is a signal representing brightness. Is possible. Here, for the sake of convenience, the sharpness process will be described for an image signal with perceptually equal brightness or luminance, but in the present embodiment, the process is not particularly limited as long as the process includes the image signal.
[0029]
The band processing unit 524 performs predetermined band processing on the luminance signal of the image data input from the lightness / luminance signal conversion unit 522, and outputs a signal only in the middle and high frequency band (hereinafter referred to as a differential image signal). Generated and output to the sharpness measuring unit 526.
In this band processing, when considering the processing speed, it is better to apply the first derivative, but since the diffusion assumption and the visual characteristics, which are one of the basic factors of the phenomenon of image blurring, are deeply related to the second derivative image, In this embodiment, the case where a secondary differential image is generated is applied. For example, the band processing unit 524 generates a secondary differential image as the differential image.
The secondary differential image is calculated based on (Equation 1) below. For example, the second-order differential image (Fx) is obtained from the luminance image signal F by obtaining a luminance image signal Fb obtained by applying an unsharp mask (USM) filter 600 illustrated in FIG. Calculated as the absolute value of the luminance image signal excluding the luminance image signal Fb.
Fx = | F−Fb | (Formula 1)
[0030]
The sharpness measurement unit 526 calculates a sharpness intensity value based on the differential image signal input from the band processing unit 524 and outputs the sharpness intensity value to the shooting scene estimation unit 530. The sharpness measuring unit 526 calculates the sharpness intensity value as in (Equation 2) below, for example. That is, the sharpness measurement unit 526 normalizes the sum ΣFx of the intensity values of the evaluation target area in the differential image signal by the number of pixels P of the evaluation target area, and multiplies the normalized sum of the intensity values by an arbitrary coefficient K to obtain the sharpness. An intensity value Sd is obtained.
Sd = K × ΣFx / P (Formula 2)
[0031]
The shooting scene estimation unit 530 estimates a shooting scene based on the sharpness intensity value input from the sharpness measurement unit 526 and outputs information for identifying the shooting scene to the control unit 550. For example, the shooting scene estimation unit 530 sets the range of the sharpness intensity value for each shooting scene so that the sharpness intensity value increases in the order of “out of focus”, “person”, “thing”, “landscape”, and “complex scene”. The determination table assigned to is held, and the shooting scene is estimated based on the determination table.
[0032]
The control unit 550 determines a sharpness change amount according to the shooting scene estimated by the shooting scene estimation unit 530, and outputs a control signal corresponding to the change amount to the sharpness processing unit 540. That is, the control unit 550 sets the sharpness change amount according to the sharpness intensity value, and causes the sharpness processing unit 540 to change the sharpness intensity of the image.
For example, the control unit 550 determines the sharpness change amount according to the shooting scene (sharpness intensity value) based on the correction table illustrated in FIG. That is, the control unit 550 prohibits the sharpness changing process from being performed on the out-of-focus image and controls the sharpness intensity to be decreased on the human image. In addition, the control unit 550 increases the sharpness intensity for a landscape image and converts a minute portion into a sharp image.
[0033]
The sharpness processing unit 540 changes the sharpness intensity of the image data in accordance with the control signal from the control unit 550 and outputs it to the image output unit 560.
The image output unit 560 controls a print engine (not shown) of the printer apparatus main body 10 to print the image data input from the sharpness processing unit 540 on the sheet. The image output unit 560 may control the UI device 26 to display the image data input from the sharpness processing unit 540 on an LCD display device or the like.
[0034]
Note that the control unit 550 may include a correction table that associates the sharpness intensity value with the sharpness change amount. In this case, the shooting scene estimation process by the shooting scene estimation unit 530 is not essential.
Also, the shooting scene estimation unit 530 can estimate a shooting scene according to the sharpness intensity value and add shooting scene information to the image data.
Further, the degree of sharpness perceived by humans varies depending on the number of pixels of input image data and the size of the output image. Therefore, the shooting scene estimation unit 530 may change the range of the sharpness intensity value corresponding to each shooting scene according to the number of pixels (image size) of the image data.
[0035]
[Operation]
Hereinafter, the operation of the printer apparatus 1 will be described.
FIG. 5 is a flowchart showing the first operation (S10) of the printer apparatus 1 (image processing program 5).
In step 100 (S100), the printer device 1 acquires image data via the communication device 22 or the recording device 24, and performs correction processing such as noise removal, white balance correction, and exposure correction.
The image data acquisition unit 510 acquires the image data subjected to these correction processes, and outputs the acquired image data to the lightness / luminance signal conversion unit 522 and the sharpness processing unit 540.
[0036]
In step 102 (S102), the lightness / luminance signal conversion unit 522 converts the RGB signal of the image data into a luminance signal and outputs the luminance signal to the band processing unit 524. The band processing unit 524 generates a differential image based on the luminance signal and outputs the differential image to the sharpness measurement unit 526. The sharpness measurement unit 526 calculates a sharpness intensity value based on the differential image, and outputs the sharpness intensity value to the shooting scene estimation unit 530.
[0037]
In step 104 (S104), the shooting scene estimation unit 530 associates image groups such as “out-of-focus”, “person”, “thing”, “landscape”, and “complex scene” with the range of sharpness intensity values. With reference to the determination table, a group of shooting scenes corresponding to the sharpness intensity value is specified and output to the control unit 550.
Note that the shooting scene estimation unit 530 of this example includes a plurality of determination tables corresponding to the number of pixels of the image data acquired by the image data acquisition unit 510 and the size of the image output by the image output unit 560. A shooting scene is specified using a determination table corresponding to the number of pixels of the input image data and the size of the output image.
[0038]
In step 106 (S106), the control unit 550 determines whether or not to change the sharpness based on the shooting scene specified by the shooting scene estimation unit 530. When it is determined that the specified shooting scene is “out of focus”, that is, when the sharpness intensity value is smaller than the predetermined value, the image processing program 5 proceeds to the processing of S112. Move on to processing.
In the case of an out-of-focus image, even if sharpness correction is performed, it is often wasted. When the image is determined to be out-of-focus, the printer device 1 prohibits the sharpness processing, thereby preventing unnecessary sharpness processing. At the same time, processing costs can be reduced.
[0039]
In step 108 (S108), the control unit 550 determines the sharpness change amount according to the shooting scene by referring to the correction table that associates the shooting scene with the sharpness change amount, and sets the sharpness processing coefficient according to the sharpness change amount. Output to the sharpness processing unit 540.
[0040]
In step 110 (S110), the sharpness processing unit 540 performs sharpness correction processing on the image data according to the sharpness processing coefficient, and outputs the image data to the image output unit 560.
In step 112 (S112), the image output unit 560 controls the print engine or the UI device 26 in accordance with an instruction from the user, and forms an image based on the image data.
[0041]
As described above, the printer apparatus 1 according to the present embodiment changes the sharpness processing coefficient in accordance with the estimated shooting scene with respect to the input digital image signal. Images can be generated automatically.
[0042]
[Second Embodiment]
Next, a second embodiment of the present invention will be described. The printer device 1 according to the second embodiment determines a shooting scene based on the sharpness intensity value of image data and additional information added to the image data. For example, the printer apparatus 1 acquires tag data (additional information) and image data as illustrated in FIG. 6, shooting scene information included in the tag data, and a sharpness intensity value calculated based on the image data. Change the sharpness intensity accordingly.
[0043]
FIG. 7 is a diagram for explaining the configuration of the second image processing program 52.
As shown in FIG. 7, the image processing program 52 has a configuration in which a tag data acquisition unit 570 is added to the image processing program 5 shown in FIG.
The tag data acquisition unit 570 acquires tag data added to the image data, extracts shooting scene information that specifies shooting conditions, and outputs the shooting scene information to the shooting scene estimation unit 530. The shooting scene information includes information for specifying a shooting mode (standard shooting mode, portrait shooting mode, landscape shooting mode, etc.), focal length, exposure condition, digital zoom magnification, and the like.
[0044]
The shooting scene estimation unit 530 of this embodiment estimates a shooting scene based on the sharpness intensity value and shooting scene information.
In addition, the shooting scene estimation unit 530 is different from the shooting scene estimated based on the sharpness intensity value and the shooting scene estimated based on the shooting scene information, and one of them corresponds to a person scene. Apply the scene with priority.
[0045]
FIG. 8 is a flowchart for explaining the operation (S12) of the second image processing program 52. Of the processes in the second operation shown in FIG. 8, the same reference numerals are assigned to the processes that are substantially the same as those in the first operation shown in FIG.
In step 112 (S112), the image data acquisition unit 510 acquires the image data and outputs it to the intensity value calculation unit 520 and the sharpness processing unit 540. The tag data acquisition unit 570 is attached to the image data. The tag data is acquired, shooting scene information included in the tag data is extracted, and is output to the shooting scene estimation unit 530.
[0046]
In step 114 (S114), the shooting scene estimation unit 530 compares the shooting scene estimated based on the sharpness intensity value with the shooting scene estimated based on the shooting scene information. The image processing program 52 proceeds to the process of S106 when the photographic scene estimated based on the sharpness intensity value matches the photographic scene estimated based on the photographic scene information, and when there is a mismatch, S116. Move on to processing.
In step 116 (S116), the image processing program further determines that any one of the shooting scene estimated based on the sharpness intensity value and the shooting scene estimated based on the shooting scene information corresponds to a person scene. Then, the process proceeds to S118, and in other cases, the process proceeds to S120.
In step 118 (S118), the shooting scene estimation unit 530 determines that the scene is a person scene, and outputs information corresponding to the person scene to the control unit 550.
In step 120 (S120), the shooting scene estimation unit 530 adopts the shooting scene estimated based on the sharpness intensity value, and outputs information corresponding to the adopted shooting scene to the control unit 550.
That is, the second image processing program 52 is a case where the shooting scene estimated based on the sharpness intensity value and the shooting scene estimated based on the shooting scene information do not match, and one of them is a human scene. When it corresponds to, the person scene is given priority and the sharpness change amount is determined. When none of them corresponds to the person scene, the shooting scene estimated based on the sharpness intensity value is given priority and the sharpness change amount is determined. To do.
[0047]
As described above, since the printer apparatus 1 according to the present embodiment estimates a shooting scene based on a plurality of pieces of information, it can prevent inappropriate image adjustment due to erroneous determination of the shooting scene. In addition, even when the photographer shoots in a shooting mode that is incompatible with the shooting scene, the printer apparatus 1 can also follow a shooting mistake of the photographer because the shooting scene determination based on the actual image data is taken into consideration.
[0048]
In this example, the shooting scene estimation unit 530 estimates the shooting scene based on the shooting scene estimated based on the sharpness intensity value and the shooting scene estimated based on the shooting scene information. Both the shooting scene estimated based on the intensity value and the shooting scene estimated based on the shooting scene information are output to the control unit 550, and the control unit 550 is estimated based on the sharpness intensity value. The same effect can be obtained by correcting the sharpness correction amount according to the shooting scene and the shooting scene estimated based on the shooting scene information.
[0049]
There are various methods for determining the sharpness change amount according to the shooting scene estimated based on the sharpness intensity value and the shooting scene estimated based on the shooting scene information.
FIG. 9 is a diagram illustrating another method in which the shooting scene estimation unit 530 associates the sharpness intensity value and the tag data with the shooting scene.
In this example, the shooting scene estimation unit 530 determines, based on the shooting mode, the major classifications of the shooting scenes illustrated in FIG. 9 (“person shooting mode”, “standard shooting mode”, “landscape shooting mode”), A small category (P1, P2, P3, etc.) within the determined major category is determined based on the sharpness intensity value.
First, as described with reference to FIG. 4, the shooting scene estimation unit 530 estimates a shooting scene based on the sharpness intensity value, and the large classification corresponds to the estimation result (note that “thing” corresponds to “standard”). To the corresponding middle category (P2, S2 or L2). In addition, when the large classification is “landscape shooting mode” and the sharpness intensity value corresponds to “out of focus” or “object” in FIG. 4, the shooting scene estimation unit 530 determines L1 as “complex scene”. Is determined to be L3. Similarly, when the major classification is “standard”, the shooting scene estimation unit 530 determines that the sharpness intensity value corresponds to “out of focus” in FIG. 4, and determines “landscape” or “complex scene”. When it corresponds, it determines to S3.
The control unit 550 identifies the sharpness change amount corresponding to the small classifications (P1 to P3, S1 to S3, and L1 to L3) illustrated in FIG. 9, and controls the sharpness change processing by the sharpness processing unit 540.
[0050]
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In the present embodiment, an additional information generating apparatus that determines an image scene and adds a determination result to image data will be described. The additional information generation device is, for example, a digital still camera that captures an image or an image processing device that performs image retouching or the like. The hardware configuration of the additional information generating device is the same as that of a normal digital still camera or computer terminal.
Further, the additional information generation program installed in the additional information generation apparatus is substantially the same as the scene determination unit 500 described with reference to FIG. That is, the additional information generation program includes an image data acquisition unit 510, an intensity value calculation unit 520, a shooting scene estimation unit 530, and a tag data acquisition unit 570. The intensity value calculation unit 520 includes a brightness / luminance signal conversion unit 522, a band processing unit 524, and a sharpness measurement unit 526.
The image data acquisition unit 510 acquires image data via a solid-state imaging device, a removable medium, a cable such as a USB, or a communication network such as a LAN, and outputs the acquired image data to the intensity value calculation unit 520.
The intensity value calculation unit 520 has substantially the same function as that described with reference to FIG.
The tag data acquisition unit 570 acquires shooting parameters set for the digital still camera, shooting parameters such as a focal length and an aperture value, or tag data added to the image data, and a shooting scene estimation unit as shooting scene information. Output to 530.
The shooting scene estimation unit 530 estimates the shooting scene of this image data based on the sharpness intensity value calculated by the intensity value calculation unit 520 and / or the shooting scene information acquired by the tag data acquisition unit 570. Then, scene identification information for identifying the estimated shooting scene is added to the image data and output to the non-volatile recording device, the removable medium or the external terminal.
[0051]
As described above, according to the additional information generating apparatus of the third embodiment, the sharpness intensity value of the image is analyzed, the shooting scene is estimated based on the analysis result and other information, and is added to the image data. be able to. This enables sorting of image data according to the shooting scene, image processing according to the shooting scene, and the like.
[0052]
[Modification]
In the above-described embodiment, the intensity value calculation unit 520 calculates the sharpness intensity value based on the luminance / brightness information of the entire image. However, as shown in FIG. A sharpness intensity value may be calculated. For example, as shown in FIG. 10A, the intensity value calculation unit 520 calculates the sharpness intensity value only for the rectangular area (sharpness intensity value calculation area A) in the center of the image, and outputs it to the shooting scene estimation unit 530. May be. In many cases, the image as the subject is present in the center area of the image, and the printer apparatus 1 performs sharpness correction according to the content of the subject by evaluating the sharpness intensity and determining the sharpness change amount for this portion. be able to.
In addition, as shown in FIG. 10B, the intensity value calculation unit 520 calculates the sharpness intensity value for a set of rectangular areas (sharpness intensity value calculation area B) shown in the figure in order to handle the overall characteristics of the image. It may be calculated. In this case, the printer device 1 can flexibly perform the sharpness evaluation by performing predetermined weighting on each rectangular area, and can reduce the processing load compared to the case where the sharpness intensity value is calculated for the whole. Can do.
In any of the above cases, by setting the denominator constant, it is possible to obtain a relative strength that omits normal processing. In addition, for example, the sharpness intensity value can be calculated for a region where pixels are thinned out or a region of interest.
[0053]
The embodiment described above is merely a preferred embodiment of the present invention, and the present invention can be variously modified and implemented without departing from the gist thereof.
For example, the configuration described above has been described using a specific example of a form realized by software, but may be realized by hardware.
[0054]
As described above, according to the above-described embodiment, the sharpness processing coefficient is appropriately changed according to the sharpness intensity value calculated based on the input image data. Can be obtained, and sharpness can be automatically adjusted.
[0055]
In addition, according to the above-described embodiment, since the shooting scene information in accordance with the process is changed according to the shooting scene estimated based on the input image data, it has preferable sharpness in view of human visual characteristics. Digital images can be obtained and sharpness can be automatically adjusted.
[0056]
In addition, according to the above-described embodiment, since the sharpness processing coefficient is appropriately changed according to the sharpness intensity value estimated based on the input image data, a digital image having preferable sharpness in view of human visual characteristics. The sharpness can be automatically adjusted.
[0057]
Further, according to the above-described embodiment, the amount of data required for processing is reduced, and an accurate sharpness processing coefficient can be obtained more efficiently and an output image having desirable sharpness can be obtained.
[0058]
Moreover, according to the said embodiment, the output image which has the preferable sharpness in which the human visual characteristic was considered further can be obtained by automatic adjustment.
[0059]
In the first and second embodiments, the printer apparatus 1 has been described as a specific example. However, the present invention is not limited to this, and the above-described processing is performed in the digital still camera and is provided in the digital still camera. You may display on a liquid crystal monitor. Alternatively, image data may be captured by a scanner and displayed on a monitor connected to a computer after performing the above processing. As described above, the image processing method according to the present invention may be performed by a printer apparatus, a computer terminal, a digital still camera, a scanner, a mobile phone, or a combination thereof.
[0060]
【The invention's effect】
As described above, according to the image processing apparatus or the scene estimation apparatus according to the present invention, a captured scene can be estimated by a simple method.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a hardware configuration of a printer apparatus 1 to which an image processing method according to the present invention is applied, centering on a control apparatus 2;
FIG. 2 is a diagram showing a configuration of a first image processing program 5 that is executed by the control device 2 (FIG. 1) and implements the image processing method according to the present invention.
FIG. 3 is a diagram illustrating an unsharp mask filter 600 used when the band processing unit 524 generates a differential image.
FIG. 4 is a diagram illustrating a correspondence relationship between a sharpness intensity value and a shooting scene, and a correspondence relationship between a shooting scene and a sharpness change amount;
FIG. 5 is a flowchart showing a first operation (S10) of the printer apparatus 1 (image processing program 5).
FIG. 6 is a diagram illustrating a data format of image data including tag data.
7 is a diagram illustrating a configuration of a second image processing program 52. FIG.
FIG. 8 is a flowchart for explaining the operation (S12) of the second image processing program 52;
FIG. 9 is a diagram illustrating another method in which a shooting scene estimation unit 530 associates a sharpness intensity value and tag data with a shooting scene.
10A illustrates a central rectangular area where the intensity value calculation unit 520 calculates the sharpness intensity value, and FIG. 10B illustrates the rectangular area where the intensity value calculation unit 520 calculates the sharpness intensity value. It is a figure which illustrates a set.
[Explanation of symbols]
1. Printer device
10 ... Printer device main body
2 ... Control device
20 ... Control device body
202 ... CPU
204 ... Memory
22: Communication device
24 ... Recording device
240 ... Recording medium
26 ... UI device
5, 52 ... Image processing program
500 ... Scene determination unit
510... Image data acquisition unit
520: Strength value calculation unit
522 ... Lightness / luminance signal conversion unit
524 ... Band processing unit
526: Sharpness measuring unit
530 ... Shooting scene estimation unit
570: Tag data acquisition unit
540: Sharpness processing unit
550 ... Control unit
560 ... Image output unit

Claims

An intensity value calculating means for calculating a sharpness intensity value indicating the intensity of the sharpness of the digital image based on the digital image;
Estimating means for estimating whether the image belongs to one of a plurality of shooting scenes classified into a person scene and a landscape scene based on the sharpness intensity value calculated by the intensity value calculating means;
Scene information extraction means for extracting shooting scene information relating to a shooting scene in which the digital image was shot based on additional information attached to the digital image;
Changing means for changing the sharpness intensity of the digital image;
An image processing apparatus comprising: a photographic scene estimated by the estimating means; and a control means for controlling change processing by the changing means based on the photographic scene information extracted by the scene information extracting means .

The image processing apparatus according to claim 1, wherein the estimation unit includes a scene classification unit that associates a sharpness intensity value with a classification of a shooting scene.

The image processing apparatus according to claim 2, wherein the scene classification unit corrects a sharpness intensity value corresponding to the scene classification according to the number of pixels of the digital image.

The control means includes the changing means for further enhancing the sharpness of the digital image when the shooting scene estimated by the estimating means and the shooting scene information extracted by the scene information extracting means correspond to a landscape scene. The image processing apparatus according to claim 1, wherein the image processing apparatus is controlled.

The control means is configured to change the sharpness of the digital image to be weaker when the shooting scene estimated by the estimation means and the shooting scene information extracted by the scene information extraction means correspond to a person scene. The image processing apparatus according to claim 1, wherein the image processing apparatus is controlled.

The image processing apparatus according to claim 1, wherein the control unit prohibits a changing process by the changing unit when the sharpness intensity value is lower than a predetermined value.

An intensity value calculating means for calculating a sharpness intensity value indicating the intensity of the sharpness of the digital image based on the digital image;
Estimating means for estimating whether the image belongs to one of a plurality of shooting scenes classified into a person scene and a landscape scene based on the sharpness intensity value calculated by the intensity value calculating means;
A scene determination apparatus having:

Based on additional information attached to the digital image, it further includes scene information extraction means for extracting shooting scene information relating to a shooting scene where the digital image was shot,
The scene determination device according to claim 7, wherein the estimation unit estimates a shooting scene based on the calculated sharpness intensity value and the extracted shooting scene information.

The scene determination according to claim 8, wherein the estimation unit estimates that a shooting scene is a person scene when at least one of the calculated sharpness intensity value and the extracted shooting scene information corresponds to a person scene. apparatus.

Based on the digital image, calculate a sharpness intensity value indicating the intensity of the sharpness of the digital image,
Based on the sharpness intensity value calculated by the intensity value calculating means, it is estimated whether it belongs to any of a plurality of shooting scenes classified to include a person scene and a landscape scene,
Based on the additional information attached to the digital image, the shooting scene information relating to the shooting scene where the digital image was shot is extracted,
An image processing method for changing a sharpness intensity of the digital image based on an estimated shooting scene and extracted shooting scene information.

Based on the digital image, calculate a sharpness intensity value indicating the intensity of the sharpness of the digital image,
A scene determination method for estimating whether a scene belongs to a plurality of photographic scenes classified to include a person scene or a landscape scene based on the sharpness intensity value calculated by the intensity value calculation means .

In an image processing apparatus including a computer,
Calculating a sharpness intensity value indicating a sharpness intensity of the digital image based on the digital image;
Extracting shooting scene information relating to a shooting scene in which the digital image was shot based on additional information attached to the digital image;
Based on the sharpness intensity value calculated by the intensity value calculating means, estimating whether it belongs to any of a plurality of shooting scenes classified to include a person scene and a landscape scene;
And changing the sharpness intensity of the digital image,
A program for causing the computer of the image processing apparatus to execute the step of changing the sharpness intensity of the digital image based on the shooting scene estimated by the estimation means and the shooting scene information extracted by the scene information extraction means .

In a scene estimation device including a computer,
Calculating a sharpness intensity value indicating a sharpness intensity of the digital image based on the digital image;
The computer of the scene estimation apparatus includes a step of estimating whether the scene belongs to a plurality of shooting scenes classified into a plurality of scenes including a person scene and a landscape scene based on the sharpness intensity value calculated by the intensity value calculation unit. The program to be executed.