JP4612871B2 - 画像処理装置および方法 - Google Patents

Description

本発明は画像処理装置及び方法に関し、特に撮像素子を用いて得られたデジタル画像データを処理する画像処理装置及び方法に関する。

デジタルスチルカメラなどの撮像装置では、ＣＭＯＳセンサ、ＣＣＤセンサ等の撮像素子により、被写体光学像を光電変換して得られた撮影画像の電気信号をデジタルデータに変換した、ＲＡＷデータをまず生成する。そして、ＲＡＷデータに色補間、ガンマ補正処理、ホワイトバランス調整処理、シャープネス処理などを行い、人間が認識できる画像データ（表示形式の画像データ）を生成する。ＲＡＷデータから画像データを生成するための処理を以下では画像再現処理と呼ぶ。

画像再現処理の中で、シャープネス（鮮鋭化）処理は、その強度を撮像装置内で設定することができ、強度に応じて、画像の輪郭部分が強調される。また、色補間処理は、ＲＡＷデータの各画素について、他の画素の情報を用いて色情報を補間する処理である。すなわち、撮像素子自体は色を感知できないため、通常はカラーフィルタを用いて１画素当たり１色についての輝度信号を得ている。従って、その画素の色情報を再現するためには、残りの色情報を他の画素から補間する必要がある。

図２は、カラーフィルタの色配置として代表的なＢａｙｅｒ配列を示す図である。図に示すように、Ｂａｙｅｒ配列のカラーフィルタを用いた撮像装置では、撮像素子の各画素はＲ、Ｇ、Ｂの１つの情報しか持たない。そのため、例えばＲ画素ではＧ、Ｂの色情報を周辺画素の色情報から補間して求めることで、Ｒ、Ｇ、Ｂ３つの色情報を有する画素が再現される。他の画素についても同様の補間処理を行うことで、カラー画像を再現することができる。

図３はデジタルカメラでシャープネス設定を行う際のユーザインタフェース（ＵＩ）の例を示す図である。
デジタルカメラ３００の背面には、液晶モニタ３０２と、操作ボタン３０３が設けられている。液晶モニタ３０２には、例えば操作ボタン３０３の操作に応答してシャープネス強度設定ＵＩ３０４が表示される。そして、ユーザは操作ボタン３０３を操作し、選択カーソル３０５を所望の強度を表す領域に移動させ、設定を行うことにより、シャープネスの強度を設定することが可能である。「強」を選択すると、最も輪郭が強調され、「弱」ではゆるやかな輪郭強調が行われる。「中」は「強」と「弱」の中間的な輪郭強調がなされる。「なし」を選択した場合、シャープネス処理は行われない。

なお、設定画面ではユーザが効果の程度を把握し易いよう、「強」、「中」、「弱」のような表現を行っている。しかし、デジタルカメラ内部では個々の設定に対してパラメータが対応付けられており、シャープネス処理の実行時にはこのパラメータ値に基づいて処理を行う。パラメータ値としては単に種別を表す値であっても良いし、シャープネス処理に用いる数式に含まれるパラメータに代入する値であっても良い。

図４はデジタルカメラでのＲＡＷデータ作成処理の例を説明するフローチャートである。
ここでは、予め図３で説明した操作によって、シャープネスの強度が設定されているものとする。Ｓ４０２では、例えばシャッターボタンの全押しに応答して、撮影処理を開始する。Ｓ４０３では、ＣＭＯＳ、ＣＣＤ等の撮像素子により、被写体光学像を光電変換して、撮影画像の電気信号を得る。Ｓ４０４では、電気信号をデジタルデータに変換し、メモリ上にＢａｙｅｒ配列のＲＡＷデータを作成する。Ｓ４０５では、設定されたシャープネス強度を、メタデータとしてＲＡＷデータに付加する。付加する場所は、主に、ＲＡＷデータのヘッダー部分であるが、その場所は問わない。Ｓ４０６では、ＲＡＷデータをファイル化して、メモリーカード等に保存する。

（ＲＡＷデータからの画像再現処理）
図５は、ＲＡＷデータに対する画像再現処理の例を説明するフローチャートである。
Ｓ５０１では、ＲＡＷデータをメモリカード等より読み出し、メモリに展開する。この際、ファイルに付加されたシャープネス強度も読み出しておく。Ｓ５０２では、Ｂａｙｅｒ配列のＲＡＷデータから色補間処理を行い、画像データＡを得る。Ｓ５０３では、画像データＡに、ガンマ処理を施し、画像データＢを得る。Ｓ５０４では、画像データＢに対し、ホワイトバランス処理を行い、画像データＣを得る。Ｓ５０５では、読み出したシャープネス強度に応じて、画像データＣにシャープネス処理を行い、画像データＤを得る。Ｓ５０６では、画像データＤを圧縮し、ＪＰＥＧファイルとして、メモリカード等に保存する。ここでは、画像再現処理後の画像データを保存する形式としてＪＰＥＧ形式を例示したが、他の形式で保存しても良い。

このようにして得られた画像再現処理後の画像データに対しては、印刷処理を行うことが多い。その際には、まず、用紙サイズに合わせて、画像の拡大処理を行う。このとき、拡大処理によって、画像の輪郭がぼやけることがあり、その補正のため、更にシャープネス処理を実施することもある。例えば、特許文献１においては、拡大率に応じて、シャープネス強度を変更する処理を行っている。

（印刷処理−ＪＰＥＧデータ）
図６は、圧縮符号化後の圧縮画像データに対する印刷処理の例を説明するフローチャートである。この処理は、例えばダイレクトプリントに対応したデジタルカメラとプリンタとの組み合わせであれば、デジタルカメラにおいて実行することができる。あるいは、印刷対象となる画像データを読み込み可能で、プリンタが接続されたパーソナルコンピュータ等の外部機器において実行することも可能である。

ステップＳ６０１では、印刷処理を開始する。ステップＳ６０２では、印刷する画像ファイル（ＪＰＥＧ画像データ）をメモリカード等から読み出し、メモリに展開する。ステップＳ６０３では、展開した画像ファイルに、デコード処理を行い、画像データＡを得る。なお、ＪＰＥＧ画像データをデコードする処理も、表示形式への変換という意味において画像再現処理と見なすことができる。ステップＳ６０４では、画像データＡを、用紙サイズに合わせて拡大し、画像データＢを得る。ステップＳ６０５では、拡大処理によって、ぼやけた輪郭を補正するため、シャープネス処理を実行し、画像データＣを得る。ステップＳ６０６では、画像データＣを、プリンタに送信する。

（印刷処理−ＲＡＷデータ）
図５及び図６で説明した画像再現処理、印刷処理を用い、ＲＡＷデータを印刷することができる。図７は、このような従来のＲＡＷデータ印刷処理の例を説明するフローチャートである。

ステップＳ７０１では、ＲＡＷデータを、メモリカード等より読み出し、メモリに展開する。この際、ＲＡＷデータに付随して記録されたシャープネス強度も読み出しておく。ステップＳ７０２では、Ｂａｙｅｒ配列のＲＡＷデータに色補間処理を行い、画像データＡを得る。ステップＳ７０３では、画像データＡに、ガンマ補正処理を施し、画像データＢを得る。ステップＳ７０４では、画像データＢに対し、ホワイトバランス処理を行い、画像データＣを得る。ステップＳ７０５では、読み出したシャープネス強度に応じて、画像データＣにシャープネス処理を行い、画像データＤを得る。ステップＳ７０６では、印刷用紙サイズに応じて、画像データＤを拡大し、画像データＥを得る。ステップＳ７０７では、画像データＥに対し、印刷用のシャープネス処理を行い、画像データＦを得る。ステップＳ７０８では、画像データＦをプリンタに送信する。

特開平６−２６１２３８号公報

このように、従来の方法では、ＲＡＷデータを印刷する場合、画像再現処理において１回、その後の印刷処理において１回の合計２回シャープネス処理を実施していた。

シャープネス処理の実行には、多かれ少なかれ擬似輪郭やノイズの強調を伴う。従って、シャープネス処理はなるべく少ない回数実行することが画質劣化を抑制するという観点から好ましい。しかし、従来のＲＡＷデータ印刷処理においては、２度のシャープネス処理が適用されるため、擬似輪郭やノイズが２回強調されることになる。そのため、画質の劣化が大きくなり、高画質で良好な印刷結果が得られない。

また、画像の拡大・印刷処理をしなくても、デジタルカメラで撮像した画像に編集処理の１工程としてシャープネス処理を施す場合がある。つまり、ＲＡＷデータに画像再現処理を行い、その結果得られた画像に対して、さらにシャープネス処理を施して、鮮鋭度を高める場合もある。

この場合も、デジタルカメラで設定したシャープネス処理を画像再現処理時に実行した後に、さらにシャープネス処理を施すことになり、やはり二度のシャープネス処理を実施していることになる。画像再現処理後に行う２度目のシャープネス処理は、ユーザとすれば画像の見栄えをよくする目的で行っているにもかかわらず、実際にはかえって画質劣化の要因となる。

本発明は上記の問題を鑑みたものであり、画像データに対してシャープネス処理を行う画像処理装置及び画像処理方法において、過剰なシャープネス処理が適用されることを抑制することを目的とする。

上述の目的は、画像データに対してシャープネス処理を実施し、出力する画像処理装置であって、画像データを表示形式に再現する再現処理を実行する再現処理手段と、表示形式の画像データに、所定の出力条件又はユーザの指示に従った少なくとも１つの編集処理を行う編集処理手段と、編集処理後の画像データを所定の出力条件で出力する出力手段と、画像データの撮影時に設定された、再現処理用のシャープネス処理を規定する第１のシャープネスパラメータ、を取得する第１のパラメータ取得手段と、拡大・縮小処理を伴う編集処理に応じて設定された、編集処理用のシャープネス処理を規定する第２のシャープネスパラメータ、を取得する第２のパラメータ取得手段と、第１および第２のシャープネスパラメータを合成するパラメータ合成手段と、パラメータ合成手段により合成されたシャープネスパラメータを用いて、シャープネス処理を施すシャープネス処理手段と、再現処理手段及び編集処理手段において、再現処理及び編集処理のうち、シャープネス処理以外の処理を行い、シャープネス処理手段で編集処理済み画像データにシャープネス処理を行い、シャープネス処理済み画像データを出力手段で出力するように制御する制御手段とを有することを特徴とする画像処理装置によって達成される。
また、上述の目的は、画像データに対してシャープネス処理を実施し、出力する画像処理装置であって、画像データを表示形式に再現する再現処理を実行する再現処理手段と、表示形式の画像データに、所定の出力条件又はユーザの指示に従った少なくとも１つの編集処理を行う編集処理手段と、編集処理後の画像データを所定の出力条件で出力する出力手段と、再現処理後の画像データに、ユーザの指示に応じて設定された、編集処理用のシャープネス処理を規定する第１のシャープネスパラメータ、を取得する第１のパラメータ取得手段と、拡大・縮小処理を伴う編集処理に応じて設定された、編集処理用のシャープネス処理を規定する第２のシャープネスパラメータ、を取得する第２のパラメータ取得手段と、第１および第２のシャープネスパラメータを合成するパラメータ合成手段と、パラメータ合成手段により合成されたシャープネスパラメータを用いて、シャープネス処理を施すシャープネス処理手段と、再現処理手段及び編集処理手段において、再現処理及び編集処理のうち、シャープネス処理以外の処理を行い、シャープネス処理手段で編集処理済み画像データにシャープネス処理を行い、シャープネス処理済み画像データを出力手段で出力するように制御する制御手段とを有することを特徴とする画像処理装置によっても達成される。

また、上述の目的は、画像データに対してシャープネス処理を実施し、出力する画像処理方法であって、画像データを表示形式に再現する再現処理を実行する再現処理ステップと、表示形式の画像データに、所定の出力条件又はユーザの指示に従った少なくとも１つの編集処理を行う編集処理ステップと、編集処理後の画像データを所定の出力条件で出力する出力ステップと、画像データの撮影時に設定された、再現処理用のシャープネス処理を規定する第１のシャープネスパラメータ、を取得する第１のパラメータ取得ステップと、拡大・縮小処理を伴う編集処理に応じて設定された、再現処理用のシャープネス処理を規定する第２のシャープネスパラメータ、を取得する第２のパラメータ取得ステップと、第１および第２のシャープネスパラメータを合成するパラメータ合成ステップと、パラメータ合成ステップにより合成されたシャープネスパラメータを用いて、シャープネス処理を施すシャープネス処理ステップとを有し、再現処理ステップ及び編集処理ステップにおいて、再現処理及び編集処理のうち、シャープネス処理以外の処理を行い、シャープネス処理ステップで編集処理済み画像データにシャープネス処理を行い、シャープネス処理済み画像データを出力ステップで出力するように制御することを特徴とする画像処理方法によっても達成される。
また、上述の目的は、画像データに対してシャープネス処理を実施し、出力する画像処理方法であって、画像データを表示形式に再現する再現処理を実行する再現処理ステップと、表示形式の画像データに、所定の出力条件又はユーザの指示に従った少なくとも１つの編集処理を行う編集処理ステップと、編集処理後の画像データを所定の出力条件で出力する出力ステップと、再現処理後の画像データに、ユーザの指示に応じて設定された、編集処理用のシャープネスパラメータ、を取得する第１のパラメータ取得ステップと、拡大・縮小処理を伴う編集処理に応じて設定された、編集処理用の第２のシャープネスパラメータ、を取得する第２のパラメータ取得ステップと、第１および第２のシャープネスパラメータを合成するパラメータ合成ステップと、パラメータ合成ステップにより合成されたシャープネスパラメータを用いて、シャープネス処理を施すシャープネス処理ステップとを有し、再現処理ステップ及び編集処理ステップにおいて、再現処理及び編集処理のうち、シャープネス処理以外の処理を行い、シャープネス処理ステップで編集処理済み画像データにシャープネス処理を行い、シャープネス処理済み画像データを出力ステップで出力するように制御することを特徴とする画像処理方法によっても達成される。

さらに、上述の目的は、コンピュータを本発明による画像処理装置の各手段として機能させるためのプログラム、及び当該プログラムを格納するコンピュータ読み取り可能な記録媒体によっても達成される。

このような構成により、本発明によれば、画像データに対してシャープネス処理を行う画像処理装置及び画像処理方法において、過剰なシャープネス処理が適用されることを抑制することが可能となる。

以下、図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置のシステム構成例を示すブロック図である。

入力装置１０１は、ユーザからの指示や、データを入力するための装置で、キーボードや、マウスなどのポインティングシステムを含む。表示装置１０２は、ＧＵＩなどを表示する装置で、通常はＣＲＴや、液晶ディスプレイなどが用いられる。蓄積装置１０３は、画像データ、プログラムを蓄積する装置で、通常は、ハードディスクが用いられる。なお、蓄積装置１０３は、着脱可能な記録媒体（メモリカード、光ディスクなど）の読み取り装置を含んでいても良い。１０４は、ＣＰＵで、本システムの処理全体を制御する。ＣＰＵが実行するためのプログラムやデータはＲＯＭ１０５や蓄積装置１０３に格納され、またＲＡＭ１０６は、ＣＰＵ１０４の作業領域として用いられる。

以下に説明する各処理を実現するために必要な制御プログラムは、蓄積装置１０３に格納されているか、ＲＯＭ１０５に格納されているものとする。蓄積装置１０３に格納されている場合は、一旦ＲＡＭ１０６に読み込まれてから実行される。
なお、図１のシステム構成は本実施形態の説明に必要な要素のみを示したものであり、実際には他に様々な構成要素が存在していても良い。

（ＲＡＷデータ印刷処理）
次に、図８のフローチャートを用いて、本実施形態の画像処理装置におけるＲＡＷデータの印刷処理を説明する。ここでは、ユーザにより、本実施形態の画像処理装置上で稼働する例えば画像閲覧アプリケーションを介して、印刷処理の対象となるＲＡＷデータがすでに選択されているものとする。また、プリンタドライバのＧＵＩ等を介して、印刷用紙サイズについても指定されているものとする。

ステップＳ９０１では、印刷するＲＡＷデータを蓄積装置１０３より読み出し、ＲＡＭ１０６に展開する。この際、ＲＡＷデータに付随して記録されているシャープネス強度も読み出し、変数Ｓ１に格納しておく。

なお、本実施形態において、シャープネス処理は、原画像データに対して空間フィルタを適用することにより行うものとする。例えば、原画像データから、ラプラシアンフィルタを適用した原画像データ（原画像データの２回微分データ）を差し引くことにより、シャープネス処理を行うことができる。この場合、ＲＡＷデータに記録されるシャープネス強度はラプラシアンフィルタの各要素に乗じる係数値であるとする。係数値が大きいほどシャープネス処理の効果が大きくなる。なお、他の方法によるシャープネス処理を適用することも可能であり、その場合は各方法において強度を制御するための値をシャープネス強度としてＲＡＷデータに記録することができる。

ステップＳ９０２では、色補間処理を行い、画像データＡを得る。ここでは、Ｂａｙｅｒ配列のＲＡＷデータであるとする。ステップＳ９０３では、画像データＡにガンマ処理を施し、画像データＢを得る。ステップＳ９０４では、画像データＢに対し、ホワイトバランス処理を行い、画像データＣを得る。

ステップＳ９０５では、印刷用紙サイズに応じて、画像データＣを拡大（或いは縮小）し、画像データＤを得る。このような画像データの拡大／縮小もまた、画像データに対する編集処理の１つと見なすことができる。この際、拡大率を変数Ｚに格納する。ステップＳ９０６では、ＲＡＷデータファイルから読み出したシャープネス強度Ｓ１と、拡大率Ｚから、実行シャープネス強度Ｓ２を算出する。本実施形態において、実行シャープネス強度Ｓ２は、撮影時に設定された（ＲＡＷデータファイルに書き込まれた）シャープネス強度Ｓ１と、拡大率Ｚに比例した値とする。

従って、
Ｓ２＝Ｓ１×Ｚ（％）／１００
である。たとえば、拡大率Ｚが２００％であれば、Ｓ２＝Ｓ１×２００／１００＝２×１となる。次に、算出した実行シャープネス強度Ｓ２を元に、画像データＤにシャープネス処理を行い、画像データＥを得る。ステップＳ９０７では、画像データＥをプリンタに送信する。

このように、本実施形態においては、ＲＡＷデータを印刷する際、画像再現処理工程ではシャープネス処理を行わず、拡大処理後に、画像の拡大率と撮影時に設定されたシャープネス強度を反映したシャープネス強度に基づいてシャープネス処理を行う。

印刷処理における画像データの拡大率を考慮しつつ、画像再現処理、印刷処理におけるシャープネス処理を一度にまとめることによって、繰り返しシャープネス処理が適用されることによる画質の劣化を抑制し、高画質な印刷結果を得ることができる。また、処理時間の短縮にも寄与することができる。

〔第２の実施形態〕
本実施形態では、ＲＡＷデータに画像再現処理を行ってファイル出力する際に、コントラスト、明るさの調整およびシャープネス処理などの編集が行われる場合の処理について説明する。
なお、本実施形態では、シャープネス処理はアンシャープマスク処理であるものとする。撮影時および編集時には、アンシャープマスク処理の適用量を設定できるものとする。

（アンシャープマスク処理の説明）
アンシャープマスクによるシャープネス処理について、図９を使って、簡単に説明する。
図９（ａ）は、原画像の濃度の状態を概念的に表している。濃度とは、例えば、輝度値でもよいし、各色成分の値（ＲＧＢ画像であれば、Ｒ，Ｇ，Ｂの各値）であっても良い。

まず、最初に、図９（ａ）のような輝度を持つ画像に対して、図９（ｂ）に示すようなボケ画像（平滑化画像）を作成する。ボケ画像を作成するには、図１０に示すような平均化マトリクスの中央を、注目画素とし、その周辺画素の値にマトリクスの重み付けを行って、平均値を取ることで実現する。平均化マトリクスの重み付けの方法については、図１０（ａ），（ｂ）のように周辺画素の単純平均を取る方法や、図１０（ｃ）のように中央に近い画素ほど重みを大きくするガウス分布に準ずるような重み付け方法などがあるが、本発明の主眼ではないので詳しい説明は省略する。
また、マトリクスのサイズも、図１０に示すように、３×３や５×５、または、７×７など様々あるが、マトリクスサイズについても、詳しい説明は省略する。

次に、原画像の濃度値からボケ画像の濃度値を引き算し、各画素についてその差分を求める。図９（ｃ）において、１００１および１００２が、差分値にあたる。１００１がプラスの値、１００２がマイナス値である。最後に、この差分値１００１、１００２を原画像に強調成分として加える（図９（ｄ）参照）。

このとき、差分値に適用量と呼ばれる係数を乗じて足し合わせることで、コントラストの調整をし、シャープネスの強度を変化させる。適用量が１（１００％）であれば、差分値をそのまま足す。適用量が２（２００％）であれば、差分値を２倍にして加算し、適用量が０．５（５０％）であれば、差分値を半分にして加算することになる。

本実施形態では、撮影時および編集時のアンシャープマスク処理に使うボケマスクは固定し、それぞれ適用量を変化させることでシャープネスの強度を変化させる場合について説明する。

次に、図１１のフローチャートを用いて、本実施形態における画像編集処理動作について説明する。
図１１において、図７の従来のＲＡＷデータの印刷処理と同様の動作をするステップには、図７と同じ番号を付している。

ステップＳ７０１〜ステップＳ７０４は、既に説明した従来のＲＡＷデータの印刷処理と同様の動作であるので、説明を省略する。なお、ステップＳ７０４においてホワイトバランス処理を行った後のＲＧＢ画像データは、オリジナル画像データとして蓄積装置１０３に記憶しておく。

ステップＳ１２０５では、撮影時設定のシャープネスの強度（適用量）Ｓ１をＲＡＷ画像ファイルから取得する。
ステップＳ１２０６では、編集時に設定されたシャープネスの強度（適用量）を保存する変数Ｓ２を初期化する。

ステップＳ１２０７では、ステップＳ１２０５で取得した撮影時設定のシャープネス強度Ｓ１と、編集時設定のシャープネス強度Ｓ２とを足し合わせて、最終的なシャープネス強度Ｓを取得する。たとえば、Ｓ１として適用量１．５（１５０％）が、Ｓ２として適用量０．５（５０％）が設定されていたとすると、Ｓ＝Ｓ１＋Ｓ２＝１．５＋０．５＝２となる。

ステップＳ１２０８では、蓄積装置１０３に記憶したオリジナル画像データの複製データに対し、ステップＳ１２０７で算出した最終シャープネス強度Ｓによるシャープネス処理を施す。そして、表示装置１０２に表示する。ステップＳ１２０８を最初に実行する際には、Ｓ２は０であるため、撮影時に設定されたシャープネス強度Ｓ１に従ったシャープネス処理が適用される。

ステップＳ１２０９では、入力装置１０１を通じ、ユーザから編集指示もしくは終了指示があったか判断する。編集指示があればステップＳ１２１０へ進み、編集終了指示があればステップＳ１２１２へ進む。

ステップＳ１２１０では、ステップＳ１２０８でシャープネス処理を行ったＲＧＢ画像データに対し、ユーザの設定に応じたコントラスト・明るさの調整処理を行う。ユーザからコントラストや明るさについての編集指示がなければ、ステップＳ１２１０はスキップされてもよい。

ステップＳ１２１１では、ユーザが例えばシャープネス処理のメニュー画面から設定した値など、編集処理で設定されたシャープネス強度を取得し、変数Ｓ２へ格納してステップＳ１２０７へ戻る。

ステップＳ１２０７では、変数Ｓ２の新たな値を反映したシャープネス強度Ｓを算出する。そして、ステップＳ１２０８では、現在表示中の画像データを破棄し、オリジナル画像データの新しい複製データに対し、ステップＳ１２０７で新たに算出した最終シャープネス強度Ｓによるシャープネス処理を施して表示する。

なお、ステップＳ１２１０においてコントラストや明るさの調整がなされていた場合には、その調整内容を蓄積装置１０３に記憶しておくことができる。そして、編集時設定シャープネス強度Ｓ２を反映したシャープネス処理をオリジナル画像データの新たな複製データに対して適用する前に、これらコントラストや明るさの調整を反映（復元）する。

また、図１１では説明上、Ｓ１２１１でシャープネス変更（編集）が行われるものとして説明した。しかし、図１１は、編集処理においてシャープネス処理の適用が設定された場合に、その設定値をどのように用いるかを説明することを目的としたものであり、シャープネスの変更以外の編集処理だけ行い、ファイル出力することも可能である。

ステップＳ１２０９でユーザの編集作業がない（終了指示があった）と判断された場合には、ステップＳ１２１２へ進む。ステップＳ１２１２では、編集された画像を指定された形式のファイル、例えばＪＰＥＧファイルに変換し、蓄積装置１０３又は他の指定された保存先へ保存して処理を終了する。

このように、本実施形態によれば、ＲＡＷ画像データに対する編集処理の１つとしてシャープネス処理が適用された場合に、撮影時に設定されたシャープネス強度とまとめて１回で適用する。そのため、画像再生処理時と編集時との２回に分けてシャープネス処理を適用する場合に比べ、画質の劣化を抑制することができる。

また、編集処理は試行錯誤的に行われることが多く、シャープネス処理に関しても、１回でユーザの所望する結果を得る強度が決まることはまずない。本実施形態では、編集処理においてシャープネス強度が変更される毎に新しいＲＧＢ画像データを用いてシャープネス処理を実行するため、シャープネス強度を試行錯誤的に複数回変更しても、常に１回のシャープネス処理が適用される。そのため、同一のＲＧＢ画像データに対して編集処理中に複数回シャープネス処理が適用されたとしても、画質劣化の進行を防ぐことができる。

〔第３の実施形態〕
第１及び第２の実施形態では、ＲＡＷデータに対するシャープネス処理適用回数を削減する方法について述べた。しかし、本発明は、ＲＡＷデータ以外の形式を有する画像データ、例えばＪＰＥＧ画像データに対する処理に関しても適用可能である。

図１２のフローチャートを用いて、本実施形態に係る画像処理装置における画像編集および印刷動作について説明する。本実施形態では、ＪＰＥＧ画像データを入力し、編集後、印刷する場合について説明する。図１２の処理は、ユーザにより、本実施形態の画像処理装置上で稼働する例えば画像編集アプリケーションを介して、編集処理の対象となるＪＰＥＧ画像データが選択され、読み込み処理が指示された際に開始する。なお、本実施形態の画像処理装置は、第１の実施形態に係る画像処理装置と同じシステム構成でよいため構成に関する説明は省略する。

ステップＳ１３０１では、蓄積装置１０３からＲＡＭ１０６へＪＰＥＧ画像を読み込む。
ステップＳ１３０２では、ステップＳ１３０１で読み込んだＪＰＥＧ画像をデコードする。なお、ここでデコードした画像データは、編集時に使用するオリジナル画像データとして蓄積装置１０３に保存し、オリジナル画像データの複製を表示装置１０２に表示する。そして、編集処理はこのオリジナル画像データの複製に対して適用する。

ステップＳ１３０３では、編集時に設定されたシャープネスの強度を格納する変数Ｓ２を初期化する。
ステップＳ１３０４では、入力装置１０１を通じ、ユーザから編集指示もしくは終了指示があったか判断する。編集指示があればステップＳ１３０５へ進み、編集終了指示があればステップＳ１３０８へ進む。

ステップＳ１３０５では、ユーザの設定に応じたコントラスト・明るさの調整処理を行う。ユーザからコントラストや明るさについての編集指示がなければ、ステップＳ１３０５はスキップされてもよい。ここでユーザが設定したコントラストや明るさ調整の内容（パラメータ）は、蓄積装置１０３に記憶しておく。

ステップＳ１３０６では、ユーザが例えばシャープネス処理のメニュー画面から設定した値など、編集処理で設定されたシャープネス強度を取得し、変数Ｓ２へ格納する。

ステップＳ１３０７では、ステップＳ１３０５およびステップＳ１３０６で取得した、編集時にユーザが設定した画像処理パラメータを使って、表示中の画像データに対して画像処理を施す。処理結果を表示装置１０２に表示することで、ユーザに設定の結果をフィードバックする。そして、ステップＳ１３０４へ戻る。
編集による設定値が変更される毎に、ステップＳ１３０４〜ステップＳ１３０５〜Ｓ１３０７〜ステップＳ１３０４の処理が繰り返し実行される。

一方、ステップＳ１３０４で編集終了指示があった場合には、ステップＳ１３０８以降の印刷処理へ進む、ステップＳ１３０８では、例えばプリンタドライバのＧＵＩを介して予め設定されている印刷サイズを取得し、印刷する画像の画素数とから画像の拡大率を算出する。

ステップＳ１３０９では、ステップＳ１３０８で算出された拡大率と、編集時シャープネスを格納している変数Ｓ２の値から、拡大率Ｚ（％）に応じたシャープネス強度Ｓ３を算出する。本実施形態では、第１の実施形態と同様、以下の式で最終的なシャープネス強度Ｓ３を算出する。
Ｓ３＝Ｓ２×Ｚ（％）／１００

ステップＳ１３１０では、ステップＳ１３０５で保存した調整パラメータを用いて、ステップＳ１３０２で保存したオリジナル画像データに対し、編集時に設定されたコントラストや明るさの調整処理を施す。

ステップＳ１３１１ではステップＳ１３１０で得られた画像に対して、ステップＳ１３０９で算出された最終的なシャープネス強度Ｓ３によるシャープネス処理を施す。
ステップＳ１３１２では、ステップＳ１３１１で得られた画像をプリンタへ送信し、処理を終了する。

このように、本実施形態によれば、編集時に設定されるシャープネス強度と、印刷時に行われるシャープネス強度の両方を反映したシャープネス強度を求め、１回にまとめてシャープネス処理を適用する。複数の場所で設定されるシャープネス処理を印刷処理の前に一度にまとめて処理するため、印刷結果の画質劣化を抑制することができる。

〔第４の実施形態〕
第３の実施形態では、ＪＰＥＧ画像に対して編集処理を行い、その後、印刷する場合について説明した。しかし、ＲＡＷデータに対して画像再現処理を施し、その結果のＲＧＢ画像データに、編集を加えた後、印刷することも考えられる。

そこで、本実施形態では、ＲＡＷデータに対する画像再現処理後、その出力画像であるＲＧＢデータに対して編集処理を行い、編集済み画像を印刷又はファイル出力する場合について、図１３及び図１４を用いて説明する。

図１３において、図７と同様のステップについては図７と同じ番号を、図１１と同様のステップについては図１１と同じ番号をつけ、それぞれの詳しい説明を省略する。
ステップＳ７０１からステップＳ７０４までは、図７と同様の動作である。
ステップＳ１２０５とＳ１２０６は、図１１と同様の動作である。
ステップＳ１４０１、Ｓ１４０２は、編集後シャープネスＳ３を最終シャープネスＳと読み替えれば図１１のステップＳ１２０７、Ｓ１２０８と同一である。

ステップＳ１２０９では、入力装置１０１を通じ、ユーザから編集指示もしくは終了指示があったか判断する。編集指示があればステップＳ１２１０へ進み、編集終了指示があればステップＳ１４０３へ進む。ステップＳ１２１０、Ｓ１２１１は図１１で説明したとおりであるため説明を省略する。
ステップＳ１４０３では、最終出力処理を行い、その後処理を終了する。

図１４は、図１３におけるステップＳ１４０３で実行される最終出力処理の例を説明するフローチャートである。図１４において、第３の実施形態で説明した図１２と同じ処理については同じ参照数字を付した。

ステップＳ１５０１では、最終出力が印刷であるか判断する。これは、例えばユーザからの指示や、予め定められた設定などに従って判断することができる。最終出力が印刷であれば、ステップＳ１３０８へ進む。印刷でなければ、ファイル出力であると判断し、ステップＳ１５０４へ進む。
ステップＳ１３０８では、例えばプリンタドライバのＧＵＩを介して予め設定されている印刷サイズを取得し、印刷する画像の画素数とから画像の拡大率Ｚを算出する。

ステップＳ１５０２では、ステップＳ１３０８で取得した画像の拡大率Ｚと、ステップＳ１２０７で算出した編集後のシャープネスＳ３とから、印刷用のシャープネスの強度Ｓ４を算出する。Ｓ４は、前述した第１の実施形態、第３の実施形態と同様、Ｓ３と拡大率Ｚに比例した値をとる。すなわち、
Ｓ４＝Ｓ３×Ｚ（％）／１００
である。

ステップＳ１３１０では、ステップＳ１２１０で記憶したコントラストや明るさの調整パラメータの値を用い、ステップＳ７０４で保存したオリジナル画像データ（又はその複製）に対してコントラスト・明るさの調整処理を行う。

ステップＳ１５０３では、ステップＳ１５０２で算出したシャープネス強度Ｓ４を用いて、ステップＳ１３１０の出力結果にシャープネス処理を施す。
ステップＳ１３１２では、ステップＳ１５０３の出力結果のデータをプリンタへ送信して、処理を終了する。

一方、ステップＳ１５０１で、最終出力形態が印刷ではないと判断された場合、ステップＳ１５０４へ進み、ファイル出力を行う。このとき、編集後シャープネスＳ３を施したデータを最終出力データとしてファイルへ出力する。ステップＳ１５０４の処理は図１１のステップＳ１２１２の処理と同様である。

このような処理により、本実施形態によれば、ＲＡＷデータ入力後に、画像再現処理・編集処理・印刷処理という一連の作業を連続的に行う場合、従来各々の処理の中で個別に実行されていたシャープネス処理を一度にまとめることができる。従って、３回のシャープネス処理が実行される従来方法に対して印刷結果の画質劣化を大幅に抑制することができる。

また、本実施形態では最終出力の形態（ファイル出力か印刷出力か）に応じてシャープネスの強度を変更できる。そのため、画面で確認した編集結果画像と、プリントアウトの出力結果、ファイル出力の出力結果の３つが同一画質のように観察されるため、ユーザの作業効率を上げることができる。

〔その他の実施形態〕
第２の実施形態ではアンシャープマスク処理に用いるボケマスクを、撮影時および編集時のシャープネス処理で共通として、撮影時設定の適用量Ｓ１と編集時設定の適用量Ｓ２を単純に足し合わせた。しかし、撮影時設定のシャープネスの影響を相対的に大きくするならば、Ｓ１へ重み付けし足し合わせればよい。また、逆に編集時のシャープネス設定の影響を相対的に大きくするならば、Ｓ２へ重み付けし足し合わせればよい。

また、第２の実施形態ではボケ画像を作成するマトリクスを固定し、撮影時および編集時のシャープネスの強度を、双方の適用量で調整した。しかし、撮影時のシャープネス設定では適用量を決め、編集時のシャープネス設定ではボケ画像を作成するマトリクスの大きさ・種類を決めることもできる。あるいはその逆に、撮影時にはボケ画像を作成するマトリクスの大きさ・種類を、編集時には適用量を決めてもよい。この場合、最終的に設定された、ボケ画像を作成するマトリクスと適用量によりアンシャープマスク処理を施せばよい。

また、第１、第２及び第４の実施形態では、撮影時のシャープネスの強さは、撮影時にファイル書き込まれた値で固定していたが、この値を編集作業で変更してファイルを書き換えても良い。その場合にも、書き換えられた撮影時設定のシャープネスの強さと、ファイルには書き込まれない編集時設定のシャープネスの強さを足し合わせて、最後に１度だけシャープネス処理をすればよい。

また、第２〜第４の実施形態では、アンシャープマスク処理によるシャープネス処理を行ったが、その他のシャープネス法で強調度合いを２箇所で調整する方法でもかまわない。たとえば、隣り合う画素値同士を比較し、画素単位で濃度差をつけるようなシャープネス処理を行う場合や、濃度差のレベルが大きいときにのみ強調処理を行い、濃度差レベルが小さい場合には強調処理を行わないようなシャープネス処理を利用できる。この場合、撮影時設定のシャープネスの程度と編集時設定のシャープネスの程度を合わせて、その値に応じて強調処理を行う閾値を変化させるような方法もある。

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の実施形態に係る画像処理装置のシステム構成例を示すブロック図である。 Ｂａｙｅｒ配列を示す図である。 デジタルカメラでの操作ＵＩを示す図である。 従来の、デジタルカメラでのＲＡＷデータ作成処理の例を説明するフローチャートである。 ＲＡＷデータに対する従来の画像再現処理の例を説明するフローチャートである。 ＪＰＥＧ画像データに対する従来の印刷処理の例を説明するフローチャートである。 ＲＡＷデータ印刷処理の従来例を説明するフローチャートである。 本発明の第１の実施形態に係る画像処理装置における、ＲＡＷデータの印刷処理を説明するフローチャートである。 アンシャープマスクによるシャープネス処理を説明する図である。 ボケ画像作成のための平均化マトリクスの一例を示す図である。 本発明の第２の実施形態における画像編集処理動作について説明するフローチャートである。 本発明の第３の実施形態に係る画像処理装置における、画像編集および印刷動作について説明するフローチャートである。 本発明の第３の実施形態に係る画像処理装置における、画像再現処理、画像編集処理および出力処理の動作について説明するフローチャートである。 第４の実施形態における最終出力処理を説明するフローチャートである。

Claims (12)

1. 画像データに対してシャープネス処理を実施し、出力する画像処理装置であって、
   画像データを表示形式に再現する再現処理を実行する再現処理手段と、
   前記表示形式の画像データに、所定の出力条件又はユーザの指示に従った少なくとも１つの編集処理を行う編集処理手段と、
   前記編集処理後の画像データを前記所定の出力条件で出力する出力手段と、
   前記画像データの撮影時に設定された、前記再現処理用のシャープネス処理を規定する第１のシャープネスパラメータ、を取得する第１のパラメータ取得手段と、
   拡大・縮小処理を伴う編集処理に応じて設定された、前記編集処理用のシャープネス処理を規定する第２のシャープネスパラメータ、を取得する第２のパラメータ取得手段と、
   前記第１および第２のシャープネスパラメータを合成するパラメータ合成手段と、
   前記パラメータ合成手段により合成されたシャープネスパラメータを用いて、シャープネス処理を施すシャープネス処理手段と、
   前記再現処理手段及び前記編集処理手段において、前記再現処理及び前記編集処理のうち、シャープネス処理以外の処理を行い、
   前記シャープネス処理手段で前記編集処理済み画像データにシャープネス処理を行い、前記シャープネス処理済み画像データを前記出力手段で出力するように制御する制御手段とを有すること
   を特徴とする画像処理装置。
2. 前記画像データは、撮像装置内の撮像素子からの出力信号をデジタルデータに変換したＲＡＷデータであることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データは圧縮された画像データであり、
   前記再現処理とは圧縮された画像データに対する伸張処理であることを特徴とする請求項１に記載の画像処理装置。
4. 画像データに対してシャープネス処理を実施し、出力する画像処理装置であって、
   画像データを表示形式に再現する再現処理を実行する再現処理手段と、
   前記表示形式の画像データに、所定の出力条件又はユーザの指示に従った少なくとも１つの編集処理を行う編集処理手段と、
   前記編集処理後の画像データを前記所定の出力条件で出力する出力手段と、
   前記再現処理後の画像データに、ユーザの指示に応じて設定された、前記編集処理用のシャープネス処理を規定する第１のシャープネスパラメータ、を取得する第１のパラメータ取得手段と、
   拡大・縮小処理を伴う編集処理に応じて設定された、前記編集処理用のシャープネス処理を規定する第２のシャープネスパラメータ、を取得する第２のパラメータ取得手段と、
   前記第１および第２のシャープネスパラメータを合成するパラメータ合成手段と、
   前記パラメータ合成手段により合成されたシャープネスパラメータを用いて、シャープネス処理を施すシャープネス処理手段と、
   前記再現処理手段及び前記編集処理手段において、前記再現処理及び前記編集処理のうち、シャープネス処理以外の処理を行い、
   前記シャープネス処理手段で前記編集処理済み画像データにシャープネス処理を行い、前記シャープネス処理済み画像データを前記出力手段で出力するように制御する制御手段とを有すること
   を特徴とする画像処理装置。
5. 前記所定の出力条件とは、印刷に対する条件であり、
   前記編集処理とは、印刷に伴う拡大・縮小処理であり、
   前記編集処理手段が、
   印刷用紙サイズを取得する印刷サイズ取得手段と、
   前記用紙サイズと、前記表示形式の画像データのサイズから、画像の拡大・縮小率を算出する倍率算出手段とを備え、
   前記第２のシャープネスパラメータが、前記倍率算出手段により算出された拡大・縮小率から生成されるパラメータであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 画像データに対してシャープネス処理を実施し、出力する画像処理方法であって、
   画像データを表示形式に再現する再現処理を実行する再現処理ステップと、
   前記表示形式の画像データに、所定の出力条件又はユーザの指示に従った少なくとも１つの編集処理を行う編集処理ステップと、
   前記編集処理後の画像データを前記所定の出力条件で出力する出力ステップと、
   前記画像データの撮影時に設定された、前記再現処理用のシャープネス処理を規定する第１のシャープネスパラメータ、を取得する第１のパラメータ取得ステップと、
   拡大・縮小処理を伴う編集処理に応じて設定された、前記再現処理用のシャープネス処理を規定する第２のシャープネスパラメータ、を取得する第２のパラメータ取得ステップと、
   前記第１および第２のシャープネスパラメータを合成するパラメータ合成ステップと、前記パラメータ合成ステップにより合成されたシャープネスパラメータを用いて、シャープネス処理を施すシャープネス処理ステップとを有し、
   前記再現処理ステップ及び前記編集処理ステップにおいて、前記再現処理及び前記編集処理のうち、シャープネス処理以外の処理を行い、
   前記シャープネス処理ステップで前記編集処理済み画像データにシャープネス処理を行い、
   前記シャープネス処理済み画像データを前記出力ステップで出力するように制御すること
   を特徴とする画像処理方法。
7. 前記画像データは、撮像装置内の撮像素子からの出力信号をデジタルデータに変換したＲＡＷデータであることを特徴とする請求項６に記載の画像処理方法。
8. 前記画像データは圧縮された画像データであり、
   前記再現処理とは圧縮された画像データに対する伸張処理であることを特徴とする請求項６に記載の画像処理方法。
9. 画像データに対してシャープネス処理を実施し、出力する画像処理方法であって、
   画像データを表示形式に再現する再現処理を実行する再現処理ステップと、
   前記表示形式の画像データに、所定の出力条件又はユーザの指示に従った少なくとも１つの編集処理を行う編集処理ステップと、
   前記編集処理後の画像データを前記所定の出力条件で出力する出力ステップと、
   前記再現処理後の画像データに、ユーザの指示に応じて設定された、前記編集処理用のシャープネスパラメータ、を取得する第１のパラメータ取得ステップと、
   拡大・縮小処理を伴う編集処理に応じて設定された、前記編集処理用の第２のシャープネスパラメータ、を取得する第２のパラメータ取得ステップと、
   前記第１および第２のシャープネスパラメータを合成するパラメータ合成ステップと、前記パラメータ合成ステップにより合成されたシャープネスパラメータを用いて、シャープネス処理を施すシャープネス処理ステップとを有し、
   前記再現処理ステップ及び前記編集処理ステップにおいて、前記再現処理及び前記編集処理のうち、シャープネス処理以外の処理を行い、
   前記シャープネス処理ステップで前記編集処理済み画像データにシャープネス処理を行い、
   前記シャープネス処理済み画像データを前記出力ステップで出力するように制御すること
   を特徴とする画像処理方法。
10. 前記所定の出力条件とは、印刷に対する条件であり、
    前記編集処理とは、印刷に伴う拡大・縮小処理であり、
    前記編集処理ステップが、
    印刷用紙サイズを取得する印刷サイズ取得ステップと、
    前記用紙サイズと、前記表示形式の画像データのサイズから、画像の拡大・縮小率を算出する倍率算出ステップとを備え、
    前記第２のシャープネスパラメータが、前記倍率算出ステップにより算出された拡大・縮小率から生成されるパラメータであることを特徴とする請求項６乃至請求項９のいずれか１項に記載の画像処理方法。
11. コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. 請求項１１に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images