JP6576174B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6576174B2
JP6576174B2 JP2015175837A JP2015175837A JP6576174B2 JP 6576174 B2 JP6576174 B2 JP 6576174B2 JP 2015175837 A JP2015175837 A JP 2015175837A JP 2015175837 A JP2015175837 A JP 2015175837A JP 6576174 B2 JP6576174 B2 JP 6576174B2
Authority
JP
Japan
Prior art keywords
image
information
recovery
sharpness reduction
sharpness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015175837A
Other languages
English (en)
Other versions
JP2016082579A (ja
JP2016082579A5 (ja
Inventor
智和 柳内
智和 柳内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US14/882,939 priority Critical patent/US9508130B2/en
Publication of JP2016082579A publication Critical patent/JP2016082579A/ja
Publication of JP2016082579A5 publication Critical patent/JP2016082579A5/ja
Application granted granted Critical
Publication of JP6576174B2 publication Critical patent/JP6576174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Image Processing (AREA)

Description

本発明は、画像形成装置が出力する画像データに対し、撮像装置および画像形成装置に応じた画像回復処理を行う画像処理装置、画像処理方法およびプログラムに関する。
デジタルカメラ等の撮像装置やプリンタ等の画像形成装置においては、それぞれ空間周波数特性であるMTF(Modulation Transfer Function)がある。各機器の出力画像には、上記空間周波数特性による画質劣化(例えば、鮮鋭度の低下)が生じる。そして、その鮮鋭度の低下の程度は、撮像装置や画像形成装置の方式や機種の違い、動作モードの違いによって異なることが知られている。
従来、鮮鋭性向上のための画像処理装置として、特許文献1に記載の技術がある。この技術は、画像形成対象である画像データの作成過程における空間周波数特性と、画像データを出力する出力モードにおける空間周波数特性とに基づいて、画像処理システム全体の理想的な空間周波数特性(目標伝達特性)を実現するように、当該画像データの補正特性を設定するものである。
特開平9−172543号公報
撮像装置であるデジタルカメラにおいては、レンズなどの暈けによる鮮鋭低下が発生する場合があり、当該鮮鋭性低下を抑制するために、ユーザの指示に基づき、暈けの少ない状態に画像を回復する処理が行われる場合がある。すなわち、同一の撮像装置、同一動作モード(撮影条件)を用いたとしても、生成される撮像画像の鮮鋭性は、ユーザの指示次第で変化する。したがって、同一カメラ、同一レンズ、同一動作モード(撮影条件)を用いたとしても、生成される画像には、光学系の暈けの少ない状態に回復された画像と、回復されていない画像とが混在することになる。
しかしながら、上記特許文献1に記載の技術にあっては、画像形成装置側において、上記のようなユーザによって鮮鋭低下の回復(補正)の程度が調整された情報を取得することはできない。そのため、ユーザよって鮮鋭性が様々な回復状態に調整された撮像画像が与えられた場合、画像形成装置側の処理において適正なプリント鮮鋭回復ができない。
すなわち、画像データの作成過程における空間周波数特性と、画像形成装置の空間周波数特性とに基づいて、鮮鋭性回復のための画像回復処理を実施した場合、鮮鋭補正が大きすぎて過補正となる場合がある。
そこで、本発明は、撮像装置から入力された撮像画像を画像形成装置で出力する際に、撮像装置から様々な回復状態に調整された撮像画像が入力された場合であっても、画像形成装置での出力に適正な画像回復を行うことを目的とする。
上記課題を解決するために、本発明に係る画像処理装置の一態様は、撮像系で撮像された撮像画像を取得する第一の取得手段と、前記撮像画像において発生している前記撮像系に起因する鮮鋭低下に関する第一画像情報を取得する第二の取得手段と、前記撮像画像に対する、前記第一画像情報に応じた回復処理を特定する特定手段と、前記撮像画像に基づいて記録媒体上に画像を形成する画像形成系に起因する鮮鋭低下に関する第二画像情報を取得する第三の取得手段と、前記第一画像情報と前記第二画像情報とに基づいて、前記撮像系に起因する鮮鋭低下と前記画像形成系に起因する鮮鋭低下の少なくとも一方を補正するための画像回復情報を設定する設定手段と、前記撮像画像に対して、前記画像回復情報を用いて回復処理により補正する補正手段と、を有し、前記設定手段は、前記特定手段による回復処理の特定結果に応じて、前記画像回復情報を設定する。
このように、撮像画像において発生している撮像系に起因する鮮鋭低下に関する情報を取得するので、撮像装置側で画像劣化(鮮鋭低下)の補正(回復)処理が行われているか否かや、どの程度補正(回復)されているか等を特定することができる。したがって、撮像装置側の画像回復処理に応じた画像形成装置側の画像回復処理を行うことができる。
本発明によれば、撮像装置から入力された撮像画像を画像形成装置で出力する際に、撮像装置から様々な回復状態に調整された撮像画像が入力された場合であっても、画像形成装置での出力に適正な画像回復を行うことができる。
第一の実施形態の画像処理システムを構成する撮像装置及び画像形成装置の一例を示す機能ブロック図である。 撮像パラメータ保持部を示す図である。 画像形成パラメータ保持部を示す図である。 撮像装置のハードウェア構成の一例を示す図である。 撮像装置で実行される画像処理手順を示すフローチャートである。 鮮鋭低下補正の確認画面の表示例である。 補正強度の編集画面の表示例である。 第一編集値p1と第一設定情報との関係を示す図である。 画像形成装置で実行される画像処理手順を示すフローチャートである。 第二設定情報の第一の設定方法を示す図である。 第二設定情報の第二の設定方法を示す図である。 第二設定情報の第三の設定方法を示す図である。 第二設定情報の第四の設定方法を示す図である。 第二編集値p2の編集不可能領域の表示例である。 第二の実施形態における画像形成装置の処理手順を示すフローチャートである。 第二の実施形態における第二の設定方法を示す図である。 第三の実施形態の画像形成装置の処理手順を示すフローチャートである。 第三の実施形態における第二の設定方法を示す図である。
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
(第一の実施形態)
図1は、第一の実施形態における画像処理システムの構成例を示す図である。
画像処理システム100は、撮像装置10と、画像形成装置20とを備える。撮像装置10と画像形成装置20とは、例えば、USB(Universal Serial Bus)やIEEE1394等のシリアルバスインタフェイス、または回路等によって接続されている。
撮像装置10は、例えばデジタルカメラ等の画像入力装置であり、撮像センサ部101、撮像パラメータ取得部102、撮像UI(ユーザインターフェース)部103、撮像情報表示部104、第一設定情報算出部105、撮像画像処理部106、データ記憶部107、及びデータ出力部108を備える。
撮像センサ部101は、被写体画像を撮影するものであり、レンズ、カメラなどにより構成される後述する撮像部の撮像面に結像された光像を光電変換によりデジタル電気信号に変換する。
撮像パラメータ取得部102は、図2に示す撮像パラメータ保持部112から、当該撮像パラメータ保持部112に保持された第一鮮鋭低下情報と第一補正情報とを読み出し、取得する。ここで、第一鮮鋭低下情報とは、撮像装置10の撮像系(撮像部)に起因する画像劣化(鮮鋭低下)に関する情報であり、第一補正情報とは、上記撮像部の鮮鋭低下を補正するための情報である。より具体的には、第一鮮鋭低下情報は、撮像光学系の種々の収差に由来する画像劣化(鮮鋭度の低下)を表す情報であり、点広がり関数(PSF:Point Spread Function)であるp(x,y)、またはp(x,y)をフーリエ変換した空間周波数特性で表す。ここで、(x,y)は、実空間における画像の座標を示す。また、第一補正情報は、空間フィルタ係数h(x,y)で表す。この第一補正情報は、第一鮮鋭低下情報の逆関数(逆フィルタ)である。
なお、撮像装置10は、例えば、被写体面に撮像素子を密着させて撮像するスキャナ(読み取り装置)やX線撮像装置等の画像入力装置であってもよい。例えば、画像入力装置では、デジタルカメラ、フラットベッドスキャナなど、撮像装置の方式によって撮像系が夫々違うため、鮮鋭低下の程度が異なる。また、同じデジタルカメラであっても機種によって鮮鋭低下の程度が異なる。更には、同一の撮像装置であっても動作モードが異なる場合には、鮮鋭低下の程度が異なる。例えば、フラットベッドスキャナにおける高速スキャン/低速スキャンモード、デジタルカメラにおける絞り量の大、小などの撮影条件モード、撮像画像における画像中心位置からの距離(像高)によっても鮮鋭低下の程度は異なる。そこで、撮像パラメータ保持部112は、上記のように方式や機種の違い、動作モードの違いに応じた複数の第一鮮鋭低下情報を保持しておくものとする。
撮像UI部103は、撮像情報表示部104に後述する撮像指示情報をユーザに入力させるための入力画面を表示させると共に、当該入力画面からユーザが入力した撮像指示情報を取得する。ユーザによる撮像指示情報の入力は、撮像情報表示部104によってタッチパネルに表示された画面に対してタッチペン等を用いて行われてもよいし、撮像装置10に設けられた各種スイッチや十字キーなどの操作部(入力部)の操作により行われてもよい。この撮像UI部103は、上記撮像指示情報として、撮像部におけるレンズ、カメラの鮮鋭低下を補正するか否かを示す情報、また、当該補正を行う場合にはその補正量(補正の強度)を示す情報(第一編集値p1)を取得する。この第一編集値p1は、撮像装置10の鮮鋭低下の回復の程度を示す編集値である。
撮像情報表示部104は、上記入力画面や撮像画像等をディスプレイ(表示部)に表示する。第一設定情報算出部105は、第一編集値p1と第一補正情報h(x,y)とに基づいて、実際に鮮鋭低下を補正(回復)する画像回復処理(以下、「回復処理」ともいう。)に用いる第一設定情報g(x,y)を算出する。この第一設定情報g(x,y)は、ユーザの指示により画像回復強度が調整された画像回復フィルタである。なお、第一設定情報は、g(x,y)をフーリエ変換した空間周波数特性であってもよい。
撮像画像処理部106は、第一設定情報算出部105で算出した第一設定情報g(x,y)を用いて、被写体画像に対して撮像部の光学的な鮮鋭低下を補正する画像回復処理を施し、撮像画像を生成する。撮像画像処理部106は、生成した撮像画像を撮像情報表示部104に表示させる。
データ記憶部107は、撮像画像処理部106で生成した撮像画像を格納する。また、同時に、当該撮像画像に対応した第一鮮鋭低下情報と第一設定情報とが保存可能な場合には、これらの保存も行う。
データ出力部108には、ケーブル等を介して画像形成装置20を接続したり、メモリカード等の記録媒体を接続したりすることができる。そして、データ出力部108は、データ記憶部107に格納した撮像画像を、画像形成装置20に直接出力したり上記の記録媒体等に出力したりする。
次に、画像形成装置20の構成について説明する。
画像形成装置20は、例えばプリンタ等であり、画像処理部20Aを備える。画像処理部20Aは、データ取得部201と、画像形成パラメータ取得部202と、形成UI(ユーザインターフェース)部203と、形成情報表示部204と、第二設定情報算出部205と、変倍処理部206と、形成データ記憶部207と、画像形成処理部208と、を備える。また、画像形成装置20は、画像形成部(画像形成系)209をさらに備える。
データ取得部201は、撮像装置10や当該撮像装置10で撮像した撮像画像が記録された記録媒体等から、撮像装置10で撮像した撮像画像を取得する。このとき、データ取得部201は、撮像画像に対応した第一鮮鋭低下情報及び第一設定情報が取得可能か否かの判定を行い、取得可能である場合はこれらの取得も行う。
画像形成パラメータ取得部202は、図3に示す画像形成パラメータ保持部212から、当該画像形成パラメータ保持部212に保持された第二鮮鋭低下情報と第二補正情報とを読み出し、取得する。ここで、第二鮮鋭低下情報は、撮像画像をもとに記録媒体上に画像を形成する画像形成系に起因する画像劣化(画像形成部209の鮮鋭低下)に関する情報であり、第二補正情報は、画像形成部209の鮮鋭低下を補正(回復)するための情報である。なお、第二鮮鋭低下情報を必ずしも取得する必要はなく、第二補正情報のみを取得しても良い。
第二鮮鋭低下情報は、例えば空間周波数特性で表す。また、第二補正情報は、第二鮮鋭低下情報の逆特性とすることができる。ただし第二補正情報は、鮮鋭低下を補正するために第二鮮鋭低下情報に応じて設定されたものであればよく、必ずしも第二鮮鋭低下情報の逆特性そのものである必要はない。画像形成装置20は、インクジェットプリンタや電子写真プリンタなどの画像形成装置の方式によって、インクやトナーに起因するドットゲインや着弾位置ずれ量が夫々違うため、鮮鋭低下の程度は異なる。また、機種によっても鮮鋭低下の程度が異なる。更には、インクジェットプリンタにおける高品質印刷/高速印刷モード、光沢紙/普通紙記録モードによっても鮮鋭低下の程度は異なる。それらの鮮鋭低下をどの程度補正するかは、適宜画像形成系の出力特性に応じて設定すればよい。
そこで、本実施形態では、形成パラメータ保持部212は、上記のように方式や機種の違い、動作モードの違いに応じた複数の第二鮮鋭低下情報を保持しておくものとする。
形成UI部203は、形成情報表示部204に後述する形成指示情報をユーザに入力させるための入力画面を表示させると共に、当該入力画面からユーザが入力した形成指示情報を取得する。ユーザによる形成指示情報の入力は、形成情報表示部204によってタッチパネルに表示された画面に対してタッチペン等を用いて行われてもよいし、各種スイッチや十字キーなどの操作部(入力部)の操作により行われてもよい。この形成UI部203は、上記形成指示情報として、画像の出力サイズに関する情報を取得する。
第二設定情報算出部205は、実際に鮮鋭低下を補正(回復)する処理(回復処理)に用いる第二設定情報k(x,y)を算出する。第二設定情報算出部205は、第二設定情報k(x,y)の算出に、撮像画像に対応した第一鮮鋭低下情報および第一設定情報、並びに画像形成パラメータ保持部212によって取得された第二鮮鋭低下情報および第二補正情報の少なくとも1つを用いる。この第二設定情報k(x,y)は、撮像装置10の鮮鋭低下分や、ユーザによって調整された撮像装置10における鮮鋭低下の回復の程度を考慮した適正なプリント鮮鋭回復を実現するための画像回復フィルタである。第二設定情報算出部205はまず、取得した撮像画像が既に撮像装置10側の鮮鋭低下を補正する回復処理をされたかなどを特定し、特定結果に応じて第二設定情報算出部205は第二設定情報k(x,y)を算出する。特定できた場合、第二設定情報算出部205は、撮像画像において発生している撮像系に起因する画像劣化に関する情報を用いて、第二設定情報k(x,y)を算出する。
従って本実施形態では、第二設定情報算出部205は、上記の第一鮮鋭低下情報、第一設定情報、第二鮮鋭低下情報、第二補正情報のいずれが取得可能であるかに応じて、第二設定情報k(x,y)の算出方法を変更する。そして、第二設定情報算出部205は、算出した第二設定情報k(x、y)を、画像形成処理部208に出力する。
変倍処理部206は、撮像画像を画像形成部209で形成する解像度へ変倍する。この変倍処理部206は、ユーザによって指示された出力サイズに応じた変倍率で撮像画像を変倍し、変倍した撮像画像を形成データ記憶部207に出力する。なお、ここでいう変倍とは、拡大と縮小の両方を含むものとする。
形成データ記憶部207は、変倍処理部206で変倍された撮像画像を形成データメモリ(不図示)に記憶する。画像形成処理部208は、第二設定情報算出部205で算出した第二設定情報k(x,y)を用いて、撮像画像に対して鮮鋭低下を補正する画像回復処理を施し、形成画像を生成する。画像形成処理部208は、生成した形成画像を画像形成部209に出力する。画像形成部209は、後述する印刷部を駆動制御し、画像形成処理部208で生成した形成画像を用いて、紙等のシート状の記録媒体にインクやトナーを定着させる画像形成を行わせる。
(撮像装置10、画像形成装置20のハードウェア構成)
図4は、撮像装置10のハードウェア構成の一例である。
撮像装置10は、CPU11と、ROM12と、RAM13と、外部メモリ14と、撮像部15と、入力部16と、表示部17と、通信I/F18と、システムバス19とを備える。CPU11は、撮像装置10における動作を統括的に制御するものであり、システムバス19を介して、各構成部(12〜18)を制御する。ROM12は、CPU11が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ14や着脱可能な記憶媒体(不図示)に記憶されていてもよい。RAM13は、CPU11の主メモリ、ワークエリア等として機能する。すなわち、CPU11は、処理の実行に際してROM12から必要なプログラム等をRAM13にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ14は、例えば、CPU11がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ14には、例えば、CPU11がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。この外部メモリ14は、上記の撮像パラメータ保持部112及びデータメモリを含む。撮像部15は、被写体の撮像を行うためのものであり、レンズ、カメラなどから構成される。当該カメラは、光学LPF(Low Pass Filter)、メカニカルシャッター、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子などを含む。
入力部16は各種スイッチや十字キー、電源ボタンなどから構成され、撮像装置10のユーザは、入力部16を介して当該撮像装置10に指示を与えることができるようになっている。表示部17は、液晶ディスプレイ(LCD)等のモニタで構成される。通信I/F18は、外部装置(ここでは、画像形成装置20)と通信するためのインターフェースである。通信I/F18は、例えばUSBインターフェース等である。システムバス19は、CPU11、ROM12、RAM13、外部メモリ14、撮像部15、入力部16、表示部17及び通信I/F18を通信可能に接続する。図1に示す撮像装置10の各部の機能や画像形成装置20の各部の機能は、CPU11がROM12もしくは外部メモリ14に記憶されたプログラムを実行することで実現される。
ここで、画像形成装置20の場合には、図4の撮像部15に代えて、印刷部等のハードウェア構成を具備する。画像形成装置20がプリンタである場合、当該印刷部は、例えばプリントヘッドやノズルを有し、形成画像をもとに画像形成を行う(被印刷媒体上に印刷する)。また、印刷部は、形成画像をプリンタエンジンに出力するものであってもよい。さらに、画像形成装置20の場合には、図4の外部メモリ14に対応する外部メモリは、上記の画像形成パラメータ保持部212及び形成データメモリを含む。そして、図1に示す画像形成装置20の各部の機能は、図4のCPU11に対応する画像形成装置20のCPUが、所定のプログラムを実行することにより実現され得る。
(撮像装置10における画像処理手順)
図5は、撮像装置10で実行する画像処理手順の一例を示すフローチャートである。図5に示される処理は、図4に示すCPU11が、ROM12もしくは外部メモリ14に格納されたプログラムを読み出して実行することにより実現される。本実施形態では、この図5の処理は、例えば、ユーザから撮像装置10に対する撮影開始指示が入力されたタイミングで開始されるものとする。ただし、図5の処理の開始のタイミングは上記のタイミングに限らない。
先ずステップS1で、撮像装置10は、撮像センサ部101によって被写体画像であるRGBデータを撮影する。ここでは、撮像されたRGBデータを、それぞれ、rt(x,y)、gt(x,y)、bt(x,y)とする。これら被写体画像rt、gt、btは、一旦データメモリに格納される。
次にステップS2では、撮像装置10は、ユーザが撮像部の鮮鋭低下を補正する意思があるか否かを判定する。ここでは、撮像情報表示部104によって、例えば図6に示すような確認画面をディスプレイに表示し、ユーザの指示(撮像指示情報)を入力させるようにしてもよい。この場合、ステップS2では、撮像装置10は、例えば、ユーザが図6に示す確認画面において「補正を行う」にチェック1001を入れ、「OK」ボタン1002を押したことを示す情報を取得したとき、ユーザが鮮鋭低下を補正する意思があると判断する。そして、このステップS2で、撮像装置10が、ユーザに鮮鋭低下を補正する意思があると判断した場合にはステップS3に移行し、鮮鋭低下を補正する意思がないと判断した場合には後述するステップS7に移行する。
ステップS3では、撮像装置10は、ユーザが撮像装置10の鮮鋭低下を補正するための補正量を編集(補正強度を調整)したか否かを判定する。ここでは、撮像情報表示部104によって、例えば図7に示すような編集画面をディスプレイに表示し、ユーザの指示(撮像指示情報)を入力させるようにしてもよい。この場合、ステップS3では、撮像装置10は、例えば、ユーザが図7に示す編集画面において「編集」ボタンにチェック1003を入れ、スライドバー1004をデフォルト位置(1.0)から変化させたことを示す情報を取得したとき、ユーザが鮮鋭低下の補正量を編集したと判断する。そして、このステップS3で、撮像装置10が、ユーザが鮮鋭低下の補正量を編集したと判断した場合にはステップS4に移行し、鮮鋭低下の補正量を編集していないと判断した場合にはステップS5に移行する。
ステップS4では、撮像装置10は、ユーザが指示した鮮鋭低下の補正量の編集値(補正強度値)を取得し、ステップS6に移行する。ここでは、撮像装置10は、例えば、ユーザが図7に示す編集画面において「OK」ボタン1005を押したことを示す情報を取得したとき、その時点でスライドバー1004が示す値を同時に取得するようにしてもよい。このとき取得した値が上記編集値であり、本実施形態では、取得した編集値を第一編集値p1とする。ここで、第一編集値p1は0.0以上1.0以下の値である。一方、ステップS5では、撮影装置10は、第一編集値p1をデフォルト値である1.0に設定し、ステップS6に移行する。
ステップS6では、撮像装置10は、ステップS4またはS5で設定した第一編集値p1と、撮像パラメータ保持部112に保持されている第一補正情報h(x,y)とに基づいて、次式をもとに、実際の画像回復処理に用いる第一設定情報g(x,y)を算出する。
g(x,y)=h(x,y)×p1+dlt(x,y)……(1)
ここで、dlt(x、y)は係数の中心位置に1.0、中心以外の係数は0.0を持つデルタ関数である。
このように、第一設定情報g(x,y)は、第一補正情報h(x,y)と第一編集値p1との積に基づき表される。
すなわち、p1=1.0の場合、図8に示すように、空間フィルタ係数g(x,y)で表される第一設定情報1101は第一補正情報h(x,y)にデルタ関数dlt(x、y)を加えたものと等しくなり、撮像装置10の鮮鋭低下分を補正するような第一設定情報が設定される。このときの第一設定情報の空間周波数応答は、下段に示す空間周波数特性1102である。
また、p1=0.5の場合には、図8に示すように、空間フィルタ係数g(x,y)で表される第一設定情報1103は第一補正情報h(x、y)の半分の補正量を示すものとなり、このときの第一設定情報の空間周波数応答は、下段に示す空間周波数特性1104に示すものとなる。
さらに、p1=0.0の場合には、図8に示すように、空間フィルタ係数g(x,y)で表される第一設定情報1105は、係数中心以外は0(デルタ関数)となり、鮮鋭低下を補正しないことを意味する。このときの第一設定情報の空間周波数応答は、下段に示す空間周波数特性1106に示すものとなる。
なお、第一編集値p1はユーザにより連続的に設定可能なため、第一設定情報は第一編集値p1に応じて連続的に設定される。また、撮像装置10は、算出した第一設定情報を保持する際、空間フィルタ係数g(x,y)のみを保持してもよいし、空間フィルタ係数g(x,y)と第一編集値p1とをセットで保持してもよい。あるいは、撮像装置10は、空間フィルタ係数g(x,y)に替えて、第一補正情報h(x,y)と第一編集値p1とをセットで保持してもよい。
図5に戻って、上記のステップS2で、撮像装置10が、ユーザが鮮鋭低下を補正する意思がないと判断した場合には、ステップS7に移行し、空間フィルタ係数g(x,y)である第一設定情報を0(第一編集値p1=0.0)とする。すなわち、鮮鋭低下を補正しないようにする。
次にステップS8では、撮像装置10は、上記のステップS6又はS7で算出した第一設定情報g(x,y)を用いて撮像画像rs、gs、bsを生成する。
rs(x,y)=rt(x,y)*g(x,y) ………(2)
gs(x,y)=gt(x,y)*g(x,y) ………(3)
bs(x,y)=bt(x,y)*g(x,y) ………(4)
ここで、上記の「*」はコンボリューション(畳み込み積分、積和)を示す。このように、撮像画像は、第一設定情報を用いて被写体画像の畳み込み処理により生成される。
なお、このステップS8では、撮像装置10は、ユーザが、撮像情報表示部104によって表示した撮像画像生成ボタン(不図示)を押したことを示す情報を取得したタイミングで、撮像画像を生成するようにしてもよい。また、上述の処理はRGBに対してのコンボリューションを行ったが、RGBからYCbCr等に変換した後、輝度Y信号にのみコンボリューション処理を行っても良い。あるいは、上述のコンボリューション処理を、高速フーリエ変換等で行っても良い。その場合は、高速フーリエ変換を用いて空間周波数領域に変換した後、積算処理を行った後、高速フーリエ逆変換をする。
ステップS9では、撮像装置10は、ステップS8で生成した撮像画像をディスプレイに表示し、ステップS10に移行する。ステップS10では、撮像装置10は、ステップS8で生成した撮像画像をデータメモリに記憶し、ステップS11に移行する。ステップS11では、撮像装置10は、第一鮮鋭低下情報を撮像画像に対応させて保存するか否かを判定する。このステップS11では、例えば、ユーザが、撮像情報表示部104によって表示した鮮鋭低下情報保存ボタン(不図示)を押したことを示す情報を取得したとき、第一鮮鋭低下情報を撮像画像に対応させて保存すると判断するようにしてもよい。
そして、第一鮮鋭低下情報を撮像画像に対応させて保存する場合にはステップS12に移行し、第一鮮鋭低下情報をデータメモリに保存してからステップS13に移行する。一方、ステップS11で第一鮮鋭低下情報を保存しないと判断した場合には、そのままステップS13に移行する。ここで、ステップS12では、第一鮮鋭低下情報は対応する撮像画像のタグに保存してもよいし、当該撮像画像の付加情報として保存してもよい。また、第一鮮鋭低下情報は、点広がり関数であるp(x,y)をフーリエ変換して得られる空間周波数特性として保存してもよい。さらに、第一鮮鋭低下情報として、撮像部(カメラ、レンズ)の種類が特定可能な情報のみを保存し、外部ネットワークから第一鮮鋭低下情報をダウンロードする構成であってもよい。
ステップS13では、撮像装置10は、第一設定情報を撮像画像に対応させて保存するか否かを判定する。このステップS13では、例えば、ユーザが、撮像情報表示部104によって表示した設定情報保存ボタン(不図示)を押したことを示す情報を取得したとき、第一設定情報を撮像画像に対応させて保存すると判断するようにしてもよい。そして、第一設定情報を撮像画像に対応させて保存する場合にはステップS14に移行し、第一設定情報をデータメモリに保存してから図5に示す画像処理を終了する。一方、ステップS13で第一設定情報を保存しないと判断した場合には、そのまま図5に示す画像処理を終了する。
ここで、ステップS13では、第一設定情報は対応する撮像画像のタグに保存してもよいし、当該撮像画像の付加情報として保存してもよい。また、第一設定情報は、空間フィルタ係数で表されるg(x,y)をフーリエ変換して得られる空間周波数特性として保存してもよい。さらに、第一設定情報として、第一編集値p1を保存してもよい。
以上のように、撮像装置10は、被写体画像に対して撮像部に起因する画像劣化(鮮鋭低下)を補正する画像回復処理(鮮鋭低下補正処理)を施し、撮像画像を生成する。このとき、ユーザの指示により、鮮鋭低下の補正の程度(強度)が調整される。
本実施形態では、ユーザは第一編集値p1を0.0≦p1≦1.0の範囲で連続的に設定可能であるため、画像回復処理により生成される撮像画像は、ユーザの指示のもと、様々な回復状態となり得る。すなわち、撮像装置10で生成される撮像画像には、撮像光学系の暈けの少ない状態に回復された画像と、回復されていない画像とが混在し得る。つまり、撮像装置10によって生成される撮像画像は、鮮鋭低下が完全に回復されている場合と、鮮鋭低下が発生している(残っている)場合とがある。
なお、上述の例では第一編集値p1として強度値を指定する場合について説明したが、鮮鋭低下を回復する空間周波数の値を指定してもよい。例えば、指定した空間周波数値以下の鮮鋭低下を補正(回復)するようにした場合、指定した空間周波数値が大きい場合は補正(回復)する周波数帯の範囲が広いため、補正(回復)の程度は大きくなる。逆に、指定した空間周波数値が小さい場合は補正(回復)する周波数帯の幅が狭いため、補正(回復)の程度は小さくなる。
さらに、本実施形態では、ユーザの意思により、生成された撮像画像に対応する第一鮮鋭低下情報や第一設定情報(または第一編集値p1)が保存されない状況が起こり得る。なお、本実施形態に限らず、デジタルカメラ内部ソフトウェア、外部ソフトウェアなどによる画像レタッチの過程で、ユーザが意図せずとも、タグ情報や付加情報が除去されることもあり得る。さらに、ユーザが選択する画像保存形式によっても、ユーザが意図せずに、上述のタグ情報や付加情報が除去されることもあり得る。
したがって、撮像部の鮮鋭低下情報や、鮮鋭低下補正のための情報(実際に画像回復処理に用いた補正量)は、画像形成装置20へ伝わらないこともあり得る。そこで、画像形成装置20では、第一画像情報が取得できたか否かに応じて、適正なプリント鮮鋭回復ができるよう画像処理を実施する。
(画像形成装置20における画像処理手順)
図9は、画像形成装置20で実行する画像処理手順の一例を示すフローチャートである。図9に示される処理は、画像形成装置20を構成するCPUが、ROMもしくは外部メモリに格納されたプログラムを読み出して実行することにより実現される。本実施形態では、この図9の処理は、例えば、ユーザが画像形成部209による撮像画像の出力開始指示が入力されたタイミングで開始されるものとする。ただし、図9の処理の開始のタイミングは上記のタイミングに限らない。
先ずステップS21で、画像形成装置20は、撮像装置10から撮像画像を取得し、ステップS22に移行する。ステップS22では、画像形成装置20は、ステップS21で取得した撮像画像をプリントの解像度へ変倍する。例えば、4800×4800Pixelの撮像画像を出力解像度1200×1200dpiのプリンタで出力することを想定する。このとき、出力サイズが4インチ×4インチ(10.16cm×10.16cm)の場合は変倍の必要はないが、例えば、出力サイズが8インチ×8インチの場合には、撮像画像を縦横2倍に拡大する必要がある。また、出力サイズが3インチ×3インチの場合は、撮像画像を縦横3/4倍に縮小する必要がある。このステップS22では、形成UI部203からユーザが指定した出力サイズに関する情報を取得し、指示された出力サイズに応じた変倍率で上記の変倍処理を実行する。変倍した撮像画像は、形成データメモリに一旦保持する。
次に、ステップS23では、画像形成装置20は、ステップS21で取得した撮像画像に対応する第一鮮鋭低下情報を取得できたか否かを判定する。そして、第一鮮鋭低下情報が取得できなかったと判断した場合には、ステップS24に移行し、第一鮮鋭低下情報を取得できたと判断した場合にはステップS25に移行する。なお、このステップS23では、直接的に第一鮮鋭低下情報を取得できなくとも、撮像部101におけるレンズ、カメラの種類が特定でき、外部ネットワーク等を通じて、該当するレンズ、カメラの第一鮮鋭低下情報が取得できる場合には、第一鮮鋭低下情報が取得できたと判定する。
ステップS24では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報のみに基づいて、画像回復処理に用いる第二設定情報k(x,y)を算出する(第一の設定方法)。このステップS24では、画像形成装置20は、撮像装置10において発生する鮮鋭低下の程度が不明であるため、画像形成部209の鮮鋭低下のみを補正する第二設定情報k(x,y)を算出する。
図10は、ステップS24で実行する第一の設定方法を示すブロック図である。
先ず、画像形成装置20は、画像形成パラメータ保持部212から空間周波数特性で与えられる第二鮮鋭低下情報1201を取得し、図10に示すように、第二鮮鋭低下情報1201に対して逆特性算出処理1202を行い、第二鮮鋭低下情報の逆特性1203を求める。この逆特性1203は、画像形成部209の鮮鋭低下を理想的に補正するための第二補正情報である。なお、第二鮮鋭低下情報1201を取得する代わりに、予め第二補正情報を保持しておくことでも、同様の機能を実現できる。
なお、第二補正情報は、第二鮮鋭低下情報1201の逆特性1203そのものに限定されるものではなく、第二鮮鋭低下情報に基づいて鮮鋭低下を補正するために生成されたものであれば良い。
また、上述の撮像部10で取得された画像の空間周波数特性から、撮像部10で実施された第一鮮鋭低下情報を推定しても良い。例えば、撮像部10で取得された画像のエッジに対する、ボケの程度から、第一鮮鋭低下情報を推定し、エッジ部分のボケがなくなるような、第一設定情報(撮像部のボケを補正する情報)を推定しても良い。
次に、この逆特性1203に対してフーリエ逆変換処理1204を行い、空間フィルタ係数k(x,y)1205を得る。この空間フィルタ係数k(x,y)が、画像形成部209の鮮鋭低下のみを補正する第二設定情報である。
なお、上記第一の設定方法として、図10に示すように、第二鮮鋭低下情報のみに基づいて第二設定情報k(x,y)を設定する方法について説明したが、撮像部の鮮鋭低下を極力予測した上で、当該予測分を補正するよう第二設定情報k(x,y)を設定する方法を採用してもよい。
例えば、図10に示す鮮鋭低下の補正に加え、画像弊害が発生しない程度の更なる鮮鋭低下の補正を追加するようにしてもよい。ここで、上記画像弊害とは、鮮鋭低下補正の過補正によって、色域外(例えば、RGBのいずれかの要素において255以上または0以下、もしくは白または黒)へのクリッピングが生じることである。色域外へのクリッピングとは、補正によりRGBのいずれかの要素において255以上(8ビットの場合)や0以下の値が算出される場合に、255や0に値が張りついてしまう現象である。このような色域外へのクリッピングが生じるまでに過補正してしまうと、画像において、リンギングやオーバーシュート等の画像弊害が発生する可能性が高くなる。
そこで、撮像装置10の鮮鋭低下を予測して第二設定情報k(x,y)を設定する場合には、上記の画像弊害の発生を考慮し、画像上でクリッピングが生じる画素数又はその比率が、所定の値以下になるように第二設定情報を設定してもよい。また、色域外のクリッピング以外画像弊害、例えば、リンギング、画像ノイズの増加、色ずれ(カラーバランスの崩れ、色にじみ)等などにも適用可能である。これにより、画像弊害の発生を抑制しつつ、画像形成部209の鮮鋭低下のみを補正することによる補正不足を抑制することができる。
図9に戻って、ステップS25では、画像形成装置20は、ステップS21で取得した撮像画像に対応する第一設定情報を取得できたか否かを判定する。ここで第一設定情報を取得できた場合は、撮像画像が撮像装置10の鮮鋭低下を回復するためにどのような処理を施されたかを特定できたことを意味する。そして、画像形成装置20は、第一設定情報が取得できなかったと判断した場合には、ステップS26に移行し、第一設定情報を取得できたと判断した場合にはステップS27に移行する。
ステップS26では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報と、撮像装置10の鮮鋭低下を示す第一鮮鋭低下情報とに基づいて、第二設定情報k(x,y)を算出する(第二の設定方法)。このステップS26では、画像形成装置20は、第一設定情報(撮像装置10においてどの程度鮮鋭低下が補正されたか)は特定できないが、第一鮮鋭低下情報(撮像装置10においてどの程度鮮鋭低下が発生するか)は明確であるため、撮像装置10の鮮鋭低下成分を調整しつつ、画像形成部209の鮮鋭低下を補正する第二設定情報k(x,y)を算出する。
図11は、ステップS26で実行する第二の設定方法を示すブロック図である。
この図11に示すように、先ず、画像形成装置20は、空間周波数特性で与えられる第一鮮鋭低下情報1301に対して変倍処理1302を行う。この変倍処理1302では、上記のステップS22で実施した変倍に対応して、空間周波数の軸を[cycles/degree]から[cycles/mm]に変更する処理を行う。これにより、プリント解像度換算の第一鮮鋭低下情報1303を得る。
次に、画像形成装置20は、この空間周波数特性で表される第一鮮鋭低下情報1303に対して逆特性算出処理1304を行い、第一鮮鋭低下情報の逆特性1305を求める。この逆特性1305は、撮像部の鮮鋭低下を理想的に補正するための情報である。ただし、第一鮮鋭低下情報の逆特性1305そのものではなく、逆特性よりも少し強い(空間周波数特性が高い)ものを用いても良い。
撮像装置10において鮮鋭低下補正がなされていない場合には、この逆特性1305を用いて撮像画像に対する画像回復処理を行うことで、撮像部の鮮鋭低下を適正に補正することができる。しかしながら、このステップS26では、第一設定情報が不明であるため、上記の逆特性1305を用いた画像回復処理では過補正となるおそれがある。
そこで、画像形成装置20は、調整処理1306を行い、上記の逆特性1305を弱める調整を行う。ここでは、例えば1より小さい任意の定数(調整値α)を(1−応答値)に乗算した値に1を加算し、調整後の第一鮮鋭低下情報の逆特性1307を算出する。この逆特性1307は、撮像装置10の鮮鋭低下の一部(撮像装置10において鮮鋭低下補正がなされていない場合には、全部)を補正するための情報となる。
上記調整値αは、0.0以上1.0以下の値を取り得る。本実施形態では、等倍印刷(変倍なし)の場合は調整値を0.5とし、拡大の場合は0.5よりも小さく、縮小の場合は0.5よりも大きい値を設定する。さらに、拡大されればされるほど、より小さな調整値を設定し、縮小されればされるほど、より大きな調整値を設定するようにしてもよい。すなわち、拡大の場合は補正を弱め、縮小の場合は補正を強める傾向にする。この理由について、以下に説明する。
図9のステップS26では、画像形成装置20は第一設定情報が不明である。そのため、仮に撮像装置10側で理想的な画像回復処理が行われている(すなわち、第一編集値p1=1.0)とすると、上記調整値を1とした場合、撮像装置10と画像形成装置20とによって撮像部の鮮鋭低下が2重に補正されることになってしまい過補正となる。逆に、撮像装置10側で画像回復処理が全く行われていない(すなわち、第一編集値p1=0.0)とすると、上記調整値を0とした場合、撮像部の鮮鋭低下が全く補正されないことになってしまい補正不足となる。
そこで、本実施形態では、仮に撮像装置10側で補正してしたとしてもそれほど画像弊害にならず、且つ撮像装置10側で補正していないとしても多少は回復できる程度として、調整値を0.5に設定する。また、撮像装置10で撮影した画像の弊害(リンギングやオーバーシュート等)が視認され易いのは、縮小印刷の場合よりも拡大印刷の場合である。これは、拡大印刷の方が撮影した画像1ピクセル当たりのサイズが大きくなるためである。そのため、拡大の場合は調整値αを0.5よりも小さく、弊害が目立ちにくい縮小の場合は調整値を0.5より大きくすることが好ましい。
上述の例では、拡大よりも縮小のほうが調整値を大きく(補正を大きく)する場合を示したが、補正量は、拡大/縮小率だけではなく、拡大/縮小後の画像の空間周波数特性から定めても良い。例えば、拡大/縮小後の紙面上の空間周波数特性[cycles/mm]において、一定の周波数[cycles/mm]以上のパワースペクトル、振幅スペクトル成分の量が少ない場合は、調整値を大きく(補正を大きく)する。一方、拡大/縮小前の画像の空間周波数特性において、一定の周波数以上のパワースペクトル、振幅スペクトル成分が多い時には、調整値を小さくする(補正を小さく)する。
このようにする理由は、一定の周波数以上のパワースペクトル、振幅スペクトルが多い場合には、補正により色域外へのクリッピングが生じやすくなり、リンギングやオーバーシュート等の画像弊害が発生する可能性が高くなるためである。なお、この調整値(補正の程度)は、拡大/縮小前の空間周波数特性から求めても良い。
また、上述の、拡大率に応じた調整値を設定することと、拡大/縮小後の紙面上の空間周波数特性[cycles/mm]に応じた調整値を設定することはトレードオフである。
具体的には、画像を拡大すればするほど、紙面上の空間周波数[cycles/mm]は下がる(拡大すれば、細かい縞も、大きな縞となって印刷される)。この場合、拡大すればするほど、紙面上の空間周波数特性において、一定の周波数[cycles/mm]以上のパワースペクトル、振幅スペクトル成分となる量は小さくなる。すなわち、画像を拡大すればするほど、画像の拡大率に応じた調整値α1は小さくなるが、紙面上の空間周波数特性に応じた調整値α2は大きくなる。
よって、「拡大率」と、「紙面上の空間周波数特性」の双方を考慮して調整する場合、前記2つの調整値α1、α2から総合的な調整値αを算出する必要がある。このとき、総合的な調整値は(α1+α2)や、(α1×α2)などによって求める。例えば、総合的な調整値α=(α1+α2)とした場合、拡大率に応じた調整値α1の寄与率の方が大きい場合は、画像を拡大すればするほど総合的な調整値αは小さな値になる。一方、紙面上の空間周波数特性に応じた調整値α2の寄与率のほうが大きい場合は、画像を拡大すればするほど、総合的な調整値αは大きな値になる。上記をまとめると、拡大率と空間周波数特性の寄与率を考慮して、調整値αを決めることが望ましい。
また、上述の例では、第一設定情報が不明である場合において、空間周波数特性、拡大/縮小率を考慮して、調整値αを決めたが、第一設定情報が明確、不明に関わらず、拡大率、空間周波数特性の双方、もしくはいずれか一方を用いて、調整値αを決めても良い。なお、拡大、縮小にかかわらず、調整値αを固定値(例えば0.5)としてもよい。このように調整値αを固定値0.5としても、画像弊害抑制には一定の効果がある。
図11に戻って、画像形成部209の鮮鋭低下分の補正については、上述した図10に示す第一の設定方法と同様の処理を行う。すなわち、画像形成装置20は、空間周波数特性で与えられる第二鮮鋭低下情報1308に対して逆特性算出処理1309を行い、第二鮮鋭低下情報の逆特性1310を求める。この逆特性1310が、画像形成部209の鮮鋭低下分を補正するための情報となる。なお、第二鮮鋭低下情報1308ではなく、予め鮮鋭性低下分を補正する第二補正情報を保持しておくことでも、同様の機能を実現できる。また、このとき取得する第二補正情報は、第二鮮鋭低下情報1308の逆特性1309そのものではなく、逆特性よりも少し弱い(空間周波数特性が低い)特性でも良いし、逆特性よりも少し強い(空間周波数特性が高い)特性でも良い。
次に、画像形成装置20は、この逆特性1310と、先に求めた調整後の第一鮮鋭低下情報の逆特性1307との積1311をとり、その結果である周波数特性に対してフーリエ逆変換処理1312を行い、空間フィルタ係数k(x,y)1313を得る。この空間フィルタ係数k(x,y)が、撮像装置10の鮮鋭低下の一部と画像形成部209の鮮鋭低下分との合計を補正する第二設定情報である。
なお、ステップS26においても、上述したステップS24での処理と同様に、画像弊害が発生しない程度の更なる鮮鋭低下の補正を追加してもよい。
図9のステップS27では、画像形成装置20は、S21において取得した第一設定情報g(x,y)が0であるか否かを判定する。そして、画像形成装置20は、第一設定情報が0ではないと判断した場合にはステップS28に移行し、第一設定情報が0であると判断した場合にはステップS29に移行する。
ステップS28では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報と、撮像装置10の鮮鋭低下を示す第一鮮鋭低下情報と、撮像装置10での鮮鋭低下補正の程度を示す第一設定情報とに基づいて、第二設定情報k(x,y)を算出する(第三の設定方法)。ステップS27において第一設定情報が0ではないと判断した場合、撮像画像はすでに、撮像装置10の鮮鋭低下を回復するための回復処理を実行されたこと、および実施された回復処理の強度を特定できたことを意味する。そこでこのステップS28では、画像形成装置20は、第一設定情報をもとに撮像装置10における鮮鋭低下補正分をキャンセルしてから、撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分の合計を補正する第二設定情報を算出する。
図12は、ステップS28で実行する第三の設定方法を示すブロック図である。この図12に示すように、先ず、画像形成装置20は、空間周波数特性で与えられる第一設定情報1401に対して変倍処理1402を行う。この変倍処理1402では、画像形成装置20は、図9のステップS22で実施した変倍に対応して、空間周波数の軸を[cycles/degree]から[cycles/mm]に変更する処理を行う。これにより、画像形成装置20は、プリント解像度換算の第一設定情報1403を得る。次に、画像形成装置20は、この空間周波数特性で表される第一設定情報1403に対して逆特性算出処理1404を行い、第一設定情報の逆特性1405を求める。この逆特性1405は、撮像装置10で実施された鮮鋭低下補正をキャンセルするキャンセル情報である。
次に、画像形成装置20は、撮像装置10の鮮鋭低下を補正するための情報を算出する。先ず、画像形成装置20は、空間周波数特性で与えられる第一鮮鋭低下情報に対して変倍処理1407を行う。この変倍処理1407では、上記のステップS22で実施した変倍に対応して、空間周波数の軸を[cycles/degree]から[cycles/mm]に変更する処理を行う。これにより、プリント解像度換算の第一鮮鋭低下情報1308を得る。次に、画像形成装置20は、この空間周波数特性で表される第一鮮鋭低下情報1408に対して逆特性算出処理1409を行い、第一鮮鋭低下情報の逆特性1410を求める。この逆特性1410は、撮像装置10の鮮鋭低下を理想的に補正するための情報である。そして、画像形成装置20は、第一設定情報のキャンセル情報1405と、撮像部の鮮鋭低下を補正するための第一鮮鋭低下情報の逆特性1410の積1411を求める。これにより求まった空間周波数特性は、中途半端に実施された撮像画像の鮮鋭低下補正をキャンセルし、撮像部の鮮鋭低下を理想的に補正するための情報となる。
一方、画像形成部209の鮮鋭低下分の補正については、上述した図10に示す第一の設定方法、及び図11に示す第二の設定方法と同様の処理を行う。すなわち、画像形成装置20は、空間周波数特性で与えられる第二鮮鋭低下情報1412に対して逆特性算出処理1413を行い、第二鮮鋭低下情報の逆特性1414を求める。この逆特性1414が、画像形成部209の鮮鋭低下分を理想的に補正するための情報となる。なお、第二鮮鋭低下情報1412ではなく、予め鮮鋭性低下分を補正する補正情報を保持しておくことでも、同様の機能を実現できる。
次に、画像形成装置20は、この逆特性1414と、上記の積1411で算出された撮像装置10の鮮鋭低下分を補正するための情報との積1415をとり、その結果である周波数特性に対してフーリエ逆変換処理1416を行い、空間フィルタ係数k(x,y)1417を得る。この空間フィルタ係数k(x,y)が、撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分との合計を理想的に補正する第二設定情報である。なお、撮像装置10、画像形成部209双方の鮮鋭低下の程度が分かっていても、素直に鮮鋭低下を補正することで、画像弊害が顕在化する可能性も否定できない。したがって、このステップS28においても、上述したステップS24、S26での処理と同様に、画像弊害が発生しない程度の更なる鮮鋭低下の補正を追加してもよい。
図9のステップS29では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報と、撮像装置10の鮮鋭低下を示す第一鮮鋭低下情報とに基づいて、第二設定情報k(x,y)を算出する(第四の設定方法)。このステップS29の処理は、第一設定情報が0であり、撮像装置10においては鮮鋭低下補正がなされていないことを特定できている。従って撮像画像に対して撮像装置10における鮮鋭低下補正分をキャンセルする必要がない点でステップS28の処理とは異なる。すなわち、このステップS29では、画像形成装置20は、単純に撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分の合計を補正する第二設定情報を算出する。
図13は、ステップS29で実行する第四の設定方法を示すブロック図である。
この図13に示すように、先ず、画像形成装置20は、撮像装置10の鮮鋭低下分の補正について、上述した図12に示す第三の設定方法と同様の処理を行う。すなわち、画像形成装置20は、空間周波数特性で与えられる第一鮮鋭低下情報1501に対して変倍処理1502を行う。この変倍処理1502では、上記のステップS22で実施した変倍に対応して、空間周波数の軸を[cycles/degree]から[cycles/mm]に変更する処理を行う。これにより、プリント解像度換算の第一鮮鋭低下情報1503を得る。
次に、画像形成装置20は、この空間周波数特性で表される第一鮮鋭低下情報1503に対して逆特性算出処理1504を行い、第一鮮鋭低下情報の逆特性1505を求める。この逆特性1505は、撮像装置10の鮮鋭低下分を補正するための情報である。一方、画像形成部209の鮮鋭低下分の補正については、上述した図10〜図13に示す第一〜第三の設定方法と同様の処理を行う。すなわち、画像形成装置20は、空間周波数特性で与えられる第二鮮鋭低下情報1506に対して逆特性算出処理1507を行い、第二鮮鋭低下情報の逆特性1508を求める。この逆特性1508が、画像形成部209の鮮鋭低下分を補正するための情報となる。なお、画像形成装置20は、第二鮮鋭低下情報1506ではなく、予め鮮鋭性低下分を補正する補正情報を保持しておくことでも、同様の機能を実現できる。
次に、画像形成装置20は、この第二鮮鋭低下情報の逆特性1508と、先に求めた第一鮮鋭低下情報の逆特性1505との積1509をとり、その結果である周波数特性に対してフーリエ逆変換処理1510を行い、空間フィルタ係数k(x,y)1511を得る。この空間フィルタ係数k(x,y)が、撮像装置の鮮鋭低下分と画像形成部209の鮮鋭低下分との合計を理想的に補正する第二設定情報である。なお、このステップS29においても、上述したステップS28と同様の理由により、画像弊害が発生しない程度の更なる鮮鋭低下の補正を追加してもよい。
次に、図9のステップS30では、画像形成装置20は、上述した第一から第四の設定方法のいずれかによって算出した第二設定情報k(x,y)を用いて、形成画像rp、gp、bpを生成する。
rp(x,y)=rs(x,y)*k(x,y) ………(5)
gp(x,y)=gs(x,y)*k(x,y) ………(6)
bp(x,y)=bs(x,y)*k(x,y) ………(7)
ここで、上記の「*」はコンボリューション(畳み込み積分、積和)を示す。このように、形成画像は、第二設定情報を用いて撮像画像の畳み込み処理により生成される。なお、このステップS30では、例えば、形成情報表示部204によって表示した形成画像生成ボタン(不図示)を押したことを示す情報を取得したタイミングで、形成画像を生成するようにしてもよい。また、上述の処理はRGBに対してのコンボリューション処理であるが、RGB→YCbCr等に変換した後、輝度信号Yにのみコンボリューション処理を行っても良い。また、上述のコンボリューション処理を、高速フーリエ変換等で行っても良い。その場合は、高速フーリエ変換を用いて空間周波数領域に変換した後、積算処理を行った後、高速フーリエ逆変換をする。
このように、画像形成装置20は、撮像装置10で撮像した撮像画像と共に、当該撮像画像に対応する第一鮮鋭低下情報及び第一設定情報を取得できる場合は取得とする。画像形成装置20は、第一鮮鋭低下情報及び第一設定情報の取得可否や第一設定情報に基づいて、撮像画像が既に撮像装置10の鮮鋭低下補正処理をされたか否か、また鮮鋭低下補正処理された場合の強度を特定する。そして、画像形成装置20は、取得した第一鮮鋭低下情報及び第一設定情報と、第二鮮鋭低下情報とに基づいて、撮像部に起因する鮮鋭低下と画像形成部209に起因する鮮鋭低下とを補正するための第二設定情報を設定し、撮像画像に対して画像回復処理を行う。
なお、上述した例では撮像装置10から第一鮮鋭低下情報及び第一設定情報を取得する場合について説明したが、これに限定されるものではなく、撮像装置10の撮像系に起因する画像劣化(鮮鋭低下)に関する情報(第一画像劣化情報)と、撮像装置10における撮像画像の生成過程において実施され得る画像回復処理に関する情報(第一画像回復情報)とが取得できればよい。すなわち、第一画像劣化情報として、第一鮮鋭低下情報に代えて、第一補正情報を取得してもよいし、第一設定情報と第一編集値p1とを取得してもよい。また、第一画像回復情報としては、第一設定情報に代えて、第一鮮鋭低下情報と第一編集値を取得してもよいし、第一補正情報と第一編集値とを取得してもよい。
同様に、撮像装置10に起因する鮮鋭低下と画像形成部209に起因する鮮鋭低下とを補正するための情報(第二画像回復情報)である第二設定情報の算出に際し、画像形成部209に起因する画像劣化(鮮鋭低下)に関する情報(第二画像劣化情報)として第二鮮鋭低下情報を用いる場合について説明したが、これに代えて第二補正情報を用いてもよい。なお、図5において、ステップS1の処理が撮像センサ部101の処理に対応し、ステップS2〜S4の処理が撮像UI部103の処理に対応し、ステップS6の処理が第一設定情報算出部105の処理に対応し、ステップS8の処理が撮像画像処理部106の処理に対応している。また、ステップS9の処理が撮像情報表示部104の処理に対応し、ステップS10、S12及びS13の処理がデータ記憶部107の処理に対応している。
さらに、図9において、ステップS21、S23、S25及びS27の処理がデータ取得部201の処理に対応し、ステップS22の処理が変倍処理部206の処理に対応し、ステップS24、S26、S28及びS29の処理が第二設定情報算出部205の処理に対応している。また、ステップS30の処理が画像形成処理部208の処理に対応し、ステップS31の処理が画像形成部209の処理に対応している。
以上のように、本実施形態では、画像形成装置20において、少なくとも撮像装置10における撮像画像の生成過程において実施され得る画像回復処理に関する情報を取得し、撮像装置10側におけるMTF補正に応じた補正を行う。したがって、鮮鋭性が様々な回復状態に調整された撮像画像を入力した場合であっても、撮像装置10側における鮮鋭低下の補正(回復)の程度に応じて適正なプリント鮮鋭補正を行うことができる。
具体的には、画像形成装置20は、撮像装置10の撮像系に起因する画像劣化に関する第一画像劣化情報(例えば第一鮮鋭低下情報)、撮像装置10における撮像画像の生成過程において実施され得る画像回復処理に関する第一画像回復情報(例えば第一設定情報)、及び画像形成部209に起因する画像劣化に関する第二画像劣化情報(例えば第二鮮鋭低下情報)もしくは、画像形成部209に起因する鮮鋭低下を補正する第二補正情報を取得可能とする。そして、これらの情報に基づいて撮像部に起因する画像の鮮鋭低下と画像形成部209に起因する画像の鮮鋭低下とを補正するための第二画像回復情報(例えば第二設定情報)を設定する。
このとき、画像形成装置20は、図12に示すように、第一鮮鋭低下情報の逆特性(1410)と、第一設定情報の逆特性(1405)と、第二鮮鋭低下情報の逆特性(1414)との積をフーリエ逆変換した結果を第二設定情報(1417)として算出する。つまり、画像形成装置20は、撮像系に起因する画像劣化を補正するための第一画像回復フィルタと、撮像系において実施された回復処理をキャンセルするキャンセルフィルタと、画像形成系に起因する画像劣化を補正するための第二画像回復フィルタとを算出する。そして、画像形成装置20は、これらの3つのフィルタを合成した結果を、第二設定情報(1417)として設定する。
これにより、撮像装置10において実施された鮮鋭低下の補正(回復)の程度がどの程度であっても、撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分との合計を適正に補正することができる。つまり、撮像装置10の鮮鋭低下を中途半端に補正する回復処理が実施されている場合(例えば、第一編集値p1=0.5の場合)には、画像形成装置20は、第一設定情報の逆特性(1405)によって中途半端な補正を一旦キャンセルする。そして、画像形成装置20は、第一鮮鋭低下情報の逆特性(1410)によって撮像装置10の鮮鋭低下分を補正する。一方、撮像装置10の鮮鋭低下分を補正する回復処理が実施されている場合(第一編集値p1=1.0の場合)には、第一鮮鋭低下情報の逆特性(1410)と第一設定情報の逆特性(1405)とは、互いに逆特性の関係となる。そのため、画像形成装置20は、結果として、撮像装置10の鮮鋭低下分は補正せず、画像形成部209の鮮鋭低下分のみを補正することができる。
また、第二設定情報の設定に際し、第一鮮鋭低下情報及び第一設定情報をプリント解像度へ変倍して用いるので(1402、1407)、画像形成部209の変倍率に応じた第二設定情報を設定することができる。
なお、図12において、各処理1407及び1409は第一の算出手段の一例に相当し、各処理1402及び1404は第二の算出手段の一例に相当し、各処理1413及び1416は第三の算出手段の一例に相当し、各処理1411及び1415は第四の算出手段の一例に相当している。
さらに、撮像装置10で画像回復処理が実施されていない場合には、画像形成装置20は、第二設定情報をもとにこれを把握することができる。この場合には、撮像装置10における画像回復処理をキャンセルする必要がないため、図13に示すように、第一鮮鋭低下情報の逆特性(1505)と、第二鮮鋭低下情報の逆特性(1508)との積をフーリエ逆変換した結果を第二設定情報(1511)として算出する。すなわち、上記キャンセルフィルタを0とし、上記第一画像回復フィルタと上記第二画像回復フィルタとを合成した結果を第二設定情報(1511)とする。このように、画像形成装置20は、撮像装置10において鮮鋭低下の補正(回復)処理が実施されたか否かを適切に把握することができるので、当該補正(回復)処理が実施されていない場合には、撮像部の鮮鋭低下分を適切に補正することができる。
また、画像形成装置20は、第一画像劣化情報(例えば第一鮮鋭低下情報)および第一画像回復情報(例えば第一設定情報)を取得できたか否かを判定する。そして、画像形成装置20は、第一画像劣化情報を取得でき、且つ第一画像回復情報を取得できなかったと判定した場合、撮像装置10における回復処理を考慮した第二設定情報を設定する。この場合、図11に示すように、第一鮮鋭低下情報の逆特性(1305)を弱める調整をした後の特性(1307)と、第二鮮鋭低下情報の逆特性(1310)との積をフーリエ逆変換した結果を第二設定情報(1313)として算出する。すなわち、上記キャンセルフィルタを0とすると共に、上記第一画像回復フィルタを、第一設定情報を取得できた場合(図12、図13)と比較して、撮像系に起因する画像劣化を補正する強度を弱める方向に算出し、調整後の第一画像回復フィルタと上記第二画像回復フィルタとを合成した結果を第二設定情報(1313)とする。
これにより、撮像装置10における鮮鋭低下の補正(回復)が実施されていた場合に2重に補正してしまうことに起因する過補正と、撮像装置10における鮮鋭低下の補正(回復)が実施されていなかった場合の補正不足とを抑制することができる。
さらにこの場合、上記第一画像回復フィルタを、変倍処理部206で実施する変倍処理の変倍率が大きいほど補正(回復)の強度が弱まるように算出する。例えば、画像形成装置20は、上記変倍率が大きいほど強度が弱まるように算出してもよい。このように、画像弊害が視認し易い拡大印刷の場合は、画像弊害が視認し難い縮小印刷の場合と比較して補正(回復)の強度を弱める。これにより、プリント物を好適なものとすることができる。
(第二の実施形態)
上述の第一の実施形態では、第一設定情報、および第一鮮鋭低下情報を用いて、鮮鋭性回復を行う第二設定情報を算出した。第二の実施形態では、第一鮮鋭低下情報を用いずに、鮮鋭性回復を行う例をさらに詳しく説明する。
なお、上述の第一の実施形態においては、第一設定情報算出部105は、第一編集値p1と第一補正情報h(x,y)とに基づいて、回復処理に用いる第一設定情報g(x,y)を算出した。また、この第一設定情報は、空間フィルタ係数g(x,y)と第一編集値p1とのセットであってもよいし、第一補正情報h(x,y)と第一編集値p1とのセットであってもよいとした。
第二の実施形態では、第一設定情報は、第一補正情報h(x,y)と、第一編集値p1をセットで保持した場合を例に説明する。すなわち、撮像装置10は、上記(1)式(1)で示したg(x,y)=h(x,y)×p1+dlt(x、y)のうち、第一補正情報h(x,y)と第一編集値p1を第一設定情報として保持する。なお、dlt(x、y)は常に一定で、明示的に保持する必要はない。
なお、この組み合わせの保持の例は一例であり、その他の組み合わせで保持しても良い。
(画像形成装置20における画像処理手順)
図15は、画像形成装置20において実行する鮮鋭性回復を示す画像処理手順の一例を示すフローチャートである。上記フローチャートは、図9のフローチャートに対応する。なお、本実施形態においては、図15のフローチャート以外は第一の実施形態と同じであるため、説明を省略する。
先ずステップS41で、画像形成装置20は、撮像装置10から撮像画像を取得し、ステップS42に移行する。ステップS42では、画像形成装置20は、ステップS41で取得した撮像画像をプリントの解像度へ変倍する。このステップS42では、第一の実施形態と同様、形成UI部203からユーザが指定した出力サイズに関する情報を取得し、指示された出力サイズに応じた変倍率で上記の変倍処理を実行する。変倍した撮像画像は、形成データメモリに一旦保持する。
次に、ステップS43では、画像形成装置20は、ステップS41で取得した撮像画像に対応する第一設定情報を取得できたか否かを判定する。そして、画像形成装置20は、第一設定情報(第一編集値p1と第一補正情報h(x,y))が取得できなかったと判断した場合には、ステップS44に移行し、第一設定情報を取得できたと判断した場合にはステップS45に移行する。ステップS44では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報に基づいて第二設定情報k(x,y)を算出する(第一の設定方法)。このステップS44では、画像形成装置20は、第一設定情報(撮像装置10においてどの程度鮮鋭低下が補正されたか)は不明であるため、画像形成部209の鮮鋭低下を補正する第二設定情報k(x,y)を算出する。この処理は、第一の実施形態のS24(図10)と同様の処理である。
なお、ここで第二設定情報は、画像形成部209の鮮鋭低下を示す情報の逆特性1203そのものではなくても、低下した鮮鋭性を回復するために鮮鋭低下の特性に応じて設定された情報であればよい。例えば、第二設定情報は、第二鮮鋭低下情報の逆特性に所定の調整率を乗算した特性とすることもできる。調整率は1近傍であることが望ましい。また、第一の実施形態に示した通り、画像形成装置20は、第一設定情報(第一編集値p1と第一補正情報h(x,y))が不明である場合において、プリント解像度への変倍率(拡大率)または空間周波数特性に応じて、回復の調整率を決めても良い。さらには、画像弊害が発生しない程度の更なる鮮鋭低下の補正を追加してもよい。
図15のステップS45では、画像形成装置20は、取得した第一設定情報における編集値p1が1であるか否かを判定する。そして、画像形成装置20は、第一設定情報における編集値p1が1ではないと判断した場合にはステップS46に移行し、第一設定情報における編集値p1が1であると判断した場合にはステップS47に移行する。
ステップS46では、画像形成装置20は、画像形成部209の鮮鋭低下を示す情報である第二鮮鋭低下情報と、第一設定情報(h(x、y)、p1)とに基づいて、第二設定情報k(x,y)を算出する(第二の設定方法)。このステップS46では、画像形成装置20は、第一編集値のp1を用いて、撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分の合計を補正する第二設定情報を算出する。
図16は、ステップS46で実行する第二の設定方法を示すブロック図である。この図16に示すように、先ず、画像形成装置20は、空間周波数特性で与えられる第一設定情報1701に対して変倍処理1702を行う。この変倍処理1702では、上記のステップS42で実施した変倍に対応して、空間周波数の軸を[cycles/degree]から[cycles/mm]に変更する処理を行う。これにより、プリント解像度換算の第一設定情報1703を得る。次に、画像形成装置20は、この空間周波数特性で表される第一設定情報1703に対して第一編集値p1に基づく修正処理1704を行う。この修正処理は、第一編集値p1とすると、第一補正情報h(x,y)を(1−p1)倍する処理である。
例えば、第一編集値p1が0.3である場合、画像形成装置20は、第一補正情報h(x,y)に対して、1−0.3=0.7倍の修正処理を行う。すなわち、第一編集値p1が0.3である場合、既に撮像画像は、第一補正情報h(x,y)の0.3倍分補正されていることがわかっているため、第一補正情報h(x、y)の0.7倍分を新たに補正すれば、第一補正情報h(x、y)分の補正ができることになる。上述の例では第一補正情報h(x,y)を用いた場合の修正処理の例を示したが、第一設定情報g(x,y)を用いた修正処理も可能である。画像形成装置20は、この修正処理1704を行い、修正後の第一設定情報1705を求める。この修正後の第一設定情報1705は、撮像装置10の鮮鋭低下を補正するための情報となる。
一方、画像形成部209の鮮鋭低下分の補正については、画像形成装置20は、上述した図10に示す第一の設定方法と同様の処理を行う。すなわち、画像形成装置20は、空間周波数特性で与えられる第二鮮鋭低下情報1706に対して逆特性算出処理1707を行い、第二鮮鋭低下情報の逆特性1708を求める。この逆特性1708が、画像形成部209の鮮鋭低下分を補正するための情報となる。なお、画像形成装置20は、第二鮮鋭低下情報1706を取得する代わりに、予め鮮鋭性低下分を補正する第二補正情報を保持しておくことでも、同様の機能を実現できる。
次に、画像形成装置20は、逆特性1708と、撮像装置10の鮮鋭低下分を補正するための情報との積1709をとり、その結果である周波数特性に対してフーリエ逆変換処理1710を行い、空間フィルタ係数k(x,y)1711を得る。この空間フィルタ係数k(x,y)が、撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分との合計を補正する第二設定情報である。また画像形成装置20は、プリント解像度への変倍率(拡大率)、または空間周波数特性に応じて、回復の調整率を決めても良い。
図15に戻って、第一設定情報における編集値p1が1であると判断した場合にはステップS47に移行する。図15のステップS47では、画像形成装置20は、画像形成部209の鮮鋭低下を示す第二鮮鋭低下情報と、第一設定情報(h(x、y)、p1)とに基づいて、第二設定情報k(x,y)を算出する(第三の設定方法)。このステップS47の処理は、第一設定情報が1であり十分な補正がなされているため、修正処理が必要ない点で、ステップS46の処理とは異なる。このステップS47では、画像形成装置20は、単純に画像形成部209の鮮鋭低下分を補正する第二設定情報を算出する。この処理は、第一の実施形態のS24(図10)と同様の処理である。また、プリント解像度への変倍率(拡大率)、または空間周波数特性に応じて、回復の調整率を決めても良い。
次に、図15のステップS48では、画像形成装置20は、上述した第一から第三の設定方法のいずれかによって算出した第二設定情報k(x,y)を用いて、形成画像rp、gp、bpを生成する。これにより、撮像装置10での第一鮮鋭低下情報が不明でも実施された鮮鋭低下の好適に補正することができる。つまり、編集値p1に基づく修正処理1704を行う。この修正処理は、編集値p1とすると、cを(1−p1)倍した修正処理により、第一設定情報による中途半端な補正を回避することができる。
このように、本実施形態では、画像形成装置20は、第一画像情報として、撮像系において実施され得る回復処理に関する第一画像回復情報と、撮像系に起因する画像劣化の回復の程度を示す編集値とを取得可能である。具体的には、画像形成装置20は、第一設定情報として第一補正情報h(x、y)と第一編集値p1とを取得可能である。そして、画像形成装置20は、これらの情報に基づいて、画像回復情報(例えば第二設定情報)を設定する。このとき、画像形成装置20は、図16に示すように、第一設定情報を第一編集値p1に基づいて修正した特性(1705)と、第二鮮鋭低下情報の逆特性(1708)との積をフーリエ逆変換した結果を第二設定情報(1711)として算出する。つまり、画像形成装置20は、撮像系において実施された回復処理による撮像系に起因する画像劣化の回復の不足分を補正するための第一画像回復フィルタと、画像形成系に起因する画像劣化を補正するための第二画像回復フィルタとを算出する。そして、画像形成装置20は、これら2つのフィルタを合成した結果を、第二設定情報(1711)として設定する。
これにより、画像形成装置20は、撮像装置10の鮮鋭低下情報が特定できない場合であっても、撮像装置10の鮮鋭低下分を適切に補正することができる。つまり、画像形成装置20は、第一編集値p1に基づいて第一補正情報h(x,y)を(1−p1)倍する修正処理を行うことで、撮像装置10において中途半端に行われた回復処理を補正することができる。
(第三の実施形態)
上述の、第一および第二の実施形態では、少なくとも撮像部の光学的な鮮鋭低下を補正するための情報として第一設定情報を取得し、鮮鋭性回復に用いる方法を示した。第三の実施形態では、撮像部の光学的な鮮鋭低下を補正するための情報として、撮像画像の鮮鋭性(画像劣化)と相関のある付加情報を取得する場合について説明する。ここで付加情報とは、撮像部における撮像のためのパラメータである。具体的には、付加情報は、フォーカス位置、絞り値(f値)、焦点距離、画像の位置情報(像高もしくは画像中心からの距離)、スティッチサイズ、画像の表面形状情報、光沢(偏光)情報などを含む。以降の説明では、上記の付加情報を第三設定情報とする。
(画像形成装置20における画像処理手順)
図17は、画像形成装置20において実行する画像処理手順の一例を示すフローチャートである。図17に示される処理は、画像形成装置20を構成するCPUが所定のプログラムを読み出して実行することにより実現され得る。この図17の説明では、第三設定情報として、フォーカス位置を例に挙げて説明する。
ステップS51からステップS54では、画像形成装置20は、図15のステップS41からステップS44と同様の処理を行う。
ステップS55では、画像形成装置20では、S51において取得した撮像画像に対応する第三設定情報を取得できたか否かを判定する。そして、第三設定情報が取得できなかったと判断した場合には、ステップS56に移行し、第三設定情報を取得できたと判断した場合にはステップS57に移行する。第三の実施形態においては、画像形成装置20は、第三設定情報として、撮像画像におけるフォーカス情報fcsの情報の取得ができたか否かを判定する。フォーカス情報fcsは、撮像画像において、どの位置でフォーカスが合致したかを示す情報である。このfcs情報は、撮像画像と同じ画像サイズ(撮像画像と同じ解像度)の領域の中で、フォーカスが合致している場合に1、フォーカスが合致していない場合に0の値をとるものとする。例えば画像全体でフォーカスが合致している場合は、すべて1の値が設定されている。画像の一部分のみのフォーカスが合致している場合は、該一部分の領域のみ1の値が設定されている。なお、上述の例では、撮像画像と同じ画像サイズ分と同じ領域を設定した例を示したが、撮像画像よりも、サイズの小さな領域で設定されていてもよい。
また、上述の例では、フォーカス情報fcsがフォーカス合致/不合致の2値(1ビット)の情報である例を示したが、フォーカス情報fcsはフォーカス合致度に応じた多値(たとえば8ビット)の情報であってもよい。
そして、画像形成装置20は、ステップS55において第三設定情報が取得できなかったと判断した場合にはS56に移行し、第二の実施形態と同様に図16に示す処理により第二設定情報k(x,y)を算出する(第二の設定方法)。このステップS56では、画像形成装置20は、第一設定情報のp1をもとに撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分の合計を補正する第二設定情報を算出する。
ステップS55において第三設定情報を取得できたと判断した場合にはステップS57に移行する。ステップS57では、画像形成装置20は、画像形成部209の鮮鋭低下を示す第二鮮鋭低下情報と、第一設定情報(h(x、y)、p1)と、第三設定情報(フォーカス情報fcs)とに基づいて、第二設定情報k(x,y)を算出する(第三の設定方法)。このステップS57では、画像形成装置20は、第三設定情報(フォーカス情報fcs)と、第一設定情報のp1とを用いて、撮像装置10の鮮鋭低下分と画像形成部209の鮮鋭低下分の合計を補正する第二設定情報を算出する。
図18は、ステップS57で実行される第三の設定方法を示すブロック図である。この図18に示すように、先ず、画像形成装置20は、空間周波数特性により与えられる第一設定情報1801に対して変倍処理1802を行う。この変倍処理1802では、画像形成装置20は、上記のステップS52で実施した変倍に対応して、空間周波数の軸を[cycles/degree]から[cycles/mm]に変更する処理を行う。これにより、画像形成装置20は、プリント解像度換算の第一設定情報1803を得る。次に、画像形成装置20は、図16の修正処理1704と同様の修正処理1804を行う。この修正処理は、編集値p1とすると、cを(1−p1)倍した修正処理を行う。上述の例ではh(x,y)を用いた場合の修正処理の例を示したが、g(x,y)を用いた修正処理も可能である。この修正処理1804を行った結果、画像形成装置20は、修正後の第一設定情報1805を得る。この修正後の第一設定情報1805は、撮像装置10の鮮鋭低下分を補正するための情報となる。
また、画像形成装置20は、第三設定情報1806に基づく修正処理1807も行う。本実施形態において、第三設定情報1806は、撮像画像におけるフォーカス情報fcsの情報である。フォーカス情報fcsは、撮像画像において、どの位置でフォーカスが合致したかを示す情報であり、1(フォーカス合致)または0(フォーカス不合致)の値をとる。第三設定情報に基づく修正処理1807では、画像形成装置20は、フォーカス情報fcsが0(フォーカス不合致)となる領域に対して、鮮鋭性を低下させる処理を行うか、もしくは、鮮鋭性を回復しない処理を行う。
なお、画像形成装置20は、フォーカス情報fcsが1(フォーカス合致)である領域に対して、鮮鋭性をさらに向上する処理を行ってもよい。または、フォーカス情報fcsが0(フォーカス不合致)である領域に対して鮮鋭性を低下させ、フォーカス情報fcsが1(フォーカス合致)である領域に対して、鮮鋭性を向上する処理を組み合わせて実施してもよい。このように、画像形成装置20は、フォーカス不合致領域に対して、撮影者の鮮鋭性を向上してほしくないという意図が入っていることを想定してフォーカス情報fcsに応じた鮮鋭性の回復処理を行う。
なお、上述の場合は、フォーカス情報fcsが0か1の2値(1ビット)のため、鮮鋭性回復(向上)、鮮鋭性低減の2種類の処理を実施した。フォーカス情報fcsが多値(たとえば8ビット)などの場合は、その値に応じて、鮮鋭性回復(向上)や鮮鋭性低減の強度を設定してもよい。
画像形成装置20は、上記の修正処理1807により第三設定情報に基づく周波数特性1808を得る。この第三設定情報に基づく周波数特性1808は、フォーカス情報fcsに応じたものであるため画像の領域ごとに変化する。そして、画像形成装置20は、修正後の第一設定情報1805と、第三設定情報に基づく周波数特性1808との積1809を求める。積1809により求められた空間周波数特性は、第一設定情報と第三設定情報に基づいて算出された、撮像装置10の鮮鋭低下分を補正するための情報となる。
一方、画像形成部209の鮮鋭低下分の補正については、画像形成装置20は、第二の実施形態と同様の処理を行う。すなわち、画像形成装置20は、空間周波数特性により与えられる第二鮮鋭低下情報1810に対して逆特性算出処理1811を行い、第二鮮鋭低下情報の逆特性1812を求める。この逆特性1812が、画像形成部209の鮮鋭低下分を補正するための情報となる。なお、画像形成装置20は、第二鮮鋭低下情報1810取得する代わりに、鮮鋭性低下分を補正する補正情報を保持しておくことでも、同様の機能を実現できる。このとき、第二補正情報は第二鮮鋭低下情報の逆特性1812そのものに限定されるものではなく、逆特性に基づいて鮮鋭性を回復させるための情報であればよい。
次に、画像形成装置20は、この逆特性1812と、撮像装置10の鮮鋭低下分を補正するための情報(積1809の結果)との積1813をとる。そして、画像形成装置20は、積1813の結果である周波数特性に対してフーリエ逆変換処理1814を行い、空間フィルタ係数k(x,y)1815を得る。この空間フィルタ係数k(x,y)が、撮像装置10の鮮鋭低下分と、画像形成部209の鮮鋭低下分と、領域ごとに異なる付加情報の合計を好適に補正する第二設定情報である。
上述の例では、撮影の付加情報としてフォーカス情報fcsに基づいて補正する方法を説明した。しかしながら、上述の第三設定情報はフォーカス情報fcsに限定されるものではない。第三設定情報は絞り値(f値)fnumであってもよく、絞り値fnumの大きさによって、鮮鋭性回復(向上)の強度を設定してもよい。絞りを大きくすると画像全体の鮮鋭性が向上するため、絞りが大きい(絞り値fnumが大きい)場合には、より鮮鋭性を向上したいと意図された画像である考えることができる。そこで、画像形成装置20は、絞り値fnumが大きいほど、鮮鋭性補正量を大きくするような処理をしてもよい。
また、第三設定情報は、フォーカス情報fcsと絞り値fnumとを組み合わせてもよく、絞り値fnumの大きさによって、鮮鋭性回復(向上)の強度を設定してもよい。具体的には、撮影者が絞り値fnumを小さくして撮影した場合は、フォーカス情報fcsが0(フォーカス不合致)である領域の鮮鋭性をより低減したいと意図された画像と考えられる。そこで、画像処理装置20は、絞り値fnumが小さくかつ、フォーカス情報fcsが0(フォーカス不合致)となる領域は、より鮮鋭性を低減するような処理を行ってもよい。
さらに、第三設定情報は、焦点距離であってもよい。第三設定情報が焦点距離である場合にも、第三設定情報が絞り値fnumである場合と同様の効果がある。例えば、焦点距離が遠くなるほど、フォーカス情報fcsが0(フォーカス不合致)となる領域の鮮鋭性が低減する傾向がある。そこで、画像形成装置20は焦点距離が大きく(遠く)かつ、フォーカス情報fcsが0(フォーカス不合致)となる領域は、より鮮鋭性を低減するような処理を行ってもよい。
また、画像形成装置20は、画像の像高(画像中心からの距離)によって、鮮鋭性回復(向上)の強度を設定してもよい。画像は、画面の中心ほど焦点が合いやすく鮮鋭性が高い。一方、画像中心から距離が大きいほど収差により鮮鋭性が低下する傾向がある。そこで、画像形成装置20は、像高(画像中心からの距離)が大きくなるほど、より鮮鋭性を向上するような処理を行ってもよい。
ただし、画像の連結(つなぎ、スティッチ)撮影などがなされている場合は、単純に像高(画像中心からの距離)だけから、鮮鋭性の向上の程度を算出することはできない。連結された画像は、画像中心が複数存在するため、画像形成装置20は、スティッチ画像の特徴量を考慮して、鮮鋭性回復処理を施してもよい。ここで、スティッチ画像の特徴量は、繋ぎ合わされた画像の数(縦横連結数)、画像を連結した位置、連結した画像のサイズなどを含む。
また、近年、画像とともに、表面凹凸分布や光沢分布を取得できるカメラが出現している。したがって、第三設定情報は、表面凹凸分布(画像の表面形状情報)や光沢分布(画像の光沢情報)であってもよい。例えば、画像形成装置20は、表面凹凸分布が強いコントラストを持つ(凹凸が荒い)ほど、より強い鮮鋭性回復処理を行うなどしてもよい。これは、表面凹凸が顕著な領域ほど、鮮鋭性をより大きく向上するほうが撮像画像の質感向上が得られるためである。このように、撮像画像内の領域ごとに異なる鮮鋭性回復処理を施してもよい。同様の理由により、画像形成装置20は、光沢分布が強いコントラストを持つほど、鮮鋭性をより大きく向上するなどしてもよい。なお、光沢分布は、偏光フィルタを用いて撮像した光沢有画像と光沢無画像との差分から求めることができる。
同様に、画像形成装置20は、表面凹凸画像についても、像高(画像中心からの距離)に応じて鮮鋭性回復の強度を設定してもよい。画像は、画面の中心ほど焦点が合いやすく、画像中心から距離が大きいほど収差により鮮鋭性が低下する傾向がある。そこで、画像形成装置20は、表面凹凸画像の像高(画像中心からの距離)が大きくなるほど、より鮮鋭性を向上するような処理を行ってもよい。なお、光沢分布については、偏光フィルタを用いて、光沢有画像、光沢無画像を撮影し、その差分から光沢分布を求めることができる。
以上説明したように、本実施形態では、画像形成装置20は、撮像画像の画像劣化と相関のある付加情報を取得可能である。そして、画像形成装置20は、取得した付加情報を用いて画像回復情報(例えば第二設定情報)を設定する。付加情報としては、フォーカス位置、絞り値、焦点距離、画像の位置情報、繋ぎ合わされた画像の数、画像の表面形状情報、画像の光沢情報の少なくとも1つを活用することができる。これにより、より適切に鮮鋭低下を補正することができる。
(変形例)
上記第一の実施形態においては、画像形成装置20において、第一鮮鋭低下情報が取得できない場合には(図9のステップS23でNo)、第二鮮鋭低下情報のみに基づいて第二設定情報を設定する場合について説明した。しかしながら、画像形成装置20は、第一鮮鋭低下情報が取得できず、第二鮮鋭低下情報が取得できなかった場合でも、第一設定情報が取得できた場合には、当該第一設定情報に基づいて第二設定情報を設定してもよい。
この場合、第一設定情報に比例するように第二設定情報を設定してもよい。例えば、空間周波数特性で与えられる第一設定情報をフーリエ逆変換することで、撮像装置10で実施した画像回復処理で用いた画像回復フィルタ(第三画像回復フィルタ)を算出し、当該フィルタによる画像回復強度に比例する画像回復強度を有する画像回復フィルタ(第四画像回復フィルタ)を第二設定情報としてもよい。さらに、この場合、例えば、第一設定情報が所定の値以上の場合に第二設定情報が一定値となるよう設定してもよい。すなわち、第三画像回復フィルタによる画像回復強度が所定値以上であるとき、第四画像回復フィルタによる画像回復強度を一定値としてもよい。
また、上記実施形態においては、第一設定情報、第一鮮鋭低下情報、及び第二鮮鋭低下情報に応じて自動的に第二設定情報を算出し、鮮鋭低下を補正する場合について説明したが、第二設定情報をユーザが調整可能な構成とすることもできる。例えば、予め設定された画像形成部209に起因する画像劣化(鮮鋭低下)を補正する情報(空間フィルタ係数のデフォルト値)を、ユーザの指示(例えば編集強度)によって編集し、最終的な第二設定情報として算出してもよい。この場合、上記編集強度に、第一設定情報(または第一編集値p1)に応じた編集制限を設けることで、撮像装置10で実施された画像回復処理の程度に応じた第二設定情報を設定することができる。さらに、上記デフォルト値は、第二鮮鋭低下情報に基づいて設定してもよい。この場合、画像形成部209の鮮鋭低下分を補正する第二設定情報(図10の空間フィルタ係数1205)をデフォルト値とすればよい。以下、この変形例について具体的に説明する。
第二設定情報の調整量は、ユーザインターフェースを用いてユーザが第二編集値p2として指示可能な構成とする。このとき、第二編集値p2には、第一設定情報(または第一編集値p1)に応じた編集制限を設ける。すなわち、上記の第二設定情報のデフォルト値を、第一設定情報(または第一編集値p1)に応じて変化する編集可能範囲内で編集可能とする。例えば、図14に示すように、形成情報表示部204によって表示された編集画面から、ユーザの指示である第二編集値p2を入力させるようにしてもよい。このとき、第二編集値p2の編集不可能範囲1601を視覚的に明示されるよう強調表示してもよい。そして、画像形成装置20は、例えば、ユーザが図14に示す編集画面において「編集」ボタン1602にチェックを入れ、スライドバー1603をデフォルト位置から変化させて「OK」ボタン1604を押したとき、その時点でスライドバー1604が示す値を形成UI部203によって取得する。
編集不可能範囲1601は、撮像装置10における鮮鋭低下補正量が大きいほど(第一設定情報または第一編集値p1が大きいほど)広く設定する。すなわち、撮像装置10の鮮鋭低下補正量が大きいほど、換言すると、撮像系において実施された回復処理による画像回復強度が強いほど、第二編集値p2の上限値を小さく設定する。例えば、第一編集値p1+第二編集値p2が所定値(例えば、1.7)を超える範囲を編集不可能範囲とする。具体的には、第一編集値p1=0.5の場合は第二編集値p2の上限値を1.2とし、第一編集値p1=0.0の場合は第二編集値p2の上限値を1.7とする。
ここでは、第一編集値p1に応じて第二編集値p2の上限値を設定しており、第一鮮鋭低下情報は不明である。そこで、仮に撮像装置10の鮮鋭低下の程度が比較的小さくてもそれほど過補正とならずに画像弊害を抑制でき、且つ撮像装置10の鮮鋭低下の程度が比較的大きくても多少は鮮鋭低下を回復できる程度として、合計値p1+p2を1.7に設定する。なお、ここでは合計値p1+p2が1.7を超える範囲を編集不可能範囲としているが、1.7に限定されるものではなく、1.5や、2.0、3.0等の値であってもよい。このように、第二編集値p2の上限値を設定することにより、ユーザが第二編集値p2を大きくしすぎてしまうことに起因する過補正を防止することができる。
また、より確実に上記過補正を防止するために、例えば、ユーザが第二編集値p2を編集不可能範囲1601内の値に設定しようとスライドバー1603を変化させた場合、警告を表示したり警告音を発したりしてもよい。
上述した第二設定情報のデフォルト値をq(x、y)と定義すると、編集後の第二設定情報q2(x,y)は、第二編集値p2(≧0)によって次式で表される。なお、上記例のqは、第二鮮鋭低下情報に基づいてのみ設定されたものとする(この場合、画像形成部209の鮮鋭低下を理想的に補正する)。
q2(x,y)=q(x,y)×p2 ………(8)
すなわち、第二編集値p2の値が小さいほど、編集後の第二設定情報q2は、補正の強度として小さくなる。
このように、画像形成装置20側の処理において、ユーザにより鮮鋭低下補正の程度が調整可能であるため、適正なプリント鮮鋭回復を実現することができる。なお、ここでは、第一編集値p1に応じて第二編集値p2の上限値を設定する場合について説明したが、撮像装置10で実施された画像回復処理の程度が把握できる情報であればよく、第一設定情報や第一鮮鋭低下情報を用いて第二編集値p2の上限値を設定してもよい。
さらに、上記実施形態においては、画像処理装置20Aが画像形成装置20に搭載されている場合について説明したが、画像処理装置20Aは別装置に搭載されていてもよい。例えば、撮像装置10と画像処理装置20Aが搭載された装置とを通信可能に接続すると共に、画像処理装置20Aが搭載された装置と画像形成部209を備える画像形成装置とを通信可能に接続した画像処理システムにも適用可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10…撮像装置、20…画像形成装置、100…画像処理システム、101…撮像センサ部、102…撮像パラメータ取得部、103…撮像UI部、104…撮像情報表示部、105…第一設定情報算出部、106…撮像画像処理部、107…データ記憶部、108…データ出力部、201…データ取得部、202…画像形成パラメータ取得部、203…形成UI部、204…形成情報表示部、205…第二設定情報算出部、206…変倍処理部、207…形成データ記憶部、208…画像形成処理部、209…画像形成部

Claims (18)

  1. 撮像系で撮像された撮像画像を取得する第一の取得手段と、
    前記撮像画像において発生している前記撮像系に起因する鮮鋭低下に関する第一画像情報を取得する第二の取得手段と、
    前記撮像画像に対する、前記第一画像情報に応じた回復処理を特定する特定手段と、
    前記撮像画像に基づいて記録媒体上に画像を形成する画像形成系に起因する鮮鋭低下に関する第二画像情報を取得する第三の取得手段と、
    前記第一画像情報と前記第二画像情報とに基づいて、前記撮像系に起因する鮮鋭低下と前記画像形成系に起因する鮮鋭低下の少なくとも一方を補正するための画像回復情報を設定する設定手段と、
    前記撮像画像に対して、前記画像回復情報を用いて回復処理により補正を施す補正手段と、を有し、
    前記設定手段は、前記特定手段による回復処理の特定結果に応じて、前記画像回復情報を設定することを特徴とする画像処理装置。
  2. 前記第二の取得手段は、前記撮像系において実施され得る回復処理に関する第一画像回復情報と、前記撮像系に起因する鮮鋭低下に関する第一画像劣化情報とを前記第一画像情報として取得し、
    前記設定手段は、前記第一画像回復情報及び前記第一画像劣化情報と、前記第二画像情報とに基づいて、前記画像回復情報を設定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定手段は、
    前記第二の取得手段で取得した第一画像劣化情報に基づいて、前記撮像系に起因する鮮鋭低下を補正するための第一画像回復フィルタを算出する第一の算出手段と、
    前記第二の取得手段で取得した第一画像回復情報に基づいて、前記撮像系において実施された回復処理をキャンセルするキャンセルフィルタを算出する第二の算出手段と、前記第二画像情報に基づいて、前記画像形成系に起因する鮮鋭低下を補正するための第二画像回復フィルタを算出する第三の算出手段と、
    前記第一の算出手段で算出した第一画像回復フィルタと、前記第二の算出手段で算出したキャンセルフィルタと、前記第三の算出手段で算出した第二画像回復フィルタとを合成し、その結果を前記画像回復情報として算出する第四の算出手段と、を備えることを特徴とする請求項2に記載の画像処理装置。
  4. 前記特定手段は、前記撮像系において回復処理が実施されたか否かを判定し、
    前記特定手段により前記回復処理が実施されていないと判定されたとき、
    前記第二の算出手段は前記キャンセルフィルタを零として算出することを特徴とする請求項3に記載の画像処理装置。
  5. 前記特定手段は、前記第二の取得手段により第一画像劣化情報及び第一画像回復情報を取得できたか否かを判定することにより、撮像系において回復処理が実施されたか否かを判定し、
    前記特定手段が前記第一画像劣化情報を取得でき、且つ前記第一画像回復情報を取得できなかったと判定したとき、
    前記第一の算出手段は、前記第一画像回復フィルタを、前記第一画像回復情報を取得できた場合と比較して、前記撮像系に起因する鮮鋭低下を補正する強度を弱めるように算出し、前記第二の算出手段は前記キャンセルフィルタを零として算出することを特徴とする請求項3に記載の画像処理装置。
  6. 前記補正手段は、前記画像形成系における画像の出力サイズに応じた変倍率で前記撮像画像を変倍する変倍手段をさらに備え、前記変倍手段により変倍された前記撮像画像に対して前記回復処理を実施するように構成されており、
    前記第一の算出手段は、前記第一画像回復フィルタを、前記変倍率に応じて強度が変化するように算出することを特徴とする請求項3に記載の画像処理装置。
  7. 前記第二の取得手段は、前記撮像系において実施され得る回復処理に関する第一画像回復情報と、前記撮像系に起因する鮮鋭低下の回復の程度を示した編集値とを前記第一画像情報として取得し、
    前記設定手段は、前記第一画像回復情報及び前記編集値と、第二画像回復情報とに基づいて、前記画像回復情報を設定することを特徴とする請求項1に記載の画像処理装置。
  8. 前記設定手段は、
    前記第一画像回復情報と、前記編集値とに基づいて、前記撮像系において実施された回復処理による前記撮像系に起因する鮮鋭低下の回復の不足分を補正するための第三画像回復フィルタを算出する第四の算出手段と、
    前記第二画像情報に基づいて、前記画像形成系に起因する鮮鋭低下を補正するための第四画像回復フィルタを算出する第五の算出手段と、
    前記第三画像回復フィルタと、前記第四画像回復フィルタとを合成し、その結果を前記画像回復情報として算出する第六の算出手段と、を備えることを特徴とする請求項7に記載の画像処理装置。
  9. 前記第二の取得手段は、さらに前記撮像画像の鮮鋭低下と相関のある付加情報を前記第一画像情報として取得し、
    前記設定手段は、前記第一画像回復情報および前記編集値と、前記付加情報と、前記第二画像回復情報とに基づいて、前記画像回復情報を設定することを特徴とする請求項7に記載の画像処理装置。
  10. 前記付加情報は、
    フォーカス位置、絞り値、焦点距離、画像の位置情報、繋ぎ合わされた画像の数、画像の表面形状情報、画像の光沢情報の少なくとも1つであることを特徴とする請求項9に記載の画像処理装置。
  11. 前記第三の取得手段により前記第二画像情報を取得できたか否かを判定する判定手段をさらに備え、
    前記設定手段は、
    前記第一画像情報に基づいて、前記撮像系において実施された回復処理に用いた第五画像回復フィルタを算出する第七の算出手段と、
    前記判定手段により前記第二画像情報を取得できなかったと判定されたとき、前記第五画像回復フィルタによる画像回復強度に比例する画像回復強度を有する第六画像回復フィルタを、前記画像回復情報として算出する第八の算出手段と、
    を備えることを特徴とする請求項1に記載の画像処理装置。
  12. 前記第八の算出手段は、
    前記第五画像回復フィルタによる画像回復強度が所定値以上であるとき、前記第六画像回復フィルタの画像回復強度を一定値とすることを特徴とする請求項11に記載の画像処理装置。
  13. 前記補正手段は、
    前記画像形成系における画像の出力サイズに応じた変倍率で前記撮像画像を変倍する変倍手段をさらに備え、前記変倍手段により変倍された前記撮像画像に対して前記回復処理を実施するように構成されており、
    前記設定手段は、
    前記変倍率に応じた前記画像回復情報を設定することを特徴とする請求項1に記載の画像処理装置。
  14. 前記設定手段は、
    前記補正手段による前記回復処理の結果、補正後の撮像画像に画像弊害が発生しないよう前記画像回復情報を調整する調整手段をさらに備え、
    前記画像弊害は、画像のクリッピング、リンギング、ノイズの増加、及び色ずれの少なくとも1つであることを特徴とする請求項1に記載の画像処理装置。
  15. 前記設定手段は、
    前記第三の取得手段で取得した第二画像情報に基づいて、前記画像形成系に起因する鮮鋭低下を補正するための第二画像回復フィルタを算出する第三の算出手段と、
    前記第三の算出手段で算出した前記第二画像回復フィルタを、前記第二の取得手段で取得した第一画像回復情報に応じて変化する編集可能範囲内で編集し、前記画像回復情報とする編集手段と、をさらに備えることを特徴とする請求項1に記載の画像処理装置。
  16. 前記第三の算出手段で算出した前記第二画像回復フィルタの編集強度の入力を受け付けるユーザインターフェースを表示する表示手段をさらに備え、
    前記編集手段は、ユーザが入力した編集強度で前記第二画像回復フィルタを編集するように構成されており、
    前記第一画像回復情報は、前記撮像系において実施された前記回復処理による画像回復強度を示す情報であり、
    前記画像回復強度が強いほど、前記編集強度の上限値が小さく設定されていることを特徴とする請求項15に記載の画像処理装置。
  17. 撮像系で撮像された撮像画像を取得するステップと、
    前記撮像画像において発生している前記撮像系に起因する鮮鋭低下に関する第一画像情報を取得する第二の取得ステップと、
    前記撮像画像に対する、前記第一画像情報に応じた回復処理を特定する特定ステップと、
    前記撮像画像に基づいて記録媒体上に画像を形成する画像形成系に起因する鮮鋭低下に関する第二画像情報を取得するステップと、
    前記特定ステップにおける回復処理の特定結果に応じて、前記第一画像情報と前記第二画像情報とに基づいて、前記撮像系に起因する鮮鋭低下と前記画像形成系に起因する鮮鋭低下との少なくとも一方を補正するための画像回復情報を設定するステップと、
    前記撮像画像を、前記画像回復情報を用いた回復処理により補正するステップと、を備えることを特徴とする画像処理方法。
  18. コンピュータを、請求項1〜1のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2015175837A 2014-10-17 2015-09-07 画像処理装置、画像処理方法およびプログラム Active JP6576174B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/882,939 US9508130B2 (en) 2014-10-17 2015-10-14 Image processing apparatus, image processing method, and storage medium for performing image restoration

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014212997 2014-10-17
JP2014212997 2014-10-17

Publications (3)

Publication Number Publication Date
JP2016082579A JP2016082579A (ja) 2016-05-16
JP2016082579A5 JP2016082579A5 (ja) 2018-10-04
JP6576174B2 true JP6576174B2 (ja) 2019-09-18

Family

ID=55959360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015175837A Active JP6576174B2 (ja) 2014-10-17 2015-09-07 画像処理装置、画像処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6576174B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7356218B2 (ja) * 2018-02-15 2023-10-04 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7016835B2 (ja) 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム

Also Published As

Publication number Publication date
JP2016082579A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
US9508130B2 (en) Image processing apparatus, image processing method, and storage medium for performing image restoration
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
US10958888B2 (en) Image processing apparatus, image processing method and storage medium for storing program
US9349161B2 (en) Image processing apparatus and image processing method with edge enhancement
JP5343726B2 (ja) 画像処理装置、及び画像処理プログラム
JP2010092461A (ja) 画像処理装置及び画像処理方法
JP5275325B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
JP5539208B2 (ja) デジタルカラー画像を変換する方法、装置、コンピュータプログラム
US20210183090A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP4788393B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5479187B2 (ja) 画像処理装置及びそれを用いた撮像装置
JP5102552B2 (ja) 画像処理システム、撮像装置及び出力装置
JP5496036B2 (ja) 画像処理装置および画像処理プログラム
JP6576174B2 (ja) 画像処理装置、画像処理方法およびプログラム
TWI387353B (zh) 畫素插補電路、畫素插補方法及記錄媒體
US8896729B2 (en) Image processing apparatus and image processing method
JP4492706B2 (ja) 撮影場面の判定および撮影場面に応じた画像処理
JP4006590B2 (ja) 画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラム
JP4883057B2 (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP2017041764A (ja) 画像処理装置、および画像処理方法
JP4099366B2 (ja) 画像処理装置、画像読取装置、画像形成装置及び画像処理方法
JP2013127804A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP5109804B2 (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
JP5353382B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190820

R151 Written notification of patent or utility model registration

Ref document number: 6576174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03