JP7137313B2 - 出力装置、画像処理方法およびプログラム - Google Patents

出力装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP7137313B2
JP7137313B2 JP2018025351A JP2018025351A JP7137313B2 JP 7137313 B2 JP7137313 B2 JP 7137313B2 JP 2018025351 A JP2018025351 A JP 2018025351A JP 2018025351 A JP2018025351 A JP 2018025351A JP 7137313 B2 JP7137313 B2 JP 7137313B2
Authority
JP
Japan
Prior art keywords
sharpness
image
control
image data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018025351A
Other languages
English (en)
Other versions
JP2019144606A (ja
Inventor
由美 柳内
真一 宮▲崎▼
勇治 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018025351A priority Critical patent/JP7137313B2/ja
Priority to US16/275,448 priority patent/US10958888B2/en
Publication of JP2019144606A publication Critical patent/JP2019144606A/ja
Application granted granted Critical
Publication of JP7137313B2 publication Critical patent/JP7137313B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

本発明は、画像を出力する出力装置、画像処理方法およびプログラムに関する。
人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの1つ以上の手がかりを利用して、人間は立体感つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚している。
カメラなどで撮影され、表示、投影あるいは印刷された2次元画像を見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から画像の立体感を感じている。つまり、画像の合焦している(ピントがあっている)部分と、合焦していない(ボケている)部分の再現が立体感にとって重要となる。
一方、例えばレーザー距離計等で、撮影地点から対象物までの実距離を測定する方法、2台のカメラの視差情報から距離を計測する方法など、撮影時に被写体を含むシーンの距離情報を取得する方法も提案されている。特許文献1には、奥行き情報を利用した高画質化手法の技術が記載されている。
特開2009-251839号公報
プリンタなどの出力装置を通して画像を出力する際、例えば入力画像データを記録媒体サイズ(プリントサイズ)に変倍する解像度変換処理により、出力画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に出力画像において画像の鮮鋭性が低下する。そのため、画像の合焦している(ピントがあっている)部分と、合焦していない(ボケている)部分の再現性が変化してしまい、人間が感じる画像の立体感が低下したり、あるいは変化したりする課題があった。特許文献1では、画像の各位置の奥行きを画像から推定して算出し、奥行きと画像処理方法とを対応付けして各位置の画像処理方法を効果的に適宜選択し、立体感の低下を防止しつつ高解像度化を図る処理が記載されている。
しかしながら、特許文献1では、入力画像自体の立体感を制御しているものの、画像再生時の解像度変換処理による鮮鋭性に影響する特性が考慮されていない。
本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、解像度変換処理による鮮鋭性の影響を低減する出力装置、画像処理方法およびプログラムを提供することを目的とする。
上記課題を解決するため、本発明に係る出力装置は、像の画像データを入力する入力手段と、前記入力手段により入力された画像データの解像度変換を行う解像度変換手段と、前記画像中の合焦面からの距離に関する情報と前記解像度変換とに基づいて、前記解像度変換手段により解像度変換が行われた画像データが表す画像の鮮鋭性を制御する制御手段と、前記制御手段により鮮鋭性の制御が行われた画像データを出力する出力手段と、を備え、前記解像度変換が拡大処理である場合、前記制御手段は、前記合焦面からの距離に関する情報が第1の距離を示す場合の鮮鋭性の制御量が、前記合焦面からの距離に関する情報が前記第1の距離よりも大きい第2の距離を示す場合の鮮鋭性の制御量よりも大きくなるように制御することを特徴とする。
本発明によれば、解像度変換処理による鮮鋭性の影響を低減することができる。
画像処理装置を適用したプリントシステムの全体構成を示す図。 撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図。 合焦面と物体との距離を算出する方法を説明するための図。 画像処理部の構成を示す図。 デフォーカスマップを説明するための図。 画像処理を示すフローチャート。 鮮鋭性の相対関係の変化を説明するための図。 鮮鋭性の相対関係の変化を説明するための図。 空間周波数と周波数特性復元量の関係を示す図。 デフォーカス量と周波数特性復元量の関係を示す図。 計測用チャートを示す図。 周波数特性復元条件の作成処理を示すフローチャート。 MTF特性を示す図。 デフォーカス量と周波数特性復元量の関係を示す図。 画像処理部の構成を示す図。 画像処理を示すフローチャート。 MTF特性を示す図。 鮮鋭性の相対関係の変化を説明するための図。 デフォーカス量と出力特性補正量の関係を示す図。 出力特性補正量が異なる場合を説明するための図。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
[第1の実施形態]
図1は、本実施形態における画像処理装置を適用したプリントシステムの全体構成を示す。本実施形態では、出力装置の一例として、画像処理装置であるインクジェットプリンタを適用した例を説明する。図1のプリントシステムは、パーソナルコンピュータ装置(PC)101(以下、「PC」ともいう)と出力装置102を含む。出力装置102は、ネットワークやUSBまたはローカルバスなどのインタフェースを介してPC101に接続されている。PC101は、出力装置102への印刷制御指示、必要な情報およびデータの転送などを実行する。記憶装置105には、OSをはじめ、本実施形態のシステムプログラムや各種アプリケーションソフトウェアおよび各種処理に必要なパラメータデータを記憶管理している。記憶装置105は、例えば、ハードディスクやフラッシュROMで構成される。CPU104は、記憶装置105に格納されたソフトウェアを実行するにあたり、作業メモリ107を用いて処理を実行する。ユーザインタフェースとなる操作部(以下、「UI」ともいう)106は、上記処理の実行に関して、ユーザによる入力の受付や、ユーザに対する表示に関する処理を行い、キーボードやポインティングデバイス等の入力機器やディスプレイ等の表示機器を含む。また、データ入出力装置108は、SDカード等の外部記録媒体とのデータの入出力を行う。また、不図示の撮像装置をデータ入出力装置108やデータ転送部109へ直接接続し、外部記録媒体を介さずにデータの受け渡しを行ってもよい。
出力装置102は、データ転送部109、プリンタ制御部112、画像処理部110、印刷部111を含み、PC101から印刷データを受信する。本実施形態では、印刷データは、カメラ等の撮像装置で被写体を撮像することで得られる写真画像の入力画像データ、入力画像データに対応した撮影時の合焦面からの距離に相当する情報、画像処理パラメータとプリンタ制御データ、ユーザがUI上で選択した印刷品位や記録媒体等の印刷情報データ、を含んで構成される。記録媒体とは例えば紙メディア等を指す。また、出力装置102は、CPU113、記憶装置114、作業メモリ115を含む。出力装置102は、記憶装置114に記憶されたプログラムを作業メモリ115に読み出して実行することにより出力装置102を統括的に制御する。
撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。これらは、本実施形態ではカメラ等の撮像装置で生成されたデータとして説明するが、それに限られず、実際に距離を測定した情報から生成されたデータであってもよい。また、例えば、入力画像データのボケ量を解析した結果から生成されたデータや、他の撮影時のデータを併用したデータでもよい。
入力画像データや合焦面からの距離に相当する情報は、撮像装置内で生成されてもよいし、撮像装置に接続されたPC101または出力装置102で生成されてもよい。また、合焦面からの距離に相当する情報を生成するための情報を撮像装置から取得し、撮像装置に接続されたPC101や出力装置102内で合焦面からの距離に相当する情報を生成してもよい。また、撮像装置はPC101に接続され、PC101を経由して合焦面からの距離に相当する情報を生成するための情報を取得した出力装置102で生成されてもよい。ここで、合焦面からの距離に相当する情報を生成するための情報とは、例えば、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などである。
データ転送部109は、PC101から送られてきた印刷データから、入力画像データと撮影時の合焦面からの距離に相当するデータと画像処理パラメータとを取り出して画像処理部110に送り、プリンタ制御データをプリンタ制御部112に送る。入力画像データは、PC101内で記憶装置105にプログラムとして記憶されている解像度変換処理によりユーザ設定された記録媒体のサイズに変倍されたデータである。また、解像度変換処理は、出力装置102の画像処理部110内で行われてもよい。また、本実施形態では、画像処理部110は、出力装置102内にあるが、PC101内に構成されてもよい。
また、画像処理パラメータやプリンタ制御データは、PC101中の記憶装置105や、不図示の出力装置102内の記憶装置(ハードディスクやROM等)に記憶されてもよい。これらが、印刷データ内の印刷情報データに基づいて選択され、画像処理部110、プリンタ制御部112に送られる構成でもよい。プリンタ制御部112は、プリンタ制御データに従って印刷部111の動作を制御する。本実施形態では、印刷部111における印刷は、インクジェット記録方式により行われる。
図2は、撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図である。合焦面201は、撮像装置において像面(撮像面)203と平行でピントの合う平面である。また、デフォーカス量205は、撮像面とデフォーカスした撮像面位置204との差(予定結像面と実際の結像面との差)であり、ボケ量に比例している。デフォーカス量205は、撮像装置において、瞳分割型位相差検出方式やボケの異なる複数の画像を用いて検出される。例えば、画像の像ずれ量(視差量)206からデフォーカス量205が算出されてもよい。撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量206が視差量となる。さらに、算出した像ずれ量206に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて、被写体像面の予定結像面に対するデフォーカス量205を算出する。
また、DFD(Depth From Defocus)方式でデフォーカス量が算出されてもよい。DFD方式では、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において、測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出し、デフォーカス量を算出する。
次に、図3を用いて合焦面と物体との距離を算出する方法を説明する。図3では、距離301は合焦物体距離OBJ(0)であり、距離302は合焦像物体に対する撮像面距離S(0)である。また、距離303は物体距離OBJ(def)であり、距離304は合焦面から物体までの距離である。レンズの公式により、下記の式(1)、(2)が成立するため、物体距離OBJ(def)は下記の式(3)で算出することが可能である。
Figure 0007137313000001
Figure 0007137313000002
Figure 0007137313000003
式(3)で算出した物体距離を合焦物体距離から減算することで、合焦面から物体までの距離304が算出される。上述した合焦面からの距離に相当する情報とは、合焦面からの距離に比例した情報である。そのため、合焦面からの距離に相当する情報としては、上述した像ずれ量206、デフォーカス量205、合焦面からの距離304のいずれでもよい。
次に、デフォーカスマップについて説明する。上述のデフォーカス量205を入力画像データ上の複数個所でマップ化したものがデフォーカスマップであり、図5(a)は、デフォーカスマップの一例を示している。本実施形態では、図5(a)に示すように、2つの立方体501、502を撮影した入力画像データに対するデフォーカスマップであり、入力画像データの各画素に対応するデフォーカス量205の情報を保持している。
図5(b)は、デフォーカス量205と本実施形態で使用する各領域との対応を説明するための図である。図5(b)でデフォーカス量205の値「0」が撮影時の合焦面に相当するデフォーカス量205であり、図5(a)の最も黒い部分(領域503)に対応する。デフォーカス量205の値「0」から離れるにつれて、図5(a)では白くなっていく。図5(a)のデフォーカスマップにおいて、デフォーカス量205の値「0」の領域が領域503に対応しており、ピントが合っている(合焦面)画像領域である。以下、領域503を合焦領域という。本実施形態では、領域503以外の領域を、デフォーカスマップ上で合焦面に対応しない領域として非合焦領域504とする。デフォーカス量d1は、許容合焦領域505と非許容合焦領域506の境界の値である。さらに、デフォーカス量d2は、デフォーカスマップに含まれる最大のデフォーカス量である。デフォーカス量dxは、デフォーカス量d1とd2の間の特定のデフォーカス量を表す。
また、本実施形態では、ピントが合っていると許容する領域を許容合焦領域505とする。許容合焦領域505は、被写界深度としてその範囲を定義してもよいし、被験者実験によって任意に定義してもよい。また、許容合焦領域505以外の領域を、許容合焦領域505ではない領域として非許容合焦領域506とする。図5(b)では、横軸をデフォーカス量205としたが、合焦面からの距離に相当する情報である、上述の像ずれ量206や合焦面からの距離304であってもよい。また、本実施形態では、合焦領域503と許容合焦領域505を、合焦していると判定される領域と総称し、非合焦領域504と非許容合焦領域506を、合焦していないと判定される領域と総称する。
本実施形態における画像処理部110の構成を図4に示す。また、本実施形態における画像処理を図6のフローチャートを参照しながら説明する。画像処理部110は、入力画像データを取得し(S601)、撮影時の合焦面からの距離に相当する情報として上述のデフォーカスマップを取得する(S602)。次に、解像度変換部401は、出力画像データの画素数に応じて、入力画像データの画素数を変更する(S603)。解像度変換部401における入力画像データの画素数の変更には、一般的な画像拡大や縮小処理を用いる。例えば、注目画素の周辺の画素値を平均して画素を追加するバイリニア方式や、注目画素の周辺の画素値から補間した画素を追加するバイキュービック方式が挙げられるが、画像の再サンプリング方法であればこれらに限られない。解像度変換部401では、デフォーカスマップについても同様に出力画像データの画素数に応じて解像度変換を行う。
次に、周波数特性復元部402は、周波数特性復元条件403を取得し(S604)、S602で取得したデフォーカスマップに基づいて、解像度変換処理後の入力画像データに対して周波数特性の復元処理を行う(S605)。周波数特性復元部402における処理の詳細は後述する。また、周波数特性復元条件403は、出力装置102内の記憶装置(ハードディスクやROM等)に記憶されている。
次に、出力画像生成部404は、周波数特性復元部402から出力される出力画像データ(RGB)に対して、インクジェットプリンタの記録ヘッドで記録するためのデータを生成する(S606)。例えば、まず、デバイス非依存のRGBデータをデバイス依存のRGBデータに変換する色変換処理を実行し、デバイス依存のRGBデータからインク色データに変換するインク色分解処理を実行する。さらに、記録装置の階調特性に線形的に対応づけられるように階調補正を行う階調補正処理、インク色データをインクドットのON/OFFの情報に変換するハーフトーン処理、記録ヘッドの各記録走査で記録される2値データを生成するマスクデータ変換処理等を実行する。いずれもインクジェットプリンタにおいては一般的な処理であるので、それらの詳細な説明は省略する。出力画像生成部404で生成された出力データは、印刷部111に送られ、記録媒体上に記録される(S607)。
[解像度変換後画像における立体感]
ここで、解像度変換後の出力画像の鮮鋭性に影響する解像度変換処理と、周波数特性の復元による立体感について説明する。人間は、カメラなどで撮影された2次元画像を見る際、合焦している(ピントが合っている)合焦領域を含む許容合焦領域と、合焦していない(ボケている)非許容合焦領域との間の鮮鋭感の差から画像の奥行き感や立体感を感じている。一方、プリンタなどの出力装置を通して画像を出力する場合、例えば入力画像データを記録媒体サイズ(プリントサイズ)に変倍する解像度変換処理によって、画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に、出力画像において画像の鮮鋭性が低下する。
このような解像度変換処理による入力画像の鮮鋭性の変化は、入力画像の、ピントが合っている許容合焦領域では大きく変化し、鮮鋭性の低い、即ちボケている非許容合焦領域では殆ど変化しない若しくは変化がない。つまり、許容合焦領域と非許容合焦領域との間で、鮮鋭性の変化量が異なる。そのため、入力画像において立体感に影響していた許容合焦領域と非許容合焦領域の鮮鋭性の相対関係が、出力画像で維持されなくなってしまう。
図7を参照しながらさらに説明する。なお、図7においては説明簡略化のため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性とが同じ周波数にピークを持つ画像を例として説明する。また、本実施形態では、記録媒体サイズに変倍するために拡大処理を行ってプリンタで出力した際の特性を出力特性とする。ここでは、解像度変換処理において画像の拡大処理を実行した場合を例に挙げる。ボケによる立体感がある入力画像データにおいて、例えば、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値C1と、非合焦領域の鮮鋭性を示すコントラスト値C2が図7(a)に示す関係であるとする。その場合、入力画像を解像度変換部401により拡大すると、図7(b)に示すようにコントラスト値C1とC2は、C1’とC2’に変化する。
図7(a)と(b)から明らかなように、解像度変換処理によって入力画像データの鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。つまり、立体感に影響する鮮鋭性の差(コントラスト値C1’とC2’の関係702)が、入力画像データにおける鮮鋭性の差(コントラスト値C1とC2の関係701)より小さくなり、適切な立体感が得られない出力画像となってしまう。よって、前述のデフォーカス量205に相当する画像のボケの状態と出力画像の鮮鋭性に影響する解像度変換処理による周波数特性の変化とに基づいて、解像度変換処理後の画像の周波数特性を適切に復元し鮮鋭性を制御することで、立体感のある出力画像を得ることができる。
後述する周波数特性復元条件403に設定されるデフォーカス量205に応じた周波数特性復元量を用いて画像の鮮鋭性を適切に制御した出力画像における、上述の合焦領域と非合焦領域のコントラスト値の関係は、図7(c)に示すようにそれぞれC1’’、C2’’となる。図7(c)に示すように、本実施形態の周波数特性復元条件403に基づいて周波数特性復元処理を実行した出力画像での鮮鋭性の差(コントラスト値C1’’、C2’’の関係703)は、周波数特性復元処理を実行しない場合の鮮鋭性の差(コントラスト値C1’、C2’の関係702)に対して大きくなる。よって、入力画像における鮮鋭性の差(コントラスト値C1とC2の関係701)に近くなっているため、適切な立体感を得ることができる。
図7では、説明簡略化のため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量205に対応する画像の空間周波数との2点に対するコントラストを比較した。これに限らず、合焦領域と非合焦領域の他のデフォーカス量205に対応する画像についても同様である。また、許容合焦領域に含まれる特定のデフォーカス量205に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量205に対応する画像との2点においても同様である。
画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置102の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できる。
同様に、解像度変換処理において画像の縮小処理を実行した際の、合焦領域と非合焦領域のコントラストの関係を説明する。図8(a)は、入力画像について、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値C1と、非合焦領域の鮮鋭性を示すコントラスト値C2の関係を示す図である。図8(b)は、入力画像を解像度変換部401により縮小した場合の関係を示す図である。図8(c)は、本実施形態における周波数特性復元処理を実行した場合の関係を示す図である。ボケによる立体感がある入力画像データでは、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値C1と、非合焦領域の鮮鋭性を示すコントラスト値C2が図8(a)に示す関係となる。そして、入力画像を解像度変換部401により縮小すると、図8(b)に示すように、コントラスト値C1とC2はC1’とC2’に変化し、適切な立体感が得られない出力画像となってしまう。
一方、後述の周波数特性復元条件403に設定したデフォーカス量205に応じた周波数特性復元量を用いて、鮮鋭性を適切に制御した出力画像における合焦領域と非合焦領域のコントラスト値の関係は、図8(c)上のC1’’、C2’’となる。本実施形態の周波数特性復元条件403に基づいて周波数特性復元処理を実行した出力画像の鮮鋭性の差(コントラスト値C1’’、C2’’の関係803)は、周波数特性復元処理を実行しない場合の鮮鋭性の差(コントラスト値C1’とC2’の関係802)に対して大きくなる。つまり、より入力画像における鮮鋭性の差(コントラスト値C1とC2の関係801)に近くなり、縮小処理後の画像においても適切な立体感を得ることができる。
図8では、説明簡略化のため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量205に対応する画像の空間周波数との2点に対するコントラストを比較した。これに限らず、合焦領域と非合焦領域の他のデフォーカス量205に対応する画像についても同様である。また、許容合焦領域に含まれる特定のデフォーカス量205に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量205に対応する画像との2点においても同様である。
ここまで、解像度変換処理によって画像の周波数特性(鮮鋭性)の変換により入力画像に対して立体感が失われるが、合焦領域と非合焦領域の周波数特性を適切に復元することで、出力画像において適切な立体感が付与されることを説明した。周波数特性復元部402での周波数特性復元処理における、合焦領域と非合焦領域の復元量に着目すると、解像度変換処理が拡大処理である場合、図9(a)に示す関係となる。また、解像度変換処理が縮小処理である場合、合焦領域と非合焦領域の周波数特性復元量は図9(b)に示す関係となる。
つまり、解像度変換部401により画素数を増やす解像度変換の場合は、合焦面を含む画像の許容合焦領域と非許容合焦領域とを比較すると、許容合焦領域の復元量が非許容合焦領域の空間周波数特性の復元量よりも大きい状態となる。さらに、解像度変換部401により画素数を減らす解像度変換の場合は、合焦面を含む画像の許容合焦領域と非許容合焦領域とを比較すると、許容合焦領域の復元量が非許容合焦領域の空間周波数特性の復元量よりも小さい状態となる。
[周波数特性復元処理]
周波数特性復元処理について説明する。周波数特性復元部402は、周波数特性復元条件403に設定されている制御パラメータにより、入力画像データの鮮鋭性に影響する空間周波数特性を制御する。周波数特性復元条件403では、各デフォーカス量205に対して周波数特性復元量が設定されている。
図10は、周波数特性復元条件403に設定されているデフォーカス量205と鮮鋭性制御量の関係を示している。周波数特性復元条件403の作成方法については後述する。周波数特性復元部402は、解像度変換処理が画像の拡大処理である場合、処理対象画素の輝度情報に対して、同座標位置のデフォーカスマップのデフォーカス量205を参照しながら、周波数特性復元条件403に設定された鮮鋭性制御量を適用する。例えば、式(4)のLaplacian Of Gaussianフィルタやアンシャープマスクを用いてシャープネス処理を行う。式(5)に式(4)のLaplacian Of Gaussianフィルタを用いた際の入力画像データの輝度情報I(x,y)の変換式を示す。Out(x,y)は立体感制処理後の画像データを示し、βは周波数特性復元条件403に設定されるデフォーカス量205に対する周波数特性復元量を示す。
Figure 0007137313000004
Figure 0007137313000005
図10において、デフォーカス量d=0でのβ=β1は、入力画像の合焦領域に対する鮮鋭性制御量(以下、単に制御量ともいう)を示す。また、デフォーカス量d1は、図5(b)に示す許容合焦領域505と非許容合焦領域506の境界の値である。さらに、デフォーカス量d2は、デフォーカスマップに含まれる最大のデフォーカス量である。
出力画像において、出力装置102の出力特性を考慮した適切な立体感を得るためには、図10(a)(b)(c)に示すように、入力画像内の合焦領域の画素に対する制御量が最も大きくなるように周波数特性復元条件403を設定する。さらに、非合焦領域の制御量は、デフォーカス量205が大きくなるほど制御量が小さくなるように、つまり単調減少となるように設定する。合焦面からの距離に相当する情報として画像のボケ量に比例するデフォーカス量205である場合は、図10(a)のように、デフォーカス量と周波数特性復元量は非線形な関係となる。また、合焦面からの距離に相当する情報として像ずれ量206である場合は、図10(b)のように、線形な関係となる。また、図10(c)のように、非許容合焦領域について周波数特性復元量を0としても、前述のように許容合焦領域と非許容合焦領域の間の鮮鋭性の差は、入力画像における許容合焦領域と非許容合焦領域の間の鮮鋭性の差に近づくので、出力画像の立体感を得ることができる。
なお、シャープネス処理に使用するフィルタは、Laplacian Of Gaussianフィルタだけでなく、特定フィルタの強度を鮮鋭性制御量で調整したものでもよい。ここで、特定フィルタとは、例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタである。
また、上記では、鮮鋭性を制御する処理としてシャープネス処理を例に説明したが、これはコントラスト処理でもよい。具体的には、図10(d)に示すように、合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については、鮮鋭性制御量を係数とする変換式を用いる方法や、入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できる方法であれば、これらに限られない。シャープネス処理とコントラスト処理のどちらも出力画像の鮮鋭性を制御することができるため、出力装置102の特性に応じて、どちらかの処理を選択する、あるいは2つの処理を組み合わせて実行してもよい。
一方、解像度変換処理が画像の縮小処理である場合、入力画像データの各画素の輝度情報に対して、同座標位置のデフォーカスマップのデフォーカス量を参照しながら、周波数特性復元条件403に設定された鮮鋭性制御量を適用して平滑化処理を行う。平滑化処理には例えば、式(6)に示すようなガウシアンフィルタなどを用いる。ここで、βは、周波数特性復元条件403に設定される、デフォーカス量205に対する周波数特性復元量である。
Figure 0007137313000006
出力画像において適切な立体感が得るためには、図14(a)(b)(c)に示すように、入力画像内の合焦領域の画素に対する制御量が最も小さくなるように周波数特性復元条件403を設定する。さらに、非合焦領域の制御量は、デフォーカス量205が大きくなるほど制御量が大きくなるように設定する。つまり、解像度変換処理後の画像の非合焦領域が合焦領域よりもボケるように制御する。
図14において、デフォーカス量d=0でのβ=β1は、入力画像の合焦領域に対する制御量を示す。またデフォーカス量d1は、図5(b)に示す許容合焦領域505と非許容合焦領域506の境界の値である。さらにデフォーカス量d2は、デフォーカスマップに含まれる最大のデフォーカス量である。
合焦面からの距離に相当する情報として画像のボケ量に比例するデフォーカス量205である場合は、図14(a)のように、デフォーカス量と周波数特性復元量は非線形な関係となる。また、合焦面からの距離に相当する情報として像ずれ量206である場合は、図14(b)のように、線形な関係となる。
また、図14(c)のように、許容合焦領域について周波数特性復元量を0としても、前述のように許容合焦領域と非許容合焦領域の間の鮮鋭性の差は、入力画像における許容合焦領域と非許容合焦領域の間の鮮鋭性の差に近づくので、出力画像の立体感を得ることができる。
なお、平滑化処理に使用するフィルタは、ガウシアンフィルタだけでなく、特定フィルタの強度を鮮鋭性制御量で調整したものでもよい。ここで、特定フィルタとは、例えば、出力画像の鮮鋭性の情報の逆特性を求めて作成されたフィルタである。
また、上記では鮮鋭性を制御する処理として平滑化処理を例に説明したが、これはコントラスト処理でもよい。具体的には、図14(d)に示すように、許容合焦領域の入力画像データの各画素の輝度値のコントラストがより高くなるように輝度変換を行う。輝度変換については鮮鋭性制御量を係数とする変換式を用いる方法等があるが、コントラストが制御できる方法であれば、これに限られない。平滑化処理とコントラスト処理のどちらも出力画像の鮮鋭性を制御することができるため、出力装置102の特性に応じて、どちらかの処理を選択する、あるいは2つの処理を組み合わせて実行してもよい。
[周波数特性復元条件]
周波数特性復元処理での周波数特性復元条件403の作成方法について説明する。周波数特性復元条件403に設定するパラメータは、例えば、図11に示すような計測用チャートをプリンタやディスプレイ、プロジェクタ等の出力装置102で出力し、不図示の測定装置を用いて取得した出力装置102の出力画像の周波数特性(MTF特性)から算出する。また、出力画像生成における各画像処理をPC上でシミュレートして得られた画像から、出力装置102のMTF特性を算出する方法でもよい。
図11に示すチャートは、ピントが合っている合焦面に対応する画像群1101、特定のデフォーカス量205における入力画像のボケ量に相当するボケで表現された複数の画像群1102を含んで構成されている。より詳細には、空間周波数の異なる複数の矩形パターンあるいは正弦波パターン、均一パターン1103、1104を含むチャートである。なお、図11に示したものは、空間周波数の異なる複数の正弦波パターン1101、1102である。均一パターンは、正弦波パターン上の最大画素値と最小値の画素値とを含んで構成される。
周波数特性復元条件403の作成方法を図12のフローチャートを参照しながら説明する。まず、図11に示す計測用チャートを、解像度変換処理等、図6での出力装置102での出力条件に応じて出力する(チャート出力、S1201)。次に、出力装置102で出力した計測用チャートを不図示の測定装置を用いて測定し、MTF特性算出に必要な情報を取得する(S1202)。正弦波パターンである場合、MTF特性は、式(7)又は式(8)で算出する(S1203)。この値は、光学伝達関数の絶対値を示している。出力画像の平均明度が変化する場合は、式(8)を用いてもよい。式(7)や式(8)におけるR1、R2の値は反射率であるが、輝度や濃度やデバイスRGB値を用いてもよい。不図示の測定装置としては、出力装置102がプリンタである場合は、例えばスキャナやデジタルカメラ、顕微鏡を用いてもよく、ディスプレイやプロジェクタの場合は、デジタルカメラを用いてもよい。
Figure 0007137313000007
Figure 0007137313000008
また、矩形波パターンである場合、出力装置102のMTF特性は、式(7)または式(8)を適用することで得られるコントラスト伝達関数(CTF)で表現される。また、CTF値をコルトマン補正式で変換したMTF値を用いてもよい。
前述の方法により、計測用チャートに含まれる合焦面に対応する画像群1101および特定のデフォーカス量に対応する画像群1102それぞれの画像の周波数特性(MTF特性)が取得される。
図13に周波数特性の例を示す。図13において、実線D0は合焦面に対応する画像群1101の特性を示し、点線D1は許容合焦領域に含まれるデフォーカス量205に対応する画像群の特性を示す。そして、破線D2は、非許容合焦領域に含まれるデフォーカス量205に対応する画像群の特性を示している。
これにより、デフォーカス量205ごとに、MTF特性が取得できる。つまり、デフォーカス量毎の出力装置102の鮮鋭性に関する出力特性が得られる。一方、出力画像で適切な立体感を得るためには、周波数特性復元処理を適用しない場合と比較して、周波数特性復元処理を適用した際の出力画像の許容合焦領域と非許容合焦領域の間の鮮鋭性の差が、入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づく必要がある。つまり、出力画像において許容合焦領域と非許容合焦領域の間の鮮鋭性の差を適切に制御するためには、デフォーカス量毎の出力装置102の鮮鋭性に影響する出力特性に応じて、鮮鋭性制御量を設定すればよい。例えば、特定の空間周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を入力画像の鮮鋭性あるいは周波数特性に、鮮鋭化処理によって復元するように周波数特性復元量を設定する(S1204)。
同様に、非合焦領域に対してもデフォーカス量毎に得られるMTF特性から復元量を算出して周波数特性復元量とする。これにより、図10および図14に示すデフォーカス量205に対する鮮鋭性制御量が算出される。デフォーカス量と鮮鋭度の関係は、図10および図14に示すような、デフォーカス量205を入力として鮮鋭性制御量を出力とする関係式として設定する方法、LUT方式でパラメータを選択して設定する方法等がある。また、これらに限られず、デフォーカス量205に対する鮮鋭性制御量を算出できるのであれば、他の方法が用いられてもよい。
また、周波数特性復元量は、MTF特性を復元する値に限られない。周波数特性復元条件403に設定される合焦領域と非合焦領域における、デフォーカス量と周波数特性復元量に応じた鮮鋭化処理を行わない場合の鮮鋭性の差に対して、鮮鋭化処理を行った場合の鮮鋭性の差が大きくなることを満足すると、出力画像で適切な立体感を得られる。さらには、図10に示す合焦面の制御量β1は、画像のMTF特性を0.8から1.2に復元するように設定すると、出力画像における合焦面の鮮鋭性が好ましい画像が得られる。
また、本実施形態では、周波数特性復元条件403としてデフォーカス量205と周波数特性復元量との関係を例に説明したが、合焦面からの距離に相当する情報である像ずれ量206もしくは合焦面と物体との距離304と、周波数特性復元量との関係を周波数特性復元条件403としてもよい。
以上のように、デフォーカス量205に応じた出力装置102の鮮鋭性に関する出力特性から導出される周波数特性復元条件403を設定する(S1205)。設定された周波数特性復元条件403により入力画像データを処理することで、出力画像の立体感を制御することが可能になる。
また、図6においては、S603で解像度変換処理を行うものとして説明しているが、解像度変換処理を行うか否かの判定処理をS603の前段で行うようにしてもよい。なお、その判定処理は、例えば、印刷情報データの内容に基づいて行われてもよい。そして、解像度変換処理を行うと判定された場合にはS603以降の処理を行い、解像度変換処理を行わないと判定された場合にはS603~S605の処理を行わずに、S606で出力画像が生成される。
[第2の実施形態]
以下、第2の実施形態を、第1の実施形態と異なる点について説明する。図15は本実施形態の画像処理部110の構成を示す図であり、図16は画像処理を示すフローチャートである。本実施形態では、第1の実施形態の構成に加えて、出力特性補正部1504と出力特性補正条件1505を有する。解像度変換部1501、周波数特性復元部1502、周波数特性復元条件1503、出力画像生成部1506はそれぞれ、解像度変換部401、周波数特性復元部402、周波数特性復元条件403、出力画像生成部404に対応する。
本実施形態ではまず、画像処理部110は、入力画像データを取得し(S1601)、撮影時の合焦面からの距離に相当する情報として上述のデフォーカスマップを取得する(S1602)。次に、解像度変換部1501は、出力画像データの画素数に応じて、入力画像データの画素数を変更する(S1603)。解像度変換部1501における入力画像データの画素数の変更には、一般的な画像拡大や縮小処理を用いる。
次に、周波数特性復元部1502は、周波数特性復元条件1503を取得し(S1604)、S1602で取得したデフォーカスマップに基づいて、解像度変換処理後の入力画像データに対して周波数特性の復元処理を行う(S1605)。ここで、周波数特性復元条件1503は、出力装置102内の記憶装置(ハードディスクやROM等)に記憶されている。次に、出力特性補正部1504は、出力特性補正条件1505に基づいて、周波数特性復元処理後の画像に対して補正処理を行う(S1606)。出力特性補正条件1505は、出力装置102内の記憶装置(ハードディスクやROM等)に記憶されている。
出力画像生成部404は、出力特性補正部1504から出力される出力画像データ(RGB)に対して、インクジェットプリンタの記録ヘッドで記録するためのデータを生成する(S1607)。出力画像生成部1506で生成された出力データは、印刷部111に送られ、記録媒体上に記録される(S1608)。出力特性補正部1504および出力特性補正条件1505の構成以外の構成については、第1の実施形態と同様であるので、その説明を省略する。
[出力画像における立体感]
出力装置から出力される画像の鮮鋭性に影響する出力特性と立体感について説明する。本実施形態で述べているプリンタなどの出力装置102により画像を出力すると、記録媒体やインク等によるインクの滲みやハーフトーニングなどの出力処理により画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に、出力画像において画像の鮮鋭性が低下する。図17にプリンタによる画像の周波数特性(MTF特性)の応答を示す。図17に示すように、空間周波数が高くなるほど応答性が低下し、画像の鮮鋭性が低下する。
図18に入力画像と出力画像における合焦領域と非合焦領域のコントラストの関係を示す。説明簡略化のため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性とが同じ周波数にピークを持つ画像を例として説明する。
ボケによる立体感がある入力画像データにおいて、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値C1と、非合焦領域の鮮鋭性を示すコントラスト値C2が、図18(a)に示す関係となる。出力画像では、図17のMTF特性が適用され、図18(b)に示すようにコントラスト値C1とC2は、C1’とC2’に変化する。
出力装置102の特性によって入力画像データの鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。立体感に影響する鮮鋭性の差(コントラスト値C1’とC2’の関係1802)が、入力画像データにおける鮮鋭性の差(コントラスト値C1とC2の関係1801)より小さくなり、適切な立体感が得られない出力画像となる。よって、前述のデフォーカス量205に相当する画像のボケの状態と出力画像の鮮鋭性に影響する出力特性の変化に基づいて、画像の周波数特性を適切に復元し鮮鋭性を制御することで、立体感のある出力画像を得ることができる。
後述する出力特性補正条件1505に設定されるデフォーカス量205に応じた出力特性補正量を用いて画像の鮮鋭性を適切に制御した出力画像における、上述の合焦領域と非合焦領域のコントラスト値の関係は、図18(c)に示すようにそれぞれC1’’、C2’’となる。本実施形態の出力特性補正処理に基づいて補正処理をした出力画像の鮮鋭性の差(コントラスト値C1’’、C2’’の関係1803)は、処理をしない場合の鮮鋭性の差(コントラスト値C1’,C2’の関係1802)に対して大きくなる。よって、より入力画像における鮮鋭性の差(コントラスト値C1とC2の関係1801)に近くなり、適切な立体感を得ることができる。
図18では、説明簡略化のため、合焦領域の画像の空間周波数と非合焦領域の特定のデフォーカス量205に対応する画像の空間周波数との2点に対するコントラストを比較したが、合焦領域と非合焦領域の他のデフォーカス量205に対応する画像についても同様である。また、許容合焦領域に含まれる特定のデフォーカス量205に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量205に対応する画像との2点においても同様である。
画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置102の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できる。
ここまで、出力装置102の特性によって画像の周波数特性(鮮鋭性)の変換により入力画像に対して立体感が失われるが、合焦領域と非合焦領域の周波数特性を適切に復元することで、出力画像において適切な立体感が付与できることを説明した。出力特性補正部1504での出力特性補正処理における、合焦領域と非合焦領域の補正量に着目すると図18(d)に示す関係となる。つまり、合焦面を含む画像の合焦領域と非合焦領域を比較すると、合焦領域の補正量が非合焦領域の空間周波数特性の補正量よりも大きい状態となる。
本実施形態における、出力特性補正処理は、画像の鮮鋭性をデフォーカス量205に応じた出力装置102の鮮鋭性に関する出力特性から導出される出力特性補正処理条件1505により補正する。ここで、画像の鮮鋭性を制御する処理としては、第1の実施形態における周波数特性復元処理と同様に、シャープネス処理やコントラスト処理を行う。また、出力特性補正条件は、第1の実施形態における周波数特性復元条件403、1503の導出時と同様の手法により設定される。つまり、出力条件(例えば、記録媒体やインク等)毎に、図11に示すチャートを出力して出力装置の特性(MTF特性)を取得し、周波数特性復元条件403、1503と同様に補正条件を算出する。このような方法で算出した出力特性補正量は、図19に示すような、デフォーカス量205に応じた出力特性補正量として設定される。
出力画像において適切な立体感を得るためには、図19(a)(b)(c)に示すように、入力画像内の合焦領域の画素に対する制御量が最も大きくなるように出力特性補正量を設定する。さらに、非合焦領域の制御量はデフォーカス量が大きくなるほど補正量が小さくなるように設定するとよい。また、出力特性補正部1504においてコントラスト処理を実行する場合は、出力特性補正量は、図19(d)のようになる。合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については、出力特性補正量を係数とする変換式を用いる方法や、入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、これらに限られない。シャープネス処理とコントラスト処理のどちらも出力画像の鮮鋭性を制御することができるため、出力装置102の特性に応じて、どちらかの処理を選択する、あるいは2つの処理を組み合わせて実行してもよい。
また、出力特性補正量は、図20に示すように記録媒体の特性やインクの特性、記録媒体サイズによって異なる。これは、記録媒体やインク特性毎に、インクの滲み等による画像の鮮鋭性の低下の度合が異なるからである。図20(a)の破線は、図19(a)と異なる条件で出力した際のデフォーカス量205に対する出力特性補正量の線を示している。例えば、図20(a)は、図19(a)と比べてインクの滲みが大きい場合を示している。逆に図20(b)は、図19(a)と比べてインクの滲みが小さい場合を示している。このように本実施形態では、デフォーカス量205に応じた出力装置102の鮮鋭性に関する出力特性から導出される出力特性補正条件1505を使用して、周波数特性復元処理後の画像に対して出力特性補正を行う。よって、解像度変換処理による立体感の変化と共に、出力装置102の特性に起因する立体感の変化も適切に補正できる。よって、撮影時の合焦面からの距離に相当する情報と出力装置102の鮮鋭度の再現特性に応じて、合焦領域と非合焦領域の鮮鋭度が適切に制御された出力画像が得られる。
また、図16においては、S1603で解像度変換処理を行うものとして説明しているが、解像度変換処理を行うか否かの判定処理をS1603の前段で行うようにしてもよい。なお、その判定処理は、例えば、印刷情報データの内容に基づいて行われてもよい。そして、解像度変換処理を行うと判定された場合にはS1603以降の処理を行い、解像度変換処理を行わないと判定された場合にはS1603~S1605の処理を行わずに、S1606で出力特性補正処理が行われる。
また、以上で説明した実施形態では、写真画像中の画像データとしてカメラ等の撮像装置で撮影したデータ、合焦面からの距離に相当する情報として撮影時のデフォーカス量を用いる形態を説明した。しかし、撮像して得られた写真画像を画像編集用のソフトウェアで編集して焦点位置の補正を行い、その際に合わせて画像中の領域毎のフォーカス量も変更することもある。その場合には、補正後の画像データと変更後のデフォーカス量を用いてもよい。また、撮像装置側でフォーカス量を取得せずに、撮像した画像を画像編集用のソフトウェアで解析し、その解析によりフォーカス量を取得するようにしてもよい。
また、これらに限らず、例えばモデリング、レンダリング、画像編集用のソフトウェア等で作成した写真画像のデータと、その画像データに対応するソフトウェアで作成された合焦面からの距離に相当する情報を使用することもできる。これらのソフトウェアでは、合焦面からの距離に相当する情報であるマップを用いて画像のボケ情報等を生成する場合がある。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102 出力装置: 113 CPU: 114 記憶装置: 115 作業メモリ

Claims (19)

  1. 画像の画像データを入力する入力手段と、
    前記入力手段により入力された画像データの解像度変換を行う解像度変換手段と、
    前記画像中の合焦面からの距離に関する情報と前記解像度変換とに基づいて、前記解像度変換手段により解像度変換が行われた画像データが表す画像の鮮鋭性を制御する制御手段と、
    前記制御手段により鮮鋭性の制御が行われた画像データを出力する出力手段と、
    を備え、
    前記解像度変換が拡大処理である場合、前記制御手段は、前記合焦面からの距離に関する情報が第1の距離を示す場合の鮮鋭性の制御量が、前記合焦面からの距離に関する情報が前記第1の距離よりも大きい第2の距離を示す場合の鮮鋭性の制御量よりも大きくなるように制御することを特徴とする出力装置。
  2. 前記制御手段は、前記合焦面からの距離に関する情報が示す距離が小さいほど、鮮鋭性の制御量を大きくすることを特徴とする請求項1に記載の出力装置。
  3. 前記解像度変換が縮小処理である場合、前記制御手段は、前記合焦面からの距離に関する情報が前記第1の距離を示す場合の鮮鋭性の制御量が、前記合焦面からの距離に関する情報が前記第2の距離を示す場合の鮮鋭性の制御量よりも小さくなるように制御することを特徴とする請求項1または2に記載の出力装置。
  4. 前記制御手段は、前記合焦面からの距離に関する情報が示す距離が大きいほど、鮮鋭性の制御量を大きくすることを特徴とする請求項3に記載の出力装置。
  5. 前記合焦面からの距離に関する情報は、デフォーカス量を含むことを特徴とする請求項1乃至4のいずれか1項に記載の出力装置。
  6. 前記合焦面からの距離に関する情報は、像ずれ量を含むことを特徴とする請求項1乃至4のいずれか1項に記載の出力装置。
  7. 前記制御手段による鮮鋭性の制御が行われた画像データにおいて、合焦していると判定される第1の領域と合焦していないと判定される第2の領域との間の鮮鋭性の相対関係は、前記制御手段による鮮鋭性の制御が行われない画像データよりも、前記入力手段により入力された前記画像データにおける前記第1の領域と前記第2の領域との間の鮮鋭性の相対関係に近いことを特徴とする請求項1乃至6のいずれか1項に記載の出力装置。
  8. 特定のデフォーカス量に対応し、複数の空間周波数に対応する複数のパターンを含む計測用チャートを出力条件に従って出力するチャート出力手段と、
    前記チャート出力手段により出力された前記計測用チャートに基づいて、前記制御手段による鮮鋭性の制御量を取得する取得手段と、をさらに備え、
    前記制御手段は、前記取得手段により取得された前記制御量を用いて、前記解像度変換手段により解像度変換が行われた画像データが表す画像の鮮鋭性を制御することを特徴とする請求項1乃至7のいずれか1項に記載の出力装置。
  9. 前記取得手段は、前記チャート出力手段により出力された前記計測用チャートからMTF特性を求め、当該MTF特性に基づいて得られる鮮鋭性の復元量を、前記鮮鋭性の制御量として取得することを特徴とする請求項8に記載の出力装置。
  10. 前記出力条件は、解像度変換に関する条件を含むことを特徴とする請求項8又は9に記載の出力装置。
  11. 特定のデフォーカス量に対応し、複数の周波数に対応する複数のパターンを含む計測用チャートを記録媒体、インクの少なくともいずれかに関する条件に従って出力する第2のチャート出力手段と、
    前記第2のチャート出力手段により出力された前記計測用チャートに基づいて、出力特性の補正量を取得する第2の取得手段と、
    前記第2の取得手段により取得された前記出力特性の補正量を用いて、前記制御手段により鮮鋭性の制御が行われた画像データを補正することを特徴とする請求項8乃至10のいずれか1項に記載の出力装置。
  12. 前記制御手段による鮮鋭性の制御は、シャープネス処理、コントラスト処理、の少なくともいずれかを含むことを特徴とする請求項1乃至11のいずれか1項に記載の出力装置。
  13. 前記画像は被写体を撮像することにより得られたものであることを特徴とする請求項1乃至12のいずれか1項に記載の出力装置。
  14. 前記合焦面は被写体を撮像する際の合焦面であることを特徴とする請求項1乃至13のいずれか1項に記載の出力装置。
  15. 前記出力手段による出力は、印刷、表示の少なくともいずれかを含むことを特徴とする請求項1乃至14のいずれか1項に記載の出力装置。
  16. 画像の画像データを入力する入力手段と、
    前記入力手段により入力された画像データの解像度変換を行う解像度変換手段と、
    前記画像中の合焦面からの距離に関する情報と前記解像度変換とに基づいて、前記解像度変換手段により解像度変換が行われた画像データが表す画像の鮮鋭性を制御する制御手段と、
    前記制御手段により鮮鋭性の制御が行われた画像データを出力する出力手段と、
    を備え、
    前記制御手段による鮮鋭性の制御が行われた画像データにおいて、合焦していると判定される第1の領域と合焦していないと判定される第2の領域との間の鮮鋭性の相対関係は、前記制御手段による鮮鋭性の制御が行われない画像データよりも、前記入力手段により入力された前記画像データにおける前記第1の領域と前記第2の領域との間の鮮鋭性の相対関係に近いことを特徴とする出力装置。
  17. 画像の画像データを入力する入力工程と、
    前記入力工程において入力された画像データの解像度変換を行う解像度変換工程と、
    前記画像中の合焦面からの距離に関する情報と前記解像度変換とに基づいて、前記解像度変換工程において解像度変換が行われた画像データが表す画像の鮮鋭性を制御する制御工程と、
    を有し、
    前記解像度変換が拡大処理である場合、前記制御工程では、前記合焦面からの距離に関する情報が第1の距離を示す場合の鮮鋭性の制御量が、前記合焦面からの距離に関する情報が前記第1の距離よりも大きい第2の距離を示す場合の鮮鋭性の制御量よりも大きくなるように制御することを特徴とする画像処理方法。
  18. 画像の画像データを入力する入力工程と、
    前記入力工程において入力された画像データの解像度変換を行う解像度変換工程と、
    前記画像中の合焦面からの距離に関する情報と前記解像度変換とに基づいて、前記解像度変換工程において解像度変換が行われた画像データが表す画像の鮮鋭性を制御する制御工程と、
    を有し、
    前記制御工程において鮮鋭性の制御が行われた画像データにおいて、合焦していると判定される第1の領域と合焦していないと判定される第2の領域との間の鮮鋭性の相対関係は、前記制御工程において鮮鋭性の制御が行われない画像データよりも、前記入力工程において入力された前記画像データにおける前記第1の領域と前記第2の領域との間の鮮鋭性の相対関係に近いことを特徴とする画像処理方法。
  19. 請求項1乃至16のいずれか1項に記載の出力装置の各手段としてコンピュータを機能させるためのプログラム。
JP2018025351A 2018-02-15 2018-02-15 出力装置、画像処理方法およびプログラム Active JP7137313B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018025351A JP7137313B2 (ja) 2018-02-15 2018-02-15 出力装置、画像処理方法およびプログラム
US16/275,448 US10958888B2 (en) 2018-02-15 2019-02-14 Image processing apparatus, image processing method and storage medium for storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018025351A JP7137313B2 (ja) 2018-02-15 2018-02-15 出力装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019144606A JP2019144606A (ja) 2019-08-29
JP7137313B2 true JP7137313B2 (ja) 2022-09-14

Family

ID=67541293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018025351A Active JP7137313B2 (ja) 2018-02-15 2018-02-15 出力装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US10958888B2 (ja)
JP (1) JP7137313B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7137313B2 (ja) * 2018-02-15 2022-09-14 キヤノン株式会社 出力装置、画像処理方法およびプログラム
US10972714B2 (en) * 2018-02-15 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium for storing program
JP7080688B2 (ja) * 2018-03-22 2022-06-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
JP7117914B2 (ja) 2018-06-29 2022-08-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7199169B2 (ja) 2018-07-05 2023-01-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020010146A (ja) 2018-07-05 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020141226A (ja) * 2019-02-27 2020-09-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022083913A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301656A (ja) 2003-03-31 2004-10-28 Konica Minolta Holdings Inc 鮮鋭度測定方法、鮮鋭度測定装置および画像記録装置ならびに鮮鋭度測定プログラム
JP2005020061A (ja) 2003-06-23 2005-01-20 Matsushita Electric Ind Co Ltd 映像信号処理装置及び映像信号処理方法
JP2010161744A (ja) 2009-01-09 2010-07-22 Canon Inc 画像処理装置および画像処理方法
US20150002545A1 (en) 2013-06-28 2015-01-01 Canon Kabushiki Kaisha Variable blend width compositing
US20180350043A1 (en) 2017-06-02 2018-12-06 Apple Inc. Shallow Depth Of Field Rendering

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325220B2 (en) 2005-12-02 2012-12-04 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input
JP5243833B2 (ja) 2008-04-04 2013-07-24 株式会社日立製作所 画像信号処理回路、画像表示装置、および画像信号処理方法
JP2011239195A (ja) * 2010-05-11 2011-11-24 Sanyo Electric Co Ltd 電子機器
US10134150B2 (en) 2010-08-10 2018-11-20 Monotype Imaging Inc. Displaying graphics in multi-view scenes
JP5818586B2 (ja) 2011-08-31 2015-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
JP2014006614A (ja) 2012-06-22 2014-01-16 Sony Corp 画像処理装置、画像処理方法、並びにプログラム
WO2014014135A1 (ko) * 2012-07-17 2014-01-23 인텔 코오퍼레이션 촬영된 이미지의 리포커싱 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
US20150379720A1 (en) 2013-01-31 2015-12-31 Threevolution Llc Methods for converting two-dimensional images into three-dimensional images
JP6381376B2 (ja) * 2014-09-02 2018-08-29 キヤノン株式会社 撮像装置、カメラシステム、画像処理装置および画像処理プログラム
US20170230638A1 (en) * 2015-02-26 2017-08-10 Dual Aperture International Co. Ltd. Depth Measurement Techniques for a Multi-Aperture Imaging System
US20160307368A1 (en) * 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
DE102015121017A1 (de) * 2015-12-03 2017-06-08 Karl Storz Gmbh & Co. Kg Beobachtungsvorrichtung, insbesondere medizinische Beobachtungsvorrichtung, mit einer Bedieneinheit sowie Verwendung eines Eingabemoduls
JP6906995B2 (ja) * 2017-03-27 2021-07-21 キヤノン株式会社 電子機器、撮像装置、及び制御方法、並びにプログラム
US10972714B2 (en) * 2018-02-15 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium for storing program
US10992851B2 (en) * 2018-02-15 2021-04-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium, with image processing based on image processing condition and information equivalent to distance from focal plane
JP7137313B2 (ja) * 2018-02-15 2022-09-14 キヤノン株式会社 出力装置、画像処理方法およびプログラム
JP7117914B2 (ja) * 2018-06-29 2022-08-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020010146A (ja) * 2018-07-05 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10810707B2 (en) * 2018-11-29 2020-10-20 Adobe Inc. Depth-of-field blur effects generating techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301656A (ja) 2003-03-31 2004-10-28 Konica Minolta Holdings Inc 鮮鋭度測定方法、鮮鋭度測定装置および画像記録装置ならびに鮮鋭度測定プログラム
JP2005020061A (ja) 2003-06-23 2005-01-20 Matsushita Electric Ind Co Ltd 映像信号処理装置及び映像信号処理方法
JP2010161744A (ja) 2009-01-09 2010-07-22 Canon Inc 画像処理装置および画像処理方法
US20150002545A1 (en) 2013-06-28 2015-01-01 Canon Kabushiki Kaisha Variable blend width compositing
US20180350043A1 (en) 2017-06-02 2018-12-06 Apple Inc. Shallow Depth Of Field Rendering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
David Bailly,Active focus and zoom control used for scene analysis,2010 International Conference of Soft Computing and Pattern Recognition,フランス,IEEE,2011年01月13日,P.468-471,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5686497

Also Published As

Publication number Publication date
US10958888B2 (en) 2021-03-23
US20190253690A1 (en) 2019-08-15
JP2019144606A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP7137313B2 (ja) 出力装置、画像処理方法およびプログラム
US11037037B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
US10992851B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium, with image processing based on image processing condition and information equivalent to distance from focal plane
US10972714B2 (en) Image processing apparatus, image processing method and storage medium for storing program
JP7403594B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
JP5235642B2 (ja) 画像処理装置およびその方法
CN108462830B (zh) 摄像装置及摄像装置的控制方法
US11645774B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2011135563A (ja) 撮像装置および画像処理方法
US10621694B2 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
JP2022083913A (ja) 画像処理装置、画像処理方法及びプログラム
JP7278080B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11120315B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium, with image processing using distance information equivalent to distance from focal plane at time of image-capturing and image processing condition
JP7356218B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP7208809B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6969619B2 (ja) 校正方法
JP6576174B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2018032982A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2019186905A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220713

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220725

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R151 Written notification of patent or utility model registration

Ref document number: 7137313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151