JP5760727B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP5760727B2
JP5760727B2 JP2011132134A JP2011132134A JP5760727B2 JP 5760727 B2 JP5760727 B2 JP 5760727B2 JP 2011132134 A JP2011132134 A JP 2011132134A JP 2011132134 A JP2011132134 A JP 2011132134A JP 5760727 B2 JP5760727 B2 JP 5760727B2
Authority
JP
Japan
Prior art keywords
distance
image
main subject
image processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011132134A
Other languages
English (en)
Other versions
JP2013005084A (ja
Inventor
広靖 上原
広靖 上原
Original Assignee
リコーイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リコーイメージング株式会社 filed Critical リコーイメージング株式会社
Priority to JP2011132134A priority Critical patent/JP5760727B2/ja
Publication of JP2013005084A publication Critical patent/JP2013005084A/ja
Application granted granted Critical
Publication of JP5760727B2 publication Critical patent/JP5760727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23212Focusing based on image signals provided by the electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Description

本発明は、画像に対し画像処理を施す画像処理装置および画像処理方法に関する。

例えば写真撮影では、被写界深度によるボケ効果を利用して、合焦した主要被写体以外の遠景の背景や前景をぼかす表現手法がしばしば用いられる。しかし、被写界深度は焦点距離が短くなるほど深くなるため、焦点距離の短いレンズを採用する必要がある撮像面の大きさが小さい撮像素子を用いたコンパクトデジタルカメラなどではボケ効果を得難い。

このような問題に対し、撮影画像を合焦領域と非合焦領域に分別し、非合焦領域の画像にぼかし処理を施すことで擬似的なボケ効果を与える手法が提案されている。この手法では、撮影された画像を複数の領域に分割し、それぞれの領域の空間周波数から合焦領域と非合焦領域を判別している。すなわち合焦領域は一般にコントラストが高いことから、空間周波数が高い領域を合焦領域、低い領域を非合焦領域として判別している(特許文献1)。

特開2006−140594号公報

しかし、画像の空間周波数は被写体のテクスチャにも依存し、1枚の画像内において空間周波数が高いことが必ずしも合焦領域であることを意味しない。例えば、森林や瓦屋根などの画像は、もともと空間周波数が高く、逆に人の肌などは、合焦されていても非合焦領域に比べ空間周波数が高いとは限らない。したがって、例えばより適正なボケ効果を演出するには、画像内の各領域において被写体までの距離を把握し、これに基づきぼかし処理を施すことが望まれる。

本発明は、被写体までの距離に基づくより効果的な演出を画像に施すことを課題としている。

本発明の画像処理装置は、画像の中から主要用被写体を選択する主要被写体選択手段と、画像に対して画像処理を施す画像処理手段とを備え、画像処理手段が主要被写体までの距離に応じた画像処理を施すことを特徴としている。

画像処理は、例えばぼかし処理である。主要被写体までの距離が所定距離よりも遠いときには、主要被写体よりも遠い被写体に対してのみぼかし処理を施すことが好ましく、主要被写体までの距離が所定距離よりも近いときには、主要被写体を中心とする深度を強調するぼかし処理を施すことが好ましい。また、例えばぼかし処理における強度を調整するためのぼかし設定手段を備えることが好ましい。更に、画像撮影時のF値に基づき、ぼかし処理を変更する主要被写体までの距離を変更することが好ましい。また、画像の各領域に対する被写体までの距離情報を記録した距離マップデータを参照して距離が特定される。

本発明のデジタルカメラは、上記画像処理装置を備えたことを特徴としている。また、デジタルカメラは、画像の各領域に対する被写体までの距離情報を取得する手段を備えることが好ましい。

本発明の画像処理方法は、画像の中から主要用被写体を選択するステップと、画像に対して主要被写体までの距離に応じた画像処理を施すステップとを備えたことを特徴としている。

本発明のコンピュータプログラムは、画像の中から主要用被写体を選択する手順と、画像に対して主要被写体までの距離に応じた画像処理を施す手順とをコンピュータに実行させることを特徴としている。

本発明によれば、被写体までの距離に基づくより効果的な演出を画像に施すことができる。

本発明の第1実施形態であるデジタルカメラの概略的な構成を示すブロック図である。 ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。 距離マップ作成処理のフローチャートの前半部である。 距離マップ作成処理のフローチャートの後半部である。 コントラストマップ作成までの内容を模式的に説明する図である。 複数のスルー画像に対するコントラストマップにおいて、コントラスト値をスキャンする方法を示す図である。 複数のスルー画像に付されたコントラストマップ番号とコントラスト値の関係の一例を示すグラフである。 距離マップの一例を示す図である。 第1実施形態のマスク作成処理のフローチャートである。 近距離にある人物が主要被写体とされたときの各ブロックのぼかし具合を示す図である。 中距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。 遠距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。 第1実施形態の変形例において、ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。 第2実施形態における主要被写体までの距離と近距離モード、遠距離モードの関係を示す図である。 近距離モードにおける距離とぼけ具合を示すグラフである。 遠距離モードにおける距離とぼけ具合を示すグラフである。 近距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。 近距離モードにおける画像の一例である。 遠距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。 遠距離モードにおける画像の一例である。 第2実施形態のマスク作成処理のフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図1は、本発明の第1実施形態であるデジタルカメラの概略的な構成を示すブロック図である。なおデジタルカメラは、例えばコンパクトカメラや携帯電話など小型電子機器に搭載されるカメラユニットを含むものであるが、第1実施形態では、コンパクトカメラを例に説明を行う。

デジタルカメラ10において、被写体像は撮影レンズ11を介して撮像素子12において撮像される。撮像素子12の駆動は、撮像素子ドライバ13により制御され、撮像素子ドライバ13は制御部14からの指令に基づき制御される。また、撮像素子12で取得された画像は、制御部14へ送られ各種デジタル画像処理が施されるとともに、例えば画像メモリ15に一時的に保持され、ユーザの決定にしたがって例えば記録媒体16に保存される。また、撮像素子12で取得された画像、あるいは画像メモリ15、記録媒体16に保持された画像は、例えばLCDなどのモニタ17に表示可能である。

撮影レンズ11はレンズ駆動部18によって駆動され、絞り19は絞り駆動部20によって駆動される。AF処理にはコントラスト方式が採用され、制御部14は撮像素子12で撮影された画像のコントラストを参照してレンズ駆動部18を制御するとともに、測光値に基づき絞り駆動部20を制御する。また、デジタルカメラ10には、制御部14に接続された、レリーズスイッチや測光スイッチ、あるいは各種機能の選択/設定のためのダイヤルスイッチや4方向スイッチなど様々なスイッチを含むスイッチ群21が設けられる。

次に図1および図2のフローチャートを参照して第1実施形態のぼかし処理について説明する。図2のフローチャートは、ぼかし処理モードが設定されているときに制御部14で繰り返し実行される割り込み処理である。なお、ぼかし処理モードの設定は、ユーザの所定のスイッチ操作により行われる。

ステップS100では、例えばレリーズボタン(図示せず)が半押しされ測光スイッチS1がオンされた否かが判定される。測光スイッチS1がオンされていない場合、すなわちレリーズボタンが半押しされていない場合、この割り込み処理は直ちに終了し、他の処理が実行された後再び繰り返し実行される。ステップS100において測光スイッチS1がオンされたと判定されると、ステップS102において、レンズ駆動部18により撮影レンズ11を移動して、ピントを近距離から遠距離(例えば無限遠)までの間の複数の位置(Np箇所)に合わせ(例えば所定ステップでレンズを移動)、各位置において1枚ずつ取得されるNp枚のスルー画像を画像メモリ15に記憶する。なお、ステップS102の処理は、高速に行われ、この間に取得されるNp枚の画像は、合焦位置が各々異なるのみで、同一被写体を同―位置、同―方向から同一画角で撮影した画像とみなせる。

ステップS104では、従来周知のコントラスト方式のAF処理により、撮影レンズ11がレンズ駆動部18により合焦位置へと移動される。その後ステップS106において、測光スイッチS1がオンされた状態か否か、すなわちレリーズボタン(図示せず)の半押しが維持されているか否かが判定される。維持されていなければ、この割り込み処理は終了し、他の処理が実行された後再び繰り返し実行される。

測光スイッチS1のオン状態が維持されていれば、ステップS108においてレリーズスイッチS2がオンされているか否かが判定され、オンされていなければステップS106に戻り同様の判定が繰り返される。一方、レリーズスイッチS2がオンされていれば、ステップS110において、撮像素子12を用いた主画像の撮影、すなわち本来の記録を目的とした画像撮影が行われ、ステップS112において撮影された主画像のRAWデータに対し現像処理が施される。なお、ステップS110において撮影される主画像もステップS102で取得されたNp枚の画像と略同―位置、同―方向から同一被写体を同一画角で撮影した画像とみなせる。

ステップS114では、ステップS102において画像メモリ15に記憶されたスルー画像を用いた距離マップ作成処理が実行される。距離マップは主画像(あるいはスルー画像)の各領域(ブロック)の被写体までの距離情報を対応付けたマップデータであり、距離マップ作成処理の詳細については後述する。

ステップS116では、ステップS114において作成された距離マップに基づいて、主画像の主要被写体以外の領域に対するぼかし処理を行うためのマスクを作成するマスク作成処理(後述)が実行される。ステップS118では、マスク処理が施された主画像に対しぼかし処理が施され、新たに主画像が合成される(後述)。ステップS120では合成された主画像が記録媒体16に記録され、ぼかし処理モードにおけるこの割り込み処理は終了する。

なお、主画像にぼかし処理を施さずに対応する距離マップとともに記録媒体16に保存し、後でぼかし処理やその他の画像処理を距離マップに基づいて行える構成とすることも可能である。この場合、主画像および距離マップのデータは別々のファイルとして保存されてもよいし、一体的なファイルとして保存されてもよい。また、別々のファイルとするときには、両ファイルの対応関係をファイル名で対応付けたり、ヘッダファイルなどに対応を記録したりしてもよい。

図3、図4は、図2のステップS114で実行される距離マップ作成処理のフローチャートであり、図5〜図8は、図3、図4で行われる処理の内容を説明する図である。以下図3〜図8を参照して第1実施形態の距離マップ作成処理について説明する。

距離マップ作成処理では、まずステップS200において、図2のステップS102で画像メモリ15に記憶された各スルー画像に対しハイパスフィルタや微分フィルタなどの輪郭抽出処理を施し輪郭成分を抽出する。ここで図5(a)は、輪郭抽出前のスルー画像の一例であり、図5(b)は図5(a)の画像に対して輪郭抽出処理を施した画像の一例である。

ステップS202では、図5(c)に例示されるように、輪郭成分が抽出された画像(図5(b))をM×Nブロック(領域)に分割する。Nは例えば縦方向のブロック数であり、スルー画像の縦方向の画素数以下の値である。またMは例えば横方向のブロック数であり、スルー画像の横方向の画素数以下の値である。なお、第1実施形態におけるブロックには1画素のみからなるものも含まれる。

ステップS204では、ブロック毎に輪郭成分の総和が計算される。すなわち、輪郭成分が抽出された画像(図5(b))において、各ブロック内の画素値の総和がそのブロックのコントラスト値(コントラストの高低を評価する値)として計算される。ステップS206では、M×Nサイズのバッファメモリ(図示せず)にブロック毎に算出されたコントラスト値がコントラストマップ(コントラストの高低評価のマップ)としてスルー画像毎に保持される。図5(d)は、図5(c)のブロックに対応するコントラストマップの一例を模式的に示すもので、明るいブロックほど、そのブロックのコントラスト値が高いことを示している。

次にステップS208において、画像メモリ15にストック(記憶)されたNp枚のスルー画像全てに対して上記処理がなされたか否かが判定される。全てのスルー画像に対して上記処理が終了していない場合には、ステップS200に戻りストックされたスルー画像のうちまだ処理されていない画像に対し上記処理(ステップS200〜S206)が施される。

一方ステップS208において、画像メモリ15にストックされたNp枚のスルー画像全てに対しステップS200〜S206の処理が施されたと判定されると、処理はステップS210に移り、バッファメモリには、図5(e)に示されるようにNp枚のコントラストマップが保持される。

距離マップは、図6に模式的に示されるように、ステップS200〜S208において作成されたNp枚のコントラストマップをブロック毎に参照して作成される。まず、ステップS210では距離マップ保存用のM×Nブロック分の配列がメモリに確保される。ステップS212では、M×N個のブロックのうち処理対象となるブロック(注目ブロック)の初期位置が設定される。

例えば、Np枚の各コントラストマップにおけるM×N個のブロックに対して、図6左上を基点としてi行、j列のブロックを(i,j)で参照するとき、処理はi=1、j=1から開始される。なお、以下の処理において、注目ブロックは、まず同一行において左から右へ移動され、その後次の行へ移動され、順次同様の移動が繰り返される。

ステップS214では、Np枚のコントラストマップにおいて注目ブロック(i,j)のコントラスト値がスキャンされ、ステップS216においてそのコントラスト値が最大となるコントラストマップの番号が算出される。例えば、コントラストマップが23枚(Np=23)のときに、注目ブロック(i,j)のコントラスト値がコントラストマップ番号に対し図7のように変化するとき、コントラスト値が最大となるコントラストマップ番号20が検出される。

ステップS218では、ステップS216で検出されたコントラストマップの番号が、ステップS210において確保された距離マップの対応ブロックの配列に記録される。ステップS220では、M×Nのブロック全てに対し上記処理が終了したか否か、すなわち距離マップの全てのM×Nブロックに対しコントラストマップ番号が検出・記録されたか否かが判断される。終了していない場合には、ステップS222において次の注目ブロックへの移動が行われステップS214以下の処理が繰り返され、終了している場合には、この距離マップ作成処理は終了する。

距離マップ作成処理が終了すると、距離マップの各ブロックに対応する配列には、図8に例示されるように、各ブロックにおいて最もコントラスト値が高いコントラストマップの番号が記録される。すなわち、そのブロックにおいて最も合焦されたと考えられるレンズ位置に対応し、これはそのブロックにおける被写体までの距離に対応する。図8の例では、コントラストマップ番号が大きいほど距離が大きく、図5(a)との対応では、コントラスト値が8のブロックが主要被写体である人物に対応し、コントラスト値20のブロックが遠景となる背景、コントラスト値が13のブロックがその中間にある被写体、例えば主要被写体の直ぐ後ろにある木に対応する。

次に図9のフローチャートおよび図10〜図12を参照して、図2のステップS116において実行される第1実施形態のマスク作成処理について説明する。

マスク作成処理が開始されるとステップS300において主要被写体の選択が行われる。主要被写体の選択は、例えば画像撮影時におけるAF処理でのフォーカスポイント、撮影された画像内でユーザが適当な入力デバイスを用いて選択した位置、顔検出処理において顔として認識された位置などに基づいて決定される。例えば、主要被写体に対応するとされた位置が含まれるブロックのコントラストマップ番号(距離)の前後所定の範囲内のコントラストマップ番号(距離)に対応するブロックが主要被写体とされる。

ステップS302では、主要被写体として認識されたブロックにぼかし処理が施されないようにマップを作成し、図2のステップS110で撮影された主画像に対しマスク処理を施し、このマスク処理は終了する。なお、スルー画像の各ブロックの主画像への対応は、両画像の画素数の対応から直ちに求められる。

図10は、例えば図8における番号8に対応するブロック(人物)が主要被写体とされたときのマスク処理の例である。また、図11は、図8における中間領域に対応するコントラストマップ番号13のブロックが主要被写体とされたとき、図12は、図8における遠景に対応するコントラストマップ番号20に対応するブロックが主要被写体とされたときのマスク処理の例である。

なお、第1実施形態ではマスク処理に例えばαブレンドの手法が用いられ、図10〜図12では、明るい色のブロックほど弱いぼかしが掛けられ、暗い色のブロックほど強いぼかし処理が掛けられる。

以上のように、第1実施形態によれば、被写界深度によるぼけが十分に得られない状況においても、主要被写体以外の領域に適切にぼかし処理を施すことができる。また、本実施形態では輪郭抽出処理を用いることで、コントラストの評価をより容易かつ正確に行うことができ、更に画像を複数のブロック(1画素のみのブロックは除く)に分割することで処理速度を向上させることができる。また、本実施形態では距離マップを作成するための複数の画像にスルー画像を利用することで処理速度更に向上させられる。

また、スルー画像を利用することにより、通常の撮影シーケンスの中でぼかし処理を施すことができるので、ユーザは別途距離マップ用の複数の画像を撮影する場合などに比べ、ぼかし処理を意識することなく、煩わされることがない。

なお、本実施形態ではコンパクトカメラを例に説明を行ったが、携帯電話に搭載されたカメラユニットでの処理の流れを変形例として図13に例示する。ここで図13は第1実施形態の図2のフローチャートに対応し、この変形例が構成上第1実施形態と大きく異なるのは、測光スイッチS1がなく、レリーズボタンの全押し、すなわちレリーズスイッチS2がオンされて初めて測光処理、オートフォーカス処理、および主画像の撮影が開始される。したがって、図2のステップS106、S108に対応するステップがなく、S100のステップが、ステップS400に示されるように、レリーズスイッチS2がオンされたか否かの判定に置き換えられる。なお、ステップS402、S404の内容は、ステップS102、S104に対応し、ステップS406〜ステップS416の内容は、ステップS110〜ステップS120に対応する。

以上のように携帯電話などに搭載されたカメラユニットなどのように、レリーズボタンの全押しにより測光スイッチがオンされる場合にも、第1実施形態と同様の効果が得られる。

次に図14〜図21を参照して第2実施形態のデジタルカメラについて説明する。第2実施形態のデジタルカメラは、マスク処理方法(図2のステップS116)が主要被写体の距離に応じて制御される点を除けば、第1実施形態のデジタルカメラと同じである。したがって以下の説明では、第1実施形態と異なる点(ステップS116)についてのみ説明を行う。

被写界深度は、被写体までの距離が離れるほど大きくなり、AF駆動における1ステップ(最小駆動量)での深度の分解能は距離が離れるほど小さくなる。したがって、第2実施形態では、主要被写体までの距離に応じてぼかし処理の手法を変更する。例えば本実施形態では、主要被写体までの距離が比較的近いときには深度の微妙な違いを再現(強調)するぼかし処理を行い(近距離モード)、主要被写体までの距離が比較的遠いときには主要被写体の背景側のみにぼかし処理を施し主要被写体と背景の対比を強調する(遠距離モード)。

図14は、横軸に被写体までの距離、縦軸に各距離に対応するブロックの度数を示す模式的なヒストグラムの一例である。本実施形態では、主要被写体が所定の距離Doよりも近距離にあるか否かにより、上記近距離モード、遠距離モードの選択が行われる。すなわち主要被写体とされた被写体までの距離がDo以下の場合、近距離モードが選択され、それ以外では遠距離モードが選択される。

なお、被写界深度はF値によっても変化するので、距離Doが、F値により変更される構成としてもよい。例えば、被写界深度はF値が小さくなるほど浅くなるので、F値が小さいほど距離Doを大きく設定し、F値が大きいほど距離Doを小さく設定する構成としてもよく、距離Doの設定は自動であってもよいし手動であってもよい。

図15は、近距離モードにおけるぼかし処理の変化(近距離モード用マスク濃度算出カーブ)を例示するグラフである。近距離モードでは、主要被写体に対応する距離のブロックに対してはぼかし処理を行わず(あるいはぼかし処理を最小とし)、その前景、背景に対応するブロックでは、そのブロックの被写体までの距離が主要被写体の距離Doから離れるにしたがって徐々にぼかし処理が強められる。例えば前景では距離Df、背景では距離Dbでぼかし処理が最大(100%)となるように距離Doから漸次ぼかし処理の強度が増大される。

図16は、遠距離モードにおけるぼかし処理の変化(遠距離モード用マスク濃度算出カーブ)を例示するグラフである。遠距離モードでは、前述したように主要被写体の背景のみにぼかし処理を施し、主要被写体と背景の対比を強調するため、主要被写体までの距離Doを境にステップ状にぼかし処理が掛けられる。すなわち距離Doまでの距離に対応するブロックにぼかし処理は施されず、距離Doよりも遠方の距離に対応するブロックには最大のぼかし処理(100%)が施される。

なお、本実施形態では、図1のスイッチ群21に含まれる方向スイッチや電子ダイヤルスイッチなどを用いて、各モードのマスク濃度算出カーブの制御が可能とされる。例えば近距離モードでは、被写界深度の制御が可能であり、例えば図15のDf、Dbの位置がAF駆動における例えば1ステップ単位で変更可能である。また、遠距離モードでは例えばぼかし処理の強度が可変とされる。

図17は、近距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は深度の距離による分解能の変化の程度を模式的に示す。また図18は、近距離モードにおける画像の一例であり、主要被写体が人物S0とすると、その前後にいる人物S1〜S3にはそれぞれ人物S0からの距離に応じて異なる強度のぼかし処理が施される。すなわち本実施形態では、主要被写体から前後に離れるほど強いぼかし処理が施され、深度の微妙な差が強調され、もとの画像よりも立体感を増すことができる。

一方、図19は、遠距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は図17と同様に深度の距離による分解能の変化の程度を模式的に示す。また図20は、遠距離モードにおける画像の一例であり、主要被写体となる人物S0と同距離、およびそれよりも手間にあるブロックに対してはぼかし処理を施さず、人物S0よりも遠景にあるブロックに、均一な強いぼかし処理を施される。これにより、人物S0のみがクリアになり、それ以外の背景はぼけた画像となる。

図21は、上述した第2実施形態のマスク作成処理のフローチャートであり、図2のステップS116の内容に対応する。このフローチャートを参照して第2実施形態のマスク作成処理の流れについて説明する。

ステップS500では、第1実施形態における図9、ステップS300と同様に主要被写体の選択が行われ、ステップS502において、主要被写体が含まれるブロックのコントラストマップ番号(距離)が取得される。ステップS504では、主要被写体の距離情報(コントラストマップ番号)から主要被写体が近距離にあるか否かが判断される。例えば、主要被写体のコントラストマップ番号や距離が所定値以下であるか否かが判定される。

ステップS504において主要被写体が近距離にあると判定されると、ステップS506において図15に示される近距離モード用のマスク濃度算出カーブが選択され、ステップS508において注目ブロックの主要被写体からの距離(差分)が計算される。

一方、ステップS504において主要被写体が近距離にはない(遠距離にある)と判定されると、ステップS516において図16に示される遠距離用のマスク濃度算出カーブが選択され、ステップS508において注目ブロックの主要被写体からの距離(差分)が計算される。

ステップS510では、ステップS508において算出された現注目ブロックの差分値と、ステップS506またはステップS516で選択されたマスク濃度算出カーブとの照合が行われ、注目ブロックに対応するマスク濃度が特定されるとともに、ステップS512においてその濃度が対応するマスク用配列に記録される。

ステップS514ではM×Nブロック全てに対し上記処理、すなわちマスク濃度が特定されたか否かが判定され、終了していれば本マスク作成処理は終了し、そうでなければステップS518において注目ブロックを次のブロックに移動し、ステップS508以下の処理を繰り返す。なお、注目ブロックの移動は、図4、図6を用いて説明した注目ブロックの移動方法と同じである。

以上のように、第2実施形態によれば、主被写体の距離に応じてぼかし処理が制御され、より適切なぼかし処理が可能となる。

なお、本実施形態では、距離情報を取得するためにスルー画像を用いたが、短時間の間に複数の合焦位置で撮影される一連の画像であればよくスルー画像に限定されるものではない。また、本実施形態では、距離情報としてコントラストマップ番号を用いた例で説明を行ったが、距離情報に対応する変数であればこれに限定されるものではなく、1対1であれば実際の距離と比例関係にある必要もない。また、ぼかし処理も本実施形態に限定さえるものではない。

本発明は特にコンパクトなカメラにおいてその効果が顕著であるが、コンパクトなカメラに限定されるものではなく、例えば通常のデジタル一眼レフカメラに適用することもできる。

また、本実施形態では各領域(ブロック)でのコントラストの評価を容易かつ正確にするために輪郭抽出を行ったが、画像を撮影したレンズ位置での各領域の合焦度合いを評価できるのであれば輪郭抽出を行わずにコントラストの評価を行ってもよい。

また、本実施形態のマスク作成処理、合成、保存処理(ステップS116〜S120、ステップS412〜S416)は、例えばパソコン等、デジタルカメラ以外の機器において行うことも可能であり、その場合には、デジタルカメラにおいて作成された上記距離マップ、あるいは代替的手段により得られた被写体までの距離情報を用いて処理される。このような場合、例えば、パソコン等には、記録媒体や外部から入力される画像データに対し記録媒体や外部から入力される距離情報に基づいて画像処理(ぼかし処理)施し、その結果を例えば記録媒体に保存、あるいは外部へ出力するプログラムとして提供される。

なお、本実施形態では被写体までの距離情報に基づいてぼかし処理を施したが、距離情報を用いて他の画像処理を施す構成であってもよい。例えば、画像を水彩画風、イラスト風にする処理や、画像にキャラクタ(図形や文字、絵柄なども含む)を追加する処理などにも利用できる。水彩画処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて色合いや濃淡を制御し、および/または、主要被写体までの距離に応じて色合いや濃淡の制御方法を変更することが考えられる。また、イラスト処理では、被写体までの距離あるいは主要被写体からの距離に応じて例えば濃淡を制御し、および/または、主要被写体までの距離に応じて濃淡制御の方法を変更することが考えられる。キャラクタを追加する処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて追加するエリアの広さやキャラクタの大きさの制御を行い、および/または主要被写体までの距離に応じてエリアの広さやキャラクタの大きさの制御方法を変更することが考えられる。

また、距離マップ作成までの処理を、レンズ駆動機構と撮像素子を備えた撮像装置を制御するプログラムとして提供することもできる。

第2実施形態では、ぼかし処理のモードは、主要被写体までの距離が所定距離Doよりも遠距離か否かで2つのモードに分けられたが、モードは多段的に複数の距離を閾値とする3以上もモードに分けられてもよい。また、マスク濃度算出カーブを主要被写体までの距離の関数とし、距離に応じて連続的に変化させることも可能である。

10 デジタルカメラ
11 撮影レンズ
12 撮像素子
13 撮像素子ドライバ
14 制御部
15 画像メモリ
16 記録媒体
17 モニタ
18 レンズ駆動部
19 絞り
20 絞り駆動部
21 スイッチ群

Claims (8)

  1. 画像の中から主要被写体を選択する主要被写体選択手段と、
    前記画像に対して画像処理を施す画像処理手段とを備え、
    前記画像処理手段が、前記主要被写体までの距離が所定距離よりも遠いときに、前記主要被写体よりも遠い被写体にのみぼかし処理を施し、前記主要被写体までの距離が前記所定距離よりも近いときに、前記主要被写体を中心とする深度を強調するぼかし処理を施す
    ことを特徴とする画像処理装置。
  2. 前記ぼかし処理における強度を調整するためのぼかし設定手段を備えることを特徴とする請求項1に記載の画像処理装置。
  3. 像撮影時のF値に基づき、前記ぼかし処理を変更する前記主要被写体までの前記所定距離を変更することを特徴とする請求項1に記載の画像処理装置。
  4. 前記画像の各領域に対する被写体までの距離情報を記録した距離マップデータを参照して前記距離が特定されることを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
  5. 請求項1〜4の何れか一項に記載の画像処理装置を備えることを特徴とするデジタルカメラ。
  6. 前記画像の各領域に対する被写体までの距離情報を取得する手段を備えることを特徴とする請求項5に記載のデジタルカメラ。
  7. 画像の中から主要被写体を選択するステップと、
    前記画像に対して前記主要被写体までの距離に応じた画像処理を施すステップとを備え
    前記画像処理を施すステップが、前記主要被写体までの距離が所定距離よりも遠いときに、前記主要被写体よりも遠い被写体にのみぼかし処理を施し、前記主要被写体までの距離が前記所定距離よりも近いときに、前記主要被写体を中心とする深度を強調するぼかし処理を施す
    ことを特徴とする画像処理方法。
  8. 画像の中から主要被写体を選択する手順と、
    前記画像に対して、前記主要被写体までの距離が所定距離よりも遠いときに、前記主要被写体よりも遠い被写体にのみぼかし処理を施し、前記主要被写体までの距離が前記所定距離よりも近いときに、前記主要被写体を中心とする深度を強調するぼかし処理を施す手順とをコンピュータに実行させることを特徴とするコンピュータプログラム。
JP2011132134A 2011-06-14 2011-06-14 画像処理装置および画像処理方法 Active JP5760727B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011132134A JP5760727B2 (ja) 2011-06-14 2011-06-14 画像処理装置および画像処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011132134A JP5760727B2 (ja) 2011-06-14 2011-06-14 画像処理装置および画像処理方法
CN201210194924.0A CN102843509B (zh) 2011-06-14 2012-06-13 图像处理装置和图像处理方法
US13/495,229 US8830357B2 (en) 2011-06-14 2012-06-13 Image processing device and image processing method including a blurring process

Publications (2)

Publication Number Publication Date
JP2013005084A JP2013005084A (ja) 2013-01-07
JP5760727B2 true JP5760727B2 (ja) 2015-08-12

Family

ID=47353393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011132134A Active JP5760727B2 (ja) 2011-06-14 2011-06-14 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US8830357B2 (ja)
JP (1) JP5760727B2 (ja)
CN (1) CN102843509B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675099B2 (en) * 2009-06-16 2014-03-18 Aptina Imaging Corporation Efficient system and method for face tracking
JP5254297B2 (ja) * 2010-09-27 2013-08-07 株式会社東芝 画像処理装置
JP6172935B2 (ja) * 2012-12-27 2017-08-02 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6218378B2 (ja) * 2012-12-27 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
US9025874B2 (en) 2013-02-19 2015-05-05 Blackberry Limited Method and system for generating shallow depth of field effect
EP2768213B1 (en) * 2013-02-19 2019-06-12 BlackBerry Limited Method and system for generating shallow depth of field effect
JP5769768B2 (ja) * 2013-09-03 2015-08-26 オリンパス株式会社 撮像装置、撮像方法およびプログラム
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
JP6270413B2 (ja) * 2013-10-29 2018-01-31 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
US9237277B1 (en) * 2014-06-06 2016-01-12 Google Inc. Accurate simulation of shallow depth of field using contrast detection
CN106296621B (zh) * 2015-05-22 2019-08-23 腾讯科技(深圳)有限公司 图像处理方法和装置
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
CN107038681B (zh) * 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107680128B (zh) * 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565784B2 (ja) 2001-09-20 2010-10-20 Hoya株式会社 デジタルカメラ
JP4217041B2 (ja) 2002-09-12 2009-01-28 Hoya株式会社 フィルタ処理
JP2006140594A (ja) 2004-11-10 2006-06-01 Pentax Corp デジタルカメラ
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
EP1986421A3 (en) * 2007-04-04 2008-12-03 Nikon Corporation Digital camera
JP5251215B2 (ja) * 2007-04-04 2013-07-31 株式会社ニコン デジタルカメラ
JP2008294785A (ja) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法
JP4544282B2 (ja) * 2007-09-14 2010-09-15 ソニー株式会社 データ処理装置、およびデータ処理方法、並びにプログラム
JP5005570B2 (ja) * 2008-02-04 2012-08-22 株式会社リコー 画像処理装置およびプログラム
JP5460173B2 (ja) * 2009-08-13 2014-04-02 富士フイルム株式会社 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2011066827A (ja) * 2009-09-18 2011-03-31 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置

Also Published As

Publication number Publication date
US8830357B2 (en) 2014-09-09
CN102843509A (zh) 2012-12-26
JP2013005084A (ja) 2013-01-07
US20120320239A1 (en) 2012-12-20
CN102843509B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
US9854149B2 (en) Image processing apparatus capable of obtaining an image focused on a plurality of subjects at different distances and control method thereof
JP5870264B2 (ja) 撮像装置、撮像方法、プログラム、および集積回路
US9344642B2 (en) Method and apparatus for capturing a first image using a first configuration of a camera and capturing a second image using a second configuration of a camera
JP5968107B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP5596138B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
KR101495584B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
JP5394296B2 (ja) 撮像装置及び画像処理方法
US8184171B2 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
CN102388402B (zh) 图像处理装置及图像处理方法
JP3675412B2 (ja) 撮像装置
KR101265358B1 (ko) 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법
JP4674471B2 (ja) デジタルカメラ
CN101465972B (zh) 在数字图像处理装置中使图像背景模糊的设备和方法
JP6271990B2 (ja) 画像処理装置、画像処理方法
US9432575B2 (en) Image processing apparatus
US8023000B2 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
DE102014010152A1 (de) Automatikeffektverfahren für Fotografie und elektronische Vorrichtung
JP5423305B2 (ja) 画像評価装置及びカメラ
US8525903B2 (en) System for and method of taking image and computer program
JP4321287B2 (ja) 撮影装置および撮影方法、並びに、プログラム
US7248301B2 (en) System and method for providing camera focus feedback
JP4647885B2 (ja) カメラ
WO2015047877A1 (en) Using a second camera to adjust settings of first camera
US9076214B2 (en) Image acquisition apparatus and image processing apparatus using selected in-focus image data
JP3873994B2 (ja) 撮像装置、及び画像取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20150327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150525

R150 Certificate of patent or registration of utility model

Ref document number: 5760727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150