JP6027159B2

JP6027159B2 - 画像ぼかし方法および機器、および電子装置

Info

Publication number: JP6027159B2
Application number: JP2015037951A
Authority: JP
Inventors: シャオウェイ・ヤン; ズクワン・チェン; ジンシェン・シャオ
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2014-03-14
Filing date: 2015-02-27
Publication date: 2016-11-16
Anticipated expiration: 2035-02-27
Also published as: KR20150107605A; US9215381B2; CN103945118A; EP2919188B1; CN103945118B; ES2626174T3; KR101686926B1; JP2015177544A; EP2919188A1; US20150264271A1

Description

本発明は、画像処理の分野に関し、特に、画像ぼかしの方法および機器、および電子装置に関する。

一般的な写真撮影手段として、背景ぼかしは対象物を迅速に目立たせることができ、したがって、大多数のアマチュア写真家に周知であり使用されている。しかし、背景ぼかし効果で写真をキャプチャするためには、プロフェッショナルな一眼レフカメラを使用しなければならず、複雑な調節操作を行わないと所望の効果を得ることができない。

プロではない写真家の要求を満たすために、ソフトウェアにより画像を処理することで背景ぼかし効果を得るための既存の方法がある。即ち、画像をキャプチャした後、ユーザが画像処理ソフトウェアを用いて当該画像を開き、当該画像処理ソフトウェアに同梱されているツールを用いて背景領域を手動で選択する。当該画像処理ソフトウェアは、ユーザが選択した背景領域に対して同一スケールまたは勾配スケールでガウスぼかしを実施して、背景ぼかし効果を有する画像を出力する。

本発明を実現する過程において、発明者らは先行技術には少なくとも以下の欠点が存在することを発見した。

既存の画像処理方法では、先ず、ユーザがソフトウェアを用いて画像を開き背景領域を手動で選択する必要があり、さらに、手動で選択した背景領域は不正確であり、操作プロセスは複雑であり、そのため、ぼかし効果が貧弱になり、ユーザの多くの時間が無駄になる。

ユーザがソフトウェアを用いて画像を開き手動で背景領域を選択する必要があるので背景領域のボックス選択が不正確であり操作プロセスが複雑であるという先行技術の課題を解決するために、本発明の諸実施形態では、画像ぼかし方法および機器、および電子装置を提供する。当該技術的解決策は以下の通りである。

第１の態様では画像ぼかし方法を提供する。当該方法は、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得するステップであって、第１の画像の画像距離は第２の画像の画像距離より短いステップと、第１の画像と第２の画像に従って深度情報を取得するステップであって、当該深度情報は第１の画像の各画素のシーンとキャプチャ点の間の距離、および、第２の画像の各画素のシーンと当該キャプチャ点の間の距離を表すために使用されるステップと、第１の画像の背景領域を当該深度情報に従って決定するステップと、第１の画像の背景領域の内容にぼかし処理を実施するステップとを含む。

第１の態様の第１の可能な実装方式では、第１の画像と第２の画像に従って深度情報を取得するステップは、カメラの写真撮影パラメータを取得するステップであって、当該写真撮影パラメータは、較正焦点距離、レンズ径、および関係パラメータを含み、当該関係パラメータはカメラの開口サイズと不鮮明画像のぼかし度の間の関係を表すために使用されるステップと、当該写真撮影パラメータと第１の画像および第２の画像の各画像距離に従って、初期化された深度情報を決定するステップと、当該写真撮影パラメータ、第１の画像、および第２の画像に従って当該初期化された深度情報にＮ回の反復計算を実施するステップであって、Ｎは正の整数かつＮ≧２であるステップと、Ｎ番目の反復計算により得られた結果を取得し、当該結果を深度情報として使用するステップとを含む。

第１の態様の第１の可能な実装方式を参照して、第１の態様の第２の可能な実装方式では、写真撮影パラメータ、第１の画像、および第２の画像に従って初期化された深度情報にＮ回の反復計算を実施するステップは、第１の計算を実施するとき、第１の計算の拡散係数および第１の計算の拡散領域を当該初期化された深度情報および当該写真撮影パラメータに従って決定し、第１の画像、第２の画像、第１の計算の拡散係数、および第１の計算の拡散領域に従って、第１の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を決定し、第１の計算で最小値式を決定し、第１の計算での最小値式に従って、第１の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、事前設定補正式に従って、第１の計算における最小勾配が事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、第１の計算の後に深度情報を取得するステップであって、当該最小値式は第１の差分と第２の差分の和の最小値を表すために使用され、第１の差分は、第１の画像に対応する前方熱拡散式の実際の出力値と理論出力値との間の差分であり、第２の差分は、第２の画像に対応する前方熱拡散式の実際の出力値と理論出力値との差分であり、ｎは正の整数でありｎ≧２であるステップと、ｐ番目の計算を実施するとき、（ｐ−１）番目の計算の後に取得した深度情報および写真撮影パラメータに従ってｐ番目の計算の拡散係数およびｐ番目の計算の拡散領域を決定し、第１の画像、第２の画像、ｐ番目の計算の拡散係数、およびｐ番目の計算の拡散領域に従って、ｐ番目の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を決定し、ｐ番目の計算で最小値式を決定し、ｐ番目の計算での最小値式に従って、ｐ番目の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、当該事前設定補正式に従って、ｐ番目の計算での最小勾配が当該事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、ｐ番目の計算の後に深度情報を取得するステップであって、２≦ｐ≦Ｎであるステップとを含む。

第１の態様の第２の可能な実装方式を参照して、第１の態様の第３の可能な実装方式では、当該補正式は、

である。ｓ’（ｙ）は補正後の深度情報であり、ｓ（ｙ）は補正前の深度情報であり、ｄａｔａ＿ｒｅｇは最小値勾配であり、αおよびｋは事前設定された正則化パラメータである。

第１の態様の第４の可能な実装方式では、第１の画像の背景領域を深度情報に従って決定するステップは、写真撮影パラメータに従う前景領域と背景領域の間の臨界深度、および、第１の画像と第２の画像の各画像距離を決定するステップと、第１の画像において、当該深度情報が表す深度が当該臨界深度より大きいという当該深度情報に対応する画素領域は第１の画像の背景領域であると判定するステップとを含む。

第１の態様の第５の可能な実装方式では、第１の画像の背景領域の内容にぼかし処理を実施するステップは、深度情報を正規化して正規化した深度情報を取得するステップと、当該背景領域において、当該正規化した深度情報の区間を均等にｑ個のセグメントに分割してｑ個の背景区間を取得するステップと、事前設定最大ぼかし半径に従って、当該ｑ個の背景区間の各々に対応するぼかしパラメータを決定するステップであって、当該ぼかしパラメータはぼかし半径と標準偏差を含むステップと、当該ｑ個の背景区間の各々に対応するぼかし半径と標準偏差に従って、第１の画像において、当該ｑ個の背景区間の各々に対応する画素領域に別々にぼかし処理を実施するステップとを含む。

第２の態様では画像ぼかし機器を提供する。当該機器は、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得するように構成された画像取得モジュールであって、第１の画像の画像距離は第２の画像の画像距離より短い画像取得モジュールと、第１の画像と第２の画像に従って深度情報を取得するように構成された深度情報取得モジュールであって、当該深度情報は第１の画像の各画素のシーンとキャプチャ点の間の距離、および、第２の画像の各画素のシーンと当該キャプチャ点の間の距離を表すために使用される深度情報取得モジュールと、第１の画像の背景領域を当該深度情報に従って決定するように構成された背景決定モジュールと、第１の画像の背景領域の内容にぼかし処理を実施するように構成されたぼかしモジュールとを備える。

第２の態様の第１の可能な実装方式では、深度情報取得モジュールは、カメラの写真撮影パラメータを取得するように構成された第１の取得ユニットであって、当該写真撮影パラメータは、較正焦点距離、レンズ径、および関係パラメータを含み、当該関係パラメータはカメラの開口サイズと不鮮明画像のぼかし度の間の関係を表すために使用される第１の取得ユニットと、当該写真撮影パラメータと第１の画像および第２の画像の各画像距離に従って、初期化された深度情報を決定するように構成された初期化ユニットと、当該写真撮影パラメータ、第１の画像、および第２の画像に従って、当該初期化された深度情報にＮ回の反復計算を実施するように構成された計算ユニットであって、Ｎは正の整数かつＮ≧２である計算ユニットと、Ｎ番目の反復計算により得られた結果を取得し当該結果を深度情報として使用するように構成された第２の取得ユニットとを備える。

第２の態様の第１の可能な実装方式を参照して、第２の態様の第２の可能な実装方式では、計算ユニットは、第１の計算を実施するとき、第１の計算の拡散係数と第１の計算の拡散領域を初期化された深度情報と写真撮影パラメータに従って決定し、第１の画像、第２の画像、第１の計算の拡散係数、および第１の計算の拡散領域に従って、第１の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を計算し、第１の計算で最小値式を決定し、第１の計算での最小値式に従って、第１の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、事前設定補正式に従って、第１の計算における最小勾配が事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、第１の計算の後に深度情報を取得するように構成される。当該最小値式は第１の差分と第２の差分の和の最小値を表すために使用され、第１の差分は、第１の画像に対応する前方熱拡散式の実際の出力値と理論出力値との間の差分であり、第２の差分は、第２の画像に対応する前方熱拡散式の実際の出力値と理論出力値との差分であり、ｎは正の整数でありｎ≧２である。当該計算ユニットは、ｐ番目の計算を実施するとき、ｐ番目の計算の拡散係数とｐ番目の計算の拡散領域を（ｐ−１）番目の計算の後に取得した深度情報と写真撮影パラメータに従って決定し、第１の画像、第２の画像、ｐ番目の計算の拡散係数、およびｐ番目の計算の拡散領域に従って、ｐ番目の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を決定し、ｐ番目の計算での最小値式を決定し、ｐ番目の計算での最小値式に従って、ｐ番目の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、当該事前設定補正式に従って、ｐ番目の計算での最小勾配が当該事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、ｐ番目の計算の後の深度情報を取得するように構成される。２≦ｐ≦Ｎである。

第２の態様の第３の可能な実装方式では、背景決定モジュールは、写真撮影パラメータに従う前景領域と背景領域の間の臨界深度と第１の画像と第２の画像の各画像距離を決定するように構成された臨界深度決定ユニットと、第１の画像において、当該深度情報が表す深度が当該臨界深度より大きいという当該深度情報に対応する画素領域は第１の画像の背景領域であると判定するように構成された背景決定ユニットとを備える。

第２の態様の第４の可能な実装方式では、ぼかしモジュールは、深度情報を正規化して正規化した深度情報を取得するように構成された正規化ユニットと、背景領域において、当該正規化した深度情報の区間をｑ個のセグメントに均等に分割してｑ個の背景区間を取得するように構成された分割ユニットと、事前設定最大ぼかし半径に従って、当該ｑ個の背景区間の各々に対応するぼかしパラメータを決定するように構成されたパラメータ決定ユニットであって、当該ぼかしパラメータはぼかし半径と標準偏差を含むパラメータ決定ユニットと、当該ｑ個の背景区間の各々に対応するぼかし半径と標準偏差に従って、第１の画像において、当該ｑ個の背景区間の各々に対応する画素領域に別々にぼかし処理を実施するように構成されたぼかしユニットとを備える。

第３の態様では電子装置を提供する。当該電子装置は、第２の態様または第２の態様の可能な実装方式の何れかに従う画像ぼかし機器を備える。

本発明の諸実施形態で提供する技術的解決策がもたらす有利な効果は以下の通りである。即ち、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像が取得され、深度情報が第１の画像と第２の画像に従って取得され、第１の画像の背景領域が当該深度情報に従って決定され、当該背景領域に対してぼかしが実施される。画像内の各画素での深度情報が、それぞれ前景と背景にフォーカスされた２つの画像に従って得られ、背景領域が当該深度情報に従って決定される。その結果、ぼかし処理が自動的に完了し、それにより、ユーザがソフトウェアを用いて画像を開き手動で背景領域を選択する必要があるので背景領域のボックス選択が不正確であり操作プロセスが複雑であるという先行技術の課題が解決され、ぼかし効果が高まり、ユーザの操作が簡単になり、ユーザの時間が節約されるという効果が達成される。

本発明の諸実施形態における技術的解決策をより明確に説明するために、以下では、当該諸実施形態を説明するのに必要な添付図面を簡単に説明する。明らかに、以下の説明における添付図面は本発明の諸実施形態の一部を示すにすぎず、当業者は創造的作業なしにこれらの添付図面から他の図面を導出することができる。

本発明の１実施形態に従う画像ぼかし方法の流れ図である。本発明の別の実施形態に従う画像ぼかし方法の流れ図である。本発明の１実施形態に従う画像ぼかし機器の機器構造図である。本発明の別の実施形態に従う画像ぼかし機器の機器構造図である。本発明の１実施形態に従う電子装置の装置構成図である。本発明の別の実施形態に従う電子装置の装置構成図である。本発明のさらに別の実施形態に従う電子装置の装置構成図である。

本発明の目的、技術的解決策、および利点をより明確にするために、以下では添付図面を参照して本発明の諸実施形態を詳細に説明する。

図１を参照する。図１は、本発明の１実施形態に従う画像ぼかし方法の流れ図を示す。当該画像ぼかし方法は、画像に背景ぼかしを実施する電子装置で使用される。当該電子装置が、携帯電話、デジタル・カメラ、タブレット・コンピュータ等であってもよい。当該画像ぼかし方法は以下を含んでもよい。

ステップ１０２で、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得する。第１の画像の画像距離は第２の画像の画像距離より短い。ステップ１０４で、第１の画像と第２の画像に従って深度情報を取得する。当該深度情報は第１の画像の各画素のシーンとキャプチャ点の間の距離、および、第２の画像の各画素のシーンと当該キャプチャ点の間の距離を表すために使用される。ステップ１０６で、第１の画像の背景領域を当該深度情報に従って決定する。ステップ１０８で、第１の画像の背景領域の内容にぼかし処理を実施する。

纏めると、本発明の当該実施形態で提供する画像ぼかし方法によれば、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像が取得され、深度情報が第１の画像と第２の画像に従って取得され、第１の画像の背景領域が当該深度情報に従って決定され、当該背景領域に対してぼかしが実施される。画像内の各画素での深度情報が、それぞれ前景と背景にフォーカスされた２つの画像に従って得られ、背景領域が当該深度情報に従って決定される。その結果、ぼかし処理が自動的に完了し、それにより、ユーザがソフトウェアを用いて画像を開き手動で背景領域を選択する必要があるので背景領域のボックス選択が不正確であり操作プロセスが複雑であるという先行技術の課題が解決され、ぼかし効果が高まり、ユーザの操作が簡単になり、ユーザの時間が節約されるという効果が達成される。

図２を参照する。図２は、本発明の別の実施形態に従う画像ぼかし方法の流れ図を示す。当該画像ぼかし方法は画像に背景ぼかしを実施する電子装置で使用される。当該電子装置が、携帯電話、デジタル・カメラ、タブレット・コンピュータ等であってもよい。当該電子装置が画像収集ユニットを備える電子装置である例では、当該画像ぼかし方法が以下を含んでもよい。

ステップ２０２で、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得する。第１の画像の画像距離は第２の画像の画像距離より短い。

当該電子装置は、当該電子装置に備えられた画像収集ユニット（即ち、当該電子装置内のカメラ）を用いて１群の多焦点画像を収集し、当該１群の多焦点画像から、（画像距離が比較的短い）前景にフォーカスした画像と（画像距離が比較的長い）背景にフォーカスした別の画像を取得し、前者の画像を第１の画像として使用し後者の画像を第２の画像として使用してもよい。

ステップ２０４で、第１の画像および第２の画像の深度情報を第１の画像および第２の画像に従って取得する。

当該深度情報は第１の画像の各画素のシーンとキャプチャ点の間の距離、および、第２の画像の各画素のシーンと当該キャプチャ点の間の距離を表すために使用される。第１の画像と第２の画像は同一のカメラでキャプチャされた同一グループの多焦点画像から取られるので、第１の画像の各画素のシーンとキャプチャ点の間の距離は第２の画像の各画素のシーンと当該キャプチャ点の間の距離と一貫している。即ち、計算により取得された深度情報は、第１の画像の深度情報だけでなく第２の画像の深度情報でもある。

当該電子装置が、当該電子装置内のカメラの写真撮影パラメータを取得してもよい。当該写真撮影パラメータは、較正焦点距離、レンズ径、および関係パラメータを含む。当該関係パラメータはカメラの開口サイズと不鮮明画像のぼかし度の間の関係を表すために使用される。当該電子装置は、当該写真撮影パラメータと第１の画像および第２の画像の各画像距離に従って、初期化された深度情報を決定する。当該電子装置は、当該写真撮影パラメータ、第１の画像、および第２の画像に従って当該初期化された深度情報にＮ回の反復計算を実施する。Ｎは正の整数かつＮ≧２である。当該電子装置は、Ｎ番目の反復計算により得られた結果を取得し、当該結果を深度情報として使用する。

第１の計算を実施するとき、当該電子装置は、第１の計算の拡散係数および第１の計算の拡散領域を当該初期化された深度情報および当該写真撮影パラメータに従って決定し、第１の画像、第２の画像、第１の計算の拡散係数、および第１の計算の拡散領域に従って、第１の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を決定し、第１の計算で最小値式を決定し、第１の計算での最小値式に従って、第１の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得して、事前設定補正式に従って、第１の計算における最小勾配が事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、第１の計算の後に深度情報を取得する。当該最小値式は第１の差分と第２の差分の和の最小値を表すために使用され、第１の差分は、第１の画像に対応する前方熱拡散式の実際の出力値と理論出力値との間の差分であり、第２の差分は、第２の画像に対応する前方熱拡散式の実際の出力値と理論出力値との差分であり、ｎは正の整数でありｎ≧２である。

ｐ番目の計算を実施するとき、当該電子装置は、ｐ番目の計算の拡散係数とｐ番目の計算の拡散領域を（ｐ−１）番目の計算の後に取得した深度情報および写真撮影パラメータに従って決定し、第１の画像、第２の画像、ｐ番目の計算の拡散係数、およびｐ番目の計算の拡散領域に従って、ｐ番目の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を決定し、ｐ番目の計算で最小値式を決定し、ｐ番目の計算での最小値式に従って、ｐ番目の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、当該事前設定補正式に従って、ｐ番目の計算での最小勾配が当該事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、ｐ番目の計算の後に深度情報を取得する。２≦ｐ≦Ｎである。

当該補正式は、

である。ｓ’（ｙ）は補正後の深度情報であり、ｓ（ｙ）は補正前の深度情報であり、ｄａｔａ＿ｒｅｇは最小勾配であり、αおよびｋは事前設定された正則化パラメータである。

カメラがキャプチャしたシーン画像は単に、シーンの光度のエネルギ分布である。当該エネルギ分布を金属板上の熱拡散を用いて説明する。所与の点の温度は強度を表し、熱拡散の理論を用いて多焦点画像化プロセスをモデル化してもよい。

多焦点画像の画像化プロセスを、異方熱拡散の理論を用いてモデル化する。当該理論では、深度情報の抽出を、正則化項およびフィールド深度を有するエネルギ関数の極値問題に変換する。即ち、第１の画像と第２の画像の深度情報は反復により得られる。具体的な計算ステップは以下の通りである。

１）当該電子装置によりキャプチャされた２つの多焦点画像Ｉ_１およびＩ_２を取得し、必要な補正されたカメラ・パラメータを取得する。当該パラメータには、カメラの焦点距離ｆ、当該２つの多焦点画像の画像距離ｖ_１およびｖ_２、レンズ径Ｄ、および関係パラメータγが含まれる。当該電子装置は、焦点距離ｆ、ターゲット距離ｄ_１およびｄ_２、ならびに開口値Ｆを画像のファイル・ヘッダから直接読み取ってもよい。次に、式（２．１）に従い、ｆおよびｄ_１およびｄ_２を用いて画像距離ｖ_１およびｖ_２を得ることができる。レンズ径Ｄ＝ｆ／Ｆである。上述のパラメータを画像のファイル・ヘッダから取得できない場合には、デフォルトのパラメータを使用してもよい。即ち、ｆ＝１２ｍｍ、Ｆ＝２．０であり、ｄ_１およびｄ_２はそれぞれ０．５２ｍおよび０．８５ｍである。

２）勾配閾値ε、仮想時間Δｔ、正則化パラメータαおよびｋ、補正ステップ長β、および反復回数Ｎを設定する。

３）初期化された深度情報

を取得する。この場合、画像内の各画素の初期深度値はこの値であり、ｙは画像Ｉ_１またはＩ_２の２次元座標である。

４）深度情報ｓ（ｙ）に従って、以下の式を用いて対応する拡散係数ｃ（ｙ）および拡散領域Ω＋およびΩ−を計算する。

５）上述のステップで得たパラメータを用いて当該２つの画像の以下の前方熱拡散式をシミュレートする。

当該式において、Ｉ_１（ｙ）は入力画像Ｉ_１であり、Ｉ_２（ｙ）は入力画像Ｉ_２であり、拡散係数

であり、▽は勾配演算子

であり、▽・は発散演算子

である。

６）５）の熱拡散式２．４および２．５を別々に解いて、時間Δｔの後の夫々の熱拡散画像ｕ_１（ｙ、Δｔ）およびｕ_２（ｙ、Δｔ）を取得し、当該熱拡散画像ｕ_１（ｙ、Δｔ）およびｕ_２（ｙ、Δｔ）を使用して以下の熱拡散放物式をシミュレートする。

７）６）の式を解いて、ｗ_１（ｙ、Δｔ）およびｗ_２（ｙ、Δｔ）を得、式（２．８）の最小値を得る。

当該式で、

であり、式（２．８）に対して勾配を計算する。

式（２．１１）で、

である。上述の式において、Ｈ（・）はヘビサイド関数（単位ステップ関数）を表し、δ（・）はディラック関数（単位インパルス関数）を表す。ｕ_１（ｙ、Δｔ）およびｕ_２（ｙ、Δｔ）は５）の式を解くことで得られ、ｗ_１（ｙ、Δｔ）およびｗ_２（ｙ、Δｔ）は６）の式を解くことによって得られる。ｃ’（ｓ）は熱拡散係数の勾配値であり、以下のように式（２．２）に従う計算により得ることができる。

Ｍ（ｓ）の計算式は以下の通りである。

式（２．１１）を解くことで得られる結果の最小勾配をｄａｔａ＿ｒｅｇで示す。即ち

であり、次いでｄａｔａ＿ｒｅｇを事前設定勾配閾値と比較する。ｄａｔａ＿ｒｅｇ≦εである場合は、画素の深度推定は比較的正確であり、補正は必要でない。ｄａｔａ＿ｒｅｇ＞εである場合は、画素の深度推定は不正確であり、深度値補正を実施する必要がある。

８）７）において事前設定時間ステップ長βで補正する必要がある深度値に補正を実施（即ち、深度補正をβ回実施）し、深度マップを更新する。

であると仮定する。Δｓ（ｙ）はｓ（ｙ）のラプラス演算子、即ち、二次微分の平方和を表す。７）の計算で得たｄａｔａ＿ｒｅｇに従って、単位ステップ長における補正深度ｓ（ｙ）を得ることができる。

深度値ｓ（ｙ）に対してβ回反復を行い、最終的な補正深度値を得る。

９）各画素で得た補正深度値を初期深度値として使用して、４）に戻り、Ｎ回の反復が終了するまで実行を続ける。各画素の最終的に得られた補正深度値は第１の画像および第２の画像の深度情報である。

当該深度情報の上述の計算を促進するために、第１の画像および第２の画像をＲＧＢ（赤、緑、青）のモデルからＨＳＩ（色相、彩度、強度）のモデルに前もって変換する必要があることに留意されたい。

ステップ２０６で、第１の画像の背景領域を深度情報に従って決定する。当該電子装置が、前景領域と背景領域の間の臨界深度を、写真撮影パラメータと第１の画像および第２の画像の各画像距離に従って決定し、当該深度情報が表す深度が当該臨界深度より大きいという当該深度情報に対応する第１の画像内の画素領域は第１の画像の背景領域であると判定してもよい。

特に、拡散境界を表す式

を用いることによって、当該電子装置は鮮明度とぼかし度の境界の深度

を得ることができる。

次に、前景と背景を以下の式に示すように当該深度情報に従って直接分割してもよい。

ステップ２０８で、第１の画像の背景領域を階層化し、当該背景領域の各レイヤのぼかしパラメータを決定する。

特に、当該電子装置が、深度情報を正規化して正規化した深度情報を取得し、当該背景領域において、当該正規化した深度情報の区間をｑ個のセグメントに均等に分割してｑ個の背景区間を取得し、事前設定最大ぼかし半径に従って、当該ｑ個の背景区間の各々に対応するぼかしパラメータを決定してもよい。当該ぼかしパラメータはぼかし半径と標準偏差を含む。当該背景について、当該背景に対するガウスぼかしのスケールを決定する。

先ず、取得した深度マップを０から２５５の範囲に正規化する。

当該正規化した深度情報に従って、ｑの値が２である例では、ぼかしスケールを３つのセグメントに分割する。

であると仮定する。本発明の当該実施形態では背景領域［ｕ_０,２５５］を均等に２つのセグメントに分割する。当該分割は特に以下の通りである。

第１の画像の前景領域（第１の画像はデフォルトで前景領域にフォーカスしている）は不変に保たれ、他の２つのセグメントは背景領域であり、２つの増分的なぼかしスケールが選択される。

本実施形態でスケールを選択するための方法では先ず、最大ぼかし半径ｊを決定する。ｊを、シミュレートすべきカメラの開口サイズに従って決定してもよい。一般に、大きい開口サイズは強い背景ぼかし効果を生み出し、ｍの値は大きい。小さい開口サイズはマイルドな背景ぼかし効果を生み出し、ｍの値は小さい。

次に、各セグメントのぼかし半径ｒ_ｉを、２を基数として選択することによって減少規則に従って決定する。

ガウス関数の離散近似を実際の適用事例で計算するとき、ガウス関数の分布特性によれば、比較的、おおよそ３σの距離を超える画素の重み付けされた値は極度に小さく、したがって、これらの画素の計算を省略してもよい。次に、ガウス標準偏差が

であると判定してもよい。

ステップ２１０で、当該背景領域の各レイヤのぼかしパラメータに従って当該背景領域の各レイヤに別々にぼかしを実施する。

電子装置が、ｑ個の背景区間の各々に対応するぼかし半径と標準偏差に従って、当該ｑ個の背景区間の各々に対応する第１の画像内の画素領域に別々にぼかし処理を実施してもよい。

ガウス関数の半径と標準偏差を得た後、ガウス・フィルタを用いてぼかし処理を画像に対して実施してもよい。畳込み処理をソース画像とガウス関数に対して実施し、ぼかし画像を得ることができる。

ここで、ｇ［ｘ，ｙ］はぼかし処理を実施する必要があるソース画像であり、ｆ［ｘ，ｙ］は２次元ガウス関数であり、ｘとｙは当該画像の座標であり、ｍとｎはそれぞれ水平ガウスぼかし半径と垂直ガウスぼかし半径であり、本明細書では、値ｒ_ｉをｍとｎに割り当てる。

当該２次元ガウス関数は、

として定義される。この式では、（ｘ_０，ｙ_０）はフィルタリングの中央の画素であり、σ_ｘとσ_ｙはそれぞれガウス分散の水平方向の標準偏差と垂直方向の標準偏差であり、本明細書では、値σをσ_ｘとσ_ｙに割り当てる。Ａは正規化されたパラメータであり、

である。

さらに、本発明の当該実施形態で提供する画像ぼかし方法では、第１の画像の背景領域が深度情報に従って階層化され、様々なぼかしパラメータに従って背景領域の各レイヤにぼかしが実施され、ぼかし効果がさらに高まる。

図３を参照する。図３は、本発明の１実施形態に従う画像ぼかし機器の機器構造図を示す。当該画像ぼかし機器は、画像に背景ぼかしを実施する電子装置内で構成される。当該電子装置が携帯電話、デジタル・カメラ、タブレット・コンピュータ等であってもよい。

当該画像ぼかし機器は、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得するように構成された画像取得モジュール３０１であって、第１の画像の画像距離は第２の画像の画像距離より短い画像取得モジュール３０１と、第１の画像と第２の画像に従って深度情報を取得するように構成された深度情報取得モジュール３０２であって、当該深度情報は第１の画像の各画素のシーンとキャプチャ点の間の距離、および、第２の画像の各画素のシーンと当該キャプチャ点の間の距離を表すために使用される深度情報取得モジュール３０２と、第１の画像の背景領域を当該深度情報に従って決定するように構成された背景決定モジュール３０３と、第１の画像の背景領域の内容にぼかし処理を実施するように構成されたぼかしモジュール３０４とを備えてもよい。

纏めると、本発明の当該実施形態で提供する画像ぼかし機器によれば、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像が取得され、深度情報が第１の画像と第２の画像に従って取得され、第１の画像の背景領域が当該深度情報に従って決定され、当該背景領域に対してぼかしが実施される。画像内の各画素での深度情報が、それぞれ前景と背景にフォーカスされた２つの画像に従って得られ、背景領域が当該深度情報に従って決定される。その結果、ぼかし処理が自動的に完了し、それにより、ユーザがソフトウェアを用いて画像を開き手動で背景領域を選択する必要があるので背景領域のボックス選択が不正確であり操作プロセスが複雑であるという先行技術の課題が解決され、ぼかし効果が高まり、ユーザの操作が簡単になり、ユーザの時間が節約されるという効果が達成される。

図４を参照する。図４は、本発明の１実施形態に従う画像ぼかし機器の機器構造図を示す。当該画像ぼかし機器は、画像に背景ぼかしを実施する電子装置内で構成される。当該電子装置が携帯電話、デジタル・カメラ、タブレット・コンピュータ等であってもよい。

当該画像ぼかし機器は、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得するように構成された画像取得モジュール４０１であって、第１の画像の画像距離は第２の画像の画像距離より短い画像取得モジュール４０１と、第１の画像と第２の画像に従って深度情報を取得するように構成された深度情報取得モジュール４０２であって、当該深度情報は第１の画像の各画素のシーンとキャプチャ点の間の距離、および、第２の画像の各画素のシーンと当該キャプチャ点の間の距離を表すために使用される深度情報取得モジュール４０２と、第１の画像の背景領域を当該深度情報に従って決定するように構成された背景決定モジュール４０３と、第１の画像の背景領域の内容にぼかし処理を実施するように構成されたぼかしモジュール４０４とを備えてもよい。

深度情報取得モジュール４０２は、カメラの写真撮影パラメータを取得するように構成された第１の取得ユニット４０２ａであって、当該写真撮影パラメータは、較正焦点距離、レンズ径、および関係パラメータを含み、当該関係パラメータはカメラの開口サイズと不鮮明画像のぼかし度の間の関係を表すために使用される第１の取得ユニット４０２ａと、当該写真撮影パラメータと第１の画像および第２の画像の各画像距離に従って、初期化された深度情報を決定するように構成された初期化ユニット４０２ｂと、
当該写真撮影パラメータ、第１の画像、および第２の画像に従って、当該初期化された深度情報にＮ回の反復計算を実施するように構成された計算ユニット４０２ｃであって、Ｎは正の整数かつＮ≧２である計算ユニット４０２ｃと、Ｎ番目の反復計算により得られた結果を取得し当該結果を深度情報として使用するように構成された第２の取得ユニット４０２ｄとを備える。

計算ユニット４０２ｃは、第１の計算を実施するとき、第１の計算の拡散係数と第１の計算の拡散領域を、初期化された深度情報と写真撮影パラメータに従って決定し、第１の画像、第２の画像、第１の計算の拡散係数、および第１の計算の拡散領域に従って、第１の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を計算し、第１の計算で最小値式を決定し、第１の計算での最小値式に従って、第１の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、事前設定補正式に従って、第１の計算における最小勾配が事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、第１の計算の後に深度情報を取得するように構成される。当該最小値式は第１の差分と第２の差分の和の最小値を表すために使用され、第１の差分は、第１の画像に対応する前方熱拡散式の実際の出力値と理論出力値との間の差分であり、第２の差分は、第２の画像に対応する前方熱拡散式の実際の出力値と理論出力値との差分であり、ｎは正の整数でありｎ≧２である。

計算ユニット４０２ｃは、ｐ番目の計算を実施するとき、ｐ番目の計算の拡散係数とｐ番目の計算の拡散領域を（ｐ−１）番目の計算の後に取得した深度情報と写真撮影パラメータに従って決定し、第１の画像、第２の画像、ｐ番目の計算の拡散係数、およびｐ番目の計算の拡散領域に従って、ｐ番目の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を決定し、ｐ番目の計算での最小値式を決定し、ｐ番目の計算での最小値式に従って、ｐ番目の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、当該事前設定補正式に従って、ｐ番目の計算での最小勾配が当該事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、ｐ番目の計算の後の深度情報を取得するように構成される。２≦ｐ≦Ｎである。

背景決定モジュール４０３は、前景領域と背景領域の間の臨界深度を、写真撮影パラメータと第１の画像および第２の画像の各画像距離に従って決定するように構成された臨界深度決定ユニット４０３ａと、第１の画像において、当該深度情報が表す深度が当該臨界深度より大きいという当該深度情報に対応する画素領域は第１の画像の背景領域であると判定するように構成された背景決定ユニット４０３ｂとを備える。

ぼかしモジュール４０４は、深度情報を正規化して正規化した深度情報を取得するように構成された正規化ユニット４０４ａと、背景領域において、当該正規化した深度情報の区間をｑ個のセグメントに均等に分割してｑ個の背景区間を取得するように構成された分割ユニット４０４ｂと、事前設定最大ぼかし半径に従って、当該ｑ個の背景区間の各々に対応するぼかしパラメータを決定するように構成されたパラメータ決定ユニット４０４ｃであって、当該ぼかしパラメータはぼかし半径と標準偏差を含むパラメータ決定ユニット４０４ｃと、当該ｑ個の背景区間の各々に対応するぼかし半径と標準偏差に従って、第１の画像において、当該ｑ個の背景区間の各々に対応する画素領域に別々にぼかし処理を実施するように構成されたぼかしユニット４０４ｄとを備える。

さらに、本発明の当該実施形態で提供する画像ぼかし機器では、第１の画像の背景領域が当該深度情報に従って階層化され、様々なぼかしパラメータに従って背景領域の各レイヤにぼかしが実施され、ぼかし効果がさらに高まる。

図５を参照する。図５は、本発明の１実施形態に従う電子装置の装置構成図を示す。当該電子装置が、携帯電話、デジタル・カメラ、タブレット・コンピュータ等であってもよい。当該電子装置は、上述の図３または図４に示す画像収集ユニット００１および画像ぼかし機器００２を備えてもよい。

纏めると、本発明の当該実施形態で提供した電子装置によれば、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像が取得され、深度情報が第１の画像と第２の画像に従って取得され、第１の画像の背景領域が当該深度情報に従って決定され、当該背景領域に対してぼかしが実施される。画像内の各画素での深度情報が、それぞれ前景と背景にフォーカスされた２つの画像に従って得られ、背景領域が当該深度情報に従って決定される。その結果、ぼかし処理が自動的に完了し、それにより、ユーザがソフトウェアを用いて画像を開き手動で背景領域を選択する必要があるので背景領域のボックス選択が不正確であり操作プロセスが複雑であるという先行技術の課題が解決され、ぼかし効果が高まり、ユーザの操作が簡単になり、ユーザの時間が節約されるという効果が達成される。

さらに、本発明の当該実施形態で提供した電子装置では、第１の画像の背景領域が当該深度情報に従って階層化され、様々なぼかしパラメータに従って背景領域の各レイヤにぼかしが実施され、ぼかし効果がさらに高まる。

図６を参照する。図６は、本発明の別の実施形態に従う電子装置の装置構成図を示す。当該電子装置が、携帯電話、デジタル・カメラ、タブレット・コンピュータ等であってもよい。当該電子装置は、プロセッサ５０と、プロセッサ５０により実行可能な命令を格納するように構成されたメモリ６０とを備えてもよい。

プロセッサ５０は、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得するように構成される。第１の画像の画像距離は第２の画像の画像距離より短い。

プロセッサ５０は、第１の画像と第２の画像に従って深度情報を取得するように構成される。当該深度情報は、第１の画像の各画素のシーンとキャプチャ点の間の距離、および、第２の画像の各画素のシーンと当該キャプチャ点の間の距離を表すために使用される。プロセッサ５０は、第１の画像の背景領域を当該深度情報に従って決定するように構成される。プロセッサ５０は、第１の画像の背景領域の内容にぼかし処理を実施するように構成される。

図７を参照する。図７は、本発明のさらに別の実施形態に従う電子装置の装置構成図を示す。当該電子装置が、携帯電話、デジタル・カメラ、タブレット・コンピュータ等であってもよい。当該電子装置は、プロセッサ７０と、プロセッサ７０により実行可能な命令を格納するように構成されたメモリ８０とを備えてもよい。

プロセッサ７０は、同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得するように構成される。第１の画像の画像距離は第２の画像の画像距離より短い。プロセッサ７０は、第１の画像と第２の画像に従って深度情報を取得するように構成される。当該深度情報は第１の画像の各画素のシーンとキャプチャ点の間の距離、および、第２の画像の各画素のシーンと当該キャプチャ点の間の距離を表すために使用される。プロセッサ７０は、第１の画像の背景領域を当該深度情報に従って決定するように構成される。プロセッサ７０は、第１の画像の背景領域の内容にぼかし処理を実施するように構成される。

プロセッサ７０は、カメラの写真撮影パラメータを取得するように構成される。当該写真撮影パラメータは、較正焦点距離、レンズ径、および関係パラメータを含み、当該関係パラメータはカメラの開口サイズと不鮮明画像のぼかし度の間の関係を表すために使用される。プロセッサ７０は、当該写真撮影パラメータと第１の画像および第２の画像の各画像距離に従って、初期化された深度情報を決定するように構成される。プロセッサ７０は、当該写真撮影パラメータ、第１の画像、および第２の画像に従って、当該初期化された深度情報にＮ回の反復計算を実施するように構成される。Ｎは正の整数かつＮ≧２である。プロセッサ７０は、Ｎ番目の反復計算により得られた結果を取得し当該結果を深度情報として使用するように構成される。

プロセッサ７０は、第１の計算を実施するとき、第１の計算の拡散係数と第１の計算の拡散領域を、初期化された深度情報と写真撮影パラメータに従って決定し、第１の画像、第２の画像、第１の計算の拡散係数、および第１の計算の拡散領域に従って、第１の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を計算し、第１の計算で最小値式を決定し、第１の計算での最小値式に従って、第１の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、事前設定補正式に従って、第１の計算における最小勾配が事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、第１の計算の後に深度情報を取得するように構成される。当該最小値式は第１の差分と第２の差分の和の最小値を表すために使用され、第１の差分は、第１の画像に対応する前方熱拡散式の実際の出力値と理論出力値との間の差分であり、第２の差分は、第２の画像に対応する前方熱拡散式の実際の出力値と理論出力値との差分であり、ｎは正の整数でありｎ≧２である。

プロセッサ７０は、ｐ番目の計算を実施するとき、ｐ番目の計算の拡散係数とｐ番目の計算の拡散領域を（ｐ−１）番目の計算の後に取得した深度情報と写真撮影パラメータに従って決定し、第１の画像、第２の画像、ｐ番目の計算の拡散係数、およびｐ番目の計算の拡散領域に従って、ｐ番目の計算における第１の画像と第２の画像にそれぞれ対応する前方熱拡散式を決定し、ｐ番目の計算での最小値式を決定し、ｐ番目の計算での最小値式に従って、ｐ番目の計算における第１の画像と第２の画像の中の各画素の最小勾配を取得し、当該事前設定補正式に従って、ｐ番目の計算での最小勾配が当該事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、ｐ番目の計算の後の深度情報を取得するように構成される。ここで、２≦ｐ≦Ｎである。

プロセッサ７０は、前景領域と背景領域の間の臨界深度を、写真撮影パラメータと第１の画像および第２の画像の各画像距離に従って決定するように構成される。プロセッサ７０は、第１の画像において、当該深度情報が表す深度が当該臨界深度より大きいという当該深度情報に対応する画素領域は第１の画像の背景領域であると判定するように構成される。

プロセッサ７０は、当該深度情報を正規化して正規化した深度情報を取得するように構成される。プロセッサ７０は、当該背景領域において、当該正規化した深度情報の区間をｑ個のセグメントに均等に分割してｑ個の背景区間を取得するように構成される。プロセッサ７０は、事前設定最大ぼかし半径に従って、当該ｑ個の背景区間の各々に対応するぼかしパラメータを決定するように構成される。当該ぼかしパラメータはぼかし半径と標準偏差を含む。プロセッサ７０は、当該ｑ個の背景区間の各々に対応するぼかし半径と標準偏差に従って、第１の画像において、当該ｑ個の背景区間の各々に対応する画素領域に別々にぼかし処理を実施するように構成される。

上述の機能モジュールの分割は、以上の諸実施形態で提供した画像ぼかし機器が背景ぼかしを実施するときの説明の例として使用したにすぎないことに留意されたい。実際の適用では、上述の機能を要件に従って様々な機能モジュールに割り当ててもよい。即ち、機器の内部構造を様々な機能モジュールに分割して、上述の機能の全部または一部を実現してもよい。さらに、以上の諸実施形態で提供した画像ぼかし機器は画像ぼかし方法の諸実施形態と同じ概念に関連するので、当該画像ぼかし機器の具体的な実装プロセスについては当該方法の諸実施形態を参照されたい。ここでは再度説明することはしない。

本発明の諸実施形態における上述の符号は単に説明のためのものであり、諸実施形態の利点や欠点を表すものではない。

諸実施形態のステップの全部または一部を、ハードウェアまたは関連ハードウェアに指示するプログラムにより実装してもよいことは当業者には理解される。当該プログラムをコンピュータ可読記憶媒体に格納してもよい。当該記憶媒体は、読取専用メモリ、磁気ディスク、または光ディスクを備えてもよい。

以上の説明は本発明の例示的な諸実施形態にすぎず、本発明を限定しようとするものではない。本発明の原理から逸脱せずに行った任意の修正、均等な置換え、および改善は本発明の保護範囲に入るものとする。

３０１画像取得モジュール
３０２深度情報取得モジュール
３０３背景決定モジュール
３０４ぼかしモジュール
４０１画像取得モジュール
４０２深度情報取得モジュール
４０２ａ第１の取得ユニット
４０２ｂ初期化ユニット
４０２ｃ計算ユニット
４０２ｄ第２の取得ユニット
４０３背景決定モジュール
４０３ａ臨界深度決定ユニット
４０３ｂ背景決定ユニット
４０４ぼかしモジュール
４０４ａ正規化ユニット
４０４ｂ分割ユニット
４０４ｃパラメータ決定ユニット
４０４ｄぼかしユニット
００１画像収集ユニット
００２画像ぼかし装置
５０プロセッサ
６０メモリ
７０プロセッサ
８０メモリ

Claims

同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得するステップであって、前記第１の画像の画像距離は前記第２の画像の画像距離より短い、ステップと、
前記第１の画像と前記第２の画像に従って深度情報を取得するステップであって、前記深度情報は前記第１の画像の各画素のシーンとキャプチャ点の間の距離、および、前記第２の画像の各画素のシーンと前記キャプチャ点の間の距離を表すために使用される、ステップと、
前記第１の画像の背景領域を前記深度情報に従って決定するステップと、
前記第１の画像の前記背景領域の内容にぼかし処理を実施するステップと、
を含み、
前記第１の画像と前記第２の画像に従って深度情報を取得するステップは、
前記カメラの写真撮影パラメータを取得するステップであって、前記写真撮影パラメータは、較正焦点距離、レンズ径、および関係パラメータを含み、前記関係パラメータは前記カメラの開口サイズと不鮮明画像のぼかし度の間の関係を表すために使用される、ステップと、
前記写真撮影パラメータと前記第１の画像および前記第２の画像の各画像距離に従って、初期化された深度情報を決定するステップと、
前記写真撮影パラメータ、前記第１の画像、および前記第２の画像に従って前記初期化された深度情報にＮ回の反復計算を実施するステップであって、Ｎは正の整数かつＮ≧２である、ステップと、
Ｎ番目の反復計算により得られた結果を取得し、前記結果を前記深度情報として使用するステップと、
を含む、画像ぼかし方法。
前記写真撮影パラメータ、前記第１の画像、および前記第２の画像に従って前記初期化された深度情報にＮ回の反復計算を実施するステップは、
第１の計算を実施するとき、前記第１の計算の拡散係数および前記第１の計算の拡散領域を前記初期化された深度情報および前記写真撮影パラメータに従って決定し、前記第１の画像、前記第２の画像、前記第１の計算の前記拡散係数、および前記第１の計算の前記拡散領域に従って、前記第１の計算における前記第１の画像と前記第２の画像にそれぞれ対応する前方熱拡散式を決定し、前記第１の計算で最小値式を決定し、前記第１の計算での前記最小値式に従って、前記第１の計算における前記第１の画像と前記第２の画像における各画素の最小勾配を取得し、事前設定補正式に従って、前記第１の計算における最小勾配が事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、前記第１の計算の後に深度情報を取得するステップであって、前記最小値式は第１の差分と第２の差分の和の最小値を表すために使用され、前記第１の差分は、前記第１の画像に対応する前方熱拡散式の実際の出力値と理論出力値との間の差分であり、前記第２の差分は、前記第２の画像に対応する前方熱拡散式の実際の出力値と理論出力値との差分であり、ｎは正の整数でありｎ≧２である、ステップと、
ｐ番目の計算を実施するとき、（ｐ−１）番目の計算の後に取得した深度情報および前記写真撮影パラメータに従って前記ｐ番目の計算の拡散係数および前記ｐ番目の計算の拡散領域を決定し、前記第１の画像、前記第２の画像、前記ｐ番目の計算の前記拡散係数、および前記ｐ番目の計算の前記拡散領域に従って、前記ｐ番目の計算における前記第１の画像と前記第２の画像にそれぞれ対応する前方熱拡散式を決定し、前記ｐ番目の計算で最小値式を決定し、前記ｐ番目の計算での前記最小値式に従って、前記ｐ番目の計算における前記第１の画像と前記第２の画像における各画素の最小勾配を取得し、前記事前設定補正式に従って、前記ｐ番目の計算での最小勾配が前記事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、前記ｐ番目の計算の後に深度情報を取得するステップであって、２≦ｐ≦Ｎである、ステップと、
を含む、請求項１に記載の方法。
前記事前設定補正式は、

であり、ｓ’（ｙ）は補正の後の深度情報であり、ｓ（ｙ）は前記補正の前の深度情報であり、ｄａｔａ＿ｒｅｇは最小勾配であり、αおよびｋは事前設定された正則化パラメータである、請求項２に記載の方法。
前記第１の画像の背景領域を前記深度情報に従って決定するステップは、
写真撮影パラメータと前記第１の画像および前記第２の画像の各画像距離に従って前景領域と背景領域の間の臨界深度を決定するステップと、
前記深度情報が表す深度が前記臨界深度より大きいという前記深度情報に対応する前記第１の画像内の画素領域は前記第１の画像の前記背景領域であると判定するステップと、
を含む、請求項１に記載の方法。
前記第１の画像の前記背景領域の内容にぼかし処理を実施するステップは、
前記深度情報を正規化して正規化した深度情報を取得するステップと、
前記背景領域において、前記正規化した深度情報の区間を均等にｑ個のセグメントに分割してｑ個の背景区間を取得するステップと、
事前設定最大ぼかし半径に従って、前記ｑ個の背景区間の各々に対応するぼかしパラメータを決定するステップであって、前記ぼかしパラメータはぼかし半径と標準偏差を含む、ステップと、
前記ｑ個の背景区間の各々に対応する前記ぼかし半径と前記標準偏差に従って、前記第１の画像において、前記ｑ個の背景区間の各々に対応する画素領域に別々にぼかし処理を実施するステップと、
を含む、請求項１に記載の方法。
同一のカメラにより捕捉され同一の視野率を有する第１の画像と第２の画像を取得するように構成された画像取得モジュールであって、前記第１の画像の画像距離は前記第２の画像の画像距離より短い、画像取得モジュールと、
前記第１の画像と前記第２の画像に従って深度情報を取得するように構成された深度情報取得モジュールであって、前記深度情報は前記第１の画像の各画素のシーンとキャプチャ点の間の距離、および、前記第２の画像の各画素のシーンと前記キャプチャ点の間の距離を表すために使用される、深度情報取得モジュールと、
前記第１の画像の背景領域を前記深度情報に従って決定するように構成された背景決定モジュールと、
前記第１の画像の前記背景領域の内容にぼかし処理を実施するように構成されたぼかしモジュールと、
を備え、
前記深度情報取得モジュールは、
前記カメラの写真撮影パラメータを取得するように構成された第１の取得ユニットであって、前記写真撮影パラメータは、較正焦点距離、レンズ径、および関係パラメータを含み、前記関係パラメータは前記カメラの開口サイズと不鮮明画像のぼかし度の間の関係を表すために使用される、第１の取得ユニットと、
前記写真撮影パラメータと前記第１の画像および前記第２の画像の各画像距離に従って、初期化された深度情報を決定するように構成された初期化ユニットと、
前記写真撮影パラメータ、前記第１の画像、および前記第２の画像に従って、前記初期化された深度情報にＮ回の反復計算を実施するように構成された計算ユニットであって、Ｎは正の整数かつＮ≧２である、計算ユニットと、
Ｎ番目の反復計算により得られた結果を取得し前記結果を前記深度情報として使用するように構成された第２の取得ユニットと、
を備える、画像ぼかし機器。
前記計算ユニットは、第１の計算を実施するとき、前記第１の計算の拡散係数と前記第１の計算の拡散領域を前記初期化された深度情報と前記写真撮影パラメータに従って決定し、前記第１の画像、前記第２の画像、前記第１の計算の前記拡散係数、および前記第１の計算の前記拡散領域に従って、前記第１の計算における前記第１の画像と前記第２の画像にそれぞれ対応する前方熱拡散式を計算し、前記第１の計算で最小値式を決定し、前記第１の計算での前記最小値式に従って、前記第１の計算における前記第１の画像と前記第２の画像における各画素の最小勾配を取得し、事前設定補正式に従って、前記第１の計算における最小勾配が事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、前記第１の計算の後に深度情報を取得するように構成され、前記最小値式は第１の差分と第２の差分の和の最小値を表すために使用され、前記第１の差分は、前記第１の画像に対応する前方熱拡散式の実際の出力値と理論出力値との間の差分であり、前記第２の差分は、前記第２の画像に対応する前方熱拡散式の実際の出力値と理論出力値との差分であり、ｎは正の整数でありｎ≧２であり、
前記計算ユニットは、ｐ番目の計算を実施するとき、前記ｐ番目の計算の拡散係数と前記ｐ番目の計算の拡散領域を（ｐ−１）番目の計算の後に取得した深度情報と前記写真撮影パラメータに従って決定し、前記第１の画像、前記第２の画像、前記ｐ番目の計算の前記拡散係数、および前記ｐ番目の計算の前記拡散領域に従って、前記ｐ番目の計算における前記第１の画像と前記第２の画像にそれぞれ対応する前方熱拡散式を決定し、前記ｐ番目の計算での最小値式を決定し、前記ｐ番目の計算での前記最小値式に従って、前記ｐ番目の計算における前記第１の画像と前記第２の画像における各画素の最小勾配を取得し、前記事前設定補正式に従って、前記ｐ番目の計算での最小勾配が前記事前設定勾配閾値より小さい画素に対応する深度情報にｎ回の反復補正を実施し、前記ｐ番目の計算の後の深度情報を取得するように構成され、２≦ｐ≦Ｎである、
請求項６に記載の機器。
前記背景決定モジュールは、
写真撮影パラメータおよび前記第１の画像と前記第２の画像の各画像距離に従って前景領域と背景領域の間の臨界深度を決定するように構成された臨界深度決定ユニットと、
前記深度情報が表す深度が前記臨界深度より大きいという前記深度情報に対応する前記第１の画像内の画素領域は前記第１の画像の前記背景領域であると判定するように構成された背景決定ユニットと、
を備える、請求項６に記載の機器。
前記ぼかしモジュールは、
前記深度情報を正規化して正規化した深度情報を取得するように構成された正規化ユニットと、
前記背景領域において、前記正規化した深度情報の区間をｑ個のセグメントに均等に分割してｑ個の背景区間を取得するように構成された分割ユニットと、
事前設定最大ぼかし半径に従って、前記ｑ個の背景区間の各々に対応するぼかしパラメータを決定するように構成されたパラメータ決定ユニットであって、前記ぼかしパラメータはぼかし半径と標準偏差を含む、パラメータ決定ユニットと、
前記ｑ個の背景区間の各々に対応する前記ぼかし半径と前記標準偏差に従って、前記第１の画像において、前記ｑ個の背景区間の各々に対応する画素領域に別々にぼかし処理を実施するように構成されたぼかしユニットと、
を備える、請求項６に記載の機器。
請求項６乃至９の何れか１項に記載の画像ぼかし機器を備えた、電子装置。