JP6579350B2

JP6579350B2 - ガウス近似のラプラシアンに基づく単一画像からのデフォーカス量推定

Info

Publication number: JP6579350B2
Application number: JP2018505430A
Authority: JP
Inventors: ピンシャンリ; ジャニンウェイ
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-08-21
Filing date: 2016-08-05
Publication date: 2019-09-25
Anticipated expiration: 2036-08-05
Also published as: US20170053187A1; KR102027712B1; KR20180026506A; CN107924471A; EP3320487A1; WO2017034784A1; JP2018525742A; CN107924471B; US9646225B2; EP3320487A4

Description

本発明は、イメージングの分野に関する。具体的には、本発明は、デフォーカス量推定に関する。

デジタルカメラなどの装置によって画像を取得すると、画像にブラー（ぼやけ）又はデフォーカス（ピンぼけ）などの欠陥が存在することがよくある。ブラーの補正を試みる方法は複数存在するが、これらはブラー及びデフォーカスを十分に補正するものではない。

本明細書では、デフォーカス量推定アルゴリズムについて説明する。このデフォーカス量推定アルゴリズムは、単一画像を利用する。ガウシアン差分を計算することによってガウス近似のラプラシアンを求める。ガウシアン差分を用いて２つの画像間のブラー差を計算することにより、デフォーカスブラーを推定することができる。

１つの態様では、装置の非一時的メモリにプログラムされた方法が、画像を取得するステップと、画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算するステップと、画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定するステップとを含む。推定デフォーカス量は、反復畳み込みを用いて決定される。推定デフォーカス量は、ルックアップテーブルを用いて決定される。方法は、画像の焦点を検出するステップをさらに含む。画像の焦点を検出するステップは、反復数を所定の閾値と比較するステップを含む。反復数が閾値よりも小さい場合、画像の焦点は合っている。方法は、画像のノイズを除去するステップをさらに含む。装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラー／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤ、テレビ、家庭用エンターテイメントシステム、又はスマートウォッチを含む。

別の態様では、装置のメモリにプログラムされたシステムが、画像を取得するように構成された取得モジュールと、画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算するように構成された計算モジュールと、画像のガウシアン差分に基づいて画像の推定デフォーカス量を決定するように構成された決定モジュールとを含む。推定デフォーカス量は、反復畳み込みを用いて決定される。推定デフォーカス量は、ルックアップテーブルを用いて決定される。システムは、画像の焦点を検出することをさらに含む。画像の焦点を検出することは、反復数を所定の閾値と比較することを含む。反復数が閾値よりも小さい場合、画像の焦点は合っている。システムは、画像のノイズを除去することをさらに含む。

別の態様では、装置が、アプリケーションを記憶する非一時的メモリと、メモリに結合されて、アプリケーションを処理するように構成された処理要素とを含み、アプリケーションは、画像を取得し、画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算し、画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定する。推定デフォーカス量は、反復畳み込みを用いて決定される。推定デフォーカス量は、ルックアップテーブルを用いて決定される。装置は、画像の焦点を検出することをさらに含む。画像の焦点を検出することは、反復数を所定の閾値と比較することを含む。反復数が閾値よりも小さい場合、画像の焦点は合っている。装置は、画像のノイズを除去することをさらに含む。

別の態様では、カメラ装置が、画像を取得するためのセンサと、アプリケーションを記憶する非一時的メモリと、メモリに結合されて、アプリケーションを処理するように構成された処理要素とを含み、アプリケーションは、画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算し、画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定する。推定デフォーカス量は、反復畳み込みを用いて決定される。推定デフォーカス量は、ルックアップテーブルを用いて決定される。アプリケーションは、画像のレンズの焦点を検出するように構成される。画像の焦点を検出することは、反復数を所定の閾値と比較することを含む。反復数が閾値よりも小さい場合、画像の焦点は合っている。アプリケーションは、画像のノイズを除去するように構成される。

いくつかの実施形態による、ガウス関数の負の２次導関数を示す図である。いくつかの実施形態による、ステップエッジ（較正画像）から取得されたデフォーカスブラー半径と反復数との間の関係を示す図である。いくつかの実施形態による、画像のデフォーカスマップを示す図である。いくつかの実施形態による、様々な比率での性能グラフを示す図である。いくつかの実施形態によるデフォーカス量推定方法のフローチャートである。いくつかの実施形態による、デフォーカス量推定方法を実装するように構成された例示的なコンピュータ装置のブロック図である。

本明細書では、単一画像を用いてデフォーカスを推定するための、ガウシアンのラプラシアン（ＬａｐｌａｃｉａｎｏｆＧａｕｓｓｉａｎ、ＬｏＧ）とガウシアン差分（ＤｉｆｆｅｒｅｎｃｅｏｆＧａｕｓｓｉａｎ、ＤｏＧ）との間の近似について説明する。ガウス関数の２次導関数は、ガウシアンのラプラシアンである。図１に、ガウス関数の負の２次導関数を示す。
ガウス関数は以下の通りである。

熱拡散方程式は以下の通りである。

ｘ＝０の時には以下のようになる。

この式は、

を選択することによってｘ＝０の時に完全な一致をもたらす。
さらなる近似では、ＤｏＧが以下の通りである。

デフォーカスブラーのモデルは、以下によって与えられ、
この場合、
ｂは、焦点外画像であり、
ｆは、焦点画像であり、
Ｇは、ガウス点広がり関数（ＰＳＦ）であり、
は、畳み込みを意味する。

目的は、ｂからσを推定することである。
リブラーは以下の通りである。

ブラー差近似は、
以下のようにブラー差を考慮することによって計算され、

この場合、
ｆは、焦点画像であり、
減算は、ガウシアン差分である。
以下は、ガウス近似のラプラシアンである。

以下も同様である。

σ_b＞σ_aの時にはσ_dが存在し、従って以下のようになり、

この場合、

である。
σ_dが求められると、方程式からσを解くことができる。

実装
σ_dを求めることは、以下のようなガウス関数Ｇを見出すことに相当し、

或いは、以下を最小化するσ_dが見出される。

この計算は、以下のように反復畳み込み法を用いて行うことができ、

この場合のｋは、変動の小さなガウシアンカーネルである。

図２に、ステップエッジ（較正画像）から取得されたデフォーカスブラー半径と反復数との間の関係を示す。この曲線をルックアップテーブルとして使用して、試験画像の反復数からブラー半径を求めることができる。

ノイズ除去
ノイズは、特にブラーの量が増加した時に、ブラーマッチング性能に影響を及ぼし得る。性能は、反復畳み込みの前に取り込み画像にブラーフィルタを適用することによって行われるノイズ除去によって改善することができる。較正画像及び試験画像には、同じ量のノイズ除去が適用される。

図３に、いくつかの実施形態による、画像のデフォーカスマップを示す。このデフォーカスマップは、本明細書で説明するデフォーカス量推定方法を用いて生成される。

焦点検出
焦点検出は、単一画像を用いて画像に焦点が合っているかどうかを判定するために使用される。この用途には、ブラー量は不要である。焦点検出は、反復数を所定の閾値と比較することによって行われる。反復数が閾値よりも小さい時には、画像に焦点が合っている。そうでなければ、焦点外である。焦点検出のみが必要な場合には、わずかなブラーと焦点が合った状態との区別が困難になるという理由でノイズ除去はオフにされる。焦点検出にとっては、σ_b／σ_aの比率が小さいことが好ましい。

図４は、様々なσ_b／σ_aの比率での焦点推定方法の性能グラフである。

図５は、いくつかの実施形態によるデフォーカス推定方法のフローチャートである。ステップ５００において、単一画像を取得する。ステップ５０２において、単一画像情報のＤｏＧを用いてＬｏＧを求める。ステップ５０４において、ＤｏＧを用いてブラー差（又はデフォーカス）の近似を求める。いくつかの実施形態では、ブラー差が反復畳み込み法を用いて求められる。いくつかの実施形態では、ブラー差が第１の画像と第２の画像との間で近似され、ＤｏＧを用いて求められる。いくつかの実施形態では、第２の画像が試験画像である。いくつかの実施形態では、第２の画像が、第１の画像のブラー画像である。この方法は、除算演算子及び最大演算子を使用せず、従ってノイズに強い。いくつかの実施形態では、さらなる又はこれよりも少ないステップが実装される。

図６は、いくつかの実施形態による、デフォーカス量推定方法を実装するように構成された例示的なコンピュータ装置のブロック図である。コンピュータ装置６００は、画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示を行うために使用することができる。一般に、コンピュータ装置６００を実装するのに適したハードウェア構造は、ネットワークインターフェイス６０２、メモリ６０４、プロセッサ６０６、Ｉ／Ｏ装置６０８、バス６１０及び記憶装置６１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ６０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置６１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置６００は、１又は２以上のネットワークインターフェイス６０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット（登録商標）又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置６０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。デフォーカス量推定方法を実行するために使用される（単複の）デフォーカス量推定アプリケーション６３０は、記憶装置６１２及びメモリ６０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置６００には、図６に示すものよりも多くの又は少ないコンポーネントを含めることができる。いくつかの実施形態では、デフォーカス量推定ハードウェア６２０が含まれる。図６のコンピュータ装置６００は、デフォーカス量推定方法のためのアプリケーション６３０及びハードウェア６２０を含むが、デフォーカス量推定方法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、デフォーカス量推定アプリケーション６３０がメモリにプログラムされ、プロセッサを用いて実行される。別の例として、いくつかの実施形態では、デフォーカス量推定ハードウェア６２０が、デフォーカス量推定方法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）デフォーカス量推定アプリケーション６３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが、１又は２以上のサブモジュールをさらに含む。いくつかの実施形態では、より少ない又はさらなるモジュールを含めることもできる。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラー／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、スマートジュエリ（例えば、スマートウォッチ）、又はその他のあらゆる好適なコンピュータ装置が挙げられる。

デフォーカス量推定方法を利用するには、デジタルカメラなどの装置を使用して画像を取得することができる。デフォーカス量推定方法は、画像処理の実行時に自動的に使用される。デフォーカス量推定方法は、ユーザの関与を伴わずに自動的に実施することができる。

デフォーカス量推定方法は、動作時に画像処理効率を高める。単一画像、並びにＬｏＧ及びＤｏＧを使用することによって効率が高くなる。

ガウス近似のラプラシアンに基づく単一画像からのデフォーカス量推定のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
ａ．画像を取得するステップと、
ｂ．画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算するステップと、
ｃ．画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定するステップと、
を含む方法。

２．推定デフォーカス量は、反復畳み込みを用いて決定される、上記１に記載の方法。

３．推定デフォーカス量は、ルックアップテーブルを用いて決定される、上記２に記載の方法。

４．画像の焦点を検出するステップをさらに含む、上記２に記載の方法。

５．画像の焦点を検出するステップは、反復数を所定の閾値と比較するステップを含む、上記４に記載の方法。

６．反復数が閾値よりも小さい場合、画像の焦点が合っている、上記５に記載の方法。

７．画像のノイズを除去するステップをさらに含む、上記１に記載の方法。

８．装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラー／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤ、テレビ、家庭用エンターテイメントシステム、又はスマートウォッチを含む、上記１に記載の方法。

９．装置のメモリにプログラムされたシステムであって、
ａ．画像を取得するように構成された取得モジュールと、
ｂ．画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算するように構成された計算モジュールと、
ｃ．画像のガウシアン差分に基づいて画像の推定デフォーカス量を決定するように構成された決定モジュールと、
を含むシステム。

１０．推定デフォーカス量は、反復畳み込みを用いて決定される、上記９に記載のシステム。

１１．推定デフォーカス量は、ルックアップテーブルを用いて決定される、上記１０に記載のシステム。

１２．画像の焦点を検出することをさらに含む、上記１０に記載のシステム。

１３．画像の焦点を検出することは、反復数を所定の閾値と比較することを含む、上記１２に記載のシステム。

１４．反復数が閾値よりも小さい場合、画像の焦点が合っている、上記１３に記載のシステム。

１５．画像のノイズを除去することをさらに含む、上記９に記載のシステム。

１６．装置であって、
ａ．アプリケーションを記憶するための非一時的メモリと、
ｂ．メモリに結合されて、アプリケーションを処理するように構成された処理要素と、
を含み、アプリケーションは、
ｉ．画像を取得し、
ｉｉ．画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算し、
ｉｉｉ．画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定する、
装置。

１７．推定デフォーカス量は、反復畳み込みを用いて決定される、上記１６に記載の装置。

１８．推定デフォーカス量は、ルックアップテーブルを用いて決定される、上記１７に記載の装置。

１９．画像の焦点を検出することをさらに含む、上記１７に記載の装置。

２０．画像の焦点を検出することは、反復数を所定の閾値と比較するスことを含む、上記１９に記載の装置。

２１．反復数が閾値よりも小さい場合、画像の焦点が合っている、上記２０に記載の装置。

２２．画像のノイズを除去することをさらに含む、上記１６に記載の装置。

２３．カメラ装置であって、
ａ．画像を取得するためのセンサと、
ｂ．アプリケーションを記憶する非一時的メモリと、
ｃ．メモリに結合されて、アプリケーションを処理するように構成された処理要素と、
を含み、アプリケーションは、
ｉ．画像のガウシアン差分を計算することによって画像のガウシアンのラプラシアンを計算し、
ｉｉ．画像のガウシアン差分に基づいて、画像の推定デフォーカス量を決定する、
カメラ装置。

２４．推定デフォーカス量は、反復畳み込みを用いて決定される、上記２３に記載のカメラ装置。

２５．推定デフォーカス量は、ルックアップテーブルを用いて決定される、上記２４に記載のカメラ装置。

２６．アプリケーションは、画像のレンズの焦点を検出するように構成される、上記２４に記載のカメラ装置。

２７．画像の焦点を検出することは、反復数を所定の閾値と比較するステップを含む、上記２６に記載のカメラ装置。

２８．反復数が閾値よりも小さい場合、画像の焦点が合っている、上記２７に記載のカメラ装置。

２９．アプリケーションは、画像のノイズを除去するように構成される、上記２３に記載のカメラ装置。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

５００画像を取得
５０２画像のＤｏＧを用いてＬｏＧを決定
５０４ＤｏＧを用いてブラー差を近似

Claims

装置の非一時的メモリにプログラムされた方法であって、
ａ．画像を取得するステップと、
ｂ．前記画像のガウシアン差分を計算することによって前記画像のガウシアンのラプラシアンを計算するステップと、
ｃ．前記画像の前記ガウシアン差分に基づいて、反復畳み込みを用いて前記画像の推定デフォーカス量を決定するステップと、
ｄ．反復数を所定の閾値と比較することを含む、前記画像の焦点を検出するステップと、
を含むことを特徴とする方法。
前記推定デフォーカス量は、ルックアップテーブルを用いて決定される、
請求項１に記載の方法。
前記反復数が前記閾値よりも小さい場合、前記画像の焦点が合っている、
請求項１に記載の方法。
前記画像のノイズを除去するステップをさらに含む、
請求項１に記載の方法。
前記装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラー／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤ、テレビ、家庭用エンターテイメントシステム、又はスマートウォッチを含む、
請求項１に記載の方法。
装置のメモリにプログラムされたシステムであって、
ａ．画像を取得するように構成された取得モジュールと、
ｂ．前記画像のガウシアン差分を計算することによって前記画像のガウシアンのラプラシアンを計算するように構成された計算モジュールと、
ｃ．前記画像の前記ガウシアン差分に基づいて、反復畳み込みを用いて前記画像の推定デフォーカス量を決定するように構成された決定モジュールと、
ｄ．反復数を所定の閾値と比較し、前記画像の焦点を検出するよう構成された検出モジュールと、
を備えることを特徴とするシステム。
前記推定デフォーカス量は、ルックアップテーブルを用いて決定される、
請求項６に記載のシステム。
前記反復数が前記閾値よりも小さい場合、前記画像の焦点が合っている、
請求項６に記載のシステム。
前記画像のノイズを除去することをさらに含む、
請求項６に記載のシステム。
装置であって、
ａ．アプリケーションを記憶する非一時的メモリと、
ｂ．前記メモリに結合されて、前記アプリケーションを処理するように構成された処理要素と、
を備え、前記アプリケーションは、
ｉ．画像を取得し、
ｉｉ．前記画像のガウシアン差分を計算することによって前記画像のガウシアンのラプラシアンを計算し、
ｉｉｉ．前記画像の前記ガウシアン差分に基づいて、反復畳み込みを用いて前記画像の推定デフォーカス量を決定し、
ｉｖ．反復数を所定の閾値と比較して、前記画像の焦点を検出する、ことを含む、
ことを特徴とする装置。
前記推定デフォーカス量は、ルックアップテーブルを用いて決定される、
請求項１０に記載の装置。
前記反復数が前記閾値よりも小さい場合、前記画像の焦点が合っている、
請求項１０に記載の装置。
前記画像のノイズを除去することをさらに含む、
請求項１０に記載の装置。
カメラ装置であって、
ａ．画像を取得するためのセンサと、
ｂ．アプリケーションを記憶する非一時的メモリと、
ｃ．前記メモリに結合されて、前記アプリケーションを処理するように構成された処理要素と、
を備え、前記アプリケーションは、
ｉ．前記画像のガウシアン差分を計算することによって前記画像のガウシアンのラプラシアンを計算し、
ｉｉ．前記画像の前記ガウシアン差分に基づいて、反復畳み込みを用いて前記画像の推定デフォーカス量を決定し、
ｉｉｉ．反復数を所定の閾値と比較して、前記画像の焦点を検出する、よう構成されている、
ことを特徴とするカメラ装置。
前記推定デフォーカス量は、ルックアップテーブルを用いて決定される、
請求項１４に記載のカメラ装置。
前記反復数が前記閾値よりも小さい場合、前記画像の焦点が合っている、
請求項１４に記載のカメラ装置。
前記アプリケーションは、前記画像のノイズを除去するように構成される、
請求項１４に記載のカメラ装置。