JP6703314B2 - フォーカス検出 - Google Patents

フォーカス検出 Download PDF

Info

Publication number
JP6703314B2
JP6703314B2 JP2018532097A JP2018532097A JP6703314B2 JP 6703314 B2 JP6703314 B2 JP 6703314B2 JP 2018532097 A JP2018532097 A JP 2018532097A JP 2018532097 A JP2018532097 A JP 2018532097A JP 6703314 B2 JP6703314 B2 JP 6703314B2
Authority
JP
Japan
Prior art keywords
images
calculating
image
focus
blurred images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018532097A
Other languages
English (en)
Other versions
JP2019508921A (ja
Inventor
アレクサンダー ベレストフ
アレクサンダー ベレストフ
ピンシャン リ
ピンシャン リ
ジャニン ウェイ
ジャニン ウェイ
シュエ トゥ
シュエ トゥ
貴美 水倉
貴美 水倉
松井　啓
啓 松井
大仁 首田
大仁 首田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019508921A publication Critical patent/JP2019508921A/ja
Application granted granted Critical
Publication of JP6703314B2 publication Critical patent/JP6703314B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Analysis (AREA)

Description

本発明は、イメージング（imaging）の分野、より詳細には、フォーカス検出に関する。
デジタルイメージングにおいては、物体にフォーカスする種々の方法がある。
しかしながら、実装においてはいくつかの難点があり、これらの改善が望まれている。
フォーカス検出は、画像の焦点が合っているか否かを決定する。フォーカス検出は、カメラのオートフォーカス性能を改善するのに用いることが可能である。１つの特徴だけを使用するフォーカス検出では、焦点が合っている画像と僅かに焦点がずれた画像とを識別するための十分な信頼性を与えることはできない。ここでは、鮮明さを評価するために使用された複数の特徴を組み合わせたフォーカス検出アルゴリズムについて説明する。焦点がずれた画像から焦点があった画像を隔てるためのフォーカス検出器を開発するために、焦点が合った画像及び焦点がずれた画像を伴う大きい画像データセットが使用される。鮮明さを評価しそして大きいぼやけ画像（blur images）を決定するために、反復ぼやけ推定（iterative blur estimation）、ＦＦＴリニアリティ、エッジ・パーセンテージ（edge percentage）、ウェーブレット・エネルギ比（wavelet energy ratio）、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比（Chebyshev moment ratio）、色収差特徴（chromatic aberration features）といった多くの特徴を使用することが可能である。
一つの観点において、デバイスの非一時的記憶媒体にプログラムされた方法は、デバイスの非一時的記憶媒体にプログラムされた方法であって、１又は複数の画像を含むコンテンツを取得する段階、前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、大きいぼやけ画像を除去する段階、そして、残りの小さいぼやけ画像の焦点の合った画像を決定する段階、を含む。前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている。前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む。前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む。残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する。前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、携帯型コンピュータ、パーソナルデジタルアシスタンス、セルラー／携帯電話、スマートフォン、スマート家電、ゲーム用コンソール、デジタルカメラ、デジタルカムコーダ、カメラ電話、携帯音楽プレーヤ、タブレットコンピュータ、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、テレビ、ホームエンタテインメントシステムからなる群から選択されたものである。
別の観点では、カメラデバイスの非一時的記憶媒体にプログラムされたシステムは、１又は複数の画像を含むコンテンツを光景から取得するよう構成されたセンサと、前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、大きいぼやけ画像を除去する段階、残りの小さいぼやけ画像の焦点の合った画像を決定する段階、を実行するコンピューティングモジュールと、を含む。前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている。前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む。前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む。残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する。
別の観点では、カメラデバイスは、１又は複数の画像を含むコンテンツを光景から取得するセンサと、前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、大きいぼやけ画像を除去する段階、残りの小さいぼやけ画像の焦点の合った画像を決定する段階を実行するアプリケーションを記憶するためのメモリと、前記アプリケーションを処理するプロセッサと、を含む。前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている。前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む。前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む。前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む。残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する。
別の観点では、デバイスの非一時的記憶媒体にプログラムされた方法は、前記デバイスを用いて一連の画像を取得する段階と、チェビシェフ・モーメント比を用いて、前記一連の画像を使って深度マップを生成する段階と、を含む。前記一連の画像の各画像は、異なるレンズ設定で撮られたものである。前記一連の画像の各画像は、小さい複数のブロックに分けられ、焦点が合ったレンズ位置によって各ブロックの深度を表す。前記チェビシェフ・モーメント比は、前記一連の画像の中から最も鮮明な画像を見出すためのフォーカス測定として用いられる。前記深度マップを生成する段階は、最初に低解像度の滑らかな深度マップを生成し、次に前記低解像度の滑らかな深度マップを順次高い解像度の深度マップにリファインすることを含み、ここで粗いレベルにおいては、チェビシェフ・モーメント比の妥当性を確実にするために、ブロックサイズはテクスチャを含むよう十分に大きく、大きい画像ブロックは、各ブロックにおけるオブジェクトが同じ深度となるまで、連続的により小さいブロックに分割される。前記方法は、さらに、一連の画像のチェビシェフモーメント比の曲線形状を調べる段階と、チェビシェフモーメント比の曲線が複数の局所最大値を有し、それらの中に突出したものがないようにすべの局所最大値が大きい場合は、チェビシェフモーメント比を比較することによって見出された焦点合わせされた画像は信頼できないと決定され、ある画像の断片に対するチェビシェフモーメント比が妥当でないと決定された場合は、低いレベルからの結果が、信頼できないとされた結果に置き換えられて用いられる段階と、を含む。
いくつかの実施形態に従った、大きいぼやけ画像を決定するブロックズである。 いくつかの実施形態に従った、小さいぼやけ画像のチャートとＤＯＦに対する頻度を示した図である。 いくつかの実施形態に従った、反復畳み込みを使用するチャート及び色収差を示した図である。 いくつかの実施形態に従った、多変数ガウス分布を用いてモデル化した色収差を伴う多次元特徴からの焦点の合った画像サンプルのチャートである。 いくつかの実施形態に従った、ウェーブレット・エネルギ比に対する画像の頻度のチャートである。 いくつかの実施形態に従った、ウェーブレット変換計算のためのブロックの図である。 いくつかの実施形態に従った、ウェーブレット・エネルギ比の応用の一例を示す図である。 いくつかの実施形態に従った、色収差の一例を示す図である。 いくつかの実施形態に従った、別の色収差とぼかした例を示す図である。 いくつかの実施形態に従った、フレームワーク内の赤チャネルでのウェーブレット・エネルギ比の応用の例を示した図である。 いくつかの実施形態に従った、赤チャネルと緑チャネルの間の鮮明さの違いの例を示した図である。 いくつかの実施形態に従った、単一画像のフォーカスを決定する方法のフローチャートである。 いくつかの実施形態に従った、焦点が合った画像と焦点がずれた画像のグラフを示す。 いくつかの実施形態に従った、スペクトルの線形性の例を示している。 いくつかの実施形態に従った、線形回帰勾配及びスペクトル線形性と線形回帰勾配との組み合わせのグラフを示している。 いくつかの実施形態に従った、典型的な深度を示している。 いくつかの実施形態に従った、ぼやけのレベルが変化する画像の例を示している。 いくつかの実施形態に従った、チャビシャフ・モーメント比の図を示している。 いくつかの実施形態に従った、チャビシャフ・モーメント比を計算する図を示している。 いくつかの実施形態に従った、ブロックをより小さいブロックに分割する図を示している。 いくつかの実施形態に従った、複数の深度の例を示している。 いくつかの実施形態に従った、チャビシャフ・モーメント比のグラフを示している。 いくつかの実施形態に従った、異なるレベルの深度マップの図を示している。 いくつかの実施形態に従った、フォーカス検出方法のフローチャートを示している。 いくつかの実施形態に従った、フォーカス検出方法を実装するよう構成された典型的なコンピューティングデバイスのブロック図を示している。
フォーカス検出は、画像の焦点が合っているか否かを決定するものである。フォーカス検出は、カメラのオートフォーカス性能を改善するのに使用することができる。１つの特徴だけを使用するフォーカス検出では、焦点が合っている画像と僅かに焦点がずれた画像とを識別するための十分な信頼性を与えることはできない。ここでは、鮮明さを評価するために使用される複数の特徴を組み合わせたフォーカス検出アルゴリズムについて説明する。焦点がずれた画像から焦点があった画像を分けるためのフォーカス検出器を開発するために、焦点が合った画像及び焦点がずれた画像を伴う大きい画像データセットが使用される。
フォーカス検出のトレーニング方法には、焦点の合った画像及び焦点のずれた画像の画像サンプルを収集すること、各特徴出力に対し閾値を適用することによって「大きいぼやけ」画像を除去し、第２ステップで残りの「小さいぼやけ」画像から焦点の合った画像を検出する。
「大きいぼやけ」画像とは、焦点の合った画像からかけ離れた（例えば、１０被写界深度（ＤＯＦ）離れている）画像である。大きいぼやけを検出する目的は、残りの小さいぼやけ画像が統計モデルに従うように、大きいぼやけを除去することである。
図１は、いくつかの実施形態に従った、大きいぼやけ画像を決定するブロック図を示している。反復ぼやけ推定（iterative blur estimation）、ＦＦＴリニアリティ、エッジ・パーセンテージ（edge percentage）、ウェーブレット・エネルギ比（wavelet energy ratio）、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比（Chebyshev moment ratio）、色収差（chromatic aberration）といった多くの特徴を、鮮明さを評価するために、及び大きいぼやけ画像を決定するために用いることができる。ここで、反復ぼやけ推定については、２０１５年月２１日提出の「Defocus Estimation for Single Image Based on Laplacian of Gaussian Approximation」と題された米国特許出願番号１４／８３２，７８１において説明されており、参照によりその全体がここに組み込まれているものとする。
図２は、いくつかの実施形態に従った、小さいぼやけ画像のチャートとＤＯＦに対する頻度を示している。図３は、いくつかの実施形態に従った、反復畳み込みを使用するチャート及び色収差を示している。ＲとＧの間のほとんどの差の値は、０及び１である。
統計モデルにおいて、小さいぼやけ画像の組が、反復数の差の値（０及び１）のそれぞれに対して定義される。定義された画像の組のそれぞれに対して、５つの色収差特徴を伴うガウスモデルが形成される。この５つの色収差特徴は、スペクトルの線形性、スペクトルの勾配、ウェーブレット・エネルギ比、局所コントラスト、及び、ウェーブレットに基づく色収差である。
平均及び共分散マトリクス
５次元多変数ガウス分布
反復数の差＝０を伴う焦点の合った画像に対して
反復数の差＝１を伴う焦点の合った画像に対して
多変数ガウスモデル
ガウス分布：
ここで、
である。ｃ（Ｘ）は、ガウス分布の中央への距離を見積もり、組み合わされた色彩の特徴として使用することができる。同じ楕円において、ｃ（Ｘ）は定数値を有する。より小さい楕円では、ｃ（Ｘ）は小さくなる。図４は、いくつかの実施形態に従った、多変数ガウス分布を用いてモデル化した色収差を伴う多次元特徴からの焦点の合った画像のサンプルのグラフである。
非色彩特徴
以下の特徴、すなわち、スペクトルの線形性、スペクトルの勾配、エネルギパーセンテージ、及び、ウェーブレット・エネルギ比のそれぞれに対する焦点の合った画像は、ガウス分布を用いてモデル化することができる。スペクトルの線形性を除いて、より小さい値が焦点の合った状態に近くなるように、これらの特徴の符号は反転される。いくつかの実施形態に従った、ウェーブレット・エネルギ比に対する画像の頻度のチャートを示している。
非色彩特徴の線形結合
反復数の差＝０を伴う焦点の合った画像に対して
反復数の差＝１を伴う焦点の合った画像に対して
反復数の差、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴に対して閾値が設定される。
色収差を用いた単一写真カメラの焦点検出の方法
デジタルカメラでは、オートフォーカス時には、フォーカス窓における被写体に焦点があっているかどうかを評価することがしばしば重要である。典型的には、異なるレンズ位置において複数の画像が取られ、これら複数の画像の間で鮮明さ又はコントラストを比較して被写体に焦点が合っているかどうかを決定する。ここで説明されるように、焦点は、単一の画像によって決定される。任意のデジタルカメラのすべてのレンズに存在する色収差の大きさを用いて、被写体に焦点が合っているかを決定する。
画像の各ウェーブレットのサブバンドにおけるエネルギに基づく鮮明さの測定が決定される。３つの色チャネル（赤、緑、青）のそれぞれに対する鮮明さが計算される。色収差によって、赤、緑、青のチャネルの鮮明さは、焦点面のいずれかの側において異なる。例えば、赤チャネルは、焦点面の１つの側において常に緑チャネルよりも鮮明であるが、他方の側ではより不鮮明である。しかし焦点面において、異なるチャネルにおける鮮明さの差は最小である。色チャネルの間における鮮明さの差を計算することによって、焦点が合った画像と焦点が合っていない画像とを区別することが可能である。
ぼやけ／鮮明さの計量（metric）は、画像のコンテンツ及びエッジのタイプによって大きく変化する。しかし、２つ色チャネルの間の差の変化は、より小さい。このため、色チャネルの間において強い相関が存在する。例えば、赤チャネルが階段状のエッジだとしたらち、緑チャネルも階段状のエッジである可能性が高い。赤チャネルがテクスチャであるとると、緑チャネルもテクスチャである可能性が高い。階段状のエッジ及びテクスチャ画像の不鮮明さの計量は大きく異なる可能性があるが、階段状のエッジ及びテクスチャ画像の赤チャネルと緑チャネルの間の不鮮明さの計量の差は、大きく異ならない。
入力画像が取得され、そのＬレベルのウェーブレット変換Ｗが計算される。Ｗl,h（ｉ，ｊ）を用いて、レベルｌ、ピクセル位置における水平バンドウェーブレット係数を表す。同様に、Ｗl,v（ｉ，ｊ）を用いて、垂直バンドウェーブレット係数を表し、Ｗl,d（ｉ，ｊ）を用いて、対角バンドウェーブレット係数を表す。また、ｌ＝１は、最も精細なレベルを表し、ｌ＝Ｌは最も粗いレベルを表すのに用いる。以下のウェーブレット・エネルギ比が計算される。
ここで、ｓは、鮮明さ／ぼやけの目安である。ｓが小さいと画像が鮮明あるいは焦点位置に近いことを意味する。ウェーブレット・エネルギ比は、すべてのウェーブレットの詳細な係数のエネルギの合計と、最も精細なレベルのウェーブレットの詳細な係数のエネルギの合計との比である。焦点が合った位置では、高い周波数のバンド（最も精細なレベル）におけるエネルギが大きいパーセンテージを占める。しかし、焦点が合っていない位置では、高い周波数のバンドにおけるエネルギが占めるパーセンテージは小さい。図６は、いくつかの実施形態に従った、ウェーブレット変換の計算に対するブロックの図を示している。
図７は、いくつかの実施形態に従った、ウェーブレット・エネルギ比の応用の一例を示している。この図から分かるように、焦点が合った位置における鮮明さの値は、画像に対して非常に異なっている。
図８は、いくつかの実施形態に従った、色収差の一例を示している。レンズの色収差は、赤チャネルと緑チャネルの鮮明さに違いを生じさせる。左側の画像は、緑色を帯びたエッジを伴う焦点の後ろ側のオブジェクトを示している。右側の画像は、赤みを帯びたエッジを伴う焦点の前におけるオブジェクトを示している。中央の画像は焦点が合っている。図９は、いくつかの実施形態に従った、別の色収差とぼかした例を示している。
色収差を用いたフォーカス検出には、緑チャネル及び赤チャネルの鮮明さの間における絶対差を計算することが含まれる。この差は、焦点を決定するのに用いることができる。この差が小さければ（絶対値で）、焦点に近いことを示す。
図１０は、いくつかの実施形態に従った、フレームワーク内の赤チャネルでのウェーブレット・エネルギ比の応用の例を示した図である。１つの光景における焦点の合った状態で、別の光景における焦点のあっていない状態で、同じウェーブレット・エネルギ比が考慮される。この例は、画像のコンテンツによって鮮明さ／ぼやけの計量の大きい変化を示している。
図１１は、いくつかの実施形態に従った、赤チャネルと緑チャネルの間の鮮明さの違いの例を示している。鮮明さにおける違いを焦点の測定として用いることで、光景の変化を大きく低減する。
図１２は、いくつかの実施形態に従った、単一画像のフォーカスを決定する方法のフローチャートを示している。ステップ１２００において、画像を取得する。ステップ１２０２において、その画像の赤チャネルに対してウェーブレット・エネルギ比を計算する。ステップ１２０４において、その画像の緑チャネルに対してウェーブレット・エネルギ比を計算する。ステップ１２０６において、ウェーブレット・エネルギ比の差を計算する。ステップ１２０８において、この差を閾値と比較する。もしこの差が閾値よりも高ければ、画像は焦点が合っておらず、もし小沼さが閾値と等しいか低ければ、画像の焦点は合っている。この閾値は、経験的に決定された閾値や、異なるそれぞれのカメラ、レンズ、アパチャ、及びズーム設定に対してマ光景ラーニングを用いて訓練された閾値など、どのような閾値でもよい。
パワースペクトルを用いたフォーカス検出
自然な画像は、フラクタルから作られていると考えられる。画像のパワースペクトルは、１／ｆ2に従って減少する。図１３は、いくつかの実施形態に従った、焦点が合った画像と焦点がずれた画像のグラフを示している。
パワースペクトルを用いてフォーカス検出を実行するために、以下のステップが実行される。焦点領域の高速フーリエ変換（ＦＦＴ）を行う。周波数０の周囲のＦＦＴ係数の大きさの放射状（radial）平均をとる。画像の焦点が合った場合に曲線が線形となるように、大きさと周波数両方の対数をとる。線形回帰を計算する。線形性を測定するために線形回帰の結果とＦＦＴ係数の曲線の間の誤差を計算する。線形性誤差と、線形回帰の結果の勾配との線形結合を用いてフォーカス検出を行う。図１４は、いくつかの実施形態に従った、スペクトルの線形性の例を示している。
いくつかの実施形態において、線形性誤差だけではフォーカス検出には十分ではない。いくつかの焦点が合っていない画像に対し、焦点の合った画像よりもスペクトルがより線形となる。この原因は、ぼやけがガウス型ではなく画像内に強い周期性のパターンがあったためと考えられる。この問題を解決するために、修正したフォーカス検出機能が用いられる。
スペクトル値は、焦点が合っていない画像に対してはより早く低下するので、線形回帰の勾配を、スペクトルの線形性と組み合わせてフォーカス検出に用いることができる。スペクトル線形性と線形回帰の勾配の線形結合を、フォーカス検出機能として用いることができる。焦点が合った画像及び焦点の合っていない画像を含む大きい画像データセットを結合係数を最適化するのに用いて、焦点の合った画像と焦点の合っていない画像を最大限に分離することができる。図１５は、いくつかの実施形態に従った、線形回帰勾配及びスペクトル線形性と線形回帰勾配との組み合わせのグラフを示している。
チェビシェフモーメントを用いた粗−精細深度マップの構成方法
ここで説明する方法は、異なるレンズ設定を有するＤＳＣカメラで撮られた一連の画像から深度マップを構成することを目標とする。異なるレンズ位置においてはイメージセンサ上に投影される光景は程度の異なるぼやけを示し、１つだけのレンズ位置において焦点の合った光景を正確にキャプチャすることができる。したがって、レンズ位置を光景の深度の測定として用いることが可能である。複雑な光景の深度情報を説明するために、画像を小さい複数のブロックに分割することができ、各ブロックの深度をその焦点が合ったレンズ位置によって表すことができる。チェビシェフモーメント比を、シーケンスの中で最も鮮明な画像を見出すための焦点の測定として用いる。チェビシェフモーメント比の測定は主として、焦点の合った画像を見出すためのテクスチャの周波数情報を用いる。このため、画像の断片にテクスチャが乏しい場合はこの曲線はノイズが多くなる。解像度が高くしかも滑らかな深度マップを構成するために、粗−精細スキームを開発した。これはまず低解像度で滑らかな深度マップを構成し、そしてこれを順次高い解像度にリファインする。粗いレベルでは、チェビシェフモーメント比の妥当性を確実にするために、ブロックサイズはいくらかのテクスチャを十分に含むように大きく設定される。しかしながら、大きいブロックサイズでは、単一のブロックが異なる深度で複数のオブジェクトを含む場合は、結果とし優勢なオブジェクトの深度が選ばれるため、正確さが失われる。大きいブロックは、各ブロックにおけるオブジェクトが同じ深度となるまで、連続的により小さいブロックに分割される。精細なレベルでは、焦点の測定が多くのノイズを含むように小さい断片がほとんどテクスチャを含まない場合は、その結果は信頼できないと考えられ、粗いレベルの結果が用いられる。
画像処理及びコンピュータビジョンの基本的な問題は、複雑な光景の深度情報を引き出すことである。カメラのオートフォーカスは、このような実際的な応用の一つである。
伝統的なコントラストをベースとするオートフォーカス方法も、ぼやけの程度が異なる一連の画像から最も鮮明な画像を見出すことを試みる。バリアンス、一階グラディエント、２階グラディエント、及び、周波数を含む異なる焦点の測定が用いられてきた。しかし、これらの方法は、画像がテクスチャをほとんど含まない場合に結果が多くのノイズを含むことになるという信頼性の高い判断を通常行っていない。
ここで説明するように、最も鮮明な画像のブロックを見出した結果が正しいかどうかを決定するのに、信頼性の測定が用いられる。また、粗−精細スキームは、信頼できる結果が見出せない場合に滑らかさを保証するために用いられる。
新たな信頼性の測定の方法は、一連の画像のチェビシェフモーメント比の曲線形状を調べる。チェビシェフモーメント比の曲線が複数の局所最大値を有し、それらの中に１つ又は２つの突出したものがないようにすべての局所最大値が大きい場合は、チェビシェフモーメント比を比較することによって見出された焦点合わせされた画像は信頼できないと決定される。ある画像の断片に対するチェビシェフモーメント比が妥当でないと決定された場合は、低いレベルからの結果が、信頼できない結果に置き換えられて用いられる。粗−精細レベルアップ精細化スキームはまず、各ブロックがチェビシェフモーメント比が有効であるテクスチャを含むことを保証するために、画像を大きいブロックに分割し（又はまったく分割しない）、そして、結果が有効であれば深度値を更新するために、各ブロックがより小さいブロックに分割される。低い解像度深度マップにおける大きいブロックノは滑らかさを保証し、高い解像度における小さいブロックは正確性を高めるので、このスキームによればノイズの少ない高い解像度値マップをうまく生成することができる。
この方法は、１画像又は２画像オートフォーカス、３Ｄテレビ、又は任意の深度に関連したコンピュータビジョンのタスクといった種々の応用に対して、テストベンチ（test bench）の参照深度マップを構成するのに用いることができる。
深度マップは、光景の深度情報を表す方法であり、深度マップにおけるピクセルは３３Ｄ空間における物体の深度を表す。光景の深度を測定する一つの方法は、レンズ位置を用いることである。異なる複数のレンズ位置は、異なる深度において焦点が合う。深度マップは、異なる解像度となり得る。最も精細な解像度は、画像として同じ解像度である。粗い解像度は、小さい画像ブロックは同じ深度を有するとされ、深度マップにおけるそのブロック内のピクセルは同じ値を有することを意味する。
図１６は、いくつかの実施形態に従った典型的な深度を示している。図１７は、いくつかの実施形態に従った、ぼやけのレベルが変化する画像の例を示している。異なるカメラのレンズ設定で撮られた複数の画像はぼやけの程度が異なる。最も鮮明な画像（焦点が合った画像）は、ぼやけの程度を比較することによって決定することができ、このぼやけは深度を与える。図１８は、いくつかの実施形態に従った、チャビシャフ・モーメント比の図を示している。
チェビシェフモーメントは、画像とチェビシェフ多項式との間の相関性の測定である。チェビシェフモーメント比は、高次のモーメントを低次のモーメントで割ったものとして定義される。鮮明な画像は大きいチェビシェフモーメント比を有し、ぼやけた画像は小さいチェビシェフモーメント比を有する。ぼやけの程度が異なる一連の画像から、これらのチェビシェフモーメント比を比較することによって焦点があった画像を見出すことができる。ここで最も大きいチェビシェフモーメント比を有する画像は焦点があった画像である。
画像に異なる深度の複数のオブジェクトが含まれている場合には、特定のレンズ設定においては画像の一部のみに焦点を合わせることができる。画像全体に対し焦点の合ったレッズ設定を見出すために、画像を小さいブロックに分割し、各ブロックに対する適切なレッズ設定が見出される。小さいブロックそれぞれに対してチェビシェフモーメント比が計算され、最大のチェビシェフモーメント比を有するブロックが、焦点の合っているブロックであると判断される。図１９は、いくつかの実施形態に従った、チャビシャフ・モーメント比を計算する図を示している。
画像ブロックにテクスチャがほとんど含まれていない場合、チェビシェフモーメント比の曲線は滑らかでなく、複数の局所最大値を含んでいる可能性があり、この最大値は正しい焦点合わせを示していない可能性がある。そこで、すべてのブロックがテクスチャを含むことを保証するように画像をより大きいブロックに分割し、そしてより大きいブロックそれぞれをより小さいブロックに分割する。図２０は、いくつかの実施形態に従った、ブロックをより小さいブロックに分割する図を示している。
大きいブロックが異なる深度で複数のオブジェクトを含んでいるとき、最大のチェビシェフモーメント比だけが優勢な深度に対応し、深度マップの正確さを高めるために大きいブロックはより小さいブロックに分割される。図２１は、いくつかの実施形態に従った、複数の深度の例を示している。
図２２は、いくつかの実施形態に従った、チャビシャフ・モーメント比のグラフを示している。
場合によってはテクスチャの不足によって、最大チェビシェフモーメント比が正確な焦点のあったレンズ設定に対応していない場合がある。このような結果は無効と判断されるべきである。その判定基準には、チェビシェフモーメント比の曲線は、全体の最大値の４０％よりも大きい３つの局所最大値を含んではいけない、というのが含まれる。小さいブロックのチェビシェフモーメント比の曲線が無効と判断されたときは、より粗いレベルにおける局所最大値に置き換えられてこれが用いられる。複数の局所最大値が存在する場合は、現在のレベルにおける全体的な最大値に近いものが選ばれる。図２３は、いくつかの実施形態に従った、異なるレベルの深度マップの図を示している。
図２４は、いくつかの実施形態に従った、フォーカス検出方法のフローチャートを示している。ステップ２４００において、コンテンツが取得される。例えば１つ又は複数の画像がキャプチャされる。ステップ２４０２において、このコンテンツがここで説明された方法を用いて解析される。例えば、反復ぼやけ推定（iterative blur estimation）、ＦＦＴリニアリティ、エッジ・パーセンテージ（edge percentage）、ウェーブレット・エネルギ比（wavelet energy ratio）、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比（Chebyshev moment ratio）、色収差（chromatic aberration）といった特徴が、フォーカスの検出に用いられる。ある実施形態においては、より少ない又は追加のステップが実行され得る。ある実施形態においては、ステップの順序が変更され得る。
図２５は、いくつかの実施形態に従った、フォーカス検出方法を実装するよう構成された典型的なコンピューティングデバイスのブロック図を示している。コンピューティングデバイス２５００は、画像やビデオといった情報を取得し、記憶し、計算し、処理し、通信し、及び／又は、表示するのに使用することができる。一般に、コンピューティングデバイス２５００を実装するのに適したハードウェア構造には、ネットワークインタフェイス２５０２、メモリ２５０４、プロセッサ２５０６、Ｉ／Ｏデバイス２５０８、バス２５１０、そして記憶装置２５１２が含まれる。十分な速度を有する適切なプロセッサが選ばれる限りにおいて、プロセッサの選択は重要ではない。メモリ２５０４は、この分野で知られる一般的などのようなコンピュータ用のメモリとすることができる。記憶装置２５１２には、ハードディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−ＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカードその他任意の他の記憶手段が含まれ得る。コンピューティングデバイス２５００は、１つ又は複数のネットワークインタフェイス２５０２を含むことができる。ネットワークインタフェイスの例には、イーサネットに接続されたネットワークカード、又は、他のタイプのＬＡＮが含まれる。Ｉ／Ｏデバイス２５０８には、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス、及びその他の装置が含まれ得る。フォーカス検出方法を実行するフォーカス検出アプリケーション２５３０は、記憶装置２５１２及びメモリ２５０４に記憶されている場合が多く、アプリケーションが通常処理されるように処理される。図２５よりもより少ない又はより多くのコンポーネントをコンピューティングデバイス２５００に含めることができる。いくつかの実施形態では、フォーカス検出ハードウェア２５２０が含まれる。図２５におけるコンピューティングデバイス２５００にはフォーカス検出方法のためのアプリケーション２５３０及びハードウェア２５２０が含まれるが、フォーカス検出方法は、ハードウェア、ファームウェア、ソフトウェア又はこれらの任意の組み合わせにおいて実装することができる。例えばある実施形態では、フォーカス検出アプリケーション２５３０はメモリ内にプログラムされ、プロセッサを用いて実行される。別の例としていくつかの実施形態では、フォーカス検出ハードウェア２５２０は、フォーカス検出方法を実装するために特別に設計された複数のゲートを含むハードウェアロジックとしてプログラムされる。
いくつかの実施形態では、フォーカス検出方法のアプリケーション２５３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、同様にモジュールは、１つ又は複数のサブモジュールを含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。
適切なコンピューティングデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、携帯型コンピュータ、パーソナルデジタルアシスタンス、セルラー／携帯電話、スマート家電、ゲーム用コンソール、デジタルカメラ、デジタルカムコーダ、カメラ電話、スマートフォン、携帯音楽プレーヤ、タブレットコンピュータ、携帯デバイス、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（例えば、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、ウルトラ高精細ディスクライタ／プレーヤ）、テレビ、ホームエンタテインメントシステム、スマート装身具（例えば、スマートウォッチ）又は他の適切なコンピューティングデバイスが含まれる。
ここで説明したフォーカス検出方法を利用するのに、ビデオ／画像を取得するためにデジタルカメラなどのデバイスを用いることができる。このフォーカス検出方法は、オートフォーカスを実行するなどのために、取得されたデータを自動的に処理するために用いられる。このフォーカス検出方法は、ユーザを介さず自動的に実行させることができる。
動作において、ここで説明したフォーカス検出方法は、異なる光景に対して焦点合わせ測定の変動を大きく低減する。このフォーカス検出方法は、フォーカス測定と共に、そしてデジタルカメラ、カメラ電話、タブレット、スキャナー、及び任意の他のレンズを有する光学イメージングシステム上のオートフォーカスアプリケーションと共に用いることができる。
フォーカス検出のいくつかの実施形態
１． デバイスの非一時的記憶媒体にプログラムされた方法であって、
ａ．１又は複数の画像を含むコンテンツを取得する段階、
ｂ．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ｃ．大きいぼやけ画像を除去する段階、
ｄ．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を含む方法。
２． 前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、請求項１に記載の方法。
３． 前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、項目１に記載の方法。
４． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、項目１に記載の方法。
５． 前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、項目４に記載の方法。
６． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、項目１に記載の方法。
７． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、項目１に記載の方法。
８． 残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、項目１に記載の方法。
９． 前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、携帯型コンピュータ、パーソナルデジタルアシスタンス、セルラー／携帯電話、スマートフォン、スマート家電、ゲーム用コンソール、デジタルカメラ、デジタルカムコーダ、カメラ電話、携帯音楽プレーヤ、タブレットコンピュータ、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、テレビ、ホームエンタテインメントシステムからなる群から選択されたものである、項目１に記載の方法。
１０． カメラデバイスの非一時的記憶媒体にプログラムされたシステムであって、
ａ．１又は複数の画像を含むコンテンツを光景から取得するよう構成されたセンサと、
ｂ． i．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ii．大きいぼやけ画像を除去する段階、
iii．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を実行するコンピューティングモジュールと、
を含むシステム。
１１． 前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、項目１０に記載のシステム。
１２． 前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、項目１０に記載のシステム。
１３． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、項目１０に記載のシステム。
１４． 前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、項目１３に記載のシステム。
１５． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、項目１０に記載のシステム。
１６． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、項目１０に記載のシステム。
１７． 残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、項目１０に記載のシステム。
１８． カメラデバイスであって、
ａ．１又は複数の画像を含むコンテンツを光景から取得するセンサと、
ｂ． i．前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階、
ii．大きいぼやけ画像を除去する段階、
iii．残りの小さいぼやけ画像の焦点の合った画像を決定する段階、
を実行するアプリケーションを記憶するためのメモリと、
ｃ．前記アプリケーションを処理するプロセッサと、
を含むカメラデバイス。
１９． 前記大きいぼやけ画像は、当該大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、項目１９に記載のカメラデバイス。
２０． 前記大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、エッジ・パーセンテージ、ウェーブレット・エネルギ比、改善されたウェーブレット・エネルギ比、チャビシャフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、項目１８に記載のカメラデバイス。
２１． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、ウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、項目１８に記載のカメラデバイス。
２２． 前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、項目２１に記載のカメラデバイス。
２３． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、項目１８に記載のカメラデバイス。
２４． 前記コンテンツが大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、項目１６に記載のカメラデバイス。
２５． 残りの小さいぼやけ画像の焦点の合った画像を決定する段階は、反復数の差に対する閾値の組、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴を利用する、項目１８に記載のカメラデバイス。
２６． デバイスの非一時的記憶媒体にプログラムされた方法であって、
ａ．前記デバイスを用いて一連の画像を取得する段階と、
ｂ．チェビシェフ・モーメント比を用いて、前記一連の画像を使って深度マップを生成する段階と、
を含む方法。
２７． 前記一連の画像の各画像は、異なるレンズ設定で撮られたものである、項目２６に記載の方法。
２８． 前記一連の画像の各画像は、小さい複数のブロックに分けられ、焦点が合ったレンズ位置によって各ブロックの深度を表す、項目２６に記載の方法。
２９． 前記チェビシェフ・モーメント比は、前記一連の画像の中から最も鮮明な画像を見出すためのフォーカス測定として用いられる、項目２６に記載の方法。
３０． 前記深度マップを生成する段階は、最初に低解像度の滑らかな深度マップを生成し、次に前記低解像度の滑らかな深度マップを順次高い解像度の深度マップにリファインすることを含み、ここで粗いレベルにおいては、チェビシェフ・モーメント比の妥当性を確実にするために、ブロックサイズはテクスチャを含むよう十分に大きく、大きい画像ブロックは、各ブロックにおけるオブジェクトが同じ深度となるまで、連続的により小さいブロックに分割される、項目２９に記載の方法。
３１． 一連の画像のチェビシェフモーメント比の曲線形状を調べる段階と、チェビシェフモーメント比の曲線が複数の局所最大値を有し、それらの中に突出したものがないようにすべの局所最大値が大きい場合は、チェビシェフモーメント比を比較することによって見出された焦点合わせされた画像は信頼できないと決定され、ある画像の断片に対するチェビシェフモーメント比が妥当でないと決定された場合は、低いレベルからの結果が、信頼できないとされた結果に置き換えられて用いられる段階と、を含む項目３０に記載の方法。
発明の構成及び動作の原理の理解を促進するために、詳細な特定の実施形態によって本発明を説明してきた。このように特定の実施形態及び詳細について言及したことは、特許請求の範囲に記載した発明の範囲を限定することを意図するものではない。当業者であれば、説明のために選ばれた実施形態においても、特許請求の範囲によって定義される思想及び範囲から逸脱することなく、他の種々の変形及び修正があり得ることを理解するだろう。
２５００ コンピューティングデバイス
２５０２ ネットワークインタフェイス
２５０４ メモリ
２５０６ プロセッサ
２５０８ Ｉ／Ｏデバイス
２５１０ バス
２５１２ 記憶装置

Claims (22)

  1. デバイスの非一時的記憶媒体に格納されたプログラムによって前記デバイスが実行する方法であって、
    ａ．１又は複数の画像を含むコンテンツであって、少なくとも１つの小さいぼやけ画像を含むコンテンツを取得する段階、
    ｂ．前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階、
    ｃ．前記１又は複数の大きいぼやけ画像を含むと決定されたときに前記１又は複数の大きいぼやけ画像を除去する段階、
    ｄ．反復数の差、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴に対する閾値を利用して、前記１又は複数の大きいぼやけ画像のない残りの小さいぼやけ画像であって焦点の合った画像を決定する段階、
    を含む方法。
  2. 前記１又は複数の大きいぼやけ画像は、当該１又は複数の大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、請求項１に記載の方法。
  3. 前記１又は複数の大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、ウェーブレット・エネルギ比、チェビシェフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、請求項１に記載の方法。
  4. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、前記第１のチャネルに対するウェーブレット・エネルギ比と前記第２のチャネルに対するウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、請求項１に記載の方法。
  5. 前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、請求項４に記載の方法。
  6. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、請求項１に記載の方法。
  7. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、請求項１に記載の方法。
  8. 前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、携帯型コンピュータ、パーソナルデジタルアシスタンス、セルラー／携帯電話、スマートフォン、スマート家電、ゲーム用コンソール、デジタルカメラ、デジタルカムコーダ、カメラ電話、携帯音楽プレーヤ、タブレットコンピュータ、ビデオプレーヤ、ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、テレビ、ホームエンタテインメントシステムからなる群から選択されたものである、請求項１に記載の方法。
  9. システムであって、
    ａ．１又は複数の画像を含むコンテンツであって、少なくとも１つの小さいぼやけ画像を含むコンテンツを光景から取得するよう構成されたセンサと、
    ｂ． i．前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階、
    ii．前記１又は複数の大きいぼやけ画像を含むと決定されたときに前記１又は複数の大きいぼやけ画像を除去する段階、
    iii．反復数の差、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴に対する閾値を利用して、前記１又は複数の大きいぼやけ画像のない残りの小さいぼやけ画像であって焦点の合った画像を決定する段階、
    を実行するコンピューティングモジュールと、
    を含むシステム。
  10. 前記１又は複数の大きいぼやけ画像は、当該１又は複数の大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、請求項９に記載のシステム。
  11. 前記１又は複数の大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、ウェーブレット・エネルギ比、チェビシェフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、請求項９に記載のシステム。
  12. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、前記第１のチャネルに対するウェーブレット・エネルギ比と前記第２のチャネルに対するウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、請求項９に記載のシステム。
  13. 前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、請求項１２に記載のシステム。
  14. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、請求項９に記載のシステム。
  15. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、請求項９に記載のシステム。
  16. カメラデバイスであって、
    ａ．１又は複数の画像を含むコンテンツであって、少なくとも１つの小さいぼやけ画像を含むコンテンツを光景から取得するセンサと、
    ｂ． i．前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階、
    ii．前記１又は複数の大きいぼやけ画像を含むと決定されたときに前記１又は複数の大きいぼやけ画像を除去する段階、
    iii．反復数の差、組み合わされた色彩の特徴、及び、組み合わされた非色彩の特徴に対する閾値を利用して、前記１又は複数の大きいぼやけ画像のない残りの小さいぼやけ画像であって焦点の合った画像を決定する段階、
    を実行するアプリケーションを記憶するためのメモリと、
    ｃ．前記アプリケーションを処理するプロセッサと、
    を含むカメラデバイス。
  17. 前記１又は複数の大きいぼやけ画像は、当該１又は複数の大きいぼやけ画像が少なくとも１０被写界深度離れるように焦点の合った画像から離れている、請求項１６に記載のカメラデバイス。
  18. 前記１又は複数の大きいぼやけ画像は、反復ぼやけ推定、ＦＦＴリニアリティ、ウェーブレット・エネルギ比、チェビシェフ・モーメント比、及び、色収差特徴から選択された基準を用いて決定される、請求項１６に記載のカメラデバイス。
  19. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、１又は複数の画像の第１のチャネルに対しウェーブレット・エネルギ比を計算すること、１又は複数の画像の第２のチャネルに対しウェーブレット・エネルギ比を計算すること、前記第１のチャネルに対するウェーブレット・エネルギ比と前記第２のチャネルに対するウェーブレット・エネルギ比の差を計算すること、そして、その差を閾値と比較することを含む、色収差特徴を利用する段階を含む、請求項１６に記載のカメラデバイス。
  20. 前記差が前記閾値よりも下の場合は前記１又は複数の画像は焦点が合っている、請求項１９に記載のカメラデバイス。
  21. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、領域の高速フーリエ変換を計算すること、周波数０の周囲の高速フーリエ変換係数の大きさの放射状（radial）平均を計算すること、大きさと周波数の対数を計算すること、線形回帰を計算すること、線形性を測定するために線形回帰の結果と高速フーリエ変換係数の曲線の間の誤差を計算すること、及び、フォーカス検出のために前記線形性の誤差を線形回帰の勾配と組み合わせること、を含む、請求項１６に記載のカメラデバイス。
  22. 前記コンテンツが１又は複数の大きいぼやけ画像を含むかどうかを決定する段階は、チェビシェフ・モーメント比を計算することを含む、請求項１６に記載のカメラデバイス。
JP2018532097A 2015-12-18 2016-12-12 フォーカス検出 Active JP6703314B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/975,315 2015-12-18
US14/975,315 US9715721B2 (en) 2015-12-18 2015-12-18 Focus detection
PCT/US2016/066113 WO2017106084A1 (en) 2015-12-18 2016-12-12 Focus detection

Publications (2)

Publication Number Publication Date
JP2019508921A JP2019508921A (ja) 2019-03-28
JP6703314B2 true JP6703314B2 (ja) 2020-06-03

Family

ID=59057456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018532097A Active JP6703314B2 (ja) 2015-12-18 2016-12-12 フォーカス検出

Country Status (6)

Country Link
US (1) US9715721B2 (ja)
EP (1) EP3371741B1 (ja)
JP (1) JP6703314B2 (ja)
KR (1) KR102038789B1 (ja)
CN (1) CN108369649B (ja)
WO (1) WO2017106084A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646225B2 (en) * 2015-08-21 2017-05-09 Sony Corporation Defocus estimation from single image based on Laplacian of Gaussian approximation
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US11636577B2 (en) 2019-06-27 2023-04-25 Samsung Electronics Co., Ltd. Method and apparatus with blur estimation
CN110455258B (zh) * 2019-09-01 2021-08-10 中国电子科技集团公司第二十研究所 一种基于单目视觉的无人机离地高度测量方法
CN113132620B (zh) * 2019-12-31 2022-10-11 华为技术有限公司 一种图像拍摄方法及相关装置
CN113766193A (zh) * 2020-06-02 2021-12-07 深圳光峰科技股份有限公司 一种投影装置及其自动对焦方法
WO2024106746A1 (ko) * 2022-11-18 2024-05-23 삼성전자주식회사 디지털 보케 이미지의 해상도를 높이기 위한 전자 장치 및 방법

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475429A (en) * 1991-07-25 1995-12-12 Olympus Optical Co., Ltd. In-focus sensing device for sensing an in-focus condition using a ratio of frequency components at different positions
EP1300713A3 (en) 1995-11-30 2004-11-03 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
US6753919B1 (en) * 1998-11-25 2004-06-22 Iridian Technologies, Inc. Fast focus assessment system and method for imaging
ATE330244T1 (de) 2001-02-02 2006-07-15 Cellomics Inc Verfahren zur schätzung der besten anfangsfokussierung
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US6548800B2 (en) * 2001-04-09 2003-04-15 Microsoft Corporation Image blur detection methods and arrangements
JP4528116B2 (ja) 2002-06-25 2010-08-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 分散環境中でアプリケーションの性能を監視するための方法およびシステム
US7181082B2 (en) * 2002-12-18 2007-02-20 Sharp Laboratories Of America, Inc. Blur detection system
WO2004086972A2 (en) 2003-03-25 2004-10-14 Imaging Therapeutics, Inc. Methods for the compensation of imaging technique in the processing of radiographic images
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
US7764844B2 (en) * 2004-09-10 2010-07-27 Eastman Kodak Company Determining sharpness predictors for a digital image
JP2006140594A (ja) * 2004-11-10 2006-06-01 Pentax Corp デジタルカメラ
US7668388B2 (en) * 2005-03-03 2010-02-23 Mitutoyo Corporation System and method for single image focus assessment
CN102984448B (zh) 2005-03-07 2016-05-25 德克索实验室 利用颜色数字图像对动作如锐度修改进行控制的方法
US20070165961A1 (en) * 2006-01-13 2007-07-19 Juwei Lu Method And Apparatus For Reducing Motion Blur In An Image
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
JP5012236B2 (ja) * 2007-06-12 2012-08-29 株式会社ニコン デジタルカメラ
JP5554776B2 (ja) * 2008-05-30 2014-07-23 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション １以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法
CN101751664B (zh) * 2008-12-02 2013-04-17 奇景光电股份有限公司 立体深度资讯的产生系统及产生方法
US8928763B2 (en) 2008-12-09 2015-01-06 Abbyy Development Llc Detecting and correcting blur and defocusing
JP5136474B2 (ja) * 2009-03-13 2013-02-06 ソニー株式会社 画像処理装置および方法、学習装置および方法、並びに、プログラム
US8294811B2 (en) * 2009-08-04 2012-10-23 Aptina Imaging Corporation Auto-focusing techniques based on statistical blur estimation and associated systems and methods
FR2949003B1 (fr) 2009-08-10 2017-09-08 Dxo Labs Systeme et procede de capture d'images avec deux modes de fonctionnement
EP2467060A2 (en) 2009-08-18 2012-06-27 Ben Gurion University Of The Negev Research And Development Authority System and method for analyzing imaging data
US8373789B2 (en) 2010-02-18 2013-02-12 Ju Jin Auto focus system and auto focus method
US8688616B2 (en) 2010-06-14 2014-04-01 Blue Prism Technologies Pte. Ltd. High-dimensional data analysis
EP2448246B1 (en) 2010-10-28 2019-10-09 Axis AB Method for focusing
US9297995B2 (en) * 2011-02-11 2016-03-29 University Of South Florida Automatic stereological analysis of biological tissue including section thickness determination
IL218588A (en) 2011-03-23 2015-09-24 Asml Netherlands Bv A method and system for calculating the electromagnetic scattering properties of a structure and for reconstructing approximate structures
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US8340456B1 (en) 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
US9117277B2 (en) 2012-04-04 2015-08-25 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US8922662B1 (en) * 2012-07-25 2014-12-30 Amazon Technologies, Inc. Dynamic image selection
JP6204644B2 (ja) * 2012-08-15 2017-09-27 キヤノン株式会社 撮像装置およびその制御方法
US9066002B2 (en) * 2012-08-29 2015-06-23 Sony Corporation System and method for utilizing enhanced scene detection in a depth estimation procedure
US20140132822A1 (en) * 2012-11-14 2014-05-15 Sony Corporation Multi-resolution depth-from-defocus-based autofocus
US9357123B1 (en) * 2014-12-23 2016-05-31 Adobe Systems Incorporated Image defocus blur estimation
US9723197B2 (en) * 2015-03-31 2017-08-01 Sony Corporation Depth estimation from image defocus using multiple resolution Gaussian difference
US10194072B2 (en) * 2015-06-08 2019-01-29 Motorola Solutions, Inc Method and apparatus for remote detection of focus hunt

Also Published As

Publication number Publication date
US9715721B2 (en) 2017-07-25
EP3371741A4 (en) 2019-06-26
US20170178296A1 (en) 2017-06-22
CN108369649A (zh) 2018-08-03
CN108369649B (zh) 2021-11-12
KR102038789B1 (ko) 2019-10-30
JP2019508921A (ja) 2019-03-28
WO2017106084A1 (en) 2017-06-22
KR20180084858A (ko) 2018-07-25
EP3371741A1 (en) 2018-09-12
EP3371741B1 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
JP6703314B2 (ja) フォーカス検出
US10346997B2 (en) Depth estimation method based on light-field data distribution
Alireza Golestaneh et al. Spatially-varying blur detection based on multiscale fused and sorted transform coefficients of gradient magnitudes
EP3158532B1 (en) Local adaptive histogram equalization
US8379120B2 (en) Image deblurring using a combined differential image
KR101429371B1 (ko) 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘
RU2538941C1 (ru) Улучшения качества распознавания за счет повышения разрешения изображений
US7522782B2 (en) Digital image denoising
US10567635B2 (en) Three dimensional moving pictures with a single imager and microfluidic lens
Cao et al. Digital multi-focusing from a single photograph taken with an uncalibrated conventional camera
Alam et al. Space-variant blur kernel estimation and image deblurring through kernel clustering
US9646225B2 (en) Defocus estimation from single image based on Laplacian of Gaussian approximation
KR20170101532A (ko) 이미지 융합 방법 및 이를 위한 컴퓨터 프로그램, 그 기록매체
Kornilova et al. Deep learning framework for mobile microscopy
Lin et al. Defocus blur parameters identification by histogram matching
Kwon et al. All-in-focus imaging using average filter-based relative focus measure
McCloskey et al. Removing partial occlusion from blurred thin occluders
Xu et al. Removing out-of-focus blur from a single image
CN105678761B (zh) 一种基于方向极值的噪声图像的散焦图估计方法
WO2023160645A1 (zh) 图像增强方法及设备
Chopra et al. Low light GAN-based photo enhancement
WO2022213372A1 (zh) 图像去雾方法、装置、电子设备和计算机可读介质
Harale Analysis of Image Deblurring Techniques with Variations in Gaussian Noise and Regularization factor
Sumali et al. Blind image restoration method by PCA-based subspace generation
WO2022245234A1 (en) Determining depth maps from images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200421

R151 Written notification of patent or utility model registration

Ref document number: 6703314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151