JP5273408B2 - 2写真照合に基づく奥行き推定のための4次元多項式モデル - Google Patents

2写真照合に基づく奥行き推定のための4次元多項式モデル Download PDF

Info

Publication number
JP5273408B2
JP5273408B2 JP2011087956A JP2011087956A JP5273408B2 JP 5273408 B2 JP5273408 B2 JP 5273408B2 JP 2011087956 A JP2011087956 A JP 2011087956A JP 2011087956 A JP2011087956 A JP 2011087956A JP 5273408 B2 JP5273408 B2 JP 5273408B2
Authority
JP
Japan
Prior art keywords
image
focus
camera
characterized
apparatus according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011087956A
Other languages
English (en)
Other versions
JP2011221535A (ja
Inventor
リ ピンシャン
ウォン アール
健輔 宮城
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US12/759,041 priority Critical patent/US8045046B1/en
Priority to US12/759,041 priority
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of JP2011221535A publication Critical patent/JP2011221535A/ja
Application granted granted Critical
Publication of JP5273408B2 publication Critical patent/JP5273408B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23212Focusing based on image signals provided by the electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23251Motion detection
    • H04N5/23254Motion detection based on the image signal

Description

〔関連出願との相互参照〕
該当なし

〔連邦政府が支援する研究又は開発に関する記述〕
該当なし

〔コンパクトディスクで提出された資料の引用による組み入れ〕
該当なし

〔著作権保護を受ける資料の通知〕
本特許文献中の資料の一部は、アメリカ合衆国及びその他の国の著作権法に従って著作権保護を受ける。著作権の権利所有者は、合衆国特許商標庁の一般公開ファイル又は記録内に表されるとおりに特許文献又は特許開示を第三者が複製することには異議を唱えないが、それ以外は全ての著作権を留保する。著作権所有者は、米国特許法施行規則§1.14に従う権利を無制限に含み、この特許文献を秘密裏に保持しておく諸権利のいずれも放棄するものではない。

本発明は、一般にカメラの奥行き推定(depth estimation)に関し、より具体的には写真照合を使用した奥行き推定に関する。

最も望ましい結果を得るためには、画像の取り込み時にカメラの焦点を正しく合わせなければならない。正しいカメラの焦点を推定し、及び/又は実現するための数多くのシステムが開発されてきた。以下、典型的なカメラレンズシステム内の要素及びこれらに関連する特性について簡単に説明する。

おそらく、写真レンズの主な光学パラメータは、レンズの最大絞り及び焦点距離であると考えることができる。焦点距離は、被写体までの一定の距離(被写体距離)に関する画角、及び物体(被写体)のサイズに対する画像のサイズを決定する。最大絞り(Fナンバー又はFストップ)は、所与の設定(焦点距離/有効絞り)の画像の明度及び使用可能な最速シャッター速度を制限し、数が小さいほど、一般に単純なデジタルカメラの画像センサ面と考えることができる焦点面により多くの光が供給されることを示す。カメラの焦点距離は、単焦点であってもよく、或いはいわゆる「ズーム」制御の調整に対応するような可変であってもよい。

技術的には単一要素のレンズであるが一般的にはより広く使用されている単純なレンズの1つの形は焦点距離が1つであり、「プライムレンズ」とも呼ばれる。単焦点レンズを使用してカメラの焦点を合わせる場合、レンズと焦点面の間の距離が変化して、この焦点面上で写真被写体の焦点が変化することとなる。従って、単焦点レンズでは光学関係及び焦点距離が固定されるが、カメラでは、この単焦点レンズを、ある範囲の焦点距離にわたって被写体に焦点を合わせるために使用する。従って、レンズの(単複の)焦点距離を、そのレンズを使用するカメラで取得できる焦点の範囲と混同すべきではない。なお、焦点面に対するレンズの距離を調整することにより焦点距離が変更される。

単焦点レンズを使用するには、絞りを調整して望ましいシャッター速度に対する光量を選択し、次に被写体距離に基づいて(単複の)焦点を調整し、その後シャッターを「解放」して画像を取り込む。デジタルカメラでは、画像を取り込むプロセスの大部分が電子的に行われるが、本明細書では画像取り込みのきっかけを「シャッター解放」と呼ぶことが理解できよう。多くの場合、単焦点距離であるはずのレンズにも、接近写真を撮るために焦点距離の選択が異なるマクロ設定が設けられている。望遠レンズは、遠距離にある物体からの画像でフレームを満たすために高倍率の非常に狭い画角を実現する。

多焦点レンズは、画像倍率を望むとおりに「ズーム」又は「アンズーム」して高倍率又は低倍率を得ることができるので、通常「ズーム」レンズと呼ばれる。ズームレンズを使用すれば、ユーザは、被写体の倍率の量、すなわち換言すれば、被写体をズームしてフレームを満たす程度を選択できるようになる。これらのレンズ、すなわちカメラレンズシステムのズーム機能は、焦点制御及び絞り制御の両方とは概念的に別物であるということを理解することが重要である。

単焦点レンズ又は多焦点レンズのいずれを利用するかに関わらず、所与の被写体距離に対してレンズの焦点を正しく合わせることが必要である。所与の焦点設定に対して許容できる焦点の範囲を「被写界の奥行き」と呼び、これは、物体空間すなわち被写体空間において許容できる鮮明度の奥行きの測定値である。例えば、被写体距離が15フィートの場合、高解像度カメラの許容できる焦点の範囲は数インチ程度と考えられるが、最適な焦点調節には、より一層の精度が必要となり得る。焦点が中間距離から、当然ながら被写界の奥行きが無限になる「無限大」に向けて遠くへ移動する(例えば遠くの山並み、雲などの画像を取り込む)につれ、被写界の奥行きは増加するということを理解できよう。

所定の絞りに設定した単焦点レンズでは、所与のカメラの被写体距離(被写体距離と呼ぶ)に対して1つの最適な焦点設定が存在する。カメラの焦点距離よりも近い又は遠い被写体部分は、取り込んだ画像ではある程度ブレて写り、この度合いは被写界の奥行きに影響を与える多くの要因に左右される。しかしながら、多焦点レンズでは、レンズによって得られるレンズ倍率(レンズ焦点距離)ごとに最適な焦点が存在する。実用性を高めるために、レンズメーカーは、ズーム設定に応じて焦点を合わせ直す必要性を大きく低減させたが、焦点を合わせ直す必要性は、使用中の特定のカメラレンズシステムに依存する。しかも、異なるズーム倍率のレベルに応じて絞り設定を変更する必要もあり得る。

そもそも、カメラの焦点は、操作者の認識及びマニュアルによる焦点調整に応じて決定及び補正することしかできなかった。しかしながら、結果に焦点を合わせるという決定的な特質により、すぐに焦点調節補助機能が採用された。最近になり、多くの場合、撮像装置には、今日では一般的に「オートフォーカス」と呼ばれる機能である、被写体に自動で焦点を合わせるための能力が備わっている。多くの場合、カメラには、絞り優先モード及びシャッター優先モードの使用などの、オート制御とマニュアル制御の組み合わせも備わっている。多くの既存のオートフォーカス機構の各々には欠点及び妥協点が存在するので、焦点調節は依然として激しい技術開発ポイントである。

一般的なオートフォーカス(AF)には、アクティブオートフォーカス及びパッシブオートフォーカスという2つの種類がある。アクティブオートフォーカスでは、1又はそれ以上の画像センサを利用して焦点までの距離を特定し、或いは画像取り込みレンズシステムの外部で別様に焦点を検出する。アクティブAFシステムは、音波及び赤外光がガラス及びその他の表面により反射されるので、一般にガラス窓越し又はその他の特定の用途では焦点が合わないが、素早い焦点調節を行うことができる。パッシブオートフォーカスシステムでは、見える画像の特性を使用して焦点を検出し設定する。

現在では、ハイエンドSLRカメラのほとんどが、例えば露出計として利用することもできるスルーザレンズ光学AFセンサを使用している。多くの場合、これらの最新のAFシステムの焦点調節能力は、通常のファインダーを通してマニュアルで行われる焦点調節よりも精度が高い。

アクティブAFの1つの形では、ビームスプリッタを通じて入射光を画像対に分割して、これらをAFセンサ上で比較することなどによる位相検出を利用する。2つの光学プリズムが、レンズの反対側から到来する光線を取り込み、これをAFセンサへそらし、底辺がレンズの直径に等しい単純なレンジファインダーを作り出す。物体が焦点の前にあると考えられるか、或いは正しい焦点位置の後ろにあると考えられるかを判定するように計算された同様の光強度パターン及び位相差を調べることに応じて焦点が決定される。

別の種類のアクティブAFシステムでは、レンズを通じてセンサ視野内でコントラスト測定が行われる。システムが焦点を調整して、一般的に正しい画像焦点を示す隣接するピクセル間の強度差を最大化する。このようにして、最大レベルのコントラストが得られるまで焦点調節が行われる。この形の焦点調節は、特に薄暗い光の下で動作する場合にはアクティブAFよりも遅いが、ローエンドの撮像装置で利用されている共通の方法である。多くの場合、パッシブシステムは、低コントラスト又は低光量の条件における焦点判定が弱い。

しかも、多くの焦点調節システムは、例えば、遊んでいる子供、スポーツ、野生動物などの「移動撮影」などに関して被写体が動いている場合に苦戦する。

従って、高速かつ正確な被写体距離の推定、及び/又は幅広い条件及び被写体の動きの下での焦点制御を実現する改善された奥行き推定及び/又はオートフォーカス技術に対するニーズが存在する。本発明は、これらの及びその他のニーズを満たすとともに、これまでのカメラの焦点調節技術の欠点を克服するものである。

2写真照合及びブレ差に基づくカメラの奥行き推定を提起する。奥行き推定は、(マニュアル又はセミオートフォーカス設定下などにおいて)ユーザに焦点情報を表示するために、及び/又は(オートフォーカス設定下などにおいて)カメラの焦点を自動で調整するプロセスにおいて利用することができる。本発明の方法は、異なる焦点位置における一時的に記憶した2つの取り込み画像間のブレ差を計算する。これらの画像間に動き補償技術を適用して、動きに関係なく正しい焦点を得る。本発明では、焦点距離、絞り、被写体距離、及びレンズの焦点位置によって変化するブレ差を特定し、これを多次元多項式モデル、好ましくは4次元多項式モデルにより近似させることができる。あまり好ましくはないが、単焦点レンズの使用などに対応して、3次元多項式モデルによって本発明を実施することもできる。なお、カメラ焦点がその他のカメラ変数により影響を受ける用途では、4次元を超える多項式モデルを使用して本発明を実現することもできる。

このモデルは、被写体の奥行きを計算するために使用することができ、一連のステップエッジ画像を取り込むことなどにより、焦点距離の範囲にわたって較正されることが好ましい。本出願は、動きに起因する2つの写真間の位置ずれ、及び可変カメラ設定(ズーム及び絞り)の扱いに対する実用的な解決策を提案することにより、2写真照合による奥行き推定の適用性を拡張する。

なお、本発明により被写体距離を推定するために取り込まれる画像は、使用のためにユーザが選択した画像を取り込む方法と同じ方法で取り込まれないことが好ましい。一例として、ユーザは、撮影するための被写体を選択する場合、この被写体をファインダー内に収め、通常は「シャッター解放」ボタンを部分的に押し下げて焦点制御を作動させる。本発明の少なくとも1つの実施形態によれば、この間にカメラが少なくとも2つの画像を異なる焦点設定で「取り込む」。本発明による被写体距離を計算するための発明方法を実施する際には、これらの画像はカメラ装置により内部的にしか使用されず、通常はユーザが、カメラの「画像レビュー」モードに入ることなどにより、取り込んだ画像セット内でアクセスすることができない。本発明による焦点制御などにより、及び「シャッター解放」ボタンが十分に押し下げられたことの検出に応答して正しい焦点が定まると、ユーザが選択した被写体画像が従来の意味で取り込まれ、後のレビュー、アップロード、プリント、及びユーザが望むすべてのことのためにカメラ内に記憶される。ユーザが選択した被写体画像が取り込まれると、被写体距離を推定するために一時的に「取り込まれた」画像はもはや不要となり、従ってメモリを節約するために破棄されることが好ましい。

本発明は、限定するわけではないが、以下の説明を含む数多くの方法で具体化することができる。

本発明の1つの実施形態は、静止画像カメラ、又は静止画像取り込みモードを備えたビデオカメラなどの画像を電子的に取り込むための装置であって、(a)画像取り込み装置上に配置された撮像要素と、(b)撮像要素に結合された焦点制御要素と、(c)撮像要素及び焦点制御要素に結合されたコンピュータプロセッサと、(d)コンピュータプロセッサに結合され、撮像要素から取り込んだ画像を保持するとともにコンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、(e)異なる焦点距離の範囲にわたって取り込んだ画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持された多次元焦点照合モデルと、(f)コンピュータプロセッサ上で、(f)(i)少なくとも第1及び第2の画像を含む(推定プロセスで一時的に使用するための)複数の物体画像を取り込んで、この物体画像の焦点距離及び絞りを登録し、(f)(ii)複数の物体画像間の動きを補償し、(f)(iii)複数の物体画像間のブレ差を特定し、(f)(iv)多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するように実行可能なプログラムと、を備える装置である。複数の物体画像は、同じ絞り設定及び焦点距離を使用して異なる焦点位置で取り込んだ少なくとも2つの画像を含む。被写体の奥行き推定は、カメラ内で被写体距離情報を表示するために利用することができ、或いはコンピュータプロセッサが被写体距離の推定に応じてカメラ装置の焦点を自動的に調整するオートフォーカス制御プログラム内で利用することができる。或いは、被写体の奥行き推定を、セミオートフォーカス調整を行うモード内などのマニュアル−オート組み合わせモードにおいて利用することもできる。

画像照合曲線は、カメラ及びそのレンズの特性解析プロセスから特定されるような、反復回数とレンズの焦点位置との関係を表現する。本発明によれば、焦点照合モデルが、所与のカメラ設定の焦点距離に関するブレ寄与を表すように構築される。少なくとも1つの好ましい実施構成では、多次元ブレ差モデルが、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するブレ差の4次元多項式関数を含む。

少なくとも1つの実施構成では、画像間で動き補償が行われ、第1の画像の少なくとも焦点領域が第2の画像に適合するものとして位置付けられ、或いは第2の画像の一部が第1の画像の焦点領域に適合するものとして位置付けられる。補償後には第1の画像の一部と第2の画像の一部との間の静的画像の内容が比較されてブレがより正確に示されるので、これに伴うブレ差の計算が、動き補償に応じてより正確なものになる。少なくとも1つの実施構成では、ブレカーネルによる1又はそれ以上の畳み込みに応答して動き補償を行ってブレ差を特定する。少なくとも1つの実施構成では、動き補償が、2つの画像fi及びfjを順番に取り込み、i<jであり、これはこの順番内で画像iを画像jよりも先に撮影したことを示し、‖・‖を、照合誤差の値を求めるノルム演算子とする次の関係
に基づいて行われる。fiの焦点領域は、fjから得られる同じサイズのシフトした領域と比較される。シフト量
は、水平方向及び垂直方向に例えば±5ピクセルを最大値とする。全てのシフト位置について、照合誤差が最小となる1つの
が求められる。シフトした画像
は、fiの焦点領域に最もよくマッチする領域を含むシフトしたfjを表す。

少なくとも1つの実施構成では、ブレ差IA_Bが、Kを畳み込み演算とし、(x,y)をピクセル位置のシフト量とし、(xV,yV)を、所与の検索範囲v内におけるピクセル位置のシフト量とし、fAを第1の写真、fBを第2の写真とする
として計算される。

少なくとも1つの実施構成では、ブレ差IA_Bが、
とすることに応じて近似され、Kを畳み込み演算とし、(x,y)をピクセル位置のシフト量とし、(xV,yV)を、所与の検索範囲v内におけるピクセル位置のシフト量とし、fAを第1の写真、fBを第2の写真とし、
を、動き補償に対応する第2の写真とする
の関係によりブレ差を特定する。

少なくとも1つの実施構成では、ブレ差が、画像fi又はfjのいずれが鮮明であるかに応じて特定され、I1及びI2を第1及び第2のブレ差値とし、fi及びfjを取り込んだ2つの画像とし、
を動き補償に応じて取り込んだ画像とし、Kをブレカーネルとする(a)
及び(b)
に応じて特定することができ、I2よりもI1の方が大きい場合にはfjよりもfiの方が鮮明であり、ブレ差はI1によって与えられ、逆にI1よりもI2の方が大きい場合にはI2の方が鮮明であり、ブレ差は−I2によって与えられる。ブレ差値の符号は、いずれの画像の方が鮮明であるかを示す。

少なくとも1つの実施構成では、焦点照合モデルが、(a)ブレ差照合曲線に適合させるための多次元多項式の係数を求めるステップと、(b)適合誤差を特定して異常値を破棄するステップと、(c)多項式適合がブレ差照合曲線との望ましい精度に収束するまで上記ステップを繰り返すステップとに応じて決定される多次元多項式関数を含む。

少なくとも1つの実施構成では、焦点照合モデルが、(a)カメラの焦点設定範囲にわたって焦点距離、絞り、被写体の奥行き、及びズーム設定に関して撮影した一連の較正対象画像の中の較正対象画像を取得するステップと、(b)これらの画像の各々の間のブレ差照合曲線を特定するステップと、(c)一連の較正目標画像のブレ差を照合するステップに基づいて前記多次元モデルを生成するステップとを含む特性解析を行うことにより生成される。

本発明の1つの実施形態は、画像を電子的に取り込むための装置であって、(a)カメラ装置内に配置された撮像要素と、(b)撮像要素に結合された焦点制御要素と、(c)撮像要素及び焦点制御要素に結合されたコンピュータプロセッサと、(d)コンピュータプロセッサに結合され、撮像要素から取り込んだ画像を保持するとともにコンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、(e)異なる焦点距離の範囲にわたって取り込んだ、反復回数とレンズ焦点位置との関係を表現する画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、(f)コンピュータプロセッサ上で、(f)(i)第1の画像及び第2の画像という少なくとも2つの画像を、同じ絞り設定及び焦点距離を使用して異なる焦点位置において取り込み、(f)(ii)2つの画像間の動きを補償し、(f)(iii)2つの画像間のブレ差を特定し、(f)(iv)多次元焦点照合モデルにブレ差を適用したことに応答して被写体距離を自動的に推定し、(f)(v)被写体距離の推定に応じて焦点制御要素に焦点制御変化を伝えることによりカメラ焦点を自動的に調整するように実行可能なプログラムと、を備える装置である。

本発明の1つの実施形態は、画像を電子的に取り込むためのカメラ装置内で被写体の奥行きを推定する方法であって、(a)カメラ装置内で保持するための多次元焦点照合モデルを、異なる焦点距離の範囲にわたって取り込んだ画像照合曲線から生じるブレ差情報に適合する多次元多項式として生成するステップと、(b)少なくとも第1及び第2の画像を含む複数の物体画像を取り込んで焦点距離及び絞りを登録するステップと、(c)複数の物体画像間の動きを補償するステップと、(d)複数の物体画像間のブレ差を特定するステップと、(e)多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するステップとを含む方法である。

本発明は、本教示から逸脱することなく別個に又はいずれかの望ましい組み合わせで実現できるいくつかの有益な属性を提供する。

本発明の要素は、焦点設定の異なる2つの画像の取り込みに応じて被写体距離を正確に推定する(2写真照合などの)ための装置及び方法である。

本発明の別の要素は、比較する画像間に動きが生じたことに影響されない、被写体距離の正確な推定である。

本発明の別の要素は、ブレ差モデルを作成する元となる特性解析プロセスにおいて得られる、カメラの照合曲線の組を利用する被写体距離推定装置及び方法である。

本発明の別の要素は、焦点変化に対するブレ差を表すための多次元多項式モデル、好ましくは4次元多項式モデルを生成する被写体距離推定装置及び方法である。

本発明の別の要素は、照合曲線の平均二乗誤差、線形最小二乗誤差、又は同様のものに基づいて望ましい収束レベル点に適合することに基づいて選択された係数を有する多次元多項式モデルを生成する被写体距離推定装置及び方法である。

本発明の別の要素は、異なる(Fストップなどの)絞り設定及び(ズームなどの)焦点距離設定の被写体距離を正しく推定することができる被写体距離推定装置及び方法である。

本発明の別の要素は、本発明の教示から逸脱することなく固定又は着脱式レンズカメラ装置上で実現できる被写体距離推定装置及び方法である。

本発明のさらに別の要素は、本発明を、追加のカメラハードウェアを必要とせずに様々な既存のカメラ装置で容易に実現できる点である。

明細書の以下の部分において本発明のさらなる要素が明らかになるが、この詳細な説明は、本発明の好ましい実施形態を完全に開示するためのものであり、本発明を限定するためのものではない。

例示のみを目的とした以下の図面を参照することにより、本発明をより完全に理解するであろう。

本発明の要素による、複数の焦点における複数の画像を取り込む概略図である。 本発明の要素による、(ステップエッジなどの)較正対象画像の比較である。 本発明の要素による、(ステップエッジなどの)較正対象画像の比較である。 本発明の要素による、3回の反復でブレ差を計算する概略図である。 本発明の要素による、利用する動き推定及び補償の概略図である。 本発明の要素による、利用する動き推定及び補償の概略図である。 本発明の要素による、収集した照合曲線の、異常値及びノイズを含むことを示すグラフである。 本発明の要素による、カメラ装置のズーム設定に応じたレンズ焦点位置のグラフである。 本発明の要素による、照合曲線の多項式適合のグラフである。 本発明の要素による、カメラ特性解析のフロー図である。 本発明の要素による、ブレ差モデルを作成するフロー図である。 本発明の要素による、奥行き推定を行うフロー図である。 本発明の要素による、奥行き推定値を生成するカメラシステムのブロック図である。

図面をより詳細に参照すると、本発明は、例示として図1〜図11に大まかに示す装置及び方法の形で具体化される。本明細書で開示するような基本概念から逸脱することなく、装置は構成及び各部分の詳細が異なっていてもよく、方法はステップ及び順序が異なっていてもよい。

1.ブレ差
被写体に正しく焦点が合っているときには、取り込んだ画像が最も鮮明に見える。レンズが焦点位置から遠ざかるにつれ、取り込み画像は次第に(大きく)ブレてくる。一般に、2つの写真を2つの異なる焦点距離で取り込んだ(撮影した)場合、被写体の近くで取り込んだ画像の方が、離れたところから取り込んだものよりも鮮明である。

本発明では、実際の被写体距離又は被写体の奥行きを推定するために、写真を取り込んだ焦点距離、及びこれらの写真間のそれぞれのブレ差の量を利用する。この技術により、被写体の動きを補償する正確な奥行き推定が実現される。被写体距離を正確に推定することにより、この距離推定に基づいてカメラ焦点を正しく調整できるようになる。

A、及びfAよりも不鮮明なfBの2つの写真を位置A及びBにおいて取り込む場合について考える。位置AからBへの点広がり関数Pにより、ブレ変化を次式のようにモデル化することができ、
この場合、*は2次元畳み込み(two dimensional convolution)を表す。

「点広がり関数」(PSF)という用語は、カメラ特性解析中に画像を取り込む対象のステップエッジにわたって見られるような点光源又は点物体に対する撮像系の応答を表し、多くの場合インパルス応答とも呼ばれると認識されたい。これに関連して、点物体の拡散(ブレ)の程度は、撮像系の焦点特性の尺度である。

本出願で使用する「畳み込み」という用語は、2つの関数に数学的演算を行って、典型的には元々の関数の一方の修正版と考えられる第3の関数を生成することを表す。多くの場合、所与のデータセットをより正しくモデル化するために、第2の関数が反転されて第1の関数の一部に重なる。

図1は、以降単純にカメラと呼ぶ所与のカメラレンズシステムの特性を解析するための照合曲線の組を作成するプロセスにおいて画像を取り込む実施形態10を示している。所与の撮像装置(例えば、同じ/同様の光学撮像要素を使用するカメラ、又は一群のカメラの特定の実施形態、構成、又はモデル)のデータセットを収集する場合には、異なる焦点位置(被写体距離)にある較正対象(又は較正被写体)の複数の画像を取り込む。データセットを収集するステップは、(固定焦点距離〜「ズーム」設定のレンズなどの)所与の倍率設定のカメラレンズシステムの特性解析プロセスを含む。最小焦点距離14から連続して遠くへ無限大16まで焦点調節できる撮像装置(カメラ)12を示している。最小焦点距離14(この場合は35cm)及び無限大16における焦点を示している。本発明によれば、焦点は、焦点経路24に沿って、例えばステップエッジ画像、スレート、グラティキュール、又は既知の光学特性を有する同様の対象などの較正対象22上の第1の焦点位置18に収束し、その後第2の焦点位置20に収束する。

本明細書では、限定ではなく一例としてSony製カメラを使用して本発明の方法を示すが、当業者であれば、本方法をその他のデジタルスチールカメラ及び/又はビデオカメラで利用できることを理解できよう。このカメラの焦点距離は、最小焦点距離(35cmなど)から無限大までの範囲に及ぶ。

図2Aは、被写体32に焦点が合っており、ステップエッジの「エッジプロファイル」とも呼ばれる鮮明なコントラスト曲線34で表すように取り込み画像が最も鮮明な状態30を示している。較正対象すなわち被写体は、コントラストに基づいて焦点の鮮明度を単純に特定する機構を提供することが好ましい。例えばステップエッジ対象では、少なくとも2つの色、陰影、輝度間で明らかなステップエッジ描写が行われ、コントラストプロファイルの鮮明度から焦点の鮮明度を容易に特定することができる。当業者であれば、ビデオ取り込み及び出力の異なる要素をテストする際に異なるクロマキー及びカラーバーパターンを使用する方法と同様の方法で、いくつかの異なる方法のいずれかで対象を構成できることを理解するであろう。

図2Bは、レンズが「焦点が合った」位置から遠ざかるにつれて、物体38の画像が次第にブレる画像検出状態36を、結果として生じる図示の傾斜したコントラスト曲線40とともに示している。写真を撮影する焦点距離、及びこれらの2つの写真間のブレ差の量を利用して、実際の被写体の距離すなわち奥行きを推定することができる。

ブレカーネルKによる一連の畳み込みを使用することにより、点広がり関数Pを近似させることができる。
(1)

本明細書で説明する実施形態例では、カーネルKを次式のようになるように選択した。
(2)

次に、式1における畳み込みの回数によりfAとfBの間のブレ差の量を測定することができる。このブレカーネルは均一なブレ量を表し、本発明の教示から逸脱することなく、多くの異なる方法で構成することができ、様々な値を表すことが理解できよう。実際の実施構成では、ブレ差は、‖・‖をfAとfBの間のブレ照合誤差を評価するノルム演算子としたときに、
(3)
により与えられる反復プロセスによって得られる。

図3は、本明細書では写真fA(左)と写真fB(右)との間で実施される3回の反復で例示する反復プロセスを示している。

2.動き補償
本発明は、例えば、被写体が動いているか、又はカメラが動いているか、或いは両方が動いている場合のような、被写体とカメラとが相対的に動いている条件下で奥行き推定画像を取り込んだ場合に動き補償を行う。動き補償技術は、ブレ差の計算がブレ差に応じて行われ、第1の奥行き推定画像の取り込みと第2の奥行き推定画像の取り込みとの間の相対的な動きから得られるものでないことを確実にする。

図4A〜図4Bは、本発明の要素による、利用する動き補償の例として、第1の画像からのいずれかの望ましいサイズ(本明細書では54×44ピクセルとして示す)の焦点領域を図4Aに示しており、このための動き推定及び/又は補償は、図4Bに示す第2の画像に関して行われる。[−5,5]×[−5,5]の領域に関して合計平均二乗誤差(MSE)を計算する。動き補償中は、第1の画像からの焦点領域が第2の画像に適合するものとして位置付けられる。この選択は、反復が収束するときの最小絶対畳み込み回数を有するものの選択に基づく。これを踏まえて、図4Bの画像2の動き量を垂直方向及び水平方向に最大±5ピクセルと仮定する。次に、この[−5,5]×[−5,5]の範囲内で、画像2の個々の考えられるシフトを調べる。シフトごとに、画像1の焦点領域と画像2からシフトした同じサイズの領域との間でブレ差を計算し、反復回数を得る。[−5,5]×[−5,5]の範囲内の全てのシフトから得られる全ての反復回数から最小絶対値を有するものを選択する。この最小絶対値の反復回数を与える対応するシフトが、図4Bの画像2の動き推定である。図4Aに示す焦点領域の全てのピクセルが、図4Bに示す画像の関心領域内に同じ変位量を有し、このために動きベクトルが生じ、特定されると仮定する。

(xV,yV)が、fBにおけるピクセル位置のシフト量(x,y)を表すものとすると、動きの量を推定することができる。1つの実用的な実施構成では、(xV,yV)を、[−5,5]x[−5,5]などの指定された検索範囲内にあるものと考える。fAの方がfBよりも鮮明であると仮定する。ブレ差は次式のように計算される。
(4)

計算を効率的にするために、ブレ差を計算する前に動き補償を行うことにより上記のプロセスを近似させることができる。
(5)

とする。この場合、ブレ差は次式の関係により与えられる。
(6)

また、本発明の要素により、次式のように、例えばM回などの何回かの畳み込みにわたって動き補償を行って精度を向上させることができるようになる。
(7)
この場合、ブレ差は、次式のように計算することができる。
(8)

上記を要約すると、式4からは最も高い精度が得られるが最も遅く、一方で式6から得られる精度は最も低いが計算は最も速い。式8の性能は、式4の性能と式6の性能との間のいずれかに位置する。実際の用途の大部分では、ほとんどの場合、式6によって十分な精度が得られるはずであるが、M=1又は2では式8を利用することにより優れた結果がもたらされる。

3.照合曲線
照合曲線は、反復回数とレンズ焦点位置との関係である。照合曲線を得るために、レンズの焦点範囲にわたる一連の写真を取り込んで、2枚ごとの写真間でブレ差を特定する。限定ではなく一例として、実施形態例では、(10cmなどの)固定した被写体距離に位置するステップエッジ画像の使用について説明する。このプロセスは、本発明の教示から逸脱することなく、カメラレンズシステムの特性解析の形、較正手順、又は照合曲線を生成するプロセス、或いは同様の語句などの多くの方法で参照することができる。

図5は、固定距離に位置するステップエッジ画像に関して得られる照合曲線を示している。照合曲線を作成する際には、シーケンスの第1の写真を無限大の焦点距離で取り込み、その後レンズが最小焦点距離に到達するまで、レンズが一被写界の奥行き近くに焦点が合うように調整される度に1つの写真を取り込む。この一連の写真を、Nをシーケンスの長さとしてf0,f1,…,fN-1で表す。実際には、このシーケンスが全体の焦点範囲を含むことを確実にするために、f0は、「無限大」の焦点設定よりも若干遠くの距離で取り込むことが好ましく、fN-1は、指定された最小焦点距離よりも若干近い焦点設定で取り込むことが好ましい。

以下の説明では、一例として式6を使用して照合曲線の生成を示す。本発明の教示から逸脱することなく、同様の方法で式3、式4、及び式8などのブレ差を特定するための他の式を適用することもできると理解されたい。

ブレ差を計算する前に、いずれの写真の方が鮮明であるか、例えばシーケンス内でi<jである場合、一連の2つの写真fiとfjのいずれの方が鮮明であるかを特定することが好ましい。鮮明度は、画像が伝えることができる細部の量を決定し、所与のカメラ構成では、焦点精度が最高のとき、すなわち焦点位置(距離)が被写体位置(距離)に正確に一致するときに最大になることを認識できよう。

まず次の関係などに基づいて動き補償を行う。
(9)

とする。以下の2つの式により、画像fi又はfjのいずれの方が鮮明な画像であるかを特定できるようになる。
(10)
(11)

2よりもI1の方が大きい場合、fjよりもfiの方が鮮明であり、ブレ差はI1により与えられる。逆に、I1よりもI2の方が大きい場合にはI2の方が鮮明であり、ブレ差は−I2により与えられる。なお、ブレ差値の符号は、いずれの画像の方が鮮明であるかを表す便利な手段として使用している。

I1とI2が等しい場合には、誤差が比較される。
(12)
(13)

図5には、10cmの奥行きの場合の反復回数と焦点位置の関係を示している。シーケンス例は、40mmの焦点距離及びf/3.5の絞り設定を有するSony製DSC−HX1カメラによって取り込んだものである。この例では、fiとfi+4のブレ差が、i=0,…,N−5に関して特定されている。「写真番号」軸は、反復回数を計算する画像対を示している。例えば、写真番号0は、f0とf4の間で反復回数を計算することを意味する。これらの例では、レンズ焦点位置が被写体距離から離れるにつれて反復回数が増加することが分かる。被写体に焦点が合ったときにゼロ交差点が発生する。

図6は、上記カメラシステムのズーム設定とレンズ焦点位置との相互関係を特性解析する例を示している。グラフは、カメラのズーム設定に応じたレンズ焦点の設定の変化を示している。データは、無限大に焦点を合わせた9つの画像シーケンスを使用して取り込んだものであり、中間位置を3次スプライン補間に対応してグラフにしている。本発明は、奥行き推定プロセスにおいてレンズの焦点距離を考慮するので、単純なレンズを利用するか、或いはズームレンズを利用するかに関わらず、正確な焦点設定を特定するために利用することができる。また、いずれかの望ましいズーム変化の精度のために照合曲線を生成することもでき、ズーム特性解析が、中間値を補間するための手段を提供することも理解されたい。

4.4次元多項式モデル
ブレ差Iは、被写体の奥行きD(カメラレンズから被写体までの距離)、焦点距離L(焦点設定)、絞りA(Fナンバー)、及び焦点距離Z(ズーム設定)の関数として書くことができる。
(14)

奥行きD及び焦点距離Lは両方とも、無限大に合わせた焦点から、又は写真0が定義される場所から測定された被写界の奥行きの数を物理的に意味する写真番号により測定される。奥行き推定は、I、L、A、及びZを所与としてDを特定するプロセスである。

なお、固定された絞り又はズームに対応するようないくつかの用途では、3次元多項式モデルを使用して本発明を実現することもできる。或いは、絞りとズームの両方が固定されている場合には、2次元多項式表現を選択することもできる。これらの低次の関数は拡張することができないので、あまり一般的には適用されない。

本発明の1つの要素では、4次元多項式を利用して、照合曲線により提供されるカメラレンズシステムの特性解析をモデル化する。
(15)

照合曲線のモデル化に適用される「多項式」という用語は、以下の一般的な形のような多項式関数であり、
この式は、nを、多項式の次数を定義する非負整数とする1次元多項式の例である。ちなみに、4の次数を有する多項式が4次式であり、次数3の多項式が3次式であり、次数2の多項式が2次式であり、次数1の多項式が線形式であり、次数0の多項式が定数である。多項式方程式を使用して、様々な経験的に特定される関係をモデル化することができる。

ゼロ交差点は焦点位置に対応するので、L=Dの時にI=0という境界状態が生じる。

4次元多項式の係数は、照合曲線の組に線形最小二乗多項式適合、又はその他の望ましい数学的適合技術を適用することにより決定される。上述したように、この実施形態では、異なる被写体距離にステップエッジ画像を配置し、異なる焦点距離及び絞り設定を使用することにより照合曲線を生成した。Sony製DSC−HX1カメラを使用した実施形態例では、約300個の照合曲線を利用して4次元多項式モデルを特定した。多項式の次数m、n、p、及びqは、特定のレンズの使用及び用途に応じて選択される。実施形態例をテストする際に利用したDSC−HX1カメラでは、m=n=p=q=2という値が十分良好に機能した。

なお、異なる焦点距離及び絞りから得た照合曲線は、開始焦点位置と終了焦点位置が異なることがある。これらの曲線は、多項式モデルを作成するために共通の原点を利用する。この例では、無限大における焦点を原点と考え、例えば本明細書では、無限焦点距離で撮影した写真を必ず写真番号0と定義する。

最適な係数C(I,j,k,l)を求めるための手順を、以下のように要約することができる。

1.線形最小二乗又は次式に従う同様の多項式適合を使用して、式15を照合曲線データに適合させる4次元多項式を求める。
(16)

2.照合曲線データ点ごとの適合誤差を計算する。異常値を除去する目的で、適合誤差が過度に大きな(例えば、全ての適合誤差の標準偏差の2倍よりも大きな)あらゆるデータ点を破棄する。

なお、「異常値」という用語は、経験的データセット内の1又はそれ以上の観測値が、データセットのうちの残りの部分とは数値的に明らかに異なる又は隔たっていることを示す統計用語である。異常値の点は、系統的な欠点、欠陥データなどを示す可能性があるが、あらゆる大きなサンプルセット内にはわずかな異常値があることが予測される。「異常値」を含むデータセットをモデル化しようと試みると、誤解を招くモデルが導かれる恐れがあり、通常、これらの異常値は、基本的な関数の特性を正しく表していないことが確認されると破棄される。

3.多項式適合が望ましいレベルの精度に収束するまで上記ステップ1及び2を繰り返す。

図7は、照合曲線上に多項式曲線を適合させた結果を、経験的に特定される照合曲線データの太線に囲まれた細線で示している。

5.奥行き推定
本発明によれば、式15に示すモデルを利用して、奥行き推定を正確かつ直接的な方法で行うことができる。自動焦点調節(オートフォーカス(AF))プロセスなどにおける被写体距離推定中は、焦点距離及び絞り設定が分かっており固定されている。被写体距離を特定するために、異なる焦点位置における少なくとも2つの画像を取り込む。

上述したように、取り込みフレーム間のあらゆる動きがブレ差の特定に負の影響を与えないように、動き推定及び補償は、画像間のブレ差を特定する前に行うことが好ましい。

次に、2つの写真間のブレ差を計算する。これに応じて、式15が単変数多項式方程式になる。この式を、物体の推定奥行きであるDについて解く。なお、Dは、整数、固定小数点数、又は浮動小数点数などのあらゆる望ましいフォーマットで表すことができる。オートフォーカスの用途では、距離Dに焦点を合わせるようにレンズを動かすことができ、その後同じ方法で新しい奥行きを推定する。反復回数が0又は何らかの指定した閾値未満に収束するまでこの手順を繰り返して、正確な焦点が得られたことを確実にする。

6.奥行き推定を実行するためのプログラム
本発明による奥行き推定法の一部は、コンピュータ処理装置、好ましくは奥行き推定を実施する対象のカメラ装置内に組み込まれた1又はそれ以上のマイクロプロセッサ又はマイクロコントローラ上で実行可能なプログラムにより実施される。

図8は、自動焦点調節を制御するためのプログラム内などの、本発明による奥行き推定を行うための準備においてカメラ装置の特性解析を行うためのプログラムの実施形態例を示している。ステップ50によって示すように、カメラの焦点設定の範囲にわたり、及び焦点距離に関し、並びに絞り、被写体の奥行き及びズーム設定に関して画像を取り込む。特性解析から得られるデータを照合曲線の組に処理し、ステップ52のように、これらの照合曲線から2つの焦点設定間の(絞り、ズーム設定、被写体までの距離などの)所与の構成に関するブレ差モデルを生成する。Sony製DSC−HX1カメラの実施構成例では、説明した4次元多項式モデルを特定する際に約300個の照合曲線を利用したことを上述した。ステップ54に説明するように、ブレ差モデルを、カメラ動作中に使用できるようにカメラ装置に記憶する。なお、上記ステップは所与のカメラモデルに関して行われることが好ましく、このブレ差モデルは、カメラ製造中にカメラ内に記憶されることが好ましい。

図9は、照合曲線の組をブレ差モデル(I=F(D,L,A,Z)など)に変換する、より具体的には4次元多項式ブレ差モデルに変換するステップを限定ではなく一例として示している。ステップ60において、カメラの照合曲線をモデル化するために使用する4次元多項式の係数を求める。ステップ62に示すように、適合誤差を特定して異常値を除去する。その後、ステップ64に示すように、多項式モデルが収束して照合曲線のデータと一致するまでこのプロセスを繰り返し、ステップ60により、改善した適合を求めるように多項式係数を修正し、ステップ62において再び適合誤差を調べる。

図10は、本発明の実施形態による奥行き推定を利用するステップを示しており、ここではブレ差モデルがカメラ装置からアクセスを受けることができ、好ましくは4次元多項式ブレ差モデルを記述するデータセットとしてカメラ内に記憶される。ステップ70に示すように、カメラ動作中に異なる焦点位置において画像を取り込む。レンズの焦点距離は分かっており、一方で画像を取り込んだときの絞り及びズーム設定はカメラ装置が把握して記憶しており、従ってプログラムがこれらの設定を登録することが理解されよう。また、ブレ差モデルとともに使用するための少なくとも2つの異なる画像を取り込むために使用した焦点設定も記憶される。

任意のステップ72(任意のステップを「*」で示す)に示すように、取り込み画像間で動き補償を行うことが好ましい。なお、限定ではなく一例として、本発明の実施構成は、(風景画設定又は静止画設定などの)カメラモード、又は取り込み画像間の静的状態の検出に応じて、動き補償を迂回することができる。しかしながら、動き補償を行うと処理オーバーヘッドが必要となるものの、その適用は、静的な(変化のない)画像に対する場合でも、誤差又はノイズを取り込まず、或いは被写体の奥行き推定の精度に別様に負の影響を与えることもない。従って、これらの取り込みフレーム間には容易に動きが生じる恐れがあるので、本発明により距離を推定する際には必ず動き補償を行うほうが好ましいと思われる。

次に、ステップ74により、動き補償済みの画像間のブレ差を特定する。その後、ステップ76に示すように、記憶したブレ差モデルでブレ差を使用して被写体距離を求める。

本発明の少なくとも1つの実施形態では、任意の(任意の機能を「*」で表す)ブロック78で説明するように、オートフォーカスルーチンなどの焦点制御プログラム内で推定した被写体距離を利用してカメラ焦点を調整する。

図11は、本発明による被写体の奥行き推定レンダリングを使用するように構成されたカメラの実施形態例90を示している。なお、本発明の要素は、本発明の教示から逸脱することなく様々なカメラ及び画像処理装置上で実現することができ、以下、限定ではなく一例として説明する。

レンズシステム92及びその関連する光学系とともに構成された画像取り込み装置(カメラ)90を示しており、一方で焦点制御体94は、レンズシステムに対して本発明による焦点調整を行うように構成される。焦点制御体94は、任意に、通常設定とマクロ設定との間の切り替え、又はユーザが画像倍率を選択できるようにするズーム制御の提供などの、変化する焦点距離をカメラシステム上で実現するように構成することができる。イメージャ96は、焦点及び任意にズームが画像をデジタルで取り込むようにマニュアルで設定される、又はカメラ装置プログラムにより制御されるレンズシステム92を通じて、被写体から反射された光を受光するように構成される。

カメラ90の動作は、1又はそれ以上のコンピュータプロセッサ(中央処理装置−CPU)98及び(CPU内部又は1又はそれ以上の別個の集積回路内などの)関連メモリ100により制御される。一例として、取り込み画像及びその他のデータを記憶できるメモリカードなどの補助メモリ102も示している。ブレ差モデルは、被写体距離を推定する際の焦点調節などを行うときに素早くアクセスできるようにカメラ装置上のメモリに記憶されることが好ましい。なお、カメラ装置90が行う処理は、カメラ制御機能を実行するための単一のプロセッサ、及び本発明に基づいて説明した画像処理要素によって行うことができ、或いはこの処理は、カメラ制御機能のためのプロセッサ、及び画像処理機能を実行するための1又はそれ以上のプロセッサなどの複数のプロセッサを利用することができる。当業者であれば、複数のプロセッサにわたる様々な方法でプログラムを実行できることを理解するであろう。

コンピュータプロセッサ98は、カメラ90で取り込んだ画像に対し、本発明による被写界の奥行きレンダリングを行う。一例として、任意の画像ディスプレイ104及びタッチスクリーン106を示しているが、本発明による方法は、イメージャ及び関連するレンズ及び焦点制御要素を使用して構成された様々な画像取り込み装置上で実現することができる。また、カメラの制御にあらゆる所望の形のユーザインターフェイスを利用できることを示すために、任意の非タッチスクリーンインターフェイス108も示している。なお、本発明による被写体距離推定及び/又はオートフォーカス制御では被写体距離情報を表示することができ、及び/又はユーザ入力/出力104、106、及び/又は108を利用する様々な機構に応じて動作特性を修正させることができる。

本発明による被写体の奥行き推定は、メモリ100及び/又は補助メモリ102と組み合わせてコンピュータプロセッサ98上で実行可能なプログラムにより実施される。このプログラムは、製造時にカメラ内にロードすることができ、製造後にカメラ内にダウンロードすることができ、或いはカメラ内に別様にロードすることもできる。カメラの制御ファームウェアは、例えば新しいプログラムを含むソフトウェアを実行してカメラ装置に新しいファームウェアをダウンロードできるパーソナルコンピュータにカメラの通信ポートを結合することにより修正することができる。

なお、本発明は、固定(着脱不能)レンズシステム92を有するカメラでの使用に限定されるものではない。本発明は、交換可能レンズ92に対応する一方で、個々のレンズに一意に合わせられる正しい被写体距離の推定を行うことができる。一例として、メーカーが一群のレンズを販売しているカメラを考えてみる。レンズシステム92とCPU98の間にインターフェイスを設けて、どのレンズシステムがカメラに結合されるかをプロセッサが検出できるようにするが、当業ではレンズを検出するためのこのような機構は周知である。多くの場合、レンズ「系」が光学要素以外のものを含み(従って「系」という)、レンズをカメラ本体と一体化するためのその他の光学機器、機構、及び電子機器を含むことができることは十分に認識されている。交換可能レンズを有するカメラにおける1つの実施構成では、カメラの製造により、一群のレンズの中のレンズの各々を含むカメラを特性解析して、関連するブレ差モデルを作成する。これらのレンズの各々のブレ差モデルを、製造時に事前にカメラに取り込んでおくことができ、或いはメーカーが、購入された個々のレンズによる新しいブレ差モデルのダウンロードを提供することができる。或いは、個々のレンズシステムが、ブレのモデル化情報を記憶したメモリを含むこともできる。また、レンズ交換に応じ、カメラの特性解析を実施済みのレンズと比較した新しいレンズの異なる特性に基づいてブレ差モデルを修正することもできる。従って、本発明の教示から逸脱することなく、固定及び着脱可能レンズ撮像装置上で本発明を実現できることが理解できよう。

本発明の教示は、デジタルスチールカメラ、ビデオカメラなどを含む、強化された被写体距離の推定又はオートフォーカス能力から恩恵を受けることができる様々なカメラ装置及び用途において適用することができる。本発明は、スチールカメラにおける使用に特に適しているが、多くのビデオカメラは、単一フレームの取り込みによるスチールカメラ機能を提供している。また、限定ではないが、異なる焦点位置でフレームを取得し、正しい焦点位置を求めて一連の取り込みフレーム内で正しい焦点を取り戻す焦点損失の補正などに対応するようなビデオ取り込み中に発生するいくつかの条件に本明細書で説明した技術を適用することができる。

本発明の実施形態による方法及びシステムのフロー図を参照しながら本発明の実施形態について説明した。これらの方法及びシステムをコンピュータプログラム製品として実現することもできる。この点に関して、ハードウェア、ファームウェア、及び/又はコンピュータ可読プログラムコードロジックの形で具体化された1又はそれ以上のコンピュータプログラム命令を含むソフトウェアなどの様々な手段により、フロー図の個々のブロック又はステップ、及びフロー図内のブロック(及び/又はステップ)の組み合わせを実施することができる。理解されるように、このようなあらゆるコンピュータプログラム命令を画像取り込み装置に結合されたコンピュータ上にロードして、コンピュータ又はその他のプログラマブル処理装置上で実行されるコンピュータプログラム命令が、(単複の)フロー図の(単複の)ブロック内に特定した機能を実施するための手段を含むようにすることができる。

従って、フロー図のブロックは、特定の機能を実行するための手段の組み合わせ、特定の機能を実行するためのステップの組み合わせ、及びコンピュータ可読プログラムコードロジック手段の形で具体化されるような、特定の機能を実行するためのコンピュータプログラム命令をサポートする。また、指定した機能又はステップを単独で、又はより好ましくはコンピュータ実行手段との組み合わせで実施する専用ハードウェアにより、フロー図の個々のブロック及びフロー図内のブロックの組み合わせを望むように実施することもできる。

さらに、コンピュータ可読プログラムコードロジックの形で具体化されるようなこれらのコンピュータプログラム命令を、コンピュータ又はその他のプログラマブル処理装置に特定の方法で機能するように指示することができるコンピュータ可読メモリに記憶して、これらのコンピュータ可読メモリに記憶された命令が、(単複の)フロー図の(単複の)ブロック内に特定した機能を実施する命令手段を含む製造の物品を作り出すようにすることもできる。コンピュータプログラム命令をコンピュータ又はその他のプログラマブル処理装置上にロードし、コンピュータ又はその他のプログラマブル処理装置上で一連の動作ステップが実行されるようにしてコンピュータで実施される処理を生成し、コンピュータ又はその他のプログラマブル処理装置上で実行される命令が、(単複の)フロー図の(単複の)ブロック内に特定した機能を実施するためのステップを提供するようにすることができる。

上述の内容から、本発明が、カメラのオートフォーカスプロセス中に被写界の奥行きを推定し、及び/又は奥行き調整を制御するための方法及び装置を提供することが理解されよう。本発明の教示は、スチールカメラ、ビデオカメラ、可変の奥行きにある被写体を対象とする様々な撮像装置などを含む様々な装置及び用途において適用することができる。
従って、以上のように、本発明はとりわけ以下の独創的な実施形態を含む。

1.画像を電子的に取り込むための装置であって、画像取り込み装置上に配置された撮像要素と、前記撮像要素に結合された焦点制御要素と、前記撮像要素及び前記焦点制御要素に結合されたコンピュータプロセッサと、前記コンピュータプロセッサに結合され、前記撮像要素から取り込んだ画像を保持するとともに前記コンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、異なる焦点距離の範囲にわたって取り込んだ画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、前記コンピュータプロセッサ上で、(i)少なくとも第1及び第2の画像を含む複数の物体画像を取り込んで、該物体画像の焦点距離及び絞りを登録し、(ii)前記複数の物体画像間の動きを補償し、(iii)前記複数の物体画像間のブレ差を特定し、(iv)前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するように実行可能なプログラムとを備えることを特徴とする装置。

2.前記複数の物体画像が、同じ絞り設定及び焦点距離を使用して異なる焦点位置で取り込んだ少なくとも2つの画像を含むことを特徴とする実施形態1に記載の装置。

3.前記コンピュータプロセッサ上で、前記被写体距離の推定に応じて前記装置の焦点を自動で調整するように実行可能なプログラムをさらに備えることを特徴とする実施形態1に記載の装置。

4.前記動きの補償中に、第1の画像からの少なくとも1つのブロックが、第2の画像に適合するものとして位置付けられることを特徴とする実施形態1に記載の装置。

5.前記動きの補償が、ブレカーネルによる1又はそれ以上の畳み込みに応じて行われてブレ差を特定するように構成されることを特徴とする実施形態1に記載の装置。

6.前記動きの補償が、2つの画像fi及びfjを順番に取り込み、i<jとして該順番において画像iを画像jよりも先に撮影したことを示し、‖・‖を、照合誤差の値を求めるノルム演算子とし、焦点領域fiをfjから得られる同じサイズのシフト領域と比較し、シフト量(xV,yV)が、水平方向及び垂直方向に所定のピクセル数を最大値とする場合、
に基づいて行われ、これにより、全てのシフト位置について、最小照合誤差を生じる1つの
が求められることを特徴とする実施形態1に記載の装置。

7.ブレ差が、画像fi又はfjのいずれが鮮明であるかに応じて、並びにI1及びI2を第1及び第2のブレ差値とし、fi及びfjを取り込んだ2つの画像とし、
を動き補償に応じて取り込んだ画像とし、Kをブレカーネルとする
及び
に応じて特定され、I2よりもI1の方が大きい場合にはfjよりもfiの方が鮮明であり、ブレ差がI1によって与えられ、逆にI1よりもI2の方が大きい場合にはI2の方が鮮明であり、ブレ差が−I2によって与えられ、ブレ差値の符号は、いずれの画像の方が鮮明であるかを示すことを特徴とする実施形態6に記載の装置。

8.前記ブレ差IA_Bが、Kを畳み込み演算とし、(x,y)をピクセル位置のシフト量とし、(xV,yV)を所与の検索範囲v内のピクセル位置のシフト量とし、fAを第1の写真、fBを第2の写真とする
として計算されることを特徴とする実施形態1に記載の装置。

9.前記ブレ差IA_Bが、Kを畳み込み演算とし、(x,y)をピクセル位置のシフト量とし、(xV,yV)が所与の検索範囲v内のピクセル位置のシフト量とし、fAを第1の写真、fBを第2の写真とし、
を、動き補償に対応する第2の写真とした場合、
とすることに応じて近似され、
の関係によりブレ差を特定することを特徴とする実施形態1に記載の装置。

10.被写体距離を推定するために前記第1及び第2の画像を一時的に取り込んで、ユーザが選択した画像が取り込まれて前記メモリに保持されるようにすることを特徴とする実施形態1に記載の装置。

11.前記画像照合曲線が、反復回数とレンズ焦点位置との関係を表現することを特徴とする実施形態1に記載の装置。

12.前記焦点照合モデルが、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するブレ差の4次元多項式関数を含むことを特徴とする実施形態1に記載の装置。

13.前記焦点照合モデルが、ブレ差照合曲線に適合させるための多次元多項式の係数を求めるステップと、適合誤差を特定して異常値を破棄するステップと、多項式適合がブレ差照合曲線との望ましい精度に収束するまで上記ステップを繰り返すステップとに応じて特定される多次元多項式関数を含むことを特徴とする実施形態1に記載の装置。

14.撮像装置が、静止画像カメラ、又は静止画像取り込みモードを有するビデオカメラを含むことを特徴とする実施形態1に記載の装置。

15.焦点照合モデルが、カメラの焦点設定範囲にわたって焦点距離、絞り、被写体の奥行き、及びズーム設定に関して撮影した一連の較正対象画像の中の較正対象画像を取得するステップと、前記画像の各々の間のブレ差照合曲線を特定するステップと、一連の較正目標画像のブレ差を照合するステップに基づいて前記多次元モデルを生成するステップとを含む特性解析を行うことにより生成されることを特徴とする実施形態1に記載の装置。

16.画像を電子的に取り込むための装置であって、カメラ装置内に配置された撮像要素と、前記撮像要素に結合された焦点制御要素と、前記撮像要素及び前記焦点制御要素に結合されたコンピュータプロセッサと、前記コンピュータプロセッサに結合され、前記撮像要素から取り込んだ画像を保持するとともに前記コンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、異なる焦点距離の範囲にわたって取り込んだ、反復回数とレンズ焦点位置との関係を表現する画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、前記コンピュータプロセッサ上で、(i)第1の画像と第2の画像という少なくとも2つの画像を、同じ絞り設定及び焦点距離を使用して異なる焦点位置において取り込み、(ii)前記2つの画像間の動きを補償し、(iii)前記2つの画像間のブレ差を特定し、(iv)前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定し、(v)前記被写体距離の推定に応じて前記焦点制御要素に焦点制御変化を伝えることにより前記カメラ焦点を自動的に調整するように実行可能なプログラムとを備えることを特徴とする装置。

17.前記動きの補償中に、前記第1の画像からの少なくとも1つのブロックが、第2の画像に適合するものとして位置付けられることを特徴とする実施形態16に記載の装置。

18.前記動きの補償が、ブレカーネルによる1又はそれ以上の畳み込みに応じて行われてブレ差を特定するように構成されることを特徴とする実施形態16に記載の装置。

19.前記多次元多項式関数が、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するブレ差の4次元多項式モデルを含むことを特徴とする実施形態16に記載の装置。

20.画像を電子的に取り込むためのカメラ装置内で被写体の奥行きを推定する方法であって、カメラ装置内で保持するための多次元焦点照合モデルを、異なる焦点距離の範囲にわたって取り込んだ画像照合曲線からのブレ差に適合する多次元多項式として生成するステップと、少なくとも第1及び第2の画像を含む複数の物体画像を取り込んで焦点距離及び絞りを登録するステップと、前記複数の物体画像間の動きを補償するステップと、前記複数の物体画像間のブレ差を特定するステップと、前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するステップとを含むことを特徴とする方法。

上記の説明は多くの詳細を含んでいるが、これらは本発明の範囲を限定するものではなく、現在のところ本発明の好ましい実施形態の一部を例示するためのものにすぎないと解釈すべきである。従って、本発明の範囲は、当業者にとって明らかになると考えられる他の実施形態も完全に含み、従って本発明の範囲は、添付の特許請求の範囲以外のいかなるものによっても限定すべきものではなく、特許請求の範囲では、単数形による要素への言及は、明述しない限り「唯一」を意味するものではなく、「1又はそれ以上」を意味することが意図されると理解できるであろう。当業者に周知の上述の好ましい実施形態の要素の構造上及び機能上の同等物は、引用により本明細書に明確に組み入れられ、本特許請求の範囲に含まれることが意図されている。さらに、本発明が解決しようとする個々の及び全ての問題は本特許請求の範囲に含まれるため、装置及び方法がこれらの問題に対応する必要はない。さらに、本開示の要素、構成要素又は方法ステップは、これらが特許請求の範囲に明示されているかどうかにかかわらず、一般に公開されることを意図するものではない。本明細書に記載される請求項の要素は、この要素が「〜のための手段」という表現を使用して明確に示されない限り、米国特許法112条第6項の規定により解釈すべきではない。

Claims (20)

  1. 画像を電子的に取り込むための装置であって、
    画像取り込み装置上に配置された撮像要素と、
    前記撮像要素に結合された焦点制御要素と、
    前記撮像要素及び前記焦点制御要素に結合されたコンピュータプロセッサと、
    前記コンピュータプロセッサに結合され、前記撮像要素から取り込んだ画像を保持するとともに前記コンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、
    異なる被写体距離にステップエッジ画像を配置し、異なる焦点距離及び絞り設定を使用することにより生成される画像照合曲線からのボケ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、
    前記コンピュータプロセッサ上で、
    (i)少なくとも第1及び第2の画像を含む複数の物体画像を取り込んで、該物体画像の焦点距離及び絞りを登録し、
    (ii)前記複数の物体画像間の動きを補償し、
    (iii)前記複数の物体画像間のボケ差を特定し、
    (iv)前記多次元焦点照合モデルにボケ差を適用したことに応じて被写体距離を自動的に推定する、
    ように実行可能なプログラムと、
    を備えることを特徴とする装置。
  2. 前記複数の物体画像が、同じ絞り設定及び焦点距離を使用して異なる焦点位置で取り込んだ少なくとも2つの画像を含む、
    ことを特徴とする請求項1に記載の装置。
  3. 前記コンピュータプロセッサ上で、前記被写体距離の推定に応じて前記装置の焦点を自動で調整するように実行可能なプログラムをさらに備える、
    ことを特徴とする請求項1に記載の装置。
  4. 前記動きの補償中に、前記第1の画像からの少なくとも1つのブロックが、前記第2の画像に適合するものとして位置付けられる、
    ことを特徴とする請求項1に記載の装置。
  5. 前記動きの補償が、ボケカーネルによる1又はそれ以上の畳み込みに応じて行われてボケ差を特定するように構成される、
    ことを特徴とする請求項1に記載の装置。
  6. 前記動きの補償が、2つの画像fi及びfjを順番に取り込み、i<jとして該順番において画像iを画像jよりも先に撮影したことを示し、‖・‖を、照合誤差の値を求めるノルム演算子とし、焦点領域fiをfjから得られる同じサイズのシフト領域と比較し、シフト量(xV,yV)が、水平方向及び垂直方向に所定のピクセル数を最大値とする場合、
    に基づいて行われ、これにより、全てのシフト位置について、最小照合誤差を生じる1つの
    が求められる、
    ことを特徴とする請求項1に記載の装置。
  7. ボケ差が、画像fi又はfjのいずれが鮮明であるかに応じて、並びにI1及びI2を第1及び第2のボケ差値とし、fi及びfjを取り込んだ2つの画像とし、
    を動き補償に応じて取り込んだ画像とし、Kをボケカーネルとする
    及び
    に応じて特定され、
    2よりもI1の方が大きい場合にはfjよりもfiの方が鮮明であり、前記ボケ差がI1によって与えられ、逆にI1よりもI2の方が大きい場合にはI2の方が鮮明であり、前記ボケ差が−I2によって与えられ、
    ボケ差値の符号は、いずれの画像の方が鮮明であるかを示す、
    ことを特徴とする請求項6に記載の装置。
  8. 前記ボケ差IA_Bが、Kを畳み込み演算とし、(x,y)をピクセル位置のシフト量とし、(xV,yV)を所与の検索範囲v内のピクセル位置のシフト量とし、fAを第1の写真、fBを第2の写真とする
    として計算される、
    ことを特徴とする請求項1に記載の装置。
  9. 前記ボケ差IA_Bが、Kを畳み込み演算とし、(x,y)をピクセル位置のシフト量とし、(xV,yV)が所与の検索範囲v内のピクセル位置のシフト量とし、fAを第1の写真、fBを第2の写真とし、
    を、動き補償に対応する前記第2の写真とした場合、
    とすることに応じて近似され、
    の関係によりボケ差を特定する、
    ことを特徴とする請求項1に記載の装置。
  10. 被写体距離を推定するために前記第1及び第2の画像を一時的に取り込んで、ユーザが選択した画像が取り込まれて前記メモリに保持されるようにする、
    ことを特徴とする請求項1に記載の装置。
  11. 前記画像照合曲線が、反復回数とレンズ焦点位置との関係を表現する、
    ことを特徴とする請求項1に記載の装置。
  12. 前記焦点照合モデルが、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するボケ差の4次元多項式関数を含む、
    ことを特徴とする請求項1に記載の装置。
  13. 前記焦点照合モデルが、
    前記ボケ差照合曲線に適合させるための前記多次元多項式の係数を求めるステップと、 適合誤差を特定して異常値を破棄するステップと、
    多項式適合が前記ボケ差照合曲線との望ましい精度に収束するまで上記ステップを繰り返すステップと、
    に応じて特定される多次元多項式関数を含む、
    ことを特徴とする請求項1に記載の装置。
  14. 前記撮像装置が、静止画像カメラ、又は静止画像取り込みモードを有するビデオカメラを含む、
    ことを特徴とする請求項1に記載の装置。
  15. 前記焦点照合モデルが、
    カメラの焦点設定範囲にわたって焦点距離、絞り、被写体の奥行き、及びズーム設定に関して撮影した一連の較正対象画像の中の較正対象画像を取得するステップと、
    前記画像の各々の間のボケ差照合曲線を特定するステップと、
    前記一連の較正目標画像の前記ボケ差を照合するステップに基づいて前記多次元モデルを生成するステップと、
    を含む特性解析を行うことにより生成される、
    ことを特徴とする請求項1に記載の装置。
  16. 画像を電子的に取り込むための装置であって、
    カメラ装置内に配置された撮像要素と、
    前記撮像要素に結合された焦点制御要素と、
    前記撮像要素及び前記焦点制御要素に結合されたコンピュータプロセッサと、
    前記コンピュータプロセッサに結合され、前記撮像要素から取り込んだ画像を保持するとともに前記コンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、
    異なる被写体距離にステップエッジ画像を配置し、異なる焦点距離及び絞り設定を使用することにより生成される画像照合曲線であって、反復回数とレンズ焦点位置との関係を表現する画像照合曲線からのボケ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、
    前記コンピュータプロセッサ上で、
    (i)第1の画像と第2の画像という少なくとも2つの画像を、同じ絞り設定及び焦点距離を使用して異なる焦点位置において取り込み、
    (ii)前記2つの画像間の動きを補償し、
    (iii)前記2つの画像間のボケ差を特定し、
    (iv)前記多次元焦点照合モデルにボケ差を適用したことに応じて被写体距離を自動的に推定し、
    (v)前記被写体距離の推定に応じて前記焦点制御要素に焦点制御変化を伝えることにより前記カメラ焦点を自動的に調整する、
    ように実行可能なプログラムと、
    を備えることを特徴とする装置。
  17. 前記動きの補償中に、前記第1の画像からの少なくとも1つのブロックが、前記第2の画像に適合するものとして位置付けられる、
    ことを特徴とする請求項16に記載の装置。
  18. 前記動きの補償が、ボケカーネルによる1又はそれ以上の畳み込みに応じて行われてボケ差を特定するように構成される、
    ことを特徴とする請求項16に記載の装置。
  19. 前記多次元多項式関数が、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するボケ差の4次元多項式モデルを含む、
    ことを特徴とする請求項16に記載の装置。
  20. 画像を電子的に取り込むためのカメラ装置内で被写体の奥行きを推定する方法であって、
    前記カメラ装置内で保持するための多次元焦点照合モデルを、異なる被写体距離にステップエッジ画像を配置し、異なる焦点距離及び絞り設定を使用することにより生成される画像照合曲線からのボケ差に適合する多次元多項式として生成するステップと、
    少なくとも第1及び第2の画像を含む複数の物体画像を取り込んで焦点距離及び絞りを登録するステップと、
    前記複数の物体画像間の動きを補償するステップと、
    前記複数の物体画像間のボケ差を特定するステップと、
    前記多次元焦点照合モデルにボケ差を適用したことに応じて被写体距離を自動的に推定するステップと、
    を含むことを特徴とする方法。
JP2011087956A 2010-04-13 2011-04-12 2写真照合に基づく奥行き推定のための4次元多項式モデル Active JP5273408B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/759,041 US8045046B1 (en) 2010-04-13 2010-04-13 Four-dimensional polynomial model for depth estimation based on two-picture matching
US12/759,041 2010-04-13

Publications (2)

Publication Number Publication Date
JP2011221535A JP2011221535A (ja) 2011-11-04
JP5273408B2 true JP5273408B2 (ja) 2013-08-28

Family

ID=44211869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011087956A Active JP5273408B2 (ja) 2010-04-13 2011-04-12 2写真照合に基づく奥行き推定のための4次元多項式モデル

Country Status (4)

Country Link
US (1) US8045046B1 (ja)
EP (1) EP2378760A3 (ja)
JP (1) JP5273408B2 (ja)
CN (1) CN102223477B (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
WO2010049004A1 (en) * 2008-10-31 2010-05-06 Hewlett-Packard Development Company, L.P. Method and digital imaging appliance adapted for selecting a focus setting
US8335390B2 (en) * 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering
JP5576739B2 (ja) * 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
US8970770B2 (en) 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
US8648959B2 (en) 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US8659697B2 (en) 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
WO2012083968A1 (en) * 2010-12-21 2012-06-28 3Shape A/S Motion blur compensation
US8508652B2 (en) * 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
US9065999B2 (en) * 2011-03-24 2015-06-23 Hiok Nam Tay Method and apparatus for evaluating sharpness of image
US9124797B2 (en) 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
US8666145B2 (en) * 2011-09-07 2014-03-04 Superfish Ltd. System and method for identifying a region of interest in a digital image
US8848094B2 (en) * 2011-12-01 2014-09-30 Sony Corporation Optimal blur matching selection for depth estimation
US9161010B2 (en) 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
US8929607B2 (en) * 2011-12-01 2015-01-06 Sony Corporation System and method for performing depth estimation utilizing defocused pillbox images
US8736747B2 (en) * 2012-01-13 2014-05-27 Sony Corporation Camera autofocus adaptive blur matching model fitting
US20130208107A1 (en) * 2012-02-14 2013-08-15 Nokia Corporation Apparatus and a Method for Producing a Depth-Map
WO2013124664A1 (en) * 2012-02-22 2013-08-29 Mbda Uk Limited A method and apparatus for imaging through a time-varying inhomogeneous medium
US9208570B2 (en) * 2012-03-28 2015-12-08 Sony Corporation System and method for performing depth estimation by utilizing an adaptive kernel
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
US9137526B2 (en) * 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
US8994809B2 (en) * 2012-07-19 2015-03-31 Sony Corporation Method and apparatus for simulating depth of field (DOF) in microscopy
US9066002B2 (en) 2012-08-29 2015-06-23 Sony Corporation System and method for utilizing enhanced scene detection in a depth estimation procedure
JP6214271B2 (ja) * 2012-09-12 2017-10-18 キヤノン株式会社 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体
CN103795933B (zh) * 2014-03-03 2018-02-23 联想(北京)有限公司 一种图像处理方法及电子设备
US9418432B2 (en) * 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
US9530214B2 (en) 2014-12-04 2016-12-27 Sony Corporation Image processing system with depth map determination based on iteration count of blur difference and method of operation thereof
US9639946B2 (en) * 2015-03-11 2017-05-02 Sony Corporation Image processing system with hybrid depth estimation and method of operation thereof
DE102015112380A1 (de) * 2015-07-29 2017-02-02 Connaught Electronics Ltd. Verfahren zum Bestimmen einer Entfernung von einer Kamera zu einem Objekt, Fahrerassistenzsystem und Kraftfahrzeug
US9646225B2 (en) * 2015-08-21 2017-05-09 Sony Corporation Defocus estimation from single image based on Laplacian of Gaussian approximation
US10277889B2 (en) * 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329875A (ja) 1995-06-01 1996-12-13 Hitachi Ltd 走査型電子顕微鏡及びその試料像表示方法
US7303131B2 (en) 2004-07-30 2007-12-04 Symbol Technologies, Inc. Automatic focusing system for imaging-based bar code reader
JP2006098771A (ja) * 2004-09-29 2006-04-13 Canon Inc 焦点検出装置、撮像装置、撮像システム及びレンズユニット
US7577309B2 (en) * 2005-06-18 2009-08-18 Muralidhara Subbarao Direct vision sensor for 3D computer vision, digital imaging, and digital video
US7929801B2 (en) 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
WO2007057808A2 (en) 2005-11-16 2007-05-24 Koninklijke Philips Electronics N.V. Blur estimation
JP2007199633A (ja) * 2006-01-30 2007-08-09 Olympus Corp 合焦検出装置
US20070189750A1 (en) 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
JP4990234B2 (ja) * 2008-07-07 2012-08-01 オリンパス株式会社 測距装置、測距方法、測距プログラム又は撮像装置
KR20100013171A (ko) * 2008-07-30 2010-02-09 삼성디지털이미징 주식회사 오토 포커스 영역의 움직임 보상 방법 및 장치, 이를이용한 오토 포커스 방법 및 장치
US8218061B2 (en) * 2008-09-04 2012-07-10 Csr Technology Inc. Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
US8194995B2 (en) 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching

Also Published As

Publication number Publication date
CN102223477B (zh) 2014-04-16
CN102223477A (zh) 2011-10-19
JP2011221535A (ja) 2011-11-04
EP2378760A2 (en) 2011-10-19
EP2378760A3 (en) 2012-12-05
US8045046B1 (en) 2011-10-25
US20110249173A1 (en) 2011-10-13

Similar Documents

Publication Publication Date Title
CN101713902B (zh) 快速的相机自动聚焦
US7957635B2 (en) Method and system for providing background blurring when capturing an image using an image capture device
US8027582B2 (en) Autofocus with confidence measure
US10009537B2 (en) Real time assessment of picture quality
CN101076085B (zh) 图像捕获方法和装置以及使用该装置的电子装置
CN102246505B (zh) 图像处理设备和图像处理方法以及数据处理设备和数据处理方法
JP5173954B2 (ja) 画像処理装置及び画像処理方法
US9071754B2 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
KR101233013B1 (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
US8508652B2 (en) Autofocus method
KR101093383B1 (ko) 영상 포착 장치를 위한 시스템 및 방법
KR101399012B1 (ko) 영상 복원 장치 및 방법
CN102172013B (zh) 抖动焦点的评估
JPH09181913A (ja) カメラシステム
CN105163033B (zh) 摄像设备、图像处理设备和图像处理方法
JP2007139893A (ja) 合焦検出装置
CN102640189A (zh) 用于估计场景中精确和相对物体距离的算法
US8199248B2 (en) Two-dimensional polynomial model for depth estimation based on two-picture matching
EP2526528B1 (en) Blur function modeling for depth of field rendering
US8368762B1 (en) Methods and apparatus for camera calibration based on multiview image geometry
JP5868183B2 (ja) 撮像装置及び撮像方法
US8335393B2 (en) Image processing apparatus and image processing method
JP4265029B2 (ja) 画像取り込み装置および交換レンズ
KR101341095B1 (ko) 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법
JP4322921B2 (ja) カメラモジュールおよびそれを備えた電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130430

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250