JP6447840B2 - 画像装置、及び画像装置における自動的な焦点合わせのための方法、並びに対応するコンピュータプログラム - Google Patents

画像装置、及び画像装置における自動的な焦点合わせのための方法、並びに対応するコンピュータプログラム Download PDF

Info

Publication number
JP6447840B2
JP6447840B2 JP2016538667A JP2016538667A JP6447840B2 JP 6447840 B2 JP6447840 B2 JP 6447840B2 JP 2016538667 A JP2016538667 A JP 2016538667A JP 2016538667 A JP2016538667 A JP 2016538667A JP 6447840 B2 JP6447840 B2 JP 6447840B2
Authority
JP
Japan
Prior art keywords
lens system
search
autofocus
image
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016538667A
Other languages
English (en)
Other versions
JP2017504826A (ja
Inventor
オナイ・ウルファリオウル
ジョヴァンニ・コルダラ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2017504826A publication Critical patent/JP2017504826A/ja
Application granted granted Critical
Publication of JP6447840B2 publication Critical patent/JP6447840B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、画像装置、並びに画像装置における自動的な焦点合わせのための方法、及びその方法を実行するためのプログラムコードを有する対応するコンピュータプログラムに関する。一般に、本発明はコンピュータ・ビジョン及びコンピュータ撮影の分野、詳細には、例えば撮影用カメラ、携帯電話、携帯スマートフォン等のような画像装置における自動的な焦点合わせに関する。
可変な焦点合わせを有する画像装置では、画像の顕著な領域とも呼ばれる、画像内の特定の関心領域に画像装置の画像システムのレンズ系を自動的に焦点合わせするために、自動焦点合わせの実装及び方法が大変多く提供される。通常、携帯装置の自動焦点合わせの実装は、画像の顕著な領域における鮮鋭度測定に基づく。
自動焦点合わせの実装は、低速のため、既存の携帯装置におけるカメラの大きな欠点の1つであると通常考えられている。画像センサの品質と解像度に依存して、自動焦点合わせは数秒まで必要なことがある。このやや大きな時間量は、特に画像対象が動いているときの画像品質とともに、ユーザ体験に否定的に影響することがある。
通常、携帯装置では、ユーザがカメラ付き携帯装置をある場面に向けるとき、自動焦点合わせの実装は、画像内の顕著な領域の鮮鋭度を反復的に最大化することを試みることによって常にアクティブである。顕著な領域又は関心領域は、装置の特定のパラメータに基づいて自動的に決定されるか、又はユーザによって手動で特定されるかのいずれかである。いくつかの実装は、反復的なプロセスにおける計算の複雑性を減らすために、低解像度の画像フレームで顕著な領域の鮮鋭度を計算する。一般に、ユーザの観点から、携帯装置の画像装置における自動焦点合わせの速度を改善することが望ましい。
一般に、最近の先行技術の携帯装置では、顕著な領域は、例えばこの領域に自動的に焦点合わせするために人間の顔を検出するいくつかの技術により、自動的に検出されるか、又は特定のユーザインターフェイスを通してユーザによって手動で選択される。
本発明の目的は、自動焦点合わせのために必要な平均時間を減らす概念を提供することである。
上記目的は、添付の独立請求項において提供される解決法によって達成される。有利な実装はそれぞれの従属請求項において定義される。
本発明の第1の態様は、第1レンズ系を有する第1画像システムと、第2レンズ系を有する第2画像システムと、探索パラメータに基づいて第1レンズ系及び第2レンズ系を用いて段階的な自動焦点合わせ探索を実行するよう適合された自動焦点合わせ制御装置と、を備え、前記自動焦点合わせ制御装置は、各々の自動焦点合わせ探索の段階の後に第1レンズ系及び第2レンズ系の各々について目的関数の結果を取得し、第1レンズ系及び第2レンズ系の各々について目的関数の取得された結果に依存して、探索パラメータを更新するようさらに適合された、画像装置を提供する。
先行技術に対する本発明による画像装置の利点は、画像装置の少なくとも2つの画像システムにおけるそれぞれのレンズ系の自動焦点合わせのために必要な減らされた平均時間であり、一方、画像の顕著な領域内で最大の鮮鋭度及び/又はコントラストを依然として提供する。用語、段階的は、反復的な自動焦点合わせ探索を定義することが意図され、ここで各々の自動焦点合わせの段階は、予め決定された中断条件が満たされるまで次の自動焦点合わせ探索の段階が続く。
第1の態様による画像装置の第1の実装形態では、前記自動焦点合わせ制御装置は、共通する初期探索範囲における所定の位置の第1レンズ系及び第2レンズ系の各々について目的関数の結果を最初に取得し、目的関数のそれぞれの取得された結果を保存された最良の結果として第1レンズ系及び第2レンズ系の各々について別々に保存するようさらに適合される。これにより、両レンズ系からの結果は自動焦点合わせ探索において使用され、それにより、それぞれの最良の結果が保存され、精度が向上されるようさらに使用される。
第1の態様の第1の実装形態の画像装置の第2の実装形態では、前記自動焦点合わせ制御装置は、取得された目的関数のそれぞれの最良の結果を、第1レンズ系及び第2レンズ系の各々について別々に保存し、自動焦点合わせ探索の段階の各々の後に目的関数のそれぞれの取得された結果を第1レンズ系及び第2レンズ系の各々について保存された最良の結果と比較するようさらに適合され、自動焦点合わせ制御装置は、前記比較の結果に依存して、探索パラメータを更新するようさらに適合される。これにより、自動焦点合わせ探索の精度はさらに向上されスピードアップされる。
第1の態様の第2の実装形態による画像装置の第3の実装形態では、前記自動焦点合わせ制御装置は、第1レンズ系又は第2レンズ系の一方について目的関数の取得された結果がこのレンズ系について保存された最良の結果と比較して低下していることを前記比較の結果が与えるならば、探索パラメータを更新するようさらに適合される。これにより、自動焦点合わせ探索はさらに加速される。
第1の態様の第3の実装形態による画像装置の第4の実装形態では、探索パラメータは前記自動焦点合わせ探索の共通する探索範囲であり、前記自動焦点合わせ制御装置は、探索パラメータを更新するとき、第1レンズ系及び第2レンズ系の一方について目的関数の取得された結果が低下していることを前記比較が与えるならば、それぞれの前の探索範囲より小さい新しい探索範囲を設定するようさらに適合される。これにより、探索精度と速度がさらに向上される。
第1の態様の第4の実装形態による画像装置の第5の実装形態では、前記自動焦点合わせ制御装置は、第1レンズ系又は第2レンズ系の、このレンズ系についての目的関数の取得された結果が低下している位置を新しい探索範囲の新しい境界として決定するようさらに適合される。これは自動焦点合わせ探索の精度と速度をさらに向上させる。
第1の態様の第5の実装形態による画像装置の第6の実装形態では、前記自動焦点合わせ制御装置は、目的関数の取得された結果が低下している移動方向を、レンズ系の段階的な自動焦点合わせ探索中に反転するようさらに適合される。これは自動焦点合わせ探索の速度をさらに向上させる。
第1の態様の第4、第5、又は第6の実装形態の1つによる画像装置の第7の実装形態では、前記自動焦点合わせ制御装置は、前記新しい探索範囲に基づいて前記第1レンズ系及び第2レンズ系の各々の前記自動焦点合わせ探索のステップ幅を決定するようさらに適合される。これにより、自動焦点合わせ探索の精度はさらに向上される。
第1の態様の第7の実装形態による画像装置の第8の実装形態では、前記自動焦点合わせ制御装置は、全体の自動焦点合わせ探索について有効である定数を用いて前記定数の値による新しい探索範囲の長さの値の除算に基づいて(例えば除算することによって)前記ステップ幅を決定するようさらに適合される。これは自動焦点合わせ探索の精度を単純なやり方でさらに向上させる。
第1の態様の第3から第8の実装形態の1つによる画像装置の第9の実装形態では、前記自動焦点合わせ制御装置は、新しい探索範囲を設定した後、それぞれのレンズ系が新しい探索範囲の外に位置するとき、第1レンズ系又は第2レンズ系の自動焦点合わせ探索を停止するようさらに適合される。これにより、自動焦点合わせ探索にさらに参加しないレンズ系はさらに移動しないので、システムリソースが節約され、それによって例えばバッテリ電力が節約されることが可能である。
第1の態様の第3から第8の実装形態の1つによる画像装置の第10の実装形態では、前記自動焦点合わせ制御装置は、新しい探索範囲を設定した後、それぞれのレンズ系が新しい探索範囲の外に位置するとき、第1レンズ系又は第2レンズ系を新しい探索範囲内に移動するようさらに適合される。これにより、自動焦点合わせ探索の精度がさらに向上されることが可能である。
第1の態様の第1から第10の実装形態の1つによる画像装置の第11の実装形態では、前記自動焦点合わせ制御装置は、予め設定された基準が満されるならば、前記自動焦点合わせ探索を終了するようさらに適合される。これは自動焦点合わせ探索の全体の速度が妥当な時間枠内に留まることを保証する。
第1の態様の第11の実装形態による画像装置の第12の実装形態では、前記基準は、新しい探索範囲が予め設定された閾値に入ること、自動焦点合わせの段階の数が予め設定された数に達すること、又は目的関数の取得された結果が保存された最良の結果に関して重大な変化を示さないこと、のうちの1つ又は複数である。本出願では、目的関数の取得された結果が保存された最良の結果から±10%、±5%、±1%又は±0.1%より大きく変化しないとき、目的関数の取得された結果は、もはや保存された最良の結果に関して重大な変化を示さないと理解されるものとする。これは、妥当な、すなわち短い時間枠で自動焦点合わせ探索の信頼できる良い結果を保証する。
第1の態様それ自体による、又は第1の態様の第1から第12の実装形態の1つによる画像装置の第13の実装形態では、画像装置は、第3レンズ系を有する第3画像システムをさらに備え、自動焦点合わせ制御装置は、探索パラメータに基づいて第3レンズ系を用いて段階的な自動焦点合わせ探索を実行するようさらに適合され、前記自動焦点合わせ制御装置は、各々の自動焦点合わせ探索の段階の後に第3レンズ系について目的関数の結果を取得し、第1レンズ系、第2レンズ系、及び第3レンズ系の各々の目的関数の取得された結果に依存して探索パラメータを更新するようさらに適合される。これは、2つより多くのレンズ系を有する画像装置における迅速で信頼できる自動焦点合わせ探索を保証する。
本発明の第2の態様は、第1レンズ系を有する第1画像システムと第2レンズ系を有する第2画像システムとを有する画像装置における自動的な焦点合わせのための方法を提供する。この方法は、探索パラメータに基づいて第1レンズ系及び第2レンズ系を用いて段階的な自動焦点合わせ探索を実行することを含み、前記実行するステップは、各々の自動焦点合わせ探索の段階の後に第1及び第2レンズ系の各々について目的関数の結果を取得するステップと、第1レンズ系及び第2レンズ系の各々について目的関数の取得された結果に依存して探索パラメータを更新するステップとを含む。本発明の第2の態様の方法は、本発明の第1の態様による画像装置及び上記で定義されたようなその各種実装における自動的な焦点合わせに特に適していることに注意しなければならない。
第2の態様の方法の第1の実装形態では、前記実行するステップは、共通する初期探索範囲における予め決定された位置において第1レンズ系及び第2レンズ系の各々について目的関数の結果を取得する初期ステップと、取得された目的関数のそれぞれの結果を保存された最良の結果として第1レンズ系及び第2レンズ系の各々について別々に保存するステップと、を含む。
第2の態様の第1の実装形態による方法の第2の実装形態では、この方法は、取得した目的関数のそれぞれの最良の結果を、第1レンズ系及び第2レンズ系の各々について別々に保存するステップと、各々の自動焦点合わせ探索の段階の後に、目的関数のそれぞれの取得された結果を第1レンズ系及び第2レンズ系の各々について保存された最良の結果と比較するステップとをさら含み、前記探索パラメータを更新するステップは、前記比較するステップの結果に依存して実行される。
第2の態様の第2の実装形態による方法の第3の実装形態では、前記探索パラメータを更新するステップは、第1レンズ系及び第2レンズ系の一方について目的関数の取得結果がこのレンズ系について保存された最良の結果と比較して低下していることを前記比較の結果が与えるならば実行される。
第2の態様の第3の実装形態による方法の第4の実装形態では、探索パラメータは、前記自動焦点合わせ探索の共通する探索範囲であり、前記探索パラメータを更新するステップは、第1レンズ系及び第2レンズ系の一方について目的関数の取得された結果が低下していることを前記比較が与えるならば、それぞれの前の探索範囲より小さい新しい探索範囲を設定するステップを含む。
第2の態様の第4の実装形態による方法の第5の実装形態では、前記設定するステップにおいて、第1レンズ系又は第2レンズ系の、このレンズ系について目的関数の取得された結果が低下している位置が、新しい探索範囲の新しい境界として決定される。
第2の態様の第5の実装形態による方法の第6の実装形態では、レンズ系の段階的な自動焦点合わせ探索中に目的関数の取得された結果が低下している移動方向が反転される。
第2の態様の第4、第5又は第6の実装形態の1つによる方法の第7の実装形態では、前記第1レンズ系及び第2レンズ系の各々の前記自動焦点合わせ探索のステップ幅は、前記新しい探索範囲に基づいて決定される。
第2の態様の第7の実装形態による方法の第8の実装形態では、前記ステップ幅は、全体の自動焦点合わせ探索について有効である定数を用いて前記定数の値の新しい探索範囲の長さの値の除算に基づいて(例えば除算することによって)決定される。
第2の態様の第3から第8の実装の1つによる方法の第9の実装形態では、第1レンズ系又は第2レンズ系の自動焦点合わせ探索は、新しい探索範囲を設定した後にそれぞれのレンズ系が新しい探索範囲の外に位置したとき、停止される。
第2の態様の第3から第8の実装形態の1つによる方法の第10の実装形態では、第1レンズ系又は第2レンズ系は、新しい探索範囲を設定した後にそれぞれのレンズ系が新しい探索範囲の外に位置したとき、新しい探索範囲内に移動される。
第2の態様の第1から第10の実装形態の1つによる方法の第11の実装形態では、自動焦点合わせ探索は、予め決定された基準が満たされるならば、終了される。
第2の態様の第11の実装形態による方法の第12の実装形態では、前記基準は、新しい探索範囲が予め設定された閾値に入ること、自動焦点合わせの段階の数が予め設定された数に達すること、又は目的関数の取得された結果が保存された最良の結果に関して重大な変化を示さないこと、のうちの1つ又は複数である。
第2の態様それ自体による、又は第2の態様の第1から第12の実装形態の1つによる方法の第13の実装形態では、画像装置は第3レンズ系を有する第3画像システムをさらに備え、段階的な自動焦点合わせ探索は探索パラメータに基づいて第3レンズ系でさらに実行され、第3レンズ系についての目的関数の結果は、各々の自動焦点合わせ探索の段階の後に取得され、探索パラメータは、第1レンズ系、第2レンズ系、及び第3レンズ系の各々の目的関数の取得された結果に依存して更新される。
本発明の第3の態様は、コンピュータプログラムがコンピュータ上で動作するとき、本発明の第2の態様による方法並びに本発明の第2の態様の実装形態のいずれか1つを実行するためのプログラムコードを有するコンピュータプログラムを提供する。
上記の本発明の第1、第2、及び第3の態様は、上記の目的を有利なやり方で解決する。さらに、有利であるが任意選択の実装が、各種の上記の実装形態において定義される。本発明は、具体的には、少なくとも、第1レンズ系を有する第1画像システムと第2レンズ系を有する第2画像システムとを備える画像装置において自動焦点合わせ位置に達するために必要な平均時間を減らし、又は最小化することさえ可能にする技術的フレームワーク及び技術的解決法を提供する。本発明は、それぞれ第1及び第2レンズ系を有する第1及び第2画像システムを有する画像装置に限定されず、それぞれ第1、第2、及び第3レンズ系を有する第1、第2、及び第3画像システムを有する、又はそれぞれのレンズ系を有するさらなる追加の画像システムさえ有する画像装置のために実装されることが可能であることが理解されなければならない。さらに、本発明は、単一の画像のみが画像システムの1つによって取得される画像実装に、また、2つ以上の画像が取得され、各々の画像が画像システムの1つから取得される解決法に適用されることが可能である。本発明の具体的な利点は、最も先鋭な(又はよりコントラストの強い)レンズ位置を発見するために、目的関数を最適化するために、画像装置の2つ(又はそれ以上)のレンズ系が、単一の自動焦点合わせ制御装置によって制御され、一方、自動焦点合わせ探索中に同時にかつ独立に移動されることが可能であることを含み、従って平均の自動焦点合わせ時間を減らし、又は最小化さえする。通常、平均の自動焦点合わせ時間は、画像装置のソフトウェア及びハードウェアに従って可変である2つの主要な要因、すなわち、目的関数を計算するために必要な時間と、自動焦点合わせ探索中にレンズ系を移動することによってカバーされる距離に依存する。本発明は、各々の画像装置の構成について最適な解決法を特定するために両方の要因を考慮することを許容する。レンズ系のそれぞれの位置に依存して、レンズ系のいずれか1つが焦点が合った位置に変わるか、又は両方(又はより多く)のレンズ系が共に同じ焦点が合った位置に交わることになる。両方(又はより多く)のレンズ系が共に自動焦点合わせ探索プロセスに関わるので、最適な焦点が合った位置を見出すために必要な平均時間が減らされる。
本発明の利点の1つは、第1レンズ系及び第2レンズ系(並びに存在するならば追加のレンズ系)の共同で調整された制御、すなわち、第1レンズ系及び第2レンズ系(並びに存在するならばさらなるレンズ系)の各々について目的関数の取得された結果に依存して探索パラメータを更新することである。これにより、各々の自動焦点合わせ探索の段階の後に本レンズ系の各々について目的関数の結果が探索パラメータを更新するために、従って自動焦点合わせ探索の次の(続く)段階のために考慮される。これにより、自動焦点合わせプロセスの速度が従来システムと比較して向上されることが可能である。さらなる利点は、第1レンズ系及び第2レンズ系(並びにさらなる潜在的なレンズ系)が独立に探索範囲の異なる部分、すなわち異なる焦点合わせ領域において移動されることが可能であることである。
本出願に記載された全ての装置、要素、ユニット、及び手段は、ソフトウェア又はハードウェア要素又はそのあらゆる種類の組み合わせで実装されることが可能であることに注意しなければならない。本出願に記載された各種エンティティによって実行される全てのステップ並びに各種エンティティによって実行されるように記載された機能は、それぞれのエンティティがそれぞれのステップ及び機能を実行するよう適合され、又は構成されることを意味するように意図される。特定の実施例の以下の記載において、外部エンティティによって完全に形成される特定の機能又はステップは、その特定のステップ又は機能を実行するそのエンティティの特定の詳細な要素の記載において反映されないとしても、これらの方法及び機能はそれぞれのソフトウェア又はハードウェア要素又はそれらのあらゆる種類の組み合わせにおいて実装されることが可能であることは、当業者には明確であるはずである。
本発明の上記の態様及び実装は、添付図面に関して特定の実施例の以下の記載において記載される。
本発明の第1の実施例による画像装置の概略図を示す。 本発明の第2の実施例による画像装置の概略図を示す。 図1に示される第1の実施例による画像装置のより詳細な実装を示す。 本発明による画像装置における自動的な焦点合わせのための方法のフローチャートを示す。 図4に示す方法の新しいレンズ位置を計算するステップの特定の実装のフローチャートを示す。 本発明の方法による画像装置において実行される自動焦点合わせ探索の例示の図を示す。 本発明の方法による画像装置において実行される自動焦点合わせ探索のさらなる例示の図を示す。
本発明の実施例の詳細な記載が与えられる前に、本発明の概念を理解するためのいくつかのさらなる全般的な注意が与えられる。
本出願の主題は、2つ以上の画像システム、すなわち2つ以上のカメラ実装を有する、撮影用カメラ、携帯カメラ、携帯電話、携帯スマートフォン等のような、携帯装置における又は携帯装置のための画像装置である。そのような装置において、自動焦点合わせプロセスをスピードアップするために、各々の画像システム及びカメラの各々の自動焦点合わせを同時にかつ独立に制御することが可能である。
本発明による画像装置における自動焦点合わせ技術は、例えば画像システムの画像センサに対してレンズ系を移動させるための小型サーボモータによって実装されることが可能である。画像センサに関するレンズ系の各々の相対位置について、指定された顕著な領域内で画素の強度が測定される。これにより、レンズ系のそれぞれの相対位置について、顕著な領域内で検出された画素の強度に基づいて鮮鋭度を測定する目的関数が計算される。一般に、この目的関数は、顕著な領域内の鮮鋭度及び/又はコントラストの測定を計算する。本発明の実施例内で、強度の変量、2乗勾配の合計、又は2乗強度の合計等の関数のような異なる既存の目的関数が使用されることが可能である。
本発明の実施例において使用されることが可能である目的関数Oのいくつかの例は、予め定義された閾値θより大きい一次導関数の絶対値の合計
Figure 0006447840
であり、ここでi(x,y)は、位置(x,y)における画素のグレーレベル強度、x及びyはそれぞれ、横軸及び縦軸の座標であり、
|i(x+1,y)−i(x,y)|>θ
であり、又は画像の画素中の変動
Figure 0006447840
であり、ここで、H及びWはそれぞれ顕著な領域の画素の水平及び垂直の解像度を表現し、μは顕著な領域上の平均強度を示し、又は顕著な領域の画素の自己相関
Figure 0006447840
である。しかしながら、本発明において、上記のもののうちの1つのみでなくいかなる目的関数Oも顕著な領域内の鮮鋭度を計算するために適用されることが可能である。
一般に、目的関数を最大化するレンズ位置が自動焦点合わせの結果であるように選ばれる。
図1は、本発明による画像装置100の第1の実施例の概略ブロック図を示す。画像装置100は、第1レンズ系112を有する第1画像システム110と、第2レンズ系122を有する第2画像システム120と、第1レンズ系112及び第2レンズ系122を用いて探索パラメータに基づいて段階的な自動焦点合わせ探索を実行するよう適合された自動焦点合わせ制御装置130とを備える。自動焦点合わせ制御装置130は、各々の自動焦点合わせ探索の段階の後に、第1レンズ系112及び第2レンズ系122の各々について目的関数の結果を取得し、第1レンズ系112及び第2レンズ系122の各々について目的関数の取得された結果に依存して探索パラメータを更新するようさらに適合される。
画像装置100は、ポータブルカメラ、携帯電話、スマートフォン、タブレット、又は第1レンズ系112及び第2レンズ系122を有する画像機能を有するあらゆる他の装置又は機器として実現されることが可能である。
画像装置100のさらなる実施例において、画像装置100は、例えば(これに限らないが)画像センサ、レンズ系アクチュエータ、記憶手段、プロセッサ等のような、図1に示すもの以上の技術要素を備える。
一般に、本発明は画像装置100における迅速かつ効率的な自動焦点合わせの実装に関する。自動焦点合わせは本質的に、レンズ系112、122を画像中の指定された関心領域(顕著な領域)に自動的に焦点合わせする方法又は技術である。画像は、画像装置による現実世界又は合成シーンの視覚表現である。画像という語句の代わりに、写真という語句も時々用いられる。自動焦点合わせプロセス又は実装は、指定された関心領域の鮮鋭度及び/又はコントラストを最大化することを目指す目的関数の最適化を伴う。焦点合わせすることは、それぞれのレンズ系112、122の1つ以上のレンズの画像センサに関するある最適化された位置への移動を伴う。この位置は、焦点が合ったレンズ位置と呼ばれる。さらに、指定された関心領域は顕著な領域と呼ばれることがあり、これは、ユーザにとって最も関心の高い内容を描写する画像内の領域である。自動焦点合わせ探索中、鮮鋭度及び/又はコントラストは、関連する目的関数の結果を最大化するために、顕著な領域内で段階的に反復的に測定される。顕著な領域は自動的に検出されることが可能であり、又はユーザによって手動で選択されることが可能である。目的関数は、それぞれのレンズ位置についてコントラスト及び/又は鮮鋭度の値を測定及び取得するために、各々の候補レンズ位置についての各々の自動焦点合わせ探索の段階の後に計算されるべき関数である。本発明の枠内で計算されるべき目的関数は、従来の目的関数の1つに対応し、従来の目的関数の1つであることが可能であることに注意すべきである。レンズ系112、122の各々についての各々の自動焦点合わせ探索の段階において画像鮮鋭度(及び/又はコントラスト)についてのむしろ迅速であるが信頼できる結果を提供する、あらゆる好適な目的関数が使用されることが可能である。目的関数によって測定され、計算される鮮鋭度は、顕著な領域における画像強度の平均変化又は平均導関数の率に比例し、画像が鮮鋭なほど、コントラストに等価な平均導関数は大きくなる。従って、鮮鋭度を測定すること及び計算することは、顕著な領域においてコントラストを測定すること又は計算することに等価である。言及したように、顕著な領域は捕捉された画像の指定された関心領域である。本発明はデジタル画像装置に適用され、ここで画像は二次元配列の画素の要素からなる電子チップの形態の画像センサによって捕捉される。これにより画素は最小のアドレス指定可能な画像又は写真の要素である。それぞれの電子チップがそれぞれ第1画像システム110と第2画像システム120内に配置される。このチップは、それぞれ第1レンズ系112と第2レンズ系122とを介して光に露出され、各々の色及び画素について光の強度を決定する。結果として生じる色の値の配列は、それぞれの記憶装置又はメモリ要素内に画像として保存される。そして目的関数の結果は顕著な領域内のこれら色の値を用いて計算される。本発明は、画像装置100において少なくとも2つの画像システム110、120が提供される技術に適用される。画像システム110、120の各々は同じシーンのそれぞれ異なる視野を同時に捕捉し、それによって一組の画像が保存される。又は言い換えると、2つの画像システムは重なり合った視界を持つことが可能である。顕著な領域は、画像システム110、120の両方によって同時に捕捉されることが可能である。そして目的関数は、第1及び第2レンズ系112、122の各々のレンズ位置についてそれぞれ別々に計算される。言い換えると、第1レンズ系112について目的関数の結果は各々の自動焦点合わせの段階において取得され、第2レンズ系122について目的関数の結果は各々の自動焦点合わせの段階の後に取得される。そして目的関数の両方の結果は、(共通)探索パラメータを更新するために自動焦点合わせ制御装置130によって共通にかつ同時に使用される。
本発明は第1画像システム110及び第2画像システム120を有する画像装置に限定されず、2つより多くの画像システムを有する画像装置に言及することが可能であることに注意しなければならない。本発明の画像装置100’のさらなる実施例の例を図2に示す。画像装置100’は、第1画像システム110と、第2画像システム120と、第3画像システム140とを備える。第3画像システム140は、第3レンズ系142を備える。第1画像システム110と第2画像システム120とは図1に示す実施例の画像装置100に関して図示され説明されたものに対応する。全ての対応する説明は同じように適用される。これに加えて、図2に示す画像装置100’は、第3レンズ系142を有する第3画像システム140を備える。第3画像システム140の機能及び特性は第1及び第2画像システム110、120のものにそれぞれ対応する。第1レンズ系112及び第2レンズ系122に関する全ての特徴及び特性は、第3画像システム140の第3レンズ系142に同じように適用される。図2の画像装置100’の場合、各々の自動焦点合わせ探索の段階における目的関数の結果は、第1、第2、及び第3画像システム110、120、140の各々について別々に取得され、自動焦点合わせ探索の探索パラメータは、図1の画像装置100に関して説明されたのと同じやり方で目的関数のこれら3つの結果の各々を考慮し、依存して更新される。
図3は、図1の実施例の画像装置100のより詳細な図を示す。画像装置100の第1画像システム110は言及した第1レンズ系112並びに第1レンズドライバ114を備え、第1レンズドライバ114は、第1レンズ系112の1つ以上の移動可能なレンズの位置を変更するために、自動焦点合わせ制御装置130によって制御される。第1画像システム110は、第1レンズ系112によって提供される画像を捕捉する第1画像センサ116をさらに備える。そして、第1画像センサ116によって捕捉された画像データは、自動焦点合わせ制御装置130に供給される。より具体的には、自動焦点合わせ制御装置130の第1鮮鋭度測定ブロック132は、第1画像センサ116によって提供される画像の顕著な領域についての目的関数の結果を計算して出力し、自動焦点合わせ制御装置130の処理要素136にこの結果を提供するよう適合される。同様に、第2画像システム120は、自動焦点合わせ制御装置130の制御下で第2レンズ系122の1つ以上の移動可能なレンズの位置を変更する第2レンズドライバ124を備える。第2画像システム120は、第2レンズ系122によって提供される画像を捕捉する第2画像センサ126をさらに備え、画像データを自動焦点合わせ制御装置130の第2鮮鋭度測定ブロック134に供給する。第2鮮鋭度測定ブロック134は顕著な領域内の目的関数の結果を計算し、結果を自動焦点合わせ制御装置130の処理要素136に供給する。第2鮮鋭度測定ブロック134の機能及び特徴は、第1鮮鋭度測定ブロック132のものと同一である。同様に、第2画像センサ126の機能及び特性は、第1画像センサ116のものに対応する。第1レンズドライバ114に関する第2レンズドライバ124の機能及び特徴についても同じである。鮮鋭度測定ブロック132、134は、自動焦点合わせ制御装置130の処理要素136の一部である、あるいは示されるように別々の要素において具現化されることが可能であることに注意しなければならない。本発明による画像装置100’が第3画像システム140又はさらに多くの画像システムを備える場合、これらは図3に示されるように画像システム110及び120と同じやり方で構築されるであろう。そして、この場合、自動焦点合わせ制御装置130は対応する第3又はさらなる鮮鋭度測定ブロックとそれぞれの必要な機能を備えるであろう。
本発明における画像装置100における全体の画像捕捉プロセスは、まず初期ステップにおいて顕著な領域を決定することによって開始される。これは、例えば画像システム110、120、140の全てについて並行して行われる顔検出による自動的な方法を含む、又は対応するユーザ入力による手動的な、あらゆる好適な方法によって実装されてよい。自動の場合、画像システム110、120等の各々についての顕著な領域は、例えばこれらが全ての視野で同じシーンの内容をカバーすることを保証するために、自動焦点合わせ制御装置130において実行される単純なディスパリティ推定検査によって検証される。手動の場合、顕著な領域は、まず、例えば第1画像システム110のみによって提供される1つの単一の視野について決定される。基本的なディスパリティ推定を適用することによって、第2画像システム120によって、最終的には第3画像システム140等によって提供される他の全ての視野における顕著な領域が自動焦点合わせ制御装置130において決定される。そして、それぞれ第1及び第2鮮鋭度測定ブロック132及び134における顕著な領域の各々について取得される目的関数の結果は、共に、それぞれ第1及び第2レンズ系112及び122の各々における少なくとも1つの移動可能なレンズの位置を制御するために使用される。従って、各々の自動焦点合わせ探索の段階における各々の移動可能なレンズ位置の更新は、画像システム110、120の各々について各々の前の自動焦点合わせ探索の段階において取得された目的関数の一緒にされた結果に基づく。自動焦点合わせ制御装置、より具体的には処理要素136は、各々の自動焦点合わせ探索の段階の後に、各々の反復の後の中断条件について検査することによって、自動焦点合わせ探索の段階の反復数を制御するようさらに構成される。中断条件は、レンズ系112、122(及び最終的には142)のうちの少なくとも1つが焦点が合った位置に収束した場合に満たされる。
図4は、本発明による画像装置100、100’における自動的な焦点合わせのための方法400のフローチャートを示す。例えば、本発明の画像装置100、100’の電源オン又は画像装置100、100’のカメラ・アプリケーションの開始である開始ステップ405の後に、上記で説明されたあらゆる利用可能な自動又は手動の方法を使用して、画像の顕著な領域が第1画像システム100について検出される。この検出ステップ410は、自動焦点合わせ制御装置130内で自動焦点合わせ制御装置130によって実行される。そして、続くステップ420において第2画像システム120について同じ顕著な領域が選ばれる。このステップ420も自動焦点合わせ制御装置130内で自動焦点合わせ制御装置130によって実行される。第2画像システム120について対応する顕著な領域を見出すために、あらゆるディスパリティ推定方法、例えば単純なブロックマッチングが使用されることが可能である。自動焦点合わせ制御装置130によって、対応するレンズドライバ114、124と協働して実行される続くステップ430において、それぞれ第1及び第2画像システム110及び120の第1レンズ系112及び第2レンズ系114の移動可能なレンズについて初期レンズ位置が設定される。これにより、両レンズ系112、122の移動可能なレンズが同じ探索範囲を共有し、すなわち、各々の移動可能なレンズの探索範囲は全体の探索範囲と同じであることに注意すべきである。探索範囲は、それぞれ第1及び第2レンズ系112及び122における移動可能なレンズの各々の移動可能な範囲である。例えば、全体の正規化された探索範囲が0から1の間に設定されるならば、第1レンズ系112における移動可能なレンズの初期位置は0.25であることが可能であり、第2レンズ系122の移動可能なレンズの初期位置は、例えば0.75であることが可能である。そして、次のステップ440において、目的関数の結果が第1画像システム110と第2画像システム120の各々について別々に計算される。これにより、それぞれの顕著な領域の画素が使用され、目的関数の結果は第1画像システム110について第1鮮鋭度測定ブロック132によって計算され、第2画像システム120についての目的関数の結果は、第2鮮鋭度測定ブロック134によって計算される。そして、自動焦点合わせ制御装置130において、例えば処理要素136において、次のステップ450が実行され、すなわち、第1及び第2レンズ系112、122の各々についてそれぞれの新しいレンズ位置の算出が、第1及び第2鮮鋭度測定ブロック132、134の各々によって供給された目的関数の計算の結果を使用して計算される。
これにより、例えば、前に記載された目的関数Oの例、又は顕著な領域において鮮鋭度の算出を可能にするあらゆる他の好適な凸目的関数の計算のような従来のあらゆる凸目的関数の計算が使用されることが可能である。そして、自動焦点合わせ制御装置130は、レンズドライバ114、124を制御して、移動可能なレンズをそれぞれ第1レンズ系112及び第2レンズ系122における新しいレンズ位置に移動させる。これは、図4のフローチャートにおいて、第1及び第2レンズ系112、122のレンズそれぞれの移動を可視化するステップ452と454によって反映されている。その後、自動焦点合わせ制御装置130によって実行される続くステップ460において、例えば処理要素136において、予め設定された中断基準に達したかどうかが検査される。予め設定された中断基準は、例えば、自動焦点合わせ探索の段階の反復の最大数に達したとき、又は探索間隔が全体の初期間隔範囲に関して非常に小さくなったとき、又は目的関数の結果がもはや大きく変化しない場合であることが可能である。例えば、自動焦点合わせ探索は、例えば30回の最大反復数に達したときに中断されることが可能である。その代わりに、更新された探索間隔の長さが、初期探索間隔の長さと比較して非常に小さくなった、例えば、初期探索間隔の長さの10%又は初期探索間隔の長さの1%になったならば、自動焦点合わせ探索は中断される。中断基準に達したならば、ステップ480において対応する決定が行われ、そしてステップ490において自動焦点合わせ探索が中断され、ステップ490において自動焦点合わせ探索の結果が取得される。これらのステップは自動焦点合わせ制御装置130において、例えば処理要素136において実行される。ステップ460において中断基準に達しないならば、ステップ470で対応する決定がなされ、プロセスは440に戻って、第1及び第2レンズ系112、122について、それぞれ新しく決定されたレンズ位置について目的関数結果を計算する。
図5は、本発明の画像装置100、100’の自動焦点合わせ制御装置130において実行されるステップ450の詳細な実装の実施例の概略フローチャートを示す。
ステップ450への入力として、方法400のステップ440において計算された、第1レンズ系112の目的関数の結果500及び第2レンズ系122の目的関数の502の結果が使用される。
そして、それぞれ続くステップ510及び512において、レンズ位置についての目的関数の結果が最良のレンズ位置として目的関数のそれぞれの結果と共にメモリ又はストレージ内に保存される。図5に可視化されたように、最良のレンズ位置及び目的関数の対応する結果は、第1レンズ系112及び第2レンズ系122の各々について別々に保存されることに注意しなければならない。これにより、最良のレンズ位置は例えば移動可能なレンズの現在位置である。
図5に示される自動焦点合わせ制御装置130によって実行されるフローチャートとステップがそれに対応して各々の自動焦点合わせ探索の段階の後に反復的に実行され、初期ステップにおいて、それぞれ第1及び第2画像システム110及び120についてそれぞれステップ500及び502において取得された目的関数の結果は、初期レンズ位置の結果であることに注意しなければならない。第1の自動焦点合わせ探索の段階の後に、ステップ500及び502において取得された目的関数の結果は、レンズ位置が変更された後に取得されたものである。この場合、ステップ510及び512において、それぞれ第1及び第2画像システム110及び120について取得された目的関数の結果は、第1及び第2画像システム110及び120の各々について前に保存された最良の結果と比較される。それぞれ第1及び第2画像システム110及び120の各々について取得された目的関数の新しい結果が前に保存された最良の結果より個別に良いならば、最良の結果が更新される。これは第1及び第2画像システム110及び120の各々について個別に行われる。そしてステップ520において、それぞれ第1及び第2画像システム110及び120の2つの最良の結果が比較され、そして良い方の結果が両方の画像システム110及び120の全体的な最良の結果として保存される。そしてこの全体的な最良の結果は、対応するレンズ位置と共に保存される。これにより、更新されたレンズ位置を単純にレンズの現在位置に現在のステップサイズを加えたものであってよい。ステップサイズは自動焦点合わせ探索の段階のステップサイズであり、これは開始位置が「0」であると見なされるならば、正または負であり得る。新しい反復において、探索方向に変化がないならばステップサイズは常に正であり、そうでないならばそれは負である。それぞれ第1及び第2レンズ系112及び122の一方が目的関数の減っている結果を与えるならば、これは最適な焦点合わせ位置を過ぎたことを意味する。この場合、これは個別に第1レンズ系112及び第2レンズ系122についてステップ530及び532において検出され、減っている結果を与えるレンズ系の自動焦点合わせ探索の方向は変更され、自動焦点合わせ探索の段階の続きのためにレンズは反対方向に移動される。ステップ530及び/又は532に
おいて、それぞれの目的関数の結果における改善が依然としてあると判断されたならば、レンズ探索方向は変更されない。しかしながら、レンズ方向がレンズ系112及び122の一方又は両方について変更されたならば、新しい探索範囲が決定される。
従って、更新された探索パラメータは、第1及び第2レンズ系112、122の各々を用いて実行される自動焦点合わせ探索の共通する探索範囲である。ステップ530及び532の一方又は両方において探索方向の変更が決定された後に、新しい探索範囲が決定され、これはそれぞれの前の探索範囲より小さい。これにより、その探索方向が変更されたレンズ系112、122のレンズ位置は、新しい探索範囲の新しい上方又は下方の境界とされる。次のステップ540において、全体的な探索間隔が更新され、全体的な探索間隔が第1及び第2レンズ系112、122によって同時に使用される共通する探索間隔である。しかしながら、この反復的な自動焦点合わせ探索プロセス中、レンズ位置の一方が突然に新しい探索間隔の外にあることが起こる可能性があり、これは他方のレンズ系が最適な焦点が合った位置に非常に近いという事実によるものである。この場合、新しい全体的な探索間隔の外にあるレンズ系は、例えばエネルギーを節約するために残りの自動焦点合わせの反復について捨てられてよく、又は探索プロセスをサポートし続けるために、新しい探索間隔に移動されることが可能である。ステップ540において全体的な探索間隔を更新した後に、自動焦点合わせ探索のステップサイズも新しい全体的な探索間隔と次のステップ550に依存して、かつ従って更新される。これにより、第1及び第2レンズ系112、122の移動可能なレンズの次の位置が新しい探索の境界の外にないように、ステップサイズが選ばれる。例えば、ステップサイズは、それぞれの現在の探索範囲の距離又は間隔を定数の値で単に除算することによって決定されることが可能である。この定数の値は、自動焦点合わせ探索が引き続き洗練されるように、より小さい新しい探索間隔が結果としてより小さい探索ステップになるように、全体の自動焦点合わせの反復中、常に同一であることが可能である。新しい全体的な探索間隔と新しいステップサイズ並びに第1及び第2レンズ系112、122における移動可能なレンズについての探索方向を決定した後に、第1及び第2レンズ系112、122における移動可能なレンズについての次のレンズ位置がステップ560及び562において計算される。
そして、方法400のステップ452、454においてレンズ系の新しい位置が調整される。そしてプロセスはステップ440に戻り、ここで新しいレンズ位置について第1及び第2レンズ系112、122の各々について目的関数の結果が計算され、図4に示されるステップ460による中断基準に達するまで、図4及び図5におけるフローチャートによる反復プロセスが続く。
全体の自動焦点合わせ時間を最小化するために自動焦点合わせ探索におけるステップサイズと探索間隔の算出が選ばれ、選択される。レンズを移動させるサーボモータが遅い装置において(主にスマートフォンについて起きる)、最適化プロセス中、多数の反復を費やして第1及び第2レンズ系112、122の移動レンズの平均でカバーされるレンズ距離が最小化される。これらパラメータは、カバーされるレンズ距離と反復数の間の最適なトレードオフを見出すために調整されるべきである。例として、ステップサイズを増加させることは、一般に、より大きなカバーされる距離に導くが、同時に要求される反復数を減らす。
図6と図7は第1レンズ系112と第2レンズ系122によって実行される自動焦点合わせの段階の反復の例示の図を示す。探索範囲は縦軸であり、反復数は示された図の横軸である。図6において、正方形の並び600は第1レンズ系112の移動可能なレンズの反復の段階の例であり、丸いドットの並び610は第2レンズ系122の移動可能なレンズの反復の段階の例である。上記の例において説明されたように、第1レンズ系112は探索範囲内の0.75の位置で開始し、第2レンズ系122は探索範囲の0.25の位置で開始する。(例えば、単一のレンズ又は複数のレンズの形態における)第1レンズ系112は方向を変えずに同じ方向(図において下向き)に移動される。一方で、(例えば、単一のレンズ又は複数のレンズの形態における)第2レンズ系122は自動焦点合わせ反復のポイントaの後に1回目、ポイントbの後に2回目、ポイントcで3回目、ポイントdで最後にその探索方向を変更する。これは、第2レンズ系122が、目的関数について最良の結果を与える焦点が合った位置に向かって効率的に収束するものであることを示す。この例では、図6に示されるように20回の反復の後にこの結果に達した。第1レンズ系112は、第2レンズ系122の方向の変更から続く減少するステップサイズで、最良の焦点が合った位置に向かって移動するが、第2レンズ系122が焦点が合った位置に最初に到達しているので、これに到達しない。図6の示された例では、焦点が合った位置は探索範囲の位置0.2である。ポイントaでは、探索間隔についての新しい下方の境界が決定される。ポイントbでは、探索間隔についての新しい上方の境界が見出される。ポイントcでは、探索間隔についての新しい下方の境界が見出され、ポイントdでは新しい上方の境界が見出される。毎回、探索間隔についての新しい上方又は下方の境界が見出され、図5のステップ540に関して説明されたように全体的な探索間隔が更新され、図5のステップ550に関して説明されたように、ステップサイズが小さくされる。そして、この例では、20回の反復の後に、予め設定された閾値に入る新しい探索範囲、予め設定された数に達した自動焦点合わせの段階の数、又は保存された最良の結果に関して重大な変化を示さない目的関数の取得された結果のうちの1つ以上である予め設定された中断基準
に達する。そのような重大な変化は、例えば、例として保存された最良の結果より10%、5%、1%又は0.1%より結果が大きく変化しないことを示すパーセンテージであることが可能である。
図7において図6の図に類似する図が示され、ここで第1レンズ系(正方形の並び700)及び第2レンズ系(ドットの並び710)は、同じ最適な焦点が合った位置0.4に向かって収束する。これにより、第2レンズ系122はポイントa及びポイントbにおいてその探索方向を変更し、ここでポイントaでは探索範囲の新しい下方の境界が決定され、ポイントbでは探索範囲の新しい上方の境界が決定される。ポイントbでは、第1レンズ系112は、右方向に動いているが、新しい探索範囲から外れ、従ってもはや自動焦点合わせ探索において使用されない。
本発明は例として並びに例示の実装として各種の実施例と共に説明された。しかしながら、他の変形例は、図面、開示及び独立請求項の検討から、当業者および特許請求された発明を実施する者によって理解され、影響されることが可能である。請求項において、並びに記載において、語句「備える、含む(comprising)」は他の要素またはステップを除外せず、不定冠詞(「a」または「an」)は複数を除外しない。単一の要素または他のユニットは、請求項で言及されるいくつかのエンティティ又は項目の機能を実現してよい。ある手段が互いに異なる従属請求項において言及されるという単なる事実は、これらの手段の組み合わせが有利な実装において使用されることが可能でないことを示さない。
100、100’ 画像装置
110 第1画像システム
112 第1レンズ系
114 第1レンズドライバ
116 第1画像センサ
120 第2画像システム
122 第2レンズ系
124 第2レンズドライバ
126 第2画像センサ
130 自動焦点合わせ制御装置
132 第1鮮鋭度測定ブロック
134 第2鮮鋭度測定ブロック
136 処理要素
140 第3画像システム
142 第3レンズ系
400 方法
500、502 目的関数の結果

Claims (15)

  1. 第1レンズ系を有する第1画像システムと、
    第2レンズ系を有する第2画像システムと、
    探索パラメータに基づいて前記第1レンズ系及び前記第2レンズ系を用いて段階的な自動焦点合わせ探索を実行するよう適合された自動焦点合わせ制御装置と、を備え、前記第1レンズ系及び前記第2レンズ系の自動焦点合わせ探索が開始されるとき、それぞれの位置は共通する探索範囲内の両端から離れた異なる位置であり、それぞれの探索方向は同じ方向であり、前記自動焦点合わせ制御装置は、各々の自動焦点合わせ探索の段階の後に前記第1レンズ系及び前記第2レンズ系の各々について目的関数の結果を取得し、前記第1レンズ系及び前記第2レンズ系の各々について前記目的関数の取得された結果に依存して前記探索パラメータを更新するようにさらに適合され、前記探索パラメータは、前記第1レンズ系及び前記第2レンズ系によって同時に使用される共通する探索間隔を含む、画像装置。
  2. 前記自動焦点合わせ制御装置は、共通する初期探索範囲における予め決定された位置において前記第1レンズ系及び前記第2レンズ系の各々について目的関数の結果を最初に取得し、前記目的関数のそれぞれの取得された結果を保存された最良の結果として前記第1レンズ系及び前記第2レンズ系の各々について別々に保存するようさらに適合された、請求項1に記載の画像装置。
  3. 前記自動焦点合わせ制御装置は、前記取得された目的関数のそれぞれの最良の結果を、前記第1レンズ系及び前記第2レンズ系の各々について別々に保存し、各々の自動焦点合わせ探索の段階の後に、前記目的関数のそれぞれの取得された結果を前記第1レンズ系及び前記第2レンズ系の各々について前記保存された最良の結果と比較するようさらに適合され、前記自動焦点合わせ制御装置は、前記比較の結果に依存して前記探索パラメータを更新するようさらに適合された、請求項2に記載の画像装置。
  4. 前記自動焦点合わせ制御装置は、前記第1レンズ系及び前記第2レンズ系の一方について前記目的関数の取得された結果がこのレンズ系について前記保存された最良の結果と比較して低下していることを前記比較の結果が与えるならば、前記探索パラメータを更新するようさらに適合された、請求項3に記載の画像装置。
  5. 前記探索パラメータは前記自動焦点合わせ探索の共通する探索範囲を含み、前記自動焦点合わせ制御装置は、前記探索パラメータを更新するとき、前記第1レンズ系及び前記第2レンズ系の一方について前記目的関数の取得された結果が低下していることを前記比較が与えるならば、それぞれの前の探索範囲より小さい新しい探索範囲を設定するようさらに適合された、請求項4に記載の画像装置。
  6. 前記自動焦点合わせ制御装置は、前記第1レンズ系又は前記第2レンズ系の、このレンズ系について前記目的関数の取得された結果が低下している位置を、前記新しい探索範囲の新しい境界として決定するようさらに適合された、請求項5に記載の画像装置。
  7. 前記自動焦点合わせ制御装置は、前記目的関数の取得された結果が低下している移動方向を、前記レンズ系の段階的な自動焦点合わせ探索中に反転するようさらに適合された、請求項6に記載の画像装置。
  8. 前記自動焦点合わせ制御装置は、前記新しい探索範囲に基づいて前記第1レンズ系及び前記第2レンズ系の各々の前記自動焦点合わせ探索のステップ幅を決定するようさらに適合された、請求項5、6、又は7に記載の画像装置。
  9. 前記自動焦点合わせ制御装置は、全体の自動焦点合わせ探索について有効である定数を用いて前記定数の値による前記新しい探索範囲の長さの値の除算に基づいて前記ステップ幅を決定するようさらに適合された、請求項8に記載の画像装置。
  10. 前記自動焦点合わせ制御装置は、新しい探索範囲を設定した後にそれぞれのレンズ系が前記新しい探索範囲の外に位置するとき、前記第1レンズ系又は前記第2レンズ系の前記自動焦点合わせ探索を停止するようさらに適合された、請求項4から9のいずれか一項に記載の画像装置。
  11. 前記自動焦点合わせ制御装置は、新しい探索範囲を設定した後にそれぞれのレンズ系が前記新しい探索範囲の外に位置するとき、前記第1レンズ系又は前記第2レンズ系を前記新しい探索範囲内に移動するようさらに適合された、請求項4から9のいずれか一項に記載の画像装置。
  12. 前記自動焦点合わせ制御装置は、予め決定された基準が満たされるならば、前記自動焦点合わせ探索を終了するようさらに適合された、請求項2から11のいずれか一項に記載の画像装置。
  13. 第3レンズ系を有する第3画像システムをさらに備え、
    前記自動焦点合わせ制御装置は、探索パラメータに基づいて前記第3レンズ系を用いて段階的な自動焦点合わせ探索を実行するようさらに適合され、前記自動焦点合わせ制御装置は、各々の自動焦点合わせ探索の段階の後に前記第3レンズ系について目的関数の結果を取得し、前記第1レンズ系、前記第2レンズ系、及び前記第3レンズ系の各々について前記目的関数の取得された結果に依存して前記探索パラメータを更新するようさらに適合された、請求項1から12のいずれか一項に記載の画像装置。
  14. 第1レンズ系を有する第1画像システムと第2レンズ系を有する第2画像システムとを有する画像装置における自動的な焦点合わせのための方法であって、
    探索パラメータに基づいて前記第1レンズ系及び前記第2レンズ系を用いて段階的な自動焦点合わせ探索を実行するステップを含み、前記第1レンズ系及び前記第2レンズ系の自動焦点合わせ探索が開始されるとき、それぞれの位置は共通する探索範囲内の両端から離れた異なる位置であり、それぞれの探索方向は同じ方向であり、前記実行するステップは、各々の自動焦点合わせ探索の段階の後に前記第1及び前記第2レンズ系の各々について目的関数の結果を取得するステップと、前記第1レンズ系及び前記第2レンズ系の各々について前記目的関数の取得された結果に依存して前記探索パラメータを更新するステップと、を含み、前記探索パラメータは、前記第1レンズ系及び前記第2レンズ系によって同時に使用される共通する探索間隔を含む方法。
  15. コンピュータプログラムがコンピュータ上で動作するとき、請求項14に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
JP2016538667A 2014-03-21 2014-03-21 画像装置、及び画像装置における自動的な焦点合わせのための方法、並びに対応するコンピュータプログラム Active JP6447840B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/055677 WO2015139766A1 (en) 2014-03-21 2014-03-21 Imaging device and method for automatic focus in an imaging device as well as a corresponding computer program

Publications (2)

Publication Number Publication Date
JP2017504826A JP2017504826A (ja) 2017-02-09
JP6447840B2 true JP6447840B2 (ja) 2019-01-09

Family

ID=50389419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538667A Active JP6447840B2 (ja) 2014-03-21 2014-03-21 画像装置、及び画像装置における自動的な焦点合わせのための方法、並びに対応するコンピュータプログラム

Country Status (6)

Country Link
US (1) US10212331B2 (ja)
EP (1) EP3055986B1 (ja)
JP (1) JP6447840B2 (ja)
KR (1) KR101784787B1 (ja)
CN (1) CN106031148B (ja)
WO (1) WO2015139766A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986877B (zh) * 2014-05-29 2017-09-26 宇龙计算机通信科技(深圳)有限公司 一种图像获取终端和图像获取方法
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
FR3050597B1 (fr) * 2016-04-26 2019-03-29 Stereolabs Methode de reglage d'un appareil de prise de vue stereoscopique
KR102636272B1 (ko) * 2016-07-26 2024-02-14 삼성전자주식회사 영상 촬상 장치 및 이를 포함하는 전자 시스템
US20180205890A1 (en) * 2017-01-18 2018-07-19 Jerry L. Conway, Sr. Single camera dynamic imaging systems and methods of capturing dynamic images
EP3351992B1 (en) * 2017-01-24 2019-10-23 Horiba France SAS Micro-spectrometry measurement method and system
CN108600638B (zh) * 2018-06-22 2020-08-04 中国计量大学 摄像机自动调焦系统及方法
CN113805327B (zh) * 2021-07-26 2024-04-26 南京理工大学智能计算成像研究院有限公司 基于变步距遍历的自动聚焦方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3970046B2 (ja) * 2002-02-19 2007-09-05 オリンパス株式会社 カメラ
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP4022828B2 (ja) * 2003-06-30 2007-12-19 カシオ計算機株式会社 撮像装置、オートフォーカス制御方法、及びオートフォーカス制御プログラム
US7598997B2 (en) * 2004-01-14 2009-10-06 Ricoh Company, Ltd. Imaging apparatus and focus control method based on a number of automatic focus scan stages, and recording medium storing a program for executing such a method
JP5051812B2 (ja) * 2004-01-14 2012-10-17 株式会社リコー 撮像装置、その合焦方法および記録媒体
JP4630565B2 (ja) 2004-03-31 2011-02-09 キヤノン株式会社 光学機器
CN100357779C (zh) * 2004-12-17 2007-12-26 鸿富锦精密工业(深圳)有限公司 影像自动对焦系统及方法
JP4591325B2 (ja) * 2005-01-28 2010-12-01 カシオ計算機株式会社 撮像装置及びプログラム
CN100543576C (zh) * 2006-08-24 2009-09-23 宁波大学 基于Contourlet变换的数码成像自动对焦方法
CN101510041A (zh) * 2009-03-20 2009-08-19 天津三星光电子有限公司 数码相机自动对焦方法
JP2011075675A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 複眼撮像装置
JP5593772B2 (ja) * 2010-03-29 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
EP2373043A1 (en) 2010-03-29 2011-10-05 Swiss Medical Technology GmbH Optical stereo device and autofocus method therefor
JP2011217103A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 複眼撮影方法および装置
EP2567287B1 (en) * 2010-05-03 2019-08-21 InVisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US8588600B2 (en) 2010-07-27 2013-11-19 Texas Instruments Incorporated Stereoscopic auto-focus based on coordinated lens positions
JP5585425B2 (ja) 2010-12-07 2014-09-10 ソニー株式会社 ズームレンズおよび撮像装置
US8836767B2 (en) * 2010-12-17 2014-09-16 Samsung Electronics Co., Ltd Imaging apparatus and imaging method
JP2012128298A (ja) * 2010-12-17 2012-07-05 Samsung Electronics Co Ltd 撮像装置及び撮像方法
JP5769534B2 (ja) * 2011-07-28 2015-08-26 キヤノン株式会社 撮像装置、撮像方法、およびプログラム
JP6004371B2 (ja) * 2011-11-16 2016-10-05 パナソニックIpマネジメント株式会社 撮像装置
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP5745183B2 (ja) * 2012-07-30 2015-07-08 オリンパス株式会社 撮像装置及び撮像方法
CN103327245B (zh) * 2013-06-07 2016-08-10 电子科技大学 一种红外成像系统的自动对焦方法
JP6061816B2 (ja) * 2013-08-22 2017-01-18 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
US20160261787A1 (en) 2016-09-08
KR20160079106A (ko) 2016-07-05
EP3055986A1 (en) 2016-08-17
JP2017504826A (ja) 2017-02-09
WO2015139766A1 (en) 2015-09-24
US10212331B2 (en) 2019-02-19
CN106031148A (zh) 2016-10-12
CN106031148B (zh) 2020-07-24
EP3055986B1 (en) 2018-08-22
KR101784787B1 (ko) 2017-10-12

Similar Documents

Publication Publication Date Title
JP6447840B2 (ja) 画像装置、及び画像装置における自動的な焦点合わせのための方法、並びに対応するコンピュータプログラム
US10455141B2 (en) Auto-focus method and apparatus and electronic device
CN106707674B (zh) 投影设备的自动对焦方法及投影设备
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
CN113837079B (zh) 显微镜的自动对焦方法、装置、计算机设备和存储介质
CN107439005B (zh) 一种确定对焦窗的方法、装置及设备
US10536622B2 (en) Camera depth prediction using generative adversarial network
JP6286567B2 (ja) マルチスペクトル画像システムのロバストなオートフォーカスアルゴリズム
WO2016197494A1 (zh) 对焦区域调整方法和装置
EP3218756B1 (en) Direction aware autofocus
US8564712B2 (en) Blur difference estimation using multi-kernel convolution
TW201541143A (zh) 使用多鏡頭的自動對焦系統及其方法
CN113225473B (zh) 自动聚焦的方法、装置、设备和介质
JP6429724B2 (ja) 撮像装置およびその制御方法
JP7107191B2 (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
TW201642008A (zh) 影像擷取裝置及其動態對焦方法
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
JP6900228B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
JP2015133532A (ja) 撮像装置及び画像処理方法
CN115103087A (zh) 一种机器人视觉自动聚焦系统及自动聚焦方法及存储介质
EP2735138B1 (en) System and method for focusing an electronic imaging system
KR20120135647A (ko) 3차원 카메라 모듈 및 그의 오토 포커싱 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181120

R150 Certificate of patent or registration of utility model

Ref document number: 6447840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250