JP5276444B2 - カメラ及び場面の動きを考慮するカメラの露光最適化技術 - Google Patents

カメラ及び場面の動きを考慮するカメラの露光最適化技術 Download PDF

Info

Publication number
JP5276444B2
JP5276444B2 JP2008538133A JP2008538133A JP5276444B2 JP 5276444 B2 JP5276444 B2 JP 5276444B2 JP 2008538133 A JP2008538133 A JP 2008538133A JP 2008538133 A JP2008538133 A JP 2008538133A JP 5276444 B2 JP5276444 B2 JP 5276444B2
Authority
JP
Japan
Prior art keywords
motion
scene
image
data
electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008538133A
Other languages
English (en)
Other versions
JP2009514435A (ja
Inventor
パートセル，シモン
ポズニアンスカイ，エリィ
メイタヴ，オハド
Original Assignee
ゾラン コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゾラン コーポレイション filed Critical ゾラン コーポレイション
Publication of JP2009514435A publication Critical patent/JP2009514435A/ja
Application granted granted Critical
Publication of JP5276444B2 publication Critical patent/JP5276444B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本出願は、デジタルカメラ及び他のカラービデオ入力用デバイスの自動露光制御に関し、さらに詳しくは、静止画又は動画の取得データに対する最適な露光パラメータを計算し、利用することに関する。ここで参照されている、特許、特許出願、雑誌の記事や論文、その他の出版物などのすべては、参照することにより、全体として本書に援用される。
電子カメラは、電荷結合素子（CCD）、相補型金属酸化膜半導体（CMOS）デバイス、または他の型の光センサなど、これら２次元（平面）センサ上に、場面を結像する。これらのデバイスは、大量の光検出器（２〜４百万以上）を備え、これらの光検出器は、小型の２次元平面上にわたって並んでおり、光の強さ、または素子と衝突する他の光線（可視光線に隣接するスペクトラムの、赤外線及び紫外線の領域を含む）に比例した信号を個々に発生する。画像のピクセルを形成するこれらの素子は、通常、ラスターパターンで走査され、それと同時に、１つの撮像素子から別の撮像素子へと、次々に衝突する光線の強度を表す、連続したデータストリームを生成する。色データは、撮像素子全体にわたり交互に分散された、個々の識別可能な色要素（赤、緑、青など）に対して繊細な光検出器を用いることで、普通に取得される。
この様な電子カメラで普及しているタイプは、静止画像といわれる「スナップショット」、または、動画をなす連続したフレームのいずれかの、大量のピクチャーフレームのデータを記録する、小型の携帯型のデジタルカメラである。通常、カメラ内では、大量の画像処理が、磁気テープカートリッジ、またはフラッシュメモリカードなどの脱着可能な不揮発性メモリに保存する前に、各フレームのデータに対して行われる。これらの処理されたデータは、大抵、カメラの外側に位置する液晶表示（LCD）デバイスに、解像度を落とした画像として表示される。また、通常は、各ピクチャーフレームが占める保存容量を減らすために、処理されたデータは、不揮発性メモリに保存する前に、圧縮される。
一般的に、撮像素子が取得したデータは、カメラの欠点部分を補うように処理されて、データから得られる画像の品質を、ほとんどの場合において向上する。処理機能の一つとして、撮像素子のどの欠陥ピクセル光検出素子に対しても補正を行うことである。また、もう一つには、ホワイトバランス補正があり、異なるピクセルにおける原色の相対的な大きさを、白色として設定する機能である。また、この処理は、空間的に隔たりのある、撮像素子の単色ピクセル検出器から、データを重ね合わせることで、重ね合わされた多色のピクセルを、画像データに描画する、個々のピクセルデータのデモザイキング（色変換処理）を備える。デモザイキングにより、データを処理することで、画像の境界がさらに滑らかになり、（画像が）さらに望ましいものとなる。画像全体にわたる、ノイズ及びカメラの光学システムのばらつきに関して、及び光検出器の撮像素子間のばらつきに関して、画像データの補償をカメラ内において実行する。他の処理として、通常、１つ以上の、ガンマ補正、コントラストストレッチング、色差フィルタリング、及びそれらと同様なものを、備える。
電子カメラも、ほとんど大抵は、露光時間と、アパチャーの開口と、画像の輝度または使用する撮像素子のキャリブレーション及びユーザの好みに基づくあるレベルにおける連続する画像となる、撮像素子のアナログ電子利得と、を設定する、自動露光制御機能を備える。これらの露光パラメータは、写真を撮影する前に計算され、画像データの取得中にカメラを制御するために使用される。特定の輝度のレベルを有する場面に関して、露光時間の低下は、ある範囲の輝度内のデータを取得するために、アパチャーのサイズ、または撮像素子の利得、または両者の増加により行われる。アパチャーのサイズの増加は、被写体深度の低下及び光学的なぼやけの増加した画像となり、利得の増加により、画像内のノイズも増加する。逆に、場面が明るく輝いている場合など、露光時間が増加可能な場合、アパチャー及び／または利得が低減し、それにより、より大きな被写体深度有する画像及び／またはノイズの少ない画像となる。調整されるアナログ利得に加えて、またはそれに代わり、画像のデジタル利得は、データの取得後に、大抵、調整される。
特に、カメラが非常に小型で軽量な場合、ユーザが、露光の間、ある種の振動やブレを引き起こすことなしに、手でカメラを保持することは困難な場合が多い。その結果、撮影画像に、露光時間に応じた全体的なモーションブラーがかかっている場合があり、モーションブラーは、長時間の露光であるほど、画像内に多く発生する。さらに、場面が全体的にまたは部分的に動いている場合における長時間の露光でも、撮影画像にモーションブラーが発生することがある。例えば、場面を横切るような素早い動きの被写体では、モーションブラーが発生する場合がある。既存カメラの自動露光処理では、場面の画像を撮影するために使用される露光パラメータの計算時に、カメラの動き（手ブレ）、または場面内での動きを、考慮しない。
本発明によると、動きを検出し、画像データの取得前に、カメラ内の画像フレームに対する場面の動き量に基づいて、撮影画像を向上するレベルに露光パラメータを設定する。手ブレ、または場面内での局所的な動きによる画像のぼやけを、露光パラメータを適正化することで、最小限に、さらには防止することができる。逆に、画像データの取得前に、ほとんど、または全く動きがない場合、被写界深度の増加、及び／またはノイズレベルの低減させるために、露光時間を長くするなどの、画像の他の側面を最適化するように、露光パラメータを設定する。
好適には、最終画像のデータ取得前に、２つ以上の画像データから動きの量を計算して（事前取得画像）、動きを測定するのが良い。動き量とは、場面内の動きを含む、カメラに対する場面の画像の動きの量を定義するものであり、好適には、この動き量を計算する。この様な相対的な動き量に、方向を与えて、動きベクトルとする、または、単に、動きの大きさのみを表すこともできる。この技術により、画像内の別個のピクセルのブロックに関して、局所的な動きベクトルを個別に計算することで、露光パラメータの計算時に、場面内の動きが考慮される。また、手ブレなどにより生じる全体的な動きベクトルも、２つ以上の事前取得画像データから、計算可能である。モーションブラーの発生は、単一の画像データから検出可能ではあるが、２つ以上からの事前取得画像データから、動きベクトルを計算することで、より正確に算出でき、画像撮影に用いる露出パラメータの制御が向上する。機械的な動きセンサは、いくつかのカメラにおいて内蔵されており、任意の全体的な動きベクトルの指摘のみを行うことができ、撮影中の場面内における被写体または部分の個別の動きに対して、行うことができない。
動きの絶対速度が、少なくとも通常の範囲であり、出来る限り小さければ、画像データ取得時間が選択可能であるため、画像内の動きの計算結果を、次の動きの予測に用いることも可能である。特に、手ブレの場合、この場合の動きは周期性を持ち予測可能であり、全体的な動きがゼロまたはゼロに近いときに、写真を撮影することができる。局所的なモーションブラーが最小の場合、場面の一部分の速度も、同様の方法により予測可能であり、写真を撮影する時間を選択可能である。この予測を実行する場合、好適には、露光パラメータを、画像取得に関するスケジュールされた時間に存在する動き量から、計算することである。
好適な実施例では、既存のカメラと同様の方法で、いかなる手ブレまたは場面の画像の一部分の動きに関係なしに、事前に露光パラメータを計算する。この様な事前に用意されたパラメータが、画像の品質向上になんら寄与しないレベルである場合、そのまま画像は撮影され、動きの計算結果は使用されない。明るい場面でこの様な事象が発生する例において、事前の露光時間、アパチャー、及び利得も、カメラが許容できる範囲でほぼ最低である。この様な場合では、アパチャー及び利得レベルがほぼ最低なため、露光時間は、任意のモーションブラーを制限するために、著しく低下することもなく、著しい被写体深度の向上またはノイズの低減のために、増加することもない。しかし、この様な場合ではなければ、画像の動きを計算して、事前の露光パラメータを調整することで、取得画像の品質を向上する。
一般的に、デジタルカメラが取得したビデオデータは、カメラの欠点部分を補うように処理されて、そのデータから取得可能な画像の品質を向上する。処理機能の１つとして、撮像素子のどの欠陥ピクセル光検出器に対しても補正を行うことである。また、もう１つには、ホワイトバランス補正があり、異なるピクセルにおける原色の相対的な大きさを、白色として設定する機能である。また、この処理は、空間的に隔たりのある、撮像素子の単色ピクセル検出器から、データを重ね合わせることで、重ね合わされた多色のピクセルを、画像データに描画する、個々のピクセルデータのデモザイキング（色変換処理）を備える。デモザイキングにより、データを処理することで、画像の境界がさらに滑らかになり、画像がさらに望ましいものとなる。画像全体にわたる、ノイズ及びカメラの光学システムのばらつきに関して、及び光検出器センサ間のばらつきに関して、画像データの補償をカメラ内において実行する。別の処理として、通常、１つ以上の、ガンマ補正、コントラストストレッチング、クロミナンスフィルタリング、及びそれらと同様なものを、備える。
画像の動きを考慮して取得したビデオデータを後処理するよりも、写真を撮影する前に場面の画像をモニターして、場面内の動き量に基づいて、出来上がりの画像を向上する値に、露光パラメータを設定する。この処理により、画像データの取得に使用される他の露光パラメータと一緒に、少なくとも最適な露光時間を計算する。ジャイロスコープ、または他の機械的なカメラの動き検出器があり、その様な動き検出器が代わりに用いられることもあるが、むしろ一般的には、最終的に取得する画像より低い解像度を有する、２つ以上の事前取得画像のデータを比較することで、カメラジッターの量を決定するのが望ましい。事前取得画像を用いて、撮影中の場面内の被写体の動き量を決定して、露光時間及びレベルを計算することで、その様な動きの量に基づく画像を向上することができる。
図１は、本発明を実装したカメラの例の概略を示したものであり、スチールカメラまたはビデオカメラであっても良い。この例では、ケース１１、画像光学システム１３、制御信号１７を発生及び受信するユーザ制御及び指示１５、内部の電気的な接続２１されたビデオ入出力レセプタクル１９、及び内部の電気的な接続２５されたカードスロット２３を備える。不揮発性メモリカード２７を、脱着可能なように、カードスロット２３に挿入する。カメラで撮影した画像データは、不揮発性メモリカード２７または内蔵の不揮発性メモリ（図示しない）に、保存可能である。また、画像データは、ビデオ入出力レセプタクル１９を介して別のビデオ装置に出力可能である。不揮発性メモリカード２７としては、カメラによりビデオデータが書き込み可能な、商業的に利用可能な半導体のフラッシュメモリ、脱着可能な小型の回転磁気ディスク、または他の不揮発性メモリが可能である。
画像光学システム１３は、単一のレンズのように図示しているが、通常、複数のレンズの組となっている。場面３１の画像２９は、アパチャー３２からシャッター３３を介して、撮像素子３５の２次元平面上のシャッター３３への可視光線で形成される。駆動要素（焦点アクチュエータ）３４により、イメージング光学システム１３の１つ以上の構成要素を動かして、撮像素子３５の画像２９に焦点を合わせる。撮像素子の電気的な出力３７により、画像２９が投影された撮像素子３５の表面上にある、個々の光検出器を走査することで生じるアナログ信号を、搬送する。一般的には、撮像素子３５は、画像２９の各ピクセルを検出するために、２次元的に縦横に配列された個々の光検出器を大量に備える。最上段の行から始まり、左から右へ、光検出器の行方向に、１回につき１行ほど走査することで、画像２９を再構成するビデオデータのフレームを、生成する場合、電気的な出力３７において、時間系列で、通常、ラスターパターンで走査することにより、個々の光検出器に当る光の強度に比例する信号を、取得する。アナログ信号（出力）３７は、回路４１での画像２９のデジタルデータを生成する、アナログ−デジタル変換回路チップ３９で、利用される。回路４１の信号は、通常、撮像素子３５の各光検出器に当る光の強度を表す、デジタルデータの各ブロックのシーケンスになっている。
一般的に、撮像素子３５の光検出器は、２つ以上の個々の色成分のうちの１つにおける、自身の光検出器に当る画像ピクセルの強度を検出する。初期の頃の撮像素子は、画像の２つの分離された色成分のみ検出するものである。赤・緑・青などの（ＲＧＢ）光の三原色の検出が、一般的であり、今日では、３色成分以上の検出する撮像素子の利用が可能である。
本実施形態では、単一ＩＣチップ（ビデオ信号プロセッサ）４３（アナログ−デジタル変換回路チップ３９の使用の代わりに、アナログ−デジタル変換を備えることも可能な）により、回路４１におけるビデオデータの処理、及びカメラの操作制御を行う。お互いに接続された、いくつかのＩＣチップにより、これらの機能は、実装されるが、単一チップが好ましい。回路１７、回路２１、回路２５、及び回路４１に接続されていることに加えて、単一ＩＣチップ４３は、制御及び状態ライン４５に接続されている。制御及び状態ライン４５は、順に、アパチャー３２、シャッター３３、焦点アクチュエータ３４、撮像素子３５、アナログ−デジタル変換回路チップ３９、及びこれらを同期動作させるカメラの他の部品に、接続されている。制御及び状態ライン４５のビデオ信号プロセッサ４３からの信号により、焦点アクチュエータ３４を駆動し、シャッター３３の操作と同様に、アパチャー３２の開口サイズの設定も行う。また、ビデオ信号プロセッサ４３により、制御及び状態ライン４５を通る信号の利得が設定される。通常、この利得は、ＣＣＤ撮像素子の場合、ＣＣＤ撮像素子の一部である、アナログ−デジタル変換器で生じ、ＣＭＯＳ撮像素子の場合では、図１に示す分離したアナログ−デジタル変換器の一部である、アナログ−デジタル変換器で生じる。
一時的にデータを保存するため、分離した揮発性のランダムアクセスメモリ回路チップ４７も、ライン４８を介して、ビデオ信号プロセッサ４３に接続されている。また、分離した不揮発性メモリチップ４９も、プロセッサプログラム、キャリブレーションデータなどを保存しておくために、ライン５０を介して、ビデオ信号プロセッサ４３に接続されている。不揮発性メモリチップ４９は、書き換え可能なフラッシュメモリ、または、マスクプログラマブル読取専用メモリ（ＰＲＯＭ）、または電気的プログラマブル読取専用メモリ（ＥＰＲＯＭ）など、１回のみプログラム可能なメモリを用いることが可能である。クロック信号を回路チップ及び他の構成部品に供給するために、汎用のクロック回路５１をカメラ内部に備える。分離した構成部品よりも、システムのクロック回路は、ビデオ信号プロセッサ４３に組み込まれたものも可能である。
図２は、動きの計算及び推測する部分を有する、ビデオ信号プロセッサ４３の一般的なブロック図である。汎用目的、または、ここでのタスクに特化した、プロセッサ５１は、フラッシュメモリ４９（図１）に保存されているファームウェアに従って、画像データに関する計算を実行し、カメラ操作の制御を行う。ビデオ信号プロセッサ４３の入力接点を通る、インターフェイス回路５５は、ライン４１からの、連続する画像フレームのデジタルデータを受信し、メモリ管理ユニット５７を介する接続により、そのデータが他のシステム部品と通信される。取得した画像フレームのビデオデータは、ビデオ信号プロセッサ４３の出力接点に接続された、インターフェイス回路５９からライン２１（図１のビデオ入出力レセプタクル１９）と、ライン２５（図１のフラッシュメモリカードスロット２３）と、に出力される。インターフェイス回路６１は、ライン１７、ライン４５、及びライン５０（図１参照）と、プロセッサ５１と、メモリ管理ユニット５７と、間で通信を行う。
図２の回路６３も、プロセッサ５１と、メモリ管理ユニット５７とに接続されており、回路６３は、連続する画像フレームのデータから、画像の動きを推測する最低限必要な計算を実行するために、選択的に備える。この方法は、一般的に、プロセッサ５１にファームウェアの制御に従って計算処理させるよりも、効率的であるが、プロセッサ５１に処理させることも可能である。
図３は、図１及び図２に示すような、画像データ取得に使用する露光パラメータを計算するための、カメラに実装された処理の例を示すフローチャートである。ユーザがカメラの電源を入れると、ステップ７１に示すように、毎秒３０フレーム以上の速さで、画像データを繰返し読み込み可能である。一般的なカメラでは、これらの事前取得画像を、カメラのシャッターボタンが押される際に撮影される画像のプレビューとして、解像度を落とした状態で、カメラのＬＣＤディスプレイに連続して表示するが、しかしそれらを表示する必要はない。他の２つの計算機能である、ステップ７３とステップ７５とを実行し、取得した新しい事前取得画像の各時間データを取得する。この処理は、カメラが使用されている間中、続けられる。写真撮影するために、カメラのユーザがシャッターボタンを押したことを、検出すると、ステップ７７に示すように、ステップ７３とステップ７５とで計算された、動き量及び露光パラメータを、いつでも使用できる状態にし、素早く写真を撮影できるようにカメラをセットアップする。また、ステップ７３及びステップ７５での計算は、ステップ７７で、シャッターボタンが押されたことを検出した後でも、実行可能である。
ステップ７３では、Ｎ枚の事前取得画像のデータを用いて、露光パラメータの設定に使用する動き量を計算する。ただし、Ｎ≧２であり、５以上も可能である。以下に詳細に述べるように、全体的（画像全体の動き）及び局所的（画像内の局所的な動き）な両方の視点で、連続する事前取得画像の変化を見ることにより、カメラの光検出器に対する、場面の画像の動きの如何なる変化も検出し、定量化する。好適には、運動ベクトル、速度ベクトル、及び加速度ベクトルを、Ｎ枚の事前取得画像のデータから計算することで、光検出器上での、場面の画像の将来位置、またはそれらの一部を、予測することが可能となる。
ステップ７５では、所定の範囲内の画像全体にわたる平均輝度を維持するために、画像の動きの関係なく、既存技術で露光パラメータを計算する。平均輝度は、事前取得画像から計測可能であり、このステップにおいて、露光時間及び１つ以上の露光パラメータが計算される。他の露光パラメータは、通常、アパチャーの開口及び利得のサイズを有する。しかしながら、これらのパラメータを直接使用して、現在のカメラに写真撮影の設定をするにもかかわらず、これらのパラメータは、ステップ７３での動きの計算結果による修正の影響を受けやすいため、図３に示すようなカメラ操作において、事前設定として扱われる。
ステップ７７において、一旦、シャッターボタンを押すと、その後できるだけ早く、写真が撮影される。しかしながら、ステップ７３において計算された動き量を、初めに調べるのが好ましい。画像のどの動きも最小限となると予測されるときまで、撮影画像中のモーションブラーが最小限となるように、写真撮影が延期され得る。その結果、ステップ７９で、写真撮影の最適な瞬間が、ステップ７３で計算された動き量から予測される。この予測は、ステップ７３の事前取得画像から計算される動き量を外挿して求められ、設定時間内で、ゼロまたは最小限の動きのいずれかを認識し、この瞬間に、写真が撮影される。しかしながら、仮に、動きが複雑なため、高い精度でゼロまたは最小限の動きの点を検出できない、遅延撮影オプションをオフにしてしまった場合、または、画像の動きが少し若しくはまったくないような動き量の値になった場合、写真撮影は延長されずに、直ちに撮影が行われる。
次のステップ８１では、ステップ７５で自動計算された露光パラメータが最適であり、動き量により置き換える必要がないかを判断する。例えば、露光時間（シャッタースピード）が、ある閾値以下に、ステップ７５で設定された場合、モーションブラーを低減するために、露光時間をこれ以上減少しない。また、アパチャー及び利得が、対応する閾値より低く設定された場合も、アパチャー及び利得を低くして、被写界深度の向上またはノイズの低減を行うため、シャッタースピードを上げるのに、画像内の動きが十分小さいかを、考慮する必要がない。例えば、非常に明るく輝いている場面において、発生するような場合では、ステップ７５で設定された露光パラメータで写真撮影を行う場合、ステップ８３に処理が進む。ステップ７３で計算された動き量は、使用されない、または参照さえもされない。ステップ７９での写真撮影の時間の計算も必要ではなく、直ちに、写真撮影が可能である。
しかしながら、大抵の状況では、場面が明るく輝いている場合は少ない。したがって、ステップ７５で計算された事前パラメータが、適正な範囲でない場合、ステップ７３まで計算された動き量に関して、パラメータを最適化するため、ステップ８５において調整される。一般的に、その動き量が高い場合、同じ平均画像信号輝度を維持するため、対応するアパチャーのサイズの増大及び／またはゲインの増大により、露光時間が低減される。これにより、モーションブラーを低減するが、通常、被写界深度の低下及び／または画像のノイズの増加が発生する場合がある。しかし、このトレードオフは、ほとんどの場合、モーションブラーを有する画像を取得するのに好ましい。
一方で、計算された動きが、低いまたはゼロの場合、アパチャー及び／または利得のサイズが減少可能なメリットにより、露光時間が増加する場合がある。これにより、より大きな被写界深度、より低い光学的なぼやけ及びより低いノイズを有する画像が撮影可能である。計算された動き量を使用せずに、この様な方法で、ステップ７５において計算された事前パラメータを調整することは、動きが存在する場合に、画像内のモーションブラーを増加させる結果となるため、不適当な場合がある。
図４は、ブロック８７（ｉｊ座標の３，６で表される）及びブロック８９（座標２，３）のような、複数のピクセルを、それぞれブロックにグループ化したピクセルを有する単一の画像を、概念的に示す。カメラの画像フレームに対する、撮影中の場面の動きを示している。画像の例では、ピクセルのブロックのそれぞれにおいて、矢印９１で表される全体的な運動ベクトルＭGが示されている。この動きは、水平的な前後の動きである、手ブレにより生じる。当然、他のカメラの動きであれば、異なるパターンとして示される。上下の動きの場合、例えば、全体的な動きを表す矢印は、垂直方向に示される。カメラが、円形または楕円形のような動きをする場合、２つの他の可能性があり、その動きは、円形または楕円形で、それぞれ表されることになる。
全体的な動きの大きさ及び方向を、Ｎ枚の事前取得画像のデータから計算するのがよく、好適には、回路６３（図２）により、事前取得画像間の総合的な動きを検出し定量化して計算を行う。全体の動きを計算する特定技術の例として、Pintoらにより、2004年7月21日に提出された、米国特許出願第10/897186号、現在では米国特許出願公開第2006/0017814 A1号明細書が挙げられる。また、機械的な動き検出器は、全体的な動きの信号を提供する目的で、カメラに内蔵されているが、好ましくはない。
図４の例では、画像の一部が、４つのブロックにおいて、どんな手ブレや他の全体的な動きからも独立している、局所運動ベクトルＭLの追加を示している。これは、残りの場面及びカメラを持っている人物に対する、撮影中の場面内での小さい部分的な動きを表している。それによる画像内での動きは、矢印の方向であり、矢印の長さにより表される相対ベクトルを有するものである。この様な動きは、場面内の人物、車両の移動や、風による枝の動き、または撮影中の場面内の様々な動きから、もたらされ得るものである。連続する画像間の画像内の動きを計算するアルゴリズムは、既に知られたものである。例えば、上述した米国特許出願公開第2006/0017814 A1号明細書である。運動ベクトルは、既知のビデオ圧縮アルゴリズムである、例えば、Moving Picture Experts Groupの最新であるMPEG-4を使用して、運動ベクトルの計算するのと、類似の方法で計算可能である。
１つの動き計算技術で、画像ピクセルの各ブロックの、動きベクトル、速度ベクトル、加速度ベクトルを計算する。各ブロックの動きを定量化することで、将来の位置、速度、及び方向を推測することが可能である。大きな被写体が場面を横切る場合、被写体を表すブロックは、被写体の移動方向を示す動きベクトル有する。手ブレのみによる画像の動きの場合、場面のブロックの動きベクトルの全てまたはほとんどが、通常、同一の方向を示している。この説明における局所運動ベクトルＭLは、全体運動ベクトルＭGが取り除かれた後の、これらの個々のブロックの動きベクトルである。その結果、局所運動ベクトルＭLは、場面の画像内の局所的な動きのみを示すことになる。局所運動ベクトルＭL及び全体運動ベクトルＭGは、その程度まで、互いに独立している。
図５Ａ〜図５Ｄのカーブは、ステップ７３及びステップ７９（図３）での計算を更に説明するために、時間の関数として、局所運動ベクトル及び全体運動ベクトルの絶対値の例と、それらを組み合わせたものを示している。図５Ａは、図４の矢印９１で表される全体的な動きを示す。この例では、この動き一端では速度ゼロで、他端でも速度ゼロであり、その間では、速度関数が増加・減少をしているので、カメラの前後の動きを表している。図５Ｃは、図４のピクセルのブロック８９の局所ベクトル９３の大きさの例を示している。説明のため、この動きが、ゼロから最大まで増加して、事前取得画像の間、減少していることを示している。図５Ｂは、ピクセルのブロック８９のみに関する、総合運動ベクトルＭT(2,3)の絶対値を示している。これは、図５Ａ及び図５Ｃにおけるカーブの大きさを算術的に組み合わせたものである。
図５Ｄは、全体的な画像フレームの総合的な動き量ＭTの例を表している。動きの計算は、個々の事前取得画像に関するＭTの１つの値となり、これはベクトル量ではない。露光時間の決定及び露光パラメータの調整するための、ステップ７９及びステップ８５（図３）で使用された主要量である。実際、露光のより良い時間を推測したい場合に、大量の連続する事前取得画像に関するＭTの量が使用される。これらの目的のため、図５Ａの全体的な動きと、画像内の個々のピクセルのブロックの局所的な動き量の加重平均と、を組み合わせる。図５Ｄに、画像フレームのＭTの計算式を示す。個々のピクセルのブロック（ｉ，ｊ）の重みＷは、画像フレーム内の位置、または画像の残り部分に対する相対輝度により、決定可能である。重みＷは、画像フレームの中心からのブロックの距離の関数である。したがって、画像の総合的な動きＭTは、局所的な動きを有するブロックの数、その局所的な動きの大きさ、及び画像内の動きを有するブロックの相対位置により、決まるものである。さらに、全体的な速度及び局所的な速度の平均に、異なる重みを与えられるように、全体的な動きのＭGに対して、図５Ｄの式に示すように、定数ｋを掛けても良い。ｋが、１より大きければ、全体的な動きに重みが置かれ、１より小さければ、局所的な動きにより大きな重みが置かれる。図５Ｄの最終の総合的な動きのカーブは、ピクセルのブロック１つのときの、図５Ｂの総合的な動きのカーブに類似しているが、平均的に含まれた、図４の画像フレームにおけるほとんどのピクセルのブロックの局所的な動きが、ゼロであるので、大きさが低くなっている。
図５Ａ〜図５Ｄの例では、時刻ｔ１の前の期間に、事前取得画像のデータを、取得している。ステップ７９（図３）が実行されると、時刻ｔ１で最後の事前取得画像を取得した後の動きは、図５Ａ〜図５Ｄの点線で示されるように、事前取得画像のデータから推測される。事前取得画像から検出された動きを、将来に外挿する。期間ｔ１〜ｔ３に関して、最小限の動きを探索し認識するような定義が好ましい。総合的な動き（図５Ｄ）は、この例において、最小限の動きを探索するための量であり、時刻ｔ２では、その総合的な動きはゼロである。したがって、時刻ｔ２の総合的な動き、すなわち写真撮影時の動きの影響は、最小限になると推測され、その結果、画像取得の時刻として、この瞬間が選択される。当然、実際の動きの関数は、期間ｔ１〜ｔ３において、ＭTの最小限の値を探索した場合の、図５Ａ〜図５Ｄに示したものよりも、さらに複雑である場合がある。
カメラの画像フレームに対する、場面の総合的な動きに基づく露光調整を行う選択肢として、場面の一部のみの局所的な動きを使用可能である。例えば、
カメラは、長方形のような、固定またはユーザ定義可能なアウトラインが与えられ、それにより、特に動き補正を行いたい画像の部分を囲むために、位置付けられる。図４の例では、ユーザが、ＭL(2,3)、ＭL(3,3)、ＭL(3,4)、及びＭL(2,4)のアウトラインを有する画像のブロックを、囲むことができる。画像のこの部分は、車両や人物など、場面の他の部分に対して動いている被写体である場合がある。これらのブロックのベクトルの大きさの平均など、単一の局所的な動き量を計算処理し、この量を使用して、場面内の被写体などのぼやけを、最小限にする。このことを実現するために、画像取得及び／または露光パラメータ調整の時間を決めるために、総合的な動きの代わりに、局所的な動き量を使用する。したがって、場面のアウトライン化された部分の局所的な動きは、考慮されるが、その一方で、場面の他の部分の動きは、考慮されない。
図６Ａ、図６Ｂ、及び図６Ｃは、自動露光計算のステップ７５（図３）と、これらの計算に基づいてステップ８１で行われる選択とを、説明する一助となる。例えば、デジタルカメラは、アパチャーの開口を何段階か選択するのみで、写真撮影を行うものが大半である。アパチャーの開口９５〜９８を、図６Ａに示す。個々のこれらのレベルに関して、図６Ｂに示すような利得関数及び図６Ｃに示すような露光時間（継続）関数がある。露光継続カーブ（図６Ｃ）の傾き部分１０１は、利得カーブ（図６Ｂ）の平坦部分１０３と同様の輝度レベルの間で、伸びる。主要な露光パラメータの自動露光（ＡＥ）の計算は、撮影中の場面における多彩な輝度レベルに対する、所定範囲内の画像における光検出器の平均出力信号を提供する、アパチャー、利得、及び継続時間の組み合わせの選択により実現される。境界内で、画像の平均輝度は、維持される。被写体深度、低い光学的なぼやけ（小さなアパチャーの開口）、及び低いノイズ（低い利得）への要求に対して逆行するような深刻な画像の動きがある場合、これらの計算は、画像の動き情報の利点を使用することなく実行され、短い露光時間への要求とのバランスを取る。あるレベルの画像の動きは、パラメータの計算において、前提とされる必要があるが、しかし、画像のどの特定の動きの情報も使用されない。それは、ステップ８５において、画像の品質を向上する場合には、これらの事前パラメータは、画像の動きに対して調整されるからである。
この例において、ステップ８１（図３）は、最初に、計算された自動露光量が、すべて、図６Ａ〜図６ＣのＴ１、Ｔ２、及びＴ３のレベル以下であるか判断を行う。そうであれば、以前に説明したように、動きの計算を考慮する必要はない。これは、露光パラメータの調整が画像の品質を、大幅に向上できないためである。露光時間が、ほぼ最大限に短いため、どのモーションブラーも大幅に低減不可能なためである。また、アパチャーの開口及び利得の低減の補償が不可能であり、既にカメラの許容範囲において、ほぼ最低であるので、露光時間を長くすることで、被写体深度または画像内のノイズを改善する可能性がない。
図７は、ステップ７３での動きの計算に対応する事前パラメータの調整に関する、図３のステップ８５の例を示している。簡略化のため、予測される露光時において、総合的な動きＭTの絶対的な大きさにより決まる調整に関して、４つの異なる組１０５〜１０８とする。最高レベルでは、露光時間は、著しく低下し、それにより失われる、画像の輝度の半分が、利得の増加により復元され、もう半分はアパチャーの開口を増加することで復元する。次のレベル１０６では、動きがより少ない状態であるため、露光時間は少し低下し、それにより失われる、画像の輝度は、利得またはアパチャーのどちらかの増加により復元される。動きが少しまたは全くない場合であるレベル１０８では、露光時間は増加するため、利得及びアパチャーの開口を低減することで、余分な輝度を低下させ、取得画像の品質を向上させる。ある程度小さな動きがある場合であるレベル１０７では、露光時間は少し増加するため、利得またはアパチャーの開口を低下させ、およそ元のレベルの輝度に画像信号を復元する。
上記の利得調整の例では、アナログ信号の利得レベルは、信号がデジタル化される前に調整され、この調整されたレベルが、画像取得の際に使用される。これに付け加えて、またはその代わりに、画像データを取得してデジタル化した後、画像の利得を調整することが可能である。例えば、デジタル利得調整を、画像処理の一部または画像の向上段階として、データをカメラ内蔵メモリ内に取得した後、ただし、データを圧縮し着脱可能な不揮発性メモリに書き込む前に、実行可能である。デジタル利得の増加は、大抵、アナログ利得の増加よりもノイズの多い画像となるにもかかわらず、デジタル利得の制御も同様に有用であり得る。必要とされるデジタル利得の量は、露光時間、アパチャー及び／またはアナログ利得の計算の一部として、画像取得前の露光パラメータを調整する処理間に、決定可能であるが、既に画像を取得した後に、画像のデジタルデータに適用されることになる。他に、または、それに加えて、画像の利得レベルは、後処理または取得画像データの向上の一部として、決定及び調整可能であり、その後、その段階において適用可能である。
図７のパラメータ調整の例は、調整の組１０５〜１０８の間のいくつかの動きの閾値を示している。１０６と１０７との間の閾値を越える任意の動きに関して、パラメータは、個別に一方向に調整され、動きが前記閾値より低い場合、パラメータは反対方向に調整される。この単一の閾値の変形として、２つの動きの閾値を定義することが可能である。動きが２つの閾値よりも高い場合、パラメータは、一方向に個別に調整され、最低の閾値より低い場合、反対方向に個別に調整される。その場合、閾値間の動きの値に関して、事前パラメータの調整は行われない。
本発明の様々な様態について、実施形態と共に説明してきたが、本発明に関して、請求項の範囲全体において保護される権利が与えられる。
本発明の別の特徴、優位性、及び機能は、以下の本発明に係る典型的な例の説明に包含され、説明は、添付の図面を用いて行われる。
本発明の露光制御技術が内蔵された、カメラまたはビデオ撮影装置を示した図である。 図１の装置のビデオ信号プロセッサに関する、いくつかの機能別のコンポーネントのブロック図である。 本発明の１つの特定の実施形態に係る、露光パラメータの計算及び使用のステップを示したフローチャート図である。 個々のピクセルのブロックに加えられた、典型的なカメラ及び場面に関する運動ベクトルを有する画像フレームを示した図である。 図４の画像フレームの動き量１を示した図である。 図４の画像フレームの動き量２を示した図である。 図４の画像フレームの動き量３を示した図である。 図４の画像フレームの動き量４を示した図である。 取得画像の輝度の関数として、自動カメラ露光パラメータの例１を示した図である。 取得画像の輝度の関数として、自動カメラ露光パラメータの例２を示した図である。 取得画像の輝度の関数として、自動カメラ露光パラメータの例３を示した図である。 動きの異なるレベルに関して、自動カメラ露光パラメータを調整する特定の例について示した図である。
符号の説明
１３ 光学システム
２７ メモリカード
３２ アパチャー
３３ シャッター
３５ 撮像素子
４３ ビデオ信号プロセッサ（電子処理ユニット）
９３ 局所的な動き
９１ 全体的な動き

Claims (58)

  1. 場面のデータを取得する電子画像装置の操作制御方法において、
    前記場面の撮像前に、前記場面の２つ以上の画像内の動きと前記電子画像装置に対する動きとを、前記２つ以上の画像のデータを比較してモニターするモニターステップと、
    各画像のデータ取得に使用する継続時間を有する、１つ以上の露光パラメータを、少なくとも全体的な動き量の大きさに基づいて計算するために、前記２つ以上の画像内の動きをモニターして得られる情報を利用する利用ステップと、
    計算された前記１つ以上の露光パラメータの使用により、前記場面のデータを取得する取得ステップと、を備え、
    前記モニターステップでは、
    前記場面における前記２つ以上の画像内の相対的な動きをモニターするために使用されるベクトルから分離されて各方向ベクトルに沿って前記全体的な動きがモニターされ、
    前記全体的な動き量とは独立に相対的な動き量が判断され、
    分離されてモニターされた前記各方向ベクトルが前記全体的な動きの速度及び加速度を提供し、
    前記利用ステップでは、
    前記全体的な動き量の大きさが第１閾値より下であれば、前記計算された継続時間を増加させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを減少させ、
    前記全体的な動き量の大きさが第２閾値より上であれば、前記計算された継続時間を減少させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを増加させて、
    平均画像輝度を範囲内に保持する
    ことを特徴とする電子画像装置の操作制御方法。
  2. 前記継続時間に加えて、前記１以上の他のパラメータを計算して使用することにより、前記場面のデータを取得すること
    を特徴とする請求項１に記載の電子画像装置の操作制御方法。
  3. 計算された前記１以上の他のパラメータは、前記場面の光が通過したアパチャーのサイズを有すること
    を特徴とする請求項２に記載の電子画像装置の操作制御方法。
  4. 計算された前記１以上の他のパラメータは、利得を有すること
    を特徴とする請求項２に記載の電子画像装置の操作制御方法。
  5. 計算された前記利得は、アナログ信号の利得であること
    を特徴とする請求項４に記載の電子画像装置の操作制御方法。
  6. 計算された前記利得は、デジタル化された場面データに適用する利得であること
    を特徴とする請求項４に記載の電子画像装置の操作制御方法。
  7. 前記利用ステップが、前記場面のデータを取得するために使用する前記１つ以上の露光パラメータを計算する際に、前記２つ以上の画像の別の部分に対する少なくとも一部分の動きを認識するために、前記２つ以上の画像の少なくとも１つの特徴的な領域における個々のベクトルを利用するステップを有する
    ことを特徴とする請求項１に記載の電子画像装置の操作制御方法。
  8. 前記利用ステップが、前記場面のデータを取得するために使用する前記１つ以上の露光パラメータを計算する際に、前記各画像の少なくとも１つの特徴的な領域における、個々の動きベクトルから計算される、１以上の総体的な動き量を利用するステップを有する
    ことを特徴とする請求項１に記載の電子画像装置の操作制御方法。
  9. 前記継続時間、及び前記１つ以上の他の露光パラメータを計算するための情報の利用ステップは、最初に、前記２つ以上の画像内の少なくとも１つの特徴的な領域における動きをモニターして得られる前記情報を使用することなく、事前継続時間と、１つ以上の他の事前露光パラメータと、を計算するステップと、その後、前記事前継続時間と、前記１つ以上の他の事前露光パラメータと、を前記２つ以上の画像内の複数の特徴的な領域における前記動きをモニターして得られる前記情報を使用して調整するステップとを有する
    ことを特徴とする請求項２に記載の電子画像装置の操作制御方法。
  10. 前記事前継続時間を調整するステップは、前記２つ以上の画像内の複数の前記特徴的な領域における前記動きをモニターして得られる前記情報を使用して、前記継続時間を増やすステップを有する
    ことを特徴とする請求項９に記載の電子画像装置の操作制御方法。
  11. 前記２つ以上の画像内の複数の前記特徴的な領域における前記動きをモニターして得られる前記情報が、少なくとも１つの所定の閾値より低い画像の動きのレベルを示す
    ことを特徴とする請求項１０に記載の電子画像装置の操作制御方法。
  12. 前記事前継続時間を調整するステップは、前記２つ以上の画像内の複数の前記特徴的な領域における動きをモニターして得られる前記情報を使用して、前記継続時間を減らすステップを有する
    ことを特徴とする請求項９に記載の電子画像装置の操作制御方法。
  13. 前記２つ以上の画像内の複数の前記特徴的な領域における動きをモニターして得られる前記情報は、少なくとも１つの所定の閾値より高い画像の動きのレベルを示す
    ことを特徴とする請求項１０に記載の電子画像装置の操作制御方法。
  14. 前記場面のデータを取得する時間を予測するために、前記２つ以上の画面内の少なくとも１つの特徴的な領域における動きをモニターして得られる情報を利用するステップと、予測した前記時間に、前記場面のデータを取得するステップと、をさらに有する
    ことを特徴とする請求項１に記載の電子画像装置の操作制御方法。
  15. 前記場面のデータを取得する前記時間は、前記２つ以上の画像内の少なくとも１つの前記特徴的な領域における動きが最小または少なくとも１つの所定の閾値より低いと予測される際に、所定の時間間隔内での時間を予測するように、決められる
    ことを特徴とする請求項１４に記載の電子画像装置の操作制御方法。
  16. 前記１つ以上の露光パラメータが計算される、前記２つ以上の画像内の少なくとも１つの前記特徴的な領域における動きをモニターして得られる前記情報は、前記場面のデータを取得する予測された前記時間における前記動きの予測を有する
    ことを特徴とする請求項１４に記載の電子画像装置の操作制御方法。
  17. 前記場面のデータを取得する前に、前記２つ以上の画像内の動きをモニターする前記モニターステップから前記２つ以上の画像内の少なくとも１つの表示を有効にするステップをさらに有する
    ことを特徴とする請求項１に記載の電子画像装置の操作制御方法。
  18. 電子画像装置をカメラとする操作方法において、
    １つの場面の２つ以上の画像のデータを繰り返して取得するステップと、
    前記２つ以上の画像から取得した前記データを比較して、前記カメラに対する前記場面の少なくとも一部分における動き量を少なくとも１つ計算するステップと、
    前記２つ以上の画像内の輝度情報から、少なくとも１つの相対的な動き量を考慮することなく、前記場面の最終画像のデータを取得するための継続時間を有するパラメータを、事前に設定するステップと、
    第１閾値より低い、前記少なくとも１つの相対的な動き量に応じて、少なくとも露光の前記継続時間を増やす一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを減少させることにより、事前に設定された前記パラメータを調節するステップと、
    第２閾値より高い、前記少なくとも１つの相対的な動き量に応じて、少なくとも露光の前記継続時間を減らす一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを増加させることにより、事前設定された前記パラメータを調節するステップと、
    その後、調整された前記継続時間と、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される、１以上の他の調整された露光パラメータとを使用することで、前記場面の前記最終画像のデータを取得するステップとを有し、
    前記計算するステップでは、前記相対的な動き量が、前記場面の少なくとも１つの部分から得られるデータを取得するためのベクトルと分離されて計算された各方向ベクトルに沿う全体的な動き量から独立しており、分離されて計算された前記各方向ベクトルがさらに前記全体的な動きの速度及び加速度を提供する
    ことを特徴とする電子画像装置の操作方法。
  19. 前記第１閾値と前記第２閾値が、同じである
    ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
  20. 前記パラメータの事前設定は、１以上の他のパラメータを設定して、第１閾値より低い、少なくとも１つの前記相対的な動き量に応じて、追加的に前記１つ以上の他のパラメータを低減することにより、事前設定された前記パラメータを調整し、第２閾値より高い、少なくとも１つの前記相対的な動き量に応じて、追加的に前記１以上の他のパラメータを増すことにより、事前設定された前記パラメータを調整することを有する
    ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
  21. 前記第１閾値と前記第２閾値が、同じである
    ことを特徴とする請求項２０に記載の電子画像装置の操作方法。
  22. 前記１以上の他のパラメータは、前記画像の光が通過するアパチャーのサイズを有する
    ことを特徴とする請求項２０に記載の電子画像装置の操作方法。
  23. 前記１以上の他のパラメータは、画像利得を有する
    ことを特徴とする請求項２０に記載の電子画像装置の操作方法。
  24. 前記画像利得は、前記データを取得する前に、画像情報を伝達するアナログ信号の利得レベルを有する
    ことを特徴とする請求項２３に記載の電子画像装置の操作方法。
  25. 前記データの取得は、取得した前記データのデジタル化を有し、前記画像利得の調整は、デジタル化された画像の前記データの利得レベルの調整を有する
    ことを特徴とする請求項２３に記載の電子画像装置の操作方法。
  26. 少なくとも１つの前記相対的な動き量が、前記場面に対する前記カメラの動きを有する
    ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
  27. 少なくとも１つの前記相対的な動き量が、前記場面の少なくとも１つの部分の動きを有する
    ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
  28. 少なくとも１つの前記相対的な動き量を使用して、前記最終画像のデータを取得する時間を決定し、その後前記最終画像の前記データを取得するステップを、さらに有する
    ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
  29. 前記相対的な動きが、最小または所定の閾値より低いと予測される場合に、前記最終画像のデータを取得する前記時間は、所定の時間間隔内での予測された時間を有すると決定される
    ことを特徴とする請求項２８に記載の電子画像装置の操作方法。
  30. １つ以上の前記相対的な動き量を計算するステップは、前記最終画像のデータを取得するために決定された前記時間における前記１以上の量を予測するステップを有する
    ことを特徴とする請求項２８に記載の電子画像装置の操作方法。
  31. 事前に露光パラメータを設定した後、前記事前設定された露光パラメータが所定範囲に収まるか決定し、収まるならば、前記事前設定露光パラメータの調整を省くステップを、さらに有する
    ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
  32. 前記場面の２つ以上の画像のデータを取得するステップは、前記最終画像の解像度よりも低い解像度を有する、２つ以上の連続する画像のデータを取得するステップを有する
    ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
  33. １以上の動き量を計算するステップは、前記場面内の前記少なくも１つの部分の動きベクトルを利用するステップを有する
    ことを特徴とする請求項１８に記載の電子画像装置の操作方法。
  34. 場面の少なくとも１つの画像のデータを取得する電子画像装置の操作方法において、
    前記画像のデータの取得前に、２つ以上の事前取得画像のデータを比較して前記場面の少なくとも１つの部分と前記電子画像装置との間の相対的な動きの情報を取得するステップと、
    取得した前記情報から、前記場面の少なくとも１つの部分と前記電子画像装置との間の少なくとも１つの時間変化する相対的な動き量を計算するステップと、
    前記相対的な動きが、最小または所定の閾値より低い際に、前記１以上の相対的な動き量から、将来時間を予測するステップと、
    前記相対的な動き及び全体的な動き量の大きさに基づいた露光継続時間を有する、予測された前記将来時間における１つ以上の露光パラメータを計算するステップと、
    計算された前記１つ以上の露光パラメータで、予測された前記将来時間における前記場面の前記１以上の画像のデータを取得するステップと、を有し、
    前記相対的な動き量を計算するステップでは、前記相対的な動き量が、前記場面の少なくとも１つの部分から得られるデータを取得するためのベクトルと分離されて計算された各方向ベクトルに沿う前記全体的な動き量から独立しており、分離されて計算された前記各方向ベクトルがさらに前記全体的な動きの速度及び加速度を提供し、
    前記露光パラメータを計算するステップでは、
    前記全体的な動き量の大きさが第１閾値より下であれば、前記計算された継続時間を増加させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを減少させ、
    前記全体的な動き量の大きさが第２閾値より上であれば、前記計算された継続時間を減少させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを増加させて、
    平均画像輝度を範囲内に保持する
    ことを特徴とする電子画像装置の操作方法。
  35. 前記場面と前記画像装置との間の相対的な動きの情報を取得するステップは、前記場面の複数の連続する画像のデータを、繰り返し取得するステップを有し、前記相対的な動きの量が変化する、１以上の時間を計算するステップは、少なくともいくつかの複数の連続する画像からのデータを使用する
    ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
  36. １つ以上の露光パラメータの前記計算するステップは、前記露光継続時間の計算に続いて、１以上の他の露光パラメータの計算するステップを有する
    ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
  37. 計算された前記１以上の他の露光パラメータは、アパチャーの開口サイズまたは画像利得うち、１以上を有する
    ことを特徴とする請求項３６に記載の電子画像装置の操作方法。
  38. 前記画像利得は、前記データの取得前に、画像情報を伝達するアナログ信号の利得レベルを有する
    ことを特徴とする請求項３７に記載の電子画像装置の操作方法。
  39. 前記データを取得するステップは、取得した前記データをデジタル化するステップを有し、計算された前記画像利得の前記露光パラメータは、デジタル化された画像の前記データの利得レベルを調整するステップを有する
    ことを特徴とする請求項３７に記載の電子画像装置の操作方法。
  40. 前記相対的な動きの情報を取得するステップは、前記場面の別の部分に対する前記場面の１つの部分の動きの情報を取得するステップを有する
    ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
  41. 前記相対的な動きの情報の取得するステップは、前記画像装置に対する前記場面全体の動きの情報を取得することを有する
    ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
  42. 前記相対的な動きの量が変化する、１以上の時間を計算するステップは、
    前記場面の前記少なくとも１つの部分の動きベクトルを利用するステップを有する
    ことを特徴とする請求項３４に記載の電子画像装置の操作方法。
  43. 電子画像装置の操作方法において、
    １つの場面の２つ以上の事前画像のデータを取得するステップと、
    前記画像装置の部分である映像ディスプレイ上に、前記取得したデータに基づいて、前記事前画像を表示するステップと、
    取得した前記２つ以上の事前画像のデータを比較して、前記場面の少なくとも１つの部分における前記電子画像装置に対する動き量を少なくとも１つ計算するステップと、
    取得した前記２つ以上の事前画像の１以上の中の輝度情報から、計算された少なくとも１つの前記動きの量を考慮することなく、前記場面の最終画像のデータを取得するための継続時間を有するパラメータを、事前に設定するステップと、
    前記２つ以上の事前画像内の動きをモニターして得られる、全体的な動き量の大きさを有する情報を利用して、前記最終画像のデータを取得するために使用する継続時間を有する１つ以上の露光パラメータを計算するステップと、
    その後、計算された前記１つ以上の露光パラメータを使用して、前記事前画像より高い解像度を有する、前記最終画像のデータを取得するステップと、を有し、
    前記動き量を少なくとも１つ計算するステップは、前記相対的な動き量が、前記場面の少なくとも１つの部分から得られるデータを取得するためのベクトルと分離されて計算された各方向ベクトルに沿う全体的な動き量から独立しており、分離されて計算された前記各方向ベクトルがさらに前記全体的な動きの速度及び加速度を提供し、
    前記露光パラメータを計算するステップでは、
    前記全体的な動き量の大きさが第１閾値より下であれば、前記計算された継続時間を増加させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを減少させ、
    前記全体的な動き量の大きさが第２閾値より上であれば、前記計算された継続時間を減少させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを増加させて、
    平均画像輝度を範囲内に保持する
    ことを特徴とする電子画像装置の操作方法。
  44. １以上の前記動き量を計算するステップは、前記場面内の少なくとも１つ部分の動きベクトルを利用するステップを有する
    ことを特徴とする請求項４３に記載の電子画像装置の操作方法。
  45. 光検出器と、
    場面からの光を前記光検出器上へ投影する光学システムと、
    前記光検出器上に投影された前記場面のデータ又は２つ以上の事前画像のデータを受信し、前記場面又は前記２つ以上の事前画像のデータを処理して取得された画像のデータを提供する電子処理ユニットと、を備え、
    さらに、前記電子処理ユニットは、前記光検出器上に投影された前記場面における前記２つ以上の事前画像のデータを比較して、前記場面の相対的な動き量を前記場面の少なくとも１つの部分から得られるデータを取得するためのベクトルと分離されて計算された各方向ベクトルに沿う全体的な動き量から独立して定量化し、分離されて計算された前記各方向ベクトルがさらに全体的な動きの速度及び加速度を提供すると共に、この全体的な動き量及びその大きさを使用して、前記取得された画像のデータを提供するために使用する利得と画像データ取得の継続時間とを有する、１つ以上の露光パラメータを設定し、
    前記全体的な動き量の大きさが第１閾値より下であれば、前記計算された継続時間を増加させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを減少させ、前記全体的な動き量の大きさが第２閾値より上であれば、前記計算された継続時間を減少させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを増加させて、平均画像輝度を範囲内に保持する
    ことを特徴とする電子画像装置。
  46. 前記光学システムは、調整可能なアパチャーを有し、前記電子処理ユニットは、定量化された前記動きの量を使用して、前記アパチャーのサイズのパラメータを設定する
    ことを特徴とする請求項４５に記載の電子画像装置。
  47. 前記電子処理ユニットは、定量化された前記動きの量を使用して、前記装置内のアナログ利得のパラメータを設定する
    ことを特徴とする請求項４５に記載の電子画像装置。
  48. 前記電子処理ユニットは、定量化された前記動きの量を使用して、前記取得された画像のデータのデジタル利得のパラメータを設定する
    ことを特徴とする請求項４５に記載の電子画像装置。
  49. 前記電子処理ユニットは、前記取得された画像のデータを提供する前に、前記光検出器上に投影された前記場面の２つ以上の画像間において、前記場面の少なくともいくつかの特徴的な領域の動きベクトルを比較することで、前記場面での動きの量を定量化する
    ことを特徴とする請求項４５に記載の電子画像装置。
  50. 前記電子処理ユニットは、前記取得された画像のデータを提供する前に、２つ以上の前記画像間において、前記場面の少なくともいくつかの特徴的な領域の動きベクトルから、前記光検出器上に投影された前記場面の２つ以上の画像の総体的な動きを決定することで、前記場面での動きの量を定量化する
    ことを特徴とする請求項４５に記載の電子画像装置。
  51. 前記電子処理ユニットは、さらに、前記場面の定量化された前記動きの量を使用することはなく、少なくとも前記場面の輝度レベルに対する事前露光継続時間を計算するが、前記場面の定量化された前記動きの量を使用して、計算された前記事前露光継続時間を調整する
    ことを特徴とする請求項４５に記載の電子画像装置。
  52. 前記電子処理ユニットは、さらに、前記場面の定量化された前記動きの量を使用して、前記場面のデータを取得する時間を決定し、前記場面の前記データを、決定された前記時間に取得させる
    ことを特徴とする請求項４５に記載の電子画像装置。
  53. 前記電子処理ユニットは、さらに、前記場面の前記動きの量が、最小または所定の閾値より低いと予測される場合に、所定の時間間隔内の時間を予測することで、前記場面のデータを取得する前記時間を決定する
    ことを特徴とする請求項５２に記載の電子画像装置。
  54. 光検出器と、
    場面からの光を前記光検出器上へ投影する光学システムと、
    前記光検出器上に投影された前記場面のデータ又は２つ以上の事前画像のデータを受信し、前記場面又は前記２つ以上の事前画像のデータを処理して取得された画像のデータを提供する電子処理ユニットと、を備え、
    さらに、前記電子処理ユニットは、前記光検出器上に投影された前記場面における前記２つ以上の事前画像のデータを比較して、前記場面の少なくともいくつかの特徴的な領域の個々の動きベクトルを計算し、計算された前記動きのベクトルを利用して、前記場面における前記２つ以上の画像内の相対的な動きをモニターするために使用されるベクトルから分離された各方向ベクトルに沿ってモニターされた全体的な動きから独立し、分離されてモニターされた前記各方向ベクトルが前記全体的な動きの速度及び加速度を提供し、前記取得された画像のデータの提供に使用される露光継続時間を有する１つ以上の露光パラメータを、少なくとも前記全体的な動き量の大きさに基づいて設定するために用いられる相対的な動き量を決定し、
    前記全体的な動き量の大きさが第１閾値より下であれば、前記計算された継続時間を増加させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを減少させ、前記全体的な動き量の大きさが第２閾値より上であれば、前記計算された継続時間を減少させる一方で、少なくともアパチャーサイズ及び利得のどちらかを有するグループから選択される１以上の他のパラメータを増加させて、平均画像輝度を範囲内に保持する
    ことを特徴とする電子画像装置。
  55. 前記光検出器上に投影される、連続するプレビュー画像のデータを表示する電子ディスプレイを備え、さらに、前記電子処理ユニットは、前記プレビュー画像の解像度よりも高い解像度を有する、前記画面のデータを取得する前に現れるそのような２つ以上のプレビュー画像の前記データから、前記動きベクトルを計算する
    ことを特徴とする請求項５４に記載の電子画像装置。
  56. さらに、前記電子処理ユニットは、前記場面の決定された前記動きを利用して、取得した画像のデータを提供するために、前記場面のデータを処理する前に、電子的なアナログ利得の露光パラメータを設定する
    ことを特徴とする請求項５４に記載の電子画像装置。
  57. さらに、前記電子処理ユニットは、前記場面の決定された前記場面の前記動きを利用して、前記場面のデータを処理することによる取得された画像のデータの提供に続いて、デジタル利得の露光パラメータを設定する
    ことを特徴とする請求項５４に記載の電子画像装置。
  58. さらに、前記電子処理ユニットは、前記場面の決定された前記場面の前記動きを利用して、前記場面の光が通過する前記光学システム内のアパチャーのサイズの露光パラメータを設定する
    ことを特徴とする請求項５４に記載の電子画像装置。
JP2008538133A 2005-10-25 2006-10-18 カメラ及び場面の動きを考慮するカメラの露光最適化技術 Expired - Fee Related JP5276444B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/258,975 2005-10-25
US11/258,975 US7546026B2 (en) 2005-10-25 2005-10-25 Camera exposure optimization techniques that take camera and scene motion into account
PCT/US2006/060056 WO2007097808A2 (en) 2005-10-25 2006-10-18 Camera exposure optimization techniques that take camera and scene motion into account

Publications (2)

Publication Number Publication Date
JP2009514435A JP2009514435A (ja) 2009-04-02
JP5276444B2 true JP5276444B2 (ja) 2013-08-28

Family

ID=37985490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008538133A Expired - Fee Related JP5276444B2 (ja) 2005-10-25 2006-10-18 カメラ及び場面の動きを考慮するカメラの露光最適化技術

Country Status (6)

Country Link
US (2) US7546026B2 (ja)
EP (1) EP1949672A2 (ja)
JP (1) JP5276444B2 (ja)
KR (1) KR101373357B1 (ja)
CN (1) CN101346987B (ja)
WO (1) WO2007097808A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514581B2 (en) 2017-11-14 2022-11-29 Sony Semiconductor Solutions Corporation Image capturing device, image capturing method, and image capturing system

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101305396B (zh) * 2005-07-12 2012-05-02 Nxp股份有限公司 用于去除运动模糊效应的方法和装置
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
CN101341737A (zh) * 2005-11-21 2009-01-07 松下电器产业株式会社 数字照相机、安装了数字照相机的电子设备、数字照相机的摄像方法以及存储了数字照相机的程序的存储介质
US8094959B2 (en) * 2005-12-09 2012-01-10 Seiko Epson Corporation Efficient detection of camera shake
US7835542B2 (en) * 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
US8184166B2 (en) * 2006-07-06 2012-05-22 Nokia Corporation Method, device, mobile terminal and computer program product for a camera motion detection based scheme for improving camera input user interface functionalities
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US7697836B2 (en) * 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
US9148584B1 (en) * 2006-11-13 2015-09-29 Ambarella, Inc. Automatic exposure with digital gain optimized for noise reduction
US7634187B2 (en) * 2007-01-04 2009-12-15 Qualcomm Incorporated Dynamic auto-focus window selection that compensates for hand jitter
US7995097B2 (en) * 2007-05-25 2011-08-09 Zoran Corporation Techniques of motion estimation when acquiring an image of a scene that may be illuminated with a time varying luminance
US8718319B2 (en) * 2007-06-15 2014-05-06 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8237099B2 (en) * 2007-06-15 2012-08-07 Cognex Corporation Method and system for optoelectronic detection and location of objects
JP2009071380A (ja) * 2007-09-10 2009-04-02 Olympus Medical Systems Corp 画像処理装置
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
EP2063630A1 (en) * 2007-11-26 2009-05-27 Thomson Licensing Video capture device with variable shutter integration time
US8482620B2 (en) 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
JP2010021598A (ja) * 2008-07-08 2010-01-28 Victor Co Of Japan Ltd 撮像装置および撮像方法
US8194141B2 (en) * 2008-09-11 2012-06-05 Texas Instruments Incorporated Method and apparatus for producing sharp frames with less blur
KR101517148B1 (ko) 2008-10-09 2015-05-04 삼성전자주식회사 자동 노출 시스템 및 방법
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
KR101526866B1 (ko) 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
KR20100095924A (ko) * 2009-02-23 2010-09-01 삼성전자주식회사 동영상의 상황정보를 반영한 광고 키워드 추출 방법 및 장치
US8830339B2 (en) * 2009-04-15 2014-09-09 Qualcomm Incorporated Auto-triggered fast frame rate digital video recording
CN101867717B (zh) * 2009-04-16 2012-05-30 华晶科技股份有限公司 数字影像的拍摄参数的调整方法及数字摄像装置
US8659670B2 (en) 2009-04-20 2014-02-25 Qualcomm Incorporated Motion information assisted 3A techniques
TWI390970B (zh) * 2009-07-22 2013-03-21 Altek Corp Use motion detection to adjust the digital camera's shooting settings
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
KR101626003B1 (ko) * 2009-08-24 2016-06-13 삼성전자주식회사 디지털 촬영장치
FR2952195A1 (fr) * 2009-10-30 2011-05-06 St Ericsson France Sas Procede d'acquisition d'une image numerique stabilisee par un appareil photo
CN101729665B (zh) * 2009-12-11 2013-10-02 惠州Tcl移动通信有限公司 一种具有防抖功能的拍照手机及其在拍照中的防抖方法
TWI398161B (zh) * 2009-12-24 2013-06-01 Ability Entpr Co Ltd 校正感度增益的方法
US8558913B2 (en) * 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9288428B2 (en) * 2010-05-11 2016-03-15 Olympus Corporation Shooting apparatus and method for controlling shooting apparatus
KR101052207B1 (ko) * 2010-05-12 2011-07-27 엠텍비젼 주식회사 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
KR101141054B1 (ko) * 2010-08-17 2012-05-03 주식회사 휴비츠 프리뷰 이미지 저장 및 디스플레이 기능을 갖는 안저 촬영 장치
US8823809B1 (en) * 2010-09-27 2014-09-02 Rockwell Collins, Inc. Methods and systems for increasing image sensor sensitivity
KR101642964B1 (ko) * 2010-11-03 2016-07-27 삼성전자주식회사 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
US8643734B2 (en) 2010-11-10 2014-02-04 Apple Inc. Automatic engagement of image stabilization
JP2012105141A (ja) * 2010-11-11 2012-05-31 Canon Inc 画像処理装置及びその制御方法
US8379934B2 (en) * 2011-02-04 2013-02-19 Eastman Kodak Company Estimating subject motion between image frames
US8428308B2 (en) 2011-02-04 2013-04-23 Apple Inc. Estimating subject motion for capture setting determination
US8842931B2 (en) * 2011-02-18 2014-09-23 Nvidia Corporation System, method, and computer program product for reducing noise in an image using depth-based sweeping over image samples
US8736697B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera having burst image capture mode
US8736704B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
US8736716B2 (en) 2011-04-06 2014-05-27 Apple Inc. Digital camera having variable duration burst mode
CN103037226A (zh) * 2011-09-30 2013-04-10 联咏科技股份有限公司 深度融合方法及其装置
US20130272609A1 (en) * 2011-12-12 2013-10-17 Intel Corporation Scene segmentation using pre-capture image motion
EP2608529B1 (en) * 2011-12-22 2015-06-03 Axis AB Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
US8988578B2 (en) 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
US9751465B2 (en) 2012-04-16 2017-09-05 Magna Electronics Inc. Vehicle vision system with reduced image color data processing by use of dithering
US8866921B2 (en) * 2012-06-26 2014-10-21 Htc Corporation Devices and methods involving enhanced resolution image capture
US9354721B2 (en) * 2012-09-28 2016-05-31 Apple Inc. Movement based image transformation
WO2014167170A1 (en) * 2013-04-11 2014-10-16 Nokia Corporation Method and technical equipment for imaging
CN103347152A (zh) * 2013-07-08 2013-10-09 华为终端有限公司 一种图像处理方法、装置及终端
US9407823B2 (en) 2013-12-09 2016-08-02 Microsoft Technology Licensing, Llc Handling video frames compromised by camera motion
CN103888681B (zh) * 2014-04-18 2017-05-31 四川华雁信息产业股份有限公司 一种自动曝光方法及装置
CN105450936B (zh) * 2014-05-30 2019-02-15 杭州海康威视数字技术股份有限公司 摄像机自动曝光时智能调节方法及其装置
CN104363380B (zh) * 2014-10-15 2017-10-27 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US10037596B2 (en) * 2014-11-11 2018-07-31 Raymond Miller Karam In-vehicle optical image stabilization (OIS)
CN104519282A (zh) * 2014-12-09 2015-04-15 小米科技有限责任公司 图像拍摄方法及装置
US9723218B2 (en) 2014-12-09 2017-08-01 Xiaomi Inc. Method and device for shooting a picture
CN104506780A (zh) * 2014-12-25 2015-04-08 深圳市锐明视讯技术有限公司 一种车载成像设备的图像调节方法和装置
CN105991932A (zh) * 2015-02-09 2016-10-05 联想(北京)有限公司 数据处理方法及电子设备
US10091432B2 (en) 2015-03-03 2018-10-02 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof and storage medium storing control program therefor
JP6529430B2 (ja) * 2015-03-03 2019-06-12 キヤノン株式会社 撮像装置、制御方法、制御プログラム、および記憶媒体
JP5843027B1 (ja) * 2015-03-10 2016-01-13 株式会社リコー 撮像装置、制御方法およびプログラム
US9635276B2 (en) 2015-06-10 2017-04-25 Microsoft Technology Licensing, Llc Determination of exposure time for an image frame
DE102015213780A1 (de) * 2015-07-22 2017-01-26 BSH Hausgeräte GmbH Betreiben einer Kamera eines Haushaltsgeräts
US10334154B2 (en) * 2015-08-31 2019-06-25 Snap Inc. Automated adjustment of digital image capture parameters
US9571741B1 (en) 2015-10-08 2017-02-14 Gopro, Inc. Smart shutter in low light
US10805538B2 (en) 2015-12-16 2020-10-13 Martineau & Associates, Inc. Method and apparatus for remanent imaging control
CN105744116A (zh) * 2016-02-25 2016-07-06 广东欧珀移动通信有限公司 检测方法、控制方法、检测装置、控制装置及电子装置
US10560636B1 (en) * 2017-03-24 2020-02-11 Cisco Technology, Inc. Crop synchronized auto focus and exposure
US10764499B2 (en) 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10750097B2 (en) 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11151727B2 (en) 2017-08-24 2021-10-19 Sony Group Corporation Image processing devices with efficient motion blur detection and methods of operating same
RU2667790C1 (ru) 2017-09-01 2018-09-24 Самсунг Электроникс Ко., Лтд. Способ автоматической регулировки экспозиции для инфракрасной камеры и использующее этот способ вычислительное устройство пользователя
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
JP6898873B2 (ja) * 2018-02-06 2021-07-07 日立Astemo株式会社 隊列走行制御装置、隊列走行制御システム、隊列走行制御方法
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US11394941B2 (en) * 2018-05-28 2022-07-19 Sony Corporation Image processing device and image processing method
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
CN113678429A (zh) * 2019-04-09 2021-11-19 托罗公司 在低光照条件下的自主机器导航
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
KR20210019826A (ko) * 2019-08-13 2021-02-23 삼성전자주식회사 Ar 글래스 장치 및 그 동작 방법
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
CN110753189B (zh) * 2019-12-25 2020-05-19 武汉精立电子技术有限公司 一种相机取像方法及系统
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11838630B2 (en) * 2020-06-04 2023-12-05 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and storage medium
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US20220138964A1 (en) * 2020-10-30 2022-05-05 Qualcomm Incorporated Frame processing and/or capture instruction systems and techniques
WO2022160294A1 (zh) * 2021-01-29 2022-08-04 深圳市大疆创新科技有限公司 曝光控制方法、装置及计算机可读存储介质
CN113438425B (zh) * 2021-08-25 2021-11-19 深圳市大道智创科技有限公司 一种自动曝光调整方法及系统
CN116723408B (zh) * 2022-02-28 2024-05-14 荣耀终端有限公司 一种曝光控制方法及电子设备
CN115967861B (zh) * 2023-03-09 2023-06-16 杭州涂鸦信息技术有限公司 一种图像处理方法及装置

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3626827A (en) 1967-10-26 1971-12-14 Minolta Camera Kk Automatic exposure adjustment device for flash photography
US3828122A (en) * 1970-09-29 1974-08-06 Bendix Corp Tv area correlation tracker
US3690234A (en) 1971-01-18 1972-09-12 Us Air Force Apparatus for taking photographs at times of minimum image motion
DE2738804C2 (de) * 1977-08-29 1983-10-20 Canon Inc., Tokyo Einrichtung zum Erkennen der Relativbewegung zwischen einem Objekt und dieser Vorrichtung
US5043816A (en) * 1988-12-26 1991-08-27 Casio Computer Co., Ltd. Electronic still camera including photographing timing control
US5220375A (en) * 1989-06-21 1993-06-15 Minolta Camera Kabushiki Kaisha Camera having blurring correction apparatus
JPH03223976A (ja) * 1990-01-29 1991-10-02 Ezel Inc 画像照合装置
US5223935A (en) * 1990-04-02 1993-06-29 Casio Computer Co., Ltd. Electronic camera with automatic exposure control
JP2526305B2 (ja) 1990-06-04 1996-08-21 松下電器産業株式会社 トラック追従制御装置
US5255044A (en) * 1990-06-05 1993-10-19 Nikon Corporation Automatic exposure control apparatus with improved exposure value calculation for photographing a moving object
JPH0534757A (ja) 1991-07-31 1993-02-12 Canon Inc カメラ
JP3642793B2 (ja) * 1992-11-25 2005-04-27 ソニー株式会社 固体撮像装置及び撮像装置の制御方法
JP3250576B2 (ja) 1992-12-08 2002-01-28 ソニー株式会社 ディスク装置
JPH06308588A (ja) 1993-04-27 1994-11-04 Nikon Corp ブレ防止機能付きカメラ
US5692223A (en) 1993-10-22 1997-11-25 Minolta Co., Ltd. Remotely-controlled flash photographing system
DE69536129D1 (de) * 1994-04-19 2011-01-27 Eastman Kodak Co Kamera mit automatischer Belichtungssteuerung unter Verwendung von CCD-Sensor mit verstellbarem Belichtungsindex
JP3450449B2 (ja) * 1994-07-18 2003-09-22 キヤノン株式会社 撮像装置およびその撮像方法
JPH08256289A (ja) * 1995-03-15 1996-10-01 Canon Inc 撮像装置
JPH08320511A (ja) 1995-05-24 1996-12-03 Olympus Optical Co Ltd ぶれ低減カメラ
JPH08327917A (ja) 1995-06-01 1996-12-13 Nikon Corp 撮像装置
US5742340A (en) * 1995-06-06 1998-04-21 Hughes Missile Systems Company Ambient light automatic gain control for electronic imaging cameras and the like
JPH10174027A (ja) 1996-12-05 1998-06-26 Casio Comput Co Ltd 電子カメラ
JP3800709B2 (ja) * 1997-03-18 2006-07-26 株式会社ニコン ブレ補正装置、光学装置、及び、ブレ補正方法
JP4013283B2 (ja) * 1997-05-12 2007-11-28 株式会社ニコン 自動合焦機能付きカメラ
JPH10336511A (ja) * 1997-06-05 1998-12-18 Sanyo Electric Co Ltd カメラ装置
JPH1188810A (ja) 1997-09-04 1999-03-30 Hitachi Ltd 電子カメラ
JPH11326980A (ja) * 1998-05-13 1999-11-26 Minolta Co Ltd 手振れ補正機能を有するカメラシステム
JPH11326346A (ja) 1998-05-15 1999-11-26 Minolta Co Ltd 光学プローブ、近接場走査型光顕微鏡及び光学装置
JPH11346326A (ja) * 1998-05-29 1999-12-14 Niles Parts Co Ltd デジタルｃｃｄカメラ
JP3430994B2 (ja) * 1999-09-28 2003-07-28 ミノルタ株式会社 カメラ
JP2001128058A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Ind Co Ltd 撮像装置
US6532264B1 (en) * 2000-03-27 2003-03-11 Teranex, Inc. Processing sequential video images to detect image motion among interlaced video fields or progressive video images
US6301440B1 (en) * 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
US7148923B2 (en) * 2000-09-30 2006-12-12 Hand Held Products, Inc. Methods and apparatus for automatic exposure control
JP4736173B2 (ja) * 2000-10-27 2011-07-27 株式会社ニコン 撮像装置
US6914624B1 (en) * 2000-11-13 2005-07-05 Hewlett-Packard Development Company, L.P. Adaptive and learning setting selection process for imaging device
US6891570B2 (en) * 2001-01-31 2005-05-10 Itt Manufacturing Enterprises Inc. Method and adaptively deriving exposure time and frame rate from image motion
US6943832B2 (en) * 2001-03-22 2005-09-13 Agilent Technologies, Inc. Hysteresis in image processing algorithms
US7791641B2 (en) * 2001-09-12 2010-09-07 Samsung Electronics Co., Ltd. Systems and methods for utilizing activity detection information in relation to image processing
US20030063322A1 (en) 2001-10-01 2003-04-03 Ayumi Itoh Image taking apparatus
SE0103286L (sv) * 2001-10-03 2003-04-04 Anoto Ab Optisk sensoranordning och förfarande för att reglera dess exponeringstid
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US20030180037A1 (en) 2002-03-21 2003-09-25 Mathew Sommers LED flash device for camera
US6892029B2 (en) 2002-06-06 2005-05-10 Olympus Optical Co., Ltd. Strobe light emitting apparatus and camera
JP3993043B2 (ja) 2002-08-05 2007-10-17 富士フイルム株式会社 デジタルスチルカメラ
US7212230B2 (en) * 2003-01-08 2007-05-01 Hewlett-Packard Development Company, L.P. Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera
KR100547998B1 (ko) * 2003-02-10 2006-02-01 삼성테크윈 주식회사 촬영 상태가 부적절하였음을 알려주는 디지털 카메라의제어방법
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP4076148B2 (ja) * 2003-03-20 2008-04-16 株式会社リコー デジタルカメラ
US7221398B2 (en) * 2003-05-01 2007-05-22 Hewlett-Packard Development Company, L.P. Accurate preview for digital cameras
JP2004361486A (ja) * 2003-06-02 2004-12-24 Nikon Corp デジタルスチルカメラ
JP4155118B2 (ja) * 2003-06-13 2008-09-24 カシオ計算機株式会社 静止画合成装置、及び動画像からの静止画合成方法
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
JP4314953B2 (ja) 2003-09-30 2009-08-19 カシオ計算機株式会社 電子撮影装置、振動可能性警告方法及びプログラム
US6859618B1 (en) 2003-11-15 2005-02-22 Hewlett-Packard Development Company, L.P. Exposure compensation method and system employing meter matrix and flash
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US8570389B2 (en) 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US8289399B2 (en) * 2004-08-09 2012-10-16 Hewlett-Packard Development Company, L.P. System and method for image capture device
JP2006115446A (ja) * 2004-09-14 2006-04-27 Seiko Epson Corp 撮影装置、及び画像評価方法
JP4379918B2 (ja) 2004-11-29 2009-12-09 富士フイルム株式会社 撮影装置及び撮影方法
US8013909B2 (en) * 2004-12-29 2011-09-06 Nokia Corporation Method and apparatus for adjusting exposure in digital imaging
US20060170816A1 (en) 2005-01-28 2006-08-03 Silverstein D A Method and system for automatically adjusting exposure parameters of an imaging device
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
JP2007019973A (ja) 2005-07-08 2007-01-25 Fujifilm Holdings Corp 撮像装置及び撮像方法
EP1924966B1 (en) * 2005-08-08 2009-04-29 MEP Imaging Technologies Ltd. Adaptive exposure control
US7509038B2 (en) * 2005-09-29 2009-03-24 Seiko Epson Corporation Determining maximum exposure time to limit motion blur during image capture
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US20080044170A1 (en) 2006-08-16 2008-02-21 Choon Hwee Yap Image Capturing System And Method Of Operating The Same
US7697836B2 (en) 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
US8494306B2 (en) 2007-12-13 2013-07-23 Samsung Electronics Co., Ltd. Method and an apparatus for creating a combined image
US8482620B2 (en) 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514581B2 (en) 2017-11-14 2022-11-29 Sony Semiconductor Solutions Corporation Image capturing device, image capturing method, and image capturing system

Also Published As

Publication number Publication date
US7546026B2 (en) 2009-06-09
KR101373357B1 (ko) 2014-03-13
US20090256921A1 (en) 2009-10-15
CN101346987A (zh) 2009-01-14
JP2009514435A (ja) 2009-04-02
CN101346987B (zh) 2011-08-03
US20070092244A1 (en) 2007-04-26
US8189057B2 (en) 2012-05-29
KR20080059462A (ko) 2008-06-27
EP1949672A2 (en) 2008-07-30
WO2007097808A3 (en) 2007-11-29
WO2007097808A2 (en) 2007-08-30

Similar Documents

Publication Publication Date Title
JP5276444B2 (ja) カメラ及び場面の動きを考慮するカメラの露光最適化技術
US9955071B2 (en) Using captured high and low resolution images
US8452169B2 (en) Control of artificial lighting of a scene to reduce effects of motion in the scence on an image being acquired
JP5897475B2 (ja) 輝度及び動きからの捕捉条件の選択
JP5086357B2 (ja) 信号センサからの多重ビデオ信号の供給
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
US9706120B2 (en) Image pickup apparatus capable of changing priorities put on types of image processing, image pickup system, and method of controlling image pickup apparatus
US8830338B2 (en) Imaging device
US7965334B2 (en) Auto-focus camera with adjustable lens movement pitch
US20120120282A1 (en) Reducing Temporal Aliasing
US9451145B2 (en) Image capturing apparatus including an image sensor that has pixels for detecting a phase difference and control method for the same
JP2013515442A (ja) 静止画像及びプレビュー画像を用いた高ダイナミックレンジ画像の生成
KR101004914B1 (ko) 촬상장치 및 촬상방법
US11190704B2 (en) Imaging apparatus and control method for performing live view display of a tracked object
JP5618765B2 (ja) 撮像装置及びその制御方法
WO2016009199A2 (en) Minimisation of blur in still image capture
JP2015232620A (ja) 撮像装置、制御方法およびプログラム
JP2007139874A (ja) 撮像装置
US8121473B2 (en) Imaging apparatus
JP2009278486A (ja) 撮像装置
JP5076265B2 (ja) 電子カメラ
JP4027643B2 (ja) 撮像処理装置
KR20160109603A (ko) 촬영 장치 및 촬영 방법
JP2006106489A (ja) 画像処理装置および撮像装置
JP2004012977A (ja) カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120611

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20120827

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120827

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130517

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees