JP6803335B2 - 時間的分解能及び知覚される画像鮮鋭度を改善した画像捕捉 - Google Patents

Description

関連出願の相互参照
本願は、「ＩＭＰＲＯＶＥＤ ＴＥＭＰＯＲＡＬ ＲＥＳＯＬＵＴＩＯＮ ＡＮＤ ＰＥＲＣＥＩＶＥＤ ＩＭＡＧＥ ＳＨＡＲＰＮＥＳＳ」という名称の２０１４年１２月１５日に出願された米国仮特許出願第６２／０９２１１０号明細書の利益を主張するものであり、この仮特許出願は全体的に、参照により本明細書に援用される。

本開示は、一般的には画像データに関する。態様は、カメラに組み込み得、例えば、超高精細（ＵＨＤ）ディスプレイ用の画像の生成に使用し得る。

超高精細（ＵＨＤ）ディスプレイは、テレビ、パーソナルコンピュータ及びタブレット、スマートフォン、並びにカメラビューファインダを含め、様々な用途で使用されている。そのようなディスプレイでの鮮鋭度の低減は、画像内での物体の相対移動に起因して生じ得る。カメラビューファインダの場合、「モーションブラー」の影響は、各画像の比較的長い露出時間により生じる（５０Ｈｚシステムでは２０ｍｓ、５９．９４Ｈｚシステムでは１６．６ｍｓ）。物体が、カメライメージャの画像露出中に移動する場合、物体が複数のピクセルにわたり拡散するため、細部が失われる。一解決策は、秒毎に捕捉されているフレーム数を増大させ、その結果として、個々の各フレームの露出時間を低減することである。より高いフレームレートでのこれらのフレームは全て、ディスプレイに送信されて、より鮮鋭な画像を送出し得るが、信号帯域幅での大きな費用がかかる。加えて、カメラが毎秒当たりより多くの画像を生成するため、画像センサが画像毎に受信する光子量は低減し、結果としてカメラの光感度は低減し、信号対雑音比は低くなる。

毎秒当たりより多くの画像を生成することへの代替として、電子シャッターを使用することにより露出を低減して、毎秒当たりのフレーム数を同じに維持することもでき、各画像の露出時間のみが短くなる。これは、モーションブラーを低減する（移動の時間が短くなるため）が、光感度の低減にも繋がり、加えて、憂慮すべきストロボ効果（すなわち、「ブレ」）をもたらす。この手法を効率的に使用することにより、シャッターが閉じられたとき、フレーム内にゼロ露出（すなわち、黒さ）を生成し、画像間にギャップを生み出す。人間の目は、フレームからフレームに物体の動きを「追跡」しようと試みる。空中を飛ぶボールは、各画像ではカミソリのように鮮鋭であることができるが、カメラ画像センサは短い露出移動しか捕捉していないため、視覚的軌跡情報は失われ、ボールはシーンを通してとびとびに見え、動きの平滑性を欠く。人間の視覚系は物体を追跡するように「訓練」されているため、これは気を取られる視覚経験に繋がる。

以下は、１つ又は複数の態様の基本的理解を提供するために、そのような態様の簡略化した概要を提示する。この概要は、意図される全ての態様の広範囲に及ぶ概説ではなく、全ての態様の主要要素又は重要要素の識別も意図していなければ、任意又は全ての態様の範囲を定めることも意図してない。概要の唯一の目的は、以下提示されるより詳細な説明への前置きとして、１つ又は複数の態様の幾つかの概念を簡略化された形態で提示することである。

本明細書に提示される態様は、露出中、複数のポイントで画像センサ出力を捕捉することにより、画像性能の改善及び画像ブラーの低減を提供する。複数のポイントからの情報を使用して、画像を表す改善された信号を生成し得る。

態様は、一連のフレームでビデオ画像を捕捉するカメラ、方法、装置、システム、及びコンピュータ可読媒体を含み得、ピクセルアレイを有する画像センサを含む。各ピクセルは、光子を受け取り、光子の受け取りに応答して電荷を蓄積する。ピクセルプロセッサは、フレームの中間部分中、少なくとも一度、各ピクセルにより蓄積された電荷をサンプリングし、サンプルを処理して、デジタル画像を生成し、それにより、ディスプレイでのモーションブラーを低減する。

上記及び関連する目的を達成するために、１つ又は複数の態様は、以下十分に説明され、特許請求の範囲において特に指摘される特徴を備える。以下の説明及び添付図面は、１つ又は複数の態様の特定の例示的な特徴を詳細に記載する。しかし、これらの特徴は、様々な態様の原理を利用し得る様々な方法の少数のみを示しており、この説明は、そのような態様及びそれらの均等物の全ての包含を意図する。

ビューファインダディスプレイを有する例としてのカメラシステム１００のブロック図である。 図２Ａは、細部補正信号のために中間露出を使用することにより強化されたピクセルプロセッサの細部補正回路例のブロック図である。図２Ｂは、複数の中間露出を決定する減算器例のブロック図である。 動きが存在することの指示としての一連の露出中のピクセル電荷率例のグラフ図である。 細部補正信号のために中間露出を適用する方法例のフローチャートである。 図５Ａは、動き検出に応答して、中間露出のピクセル出力に切り替えるモーションブラー低減回路例のブロック図である。図５Ｂは、中間露出プロセッサ例のブロック図である。 動きが検出される場合、中間露出からピクセル出力に切り替える方法例のフローチャートである。 移動中の物体に露出される一連の隣接ピクセルのピクセル電荷率及びピクセル出力のグラフ図である。 図２Ａ及び図５Ａの要素を結合する細部補正回路のブロック図である。 移動中の物体に露出される一連の隣接ピクセルのピクセル電荷出力のグラフ図である。

添付図面と併せて以下に記載される詳細な説明は、様々な構成の説明として意図され、本明細書に記載される概念を実施し得る唯一の構成を表すことを意図しない。詳細な説明は、様々な概念の完全な理解を提供するために、具体的な詳細を含む。しかし、これらの概念が、これらの具体的な詳細なしで実施可能なことが当業者には明白であろう。幾つかの場合、周知の構造及び構成要素は、そのような概念を曖昧にしないように、ブロック図の形態で示されている。

ビデオ制作システムの特定の態様について、様々な装置及び方法を参照してこれより説明する。これらの装置及び方法は、以下の詳細な説明で説明され、様々なブロック、モジュール、構成要素、回路、ステップ、プロセス、アルゴリズム等（まとめて「要素」と呼ぶ）により添付図面に示される。これらの要素は、電子ハードウェア、コンピュータソフトウェア、又はそれらの任意の組合せを使用して実施し得る。そのような要素がハードウェアで実施されるか、それともソフトウェアで実施されるかは、特定の用途及び全体システムに課される設計制約に依存する。

例として、要素、要素の任意の部分、又は要素の任意の組合せは、１つ又は複数のプロセッサを含む「ピクセルプロセッサ」を用いて実施し得る。プロセッサの例としては、マイクロプロセッサ、マイクロコントローラ、画像プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、状態機械、ゲーテッド論理、離散ハードウェア回路、及び本開示全体を通して記載される様々な機能を実行するように構成される他の適するハードウェアが挙げられる。処理システム内の１つ又は複数のプロセッサは、ソフトウェアを実行し得る。ソフトウェアは、呼ばれ方がソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語等であれ関係なく、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、プロシージャ、関数等を広く意味するものと解釈されるものとする。ソフトウェアは、非一時的コンピュータ可読媒体に常駐し得る。コンピュータ可読媒体は、例として、磁気記憶デバイス（例えば、ハードディスク、フロッピーディスク、磁気ストリップ）、光ディスク（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ））、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、リムーバブルディスク等の非一時的記憶装置並びに搬送波、伝送線、及びソフトウェアの記憶又は伝送に適する任意の他の媒体を含み得る。コンピュータ可読媒体は、処理システムに常駐してもよく、処理システムの外部にあってもよく、又は処理システムを含む複数のエンティティにわたり分散してもよい。特定の用途及び全体システムに課される全体設計制約に応じて、本開示全体を通して提示される記載される機能を最良に実施する方法を当業者は認識するであろう。

図１は、ピクセルプロセッサ１２２を実施する例としてのカメラシステム１００を示す簡易化ブロック図である。カメラシステム１００は、カメラ１０２、ビューファインダ１０４、及びレンズ系１０６を備え得る。カメラ１０２は画像センサ１２０を含み得、画像センサ１２０は、光子を電荷に変換するピクセルのアレイを備え得る。特に、画像センサは、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）を備え得る。したがって、ピクセルアレイは、ＣＣＤピクセル又はＣＭＯＳピクセルのアレイを含み得る。画像は、レンズ系１０６により画像センサ１２０に投射される。画像センサ１２０の出力は、ピクセルアレイからの出力信号を含む。画像センサ１２０は、各ピクセルの光子入力レベルをアレイ内の各ピクセルの比例電圧信号に変換することにより、電圧信号を生成する。画像センサ１２０のピクセルは、光子に露出され、例えば、レンズ系１０６により投射され、フレーム露出という時間単位で画像センサのピクセルにより読み取られる。各ピクセルは、露出フレームの過程中、画像を表す電荷を蓄積する。画像センサ１２０は、電荷をアナログ出力電圧信号に変換し得る。代替的には、画像センサ１２０は、電荷をアナログ電圧に変換し、アナログ／デジタル変換器を使用してアナログ電圧をデジタル信号に変換して、例えば、デジタル出力電圧信号を生成し得る。画像センサ１２０は、フレームレートで周期的に出力電圧信号を送信し得る。ピクセルは、蓄積された電荷を放電することによりリセットし得、それにより、次のフレームの次のピクセル電荷蓄積を開始することができる。光子量は、ピクセル出力に向けてそれ以上は電荷を蓄積することができない飽和閾値まで電圧信号に変換し得る。一例では、複数の画像センサ１２０が同期して動作し得る。複数の画像センサ１２０は、互いと異なる位相で動作することもできる。

ピクセルプロセッサ１２１は、モーションブラーについて画像センサピクセル出力信号を補正するように構成し得る。ピクセルプロセッサ１２１の出力は、ビデオシーケンスの各フレーム露出の画像を形成するピクセル信号のアレイであり得る。カメラ１０２は、一連の画像を受信し、所望のフレームレート、アスペクト比等を有するデジタルビデオ出力を生成するビデオプロセッサ１２２を含む。ビデオプロセッサ１２２は、ホワイトバランス、色補正、及びガンマ補正をビデオ画像に対して実行することもできる。ビデオプロセッサ１２２は、上記機能のうちの１つ又は複数を実行するようにそれぞれ構成された複数の別個のプロセッサとして実施し得る。代替的には、ピクセルプロセッサ１２１及びビデオプロセッサ１２２は、逆に配置し得、それにより、ピクセルプロセッサ１２１は、ビデオプロセッサ１２２により既に補正された画像をピクセル単位で処理する。

エンコーダ１２４は、未処理ビデオ出力をビデオプロセッサ１２２から受信し、特定の仕様（例えば、シリアルデジタルインタフェース（ＳＤＩ）、Ｈ．２６４／ＭＰＥＧ−４アドバンストビデオコーディング、又は高精細マルチメディアインタフェース（ＨＤＭＩ（登録商標）））に従って符号化されたフォーマットデジタルビデオ信号を生成し得る。エンコーダ１２４からの信号は、ビデオ制作システムへ及び／又は送受信機１２６を使用してネットワークを介して送信される出力であり得る。エンコーダ１２４は、符号化されたビデオフィード又は未処理ビデオフィードをビューファインダ１０４に提供することもできる。

ビューファインダ１０４は、符号化ビデオ又は未処理ビデオをエンコーダ１２４から受信し、画像データをディスプレイ１４２に提供するように構成されるデコーダ１４１を含み得る。一例では、ディスプレイ１４２は、各ピクセルに有機発光ダイオード（ＯＬＥＤ）を含み得、それにより、発光ダイオード（ＬＥＤ）は、電流に応答して発光する有機化合物から形成される発光性エレクトロルミネセンス層でコーティングされる。ディスプレイ１４２に画像を生成するために、これら及び他のデバイスが使用可能である。

レンズ系１０６は、１枚又は複数枚のレンズを含み得、レンズの所望の光学構成を提供するように制御し得、所望の光学構成は、例えば、被写界深度設定、開口数、及び焦点距離を指定し得る。

図２Ａは、フレームの中間部分中、画像センサ１２０をサンプリングして、画像を表す信号を生成するピクセルプロセッサ１２１の例としての細部補正回路２００のブロック図である。画像センサ１２０のピクセル毎に、サンプル器２０２は入力２０１を受信し、入力２０１は、画像センサ１２０から受信されるピクセル出力である。サンプル器２０２は、離散時間サンプルＳ１〜Ｓｎにおいて蓄積ピクセル出力値（例えば、電荷又は出力電圧信号値）を読み取り得る。サンプルＳ１〜Ｓｎは、露出フレームの開始時及び終了時にそれぞれ生じ得、１つ又は複数のサンプルがサンプルＳ１とＳｎとの間に生じる。例えば、ｎ＝４の場合、サンプルＳｎ＝Ｓ４はフレーム露出の終了時に生じ、サンプルＳ２は全フレーム露出間隔の約２５％で生じ得、サンプルＳ３は全フレーム露出間隔の約７５％で生じ得る。代替的には、サンプルＳ２は全フレーム露出間隔の約３３％で生じ得、サンプルＳ３は全フレーム露出間隔の約６６％で生じ得る。代替の例として、ｎ＝３の場合、サンプルＳ３は露出フレームの終了時に生じ、サンプルＳ２は、フレーム露出の約２５％と約７５％との間のどこかで生じ得る。ｎ＞４の場合の他の可能な代替の変形が実施可能であり、サンプル２０２器は、全フレーム露出内のピクセル出力値の追加のサンプルを提供する。画像センサ１２０のＣＭＯＳ実施の場合、サンプル器２０２は、上述したように動作して、露出フレーム毎に複数のサンプルを読み取り得る。画像センサ１２０のＣＣＤ実施の場合、中間サンプルの読み取りは、単一フレーム内で可能ではないことがある。したがって、ＣＣＤ画像センサ１２０は、公称フレーム内で複数のサンプルをシミュレートするために、カメラ１００の公称レートより高速のフレームレートで動作する必要があり得る。例えば、カメラ１００のビデオ信号は、５０ＦＰＳ（２０ｍｓフレーム）レートで処理され、サンプル器２０２は、フレーム毎に４つのサンプル（ｎ＝４）を必要とし、ＣＣＤ画像センサ１２０は、２００ＦＰＳ（５ｍｓフレーム）でのより高速のレートで動作し、２０ｍｓフレーム毎に４つのＣＣＤ画像をもたらし得る。各組のサンプルＳ１〜Ｓ４が次に、同等の２０ｍｓフレームでの４つのＣＣＤ画像のブロックから導出し得る。

減算器２０３は、サンプルＳｎでの蓄積ピクセル出力値からサンプルＳ１でのピクセル出力値を減算することにより、全フレーム露出の蓄積ピクセル出力（例えば、電荷又は出力電圧信号値）を特定する。減算器２０４は、サンプルＳ３での蓄積ピクセル出力値からサンプルＳ２での蓄積ピクセル出力値を減算することにより、中間フレーム露出の蓄積ピクセル出力値を特定する。ｎ＝４、露出フレームの２５％におけるサンプルＳ２、及び全フレーム露出間隔の７５％におけるサンプルＳ３の例では、中間露出は、フレーム露出の中間５０％のピクセル出力値を提供する。ｎ＝４、フレーム露出の約３３％で生じるサンプルＳ２、及び全フレーム露出の約６６％におけるサンプルＳ３の例では、中間露出は、全フレーム露出の中部１／３でのピクセル出力を提供する。代替的には、ｎ＝３の例では、サンプルＳ３は全フレーム露出の終了時に生じ、サンプルＳ２が全フレーム露出の５０％において生じ、減算器２０４は、サンプルＳ３におけるピクセル出力値からサンプルＳ２におけるピクセル出力値を減算して、全フレーム露出の最後の半分に関連する中間露出値を提供し得る。代替的には、減算器２０４は、サンプルＳ２におけるピクセル出力値からサンプルＳ１におけるピクセル出力値を減算して、全フレーム露出の最初の半分に関連する中間露出値を提供し得る。

図２Ｂは、複数の中間露出を特定し得る例としての減算器２０４のブロック図を示す。サンプル器２０２がサンプルＳｎ、ｎ＞４を読み取る実施形態では、複数の中間露出が、複数の減算器２１４を使用して、各中間露出をそれぞれ別個に特定することにより、減算器２０４により取得し得る。例えば、ｎ＝６の場合、中間露出Ｓ６〜Ｓ５、Ｓ５〜Ｓ４、Ｓ４〜Ｓ３、Ｓ３〜Ｓ２及びＳ２〜Ｓ１は、１つ又は複数の減算器２１４により特定し得る。セレクタ２２４は、どの中間露出が細部補正回路２００により処理されるべきかを適応的に選択するマルチプレクサとして実施し得る。

増幅器２０５は、中間フレーム露出のピクセル出力を受信し、全フレーム露出への正規化として増幅する。例えば、増幅器２０５は、６ｄＢブーストを蓄積ピクセル出力値に適用し得る。細部プロセッサ２０６は、増幅されたピクセル出力値を受信し、細部補正アルゴリズムを適用して、モーションブラーを補正する。細部プロセッサ２０６は、任意の信号遷移において補正信号を生成することにより、知覚される画像の鮮鋭度を改善する。輝度及び／又は色差での遷移は、細部プロセッサ２０６により強化されて、シーンでの物体を強化する。計算された細部補正は、ピクセル毎に元の画像に追加される。この細部補正信号は、画像の鮮鋭度に依存する。この例では、中間露出はピクセルのモーションブラーの５０％を含む。細部補正を全フレーム露出の代わりにより短い中間フレーム露出に対して実行することにより、ピクセルでのモーションブラーの影響は低減され、細部補正の有効性を強化する。合算器２０７は、細部補正信号を全露出ピクセル出力に加算し、それにより、強化ピクセル出力２０８を与えるように構成される。

図３は、一連の単一のフレーム露出３０１、３０２、３０３中の複数のサンプルＳ１〜Ｓｎの画像センサ１２０のピクセル出力のサンプリング例のグラフ図である。この例では、ｎ＝４であり、蓄積ピクセル出力値は順次、サンプルＳ１、Ｓ２、Ｓ３、及びＳ４において読み取られ、サンプルＳ１はフレームの開始時に生じ、サンプルＳ４はフレームの終了時に生じるため、サンプルＳ１及びＳ４は、全フレーム露出の蓄積ピクセル出力を提供する。中間フレーム露出の画像センサ１２０のピクセル出力は、サンプルＳ２とＳ３との間で取得することができる。露出３０１では、Ｓ１とＳ４との間の間隔中の蓄積ピクセル出力の一定の傾きは、このピクセルの一定の光子入力を示し、これは、一定の光レベルがカメラの視野内の物体から反射されていることを意味する。光レベルは一定であるため、物体は固定されており、フレーム露出３０１内でこのピクセル単位にわたり移動しない可能性が高い。これとは対照的に、フレーム露出３０２及び３０３は、各サンプル対間隔（例えば、Ｓｉ及びＳｉ＋１）間のピクセル電荷率変動を示す。例えば、露出３０２において、ピクセル電荷蓄積率は、サンプルＳ１とＳ２との間、サンプルＳ２とＳ３との間で一定であるが、サンプルＳ３とＳｎとの間で下がり、より明るい物体からより暗い物体にピクセル出力の動きが存在し、ひいてはモーションブラーの潜在性が存在することを明らかにする。露出３０３は、ピクセル電荷率がＳ１とＳ３との間のピクセル電荷率と比較してサンプルＳ３とＳｎとの間で増大するため、画像センサ１２０のピクセルにより検知されるより暗い物体からより明るい物体への遷移（すなわち、ピクセルによりより明るい光子が検知されている）として動きの存在を示す。したがって、サンプル器２０２が各フレーム内の中間露出（例えば、サンプルＳ２とＳ３との間）を追跡するように構成される場合、動きは検出可能である。これとは対照的に、フレームの開始時及びフレームの終了時（すなわち、サンプルＳ１及びＳｎにおいて）のみでピクセル出力を測定する従来の手法は、ミスリードさせるピクセル電荷率３１２及び３１３が生じ、動きの指示を見過ごすおそれがある。

図４は、細部補正回路３００を実施する例としての方法４００のフローチャートを示す。ステップ４０２において、ピクセル出力値（すなわち、電荷又は出力電圧信号値）は、サンプル器３０２によりサンプルＳ１〜Ｓｎにおいて読み取られる。ステップ４０４において、中間フレーム露出のピクセル出力を減算器２０４により特定し得る。例えば、図３の例に関連して説明したように、中間フレーム露出のピクセル出力は、サンプルＳ３におけるピクセル出力からサンプルＳ２におけるピクセル出力を減算することにより、サンプリングし得る。増幅器２０５は、ステップ４０６において、中間露出のピクセル出力値を増幅し得る。任意選択的な態様が、図４において破線で示される。細部プロセッサ２０６は、ステップ４０８において、中間露出の増幅されたピクセル出力値の細部処理を実行し、細部補正信号２１０を生成する。この細部補正は、細部処理を全露出期間に対して実行することと比較して、より短い中間露出期間に対する動きの露出を低減することにより強化される。ステップ４１０において、細部補正信号２１０は、合算器２０７において全露出のピクセル出力値に加算し得、モーションブラーが補正された最終的なピクセル出力信号２０８を生成する。細部処理は中間露出に基づき得るが、ピクセル出力信号２０８は、全露出ピクセル出力に細部補正信号２１０を加えたものを捕捉する。したがって、方法４００は、単に各フレーム露出のピクセル出力をシャッターして、フレーム内の動きの持続時間を圧縮する従来の手法を使用して生じるいかなるブレもなく、画像センサピクセルでのモーションブラーの影響を低減する。

図５Ａは、ピクセルプロセッサ１２１の例としてのモーションブラー低減回路５００のブロック図である。サンプル器２０２の入力５０１は、ピクセル信号を画像センサ１２０からとり、複数のサンプルＳ１〜Ｓｎにおいて蓄積ピクセル出力を読み取る。減算器２０３は、図２を参照して上述したように、全露出ピクセル出力を特定する。減算器５０４は、図２の減算器２０４に関して上述した様式と同様に、中間露出ピクセル出力を特定する。コンパレータ５０６は、図３の露出３０２、３０３に示されるように、中間露出サンプリングを利用して、動きを検出するように構成される。一実施形態では、コンパレータ５０６は、全露出持続時間と中間露出持続時間との比率を特定するように構成される。例えば、サンプルＳ２とＳ３との間隔が、サンプルＳ１とＳ４との全露出間隔の５０％である場合、コンパレータ５０６は、Ｓ３〜Ｓ２間隔が間隔Ｓｎ〜Ｓ１の半分であり、したがって、ピクセル電荷率が一定の場合、Ｓ３〜Ｓ２間隔中のピクセル出力が全フレーム間隔Ｓｎ〜Ｓ１のピクセル出力の半分であると判断し得る。次に、コンパレータ５０６は、中間露出のピクセル出力を全露出のピクセル出力の半分と比較し得る。この比較が等比較である場合、予期されるピクセル出力が一定である（例えば、図３の露出３０１は一定のピクセル電荷率を示す）ことが確認されたため、コンパレータは、動きが存在しないと判断する。他方、比較が不等比較である場合、コンパレータ５０６は、このフレームでのピクセル電荷率が一定ではないと判断し、したがって、動きが検出される。動きの持続時間が低減する場合、モーションブラーの影響は低減するため、コンパレータ５０６は、スイッチ５０７を位置Ｂに動作させ、ピクセル出力５０８を中間露出から導出できるようにする。増幅器２０５は、全露出のピクセル出力に比例するようにピクセル出力を正規化する。５０％中間露出の例では、増幅器２０５は、概ね２００％、ピクセル出力値をブーストするように構成される。動きがコンパレータ５０６により検出されない場合、スイッチ５０７は、コンパレータ５０６からの制御信号に応答して、位置Ａに動くように構成され、全露出ピクセル出力をピクセル出力５０８として送信できるようにする。画像センサピクセルアレイの各ピクセルは、それに従って処理されて、フレームの全デジタル画像を生成し得る。したがって、ピクセルでの動きの検出に応じるとともに、スイッチ５０７の切り替えを用いて、全露出のピクセル出力５０８と、中間露出のピクセル出力５０８との混合を有するデジタル画像を生成して、全デジタル画像のピクセルアレイを形成し得る。

図５Ｂは、中間露出ピクセル出力を導出する代替の実施形態のブロック図例を示す。減算器５０４の代わりに、中間露出プロセッサ５０４’は、中間露出セレクタ５２４により実施し得、中間露出セレクタ５２４は、サンプル器２０２から受信される中間サンプル５１４を受信し、加重アルゴリズムを実行し、加重アルゴリズムは、モーションブラーの量について各サンプルをランク付けし、最小量のブラーを有するサンプルを選択する。

図６は、モーションブラーが低減した画像信号を生成する例としての方法６００のフローチャートを示す。方法は、ピクセルプロセッサ１２１又はモーションブラー低減回路５００等の少なくとも１つのプロセッサにより実行し得る。方法は、カメラシステム１００等のカメラにより実行されて、カメラにより生成される画像を改善し得る。

ステップ６０２において、サンプル器２０２は、複数のサンプルポイントＳ１〜Ｓｎにおいてピクセル出力を読み取る。例は３つ又は４つのサンプル点を有し示すが、本明細書において提示される態様に関連して任意の数のサンプル点を使用し得る。ステップ６０４において、減算器２０４は、サンプルＳ３におけるピクセル出力値からサンプルＳ２におけるピクセル出力値を減算することにより、中間露出のピクセル出力を特定する。次に、６０６において、コンパレータ５０６は、全露出持続時間に対する中間露出持続時間の比率に基づいて係数ｋを特定し（例えば、中間露出期間の持続時間が全露出期間の持続時間の半分である場合、コンパレータ５０６はｋ＝１／２であることを特定し）、以下の比較テストを実行し、
ｋＦＥ／ＩＥ＝１
式中、ＦＥは全露出ピクセル出力、例えば、Ｓｎ〜Ｓ１であり、ＩＥは中間露出ピクセル出力、例えば、Ｓ３〜Ｓ２である。比較テストが真ではない場合、動きが検出される。動きは、露出３０２と同様により明るい物体からより暗い物体への動きであってもよく、又は露出３０３と同様に逆の動きが検出される。動きが検出される場合、６１０において、スイッチ５０７は、出力５０８のピクセル出力を選択する。６０８において、中間露出のピクセル出力も増幅器２０５により増幅し得る。比較テストが真である場合、動きは検出されず、６１２において、コンパレータ５０６は、スイッチ５０７をアクティブ化して、全露出からのピクセル出力を選択する。

６１４において、画像のデジタル画像データが、ピクセルから生成されて、例えば、画像を表す信号を生成する。これは、１２０等の画像センサのピクセルアレイに基づいて信号を生成することを含み得る。

方法は、１フレーム持続時間の全画像が、動きが検出されない場合に選択されるサンプルと、動きが検出される場合に選択されるサンプルとを有するピクセルの混合を含むように、ピクセルアレイからデジタル画像データを生成することを更に含み得る。これは、全フレームのピクセル出力の大きさと平衡する大きさで、フレームの中間部分中のピクセル出力の大きさを増幅し、増幅された大きさに対して細部処理を実行して、細部補正信号を生成することを含み得る。細部補正信号は、移動中の物体が検出されない場合、全フレームのピクセル出力に追加されて、モーションブラーが補正されたデジタル画像データを生成し得、細部補正信号は、移動中の物体が検出される場合、フレームの中間部分のピクセル出力に追加され得る。

方法は、１フレーム持続時間中に複数の隣接ピクセルにわたり移動する移動中の物体の複数の隣接ピクセルのデジタル画像データを特定することを更に含み得る。

方法は、複数のピクセル出力の加重細部比較に従って、最小量のブラーを有するピクセル出力を選択することにより、フレームの中間部分中の少なくとも１つのサンプルを選択することを更に含み得る。例えば、更に生成される信号の露出時間に対してより小さな又はより大きな影響を有するような露出内の異なる時間で追加のサンプリングを行い得る。これは、分解能及び鮮鋭度のより大きな改善を提供し得る。細部信号は、複数のスナップショットで作成し得、例えば、サンプル及び細部は、最も確実なスナップショット、例えば、最小量のブラーを有するサンプルを検出するアルゴリズムに従って加重し得る。

別の例では、本明細書に提示された態様は、ＣＭＯＳイメージャの蓄積特徴なしで、秒毎により多くの画像を生成し、イメージャに向けて個々の時間フレームを加算することにより実行することもできる。

ピクセルプロセッサ１２１は、コンピュータ可読媒体／メモリに結合される少なくとも１つのプロセッサを備え得る。コンピュータ可読媒体は、少なくとも１つのプロセッサに、図４及び／又は図６に関連して示される方法の態様を実行させる実行可能コードを含み得る。

図７は、移動中の物体７０１が複数のピクセルにわたり動く際、画像センサ１２０の一連の連続ピクセルのピクセル電荷率例のグラフ図を示す。図を簡潔にするために、この例では、物体７０１は、４つのピクセルのそれぞれの検知領域を通して均等に移動し、各画像ピクセルにより検知される光子に影響することができる単純な形状として表される。様々なサイズの移動中の物体の任意の組合せが、画像センサピクセルの光子入力に影響を及ぼし得、その結果として、ピクセル電荷率がより複雑であり得ることを理解されたい。この例では、４つのピクセルＰ１〜Ｐ４が調べられるが、プロセスは、行単位又は特定数のピクセルブロックで同様にしてピクセルアレイ全体に適用し得る。この例では、サンプリングは、サンプルＳ１〜Ｓｎにおいてサンプル器２０２により実行され、ここで、ｎ＝４であり、サンプルＳ２及びＳ３は、全露出時間の２５％及び７５％において生じる。移動中の物体７０１は、時刻Ｔ０から時刻Ｔ１までの単一の露出フレームの持続時間にわたり、ピクセルＰ１からピクセルＰ４に向かって移動中である。物体が各ピクセルを超えて移動するにつれ、ピクセル電荷は、露出Ｔ０〜Ｔ１中、ピクセル率チャート７０２に示されるように活性化される。したがって、７０２は、ピクセルの出力信号が時間の経過に伴っていかに蓄積されるかを示す。ピクセル１の場合、物体は、露出の最初の概ね２５％にわたりピクセル電荷を活性化させ、蓄積電荷は、物体がピクセルＰ２に移動したため、運動がないことを反映して、露出期間の残りの時間にわたり一定レベルに維持される。ピクセルＰ２において、ピクセル電荷は、露出フレームの最初の５０％中、蓄積される。ピクセルＰ３でのピクセル電荷は、露出フレームの中間５０％中、蓄積され、一方、ピクセルＰ４は、露出フレームの最後の２５％でのみ、ピクセル電荷を蓄積する。

全露出にわたる４つのピクセルにわたるピクセル出力プロット７０３は、時刻Ｔ０とＴ１との間で一定値を有して示され、この間、中間露出強化は適用されない。したがって、７０３は、４つのピクセルのピクセル出力信号が、通常の露出時間でどのように見えるかを示す。

ピクセルプロット７０４は、ピクセルの中間サンプル、例えば、全露出時間の５０％における中間サンプルを使用した４つのピクセルの出力信号を示す。

細部補正回路２００により細部補正を１組のピクセルＰ１〜Ｐ４に適用した後、出力プロット７０４は、ピクセルＰ２及びＰ３での移動中の物体の強調された存在をより正確に反映した強化ピクセル出力を示す（すなわち、物体は、露出持続時間の５０％にわたり、ピクセルＰ２及びＰ３により検知されるが、ピクセルＰ１及びＰ４は、露出持続時間の２５％のみにわたり物体を検知する）。

図７に示されるように、全てのピクセルＰ１〜Ｐ４について、サンプルＳ３とＳ２との間（すなわち、中間露出ＩＥ）のピクセル電荷は、サンプルＳ４とＳ１との間（すなわち、全露出ＦＥ）のピクセル電荷の半分に等しくなく、これは、ｋ＝１／２である６０６により、ピクセルＰ１〜Ｐ４のそれぞれでの動きの存在を示す。その結果、スイッチ５０７は、ステップ６１０に従って、増幅器２０５からの出力を受け入れるように制御される。増幅器２０５は、サンプルＳ３とＳ２との間の中間露出に基づいてピクセルＰ２及びＰ３のピクセル出力を強化し、したがって、ピクセル出力プロット７０４は、ピクセル出力プロット７０３よりも高い振幅を反映する。ピクセルＰ１及びＰ４では、スイッチ５０７は、増幅器２０５から出力をとる（ステップ６１０）が、サンプルＳ３及びＳ２でのピクセル電荷蓄積はゼロであり、ステップ６０４に従って中間露出に計算されるピクセル出力はゼロである。その結果、強化ピクセル出力プロット７０４は、ピクセルＰ１、Ｐ２、Ｐ３、及びＰ４にわたり伸ばされたものと比較して、ピクセルＰ２及びＰ３での物体の画像をよりよく反映する。

図９はこの例を更に示す。９０２は、単一の露出長全体にわたるピクセル毎の電荷を示す。ピクセルは、露出中、４つのサンプルＳ１、Ｓ２、Ｓ３、及びＳ４においてサンプリングされる。図９では、最初のピクセルは、露出時間の最初の２５％のみで物体を見、２番目のピクセルは最初の５０％、３番目のピクセルは次の５０％、及び３番目のピクセルは最後の２５％を見るが、露出の終了時、Ｓ４での合計露出又は出力は全て同じレベルを示す。

まず、９０４において、２番目のサンプルＳ２と３番目のサンプルＳ３との間の信号が、４番目のサンプルＳ４又は合計露出出力の１／２よりも大きいか、それとも小さいかを考慮する。これは、各ピクセルで真である。これが各サンプルで真であるため、動きが検出され、Ｓ２とＳ３との差は、ピクセルの出力信号として、例えば増幅を用いて使用し得る。

次に、９０６において、Ｓ２における出力とＳ３における出力との差があるか否かを考慮する。ピクセル１及び４では、Ｓ２とＳ３との間に差がないため、これらのピクセルの出力はゼロになる。

図８は、図２Ａ及び図５Ａに示される実施形態を組み合わせた例としてのモーションブラー低減回路８００を示す。この例では、細部プロセッサ２０６での露出時間低減を用いて生成された細部補正信号は、合算器２０７において、全露出（ＦＥ）持続時間の場合は出力５０８に追加し得、中間露出（ＩＥ）持続時間の場合は増幅出力に追加し得る。出力８０８は、コンパレータ５０６によるステップ６０６における動きの検出及びその結果としてのスイッチ５０７における出力選択に依存する。

限定ではなく例として、本開示の態様は、テレビ番組の制作又はスポーツイベントで使用し得るビデオ制作システムの様々な構成要素を構成するのに使用されるシステム及び方法を参照して提示されている。本開示全体を通して提示される様々な概念は、動画及び／又は静止画を捕捉し処理するシステム、テレビ会議システム等を含め、多種多様な撮像用途にわたり実施し得る。

上記説明は、当業者が本明細書に記載される様々な態様を実施できるようにするために提供される。これらの態様への様々な変更が当業者には容易に明らかになり、本明細書に定義される一般原理は他の態様にも適用可能である。したがって、特許請求の範囲は、本明細書に示される態様への限定を意図せず、言語クレームと一貫する全範囲に従うべきであり、ここでは、単数形の要素への言及は、「１つのみ」と特に記載される場合を除き、「１つのみ」を意味することを意図せず、正確には「１つ又は複数」を意味することが意図される。特に別段のことが記載される場合を除き、「幾つかの」という用語は１つ又は複数を指す。当業者に既知又は後に既知になる、本開示全体を通して記載される様々な態様の要素への構造的均等物及び機能的均等物は全て、参照により本明細書に明示的に援用され、特許請求の範囲により包含されることが意図される。さらに、本明細書に開示されたものは、そのような開示が特許請求の範囲において明示的に記載されるか否かに関係なく、公開に向けられることが意図される。いかなるクレーム要素も、「する手段」という語句を使用して明示的に記載されるか、又は方法クレームの場合、要素が「するステップ」という語句を使用して記載される場合を除き、米国特許法第１１２章第６段落の規定下で解釈されるべきではない。

Claims (18)

1. 画像内で移動中の物体のモーションブラーを低減することにより、画像鮮鋭度が改善された画像を生成するカメラシステムであって、
   ピクセルのアレイを備える画像センサであって、前記アレイの各ピクセルは、フレーム中に捕捉される前記画像である捕捉画像を表す電荷を蓄積するように構成される、画像センサと、
   前記画像センサの前記ピクセルのそれぞれのピクセル出力をサンプリングして、前記フレームの中間部分中にサンプリングされた中間ピクセル出力及び前記フレームの終了部分でサンプリングされた終了ピクセル出力を生成するように構成されるピクセル出力サンプル器と、
   前記サンプリングされた中間ピクセル出力から補正信号を生成して、前記捕捉画像の前記フレームの前記終了ピクセル出力を強化するように構成される画像補正信号生成器と、
   前記フレームの前記サンプリングされた終了ピクセル出力に基づいて、前記アレイの前記ピクセルのそれぞれの蓄積ピクセル出力を特定するように構成される蓄積ピクセル出力特定モジュールと、
   前記補正信号を前記蓄積ピクセル出力に適用して、モーションブラー及びブレが低減した前記捕捉画像のデジタルビデオ出力を生成する強化ピクセル出力を生成するように構成される画像信号出力モジュールと
   を備え、
   前記ピクセル出力サンプル器は、前記フレームの開始部分で前記ピクセル出力をサンプリングするようにさらに構成され、前記ピクセルのそれぞれについて、前記蓄積ピクセル出力特定モジュールは、前記フレームの前記サンプリングされた終了ピクセル出力から、前記開始部分でサンプリングされた前記ピクセル出力を減算することにより、前記蓄積ピクセル出力を特定するように構成され、
   前記画像補正信号生成器は、さらに、
   前記蓄積ピクセル出力の大きさと平衡する大きさにより、前記サンプリングされた中間ピクセル値の大きさを増幅し、
   前記増幅された大きさに対して細部処理を実行して、前記補正信号を生成し、
   前記補正信号を前記蓄積ピクセル出力に追加して、前記強化ピクセル出力を生成する、
   ようにさらに構成される、カメラシステム。
2. 前記ピクセル出力サンプル器は、各中間部分中、複数の中間ピクセル出力をサンプリングするように更に構成され、前記画像補正信号生成器は、前記サンプリングされた複数の中間ピクセル出力に基づいて前記補正信号を生成する、請求項１に記載のカメラシステム。
3. ピクセルのアレイを備える画像センサであって、各ピクセルは、フレーム中に捕捉される画像を表す電荷を蓄積するように構成される、画像センサと、
   ピクセルプロセッサと
   を備え、
   前記ピクセルプロセッサは、
   前記フレームの中間部分中、前記画像センサの前記ピクセルの少なくとも１つのピクセル出力をサンプリングして、前記画像を表す信号を生成することと、
   前記フレームの前記中間部分の前記サンプリングされたピクセル出力の大きさを前記フレームの蓄積ピクセル出力の大きさの割合ｋと比較することにより、前記画像内の移動中の物体を検出することであって、前記割合ｋは、前記フレームの前記中間部分中及び前記フレームの全露出持続時間中に取得される２つのサンプリングピクセル出力間の持続時間の比率に等しい、検出することと
   を行うように構成される、カメラ。
4. 前記ピクセルプロセッサは、
   動きが検出されない場合、第１のフレームの開始時及び終了時に得られるサンプリングピクセル出力を選択し、
   前記フレームの前記中間部分中に得られる少なくとも１つのサンプリングピクセル出力を選択し、動きが検出される場合、第２のフレームの終了時の前記サンプリングピクセル出力の大きさと平衡する大きさにより、前記フレームの前記中間部分中の選択される少なくとも１つのサンプリングピクセル出力の大きさを増幅すること
   により、前記画像を表す前記信号を生成するように更に構成される、請求項３に記載のカメラ。
5. 前記ピクセルプロセッサは、１フレーム持続時間の全画像が、動きが検出されない場合のサンプリングピクセル出力と、動きが検出される場合の選択されるサンプリングピクセル出力とを有するピクセルの混合を含むように、前記ピクセルのアレイからデジタル画像データを生成するように更に構成される、請求項４に記載のカメラ。
6. 前記ピクセルプロセッサは、
   前記フレームの前記蓄積ピクセル出力の大きさと平衡する大きさにより、前記フレームの前記中間部分中の前記サンプリングピクセル出力の大きさを増幅することと、
   前記増幅された大きさに対して細部処理を実行して、細部補正信号を生成することと、
   前記フレーム内で移動中の物体が検出されない場合、前記細部補正信号を前記蓄積ピクセル出力に加算して、モーションブラーが補正されたデジタル画像データを生成することと、
   前記フレーム内で移動中の物体が検出される場合、前記細部補正信号を前記フレームの前記中間部分の前記サンプリングピクセル出力に加算することと
   を行うように更に構成される、請求項４に記載のカメラ。
7. 画像内の移動中の物体のモーションブラーを低減することにより、画像鮮鋭度を改善した画像を生成するカメラシステムであって、
   ピクセルのアレイを備える画像センサであって、前記アレイの各ピクセルは、フレーム中に捕捉される前記画像である捕捉画像を表す電荷を蓄積するように構成される、画像センサと、
   ピクセルプロセッサと
   を備え、
   前記ピクセルプロセッサは、
   前記ピクセルのアレイのうちの少なくとも１つのピクセルの電荷蓄積率に基づいて、前記画像内の動きを検出することと、
   動きが検出される条件下で、前記少なくとも１つのピクセルのピクセル出力をサンプリングして、前記フレームの中間部分中にサンプリングされる中間ピクセル出力及び前記フレームの終了部分でサンプリングされる終了ピクセル出力を生成することと、
   前記サンプリングされる中間ピクセル出力から補正信号を生成して、前記捕捉画像の前記フレームの前記終了ピクセル出力を強化することと、
   前記フレームの前記サンプリングされる終了ピクセル出力に基づいて、前記少なくとも１つのピクセルの蓄積ピクセル出力を特定することと、
   前記補正信号を前記蓄積ピクセル出力に適用して、前記捕捉画像の強化ピクセル出力を生成することと、
   前記フレームの前記中間部分中に、前記画像センサの前記ピクセルの、それぞれのピクセル出力をサンプリングすることと、
   を行うように構成される、カメラシステム。
8. 前記ピクセルプロセッサは、前記フレームの開始部分において前記ピクセルのそれぞれの前記ピクセル出力をサンプリングし、前記ピクセルのそれぞれについて、前記フレームの前記サンプリングされる終了ピクセル出力から前記開始部分でサンプリングされた前記ピクセル出力を減算することにより、前記蓄積ピクセル出力を特定するように更に構成される、請求項７に記載のカメラシステム。
9. 前記ピクセルプロセッサは、
   前記フレームの前記蓄積ピクセル出力の大きさと平衡する大きさにより、前記フレームの前記中間部分中の前記サンプリングされた前記ピクセル出力の大きさを増幅することと、
   細部処理を前記増幅された大きさに対して実行して、前記補正信号を生成することと、
   前記補正信号を前記蓄積ピクセル出力に追加して、前記強化ピクセル出力を生成することと
   を行うように更に構成される、請求項８に記載のカメラシステム。
10. 画像内で移動中の物体のモーションブラーを低減することにより、画像鮮鋭度が改善された画像を生成するカメラシステムであって、
    複数のピクセルを有する画像センサであって、各ピクセルは、フレーム中に捕捉される画像である捕捉画像をピクセル出力に変換するように構成される、画像センサと、
    前記フレームの中間部分中及び前記フレームの終了部分において、前記画像センサの前記ピクセルのそれぞれのピクセル出力をサンプリングするように構成されるサンプル器と、
    前記フレームの前記中間部分中にサンプリングされた前記ピクセル出力の２つのサンプルに基づいて、中間露出ピクセル出力を生成するように構成される中間サンプル減算器であって、前記中間サンプル減算器は、１組の中間露出ピクセル出力を特定するように構成される複数の中間露出減算器を備える、中間サンプル減算器と、
    前記１組の中間露出ピクセル出力から前記中間露出ピクセル出力を選択するように構成される中間サンプル選択器と、
    前記フレームの前記終了部分においてサンプリングされる終了ピクセル出力に基づいて、蓄積ピクセル出力を生成するように構成される全露出減算器と、
    前記中間露出ピクセル出力から細部補正信号を生成して、前記捕捉画像のデジタルビデオ出力を強化するように構成される細部補正信号生成器と、
    前記生成された細部補正信号を蓄積ピクセル出力に適用して、モーションブラー及びブレが低減した前記捕捉画像の前記デジタルビデオ出力を生成するための強化ピクセル出力を生成することにより、前記デジタルビデオ出力の細部補正を実行するように構成される細部補正モジュールと
    を備えるカメラシステム。
11. 画像を生成するカメラシステムであって、
    ピクセルのアレイを備える画像センサであって、前記アレイの各ピクセルは、フレーム中に捕捉される前記画像を表す電荷を蓄積するように構成される、画像センサと、
    前記フレームの開始部分中、前記フレームの複数の中間部分中、及び前記フレームの終了部分において、前記画像センサの前記ピクセルのそれぞれのピクセル出力をサンプリングするように構成されるピクセル出力サンプル器と、
    前記フレームの前記終了部分での前記サンプリングされたピクセル出力と、前記フレームの開始部分での前記サンプリングされたピクセル出力との差に基づいて、全フレームピクセル出力を生成するように構成される全フレーム露出出力と、
    前記フレームの前記複数の中間部分中にそれぞれサンプリングされるサンプリングピクセル出力の少なくとも一対間の差に基づいて、中間露出ピクセル出力を生成するように構成される中間フレーム露出出力と、
    前記フレームの前記開始部分と終了部分との間の第１の時間間隔及び前記フレームの前記複数の中間部分の一対間の第２の間隔に基づいて、中間露出持続時間に対する全露出持続時間の比率を特定するように構成されるコンパレータと、
    全フレーム露出の正規化として、前記生成された中間露出ピクセル出力を増幅するように構成される増幅器と、
    前記生成された増幅された中間露出ピクセル出力から、細部補正信号を生成するように構成される細部プロセッサと、
    前記生成された細部補正信号を前記全フレームピクセル出力に適用して、モーションブラー及びブレが低減した前記画像のデジタルビデオ出力を生成するための強化ピクセル出力を生成するように構成される画像信号出力モジュールと
    を備えるカメラシステム。
12. 前記コンパレータは、前記中間露出持続時間に対する前記全露出持続時間の特定された比率に基づいて、前記画像が動きを含むか否かを判断するように構成される、請求項１１に記載のカメラシステム。
13. 前記コンパレータにより制御されるスイッチであって、前記スイッチ自体の状態に基づいて、前記画像信号出力モジュールを前記細部プロセッサ及び前記全フレーム露出出力のうちの一方に結合するスイッチ
    を更に備え、
    前記コンパレータは、前記画像において動きが検出されない場合、前記画像信号出力モジュールを前記全フレーム露出出力に結合する第１の状態に前記スイッチを設定し、それにより、前記画像信号出力モジュールは、前記画像の前記デジタルビデオ出力を生成するための前記全フレームピクセル出力を出力し、
    前記コンパレータは、前記画像において動きが検出される場合、前記画像信号出力モジュールを前記細部プロセッサに結合する第２の状態に前記スイッチを設定し、それにより、前記生成された細部補正信号は、前記全フレームピクセル出力に適用されて、モーションブラー及びブレを低減した前記画像の前記デジタルビデオ出力を生成するための前記強化ピクセル出力を生成する、請求項１２に記載のカメラシステム。
14. 画像内で移動中の物体のモーションブラーを低減することにより、画像鮮鋭度が改善された画像を生成する方法であって、
    画像センサのピクセルアレイ内の複数のピクセルにより、フレーム中に捕捉された前記画像である捕捉画像を表す電荷を蓄積することと、
    前記画像センサの前記ピクセルのそれぞれのピクセル出力をサンプリングして、前記フレームの開始部分中にサンプリングされる開始ピクセル出力と、前記フレームの中間部分中にサンプリングされる中間ピクセル出力と、前記フレームの終了部分でサンプリングされる終了ピクセル出力とを生成することと、
    前記フレームの前記サンプリングされる終了ピクセル出力から前記フレームの前記開始部分においてサンプリングされる前記開始ピクセル出力を減算することにより前記ピクセルアレイの前記ピクセルのそれぞれの蓄積ピクセル出力を特定することと、
    前記蓄積ピクセル出力の大きさと平衡する大きさにより前記サンプリングされる中間ピクセル出力の大きさを増幅することと、
    前記増幅された大きさに対して細部処理を実行して、前記サンプリングされる中間ピクセル出力から補正信号を生成して、前記捕捉画像の前記フレームの前記終了ピクセル出力を強化することと、
    前記補正信号を前記蓄積ピクセル出力に適用して、モーションブラー及びブレが低減した前記捕捉画像のデジタルビデオ出力を生成するための強化ピクセル出力を生成することと
    を含む方法。
15. 各中間部分中、複数の中間ピクセル出力をサンプリングすることと、前記サンプリングされた複数の中間ピクセル出力に基づいて、前記補正信号を生成することとを更に含む、請求項１４に記載の方法。
16. 画像を生成する方法であって、
    画像センサのピクセルアレイ内の複数のピクセルにより、フレーム中に捕捉された前記画像を表す電荷を蓄積することと、
    前記フレームの開始部分、前記フレームの複数の中間部分、及び前記フレームの終了部分中、前記画像センサの前記ピクセルのそれぞれのピクセル出力をサンプリングすることと、
    前記フレームの前記終了部分中、前記サンプリングされたピクセル出力と、前記フレームの前記開始部分中、前記サンプリングされたピクセル出力との差に基づいて、全フレームピクセル出力を生成することと、
    前記フレームの前記複数の中間部分中にそれぞれサンプリングされるサンプリングピクセル出力の少なくとも一対間の差に基づいて、中間露出ピクセル出力を生成することと、
    前記フレームの前記開始部分と前記終了部分との間の第１の時間間隔及び前記フレームの前記複数の中間部分の一対間の第２の間隔に基づいて、中間露出持続時間に対する全露出持続時間の比率を特定することと、
    全フレーム露出の正規化として、前記生成された中間露出ピクセル出力を増幅することと、
    前記生成され増幅された中間露出ピクセル出力から細部補正信号を生成することと、
    前記生成された細部補正信号を前記全フレームピクセル出力に適用して、モーションブラー及びブレが低減した前記画像のデジタルビデオ出力を生成するための強化ピクセル出力を生成することと
    を含む方法。
17. 前記中間露出持続時間に対する前記全露出持続時間の特定された比率に基づいて、前記画像が動きを含むか否かを判断することを更に含む、請求項１６に記載の方法。
18. スイッチにより、前記スイッチの状態に基づいて、画像信号出力モジュールを細部プロセッサ及び全フレーム露出出力のうちの一方に結合することと、
    前記画像において動きが検出されない場合、前記画像信号出力モジュールを前記全フレーム露出出力に結合する第１の状態に前記スイッチを設定し、それにより、前記画像信号出力モジュールは、前記画像の前記デジタルビデオ出力を生成するための前記全フレームピクセル出力を出力することと、
    前記画像において動きが検出される場合、前記画像信号出力モジュールを前記細部プロセッサに結合する第２の状態に前記スイッチを設定し、それにより、前記細部プロセッサは、前記生成された細部補正信号を、前記全フレームピクセル出力に適用して、モーションブラー及びブレを低減した前記画像の前記デジタルビデオ出力を生成するための前記強化ピクセル出力を生成することと
    を更に含む、請求項１７に記載の方法。

Images