JP6038234B2 - ビデオ処理、高速静止画処理、及び高品質静止画処理のためのアーキテクチャ - Google Patents

Description

本願は、２０１０年３月２５日に出願された同時係属米国特許出願第１２／７３１，３７２号、及び米国特許第７，５３６，４８７号に関連し、これら全体が引用によって援用される。本発明は、一般にデジタルカメラのための方法、及び／又はアーキテクチャに関し、特にビデオ処理、高速静止画処理、及び高品質静止画処理のためのアーキテクチャに関する。

ハイブリッドの静止画／ビデオカメラは、ビデオと静止画の両方を記録するために用いることができる。（ｉ）高解像度、及び高フレーム率でビデオをキャプチャすることができ、（ｉｉ）高速で静止画をキャプチャすることができるデバイスの低価格化、低消費電力化の要求のために、メインプロセッサよりも一般に安価で電力効率に優れた専用ハードウェアとして、専用の処理ハードウェアを利用することはカメラ製造業者にとって魅力的な選択である。

ビデオと静止画に対するいくつかの処理基準、例えば、デモザイク処理のための処理基準は一致する。しかしながら、静止画とビデオのための他の処理基準は異なる。例えば、ビデオは「ライブ」キャプチャされるため、各フレーム／領域の複数の解像度を生成するために複数の専用ハードウェア回路を有することが有用である。（ｉ）テレビモニタに送信されたプレビューピクチャの生成、（ｉｉ）カメラに内蔵されたディスプレイに示されたプレビューピクチャの生成、（ｉｉｉ）デュアルストリーム記録（すなわち、１９２０×１０８０ピクセルと６４０×４８０ピクセルで記録する；後者はインターネットを通じた容易な共有のために用いられる）のための低減された解像度ストリームの生成のうちの全て又はいくつかのために同一のフレーム／領域の複数の解像度を用いることができるだろう。対照的に、静止画処理は典型的には内蔵されたディスプレイの解像度における単一のプレビューピクチャを含んでいる。

静止画の静的な性質と比較して、ビデオの一時的な性質は更に異なる処理で生じる。特に、優れた低照度性能のためのビデオ処理は動き補償時間フィルタ（ＭＣＴＦ）を含むことができる。対照的に、従来の静止画処理は時間フィルタを必要としていないため、ピクチャ間の動き補償を必要としない。スチルカメラはＭＣＴＦを用いないので、特に高ＩＳＯ速度ピクチャを撮るとき、強力な静止画ノイズリダクションが頻繁に実施される。ビデオのリアルタイム性のために、このような処理は専用ハードウェア上でさえ、費用がかかりすぎるので、実用的でない。なおまた、スチルカメラは、同時に処理するのが困難な基準を有する。例えば、高速キャプチャと高品質で強力なノイズリダクション。

本発明は、一般に第１の回路を有する装置に関する。第１の回路は、（ｉ）電気光学センサから入力信号を受信し、（ｉｉ）入力信号に基づいた圧縮信号を生成するように構成されるだろう。第１の回路は、一般に対応する複数の出力サンプルを生成するために入力信号を処理するように構成される複数のリサンプラ回路を含む。出力サンプルのそれぞれは、対応する少なくとも２つの入力サンプルの線形一次結合であるだろう。ビデオタイプの処理は、（ａ）入力信号を外部ビデオモニタに表示するのに適している第１の形式に変換することによって第１のビデオ信号を生成すること、（ｂ）入力信号をプレビュー画面上で表示するのに適している第２の形式に変換することによって第２のビデオ信号を生成すること、（ｃ）圧縮に先立って入力信号の解像度を低減することによって第３のビデオ信号を生成すること、のうちの少なくとも２つのタスクを含むだろう。少なくとも２つのリサンプラ回路は、これらタスクのうち異なる１つを実行するだろう。静止画タイプの処理は、一般にタスクに関与する少なくとも２つのリサンプラ回路の少なくとも１つを用いた入力信号の入力イメージのノイズリダクションを含む。

本発明の目的、特徴、及び利点は、（ｉ）回路素子を通じてマルチパスを実行し、（ｉｉ）回路素子を通じてシングルパスを実行し、（ｉｉｉ）ビデオを処理するためにダイナミックに回路素子を構成し、（ｉｖ）静止画を処理するためにダイナミックに回路素子を構成し、（ｖ）ピクチャの高速キャプチャを提供し、（ｖｉ）高品質ノイズリダクションを提供し、及び／又は（ｖｉｉ）従来のアーキテクチャよりも少ない電力で動作する、ビデオ処理、高速静止画処理、及び高品質静止画処理のためのアーキテクチャを提供することを含む。

これらと他の本発明の目的、特徴、及び利点は、以下の明細書と添付された特許請求の範囲と図面とから明らかになるだろう。

本発明の好適な実施の形態に従う装置の実施の形態の一例のブロック図である。 ビデオモード処理手法の一例の機能ブロック図である。 スチルモード処理手法の一例の機能ブロック図である。 シングルパス構成の一例のブロック図である。 マルチパス構成の一例のブロック図である。 センサからのイメージデータで始まるシングルパス処理の一例のブロック図である。 センサからのイメージデータで始まるマルチパス処理の一例のブロック図である。 全てのパスがＤＲＡＭから始まるマルチパス処理の一例のブロック図である。

ビデオにおけるイメージのシーケンスの処理は、異なるタスクを実行するように構成される複数のリサンプラ回路を用いて達成されるだろう。例えば、各フレーム／フィールド時間では、１つのリサンプラ回路はモニタ（例えば、テレビ）ピクチャを生成し、別のリサンプラ回路は、オンカメラのディスプレイのためのピクチャを生成し、及び更に別のリサンプラ回路は、圧縮された後格納される低減された解像度シーケンスを生成するだろう。静止画処理のために、機能のいくつか又は全ては利用されないだろう。例えば、ビデオを処理するとき、静止画処理のために、少なくとも１つのリサンプラ回路がノイズリダクションのために用いられるだろう間、２つ以上のリサンプラ回路のそれぞれは、一般に異なるタスク（例えば、テレビモニタ、ＬＣＤプレビュー、又は低解像度ビデオ）専用である。

図１を参照すると、装置１００の実施の形態の一例のブロック図が、本発明の好適な実施の形態に従って示される。装置（又はシステム）１００は、デジタルスチルカメラ及び／又はカムコーダを構成するだろう。装置１００は、一般に回路（又はモジュール）１０２、回路（又はモジュール）１０４、回路（又はモジュール）１０６、回路（又はポート）１０７、回路（又はモジュール）１０８、回路（又はモジュール）１０９及び回路（又はモジュール）１１０を含む。光学信号（例えば、ＬＩＧＨＴ）は、回路１０２によって受信されるだろう。回路１０２は、回路１０４にデジタル信号（例えば、Ｄ）を生成し送信するだろう。同期信号（例えば、ＳＹＮＣ）も回路１０２によって生成され、回路１０４によって受信されるだろう。センサ制御信号（例えば、ＳＣＮＴ）は、回路１０４から回路１０２に生成され送信されるだろう。信号（例えば、ＯＵＴ）は、回路１０４と回路１０８との間で交換されるだろう。回路１０４は、装置１００の外部のモニタ向けのインタフェース１０７を通じて信号（例えば、ＶＩＤＥＯ）を生成し送信するだろう。信号（例えば、ＬＣＤ）は、回路１０４によって生成され、回路１０９に送信されるだろう。コマンド信号（例えば、ＣＭＤ）は、回路１１０によって生成され、回路１０４に送信されるだろう。信号（例えば、ＭＥＭ）は、回路１０４と回路１０６との間で交換されるだろう。回路１０２〜１１０は、ハードウェア、ソフトウェア、ファームウェア、又はその任意の組み合わせで実現されるだろう。

回路１０２は、電気光学センサ回路を実現するだろう。回路１０２は、一般に信号ＬＩＧＨＴで受信された光学イメージを信号ＳＣＮＴで受信されたパラメータに基づいた信号Ｄに変換するために使用可能である。信号Ｄは、１つ以上のデジタルイメージ（例えば、フィールド、フレーム、ピクチャ）として１つ以上の光学イメージを伝達するだろう。信号ＳＹＮＣは、一般にイメージとピクセルに関連した同期情報を伝達するだろう。信号ＳＣＮＴは、ウィンドウ処理、ビニング、読取率、オフセット、スケーリング、カラー補正、及び回路１０２による利用のための他の構成情報を伝えるだろう。イメージは、初期データ率における初期の解像度と初期の色空間（例えば、それぞれのピクセルが複数の色見本によって表されるバイエルの色空間）を有して生成されるだろう。いくつかの実施の形態では、回路１０２は、イメージパイプライン、又は信号Ｄでソースイメージを供給する他の虚音源（image source）を含むだろう。

回路１０４は、主回路を実現するだろう。回路１０４は、一般に信号Ｄで受信されたイメージの処理によって信号ＯＵＴ、ＶＩＤＥＯ、及びＬＣＤを生成するために使用可能である。回路１０４は、信号ＣＭＤを通じて受信されたユーザ選択に基づいた信号ＳＣＮＴを生成するために使用可能であるだろう。回路１０４は、信号ＭＥＭを通じて回路１０６にデータをロードし格納するだろう。信号ＯＵＴは、一般にスチルイメージ（例えば、JPEG）及び／又はイメージ（又はピクチャ）のシーケンスを含む。信号ＶＩＤＥＯは、一般にビデオ信号（例えば、ITU-R BT.601、ITU-R BT.709、ITU-R BT.656-4、H.264/AVC、MPEG-2、又はMPEG-4）を含む。他の標準の及び／又は専用の静止画及び／又はビデオ圧縮標準が、特定用途の基準を満たすために実現されるだろう。

回路１０４は、一般に２つ以上の回路（又はモジュール）１１１ａ〜１１１ｎを含む。回路１１１ａ〜１１１ｎのそれぞれは、信号ＯＵＴ、ＶＩＤＥＯ、及びＬＣＤで最終イメージを達成するために、イメージに１つ以上のオペレーションを実行するように構成されるだろう。いくつかの実施の形態では、回路１１１ａ〜１１１ｎのいくつか又は全ては、リサンプラ回路を実現するだろう。回路１１１ａ〜１１１ｎのそれぞれは、対応する入力イメージの処理によって対応する出力イメージを生成するだろう。出力サンプル（例えば、出力イメージにおける出力ピクセルの要素）のいくつか又は全ては、２つ以上の入力サンプル（例えば、対応する入力イメージにおける入力ピクセルの要素）の線形一次結合であるだろう。イメージの処理は、限定されるものではないが、間引きフィルタリング、補間、フォーマット、カラー空間変換、カラー補正、階調補正、利得補正、オフセット補正、黒レベル較正、ホワイトバランス調整、イメージの鮮鋭化、イメージスムージング、アップコンバージョン、ダウンコンバージョン、フィルタリング等を含むだろう。様々な実施の形態では、処理は、回路１１１ａ〜１１１ｎでソフトウェアを実行することによって全部又は一部が実現されるだろう。いくつかの実施の形態では、回路１０２と回路１０４は別々のダイスで（によって）製作されるだろう。他の実施の形態では、回路１０２と回路１０４は同一のダイスで（によって）製作されるだろう。回路１０４の更なる詳細は、米国特許第７，５３６，４８７号に見つけられ、これら全体が引用によって援用されるだろう。

回路１０６は、バッファメモリを実現するだろう。回路１０６は、一般に回路１０４のためのイメージデータテンポラリ（例えば、輝度とクロミナンス）を格納するために使用可能である。いくつかの実施の形態では、回路１０６は、回路１０４の製作から分離した１つ以上のダイスとして製作されるだろう。他の実施の形態では、回路１０６は、回路１０４と同一のダイスで（によって）製作されるだろう。回路１０６は、ダブルデータレート（ＤＤＲ）同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を実現するだろう。他のメモリ技術が、特定用途の基準を満たすために実現されるだろう。

回路１０７は、コネクタを実現するだろう。回路１０７は、一般に装置１００がテレビ又はコンピュータ用モニタに接続されることを可能にするように構成されるだろう。回路１０７のための形式は、限定されるものではないが、コンポーネントインタフェース、Ｓビデオインタフェース、高解像度マルチメディアインタフェース（ＨＤＭＩ）インタフェース等を含むだろう。

回路１０８は、メディアを実現するだろう。メディア１０８は、一般に信号ＯＵＴを格納することができる１つ以上の不揮発性メモリデバイスを含む。いくつかの実施の形態では、記録メディア１０８は１つの記憶メディアを含むだろう。例えば、記録メディア１０８は、ＦＬＡＳＨメモリ又はマイクロハードディスクドライブ（「１インチ」ハードドライブとしても識別されている）として実現されるだろう。メモリは、サイズ化されるだろう（例えば、４ギガバイトのＦＬＡＳＨ、１２ギガバイトのハードディスクドライブ）。いくつかの実施の形態では、記録メディア１０８は複数の記録メディアとして実現されるだろう。例えば、（ｉ）ＦＬＡＳＨメモリは実現され、（ｉｉ）テープメディア又は光学メディアは信号ＯＵＴの記録のために実現されるだろう。他のタイプの光学メディアが、特定用途の基準を満たすために実現されるだろう。

回路１０９は、カメラ／カムコーダのローカルディスプレイを実現するだろう。回路１０９は、信号ＬＣＤを通じて受信されたスチルイメージ及び／又はビデオを表示するために使用可能であるだろう。スチルイメージ／ビデオは、信号Ｄにおけるイメージのより低解像度のバージョンであるだろう。いくつかの実施の形態では、回路１０９は、カラー又は白黒の液晶ディスプレイを実現するだろう。他のディスプレイテクノロジが、特定用途の基準を満たすために実現されるだろう。

回路１１０は、ユーザ入力回路を実現するだろう。回路１１０は、ユーザから受信された命令に基づいた信号ＣＭＤを生成するために使用可能であるだろう。受信された命令は、限定されるものではないが、静止画撮影命令、記録開始命令、録画停止命令、ズームイン命令、及びズームアウト命令を含むだろう。いくつかの実施の形態では、信号ＣＭＤは、複数の離散的信号（例えば、ユーザ入力回路１１０において実現された各スイッチのための１つの信号）を含むだろう。他の実施の形態では、信号ＣＭＤは１つ又は少数の信号として多重化された方法でユーザに入力された命令を伝えるだろう。

回路１０２は、一般にセンサアレイ１１２と回路（又はモジュール）１１４を含む。アレイ１１２は、光学イメージをアナログ信号（例えば、Ａ）における一連の値に変換するために使用可能であるだろう。信号Ａで伝達された値は、回路１１２のそれぞれのセンサエレメントのために所定のカラーにおける強度値を表すアナログ電圧であるだろう。回路１１２は、電子クロッピング（又はウィンドウ処理）機能を含むだろう。電子クロッピング機能は、使用可能であるだろう。電子クロッピング機能は、回路１１２のウィンドウ（又は作用面積）におけるイメージエレメントの読み取りを制限するために使用可能であるだろう。回路１１４は、デジタル信号Ｄを生成するためのアナログ信号Ａを処理し、その後、変換するために使用可能であるだろう。回路１１２と１１４は、ハードウェア、ソフトウェア、ファームウェア、又はその任意の組み合わせで実現されるだろう。

回路１１４における電子イメージの処理は、限定されるものではないが、カラー補正のためのアナログ利得、及び黒レベル較正のためのアナログオフセット調整を含むだろう。変換は、一般にアナログ−デジタル（例えば、１０ビット）を含む。回路１０２の実施の形態の一例は、マイクロン・テクノロジ、アイダホ州、ボイジから入手可能なMT9T001 ３メガピクセルデジタルイメージセンサであるだろう。より大規模かより小規模な回路１０２が、特定用途の基準を満たすために実現されるだろう。

いくつかの実施の形態では、回路１０４によって回路１０２から受信されたイメージは、一度だけの静止画処理（例えば、１パス静止画処理）のために構成される回路１１１ａ〜１１１ｎを通じて通過するだろう。同様に、イメージは、一度だけのビデオ処理（例えば、１パスビデオ処理）のために構成される回路１１１ａ〜１１１ｎを通じて通過するだろう。一般に、リサンプラ回路は、静止画の処理中、及びビデオピクチャの処理中に別々に割り当てられるだろう。他の実施の形態では、イメージは、回路１１１ａ〜１１１ｎの１つ以上を通じて複数回（例えば、マルチパス処理）通過するだろう。

図２を参照すると、ビデオモード処理手法１２０の機能ブロック図の一例が示される。方法（又は処理）１２０は、一般に装置１００によって、特に回路１０２と回路１０４によって、実現されるだろう。方法１２０は、装置１００のビデオモード中にアクティブであるだろう。方法１２０は、一般にステップ（又はブロック）１２２、ステップ（又はブロック）１２４、ステップ（又はブロック）１２６、ステップ（又はブロック）１２８、ステップ（又はブロック）１３０、及びステップ（又はブロック）１３２を含む。ステップ１２４は、回路１１１ａ〜１１１ｎの１つ以上を用いて実現されるだろう。ステップ１２６〜１３０のそれぞれは、リサンプラ回路として構成される回路１１１ａ〜１１１ｎの対応する１つを用いて実現されるだろう。

いくつかの実施の形態では、装置１００は、ビデオ処理のために構成される３つのリサンプラ回路（例えば、回路１１１ｄ〜１１１ｆ）を有するだろう。例えば、リサンプラ回路は、信号ＬＣＤを生成するように構成されるだろう。別のリサンプラ回路は、信号ＶＩＤＥＯを生成するように構成されるだろう。なお、別のリサンプラ回路は、ビデオの低減された解像度のバージョンを生成するように構成されるだろう。別の実施の形態では、装置１００は、いくつかのビデオタスク（例えば、プレビュー生成、外部モニタ信号生成、ビデオ解像度の低減、及びノイズリダクション等）の２つのために用いられる、２つのリサンプラ回路を有するだろう。

ステップ１２２では、回路１０２が信号ＬＩＧＨＴを信号Ｄに変換するだろう。回路１０４内の１つ以上の回路（例えば、１１１ａ〜１１１ｃ）が、ステップ１２４において信号Ｄの入力イメージ（例えば、フィールド、フレーム、ピクチャ）を処理し始めるだろう。処理は、限定されるものではないが、フィルタリング（例えば、ファイリングインパルス応答フィルタリング）、コアリング、デモザイキング、ノイズリダクション、カラー補正、カラー変換等を含むだろう。処理されたイメージは、内部信号（例えば、ＩＮＴ）で送信されるだろう。

ステップ１２６では、回路（例えば、１１１ｄ）が、少なくとも信号ＩＮＴにおけるイメージを回路１０９の解像度と一般に一致するサイズにダウンコンバーティングすることによって信号ＬＣＤを生成するだろう。別の回路（例えば、１１１ｅ）は、信号ＩＮＴから信号ＶＩＤＥＯを生成するだろう。ステップ１２８における処理は、ステップ１２６の処理と並列して（ほぼ同時に）実行されるだろう。ステップ１３０では、別の回路（例えば、１１１ｆ）が、信号ＩＮＴにおけるイメージのダウンサンプリングによって低減された解像度信号（例えば、ＲＲ）を生成するだろう。ステップ１３０における処理は、ステップ１２６と１２８における処理と並列して（ほぼ同時に）実行されるだろう。

ステップ１３２では、回路（例えば、１１１ｎ）が、信号ＩＮＴ及び／又は信号ＯＵＴを作成するための信号ＲＲで受信されたイメージを圧縮するだろう。信号ＯＵＴは、ストレージのための回路１０８に圧縮イメージを伝達するだろう。いくつかの実施の形態では、ステップ１３２は信号ＩＮＴと信号ＲＲとの間で時分割されるだろう。他の実施の形態では、回路（例えば、１１１ｎ）が信号ＩＮＴを圧縮するように構成され、別の回路（例えば、１１１ｍ）が信号ＲＲを圧縮するように構成されるだろう。

図３を参照すると、スチルモード処理手法１４０の一例の機能ブロック図が示される。方法（又は処理）１４０は、一般に装置１００によって、特に回路１０２と回路１０４によって実現されるだろう。方法１４０は、装置１００のスチルモード中にアクティブであるだろう。方法１４０は、一般にステップ１２２、ステップ（又はブロック）１４２、ステップ（又はブロック）１４４、ステップ（又はブロック）１４６、ステップ（又はブロック）１４８、ステップ（又はブロック）１５０、及びステップ（又はブロック）１５２を含む。ステップ１４２は、回路１１１ａ〜１１１ｎの１つ以上を使用して実現されるだろう。ステップ１４４〜１５０のそれぞれは、リサンプラ回路として構成される回路１１１ａ〜１１１ｎの対応する１つを用いて実現されるだろう。

スチルイメージを処理している間、装置１００は、いくつかの構成のうちの任意の３つのリサンプラ回路（例えば、回路１１１ｄ〜１１１ｆ）を用いるだろう。構成の一例では、１つのリサンプラ回路がプレビューピクチャを生成し、２つのリサンプラ回路がノイズリダクションのために構成されるだろう。構成の別の一例では、１つのリサンプラ回路がプレビューピクチャを生成し、別のリサンプラ回路がサムネイルピクチャを生成し、なお別のリサンプラ回路がノイズリダクションのために構成されるだろう。更に別の構成では、１つのリサンプラ回路がノイズリダクションのために用いられ、他のリサンプラ回路が使用されないだろう。別の実施の形態では、２つのリサンプラ回路が静止画処理のために用いられ、１つのリサンプラ回路がプレビューピクチャを生成するために、別のリサンプラ回路がノイズリダクションのために用いられるだろう。他の数及びリサンプラ回路の構成が、特定用途の基準を満たすために実現されるだろう。

ステップ１２２では、回路１０２が信号ＬＩＧＨＴを信号Ｄに変換するだろう。回路１０４内の１つ以上の回路（例えば、１１１ａ〜１１１ｃ）が、ステップ１４２において信号Ｄの入力イメージ（例えば、フィールド、フレーム、ピクチャ）を処理し始めるだろう。処理は、限定されるものではないが、フィルタリング（例えば、ファイリングインパルス応答フィルタリング）、コアリング、デモザイキング、ノイズリダクション、カラー補正、カラー変換等を含むだろう。処理されたイメージは、信号ＩＮＴで送信されるだろう。

ステップ１４４では、回路（例えば、１１１ｄ）は、信号ＩＮＴにおけるイメージのダウンコンバーティングによってより低解像度の信号ＲＲを生成するだろう。信号ＲＲにおけるイメージのノイズリダクションは、ステップ１４６で実行されるだろう。ステップ１４６は、ファームウェアで又はファームウェアなしで、ソフトウェア及び／又はファームウェアにより回路（例えば１１１ｅ）を構成すること、又は専用ハードウェア回路の設計することによって実現されるだろう。ステップ１４６において生成されたノイズが低減されたイメージは、信号（例えば、ＮＲ）で送信されるだろう。ステップ１４８では、回路（例えば１１１ｆ）が、少なくとも信号ＮＲにおけるイメージを回路１０９の解像度と一般に一致するサイズに変換することによって信号ＬＣＤを生成するだろう。

回路（例えば１１１ｇ）は、信号ＮＲにおけるイメージのアップコンバージョンによってステップ１５０においてイメージ解像度を増加するだろう。結果イメージは、信号（例えば、ＦＵＬＬ）で送信されるだろう。いくつかの実施の形態では、信号ＦＵＬＬのイメージは信号ＩＮＴのイメージと同一の解像度を有するだろう。他の実施の形態では、信号ＦＵＬＬのイメージは信号ＩＮＴのイメージとは異なっている（例えば、より大規模かより小規模な）解像度を有するだろう。ステップ１５２では、回路（例えば、１１１ｎ）が、信号ＯＵＴを作成するために信号ＦＵＬＬで受信されたイメージを圧縮するだろう。

いくつかの実施の形態では、リサンプリングとノイズリダクション（例えば、ステップ１４４〜１５０）は、輝度成分とイメージの色信号成分で実行されるだろう。他の実施の形態では、リサンプリングとノイズリダクションは色信号成分でのみ実行されるだろう。更に別の実施の形態では、リサンプリングとノイズリダクションは輝度成分でのみ実行されるだろう。

回路１１１ａ〜１１１ｎは、ノイズリダクション目的のためのいくつかの異なるタイプの多相のリサンプラ回路として構成されるだろう。例えば、リサンプラ比が１：１（例えば、出力ピクチャは入力ピクチャと同一のサイズである）である場合、リサンプラ回路は劣等化した方式で構成されるだろう。更に、リサンプラ回路の係数（タップ）は、ピクチャを滑らかにするようにプログラムされるだろう。別の例では、規定のリサンプラ回路はアップサンプリングのために構成され、別のリサンプラ回路はダウンサンプリングのために構成されるだろう。効果は、最終ピクチャは一般に入力ピクチャと同一のサイズであるが、アップサンプル及びダウンサンプルされて、最終ピクチャは滑らかにされるだろう（例えば、図３、ステップ１４４と１５０を参照）。別の構成の一例は、ダウンサンプル及び次のアップサンプリングのためのその間の付加的なノイズリダクションを有するリサンプラ回路も用いられるだろう（例えば、図３、ステップ１４６）。ノイズリダクションステップは、一般に追加のノイズリダクションが各ノイズ低減出力ピクセルの計算のために用いられる限定された数の入力ピクセルを有する状況において有用である。上記機構が用いられる場合、ノイズリダクションのための入力ピクセルは一般にピクチャの大面積をカバーする。上記機構が用いられる場合、ノイズリダクションのための入力ピクセルは一般にピクチャの大面積をカバーする。

図４を参照すると、シングルパス構成１６０の一例のブロック図が示される。構成１６０では、回路１１１ａ〜１１１ｎのいくつか又は全てがビデオ及び／又は静止画を処理するために用いられるだろう。処理に関連した回路１１１ａ〜１１１ｎは、連続する方法において互いにリンクされるだろう。例えば、初期回路（例えば、１１１ａ）は、イニシャル信号（例えば、ＩＮＩＴ）でイメージを受信するだろう。最終回路（例えば、１１１ｎ）は、ファイナル信号（例えばＦＩＮＡＬ）で処理されたイメージを生成し送信するだろう。いくつかの実施の形態では、回路１１１ａ〜１１１ｎは、共通セグメントを有し又は共通セグメントを有さない多重構成１６０で分割されるだろう。例えば、少数の回路（例えば１１１ａ〜１１１ｃ）は、信号Ｄで回路１０２から受信されたイメージの初期処理を実行するように構成されるだろう。初期処理は、ビデオ処理と静止画処理の両方に共通であるだろう。いくつかの回路（例えば、１１１ｄ〜１１１ｆ）は、シングルパス静止画処理のために構成されるだろう。他の回路（例えば１１１ｇ〜１１１ｎ）は、ビデオ処理のために構成されるだろう。信号ＩＮＩＴは、信号Ｄ、信号ＩＮＴ、又は他のいくつかの受信信号であるだろう。信号ＦＩＮＡＬは、信号ＬＣＤ、信号ＶＩＤＥＯ、信号ＯＵＴ、又は他のいくつかの発生信号であるだろう。

図５を参照すると、マルチパス構成１８０の一例のブロック図が示される。構成１８０では、回路１１１ａ〜１１１ｎのいくつか又は全てはビデオ及び／又は静止画を処理するために用いられるだろう。処理に関連した回路１１１ａ〜１１１ｎは、パス単位で実質的に連続する方法で互いにリンクされ、少なくとも１つの回路１１１ａ〜１１１ｎがシングルパス以上で用いられるようにループバックされるだろう。例えば、回路１１１ａ〜１１１ｎは、初期のパスＡのために連続して配列されるだろう。信号ＩＮＩＴは、パスＡで初期回路（例えば、１１１ａ）によって受信されるだろう。最終回路（例えば、１１１ｎ）によって生成されたイメージは、次のパスＢを始めるために初期回路に戻されるだろう。パスＢは、パスＡと同一の回路１１１ａ〜１１１ｎを利用するだろう。パスＢの終わりで、イメージは、パスＣのために初期回路に再び戻されるだろう。初期回路へのイメージのループバックは、イメージが最終形態に変化されるまで、１回以上繰り返されるだろう。最終パス（例えば、パスＣ）における最終回路（例えば、１１１ａ）は、信号ＦＩＮＡＬで処理されたイメージ（例えば、ビデオ又は静止画）を送信するだろう。いくつかのパス（例えばパスＣ）は、他のパス（例えば、パスＡ）より少数の回路１１１ａ〜１１１ｎが用いられるだろう。

パスＣにパスＡのそれぞれが実質的に連続するので、マルチパス処理１８０は一般に別々のパスのために用いられる時間をほぼ合算した時間を必要とする。従って、シングルパス処理はマルチパス処理よりも速いだろう。マルチパス処理は、以下の１つ以上を行うことによって高品質最終ピクチャを与えるだろう。

１．実質的に同様の方式で二度以上同一のノイズ低減回路を用いること。ノイズ低減回路がノイズリダクションの強度の最高値を有する場合、二度以上回路を用いることは有効最大値の強度を高めるだろう。

２．輝度のためのシングルパスとクロミナンスのための別のパスで同一のノイズ低減回路を用いること。そのため、輝度データ又はクロミナンスデータを処理することができるノイズ低減回路を有するカメラは、輝度チャンネルとクロミナンスチャネルの両方でノイズリダクションを実行するために用いられるだろう。

３．ノイズリダクション又はシャープニングのいずれかために構成される単一の回路を用いることは、一般に別々のノイズリダクションとシャープニング回路を有する回路素子の面積と比較して回路素子の面積を低減するだろう。マルチパス回路は、規定のパスでノイズリダクションを、別のパスでシャープニングを実行するだろう。このような回路は有限インパルス応答（ＦＩＲ）回路を含み、ＦＩＲ回路がシャープニングとノイズリダクションの両方のために用いられるだろう。

４．同一の回路は、ほとんどないノイズリダクションを備えた規定のパス、及びより多くのノイズリダクションを備えた次のパスでピクチャを処理するために用いられるだろう。その後、ピクチャは、現在のパス又は次のパスの終わりで、組み合わせられるだろう。一例として、パスＡは信号ＩＮＩＴで受信されたイメージで強いノイズリダクションを実行するために用いられるだろう。パスＢは、同一のイメージで弱い又はないノイズリダクションを実行するために用いられるだろう。パスＣは、最終イメージを作成するために弱いノイズに低減されたイメージと強いノイズに低減されたイメージの結果を組み合わせるだろう。強弱ノイズリダクションに関する追加情報は、２０１０年３月２５日に出願された米国仮特許出願第１２／７３１，３７２号に見つけられ、これら全体が引用によって援用されるだろう。

シングルパス又は複数のパスで処理するために設定可能なことに加えて、装置１００はマルチパスのための異なる数のパスで処理するためにプログラム可能であるだろう。いくつかの実施の形態では、回路１１１ａ〜１１１ｎは、回路１０２又は回路１０６からピクチャデータを直接受信することによって動作するために設定可能であるだろう。

図６を参照すると、センサからのイメージデータで始まるシングルパス処理１９０の一例のブロック図が示される。処理１９０では、イメージデータは、一般に信号Ｄを介して回路１０２から直接到来する。処理されたイメージは、信号ＦＩＮＡＬで送信されるだろう。装置１００の構成によって、信号ＦＩＮＡＬは、信号ＬＣＤ、信号ＶＩＤＥＯ、及び／又は信号ＯＵＴを含むだろう。

図７を参照すると、センサからのイメージデータで始まるマルチパス処理２００の一例のブロック図が示される。処理２００では、イメージデータが、回路１０４（例えば回路１１１ａ）によって信号Ｄで回路１０２から最初に受信されるだろう。パスの間に、イメージは回路１０６でバッファされるだろう。処理されたイメージは、信号ＦＩＮＡＬで送信されるだろう。装置１００の構成によって、信号ＦＩＮＡＬは、信号ＬＣＤ、信号ＶＩＤＥＯ、及び／又は信号ＯＵＴを含むだろう。

図８を参照すると、全てのパスがＤＲＡＭから始まるマルチパス処理２１０の一例のブロック図が示される。処理２１０では、イメージデータが、信号Ｄで回路１０２から回路１０４を介して処理することなしに回路１０６に送信されるだろう（パス２１２を参照）。その後、パスＡは回路１０６から読み取られるイメージデータを用い始めるだろう。パスＡは、回路１０６に部分的に処理されたイメージを書き戻すことによって終わるだろう。パスＢは、回路１０６から部分的に処理された読取イメージを用い始めるだろう。パスのそれぞれは、回路１０６からイメージを読み取ることにより始まり、回路１０６に結果イメージを格納することにより終わるだろう。最終パス（例えば、パスＣ）は、信号ＦＩＮＡＬで最終イメージを送信するだろう。装置１００の構成によって、信号ＦＩＮＡＬは、信号ＬＣＤ、信号ＶＩＤＥＯ、及び／又は信号ＯＵＴを含むだろう。

以下の基準は、装置１００が、いつシングルパス処理を用いるべきなのか、及び／又はいつマルチパス処理が用いられるべきなのか、同様に、どのくらいのパスを用いるかを判断するために考慮されるだろう。

１．イメージ（例えば、フィールド又はフレーム）のそれぞれが限定された時間で処理される場合、シングルパス処理がビデオのために用いられるだろう。マルチパス処理はスチル画像（例えば、ピクチャ）のために用いられるだろう。

２．シングルパス処理は、一般に低ＩＳＯ（より少ないノイズ）スチル画像のために用いられる。マルチパス処理は、高ＩＳＯ（よりノイジー）スチル画像のために用いられるだろう。

３．マルチパス処理は、一般にスチル画像のために用いられ、パス数はＩＳＯレベルに依存する。

４．シングルパス処理は、バーストモード（迅速なシーケンスで少数の別々のイメージが得られる）静止画処理又は連続モード静止画処理のために用いられるだろう。マルチパス処理は、一般に単一イメージモード処理のために用いられる。

５．パスの特定数は、バーストモード静止画処理又は連続モード静止画処理でマルチパス処理のために用いられるだろう。特定数よりも多数のパスは、一般に単一イメージモードでマルチパス処理のために用いられる。

図１〜８の図によって実行された機能は、従来のメインプロセッサ、デジタルコンピュータ、マイクロプロセッサ、マイクロコントローラ、ＲＩＳＣ（縮小命令型コンピュータ）プロセッサ、ＣＩＳＣ（複雑命令セットコンピュータ）プロセッサ、ＳＩＭＤ（単一命令多重データ）プロセッサ、プロセッサ信号、中央演算処理装置（ＣＰＵ）、算術論理演算ユニット（ＡＬＵ）、ビデオデジタル信号プロセッサ（ＶＤＳＰ）、及び／又は関連する技術分野の熟練した人々に明らかであろうように、本明細書の教示に従ってプログラムされた同様の計算機上のマシンの１つ以上を用いて実現されるだろう。適切なソフトウェア、ファームウェア、コード、ルーチン、指示、オペコード、マイクロコード、及び／又はプログラムモジュールは、同様に関連する技術分野の熟練した人々に明らかであろうように、本明細書の情報の教示に基づいて熟練したプログラマによって容易に用意されるだろう。ソフトウェアは、一般にマシンシステムのプロセッサの１つ以上によってメディア又はいくつかのメディアから実行される。

本発明は、ＡＳＩＣ（特定用途向けＩＣ）、プラットホームＡＳＩＣ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブルロジックデバイス）、ＣＰＬＤ（結合プログラム可能論理回路）、シーオブゲート、ＲＦＩＣ（高周波集積回路）、ＡＳＳＰ（特定用途専用標準品）の用意によって、又は従来の構成回路の適切なネットワークを相互に連結させることによっても実現され、ここに説明されるように、これらの変更は当業者に容易に明らかとなろう。

本発明は、１つ以上の処理又は方法を本発明に従って実行するようにマシンをプログラムするために用いられる指示を含むコンピュータ製品である記憶メディア又はメディア及び／又は送信メディア又はメディアを含むだろう。マシンによるコンピュータ製品に含まれる指示の実行は、回路素子を取り巻くオペレーションに加えて、入力データを記憶メディアで１つ以上のファイル、及び／又はオーディオ及び／又は視覚的な描写などの物理オブジェクト又は実体の典型である１つ以上の出力信号に変形するだろう。記憶メディアは、限定されるものではないが、フロッピー（登録商標）ディスク、ハードドライブ、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスクを含む任意のタイプのディスク、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＥＰＲＯＭ（電子的プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（電子的消去可能ＲＯＭ）、ＵＶＰＲＯＭ（紫外線消去可能ＲＯＭ）、ＦＬＡＳＨメモリ、磁気カード、光カードのような回路、及び／又は電子命令を格納するのに適している任意のタイプのメディアを含むだろう。

本発明のエレメントは、１つ以上のデバイス、ユニット、コンポーネント、システム、マシン、及び／又は装置の一部又は全部を形成するだろう。デバイスは、限定されるものではないが、サーバ、ワークステーション、記憶アレイコントローラ、ストレージシステム、パーソナルコンピュータ、ラップトップコンピュータ、ノート型コンピュータ、パームコンピュータ、携帯情報端末、携帯用電子デバイス、バッテリ駆動デバイス、セットトップボックス、エンコーダ、デコーダ、トランスコーダ、コンプレッサ、デコンプ、プリプロセッサ、ポストプロセッサ、トランスミッタ、レシーバ、トランシーバ、暗号回路、携帯電話、デジタルカメラ、ポジショニング及び／又はナビゲーションシステム、医療機器、ヘッドアップ表示装置、無線デバイス、オーディオ録音、ストレージ及び／又はプレイバック装置、ビデオ録画、ストレージ及び／又はプレイバック装置、ゲームプラットホーム、周辺装置及び／又はマルチチップモジュールを含むだろう。関連する技術分野の熟練した人々は、本発明のエレメントが、特定用途の基準を満たすために他のタイプのデバイスで実現されるだろうことを理解するだろう。ここに用いられるように、用語「同時に」は、ある程度の共通の時間帯を共有する現象を説明することを目的とするが、本用語は、同じ時点で始まり、同じ時点で終わり、又は同じ存続時間を有する現象に限定されることを目的としない。

本発明は、特にその好ましい実施の形態に関して示され説明されたが、本発明の精神と範囲から逸脱することなく、形式と細部の様々な変更がなされるだろうことが当業者によって理解されるであろう。

Claims (18)

1. （ｉ）電気光学センサから入力信号を受信し、（ｉｉ）前記入力信号に基づいた圧縮信号を生成するように構成される第１の回路を備え、
   前記第１の回路は、前記入力信号を処理するように構成される複数のリサンプラ回路を含み、
   前記処理は、マルチパスモードにおいて少なくとも１つの前記リサンプラ回路を繰り返し通る少なくとも２つのパスを必要とし、
   （ｉ）前記リサンプラ回路は、少なくとも２つの専用ハードウェア回路を含み、（ｉｉ）全ての前記専用ハードウェア回路は、第１の前記パスで用いられ、（ｉｉｉ）全ての前記専用ハードウェア回路は、第２の前記パスで用いられる、
   ことを特徴とする装置。
2. （ｉ）電気光学センサから入力信号を受信し、（ｉｉ）前記入力信号に基づいた圧縮信号を生成するように構成される第１の回路を備え、
   前記第１の回路は、前記入力信号を処理するように構成される複数のリサンプラ回路を含み、
   前記処理は、マルチパスモードにおいて少なくとも１つの前記リサンプラ回路を繰り返し通る少なくとも２つのパスを必要とし、
   （ｉ）前記リサンプラ回路は、少なくとも２つの専用ハードウェア回路を含み、（ｉｉ）全ての前記専用ハードウェア回路は、第１の前記パスで用いられ、（ｉｉｉ）第１の前記専用ハードウェア回路は、第２の前記パスで用いられ、（ｉｖ）第２の前記専用ハードウェア回路は、第２の前記パスで用いられない、
   ことを特徴とする装置。
3. 少なくとも１つの前記リサンプラ回路は、有限インパルス応答フィルタ回路として構成されることを特徴とする請求項１又は２に記載の装置。
4. 少なくとも１つの前記リサンプラ回路は、コアリング回路として構成されることを特徴とする請求項１又は２に記載の装置。
5. 少なくとも１つの前記リサンプラ回路は、デモザイキング回路として構成されることを特徴とする請求項１又は２に記載の装置。
6. 少なくとも１つの前記リサンプラ回路は、ノイズ低減回路として構成されることを特徴とする請求項１又は２に記載の装置。
7. 少なくとも１つの前記リサンプラ回路は、色補正回路として構成されることを特徴とする請求項１又は２に記載の装置。
8. （ｉ）第１の前記パスは、第２の前記パスよりも多くのノイズリダクションを有する前記入力信号の入力イメージを処理するために用いられ、（ｉｉ）第１の前記パスの第１の結果と第２の前記パスの第２の結果が組み合わせられることを特徴とする請求項１又は２に記載の装置。
9. 前記第１の回路は、（ｉ）ビデオを処理するために１つの前記パスを用い、（ｉｉ）スチル画像を処理するために少なくとも２つの前記パスを用いることを特徴とする請求項１又は２に記載の装置。
10. 前記リサンプラ回路を通じた前記パスの数は、前記入力信号の入力イメージのＩＳＯレベルに基づくことを特徴とする請求項１又は２に記載の装置。
11. 前記リサンプラ回路を通じた前記パスの数は、前記第１の回路がバーストモードである場合よりも前記バーストモードでない場合の方が多いことを特徴とする請求項１又は２に記載の装置。
12. 第１の前記パスは、第２の前記パスと実質的に連続して実行されることを特徴とする請求項１又は２に記載の装置。
13. （ｉ）少なくとも１つの前記リサンプラ回路は、第１の前記パスにおいてノイズ低減回路として構成され、（ｉｉ）前記ノイズ低減回路は、ノイズが低減されたピクチャを生成するように構成され、（ｉｉｉ）前記ノイズが低減されたピクチャは、第２の前記パスにおいて前記ノイズ低減回路への入力として用いられることを特徴とする請求項１又は２に記載の装置。
14. 前記処理は、シングルパスモードにおいて少なくとも１つの前記リサンプラ回路を通じた単一の前記パスを必要とすることを特徴とする請求項１又は２に記載の装置。
15. 少なくとも１つの前記リサンプラ回路は、ビデオを処理するために前記シングルパスモードにおいて動作するように構成されることを特徴とする請求項１４に記載の装置。
16. 少なくとも１つの前記リサンプラ回路は、複数のピクセルを処理するように構成され、（ｉ）ビデオの処理中に前記ピクセルを外部メモリに格納せず、（ｉｉ）その後、スチル画像の処理中に前記ピクセルを前記外部メモリに格納することを特徴とする請求項１４に記載の装置。
17. 少なくとも１つの前記リサンプラ回路は、複数のピクセルを処理するように構成され、（ｉ）単一の前記パスにおけるスチル画像の処理中に前記ピクセルを外部メモリに格納せず、（ｉｉ）その後、少なくとも２つの前記パスにおける前記スチル画像の処理中に前記ピクセルを前記外部メモリに格納することを特徴とする請求項１又は２に記載の装置。
18. （ｉ）前記リサンプラ回路は、前記入力信号におけるイメージのサイズを変換し、且つ前記イメージのノイズを低減するように構成され、（ｉｉ）前記サイズの前記変換と前記ノイズの前記低減の両方は、前記イメージの複数の色信号成分でのみ実行されることを特徴とする請求項１又は２に記載の装置。

Images