JP4799680B2 - 画像処理方法 - Google Patents

Description

本発明は、一般に画像処理の分野に関する。より詳細には、本発明は画像または動画ビデオ圧縮に関するものである。

現在の技術では、画像キャプチャ・デバイス、すなわち、シーンに存在する色および／または輝度に比例する電気信号によって環境またはシーンを表現するデバイスは、ＣＣＤ（電荷結合素子）技術を使用して製造および設計されることが多い。ＣＣＤ画像キャプチャ・デバイスは、小さなフォトセルを使用して、フォトセルに入るシーンからの入射光に関係した電気信号を生成する。イメージング・デバイスは、焦点の合っているシーン全体にわたって一連の信号を捕捉して記憶できるようなフォトセルの２次元のアレイを含んでいる。最近では、ＣＭＯＳ（相補形金属酸化物半導体）イメージャ・デバイスが開発されており、これは、ＣＣＤデバイスで得られるものと同種の出力信号を提供するように機能し、しばしコストや複雑さが低減される。普通のイメージング・デバイスの例には、スキャナ、動画ビデオ・カメラおよびディジタル・スチール・カメラが含まれる。

ＣＭＯＳまたはＣＣＤ技術のいずれに基づいているとしても、これらのイメージング・デバイスの多くは、ＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎ ＳｙｓｔｅｍｓＣｏｍｍｉｔｔｅｅ）として知られている伝送基準に準拠して設計されている。ＮＴＳＣを制限しているものの１つは、画像が（イメージャ・アレイの）連続する走査行として送信されるのではなくて、奇数列が偶数列とは別々に送信される状態で送信されることである。奇数列と偶数列を分離するこのプロセスは、一般にインターレース走査と呼ばれている。ＮＴＳＣ信号は、アナログ電圧レベルとして符号化された輝度情報、および色搬送波周波数の位相と振幅において符号化された色情報などを有する。ＮＴＳＣ信号が画像処理のためにコンピュータ・システムに転送されるとき、コンピュータ・システムは信号変換器を利用して、アナログの符号化情報を伝送された画像に対する輝度および色差のディジタル値に変換する。画像をディジタル表示するためのもっとも一般的に使用される輝度と色差のフォーマットは、ＹＣｒＣｂ（ＣＣＩＲ（国際無線通信諮問委員会：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｏｎＢｒｏａｄｃａｓｔｉｎｇ）６０１カラー・スペースと呼ばれるディジタル・カラー・システム）として知られている。ＮＴＳＣからＹＣｒＣｂへの変換は、その性質上やほとんどの市販のマイクロプロセッサが逐次処理という性格であるために逐次である。その後の画像処理も逐次で行われる。逐次データ処理が優勢な中で１つの顕著な例外は、ＳＩＭＤ（単一命令多重データ：Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ＭｕｌｔｉｐｌｅＤａｔａ）処理を使用するインテル社のＭＭＸ（ＴＭ）技術ベースのプロセッサである。そのようなプロセッサをイメージング・デバイスといっしょに使用することの補完として、ディジタル値を捕捉するために使用されるセルを並列処理することは有用である。さらに、ディジタル・フォトセルを実際に使用する際の重要なファクタは、アナログ・フォトセル部分の積分時間が比較的長く、比較的遅いため、したがって簡単なディジタル化方法を使用できることである。（元の値ではなくてピクセルおよび／またはフレーム間の差が符号化される）ピクセルごとに差計算をするようなある種の固有の逐次オペレーションを含む動画ビデオの場合、そのような計算を、厳密にホスト・プロセッサによってではなくてイメージング・デバイスで行うことを可能にするアーキテクチャを実装することが有用である。

開示しているものは、入射する光エネルギーをアナログ信号として捕捉するように構成されたアナログ・フォトセル、そのフォトセルと結合しアナログ信号を記憶するように構成されたサンプル・アンド・ホールド増幅器、かつその増幅器に結合され、アナログ信号を光エネルギー量に比例するディジタル値に変換するディジタル変換器を備える装置である。

本発明の方法および装置の目的、特徴および利点は、以下の説明から明らかになろう。

本発明で利用するディジタル・フォトセルを示す図である。 従来の逐次イメージャの簡単なブロック図である。 より効率的な画像差分化のためのアーキテクチャを示す図である。 本発明の一実施形態を示す図である。 本発明の一実施形態によるピクセルごとのアナログ差分エンジンを示す図である。 本発明の一実施形態によるピクセルごとのディジタル差分エンジンを示す図である。

本発明の一態様は、シーンを捕捉する画像形成アレイに使用される各フォトセルの機能の拡張を含んでいる。ＣＭＯＳ技術で製造されたデバイスでアナログとディジタルの信号の組合せを利用することは純粋にアナログ・フォトセルを使用するより有利となる可能性がある。アナログ・フォトセルは、本発明の一実施形態によると、変換回路とともに組み込むことによって、ディジタル・フォトセルを作成することができる。ディジタル・フォトセルは、入射光によって生成されたアナログ信号をディジタル符号に変換し、そしてディジタル領域で処理される画像とすることができる。図６で示しているようにそのようなディジタル・フォトセルのアレイを使用して、イメージング・デバイスにディジタル画像処理システムを実装することができる。

図１は、本発明で利用するディジタル・フォトセルを例示している。
アナログ・フォトセル１１０は画像化されるシーンから入射する光エネルギーを捕捉する。アナログ・フォトセル１１０は周囲光の状態で変動する積分時間Ｔに従って動作する。積分時間は、フォトセルを飽和させるのに必要な間隔より短い。フォトセルに蓄積される電荷は、サンプル・アンド・ホールド増幅器１２０に対する入力である。フォトセルが電荷を放電するとき、カウンタ１４０はリセットされ、その次の積分期間のための計数を開始する。カウンタ１４０は、電圧制御発振器（ＶＣＯ）１３０によって駆動する。ＶＣＯ１３０は、サンプル・アンド・ホールド増幅器１２０で記憶されている先に取得した電荷によって設定された入力レベルを有する。ＶＣＯ１３０は、カウンタ１４０が増加する速度を制御する。アナログ・フォトセルで輝度が増加すると、ＶＣＯ１３０によって駆動されるカウンタ１４０も高速化する。特定の電荷に対してある積分期間の間にカウンタ１４０の計数が終了し、リセットされる前にその値をレジスタ１５０に送る。カウンタ１４０の最終値でもあるレジスタ１５０のディジタル値は、先の積分期間内のピクセルの輝度値を表している。動画像形成システムの場合、レジスタ１５０は、画像の１つの「フレーム」のピクセルを含んでいる。次のフレームを表す光電電荷はサンプル・アンド・ホールド回路１２０にあり、一方、カウンタ１４０は次のフレームを表すディジタル値を生成している。レジスタ１５０は画像の一部としてまたは他の処理のために出力するまでピクセル値を保持する。フォトセルは並列して動作するので、イメージャ・ピクセル・アレイを構成するディジタル・フォトセルのそれぞれを同一タイミングおよび制御シーケンスを使用して調整することができ、定期的にフレーム全体が出力される。

カウンタのダイナミック・レンジがフォトセルのダイナミック・レンジと一致することを保証するために、サンプル・アンド・ホールド増幅器としてはＶＣＯ１３０への入力を適切に調整できるものを配置する。ダイナミック・レンジは、捕捉されるシーンの周囲光のレベルが様々なために不一致となる可能性がある。シーンの周囲光の電荷の結果である積分期間の変動は、捕捉された画像が適切なコントラストを有することを保証する。ＶＣＯ１３０のダイナミック・レンジを調整してアナログ・フォトセルと一致させるために、グローバル・スケーリング電圧１６０をアレイの各ディジタル・フォトセルのサンプル・アンド・ホールド増幅器に加え、各フォトセルのＶＣＯ素子を現時点の周囲光の状態と一致したダイナミック・レンジを有するように調整させる。図１の機能が拡張されたディジタル・フォトセルは、逐次イメージング・デバイスで、または並列画像処理アーキテクチャで使用するために利用することができる。

図２は、従来の逐次イメージャの簡単なブロック図である。

上部で指摘したように、ＭＰＥＧなどの動画ビデオ圧縮は、差分化アプローチを利用して画像データの連続するフレームを符号化する。２つのフレームが完全に捕捉または画像化された後、対応するピクセル間の差分が計算され、次いで符号化される。このことは、非常に相関したまたは冗長な画像特徴を最小限のビット数を使用して符号化することを可能にする。例えばテレビ会議において、捕捉された画像の背景は、１つのフレームから次のフレーム間でほんのわずかしか、またはまったく変動しない可能性がある。この場合、連続するフレームで背景部分全体を伝送するのではなくて、フレーム間のピクセルの変動のみを伝送することで十分であるはずである。図２では、ＣＣＤイメージング・デバイスで利用される逐次イメージャは、１つのフレーム全体に対するピクセル情報と、次いで他のフレーム全体に対する情報を外部へシフト・アウトした後に、第１差分フレームを計算することができるはずである。したがって、この従来の方法は、差分を表す第３のフレームを生成するために２つ（またはそれ以上）の画像フレーム全体を捕捉しそして記憶することを必要とした。この第１フレーム、すなわち「キー」フレームが捕捉されディジタル化され、連続するフレームも同様にされる。次いでディジタル化されたフレームが差分化され、差分フレームが生成される。従来の画像差分化装置の遅延と計算負荷を少なくするために、図３のものと類似したアーキテクチャを採用することができる。

図３は、より効率的な画像差分化のためのアーキテクチャを例示している。イメージング・デバイスの従来の設計は、連続して捕捉されるフレームを捕捉しディジタル化した後に差分化が行われる。この従来の設計を改良するため、アナログでの差分化がディジタル化の前に行われるならば、計算負荷を非常に軽減化することができる。図３の並列シフト差分化装置は、シフト化を利用して画像差分データを生成する目標を達成する。

８個の例示的なアナログ・フォトセルＡ31、Ａ32、Ａ33、Ａ34、Ａ35、Ａ36、Ａ37、およびＡ38の組を検討する。フォトセルはシーンの決められた位置のアナログ輝度を捕捉する。これらの輝度値は、その積分時間の間にフォトセルに蓄積する電荷の量で表わされる。フォトセルＡ31、．．．Ａ38は、図１のディジタル・フォトセル・ユニットのようにディジタル化された出力を生成しない。むしろ、記憶された電荷は積分期間（所与のフレーム時間ではすべてのフォトセルに対して同じ）の終りに対応するシフト・セルに渡される。アナログ・フォトセルの各行に対して、２つのシフト・セルの行がある。シフト・セルの１つの行は第１フレーム（「キー」フレーム）のフォトセルの出力を記憶し、シフト・セルの第２の行は続いているフレームのフォトセルの出力を記憶する。シフト・セルの各行はフォトセル・データを逐次的に出力する。

キー・フレーム出力のシフト・セルの行は、Ｓ32、Ｓ34、Ｓ36、Ｓ38、Ｓ40、Ｓ42、Ｓ44、およびＳ46と指定されている。キー・フレームのすぐ後に続くフレームの出力を記憶するシフト・セルの行は、Ｓ31、Ｓ33、Ｓ35、Ｓ37、Ｓ39、Ｓ41、Ｓ43、およびＳ45と表示されている。イメージング・アーキテクチャが最初に初期化されるとき、すべてのシフト・セルはヌルまたはゼロの輝度値を記憶している。第１画像フレームが捕捉されるとき、アナログ・フォトセルＡ31、．．．Ａ38はそれぞれ、フォトセル上に入射したシーンの特定の位置の輝度を表す電荷を発生させる。この組の信号は、シフト・セルＳ31、Ｓ33、．．．Ｓ46の行に転送される。キー・フレームに対するシフト・セルの行はその時、空である。この第１フレームのデータを出力するのではなくて、アーキテクチャは次のフレームが捕捉されるまで待機する。次の画像フレームがアナログ・フォトセルＡ31、．．．Ａ38によって捕捉されるとき、図３で示しているように先のフレームの成果は、最初にシフト・セルＳ31、Ｓ33、．．．Ｓ45からシフト・セルＳ32、Ｓ34、．．．Ｓ46の行へそれぞれ転送される。次に第２フレームの積分期間の終りに、その信号はアナログ・フォトセルＡ31、．．．Ａ38からシフト・セルＳ31、Ｓ33、．．．Ｓ45へ転送される。この時、シフト・セルの両方の行は画像フレーム情報を含んでいる。第１フレームを記憶しているシフト・セルＳ32、Ｓ34、．．．Ｓ46の行が外部へシフトされる。このことはキー・フレーム出力３１２を表している。キー・フレーム出力３１２は、同時に差動ｏｐ−ａｍｐ（演算増幅器）３１０の入力にシフトされる。

シフト・セルＳ31、Ｓ33、．．．Ｓ45に記憶されている現時点のフレームの成果も差動ｏｐ−ａｍｐ３１０の他の入力にシフト・アウトされる。差動ｏｐ−ａｍｐ３１０は、アナログ信号、すなわちデルタ・フレーム出力３１４を生成し、これは現時点のフレームから先のフレーム（キー・フレーム）を引いた結果である。アナログ信号デルタ・フレーム出力３１４およびキー・フレーム出力３１２は、両方とも保存または処理する前にディジタル化することができる。逐次シフト化オペレーションはアナログ・キー・フレームと現時点のフレーム出力をピクセルごとのみで出力するので、現時点のフレームとキー・フレーム全体は、最初に出力と差動ｏｐ−ａｍｐ３１０にシフトされなければならない。逐次シフト化オペレーションが完了して、キー・フレームと現時点のフレームの最後が出力／処理された後、次いでシフト・セルＳ31、Ｓ33、．．．Ｓ45に記憶されていた現時点のフレームは並列に行Ｓ32、Ｓ34、．．．Ｓ46にシフトされ、したがって次のキー・フレームになる。

この設計の利点は、主に２つの画像フレーム全体ではなくて、アナログ差分フレーム出力のみをディジタル化するために送るようにしたことにある。行われる他の徹底的な処理に応じて、デルタ・フレーム出力３１４および／またはキー・フレーム出力３１２をディジタル化することができる。従来の設計では、２つのフレームのアナログ・フォトセルの情報全体が捕捉され、分離して外部にシフトされ、その後ディジタル化および差分化が行われる。図３のアーキテクチャでは、キー・フレーム３１２と次のフレームに対する差動（デルタ・フレーム出力３１４）が同時に出力にシフトされる。

図３の実施形態は、さらにキー・フレームと差分フレーム全体を、同時ではあるが、他のフレームをアナログ・フォトセルで捕捉する前に外部にシフトする必要がある。このアーキテクチャの他の改良点を、本発明のさらに他の実施形態に従って図４に示す。

図４は本発明の一実施形態を例示している。

図４の実施形態では、現時点のフレームが直ちに外部にシフトされ、さらにｏｐ−ａｍｐ４２０によって再生成され、フィードバックされる。

図４のアーキテクチャでは、現時点の画像フレームがＮ＋１個のアナログ・フォトセルＡ0、Ａ1．．．ＡN のアレイによって捕捉され、それらは次いで並列でシフト・セルＣ0、Ｃ1．．．ＣN にそれぞれ渡される。シフト・セルＣ0、Ｃ1．．．ＣNは、捕捉したフレーム・データをカスケード（バケツリレー）方式でＣNからＣ0 へシフト・アウトする。現時点のフレーム・データはｏｐ−ａｍｐ４２０によって再生成され、示しているようにシフト・セルＳN．．．Ｓ0のアレイにフィードバックされる。再生成された現時点のフレームがフィードバックされるので、現時点のフレームは、シフト・セルＳN．．．Ｓ0のアレイから外部へシフトされた先のフレームに対して差分化される。現時点のフレームと先のフレーム間の差分化は、ｏｐ−ａｍｐ４１０で達成され、ピクセルごとの差分フレーム出力が生成される。この逐次画像形成システムには、捕捉されるフレームのピクセル・データ全体の待機の必要なしに現時点のフレームと差分フレームの両方を提供するという意図した利点がある。通常、２つのフレーム、第１フレームおよび第２フレームを両方とも、差分フレームの生成が可能になる前に捕捉しなければならない。図４のアーキテクチャは、逐次画像形成でのそのような制限を除去している。ｏｐ−ａｍｐ４１０と４２０については詳細には述べていないが、当業者によって設計可能である。しかしｏｐ−ａｍｐ４２０の場合は信号保全性を増大させる機能と、ｏｐ−ａｍｐ４１０の場合は２つの信号の差分化の機能を有する必要がある。

図５は、本発明の一実施形態によるピクセルごとのアナログ差分エンジンを例示している。

図５の実施形態は、キー・フレームに基づく複数の差分フレームの伝送を可能する。イメージング装置は、最初の画像出力で、どのピクセルも差動ではないキー・フレームの捕捉および伝送を行うはずである。シフト・セルＳ51、Ｓ52、．．．Ｓ54を介して外部にシフトされるこのキー・フレームは、さらにアナログ保持レジスタＨ51、Ｈ52、．．．Ｈ54のアレイにフィードバックされる。フィードバックおよび出力の前に、各ピクセルは再生成増幅器Ｒ５に渡され、この増幅器は伝送遅延の損失を回避するためにピクセルの充填レベルを再生成する。保持レジスタＨ51．．．Ｈ54への現時点のフレームのこのフィードバックは、次のフレームが捕捉されるとき、「先の」フレームとして使用可能になることを確実にする。すなわち完了したフレームが記憶されることで、次のフレーム・サイクルの時に差分フレームを計算し、この差分を伝送することが可能になる。

このことを成し遂げるために、各アナログ保持レジスタＨ51、Ｈ52、Ｈ53およびＨ54の出力は、差動演算増幅器Ｏ51、Ｏ52、Ｏ53およびＯ54の入力とそれぞれリンクしている。現時点のフレームは、アナログ・フォトセルＡ51、Ａ52、Ａ53およびＡ54で捕捉され、この出力は差動演算増幅器Ｏ51、Ｏ52、Ｏ53およびＯ54の他の入力にそれぞれ渡される。出力でキー・フレームが伝送された後、後続の各フレームを、増幅器Ｏ51、Ｏ52、Ｏ53およびＯ54によって計算された先のフレームまたはキー・フレームと比べた差分として伝送することができる。後続の「差分」フレームがいくつであっても、次のキー・フレームが必要とされるまで出力に伝送することができる。各シフト・セルＳ51、Ｓ52、Ｓ53およびＳ54への入力は、アナログ・セルＡ51、Ａ52、Ａ53およびＡ54のぞれぞれでまったく初めて捕捉されたフレーム（キー・フレームが必要とされるとき）または演算増幅器Ｏ51、Ｏ52、Ｏ53およびＯ54それぞれの差分出力のいずれか一方である。

選択信号（図示せず）が一組のアナログ多重化装置Ｍ51、Ｍ52、Ｍ53およびＭ54のそれぞれに送られる。この信号は、アプリケーション・ユーザの必要に応じて、適切なキー・フレーム・データ（フレームＡ51、Ａ52、Ａ53およびＡ54のそれぞれ）または差分フレーム・データ（Ｏ51、Ｏ52、Ｏ53およびＯ54）のいずれかをシフト・セルＳ51、Ｓ52、Ｓ53およびＳ54のそれぞれにルーティングする。シフト・セルの追加の行および同様のアーキテクチャを、述べているように逐次いっしょにリンクすることができる。

図６は、本発明の一実施形態によるピクセルごとのディジタル差分エンジンを例示している。

図６の実施形態は、キー・フレームに基づく複数の差分フレームの伝送を可能する。イメージング装置は、最初の画像出力で、どのピクセルも差動ではないキー・フレームの捕捉および伝送を行うはずである。ディジタル・フォトセル（ピクセル）Ｄ61、Ｄ62、Ｄ63およびＤ64によって捕捉される最初のキー・フレームは、出力バス６００に出力する。同時に、ディジタル・ピクセルＤ61、Ｄ62、Ｄ63およびＤ64は、一連のディジタル保持レジスタＨ61、Ｈ62、Ｈ63およびＨ64にそれぞれ入力される。現時点のフレームの保持レジスタＨ61．．．Ｈ64へのこのフィードバックは、次のフレームが捕捉されるとき、「先の」フレームとして使用可能になることを確実にする。すなわち完了したフレームが記憶されることで、次のフレーム・サイクルの時に差分フレームを計算し、この差分を伝送することが可能になる。

このことを成し遂げるために、各ディジタル保持レジスタＨ61、Ｈ62、Ｈ63およびＨ64の出力は、減算ユニットＳ61、Ｓ62、Ｓ63およびＳ64の入力とそれぞれリンクしている。現時点のフレームは、ディジタル・フォトセルＤ61、Ｄ62、Ｄ63およびＤ64で捕捉され、この出力は減算ユニットＳ61、Ｓ62、Ｓ63およびＳ64の他の入力にそれぞれ渡される。出力でキー・フレームが伝送された後、後続の各フレームを、減算ユニットＳ61、Ｓ62、Ｓ63およびＳ64によって計算された先のフレームと比べた差分として伝送することができる。後続の「差分」フレームがいくつであっても、次のキー・フレームが必要とされるまで出力に伝送することができる。

出力バスは、申込者／ユーザの必要に応じて、（Ｄ61、Ｄ62、Ｄ63およびＤ64から）キー・フレーム・ピクセルまたは（減算ユニットＳ61、Ｓ62、Ｓ63およびＳ64から）差分フレーム・ピクセルのいずれか一方を伝送する。必要なモード、キーまたは差分に基づいて、選択信号（図示せず）がディジタル多重化装置Ｍ61、Ｍ62、Ｍ63およびＭ64のそれぞれに送られ、したがって次いでその信号は、（Ｄ61、Ｄ62、Ｄ63およびＤ64それぞれから）キー・フレーム・ピクセルまたは（Ｓ61、Ｓ62、Ｓ63およびＳ64それぞれから）差分フレーム・ピクセルのいずれかを、示しているようにルーティングする。Ｍ61、Ｍ62、Ｍ63およびＭ64から供給されるものと類似した付加的なディジタル出力を、所望の各ピクセルに対して繰り返し構築することができる。

本明細書で説明した例示的な実施形態は、単に本発明の原理を例示するためのものであり、本発明の範囲を限定するものとして解釈すべきではない。むしろ、本発明の原理を広範囲なシステムに適用することで、本明細書で説明した利点および他の利点を達成したり、または他の目的も同様に満たすことができる。

４１０ 、４２０： OP-AMP

Claims (3)

1. デジタル・フォトセルのアレイ内の各デジタル・フォトセルから、複数のレジスタの内の対応するレジスタにそれぞれ信号を送ること、
   前記アレイ内の各デジタル・フォトセルからの信号と、該各デジタル・フォトセルに対応するそれぞれのレジスタからの信号との差を決定すること、および
   デジタル・フォトセルのアレイからの信号または前記決定された差の信号から、信号セットを選択すること
   を含む方法。
2. アナログ・フォトセルのアレイ内の各アナログ・フォトセルからの信号と、各レジスタの出力が次のレジスタの入力に結合している複数のレジスタの内の該各アナログ・フォトセルに対応するレジスタからの信号との差を決定すること、
   アナログ・フォトセルのアレイからの信号または前記決定された差の信号から、信号セットを選択すること、
   前記選択された信号セットのそれぞれの信号を、各シフト・セルの出力が次のシフト・セルの入力に接続されている複数のシフト・セルの内の対応するシフト・セルに転送すること、
   前記複数のレジスタの最初のレジスタの入力に、前記複数のシフト・セルの終端の出力からの再生成増幅器を介した信号を転送すること
   を含む方法。
3. アナログ・フォトセルのアレイ内の各アナログ・フォトセルから、各記憶場所の出力が次の記憶場所の入力に接続されている第１の複数の記憶場所の内の対応する記憶場所に、信号を転送することと、
   該第１の複数の記憶場所の終端の出力からの信号を増幅することと、
   それぞれの記憶場所の出力が次の記憶場所の入力に結合されている第２の複数の記憶場所の内の最初の記憶場所の入力に、前記第１の複数の記憶場所の終端からの増幅済み信号を転送することと、
   前記第１の複数の記憶場所の終端の出力からの信号と前記第２の複数の記憶場所の終端の出力からの信号との差を決定すること
   を含む方法。

Images