JP4993808B2 - 画像読取りデバイス内の画像データの組込み処理の方法および回路 - Google Patents
画像読取りデバイス内の画像データの組込み処理の方法および回路 Download PDFInfo
- Publication number
- JP4993808B2 JP4993808B2 JP2000617642A JP2000617642A JP4993808B2 JP 4993808 B2 JP4993808 B2 JP 4993808B2 JP 2000617642 A JP2000617642 A JP 2000617642A JP 2000617642 A JP2000617642 A JP 2000617642A JP 4993808 B2 JP4993808 B2 JP 4993808B2
- Authority
- JP
- Japan
- Prior art keywords
- analog
- sample
- dynamic range
- photocell
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 title claims description 7
- 230000001276 controlling effect Effects 0.000 claims 1
- 230000001105 regulatory effect Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 15
- 230000010354 integration Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
- H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
- H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
(発明の背景)
(1.発明の分野)
本発明は、一般に画像処理の分野に関する。より詳細には、本発明は画像または動画ビデオ圧縮に関するものである。
【0002】
(2.関連技術の説明)
現在の技術では、画像キャプチャ・デバイス、すなわち、シーンに存在する色および/または輝度に比例する電気信号によって環境またはシーンを表現するデバイスは、CCD(電荷結合素子)技術を使用して製造および設計されることが多い。CCD画像キャプチャ・デバイスは、小さなフォトセルを使用して、フォトセルに入るシーンからの入射光に関係した電気信号を生成する。イメージング・デバイスは、焦点の合っているシーン全体にわたって一連の信号を捕捉して記憶できるようなフォトセルの2次元のアレイを含んでいる。最近では、CMOS(相補形金属酸化物半導体)イメージャ・デバイスが開発されており、これは、CCDデバイスで得られるものと同種の出力信号を提供するように機能し、しばしコストや複雑さが低減される。普通のイメージング・デバイスの例には、スキャナ、動画ビデオ・カメラおよびディジタル・スチール・カメラが含まれる。
【0003】
CMOSまたはCCD技術のいずれに基づいているとしても、これらのイメージング・デバイスの多くは、NTSC(National Television Systems Committee)として知られている伝送基準に準拠して設計されている。NTSCを制限しているものの1つは、画像が(イメージャ・アレイの)連続する走査行として送信されるのではなくて、奇数列が偶数列とは別々に送信される状態で送信されることである。奇数列と偶数列を分離するこのプロセスは、一般にインターレース走査と呼ばれている。NTSC信号は、アナログ電圧レベルとして符号化された輝度情報、および色搬送波周波数の位相と振幅において符号化された色情報などを有する。NTSC信号が画像処理のためにコンピュータ・システムに転送されるとき、コンピュータ・システムは信号変換器を利用して、アナログの符号化情報を伝送された画像に対する輝度および色差のディジタル値に変換する。画像をディジタル表示するためのもっとも一般的に使用される輝度と色差のフォーマットは、YCrCb(CCIR(国際無線通信諮問委員会:International Consultative Committee on Broadcasting)601カラー・スペースと呼ばれるディジタル・カラー・システム)として知られている。NTSCからYCrCbへの変換は、その性質上やほとんどの市販のマイクロプロセッサが逐次処理という性格であるために逐次である。その後の画像処理も逐次で行われる。逐次データ処理が優勢な中で1つの顕著な例外は、SIMD(単一命令多重データ:Single Instruction Multiple Data)処理を使用するインテル社のMMX(TM)技術ベースのプロセッサである。そのようなプロセッサをイメージング・デバイスといっしょに使用することの補完として、ディジタル値を捕捉するために使用されるセルを並列処理することは有用である。さらに、ディジタル・フォトセルを実際に使用する際の重要なファクタは、アナログ・フォトセル部分の積分時間が比較的長く、比較的遅いため、したがって簡単なディジタル化方法を使用できることである。(元の値ではなくてピクセルおよび/またはフレーム間の差が符号化される)ピクセルごとに差計算をするようなある種の固有の逐次オペレーションを含む動画ビデオの場合、そのような計算を、厳密にホスト・プロセッサによってではなくてイメージング・デバイスで行うことを可能にするアーキテクチャを実装することが有用である。
【0004】
(発明の概要)
開示しているものは、入射する光エネルギーをアナログ信号として捕捉するように構成されたアナログ・フォトセル、そのフォトセルと結合しアナログ信号を記憶するように構成されたサンプル・アンド・ホールド増幅器、かつその増幅器に結合され、アナログ信号を光エネルギー量に比例するディジタル値に変換するディジタル変換器を備える装置である。
【0005】
本発明の方法および装置の目的、特徴および利点は、以下の説明から明らかになろう。
【0006】
(発明の詳細な説明)
本発明の一態様は、シーンを捕捉する画像形成アレイに使用される各フォトセルの機能の拡張を含んでいる。CMOS技術で製造されたデバイスでアナログとディジタルの信号の組合せを利用することは純粋にアナログ・フォトセルを使用するより有利となる可能性がある。アナログ・フォトセルは、本発明の一実施形態によると、変換回路とともに組み込むことによって、ディジタル・フォトセルを作成することができる。ディジタル・フォトセルは、入射光によって生成されたアナログ信号をディジタル符号に変換し、そしてディジタル領域で処理される画像とすることができる。図6で示しているようにそのようなディジタル・フォトセルのアレイを使用して、イメージング・デバイスにディジタル画像処理システムを実装することができる。
【0007】
図1は、本発明で利用するディジタル・フォトセルを例示している。
【0008】
アナログ・フォトセル110は画像化されるシーンから入射する光エネルギーを捕捉する。アナログ・フォトセル110は周囲光の状態で変動する積分時間Tに従って動作する。積分時間は、フォトセルを飽和させるのに必要な間隔より短い。フォトセルに蓄積される電荷は、サンプル・アンド・ホールド増幅器120に対する入力である。フォトセルが電荷を放電するとき、カウンタ140はリセットされ、その次の積分期間のための計数を開始する。カウンタ140は、電圧制御発振器(VCO)130によって駆動する。VCO130は、サンプル・アンド・ホールド増幅器120で記憶されている先に取得した電荷によって設定された入力レベルを有する。VCO130は、カウンタ140が増加する速度を制御する。アナログ・フォトセルで輝度が増加すると、VCO130によって駆動されるカウンタ140も高速化する。特定の電荷に対してある積分期間の間にカウンタ140の計数が終了し、リセットされる前にその値をレジスタ150に送る。カウンタ140の最終値でもあるレジスタ150のディジタル値は、先の積分期間内のピクセルの輝度値を表している。動画像形成システムの場合、レジスタ150は、画像の1つの「フレーム」のピクセルを含んでいる。次のフレームを表す光電電荷はサンプル・アンド・ホールド回路120にあり、一方、カウンタ140は次のフレームを表すディジタル値を生成している。レジスタ150は画像の一部としてまたは他の処理のために出力するまでピクセル値を保持する。フォトセルは並列して動作するので、イメージャ・ピクセル・アレイを構成するディジタル・フォトセルのそれぞれを同一タイミングおよび制御シーケンスを使用して調整することができ、定期的にフレーム全体が出力される。
【0009】
カウンタのダイナミック・レンジがフォトセルのダイナミック・レンジと一致することを保証するために、サンプル・アンド・ホールド増幅器としてはVCO130への入力を適切に調整できるものを配置する。ダイナミック・レンジは、捕捉されるシーンの周囲光のレベルが様々なために不一致となる可能性がある。シーンの周囲光の電荷の結果である積分期間の変動は、捕捉された画像が適切なコントラストを有することを保証する。VCO130のダイナミック・レンジを調整してアナログ・フォトセルと一致させるために、グローバル・スケーリング電圧160をアレイの各ディジタル・フォトセルのサンプル・アンド・ホールド増幅器に加え、各フォトセルのVCO素子を現時点の周囲光の状態と一致したダイナミック・レンジを有するように調整させる。図1の機能が拡張されたディジタル・フォトセルは、逐次イメージング・デバイスで、または並列画像処理アーキテクチャで使用するために利用することができる。
【0010】
図2は、従来の逐次イメージャの簡単なブロック図である。
【0011】
上部で指摘したように、MPEGなどの動画ビデオ圧縮は、差分化アプローチを利用して画像データの連続するフレームを符号化する。2つのフレームが完全に捕捉または画像化された後、対応するピクセル間の差分が計算され、次いで符号化される。このことは、非常に相関したまたは冗長な画像特徴を最小限のビット数を使用して符号化することを可能にする。例えばテレビ会議において、捕捉された画像の背景は、1つのフレームから次のフレーム間でほんのわずかしか、またはまったく変動しない可能性がある。この場合、連続するフレームで背景部分全体を伝送するのではなくて、フレーム間のピクセルの変動のみを伝送することで十分であるはずである。図2では、CCDイメージング・デバイスで利用される逐次イメージャは、1つのフレーム全体に対するピクセル情報と、次いで他のフレーム全体に対する情報を外部へシフト・アウトした後に、第1差分フレームを計算することができるはずである。したがって、この従来の方法は、差分を表す第3のフレームを生成するために2つ(またはそれ以上)の画像フレーム全体を捕捉しそして記憶することを必要とした。この第1フレーム、すなわち「キー」フレームが捕捉されディジタル化され、連続するフレームも同様にされる。次いでディジタル化されたフレームが差分化され、差分フレームが生成される。従来の画像差分化装置の遅延と計算負荷を少なくするために、図3のものと類似したアーキテクチャを採用することができる。
【0012】
図3は、より効率的な画像差分化のためのアーキテクチャを例示している。イメージング・デバイスの従来の設計は、連続して捕捉されるフレームを捕捉しディジタル化した後に差分化が行われる。この従来の設計を改良するため、アナログでの差分化がディジタル化の前に行われるならば、計算負荷を非常に軽減化することができる。図3の並列シフト差分化装置は、シフト化を利用して画像差分データを生成する目標を達成する。
【0013】
8個の例示的なアナログ・フォトセルA31、A32、A33、A34、A35、A36、A37、およびA38の組を検討する。フォトセルはシーンの決められた位置のアナログ輝度を捕捉する。これらの輝度値は、その積分時間の間にフォトセルに蓄積する電荷の量で表わされる。フォトセルA31、...A38は、図1のディジタル・フォトセル・ユニットのようにディジタル化された出力を生成しない。むしろ、記憶された電荷は積分期間(所与のフレーム時間ではすべてのフォトセルに対して同じ)の終りに対応するシフト・セルに渡される。アナログ・フォトセルの各行に対して、2つのシフト・セルの行がある。シフト・セルの1つの行は第1フレーム(「キー」フレーム)のフォトセルの出力を記憶し、シフト・セルの第2の行は続いているフレームのフォトセルの出力を記憶する。シフト・セルの各行はフォトセル・データを逐次的に出力する。
【0014】
キー・フレーム出力のシフト・セルの行は、S32、S34、S36、S38、S40、S42、S44、およびS46と指定されている。キー・フレームのすぐ後に続くフレームの出力を記憶するシフト・セルの行は、S31、S33、S35、S37、S39、S41、S43、およびS45と表示されている。イメージング・アーキテクチャが最初に初期化されるとき、すべてのシフト・セルはヌルまたはゼロの輝度値を記憶している。第1画像フレームが捕捉されるとき、アナログ・フォトセルA31、...A38はそれぞれ、フォトセル上に入射したシーンの特定の位置の輝度を表す電荷を発生させる。この組の信号は、シフト・セルS31、S33、...S46の行に転送される。キー・フレームに対するシフト・セルの行はその時、空である。この第1フレームのデータを出力するのではなくて、アーキテクチャは次のフレームが捕捉されるまで待機する。次の画像フレームがアナログ・フォトセルA31、...A38によって捕捉されるとき、図3で示しているように先のフレームの成果は、最初にシフト・セルS31、S33、...S45からシフト・セルS32、S34、...S46の行へそれぞれ転送される。次に第2フレームの積分期間の終りに、その信号はアナログ・フォトセルA31、...A38からシフト・セルS31、S33、...S45へ転送される。この時、シフト・セルの両方の行は画像フレーム情報を含んでいる。第1フレームを記憶しているシフト・セルS32、S34、...S46の行が外部へシフトされる。このことはキー・フレーム出力312を表している。キー・フレーム出力312は、同時に差動op−amp(演算増幅器)310の入力にシフトされる。
【0015】
シフト・セルS31、S33、...S45に記憶されている現時点のフレームの成果も差動op−amp310の他の入力にシフト・アウトされる。差動op−amp310は、アナログ信号、すなわちデルタ・フレーム出力314を生成し、これは現時点のフレームから先のフレーム(キー・フレーム)を引いた結果である。アナログ信号デルタ・フレーム出力314およびキー・フレーム出力312は、両方とも保存または処理する前にディジタル化することができる。逐次シフト化オペレーションはアナログ・キー・フレームと現時点のフレーム出力をピクセルごとのみで出力するので、現時点のフレームとキー・フレーム全体は、最初に出力と差動op−amp310にシフトされなければならない。逐次シフト化オペレーションが完了して、キー・フレームと現時点のフレームの最後が出力/処理された後、次いでシフト・セルS31、S33、...S45に記憶されていた現時点のフレームは並列に行S32、S34、...S46にシフトされ、したがって次のキー・フレームになる。
【0016】
この設計の利点は、主に2つの画像フレーム全体ではなくて、アナログ差分フレーム出力のみをディジタル化するために送るようにしたことにある。行われる他の徹底的な処理に応じて、デルタ・フレーム出力314および/またはキー・フレーム出力312をディジタル化することができる。従来の設計では、2つのフレームのアナログ・フォトセルの情報全体が捕捉され、分離して外部にシフトされ、その後ディジタル化および差分化が行われる。図3のアーキテクチャでは、キー・フレーム312と次のフレームに対する差動(デルタ・フレーム出力314)が同時に出力にシフトされる。
【0017】
図3の実施形態は、さらにキー・フレームと差分フレーム全体を、同時ではあるが、他のフレームをアナログ・フォトセルで捕捉する前に外部にシフトする必要がある。このアーキテクチャの他の改良点を、本発明のさらに他の実施形態に従って図4に示す。
【0018】
図4は本発明の一実施形態を例示している。
【0019】
図4の実施形態では、現時点のフレームが直ちに外部にシフトされ、さらにop−amp420によって再生成され、フィードバックされる。
【0020】
図4のアーキテクチャでは、現時点の画像フレームがN+1個のアナログ・フォトセルA0、A1...AN のアレイによって捕捉され、それらは次いで並列でシフト・セルC0、C1...CN にそれぞれ渡される。シフト・セルC0、C1...CNは、捕捉したフレーム・データをカスケード(バケツリレー)方式でCNからC0 へシフト・アウトする。現時点のフレーム・データはop−amp420によって再生成され、示しているようにシフト・セルSN...S0のアレイにフィードバックされる。再生成された現時点のフレームがフィードバックされるので、現時点のフレームは、シフト・セルSN...S0のアレイから外部へシフトされた先のフレームに対して差分化される。現時点のフレームと先のフレーム間の差分化は、op−amp410で達成され、ピクセルごとの差分フレーム出力が生成される。この逐次画像形成システムには、捕捉されるフレームのピクセル・データ全体の待機の必要なしに現時点のフレームと差分フレームの両方を提供するという意図した利点がある。通常、2つのフレーム、第1フレームおよび第2フレームを両方とも、差分フレームの生成が可能になる前に捕捉しなければならない。図4のアーキテクチャは、逐次画像形成でのそのような制限を除去している。op−amp410と420については詳細には述べていないが、当業者によって設計可能である。しかしop−amp420の場合は信号保全性を増大させる機能と、op−amp410の場合は2つの信号の差分化の機能を有する必要がある。
【0021】
図5は、本発明の一実施形態によるピクセルごとのアナログ差分エンジンを例示している。
【0022】
図5の実施形態は、キー・フレームに基づく複数の差分フレームの伝送を可能する。イメージング装置は、最初の画像出力で、どのピクセルも差動ではないキー・フレームの捕捉および伝送を行うはずである。シフト・セルS51、S52、...S54を介して外部にシフトされるこのキー・フレームは、さらにアナログ保持レジスタH51、H52、...H54のアレイにフィードバックされる。フィードバックおよび出力の前に、各ピクセルは再生成増幅器R5に渡され、この増幅器は伝送遅延の損失を回避するためにピクセルの充填レベルを再生成する。保持レジスタH51...H54への現時点のフレームのこのフィードバックは、次のフレームが捕捉されるとき、「先の」フレームとして使用可能になることを確実にする。すなわち完了したフレームが記憶されることで、次のフレーム・サイクルの時に差分フレームを計算し、この差分を伝送することが可能になる。
【0023】
このことを成し遂げるために、各アナログ保持レジスタH51、H52、H53およびH54の出力は、差動演算増幅器O51、O52、O53およびO54の入力とそれぞれリンクしている。現時点のフレームは、アナログ・フォトセルA51、A52、A53およびA54で捕捉され、この出力は差動演算増幅器O51、O52、O53およびO54の他の入力にそれぞれ渡される。出力でキー・フレームが伝送された後、後続の各フレームを、増幅器O51、O52、O53およびO54によって計算された先のフレームまたはキー・フレームと比べた差分として伝送することができる。後続の「差分」フレームがいくつであっても、次のキー・フレームが必要とされるまで出力に伝送することができる。各シフト・セルS51、S52、S53およびS54への入力は、アナログ・セルA51、A52、A53およびA54のぞれぞれでまったく初めて捕捉されたフレーム(キー・フレームが必要とされるとき)または演算増幅器O51、O52、O53およびO54それぞれの差分出力のいずれか一方である。
【0024】
選択信号(図示せず)が一組のアナログ多重化装置M51、M52、M53およびM54のそれぞれに送られる。この信号は、アプリケーション・ユーザの必要に応じて、適切なキー・フレーム・データ(フレームA51、A52、A53およびA54のそれぞれ)または差分フレーム・データ(O51、O52、O53およびO54)のいずれかをシフト・セルS51、S52、S53およびS54のそれぞれにルーティングする。シフト・セルの追加の行および同様のアーキテクチャを、述べているように逐次いっしょにリンクすることができる。
【0025】
図6は、本発明の一実施形態によるピクセルごとのディジタル差分エンジンを例示している。
【0026】
図6の実施形態は、キー・フレームに基づく複数の差分フレームの伝送を可能する。イメージング装置は、最初の画像出力で、どのピクセルも差動ではないキー・フレームの捕捉および伝送を行うはずである。ディジタル・フォトセル(ピクセル)D61、D62、D63およびD64によって捕捉される最初のキー・フレームは、出力バス600に出力する。同時に、ディジタル・ピクセルD61、D62、D63およびD64は、一連のディジタル保持レジスタH61、H62、H63およびH64にそれぞれ入力される。現時点のフレームの保持レジスタH61...H64へのこのフィードバックは、次のフレームが捕捉されるとき、「先の」フレームとして使用可能になることを確実にする。すなわち完了したフレームが記憶されることで、次のフレーム・サイクルの時に差分フレームを計算し、この差分を伝送することが可能になる。
【0027】
このことを成し遂げるために、各ディジタル保持レジスタH61、H62、H63およびH64の出力は、減算ユニットS61、S62、S63およびS64の入力とそれぞれリンクしている。現時点のフレームは、ディジタル・フォトセルD61、D62、D63およびD64で捕捉され、この出力は減算ユニットS61、S62、S63およびS64の他の入力にそれぞれ渡される。出力でキー・フレームが伝送された後、後続の各フレームを、減算ユニットS61、S62、S63およびS64によって計算された先のフレームと比べた差分として伝送することができる。後続の「差分」フレームがいくつであっても、次のキー・フレームが必要とされるまで出力に伝送することができる。
【0028】
出力バスは、申込者/ユーザの必要に応じて、(D61、D62、D63およびD64から)キー・フレーム・ピクセルまたは(減算ユニットS61、S62、S63およびS64から)差分フレーム・ピクセルのいずれか一方を伝送する。必要なモード、キーまたは差分に基づいて、選択信号(図示せず)がディジタル多重化装置M61、M62、M63およびM64のそれぞれに送られ、したがって次いでその信号は、(D61、D62、D63およびD64それぞれから)キー・フレーム・ピクセルまたは(S61、S62、S63およびS64それぞれから)差分フレーム・ピクセルのいずれかを、示しているようにルーティングする。M61、M62、M63およびM64から供給されるものと類似した付加的なディジタル出力を、所望の各ピクセルに対して繰り返し構築することができる。
【0029】
本明細書で説明した例示的な実施形態は、単に本発明の原理を例示するためのものであり、本発明の範囲を限定するものとして解釈すべきではない。むしろ、本発明の原理を広範囲なシステムに適用することで、本明細書で説明した利点および他の利点を達成したり、または他の目的も同様に満たすことができる。
【図面の簡単な説明】
【図1】 本発明で利用するディジタル・フォトセルを示す図である。
【図2】 従来の逐次イメージャの簡単なブロック図である。
【図3】 より効率的な画像差分化のためのアーキテクチャを示す図である。
【図4】 本発明の一実施形態を示す図である。
【図5】 本発明の一実施形態によるピクセルごとのアナログ差分エンジンを示す図である。
【図6】 本発明の一実施形態によるピクセルごとのディジタル差分エンジンを示す図である。
Claims (4)
- アナログ・フォトセルと;
サンプル・アンド・ホールド増幅器と;
アナログデジタル変換器と:
とから構成され、
前記サンプル・アンド・ホールド増幅器の第1入力と第2入力はそれぞれ前記アナログ・フォトセルの出力と基準電圧であり、このサンプル・アンド・ホールド増幅器は前記アナログ・フォトセルの出力を調整して調整済み出力を生成するものであり、
該サンプル・アンド・ホールド増幅器による調整は前記基準電圧によって制御されているものであり;
前記アナログデジタル変換器は前記サンプル・アンド・ホールド増幅器の調整済み出力をデジタル値に変換するものであり、
前記サンプル・アンド・ホールド増幅器の調整済み出力は、前記アナログデジタル変換器のダイナミック・レンジに前記アナログ・フォトセルのダイナミック・レンジを適合するように選択されるとともに
前記基準電圧は、周囲光に従って、前記アナログ・フォトセルのダイナミック・レンジを前記アナログデジタル変換器のダイナミック・レンジに適合させるよう制御するものである
ことを特徴とする画像データの組込み処理回路。 - アナログ・フォトセルの電荷をサンプル・アンド・ホールド増幅器に入力すること、
基準電圧を前記サンプル・アンド・ホールド増幅器に入力すること、
前記サンプル・アンド・ホールド増幅器によって前記アナログ・フォトセルの電荷を変更することであって、前記アナログ・フォトセルの電荷の変更は前記基準電圧によって制御されるものであること、
アナログデジタル変換器によって、前記変更されたアナログ・フォトセルの電荷をデジタル値に変換すること、
を含み、前記サンプル・アンド・ホールド増幅器による前記アナログ・フォトセルの電荷の変更は、前記アナログ・フォトセルの変更された電荷を前記デジタル値に変換するのに適したダイナミック・レンジに該アナログ・フォトセルのダイナミック・レンジを適合するように行われるとともに
前記基準電圧は、周囲光に従って、前記アナログ・フォトセルのダイナミック・レンジを前記アナログデジタル変換器のダイナミック・レンジに適合させるよう制御するものである、方法。 - アナログ・フォトセルと、サンプル・アンド・ホールド増幅器であって、前記サンプル・アンド・ホールド増幅器の第1の入力は前記アナログ・フォトセルの出力であり、前記サンプル・アンド・ホールド増幅器の第2の入力は基準電圧であるサンプル・アンド・ホールド増幅器と、
電圧制御発振器であって、前記電圧制御発振器への入力は前記サンプル・アンド・ホールド増幅器の出力であり、前記サンプル・アンド・ホールド増幅器は前記電圧制御発振器への入力を調整し、前記電圧制御発振器への入力の調整は前記基準電圧によって制御され、前記基準電圧は前記電圧制御発振器のダイナミック・レンジを前記アナログ・フォトセルのダイナミック・レンジに適合するように設定されるものである、電圧制御発振器と、
カウンタであって、その動作速度が前記電圧制御発振器の出力によって制御されるとともに前記アナログ・フォトセルのダイナミック・レンジに適合するダイナミック・レンジをもつように動作するカウンタと、
レジスタであって、前記カウンタの出力を記憶するレジスタと
を備え、
前記基準電圧は、周囲光に従って、前記カウンタのダイナミック・レンジを前記アナログ・フォトセルのダイナミック・レンジに適合させるよう制御するものであるデジタル・フォトセル。 - サンプル・アンド・ホールド増幅器への第1の入力としてのアナログ・フォトセルの出力を印加し、
前記サンプル・アンド・ホールド増幅器への第2の入力としての基準電圧を印加し、
前記サンプル・アンド・ホールド増幅器によって前記アナログ・フォトセルの出力を変更し、前記アナログ・フォトセルの出力の変更は前記基準電圧によって制御され、前記アナログ・フォトセルの電荷は、前記アナログ・フォトセルのダイナミック・レンジを、前記サンプル・アンド・ホールド増幅器の出力を変換するのに適したダイナミック・レンジに適合するように行ない、
前記サンプル・アンド・ホールド増幅器の変更された出力を電圧制御発振器に印加し、
前記電圧制御発振器の出力によりカウンタを、前記アナログ・フォトセルのダイナミック・レンジに適合するダイナミック・レンジをもつように駆動し、
前記カウンタからのカウントを記憶し、
一定期間の終りに前記カウンタをリセットする
ことを含み、前記基準電圧は、周囲光に従って、前記カウンタのダイナミック・レンジを前記アナログ・フォトセルのダイナミック・レンジに適合させるよう制御するものであることを特徴とする画像データの組込み処理回路。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/307,574 | 1999-05-07 | ||
US09/307,574 US6777663B2 (en) | 1999-05-07 | 1999-05-07 | Enhanced Photocell with sample and hold amplifier |
PCT/US2000/011963 WO2000069166A2 (en) | 1999-05-07 | 2000-05-02 | Methods and circuits for intrinsic processing of image data within image sensing devices |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010190907A Division JP4799680B2 (ja) | 1999-05-07 | 2010-08-27 | 画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002544719A JP2002544719A (ja) | 2002-12-24 |
JP2002544719A5 JP2002544719A5 (ja) | 2007-06-28 |
JP4993808B2 true JP4993808B2 (ja) | 2012-08-08 |
Family
ID=23190333
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000617642A Expired - Fee Related JP4993808B2 (ja) | 1999-05-07 | 2000-05-02 | 画像読取りデバイス内の画像データの組込み処理の方法および回路 |
JP2010190907A Expired - Fee Related JP4799680B2 (ja) | 1999-05-07 | 2010-08-27 | 画像処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010190907A Expired - Fee Related JP4799680B2 (ja) | 1999-05-07 | 2010-08-27 | 画像処理方法 |
Country Status (10)
Country | Link |
---|---|
US (4) | US6777663B2 (ja) |
EP (1) | EP1177679B1 (ja) |
JP (2) | JP4993808B2 (ja) |
KR (1) | KR100477318B1 (ja) |
CN (3) | CN1225889C (ja) |
AU (1) | AU4693400A (ja) |
DE (1) | DE60013806T2 (ja) |
HK (1) | HK1047514A1 (ja) |
TW (1) | TW465228B (ja) |
WO (1) | WO2000069166A2 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6777663B2 (en) | 1999-05-07 | 2004-08-17 | Intel Corporation | Enhanced Photocell with sample and hold amplifier |
US6704798B1 (en) * | 2000-02-08 | 2004-03-09 | Hewlett-Packard Development Company, L.P. | Explicit server control of transcoding representation conversion at a proxy or client location |
US7106347B1 (en) * | 2000-05-31 | 2006-09-12 | Intel Corporation | Transforming pixel data and addresses |
US7088390B2 (en) * | 2000-06-19 | 2006-08-08 | Olympus Optical Co., Ltd. | Imaging apparatus in which exposure control is performed to suppress changes in sensitivity due to changes in gradation mode |
US6741198B2 (en) * | 2001-06-20 | 2004-05-25 | R3 Logic, Inc. | High resolution, low power, wide dynamic range imager with embedded pixel processor and DRAM storage |
US7443427B2 (en) * | 2002-08-23 | 2008-10-28 | Micron Technology, Inc. | Wide dynamic range linear-and-log active pixel |
US20060033826A1 (en) * | 2004-08-12 | 2006-02-16 | Xinqiao Liu | Imaging array having variable pixel size |
EP1657910A1 (en) * | 2004-11-12 | 2006-05-17 | STMicroelectronics Limited | Image sensor |
KR100970599B1 (ko) * | 2005-09-21 | 2010-07-16 | 알제이에스 테크놀로지, 인코포레이티드 | 실시간 측광 보고 기능을 가진 이미지 센서 요소 또는 센서어레이를 위한 시스템 및 방법 |
JP5021551B2 (ja) * | 2007-05-28 | 2012-09-12 | 株式会社リコー | 画像読取装置および方法 |
JP2009055479A (ja) * | 2007-08-28 | 2009-03-12 | Panasonic Corp | イメージセンサ及び電磁波イメージング装置 |
JP2010010742A (ja) * | 2008-06-24 | 2010-01-14 | Olympus Corp | 固体撮像装置 |
JP5392533B2 (ja) * | 2008-10-10 | 2014-01-22 | ソニー株式会社 | 固体撮像素子、光学装置、信号処理装置及び信号処理システム |
US8982099B2 (en) * | 2009-06-25 | 2015-03-17 | Semiconductor Energy Laboratory Co., Ltd. | Touch panel and driving method of the same |
JP5343944B2 (ja) * | 2010-08-18 | 2013-11-13 | 株式会社デンソー | 燃料噴射制御装置 |
US8693772B2 (en) * | 2011-10-11 | 2014-04-08 | Tandent Vision Science, Inc. | System and method for digital image signal compression using intrinsic images |
CN102868865B (zh) * | 2012-09-12 | 2015-09-02 | 中国科学院西安光学精密机械研究所 | 一种图像像元合并的电路及方法 |
JP6284047B2 (ja) * | 2013-05-29 | 2018-02-28 | パナソニックIpマネジメント株式会社 | 撮像装置および撮像方法 |
FR3008208B1 (fr) | 2013-07-02 | 2016-12-02 | Mbda France | Procede et dispositif pour la detection de tirs provenant d'armes legeres |
CN108548490B (zh) * | 2018-04-17 | 2020-05-05 | 中科晶源微电子技术(北京)有限公司 | 用于确定光栅像在成像平面上的移位的方法和设备和用于确定物体高度的方法和设备 |
CN109005329B (zh) * | 2018-09-19 | 2020-08-11 | 广东工业大学 | 一种像素单元、图像传感器以及相机 |
EP3922008A1 (en) | 2019-02-04 | 2021-12-15 | Copious Imaging LLC | Advanced computational pixel imagers with multiple in-pixel counters |
US20230007211A1 (en) * | 2021-06-30 | 2023-01-05 | Microsoft Technology Licensing, Llc | Virtual ambient illuminance sensor system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4999467A (ja) * | 1973-01-02 | 1974-09-19 | ||
JPH06125565A (ja) * | 1992-10-09 | 1994-05-06 | Canon Inc | 固体撮像装置 |
JPH07336607A (ja) * | 1994-06-14 | 1995-12-22 | Nec Corp | 固体撮像装置 |
JPH09205587A (ja) * | 1996-01-29 | 1997-08-05 | Canon Inc | 撮像装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1424360A (en) * | 1972-05-22 | 1976-02-11 | Rotaflex Ltd | Spotlieghts |
SU740085A1 (ru) | 1978-07-07 | 1994-07-30 | А.В. Вето | Линейный формирователь сигналов изображения |
US4724311A (en) * | 1985-11-15 | 1988-02-09 | American Sterilizer Company | Variably transmissive filter |
US4864515A (en) * | 1987-03-30 | 1989-09-05 | Honeywell Inc. | Electronic sensing screen for measuring projectile parameters |
JPS63296478A (ja) * | 1987-05-28 | 1988-12-02 | Nippon Hoso Kyokai <Nhk> | 固体撮像装置 |
DE69121627T2 (de) * | 1990-04-27 | 1997-01-23 | Canon Kk | Vorrichtung zur Detektion von Bewegungsvektor |
JPH04360284A (ja) * | 1991-06-06 | 1992-12-14 | Nissan Motor Co Ltd | 画像処理装置 |
JPH0767152B2 (ja) | 1993-03-25 | 1995-07-19 | 日本電気株式会社 | イメージセンサとその駆動方法 |
US5461425A (en) | 1994-02-15 | 1995-10-24 | Stanford University | CMOS image sensor with pixel level A/D conversion |
US5795300A (en) * | 1994-06-01 | 1998-08-18 | Advanced Body Metrics Corporation | Heart pulse monitor |
US5631704A (en) * | 1994-10-14 | 1997-05-20 | Lucent Technologies, Inc. | Active pixel sensor and imaging system having differential mode |
US5764288A (en) * | 1995-01-06 | 1998-06-09 | Integrated Data Systems, Inc. | Analog processing element (APE) and related devices |
JP3984665B2 (ja) * | 1995-12-27 | 2007-10-03 | キヤノン株式会社 | 画像信号の符号化圧縮装置および方法 |
JPH09247519A (ja) * | 1996-03-08 | 1997-09-19 | Sony Corp | 撮像装置 |
US5962844A (en) * | 1997-09-03 | 1999-10-05 | Foveon, Inc. | Active pixel image cell with embedded memory and pixel level signal processing capability |
JP3794180B2 (ja) | 1997-11-11 | 2006-07-05 | セイコーエプソン株式会社 | 座標入力システム及び座標入力装置 |
US6529237B1 (en) * | 1997-12-02 | 2003-03-04 | Texas Instruments Incorporated | Complete CDS/PGA sample and hold amplifier |
US6476864B1 (en) * | 1998-05-11 | 2002-11-05 | Agilent Technologies, Inc. | Pixel sensor column amplifier architecture |
US6354733B2 (en) * | 1999-01-15 | 2002-03-12 | Ametex, Inc. | System and method for determining combustion temperature using infrared emissions |
US6777663B2 (en) | 1999-05-07 | 2004-08-17 | Intel Corporation | Enhanced Photocell with sample and hold amplifier |
US6975355B1 (en) * | 2000-02-22 | 2005-12-13 | Pixim, Inc. | Multiple sampling via a time-indexed method to achieve wide dynamic ranges |
-
1999
- 1999-05-07 US US09/307,574 patent/US6777663B2/en not_active Expired - Fee Related
-
2000
- 2000-05-02 KR KR10-2001-7014183A patent/KR100477318B1/ko not_active IP Right Cessation
- 2000-05-02 CN CNB008097674A patent/CN1225889C/zh not_active Expired - Fee Related
- 2000-05-02 CN CNB2004100048030A patent/CN1324878C/zh not_active Expired - Fee Related
- 2000-05-02 EP EP00928746A patent/EP1177679B1/en not_active Expired - Lifetime
- 2000-05-02 JP JP2000617642A patent/JP4993808B2/ja not_active Expired - Fee Related
- 2000-05-02 CN CNB2004100048026A patent/CN1293744C/zh not_active Expired - Fee Related
- 2000-05-02 WO PCT/US2000/011963 patent/WO2000069166A2/en active IP Right Grant
- 2000-05-02 DE DE60013806T patent/DE60013806T2/de not_active Expired - Lifetime
- 2000-05-02 AU AU46934/00A patent/AU4693400A/en not_active Abandoned
- 2000-05-12 TW TW089108680A patent/TW465228B/zh not_active IP Right Cessation
-
2001
- 2001-11-26 US US09/995,279 patent/US6888121B2/en not_active Expired - Fee Related
- 2001-11-26 US US09/995,282 patent/US6777664B2/en not_active Expired - Fee Related
-
2002
- 2002-11-27 HK HK02108565.6A patent/HK1047514A1/zh unknown
-
2003
- 2003-02-05 US US10/359,355 patent/US6870150B2/en not_active Expired - Fee Related
-
2010
- 2010-08-27 JP JP2010190907A patent/JP4799680B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4999467A (ja) * | 1973-01-02 | 1974-09-19 | ||
JPH06125565A (ja) * | 1992-10-09 | 1994-05-06 | Canon Inc | 固体撮像装置 |
JPH07336607A (ja) * | 1994-06-14 | 1995-12-22 | Nec Corp | 固体撮像装置 |
JPH09205587A (ja) * | 1996-01-29 | 1997-08-05 | Canon Inc | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
CN1225889C (zh) | 2005-11-02 |
CN1324878C (zh) | 2007-07-04 |
US6888121B2 (en) | 2005-05-03 |
US6777664B2 (en) | 2004-08-17 |
CN1359588A (zh) | 2002-07-17 |
EP1177679A2 (en) | 2002-02-06 |
KR100477318B1 (ko) | 2005-03-17 |
US6777663B2 (en) | 2004-08-17 |
US20020033444A1 (en) | 2002-03-21 |
US20010050330A1 (en) | 2001-12-13 |
KR20020008176A (ko) | 2002-01-29 |
US6870150B2 (en) | 2005-03-22 |
AU4693400A (en) | 2000-11-21 |
DE60013806D1 (de) | 2004-10-21 |
WO2000069166A3 (en) | 2001-07-05 |
HK1047514A1 (zh) | 2003-02-21 |
US20020033445A1 (en) | 2002-03-21 |
JP2002544719A (ja) | 2002-12-24 |
DE60013806T2 (de) | 2005-09-29 |
US20030111590A1 (en) | 2003-06-19 |
WO2000069166A2 (en) | 2000-11-16 |
EP1177679B1 (en) | 2004-09-15 |
CN1293744C (zh) | 2007-01-03 |
CN1529494A (zh) | 2004-09-15 |
CN1525737A (zh) | 2004-09-01 |
TW465228B (en) | 2001-11-21 |
JP4799680B2 (ja) | 2011-10-26 |
JP2011019264A (ja) | 2011-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4993808B2 (ja) | 画像読取りデバイス内の画像データの組込み処理の方法および回路 | |
US7675561B2 (en) | Time delayed integration CMOS image sensor with zero desynchronization | |
USRE44888E1 (en) | Solid state image sensor and video system using the same | |
US7236194B2 (en) | Image signal processing apparatus | |
US6339213B2 (en) | Solid state imaging device and method for driving the same | |
JPH06105224A (ja) | ダイナミックレンジ拡大装置 | |
JPH09163210A (ja) | 撮像システム | |
KR100267198B1 (ko) | 칼라 화상 입력 장치 | |
JP2006238205A (ja) | 撮像装置及び撮像方法 | |
JPH07162874A (ja) | 単板式高感度カラーカメラ装置 | |
JPH07123369A (ja) | イメージフォーマット変換装置 | |
JP3459586B2 (ja) | スキャナ装置 | |
JPH08294057A (ja) | 固体撮像素子 | |
JPH10108076A (ja) | 固体撮像装置 | |
JPH07288781A (ja) | イメージフォーマット変換装置 | |
KR20060129739A (ko) | 이미지 센서 | |
JPH04287484A (ja) | 映像信号処理回路 | |
JP2004112845A (ja) | 固体撮像素子及びこの固体撮像素子を用いる画像システム | |
JPH10257444A (ja) | 画像入力方法及びその装置 | |
JPH04170892A (ja) | デジタル電子スチルカメラ | |
JPH1169295A (ja) | 外部入力画像の静止画記録機能を有するディジタルカメラ装置 | |
WO1998018257A1 (fr) | Dispositif de type camera a dispositif de couplage de charge | |
JPH0969977A (ja) | 映像信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070502 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091013 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100113 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100827 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100906 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100924 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120508 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |