JP4335537B2 - 並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム - Google Patents
並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム Download PDFInfo
- Publication number
- JP4335537B2 JP4335537B2 JP2002590651A JP2002590651A JP4335537B2 JP 4335537 B2 JP4335537 B2 JP 4335537B2 JP 2002590651 A JP2002590651 A JP 2002590651A JP 2002590651 A JP2002590651 A JP 2002590651A JP 4335537 B2 JP4335537 B2 JP 4335537B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processor
- port
- data port
- processors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000872 buffer Substances 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 9
- SDJLVPMBBFRBLL-UHFFFAOYSA-N dsp-4 Chemical compound ClCCN(CC)CC1=CC=CC=C1Br SDJLVPMBBFRBLL-UHFFFAOYSA-N 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
- G06F15/8007—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors single instruction multiple data [SIMD] multiprocessors
- G06F15/8023—Two dimensional arrays, e.g. mesh, torus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【発明の属する技術分野】
本発明は、並列データ処理のためのデバイスに関する。
【0002】
本発明は、並列データ処理のための当該デバイスを有するカメラシステムにも関する。
【0003】
【従来の技術】
並列データ処理のためのデバイスは、一般に知られている。集積回路として当該デバイスを形成することも一般に知られている。これらは、ディジタル信号プロセッサ(DSP)として知られている。DSPの用途の分野は、固体画像センサ(solid−state image sensor)によって得られる画像データを処理すると共に更新する分野である。
【0004】
当該用途において、前記DSPはカメラシステムに組み込まれ、当該カメラシステムは、光画像(light image)をアナログ電気信号に変換する固体画像センサにおいて光画像を生成するための光部品と、前記アナログ電気信号をディジタル形態の画像データに変換するためのコンバータと、前記データを更に処理するための、とりわけ、例えばモニタ上で当該データによって生成される画質を改善するための前記DSPとを備える。
【0005】
上記のようなカメラシステムは、例えばCCTV(閉回路テレビ(closed−circuit television))システム、ウェブカム(webcam)、ビデオ会議システム、DSC(ディジタルスチルカメラ(digital still camera)、及び、例えばテレビスタジオにおいて使用されているようなプロフェッショナルレコーディングシステム(professional recording system)において使用されている。
【0006】
上述された固体画像センサは、主に、感光性素子(photosensitive element)の行(画像ライン)及び列からなるセンサマトリックスから構成されている。当該構成において、入射光画像(incident light image)は画素に分割される。前記入射光画像は、画素毎に感光性素子によって電気信号(画素信号)に変換される。このように合成される全ての画素信号は完全な光画像の情報を有する。更なる処理のために、前記画素信号はディジタルデータに変換される。このように合成される全てのデータは、結果として、この場合ディジタル形態で完全な光画像の情報を有する。
【0007】
通常、固体画像センサは、電荷結合素子(CCD)IC技術、又は相補型金属酸化膜半導体(CMOS)IC技術で実現される。両方の場合において、前記画素信号は、電荷パケット(electric charge packet)によって構成されている。カラー情報を収集するために、前記センサマトリックス内の個々の感光性素子は、例えば赤、緑、及び青カラーフィルタを、交互のパターンで備えている。
【0008】
従来の読み出し方法では、前記感光性素子からの前記画素信号は、前記センサマトリックスにおいて行毎に(又は画像ライン毎に)データに変換される。更なる処理に先行して当該データをラインメモリに一時的に記憶することが一般的に行われている。当該ラインメモリ、又はデータバッファは、少なくとも一つの画像ラインに起因するデータのための空き領域(space)を有している。
【0009】
前記画像データがディスプレイに適したフォーマットに変換される前に、例えば、異なる画素から入力されるカラー情報を合成するために前記画像データを処理することが概して必要となる。当該目的に対して必要とされる前記デバイスにおいて、前記センサマトリックスにおける、周囲の画素のデータ及び関連したデータが画素毎に使用される。この場合、異なる画素に起因するデータについて、同じ動作が多数回実行される。従って、並列データ処理、例えばDSPのためのデバイスの補助と並行して当該同じ動作を行うことは明らかである。実際、このことは、同質のデータを処理するためのDSPが、他のデータ処理デバイスよりも時間を必要としないと共に電力を消費しない用途の当該分野において一般的に認識されている利点であることは明らかである。
【0010】
DSPは、複数のプロセッサと、依然処理されるべきデータの一時的な記憶のための、若しくは既に処理されたデータの一時的な記憶のための、又はその両方のためのデータバッファ又はメモリとを有している。前記DSPの前記プロセッサ及び前記データバッファは、前記データを入力すると共に出力するためのデータポートを有している。
【0011】
前記DSPの設計における顕著な問題は、互いに関する前記プロセッサの配置、及び集積回路におけるデータバッファに関する前記プロセッサの配置にある。前記相互の配置は、異なるプロセッサの前記データポートの間のコネクションのルーティング(routing)に大きな影響を与えると共に、プロセッサのデータポートとデータバッファのデータポートとの間のコネクションに大きな影響を与える。データの並列処理のために、多くのコネクションが必要とされる。それ故に、当該コネクションは、前記集積回路が前記シリコン上で必要とする表面積を大いに限定する。
【0012】
【発明が解決しようとする課題】
本発明の目的は、前記プロセッサが互いに関して配置されると共に、最小限の表面積をもたらす態様で前記データバッファに関して配置される、並列データ処理のためのデバイスを提供することにある。
【0013】
【課題を解決するための手段】
当該目的に対して、並列データ処理のための前記デバイスは、行及び列で構成される、プロセッサの少なくとも一つのマトリックスを有し、前記行が少しづつずらして配置され、各々のプロセッサが少なくとも一つのデータポートを有し、前記プロセッサのうちの一つの少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって、少なくとも一つの他のプロセッサのうちの少なくとも一つの前記データポートに接続されることを特徴としている。
【0014】
ほぼ直線状のコネクションとは、直線状であると共に、わずかなねじれ又は湾曲を有していてもよいコネクションを意味していると理解される。
【0015】
プロセッサの少しづつずらした配置とは、前記プロセッサの各行が、先行するプロセッサの行に関して前記行方向にずらされていることを意味している。各行に対する前記ずれは、同じ方向になされる。
【0016】
当該態様で前記プロセッサを配置することによって、ほぼ直線状のコネクションは、あるプロセッサのデータポートから他のプロセッサのデータポートに設けられ得る。ほぼ直線状のコネクションは、最小限の表面積も占有する、可能な限り最短のコネクションとなる。このことは、所要の表面積の重大な節減をもたらす。
【0017】
本発明による前記デバイスは、前記コネクションがほぼ直線状であるばかりでなく、互いに可能な限り近くに配置されるので、前記所要の表面積の更なる節減が達成されるという他の利点を有している。
【0018】
より小さな表面積を具備する集積回路を選択する代わりに、例えばより大規模な個別プロセッサのより大規模な機能動作による、前記デバイスの機能動作の改善が代わりの選択であってもよい。これにより、ある表面積及び同じ表面積に関するアルゴリズムを処理する、より高度な画像を実現する見通しがもたらされる。
【0019】
本発明は、前記プロセッサが別個の集積回路として上に配置されると共に、前記コネクションがメタルトラックによって上に構成されるプリント回路基板(PCB)における使用にも適している。
【0020】
前記デバイスの実施例は、更なるデータポートをもつデータバッファを有しており、前記プロセッサの少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって前記データバッファの少なくとも一つの前記更なるデータポートに接続されている。
【0021】
当該実施例は、前記所要の表面積の更なる節減が、前記プロセッサの前記データポートと前記データバッファの前記更なるデータポートとの間の、ほぼ直線状のコネクションを設けることによっても達成されるという利点を有している。
【0022】
本発明による前記デバイスの実施例は、少なくとも一つの前記プロセッサの前記データポートが、少なくとも一つの一次データポート及び少なくとも一つの二次データポートを有し、少なくとも一つの前記二次データポートが、ほぼ直線状のコネクションによって他のプロセッサの一次データポートに接続されることを特徴としている。当該実施例は、二次データポートによって少なくとも一つの前記プロセッサに、一次データポートによって他のプロセッサに供給されるデータと同じデータが供給されるとき、複数のデータポートを互いに接続すると共に、前記データバッファの少なくとも一つの前記更なるデータポートに接続するために一つのコネクションしか必要とされないという利点を有している。
【0023】
本発明による前記デバイスの実施例は、少なくとも一つの前記プロセッサの前記一次データポートが、前記データバッファからデータを受信するための少なくとも一つの一次入力データポートを有し、前記二次データポートが、前記データバッファからデータを受信するための少なくとも一つの二次入力データポートを有し、前記データポートが、前記データバッファにデータを送信するための少なくとも一つの出力データポートを有することを特徴としている。当該実施例は、前記プロセッサの前記一次入力データポートと、前記プロセッサの前記二次データポートと、前記データバッファの前記更なるデータポートとの間のコネクション、並びに、出力データポートと、前記データバッファの更なるデータポートとの間のコネクションが両方ともほぼ直線状になっているという利点を有している。
【0024】
本発明による前記デバイスの実施例は、前記プロセッサが、一連のデータ構成要素(data element)から構成されるデータを処理し、各データプロセッサが、前記一連のデータ構成要素からの少なくとも一つのデータ構成要素を処理し、各プロセッサの前記一次入力データポートが、他のプロセッサの前記二次入力データポートに接続されることを特徴としている。当該実施例は、一つの画像ラインから入力されるデータを処理するのに非常に適しており、前記画像ラインにおいては、プロセッサが、一つの画素の前記データ、すなわち前記一次入力データポートに入力される一つのデータ構成要素を処理するばかりでなく、少なくとも一つの他の画素のデータ、すなわち、少なくとも一つの二次入力データポートから入力される、同じ画像ラインからの他のデータ構成要素も処理する。
【0025】
本発明による前記デバイスの実施例は、各プロセッサの前記二次入力データポートが、第一の二次入力データポート及び第二の二次入力データポートを有し、各々の一次入力データポートが、前記データバッファの更なるデータポートから処理するために、前記一連のデータ構成要素からデータ構成要素を受信し、前記一連のデータ構成要素における前記データ構成要素に先行する前記データ構成要素を処理する前記プロセッサの前記第二の二次入力データポートに接続されると共に、前記一連のデータ構成要素における前記データ構成要素に後続する前記データ構成要素を処理する前記プロセッサの前記第一の二次入力データポートにも接続されることを特徴としている。当該実施例は、一つの画像ラインから入力されるデータを処理するのに非常に適しており、前記画像ラインにおいては、プロセッサが、前記一次入力データポートにおいて入力される一つの画素の前記データばかりでなく、データは各々の二次入力データポートにおいて入力される前記画像ラインにおける、隣接した画素のデータも必要としている。一つの画素のデータが転送される前記データバッファの更なるデータポートへの、前記二次入力データポートからのコネクション又は異なるプロセッサのコネクションは、前記一次入力データポートと、前記データバッファの同じ更なるデータポートとの間のコネクションと可能な限り同じコネクションでもある。
【0026】
本発明による前記デバイスの実施例は、前記データバッファが、二つの物理的に分離された部分に分割され、第一の部分は、前記プロセッサマトリックスにおけるプロセッサの最初の行の近くに位置されると共に、第二の部分は、前記プロセッサマトリックスにおけるプロセッサの最後の行の近くに位置されることを特徴としている。当該実施例は、前記コネクションに必要とされる前記表面積が更に最小化され得るという利点を有している。
【0027】
本発明の目的は、入射電磁放射(incident electromagnetic radiation)を画素信号に変換するための、行及び列から構成されるセンサマトリックスと、画素信号をデータに変換するための手段と、並列データ処理のためのデバイスとを有するカメラシステムを提供することにもある。
【0028】
本発明による前記カメラシステムは、並列画像データ処理のための前記デバイスを実現するのに必要とされる、相対的に小さな表面積のために、カメラシステム全体が単一の集積回路として実現され得るという利点を有している。それにもかかわらず、記録された画像データを処理するため、又は一つの集積回路における前記画像データの質を改善するための多彩な機能を有していてもよい。例えば、リアルタイムビデオと、高度コンピュータビジョンアルゴリズム(advanced computer vision algorithm)の実現とが、それによって可能となる。それ故に、当該機能はより低いコストで実現され得る。これは、結果として、例えばビデオ会議設備(video conferencing facility)又は自律式シーンインタプレッテイション機能(autonomous scene interpretation capability)を消費者市場のための製品にもたらす。
【0029】
本発明による前記カメラシステムの実施例において、前記センサマトリックス
はカラーフィルタアレイを有しており、各プロセッサは、前記センサマトリックスの複数の列から入力されるデータを処理する。当該データは、前記カラーフィルタアレイの異なるカラーについてのカラー情報を有している。前記センサマトリックスの各々の感光性素子は、例えばカラー赤、緑、又は青のうちの一つのためのカラーフィルタを有している。それ故に、各々の感光性素子は、前記カラーのうちの一つに感度を有するであろう。各プロセッサは、前記センサマトリックスの複数の列から入力されるデータを処理する。当該データは、赤、緑、及び青を有するアセンブリの異なるカラーのカラー情報を有している。このことは、各画素が別個に三つのカラーコンポーネント、赤、緑、又は青の全てを記録することなく、カラー情報が記録されるという利点を有している。並列データ処理のための前記デバイスは、画素毎に欠落したカラー情報を計算する。
【0030】
本発明の当該及び他の態様は、以下に記載された実施例から明らかであり、これらの実施例を参照して説明される。当該図面において、同一のコンポーネントは同じ符号によって示されている。
【0031】
【発明の実施の形態】
図1のカメラシステム1は、センサマトリックス2と、画素信号をデータに変換する手段と、データコンバータ3と、並列データ処理のためのデバイスと、DSP4と、前記異なるコンポーネントのタスクを連携させる(co−ordinate)ための中央制御器5とを有している。カメラシステム1全体は、好ましくは、CMOS技術で実現され、全てのコンポーネントが一つの集積回路で実現される。代わりの実施例において、前記異なるコンポーネントは、少なくとも二つの別個の集積回路上で実現される。このことは、センサマトリックス2が、CMOS技術とCCD技術との両方で実現され得るという利点を有する。センサマトリックス2は、感光性素子の列及び行、画像ラインから構成されている。当該構成のため、入射光画像は画素に分割される。前記入射光画像は、前記感光性素子によって画素毎に画素信号に変換される。データコンバータ3は、少なくとも一つのA/Dコンバータを有している。画素信号を、ある画像ライン及び同じ画像ラインから同時にデータに変換することが推奨される。複数のA/Dコンバータが当該目的のために必要とされるが、当該要求仕様は、特に変換レートに関して厳格なものではない。矢印6は、センサマトリックス2からデータコンバータ3への前記画素信号によってカバーされるパスを示している。
【0032】
前記データは、データコンバータ3からDSP4に送信される。矢印8は、データコンバータ3から、DSP4及びDSP4の更に内部への前記データによってカバーされるパスを示している。前記実施例において、DSP4は、更に入力/出力レジスタに機能的に分割されるデータバッファ7と、I/Oレジスタ9と、メモリバンク10とを有している。前記DSPは、個々のプロセッサ12を更に有する、プロセッサのマトリックスであるプロセッサマトリックス11も有している。最終的に、中央制御器5は、示されている実施例において、DSP4内に実現されている。
【0033】
DSP4内で、データコンバータ6から入力されるデータは、データバッファ7に転送される。当該データ転送は、矢印8によって示されている。示されている実施例において、データバッファ7は、図中7Aと7Bとによってそれぞれ示されている、二つの物理的に分離されている部分によって構成されている。これは、以下更に説明される利点をもたらす。更に、示されている実施例において、データバッファ7の各々の部分7A及び7Bは、二つの機能的に異なる部分、I/Oレジスタ9及びメモリバンク10に分割される。I/Oレジスタ9は、依然処理されるべきデータ及び既に処理されたデータを記憶するために使用される。メモリバンク10は、中間結果を記憶するために使用される。
【0034】
プロセッサマトリックス11におけるプロセッサ12は、データポート13を有している。データバッファ7は、更にデータポート14を有している。データポート13は、プロセッサ12が、例えば、データバッファ7から入力データを受信する入力部、及びプロセッサ12が送出データを送信する出力部であることが分かる。更なるデータポート14は、データバッファ7が、例えば、プロセッサ12から入力データを受信する入力部、及びデータバッファ7が送出データを、例えばプロセッサ12に送信する出力部であることが分かる。
【0035】
集積回路は、異なるレベルで設計されている。可能な分け方には、機能レベルとレイアウトレベルとがある。前記機能レベルにおいては、集積回路の前記異なる部分が、機能ブロックに分けられる。とりわけ、当該DSPの場合、プロセッサ12とデータバッファ7とそれらの相互関係とに分けられる。前記レイアウトレベルにおいては、ライブラリセルで実現されている、異なる機能ブロックが、その後位置されると共にコネクション(connection)によって相互接続される。
【0036】
コネクション15は、集積回路の製造中、カスタムIC技術の方法で配置される、電気的導通物質の、少なくとも一つの、基本的に四角形のストリップを有し、集積回路の少なくとも二つの部分が電気的導通態様で互いに接続されることを保証する。データポート13又は更なるデータポート14は、集積回路の一部、例えばデータバッファ7又はプロセッサ12がコネクションとの電気的導通コンタクトを設ける位置にある。
【0037】
コネクション15は、IC技術においてカスタム態様で使用される方法によって、電気的導通態様で相互にコンタクトされる、上記のような、複数のコネクションのアセンブリであることも分かる。
【0038】
示されている実施例において、前記コネクションは、複数のビットを有するデータを並列に送信するよう意図されており、それ故各々のコネクション15は、常に同じデータポートとの電気的導通コンタクトを設ける、上記のような、複数の並置されたストリップを有している。
【0039】
ライブラリセルは、非常に異なる態様で互いに位置されるため、機能レベルにおいて同じ集積回路が、レイアウトレベルにおいて相互に大きな差を有していてもよい。これにより、基本的に異なる態様で設けられるコネクション15ももたらされる。
【0040】
レイアウトレベルにおいてDSP4の設計における顕著な問題は、互いに対するプロセッサ12の配置、及びデータバッファ7に対するプロセッサ12の配置である。前記相互の配置は、異なるプロセッサ12のデータポート13の間のコネクション15のルーティングに大きな影響を及ぼすと共に、データバッファ7の更なるデータポート14とデータポート13との間のコネクション15のルーティングにも大きな影響を及ぼす。データ処理における並列処理のために、多くのコネクション15が必要となる。その結果、当該コネクションは、前記集積回路がシリコン上で必要とする前記表面積を大いに限定する。
【0041】
本発明によれば、プロセッサ12は、最小の表面積をもたらす態様で、互いに対して配置され、及びデータバッファ7に対して配置される。図1に示されている実施例は、DSPのレイアウトにおいてこれが達成される態様を示している。
【0042】
まず、プロセッサマトリックス11におけるプロセッサ12は、行16及び列17において配置され、行16が少しづつずらして配置されると共に各々のプロセッサ12が少なくとも一つのデータポート13を有する。データバッファ7は、更なるデータポート14も備えている。更に、プロセッサ12のデータポート13は、ほぼ直線状のコネクション15によって、データバッファ7のうちの少なくとも一つの更なるデータポート14に接続される。
【0043】
前記プロセッサの各々の行16におけるプロセッサ12の、前記少しづつずらした構成は、プロセッサの、先行する行に対して行方向にずらされる。当該ずれは、各々の行16に対して同じ方向で実現される。
【0044】
プロセッサ12を当該態様で配置することによって、一方のプロセッサのデータポート13から他方のプロセッサの前記データポートに、又は前記データポートから更なるデータポート14に、ほぼ直線状のコネクションは設けられ得ることが達成される。ほぼ直線状のコネクション15は、最小の表面積も占める、可能な限り最短のコネクションである。表面積の顕著な節減がそのとき達成される。
【0045】
他の利点は、図に示されているようなコネクション15が、ほぼ直線状の態様で位置されてもよいばかりでなく、互いに可能な限り近付くように位置されてもよいので、所要の表面積の、更なる節減がそのとき達成されることにある。
【0046】
コネクション15を互いに可能な限り近付けるように配置し、その結果として、表面積を節減する他の可能性としては、データバッファ7Aの第一の部分がプロセッサマトリックス11におけるデータプロセッサ12の最初の行の近くに位置されると共に、データバッファ7Bの第二の部分がプロセッサマトリックス11におけるデータプロセッサの最後の行の近くに位置される形態で、データバッファ7を二つの物理的に分離された部分に分割することが挙げられる。
【0047】
上記のようなデータバッファ7の前記分割による利点を最もよく発揮するために、コネクション15は、データバッファ7Aの第一の部分の更なるデータポート14に常に接続され、隣接するコネクション15は、データバッファ7Bの第二の部分の更なるデータポート14に接続される。
【0048】
より小さな表面積を有する集積回路を選択する代わりに、前記デバイスの機能動作、例えばより大規模な個々のプロセッサ12のより大規模な機能動作を改善すること、又はデータバッファ7を大規模化することは代わりの選択となる。これにより、同じ表面積に関するアルゴリズムを処理する、より高度な画像を実現する見通しがもたらされる。
【0049】
上記のように、DSP4の前記設計は、集積回路における使用に適しているばかりでなく、プロセッサ12が別個の集積回路として上に配置されるプリント回路基板(PCB)上の使用にも適しており、コネクション15が前記PCB上において電気的導通トラックによって構成されることは明らかであろう。
【0050】
上記のDSP4を具備するカメラシステム1は、単一の集積回路によって実現され得るカメラシステムである。当該システムは、DSP4に必要とされる相対的に小さな表面積によって実現可能となる。しかしながら、カメラシステム1は、記録された画像データを処理するための多彩な機能、又は一つの集積回路における前記画像データの質を改善するための多彩な機能を有している。例えば、リアルタイムビデオ及び高度コンピュータビジョンアルゴリズムの実現がそれによって可能となるであろう。当該機能は、本発明によるカメラシステムによって、より低いコストで実現され得る。これは、結果として、例えばビデオ会議設備又は自律式シーンインタプレッテイション機能を前記消費者市場のための製品にもたらす。
【0051】
図2は、カラーフィルタアレイ22を概略的に示している。当該カラーフィルタアレイがセンサマトリックス2上に配置されると、各々の感光性素子は、特定のカラーの光を受光するので、当該特定のカラーに対して感度を有する。示されているパターンにより、前記センサマトリックスからの各々の感光性素子はカラー赤18、緑19、又は青20のうちの一つに感度を有することが保証される。従って、前記センサマトリックスにおける行は、当該カラーのうちの二つの情報を有している。前記センサマトリックスは、常に一行づつ読み出される。DSP4は、処理動作毎に一つのカラーを処理する。従って、当該列が常に二つの異なるカラーについての情報を有しているため、前記センサマトリックスにおける二つの隣接した列から入力されるデータを常にプロセッサ12毎に処理することは有利なことである。320個ものプロセッサ12が、ラインシーケンシャルな(line−sequentially)処理、例えば各々640画素の480行を有するVGA画像のためにそのとき必要とされる。
【0052】
センサマトリックス2の複数の列は一つのプロセッサ12を共有している態様が、使用されているカラーフィルタアレイ22に依存していることは明らかであろう。例えば、カラーフィルタアレイ22が、三つのカラーは各々のセンサマトリックス行においてもたらされることを保証する場合、前記センサマトリックスの三つの列全てに対しては一つのプロセッサ12を使用することで十分である。
【0053】
前記画素信号の行シーケンシャルな(row−sequential)処理のため、データコンバータ3において、一つの行からの前記画素信号をデータに同時に変換することは有利なことである。当該目的のため、複数のA/Dコンバータが必要となるが、当該要求仕様は特に変換レートに関して厳格なものではない。A/Dコンバータ毎のより低い変換レートの結果、画素信号の、データへの変換は電力をほとんど必要としない。
【0054】
DSP4は常に処理動作毎に一つのカラーを処理し、センサマトリックス2の各行は二つのカラーを有するため、データコンバータ3において前記センサマトリックスの二つの列毎に一つのA/Dコンバータを使用することで十分である。これは、両方の列から入力される画素信号の時多重(time multiplexing)を使用することによって実現される。
【0055】
図3は、プロセッサマトリックス11の実施例を概略的に示している。当該実施例において、プロセッサ12は複数のデータポート13を有している。一次データポート13A及び二次データポート13Bは、前記データポート内で識別され得る。一方のプロセッサ12の一次データポート13A及び他方のプロセッサの二次データポート13Bは、ほぼ直線状のコネクション15によって相互接続される。これは、図1に関して既に記載されているように、プロセッサマトリックス11においてプロセッサ12を配置する前記モードによって実現される。当該実施例は、同じデータが、一方のプロセッサ12の一次入力部13Aと、他方のプロセッサの二次入力部13Bとの両方に送信されなければならないとき、データポート13Aと13Bとを相互接続すると共に、当該データポートをデータバッファ7の更なるデータポート14の一つに接続するために、たった一つのコネクション15しか必要とされないという利点を有している。一次データポート13Aとデータバッファ7の更なるデータポート14との間の、コネクション15の前記部分もほぼ直線状であると有利である。
【0056】
図4は、プロセッサ12が複数のデータポート13を有するプロセッサマトリックス11の実施例を概略的に示している。当該データポートは、前記データバッファからデータを受信するための一次入力データポート13Aと、ここでも前記データバッファからデータを受信するための二次入力データポート13B1と、出力データポート13A2とに更に分割される。一方のプロセッサ12の一次入力データポート13A1は、ほぼ直線状のコネクション15によって、他方のプロセッサの二次入力データポート13B1と、データバッファ7の更なるデータポート14との両方に接続される。コネクション15における矢印は、前記データ送出の方向を示している。更に、出力データポート13A2は、コネクション15によって、前記データバッファの更なるデータポート14に接続される。当該実施例は、前記プロセッサの一次入力データポート13A1と、プロセッサ12の二次入力データポート13B1と、データバッファ7の更なるデータポート14との間のコネクション15、並びに、出力データポート13A2と、データバッファ7の更なるデータポート14との間のコネクション15が両方ともほぼ直線状であるという利点を有している。
【0057】
一つの画像ラインから入力されるデータを処理する際、各々のプロセッサ12は、一次入力データポート13A1に入力される一つの画素のデータを処理するばかりでなく、他の画素のデータも処理することが頻繁に必要となる。後者のデータは、そのとき二次入力データポート13B1を介して入力される。これは、コネクション15が二次入力データポート13B1及び一次入力データポート13A1を前記データバッファの更なるデータポート14に接続するときに実現される。プロセッサマトリックス11におけるプロセッサ12の配置のために全てのコネクション15がほぼ直線状なので、図4の実施例は当該目的に特に適している。
【0058】
図5は、一連のデータ構成要素から構成されるデータを処理するのに非常に適しているプロセッサマトリックス11の実施例を概略的に示している。各々のプロセッサ12は、データバッファ7に記憶されている一連のデータ構成要素からの一つのデータ構成要素21を処理する。プロセッサ12は、前記データバッファからデータを受信するための一次入力データポート13A1と、第一の二次入力データポート13B2と、第二の二次入力データポート13B3とに分割されている複数のデータポート13を有している。各々の一次入力データポート13A1は、データバッファ7の更なるデータポート14からデータ構成要素21、例えばNを受信する。同じプロセッサは、第一の二次入力データポート13B2における前記行内で先行するデータ構成要素21、例えばN−1と、第二の二次入力データポート13B3における前記行内で後続するデータ構成要素21、例えばN+1とも受信する。これは、ほぼ直線状のコネクション15によって、第一のプロセッサ12の一次入力データポート13A1を、第二のプロセッサの第一の二次入力データポート13B2と、第三のプロセッサの第二の二次入力データポート13B3との両方に接続すると共に、データバッファ7の更なるデータポート14に接続することによって実現される。
【0059】
図6Aは、本発明による前記カメラシステムの一部の他の実施例を概略的に示している。当該実施例において、DSP4は、一つのプロセッサマトリックス11を有していないが、隣接する二つのプロセッサマトリックス11を有している。二つ以上のプロセッサマトリックスを並べることも当然可能である。当該実施例は、両方のプロセッサマトリックス11におけるプロセッサ12が同じデータについて異なる処理動作を実行し得るという利点を有している。異なるプロセッサマトリックス11内だが前記プロセッサマトリックスにおいて対応する位置に共に位置されている、二つの当該プロセッサ12は、そのとき自身のデータポート13において同じデータを受信する。他の利点は、一方のプロセッサマトリックス11におけるプロセッサ12の処理動作の結果が、他方のプロセッサマトリックス11におけるプロセッサ12の処理動作の結果と交換され得ることにある。
【0060】
図6Bは、本発明による前記カメラシステムの一部の他の実施例を概略的に示している。当該実施例において、DSP4は、一つのプロセッサマトリックス11を有していないが、隣接する二つのプロセッサマトリックス11を有している。更に、両方のプロセッサマトリックスは、互いにミラー反転している。これは、当然繰り返しの態様で行われてもよい。いくつかの処理動作を実行するために、プロセッサマトリックスを、相互にミラー反転された構成で並べることは有利であってもよい。
【0061】
以上まとめると、本発明は、データを並列処理するためのデバイスと、当該デバイスを有するカメラシステムとに関する。カメラシステム1は、センサマトリックス2と、データコンバータ3と、DSP4と、中央制御器5と、データバッファ7と、プロセッサ12から構成されるプロセッサマトリックス11とを有している。センサマトリックス2は、入射電磁放射を画素信号に変換する。データコンバータ3は、前記画素信号をデータに変換する。矢印6及び8は、画素信号及びデータの送出を概略的に示している。データバッファ7は、部分7A及び部分7Bに物理的に分割され、I/Oレジスタ9及びメモリバンク10に機能的に分割される。中央制御器5は、前記異なるタスクを連携させる。プロセッサ12及びデータバッファ7は、コネクション15によって電気的導通態様で相互に接続されている出力部及び入力部を備える、データポート13及び更なるデータポート14を有している。プロセッサ12は、相互に少しづつずらして配置される行16と、列17とにおいて配置される。これにより、全てのコネクション15は、ほぼ直線状となる。これにより、コネクションの数に起因して、前記表面積が低減される。
【0062】
記載されている実施例において、特にカメラシステムの実施例が議論されてきた。本発明による並列データ処理のための前記デバイスが、多くの分野における使用に適していることは当業者にとって明らかであろう。
【図面の簡単な説明】
【図1】 本発明によるカメラシステムの実施例を概略的に示している。
【図2】 本発明によるカメラシステムの実施例において使用されているカラーフィルタアレイを概略的に示している。
【図3】 本発明による並列データ処理のためのデバイスにおけるプロセッサの前記マトリックスの実施例を概略的に示している。
【図4】 本発明による並列データ処理のためのデバイスにおけるプロセッサのマトリックスの他の実施例を概略的に示している。
【図5】 本発明による並列データ処理のためのデバイスにおけるプロセッサの前記マトリックスの他の実施例を概略的に示している。
【図6A】 本発明による前記カメラシステムの一部の他の実施例を概略的に示している。
【図6B】 本発明による前記カメラシステムの一部の他の実施例を概略的に示している。
Claims (9)
- 並列データ処理のためのデバイスにおいて、行及び列において配置されるプロセッサの少なくとも一つのマトリックスを有し、前記行が少しづつずらして配置され、各々の前記プロセッサが少なくとも一つのデータポートを有し、前記プロセッサのうちの一つの、少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって、少なくとも一つの他の前記プロセッサのうちの、少なくとも一つの前記データポートに接続されることを特徴とするデバイス。
- 更なるデータポートを有するデータバッファを有し、前記プロセッサの、少なくとも一つの前記データポートが、ほぼ直線状のコネクションによって、前記データバッファの、少なくとも一つの前記更なるデータポートに接続されることを特徴とする請求項1に記載のデバイス。
- 少なくとも一つの前記プロセッサの前記データポートが、少なくとも一つの一次データポート及び少なくとも一つの二次データポートを有し、少なくとも一つの前記二次データポートは、ほぼ直線状のコネクションによって、他の前記プロセッサの一次データポートに接続されることを特徴とする請求項2に記載のデバイス。
- 少なくとも一つの前記プロセッサの前記一次データポートが、前記データバッファからデータを受信するための、少なくとも一つの一次入力データポートを有し、前記二次データポートが、前記データバッファからデータを受信するための、少なくとも一つの二次入力データポートを有し、前記データポートが、前記データバッファにデータを送信するための、少なくとも一つの出力データポートを有することを特徴とする請求項3に記載のデバイス。
- 前記プロセッサが、一連のデータ構成要素から構成されるデータを処理し、各々の前記データプロセッサは、前記一連のデータ構成要素からの少なくとも一つの前記データ構成要素を処理し、各々の前記プロセッサの前記一次入力データポートは、他の前記プロセッサの前記二次入力データポートに接続されることを特徴とする請求項4に記載のデバイス。
- 各々の前記プロセッサの前記二次入力データポートが、第一の二次入力データポート及び第二の二次入力データポートを有し、各々の前記一次入力データポートは、前記データバッファの更なるデータポートから処理するために、前記一連のデータ構成要素から前記データ構成要素を受信し、前記一連のデータ構成要素における前記データ構成要素に先行する前記データ構成要素を処理する前記プロセッサの前記第二の二次入力データポートに接続されると共に、前記一連のデータ構成要素における前記データ構成要素に後続する前記データ構成要素を処理する前記プロセッサの前記第一の二次入力データポートにも接続されることを特徴とする請求項5に記載のデバイス。
- 前記データバッファが、二つの物理的に分離された部分に分割され、当該二つの部分のうちの第一の部分は、前記プロセッサマトリックスにおける前記プロセッサの前記最初の行の近くに位置されると共に、当該二つの部分のうちの第二の部分は、前記プロセッサマトリックスにおける前記プロセッサの前記最後の行の近くに位置されることを特徴とする請求項1、2、3、4、5、又は6に記載のデバイス。
- 入射電磁放射を画素信号に変換するための、行及び列から構成されるセンサマトリックスと、前記画素信号をデータに変換するための手段と、請求項1、2、3、4、5、6又は7に記載の、前記並列データ処理のためのデバイスとを有するカメラシステム。
- 前記センサマトリックスが、カラーフィルタアレイを有し、各々の前記プロセッサは、前記センサマトリックスの複数の列から入力されるデータを処理し、当該データが、前記カラーフィルタアレイの異なるカラーについてのカラー情報を有する請求項8に記載のカメラシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01201737 | 2001-05-11 | ||
PCT/IB2002/001559 WO2002093905A2 (en) | 2001-05-11 | 2002-04-29 | Device for parallel data processing, and camera system comprising such a device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004520767A JP2004520767A (ja) | 2004-07-08 |
JP2004520767A5 JP2004520767A5 (ja) | 2009-02-19 |
JP4335537B2 true JP4335537B2 (ja) | 2009-09-30 |
Family
ID=8180289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002590651A Expired - Fee Related JP4335537B2 (ja) | 2001-05-11 | 2002-04-29 | 並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム |
Country Status (8)
Country | Link |
---|---|
US (1) | US7274390B2 (ja) |
EP (1) | EP1393198B1 (ja) |
JP (1) | JP4335537B2 (ja) |
KR (1) | KR20030029103A (ja) |
CN (1) | CN1295634C (ja) |
AT (1) | ATE386982T1 (ja) |
DE (1) | DE60225133T2 (ja) |
WO (1) | WO2002093905A2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1648181A1 (en) * | 2004-10-12 | 2006-04-19 | Dialog Semiconductor GmbH | A multiple frame grabber |
JP4320657B2 (ja) * | 2005-12-26 | 2009-08-26 | ソニー株式会社 | 信号処理装置 |
GB2436377B (en) * | 2006-03-23 | 2011-02-23 | Cambridge Display Tech Ltd | Data processing hardware |
US8681236B2 (en) * | 2009-06-18 | 2014-03-25 | Samsung Electronics Co., Ltd. | Apparatus and method for reducing shutter lag of a digital camera |
US8648932B2 (en) | 2009-08-13 | 2014-02-11 | Olive Medical Corporation | System, apparatus and methods for providing a single use imaging device for sterile environments |
BR112012024237A2 (pt) | 2010-03-25 | 2019-05-28 | Olive Medical Corp | sistema e método para fornecer um dispositivo de imageamento de utilização única para aplicações medicas |
EP2708021B1 (en) | 2011-05-12 | 2019-07-10 | DePuy Synthes Products, Inc. | Image sensor with tolerance optimizing interconnects |
KR101863605B1 (ko) | 2011-09-19 | 2018-07-06 | 삼성전자주식회사 | 스트림 데이터를 고속으로 처리하는 프로세서 |
EP2877079B1 (en) | 2012-07-26 | 2021-04-21 | DePuy Synthes Products, Inc. | Camera system with minimal area monolithic cmos image sensor |
US10517469B2 (en) | 2013-03-15 | 2019-12-31 | DePuy Synthes Products, Inc. | Image sensor synchronization without input clock and data transmission clock |
EP2967286B1 (en) | 2013-03-15 | 2021-06-23 | DePuy Synthes Products, Inc. | Minimize image sensor i/o and conductor counts in endoscope applications |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4908751A (en) * | 1987-10-15 | 1990-03-13 | Smith Harry F | Parallel data processor |
US4873515A (en) * | 1987-10-16 | 1989-10-10 | Evans & Sutherland Computer Corporation | Computer graphics pixel processing system |
US5187801A (en) * | 1990-04-11 | 1993-02-16 | Thinking Machines Corporation | Massively-parallel computer system for generating paths in a binomial lattice |
JP3513165B2 (ja) * | 1992-06-30 | 2004-03-31 | キヤノン株式会社 | 画像処理装置 |
EP1046994A3 (en) * | 1994-03-22 | 2000-12-06 | Hyperchip Inc. | Efficient direct cell replacement fault tolerant architecture supporting completely integrated systems with means for direct communication with system operator |
JPH07288824A (ja) * | 1994-04-14 | 1995-10-31 | Asahi Optical Co Ltd | 輝度信号生成装置 |
US5590356A (en) * | 1994-08-23 | 1996-12-31 | Massachusetts Institute Of Technology | Mesh parallel computer architecture apparatus and associated methods |
US5943242A (en) * | 1995-11-17 | 1999-08-24 | Pact Gmbh | Dynamically reconfigurable data processing system |
US6421084B1 (en) * | 1998-03-02 | 2002-07-16 | Compaq Computer Corporation | Method for interpolating a full color image from a single sensor using multiple threshold-based gradients |
US6173386B1 (en) * | 1998-12-14 | 2001-01-09 | Cisco Technology, Inc. | Parallel processor with debug capability |
DE60025435T2 (de) * | 1999-09-13 | 2006-09-21 | Nippon Telegraph And Telephone Corp. | Parallelverarbeitungsvorrichtung und -verfahren |
US6356993B1 (en) * | 1999-10-26 | 2002-03-12 | Pyxsys Corporation | Dual aspect ratio PE array with no connection switching |
-
2002
- 2002-04-29 JP JP2002590651A patent/JP4335537B2/ja not_active Expired - Fee Related
- 2002-04-29 CN CNB028015428A patent/CN1295634C/zh not_active Expired - Fee Related
- 2002-04-29 DE DE60225133T patent/DE60225133T2/de not_active Expired - Lifetime
- 2002-04-29 KR KR10-2003-7000362A patent/KR20030029103A/ko not_active Application Discontinuation
- 2002-04-29 EP EP02726365A patent/EP1393198B1/en not_active Expired - Lifetime
- 2002-04-29 WO PCT/IB2002/001559 patent/WO2002093905A2/en active IP Right Grant
- 2002-04-29 AT AT02726365T patent/ATE386982T1/de not_active IP Right Cessation
- 2002-05-10 US US10/143,646 patent/US7274390B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE60225133D1 (de) | 2008-04-03 |
KR20030029103A (ko) | 2003-04-11 |
DE60225133T2 (de) | 2009-02-12 |
JP2004520767A (ja) | 2004-07-08 |
WO2002093905A3 (en) | 2003-11-20 |
EP1393198A2 (en) | 2004-03-03 |
CN1295634C (zh) | 2007-01-17 |
US7274390B2 (en) | 2007-09-25 |
US20020186311A1 (en) | 2002-12-12 |
EP1393198B1 (en) | 2008-02-20 |
CN1537284A (zh) | 2004-10-13 |
ATE386982T1 (de) | 2008-03-15 |
WO2002093905A2 (en) | 2002-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1908273B1 (en) | Pixel binning and averaging based on illumination | |
EP2323409A2 (en) | Image sensor with charge binning | |
US20090027530A1 (en) | Solid-state image pick-up device | |
JP4335537B2 (ja) | 並列データ処理のためのデバイス、及び当該デバイスを有するカメラシステム | |
US12044869B2 (en) | Image sensor and electronic camera | |
KR101293385B1 (ko) | Cmos 이미지 센서 및 이를 포함하는 디지털 카메라 | |
US20040017493A1 (en) | Resolution conversion method and pixel data processing circuit for single-plate-type color-image sensor | |
JP4700338B2 (ja) | ダイナミックレンジを向上させたサブサンプリングモードを提供する固体撮像素子及びその駆動方法。 | |
CN216852142U (zh) | 像素阵列和图像传感器 | |
JP4226554B2 (ja) | 並列データ処理のための装置およびその装置を備えるカメラシステム | |
JP3475084B2 (ja) | 撮像装置 | |
JPH03187584A (ja) | 固体撮像装置 | |
JP2982171B2 (ja) | 撮像装置 | |
CN115776617A (zh) | 像素结构、图像传感器、设备及图像处理方法、控制方法 | |
JPS59288A (ja) | 固体カラ−撮像装置 | |
JPS6284690A (ja) | カラ−画像用固体撮像素子 | |
JPS6162273A (ja) | カラ−画像読取装置 | |
JP2001008112A (ja) | 固体撮像装置 | |
JPH02266672A (ja) | 撮像装置 | |
JPH06113212A (ja) | 固体撮像装置 | |
JPS6050102B2 (ja) | 固体撮像装置 | |
JP2004146955A (ja) | 固体撮像素子及びその駆動方法 | |
JP2007228264A (ja) | 出力2分岐型固体撮像素子及びその駆動方法並びに撮像装置 | |
JPH02135996A (ja) | 色信号処理回路 | |
JPH01188179A (ja) | 固体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080703 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081001 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081008 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20081226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090528 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090625 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |