JP4665422B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4665422B2
JP4665422B2 JP2004110008A JP2004110008A JP4665422B2 JP 4665422 B2 JP4665422 B2 JP 4665422B2 JP 2004110008 A JP2004110008 A JP 2004110008A JP 2004110008 A JP2004110008 A JP 2004110008A JP 4665422 B2 JP4665422 B2 JP 4665422B2
Authority
JP
Japan
Prior art keywords
pixel
line
signal
vertical signal
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004110008A
Other languages
English (en)
Other versions
JP2005295381A (ja
Inventor
寿伸 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004110008A priority Critical patent/JP4665422B2/ja
Priority to US11/094,653 priority patent/US7746394B2/en
Priority to KR1020050027510A priority patent/KR101128540B1/ko
Publication of JP2005295381A publication Critical patent/JP2005295381A/ja
Priority to US12/541,743 priority patent/US8638378B2/en
Application granted granted Critical
Publication of JP4665422B2 publication Critical patent/JP4665422B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47GHOUSEHOLD OR TABLE EQUIPMENT
    • A47G33/00Religious or ritual equipment in dwelling or for general use
    • A47G33/02Altars; Religious shrines; Fonts for holy water; Crucifixes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1506Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements
    • H04N3/1512Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements for MOS image-sensors, e.g. MOS-CCD
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/03Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation

Description

本発明は、自然画像の撮影機能に加えて各種情報を示す光信号の検出を行う機能を具備した撮像装置に関する。
近年、CCDイメージセンサやCMOSイメージセンサなどの撮像デバイスが安価で容易に入手可能となり、カムコーダ、デジタルスチルカメラ、携帯電話、パーソナルコンピュータなど、多くの家電やIT機器にカメラが搭載されるようになって来た。特に、CMOSイメージセンサでは、一般のMOSデバイスとの製造上の整合性のよさから、イメージセンシング部以外のシステム部も同一チップに搭載することも可能であり、信号処理部、ADCなどを混載することも行われている。
また、さらには、イメージセンサ上で、アナログ、もしくはデジタルで何らかの演算処理を実行することにより、センサとして、単に画像を取得するのみでなく、何らかの機能を付加した例もある(例えば、特許文献1参照)。
以下、このイメージセンサについて説明する。
図9はCMOSイメージセンサの構成を示すブロック図である。
このイメージセンサは、通常の画像(ここでは自然画像という)と画像中の被写体の3次元距離情報を取得できるセンサの例であり、2次元配列された複数の画素(ピクセル)によって光を受光する画素アレイ部10と、この画素アレイ部10から読み出される画素信号をI−V(電流−電圧)変換処理するI−V変換回路部12と、画像信号に含まれる画素間のばらつきを除去するCDS(相関二重サンプリング)回路部14と、画素アレイ部10によって検出された画素信号を保持するアナログメモリアレイ部16、画素アレイ部10による検出信号をアナログメモリアレイ部16に出力するカレントミラー部18と、アナログメモリアレイ部16のメモリ値を比較して比較結果(差分値)をラッチするコンパレータ/ラッチ部20と、画素アレイ部10のスキャン動作を制御するピクセルVスキャナ22及びピクセルHスキャナ24と、アナログメモリアレイ部16のスキャン動作を制御するメモリVスキャナ26及びメモリHスキャナ28などを有して構成される。
図10は図9に示す各回路の接続構成を示すブロック図であり、図11は図10に示す画素アレイ部10のスイッチ動作を示すブロック図である。また、図12は図9に示す画素アレイ部10の各画素の構成を示す回路図である。
図10において、画素アレイ部10には、Ye、Cy、G、Mgの各色に対応する4つの画素30を示しており、アナログメモリアレイ部16には、高速フレーム走査による4フレーム分のメモリセル32を示している。そして、画素アレイ部10の各画素30からの信号は、画素アレイ部10を上下に走る垂直信号線34により読み出される。この垂直信号線34には上下にスイッチS11、S12が設けられ、画素信号の読み出し動作にあわせてオン、オフされる。また、アナログメモリアレイ部16とコンパレータ/ラッチ部20との間にもスイッチS13が設けられ、メモリ信号の読み出し動作にあわせてオン、オフされる。
また、図12に示すように、本例のイメージセンサは1画素に5つのMOSトランジスタを設けたものであり、光電変換素子としてのフォトダイオードPDと、このフォトダイオードPDで生成された信号電荷をフローティングディフュージョン部FDに転送する転送トランジスタT11と、このフローティングディフュージョン部FDに転送された信号電荷に基づいて電圧信号または電流信号を出力する増幅トランジスタT12と、リセット信号(RST)に基づいてフローティングディフュージョン部FDを電源電位にリセットするリセットトランジスタT13と、カラム(列)選択信号(CGm)と転送信号(TX)に基づいて転送トランジスタT11のオンオフタイミングを制御する転送制御トランジスタT14と、画素選択信号(SEL)に基づいて増幅トランジスタT12の出力タイミングを制御する選択トランジスタT15とを有する。
通常の画像情報を読み出す時には、通常のイメージセンサと同様に、画素アレイ部10の各画素からの信号を垂直信号線34によって上方に読み出す。そして、ピクセルVスキャナ22、ピクセルHスキャナ24により各行、各列を順次選択し、1画素毎にI−V変換回路12、CDS回路14にて信号を処理し、増幅後、アナロ画像信号として素子チップの外部に読み出される。
一方、3次元距離情報の検出時は、画素アレイ部10の各画素からの信号を垂直信号線34によって下方に読み出し、例えば、14kfps程度の高速なフレーム走査を行い、時間的に連続する4フレーム間での差分演算を実行することにより、被写体に投光される赤外スリット光の被写体にあたった反射光を検出する。
ここで、イメージセンサの受光部において、図11に示すように、各画素上にはカラーフィルタが配置されており、RGBGの原色系、もしくはCMYGの補色系が使用される。なお、ここでは3次元計測時の赤外光を透過させる必要があることから、近赤外の透過率の高いCMYGの補色系フィルタを例示している。また、CMYGの各フィルタの赤外透過率の違いをキャンセルするために、3次元計測時にはCMYGに対応する4画素を1単位(ROU)として混合読み出しが行われる。アナログメモリアレイ部16は各ROU毎に4フレーム分のメモリセル(F1〜F4)32が設定されており、それぞれ連続する4フレームの信号を保持する。各画素からの信号は下方に読み出され、カレントミラーを介して、一旦、信号情報をアナログメモリセル32に保持し、その後、時間的に前後の2フレームずつの混合信号の差分演算を下方のコンパレータにより実行し、その結果をバイナリデータとしてラッチする。赤外光の通過を検出したROUは、そのタイミングで、差分演算実行結果が、0データから1データに反転し、そのデータがセンサ外部へ出力される。
この通過タイミングを元に、3次元計測システムでは、画素毎に対応する被写体までの距離計測が可能となる。
また、同様のイメージセンサを利用して、LEDの点滅(光強度変化)パターンをコード化した信号によるデータの通信が可能となる。
これは、例えば図13に示すように、カメラ1の視野内に存在するLED光源(LEDビームコントローラ)2を点滅させ、その点滅パターンをコード化することにより、IDデータなどを送信する。センサは、上述した3次元計測と同様な制御により、4フレーム間の差分演算を実行する。そして、各ROUがLEDの光の変化点を検出し、そのデータをセンサの外部に出力する。外部システムはそのタイミングからLED点滅パターンをデコードする。これにより、点滅を検出した画素とその受信データが分かり、画像中の被写体の同定、ID情報と画像の重ね合わせナビゲーションシステム、動き認識などが可能となる。
特開2003−169251号公報
しかしながら、上記従来のイメージセンサでは、画像情報の取得と、3次元計測用の赤外スリット計測、もしくは、LED光の点滅検出が可能となるが、このイメージセンサでは、これら複数の機能を実行する際の受光を同じ画素で行い、また、信号読み出し線も共通であるため、画像信号の出力と、3次元計測もしくはLED光の点滅検出が同時にできないという問題がある。
このため、例えば画像の撮像機能と光変化検出機能とを最短で1フレームごとに切り替えて行うことにより、見かけ上、同時にデータを出力しているような構成にしているものもある。
しかし、このような1フレーム毎の交互の出力は、特に、画像情報を扱う場合において、フレームが1フレームおきとなってしまうため、使用者側からみると使いづらいものとなる。例えば、通常のイメージセンサを用いて連続したフレームを扱うことを前提として設計されたシステムにおいて、イメージセンサを、上述の2機能交互出力型のイメージセンサに置き換えて、画像情報だけでなく、3次元計測やIDデータ通信などの機能を付加しようとした場合、画像情報の互換性がないために、画像情報の制御の部分においても、システムの再構築が必要となる。
また、LEDの点滅検出においては、高速に動く物体に設置されたLEDによるID情報を得ようとした場合、1フレーム(ビデオフレーム)おきとなってしまうので、タイムラグが生じ、物体追尾などが、十分にできなくなる可能性がある。
そこで本発明は、画像の撮像機能に加えて他の機能を有する構成において、これらの出力を信号品質の低下を招いたり、システムの再構築を要することなく、同時に得ることが可能な撮像装置を提供することを目的とする。
上述の目的を達成するため、本発明の撮像装置は、第一の基本色光を透過する第一フィルタと、第一フィルタに覆われ、第一垂直信号線、第一画素選択線、第一転送線及び第一リセット線によって制御されて第一の基本色光の輝度を検出する第一画素と、第二の基本色光を透過する第二フィルタと、第一画素に隣接し、第二フィルタに覆われ、第二垂直信号線、第一画素選択線、第一転送線及び第一リセット線によって制御されて第二の基本色光の輝度を検出する第二画素と、第三の基本色光を透過する第三フィルタと、第一画素及び第二画素に隣接し、第三フィルタに覆われ、第二画素選択線、第二転送線及び第二リセット線によって制御されて第三の基本色光の輝度を検出する第三画素と、第一画素、第二画素及び第三画素に隣接し、第三垂直信号線、第三画素選択線、第三転送線及び第三リセット線によって制御されて赤外線の輝度を検出する第四画素と、第一垂直信号線、第二垂直信号線及び第三垂直信号線よりなる垂直信号線群と、垂直信号線群にそれぞれ接続されて第一の周期でオン・オフ制御される第一スイッチ群と、第一スイッチ群にそれぞれ接続されるCDS回路群と、垂直信号線群にそれぞれ接続されて第一の周期より短い第二の周期でオン・オフ制御される第二スイッチ群と、第二スイッチ群にそれぞれ接続されるカレントミラー回路群と、カレントミラー回路群の出力信号をそれぞれ記憶するアナログメモリアレイ部と、アナログメモリアレイ部に接続されるコンパレータと、コンパレータに接続されるラッチ回路とを具備する。
本発明の撮像装置によれば、読み出す画素の画素アレイ部内における位置に応じて異なるフレームレートでの読み出しを行うことにより、自然画像を取得するための画素と、その他の検出信号を取得するための画素とを区別し、自然画像の読み出しフレームレートと、その他の検出信号の読み出しフレームレートとを変えることにより、自然画像についてはフレームレートを低下させることなく高品質の画像を得るができ、その他の検出信号についても、自然画像の撮像とは分離して同時に取得でき、簡易な構成で3次元計測やLED光の点滅検出といった種々の検出を行うことが可能となる。
また、本発明の撮像装置によれば、信号処理する画素の画素アレイ部内における位置に応じて異なる信号処理を行うことにより、自然画像を取得するための画素と、その他の検出信号を取得するための画素とを区別し、自然画像の信号処理と、その他の検出信号の信号処理とを変えることにより、自然画像とその他の検出信号とについて、それぞれ最適な信号処理を行うことができ、高品質の自然画像の取得と同時に簡易な構成で3次元計測やLED光の点滅検出といった種々の検出を行うことが可能となる。
本発明の実施の形態による撮像装置は、CMOSイメージセンサの画素アレイ部内で、通常の画像を取得する画素と、3次元計測もしくはID認識用の画素を区別して設定し、それらを異なるフレームレートで読み出すとともに、異なる信号処理回路にて処理することにより、通常の撮像画像(自然画像)と、3次元情報やID情報の同時取得を行なうようにした。
また、フレームレートや信号処理回路は、カラーフィルタの1組のマトリクスを構成する画素内の色成分の対応に応じて変えるようにし、カラーフィルタは、カラーフィルタが存在しない画素、もしくは、波長選択性のないフィルタを用いた画素を含むマトリクス配列構成を有し、カラーフィルタが存在しない画素、もしくは、波長選択性のないフィルタを用いた画素とカラーフィルタを備えた画素に応じて異なるフレームレートや異なる信号処理回路を選択するものとする。
さらに、良好な形態として、異なるフレームレートや信号処理回路を用いる画素は、異なる制御線にて制御され、異なる信号線によって読み出される。
また、異なるフレームレートで読み出され、異なる信号処理回路で処理される画素が画素アレイ部内の異なる領域に存在する画素としてもよい。
そして、本実施の形態の撮像装置は、例えば、自然画像を取得するための画素と赤外光の検出を行うための画素とを区別し、互いに異なるフレームレートや信号処理回路を用いる。また、自然画像を取得するための画素と光切断法におけるプローブ光の反射光の検出を行うための画素とを互いに異なるフレームレートや信号処理回路を用いて同時に取得したり、あるいは、自然画像を取得するための画素と光強度変化(点滅)によって情報を伝達する光信号の検出を行うための画素とを互いに異なるフレームレートや信号処理回路を用いて同時に取得する。さらには、光強度変化によって情報を伝達する複数種類の光信号の検出を行うための画素を互いに異なるフレームレートや信号処理回路で同時に取得する。
また、自然画像の読み出しは、画素アレイ部からの複数の出力信号線を通して並列に行なうカラム並列方式を用いてもよいし、画素アレイ部の画素毎に逐次読み出しを行なう画素逐次方式を用いることも可能である。
図1は本発明の実施例によるイメージセンサにおける各回路の接続構成を示すブロック図である。また、図2は図1に示すイメージセンサの各画素の構成例を示す回路図である。
図1において、図9〜図12に示した従来例では、画像信号の処理は画素毎に逐次行なう方式であったが、本実施例では、列(カラム)毎にCDS回路を設け、回路毎にノイズキャンセルを行った信号を水平信号線より順次出力する形態を例に説明する。
また、本実施例では、画素アレイ部の配列数、及びアナログメモリアレイ部の配列数は従来例(図9)と同様であり、画素アレイ部の配列数が320x240、アナログメモリアレイ部の配列数が160x120x4フレームであるとする。
さらに、本実施例では従来例に対し、カラーフィルタの配列を変えている。すなわち、従来例では補色フィルタ(CYMG)のモザイク配列パターンを前提としていたが、本実施例では原色フィルタ(RGB)を用いる。
なお、通常、原色フィルタではベイヤーパターンと呼ばれる、RGBGパターンとして、2x2マトリックス内にGを2箇所で用いたものが用いられる(図1(B))。それに対して本実施例では、その2つのGの内のひとつをW(White)の画素とする。ここで、Wの画素とはフィルタを設定しないことを意味し、全ての波長領域の光が透過可能となる。そして、この画素を、3次元計測の場合には投光した赤外の反射光を受光するための画素、またID認識の場合にはLED点滅を受光する画素として設定する。本実施例では、このW画素をこれら光変化検出用の画素とし、通常の画像は他のRGB画素から検出することで、W画素とRGB画素の機能的役割を区別することにより、両データの同時出力を可能とする。
以下、図1及び図2に基づいて本実施例の構成を説明する。なお、イメージセンサ全体の基本的な構成は図9に示したものと同様であるものとする。
まず、図1において、画素アレイ部100の各画素101には、R、Gr、B、Gbのカラーフィルタがベイヤー配列パターンで設けられており、各画素列に沿って上下に設けられた垂直信号線102の上端側には、それぞれスイッチS1を介してCDS回路103が設けられ、各CDS回路103は、さらに水平出力線104及びHスキャナ105に接続されている。
一方、垂直信号線102の下端は、スイッチS2を介してカレントミラー回路106に接続され、カレントミラー回路106の出力は、4フレーム分のメモリセル(F1〜F4)107に接続され、各メモリセル107はコンパレータ108及びラッチ回路109に接続されている。なお、ラッチ回路109の出力は、スイッチS5を介して検出データ出力線110に接続されている。
また、図2において、本例のイメージセンサは1画素に4つのMOSトランジスタを設けたものであり、光電変換素子としてのフォトダイオードPDと、このフォトダイオードPDで生成された信号電荷を転送信号(TX)に基づいてフローティングディフュージョン部FDに転送する転送トランジスタT1と、このフローティングディフュージョン部FDに転送された信号電荷に基づいて電圧信号または電流信号を出力する増幅トランジスタT2と、リセット信号(RST)に基づいてフローティングディフュージョン部FDを電源電位にリセットするリセットトランジスタT3と、画素選択信号(SEL)に基づいて増幅トランジスタT2の出力タイミングを制御する選択トランジスタT5とを有する。
なお、通常のCMOSイメージセンサでは、垂直信号線(COL)、画素選択線(SEL)、転送線(TX)、リセット線(RST)はカラム毎、ロウ毎に1本ずつの設定であるが、本実施例では、Wの画素のみ専用の選択線(SEL_W)、転送線(TX_W)、リセット線(RST_W)を有する。また、垂直信号線についても、RGBWのそれぞれの画素ごとに専用の信号線(COL0〜COL3)を有する。これらの垂直信号線に読み出された信号は、それぞれカラム毎にCDS処理された後、WB行、RG行ごとに別々の水平信号線(Hsig_WB、Hsig_RG)にスイッチを介して転送される。
次に、本実施例の動作を説明する。
図3及び図4は本実施例の動作を示すタイミングチャートであり、図3はRGB画素の制御を示し、図4はW画素の制御を示している。すなわち、図3は通常の画像出力時の動作に相当するものであり、図4は3次元計測、ID認識の動作に相当する。なお、図3及び図4において、ビデオフレーム周期1/30secは同一時間帯を示しているものとする。また、COL0、COL2、COL3の各信号は互いに異なる信号であるが、図中では1本の線で表している。
図3において、RGBの読み出しのために、まず、セレクト線(SEL0、SEL1)が選択され、それぞれのリセット信号線(RST0、RST1)へのパルス印加により、それぞれの画素のフローティングディフュージョン部FDがリセットされ、その後、それぞれの転送パルス(TX0、TX1)により、フォトダイオードPDからの電荷がフローティングディフュージョン部FDに転送され、その電荷量に応じた信号が、それぞれの信号線(COL0、COL2、COL3)に読み出される。この信号は図1に示す通り、カラム毎にCDS回路でノイズ除去が行なわれ、Hスキャナにより、カラム毎に順に信号が信号線に読み出される。ここで、画素アレイ部の行数を従来例の図9と同様に240行とすると、RGBWのマトリックス(ROU)の行数は半分の120となり、1H(ROU1行分)の読み出し時間を278μsecとすると、1/30secで1フレームの読み出しが可能となる。また、読み出しをさらに高速に行ない、1フレーム内の残った時間をブランキング期間として設定することも可能である。
一方、この1ビデオフレームの期間に相当する、W画素の読み出しオペレーションを図4に示している。W画素の読み出しはRGB画素の読み出しよりも高速に行なわれ、1ビデオフレーム期間1/30secの間にセンサ内で71μsecにて1フレーム分の読み出しが行なわれる。これはフレームレート換算で14kfpsに相当する。つまり、この1フレーム期間で全Wラインの読み出しが行なわれ、この時の1H期間(ROU1行分)は140nsecとなる。この1H期間内での読み出し動作はRGB画素と同様で、リセット線(RST_W0)によるリセット動作後、転送線(TX_W0)による転送動作により、信号線(COL1)に信号の読み出しが行なわれる。信号線(COL1)に読み出された信号は、図1に示す通り、下方に読み出され、カレントミラー、アナログメモリを介して、従来例と同様にフレーム間差分演算処理が実行される。
以上により、図3に示す動作によるRGB画素からの画像信号の読み出しと、図4に示す動作によるW画素からの3次元計測、ID認識のための光変化検出は、同じビデオフレーム期間にて、異なるフレームレートにて同時に行なわれるため、これら異なる2つの情報の同時取得が可能となる。
なお、以上の動作において、RGB画素の読み出し信号は上方に読み出されるのみであり、W画素の読み出し信号は下方のカレントミラーに読み出されるのみであるが、動作モードによっては、例えば画像のみを読み出す場合などは、W画素もRGB画素と同様なタイミングで読み出して輝度信号として利用することも可能である。また、一方、ID計測のみを行なう場合などはRGB画素の信号線の下方にもカレントミラー、アナログメモリ、コンパレータを設定したり、もしくは従来例のように1つのROUでカレントミラー以下の回路を共有するなどにより、RGB画素をID計測に利用したりすることが可能である。これらの動作を可能とするために、図3お呼び図4ではそれぞれのカラム線(COL)の上下にスイッチS1、S2を設けて適宜切り替えるようにしている。
また、以上の例は原色のカラーフィルタRGBを前提としたが、従来例のように補色フィルタを用いることも可能である。
図5はこの場合のイメージセンサにおける各回路の接続構成を示すブロック図である。図1との相違はフィルタの色配置だけであり、図5の例では、通常のフィルタで使用されるMg(マゼンタ)をW画素に置き換えている。なお、その他は図1と同様であるので説明は省略する。
また、上記実施例では従来例と異なり、画像読み出しをカラム並列で行なう場合を示したが、上記説明の通り、画像出力とID認識用のW画素の読み出しは独立して行なえるので、画像読み出しのアーキテクチャはカラム並列方式に限定する必要はない。よって、例えば、従来例に示したような画素ごとに逐次読み出す方式を用いることも可能である。または、Window機能といった特定の画素エリアのみを読み出すといった変則的な読み出し方式を画像出力時に行なうことも可能である。
また、本発明では必ずしもW画素のようなフィルタなしの画素を用いる必要はなく、図6に示すような、通常のRGBGのマトリックスフィルタを用いることも可能である。この場合、例えば2つあるG画素の内の1つをID認識用の画素として用いる。ただし、この場合、G画素は緑色の光しか透過しないため、ID表示用のLEDとしては緑色のものを用いる必要があり、使用するLEDに制約が生ずる。また、これはGの画素を用いる必要はなく、他のカラーフィルタの画素を同様に用いてもよく、さらには、ID認識用に赤外光のみを通すような特殊なフィルタを用いることも可能である。
また、図2ではRGBWそれぞれについて信号線(COL0〜COL3)を用意したが、図7に示すように、信号線(COL3)を無くし、GとBの信号線を共有化することも可能である。ただしし、この時のオペレーションは図3に示したようにWB行とRG行を同時に読み出すのではなく、1行ずつに順番に読み出すこととなる。この時、図1に示すようなWB行画像データ出力ラインとRG行画像データ出力ラインを区別する必要はなくなるが、1フレーム期間の読み出し行数は上記実施例の倍となり、同じフレームレートであれば、速い読み出しが必要となる。
またさらにこれらのさらなる変形例として、2x2マトリックス中の1つの画素をID認識用に割り当てるのではなく、多くの画素グループのうちの1画素もしくは1部を割り当てる、画素アレイ中の特定の領域をID認識に割り当てる、なども可能となる。これは、図8に示すように、2x2マトリックス中の画素それぞれにSEL、RST、TX、COLの各信号線を設定すれば、マトリックス中の任意の画素をID認識用に設定することができ、また適宜切り替えることも可能となる。
本発明の実施例1に係るイメージセンサの接続構成の例を示すブロック図である。 図1に示すイメージセンサの画素内の構成を示す回路図である。 図1に示すイメージセンサの画像読み出し動作を示すタイミングチャートである。 図1に示すイメージセンサのW画素信号読み出し動作を示すタイミングチャートである。 図1に示すイメージセンサの接続構成の変形例を示すブロック図である。 図1に示すイメージセンサのカラーフィルタ配列の他の例を示す説明図である。 図1に示すイメージセンサのカラーフィルタ配列のさらに他の例を示す説明図である。 図1に示すイメージセンサの画素配線の他の例を示す説明図である。 従来のイメージセンサの全体構成を示すブロック図である。 図9に示すイメージセンサの接続構成の例を示すブロック図である。 図9に示すイメージセンサのカラーフィルタの配列を示すブロック図である。 図9に示すイメージセンサの画素内の構成を示す回路図である。 従来のイメージセンサを応用したID認識カメラシステムを示す説明図である。
符号の説明
100……画素アレイ部、101……画素、102……垂直信号線、103……CDS回路、104……水平出力線、105……Hスキャナ、106……カレントミラー回路、107……メモリセル、108……コンパレータ、109……ラッチ回路、110……検出データ出力線。

Claims (1)

  1. 第一の基本色光を透過する第一フィルタと、
    前記第一フィルタに覆われ、第一垂直信号線、第一画素選択線、第一転送線及び第一リセット線によって制御されて前記第一の基本色光の輝度を検出する第一画素と、
    第二の基本色光を透過する第二フィルタと、
    前記第一画素に隣接し、前記第二フィルタに覆われ、第二垂直信号線、前記第一画素選択線、前記第一転送線及び前記第一リセット線によって制御されて前記第二の基本色光の輝度を検出する第二画素と、
    第三の基本色光を透過する第三フィルタと、
    前記第一画素及び前記第二画素に隣接し、前記第三フィルタに覆われ、第二画素選択線、第二転送線及び第二リセット線によって制御されて前記第三の基本色光の輝度を検出する第三画素と、
    前記第一画素、前記第二画素及び前記第三画素に隣接し、第三垂直信号線、第三画素選択線、第三転送線及び第三リセット線によって制御されて赤外線の輝度を検出する第四画素と、
    前記第一垂直信号線、前記第二垂直信号線及び前記第三垂直信号線よりなる垂直信号線群と、
    前記垂直信号線群にそれぞれ接続されて第一の周期でオン・オフ制御される第一スイッチ群と、
    前記第一スイッチ群にそれぞれ接続されるCDS回路群と、
    前記垂直信号線群にそれぞれ接続されて前記第一の周期より短い第二の周期でオン・オフ制御される第二スイッチ群と、
    前記第二スイッチ群にそれぞれ接続されるカレントミラー回路群と、
    前記カレントミラー回路群の出力信号をそれぞれ記憶するアナログメモリアレイ部と、
    前記アナログメモリアレイ部に接続されるコンパレータと、
    前記コンパレータに接続されるラッチ回路と
    を具備する撮像装置。
JP2004110008A 2004-04-02 2004-04-02 撮像装置 Expired - Fee Related JP4665422B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004110008A JP4665422B2 (ja) 2004-04-02 2004-04-02 撮像装置
US11/094,653 US7746394B2 (en) 2004-04-02 2005-03-30 Pixel array and image processing apparatus for image-capturing
KR1020050027510A KR101128540B1 (ko) 2004-04-02 2005-04-01 촬상 장치
US12/541,743 US8638378B2 (en) 2004-04-02 2009-08-14 Pixel array and image processing apparatus for image-capturing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004110008A JP4665422B2 (ja) 2004-04-02 2004-04-02 撮像装置

Publications (2)

Publication Number Publication Date
JP2005295381A JP2005295381A (ja) 2005-10-20
JP4665422B2 true JP4665422B2 (ja) 2011-04-06

Family

ID=35095879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004110008A Expired - Fee Related JP4665422B2 (ja) 2004-04-02 2004-04-02 撮像装置

Country Status (3)

Country Link
US (2) US7746394B2 (ja)
JP (1) JP4665422B2 (ja)
KR (1) KR101128540B1 (ja)

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
EP1816858A1 (en) 2004-11-02 2007-08-08 Japan Science and Technology Agency Image pickup device, and its signal reading method
KR101265358B1 (ko) * 2005-03-07 2013-05-21 디엑스오 랩스 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
JP2007122237A (ja) * 2005-10-26 2007-05-17 Mitsubishi Electric Corp 偽造判定用撮像装置及び個人識別装置
KR100790228B1 (ko) * 2005-12-26 2008-01-02 매그나칩 반도체 유한회사 시모스 이미지 센서
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4792976B2 (ja) * 2006-01-10 2011-10-12 セイコーエプソン株式会社 撮像装置
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
JP5106870B2 (ja) 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
KR100821346B1 (ko) 2006-08-02 2008-04-10 삼성전자주식회사 화질이 향상되는 이미지 센서 및 이를 이용한 이미지 감지방법
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP5204963B2 (ja) * 2006-10-12 2013-06-05 スタンレー電気株式会社 固体撮像素子
JP5085140B2 (ja) 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
JP4846608B2 (ja) 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
US7913922B1 (en) 2007-03-15 2011-03-29 Ncr Corporation Matching bar code colors to painted pixel filters
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
WO2008126871A1 (ja) * 2007-04-09 2008-10-23 Sharp Kabushiki Kaisha 液晶表示装置
JP4386096B2 (ja) 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
JP4951440B2 (ja) * 2007-08-10 2012-06-13 富士フイルム株式会社 撮像装置及び固体撮像素子の駆動方法
JP5194688B2 (ja) * 2007-10-01 2013-05-08 株式会社ニコン 固体撮像装置
WO2009072250A1 (ja) * 2007-12-04 2009-06-11 Panasonic Corporation 画像生成装置および画像生成方法
JP5014168B2 (ja) * 2008-01-15 2012-08-29 キヤノン株式会社 撮像システム及び撮像システムの制御方法
US7781716B2 (en) * 2008-03-17 2010-08-24 Eastman Kodak Company Stacked image sensor with shared diffusion regions in respective dropped pixel positions of a pixel array
JP2009272820A (ja) * 2008-05-02 2009-11-19 Konica Minolta Opto Inc 固体撮像装置
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP2010010896A (ja) * 2008-06-25 2010-01-14 Panasonic Corp 固体撮像装置
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP2010091943A (ja) 2008-10-10 2010-04-22 Canon Inc 撮像装置
DE102009000001B4 (de) 2009-01-02 2019-01-24 Robert Bosch Gmbh Bildsensor und Verfahren zur Herstellung eines Bildsensors
WO2010079484A1 (en) * 2009-01-07 2010-07-15 Given Imaging Ltd. Device and method for detection of an in-vivo pathology
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110029217A (ko) 2009-09-15 2011-03-23 삼성전자주식회사 내부 변환을 통하여 rgb베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
WO2011085079A1 (en) * 2010-01-06 2011-07-14 Mesa Imaging Ag Demodulation sensor with separate pixel and storage arrays
US8619143B2 (en) * 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
JP4991907B2 (ja) * 2010-05-11 2012-08-08 キヤノン株式会社 画像処理装置、および、画像処理装置の制御方法
EP2569935B1 (en) * 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US9930316B2 (en) 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
US9524572B2 (en) 2010-11-23 2016-12-20 Microsoft Technology Licensing, Llc Parallel processing of pixel data
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
WO2013005389A1 (ja) * 2011-07-01 2013-01-10 パナソニック株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
KR20130011692A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
JP5104986B2 (ja) * 2011-07-25 2012-12-19 ソニー株式会社 固体撮像装置
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
JP5904825B2 (ja) * 2012-03-05 2016-04-20 本田技研工業株式会社 画像処理装置
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
DE102012110092A1 (de) * 2012-10-23 2014-04-24 Conti Temic Microelectronic Gmbh Sensoranordnung zur Bilderfassung
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
WO2014133076A1 (ja) 2013-02-27 2014-09-04 株式会社ニコン 撮像素子および電子機器
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
JP6368115B2 (ja) 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
US9225921B2 (en) * 2013-06-06 2015-12-29 Advanced Micro Devices, Inc. Method and apparatus for buffering analog information
JP5904673B2 (ja) 2013-09-27 2016-04-20 富士フイルム株式会社 撮像装置及び内視鏡装置
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN105824658B (zh) * 2015-07-29 2017-12-26 维沃移动通信有限公司 一种电子设备的相机模块启动方法及电子设备
CN105578081B (zh) * 2015-12-18 2018-03-06 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
JP2017118191A (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
US20200267342A1 (en) * 2017-03-29 2020-08-20 Nikon Corporation Image sensor and electronic camera
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN111316347B (zh) 2017-11-09 2022-08-23 株式会社半导体能源研究所 显示装置及其工作方法以及电子设备
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050287A (ja) * 1998-07-31 2000-02-18 Olympus Optical Co Ltd 画像入力装置
JP2001069519A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像装置
JP2001251648A (ja) * 2000-03-07 2001-09-14 Asahi Optical Co Ltd 3次元画像検出装置の焦点調節機構
JP2002247443A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd ディジタルカメラ
JP2003153291A (ja) * 2001-11-08 2003-05-23 Canon Inc 撮像装置及びシステム
JP2003169251A (ja) * 2001-09-20 2003-06-13 Sony Corp 固体撮像装置及びその制御方法
JP2003348459A (ja) * 2002-05-27 2003-12-05 Sony Corp 固体撮像装置及びその駆動方法
JP2005086246A (ja) * 2003-09-04 2005-03-31 Olympus Corp 固体撮像装置
JP2005277513A (ja) * 2004-03-23 2005-10-06 Olympus Corp 固体撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5453611A (en) * 1993-01-01 1995-09-26 Canon Kabushiki Kaisha Solid-state image pickup device with a plurality of photoelectric conversion elements on a common semiconductor chip
US6515702B1 (en) * 1997-07-14 2003-02-04 California Institute Of Technology Active pixel image sensor with a winner-take-all mode of operation
US6801220B2 (en) * 2001-01-26 2004-10-05 International Business Machines Corporation Method and apparatus for adjusting subpixel intensity values based upon luminance characteristics of the subpixels for improved viewing angle characteristics of liquid crystal displays
GB2373943A (en) * 2001-03-28 2002-10-02 Hewlett Packard Co Visible and infrared imaging camera
JP2003018458A (ja) * 2001-04-23 2003-01-17 Hitachi Ltd Cmos型固体撮像素子を用いた撮像システム
US7154157B2 (en) * 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US7201479B2 (en) * 2004-02-06 2007-04-10 Farsight Innovations, Llc Protective sleeve for eyeglasses
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050287A (ja) * 1998-07-31 2000-02-18 Olympus Optical Co Ltd 画像入力装置
JP2001069519A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像装置
JP2001251648A (ja) * 2000-03-07 2001-09-14 Asahi Optical Co Ltd 3次元画像検出装置の焦点調節機構
JP2002247443A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd ディジタルカメラ
JP2003169251A (ja) * 2001-09-20 2003-06-13 Sony Corp 固体撮像装置及びその制御方法
JP2003153291A (ja) * 2001-11-08 2003-05-23 Canon Inc 撮像装置及びシステム
JP2003348459A (ja) * 2002-05-27 2003-12-05 Sony Corp 固体撮像装置及びその駆動方法
JP2005086246A (ja) * 2003-09-04 2005-03-31 Olympus Corp 固体撮像装置
JP2005277513A (ja) * 2004-03-23 2005-10-06 Olympus Corp 固体撮像装置

Also Published As

Publication number Publication date
KR20060045419A (ko) 2006-05-17
KR101128540B1 (ko) 2012-03-26
US7746394B2 (en) 2010-06-29
US20050231618A1 (en) 2005-10-20
US8638378B2 (en) 2014-01-28
JP2005295381A (ja) 2005-10-20
US20090303553A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
JP4665422B2 (ja) 撮像装置
US10674102B2 (en) Solid-state imaging device and electronic camera
US7521661B2 (en) Driving an image sensor with reduced area and high image quality
US6970195B1 (en) Digital image sensor with improved color reproduction
JP4630901B2 (ja) 杆体および錐体応答センサ
US7446812B2 (en) Wide dynamic range operations for imaging
Li et al. Design of an RGBW color VGA rolling and global shutter dynamic and active-pixel vision sensor
US9438839B2 (en) Solid state imaging apparatus and imaging system using the same
US8350935B2 (en) Color filter array, image sensor including the color filter array and system including the image sensor
US10477165B2 (en) Solid-state imaging apparatus, driving method therefor, and imaging system
US8299414B2 (en) Solid-state imaging device
US20080001067A1 (en) Driving an image sensor with reduced area and high image quality
JP5747238B2 (ja) 動き検出用固体撮像装置及び動き検出システム
CN109981940B (zh) 固体摄像装置、用于驱动固体摄像装置的方法和电子设备
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
JP2009232351A (ja) 撮像装置及びカラーフィルタアレイ
US7741589B2 (en) Method and apparatus providing multiple transfer gate control lines per pixel for automatic exposure control
US20150029377A1 (en) Solid-state imaging device, driving method for the same, and electronic apparatus
JP2005278038A (ja) 撮像装置
US8059175B2 (en) Image capture device and method of operating the same
JP2008172606A (ja) 固体撮像装置及びカメラシステム
US20230217119A1 (en) Image sensor and image processing system
US20190307320A1 (en) Image pickup apparatus, endoscope and endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090723

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100624

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees