JP5423125B2 - 固体撮像素子およびその駆動方法、並びにカメラシステム - Google Patents

固体撮像素子およびその駆動方法、並びにカメラシステム Download PDF

Info

Publication number
JP5423125B2
JP5423125B2 JP2009107141A JP2009107141A JP5423125B2 JP 5423125 B2 JP5423125 B2 JP 5423125B2 JP 2009107141 A JP2009107141 A JP 2009107141A JP 2009107141 A JP2009107141 A JP 2009107141A JP 5423125 B2 JP5423125 B2 JP 5423125B2
Authority
JP
Japan
Prior art keywords
pixel
color
column
pixels
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009107141A
Other languages
English (en)
Other versions
JP2010258828A (ja
Inventor
陽子 奥崎
兼一 角本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009107141A priority Critical patent/JP5423125B2/ja
Priority to US12/659,428 priority patent/US8289423B2/en
Priority to CN2010101634453A priority patent/CN101873443B/zh
Publication of JP2010258828A publication Critical patent/JP2010258828A/ja
Application granted granted Critical
Publication of JP5423125B2 publication Critical patent/JP5423125B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Description

本発明は、CMOSイメージセンサに代表される固体撮像素子およびその駆動方法、並びにカメラシステムに関するものである。
近年、CCDに代わる固体撮像素子(イメージセンサ)として、CMOSイメージセンサが注目を集めている。CCD画素の製造に専用プロセスを必要とし、また、その動作には複数の電源電圧が必要であり、さらに複数の周辺ICを組み合わせて動作させる必要がある。このため、CCDを用いるとシステムが非常に複雑化するといった処々の問題を、CMOSイメージセンサを用いることにより克服できる。
CMOSイメージセンサは、その製造には一般的なCMOS型集積回路と同様の製造プロセスを用いることが可能である。また、CMOSイメージセンサは単一電源での駆動が可能で、さらにCMOSプロセスを用いたアナログ回路や論理回路を同一チップ内に混在させることができる。そのため、CMOSイメージセンサは周辺ICの数を減らすことができるといった、大きなメリットを複数持ち合わせている。
CCDの出力回路は、浮遊拡散層(FD:Floating Diffusion)を有するFDアンプを用いた1チャネル(ch)出力が主流である。これに対して、CMOSイメージセンサは画素ごとにFDアンプを持ち合わせている。FDアンプの出力は、画素アレイの中のある一行を選択し、それらを同時に列方向へと読み出すような列並列出力型が主流である。画素内に配置されたFDアンプでは十分な駆動能力を得ることは難しく、したがってデータレートを下げることが必要である。これが、CMOSイメージセンサで並列処理を行うことが有利とされている理由である。
CCD、CMOSイメージセンサに限らずイメージャでは、色配列における繰り返し最小単位である異なる色の複数の画素を画素部が有し、この複数の画素の集合を行列状または市松状に配置することにより画素部の色配列が決められている。画素部内で一色が割り当てられる最小単位をサブピクセルと呼び、異なる色のサブピクセルの集合を画素と呼ぶこともある。ただし、以下、一色が決められた最小単位を画素と呼び、異なる色の画素の集合であり色配列の繰り返し単位を画素ユニットと呼ぶ。
一般に、列並列出力型のCMOSイメージセンサでは、カラムと呼ばれる画素部の並列処理単位は画素ユニットの列であり、画素列ごと、または、カラムごとに処理回路が設けられている。画素列またはカラムごとの処理回路には、CDS等のノイズ除去回路、あるいは、いわゆるカラムAD方式では1ビットのADC(アナログ−デジタル変換器)を有する。
列並列出力型のCMOSイメージセンサでは、他の出力型と同様に全画素信号を読み出すことが可能である。また、読み出す画素を限定して画素部から出力するデータ数(画素信号数)を減らすことによりフレームレートを上げる間引き読み出しを行うことも可能である。
間引き読み出しでは、n(≧2)個の画素信号の一の画素信号を読み出し、他の画素信号を捨てると情報量が減るため、複数の画素信号を加算して読み出すことが一般的に行われている。以下、単にn個の画素信号から一の画素信号を選択して読み出す手法を間引き読み出しと称し、加算することで間引く手法を加算読み出しと称する。
図1に、いわゆるベイヤ配列の画素部に対し、カラム処理回路がカラムごとに配置されている場合の模式図を示す。
ベイヤ配列では、いわゆるR行と呼ばれる第1色画素行に赤(R)と緑(Gr)が交互に配置され、いわゆるB行と呼ばれる第2色画素行に緑(Gb)と青(B)が交互に配置される。そして、赤(R)、緑(Gr)、緑(Gb)および青(B)の2行、2列の4画素で画素ユニットが形成されている。
図1に示す三角のブロックは、カラム処理回路の初段の処理部であり、例えばカラムAD方式のADCのコンパレータに相当する。図1の場合、カラム処理回路はカラムごと、すなわち画素ユニットの1列に1つの割合で配置されている。
図2(A)と図2(B)に、第1色画素行(R行)と第2色画素行(B行)とで異なるカラム処理回路を用いて処理を行う動作例を示す。図2において、符号“17R”はR行のカラム処理回路の初段部(例えばコンパレータ)を示し、符号“17B”はB行のカラム処理回路の初段部(例えばコンパレータ)を示す。また、図2では加算対象の画素のみ、その色記号(R,Gr,Gb,B)を付している。
図2(A)の最初の加算読み出しでは、最初のB1行の3つの緑(Gb)の画素信号を加算してカラム処理部の初段部17Bに読み出す。同様に、最初のR1行の3つの赤(R)の画素信号を加算して隣のカラム処理部の初段部17Rに読み出す。
図2(B)の次の加算読み出しでは、最初のB1行の3つの青(B)の画素信号を加算して初段部17Bに読み出し、最初のR1行の3つの緑(Gr)の画素信号を加算して初段部17Rに読み出す。
このように、水平加算時や間引き時にR行を読み出すときは、R行の加算重心のカラムを使用し、B行を読み出すときは、B行の加算重心のカラムを使用する駆動方法が知られている。この場合、R行とB行で別々のカラムを使用することになる。
しかしながら、この駆動方法では、加算読み出し時にカラムの3個に2個の割合で常時駆動するカラム処理回路を設ける必要があり、消費電力が大きいという不利益がある。
また、赤(R)や青(B)を加算読み出しするときと、緑(Gr)や緑(Gb)を加算読み出しするときとでは、読み出す先の初段部17Rや17Bに対して、加算対象の3画素が非対象の配置となっている。そのため、例えば、配線遅延等の影響で初段部17Rと17Bに入力される画素信号の位相が微妙に異なるものとなる不利益がある。
本発明は、動作させるカラム処理部の数を減らして低消費電力化を図ることができ、さらに1/n間引きの対象画素中心と間引き後の画素信号の出力先であるカラム処理部との対称性を確保した固体撮像素子を提供するものである。本発明は、上記低消費電力化、さらに上記対称性の確保が可能な固体撮像素子の駆動方法を提供するものである。本発明は上記固体撮像素子を含むカメラシステムを提供するものである。
本発明に関わる固体撮像素子は、画素部、読み出し部、カラム処理部を有する。
前記画素部は、光を画素信号に変換し、露光時間に応じて画素信号を蓄積する画素を所定の色配列で有し、第1色の画素を含む第1色画素行と第2色の画素を含む第2色画素行とが列方向で交互に配置され、前記色配列が、前記第1色の画素と前記第2色の画素を含む2行、2列の色配列を繰り返し単位とするベイヤ配列である。前記読み出し部は、前記第1色画素行または前記第2色画素行で第1色または第2色の画素からn(≧2)個の同一色の画素信号を選択し、選択したn個の画素信号に対し色ごとに画素信号数を1/nに減らす1/n間引きを行って読み出す。前記カラム処理部は、1/n間引き後の画素信号をカラム処理する。
前記カラム処理部が、前記n個の第1色の画素信号から前記読み出し部で読み出された一の第1色の画素信号をカラム処理する処理部と、前記n個の第2色の画素信号から前記読み出し部で読み出された一の第2色の画素信号をカラム処理する処理部とを兼用する。
本発明では好適に、前記カラム処理部が、加算重心間の画素列の一方端側または両端側に配置されている。ここで加算重心間の画素列とは、加算のために選択される前記n個の第1画素信号を出力するn個の画素の配置重心と、前記n個の第2画素信号を出力するn個の画素の配置重心との間に位置する画素列をいう。
あるいは好適に、前記カラム処理部が、間引き読み出し画素間の画素列の一方端側または両端側に配置されている。ここで間引き読み出し画素間の画素列とは、1/n間引きで読み出される一の第1画素信号を出力する画素を含む画素列と、1/n間引きで読み出される一の第2画素信号を出力する画素を含む画素列との間の画素列をいう。
上記構成によれば、第1色画素行から読み出された一の第1画素信号をカラム処理する処理部と、第2色画素行から読み出された一の第2画素信号をカラム処理する処理部とが兼用され、その分、消費電力が小さい。
また、上記好適な構成によれば、カラム処理部が、加算重心間の画素列、または、間引き読み出し画素間の画素列に対し、その一方端側または両端側に配置されている。そのため、第1および第2色画素行において1/n間引き(加算を含む)対象のn個の画素が、読み出し先のカラム処理部に対して対象な配置となる。
本発明に関わる固体撮像素子の駆動方法は、以下の3つのステップを含む。
(1)上記と同様な構成の画素部内の前記第1色画素行または前記第2色画素行で第1色または第2色の画素からn(≧2)個の同一色の画素信号を選択する。
(2)選択したn個の画素信号に対し色ごとに画素信号数を1/nに減らす1/n間引きを行って、一の画素信号を読み出す。
(3)読み出した一の画素信号に対しカラム処理を行う。このとき第1色画素行から読み出された一の第1画素信号に対して行うカラム処理と、第2色画素行から読み出された一の第2画素信号に対して行うカラム処理とを、同一のカラム処理部で実行する。
本発明に関わるカメラシステムでは、固体撮像素子と、前記固体撮像素子に被写体像を結像する光学系と、前記固体撮像素子の出力画像信号を処理する信号処理回路と、を有する。
このうち固体撮像素子が、上記本発明に関わる固体撮像素子と同様な構成を有する。
本発明によれば、動作させるカラム処理部の数を減らして低消費電力化を図ることができ、さらに1/n間引きの対象画素中心と間引き後の画素信号の出力先であるカラム処理部との対称性を確保することができる。そして、本発明によって、そのような低消費電力化と対称性確保が図られた固体撮像素子およびその駆動方法、並びにカメラシステムを提供できる。
ベイヤ配列の画素部に対しカラム処理回路がカラムごとに配置されている、背景技術の説明で用いた図である。 第1色画素行(R行)と第2色画素行(B行)とで異なるカラム処理回路を用いて処理を行う背景技術の動作例を示す図である。 実施の形態に係るCMOSイメージセンサ(固体撮像素子)の構成例を示す図である。 色配列(ベイヤ配列)の画素部に対する走査方向を示す図である。 実施の形態に関わる4つのトランジスタで構成されるCMOSイメージセンサの画素の一例を示す図である。 第1の実施の形態に関わるR行とB行の3画素加算による1/3間引き読み出しの説明図である。 n=3の場合におけるダミーカラム処理の説明図である。 n=5の場合における活性のコンパレータの配置説明図である。 n=7の場合における活性のコンパレータの配置説明図である。 第2の実施の形態に関わるR行とB行の3画素加算による1/3間引き読み出しの説明図である。 1/3間引きによるR行の3画素加算読み出し時の具体的な回路例と回路動作を説明する図である。 1/3間引きによるB行の3画素加算読み出し時の具体的な回路例と回路動作を説明する図である。 図11と図12における選択信号、ならびに、加算読み出しの有無を制御する選択信号の論理一覧図である。 第3の実施の形態に関わるカメラシステムの概略構成図である。
本発明の実施形態を、CMOSイメージセンサを例として図面を参照して説明する。なお、本発明はCCDの場合にも適用可能である。
以下、次の順で説明を行う。
1.第1の実施の形態:間引きによる加算読み出しを行うCMOSイメージセンサへの発明適用例。
2.第2の実施の形態:第1の実施の形態から改善された駆動方法の説明。
3.第3の実施の形態:カメラシステムへの発明適用例。
<1.第1の実施の形態>
[デバイス構成]
図3は、本発明の実施形態に係るCMOSイメージセンサ(固体撮像素子)の構成例を示す図である。
本CMOSイメージセンサ20は、画素部21、画素駆動部としての画素駆動回路(垂直駆動回路)22、およびカラム回路23を有する。
画素部21は、複数の画素が2次元アレイ状(マトリクス状)に配列されている。画素部21は、たとえば各色画素R,Gr,Gb,Bが図4に示すような配列、すなわちベイヤ配列として形成されている。
図5は、本実施形態に関わる4つのトランジスタで構成されるCMOSイメージセンサの画素の一例を示す図である。
図5に図解する画素1は、たとえばフォトダイオードからなる光電変換素子11を有する。また、画素1は、1個の光電変換素子11に対して、転送トランジスタ12、リセットトランジスタ13、増幅トランジスタ14、および選択トランジスタ15の4つのトランジスタを能動素子として有する。
光電変換素子11は、入射光をその光量に応じた量の電荷(ここでは電子)に光電変換する。転送トランジスタ12は、光電変換素子11とフローティングディフュージョンFDとの間に接続され、そのゲート(転送ゲート)に転送制御線LTxを通じて駆動信号が与えられる。これにより転送トランジスタ12は、光電変換素子11で光電変換された電子をフローティングディフュージョンFDに転送する。
リセットトランジスタ13は、電源ラインLVDDとフローティングディフュージョンFDとの間に接続されている。リセットトランジスタ13は、そのゲートにリセット制御線LRSTを通してリセット信号が与えられることで、フローティングディフュージョンFDの電位を電源ラインLVDDの電位にリセットする。
フローティングディフュージョンFDには、増幅トランジスタ14のゲートが接続されている。増幅トランジスタ14は、選択トランジスタ15を介して出力信号線16に接続され、画素部外の定電流源とソースフォロアを構成している。そして、選択制御線LSELを通してアドレス信号(セレクト信号)が選択トランジスタ15のゲートに与えられ、選択トランジスタ15がオンする。すると、増幅トランジスタ14はフローティングディフュージョンFDの電位を増幅して、その電位に応じた電圧を出力信号線16に出力する。出力信号線16を通じて、各画素から出力された電圧は、読み出し部を介してカラム処理回路(列処理回路)に出力される。読み出し回路とカラム処理回路の詳細な例は後述する。
画素のリセット動作とは、光電変換素子11に蓄積されている電荷を、転送トランジスタ12をオンし、光電変換素子11に蓄積された電荷をフローティングディフュージョンFDに転送してはき出すことである。このとき、フローティングディフュージョンFDは事前に光電変換素子11の電荷を受け取れるように、リセットトランジスタ13をオンして電荷を電源側にはきすてている。あるいは転送トランジスタ12をオンしている間、これと並行としてリセットトランジスタ13をオンにして、直接電源に電荷をはきすてる場合もある。これら一連の動作が「画素リセット動作」である。
一方、読み出し動作では、まずリセットトランジスタ13をオンにしてフローティングディフュージョンFDをリセットし、その状態でオンされた選択トランジスタ15を通じて出力信号線16に出力する。この出力は、P相出力と呼ばれる。次に、転送トランジスタ12をオンにして光電変換素子11に蓄積された電荷をフローティングディフュージョンFDに転送し、その出力を出力信号線16に出力する。この出力は、D相出力と呼ばれる。画素回路外部でD相出力とP相出力の差分をとり、フローティングディフュージョンFDのリセットノイズをキャンセルして画像信号とする。これら一連の動作が「画素読み出し動作」である。
図2の画素駆動回路22は、各行の画素の転送トランジスタ12、リセットトランジスタ13、選択トランジスタ15のオン、オフを制御する。
カラム回路23は、画素駆動回路22により読み出し制御された画素行のデータを並列に受け取り、加算等の1/n(n≧2)間引き後にカラムAD処理し、並列−直列のデータ変換を行って後段の信号処理回路に転送する回路である。
なお、カラム回路23は、読み出し回路およびカラム処理回路を含む。カラム回路内のカラム処理回路は、本発明の“カラム処理部”に相当し、上記リセットノイズのキャンセルのための演算、さらには、カラムAD方式ではAD(アナログ−デジタル)変換処理等を行うカラムごとの回路である。ここでカラムとは、例えばベイヤ配列(図4)における4つの色画素R,Gr,Gb,Bを含む画素ユニットの列をいう。
このような構成を有する固体撮像素子は、各種携帯端末機器、デジタルスチルカメラ、デジタル一眼レフカメラ、デジタルビデオカメラなどの画像入力装置として使われる。そして、固体撮像素子は、その用途により順次の全画素読み出し以外にも様々な読み出しが行われる。たとえば、全画素を順次読み出しするよりも高いフレームレートでの読み出しを行いたい場合には、加算読み出しが行われる。加算読み出しには、複数行の間引き加算読み出し(垂直加算読み出し)、同一行内の1/n間引き加算読み出し(水平加算読み出し)の一方を行うものと、垂直加算読み出しと水平加算読み出しを両方とも行うものがある。
本実施の形態では垂直加算読み出しは任意である(行っても行わなくてもよい)。一方、本実施の形態に関わるCMOSセンサは、水平加算読み出し等の水平間引き読み出しに特徴がある。
図4に例示する画素部21の色配列(ベイヤ配列)では、第1色の画素(R画素)は奇数行L1,L3,L5…に配列され、第2色の画素(B画素)は偶数行L2,L4,L6,…に配列されている。なお、後述するように第1色の画素(R画素)が偶数行、第2色の画素が奇数行に配列される場合もある。
そして、垂直加算読み出しを行う場合、画素駆動回路22は、第1色画素(R画素)および第2色画素(B画素)の1行おきに連続する複数行分(たとえば3行分、4行分、5行分…を1回の複数行間引きの読み出し単位とする。画素駆動回路22は、この読み出し単位で、画素の複数行間引き加算読み出し駆動を行う。垂直加算読み出しは必須でないため、ここでの詳細な説明を省略する。
[水平加算読み出し]
次に、水平加算読み出しの概要と、そのためのカラム回路の構成について説明する。本実施の形態における1/n間引き処理は、水平加算処理のほかに、加算を行わないで単に1/nに読み出す画素を減らす処理(単純間引き処理)も含む。ただし、加算処理か単純間引き処理かは加算するか否かの相違であり概念的には両方とも1/n間引き処理に含まれるため、以下、加算処理を例として1/n間引き処理の説明を行う。
図6(A)は、R行3画素加算による1/3間引き読み出しの説明図である。図6(B)は、B行3画素加算による1/3間引き読み出しを読み出しの説明図である。図6(A)と図6(B)では、ベイヤ配列ごとにカラム処理回路の初段部であるコンパレータが配置されている場合を例示する。ベイヤ配列の色配置は図1と同様であるため、ここでは加算対象画素のみ、その色記号を付している。
本実施の形態では、例えば図6に示すように(n−1)個置き、言い換えると3個に1個の割合で周期的にカラム処理回路に電源供給を行って活性化する。図6では、活性化されたコンパレータCMAに斜線を付して示している。
本実施の形態の駆動方法では、活性化されたコンパレータCMAに対し、行方向で対称となるように赤(R)の3画素信号供給と、緑(Gr)の3画素信号供給とを行う。この画素信号の対称性確保は必須でないが、対象性を確保すると3画素で画素信号の供給経路に相違があっても、加算後の信号においてはその差が相殺される。そのため、加算後の信号の振幅が所望のものとなり、その位相が揃うという利点がある。
また、ここではすべてのカラム(画素ユニット列)ごとにコンパレータを設けているが、nの値が固定ならば、最初からnカラムに1個の割合でカラム処理回路そのものを間引いて配置してもよい。
一方、画素供給経路を切り替え、n値を可変とする構成では、図6に示すようにカラムごとにコンパレータが配置され、その一部の経路が読み出し回路(不図示)によって接続または遮断される。その経路の接続と遮断の制御を、図6に示すようにR行読み出し時とB行読み出し時で切り替えて所望の位置の画素からの信号供給を活性化されたコンパレータCMAが受けるように行う。読み出し回路による経路制御の詳細は、次の第2の実施の形態で詳しく述べるため、ここでの説明は省略する。
1/n間引きにおけるnの値は、加算重心が画素位置となり対称性確保が容易な奇数が望ましいが、偶数でもよい。その場合、加算重心に近い画素を中心に画素信号の供給経路の対称性を確保するとよい。
図8と図9に、n=5とn=7の場合を示す。
一方、n=4*m+3(mは0以上の整数)、すなわちn=3,7,11,…の場合、画素行の走査起点側で加算に使用されない画素が無視できないほど多い場合がある。そのため、ダミーカラム処理と呼ばれる、不規則的な加算処理を行って、使用する情報量を増やしてもよい。
図7は、n=3の場合におけるダミーカラム処理の説明図である。
ダミーカラム処理では、R行読み出しは最も端(走査基点側)の活性化されたコンパレータCMAdに対して行う。しかし、B行読み出しでは活性化されたコンパレータCMAdに近い1画素のみをそのまま読み出して加算処理は行われない。なぜなら、その左側には画素がなく、また右側の画素は図6の処理で使用されているため、これを使用すると2重使用となるからである。
このようにダミーカラム処理では、R行読み出しとB行読み出しで処理の仕方が異なるため、もう1つのコンパレータCMDを設ける必要がある。また、コンパレータCMAdはR行読み出しにしか使用されないため、これを含むカラム処理回路の構成が、コンパレータCMAを含むカラム処理回路とは異なるものとなる。
以上より、ダミーカラム処理を行うと回路的な負担が増えるという不利益があるが、その一方で、画素情報を有効利用することができるという利益も得られる。この不利益と利益を総合的に勘案して、ダミーカラム処理を行うように構成するか否かを決めるとよい。
なお、図8のn=5のような場合は、走査起点から最初の活性化されたコンパレータCMAまで非活性のコンパレータCMxが多く存在するため、走査起点に近い画素の情報まで有効利用される。
以上述べてきた第1の実施の形態では、水平加算時(または単純間引き時)にR行,B行のそれぞれで、加算重心間の共通の1カラムを使用して読み出す。これにより、加算重心から読み出しまでの距離をあわせ、読み出し精度が向上する。
また、nカラムごとに1カラムのみカラム処理回路を使用することにより、消費電力を抑えることができる。
ただし、(4*m+3)加算時(n=3,7,11…)には、先頭カラムを行ごとにダミーカラム処理を行うか、画素配置をR画素からでなく、B画素からの配置にする必要がある。つまり、図1や図6では左上の配置始点から列方向にR行、B行、R行、…の配置となっているが、図4のようにB行、R行、B行、…の配置とするとよい。なお、走査順(読み出し順)としては、図4のように走査方向を規定した場合、図4はR行からの読み出しとなり、図1や図6はB行からの読み出しとなる。走査方向を図4と逆にした場合、その場合の図4はB行からの読み出しとなり、その場合の図1や図6はR行からの読み出しとなる。
<2.第2の実施の形態>
図6の読み出し方法では、図6に示すように不使用の(読み出しが行われない)画素が、画素ユニットの行あたり8画素、2画素ユニット分となる。そのため、図7のダミーカラム処理を行うことにより不使用の画素をなくす必要がある。
第2の実施の形態では、ダミーカラム処理を行わなくとも不使用の画素を、例えば半減できる駆動方法を提案する。
図10(A)と図10(B)は、第2の実施の形態の3画素加算読み出しの説明図である。
図10が図6と異なる点は、図6が画素アレイの左端のカラムの次のカラムから2つの非活性のコンパレータCMxが配置され、その次に活性されたコンパレータCMAが配置されている。この場合、左端のカラムに配置されたコンパレータCMBは、ダミーカラム処理を行う場合は活性のコンパレータとなるし、ダミーカラム処理を行わない場合は非活性のコンパレータとなる不定のコンパレータである。
これに対し、図10では、最初から2つの非活性のコンパレータCMxを配置し、次に活性のコンパレータCMAを配置している。
このため図10(B)に示すように、不使用の画素は4画素、1画素ユニット分となり、その数が図6(B)の場合より半減している。
なお、第2の実施の形態では、第1の実施の形態と同様に、加算重心間に活性のコンパレータCMAが配置される。つまり、本発明における「n個のR画素の配置重心を含む画素列と、他の画素列でn個のB画素の配置重心を含む画素列との間の画素列の一方側(または両方の側)に(活性化される)カラム処理部(カラム処理回路)が配置されている」との要件を満たす。この要件は、第1の実施の形態でも満たされている。なお、上記要件で“他の画素列”は、第1および第2の実施の形態では、他の画素ユニットの列に相当する。
この場合、図10(A)のB行読み出しの場合は、図10(A)および図10(B)に示す規定後の加算重心と実際の加算重心が一致する。ところが、図10(B)のR行読み出しの場合、規定された加算重心よりコンパレータCMAに1列近い列が実際の加算重心となる。R行読み出しの場合で加算重心を規定することができず、また、前述した要件も満たさなくなる。よって、図10の場合は、B行読み出しで加算重心を規定する必要がある。
この読み出し方法によれば、画素配置を変更する必要がなくなり、また、先頭カラムに特別な処理(例えば、ダミーカラム処理)を行わせる必要もなくなる。
[加算読み出しのための回路例]
図11と図12に、1/3間引きによる加算読み出しのための具体的な回路例を示す。図11にR行読み出し時、図12にB行読み出し時の接続経路を示す。また、図13に、水平加算をする場合としない場合での選択信号の論理(“H”または“L”)の一覧を示す。
図11と図12では、加算読み出しを行う読み出し回路の構成自体は共通する。
例えば図11を例とすると、画素部21に画素ユニットの1行を示している。ここでは画素ユニット数は6としている。また、各画素ユニットから2つの出力信号線16が列方向に延びている。画素ユニットごとの出力信号線16の対に対して、加算読み出しの機能をもつ読み出し回路31が接続されている。
なお、図11では、2つの読み出し回路31が図11の上下に配置されているが、これは作図上の便宜のためである。各読み出し回路31は、カラムごとの読み出しユニット31Aを含んで構成されている。図11の上部の読み出し回路31は、赤(R)の画素(R画素)の読み出しユニット31Aを含み、図11の下部の読み出し回路31は、緑(Gr)の画素(Gr画素)の読み出しユニット31Aを示している。
なお、図2のように1つのカラム回路23によって画素部21の列方向の片側から読み出す場合、カラム回路23内で、図11のR画素の読み出しユニット31AとGr画素の読み出しユニット31Aとが行方向に交互に配置される。
一方、図11そのままに、R画素の読み出しユニット31AとGr画素の読み出しユニット31Aとを、画素部21の列方向の両側に配置することもできる。その場合、図2のカラム回路23が画素部21の列方向の両端に2つ必要となる。
読み出しユニット31Aは、5つのトランスファゲート回路TG1〜TG3,TGR,TGLと、加算部を構成する3つのキャパシタC1〜C3と、を含んで構成される。
加算部を構成する3つのキャパシタC1〜C3の出力は、カラム処理回路32の初段部(例えば、カラムAD処理部のコンパレータCMA,CMX)の入力に接続されている。
トランスファゲート回路TG1〜TG3は加算部(キャパシタC1〜C3)の直近に設けられ、電源電圧供給制御により活性化されるカラム処理回路のコンパレータCMA(斜線で図示)に対応する場合のみ全てオンする。一方、電源電圧供給が行われないで非活性のカラム処理回路のコンパレータCMX(白抜きで表示)に対応するトランスファゲート回路TG1〜TG3はオフに制御される。
出力信号線16は、トランスファゲート回路TG2の画素信号入力に直結されている。これに対し、トランスファゲート回路TG1の画素信号入力は、トランスファゲート回路TGLを介して出力信号線16と接続可能となっている。同様に、トランスファゲート回路TG3の画素信号入力は、トランスファゲート回路TGRを介して出力信号線16と接続可能となっている。トランスファゲート回路TGR,TGLは、与えられる選択信号に応じて出力信号線16からの画素信号(色信号)を左右に振り分ける回路である。
このような構成の読み出しユニット31Aが、出力信号線16ごとに繰り返し配置されている。
2つの読み出しユニット31Aが隣り合う場合、トランスファゲート回路TGLとTG1との接続中点のノード同士が、水平転送のためのトランスファゲート回路TGHLを介して電気的に接続可能となっている。また、2つの隣り合う読み出しユニット31Aにおいて、トランスファゲート回路TGRとTG3との接続中点のノード同士が、水平転送のためのトランスファゲート回路TGHRを介して電気的に接続可能となっている。
これらは、出力信号線16からの画素信号を水平方向(行方向)に転送して、目的の活性化されたコンパレータCMAに当該画素信号を送るための構成である。
以上の構成は、図11の上部の読み出し回路31と下部の読み出し回路31とで基本的に同じ(180度回転対照)である。ただし、R画素読み出し時とGr画素読み出しを個別に制御するために、選択信号が別となっている。
ここで180度回転対照なので、例えば上部の読み出し回路31を、水平方向で中央の画素ユニットを軸に180度回転すれば、トランスファゲート回路の接続関係が下部の読み出し回路31と重なる。このとき、信号名を別とするとトランスファゲート回路のオンまたはオフの動作状態も重なる(一致する)。
より詳細には、R画素読み出しのための上部の読み出し回路31に対し、その活性化されるコンパレータCMAに対応した読み出しユニット31A内でトランスファゲート回路TGRとTGLは共にオフする必要がある。以下、活性化されるコンパレータCMAに対応した読み出しユニット31Aを、活性カラムユニットと呼ぶ。
選択信号SW3とその反転信号(インバータによる反転を例とする、以下同様)とにより、活性カラムユニットにおけるトランスファゲート回路TGRとTGLのPMOSトランジスタとNMOSトランジスタが制御される。
これに対し、活性化される2つのコンパレータCMAの間の2つの非活性のコンパレータCMxに対し、対応する2つの読み出しユニット31A内で、トランスファゲート回路TGRとTGLが差動的に動作する。以下、非活性のコンパレータCMxに対応する読み出しユニット31Aを非活性カラムユニットと呼ぶ。
より詳細に、右側の非活性カラムユニットにおいてはトランスファゲート回路TGRをオンし、左側の非活性カラムユニットにおいてはトランスファゲート回路TGRをオフする。その一方、左側の非活性カラムユニットにおいてはトランスファゲート回路TGLをオンし、右側の非活性カラムユニットにおいてはトランスファゲート回路TGLをオフする。
選択信号SW1Nとその反転信号、並びに、選択信号SW2Nとその反転信号により、非活性カラムユニットにおけるトランスファゲート回路TGRとTGLのPMOSトランジスタとNMOSトランジスタが制御される。
1つの読み出しユニット31A(カラムユニット)内において、トランスファゲート回路TGHLとTGHRは同相駆動される。そして、活性カラムユニットとその一方側に連続し、活性カラムユニットに画素信号を供給する2つの非活性カラムユニットにおいて、画素信号の供給経路(水平転送経路)に挿入された2対のトランスファゲート回路TGHLとTGHRは全てオンする。その一方、活性カラムユニットに画素信号を供給しない他方側の非活性カラムユニットの接続を制御するトランスファゲート回路TGHLとTGHRはオフされる。
これらのトランスファゲート回路TGHLとTGHRは、選択信号SWWN,SWENおよびSW4により制御される。
キャパシタC1〜C3は、通常、同じ大きさの容量値に設定され3つの画素信号(R信号またはB信号)をほぼ同一の比率で混合することで加算し、コンパレータの入力に混合(加算)後の画素信号を発生させる。
なお、画素信号の画素部21から経路差によって同一の比率で混合が難しい場合は、キャパシタC1〜C3容量値に若干の差を設け、これによって同一の比率での混合を実現してもよい。
キャパシタC1〜C3の入力制御を行うトランスファゲート回路TG1〜TG3は、図11の下部の読み出し回路31で例示されるように、選択信号SW1C〜SW3Cにより制御される。このことは、図11の上部の読み出し回路31でも同様である。
なお、図11の下部の読み出し回路31を制御する選択信号は、選択信号1Nに代えて選択信号SWSが、選択信号2Nに代えて選択信号SW2Sが、それぞれ用いられる。同じように、選択信号SWWNに変えて選択信号SWWSが、選択信号SWENに代えて選択信号SWESが、それぞれ用いられる。選択信号SW3,SW4,SW1C〜SW3Cは、上部と下部の読み出し回路31で共通する。
図12に示す制御例では、制御信号SW1NとSW2S、制御信号SW1SとSW2N、制御信号SWENとSWWS、選択信号SWWNとSWESのそれぞれの対は、同じ論理をとる。ただし、R行加算読み出しの場合とB行加算読み出しの場合で、制御信号SW1NとSW2Sの対と、制御信号SW1SとSW2Nの対で、論理が反転している。また、制御信号SWENとSWWSの対と、選択信号SWWNとSWESの対でも論理が反転している。
これにより、図11に示すように、R行加算読み出しを行う上部の読み出し回路31では活性ユニットが右側の2つの非活性ユニットから画素信号の供給を受けるのに対し、B行加算読み出しを行う下部の読み出し回路31では活性ユニットが左側から画素信号の供給を受ける。そのとき、画素信号の供給経路は、活性ユニットを中心としてR行加算読み出しとB行加算読み出しで左右対称となっている。この対象な画素信号供給構造では、キャパシタC1〜C3の混合比が一律とすると、混合(加算)後の信号は、経路差の影響が排除されたものとなる。
また、図11と図12から不使用の画素は4画素と少なくなっている。
<3.第3の実施の形態>
このような効果を有する上記第1または第2の実施の形態に関わる固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。
図14は、本発明の実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。
本カメラシステム200は、図14に示すように、本実施形態に係るCMOSイメージセンサ(固体撮像素子)20が適用可能な撮像デバイス210を有する。また、カメラシステム200は、撮像デバイス210の画素領域に入射光を導く(被写体像を結像する)光学系、たとえば入射光(像光)を撮像面上に結像させるレンズ220を有する。さらに、カメラシステム200は、撮像デバイス210を駆動する駆動回路(DRV)230と、撮像デバイス210の出力信号を処理する信号処理回路(PRC)240と、を有する。
駆動回路230は、撮像デバイス210内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス210を駆動する。
また、信号処理回路240は、撮像デバイス210の出力信号に対してCDS(Correlated Double Sampling;相関二重サンプリング)などの信号処理を施す。信号処理回路240で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路240で処理された画像信号を液晶ディスプレイ等からなるモニタに動画として映し出される。
上述したように、デジタルスチルカメラ等の撮像装置において、撮像デバイス210として、先述した撮像素子(CMOSイメージセンサ)20を搭載することで、高精度なカメラが実現できる。
画素…1、11…光電変換素子、16…出力信号線、20…固体撮像素子、画素部…21、23…カラム回路、31…読み出し回路、31A…読み出しユニット、32…カラム処理回路、200…カメラシステム、210…撮像デバイス、240…信号処理回路、CMA…コンパレータ

Claims (9)

  1. 光を画素信号に変換し、露光時間に応じて画素信号を蓄積する画素を所定の色配列で有し、第1色の画素を含む第1色画素行と第2色の画素を含む第2色画素行とが列方向で交互に配置され、前記色配列が、前記第1色の画素と前記第2色の画素を含む2行、2列の色配列を繰り返し単位とするベイヤ配列である画素部と、
    前記第1色画素行または前記第2色画素行で第1色または第2色の画素からn(≧2)個の同一色の画素信号を選択し、選択したn個の画素信号に対し色ごとに画素信号数を1/nに減らす1/n間引きを行って読み出す読み出し部と、
    1/n間引き後の画素信号をカラム処理するカラム処理部と、
    を有し、
    前記カラム処理部が、前記n個の第1色の画素信号から前記読み出し部で読み出された一の第1色の画素信号をカラム処理する処理部と、前記n個の第2色の画素信号から前記読み出し部で読み出された一の第2色の画素信号をカラム処理する処理部とを兼用する
    固体撮像素子。
  2. 前記カラム処理部が、前記読み出し部により加算のために選択される前記n個の第1画素信号を出力するn個の画素の配置重心を含む画素列と、前記読み出し部により他の画素行で加算のために選択される前記n個の第2画素信号を出力するn個の画素の配置重心を含む画素列との間に位置する画素列(加算重心間の画素列)の一方端側または両端側に配置されている
    請求項1に記載の固体撮像素子。
  3. 前記カラム処理部が、前記読み出し部によってn個の第1画素信号から1/n間引きで読み出される一の第1画素信号を出力する画素を含む画素列と、前記読み出し部によってn個の第2画素信号から1/n間引きで読み出される一の第2画素信号を出力する画素を含む画素列との間の画素列(間引き読み出し画素間の画素列)一方端側または両端側に配置されている
    請求項1に記載の固体撮像素子。
  4. 前記カラム処理部は、加算後のアナログの第1画素信号または第2画素信号を閾値と比較してデジタルの画素信号に変換するコンパレータを有し、
    前記コンパレータが、前記加算重心間の画素列の一方端側または両端側に配置されている
    請求項2に記載の固体撮像素子。
  5. 前記カラム処理部は、1/n間引き後のアナログの第1画素信号または第2画素信号を閾値と比較してデジタルの画素信号に変換するコンパレータと、
    を有し、
    前記コンパレータが、前記間引き読み出し画素間の画素列の一方端側または両端側に配置されている
    請求項3に記載の固体撮像素子。
  6. 前記読み出し部は、前記nが(4*m+3(m≧0を満たす整数))のときは前記第2色画素行を読み出した後に前記第1色画素行を読み出し、前記nが前記(4*m+3)と異なる値のときは、前記第1色画素行を読み出した後に前記第2色画素行を読み出す
    請求項1に記載の固体撮像素子。
  7. 記第1色が赤であり、前記第2色が青である
    請求項1に記載の固体撮像素子。
  8. 光を画素信号に変換し、露光時間に応じて画素信号を蓄積する画素を所定の色配列で有し、第1色の画素を含む第1色画素行と第2色の画素を含む第2色画素行とが列方向で交互に配置され、前記色配列が、前記第1色の画素と前記第2色の画素を含む2行、2列の色配列を繰り返し単位とするベイヤ配列である画素部内において、前記第1色画素行または前記第2色画素行で第1色または第2色の画素からn(≧2)個の同一色の画素信号を選択し、
    選択したn個の画素信号に対し色ごとに画素信号数を1/nに減らす1/n間引きを行って読み出し、
    前記第1色画素行から出力される第1色のn個の第1画素信号から前記読み出し部で読み出された一の第1画素信号に対するカラム処理と、前記第2色画素行から出力される第2色のn個の第2画素信号から前記読み出し部で読み出された一の第2画素信号に対するカラム処理とを、同一のカラム処理部で実行する
    固体撮像素子の駆動方法。
  9. 固体撮像素子と、
    前記固体撮像素子に被写体像を結像する光学系と、
    前記固体撮像素子の出力画像信号を処理する信号処理回路と、
    を有し、
    前記固体撮像素子が、
    光を画素信号に変換し、露光時間に応じて画素信号を蓄積する画素を所定の色配列で有し、第1色の画素を含む第1色画素行と第2色の画素を含む第2色画素行とが列方向で交互に配置され、前記色配列が、前記第1色の画素と前記第2色の画素を含む2行、2列の色配列を繰り返し単位とするベイヤ配列である画素部と、
    前記第1色画素行または前記第2色画素行で第1色または第2色の画素からn(≧2)個の同一色の画素信号を選択し、選択したn個の画素信号に対し色ごとに画素信号数を1/nに減らす1/n間引きを行って読み出す読み出し部と、
    1/n間引き後の画素信号をカラム処理するカラム処理部と、
    を有し、
    前記カラム処理部が、前記n個の第1色の画素信号から前記読み出し部で読み出された一の第1色の画素信号をカラム処理する処理部と、前記n個の第2色の画素信号から前記読み出し部で読み出された一の第2色の画素信号をカラム処理する処理部とを兼用する
    カメラシステム。
JP2009107141A 2009-04-24 2009-04-24 固体撮像素子およびその駆動方法、並びにカメラシステム Expired - Fee Related JP5423125B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009107141A JP5423125B2 (ja) 2009-04-24 2009-04-24 固体撮像素子およびその駆動方法、並びにカメラシステム
US12/659,428 US8289423B2 (en) 2009-04-24 2010-03-09 Solid-state imaging device, method for driving the same, and camera system
CN2010101634453A CN101873443B (zh) 2009-04-24 2010-04-16 固态成像装置、驱动其的方法和摄像机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009107141A JP5423125B2 (ja) 2009-04-24 2009-04-24 固体撮像素子およびその駆動方法、並びにカメラシステム

Publications (2)

Publication Number Publication Date
JP2010258828A JP2010258828A (ja) 2010-11-11
JP5423125B2 true JP5423125B2 (ja) 2014-02-19

Family

ID=42991809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009107141A Expired - Fee Related JP5423125B2 (ja) 2009-04-24 2009-04-24 固体撮像素子およびその駆動方法、並びにカメラシステム

Country Status (3)

Country Link
US (1) US8289423B2 (ja)
JP (1) JP5423125B2 (ja)
CN (1) CN101873443B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130040483A (ko) * 2011-10-14 2013-04-24 삼성전자주식회사 이미지 센서 및 상기 이미지 센서를 포함하는 이미지 처리 장치
JP5633503B2 (ja) 2011-11-29 2014-12-03 株式会社リコー 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
US10419700B2 (en) * 2011-12-27 2019-09-17 Nikon Corporation Imaging device and imaging apparatus
EP2665257B1 (en) 2012-05-16 2014-09-10 Harvest Imaging bvba Image sensor and method for power efficient readout of sub-picture
JP6057931B2 (ja) * 2014-02-10 2017-01-11 キヤノン株式会社 光電変換装置及びそれを用いた撮像システム
JP2016184843A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 イメージセンサ、処理方法、及び、電子機器
JP6700673B2 (ja) * 2015-05-15 2020-05-27 キヤノン株式会社 撮像装置、撮像システム
JP6677594B2 (ja) * 2016-06-30 2020-04-08 キヤノン株式会社 光電変換装置
US9967505B1 (en) * 2017-04-13 2018-05-08 Omnivision Technologies, Inc. Comparators for double ramp analog to digital converter
JP2019161438A (ja) 2018-03-13 2019-09-19 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4335648B2 (ja) * 2003-12-01 2009-09-30 富士フイルム株式会社 デジタルカメラ及びデジタルカメラの撮像方法
JP4826071B2 (ja) * 2004-07-01 2011-11-30 ソニー株式会社 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP4497022B2 (ja) * 2005-04-26 2010-07-07 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5188080B2 (ja) * 2007-03-06 2013-04-24 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び読み出し装置
JP4905279B2 (ja) * 2007-07-20 2012-03-28 ソニー株式会社 撮像回路および撮像装置

Also Published As

Publication number Publication date
US8289423B2 (en) 2012-10-16
US20100271526A1 (en) 2010-10-28
CN101873443B (zh) 2012-10-10
CN101873443A (zh) 2010-10-27
JP2010258828A (ja) 2010-11-11

Similar Documents

Publication Publication Date Title
JP5423125B2 (ja) 固体撮像素子およびその駆動方法、並びにカメラシステム
JP6149572B2 (ja) イメージセンサ、制御方法、及び、電子機器
JP6246004B2 (ja) 固体撮像装置
JP4582198B2 (ja) 固体撮像装置、撮像装置、固体撮像装置の駆動方法
JP4952601B2 (ja) 固体撮像装置
JP5232189B2 (ja) 固体撮像装置
JP4547462B1 (ja) 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
JP2013143729A (ja) 撮像素子、撮像装置、電子機器および撮像方法
JP6670451B2 (ja) 固体撮像装置、信号処理方法、及び、電子機器
US20130242153A1 (en) Image sensing apparatus and image capturing system
JP6305169B2 (ja) 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
JP2007129581A (ja) 撮像装置及び撮像システム
JP2008278453A (ja) 撮像装置及び撮像システム
JP5822544B2 (ja) 撮像装置および撮像システム
WO2013084808A1 (ja) 固体撮像素子およびその駆動方法、カメラシステム
JP2006287464A (ja) 固体撮像装置及び固体撮像装置の動作方法
JP2014204149A (ja) 固体撮像装置
JP5640509B2 (ja) 固体撮像素子およびカメラシステム
JP2013070180A (ja) 固体撮像素子および固体撮像装置
JP2014022822A (ja) 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。
JP5655783B2 (ja) 画像読取装置
JP2009100381A (ja) 固体撮像素子およびその駆動方法、並びにカメラシステム
JP2015139054A (ja) 固体撮像装置、撮像システム及び複写機
JP6053321B2 (ja) 固体撮像装置
JP2006157624A (ja) 固体撮像装置及び固体撮像装置の駆動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131111

LAPS Cancellation because of no payment of annual fees