JP6662764B2 - イメージセンサ、電子装置 - Google Patents

Description

本開示は、イメージセンサ、電子装置に関し、特に、イメージセンサの内部構造、具体的には各ADC(Analog Digital Converter)が担当する画素の配置に起因するノイズを低減できるようにしたイメージセンサ、電子装置に関する。

従来、CMOSイメージセンサから出力される画素信号に生じ得るノイズは、各画素において独立に発生するものと、イメージセンサの内部構造に起因してある傾向を持って発生するパターンノイズとに区分される。パターンノイズとしては、縦筋ノイズ、横筋ノイズ、ブロックノイズなどが知られている。

なお、CMOSイメージセンサ（以下、CISとも略称する）には、各画素から読み出される電荷信号をデジタルの画素信号に変換するためのADCが設けられている。例えば、CMOSイメージセンサに広く採用されているカラム型ADCでは、縦横に対置された多数の画素に対して、縦方向に並ぶ画素の列（カラム）をそれぞれ受け持つADCが並列に配置されており、横方向に並ぶ画素の行(ライン）から同時に電荷信号が読み出されてＡＤ変換される構造が一般的である。画素の行読み出しは逐次行われ、下から上方向(または上から下方向）に行を走査することで１面分の画素が読み出される。

ところで、このようなカラム毎にADCが設けられていることに起因して、該CISから出力される画像に縦筋ノイズや横筋ノイズが固定的にまたはランダムに発生して見えることがある。

一般に、人間の眼は筋（直線）の検出能力が高く、画素毎に独立して存在するノイズの1/10以下でなければ、縦筋ノイズや横筋ノイズを視認してしまうことが知られている。なお、現在、CISの開発現場においては、画質の向上を目指して画素毎のノイズは限界まで減らす努力をしているので、その画素毎のノイズよりもさらに、横筋ノイズや縦筋ノイズをもう一桁小さくするには困難さを伴う。

ここで、横筋ノイズの具体例を示す。図１は、コンピュータプログラムによって意図的に発生した画素ノイズであり、100×100の各画素に1.0σの独立したガウスノイズ（ランダムノイズ）を載せ、さらに行方向（横方向）に共通な0.3σのガウスノイズを加算したものである。換言すれば、画素毎のノイズに対して0.3倍の横筋ノイズが載った状態である。

ここで、σはグレイレベルを０（黒色）から１（白色）の数値で表現した場合における標準偏差が1/12となる単位である。図１は、画の平均に0.5のグレイレベルを与え、そこから上下に±６σのノイズを表現可能とした状態に相当する。なお、以下の説明においても、同じσを単位として使用する。

パターンノイズのうち、縦筋はカラム毎に設けられているADCの個体バラツキ、具体的には、オフセットの差、ゲイン誤差、非線形性、整定時間差などを消し切らないことにより生じる。縦筋ノイズの抑止は、基本的にはカラム毎のCDS（correlated double sampling:相関２重サンプリング）にて実現されているが、その打ち消し残りが縦筋として見えている。

パターンノイズのうち、横筋は読出し時刻が行毎に異なることにより、カラムに共通して加わるノイズが変動することで生じる。横筋を引き起こすノイズ源としては、例えばランプ信号に載っているノイズだったり、電源やバイアスの変動だったりする。横筋ノイズの抑止は、画素領域の周辺に設けたオプティカルブラックの画素値を用いて各行の黒レベルを合わせる方法が知られている（例えば、特許文献１参照）。

上述したノイズ対策も含め、従来のノイズ対策は、いずれもノイズ源そのものに対するものが殆どであった。しかしながら、ノイズ源そのものに対する対策は既に限界にあるとの考えから、ノイズを見えにくくする方向の対策も提案されている。例えば、特許文献２には、カラムを担当するADCを行毎にランダムに入れ替える方法が提案されている。

特開２０１２−１５５８７号公報 特開２０１１−９１５３５号公報

さらに、昨今、縦横に配置された多数の画素に対して所定の領域（例えば、矩形領域）毎にADCを設けたエリア型ADCを採用したイメージセンサが開発されている。

エリア型ADCを採用したイメージセンサにおいても、カラム型ADCを採用したイメージセンサと同様に、その構造に起因するパターンノイズ（具体的には、１個のADCが担当する画素のエリアに相当するブロックノイズ）が発生し得るので、その対策が必要となる。

本開示はこのような状況に鑑みてなされたものであり、カラム型ADCまたはエリア型ADCを採用するイメージセンサから出力される画像に生じ得るパターンノイズを見えにくくできるようにするものである。

本開示の第１の側面であるイメージセンサは、カラム毎にADC(Analog Digital Converter)が設けられているイメージセンサにおいて、第１の画素、前記第１の画素の斜め上方向に隣接する第２の画素、および前記第１の画素の斜め下方向に隣接する第３の画素に接続されている選択信号線と、前記第１の画素に接続されている第１の垂直信号線、前記第２の画素に接続されている第２の垂直信号線、前記第３の画素に接続されている第３の垂直信号線と、前記第１乃至第３の垂直信号線のうち接続先を切り替えるスイッチと、前記スイッチにより接続された前記垂直信号線と接続される前記ADCとを備え、隣接する所定数のカラムにそれぞれ対応する所定数の前記ADCは、それぞれが対応するカラムの相互に異なる行に配置された前記第１乃至第３の画素から電荷信号を同時に読み出す。

隣接する所定数のカラムにそれぞれ対応する前記所定数の前記ADCは、それぞれが対応するカラムの、１カラム毎に１行ずつずらした行に配置された画素から電荷信号を同時に読み出すことができる。

任意のカラムに対応する前記ADCは、前記カラム以外のカラムに配置された画素からも電荷信号を読み出すことができる。

任意のカラムに対応する前記ADCは、複数のカラムの相互に異なる行に配置されている複数の画素から連続して電荷信号を読み出すことができる。

任意のカラムに対応する前記ADCは、１カラム毎に１行ずつずらした行に配置された複数の画素から連続して電荷信号を読み出すことができる。

本開示の第２の側面である電子装置は、イメージセンサが搭載された電子装置において、前記イメージセンサは、カラム毎にADC(Analog Digital Converter)が設けられており、第１の画素、前記第１の画素の斜め上方向に隣接する第２の画素、および前記第１の画素の斜め下方向に隣接する第３の画素に接続されている選択信号線と、前記第１の画素に接続されている第１の垂直信号線、前記第２の画素に接続されている第２の垂直信号線、前記第３の画素に接続されている第３の垂直信号線と、前記第１乃至第３の垂直信号線のうち接続先を切り替えるスイッチと、前記スイッチにより接続された前記垂直信号線と接続される前記ADCとを備え、隣接する所定数のカラムにそれぞれ対応する所定数の前記ADCは、それぞれが対応するカラムの相互に異なる行に配置された前記第１乃至第３の画素から電荷信号を同時に読み出す。

本開示の第１乃至第４側面によれば、画像に生じ得るパターンノイズの境界をぼかすことができる。

本開示の第５の側面によれば、エリア型ADCに採用可能な充填タイルを作成できる。

横筋が視認できる画素ノイズ例を示す図である。 本開示を適用したカラム型ADCが同時に読み出す画素の配置を表すノコギリテキスチャを示す図である。 ノコギリテキスチャを並べて６行分の画素を構成した状態を示す図である。 図１の画素ノイズをノコギリテキスチャに従って読み出した場合のノイズを示す図である。 縦筋ノイズに対処するカラム型ADCの構成例を示す図である。 横筋ノイズと縦筋ノイズに対処するテキスチャの例を示す図である。 横筋ノイズと縦筋ノイズに対処するテキスチャの例を示す図である。 横筋ノイズと縦筋ノイズに対処するテキスチャの例を示す図である。 ブロックノイズの具体例を示す図である。 並進の意味を説明するための図である。 染み出し量１画素の充填タイル（風車型充填タイル）を示す図である。 充填タイル作成処理を説明するフローチャートである。 風車型充填タイルを採用した場合のパターンノイズを示す図である。 染み出し量２画素の充填タイルの例を示す図である。 ｎ×ｎ画素のADCエリアに対応する充填タイルの作成方法を説明するための図である。 ４×４画素の一様完備直交系タイルの例を示す図である。 図１６の一様完備直交系の例の方格表現を示す図である。 １０×１０画素のADCエリアに対する染み出し量４画素の充填タイルの例を示す図である。 図１８の染み出し量４画素の充填タイルを敷き詰めた図である。 図１８の染み出し量４画素の充填タイルを採用した場合のパターンノイズを示す図である。 ２×２画素の完備直交系タイルの例を示す図である。 図１４の充填タイルを、図２１の完備直交系タイルで構成する場合の方格表現を示す図である。 ５×５画素のADCエリアに対応する染み出し量２画素の充填タイルの一例である。 図２３の充填タイルを４個組み合わせた状態を示す図である。 図２４の充填タイルに対応する２種類の相補タイルを示す図である。 相補タイルの例を示す図である。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明するが、その前に本開示の実施の形態の概要について説明する。

＜本開示の実施の形態の概要＞
本開示の実施の形態では、カラム型ADCまたはエリア型ADCを採用したイメージセンサから出力される画像に生じ得る、各ADCが受け持つ画素の配置に起因するパターンノイズが見えにくくなるように、カラム型ADCにおける画素の読み出し順序を変更し、エリア型ADCの各ADCが受け持つ画素の配置を工夫する。すなわち、カラム型ADCの画素の読み出し順序を行単位から変更したり、エリア型ADCの各ADCが受け持つ画素の配置を矩形単位とするのではなく、人間が瞬時には認識しにくい形状にしたりすることで、パターンノイズを目立たなくするものである。これは、画素単位でのノイズを限界付近まで低減した上で、さらに人間が画像をみたときにパターンノイズを感じさせない効果を期待できる。本実施の形態は、任意の電子装置に搭載できる。

＜カラム型ADCに対する本開示の適用＞
図２は、本実施の形態であるカラム型ADCが同時に読み出される画素の配置を示している。図２の場合、処理単位の基本となる行が３カラム周期で上下に１画素ずつずらされている。以下、図２に示された画素の配置をノコギリテキスチャと称する。ただし、本明細書においては、テキスチャは、カラムADCにおける同時に読み出される画素の配置を示す基本形状を示す用語として使用する。

図２に示されたノコギリテキスチャ１０は、これを複数並べて配置することにより、画面全体（イメージセンサを構成する全画素）を覆ることが明らかである。ただし、ノコギリテキスチャは。３カラム周期に限定されるものではなく、より長い周期でもよい。

図３は、ノコギリテキスチャを複数並べて６行分の画素を構成できることを示しており、図面の左端に記されている英文字は行の位置を示し、画素中に記されているＡ，Ｂなどの英文字は、同じ英文字が記されている画素が同時に読み出されることを示している。

なお、同図の場合には、Ｃ行に着目した選択信号の配線を示している。該選択信号配線１２は、１列毎に、上にひとつ、下に一つずれた画素を選択することになる。なお、このように配線すると、注目している行の上下の画素を駆動する分だけの配線長が伸びてしまうので、このオーバヘッドを許容できるかは設計上の選択の問題となる。同図の場合、３素分の距離で、上下合わせて２画素分だけ配線長が伸びるので、配線の寄生容量は概ね5/3倍になる。この負荷増が設計上厳しい場合には選択線を３本に分けてもよい。ただし、１本辺りの負荷が減る代りに水平方向の配線が３倍になる。

図４は、図１に示された横筋ノイズが見える画素ノイズを、図２に示されたノコギリテキスチャで並べ変えた状態、換言すれば、カラム型ADCの画素読み出しにノコギリテキスチャを採用した場合のノイズを示している。

図１と図４を比較して明らかなように、図４は、図１で視認された横筋ノイズが殆ど視認できないほど目立たなくなっている。なお、図４の場合、画像の上下端はノコギリテキスチャの形状が反映されてはギザギザになってしまうが、上下端は無効画素などとして適切に処理すれば特に問題は生じない。実際には画素領域として存在する必要もなく、適当な電位を発生する補助回路を画素領域外に設け、ギザギザな端部分を読みだすときには、前記補助回路に接続するような処理をするだけでもよい。

図２に示された３行サイズのノコギリテキスチャは、１行中の３個毎に同時駆動された画素が存在するので、行間ノイズが独立である場合、その標準偏差は１／√３に圧縮されていることになる。なお、ノコギリテキスチャのサイズをより大きくすれば、その標準偏差はより小さくなってパターンノイズが目立たなくなるが、実用上、３行サイズのノコギリテキスチャで十分といえる。

縦筋ノイズに対しても同様も方法で対処できる。図５は、カラム型ADCを縦筋ノイズに対処させるための構成例を示している。同図の構成例では、読出しの垂直信号線(VSL)は列に沿ってストレートなまま、受け側の各ADCの直前の切り替えスイッチ２２でVSL２１を切り替えるようになっている。なお、各画素に記された数字は、読み出すADCを示している。この構成例は、図３に示された行方向の選択線のように、ジグザグの配線は必要ない。ただし、画像の左右端には使えない領域が生じるが、図４のギザギザな端部分と同様、これらの部分も実画素を配置する必要がなく、その読出し時に適当な電位に繋ぐようにするだけで済む。

次に、横筋ノイズと縦筋ノイズに対処するためのテキスチャの例を図６乃至図８に示す。図６のテキスチャは、図２のノコギリテキスチャを左上に１画素分ずつずらしながら重ねたものである。

なお、図６乃至図８の左端に記されている英文字は行の位置を示し、下端に記されている数字は列の位置を示す。また画素中に記されている英文字は、同じ英文字が記されて画素が同時に読み出されることを示している。画素中に記されている数字は、読み出すADCを示している。

図６乃至図８のいずれのテキスチャを採用しても大差なく横筋ノイズと縦筋ノイズの両方に対処できる。

＜エリア型ADCに対する本開示の適用＞
次に、本開示をエリア型ADCに適用する場合について説明する。

エリア型ADCの場合、パターンノイズとして目立つのは、各ADCのオフセットの違いに起因して生ずる、各ADCが受け持つ画素のエリアに相当するブロックノイズである。

図９にブロックノイズのサンプルを示す。ただし、同図Ａは１エリアを４×４画素の正方形とし、各エリアが0.5σのガウス分布に従うオフセットを有するものとして、エリア毎のオフセットの違いをグレースケールで示したものである。同図Ｂは、100×100の各画素に0.5σの独立したガウシアンノイズ（ランダムノイズ）を載せたものである。同図Ｃは、同図Ａに示されたブロックノイズに、同図Ｂに示された画素毎のガウシアンノイズを足し合わせたものであり、従来のエリア型ADCのイメージセンサから出力される画像に生じ得るブロックノイズのサンプルを示している。

同図Ｃから明らかなように、画像には１個のADCが受け持つ複数の画素から成るエリアの境界がブロックノイズとして視認できる。したがって、このブロックノイズを目立たなくするためには、各エリアの境界が互いに入り組んでいて、エリアを並べることにより全画素を覆うことができ、複数のエリアに属する画素が存在しないように、エリアの形状を従来の矩形から変更すればよい。

なお、上記した条件をエリアの形状は無限に存在し得ることは明らかであるので、妥当な前提を追加することにより、現実的に実装可能なエリアの形状を提案する。

＜エリアの形状を決定する上での前提＞
まず、各ADCに対応するエリアは、画素位置を表わす直交座標上で、縦横のエリアサイズの整数倍の位置に並べられているとする。この前提は、例えば、エリアが隣に行くにしたがって徐々にずれて行くようなエリア配置を排除するものである。

各エリアが受け持つ画素の相対配置は、全てのエリアで共通とする。換言すると、一つのイメージセンサに採用されるエリア形状は一種類であり、一つのイメージセンサ上に異なる形状のエリアは存在しないことを意味する。ただし、この前提の例外として、隣り合うエリアで補間し合うような、形状が異なる複数のエリアを採用することもできる（詳細後述）。

各画素とそれを受け持つADCまでの配線を錯綜させない、すなわち、あまり遠く離れた画素をADCに受け持たせないようにする。

エリアの形状を変更することから、ADCを配置する縦横のピッチから見た担当形状（通常は矩形）と、各ADCが担当する画素の配置（ここまで、エリアと称していた領域）は一致しなくなる。以下において、両者を区別する用語が必要なため、前者をADCエリアと称し、後者をタイルと称する。なお、ADCエリアは必ずしもADC自体の形状とは一致しない。例えば細長い２個のADCにより二つの矩形のADCエリアを担当する実装も考えられる。

一つのADCエリアは、上下方向にADCエリアの縦サイズの分だけずらす操作と、左右方向にADCエリアの横サイズの分だけずらす動作をする操作とを繰り返すことで、画面全体を覆うことができる。この移動を本明細書においては並進と称する。

図１０は、「並進」の意味を説明するための図である。同図は、４×４画素からなるADCエリアを９個並べたものである。各ADCエリアを構成する１６画素には、縦方向はＡからＤまでの英文字が、横方向には１から４の数字がインデックスとして付与されている。

同図の中央のADCエリアを並進させた場合、各画素は同じインデックスが付与されている位置に移動することが分かる。また、横方向の並進と縦方向の並進を組み合わせることにより、ADCエリアを斜め方向に移動させることができるので、並進を繰り返すことにより、ADCエリアで画面全体を覆る（埋め尽くせる）ことが明らかである。なお、並進後の各ADCエリアにおける各画素に付与されているインデックスは変化しない。

ここで、一つADCエリアが受け持つ画素を、隣接するADCエリアの同一のインデックスが付与されている画素と交換することを考える。

図１１は、中央に位置するADCエリアにおける辺境の画素Ｃ１，Ａ２，Ｂ４，Ｄ３を、それぞれの辺境を境に隣接するADCエリアの同一インデックスの画素と交換したものであり、同図に色付きで示されるようなタイル形状が得られる。該タイル形状は、元のADCエリアから１画素分だけはみだしているので、このようなタイル形状の状態を、以下においては、染み出し量１画素と称する。

図１１に示されたタイルは、複数のADCエリアに跨っているもののＡ１乃至Ｄ４のインデックスが付与されている１６画素を過不足なく備えるので、該タイルの並進を繰り返すことにより、同じ位置に画素が重なることなく画面全体を覆うことができる。ただし、画面の周辺部には覆われない領域に出現し得るが、その領域については有効外として扱えばよい。これらの領域についても実画素を配置する必要がなく、その読出し時に適当な電位に繋ぐようにするだけで済む。

このように、並進を繰り返すことにより画面全体を過不足なく覆うことができる性質を有するタイルを、以下、充填タイルと称する。

また、図１１に示された充填タイル３１は、その形状から、以下においては風車型充填タイルと称する。

＜充填タイルの作成方法＞
ここで、一般的な充填タイルの作成方法について説明する。図１２は、コンピュータなどからなる情報処理装置による充填タイル作成処理を説明するフローチャートである。

ステップＳ１において、図１０に示されたように、１つのADCエリアを構成する全ての画素に対してそれぞれ異なるインデックスを付与する。ステップＳ２において、該ADCエリアを並進させることにより、元のADCエリアの近傍に複数の近隣ADCエリアを設定し、各近隣ADCエリアを構成する画素に対して、元のADCエリアの画素と同一のインデックスを付与する。なお、近隣ADCエリアは、元のADCエリアに隣接していてもよいし、元のADCエリアから数エリア分だけ離れていてもよい。

ステップＳ３において、元のADCエリアにおける画素の中から移動させる画素を選択し、選択した画素を、選択した画素と同じインデックスが付与されている近隣ADCエリアにおける画素の位置に移動させる。

ステップＳ４において、元のADCエリアから移動させる画素の数が十分であるか否かを判断し、画素の数が十分であると判断するまで、ステップＳ３およびＳ４を繰り返す。なお、この判断は、移動させる画素数をコンピュータのオペレータが予め設定しておいたり、ADCエリアを構成する画素数に基づき、移動させる画素数を設定しておいたりする。そして、ステップＳ４において、画素の数が十分であると判断された場合、該充填タイル作成処理は終了される。以上に説明した充填タイル作成処理によれば、容易に充填タイルを作成することができる。

なお、元のADCエリアを並進させて設定する近隣ADCエリアは、元のADCエリアに隣接してものに限らず、元のADCエリアから離れているものであってもよい。

次に、図１３は、図１１の風車型充填タイルを採用した場合におけるパターンノイズのサンプルを示している。同図Ａは、画像全体に風車型充填タイルを敷き詰め、各風車型充填タイルが0.5σのガウス分布に従うオフセットを有するものとして、風車型充填タイル毎のオフセットの違いをグレースケールで示したものである。同図Ｂは、100×100の各画素に0.5σの独立したガウシアンノイズ（ランダムノイズ）を載せたものである。同図Ｃは、同図Ａに示された風車型のパターンノイズに、同図Ｂに示された画素毎のガウシアンノイズを足し合わせたものであり、風車型充填タイルを採用した場合におけるパターンノイズのサンプルを示している。

同図Ｃを見る限り、直ちに風車型のパターンノイズが視認できることはない程度に、風車型の境界をぼやかすことができているといえる。したがって、ADCエリアが４×４画素で構成されている場合、図１１に示された風車型充填タイルのように、染み出し量１画素でも十分に境界ぼかしの効果が期待できる。

次に、図１４は、ADCエリアが４×４画素で構成されている場合における染み出し量２画素の充填タイルの例を示している。該充填タイルについても、上述した充填タイル作成処理によって作成できる。該充填タイルは、各行の画素数と各列の画素数が揃っていること（同図の場合、２画素）が特徴である。該充填タイルのように、一つのADCが受け持つ画素を一様に分散させれば、人間の眼の特性として該充填タイルの形状が分かりにくくなることが期待できる。

＜ｎ×ｎ画素から成るADCエリアに対応する充填タイルの作成方法＞
ところで、ここまでは、ADCエリアを４×４画素としたが、実際のADCエリアは１０×１０から２０×２０画素程度が想定される。このように、ADCエリアが大きくなった場合、画素の染み出し量もより増やす必要がある。そのような充填タイルを作成する場合であっても、上述した充填タイル作成処理を適用できる。

ただし、上述した充填タイル作成処理では、充填タイルを構成する画素の粗密が適当に散らばるように調整したり、人間が認識し難い形状にしたりするという要求は満たし難い。以下には、そのような要求を満たし得る充填タイルを作成する方法について説明する。

簡単のため、ADCエリアをｎ×ｎ画素の正方形とし、画素の染み出し量も上下左右同じ画素数とした場合について説明する。ただし、ADCエリアが縦横の画素数が異なる矩形であっても以下の説明を適用できる。

図１５は、ｎ×ｎ画素のADCエリアからの画素の染み出し領域の重なり具合を示す。ADCエリアのｎ×ｎ画素の領域は、隣接するADCエリア領域からｍ画素ずつ染み込むため、元のADCエリアを９個の領域に分けて考えることにする（正確には、ｎ＝２ｍである場合には元のADCエリアを４個の領域に分けることになるが、その場合でも以下の説明を適用できる）。

まず、元のADCエリアを区分した９個の領域に対してインデックスを付与する。具体的には、中央の領域の左上のコーナ領域にＮＷ、中央の領域の上の中間領域にＵ、中央の領域の右上のコーナ領域にＮＥ、中央の領域の左の中間領域にＬ、中央の領域の右の中間領域にＲ、中央の領域の左下のコーナ領域にＳＷ、中央の領域の下の中間領域にＤ、中央の領域の右下のコーナ領域にＳＥをインデックスとして付与する。

元のADCエリアの染み出し領域を見ると、各コーナ領域ＮＷ，ＮＥ，ＳＷ，ＳＥは自身も含めて４箇所の領域を受け持つことが分かる。例えば、ＳＷ領域に注目した場合、４コーナから一回外側を同一領域が占めていることが分かる。他のコーナ領域についても同様な位置関係にある。したがって、各コーナ領域の平均充填率（画素を受け持つ割合）１／４である。

一方、中間領域Ｕ，Ｌ，Ｒ，Ｄは、染み出し領域を合わせてそれぞれ２領域を受け持つことが分かる。したがって、中間領域の平均充填率は１／２になる。

ここで、以下の説明に用いる直交タイルを定義する。直交タイルは、同一領域から、それを構成する画素の一部を選択したタイルの組み（以下、系と称する）であって、どの二つのタイルに着目しても重なる画素がない性質を持つタイルの一群を指す。ただし、ここで言うタイルは充填タイルの一部分になるものであって、いわば、部分タイル"とも言えるが、充填タイルとの混乱の恐れは少ないと考えるので、そのままタイルと称することにする。

さらに、系に属する全てのタイル使うと元の領域をぴったりと覆うことができる状態を完備と称することにする。すなわち、充填タイルを作成することは、それぞれの染み出し領域に対し完備直交系を作ることと言い換えられる。

図１６は、４×４画素からなるADCエリアに対応する、画素数が一様な各タイルで構成される完備直交系（一様完備直交系）の例を示している。ただし、完備直交系を構成する各タイルに含まれる画素数は必ずしも同じである必要はない。

図１６に示されるタイルｍ１，ｍ２，ｍ３，ｍ４は、どの二つを取り出しても直交しており、かつ、全てのタイルを重ね合わせた場合４×４画素の正方領域全体を覆っていることが直接確認できる。

図１６に示される一様完備直交系の特徴は、各タイルの各行、各列の着目した場合に、１画素だけを受け持っていることである。ｎ×ｎ画素の正方領域に対して、このような配置を求める問題はrooks problemとして知られている。なお、rookはチェスの駒の一つであり、将棋の駒である飛車と同じ動きをするので、該問題は飛車問題とも称される。

飛車問題には、ｎの階乗通りの解があることが知られている。すなわち、１番目の列に対する画素の配置がｎ通り、２番目の列に対する画素の配置が（ｎ−１）通り、３番目の列に対する画素の配置が（ｎ−２）通り、・・・、ｎ番目の列に対する画素の配置が１通りとなることから解の数がｎの階乗通りであることが容易に分かる。

なお、任意に選んだｎ飛車問題の解に対し、各列を巡回的に移動したものもｎ飛車問題の解であり、しかもその全体は完備直交系を構成することは明らかである。

例えば、図１６に示された一様完備直交系のタイルｍ１に着目する。タイルｍ１の各列には１から４の通し番号を付けて、その画素の配置と紐付ければ、他のタイルｍ２乃至ｍ４を、タイルｍ１の行番号を使って表すことができる。

図１７は、タイルｍ１の行番号を使ってタイルｍ２乃至ｍ４を表した方格表現である。

図１６と図１７から明らかなように、タイルの一様完備直交系と方格表現は１対１に対応することが明らかである。そして、ｎ飛車問題の解が完備直交である条件は、図１７の方格表現において、縦の列、横の行のどれに注目した場合でも異なる番号が１度ずつ出現していることである。このような性質を持った方格は、ラテン方格という名称で知られている。

以上のように、一様完備直交系の構成法としては、ｎ飛車問題の一つの解とｎ次のラテン方格の一つの解をそれぞれ選ぶという方法がある。

ラテン方格の構成手法としては、一つずつ巡回させるというアルゴリズムが知られている。ただし、どのような組み合わせが良いかについては十分には研究されていないものの、元のタイルに長い斜め一直線があると視認容易な巨大パターンになり易いので、そのようなタイルは避けて、出来るだけ離散的な画素で構成されているタイルを選ぶようにする。

完備直交ｎ飛車解は、ｎタイルからなる系である(各ｎ画素からなるタイルがｎ個で合わせてｎ×ｎ画素となって、領域内の画素数と一致する)。例えば、染み出し量が４画素の場合、４つのコーナに対して４タイル作れるので、そのまま配置することができる。それ以外の染み出し量では、ｎ飛車解という制約を外す必要がある。

また例えば、染み出し量が３画素以下の場合には、タイルを配置するコーナ選ぶという選択肢がある。特に、染み出し量が２画素の場合には、各コーナに１画素ずつ割り当てる完備直交系（図２１に示す）を選ぶことができる。

また例えば、染み出し量が５画素以上の場合には、完備直交系から選んだ４タイル以外のタイルの画素が抜けとなる。具体的には、染み出し量が５画素の場合の完備直交５飛車問題は、選ばれなかった一つのタイルと同じ形状が画素欠けの形状と一致する。選ばれなかった一つのタイルは、画素を分割して4 コーナのどこかに配置することになる。

なお、図１５に示された例において、同じインデックスが付与されている領域は完備直交系である必要があるが、異なるインデックスが付与されている領域で同じ完備直交系を用いる必要はない。同じインデックスを用いる場合でも、配置する順序が同じである必要はない。この自由度を用いると、同一の完備直交系から、若干異なる充填タイルを構成することができる。ただし、変形して得られる充填タイルを採用しても、境界ぼかしの効果は大きく変わるものではない。

充填タイルの染み出し領域における縦横の画素数が一定であることを制約に入れる場合は、染み出し量を４画素として一つの完備直交系から充填タイルを構成することが容易である。

図１５のｎ×ｎのADCエリアの外周に注目すると、ｎが偶数であれば、中間領域の幅ｎ−２ｍも偶数になることから、ｎ−２ｍの半分の画素を割り当てることで中間領域の一様性を実現できる。コーナ領域に注目すると、例えば一番上の領域にインデックスＳＷ，ＳＥは２回ずつ登場し、インデックスＮＷ，ＮＥは登場しない。よって、完備直交系の４つのタイルが一つずつ登場するに選択すれば、周辺画素数の一様性が満たされることになる。

図１８は、１０×１０画素のADCエリアに対し、上述の制約に従って作成した染み出し量が４画素である充填タイルの例である。なお、完備直交タイルとしては、図１６に示された一様完備直交系を用いた。また、中間エリアには、単純な格子模様のタイルを採用したが、より直線が認識しにくいタイルを採用してもよい。染み出し領域へのコーナ形状配置の仕方は、そのコーナとその対角コーナが集まる形とした。さらに、４コーナの形状は全てが登場する組み合わせを選択するようにしてもよい。

次に、図１８に示された充填タイルを採用した場合におけるパターンノイズのサンプルを示す。

図１９は、図１８に示された染み出し量４画素の充填タイルを敷き詰め、各充填タイルは0.5σのガウス分布に従うオフセットを有するものとして、充填タイル毎のオフセットの違いをグレースケールで示したものである。

図２０は、図１８の充填タイルに対応するパターンノイズに、各画素に載せた0.5σのガウシアンノイズ（ランダムノイズ）を足し合わせたものである。ただし、同図Ａはパターンノイズを0.7σ、同図Ｂはパターンノイズを0.5σ、同図Ｃはパターンノイズを0.3σ、同図Ｄはパターンノイズを0.1σとしたものであり、それぞれに足し合わせた画素のランダムノイズは、その都度発生させたものであって共通ではない。

同図Ｂが示す、画素のランダムノイズとパターンノイズがともに0.5σであるときには、よく見ればわかるという程度に充填タイルの境をぼかすことができている。同図Ｄが示す、パターンノイズが0.1σであるときには、充填タイルの境が全く気にならないことが分かる。すなわち、従来、パターンノイズを目立たなくするためには、そのノイズレベルを画素レベルの1/10以下にする必要があるとされていたが、本実施の形態における充填タイルを採用すれば、そこまでパターンノイズのノイズレベルを落とさなくてもよいといえる。

次に、図１４に示された、ADCエリアが４×４画素で構成されている場合における染み出し量２画素の充填タイルが、２×２画素の完備直交系のタイルの組み合わせによって構成できることを示す。

図２１は、２×２画素の完備直交系のタイルｍ１，ｍ２，ｍ３，ｍ４を示している。図２２は、図２１に示された完備直交系のタイルｍ１乃至ｍ４を組み合わせて、図１４の充填タイルを構成する場合の方格表現を示しており、ラテン方格となっていることが分かる。

＜充填タイルの形状の例外＞
ここまでは画面を満たす充填タイルの形状が１種類である場合について説明した。以下においては、例えば、隣り合う充填タイルが互いに補間し合うように、それぞれの形状が異なるについて説明する。

説明の出発点として一つの充填タイルを図２３に示す。図２３は、５×５画素のADCエリアに対応する染み出し量２画素の充填タイルの一例である。図２３の充填タイルは、例えば図１２を参照して説明した充填タイル作成処理によって作成できる。

次に図２４は、図２３の充填タイルを並進して４個分を組み合わせた状態を示している。図２４に示された形状を一つの充填タイルとみなせば、これは１０×１０画素のADCエリアに対応する染み出し量２画素の充填タイルが作成できたことになる。

このように、充填タイルの作成については、図１２を参照して説明した充填タイル作成処理の他に、小さな充填タイルを組み合わせて大きな充填タイルを作成することもできる。

ところで、図２４に示された大きな充填タイル内においては、任意の画素どうしを交換することができる。図２４では、黒太枠で囲った２画素が既に交換済みである。ただし、図２４に示されたように画素交換済みの大きな充填タイルを再び４個に分解しても、それらは充填タイルには成り得ない。

そこで、図２４に示された大きな充填タイルを２種類のタイルで補完できるようにすることを考える。図２４の右上のタイルに注目すると、このタイルは、左隣のタイルと下隣のタイルの２方向で画素を交換していることが分かる。これを２種類のタイルに統合するには、ADCエリアがチェスの目と同様に白黒に塗り分けられているものと仮定し、白のタイルと黒のタイルの境界面で辻褄を合せるようにする。

図２５は、この考えに基づいて競合する画素をずらして作成した２種類の相補タイルtypeＡ，typeＢである。

図２５の相補タイルtypeＡ，typeＢにおける太線で示される画素が、基本となる図２３の充填タイルからの変更箇所である。

図２５の相補タイルtypeＡの上下左右に相補タイルtypeＢを配置し、相補タイルtypeＢの上下左右に相補タイルtypeＡを配置することで、画面全体に敷き詰めることができる。

図２６は、図２５に示された相補タイルtypeＡ，typeＢを敷き詰め、各相補タイルは0.5σのガウス分布に従うオフセットを有するものとして、充填タイル毎のオフセットの違いをグレースケールで示したものである。

同図には、斜め方向のブロックノイズが視認されるが、これは基本となった充填タイルの画素が中央に菱形に集中している傾向を反映したものである。境界ぼかし能力については、その図示は省略するが、図１９の染み出し量４画素の充填タイルと大差ない結果を得ることができた。

＜まとめ＞
本実施の形態によれば、カラム型ADCにおいてはノコギリテキスチャを採用することにより画素の読み出し順序を変更し、エリア型ADCにおいては充填タイルを採用することによりイメージセンサから出力される画像に生じ得るブロック状に見えるパターンノイズを目立たなくすることができる。

なお、本開示は、画素がモノクロ信号を出力する場合のみならず、Bayer配列などのカラー信号を出力する場合や間引き読出しを行う場合などにおいても適用できる。画像処理後の画素配列において人間が視認し難いパターンになるよう、元の読出し形状を考慮しておけばよい。

なお、本明細書には、読出しデータを画素配列に並べ替える手法については言及していないが、最も単純にはフレームメモリを用い、各画素の担当エリアのアドレスを読みだすシーケンスを作ればよい。

＜充填タイル作成処理を実行するコンピュータの構成例＞
上述した充填タイル作成処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。充填タイル作成処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２７は、上述した充填タイル作成処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した充填タイル作成処理が行われる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

本開示は以下のような構成も取ることができる。
（１）
カラム毎にADC(Analog Digital Converter)が設けられているイメージセンサにおいて、
隣接する所定数のカラムにそれぞれ対応する前記所定数の前記ADCは、それぞれが対応するカラムの相互に異なる行に配置された画素から電荷信号を同時に読み出す
イメージセンサ。
（２）
隣接する所定数のカラムにそれぞれ対応する前記所定数の前記ADCは、それぞれが対応するカラムの、１カラム毎に１行ずつずらした行に配置された画素から電荷信号を同時に読み出す
前記（１）に記載のイメージセンサ。
（３）
任意のカラムに対応する前記ADCは、前記カラム以外のカラムに配置された画素からも電荷信号を読み出す
前記（１）または（２）に記載のイメージセンサ。
（４）
任意のカラムに対応する前記ADCは、複数のカラムの相互に異なる行に配置されている複数の画素から連続して電荷信号を読み出す
前記（３）に記載のイメージセンサ。
（５）
任意のカラムに対応する前記ADCは、１カラム毎に１行ずつずらした行に配置された複数の画素から連続して電荷信号を読み出す
前記（３）または（４）に記載のイメージセンサ。
（６）
イメージセンサが搭載された電子装置において、
前記イメージセンサは、カラム毎にADC(Analog Digital Converter)が設けられており、
隣接する所定数のカラムにそれぞれ対応する前記所定数の前記ADCは、それぞれが対応するカラムの相互に異なる行に配置された画素から電荷信号を同時に読み出す
電子装置。
（７）
複数の画素から成るエリア毎にADC(Analog Digital Converter)が設けられているイメージセンサにおいて、
一つの前記ADCによって電荷信号が読み出される画素の配置は、並進によって同一座標の画素を重複せずに画面を覆う充填タイル状である
イメージセンサ。
（８）
前記充填タイルは、並進によって同一座標の画素を重複せずに前記画面の周辺を除く、前記画面の全体を覆う
前記（７）に記載のイメージセンサ。
（９）
イメージセンサが搭載された電子装置において、
前記イメージセンサは、複数の画素から成るエリア毎にADC(Analog Digital Converter)が設けられており、
一つの前記ADCによって電荷信号が読み出される画素の配置は、並進によって同一座標の画素を重複せずに画面を覆う充填タイル状である
電子装置。
（１０）
エリア型ADC(Analog Digital Converter)が担当する画素の配置を表す充填タイルの作成方法において、
情報処理装置による、
元となるADCエリアを成すｎ×ｎ画素に対してインデックスを付与する第１の付与ステップと、
前記元となるADCエリアを並進した近隣ADCエリアの各画素に対して、前記元となるADCエリアと同一の前記インデックスを付与する第２の付与ステップと、
前記元となるADCエリアの任意の数の画素を、前記近隣ADCエリアにおける同一のインデックスが付与されている画素の位置に移動する移動ステップと
を含む充填タイルの作成方法。

１０ ノコギリテキスチャ， １１ 選択信号配線， ２１ VSL， ２２ 切り替えスイッチ， ３１ 充填タイル， ２００ コンピュータ， ２０１ CPU

Claims (6)

1. カラム毎にADC(Analog Digital Converter)が設けられているイメージセンサにおいて、
   第１の画素、前記第１の画素の斜め上方向に隣接する第２の画素、および前記第１の画素の斜め下方向に隣接する第３の画素に接続されている選択信号線と、
   前記第１の画素に接続されている第１の垂直信号線、前記第２の画素に接続されている第２の垂直信号線、前記第３の画素に接続されている第３の垂直信号線と、
   前記第１乃至第３の垂直信号線のうち接続先を切り替えるスイッチと、
   前記スイッチにより接続された前記垂直信号線と接続される前記ADCと
   を備え、
   隣接する所定数のカラムにそれぞれ対応する所定数の前記ADCは、それぞれが対応するカラムの相互に異なる行に配置された前記第１乃至第３の画素から電荷信号を同時に読み出す
   イメージセンサ。
2. 隣接する所定数のカラムにそれぞれ対応する前記所定数の前記ADCは、それぞれが対応するカラムの、１カラム毎に１行ずつずらした行に配置された画素から電荷信号を同時に読み出す
   請求項１に記載のイメージセンサ。
3. 任意のカラムに対応する前記ADCは、前記カラム以外のカラムに配置された画素からも電荷信号を読み出す
   請求項２に記載のイメージセンサ。
4. 任意のカラムに対応する前記ADCは、複数のカラムの相互に異なる行に配置されている複数の画素から連続して電荷信号を読み出す
   請求項３に記載のイメージセンサ。
5. 任意のカラムに対応する前記ADCは、１カラム毎に１行ずつずらした行に配置された複数の画素から連続して電荷信号を読み出す
   請求項３に記載のイメージセンサ。
6. イメージセンサが搭載された電子装置において、
   前記イメージセンサは、カラム毎にADC(Analog Digital Converter)が設けられており、
   第１の画素、前記第１の画素の斜め上方向に隣接する第２の画素、および前記第１の画素の斜め下方向に隣接する第３の画素に接続されている選択信号線と、
   前記第１の画素に接続されている第１の垂直信号線、前記第２の画素に接続されている第２の垂直信号線、前記第３の画素に接続されている第３の垂直信号線と、
   前記第１乃至第３の垂直信号線のうち接続先を切り替えるスイッチと、
   前記スイッチにより接続された前記垂直信号線と接続される前記ADCと
   を備え、
   隣接する所定数のカラムにそれぞれ対応する所定数の前記ADCは、それぞれが対応するカラムの相互に異なる行に配置された前記第１乃至第３の画素から電荷信号を同時に読み出す
   電子装置。

Images