JP4968662B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像素子から出力された画像を処理する画像処理装置に関する。

カラー画像を取得可能なデジタルスチルカメラでは一般に、撮像素子が備える複数の受光セル（受光画素）のそれぞれには例えばＲＧＢの色成分に対応するフィルタのいずれかのみが付されている。したがって、一つの受光セルでは、ＲＧＢのうちの一つの色成分の値のみを示す画素信号が取得される。このため、周辺の画素信号に基づいた補間処理によって、欠落している色成分の値を生成する色補間処理が行われ、各画素信号がＲＧＢの全ての色成分の値を有する画像を得るようになっている（例えば、特許文献１参照。）。

特開２００４−１８００５９号公報

ところで近年、撮像素子の高画素化に伴い、全ての画素信号の出力完了までに長時間を要するようになってきており、このような出力時間の大幅な短縮が要望されている。このため、撮像素子の各受光セルを複数のグループに区分し、各グループに属する受光セルの画素信号を並列的に読み出し、それぞれ部分画像として出力する撮像素子が提案されている。またさらには、グループによっては、受光セルの二次元配列において水平あるいは垂直に並ぶ順序のいずれか一つについて反対の順序で順次に画素信号が出力される撮像素子も提案されている。

このような撮像素子からグループごとに出力された複数の部分画像は、最終的には一つの画像に合成する必要がある。特に、上記の色補間処理を行うためには周辺の画素信号が必要となるため、色補間処理を行う前に、画素信号を得る順序がこれに対応する受光セルの並ぶ順序と同一となる画像を生成する必要がある。

本発明は、上記課題に鑑みてなされたものであり、画素信号を受光セルの二次元配列に整合した順序で得て、その後の画像処理を容易にすることができる画像処理装置を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、それぞれ複数のグループのいずれかに属する複数の受光セルを第１方向及び第２方向の二次元配列に配置して有し、前記複数の受光セルから出力された画素信号を前記複数のグループごとに出力し、前記複数のグループのうちの一に属する前記複数の受光セルからの前記画素信号は、自身に対応する前記複数の受光セルが前記二次元配列において前記第１方向に並ぶ順序及び前記第２方向に並ぶ順序の少なくともいずれか一つについて反対の順序で順次に出力される撮像素子と、アドレスと対応付けて前記画素信号を記憶するメモリと、の間で前記画素信号の転送を制御する画像処理装置であって、前記撮像素子では、各水平ラインにおいて、当該水平ラインに存在する複数の受光セルが、当該受光セルが属するグループが順番に繰り返して変化するように配置されており、前記複数の受光セルからの前記画素信号を、前記アドレスを操作しながら、前記複数のグループごとに、当該画素信号に対応する前記複数の受光セルが前記二次元配列において前記第１方向に並ぶ順序もしくは前記第２方向に並ぶ順序に従って順次に転送する転送手段と、前記二次元配列における前記複数のグループの配列順序に従って、前記画素信号を選択的に順次に出力する選択手段と、を備えている。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記転送手段は、前記複数のグループに係る部分画像を前記メモリから読み出す手段である。

また、請求項３の発明は、請求項１に記載の画像処理装置において、前記転送手段は、前記複数のグループに係る部分画像を前記メモリに書き込む手段である。

また、請求項４の発明は、それぞれ複数のグループのいずれかに属する複数の受光セルを第１方向及び第２方向の二次元配列に配置して有し、前記複数の受光セルから出力された画素信号を前記複数のグループごとに出力し、前記複数のグループのうちの一に属する前記複数の受光セルからの前記画素信号は、自身に対応する前記複数の受光セルが前記二次元配列において前記第１方向に並ぶ順序及び前記第２方向に並ぶ順序の少なくともいずれか一つについて反対の順序で順次に出力される撮像素子と、アドレスと対応付けて前記画素信号を記憶するメモリと、の間で前記画素信号の転送を制御する画像処理装置であって、前記複数の受光セルからの前記画素信号を、前記アドレスを操作しながら、前記複数のグループごとに、当該画素信号に対応する前記複数の受光セルが前記二次元配列において前記第１方向に並ぶ順序もしくは前記第２方向に並ぶ順序に従って順次に転送する転送手段と、前記二次元配列における前記複数のグループの配列順序に従って、前記画素信号を選択的に順次に出力する選択手段と、を備え、前記転送手段は、前記複数のグループに係る部分画像を前記メモリから読み出す手段であって、前記撮像素子の任意の隣接する２つの水平ラインにおいて、前記複数のグループのうちの半数のグループに属する受光セルは一方の水平ラインに存在し、残りの半数のグループに属する受光セルは他方の水平ラインに存在しており、前記転送手段は、前記グループの数の半数のチャネル装置を有し、それぞれのチャネル装置は、２つのグループに係る部分画像の一の水平ライン分の画素信号を交互に転送する。

請求項１ないし４の発明によれば、一のグループに属する受光セルからの画素信号が、二次元配列において第１方向に並ぶ順序及び第２方向に並ぶ順序の少なくともいずれか一つについて反対の順序で順次に出力される場合、当該画素信号は転送手段によって転送される順序が、対応する受光セルが二次元配列において第１方向に並ぶ順序もしくは第２方向に並ぶ順序に従う。そして、グループ毎に出力された画素信号は、選択手段によって当該グループの配列順序に従って選択される。従って、請求項１に記載された撮像素子が採用される場合であっても、画素信号は受光セルの二次元配列に整合した順序で選択手段から得ることができ、以てその後の画像処理を容易にする。

また、特に請求項４の発明によれば、チャネル装置が２つのグループに兼用されるため、転送手段のチャネル装置の数を少なくすることができる。

以下では、本発明の実施の形態に係る画像処理装置が適用される装置の一例として撮像装置であるデジタルスチルカメラについて説明する。

＜１．デジタルスチルカメラの概要＞
図１は、デジタルスチルカメラ１の概略構成を示すブロック図である。このデジタルスチルカメラ１は、被写体を撮影してデジタルの画像を取得し、可搬性の記録媒体であるメモリカード９に記録する機能を有している。

図に示すように、デジタルスチルカメラ１は、光学系３１と撮像素子１０とアナログ信号処理回路３２とを、画像を取得するための画像取得手段として備えている。

光学系３１は、入射した光線を結像し、撮像素子１０の受光部１９に被写体の光像を形成する。撮像素子１０は、ＣＣＤセンサで構成され、その受光部１９は二次元に配列された複数の受光セル（受光画素）１１で構成されている。フォトダイオードで構成される受光セル１１では、光電変換により受光量に応じた大きさの電荷としての画素信号が取得される。受光部１９に形成された光像はこれらの受光セル１１によってアナログの画像に変換され、かかるアナログの画像が撮像素子１０から出力される。

複数の受光セル１１のそれぞれにはＲＧＢのいずれかの色成分のフィルタが付されており、各受光セル１１では付された色成分のみに係る画素信号が取得される。図中に例示する如く、これらのフィルタのＲＧＢの配列はベイヤー配列となっている。また、撮像素子１０は、画像の出力時間の短縮のため、１回の露光によって得られた１つの画像を４つの部分画像に分離して出力するようになっているが詳細は後述する。

アナログ信号処理回路３２は、撮像素子１０から出力されたアナログの画像に対してノイズの除去や信号レベルの調整などを行う。また、アナログ信号処理回路３２は、Ａ／Ｄ変換機能を有し、各画素信号の大きさをデジタル値に変換する。これにより、アナログの画像がデジタルの画像に変換される。

また、デジタルスチルカメラ１は、このようにして取得されるデジタルの画像を処理する画像処理装置２と、デジタルの画像を記憶する主メモリ３４とを備えている。

画像処理装置２は、画像処理に係る各種の機能回路をチップ化したＬＳＩで構成されている。図中に示す単一画素処理部２１、色補間部２２及び画像圧縮部２３は、画像処理装置２が備える主たる画像処理機能を示している。

単一画素処理部２１は、画素信号単位で画像を処理するものであり、画像に対してシェーディング補正処理などを行う。色補間部２２は、画像の各画素信号がＲＧＢの３つの色成分を有するように、各画素信号に欠落している色成分の値を周辺の画素信号の値に基づいて補間により生成する色補間処理を行う。また、画像圧縮部２３は、画像を圧縮してＪＰＥＧ形式などに変換し、画像のデータ量を削減する圧縮処理を行う。

主メモリ３４は、ＤＲＡＭで構成されており、画像処理装置２によって処理された画像の各画素信号をアドレスと対応付けて記録する。画像処理装置２との主メモリ３４との間の画像の転送には、バス３９が利用される。

さらに、デジタルスチルカメラ１は、装置全体を制御するＭＰＵ３３と、各種情報を表示するＬＣＤなどの表示装置３７と、メモリカード９への画像の記録や読み出しをするカードＩ／Ｆ３５と、表示装置３７に画像を表示させる表示Ｉ／Ｆ３６とを備えている。ＭＰＵ３３、カードＩ／Ｆ３５及び表示Ｉ／Ｆ３６もバス３９に接続されており、主メモリ３４に記録された画像等を取り扱うことが可能となっている。また、図示は省略するが、デジタルスチルカメラ１は、シャッタボタンや設定ボタンなど一般的なデジタルスチルカメラが通常備える操作部材も備えている。

ここで、デジタルスチルカメラ１の動作について簡単に説明する。図２は、デジタルスチルカメラ１の撮影動作の流れを示す図である。この動作は、ユーザのシャッタボタンの押下に応答して開始される。

まず、撮像素子１０で露光がなされ（ステップＳ１）、撮像素子１０からアナログの画像が出力される。このアナログの画像は、アナログ信号処理回路３２により所定の処理がなされてデジタルの画像に変換された後、画像処理装置２に出力される（ステップＳ２）。

次に、アナログ信号処理回路３２から出力された画像は、画像処理装置２の単一画素処理部２１に直接入力される。そして、画像は、単一画素処理部２１によりシェーディング補正処理などがなされた後、バス３９を介して主メモリ３４に書き込まれる（ステップＳ３）。

次に、画像は、バス３９を介して主メモリ３４から読み出され、色補間部２２に入力される。色補間部２２では画像に色補間処理がなされ、処理後の画像はバス３９を介して主メモリ３４に書き込まれる（ステップＳ４）。

次に、画像は、バス３９を介して主メモリ３４から読み出され、画像圧縮部２３に入力される。画像圧縮部２３では画像に圧縮処理がなされ、処理後の画像はバス３９を介して主メモリ３４に書き込まれる（ステップＳ５）。

このようにして画像処理装置２により処理された画像は記録可能な画像形式となっており、カードＩ／Ｆ３５によりメモリカード９に記録される（ステップＳ６）。メモリカード９に記憶された画像は、適宜メモリカード９から読み出して、表示Ｉ／Ｆ３６を介して表示装置３７に表示することも可能となる。

＜２．撮像素子＞
前述のように撮像素子１０は、１回の露光によって得られた１つの画像（全体画像）を４つの部分画像に分離して出力する。以下、この撮像素子１０について説明する。

図３は、撮像素子１０の構成を示す図である。撮像素子１０の受光部１９を構成する複数の受光セル１１のそれぞれは、Ａグループ、Ｂグループ、Ｃグループ、Ｄグループの４つのグループに区分されている。図中のＡ，Ｂ，Ｃ，Ｄの記号は、各受光セルが属するグループを示している。

図に示すように、水平ライン（受光セル１１の水平方向の列）に注目すると、図中左からＡグループ，Ｂグループ，Ｃグループ，Ｄグループがこの順で繰り返されるように各グループに属する受光セル１１が配置されている。したがって、水平ラインには４つの受光セル１１に１つの割合で同一グループに属する受光セル１１が存在している。また、受光セル１１の垂直方向の列にはそれぞれ、同一グループに属する受光セル１１のみが配置される。撮像素子１０は、これら４つのグループに属する受光セル１１の画素信号を並列的に出力できるように、それぞれのグループに対応して独立した４つの出力系統を備えている。

第１の出力系統は、Ａグループの受光セル１１の画素信号を出力するものであり、垂直転送部１２ａと水平転送部１３ａとを備えて構成される。垂直転送部１２ａは、Ａグループに属する受光セル１１からなる垂直方向の列にそれぞれ配置され、各受光セル１１から画素信号を読み出して図中上方向に転送する。また、水平転送部１３ａは、各垂直転送部１２ａによって転送された画素信号をさらに図中左方向に転送する。

第２の出力系統は、Ｂグループの受光セル１１の画素信号を出力するものであり、垂直転送部１２ｂと水平転送部１３ｂとを備えて構成される。垂直転送部１２ｂは、Ｂグループに属する受光セル１１からなる垂直方向の列にそれぞれ配置され、各受光セル１１から画素信号を読み出して図中上方向に転送する。また、水平転送部１３ｂは、各垂直転送部１２ｂによって転送された画素信号をさらに図中右方向に転送する。

第３の出力系統は、Ｃグループの受光セル１１の画素信号を出力するものであり、垂直転送部１２ｃと水平転送部１３ｃとを備えて構成される。垂直転送部１２ｃは、Ｃグループに属する受光セル１１からなる垂直方向の列にそれぞれ配置され、各受光セル１１から画素信号を読み出して図中下方向に転送する。また、水平転送部１３ｃは、各垂直転送部１２ｃによって転送された画素信号をさらに図中左方向に転送する。

第４の出力系統は、Ｄグループの受光セル１１の画素信号を出力するものであり、垂直転送部１２ｄと水平転送部１３ｄとを備えて構成される。垂直転送部１２ｄは、Ｄグループに属する受光セル１１からなる垂直方向の列にそれぞれ配置され、各受光セル１１から画素信号を読み出して図中下方向に転送する。また、水平転送部１３ｄは、各垂直転送部１２ｄによって転送された画素信号をさらに図中右方向に転送する。

これらの４つの出力系統は、相互に独立して画素信号を転送可能となっている。４つの出力系統からそれぞれ出力される画素信号は一つの部分画像を構成する。したがって、撮像素子１０からは４つのグループにそれぞれ対応する４つの部分画像が独立して出力されることになる。

また、４つの出力系統は、受光セル１１の配列を基準としての画素信号の転送方向が互い異なる。これにより、４つの部分画像のうち３つは、対応する受光セル１１の水平方向に並ぶ順序及び垂直方向の並ぶ順序の少なくともいずれか一つについて反対の順序で画素信号が出力される。

図４は、各部分画像５１ａ〜５１ｄを概念的に示す図である。なお、以下の図中においては、画像の水平方向をＸ軸方向で示し、垂直方向をＹ軸方向で示すこととする。図４では、画素信号が出力される順序に従って、画素信号を並べて得られる画像として部分画像５１ａ〜５１ｄを示した。本実施の形態では、画素信号を画像として表現する場合には、左上端部から右端部に向かい、次に１つ下の水平ライン（画素信号の水平方向の列）において同様に左端部から右端部に向かい、さらに１つ下の水平ラインにおいても同様に左端部から右端部に向かう…という順序に、連続する画素信号を順次に並べるものとする。以下、このような画像として表現した場合の画素信号の並びを単に「画素信号の並び」と称する。また、信号列として表現した場合の画素信号の順序を「画素信号の信号順序」と称する。

図中の中央部の画像は、受光部１９を構成する全ての受光セル１１で得られる全体画像５０である。この全体画像５０の画素信号の水平及び垂直方向に並ぶ順序には、対応する受光セル１１が水平及び垂直方向に並ぶ順序がそのまま反映される。本実施の形態では、受光部１９が水平Ｍ×垂直Ｎ（例えば、水平２８８０×垂直２１６０）の受光セル１１で構成されている。このため、全体画像５０も水平Ｍ×垂直Ｎの画素信号で構成される。また、上述のように水平方向において４つに１つの割合で同一グループに属する受光セル１１が存在することから、ｍ＝Ｍ／４とすると、各部分画像５１ａ〜５１ｄは水平ｍ×垂直Ｎの画素信号で構成されることになる。

図に示すように、Ａグループに係る部分画像５１ａは、画素信号の並ぶ順序が全体画像５０の対応する画素信号と同一に出力される。しかしながら、Ｂグループに係る部分画像５１ｂは、画素信号の並ぶ順序は全体画像５０の対応する画素信号に対して水平方向で反対に出力される。また、Ｃグループに係る部分画像５１ｃは、画素信号の並ぶ順序が全体画像５０の対応する画素信号に対して垂直方向で反対に出力される。さらに、Ｄグループに係る部分画像５１ｃは、画素信号の並ぶ順序が全体画像５０の対応する画素信号に対して水平及び垂直の双方向に関して反対に出力される。

以下、このように出力される原理を図５のモデルを用いて説明する。図５の中央部分は、全体画像５０のモデルを示している。この全体画像５０は水平１２×垂直３の３６の画素信号で構成されている。これらの画素信号は記号を付して識別する。具体的には、Ａグループに係る画素信号にはＡｋ（ｋ＝１〜９）、Ｂグループに係る画素信号にはＢｋ、Ｃグループに係る画素信号にはＣｋ、Ｄグループに係る画素信号にはＤｋの記号をそれぞれ付している。各グループの記号のｋ（ｋ＝１〜９）は、上述した画素信号を並べる順序で増加するようにしている。

図に示すように、Ａグループに係る画素信号は左上から順に「Ａ１，Ａ２，Ａ３，Ａ４，Ａ５，Ａ６，Ａ７，Ａ８，Ａ９」の信号順序で出力される。このため、この信号順序の部分画像５１ａは図６のように示され、部分画像５１ａの画素信号の水平及び垂直方向に並ぶ順序は、全体画像５０の対応する画素信号と同一である。

また、Ｂグループに係る画素信号は右上から順に「Ｂ３，Ｂ２，Ｂ１，Ｂ６，Ｂ５，Ｂ４，Ｂ９，Ｂ８，Ｂ７」の信号順序で出力される。このため、この信号順序の部分画像５１ｂは図７のように示される。図に示すように、この部分画像５１ｂの画素信号の水平及び垂直方向に並ぶ順序は、全体画像５０の対応する画素信号に対して水平方向で逆となる。

また、Ｃグループに係る画素信号は左下から順に「Ｃ７，Ｃ８，Ｃ９，Ｃ４，Ｃ５，Ｂ６，Ｃ１，Ｃ２，Ｃ３」の信号順序で出力される。このため、この信号順序の部分画像５１ｃは図８のように示される。図に示すように、この部分画像５１ｃの画素信号の水平及び垂直方向に並ぶ順序は、全体画像５０の対応する画素信号に対して垂直方向で逆となる。

また、Ｄグループに係る画素信号は右下から順に「Ｄ９，Ｄ８，Ｄ７，Ｄ６，Ｄ５，Ｄ４，Ｄ３，Ｄ２，Ｄ１」の信号順序で出力される。このため、この信号順序の部分画像５１ｄは図９のように示される。図に示すように、この部分画像５１ｄの画素信号の水平及び垂直方向に並ぶ順序は、全体画像５０の対応する画素信号に対して水平及び垂直方向の双方で逆となる。

前述した図２のステップＳ４の色補間処理には、ある画素信号に欠落している色成分の値を求めるのに、当該画素信号の周辺の８つの画素信号が必要となる。この周辺の画素信号とは、画素信号を受光セル１１に対応させた場合にその受光セル１１の周辺に配置された受光セル１１で得られた画素信号のことである。このため、色補間処理を行うまでに、４つの部分画像５１ａを合成し、受光セル１１の配置を直接的に反映した全体画像５０と同一の合成画像を生成する必要がある。デジタルスチルカメラ１では、この合成画像を生成する機能を画像処理装置２が有している。

＜３．合成画像の生成＞
図１０は、合成画像を生成する機能に関連する構成を示す図である。図に示すように、画像処理装置２は、単一画素処理部２１で処理された画像を主メモリ３４に書き込むデータ書込部２４と、主メモリ３４から画像を読み出すデータ読出部２５とを有している。

撮像素子１０からグループ毎に出力された４つの部分画像５１ａ〜５１ｄは、それぞれ独立してアナログ信号処理回路３２と単一画素処理部２１とで処理され、データ書込部２４には４つの部分画像５１ａ〜５１ｄが並列的に入力される。このため、データ書込部２４は、４つの部分画像５１ａ〜５１ｄをそれぞれ並列して主メモリ３４に転送できるように、４つのチャネル装置２４ａ〜２４ｄを備えている。

チャネル装置２４ａ〜２４ｄのそれぞれは、一つのＤＭＡチャンネルを形成し、主メモリ３４との間で画像のＤＭＡ転送（図１に示したＭＰＵ３３の処理を介さないデータ転送）を行う。各チャネル装置２４ａ〜２４ｄには、データ転送用のバッファメモリとなるＦＩＦＯが設けられており、このＦＩＦＯに格納されたデータが図１に示したバス３９を介して順次に転送される。

これらのチャネル装置２４ａ〜２４ｄによる転送により、部分画像５１ａ〜５１ｄはそれぞれ主メモリ３４に予め確保されたバッファ３４ａ〜３４ｄに書き込まれる。具体的には、Ａグループに係る部分画像５１ａはチャネル装置２４ａによりＡバッファ３４ａに、Ｂグループに係る部分画像５１ｂはチャネル装置２４ｂによりＢバッファ３４ｂに、Ｃグループに係る部分画像５１ｃはチャネル装置２４ｃによりＣバッファ３４ｃに、Ｄグループに係る部分画像５１ｄはチャネル装置２４ｄによりＤバッファ３４ｄにそれぞれ格納される。

主メモリ３４のいずれのアドレスに書き込むか等の転送に必要な情報を示す転送情報は、予めＭＰＵ３３によりチャネル装置２４ａ〜２４ｄに与えられ、各チャネル装置２４ａ〜２４ｄが備えるレジスタに記憶されている。この転送情報には、転送時に主メモリ３４のアドレスを増加（インクリメント）するか減少（デクリメント）するかの方向（以下、「アドレス方向」という。）も指定される。チャネル装置２４ａ〜２４ｄへの転送情報では、アドレス方向が「インクリメント」に指定される。このため、アドレスが増加する方向に従って順次にその記憶内容をみれば各部分画像５１ａ〜５１ｄにおける画素信号の信号順序はそのまま維持される。

このようにして主メモリ３４に書き込まれた部分画像５１ａ〜５１ｄは、データ読出部２５により読み出される。データ読出部２５も、４つの部分画像５１ａ〜５１ｄをそれぞれ並列して主メモリ３４から転送できるように、４つのチャネル装置２５ａ〜２５ｄを備えている。

これらのチャネル装置２５ａ〜２５ｄのそれぞれも、一つのＤＭＡチャンネルを形成し、主メモリ３４との間で画像のＤＭＡ転送を行う。各チャネル装置２５ａ〜２５ｄには、データ転送用のバッファメモリとなるＦＩＦＯが設けられており、バス３９を介して転送されたデータはこのＦＩＦＯに順次に格納される。

これらのチャネル装置２５ａ〜２５ｄによる転送により、部分画像５１ａ〜５１ｄはそれぞれ主メモリ３４のバッファ３４ａ〜３４ｄから読み出される。この読み出しの際には、部分画像５１ｂ〜５１ｄの画素信号については、全体画像５０の対応する画素信号の水平及び垂直方向に並ぶ順序（対応する受光セル１１が水平及び垂直方向に並ぶ順序）に従って読み出され、画素信号の信号順序が変更される。これにより、各部分画像５１ａ〜５１ｄの画素信号の水平及び垂直方向に並ぶ順序が、全体画像５０の対応する画素信号の水平及び垂直方向に並ぶ順序と一致されるようになっている。この転送に必要な始点アドレスやアドレス方向等を示す転送情報は、予めＭＰＵ３３によりチャネル装置２５ａ〜２５ｄに与えられ、各チャネル装置２５ａ〜２５ｄが備えるレジスタに記憶されている。そして、各チャネル装置２５ａ〜２５ｄが、かかる転送情報に従ったアドレスの操作を伴う転送を行うことで、画素信号の信号順序を制御することになる。

Ａグループに対応するチャネル装置２５ａでは、部分画像５１ａのデータの先頭のアドレスが始点アドレスに指定され、アドレス方向に「インクリメント」が指定されて、部分画像５１ａの全ての画素信号が読み出される。

この読み出しを、上記モデルの部分画像５１ａ（図６参照。）を用いて説明する。図１１の左側は、このモデルの部分画像５１ａがＡバッファ３４ａに格納された状態を示している。チャネル装置２５ａにより、データの先頭のアドレスＡａを始点として、アドレスが増加する方向に順次に全ての画素信号が読み出される（ステップＳａ）。これにより、部分画像５１ａはその画素信号の信号順序が変更されずに読み出される。したがって、図１１の右側に示すように、この部分画像５１ａの画素信号の水平及び垂直方向に並ぶ順序は、全体画像５０の対応する画素信号と一致する。

Ｂグループに対応するチャネル装置２５ｂでは、部分画像５１ｂのデータの先頭のアドレスにｍ個（ｍ＝水平ラインの画素信号数）の画素信号分のアドレスを加算した結果が始点アドレスに指定され、アドレス方向に「デクリメント」が指定されて、ｍ個の画素信号（つまり、一の水平ライン）が読み出される。続いて、その最終アドレスにｍ×２個の画素信号分のアドレスが加算された結果が次の始点アドレスに指定され、アドレス方向に「デクリメント」が指定されて、次の水平ラインが読み出される。以降、水平ラインごとに同様の読み出しが繰り返され、部分画像５１ｂの全ての画素信号が読み出される。

この読み出しを、上記モデルの部分画像５１ｂ（図７参照。）を用いて説明する。図１２の左側は、このモデルの部分画像５１ｂがＢバッファ３４ｂに格納された状態を示している。チャネル装置２５ｂにより、まず、データの先頭のアドレスＡｂ０に３画素信号分（この場合、ｍ＝３）のアドレスを加算したアドレスＡｂ１を始点とし、アドレスが減少する方向に、最初の水平ラインである３個の画素信号（Ｂ１，Ｂ２，Ｂ３）が読み出される（ステップＳｂ１）。

次に、この読み出しの最終アドレスＡｂ０に３×２画素信号分のアドレスを加算したアドレスＡｂ２を始点とし、アドレスが減少する方向に、次の水平ラインである３個の画素信号（Ｂ４，Ｂ５，Ｂ６）が読み出される（ステップＳｂ２）。さらに、この読み出しの最終アドレスＡｂ１に３×２画素信号分のアドレスを加算したアドレスＡｂ３を始点とし、アドレスが減少する方向に、次の水平ラインである３個の画素信号（Ｂ７，Ｂ８，Ｂ９）が読み出される（ステップＳｂ３）。

これにより、部分画像５１ｂの画素信号の信号順序は「Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７，Ｂ８，Ｂ９」に変更される。図１２の右側に示すように、この部分画像５１ｂの画素信号の水平及び垂直方向に並ぶ順序は、全体画像５０の対応する画素信号と一致することになる。

Ｃグループに対応するチャネル装置２５ｃでは、部分画像５１ｃのデータの最終のアドレスからｍ個の画素信号分のアドレスを減算した結果が始点アドレスに指定され、アドレス方向に「インクリメント」が指定されて、ｍ個の画素信号（つまり、一の水平ライン）が読み出される。続いて、その最終アドレスからｍ×２個の画素信号分のアドレスが減算された結果が次の始点アドレスに指定され、アドレス方向に「インクリメント」が指定されて、次の水平ラインが読み出される。以降、水平ラインごとに同様の読み出しが繰り返され、部分画像５１ｃの全ての画素信号が読み出される。

この読み出しを、上記モデルの部分画像５１ｃ（図８参照。）を用いて説明する。図１３の左側は、このモデルの部分画像５１ｃがＣバッファ３４ｃに格納された状態を示している。チャネル装置２５ｃにより、まず、データの最終のアドレスＡｃ０から３画素信号分のアドレスを減算したアドレスＡｃ１を始点とし、アドレスが増加する方向に、最初の水平ラインである３個の画素信号（Ｃ１，Ｃ２，Ｃ３）が読み出される（ステップＳｃ１）。

次に、この読み出しの最終アドレスＡｃ０から３×２画素信号分のアドレスを減算したアドレスＡｃ２を始点とし、アドレスが増加する方向に、次の水平ラインである３個の画素信号（Ｃ４，Ｃ５，Ｃ６）が読み出される（ステップＳｃ２）。さらに、この読み出しの最終アドレスＡｃ１から３×２画素信号分のアドレスを減算したアドレスＡｃ３を始点とし、アドレスが増加する方向に、次の水平ラインである３個の画素信号（Ｃ７，Ｃ８，Ｃ９）が読み出される（ステップＳｃ３）。

これにより、部分画像５１ｃの画素信号の信号順序は「Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９」に変更される。図１３の右側に示すように、この部分画像５１ｃの画素信号の水平及び垂直方向に並ぶ順序は、全体画像５０の対応する画素信号と一致することになる。

Ｄグループに対応するチャネル装置２５ｄでは、部分画像５１ｄのデータの最終のアドレスが始点アドレスに指定され、アドレス方向に「デクリメント」が指定されて、部分画像５１ｄの全ての画素信号が読み出される。

この読み出しを、上記モデルの部分画像５１ａ（図９参照。）を用いて説明する。図１４の左側は、このモデルの部分画像５１ｄがＤバッファ３４ｄに格納された状態を示している。チャネル装置２５ｄにより、データの最終のアドレスＡｄを始点として、アドレスが減少する方向に順次に全ての画素信号が読み出される（ステップＳｄ）。これにより、部分画像５１ｄの画素信号の信号順序は反転され、「Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７，Ｄ８，Ｄ９」に変更される。図１４の右側に示すように、この部分画像５１ｄの画素信号の水平及び垂直方向に並ぶ順序は、全体画像５０の対応する画素信号と一致することになる。

以上のような読み出しにより、Ａ〜Ｄグループに係る部分画像５１ａ〜５１ｄの全ての画素信号の水平及び垂直方向の並ぶ順序は全体画像５０の対応する画素信号の並ぶ順序と一致する。これらの部分画像５１ａ〜５１ｄの読み出しは並列してなされる。この際、Ａ，Ｄグループに関しては画素信号の全てを一度に読み出すことができ、また、Ｂ，Ｃグループに関しては画素信号を水平ライン分ごとに読み出すことができる。つまり、部分画像５１ａ〜５１ｄの読み出しにおいては、少なくとも水平ラインごとのアドレスの操作を行えばよいことになる。これは、撮像素子１０から読み出された部分画像５１ｂ〜５１ｄと全体画像５０との画素信号の配列の相違が、回転ではなく、水平及び垂直方向に並ぶ順序であることに起因する。

図１０に戻り、全体画像５０と画素信号の並ぶ順序が一致した後の４つの部分画像５１ａ〜５１ｄは、その信号順序を維持したままそれぞれ画像処理装置２が備えるセレクタ２６に入力される。画像処理装置２はさらに、セレクタ２６を制御するセレクタ制御部２７を備えている。セレクタ２６は、セレクタ制御部２７からの制御信号に基づいて、部分画像５１ａ〜５１ｄの画素信号のうちから一画素信号ずつ選択して出力する。これにより、選択された画素信号は連結されていき、一の合成画像５２を形成することになる。

また、セレクタ制御部２７は、レジスタ２８を備えており、このレジスタ２８には撮像素子１０の受光部１９において各受光セル１１が属するグループの配列順序を示すグループ情報がＭＰＵ３３から予め与えられて記録されている。具体的には、グループ情報には、「Ａ，Ｂ，Ｃ，Ｄ，Ａ，Ｂ，Ｃ，Ｄ…」という内容が記録されている。

セレクタ制御部２７は、このグループ情報に従ったグループに係る部分画像に含まれる画素信号を選択するようにセレクタ２６に指示を行う。このような制御により、セレクタ２６からは、全体画像５０と画素信号の信号順序が同一となる合成画像５２が出力されることになる。

図１５は、このようなセレクタ２６の処理を上記モデルを用いて説明する図である。前述のように、セレクタ２６には４つの部分画像５１ａ〜５１ｄが入力され、これらの画素信号の水平及び垂直方向の並ぶ順序は全て全体画像５０の対応する画素信号と一致している。

セレクタ２６は、これらの部分画像５１ａ〜５１の画素信号を先頭の画素信号から順に選択する。この選択の順序は、「Ａ，Ｂ，Ｃ，Ｄ…」というグループ情報に従うものとなる。このため、図に示すように、「Ａ１，Ｂ１，Ｃ１，Ｄ１，Ａ２，Ｂ２，Ｃ２，Ｄ２，Ａ３，Ｂ３，Ｃ３，Ｄ３…」と画素信号が連結されていくことになる。このようにして生成される合成画像５２の画素信号の信号順序は、図５に示す全体画像５０と一致している。つまり、実質的に全体画像５０が再構成されることになり、画素信号の信号順序が受光セル１１の二次元配列に整合した合成画像５２が得られることになる。

生成された合成画像５２は、色補間部２２に入力され色補間処理がなされた後、別途に画像処理装置２が備えるチャネル装置２９によって主メモリ３４に転送されることになる（図１０参照。）。

以上のように、本実施の形態の画像処理装置２では、まず、一のグループに属する受光セル１１からの画素信号が、二次元配列において水平方向に並ぶ順序及び垂直方向に並ぶ順序の少なくともいずれか一つについて反対の順序で順次に出力される場合、当該画素信号はデータ読出部２５によって転送される順序が、対応する受光セル１１が二次元配列において水平方向に並ぶ順序及び垂直方向に並ぶ順序に従う。そして、グループ毎に出力された画素信号は、セレクタ２６によって当該グループの配列順序に従って選択される。従って、図３に示すような撮像素子１０が採用される場合であっても、画素信号は受光セル１１の二次元配列に整合した順序でセレクタ２６から得ることができ、以てその後の色補間処理などの画像処理を容易にすることができる。

また、データ読出部２５による主メモリ３４からの読出しにおいては、少なくとも水平ラインごとのアドレスの操作を行えばよい。また、Ａ〜Ｄグループに係る部分画像５１ａ〜５１ｄ読み出しは、チャネル装置２５ａ〜２５ｄにより並列して行われる。このため、４つの部分画像５１ａ〜５１ｄに含まれる画素信号のうちから、一の画素信号毎にアドレスを指定してランダムアクセス的に読み出す場合と比較して、読出時間を大幅に短縮することが可能となる。したがって、受光セル１１の二次元配列に整合した順序の合成画像を迅速に生成できる。

＜４．他の実施の形態＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態（以下、「代表形態」という。）に限定されるものではなく様々な変形が可能である。以下では、このような他の実施の形態について説明する。

＜４−１．書き込み時の並び替え＞
代表形態では、データ読出部２５が部分画像５１ａ〜５１ｄを主メモリ３４から読み出す際にその画素信号の信号順序を変更すると説明を行ったが、データ書込部２４が部分画像５１ａ〜５１ｄを主メモリ３４に書き込む際にその画素信号の信号順序を変更するようにしてもよい。この場合も、データ書込部２４のチャネル装置２４ａ〜２４ｄに転送情報を予め与え、各チャネル装置２４ａ〜２４ｄが備えるレジスタに記憶しておく。そして、各チャネル装置２４ａ〜２４ｄが、かかる転送情報に従ったアドレスの操作を伴う転送を行うことで、画素信号の信号順序を変更することができる。

具体的には、Ａグループに対応するチャネル装置２４ａでは、画素信号の信号順序を変更する必要はないため、部分画像５１ａを記録すべき領域の先頭のアドレスを始点アドレスに指定し、アドレス方向に「インクリメント」を指定して、部分画像５１ａの全ての画素信号を書き込めばよい。

また、Ｂグループに対応するチャネル装置２４ｂでは、部分画像５１ｂを記録すべき領域の先頭のアドレスにｍ個の画素信号分のアドレスを加算した結果を始点アドレスに指定し、アドレス方向に「デクリメント」を指定して、一の水平ラインを書き込む。続いて、その最終アドレスにｍ×２個の画素信号分のアドレスを加算した結果を次の始点アドレスに指定し、アドレス方向に「デクリメント」を指定して、次の水平ラインを書き込む。以降、水平ラインごとに同様の書き込みを繰り返せばよい。

また、Ｃグループに対応するチャネル装置２４ｃでは、部分画像５１ｃを記録すべき領域の最終のアドレスからｍ個の画素信号分のアドレスを減算した結果を始点アドレスに指定し、アドレス方向に「インクリメント」を指定して、一の水平ラインを書き込む。続いて、その最終アドレスからｍ×２個の画素信号分のアドレスを減算した結果を次の始点アドレスに指定し、アドレス方向に「インクリメント」を指定して、次の水平ラインを書き込む。以降、水平ラインごとに同様の書き込みを繰り返せばよい。

また、Ｄグループに対応するチャネル装置２４ｄでは、部分画像５１ｄを記録すべき領域の最終のアドレスを始点アドレスに指定し、アドレス方向に「デクリメント」を指定して、部分画像５１ｄの全ての画素信号を書き込めばよい。

そして一方でこの場合には、データ読出部２５のチャネル装置２５ａ〜２５ｄのそれぞれは、部分画像のデータの先頭のアドレスを始点アドレスに指定し、アドレス方向に「インクリメント」を指定して、部分画像の全ての画素信号を読み出せばよい。このようにしても、代表形態と同様の効果を得ることが可能である。

また、読み出し時に信号順序を変更する場合でも、書き込み時に信号順序を変更する場合でも上述の説明で「インクリメント」と「デクリメント」とを入れ替えてもよい。

＜４−２．出力手法＞
代表形態では、Ｂ〜Ｄグループに係る３つの部分画像５１ｂ〜５１ｄについて、対応する受光セル１１の並ぶ順序と反対の順序で画素信号が出力されていたが、少なくとも１つのグループに係る部分画像について、対応する受光セル１１の並ぶ順序と反対の順序で画素信号が出力されていれば、代表形態にて説明した技術を好適に適用可能である。

例えば、図１６に示した撮像素子１０ｂでは、Ａ及びＢグループの受光セル１１の画素信号は、垂直転送部１２ａ，１２ｂにより図中上方向に転送された後、水平転送部１３ａ，１３ｂにより図中左方向に転送される。一方、Ｃ及びＤグループの受光セル１１の画素信号は、垂直転送部１２ｃ，１２ｃにより図中下方向に転送された後、水平転送部１３ｃ，１３ｄにより図中左方向に転送される。

したがって、ＡグループとＢグループとの双方については、画素信号の並ぶ順序が全体画像５０の対応する画素信号と同一に出力される。また一方で、ＣグループとＤグループとの双方については、画素信号の並ぶ順序が全体画像５０の対応する画素信号に対して垂直方向で反対に出力される。この場合には、Ａ，Ｂグループに係る部分画像に関しては代表形態のＡグループの部分画像５１ａと同様の取扱いを行い、Ｃ，Ｄグループに係る部分画像に関しては代表形態のＣグループの部分画像５１ｃと同様の取扱いを行えばよいことになる。

なお、図１７に示した撮像素子１０ｃのように、全てのグループに係る部分画像について、対応する受光セル１１の並ぶ順序と同一の順序で画素信号が出力される場合であっても、その撮像素子から出力された部分画像を代表形態にて説明した技術で取り扱うことが可能であることはもちろんである。

＜４−３．グループの配置＞
代表形態では、Ａ，Ｂ，Ｃ，Ｄグループがこの順で並んでいたが、グループの数や配置はこれに限定されるものではない。例えば、撮像素子の任意の隣接する２つの水平ラインにおいて、複数のグループのうちの半数のグループに属する受光セルを一方の水平ラインに存在させ、残りの半数のグループに属する受光セルを他方の水平ラインに存在させるようにしてもよい。

より具体的に説明すると、図１８に示した撮像素子１０ｄでは、Ａ，Ｂ，Ｃ，Ｄの４つのグループに属する受光セル１１が存在している。そして、Ａ，Ｂグループに属する受光セル１１は上端から奇数番目となる水平ラインのみに配置され、Ｃ，Ｄグループに属する受光セル１１は上端から偶数番目となる水平ラインのみに配置されている。このような場合も、４つのグループにそれぞれ対応する４つの部分画像が独立して出力されれば、その後は、代表形態にて説明した技術を好適に適用可能である。

また、この場合には、撮像素子１０ｄの一つの水平ラインには４つのグループのうちの半数の２つのグループのみしか存在しない。このため、データ読出部２５が備えるチャネル装置の数を代表形態よりも少なくすることが可能である。以下、この点について説明する。

図１９は、この場合における合成画像を生成する機能に関連する構成を示す図である。図１９に示す構成は、データ読出部２５が２つのチャネル装置２５ｅ，２５ｆのみを備えている点で図１０に示す構成と相違している。

セレクタ２６において、図１８に示した撮像素子１０ｄで得られる全体画像と同一の合成画像５２を生成する場面を想定する。合成画像５２の奇数番目の水平ラインを生成する時点には、Ａ，Ｂグループの部分画像がセレクタ２６に入力される必要があるが、Ｃ，Ｄグループの部分画像は入力される必要はない。逆に、合成画像５２の偶数番目の水平ラインを生成する時点には、Ｃ，Ｄグループの部分画像がセレクタ２６に入力される必要があるが、Ａ，Ｂグループの部分画像は入力される必要はない。したがって、データ読出部２５からは、同時には、２つのグループに係る部分画像のみをセレクタ２６に入力すればよいことになる。

このようなことから、図１９のデータ読出部２５は、２つのチャネル装置２５ｅ，２５ｆのみを備えており、チャネル装置２５ｅはＡ，Ｃの２つのグループの部分画像の読み出しに兼用され、チャネル装置２５ｆはＢ，Ｄの２つのグループの部分画像の読み出しに兼用されるようになっている。

より具体的には、合成画像５２の奇数番目の水平ラインを生成する時点には、チャネル装置２５ｅはＡグループの部分画像の読み出しを行い、チャネル装置２５ｆはＢグループの部分画像の読み出しを行う。そして、合成画像５２の偶数番目の水平ラインを生成する時点には、チャネル装置２５ｆはＣグループの部分画像の読み出しを行い、チャネル装置２５ｆはＤグループの部分画像の読み出しを行う。つまり、各チャネル装置２５ｅ，２５ｆは、２つのグループに係る部分画像の一の水平ライン分の画素信号を交互に転送することになる。この際、代表形態と同様に、各チャネル装置２５ｅ，２５ｆにより、部分画像の画素信号の信号順序が変更される。

このように、チャネル装置を２つのグループに兼用しデータ読出部２５のチャネル装置の数を少なくすることが可能であり、これにより、画像処理装置２の構成を簡単にすることができる。

＜４−４．その他の変形例＞
代表形態では、フィルタの色成分の配置とグループの配置とは相関関係がなかったが、同一グループには同一色成分に係る受光セル１１のみが属するようにグループを配置してもよい。なお、グループの配置が図１８に示すものとなる場合において、フィルタの配置がベイヤー配列であれば、同一グループには同一色成分に係る受光セル１１のみが属することになる。このような場合は、部分画像には同一色成分に係る画素信号のみが含まれるため、合成画像を生成する前に色成分ごとに必要な画像処理を行うことも可能である。

また、代表形態では撮像素子がＣＣＤセンサで構成されるとしていたが、撮像素子がＣ−ＭＯＳセンサで構成されていても上記同様の技術を適用することが可能である。

また、代表形態では、デジタルスチルカメラについて画像処理装置が適用される例について説明を行ったが、ビデオカメラやスキャナ装置などの他の撮像素子を備える撮像装置においても上記同様の画像処理装置を好適に適用することが可能である。

デジタルスチルカメラの概略構成を示すブロック図である。 デジタルスチルカメラの撮影動作の流れを示す図である。 撮像素子の構成の一例を示す図である。 部分画像に含まれる画素信号の並ぶ順序を概念的に示す図である。 全体画像のモデルを示す図である。 Ａグループに係る部分画像のモデルを示す図である。 Ｂグループに係る部分画像のモデルを示す図である。 Ｃグループに係る部分画像のモデルを示す図である。 Ｄグループに係る部分画像のモデルを示す図である。 合成画像を生成する機能に関連する構成を示す図である。 Ａグループに係る部分画像の読み出しの手法を説明する図である。 Ｂグループに係る部分画像の読み出しの手法を説明する図である。 Ｃグループに係る部分画像の読み出しの手法を説明する図である。 Ｄグループに係る部分画像の読み出しの手法を説明する図である。 セレクタの処理を説明する図である。 撮像素子の構成の一例を示す図である。 撮像素子の構成の一例を示す図である。 撮像素子の構成の一例を示す図である。 合成画像を生成する機能に関連する他の構成を示す図である。

符号の説明

２ 画像処理装置
１０ 撮像素子
１１ 受光セル
２４ データ書込部
２５ データ読出部
２５ａ〜２５ｆ チャネル装置
２６ セレクタ
２７ セレクタ制御部
３４ 主メモリ
５０ 全体画像
５１ａ〜５１ｄ 部分画像

Claims (4)

1. それぞれ複数のグループのいずれかに属する複数の受光セルを第１方向及び第２方向の二次元配列に配置して有し、
   前記複数の受光セルから出力された画素信号を前記複数のグループごとに出力し、前記複数のグループのうちの一に属する前記複数の受光セルからの前記画素信号は、自身に対応する前記複数の受光セルが前記二次元配列において前記第１方向に並ぶ順序及び前記第２方向に並ぶ順序の少なくともいずれか一つについて反対の順序で順次に出力される撮像素子と、
   アドレスと対応付けて前記画素信号を記憶するメモリと、
   の間で前記画素信号の転送を制御する画像処理装置であって、
   前記撮像素子では、各水平ラインにおいて、当該水平ラインに存在する複数の受光セルが、当該受光セルが属するグループが順番に繰り返して変化するように配置されており、
   前記複数の受光セルからの前記画素信号を、前記アドレスを操作しながら、前記複数のグループごとに、当該画素信号に対応する前記複数の受光セルが前記二次元配列において前記第１方向に並ぶ順序もしくは前記第２方向に並ぶ順序に従って順次に転送する転送手段と、
   前記二次元配列における前記複数のグループの配列順序に従って、前記画素信号を選択的に順次に出力する選択手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記転送手段は、前記複数のグループに係る部分画像を前記メモリから読み出す手段であることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記転送手段は、前記複数のグループに係る部分画像を前記メモリに書き込む手段であることを特徴とする画像処理装置。
4. それぞれ複数のグループのいずれかに属する複数の受光セルを第１方向及び第２方向の二次元配列に配置して有し、
   前記複数の受光セルから出力された画素信号を前記複数のグループごとに出力し、前記複数のグループのうちの一に属する前記複数の受光セルからの前記画素信号は、自身に対応する前記複数の受光セルが前記二次元配列において前記第１方向に並ぶ順序及び前記第２方向に並ぶ順序の少なくともいずれか一つについて反対の順序で順次に出力される撮像素子と、
   アドレスと対応付けて前記画素信号を記憶するメモリと、
   の間で前記画素信号の転送を制御する画像処理装置であって、
   前記複数の受光セルからの前記画素信号を、前記アドレスを操作しながら、前記複数のグループごとに、当該画素信号に対応する前記複数の受光セルが前記二次元配列において前記第１方向に並ぶ順序もしくは前記第２方向に並ぶ順序に従って順次に転送する転送手段と、
   前記二次元配列における前記複数のグループの配列順序に従って、前記画素信号を選択的に順次に出力する選択手段と、
   を備え、
   前記転送手段は、前記複数のグループに係る部分画像を前記メモリから読み出す手段であって、
   前記撮像素子の任意の隣接する２つの水平ラインにおいて、前記複数のグループのうちの半数のグループに属する受光セルは一方の水平ラインに存在し、残りの半数のグループに属する受光セルは他方の水平ラインに存在しており、
   前記転送手段は、前記グループの数の半数のチャネル装置を有し、
   それぞれのチャネル装置は、２つのグループに係る部分画像の一の水平ライン分の画素信号を交互に転送することを特徴とする画像処理装置。

Images