JP5907687B2

JP5907687B2 - 撮像装置および信号転送装置

Info

Publication number: JP5907687B2
Application number: JP2011200422A
Authority: JP
Inventors: 崇志梁田; 田中　義信; 義信田中
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-09-14
Filing date: 2011-09-14
Publication date: 2016-04-26
Anticipated expiration: 2031-09-14
Also published as: JP2013062714A; US8817139B2; US20130063630A1

Description

本発明は、撮像装置および信号転送装置に関する。

近年、デジタルカメラなどの撮像装置の高速化に伴って、複数の画素の信号（以下、「画素信号」という）を同時に出力する固体撮像装置（以下、「イメージャ」という）を撮像装置の撮像部に搭載するケースが多くなっている。複数の画素信号を同時に出力するイメージャの出力形式には、例えば、水平方向に隣接する２画素の画素信号を同時に出力する形式や、垂直方向に隣接する２画素の画素信号を同時に出力する形式などがある。

また、今後のさらなる撮像装置の性能向上に応じて、イメージャからの画素信号の出力形式は、様々な構成となることが考えられる。しかし、イメージャから出力される画素信号の出力形式が異なっている場合でも、画素信号を処理する後段の撮像処理部（いわゆる、撮像サブシステム）は、同一の構成で、多様な出力形式のイメージャに対応できることが望ましい。

このようなことから、画素信号の出力形式が異なるイメージャに対応するための技術として、例えば、特許文献１に示すような技術が開示されている。図６は、特許文献１で開示されたような、従来の撮像装置の概略構成を示したブロック図である。従来の撮像装置では、撮像部から出力される画像データのチャンネル数（図６においては、２チャンネル）分の画像処理部（第１画像処理部および第２画像処理部）を搭載している。また、ＡＥ評価値の生成およびＡＦ評価値の生成においては、ＡＥ評価値演算部およびＡＦ評価値演算部のそれぞれに備えた間引部で、複数個（図６においては、２個）同時に入力される画像データを選択する（間引く）処理を行った後に、それぞれの評価値を生成している。

また、図６に示した従来の撮像装置では、撮像部が出力する画像データのチャンネル数に応じて動作を切り替えている。より具体的には、撮像部が出力する画像データのチャンネル数が１チャンネル（１ｃｈ）のとき、第１画像処理部で画像処理を行って、処理後の画像を、ＤＭＡＩＦ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓインターフェース）部を介してＤＲＡＭに書き込んでいる。また、ＡＥ評価値演算部およびＡＦ評価値演算部は、画像データの間引きを行わずにそれぞれの評価値を生成して、生成した評価値を、ＤＭＡＩＦ部を介してＤＲＡＭに書き込んでいる。

一方、撮像部が出力する画像データのチャンネル数が２チャンネル（２ｃｈ）のときには、第１画像処理部および第２画像処理部でそれぞれ画像処理を行って、処理後の画像を、ＤＭＡＩＦ部を介してＤＲＡＭに書き込んでいる。このとき、水平方向に隣接する２画素の画像データが、撮像部から同時に第１画像処理部および第２画像処理部に入力される場合には、第１画像処理部および第２画像処理部がそれぞれ画像処理を行った処理後の画像を併合（マージ）し、その結果を、ＤＭＡＩＦ部を介してＤＲＡＭに書き込む。また、ＡＥ評価値演算部は、入力された画像データの間引き処理を行った後に、ＡＥ評価値を生成し、生成したＡＥ評価値を、ＤＭＡＩＦ部を介してＤＲＡＭに書き込んでいる。また、ＡＦ評価値演算部は、入力された画像データから輝度信号（Ｙ信号）を生成する際に間引き処理を行い、間引き処理した後の輝度信号からＡＦ評価値を生成し、生成したＡＦ評価値を、ＤＭＡＩＦ部を介してＤＲＡＭに書き込んでいる。

このように、特許文献１で開示されたような従来の撮像装置では、撮像部が出力する画像データのチャンネル数や出力形式に応じて、撮像装置内の各構成要素の動作や機能を切り替えることによって、多様な出力形式のイメージャに対応している。

特開２００８−５０４８号公報

しかしながら、特許文献１で開示された技術のように、イメージャから出力される画素信号を処理する後段の画像処理部などで、イメージャから出力される画素信号の多様な出力形式に対応する場合には、以下に述べるような課題がある。図６に示した従来の撮像装置では、画像処理部２に接続されているＤＭＡＩＦ部（ならびに、このＤＭＡＩＦ部によるＤＭＡの制御に関わる機能）は、撮像部が出力する画像データの出力形式によって、動作する場合と動作しない場合とがある。より具体的には、画像処理部２に接続されているＤＭＡＩＦ部は、撮像部が出力する画像データの出力形式が、垂直方向に隣接する２画素の画像データを同時に出力する形式の場合にしか動作せず、水平方向に隣接する２画素の画像データを同時に出力する形式の場合には動作しない回路となる。また、ＡＥ評価値演算部およびＡＦ評価値演算部も同様に、撮像部が出力する画像データの出力形式によって、動作する回路と動作しない回路とがある。

このように、後段の画像処理部などでイメージャから出力される画素信号の多様な出力形式に対応する従来の方法では、撮像装置に搭載するイメージャが出力する画素信号の出力形式によっては、動作しない不要な回路が存在してしまう場合がある。この不要な回路は、画像処理部などの回路規模が増大する要因となってしまうため、画像処理部などには、不要な回路が存在しないことが望ましい。

本発明は、上記の課題認識に基づいてなされたものであり、固体撮像装置から出力される画素信号の出力形式が異なっている場合でも、後段の画像処理部などに不要な回路が存在しない構成を実現することができる撮像装置および信号転送装置を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、行列状に配置された複数の画素を有し、複数の前記画素からの画素信号を複数の出力端子から出力することを可能とする固体撮像装置を具備し、前記複数の出力端子数に分類され、前記画素の列方向または行方向に隣接する複数の前記画素から出力されたそれぞれの前記画素信号に応じたそれぞれの撮像信号を、対応するそれぞれの前記出力端子から出力し、さらに前記出力端子から出力される前記撮像信号の開始位置を示す撮像同期信号を出力する撮像部と、入力されたそれぞれの前記撮像信号に対して画像処理を行う画像処理部と、前記撮像部から入力される前記撮像信号の第１の並び替えと、前記第１の並び替えと異なる第２の並び替えとの少なくとも２種類の並び替えから一つの並び替えを設定する設定部と、前記撮像部から入力された前記撮像信号の並びを、前記設定部で設定した並び替えに基づいて、前記画像処理部が対応する前記撮像信号の並びに並び替え、該並び替えた前記撮像信号を前記撮像部が出力した前記撮像信号として前記画像処理部に出力し、さらに並び替えた前記撮像信号の開始位置を示す画像同期信号を出力する信号転送部と、を備え、前記信号転送部は、前記第１の並び替えが設定されている場合には、前記撮像同期信号の周期よりも短い周期の前記画像同期信号を出力し、一方、前記第２の並び替えが設定されている場合には、前記撮像同期信号の周期よりも長い周期の前記画像同期信号を出力する、ことを特徴とする。
また、本発明の前記設定部は、前記画素の列方向もしくは行方向の隣接する複数の前記画素から出力された場合に応じて前記第１の並び替えまたは前記第２の並び替えを設定する、ことを特徴とする。

また、本発明の前記信号転送部は、前記撮像部から入力された複数の前記撮像信号のそれぞれを保持し、保持した前記撮像信号を出力する複数のラインメモリ、を備えることを特徴とする。

また、本発明の前記撮像部が具備する固体撮像装置は、ベイヤー配列の固体撮像装置であり、前記ラインメモリは、少なくとも、前記固体撮像装置に配置された同一色の前記画素の１行分の前記撮像信号をそれぞれ保持し、前記信号転送部は、前記画素の色毎に、少なくとも、同一色の前記画素の前記撮像信号を２行分保持する個数の前記ラインメモリを備える、を備えることを特徴とする。

また、本発明の前記信号転送部は、入力された各色の前記画素に対応した各色の前記撮像信号のそれぞれを、前記画素のそれぞれの色に対応する前記ラインメモリに振り分ける第１の信号振り分け部と、振り分けられた各色の前記撮像信号を対応する色の前記ラインメモリに書き込ませるメモリ書き込み制御部と、前記画像処理部が対応する前記撮像信号の色の並びの順番で、それぞれの色に対応した前記ラインメモリに保持されている各色の前記撮像信号を、読み出すメモリ読み出し制御部と、読み出された各色の前記撮像信号のそれぞれを、前記画像処理部の対応するそれぞれの入力端子に振り分ける第２の信号振り分け部と、を備えることを特徴とする。

また、本発明の前記メモリ読み出し制御部は、前記固体撮像装置に配置された全ての種類の色の前記撮像信号が、少なくとも１つずつ、対応する色の前記ラインメモリに書き込まれた後に、該ラインメモリに保持している前記撮像信号の読み出しを開始し、該ラインメモリに次の前記撮像信号の書き込みが開始される前に該ラインメモリに保持している前記撮像信号の読み出しを完了する、ことを特徴とする。

また、本発明の撮像装置は、前記撮像部が、前記固体撮像装置に配置された前記画素の列方向に隣接する２つの画素の前記画素信号に応じた列方向の２画素の撮像信号を出力し、前記画像処理部が、前記固体撮像装置に配置された前記画素の行方向に隣接した２つの画素の前記撮像信号に対して画像処理を行う場合、前記信号転送部は、前記撮像部から入力された列方向の２画素の前記撮像信号の並びを、前記画像処理部が対応する行方向の２画素の前記撮像信号の並びに並び替え、該並び替えた前記撮像信号を前記撮像部が出力した行方向に隣接した２つの画素の前記撮像信号として前記画像処理部に出力する、ことを特徴とする。

また、本発明の撮像装置は、前記撮像部が、前記固体撮像装置に配置された前記画素の行方向に隣接する２つの画素の前記画素信号に応じた行方向の２画素の撮像信号を出力し、前記画像処理部が、前記固体撮像装置に配置された前記画素の列方向に隣接した２つの画素の前記撮像信号に対して画像処理を行う場合、前記信号転送部は、前記撮像部から入力された行方向の２画素の前記撮像信号の並びを、前記画像処理部が対応する列方向の２画素の前記撮像信号の並びに並び替え、該並び替えた前記撮像信号を前記撮像部が出力した列方向に隣接した２つの画素の前記撮像信号として前記画像処理部に出力する、ことを特徴とする。

また、本発明の信号転送装置は、行列状に配置された複数の画素を有し、複数の前記画素からの画素信号を複数の出力端子から出力することを可能とする固体撮像装置を具備し、前記複数の出力端子数に分類され、前記画素の列方向または行方向に隣接する複数の前記画素から出力されたそれぞれの前記画素信号に応じたそれぞれの撮像信号を、対応するそれぞれの前記出力端子から出力し、さらに前記出力端子から出力される前記撮像信号の開始位置を示す撮像同期信号を出力する撮像部から入力されたそれぞれの前記撮像信号を保持する複数のラインメモリと、入力された複数の前記撮像信号のそれぞれを、前記撮像部から入力される前記撮像信号の第１の並び替えと、前記第１の並び替えと異なる第２の並び替えとの少なくとも２種類の並び替えから設定された一つの並び替えに基づいて、該撮像信号のそれぞれに対応する前記ラインメモリに振り分ける第１の信号振り分け部と、前記撮像同期信号に応じて、振り分けられた前記撮像信号を、対応する前記ラインメモリに書き込ませるメモリ書き込み制御部と、前記ラインメモリに保持されている前記撮像信号を、入力されたそれぞれの前記撮像信号に対して画像処理を行う画像処理部が対応する前記撮像信号の並びの順番で読み出し、さらに並び替えた前記撮像信号の開始位置を示す画像同期信号を出力するメモリ読み出し制御部と、読み出された前記撮像信号のそれぞれを、前記第１の並び替えと前記第２の並び替えとの少なくとも２種類の並び替えから設定された一つの並び替えに基づいて、該撮像信号に対応する前記画像処理部のそれぞれの入力端子に振り分ける第２の信号振り分け部と、を備え、前記メモリ読み出し制御部は、前記第１の並び替えが設定されている場合には、前記撮像同期信号の周期よりも短い周期の前記画像同期信号を出力し、一方、前記第２の並び替えが設定されている場合には、前記撮像同期信号の周期よりも長い周期の前記画像同期信号を出力する、ことを特徴とする。
また、本発明の前記第１の信号振り分け部もしくは、前記第２の信号振り分け部における前記一つの並び替えは、前記画素の列方向もしくは行方向の隣接する複数の前記画素から出力された場合に応じて前記第１の並び替えまたは前記第２の並び替えが設定される、ことを特徴とする。

また、本発明の前記メモリ読み出し制御部は、前記画像処理部が対応する前記撮像信号の並びで、前記ラインメモリに保持されている前記撮像信号を出力している期間を表す同期信号を生成し、該生成した同期信号を、前記撮像部が前記撮像信号を出力する際に出力される、前記固体撮像装置に配置された前記画素の１行分の前記撮像信号を出力している期間を表す同期信号として出力する、ことを特徴とする。

本発明によれば、固体撮像装置から出力される画素信号の出力形式が異なっている場合でも、後段の画像処理部などに不要な回路が存在しない構成を実現することができるという効果が得られる。

本発明の第１の実施形態における撮像装置の概略構成を示したブロック図である。本第１の実施形態の撮像装置に備えた固体撮像装置の画素配列の一例を示した図である。本第１の実施形態の撮像装置に備えた信号転送部による画像データの転送タイミングを示したタイミングチャートである。本発明の第２の実施形態における撮像装置の概略構成を示したブロック図である。本第２の実施形態の撮像装置に備えた信号転送部による画像データの転送タイミングを示したタイミングチャートである。従来の撮像装置の概略構成を示したブロック図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１００は、撮像部１０と、信号転送部２０と、画像処理部３０１および３０２と、ＡＥ評価値演算部３０３と、ＡＦ評価値演算部３０４と、ＤＭＡＩＦ部３０５、３０７、および３０８と、バス４０と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）５０と、を備えている。撮像装置１００では、画像処理部３０１および３０２と、ＡＥ評価値演算部３０３と、ＡＦ評価値演算部３０４と、ＤＭＡＩＦ部３０５、３０７、および３０８とで、画像処理装置３０を構成している。

撮像部１０は、レンズや固体撮像装置（イメージャ）などから構成され、図示しない制御部からの制御に応じて、レンズを介してイメージャに結像された被写体の光学像を露光する。そして、撮像部１０は、イメージャが露光した被写体の光学像に応じた画素信号（アナログ信号）を、デジタル値に変換して信号転送部２０に出力する。

本第１の実施形態の撮像装置１００においては、垂直方向（列方向）に隣接する２画素の画素信号を同時に出力する、図２に示したようなベイヤー配列のイメージャが撮像部１０に備えられている。図２は、１２行１２列に画素が配置されたイメージャの一例を示している。図２に示したイメージャが垂直方向（列方向）に隣接する２画素の画素信号を同時に出力する場合、まず、Ｒ画素の画素信号が一方のチャンネルから出力され、Ｒ画素に垂直方向（列方向）に隣接するＧｂ画素の画素信号が他方のチャンネルからそれぞれ同時に出力される。続いて、次の出力タイミングでは、Ｇｒ画素の画素信号が一方のチャンネルから出力され、Ｇｒ画素に垂直方向（列方向）に隣接するＢ画素の画素信号が他方のチャンネルからそれぞれ同時に出力される。このように、撮像部１０に備えたイメージャは、垂直方向（列方向）に隣接する２画素の画素信号を同時に、順次出力する。そして、撮像部１０は、イメージャのそれぞれのチャンネルから出力された画素信号に応じた撮像信号のデジタル値（以下、「画像データ」という）を、それぞれ対応する２つの出力チャンネル（ｃｈ１およびｃｈ２）から、順次出力する。

また、撮像部１０は、画像データの出力タイミングを表す信号（撮像同期信号ＩＨＤおよび撮像クロックＣＬＫ）を、信号転送部２０に出力する。なお、撮像部１０に備えたイメージャが出力する画素信号に応じた画像データ、および画像データの出力タイミングに関しては、後述する。

なお、撮像部１０は、イメージャから出力された画素信号に含まれるノイズ成分を抑圧するＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ：相関二重サンプリング）処理など、予め定められた信号処理（前処理）を行う前処理部を、さらに備えた構成であってもよい。

信号転送部２０は、撮像部１０から入力された画像データの並びを、画像処理装置３０が画像処理するデータの並びに並び替え、並び替えた後の画像データを画像処理装置３０に出力する。

本第１の実施形態の撮像装置１００においては、画像処理装置３０は、水平方向（行方向）に隣接する２画素の画素信号が同時に出力されるベイヤー配列のイメージャに対応している。従って、信号転送部２０は、入力された垂直方向（列方向）に隣接する２画素が同時の形式（以下、「垂直２ｃｈ形式」という）の画像データの並びを、水平方向（行方向）に隣接する２画素が同時の形式（以下、「水平２ｃｈ形式」という）の並びに並び替え、並び替えた後の画像データを画像処理装置３０に出力する。また、信号転送部２０は、画像データの出力タイミングを表す信号（画像同期信号ＯＨＤ）を出力する。後段の画像処理装置３０以降の構成要素は、信号転送部２０が出力した画像同期信号ＯＨＤに基づいて、それぞれの動作タイミングが決定される。なお、信号転送部２０の構成と、信号転送部２０における画像データの並び替え方法に関する詳細な説明は、後述する。

画像処理装置３０は、画像同期信号ＯＨＤおよび撮像クロックＣＬＫに基づいて、信号転送部２０から入力された画像データに対して、撮像装置１００における種々の画像処理を行う。そして、画像処理によって得られたデータを、バス４０を介して、撮像装置１００における記憶部であるＤＲＡＭ５０に記憶させる。

より具体的には、画像処理部３０１および３０２は、信号転送部２０から入力された画像データに対して、予め定めた画像処理を行った画像を生成する。そして、ＤＭＡＩＦ３０５で、画像処理部３０１および３０２のそれぞれが生成した画像を併合（マージ）して、ＤＲＡＭ５０に書き込む。また、ＡＥ評価値演算部３０３は、信号転送部２０から入力された画像データを色（図２に示したベイヤー配列のイメージャでは、Ｒ，Ｇｒ，Ｇｂ，Ｂ）毎に積算したＡＥ評価値を算出する。そして、ＤＭＡＩＦ３０７が、算出したＡＥ評価値をＤＲＡＭ５０に書き込む。また、ＡＦ評価値演算部３０４は、信号転送部２０から入力された画像データから輝度信号（Ｙ信号）を生成し、生成したＹ信号に基づいてＡＦ評価値を算出する。そして、ＤＭＡＩＦ３０８が、算出したＡＦ評価値をＤＲＡＭ５０に書き込む。なお、画像処理装置３０は、水平２ｃｈ形式のイメージャに対応した、従来の画像処理装置と同様であるため、詳細な説明は省略する。

次に、本第１の実施形態の撮像装置１００に備えた信号転送部２０の構成について、より詳細に説明する。上記に述べたように、信号転送部２０は、入力された垂直２ｃｈ形式の画像データの並びを、水平２ｃｈ形式の並びに並び替える。信号転送部２０は、データ振り分け部２０１と、メモリ書き込み制御部２０２と、ラインメモリ部２０３と、メモリ読み出し制御部２０４と、データ振り分け部２０５と、を備えている。

ラインメモリ部２０３は、メモリ書き込み制御部２０２から入力される書き込み制御信号に応じて、データ振り分け部２０１から入力された画像データを保持する。また、ラインメモリ部２０３は、メモリ読み出し制御部２０４から入力される読み出し制御信号に応じて、保持している画像データをデータ振り分け部２０５に出力する。

ラインメモリ部２０３は、イメージャに配置された画素の４行（ライン）分の画像データを保持することができる容量のラインメモリを備えている。図１では、ラインメモリ部２０３が８本のラインメモリで構成されている場合を示している。すなわち、本第１の実施形態においては、垂直方向（列方向）に隣接する２画素の画素信号を同時に出力するベイヤー配列のイメージャに対応しており、１回の撮像同期信号ＩＨＤで２ライン分の画像データが撮像部１０から出力されるため、ラインメモリ部２０３は、撮像同期信号ＩＨＤが２回分の各色（４色：Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データを保持することができる。

以下の説明においてラインメモリ部２０３内のラインメモリを区別する場合には、８本のラインメモリをそれぞれ、ラインメモリ１、ラインメモリ２、ラインメモリ３、ラインメモリ４、ラインメモリ５、ラインメモリ６、ラインメモリ７、ラインメモリ８と表して説明する。本第１の実施形態においては、ラインメモリ１〜４が、撮像部１０から出力される奇数回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１および出力チャンネルｃｈ２から出力される各色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データに対応している。また、ラインメモリ５〜８が、撮像部１０から出力される偶数回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１および出力チャンネルｃｈ２から出力される各色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データに対応している。

また、ラインメモリ部２０３内のラインメモリ１〜８は、イメージャが出力する画像データの色毎に、それぞれの画像データを保持するラインメモリが予め定められている。本第１の実施形態においては、ラインメモリ１およびラインメモリ５がイメージャのＲ画素に応じたＲ画像データ、ラインメモリ２およびラインメモリ６がイメージャのＧｒ画素に応じたＧｒ画像データ、ラインメモリ３およびラインメモリ７がイメージャのＧｂ画素に応じたＧｂ画像データ、ラインメモリ４およびラインメモリ８がイメージャのＢ画素に応じたＢ画像データ、をそれぞれ保持する。

データ振り分け部２０１は、撮像部１０から入力される撮像同期信号ＩＨＤに基づいて、現在入力されている画像データが、奇数回目の撮像同期信号ＩＨＤのタイミングの画像データであるか、偶数回目の撮像同期信号ＩＨＤのタイミングの画像データであるかを判定する。そして、データ振り分け部２０１は、判定した結果に基づいて、撮像部１０の出力チャンネルｃｈ１および出力チャンネルｃｈ２のそれぞれから入力される画像データの出力先を、ラインメモリ部２０３内のそれぞれのラインメモリ１〜８に振り分ける。

より具体的には、データ振り分け部２０１は、奇数回目の撮像同期信号ＩＨＤのタイミングで入力されたＲ画像データをラインメモリ１に、Ｇｒ画像データをラインメモリ２に、Ｇｂ画像データをラインメモリ３に、Ｂ画像データをラインメモリ４に振り分けるように、出力チャンネルｃｈ１および出力チャンネルｃｈ２から入力される画像データの出力先を切り替える。また、データ振り分け部２０１は、偶数回目の撮像同期信号ＩＨＤのタイミングで入力されたＲ画像データをラインメモリ５に、Ｇｒ画像データをラインメモリ６に、Ｇｂ画像データをラインメモリ７に、Ｂ画像データをラインメモリ８に振り分けるように、出力チャンネルｃｈ１および出力チャンネルｃｈ２から入力される画像データの出力先を切り替える。以降、同様に、撮像同期信号ＩＨＤに基づいた画像データの出力先の切り替えを繰り返す。

メモリ書き込み制御部２０２は、撮像部１０から入力される撮像同期信号ＩＨＤおよび撮像クロックＣＬＫに応じて、ラインメモリ部２０３内のそれぞれのラインメモリ１〜８の画像データの書き込みを制御する書き込み制御信号を出力する。メモリ書き込み制御部２０２によるラインメモリ部２０３内のそれぞれのラインメモリ１〜８の書き込み制御は、撮像同期信号ＩＨＤおよび撮像クロックＣＬＫに同期したタイミングで行われる。

より具体的には、メモリ書き込み制御部２０２は、奇数回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１から入力されたＲ画像データをラインメモリ１に、Ｇｒ画像データをラインメモリ２に、出力チャンネルｃｈ２から入力されたＧｂ画像データをラインメモリ３に、Ｂ画像データをラインメモリ４に書き込むように、画像データの書き込みを制御する。また、メモリ書き込み制御部２０２は、偶数回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１から入力されたＲ画像データをラインメモリ５に、Ｇｒ画像データをラインメモリ６に、出力チャンネルｃｈ２から入力されたＧｂ画像データをラインメモリ７に、Ｂ画像データをラインメモリ８に書き込むように、画像データの書き込みを制御する。以降、同様に、撮像同期信号ＩＨＤに基づいた画像データのラインメモリ１〜８への書き込み制御を繰り返す。

１回の撮像同期信号ＩＨＤのタイミングで入力された画像データのラインメモリ部２０３への書き込みが完了すると、書き込みが完了したラインメモリに保持している画像データの読み出しを行うことができる。

メモリ読み出し制御部２０４は、図示しない制御部からの読み出し開始信号に応じて、ラインメモリ部２０３内のそれぞれのラインメモリ１〜８の画像データの読み出しを制御する読み出し制御信号を出力する。また、メモリ読み出し制御部２０４は、ラインメモリ部２０３から読み出される画像データのタイミングを表す画像同期信号ＯＨＤを生成して出力する。画像処理装置３０は、信号転送部２０が出力した画像同期信号ＯＨＤに基づいて、撮像装置１００における種々の画像処理を行うことになる。

より具体的には、メモリ読み出し制御部２０４は、１回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ１に保持されたＲ画像データと、ラインメモリ２に保持されたＧｒ画像データとを、同時に読み出すように、画像データの読み出しを制御する。また、メモリ読み出し制御部２０４は、２回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ３に保持されたＧｂ画像データと、ラインメモリ４に保持されたＢ画像データとを、同時に読み出すように、画像データの読み出しを制御する。また、メモリ読み出し制御部２０４は、３回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ５に保持されたＲ画像データと、ラインメモリ６に保持されたＧｒ画像データとを、同時に読み出すように、画像データの読み出しを制御する。また、メモリ読み出し制御部２０４は、４回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ７に保持されたＧｂ画像データと、ラインメモリ８に保持されたＢ画像データとを、同時に読み出すように、画像データの読み出しを制御する。以降、同様に、画像同期信号ＯＨＤに基づいた画像データのラインメモリ１〜８からの読み出し制御を繰り返す。

なお、メモリ読み出し制御部２０４は、画像同期信号ＯＨＤに加えて、ラインメモリ部２０３から読み出す各画像データのタイミングを表す信号として、画像クロック信号を生成して出力する構成とすることもできる。この場合には、画像処理装置３０は、撮像クロックＣＬＫの代わりにメモリ読み出し制御部２０４が出力した画像クロック信号に基づいて、撮像装置１００における種々の画像処理を行うことになる。

データ振り分け部２０５は、メモリ読み出し制御部２０４から入力される画像同期信号ＯＨＤに基づいて、現在出力する画像データ（各ラインメモリ１〜８に保持している画像データ）が、何回目の画像同期信号ＯＨＤのタイミングの画像データであるかを判定する。そして、データ振り分け部２０５は、判定した結果に基づいて、ラインメモリ部２０３内のそれぞれのラインメモリ１〜８から読み出された画像データを、出力チャンネルＯｃｈ１および出力チャンネルＯｃｈ２のそれぞれに振り分けて出力する。

より具体的には、データ振り分け部２０５は、１回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ１から読み出されたＲ画像データを出力チャンネルＯｃｈ１に、ラインメモリ２から読み出されたＧｒ画像データを出力チャンネルＯｃｈ２に、それぞれ振り分けて出力するように、ラインメモリ１とラインメモリ２とから読み出される画像データの出力先を切り替える。また、データ振り分け部２０５は、２回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ３から読み出されたＧｒ画像データを出力チャンネルＯｃｈ１に、ラインメモリ４から読み出されたＢ画像データを出力チャンネルＯｃｈ２に、それぞれ振り分けて出力するように、ラインメモリ３とラインメモリ４とから読み出される画像データの出力先を切り替える。また、データ振り分け部２０５は、３回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ５から読み出されたＲ画像データを出力チャンネルＯｃｈ１に、ラインメモリ６から読み出されたＧｒ画像データを出力チャンネルＯｃｈ２に、それぞれ振り分けて出力するように、ラインメモリ５とラインメモリ６とから読み出される画像データの出力先を切り替える。また、データ振り分け部２０５は、４回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ７から読み出されたＧｒ画像データを出力チャンネルＯｃｈ１に、ラインメモリ８から読み出されたＢ画像データを出力チャンネルＯｃｈ２に、それぞれ振り分けて出力するように、ラインメモリ７とラインメモリ８とから読み出される画像データの出力先を切り替える。以降、同様に、画像同期信号ＯＨＤに基づいた画像データの出力先の切り替えを繰り返す。

次に、本第１の実施形態の撮像装置１００に備えた信号転送部２０における画像データの並び替え方法について説明する。図３は、本第１の実施形態の撮像装置１００に備えた信号転送部２０による画像データの転送タイミングを示したタイミングチャートである。図３では、図２に示したイメージャが垂直２ｃｈ形式で出力した画像データの並びを、水平２ｃｈ形式の画像データの並びに並び替えて出力する場合において、撮像同期信号ＩＨＤが２回分の並び替え動作を示している。また、図３では、それぞれのラインメモリ１〜８の書き込み制御信号および読み出し制御信号として、各ラインメモリの書き込みアドレスおよび読み出しアドレスを示している。

最初に、撮像部１０から出力される画像データのラインメモリ部２０３への書き込み動作について説明する。まず、１回目の撮像同期信号ＩＨＤの期間で、撮像部１０の出力チャンネルｃｈ１から、イメージャに配置された１ライン目の画素のＲ画像データとＧｒ画像データとが順次、信号転送部２０に入力される。また、同時に、撮像部１０の出力チャンネルｃｈ２から、イメージャに配置された２ライン目の画素のＧｂ画像データとＢ画像データとが順次、信号転送部２０に入力される。

このとき、データ振り分け部２０１は、出力チャンネルｃｈ１から入力された画像データの出力先を、ラインメモリ１とラインメモリ２とに切り替える。また、データ振り分け部２０１は、出力チャンネルｃｈ２から入力された画像データの出力先を、ラインメモリ３とラインメモリ４とに切り替える。これにより、Ｒ画像データとＧｒ画像データとが順次、ラインメモリ１とラインメモリ２とに入力され、Ｇｂ画像データとＢ画像データとが順次、ラインメモリ３とラインメモリ４とに入力される。

また、メモリ書き込み制御部２０２は、奇数回目の撮像クロックＣＬＫで、ラインメモリ１とラインメモリ３とに画像データの書き込み制御信号を出力し、偶数回目の撮像クロックＣＬＫで、ラインメモリ２とラインメモリ４とに画像データの書き込み制御信号を出力する。これにより、図３を見てわかるように、ラインメモリ１には、Ｒ画像データのみが順次書き込まれて保持される。また、同様に、ラインメモリ２にはＧｒ画像データのみが、ラインメモリ３にはＧｂ画像データのみが、ラインメモリ４にはＢ画像データのみが、それぞれ順次書き込まれて保持される。

続いて、２回目の撮像同期信号ＩＨＤの期間で、撮像部１０の出力チャンネルｃｈ１から、イメージャに配置された３ライン目の画素のＲ画像データとＧｒ画像データとが順次、信号転送部２０に入力される。また、同時に、撮像部１０の出力チャンネルｃｈ２から、イメージャに配置された４ライン目の画素のＧｂ画像データとＢ画像データとが順次、信号転送部２０に入力される。

このとき、データ振り分け部２０１は、出力チャンネルｃｈ１から入力された画像データの出力先を、ラインメモリ５とラインメモリ６とに切り替える。また、データ振り分け部２０１は、出力チャンネルｃｈ２から入力された画像データの出力先を、ラインメモリ７とラインメモリ８とに切り替える。これにより、Ｒ画像データとＧｒ画像データとが順次、ラインメモリ５とラインメモリ６とに入力され、Ｇｂ画像データとＢ画像データとが順次、ラインメモリ７とラインメモリ８とに入力される。

また、メモリ書き込み制御部２０２は、奇数回目の撮像クロックＣＬＫで、ラインメモリ５とラインメモリ７とに画像データの書き込み制御信号を出力し、偶数回目の撮像クロックＣＬＫで、ラインメモリ６とラインメモリ８とに画像データの書き込み制御信号を出力する。これにより、図３を見てわかるように、ラインメモリ５には、Ｒ画像データのみが、ラインメモリ６にはＧｒ画像データのみが、ラインメモリ７にはＧｂ画像データのみが、ラインメモリ８にはＢ画像データのみが、それぞれ順次書き込まれて保持される。

以降、同様に、撮像同期信号ＩＨＤ毎にラインメモリ１〜４とラインメモリ５〜８とを交互に切り替えながら、撮像部１０から出力される画像データを色毎に、対応するラインメモリ１〜８に書き込んで保持する。

このように、データ振り分け部２０１が撮像部１０から出力される画像データの出力先を切り替え、メモリ書き込み制御部２０２が、ラインメモリ部２０３内のそれぞれのラインメモリ１〜８が対応する色のみの画像データを書き込むように、各ラインメモリ１〜８への画像データの書き込みを制御する。これにより、ラインメモリ１〜８のそれぞれには、対応する色の画像データのみが書き込まれ、保持される。

次に、ラインメモリ部２０３に保持された画像データの読み出し動作について説明する。ラインメモリ部２０３に保持された画像データは、１回の撮像同期信号ＩＨＤの期間分の画像データの書き込み、すなわち、イメージャに配置された１ライン目と２ライン目との画素の画像データの書き込みが完了すると共に、書き込みが完了したラインメモリに保持している画像データの読み出しを開始することができる。図３では、１回目の撮像同期信号ＩＨＤの期間の書き込みが完了した後に、１回目の画像同期信号ＯＨＤの期間の読み出しを開始する場合を示している。

１回目の撮像同期信号ＩＨＤの期間の書き込みが完了すると、まず、メモリ読み出し制御部２０４は、画像同期信号ＯＨＤを生成して出力する。そして、１回目の画像同期信号ＯＨＤの期間で、メモリ読み出し制御部２０４は、ラインメモリ１とラインメモリ２とに、保持している画像データの読み出し制御信号を出力する。これにより、ラインメモリ１からＲ画像データが、ラインメモリ２からＧｒ画像データが、順次データ振り分け部２０５に読み出される。

このとき、データ振り分け部２０５は、ラインメモリ１から読み出されたＲ画像データの出力先を出力チャンネルＯｃｈ１に、ラインメモリ２から読み出されたＧｒ画像データの出力先を出力チャンネルＯｃｈ２に切り替える。これにより、図３を見てわかるように、出力チャンネルＯｃｈ１にＲ画像データが、出力チャンネルＯｃｈ２にＧｒ画像データが、順次出力される。

続いて、２回目の画像同期信号ＯＨＤの期間で、メモリ読み出し制御部２０４は、ラインメモリ３とラインメモリ４とに、保持している画像データの読み出し制御信号を出力する。これにより、ラインメモリ３からＧｂ画像データが、ラインメモリ４からＢ画像データが、順次データ振り分け部２０５に読み出される。

このとき、データ振り分け部２０５は、ラインメモリ３から読み出されたＧｂ画像データの出力先を出力チャンネルＯｃｈ１に、ラインメモリ４から読み出されたＢ画像データの出力先を出力チャンネルＯｃｈ２に切り替える。これにより、図３を見てわかるように、出力チャンネルＯｃｈ１にＧｂ画像データが、出力チャンネルＯｃｈ２にＢ画像データが、順次出力される。

続いて、３回目の画像同期信号ＯＨＤの期間で、メモリ読み出し制御部２０４は、ラインメモリ５とラインメモリ６とに、保持している画像データの読み出し制御信号を出力する。これにより、ラインメモリ５からＲ画像データが、ラインメモリ６からＧｒ画像データが、順次データ振り分け部２０５に読み出される。

このとき、データ振り分け部２０５は、ラインメモリ５から読み出されたＲ画像データの出力先を出力チャンネルＯｃｈ１に、ラインメモリ６から読み出されたＧｒ画像データの出力先を出力チャンネルＯｃｈ２に切り替える。これにより、図３を見てわかるように、出力チャンネルＯｃｈ１にＲ画像データが、出力チャンネルＯｃｈ２にＧｒ画像データが、順次出力される。

続いて、４回目の画像同期信号ＯＨＤの期間で、メモリ読み出し制御部２０４は、ラインメモリ７とラインメモリ８とに、保持している画像データの読み出し制御信号を出力する。これにより、ラインメモリ７からＧｂ画像データが、ラインメモリ８からＢ画像データが、順次データ振り分け部２０５に読み出される。

このとき、データ振り分け部２０５は、ラインメモリ７から読み出されたＧｂ画像データの出力先を出力チャンネルＯｃｈ１に、ラインメモリ８から読み出されたＢ画像データの出力先を出力チャンネルＯｃｈ２に切り替える。これにより、図３を見てわかるように、出力チャンネルＯｃｈ１にＧｂ画像データが、出力チャンネルＯｃｈ２にＢ画像データが、順次出力される。

以降、同様に、画像同期信号ＯＨＤ毎にラインメモリ１および２と、ラインメモリ３および４と、ラインメモリ５および６と、ラインメモリ７および８と、を順番に切り替えながら、画像データを出力する。

このように、メモリ読み出し制御部２０４が、出力形式（水平２ｃｈ形式）に対応した色の画像データを読み出すように、ラインメモリ部２０３内のそれぞれのラインメモリ１〜８からの画像データの読み出しを制御し、データ振り分け部２０５が、読み出された画像データの出力先を切り替える。これにより、信号転送部２０から、データの並びが並び替えられた画像データが出力される。

上記に述べたとおり、本第１の実施形態によれば、撮像部１０から出力される画像データの出力形式を、画像処理装置３０が対応している画像データの入力形式に並び替えて出力することができる。これにより、撮像部の後段の画像処理部でイメージャから出力される画素信号の多様な出力形式に対応する従来の方法のように、画像処理装置に不要な回路を構成する必要がなくなる。また、すでに開発が完了している画像処理装置を、この画像処理装置が対応しているイメージャの出力形式と異なる出力形式のイメージャを搭載した撮像装置に適用することも可能となる。

なお、本第１の実施形態においては、信号転送部２０は、撮像部１０から垂直２ｃｈ形式で入力された画像データの並びを、水平２ｃｈ形式の並びに並び替えて画像処理装置３０に出力する。この場合には、図３を見てわかるように、画像同期信号ＯＨＤは、撮像同期信号ＩＨＤの半分の周期になるように生成される。しかし、画像同期信号ＯＨＤの周期は、本第１の実施形態のタイミングのみに限定されるものではない。例えば、イメージャの各色（４色：Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データが１ライン分、ラインメモリ部２０３内のそれぞれのラインメモリに書き込まれていれば、メモリ読み出し制御部２０４は、任意のタイミングで画像同期信号ＯＨＤの出力やラインメモリの読み出しを開始することができる。ただし、画像同期信号ＯＨＤの周期は、メモリ書き込み制御部２０２が再び同じラインメモリに画像データの書き込みを開始する前に、ラインメモリに保持している画像データの読み出しが完了している必要がある。すなわち、画像同期信号ＯＨＤは、ラインメモリ部２０３内のそれぞれのラインメモリ１〜８への画像データの書き込みと、ラインメモリ部２０３内のそれぞれのラインメモリ１〜８からの画像データの読み出しとが破綻しないタイミングであれば、撮像同期信号ＩＨＤの周期と異なる周期にすることができる。また、ラインメモリの読み出しを開始するタイミングも、１ライン分の画像データのラインメモリへの書き込みが終了した後のみではなく、ラインメモリからの画像データの読み出しが、ラインメモリへの画像データの書き込みを追い越さないタイミングであれば、ラインメモリの読み出しを開始するタイミングを早めることができる。

また、本第１の実施形態においては、ラインメモリ部２０３内に８本のラインメモリを備え、撮像同期信号ＩＨＤが２回分の各色（４色：Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データを保持する構成である場合について説明したが、ラインメモリ部２０３内に備えるラインメモリの数は、本第１の実施形態の構成のみに限定されるものではない。例えば、１２本のラインメモリを備え、撮像同期信号ＩＨＤが３回分の各色（４色：Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データを保持する構成にすることもできる。この場合には、ラインメモリ部２０３内のそれぞれのラインメモリへの画像データの書き込みと、ラインメモリ部２０３内のそれぞれのラインメモリからの画像データの読み出しとが破綻しない期間が延びるため、画像同期信号ＯＨＤを出力するタイミングに、さらに自由度を増すことができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図４は、本第２の実施形態における撮像装置の概略構成を示したブロック図である。図４に示した撮像装置１１０は、撮像部１１と、信号転送部２１と、画像処理部３０１および３０２と、ＡＥ評価値演算部３０３と、ＡＦ評価値演算部３０４と、ＤＭＡＩＦ部３０５、３１６、３０７、および３０８と、バス４０と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）５０と、を備えている。撮像装置１１０では、画像処理部３０１および３０２と、ＡＥ評価値演算部３０３と、ＡＦ評価値演算部３０４と、ＤＭＡＩＦ部３０５、３１６、３０７、および３０８とで、画像処理装置３１を構成している。

本第２の実施形態の撮像装置１１０は、撮像部１１内に備えるイメージャの出力形式と、画像処理装置３１が対応するイメージャの形式とが、第１の実施形態の撮像装置１００と異なる。より具体的には、第１の実施形態の撮像装置１００の撮像部１０は、垂直方向（列方向）に隣接する２画素の画素信号を同時に出力するベイヤー配列のイメージャを備えていたのに対して、撮像装置１１０の撮像部１１は、水平方向（行方向）に隣接する２画素の画素信号を同時に出力するベイヤー配列のイメージャを備えている。また、第１の実施形態の撮像装置１００の画像処理装置３０は、水平方向（行方向）に隣接する２画素の画素信号が同時に出力されるベイヤー配列のイメージャに対応していたのに対して、画像処理装置３１は、垂直方向（列方向）に隣接する２画素の画素信号が同時に出力されるベイヤー配列のイメージャに対応している。この構成に伴って、第１の実施形態の撮像装置１００の信号転送部２０は、垂直２ｃｈ形式の画像データの並びを水平２ｃｈ形式の並びに並び替えるのに対して、信号転送部２１は、水平２ｃｈ形式の画像データの並びを垂直２ｃｈ形式の並びに並び替える。

なお、以下の説明においては、本第２の実施形態の撮像装置１１０と第１の実施形態の撮像装置１００とにおいて、同様の動作をする構成要素については、同一の符号を付与し、詳細な説明は省略する。

撮像部１１は、水平方向（行方向）に隣接する２画素の画素信号を同時に出力する、図２に示したようなベイヤー配列のイメージャを備え、イメージャが露光した被写体の光学像に応じた画素信号（アナログ信号）を、デジタル値に変換して信号転送部２１に出力する。図２に示したイメージャが水平方向（行方向）に隣接する２画素の画素信号を同時に出力する場合、まず、Ｒ画素の画素信号が一方のチャンネルから出力され、Ｒ画素に水平方向（行方向）に隣接するＧｒ画素の画素信号が他方のチャンネルからそれぞれ同時に出力される。続いて、次の出力タイミングでは、Ｇｂ画素の画素信号が一方のチャンネルから出力され、Ｇｂ画素に水平方向（行方向）に隣接するＢ画素の画素信号が他方のチャンネルからそれぞれ同時に出力される。このように、撮像部１１に備えたイメージャは、水平方向（行方向）に隣接する２画素の画素信号を同時に、順次出力する。そして、撮像部１１は、イメージャのそれぞれのチャンネルから出力された画素信号に応じた画像データを、それぞれ対応する２つの出力チャンネル（ｃｈ１およびｃｈ２）から、順次出力する。

また、撮像部１１は、画像データの出力タイミングを表す撮像同期信号ＩＨＤおよび撮像クロックＣＬＫを、信号転送部２１に出力する。なお、撮像部１１に備えたイメージャが出力する画素信号に応じた画像データ、および画像データの出力タイミングに関しては、後述する。

なお、撮像部１１は、第１の実施形態の撮像部１０と同様に、ＣＤＳ処理など、予め定められた信号処理（前処理）を行う前処理部を、さらに備えた構成であってもよい。

信号転送部２１は、撮像部１１から入力された水平２ｃｈ形式の画像データの並びを、画像処理装置３１が画像処理する垂直２ｃｈ形式の並びに並び替え、並び替えた後の画像データを画像処理装置３１に出力する。また、信号転送部２１は、画像データの出力タイミングを表す画像同期信号ＯＨＤを出力する。後段の画像処理装置３１以降の構成要素は、信号転送部２１が出力した画像同期信号ＯＨＤに基づいて、それぞれの動作タイミングが決定される。なお、信号転送部２１の構成と、信号転送部２１における画像データの並び替え方法に関する詳細な説明は、後述する。

画像処理装置３１は、画像同期信号ＯＨＤおよび撮像クロックＣＬＫに基づいて、信号転送部２１から入力された画像データに対して、撮像装置１１０における種々の画像処理を行う。そして、画像処理によって得られたデータを、バス４０を介してＤＲＡＭ５０に記憶させる。

より具体的には、画像処理部３０１および３０２は、信号転送部２１から入力されたそれぞれの画像データに対して、予め定めた画像処理を行った画像を生成する。そして、ＤＭＡＩＦ３０５およびＤＭＡＩＦ３１６のそれぞれが、画像処理部３０１および３０２のそれぞれが生成した画像を、それぞれＤＲＡＭ５０に書き込む。また、ＡＥ評価値演算部３０３およびＡＦ評価値演算部３０４は、信号転送部２１から入力された画像データの色（図２に示したベイヤー配列のイメージャでは、Ｒ，Ｇｒ，Ｇｂ，Ｂ）毎に、ＡＥ評価値およびＡＦ評価値を算出する。そして、ＤＭＡＩＦ３０７およびＤＭＡＩＦ３０８が、算出したＡＥ評価値およびＡＦ評価値を、それぞれＤＲＡＭ５０に書き込む。なお、画像処理装置３１は、垂直２ｃｈ形式のイメージャに対応した、従来の画像処理装置と同様であるため、詳細な説明は省略する。

次に、本第２の実施形態の撮像装置１１０に備えた信号転送部２１の構成について、より詳細に説明する。上記に述べたように、信号転送部２１は、入力された水平２ｃｈ形式の画像データの並びを、垂直２ｃｈ形式の並びに並び替える。信号転送部２１は、データ振り分け部２１１と、メモリ書き込み制御部２１２と、ラインメモリ部２１３と、メモリ読み出し制御部２１４と、データ振り分け部２１５と、を備えている。

ラインメモリ部２１３は、メモリ書き込み制御部２１２から入力される書き込み制御信号に応じて、データ振り分け部２１１から入力された画像データを保持する。また、ラインメモリ部２１３は、メモリ読み出し制御部２１４から入力される読み出し制御信号に応じて、保持している画像データをデータ振り分け部２１５に出力する。

ラインメモリ部２１３は、イメージャに配置された画素の４行（ライン）分の画像データを保持することができる容量のラインメモリを備えている。図４では、ラインメモリ部２１３が８本のラインメモリで構成されている場合を示している。すなわち、本第２の実施形態においては、水平方向（行方向）に隣接する２画素の画素信号を同時に出力するベイヤー配列のイメージャに対応しており、１回の撮像同期信号ＩＨＤで１ラインに含まれる２画素分の画像データが撮像部１１から出力されるため、ラインメモリ部２１３は、撮像同期信号ＩＨＤが４回分の各色（４色：Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データを保持することができる。

以下の説明においてラインメモリ部２１３内のラインメモリを区別する場合には、第１の実施形態のラインメモリ部２０３と同様に、８本のラインメモリをそれぞれ、ラインメモリ１、ラインメモリ２、ラインメモリ３、ラインメモリ４、ラインメモリ５、ラインメモリ６、ラインメモリ７、ラインメモリ８と表して説明する。本第２の実施形態においては、ラインメモリ１および２が、撮像部１１から出力される１回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１と出力チャンネルｃｈ２とから出力される各色（Ｒ，Ｇｒ）の画像データに対応している。また、ラインメモリ３および４が、撮像部１１から出力される２回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１と出力チャンネルｃｈ２とから出力される各色（Ｇｂ，Ｂ）の画像データに対応している。また、ラインメモリ５および６が、撮像部１１から出力される３回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１と出力チャンネルｃｈ２とから出力される各色（Ｒ，Ｇｒ）の画像データに対応している。また、ラインメモリ７および８が、撮像部１１から出力される４回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１と出力チャンネルｃｈ２とから出力される各色（Ｇｂ，Ｂ）の画像データに対応している。

また、ラインメモリ部２１３内のラインメモリ１〜８は、第１の実施形態のラインメモリ部２０３と同様に、イメージャが出力する画像データの色毎に、それぞれの画像データを保持するラインメモリが予め定められている。本第２の実施形態においては、第１の実施形態のラインメモリ部２０３と同様に、ラインメモリ１およびラインメモリ５がイメージャのＲ画素に応じたＲ画像データ、ラインメモリ２およびラインメモリ６がイメージャのＧｒ画素に応じたＧｒ画像データ、ラインメモリ３およびラインメモリ７がイメージャのＧｂ画素に応じたＧｂ画像データ、ラインメモリ４およびラインメモリ８がイメージャのＢ画素に応じたＢ画像データ、をそれぞれ保持する。

データ振り分け部２１１は、撮像部１１から入力される撮像同期信号ＩＨＤに基づいて、現在入力されている画像データが、何回目の撮像同期信号ＩＨＤのタイミングの画像データであるかを判定する。そして、データ振り分け部２１１は、判定した結果に基づいて、撮像部１１の出力チャンネルｃｈ１および出力チャンネルｃｈ２のそれぞれから入力される画像データの出力先を、ラインメモリ部２１３内のそれぞれのラインメモリ１〜８に振り分ける。

より具体的には、データ振り分け部２１１は、１回目の撮像同期信号ＩＨＤのタイミングで入力されたＲ画像データをラインメモリ１に、Ｇｒ画像データをラインメモリ２に振り分けるように、出力チャンネルｃｈ１および出力チャンネルｃｈ２から入力される画像データの出力先を切り替える。また、データ振り分け部２１１は、２回目の撮像同期信号ＩＨＤのタイミングで入力されたＧｂ画像データをラインメモリ３に、Ｂ画像データをラインメモリ４に振り分けるように、出力チャンネルｃｈ１および出力チャンネルｃｈ２から入力される画像データの出力先を切り替える。また、データ振り分け部２１１は、３回目の撮像同期信号ＩＨＤのタイミングで入力されたＲ画像データをラインメモリ５に、Ｇｒ画像データをラインメモリ６に振り分けるように、出力チャンネルｃｈ１および出力チャンネルｃｈ２から入力される画像データの出力先を切り替える。また、データ振り分け部２１１は、４回目の撮像同期信号ＩＨＤのタイミングで入力されたＧｂ画像データをラインメモリ７に、Ｂ画像データをラインメモリ８に振り分けるように、出力チャンネルｃｈ１および出力チャンネルｃｈ２から入力される画像データの出力先を切り替える。以降、同様に、撮像同期信号ＩＨＤに基づいた画像データの出力先の切り替えを繰り返す。

メモリ書き込み制御部２１２は、撮像部１１から入力される撮像同期信号ＩＨＤおよび撮像クロックＣＬＫに応じて、ラインメモリ部２１３内のそれぞれのラインメモリ１〜８の画像データの書き込みを制御する書き込み制御信号を出力する。メモリ書き込み制御部２１２によるラインメモリ部２１３内のそれぞれのラインメモリ１〜８の書き込み制御は、撮像同期信号ＩＨＤおよび撮像クロックＣＬＫに同期したタイミングで行われる。

より具体的には、メモリ書き込み制御部２１２は、１回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１から入力されたＲ画像データをラインメモリ１に、出力チャンネルｃｈ２から入力されたＧｒ画像データをラインメモリ２に書き込むように、画像データの書き込みを制御する。また、メモリ書き込み制御部２１２は、２回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１から入力されたＧｂ画像データをラインメモリ３に、出力チャンネルｃｈ２から入力されたＢ画像データをラインメモリ４に書き込むように、画像データの書き込みを制御する。また、メモリ書き込み制御部２１２は、３回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１から入力されたＲ画像データをラインメモリ５に、出力チャンネルｃｈ２から入力されたＧｒ画像データをラインメモリ６に書き込むように、画像データの書き込みを制御する。また、メモリ書き込み制御部２１２は、４回目の撮像同期信号ＩＨＤのタイミングで出力チャンネルｃｈ１から入力されたＧｂ画像データをラインメモリ７に、出力チャンネルｃｈ２から入力されたＢ画像データをラインメモリ８に書き込むように、画像データの書き込みを制御する。以降、同様に、撮像同期信号ＩＨＤに基づいた画像データのラインメモリ１〜８への書き込み制御を繰り返す。

２回の撮像同期信号ＩＨＤのタイミングで入力された画像データのラインメモリ部２１３への書き込みが完了すると、書き込みが完了したラインメモリに保持している画像データの読み出しを行うことができる。

メモリ読み出し制御部２１４は、図示しない制御部からの読み出し開始信号に応じて、ラインメモリ部２１３内のそれぞれのラインメモリ１〜８の画像データの読み出しを制御する読み出し制御信号を出力する。また、メモリ読み出し制御部２１４は、ラインメモリ部２１３から読み出される画像データのタイミングを表す画像同期信号ＯＨＤを生成して出力する。画像処理装置３１は、信号転送部２１が出力した画像同期信号ＯＨＤに基づいて、撮像装置１１０における種々の画像処理を行うことになる。

より具体的には、メモリ読み出し制御部２１４は、奇数回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ１に保持されたＲ画像データと、ラインメモリ２に保持されたＧｒ画像データと、ラインメモリ３に保持されたＧｂ画像データと、ラインメモリ４に保持されたＢ画像データとを、同時に読み出すように、画像データの読み出しを制御する。メモリ読み出し制御部２１４は、偶数回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ５に保持されたＲ画像データと、ラインメモリ６に保持されたＧｒ画像データと、ラインメモリ７に保持されたＧｂ画像データと、ラインメモリ８に保持されたＢ画像データとを、同時に読み出すように、画像データの読み出しを制御する。以降、同様に、画像同期信号ＯＨＤに基づいた画像データのラインメモリ１〜８からの読み出し制御を繰り返す。

なお、メモリ読み出し制御部２１４は、画像同期信号ＯＨＤに加えて、ラインメモリ部２１３から読み出す各画像データのタイミングを表す信号として、画像クロック信号を生成して出力する構成とすることもできる。この場合には、画像処理装置３１は、撮像クロックＣＬＫの代わりにメモリ読み出し制御部２１４が出力した画像クロック信号に基づいて、撮像装置１１０における種々の画像処理を行うことになる。

データ振り分け部２１５は、メモリ読み出し制御部２１４から入力される画像同期信号ＯＨＤに基づいて、現在出力する画像データ（各ラインメモリ１〜８に保持している画像データ）が、奇数回目の画像同期信号ＯＨＤのタイミングの画像データであるか、偶数回目の画像同期信号ＯＨＤのタイミングの画像データであるかを判定する。そして、データ振り分け部２１５は、判定した結果に基づいて、ラインメモリ部２１３内のそれぞれのラインメモリ１〜８から読み出された画像データを、出力チャンネルＯｃｈ１および出力チャンネルＯｃｈ２のそれぞれに振り分けて出力する。

より具体的には、データ振り分け部２１５は、奇数回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ１から読み出されたＲ画像データと、ラインメモリ２から読み出されたＧｒ画像データとを出力チャンネルＯｃｈ１に、ラインメモリ３から読み出されたＧｂ画像データと、ラインメモリ４から読み出されたＢ画像データとを出力チャンネルＯｃｈ２に、それぞれ振り分けて出力するように、ラインメモリ１〜４から読み出される画像データの出力先を切り替える。また、データ振り分け部２１５は、偶数回目の画像同期信号ＯＨＤのタイミングで、ラインメモリ５から読み出されたＲ画像データと、ラインメモリ６から読み出されたＧｒ画像データとを出力チャンネルＯｃｈ１に、ラインメモリ７から読み出されたＧｂ画像データと、ラインメモリ８から読み出されたＢ画像データとを出力チャンネルＯｃｈ２に、それぞれ振り分けて出力するように、ラインメモリ５〜８から読み出される画像データの出力先を切り替える。以降、同様に、画像同期信号ＯＨＤに基づいた画像データの出力先の切り替えを繰り返す。

次に、本第２の実施形態の撮像装置１１０に備えた信号転送部２１における画像データの並び替え方法について説明する。図５は、本第２の実施形態の撮像装置１１０に備えた信号転送部２１による画像データの転送タイミングを示したタイミングチャートである。図５では、図２に示したイメージャが水平２ｃｈ形式で出力した画像データの並びを、垂直２ｃｈ形式の画像データの並びに並び替えて出力する場合において、撮像同期信号ＩＨＤが４回分の並び替え動作を示している。また、図５では、それぞれのラインメモリ１〜８の書き込み制御信号および読み出し制御信号として、各ラインメモリの書き込みアドレスおよび読み出しアドレスを示している。

最初に、撮像部１１から出力される画像データのラインメモリ部２１３への書き込み動作について説明する。まず、１回目の撮像同期信号ＩＨＤの期間で、撮像部１１の出力チャンネルｃｈ１から、イメージャに配置された１ライン目の画素のＲ画像データが順次、信号転送部２１に入力される。また、同時に、撮像部１１の出力チャンネルｃｈ２から、イメージャに配置された１ライン目の画素のＧｒ画像データが順次、信号転送部２１に入力される。

このとき、データ振り分け部２１１は、出力チャンネルｃｈ１から入力された画像データの出力先をラインメモリ１に、出力チャンネルｃｈ２から入力された画像データの出力先をラインメモリ２に切り替える。これにより、Ｒ画像データが順次ラインメモリ１に入力され、Ｇｒ画像データが順次ラインメモリ２に入力される。

また、メモリ書き込み制御部２１２は、撮像クロックＣＬＫ毎に、ラインメモリ１とラインメモリ２とに画像データの書き込み制御信号を出力する。これにより、図５を見てわかるように、ラインメモリ１にはＲ画像データが、ラインメモリ２にはＧｒ画像データが、順次書き込まれて保持される。

続いて、２回目の撮像同期信号ＩＨＤの期間で、撮像部１１の出力チャンネルｃｈ１から、イメージャに配置された２ライン目の画素のＧｂ画像データが順次、信号転送部２１に入力される。また、同時に、撮像部１１の出力チャンネルｃｈ２から、イメージャに配置された２ライン目の画素のＢ画像データが順次、信号転送部２１に入力される。

このとき、データ振り分け部２１１は、出力チャンネルｃｈ１から入力された画像データの出力先をラインメモリ３に、出力チャンネルｃｈ２から入力された画像データの出力先をラインメモリ４に切り替える。これにより、Ｇｂ画像データが順次ラインメモリ３に入力され、Ｂ画像データが順次ラインメモリ４に入力される。

また、メモリ書き込み制御部２１２は、撮像クロックＣＬＫ毎に、ラインメモリ３とラインメモリ４とに画像データの書き込み制御信号を出力する。これにより、図５を見てわかるように、ラインメモリ３にはＧｂ画像データが、ラインメモリ４にはＢ画像データが、順次書き込まれて保持される。

続いて、３回目の撮像同期信号ＩＨＤの期間で、撮像部１１の出力チャンネルｃｈ１から、イメージャに配置された３ライン目の画素のＲ画像データが順次、信号転送部２１に入力される。また、同時に、撮像部１１の出力チャンネルｃｈ２から、イメージャに配置された３ライン目の画素のＧｒ画像データが順次、信号転送部２１に入力される。

このとき、データ振り分け部２１１は、出力チャンネルｃｈ１から入力された画像データの出力先をラインメモリ５に、出力チャンネルｃｈ２から入力された画像データの出力先をラインメモリ６に切り替える。これにより、Ｒ画像データが順次ラインメモリ５に入力され、Ｇｒ画像データが順次ラインメモリ６に入力される。

また、メモリ書き込み制御部２１２は、撮像クロックＣＬＫ毎に、ラインメモリ５とラインメモリ６とに画像データの書き込み制御信号を出力する。これにより、図５を見てわかるように、ラインメモリ５にはＲ画像データが、ラインメモリ６にはＧｒ画像データが、順次書き込まれて保持される。

続いて、４回目の撮像同期信号ＩＨＤの期間で、撮像部１１の出力チャンネルｃｈ１から、イメージャに配置された４ライン目の画素のＧｂ画像データが順次、信号転送部２１に入力される。また、同時に、撮像部１１の出力チャンネルｃｈ２から、イメージャに配置された４ライン目の画素のＢ画像データが順次、信号転送部２１に入力される。

このとき、データ振り分け部２１１は、出力チャンネルｃｈ１から入力された画像データの出力先をラインメモリ７に、出力チャンネルｃｈ２から入力された画像データの出力先をラインメモリ８に切り替える。これにより、Ｇｂ画像データが順次ラインメモリ７に入力され、Ｂ画像データが順次ラインメモリ８に入力される。

また、メモリ書き込み制御部２１２は、撮像クロックＣＬＫ毎に、ラインメモリ７とラインメモリ８とに画像データの書き込み制御信号を出力する。これにより、図５を見てわかるように、ラインメモリ７にはＧｂ画像データが、ラインメモリ８にはＢ画像データが、順次書き込まれて保持される。

以降、同様に、撮像同期信号ＩＨＤ毎にラインメモリ１および２と、ラインメモリ３および４と、ラインメモリ５および６と、ラインメモリ７および８とを順番に切り替えながら、撮像部１１から出力される画像データを色毎に、対応するラインメモリ１〜８に書き込んで保持する。

このように、データ振り分け部２１１が撮像部１１から出力される画像データの出力先を切り替え、メモリ書き込み制御部２１２が、ラインメモリ部２１３内のそれぞれのラインメモリ１〜８が対応する色の画像データを書き込むように、各ラインメモリ１〜８への画像データの書き込みを制御する。これにより、ラインメモリ１〜８のそれぞれには、対応する色の画像データが書き込まれ、保持される。

次に、ラインメモリ部２１３に保持された画像データの読み出し動作について説明する。ラインメモリ部２１３に保持された画像データは、２回の撮像同期信号ＩＨＤの期間分の画像データの書き込み、すなわち、イメージャに配置された１ライン目と２ライン目との画素の画像データの書き込みが完了すると共に、書き込みが完了したラインメモリに保持している画像データの読み出しを開始することができる。図５では、２回目の撮像同期信号ＩＨＤの期間の書き込みが完了した後に、１回目の画像同期信号ＯＨＤの期間の読み出しを開始する場合を示している。

２回目の撮像同期信号ＩＨＤの期間の書き込みが完了すると、まず、メモリ読み出し制御部２１４は、画像同期信号ＯＨＤを生成して出力する。そして、１回目の画像同期信号ＯＨＤの期間で、メモリ読み出し制御部２１４は、奇数回目の撮像クロックＣＬＫで、ラインメモリ１とラインメモリ３とに保持している画像データの読み出し制御信号を出力し、偶数回目の撮像クロックＣＬＫで、ラインメモリ２とラインメモリ４とに保持している画像データの読み出し制御信号を出力する。これにより、ラインメモリ１に保持されたＲ画像データとラインメモリ２に保持されたＧｒ画像データとが、交互にデータ振り分け部２１５に読み出される。また、同様に、ラインメモリ３に保持されたＧｂ画像データとラインメモリ４に保持されたＢ画像データとが、交互にデータ振り分け部２１５に読み出される。

このとき、データ振り分け部２１５は、ラインメモリ１から読み出されたＲ画像データと、ラインメモリ２から読み出されたＧｒ画像データとの出力先を出力チャンネルＯｃｈ１に、ラインメモリ３から読み出されたＧｂ画像データと、ラインメモリ４から読み出されたＢ画像データとの出力先を出力チャンネルＯｃｈ２に切り替える。これにより、図５を見てわかるように、出力チャンネルＯｃｈ１にＲ画像データとＧｒ画像データとが、出力チャンネルＯｃｈ２にＧｒ画像データとＢ画像データとが、順次出力される。

続いて、２回目の画像同期信号ＯＨＤの期間で、メモリ読み出し制御部２１４は、奇数回目の撮像クロックＣＬＫで、ラインメモリ５とラインメモリ７とに保持している画像データの読み出し制御信号を出力し、偶数回目の撮像クロックＣＬＫで、ラインメモリ６とラインメモリ８とに保持している画像データの読み出し制御信号を出力する。これにより、ラインメモリ５に保持されたＲ画像データとラインメモリ６に保持されたＧｒ画像データとが、交互にデータ振り分け部２１５に読み出される。また、同様に、ラインメモリ７に保持されたＧｂ画像データとラインメモリ８に保持されたＢ画像データとが、交互にデータ振り分け部２１５に読み出される。

このとき、データ振り分け部２１５は、ラインメモリ５から読み出されたＲ画像データと、ラインメモリ６から読み出されたＧｒ画像データとの出力先を出力チャンネルＯｃｈ１に、ラインメモリ７から読み出されたＧｂ画像データと、ラインメモリ８から読み出されたＢ画像データとの出力先を出力チャンネルＯｃｈ２に切り替える。これにより、図５を見てわかるように、出力チャンネルＯｃｈ１にＲ画像データとＧｒ画像データとが、出力チャンネルＯｃｈ２にＧｒ画像データとＢ画像データとが、順次出力される。

以降、同様に、画像同期信号ＯＨＤ毎にラインメモリ１〜４とラインメモリ５〜８とを交互に切り替えながら、画像データを出力する。

このように、メモリ読み出し制御部２１４が、出力形式（垂直２ｃｈ形式）に対応した色の画像データを読み出すように、ラインメモリ部２１３内のそれぞれのラインメモリ１〜８からの画像データの読み出しを制御し、データ振り分け部２１５が、読み出された画像データの出力先を切り替える。これにより、信号転送部２１から、データの並びが並び替えられた画像データが出力される。

上記に述べたとおり、本第２の実施形態によれば、撮像部１１から出力される画像データの出力形式を、画像処理装置３１が対応している画像データの入力形式に並び替えて出力することができる。これにより、第１の実施形態と同様に、従来の方法のような不要な回路を画像処理装置に構成する必要がなくなり、すでに開発が完了している画像処理装置を、対応している形式と異なる出力形式のイメージャを搭載した撮像装置に適用することができる。

なお、本第２の実施形態においては、信号転送部２１は、撮像部１１から水平２ｃｈ形式で入力された画像データの並びを、垂直２ｃｈ形式の並びに並び替えて画像処理装置３０に出力する。この場合には、図５を見てわかるように、画像同期信号ＯＨＤは、撮像同期信号ＩＨＤの２倍の周期になるように生成される。しかし、画像同期信号ＯＨＤの周期は、本第２の実施形態のタイミングのみに限定されるものではない。例えば、イメージャの各色（４色：Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データが１ライン分、ラインメモリ部２０３内のそれぞれのラインメモリに書き込まれていれば、メモリ読み出し制御部２０４は、任意のタイミングで画像同期信号ＯＨＤの出力やラインメモリの読み出しを開始することができる。ただし、画像同期信号ＯＨＤの周期は、メモリ書き込み制御部２０２が再び同じラインメモリに画像データの書き込みを開始する前に、ラインメモリに保持している画像データの読み出しが完了している必要がある。すなわち、画像同期信号ＯＨＤは、ラインメモリ部２１３内のそれぞれのラインメモリ１〜８への画像データの書き込みと、ラインメモリ部２１３内のそれぞれのラインメモリ１〜８からの画像データの読み出しとが破綻しないタイミングであれば、撮像同期信号ＩＨＤの周期と異なる周期にすることができる。また、ラインメモリの読み出しを開始するタイミングも、１ライン分の画像データのラインメモリへの書き込みが終了した後のみではなく、ラインメモリからの画像データの読み出しが、ラインメモリへの画像データの書き込みを追い越さないタイミングであれば、ラインメモリの読み出しを開始するタイミングを早めることができる。

また、本第２の実施形態においては、ラインメモリ部２１３内に８本のラインメモリを備え、撮像同期信号ＩＨＤが４回分の各色（４色：Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データを保持する構成である場合について説明したが、ラインメモリ部２１３内に備えるラインメモリの数は、本第２の実施形態の構成のみに限定されるものではない。例えば、１２本のラインメモリを備え、撮像同期信号ＩＨＤが６回分の各色（４色：Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データを保持する構成にすることもできる。この場合には、ラインメモリ部２１３内のそれぞれのラインメモリへの画像データの書き込みと、ラインメモリ部２１３内のそれぞれのラインメモリからの画像データの読み出しとが破綻しない期間が延びるため、画像同期信号ＯＨＤを出力するタイミングに、さらに自由度を増すことができる。

上記に述べたとおり、本発明を実施するための形態によれば、撮像部から出力された画像データを、一端ラインメモリ部に保持する。そして、ラインメモリ部に保持している画像データを、画像処理装置が対応している画像データの形式に並び替えて出力する。すなわち、撮像部に複数の画素の画像データを同時に出力のイメージャが搭載されている場合において、撮像部（イメージャ）が出力する画像データの出力形式と、後段の画像処理装置が対応している画像データの入力形式とが異なるときに、撮像部（イメージャ）が出力する画像データの出力形式を、画像処理装置の入力形式に合わせることができる。これにより、イメージャの出力形式が変わるたびに対応する画像処理装置を開発する必要がなく、すでに開発が完了している異なる出力形式のイメージャに対応した画像処理装置を、撮像装置に適用することができる。このことにより、従来の方法のように、イメージャの出力形式によって発生してしまう可能性がある、画像処理装置内の不要な回路構成が含まれる画像処理装置を使用する必要がなくなる。

なお、本実施形態においては、第１の実施形態で垂直２ｃｈ形式の画像データの並びを水平２ｃｈ形式の並びに並び替える場合の例を示し、第２の実施形態で水平２ｃｈ形式の画像データの並びを垂直２ｃｈ形式の並びに並び替える場合の例を示した。しかし、画像データを並び替える構成は、本発明を実施するための形態に限定されるものではない。例えば、信号転送部が、垂直２ｃｈ形式の画像データの並びを水平２ｃｈ形式の並びに並び替えと、水平２ｃｈ形式の画像データの並びを垂直２ｃｈ形式の並びに並び替えとの両方の並び替え動作を実現する構成とし、図示しない制御部からの制御に応じて、並び替え動作を切り替える構成とすることもできる。この場合であっても、信号転送部内で使用しない回路は、後段の画像処理部でイメージャから出力される画素信号の多様な出力形式に対応する従来の方法に比べて、非常に少ない。

また、本実施形態においては、ラインメモリ部を、並べ替える画像データの一時保存のみで使用する場合について説明したが、ラインメモリ部の使用方法は、本発明を実施するための形態に限定されるものではなく、ラインメモリ部を、撮像装置における別の機能の処理と共有して使用することもできる。例えば、特殊な順番で入力された画像データをベイヤー配列に並び替えるデータ並び替え機能、バス帯域を抑えるため、データが入力されるクロックのタイミングと異なるクロックのタイミングでデータを出力するクロック乗り換え機能、またはシリアルで入力された画像データをパラレルに並び替えるデータ並び替え機能など、撮像装置において必要となる様々な処理を行う際に使用するメモリとして、ラインメモリ部を使用することができる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１００，１１０・・・撮像装置
１０，１１・・・撮像部
２０，２１・・・信号転送部（信号転送装置）
２０１，２１１・・・データ振り分け部（信号転送部，第１の信号振り分け部，信号転送装置）
２０２，２１２・・・メモリ書き込み制御部（信号転送部，メモリ書き込み制御部，信号転送装置）
２０３，２１３・・・ラインメモリ部（信号転送部，ラインメモリ，信号転送装置）
１，２，３，４，５，６，７，８・・・ラインメモリ（信号転送部，ラインメモリ，信号転送装置）
２０４，２１４・・・メモリ読み出し制御部（信号転送部，メモリ読み出し制御部，信号転送装置）
２０５，２１５・・・データ振り分け部（信号転送部，第２の信号振り分け部，信号転送装置）
３０，３１・・・画像処理装置（画像処理部）
３０１，３０２・・・画像処理部
３０３・・・ＡＥ評価値演算部（画像処理部）
３０４・・・ＡＦ評価値演算部（画像処理部）
３０５，３０７，３０８，３１６・・・ＤＭＡＩＦ部（画像処理部）
４０・・・バス
５０・・・ＤＲＡＭ

Claims

行列状に配置された複数の画素を有し、複数の前記画素からの画素信号を複数の出力端子から出力することを可能とする固体撮像装置を具備し、
前記複数の出力端子数に分類され、前記画素の列方向または行方向に隣接する複数の前記画素から出力されたそれぞれの前記画素信号に応じたそれぞれの撮像信号を、対応するそれぞれの前記出力端子から出力し、さらに前記出力端子から出力される前記撮像信号の開始位置を示す撮像同期信号を出力する撮像部と、
入力されたそれぞれの前記撮像信号に対して画像処理を行う画像処理部と、
前記撮像部から入力される前記撮像信号の第１の並び替えと、前記第１の並び替えと異なる第２の並び替えとの少なくとも２種類の並び替えから一つの並び替えを設定する設定部と、
前記撮像部から入力された前記撮像信号の並びを、前記設定部で設定した並び替えに基づいて、前記画像処理部が対応する前記撮像信号の並びに並び替え、該並び替えた前記撮像信号を前記撮像部が出力した前記撮像信号として前記画像処理部に出力し、さらに並び替えた前記撮像信号の開始位置を示す画像同期信号を出力する信号転送部と、
を備え、
前記信号転送部は、
前記第１の並び替えが設定されている場合には、前記撮像同期信号の周期よりも短い周期の前記画像同期信号を出力し、一方、前記第２の並び替えが設定されている場合には、前記撮像同期信号の周期よりも長い周期の前記画像同期信号を出力する、
ことを特徴とする撮像装置。
前記設定部は、
前記画素の列方向もしくは行方向の隣接する複数の前記画素から出力された場合に応じて前記第１の並び替えまたは前記第２の並び替えを設定する、
ことを特徴とする請求項１に記載の撮像装置。
前記信号転送部は、
前記撮像部から入力された複数の前記撮像信号のそれぞれを保持し、保持した前記撮像信号を出力する複数のラインメモリ、
を備えることを特徴とする請求項１または請求項２に記載の撮像装置。
前記撮像部が具備する固体撮像装置は、
ベイヤー配列の固体撮像装置であり、
前記ラインメモリは、
少なくとも、前記固体撮像装置に配置された同一色の前記画素の１行分の前記撮像信号をそれぞれ保持し、
前記信号転送部は、
前記画素の色毎に、少なくとも、同一色の前記画素の前記撮像信号を２行分保持する個数の前記ラインメモリを備える、
を備えることを特徴とする請求項３に記載の撮像装置。
前記信号転送部は、
入力された各色の前記画素に対応した各色の前記撮像信号のそれぞれを、前記画素のそれぞれの色に対応する前記ラインメモリに振り分ける第１の信号振り分け部と、
振り分けられた各色の前記撮像信号を対応する色の前記ラインメモリに書き込ませるメモリ書き込み制御部と、
前記画像処理部が対応する前記撮像信号の色の並びの順番で、それぞれの色に対応した前記ラインメモリに保持されている各色の前記撮像信号を、読み出すメモリ読み出し制御部と、
読み出された各色の前記撮像信号のそれぞれを、前記画像処理部の対応するそれぞれの入力端子に振り分ける第２の信号振り分け部と、
を備えることを特徴とする請求項４に記載の撮像装置。
前記メモリ読み出し制御部は、
前記固体撮像装置に配置された全ての種類の色の前記撮像信号が、少なくとも１つずつ、対応する色の前記ラインメモリに書き込まれた後に、該ラインメモリに保持している前記撮像信号の読み出しを開始し、該ラインメモリに次の前記撮像信号の書き込みが開始される前に該ラインメモリに保持している前記撮像信号の読み出しを完了する、
ことを特徴とする請求項５に記載の撮像装置。
前記撮像部が、前記固体撮像装置に配置された前記画素の列方向に隣接する２つの画素の前記画素信号に応じた列方向の２画素の撮像信号を出力し、前記画像処理部が、前記固体撮像装置に配置された前記画素の行方向に隣接した２つの画素の前記撮像信号に対して画像処理を行う場合、
前記信号転送部は、
前記撮像部から入力された列方向の２画素の前記撮像信号の並びを、前記画像処理部が対応する行方向の２画素の前記撮像信号の並びに並び替え、該並び替えた前記撮像信号を前記撮像部が出力した行方向に隣接した２つの画素の前記撮像信号として前記画像処理部に出力する、
ことを特徴とする請求項６に記載の撮像装置。
前記撮像部が、前記固体撮像装置に配置された前記画素の行方向に隣接する２つの画素の前記画素信号に応じた行方向の２画素の撮像信号を出力し、前記画像処理部が、前記固体撮像装置に配置された前記画素の列方向に隣接した２つの画素の前記撮像信号に対して画像処理を行う場合、
前記信号転送部は、
前記撮像部から入力された行方向の２画素の前記撮像信号の並びを、前記画像処理部が対応する列方向の２画素の前記撮像信号の並びに並び替え、該並び替えた前記撮像信号を前記撮像部が出力した列方向に隣接した２つの画素の前記撮像信号として前記画像処理部に出力する、
ことを特徴とする請求項６に記載の撮像装置。
行列状に配置された複数の画素を有し、複数の前記画素からの画素信号を複数の出力端子から出力することを可能とする固体撮像装置を具備し、
前記複数の出力端子数に分類され、前記画素の列方向または行方向に隣接する複数の前記画素から出力されたそれぞれの前記画素信号に応じたそれぞれの撮像信号を、対応するそれぞれの前記出力端子から出力し、さらに前記出力端子から出力される前記撮像信号の開始位置を示す撮像同期信号を出力する撮像部から入力されたそれぞれの前記撮像信号を保持する複数のラインメモリと、
入力された複数の前記撮像信号のそれぞれを、前記撮像部から入力される前記撮像信号の第１の並び替えと、前記第１の並び替えと異なる第２の並び替えとの少なくとも２種類の並び替えから設定された一つの並び替えに基づいて、該撮像信号のそれぞれに対応する前記ラインメモリに振り分ける第１の信号振り分け部と、
前記撮像同期信号に応じて、振り分けられた前記撮像信号を、対応する前記ラインメモリに書き込ませるメモリ書き込み制御部と、
前記ラインメモリに保持されている前記撮像信号を、入力されたそれぞれの前記撮像信号に対して画像処理を行う画像処理部が対応する前記撮像信号の並びの順番で読み出し、さらに並び替えた前記撮像信号の開始位置を示す画像同期信号を出力するメモリ読み出し制御部と、
読み出された前記撮像信号のそれぞれを、前記第１の並び替えと前記第２の並び替えとの少なくとも２種類の並び替えから設定された一つの並び替えに基づいて、該撮像信号に対応する前記画像処理部のそれぞれの入力端子に振り分ける第２の信号振り分け部と、
を備え、
前記メモリ読み出し制御部は、
前記第１の並び替えが設定されている場合には、前記撮像同期信号の周期よりも短い周期の前記画像同期信号を出力し、一方、前記第２の並び替えが設定されている場合には、前記撮像同期信号の周期よりも長い周期の前記画像同期信号を出力する、
ことを特徴とする信号転送装置。
前記第１の信号振り分け部もしくは、前記第２の信号振り分け部における前記一つの並び替えは、
前記画素の列方向もしくは行方向の隣接する複数の前記画素から出力された場合に応じて前記第１の並び替えまたは前記第２の並び替えが設定される、
ことを特徴とする請求項９記載の信号転送装置。
前記メモリ読み出し制御部は、
前記画像処理部が対応する前記撮像信号の並びで、前記ラインメモリに保持されている前記撮像信号を出力している期間を表す同期信号を生成し、該生成した同期信号を、前記撮像部が前記撮像信号を出力する際に出力される、前記固体撮像装置に配置された前記画素の１行分の前記撮像信号を出力している期間を表す同期信号として出力する、
ことを特徴とする請求項９または請求項１０に記載の信号転送装置。
前記メモリ読み出し制御部は、
前記固体撮像装置に配置された全ての種類の色の前記撮像信号が、少なくとも１つずつ、対応する色の前記ラインメモリに書き込まれた後に、該ラインメモリに保持している前記撮像信号の読み出しを開始し、該ラインメモリに次の前記撮像信号の書き込みが開始される前に該ラインメモリに保持している前記撮像信号の読み出しを完了する、
ことを特徴とする請求項１１に記載の信号転送装置。