JP5157951B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

画像処理装置及び画像処理方法に関するものである。

従来、デジタルカメラ等の撮像装置は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサなどの撮像素子、画像データを各種処理する画像処理回路、記憶手段としてのＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶手段としての記録メディアを有している。

撮像素子は光を電気信号（画素信号）として検出し、その画素信号をＡ／Ｄ（アナログ／デジタル）変換部に出力する。Ａ／Ｄ変換部は、その画素信号をデジタル信号（画素データ）に変換し、複数の画素にて構成される１つのフレームの画像データ（フレームデータ）を画素ごとに取得する。そして、フレームデータがＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に一旦格納される。

画像処理回路は、１フレームのフレームデータに対して各種画像処理を実行する。このとき、画像処理回路は、各処理段階でのフレームデータをＳＤＲＡＭに暫定的に格納する。そして、画像処理回路は、ＳＤＲＡＭに格納した各種画像処理後の最終的な１フレームのフレームデータを記録メディアに格納、又は、表示装置に表示する。

近年、撮像素子は、画像処理回路への転送速度の高速化及び転送効率の向上と、回路規模の縮小のため、１フレームにおいて格子状に配置された画素を、純粋に順番通りに取得するのではなく、様々な方式が提案されている。

例えば、撮像素子は、１行中にある各画素の画素信号を３つのバスから取得している。図９に示すように、撮像素子５０における１行目の各画素Ｐ１〜Ｐ９を３個おきに１つの組として、各画素Ｐ１〜Ｐ９を３つの組のいずれかの組に振り分ける。また、各組毎に第１〜第３信号線Ｂ１〜Ｂ３を設け、その各信号線Ｂ１〜Ｂ３をそれぞれ対応する組に属する画素Ｐ１〜Ｐ９と接続する。そして、各組に振り分けられた各画素Ｐ１〜Ｐ９の画素信号を、それぞれ第１〜第３信号線Ｂ１〜Ｂ３を介して、第１〜第３分割ライン画素信号Ｌｄ１〜Ｌｄ３として取得する。

それぞれ第１〜第３信号線Ｂ１〜Ｂ３を介して出力された第１〜第３分割ライン画素信号Ｌｄ１〜Ｌｄ３は、Ａ／Ｄ変換部にてデジタル変換されて、図１０に示すように、ＳＲＡＭ５４の所定の記憶領域Ｋ１に第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３として格納される。

詳述すると、図９において、画素Ｐ３，Ｐ６，Ｐ９の３個の画素信号Ｇ３，Ｇ６，Ｇ９よりなる第１分割ライン画素信号Ｌｄ１は、画素Ｐ３，Ｐ６，Ｐ９の画素信号Ｇ３，Ｇ６，Ｇ９がそれぞれデジタル変換されて３個の画素データのデジタル画素信号（以下、画素データという）ＧＤ３，ＧＤ６，ＧＤ９よりなる第１分割ラインデジタルデータＤｄ１に変換される。また、画素Ｐ２，Ｐ５，Ｐ８の３個の画素信号Ｇ２，Ｇ５，Ｇ８よりなる第２分割ライン画素信号Ｌｄ２は、画素Ｐ２，Ｐ５，Ｐ８の画素信号Ｇ２，Ｇ５，Ｇ８がそれぞれデジタル変換されて３個の画素データＧＤ２，ＧＤ５，ＧＤ８よりなる第２分割ラインデジタルデータＤｄ２に変換される。さらに、画素Ｐ１，Ｐ４，Ｐ７の３個の画素信号Ｇ１，Ｇ４，Ｇ７よりなる第３分割ライン画素信号Ｌｄ３は、画素Ｐ１，Ｐ４，Ｐ７の画素信号Ｇ１，Ｇ４，Ｇ７がそれぞれデジタル変換されて３個の画素データＧＤ１，ＧＤ４，ＧＤ７よりなる第３分割ラインデジタルデータＤｄ３に変換される。

そして、各画素Ｐ１〜Ｐ９の画素信号Ｇ１〜Ｇ９が画素データＧＤ１〜ＧＤ９に変換されてなる第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３は、ＳＲＡＭ５４に格納される。

このとき、Ａ／Ｄ変換部は、第１分割ラインデジタルデータＤｄ１、第２分割ラインデジタルデータＤｄ２、第３分割ラインデジタルデータＤｄ３の順番で、第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３を出力するため、ＳＲＡＭ５４には、図１０に示すように、その順番で格納される。

上記の第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３の順番でＳＲＡＭ５４に格納されると、被写体と異なる画像になってしまうため、図９に示す撮像素子５０において取得される前の第１〜第３分割ライン画素信号Ｌｄ１〜Ｌｄ３の順番に戻す必要があった。

このため、上記の対策として、図１１に示すように、画像処理回路５３は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５４及び並び換え回路５５を設けている（例えば、特許文献１、特許文献２）。

画像処理回路５３は、ＳＲＡＭ５４に格納した第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３をＳＲＡＭ５４に格納する。そして、並び替え回路５５は、ＳＲＡＭ５４に格納された第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３を図９に示す撮像素子５０において取得される前の第１〜第３分割ライン画素信号Ｌｄ〜Ｌｄ３に対応した順番に戻していた。そして、元の順番に戻された第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３は、ＳＤＲＡＭ書き込み回路５６を介してＳＤＲＡＭ５７に書き込まれていた。

特開２００６−８０８５３号公報 特開２０００−６９５０２号公報

ところで、この種の撮像装置においては、近年、撮像素子５０の高画素化に伴う高画素高画質化や連写機能などの搭載による高機能化が進んでいる。このような高画素高画質化や高機能化が進むと、上記画像処理回路が処理するデータ量の増大化や新機能を処理するための回路が必要になり、それに伴って回路規模が増大する。

しかしながら、一方で、小型化や低価格化が要求されている撮像装置にあっては、回路規模の縮小が要求されている。上記のように、フレームデータの転送速度の高速化や撮像素子５０の回路規模縮小のため、１行の各画素Ｐ１〜Ｐ９の画素信号Ｇ１〜Ｇ９を複数のバスから分割して取得していたが、画像処理回路５３においてＳＲＡＭ５４及び並び替え回路５５が必要になって回路規模が増大してしまう。

また、この種の撮像素子５０では、画素Ｐ１〜Ｐ９から画素信号Ｇ１〜Ｇ９を取得するバス（信号線）の本数が異なる場合がある。このため、画像処理回路５３は、撮像素子５０の各画素Ｐ１〜Ｐ９から画素信号Ｇ１〜Ｇ９を取得する仕様に対応した並び替え回路５５が必要になってしまう。

この画像処理装置及び画像処理方法は、回路規模の増大を低減、かつ、撮像素子の画素から画素信号を取得する仕様に対して汎用性を持ちつつ、画像データを並び替えることを目的とする。

この画像処理装置は、画素を格子状に配置して構成された撮像素子においてそれぞれ各行の画素の画素信号を複数の信号線に分けて取得し、それぞれ前記複数の信号線を介して取得された各画素の画素データを記憶領域に記憶し、かつ、各記憶領域から前記画素の画素データをメモリに出力するＦＩＦＯを有する画像処理装置であって、ＦＩＦＯは、前記複数の信号線を介して取得された各画素の画素データの組を、前記組ごとに記憶する記憶領域を設け、前記各記憶領域は、少なくともそれぞれ１行分の前記画素データが記憶できる記憶領域であり、前記各組の各画素の画素データを、対応する少なくとも１行分の前記画素データを記憶できる記憶領域に対して、それぞれ撮像素子において配置されていた順番で記憶するＦＩＦＯ書き込み部と、前記記憶領域に記憶された対応する組の各画素の画素データを、前記メモリの同じ記憶領域に記憶するメモリアドレス制御部と、少なくとも１行分の前記画素データが記憶できる各記憶領域に含まれる画素データ以外のデータをメモリへ書き込み禁止する書き込み指定部とを有するようにした。

この画像処理装置によれば、複数の信号線から出力されて順番が入れ替わった撮像素子における１行の画素の画素データを、出力される信号線ごとに撮像素子における配置でメモリに記憶する。このため、従来、画像データをメモリに記憶する際、必要だった画像処理装置は、撮像素子における１行の画素の画素データをメモリに重なることなく記憶し、撮像素子における配置でメモリに記憶することができる。これにより、従来、必要だったＳＲＡＭや並び替え回路を用いることなく、メモリに撮像素子の画素の画素データを記憶することができる。

開示された画像処理及び画像処理方法は、回路規模の増大を低減、かつ、撮像素子の画素から電気信号を取得する仕様に対して汎用性を持ちつつ、画像データを並び替えることができる。

本実施形態の画像処理回路の概略構成図である。 撮像素子の概略構成図である。 本実施形態のＳＤＲＡＭ書き込み回路の電気ブロック図である。 本実施形態のＦＩＦＯ書き込み部の電気ブロック図である。 本実施形態の第１設定テーブルの説明図である。 本実施形態のＦＩＦＯの説明図である。 本実施形態のＳＤＲＡＭアドレス制御部の電気ブロック図である。 本実施形態の第２設定テーブルの説明図である。 撮像素子の説明図である。 従来のＳＲＡＭの説明図である。 従来の画像処理回路の概略構成図である。

以下、実施形態を図１〜図８に従って説明する。
図１は、デジタルカメラ１の概略的な電気構成を示す電気ブロック図である。
デジタルカメラ１は、撮像部３、画像処理装置としての画像処理回路４、ＳＤＲＡＭ５、画像処理部６、記録メディア７を有している。

デジタルカメラ１では、撮像部３にて取得した被写体に基づく画像データ（以下、フレームデータという）を画像処理回路４を介してＳＤＲＡＭ５に一旦格納する。画像処理部６は、ＳＤＲＡＭ５に格納された１フレームのフレームデータを読み出し、その読み出したフレームデータに対して各種画像処理を実行する。このとき、画像処理部６は、各処理段階でのフレームデータをＳＤＲＡＭ５に暫定的に格納する。そして、画像処理部６は、ＳＤＲＡＭ５に格納した画像処理後の最終的な１フレームのフレームデータを記録メディア７に格納する。

撮像部３は、撮像素子５０及びＡ／Ｄ変換部９を含んでいる。
撮像素子５０は、１フレームを格子状に複数の画素を配置して構成している。本実施形態では、説明の便宜上、図２に示すように、撮像素子５０は、縦９個、横９個の格子状に画素Ｐ１〜Ｐ９が配置されている。撮像素子５０には、同種の色フィルタ成分{赤（Ｒ）、青（Ｂ）、緑（Ｇ）}がベイヤ配列されたカラーフィルタ１２が形成されている。

各画素Ｐ１〜Ｐ９は受光素子（図示しない）を有している。受光素子は、光学レンズ（図示しない）などを通じて入射した被写体からの光を、カラーフィルタ１２を介して受光して電気信号（以下、画素信号という）に変換する。従って、撮像素子５０の各画素Ｐ１〜Ｐ９は対応する色フィルタ成分{赤（Ｒ）、青（Ｂ）、緑（Ｇ）}のカラーフィルタ１２を通過した光を画素信号に変換する。

そして、撮像素子５０は、格子状に配置された各画素Ｐ１〜Ｐ９の画素信号を、各行毎に、第１行目の９個の画素Ｐ１〜Ｐ９から第９行目の９個の画素Ｐ１〜Ｐ９までの順番で出力する。

詳述すると、各行において、その行の９個の各画素Ｐ１〜Ｐ９を順番にスキャンして各画素Ｐ１〜Ｐ９の画素信号Ｇ１〜Ｇ９を順次読み出し、各行毎の第１〜第９ライン画素信号Ｌ１〜Ｌ９をそれぞれ出力する。この時、前記図１１で説明したように、９個の画素Ｐ１〜Ｐ９に対して３つの第１〜第３信号線Ｂ１〜Ｂ３が設けられ、各画素Ｐ１〜Ｐ９に対応する第１〜第３信号線Ｂ１〜Ｂ３からそれぞれ分割ライン信号を出力する。

ここで、本実施形態では、第１〜第３信号線Ｂ１〜Ｂ３にそれぞれ出力される分割ライン画素信号を、総称してライン信号という。そして、第１行目に設けた第１〜第３信号線Ｂ１〜Ｂ３からそれぞれ出力される分割ライン画素信号を第１〜第３分割ライン電気信号Ｌｄ１〜Ｌｄ３という。そして、第１〜第３分割ライン画素信号Ｌｄ１〜Ｌｄ３を総称して第１ライン画素信号Ｌ１という。

因みに、第９行目に設けた第１〜第３信号線Ｂ１〜Ｂ３からそれぞれ出力される分割ライン画素信号は第２５〜第２７分割ライン画素信号Ｌｄ２５〜Ｌｄ２７という。そして、第２５〜第２７分割ライン画素信号Ｌｄ２５〜Ｌｄ２７を総称して第９ライン画素信号Ｌ９という。

そして、１つの行の各画素Ｐ１〜Ｐ９の画素信号Ｇ１〜Ｇ９をライン画素信号として取得すると、次の行の各画素Ｐ１〜Ｐ９についても、同様な方法で各画素Ｐ１〜Ｐ９の画素信号Ｇ１〜Ｇ９をライン画素信号として取得する。これを第９行目まで第１行目から順番に続ける。

そして、撮像素子５０は、第１〜第９行目の各画素Ｐ１〜Ｐ９から順番に取得した第１〜第９ライン画素信号Ｌ１〜Ｌ９（第１〜第２７分割ライン画素信号Ｌｄ１〜Ｌｄ２７）をＡ／Ｄ変換部９に順次出力する。

Ａ／Ｄ変換部９は、撮像素子５０から第１行目から第９行目の各画素Ｐ１〜Ｐ９の画素信号Ｇ１〜Ｇ９が第１〜第９ライン画素信号Ｌ１〜Ｌ９（第１〜第２７分割ライン画素信号Ｌｄ１〜Ｌｄ２７）となって入力される。

Ａ／Ｄ変換部９は、各信号線Ｂ１〜Ｂ３を介して取得したそれぞれ３個の画素の画素信号よりなる第１〜第２７分割ライン画素信号Ｌｄ１〜Ｌｄ２７（アナログ信号）をデジタル信号（以下、画素データという）に変換し、その３個の画素の画素データよりなる第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７として画像処理回路４に出力する。

詳述すると、Ａ／Ｄ変換部９は、第１行目の第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３（総称して第１ラインデジタルデータＤ１という）、次に、第２行目の第４〜第６分割ラインデジタルデータＤｄ４〜Ｄｄ６（総称して第２ラインデジタルデータＤ２）、・・・・・・、そして、最後に、第９行目の第２５〜第２７分割ラインデジタルデータＤｄ２５〜Ｄｄ２７（総称して第９ラインデジタルデータＤ９）の順番で変換する。

すなわち、Ａ／Ｄ変換部９は、アナログ信号である３画素の画素信号よりなる第１〜第２７分割ライン画素信号Ｌｄ１〜Ｌｄ２７を、後段の画像処理回路４で処理できるように、デジタル信号であるそれぞれ３個の画素の画素データよりなる第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７に変換している。

このとき、Ａ／Ｄ変換部９は、各行毎の第１〜第９ライン画素信号Ｌ１〜Ｌ９が区切られて入力されるため、対応する各行毎に第１〜第９ライン画素信号Ｌ１〜Ｌ９をそれぞれ第１〜第９ラインデジタルデータＤ１〜Ｄ９に変換して画像処理回路４に出力している。

画像処理回路４は、ＳＤＲＡＭ書き込み回路１５を有している。
図３に示すように、ＳＤＲＡＭ書き込み回路１５は、ＦＩＦＯ書き込み部２１、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）２２、ＳＤＲＡＭリクエスト制御部２３、ＳＤＲＡＭデータ制御部２４、メモリアドレス制御部としてのＳＤＲＡＭアドレス制御部２５、ＳＤＲＡＭ書き込み指定部２６、第２基準値設定レジスタＲ２を含んでいる。

図４に示すように、ＦＩＦＯ書き込み部２１は、画素データカウンタ３６、ラインカウンタ３７、第１プログラムカウンタ３８、ＦＩＦＯデータ制御部３９を有している。
画素データカウンタ３６は、撮像部３から第１〜第９ラインデジタルデータＤ１〜Ｄ９（第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７）が、順番に１画素分の画素データごとに順次入力される。画素データカウンタ３６は、順次入力される１画素分の画素データをカウントする。

画素データカウンタ３６は、第１基準値設定レジスタＲ１から撮像素子５０の１行に配置された画素の数「９」を第１基準値Ｔ１として入力する。この第１基準値Ｔ１に基づいて、画素データカウンタ３６は、カウント値「９」になって、次の新たな行の画素データが入力されると、カウント値を「９」から「１」にリセットし、以後、同様なカウント動作を繰り返す。つまり、画素データカウンタ３６は、それぞれ第１〜第９ラインデジタルデータＤ１〜Ｄ９ごとの画像データを入力するごとに、「９」から「１」にリセットする。

そして、画素データカウンタ３６は、その時々のカウント値を第１カウント値Ｓｃ１として第１プログラムカウンタ３８に出力する。
ラインカウンタ３７は、撮像部３から第１〜第９ラインデジタルデータＤ１〜Ｄ９（第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７）が順番に１画素分の画素データ毎に順次入力される。ラインカウンタ３７は、３画素分の画素データを入力すると、すなわち、１つの分割ラインデジタルデータを入力する毎に「１」カウントする。なお、ラインカウンタ３７は、カウント値が「３」になって、次に新たな行の画素データが入力されると、カウント値を「３」から「１」にリセットし、以後、同様なカウント動作を繰り返す。つまり、ラインカウンタ３７は、それぞれ第１〜第９ラインデジタルデータＤ１〜Ｄ９毎の画像データを入力するごとに、「３」から「１」にリセットする。

そして、ラインカウンタ３７は、その時々のカウント値を第２カウント値Ｓｃ２として第１プログラムカウンタ３８に出力する。
第１プログラムカウンタ３８は、画素データカウンタ３６からの第１カウント値Ｓｃ１と、ラインカウンタ３７からの第２カウント値Ｓｃ２とが入力される。

第１プログラムカウンタ３８は、入力された第１カウント値Ｓｃ１と第２カウント値Ｓｃ２のカウント値に基づいて、第１〜第９ラインデジタルデータＤ１〜Ｄ９ごとに、順次入力されてくる画素データを、図６に示すＦＩＦＯ２２の各アドレスＡ１〜Ａ２７のどのアドレスに書き込むかを設定する。そして、順次入力されてくる各画素データについて設定したアドレスをＦＩＦＯアドレス信号ＳｆとしてＦＩＦＯ２２に出力する。

第１プログラムカウンタ３８は、第１カウント値Ｓｃ１と同第１プログラムカウンタ３８に設けた第１テーブル４１に基づいて、順次入力されてくる各画素データを、ＦＩＦＯ２２の各アドレスＡ１〜Ａ２７のどのアドレスに書き込むかを設定する。

図５は、第１テーブル４１の内容を示す。第１テーブル４１は、第１カウント値Ｓｃ１に対するＦＩＦＯ２２のアドレスのデータが記憶されている。
因みに、第１プログラムカウンタ３８は、第１カウント値Ｓｃ１が「１」のとき、アドレスＡ３、第１カウント値「２」のとき、アドレスＡ６，第１カウント値Ｓｃ１が「３」のとき、アドレスＡ９となるＦＩＦＯアドレス信号Ｓｆをそれぞれ出力することになる。

また、第１プログラムカウンタ３８は、第１カウント値Ｓｃ１が「４」のとき、アドレスＡ１１、第１カウント値「５」のとき、アドレスＡ１４，第１カウント値Ｓｃ１が「６」のとき、アドレスＡ１７となるＦＩＦＯアドレス信号Ｓｆをそれぞれ出力することになる。

さらに、第１プログラムカウンタ３８は、第１カウント値Ｓｃ１が「７」のとき、アドレスＡ１９、第１カウント値が「８」のとき、アドレスＡ２２，第１カウント値Ｓｃ１が「９」のとき、アドレスＡ２５となるＦＩＦＯアドレス信号Ｓｆをそれぞれ出力することになる。

例えば、第１ラインデジタルデータＤ１の画素データが順次入力される場合、第１カウント値Ｓｃ１が「１」〜「３」の時は、第１分割ラインデジタルデータＤｄ１の各画素データＧＤ１ａ，ＧＤ１ｂ，ＧＤ１ｃが、入力された順番にアドレスＡ３、アドレスＡ６、アドレスＡ９と指定される。

また、第１カウント値Ｓｃ１が「４」〜「６」の時は、第２分割ラインデジタルデータＤｄ２の各画素データＧＤ２ａ，ＧＤ２ｂ，ＧＤ２ｃが、入力された順番にアドレスＡ１１、アドレスＡ１４、アドレスＡ１７と指定される。

さらに、第１カウント値Ｓｃ１が「７」〜「９」の時は、第３分割ラインデジタルデータＤｄ３の各画素データＧＤ３ａ，ＧＤ３ｂ，ＧＤ３ｃが、入力された順番にアドレスＡ１９、アドレスＡ２２、アドレスＡ２５と指定される。

つまり、第１〜第９ラインデジタルデータＤ１における各画素データＧＤ１ａ〜ＧＤ３ｃは、画素データカウンタ３６の第１カウント値Ｓｃ１と第１テーブル４１とによって、ＦＩＦＯ２２に記憶されるアドレスが設定される。

また、第１プログラムカウンタ３８は、ＦＩＦＯアドレス信号Ｓｆを出力するたびに、ＦＩＦＯデータ制御部３９にＦＩＦＯ書き込み信号Ｓｗ１を出力する。ＦＩＦＯ書き込み信号Ｓｗ１は、ＦＩＦＯデータ制御部３９にＦＩＦＯ書き込み信号Ｓｗ１を出力する。ＦＩＦＯ書き込み信号Ｓｗ１は、ＦＩＦＯデータ制御部３９がＦＩＦＯ２２に対して書き込みすることを命令する信号である。

ＦＩＦＯデータ制御部３９は、撮像部３から第１〜第９ラインデジタルデータＤ１〜Ｄ９（第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７）が、順番に１画素分の画素データごとに順次入力される。また、ＦＩＦＯデータ制御部３９は、第１プログラムカウンタ３８がＦＩＦＯアドレス信号Ｓｆを出力するたびに、同第１プログラムカウンタ３８から出力されるＦＩＦＯ書き込み信号Ｓｗ１が入力される。そして、ＦＩＦＯデータ制御部３９は、ＦＩＦＯ書き込み信号Ｓｗ１が入力されるたびに、順次入力される１画素分の画素データをＦＩＦＯ２２に出力する。

ＦＩＦＯ２２は、第１プログラムカウンタ３８からＦＩＦＯアドレス信号Ｓｆ、及び、ＦＩＦＯデータ制御部３９から１画素分の画素データが入力される。ＦＩＦＯ２２は、入力されたＦＩＦＯアドレス信号Ｓｆに基づいてアクセスされて指定されたアドレスの記憶領域Ｋ２に１画素分のデジタル画素信号を記憶する。

従って、図６に示すように、ＦＩＦＯ２２は、第１〜第９ラインデジタルデータＤ１〜Ｄ９において、対応する３つの第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７中の各画素Ｐ１〜Ｐ９の画素データＧＤ１ａ〜ＧＤ１ｃ，ＧＤ２ａ〜ＧＤ２ｃ，ＧＤ３ａ〜ＧＤ３ｃが間隔を空けて記憶される。

例えば、第１ラインデジタルデータＤ１を構成する画素データＧＤ１ａ〜ＧＤ１ｃ，ＧＤ２ａ〜ＧＤ２ｃ，ＧＤ３ａ〜ＧＤ３ｃよりなる第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３は、９個の記憶領域Ｋ２で構成された第１〜第３メモリ領域Ｍ１〜Ｍ３に第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３がそれぞれ分けられて記憶されている。

このとき、第１〜第３メモリ領域Ｍ１〜Ｍ３は、それぞれ２／３の領域（６個の記憶領域Ｋ２）には何も書き込まれていない。すなわち、第１〜第３メモリ領域Ｍ１〜Ｍ３は、２／３の領域（６個の記憶領域Ｋ２）が何も書き込まれていない空データになっている。このため、それぞれ画素データＧＤ１ａ〜ＧＤ１ｃ，ＧＤ２ａ〜ＧＤ２ｃ，ＧＤ３ａ〜ＧＤ３ｃよりなる第１〜第３分割ラインデジタルデータＤｄ１〜Ｄｄ３は、その画素数（９個）の３倍の２７個の記憶領域Ｋ２で構成された第１〜第３メモリ領域Ｍ１〜Ｍ３にそれぞれ配分されて記憶されている。

ここで、本実施形態では、第１〜第３メモリ領域Ｍ１〜Ｍ３の９個の記憶領域Ｋ２の全体内容を、１つの全体内容として「メモリ領域データ」という。そして、第１メモリ領域Ｍ１に設けた９個の記憶領域Ｋ２の全体内容を「第１メモリ領域データＤｍ１」という。また、第２メモリ領域Ｍ２に設けた９個の記憶領域Ｋ２の全体内容を「第２メモリ領域データＤｍ２」という。さらに、第３メモリ領域Ｍ３に設けた９個の記憶領域Ｋ２の全体内容を「第３メモリ領域データＤｍ３」という。

そして、ＦＩＦＯ２２は、後述するＳＤＲＡＭリクエスト制御部２３からＳＤＲＡＭ書き込み信号Ｓｗ２が入力されると、このＦＩＦＯ２２は、入力されたＳＤＲＡＭ書き込み信号Ｓｗ２に応答して第１〜第３メモリ領域Ｍ１〜Ｍ３に記憶した第１〜第３メモリ領域データＤｍ１〜Ｄｍ３をＳＤＲＡＭデータ制御部２４に出力する。

ＳＤＲＡＭリクエスト制御部２３はＦＩＦＯ２２を監視し、第１〜第９ラインデジタルデータＤ１〜Ｄ９において、対応するそれぞれの第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７がＦＩＦＯ２２に記憶されると、後述するＳＤＲＡＭ５に書き込みリクエスト信号Ｓｒを出力する。

すなわち、ＳＤＲＡＭリクエスト制御部２３は、ＦＩＦＯ２２が第１〜第９ラインデジタルデータＤ１〜Ｄ９ごとに、対応するそれぞれの第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７をＳＤＲＡＭ５に出力する準備が整うと、それぞれ対応する３個の第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７を含む第１〜第３メモリ領域データＤｍ１〜Ｄｍ３を出力してもよいか否かの許可をＳＤＲＡＭ５に求める。

換言すると、ＳＤＲＡＭ５は、ＦＩＦＯ２２からの書き込み・読み出しだけではなく、画像処理部６などからの書き込み・読み出しもある。従って、ＳＤＲＡＭリクエスト制御部２３は、ＦＩＦＯ２２から第１〜第３メモリ領域データＤｍ１〜Ｄｍ３を出力する前に、ＳＤＲＡＭ５に画像処理部６などから書き込み・読み出しされているか否かを確認している。

そして、ＳＤＲＡＭリクエスト制御部２３からの書き込みリクエスト信号Ｓｒに応答して書き込み応答信号ＳｏがＳＤＲＡＭ５から出力されると、ＳＤＲＡＭリクエスト制御部２３は、ＳＤＲＡＭ５に画像処理部６などからの書き込み・読み出しがないことを確認し、ＳＤＲＡＭ書き込み信号Ｓｗ２をＦＩＦＯ２２及びＳＤＲＡＭデータ制御部２４に出力する。すなわち、ＳＤＲＡＭリクエスト制御部２３は、ＦＩＦＯ２２及びＳＤＲＡＭデータ制御部２４に対して、ＳＤＲＡＭ５への第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の出力を命令する。

反対に、書き込みリクエスト信号Ｓｒに応答して書き込み応答信号ＳｏがＳＤＲＡＭ５から出力されないと、ＳＤＲＡＭリクエスト制御部２３は、ＳＤＲＡＭ５に画像処理部６などからの書き込み・読み出しがあることを確認し、ＳＤＲＡＭ書き込み信号Ｓｗ２をＦＩＦＯ２２及びＳＤＲＡＭデータ制御部２４に出力しない。すなわち、ＳＤＲＡＭリクエスト制御部２３は、ＦＩＦＯ２２及びＳＤＲＡＭデータ制御部２４に対して、ＳＤＲＡＭ５への第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の出力を待機させる。

ＳＤＲＡＭデータ制御部２４は、ＦＩＦＯ２２から第１〜第３メモリ領域データＤｍ１〜Ｄｍ３、及び、ＳＤＲＡＭリクエスト制御部２３からＳＤＲＡＭ書き込み信号Ｓｗ２が入力される。また、ＳＤＲＡＭデータ制御部２４は、第２基準値設定レジスタＲ２に記憶されている各メモリ領域データＤｍ１〜Ｄｍ３に含まれる記憶領域Ｋ２の数「９」、及び、第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の数「３」が入力される。ＳＤＲＡＭデータ制御部２４は、入力されたＳＤＲＡＭ書き込み信号Ｓｗ２に応答して、ＦＩＦＯ２２からの第１〜第３メモリ領域データＤｍ１〜Ｄｍ３をＳＤＲＡＭ５に出力する。

ＳＤＲＡＭデータ制御部２４は、画素カウンタ（図示しない）を備えている。そして、ＳＤＲＡＭデータ制御部２４は、この画素カウンタにて、順番にＦＩＦＯ２２から出力されてくる第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の画素データ（空データを含む）の数をカウントする。

ＳＤＲＡＭデータ制御部２４は、順番に入力されてくる第１〜第３メモリ領域データＤｍ１〜Ｄｍ３を記憶する記憶領域Ｋ２のＦＩＦＯデータを画素カウンタにてカウントするごとに、書き込みデータ入力信号ＳｉをＳＤＲＡＭアドレス制御部２５及びＳＤＲＡＭ書き込み指定部２６に出力する。

書き込みデータ入力信号Ｓｉは、それぞれ第１〜第３メモリ領域データＤｍ１〜Ｄｍ３を記憶する記憶領域Ｋ２のＦＩＦＯデータがＳＤＲＡＭデータ制御部２４に入力されたことを知らせる信号である。

また、ＳＤＲＡＭデータ制御部２４は、記憶領域カウンタ（図示しない）を備えている。記憶領域カウンタ（図示しない）は、それぞれ第１〜第３メモリ領域データＤｍ１〜Ｄｍ３を記憶する９個の記憶領域Ｋ２のＦＩＦＯデータを全て入力するごとに、「１」カウントアップする。つまり、記憶領域カウンタは、いま、第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の中のどのメモリ領域データの記憶領域Ｋ２のＦＩＦＯデータを入力しているかを示すカウンタである。

因みに、カウンタ値「１」のとき、第１メモリ領域データＤｍ１を、カウンタ値「２」のとき、第２メモリ領域データＤｍ２を、カウント値が「３」のとき、第３メモリ領域データＤｍ３を入力していることを示している。従って、カウント値「３」であって、第３メモリ領域データＤｍ３を構成する９個の記憶領域Ｋ２のＦＩＦＯデータ全てを入力すると、記憶領域カウンタは、カウント値が「３」から「１」にリセットされ、新たな第１メモリ領域データＤｍ１を入力することを示していることになる。

そして、ＳＤＲＡＭデータ制御部２４は、記憶領域カウンタが「１」カウントアップ、または、リセットするごとに、ＳＤＲＡＭアドレス制御部２５に対して第１ラインフィード信号ＳＬ１を出力する。第１ラインフィード信号ＳＬ１は、ＳＤＲＡＭ５に出力される第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の切替わりを知らせる信号である。

詳述すると、まず、ＳＤＲＡＭデータ制御部２４は、第１メモリ領域データＤｍ１中の最初のＦＩＦＯデータが入力されると、画素カウンタを「１」カウントアップし、その入力された１個のＦＩＦＯデータをＳＤＲＡＭ５に出力する。このとき、記憶領域カウンタのカウント値は「１」である。

そして、ＳＤＲＡＭデータ制御部２４は、画素カウンタのカウント値が「９」になるまで、すなわち、第１メモリ領域データＤｍ１の９個全てのＦＩＦＯデータをＳＤＲＡＭ５に出力すると、画素カウンタの「９」のカウント値を「０」にリセットし、記憶領域カウンタのカウント値を「１」から「２」にカウントアップする。

このとき、画素カウンタのカウント値がカウントアップされるごとに、書き込みデータ入力信号ＳｉがＳＤＲＡＭアドレス制御部２５及びＳＤＲＡＭ書き込み指定部２６に対して出力される。又、記憶領域カウンタのカウンタ値がカウントされると、ＳＤＲＡＭアドレス制御部２５に対して第１ラインフィード信号ＳＬ１を出力する。

記憶領域カウンタのカウンタ値を「１」から「２」にカウントアップすると、ＳＤＲＡＭデータ制御部２４には、第２メモリ領域データＤｍ２のＦＩＦＯデータが順次入力される。ＳＤＲＡＭデータ制御部２４は、順次入力される第２メモリ領域データＤｍ２の各ＦＩＦＯデータをＳＤＲＡＭ５に出力するとともに画素カウンタにてカウントする。

そして、ＳＤＲＡＭデータ制御部２４は、画素カウンタのカウンタ値が「９」になるまで、すなわち、第２メモリ領域データＤｍ２の９個全てのＦＩＦＯデータをＳＤＲＡＭ５に出力すると、画素カウンタの「９」のカウント値を「１」にリセットし、記憶領域カウンタのカウント値を「２」から「３」にカウントアップする。

このとき、同様に、画素カウンタのカウント値がカウントアップされるごとに、書き込みデータ入力信号ＳｉがＳＤＲＡＭアドレス制御部２５及びＳＤＲＡＭ書き込み指定部２６に対して出力される。又、記憶領域カウンタのカウント値がカウントアップされると、ＳＤＲＡＭアドレス制御部２５に対して第１ラインフィード信号ＳＬ１を出力する。

記憶領域カウンタのカウント値を「２」から「３」にカウントアップすると、ＳＤＲＡＭデータ制御部２４は、第３メモリ領域データＤｍ３のＦＩＦＯデータが順次入力される。ＳＤＲＡＭデータ制御部２４は、順次入力される第３メモリ領域データＤｍ３の各ＦＩＦＯデータをＳＤＲＡＭ５に出力するとともに画素カウンタにてカウントする。

そして、ＳＤＲＡＭデータ制御部２４は、画素カウンタのカウント値が「９」になるまで、すなわち、第３メモリ領域データＤｍ３の９個全てのＦＩＦＯデータをＳＤＲＡＭ５に出力すると、画素カウンタの「９」のカウント値を「１」にリセットし、記憶領域カウンタのカウント値を「３」から「１」にリセットする。

このとき、同様に、画素カウンタのカウント値がカウントアップされるごとに、書き込みデータ入力信号ＳｉがＳＤＲＡＭアドレス制御部２５及びＳＤＲＡＭ書き込み指定部２６に対して出力される。又、記憶領域カウンタのカウント値がリセットされると、ＳＤＲＡＭアドレス制御部２５に対して第１ラインフィード信号ＳＬ１を出力する。

これによって、ＳＤＲＡＭデータ制御部２４は、書き込みデータ入力信号Ｓｉ及び第１ラインフィード信号ＳＬ１を出力することによって、第１〜第３メモリ領域データＤｍ１〜Ｄｍ３における各ＦＩＦＯデータの入力と、第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の切替わりとをＳＤＲＡＭアドレス制御部２５に知らせている。

図７に示すように、ＳＤＲＡＭアドレス制御部２５は、第２プログラムカウンタ４０、乗算器４２、加算器４３を有している。
第２プログラムカウンタ４０は、ＳＤＲＡＭデータ制御部２４から第１ラインフィード信号ＳＬ１が入力される。第２プログラムカウンタ４０は、第１ラインフィード信号ＳＬ１を「１」からカウントし、そのカウント値が「３」になって、新たな第１ラインフィード信号ＳＬ１を入力すると、「３」から「１」にリセットし、再び「３」になるまでカウントする。すなわち、第２プログラムカウンタ４０は、各行の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の全ＦＩＦＯデータがＳＤＲＡＭデータ制御部２４において出力されると、カウント値「３」になる。そして、次の新たな行の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３のうち最初の第１メモリ領域データＤｍ１の全ＦＩＦＯデータが出力されると、カウント値が「３」から「１」にリセットされる。

第２プログラムカウンタ４０は、図８に示すような第２テーブル４５を有している。そして、第２プログラムカウンタ４０は、同第２プログラムカウンタ４０の第３カウント値Ｓｃ３と第２テーブル４５に基づいて、順次入力されてくる各行の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３のＦＩＦＯデータをＳＤＲＡＭ５に記憶させる際の先頭アドレスを設定するためのパラメータ値Ｔｐを設定する。

図８は、第２テーブル４５の内容を示す。第２テーブル４５は、第２プログラムカウンタ４０の第３カウント値Ｓｃ３に対するパラメータ値Ｔｐのデータが記憶されている。
因みに、第２プログラムカウンタ４０は、カウント値が「１」のとき、パラメータ値Ｔｐが「０」、第３カウント値Ｓｃ３が「２」のとき、パラメータ値Ｔｐが「０」、第３カウント値Ｓｃ３が「３」のとき、パラメータ値Ｔｐが「１」となる。つまり、第２プログラムカウンタ４０は、１行分の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の全ＦＩＦＯデータがＳＤＲＡＭデータ制御部２４において出力されるごとに、「１」のパラメータ値Ｔｐを設定する。

そして、第２プログラムカウンタ４０は、設定したパラメータ値Ｔｐを乗算器４２に出力する。
乗算器４２は、第２プログラムカウンタ４０からパラメータ値Ｔｐが入力される。また、乗算器４２は、第３基準値設定レジスタＲ３からそれぞれ第１〜第３メモリ領域Ｄｍ１〜Ｄｍ３を構成するＦＩＦＯデータの数の「９」が係数値として入力される。そして、乗算器４２は、パラメータ値Ｔｐと係数値「９」を乗算し、その乗算結果を乗算値Ｊ１として加算器４３に出力する。

因みに、第２プログラムカウンタ４０のカウント値が「１」であってパラメータ値Ｔｐが「０」のときには、乗算値Ｊ１は「０」となる。また、カウント値「２」であってパラメータ値Ｔｐが「０」のときには、乗算値Ｊ１は「９」となる。

つまり、乗算器４２は、１行分の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の全ＦＩＦＯデータがＳＤＲＡＭデータ制御部２４において出力されるごとに、「９」の乗算値Ｊ１を加算器４３に出力する。

加算器４３は、乗算器４２から乗算値Ｊ１が入力される。また、加算器４３は、第４基準値設定レジスタＲ４に記憶されている前先頭アドレス値Ｈｐが入力される。第４基準値設定レジスタＲ４は、初期状態の時には、ＳＤＲＡＭ５の先頭アドレスＡ１を示す数「１」が前先頭アドレス値Ｈｐとして初期設定されている。

加算器４３は、前先頭アドレス値Ｈｐと乗算値Ｊ１を加算し、その加算値を先頭アドレス値ＳａとしてＳＤＲＡＭ５に出力する。このとき、第４基準値設定レジスタＲ４の前先頭アドレス値Ｈｐは、加算器４３から出力された先頭アドレス値Ｓａの値に書き換え、新たな前先頭アドレス値Ｈｐに更新する。そして、加算器４３は、第４基準値設定レジスタＲ４に新たに書き換えられた前先頭アドレス（先頭アドレス値Ｓａ）と、新たに入力されてくる「０」又は「９」の乗算値Ｊ１を加算する。

つまり、加算器４３は、１行分の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の全ＦＩＦＯデータがＳＤＲＡＭデータ制御部２４において出力されるごとに、「９」の乗算値Ｊ１と前先頭アドレス値Ｈｐが加算された新たな先頭アドレス値ＳａがＳＤＲＡＭ５に出力される。

因みに、１行分の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の全ＦＩＦＯデータが出力されるごとに、先頭アドレス値Ｓａの値が「１」→「１０」→「１９」→「２８」→「３７」→「４６」→「５５」→「６４」→「７３」となる。

従って、ＳＤＲＡＭ５は、１行分の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の全ＦＩＦＯデータが出力されるごとに、次の１行分の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３の全ＦＩＦＯデータを記憶する先頭アドレスが先頭アドレス値Ｓａによって指定されることになる。

ＳＤＲＡＭ書き込み指定部２６は、ＦＩＦＯ書き込み部２１からＦＩＦＯアドレス信号Ｓｆ、及び、ＳＤＲＡＭデータ制御部２４から書き込みデータ入力信号Ｓｉが入力される。ＳＤＲＡＭ書き込み指定部２６は、ＦＩＦＯアドレス信号Ｓｆに基づいて、ＳＤＲＡＭデータ制御部２４から入力される９個のＦＩＦＯデータを含む第１〜第３メモリ領域データＤｍ１〜Ｄｍ３中の第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７の画素データを除く空データが記憶されているＦＩＦＯデータはＳＤＲＡＭ５への書き込みを禁止している。

すなわち、ＦＩＦＯアドレス信号Ｓｆは、３個の画素の画素データよりなる第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７がＦＩＦＯ２２に格納されるアドレスを指定している。従って、ＳＤＲＡＭ書き込み指定部２６は、入力されるＦＩＦＯアドレス信号Ｓｆによって、ＦＩＦＯ２２の９個のＦＩＦＯデータ信号を有する第１〜第３メモリ領域データＤｍ１〜Ｄｍ３に含まれる３個の画素データよりなる第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７が格納されている記憶領域Ｋ２のアドレスを知ることができる。

そして、ＳＤＲＡＭ書き込み指定部２６は、入力される書き込みデータ入力信号Ｓｉに応答して、３個の画素の画素データよりなる第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７以外のデータ（空データ）がＳＤＲＡＭ５に出力されるとき、ＳＤＲＡＭ５への書き込みを禁止するための書き込み禁止信号ＳｋをＳＤＲＡＭ５に出力するようになっている。

従って、ＳＤＲＡＭ書き込み指定部２６は、ＳＤＲＡＭ５の同じアドレスに書き込まれる各ラインデジタルデータＤ１〜Ｄ９に対応する第１〜第３メモリ領域データＤｍ１〜Ｄｍ３のうち、第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７だけを書き込むようにしている。

すなわち、ＳＤＲＡＭ書き込み回路１５は、図６に示すように、各ラインデジタルデータＤ１〜Ｄ９に対応する第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７をＦＩＦＯ２２に格納し、そのＦＩＦＯ２２に記憶された第１〜第３メモリ領域データＤｍ１〜Ｄｍ３をＳＤＲＡＭ５に書き込む。このとき、ＳＤＲＡＭ書き込み回路１５は、第１〜第３メモリ領域データＤｍ１〜Ｄｍ３のうち、第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７だけを書き込んでいる。

つまり、ＳＤＲＡＭ書き込み回路１５は、図６に示す９画素の第１〜第３メモリ領域データＤｍ１〜Ｄｍ３を順番にＳＤＲＡＭ５に書き込むことによって、第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７が重なり合わずに、撮像素子５０における第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７の順番に並び換えることができる。

以上記述したように、本実施の形態によれば、以下の効果を奏する。
（１）ＦＩＦＯ書き込み部２１は、図６に示すように、ＦＩＦＯ２２においてアドレスを飛ばして指定されたＳＤＲＡＭ５のアドレスＡ３，Ａ６，Ａ９，Ａ１１，Ａ１４，Ａ１７，Ａ１９，Ａ２２，Ａ２５の記憶領域に第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７（画素データＧＤ１ａ，ＧＤ１ｂ，ＧＤ１ｃ，ＧＤ２ａ，ＧＤ２ｂ，ＧＤ２ｃ，ＧＤ３ａ，ＧＤ３ｂ，ＧＤ３ｃ）を書き込む。ＳＤＲＡＭアドレス制御部２５は、各ラインデジタルデータＤ１〜Ｄ９に対応する第１〜第３メモリ領域データＤｍ１〜Ｄｍ３をＳＤＲＡＭ５の同じアドレスに書き込む先頭アドレス値ＳａをＳＤＲＡＭ５に出力する。

このとき、ＳＤＲＡＭ書き込み指定部２６は、ＳＤＲＡＭデータ制御部２４から出力される第１〜第３メモリ領域データＤｍ１〜Ｄｍ３のうち、第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７（画素データＧＤ１ａ，ＧＤ１ｂ，ＧＤ１ｃ，ＧＤ２ａ，ＧＤ２ｂ，ＧＤ２ｃ，ＧＤ３ａ，ＧＤ３ｂ，ＧＤ３ｃ）だけをＳＤＲＡＭ５に書き込むような書き込み禁止信号ＳｋをＳＤＲＡＭ５に出力する。

このため、ＳＤＲＡＭ書き込み回路１５は、従来、必要であったＳＲＡＭ５４及び並び替え回路５５を用いずに、第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７を撮像素子５０における順番でＳＤＲＡＭ５に書き込むことができる。

（２）ＦＩＦＯ書き込み部２１は、画素データＧＤ１ａ，ＧＤ１ｂ，ＧＤ１ｃ，ＧＤ２ａ，ＧＤ２ｂ，ＧＤ２ｃ，ＧＤ３ａ，ＧＤ３ｂ，ＧＤ３ｃを、第１テーブル４１に基づいてＦＩＦＯ２２に書き込むアドレスを指定している。

また、ＳＤＲＡＭアドレス制御部２５は、第２テーブル４５に基づいて、各ラインデジタルデータＤ１〜Ｄ９をＳＤＲＡＭ５に書き込む先頭アドレスを指定している。
さらに、ＳＤＲＡＭ書き込み指定部２６は、第１テーブル４１に基づいて第１〜第３メモリ領域データＤｍ１〜Ｄｍ３のうち、第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７（画素データＧＤ１ａ，ＧＤ１ｂ，ＧＤ１ｃ，ＧＤ２ａ，ＧＤ２ｂ，ＧＤ２ｃ，ＧＤ３ａ，ＧＤ３ｂ，ＧＤ３ｃ）だけをＳＤＲＡＭ５に書き込んでいる。

このため、ＳＤＲＡＭ書き込み回路１５は、撮像素子の画素信号を取得する仕様に対応して第１テーブル４１及び第２テーブル４５を設定することによって、撮像素子の画素信号を取得する仕様が変更しても回路変更をせずに、第１〜第２７分割ラインデジタルデータＤｄ１〜Ｄｄ２７を撮像素子５０における順番でＳＤＲＡＭ５に書き込むことができる。

尚、上記実施の形態は、以下の態様で実施してもよい。
・上記実施形態において、第１テーブル４１は、画素データカウンタ３６の第１カウント値Ｓｃ１に応じたアドレスが設定されていた。これに限らず、第１テーブル４１は、１つ前にＦＩＦＯ２２に記憶された記憶領域Ｋ２のアドレスに対して、そのとき格納する記憶領域Ｋ２までいくつアドレスを飛ばして格納するかを設定してもよい。さらに、第１テーブル４１は、上記のアドレスをいくつ飛ばしてＦＩＦＯの記憶領域Ｋ２に格納するかの設定を指定する回数繰り返す、又は、指定する設定に移行するようにしてもよい。

これにより、画像データが増大しても、第１テーブル４１は、アドレスの設定を画像データの数分設けずにアドレスを設定することができるため、第１テーブル４１の設定数を少なくでき、回路規模の増大を防ぐことができる。

・上記実施形態において、図９に示すように、撮像素子５０における１行目の各画素Ｐ１〜Ｐ９を３個おきに１つの組として、各画素Ｐ１〜Ｐ９を３つの組のいずれかの組に振り分ける。また、各組毎に第１〜第３信号線Ｂ１〜Ｂ３を設け、その各信号線Ｂ１〜Ｂ３をそれぞれ対応する組に属する画素Ｐ１〜Ｐ９と接続する。そして、各組に振り分けられた各画素Ｐ１〜Ｐ９の画素信号を、それぞれ第１〜第３信号線Ｂ１〜Ｂ３を介して、第１〜第３分割ライン画素信号Ｌｄ１〜Ｌｄ３として取得していた。

これに限らず、どのように１行の各画素Ｐ１〜Ｐ９に信号線Ｂ１〜Ｂ３を接続してもよく、また、信号線は何本でもよい。つまり、画素Ｐ１〜Ｐ９から画素信号を取得する方法は、撮像素子５０の仕様である。このため、画像処理回路４は、第１テーブル４１及び第２テーブル４５の設定を変更することで、撮像素子５０の仕様変更に対応することができる。

５ メモリ（ＳＤＲＡＭ）
２１ ＦＩＦＯ書き込み部
２２ ＦＩＦＯ
２５ メモリアドレス制御部（ＳＤＲＡＭアドレス制御部）
２６ 書き込み指定部（ＳＤＲＡＭ書き込み指定部）
３８ 第１プログラムカウンタ
４０ 第２プログラムカウンタ
５０ 撮像素子
Ｂ１〜Ｂ３ 信号線
Ｄｄ１〜Ｄｄ２７ 画像データ（分割ラインデジタルデータ）
Ｋ２ 記憶領域
Ｐ１〜Ｐ９ 画素

Claims (3)

1. 画素を格子状に配置して構成された撮像素子においてそれぞれ各行の画素の画素信号を複数の信号線に分けて取得し、それぞれ前記複数の信号線を介して取得された各画素の画素データを記憶領域に記憶し、かつ、各記憶領域から前記画素の画素データをメモリに出力するＦＩＦＯを有する画像処理装置であって、
   ＦＩＦＯは、
   前記複数の信号線を介して取得された各画素の画素データの組を、前記組ごとに記憶する記憶領域を設け、前記各記憶領域は、少なくともそれぞれ１行分の前記画素データが記憶できる記憶領域であり、
   前記各組の各画素の画素データを、対応する少なくとも１行分の前記画素データを記憶できる記憶領域に対して、それぞれ撮像素子において配置されていた順番で記憶するＦＩＦＯ書き込み部と、
   前記記憶領域に記憶された対応する組の各画素の画素データを、前記メモリの同じ記憶領域に記憶するメモリアドレス制御部と、
   少なくとも１行分の前記画素データが記憶できる各記憶領域に含まれる画素データ以外のデータをメモリへ書き込み禁止する書き込み指定部と
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記ＦＩＦＯ書き込み部は、
   前記各組の各画素の画素データを記憶する前記ＦＩＦＯの記憶領域のアドレスを指定する第１プログラムカウンタを有し、
   前記メモリアドレス制御部は、
   前記１行分の画素データが記憶できる各記憶領域に記憶された各画素の画素データを、前記メモリの同じ記憶領域に記憶するように前記メモリの記憶領域のアドレスを指定する第２プログラムカウンタを有することを特徴とする画像処理装置。
3. 画素を格子状に配置して構成された撮像素子においてそれぞれ各行の画素の画素信号を複数の信号線に分けて取得し、それぞれ前記複数の信号線を介して取得された各画素の画素データを記憶領域に記憶し、かつ、各記憶領域から前記画素の画素データをメモリに出力するＦＩＦＯを有する画像処理装置の画像処理方法であって、
   ＦＩＦＯは、
   前記複数の信号線を介して取得された各画素の画素データの組を、前記組ごとに記憶する記憶領域を設け、前記各記憶領域は、少なくともそれぞれ１行分の前記画素データが記憶できる記憶領域であり、
   前記各組の各画素の画素データを、対応する少なくとも１行分の前記画素データを記憶できる記憶領域に対して、それぞれ撮像素子において配置されていた順番で記憶し、
   前記記憶領域に記憶された対応する組の各画素の画素データを、前記メモリの同じ記憶領域に記憶し、
   少なくとも１行分の前記画素データが記憶できる各記憶領域に含まれる画素データ以外のデータをメモリへ書き込み禁止することを特徴とする画像処理装置の画像処理方法。

Images