JP4764905B2 - 撮像システム - Google Patents

Description

本発明は、撮像システムに関する。

特許文献１には、撮像領域の中に複数の使用領域を設定可能なカメラが記載されている。このカメラは、特許文献１の図１に示すように、パーソナルコンピュータから要求があると、使用領域情報をパーソナルコンピュータに伝送する。パーソナルコンピュータは、使用領域情報を編集する。パーソナルコンピュータにより編集された情報は、カメラにおける使用領域設定部に設定される。カメラは、使用領域設定部に設定された情報に基づき、撮像領域における使用領域を設定し、設定された使用領域からその使用領域の画像データを伝送ラインへ出力する。このとき、カメラは、その使用領域の画像データとその使用領域のＩＤとを含む送信情報を伝送ラインへ出力する。これにより、カメラから伝送ライン経由でその送信情報を受信した受信装置は、各使用領域の画像データを使用領域別にバッファメモリに格納することができる。

特許文献２には、画素アレイ部から各行の画素の信号を読み出すのに合わせてブルーミングが発生したか否かを検出するブルーミング検出部を備えた固体撮像素子が記載されている。この固体撮像素子では、ブルーミング検出部が、ブルーミングが発生したことを検出すると、ブルーミング行フラグを発生させて外部のコントローラへ出力する。これに応じて、コントローラは、ブルーミングの発生を抑えるために、固体撮像素子を制御して各行の画素の電荷蓄積時間を短くしたり、絞りを制御して固体撮像素子の露光量を減らしたりする。

特許文献３には、全画素から間引いて信号を読み出すためのスキップ走査と、一部の所定範囲の画素から間引かずに信号を読み出すためのブロック走査とが可能な撮像素子が記載されている。この撮像素子から出力された信号をＡ／Ｄ変換するＡ／Ｄ変換部からは、特許文献３の図６（ｂ）に示されるように、スキップ走査による画像データ（間引きデータ）とブロック走査による画像データ（ブロックデータ）とが１画面ごとに交互に出力される。これにより、特許文献３によれば、カメラにおける１つのモニタ上で全体表示と部分拡大表示との両方を同時にみることができるとされている。
特開２００６−１０９００１号公報 特開２００６−１９７４２５号公報 特開平０９−２１４８３６号公報

画素配列から間引いて信号を読み出した場合、間引いて失われた画素のデータを補うような補間処理を行うことにより十分な解像度を有する画像データを生成することがある。

特許文献１に記載された技術では、使用領域の画像データとその使用領域のＩＤとを含む情報がカメラから出力される。ここで、この情報を受信して撮像領域における非使用領域の画像データを補おうとしても、どの部分が欠落しているかが分からないため、非使用領域の画像データを補うことができない。

特許文献２に記載された技術では、特許文献２の図５に示すように、固体撮像素子から出力された画像信号が信号処理回路経由で後段へ出力されている。仮に、信号処理回路から出力された画像信号に対して間引いて失われた画素のデータを補おうとすると、どの画素のデータが失われているのかフレーム内の画素を順にチェックする必要があり、補間処理の負荷が増加する。

特許文献３に記載された技術では、間引きデータが標準テレビジョン信号に変換されてモニタ上に出力されている。ここで、間引きデータと標準テレビジョン信号とは縦横の画素数比が異なると考えられるので、間引きデータに対して補間処理を行うことにより標準テレビジョン信号が生成されていると考えられる。

また、特許文献３には、間引き率が可変なスキップ走査を行えることが記載されている。仮に、動的に間引き率を変えてスキップ走査を行うと、フレームごとに画素配列において間引いて失われる画素が動的に変わることになり、どの画素のデータが失われているのかフレーム内の画素を順にチェックする必要が生じる。この場合も、補間処理の負荷が増加する。

本発明の目的は、画素配列において信号が読み出される行が動的に変わる場合でも、撮像装置から出力される画像信号が効率的に補間処理されるようにすることにある。

発明の第１の側面は、撮像システムに係り、前記撮像システムは、複数の画素が行に沿った方向及び列に沿った方向に配列された画素配列と、前記画素配列の行を選択する選択部と、前記選択部が選択している行の画素から信号を読み出す読み出し部と、前記読み出し部により信号が読み出される行である読み出し行の信号に加えて、フラグを出力するフラグ付加部と、前記読み出し部により前記画素配列の一部の行の画素から信号が読み出されるフレームにおいて、前記フラグに基づいて非読み出し行を検出する検出部とを備え、非読み出し行の画素からは信号が読み出されないことを特徴とする。

本発明によれば、画素配列において信号が読み出される行が動的に変わる場合でも、撮像装置から出力される画像信号が効率的に補間処理されるようにすることができる。

本発明の第１実施形態に係る撮像装置１００を、図１を用いて説明する。図１は、本発明の第１実施形態に係る撮像装置１００の概略システム構成図である。

撮像装置１００は、光学系１０６、撮像センサ１０１、信号処理部１０２、フラグ付加回路（フラグ付加部）１０３、ＴＧ１０４、及びＣＰＵ１０５を備える。

光学系１０６は、撮像センサ１０１の撮像面（画素配列）に被写体の像を形成する。

撮像センサ１０１は、画素配列に形成された被写体の像を画像信号に変換する。撮像センサ１０１は、その画像信号を画素配列から読み出して出力する。撮像センサ１０１は、例えば、図２に示すように、ＣＭＯＳイメージセンサーである。

図２は、撮像センサ１０１の概略の回路構成例を示す図である。撮像センサ１０１は、画素配列ＰＡ、垂直走査回路（選択部）２０２、読み出し部２０４、水平走査回路２０３、及びバッファアンプ２０５を含む。

画素配列ＰＡでは、複数の画素２０１が縦横にマトリクス状に（行に沿った方向及び列に沿った方向に）配列されている。各画素２０１は、図３に示すように、光電変換部１、電荷電圧変換部３、転送部２、リセット部４、出力部５、及び選択部６を含む。

光電変換部１は、光に応じた電荷を発生させて蓄積する。光電変換部１は、例えば、フォトダイオードである。電荷電圧変換部３は、電荷を電圧に変換する。電荷電圧変換部３は、例えば、フローティングディフュージョンである。転送部２は、光電変換部１の電荷を電荷電圧変換部３へ転送する。転送部２は、例えば、転送ＭＯＳトランジスタであり、垂直走査回路２０２からアクティブな制御信号がゲートに供給された際にオンすることにより、光電変換部１の電荷を電荷電圧変換部３へ転送する。リセット部４は、電荷電圧変換部３をリセットする。リセット部４は、例えば、リセットＭＯＳトランジスタであり、垂直走査回路２０２からアクティブな制御信号がゲートに供給された際にオンすることにより、電荷電圧変換部３をリセットする。出力部５は、電荷電圧変換部３の電圧に応じた信号を出力する。出力部５は、電荷電圧変換部３がリセット部４によりリセットされたことに対応して、電荷電圧変換部３の電圧に応じたノイズ信号を列信号線ＳＬへ出力する。出力部５は、光電変換部１の電荷が電荷電圧変換部３へ転送された状態で、電荷電圧変換部３の電圧に応じた光信号を列信号線ＳＬへ出力する。出力部５は、例えば、増幅ＭＯＳトランジスタであり、列信号線ＳＬに接続された定電流源（図示せず）とともにソースフォロワ動作を行う。選択部６は、画素２０１を選択状態／非選択状態にする。選択部６は、例えば、選択ＭＯＳトランジスタであり、垂直走査回路２０２からアクティブな制御信号がゲートに供給された際にオンすることにより、画素２０１を選択状態にする。選択部６は、垂直走査回路２０２からノンアクティブな制御信号がゲートに供給された際にオフすることにより、画素２０１を非選択状態にする。

図２に示す垂直走査回路２０２は、画素配列ＰＡを垂直方向（列方向）に走査することにより、信号を読み出すべき画素の行を選択する。垂直走査回路２０２は、画素配列ＰＡにおける読み出し行を選択してその読み出し行の画素から信号が読み出されるようにするとともに、非読み出し行をスキップしてその非読み出し行の画素から信号が読み出されないようにする。

具体的には、垂直走査回路２０２は、読み出し行の各画素における選択部６へアクティブな制御信号を供給することにより、その読み出し行を選択する。これにより、読み出し行の各画素における出力部５は、ノイズ信号と光信号とをそれぞれ互いに異なるタイミングで列信号線ＳＬへ出力する。

読み出し部２０４は、垂直走査回路２０２が選択している行の画素から信号（ノイズ信号、光信号）を読み出し、読み出した行の各列の信号を一時的に保持する。

水平走査回路２０３は、読み出し部２０４を水平方向（行方向）に走査することにより、読み出し部２０４により保持された各列の信号（ノイズ信号、光信号）を順次に選択してバッファアンプ２０５へ転送する。

バッファアンプ２０５は、転送された信号（ノイズ信号、光信号）に基づいて画像信号を生成して出力する。例えば、バッファアンプ２０５は、ノイズ信号と光信号との差分をとることにより、画像信号を生成して出力する。

図１に示す信号処理部１０２は、撮像センサ１０１から出力された画像信号を受ける。信号処理部１０２は、受けた画像信号（アナログ信号）に対して所定の信号処理を行うことにより、画像信号（デジタル信号）を生成する。所定の信号処理は、信号のオフセットレベルを調整する処理、ゲインをかける処理、ガンマ変換を行う処理、Ａ／Ｄ変換を行う処理を含む。信号処理部１０２は、処理後の画像信号（デジタル信号）をフラグ付加回路１０３へ出力する。

フラグ付加回路１０３は、信号処理部１０２から出力された画像信号（デジタル信号）を受ける。フラグ付加回路１０３は、読み出し部２０４により画素配列ＰＡの全部の行でなく一部の行の画素から信号が読み出される場合に、非読み出し行を示すフラグを、読み出し行の信号に付加する。なお、フラグの具体的な内容や、フラグを付加する必要性については後述する。

ＴＧ１０４は、撮像センサ１０１、信号処理部１０２、及びフラグ付加回路１０３のそれぞれへ駆動用のタイミング信号を供給する。これにより、撮像センサ１０１、信号処理部１０２、及びフラグ付加回路１０３は、タイミング信号に同期して動作する。

ＣＰＵ１０５は、撮像装置１００の各部を全体的に制御する。ＣＰＵ１０５は、例えば、光学系１０６を駆動制御して、ＡＥ／ＡＦ処理を行う。ＣＰＵ１０５は、例えば、ＴＧ１０４を制御して、撮像センサ１０１の画素配列ＰＡにおける読み出し行の位置を動的に（時間的に）変える。また、ＣＰＵ１０５は、外部制御回路９９３と通信して、外部制御回路９９３から指示に従った動作を制御する。すなわち、撮像装置１００は、通信によって外部制御回路９９３から制御可能で、ＣＰＵ１０５は、外部制御回路９９３との通信インターフェースを担い、外部制御回路９９３の指示に従ってＴＧ１０４にて生成する駆動タイミングのパターンを決定する。

本実施形態に係る撮像装置では、読み出し部２０４により画素配列ＰＡの全部の行でなく一部の行の画素から信号が読み出されるフレームにおいて、読み出し行の画素に基づく１行分の信号を出力するとともに非読み出し行を示すフラグを出力する。各行の信号を撮像装置から受けた画像処理部は、不図示の検出部によって各行の信号に付加された行のフラグを参照する。これにより、撮像装置から出力される１フレーム分の画像信号においてどの行の信号が欠けているのかをほぼリアルタイムで容易に把握することができる。すなわち、複数の読み出し行の信号を用いて非読み出し行の信号を補う補間処理を行う際に、１フレーム分の画像信号においてどの行の画素のデータが失われているのかフレーム内の画素を順にチェックする必要がない。このように、画素配列において信号が読み出される行が動的に（時間的に）変わる場合でも、撮像装置から出力される画像信号が効率的に補間処理されるようにすることができる。

なお、撮像センサ１０１は、ＴＧ１０４で生成される駆動タイミングに応じて、第１の読み出しモードで動作したり、第２の読み出しモードで動作したりできる。第１の読み出しモードでは、画素配列ＰＡから特定の周期（所定行の間隔）で間引かれた画素の信号が読み出し部２０４により読み出される。第２の読み出しモードでは、画素配列ＰＡにおける一部の切り出された領域の画素の信号が読み出し部２０４により読み出される。

どちらの読み出しモードも、撮像センサ１０１の全画素から一部の画素の信号を読み出すことから、間引き読み出しモードと呼ぶこともできる。しかしながら、以下では、便宜上、第１の読み出しモードを間引き読み出しモードと呼び、第２の読み出しモードを部分切り出しモードと呼ぶことにする。

さて、本実施形態では、ＴＧ１０４の工夫によって間引き読み出しフレームと部分切り出しフレームとを同一の撮像センサ１０１から出力することができるようになっている。ここで、間引き読み出しフレームとは、間引き読み出しモードで読み出される１フレーム分の画像信号を示す。部分切り出しフレームとは、部分切り出しモードで読み出される１フレーム分の画像信号を示す。図６に示すように、間引き読み出しフレームと部分切り出しフレームとは、時系列的に交互に出力される。

次に、各フレームの読み出しの駆動方法を、図４Ａ〜図４Ｅを用いて説明する。図４Ａ〜図４Ｅは、各フレームの読み出しの駆動方法を示す図である。図４Ａ〜図４Ｅでは、撮像センサ１０１の画素配列ＰＡにおける各画素２０１を升目によって模式的に示してあり、周囲のＶ０〜Ｖ２２及びＨ０〜Ｈ２２はそれぞれ行アドレス及び列アドレスを示す。行アドレスは、垂直走査回路２０２が画素配列ＰＡを走査する際にカウントするアドレスである。列アドレスは、水平走査回路２０３が読み出し部２０４を走査する際にカウントするアドレスである。便宜上、行アドレス及び列アドレスともに２２番地までしか示していないが、実際にはさらに多くの画素が配列されている。

図４Ａは、間引き読み出しフレームの読み出しを行う場合を示しており、読み出し行を斜線で示している。なお、升目内に示された「Ｍ」は、その画素が、カラーフィルタなどが積層されていないモノクロの画素であることを示す。図４Ａには、ユーザーが、入力デバイス（たとえばＰＣのマウスやキーボード）及び外部制御回路９９３を通じて、撮像センサ１０１へ間引き読み出しの駆動を指定した場合のフレーム読み出しを説明している。垂直走査回路２０２は、読み出し行Ｖ０を読み出したあと、７行おきに（６行間隔で）画素の信号が読み出されるように、画素配列ＰＡを駆動する。これにより、全画素から読み出す画素数を７分の１に減らした間引き読み出しを行う。なお、読み出し部２０４により保持された各列の画素の信号については、隣接する７画素の信号を加算平均して１画素として出力してもよいし、単純に７画素中の任意の１画素を出力してもよい。あるいは、読み出し部２０４により保持された全列の画素の信号を順次に出力してもよい。

一方、図４Ｂは、第１の部分切り出しフレームの読み出しを行う場合を示しており、読み出し領域ＲＲ１を太線の枠で示し、読み出し領域ＲＲ１における読み出し行を斜線で示している。なお、読み出し領域ＲＲ１は、前述の間引き読み出しフレームの場合と同様に、ユーザーが外部制御回路９９３を通じて撮像センサ１０１へ指定する。第１の部分切り出しフレームを読み出す場合、垂直走査回路２０２は、まず、読み出し領域ＲＲ１の先頭の読み出し行Ｖ２を選択し、その読み出し行Ｖ２から読み出し部２０４により信号が読み出されるようにする。水平走査回路２０３は、列アドレスを読み出し領域ＲＲ１の先頭列（図４Ｂの場合ではＨ１１）にしてそこから順次読み出しを行う。１つの読み出し行の読み出しが終了すると次の読み出し行へと順次読み出しが進むのであるが、ここで、行Ｖ７は、間引き読み出しフレームの読み出し行である（図４Ａ参照）。そのため、第１の部分切り出しフレームでは行Ｖ７から信号の読み出しを行わない（非読み出し行とする）。

なお、この読み出しを行わないという判断は、外部制御回路９９３を通じて伝達された各読み出しフレームの情報をＣＰＵ１０５が解釈し、ＴＧ１０４に駆動方法を指示することで実現している。このような駆動を行うのは、Ｖ７が間引き読み出しフレームで読み出しが行われた行であるために、他のＶ２からＶ６およびＶ８からＶ１１とは蓄積時間が違ってくるからである。なお、このフレームにおける非読み出し行Ｖ７の信号については、最終的に、外部の画像処理部９９０における適切な補間処理により補われることになる。

次に、あるタイミングで、第１の部分切り出しフレームにおける読み出し領域ＲＲ１の座標が移動し、第２の部分切り出しフレームにおける読み出し領域ＲＲ２になったとする。読み出し位置の指定は、前述の各フレームと同様に、ユーザーが外部制御回路９９３を通じて撮像センサ１０１へ指定する。その様子を図４Ｃに示す。このとき、第２の部分切り出しフレームでは、（Ｈ３、Ｖ５）と（Ｈ１３、Ｖ１４）で囲まれる矩形領域（読み出し領域ＲＲ２）から信号を読み出すように指定座標が変更されている。ここで、読み出しを行う際の垂直走査回路２０２および水平走査回路２０３の基本的な動きは第１の部分切り出しフレームと同様である。しかし、第２の部分切り出しフレームにおける読み出し領域ＲＲ２では、間引き読み出しフレームにおける読み出し行Ｖ７に加え、Ｖ１４も重なっているため、Ｖ７及びＶ１４を非読み出し行とする。この読み出しを行わないという判断も、外部制御回路９９３を通じて伝達された各読み出しフレームの情報をＣＰＵ１０５が解釈し、ＣＰＵ１０５がＴＧ１０４に駆動方法を指示することで実現している。

さて、ここで、第１の部分切り出しフレームの読み出し領域ＲＲ１と第２の部分切り出しフレームの読み出し領域ＲＲ２とにおける非読み出し行に注目する。すると、読み出し領域ＲＲ１において先頭から数えて６行目が非読み出し行Ｖ７であるのに対して、読み出し領域ＲＲ２において先頭から数えて３行目及び１０行目が非読み出し行Ｖ７，Ｖ１４である。

このように、部分切り出しフレームにおける読み出し領域の位置がユーザーから指定などによって動的に可変できるようなシステムの場合には、非読み出し行が何行目になるのかを後段の回路ブロック（図１に示す画像処理部９９０）が知る必要がある。一方で、外部の画像処理部９９０は、本来の役割である画像処理、例えば、複数の読み出し行の信号を用いて非読み出し行の信号を補うような補間処理も同時に行わなければならない。このとき、もし撮像装置１００から外部の画像処理部９９０へ動画のように次々とフレーム画像データが伝送されており、それを次々と処理しなければならないとすると、次のような問題が生じる。すなわち、前述のような処理を同時に行うことでデータ伝送が滞り、延いては画素データや行データ、フレーム画像データを欠損させてしまう可能性が生じる。

それに対して、本実施形態では、フラグ付加回路１０３が、非読み出し行を示すフラグを、読み出し行の画素に基づく信号に加えて非読み出し行を示すフラグを出力するので、そのような問題を回避することができる。すなわち、読み出し行の信号は、フラグ付加回路１０３に送られ、フラグ付加回路１０３により適切なフラグが付加される。これにより、画像処理部９９０は、フレームの先頭から行のカウントや演算などを行わなくても、付加されているフラグによって処理の種類および実施有無の判断を行うことができる。フラグは、例えば読み出し行の信号を出力し始めることに先立って出力しても良いし、読み出し行の１行分の信号を出力し終えた後に出力しても良い。

本実施形態の場合、たとえば非読み出し行の１行前の読み出し行に、「本読み出し行と次の読み出し行との間には、非読み出し行が１行以上ある」ことを示すフラグ（以下、間引きフラグ）を付加する。このフラグは、隣接する行が非読み出し行であるか否かを示すフラグである。このようなフラグを参照することにより、画像処理部９９０は、効率的な補間処理を行うことができる。

さらに、読み出し行の信号に付加されるフラグは、隣り合う２つの読み出し行の間における非読み出し行の数を示す情報を含んでもよい。すなわち、読み出し行の信号に付加されるフラグは、非読み出し行の行数を示すフラグ（以下、間引き行数フラグとする）でもよい。このようなフラグを参照することにより、画像処理部９９０は、低解像度の領域と高解像度の領域とが混在したフレームの画像信号に対しても、解像度が切り替わる行をフレームの先頭行からチェックする必要がないので、効率的な補間処理を行うことができる。

また、フラグ付加回路１０３により読み出し行の信号に付加されるフラグは、次のようなフラグであってもよい。

例えば、読み出し行の信号に付加されるフラグは、自身の色配列を示すフラグ（以下、色配列フラグとする）でもよい。画素配列ＰＡにおける各画素がベイヤー配列にしたがったカラーフィルタを含んでいれば、各行の色配列も行の配列の規則性を示すことになる。ここで、カラーフィルタは、可視領域におけるいずれかの色（Ｒ，Ｇ，Ｂ）の光が光電変換部へ入射するように、その色の光を透過する。複数のカラーフィルタは、ベイヤー配列を形成している。

あるいは、例えば、読み出し行の信号に付加されるフラグは、自身がフレームの先頭から数えて偶数目の行か奇数目の行かを示すフラグ（以下、偶奇フラグ）でもよい。

あるいは、例えば、読み出し行の信号に付加されるフラグは、自身の行アドレスを示すフラグ（以下、アドレスフラグ）でもよい。

以下では、これらの代表的なフラグについて個別に説明していく。

まず、色配列フラグについて、図４Ｄを用いて説明する。第３の部分切り出しフレーム読み出しの場合、撮像センサ１０１はベイヤー配列のカラーフィルタを備えている。ここで、Ｒは赤、Ｇは緑、Ｂは青の画素を示している。この場合、画像処理部９９０は、Ｒ画素とＧ画素とを含むＲＧ読み出し行なのか、Ｇ画素とＢ画素とを含むＧＢ読み出し行なのか、さらに読み出し行のどちらの色の画素から読み出しが始まるのかの情報を用いて、適切な色信号処理を行う。

そのため、フラグ付加回路１０３は、それらの情報、たとえば、読み出し領域ＲＲ３における読み出し行Ｖ５がＧＢ読み出し行であり、読み出し行Ｖ５のＢ画素から信号の読み出しをはじめることを示す「ＢＧ」などの色配列フラグを付加する。色配列フラグは、各読み出し行がＲＧ読み出し行（第１の色配列の行）であるのかＧＢ読み出し行（第２の色配列の行）であるのかを示し、各読み出し行の信号に付加されている。なお、ベイヤー配列では、第１の色配列の行と第２の色配列の行とが繰り返し隣接して配列されている。

画像処理部９９０は、同じ色配列フラグの読み出し行が続けて読み出された場合、その間に読み出しが行われなかった読み出し行が存在したと判断する。色配列フラグは、第１の色配列の行又は第２の色配列の行が連続した場合に、間の行が非読み出し行であることを示す。なぜなら、読み出し行と読み出し行との間に非読み出し行がなければ、各行のフラグは、図４Ｄの場合、「ＢＧ」と「ＧＲ」とが交互に連続するはずだからである。

たとえば、図４Ｄの第３の部分切り出しフレームを読み出す場合、行Ｖ６の次に行Ｖ８の信号が読み出されるが、このときの色配列フラグは同じ「ＧＲ」になる。そこで画像処理部９９０は、行Ｖ７の信号が読み出されなかったものと推測し、行Ｖ７に相当する「ＢＧ」行の信号を補間してから色信号処理を行うようにする。

その他に、画像処理部９９０が色信号処理に必要な情報を受け取る別の方法として、フラグ付加回路１０３は、先頭の読み出し行の信号に、フレームフラグとしてどの色配列から読み出しがスタートするかの情報を示すフラグを付加する。そして、フラグ付加回路１０３は、非読み出し行の一行前の読み出し行の信号に、上記の間引きフラグを付加する。画像処理部９９０は、先頭の読み出し行の指定された色から順に色信号処理を進め、間引きフラグが付加されていた場合のみ非読み出し行の信号を補ってから色信号処理をするように、手順を変更すればよい。

つづいて、偶奇フラグを説明する。偶奇フラグは、自身がフレームの先頭から数えて偶数目の行であるのか奇数目の行であるのかを示すフラグである。フラグ付加回路１０３は、各読み出し行が偶数目の行であるか、奇数目の行であるかを示すフラグを、書く読み出し行の信号に付加する。画像処理部９９０は、このフラグを読み出し行ごとにチェックし、同じフラグが連続した場合に、非読み出し行が存在すると判断する。偶奇フラグは、奇数番目の行又は偶数番目の行が連続した場合に、間の行が非読み出し行であることを示す。この場合、画像処理部９９０は、複数の読み出し行の信号を用いて非読み出し行の信号を補うような補間処理などを行う。

次に、アドレスフラグを説明する。アドレスフラグは、自身の行アドレスを示すフラグである。画像処理部９９０は、このアドレスフラグを読み出し行ごとにチェックすることで、非読み出し行を知ることができる。たとえば、ある読み出し行まで連続したアドレスフラグであったのに、突然アドレスが１番地抜けるようなことがあった場合、画像処理部９９０は、その抜けた番地の行が非読み出し行であると認識できる。アドレスフラグは、２以上離れた行アドレスが連続した場合に、間に非読み出し行があることを示す。それに応じて、画像処理部９９０は、効率的な補間処理などを行うことできる。

ここで、仮に、アドレスフラグがない場合を考える。この場合、画像処理部９９０は、受け取ったフレームの画像信号に対して、どの行の信号が抜けているのかフレームの先頭からチェックする必要がある。これにより、画像処理部９９０による補間処理の負荷が増加する。

それに対して、本実施形態では、画像処理部９９０が、該当読み出し行のアドレスフラグを直前の読み出し行のアドレスフラグと比較することにより、非読み出し行が存在するか否かを判断している。これにより、どの行の信号が抜けているのかフレームの先頭からチェックする必要がなく、画像処理部９９０による補間処理の負荷が低減している。すなわち、画像処理部９９０は、効率的な補間処理を行うことができる。

次に、間引き行数フラグを、図４Ｅを用いて説明する。図４Ｅは、撮像センサ１０１がモノクロセンサである場合における第４の部分切り出しフレームの読み出しの様子を示している。この場合、読み出し領域ＲＲ４において読み出し行Ｖ２，Ｖ４，Ｖ６，Ｖ８，Ｖ１０，Ｖ１２，Ｖ１４が等間隔（１行間隔）で配列されているので、フラグ付加回路１０３は、各読み出し行の信号に間引き行数フラグとして「１」を付加する。

ここで、画像処理部９９０により読み出し行の信号に対する補間処理を行わなくても、画像がゆがむなどの影響は出ないと考えられる。しかし、第１の部分切り出しフレームや第２の部分切り出しフレームと比較すると、第４の部分切り出しフレームは解像度が低く、しかも空間サンプリング周期が長いため、モアレの問題が生じる場合がある。そのため、画像処理部９９０でモアレを低減するような信号処理を追加したい場合もある。その際、適切なモアレ低減フィルタを掛けるために、画像処理部９９０が受け取る連続した２つの読み出し行の間に、非読み出し行が何行あったかという情報が必要になる。そこで、フラグ付加回路１０３は、読み出し行の画素に基づく１行分の信号を出力するとともに間引き行数フラグを出力する。

なお、ここでは、部分切り出しの場合で説明したが、図４Ａの間引き画像についても、同様にモアレ除去フィルタを入れたい場合などに、この間引き行数フラグを使用することも出来る。

以上、代表的なフラグについて個別に説明してきたが、これら以外であっても勿論よく、また、複数のフラグを組み合わせて使用しても良い。

続いて、ここまで説明してきたフラグをどのように読み出し行データと合わせて送信するのかについて、説明していく。

図５は、信号処理部１０２の動作を示す図である。

信号処理部１０２は、図５に示すように、オフセット調整回路４０１、ゲイン回路４０２、及びＡＤＣ（Ａ／Ｄ変換器）４０３を含む。

オフセット調整回路４０１は、撮像センサ１０１から出力された画像信号（アナログ信号）を受ける。オフセット調節回路４０１は、受けた画像信号のＤＣレベルを調整して、調整後の画像信号をゲイン回路４０２へ出力する。

ゲイン回路４０２は、オフセット調整回路４０１から出力された画像信号を受ける。ゲイン回路４０２は、受けた画像信号にゲインをかけて増幅し、増幅後の画像信号をＡＤＣ４０３へ出力する。

ＡＤＣ４０３は、ゲイン回路４０２から出力された画像信号を受ける。ＡＤＣ４０３は、受けた画像信号（アナログ信号）をＡ／Ｄ変換して、画像信号（デジタル信号）を生成する。ＡＤＣ４０３は、生成した画像信号（デジタル信号）をフラグ付加回路１０３へ出力する。

図７は、フラグ付加回路１０３の動作を示す図である。

フラグ付加回路１０３は、図７に示すように、ディレイ回路６０１、フラグ生成回路６０２、及び付加部（マルチプレクサ）６０３を含む。

ディレイ回路６０１は、ＡＤＣ４０３から出力された画像信号（デジタル信号）を受ける。ディレイ回路６０１は、受けた画像信号（デジタル信号）に対して、ある時間分、信号位相を遅らせる。図７では、例として２データ分の時間分だけ位相を遅らせた状態を示していて、ディレイ回路６０１を通過したあとの信号群では、通過する前の信号群のＮ＋１（Ｎ；正の整数）の位置にＮ−１の信号が出力されるようになっている。ディレイ回路６０１は、位相を遅らせた信号を付加部６０３へ出力する。

フラグ生成回路６０２は、ＴＧ１０４からの制御で、適切なタイミング（該当読み出し行の信号にフラグを付加できるタイミング）で、フラグを示すフラグを生成する。フラグ生成回路６０２は、生成したフラグを付加部６０３へ出力する。

付加部６０３は、ディレイ回路６０１から画像信号（デジタル信号）を受け、フラグ生成回路６０２からフラグを受ける。付加部６０３は、画像信号（デジタル信号）にフラグを付加して、両者をひとつの信号（情報）として出力する。これら一連の処理は、読み出し行ごとに行われる。

なお、図７ではデータの前にフラグを付加する例を示したが、付加する個所に関してはこれに限るものではない。

また、別のフラグ付加方法として、画像信号のデータパスと、フラグのパスを分離する場合も考えられる。この場合、フラグ付加回路１０３からは、データパスの信号線以外に、フラグ専用線が延びていることが必要になる。フラグ専用線は、１線に１つの状態（たとえば、あるフラグ線は間引きフラグのオンオフを示し、別の信号線はＲＧ読み出し行であることを示す、など）を割り当ててもよいし、シリアル通信のようにして、フラグの内容を通信するものでもよい。画像処理部９９０は、これらのフラグの状態を読み出し行毎にチェックし、処理を変更する。

以上で説明したように、本実施形態の撮像装置１００によれば、間引き読み出しの解像度や部分切り出しの位置など、信号の読み出し位置が変わる場合にも、非読み出し行を示すフラグが付加される。このため、後段の画像処理部では読み出し位置の変化を適切に把握して処理を変化させることができる。そのため、最終的に生成される画像の品質を保つことができる。

このように、画像処理部は、間引きされ失われた行を知ることができるので、それに応じて補間処理や色生成処理などの条件を変更すればよく、本来の役割である画像処理に専念することが可能となる。この結果、画像処理部の負荷が集中することがなくなり、前述のデータの流れが滞りやすくなるなどの不具合を解消することが出来る。

なお、撮像装置１００と画像処理部９９０とを含む撮像システム（カメラ）を構成しても良い。

次に、本発明の第２実施形態に係る撮像装置１００ｉを、図８を用いて説明する。図８は、本発明の第２実施形態に係る撮像装置１００ｉの構成図である。以下では、第１実施形態と異なる部分を中心に説明する。

撮像装置１００ｉは、撮像センサ１０１ｉ及びフラグ付加回路１０３ｉを備える点で第１実施形態と異なる。撮像センサ１０１ｉは、間引きフラグ又は間引き行数フラグをフラグ付加回路１０３ｉへ供給する。

撮像センサ１０１ｉは、図９に示すように、間引き判定回路７０６をさらに含む。図９は、撮像センサ１０１ｉの構成図である。

間引き判定回路７０６は、ＶＳＨＲシフトパルスとＨＳＨＲシフトパルスとをＴＧ１０４から受ける。

第１実施形態でも、説明していないが、ＶＳＨＲシフトパルスがＴＧ１０４から垂直走査回路２０２へ供給されている。ＶＳＨＲシフトパルスは、垂直走査回路２０２が画素配列ＰＡを垂直方向に走査する際に行アドレスをカウントするためのパルスである。同様に、ＨＳＨＲシフトパルスがＴＧ１０４から水平走査回路２０３へ供給されている。ＨＳＨＲシフトパルスは、水平走査回路２０３が画素配列ＰＡを水平方向に走査する際に列アドレスをカウントするためのパルスである。なお、図示しないが、ＴＧ１０４からは垂直・水平走査回路をそれぞれ別個にリセットし、アドレスを先頭に戻すためのパルスも入力されている。

間引き判定回路７０６は、ＶＳＨＲシフトパルスとＨＳＨＲシフトパルスとを用いて、間引きフラグ又は間引き行数フラグを生成する。間引き判定回路７０６は、生成した間引きフラグ又は間引き行数フラグをフラグ付加回路１０３ｉへ出力する。

フラグ付加回路１０３ｉは、図１０に示すように、フラグ生成回路６０２ｉ及び付加部６０３ｉを含む。フラグ生成回路６０２ｉは、間引きフラグ又は間引き行数フラグを生成しない。付加部６０３ｉは、間引き判定回路７０６から出力された間引きフラグ又は間引き行数フラグを受ける。なお、図１０は、フラグ付加回路１０３ｉの動作を示す図である。

次に、間引き判定回路７０６の動作を、図１１を用いて説明する。図１１は、間引き判定回路７０６の動作を示すフローチャートである。

ステップ８００では、間引き判定回路７０６が、フラグの出力をしていない初期状態にある。

ステップ８０１では、間引き判定回路７０６が、ＶＳＨＲシフトパルスの入力がなければ（Ｎｏ）、ＶＳＨＲシフトパルスの入力を待つ。間引き判定回路７０６は、ＶＳＨＲシフトパルスの入力があると（Ｙｅｓ）、処理をステップ８０２に進める。

ステップ８０２では、間引き判定回路７０６が、ＶＳＨＲシフトパルスとＨＳＨＲシフトパルスとのどちらが先に入力されたかを判断する。

ここで、垂直走査回路２０２が読み出し行を選択し読み出し行から読み出し部２０４により信号が読み出され保持されたあと、読み出し部２０４により保持された各列の信号を水平走査回路２０３が順次にバッファアンプ２０５へ転送する。間引き判定回路７０６は、ステップ８０１のＶＳＨＲシフトパルスのあと、次のＶＳＨＲシフトパルスより先にＨＳＨＲシフトパルスが入力される場合（Ｎｏ）に、その行の信号の読み出しが行われたと判断する。そこで、間引き判定回路７０６は、間引きフラグの出力をせず、処理をステップ８００に戻す。

一方、間引き判定回路７０６は、ステップ８０１のＶＳＨＲシフトパルスのあと、ＨＳＨＲシフトパルスより先に次のＶＳＨＲシフトパルスが入力された場合（Ｙｅｓ）、次のように判断する。間引き判定回路７０６は、ステップ８０１でのＶＳＨＲシフトパルスで選択した行の信号を読み出すことなく、次の行アドレスに進んだと判断する。そこで、間引き判定回路７０６は、間引きフラグもしくは間引き行数フラグを出力する必要が生じたと判断して、処理をステップ８０３へ進める。

ステップ８０３では、間引き判定回路７０６が、何行が読み出されなかったのかを判断するために、ＶＳＨＲシフトパルスをカウントする。すなわち、間引き判定回路７０６は、直前の読み出し行と次に現れる読み出し行との間における非読み出し行の数をカウントする。

ステップ８０４では、間引き判定回路７０６が、再び、ＶＳＨＲシフトパルスとＨＳＨＲシフトパルスとのどちらかが先に入力されたかを判断する。間引き判定回路７０６は、ＨＳＨＲシフトパルスより先に次のＶＳＨＲシフトパルスが入力された場合（Ｙｅｓ）、処理をステップ８０３に戻す。一方、間引き判定回路７０６は、次のＶＳＨＲシフトパルスより先にＨＳＨＲシフトパルスが入力される場合（Ｎｏ）、処理をステップ８０５に進める。

ステップ８０５では、間引き判定回路７０６が、間引きフラグもしくは間引き行数フラグとして、ＶＳＨＲシフトパルスのカウント値を出力する。間引き判定回路７０６は、フラグを出力した後、その次以降の読み出しに備え、再び処理をステップ８００に戻す。

このように、本第２実施形態によれば、第１実施形態において説明したフラグの内、間引きフラグおよび間引き行数フラグの生成を撮像装置に組み込むことが可能であり、システムのコンパクト化、低コスト化が図れるようになる。また、ＴＧ１０４からみれば、信号を付加するタイミングを制御する必要がなくなり、処理が簡潔になるというメリットがある。

なお、本実施形態では、フラグを画像データとは別の信号線で出力する構成で説明したが、フラグの出力方法はこの限りではなく、マルチプレクサを搭載し、データ中に埋め込んでもよい。また、パラレル信号、シリアル信号のいずれでも構わない。

次に、本発明の第３実施形態に係る撮像装置１００ｊを、図１２を用いて説明する。図１２は、本発明の第３実施形態に係る撮像装置１００ｊの構成図である。以下では、第１実施形態と異なる部分を中心に説明する。

撮像装置１００ｊは、撮像センサ１０１ｊ及びフラグ付加回路１０３ｊを備える点で第１実施形態と異なる。撮像センサ１０１ｊは、行偶奇フラグ、列偶奇フラグ、及び色配列フラグをフラグ付加回路１０３ｊへ供給する。

撮像センサ１０１ｊは、図１３に示すように、間引き判定回路７０６をさらに含む。図１３は、撮像センサ１０１ｊの構成図である。

撮像センサ１０１ｊは、トグルスイッチ９０６、トグルスイッチ９０７、及び色配列デコーダ９０８を備えている。

トグルスイッチ９０６は、ＶＳＨＲシフトパルスをＴＧ１０４から受ける。トグルスイッチ９０６は、ＶＳＨＲシフトパルスを用いて行偶奇フラグを生成する。トグルスイッチ９０６は、生成した行偶奇フラグを色配列デコーダ９０８及びフラグ付加回路１０３ｉへ出力する。

具体的には、トグルスイッチ９０６は、走査回路リセットパルスで初期化されたあと、ＶＳＨＲシフトパルスが１回入力される度にその状態を反転させる。たとえば、垂直走査回路２０２のリセット直後、読み出し行の選択は０行目で、トグルスイッチ９０６の状態が「０」であったとする。ＶＳＨＲシフトパルスが入力される毎に、読み出し行は１行目、２行目、３行目・・・とアドレスが進み、トグルスイッチ９０６の出力は「１」→「０」→「１」・・・、と変化する。すなわち、読み出し行の偶数／奇数と、トグルスイッチ９０６の出力とを対応させることができる。

トグルスイッチ９０７は、ＨＳＨＲシフトパルスをＴＧ１０４から受ける。トグルスイッチ９０７は、ＨＳＨＲシフトパルスを用いて列偶奇フラグを生成する。トグルスイッチ９０７は、生成した列偶奇フラグを色配列デコーダ９０８及びフラグ付加回路１０３ｉへ出力する。

具体的には、トグルスイッチ９０７は、走査回路リセットパルスで初期化されたあと、ＨＳＨＲシフトパルスが１回入力される度にその状態を反転させる。たとえば、水平走査回路２０３のリセット直後、読み出し列の選択は０行目で、トグルスイッチ９０７の状態が「０」であったとする。ＨＳＨＲシフトパルスが入力される毎に、読み出し列は１列目、２列目、３列目・・・とアドレスが進み、トグルスイッチ９０７の出力は「１」→「０」→「１」・・・、と変化する。すなわち、読み出し列の偶数／奇数と、トグルスイッチ９０７の出力とを対応させることができる。

色配列デコーダ９０８は、行偶奇フラグをトグルスイッチ９０６から受け、列偶奇フラグをトグルスイッチ９０７から受ける。色配列デコーダ９０８は、行偶奇フラグと列偶奇フラグとを用いて色配列フラグを生成する。色配列デコーダ９０８は、生成した色配列フラグをフラグ付加回路１０３ｉへ出力する。

具体的には、色配列デコーダ９０８は、行偶奇フラグと列偶奇フラグとをベイヤー配列規則に従ってデコードすることにより、色配列フラグを生成する。例えば、色配列デコーダ９０８は、画素のベイヤー配列が、図４Ｄのようであった場合、行偶奇フラグ「０」（偶数）かつ列偶奇フラグ「０」（偶数）の場合、色配列フラグとして「Ｒ画素」を生成する。例えば、色配列デコーダ９０８は、行偶奇フラグ「１」（奇数）かつ列偶奇フラグ「１」（奇数）の場合、色配列フラグとして「Ｂ画素」を生成する。例えば、色配列デコーダ９０８は、それ以外の場合、色配列フラグとして「Ｇ画素」を生成する。

フラグ付加回路１０３ｊは、図１４に示すように、フラグ生成回路６０２ｊ及び付加部６０３ｊを含む。フラグ生成回路６０２ｊは、偶奇フラグ又は色配列フラグを生成しない。付加部６０３ｉは、トグルスイッチ９０６から出力された行偶奇フラグを受け、トグルスイッチ９０７から出力された列偶奇フラグを受け、色配列デコーダ９０８から出力された色配列フラグを受ける。なお、図１４は、フラグ付加回路１０３ｊの動作を示す図である。

このように、本第３実施形態によれば、第１実施形態において説明したフラグの内、色配列フラグおよび偶奇フラグの生成を撮像センサに組み込むことが可能であり、システムのコンパクト化、低コスト化が図れるようになる。

次に、本発明の第４実施形態に係る撮像装置１００ｋを、図１５を用いて説明する。図１５は、本発明の第４実施形態に係る撮像装置１００ｋの構成図である。以下では、第１実施形態と異なる部分を中心に説明する。

撮像装置１００ｋは、撮像センサ１０１ｋ及びフラグ付加回路１０３ｋを備える。撮像センサ１０１ｋは、行アドレスフラグ及び列アドレスフラグをフラグ付加回路１０３ｋへ供給する。

撮像センサ１０１ｋは、図１６に示すように、ＶＳＨＲシフトパルスカウンタ１００６及びＨＳＨＲシフトパルスカウンタ１００７をさらに含む。図１６は、撮像センサ１０１ｋの概略回路構成図である。

ＶＳＨＲシフトパルスカウンタ１００６は、ＶＳＨＲシフトパルスをＴＧ１０４から受ける。ＶＳＨＲシフトパルスカウンタ１００６は、ＶＳＨＲシフトパルスを用いて行アドレスフラグを生成する。ＶＳＨＲシフトパルスカウンタ１００６は、生成した行アドレスフラグをフラグ付加回路１０３ｋへ出力する。

具体的には、ＶＳＨＲシフトパルスカウンタ１００６は、走査回路リセットパルスでカウント値が０に初期化されたあと、ＶＳＨＲシフトパルスが１回入力される度にそのカウント値をカウントアップする。すなわち、読み出し行の行アドレスと、ＶＳＨＲシフトパルスカウンタ１００６の出力とを対応させることができる。

ＨＳＨＲシフトパルスカウンタ１００７は、ＨＳＨＲシフトパルスをＴＧ１０４から受ける。ＨＳＨＲシフトパルスカウンタ１００７は、ＨＳＨＲシフトパルスを用いて列アドレスフラグを生成する。ＨＳＨＲシフトパルスカウンタ１００７は、生成した列アドレスフラグをフラグ付加回路１０３ｋへ出力する。

具体的には、ＨＳＨＲシフトパルスカウンタ１００７は、走査回路リセットパルスでカウント値が０に初期化されたあと、ＨＳＨＲシフトパルスが１回入力される度にそのカウント値をカウントアップする。すなわち、読み出し行の行アドレスと、ＨＳＨＲシフトパルスカウンタ１００７の出力とを対応させることができる。

フラグ付加回路１０３ｋは、図１７に示すように、フラグ生成回路６０２ｋ及び付加部６０３ｋを含む。フラグ生成回路６０２ｋは、行アドレスフラグを生成しない。付加部６０３ｋは、ＶＳＨＲシフトパルスカウンタ１００６から出力された行アドレスフラグを受け、ＨＳＨＲシフトパルスカウンタ１００７から出力された列アドレスフラグを受ける。

このように、本第４実施形態によれば、第１実施形態において説明したフラグの内、行アドレスフラグの生成を撮像装置に組み込むことが可能であり、システムのコンパクト化、低コスト化が図れるようになる。

本発明の第１実施形態に係る撮像装置１００の構成図。 撮像センサ１０１の構成を示す図。 画素の構成を示す図。 間引き読み出しフレームの読み出しを示す図。 第１の部分切り出しフレームの読み出しを示す図。 第２の部分切り出しフレームの読み出しを示す図。 第３の部分切り出しフレームの読み出しを示す図。 第４の部分切り出しフレームの読み出しを示す図。 信号処理部１０２の動作を示す図。 間引き読み出しフレームと部分切り出しフレームの読み出し順序を示す図。 フラグ付加回路１０３の動作を示す図。 本発明の第２実施形態に係る撮像装置１００ｉの構成図。 撮像センサ１０１ｉの構成図。 フラグ付加回路１０３ｉの動作を示す図。 間引き判定回路７０６の動作を示すフローチャート。 本発明の第３実施形態に係る撮像装置１００ｊの構成図。 撮像センサ１０１ｊの構成図。 フラグ付加回路１０３ｊの動作を示す図。 本発明の第４実施形態に係る撮像装置１００ｋの構成図。 撮像センサ１０１ｋの構成図。 フラグ付加回路１０３ｋの動作を示す図。

符号の説明

１００、１００ｉ、１００ｊ、１００ｋ 撮像装置
１０１、１０１ｉ、１０１ｊ、１０１ｋ 撮像センサ

Claims (10)

1. 複数の画素が行に沿った方向及び列に沿った方向に配列された画素配列と、
   前記画素配列の行を選択する選択部と、
   前記選択部が選択している行の画素から信号を読み出す読み出し部と、
   前記読み出し部により信号が読み出される行である読み出し行の信号に加えて、フラグを出力するフラグ付加部と、
   前記読み出し部により前記画素配列の一部の行の画素から信号が読み出されるフレームにおいて、前記フラグに基づいて非読み出し行を検出する検出部と、
   を備え、非読み出し行の画素からは信号が読み出されないことを特徴とする撮像システム。
2. 前記フラグは、複数の読み出し行の信号を用いて非読み出し行の信号を補う補間処理を行う際に前記検出部によって参照される情報である
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記フラグ付加部によって、隣接する行が非読み出し行であるか否かを示すフラグを、読み出し行の信号に付加する
   ことを特徴とする請求項１又は２に記載の撮像システム。
4. 前記フラグは、隣り合う２つの読み出し行の間における非読み出し行の数を示す情報を含む
   ことを特徴とする請求項３に記載の撮像システム。
5. 前記複数の画素のそれぞれは、
   光電変換部と、
   前記光電変換部の上に配されたベイヤー配列に従うカラーフィルタと、
   を含み、
   前記ベイヤー配列では、第１の色配列の行と第２の色配列の行とが繰り返し隣接して配列され、
   前記フラグ付加部は、前記第１の色配列の行であるのか前記第２の色配列の行であるのかを示す色配列フラグを、読み出し行の信号に付加し、
   前記色配列フラグは、前記第１の色配列の行又は前記第２の色配列の行が連続した場合に、間の行が非読み出し行であることを示す
   ことを特徴とする請求項１に記載の撮像システム。
6. 前記フラグ付加部は、前記画素配列における奇数番目の行であるのか偶数番目の行であるのかを示す偶奇フラグを、読み出し行の信号に付加し、
   前記偶奇フラグは、奇数番目の行又は偶数番目の行が連続した場合に、間の行が非読み出し行であることを示す
   ことを特徴とする請求項１に記載の撮像システム。
7. 前記フラグ付加部は、前記画素配列における行アドレスを示すアドレスフラグを、読み出し行の信号に付加し、
   前記アドレスフラグは、２以上離れた行アドレスが連続した場合に、間に非読み出し行があることを示す
   ことを特徴とする請求項１に記載の撮像システム。
8. 前記読み出し部により、前記画素配列における読み出し行を時間的に変える
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像システム。
9. 前記読み出し部により、隣り合う２つの読み出し行の間における非読み出し行の数を時間的に変える
   ことを特徴とする請求項３に記載の撮像システム。
10. 前記フラグに応じて、前記フラグ付加部から出力された複数の読み出し行の信号を用いて非読み出し行の信号を補う補間処理を行うことにより画像データを生成する画像処理部と、
    をさらに備えたことを特徴とする請求項１から９のいずれか１項に記載の撮像システム。

Images