JP5266864B2 - イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ - Google Patents

Description

本発明は、イメージセンサ、データ出力方法、撮像デバイス、及び、カメラに関し、特に、回路を大規模化せずに、イメージセンサの処理に関する情報を、高速に、外部に出力することができるようにするイメージセンサ、データ出力方法、撮像デバイス、及び、カメラに関する。

画像の撮像を行う撮像デバイスは、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ等の、光電変換によって得られる画像データを外部に出力するイメージセンサと、DSP(Digtal Signal Processor)等の、画像データを処理するプロセッサとを有する。

CMOSセンサでは、画像データを、パラレル出力で、外部のDSPに出力（伝送）することで、画像データの伝送効率を高めている（例えば、特許文献１を参照）。

また、CMOSセンサは、その内部の情報を記憶するレジスタ群を内蔵する。

CMOSセンサの内部の情報には、CMOSセンサ内で行われる処理に関する種々の情報がある。CMOSセンサ内で行われる処理に関する情報としては、例えば、画像データのゲイン、すなわち、CMOSセンサで画像データを増幅するときの増幅率の情報であるゲイン情報や、CMOSセンサの動作モードを表す動作モード情報等の、CMOSセンサ内の処理を決める情報等がある。

外部のDSPは、CMOSセンサの監視や制御のために、CMOSセンサが内蔵するレジスタ群の記憶値（以下、レジスタ値群ともいう）のライト（書き込み）（記憶）やリード（読み出し）を行う。

すなわち、CMOSセンサは、画像データを、パラレル出力で、外部に出力するパラレルI/F(Interface)と、レジスタ値群のライト及びリードのための、例えば、２線シリアル通信や３線シリアル通信等のシリアル通信を外部との間で行うシリアルI/Fとを有する。

そして、CMOSセンサでは、DSPとの間での、レジスタ値群のライト及びリードは、シリアルI/Fを介したシリアル通信で行われる。

ここで、外部からのレジスタ値群のリードを、エコーバック方式で行うCMOSセンサがある。

エコーバック方式においては、CMOSセンサへのレジスタ値群のライトが行われると、レジスタ群に、直前まで記憶されていたレジスタ値群が、CMOSセンサからシリアル出力（エコーバック）される。

なお、エコーバック方式では、レジスタ群へのライトを行わないと、レジスタ値群が出力されないため、レジスタ値群のリードを行うためには、適当な値を、レジスタ群にライトする必要がある。

図１は、従来の撮像デバイスの一例の構成を示すブロック図である。

図１において、撮像デバイスは、CMOSセンサ１０とDSP２０とを有する。CMOSセンサ１０とDSP２０とは、パラレル出力線３０、及び、シリアル通信線４０の両方で接続されている。

CMOSセンサ１０は、画素アレイ部１１、パラレルI/F１２、レジスタ群１３、及び、シリアルI/F１４を有する。

画素アレイ部１１は、マトリクス状に配置された光電変換素子としての画素を有し、そこに入射する光を光電変換することにより、電気信号としての画像データを取得する。

ここで、画素アレイ部１１が出力する画像データは、１画素につき、R(Red),G(Green)、又はB(Blue)のうちのいずれかの色信号を画素値として有するベイヤ配列になっている。すなわち、画素アレイ部１１の画素（図示せぬカラーフィルタ）の配列は、ベイヤ配列になっている。

画素アレイ部１１が取得した画像データとしての各画素の画素値は、例えば、10ビットのパラレルバスや、8チャンネルのシリアルバス等を介して、パラレルI/F１２に高速出力される。

パラレルI/F１２は、画素アレイ部１１からの画像データを受信し、パラレル出力で、CMOSセンサ１０の外部、すなわち、ここでは、外部のDSP２０に出力する。

ここで、パラレルI/F１２とDSP２０とは、パラレル出力線３０で接続されている。

パラレル出力線３０は、画像データ出力線３１、及びパラレルクロック線３２を有する。

画像データ出力線３１は、例えば、LVDS(Low Voltage Differential Signaling)の１２本の信号線である。パラレルI/F１２は、画像データとしての各画素の画素値を、振幅が数100mVないし350mV程度の差動信号により、画像データ出力線３１を介して、パラレル出力で、DSP２０に送信（出力）する。

パラレルクロック線３２は、例えば、LVDSの480MHzのクロックを送信するための信号線である。パラレルI/F１２は、LVDSの480MHzのクロックを、パラレルクロック線３２を介して、DSP２０に供給（出力）する。

DSP２０は、パラレルクロック線３２を介して供給されるクロックに同期して、画像データ出力線３１を介して送信されてくる画像データを受信し、必要な処理を施して出力する。ここで、DSP２０が行う処理としては、例えば、手ぶれ補正や、画像データのダイナミックレンジを拡大する処理等がある。

一方、CMOSセンサ１０において、レジスタ群１３は、CMOSセンサ１０の内部の情報を記憶する。

レジスタ群１３へのレジスタ値（群）のライトは、CMOSセンサ１０自身が、外部からの指示なしに行う場合と、外部からの指示に従って行われる場合とがある。

すなわち、例えば、CMOSセンサ１０は、例えば、光電変換によって画像データを得たときの光学的黒のレベルを表すOPB(Optical Black)情報を、レジスタ群１３にライトする。

また、レジスタ群１３は、例えば、外部のDSP２０からの指示に応じて、ゲイン情報を記憶する。

レジスタ群１３に記憶された情報（レジスタ値群）は、CMOSセンサ１０内において、必要に応じて参照され、例えば、CMOSセンサ１０内で行われる処理（の内容）を決定するのに用いられる。すなわち、例えば、画素アレイ部１１では、画像データに、レジスタ群１３に記憶されたゲイン情報が表すゲインがかけられる。

また、レジスタ群１３に記憶された情報は、必要に応じて、外部のDSP２０にリードされる。

レジスタ群１３に対する、外部のDSP２０からの情報のライト、及びリードは、シリアルI/F１４を介して行われる。

すなわち、シリアルI/F１４とDSP２０とは、シリアル通信線４０によって接続されている。

シリアル通信線４０は、３線シリアル通信を行うための信号線で、レジスタライト線４１、レジスタリード線４２、及び、シリアルクロック線４３を有する。

レジスタライト線４１は、外部からレジスタ群１３への情報のライトに使用される信号線である。DSP２０は、レジスタ群１３にライトする情報を、レジスタライト線４１を介して、シリアル通信で、シリアルI/F１４に送信する。シリアルI/F１４は、DSP２０からレジスタライト線４１を介して送信されてくる信号を受信し、レジスタ群１３にライトする。

レジスタリード線４２は、レジスタ群１３に記憶された情報（レジスタ値群）の、外部へのリードに使用される信号線である。シリアルI/F１４は、DSP２０からシリアル通信線４０を介して、レジスタ値（群）の要求があると、その要求のあったレジスタ値群を、レジスタ群１３から読み出し、レジスタリード線４２を介して、DSP２０に送信する。

シリアルクロック線４３は、シリアルI/F１４とDSP２０との間で、レジスタライト線４１やレジスタリード線４２を介してのレジスタ値群のやりとりを行うときのクロックを送信するための信号線である。外部のDSP２０は、数kHzないし数10MHzのクロックを、シリアルクロック線４３を介して、シリアルI/F１４に供給（出力）する。

シリアルI/F１４とDSP２０との間でのレジスタ値群のやりとりは、シリアルクロック線４３上のクロックに同期して行われる。

特開2008-048313号公報

上述したように、CMOSセンサ１０のレジスタ群１３からの、DSP２０へのリードは、１本のレジスタリード線４２を用いたシリアル通信により、数kHzないし数10MHzという遅いクロックに同期して行われる。

一方、近年においては、CMOSセンサ１０の後段のDSP２０で、CMOSセンサ１０について、様々な監視等を行うために、CMOSセンサ１０の様々な内部の情報が要求される。これに伴い、多くの内部の情報を外部に出力するCMOSセンサの開発が進んでいる。

しかしながら、CMOSセンサ１０からの、多くの内部の情報（レジスタ値群）のリードを、上述したようなシリアル通信で行うのでは、レジスタ値群のリードに時間を要することとなる。したがって、後段のDSP２０において、レジスタ値群に応じて処理を行う場合には、レジスタ値群のリードに時間を要することで、処理が遅延することになる。

そこで、CMOSセンサ１０に、高速なパラレル出力用のI/Fを、新たに設け、そのI/Fを介して、CMOSセンサ１０からのレジスタ値群のリードを行うことが考えられる。

しかしながら、CMOSセンサ１０に、I/Fを新たに設けるのでは、CMOSセンサ１０の回路規模が増大する。

なお、シリアルI/F１４を、パラレル出力用のI/Fに変更すると、CMOSセンサ１０に、いわゆる上位互換性がなくなることになる。

本発明は、このような状況に鑑みてなされたものであり、回路を大規模化せずに、CMOSセンサ等のイメージセンサの処理に関する情報を、高速に、外部に出力することができるようにするものである。

本発明の第１の側面のイメージセンサは、光を光電変換することにより、画像データを取得する画素アレイ部と、イメージセンサの処理に関する情報を記憶するレジスタ群と、前記画像データを、パラレル出力で、外部に出力するパラレルインタフェースと、前記レジスタ群にライトする情報を、シリアル通信で受信するシリアルインタフェースとを備え、前記パラレルインタフェースが、さらに、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力するイメージセンサである。

本発明の第１の側面のデータ出力方法は、光を光電変換することにより、画像データを取得する画素アレイ部と、イメージセンサの処理に関する情報を記憶するレジスタ群と、前記画像データを、パラレル出力で、外部に出力するパラレルインタフェースと、前記レジスタ群にライトする情報を、シリアル通信で受信するシリアルインタフェースとを備える前記イメージセンサの前記パラレルインタフェースが、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力するステップを含むデータ出力方法である。

以上のような本発明の第１の側面においては、シリアルインタフェースにおいて、前記レジスタ群にライトする情報が、シリアル通信で受信される。また、パラレスインタフェースにおいて、前記画像データが、パラレル出力で、外部に出力される。さらに、パラレルインタフェースでは、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群が、前記画像データを外部に出力していないタイミングで、外部に出力される。

本発明の第２の側面の撮像デバイスは、画像データを出力するイメージセンサと、前記イメージセンサが出力する前記画像データを受信するプロセッサとを備え、前記イメージセンサは、光を光電変換することにより、画像データを取得する画素アレイ部と、前記イメージセンサの処理に関する情報を記憶するレジスタ群と、前記画像データを、パラレル出力で、外部に出力するパラレルインタフェースと、前記レジスタ群にライトする情報を、シリアル通信で受信するシリアルインタフェースとを有し、前記パラレルインタフェースが、さらに、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力し、前記プロセッサが、前記パラレルインタフェースが出力する前記画像データ、及び、レジスタ値群を受信する撮像デバイスである。

以上のような第２の側面においては、シリアルインタフェースにおいて、前記レジスタ群にライトする情報が、シリアル通信で受信される。また、パラレスインタフェースにおいて、前記画像データが、パラレル出力で、外部に出力される。さらに、パラレルインタフェースでは、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群が、前記画像データを外部に出力していないタイミングで、外部に出力される。そして、前記プロセッサにおいて、前記パラレルインタフェースが出力する前記画像データ、及び、レジスタ値群が受信される。

本発明の第３の側面のカメラは、光学系と、画像データを出力するイメージセンサと、前記イメージセンサが出力する前記画像データを受信するプロセッサとを備え、前記イメージセンサは、前記光学系からの光を光電変換することにより、画像データを取得する画素アレイ部と、前記イメージセンサの処理に関する情報を記憶するレジスタ群と、前記画像データを、パラレル出力で、外部に出力するパラレルインタフェースと、前記レジスタ群にライトする情報を、シリアル通信で受信するシリアルインタフェースとを有し、前記パラレルインタフェースが、さらに、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力し、前記プロセッサが、前記パラレルインタフェースが出力する前記画像データ、及び、レジスタ値群を受信するカメラである。

以上のような第３の側面においては、シリアルインタフェースにおいて、前記レジスタ群にライトする情報が、シリアル通信で受信される。また、パラレスインタフェースにおいて、前記画像データが、パラレル出力で、外部に出力される。さらに、パラレルインタフェースでは、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群が、前記画像データを外部に出力していないタイミングで、外部に出力される。そして、前記プロセッサにおいて、前記パラレルインタフェースが出力する前記画像データ、及び、レジスタ値群が受信される。

なお、イメージセンサ、撮像デバイス、カメラは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

すなわち、例えば、カメラは、それ自体が独立した製品としてのカメラであっても良いし、携帯電話機やPC(Personal Computer)等に組み込まれるカメラであっても良い。

本発明の第１ないし第３の側面によれば、回路を大規模化せずに、イメージセンサの処理に関する情報を、高速に、外部に出力することができる。

図２は、本発明を適用した撮像デバイスの一実施の形態の構成例を示すブロック図である。

なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

また、撮像デバイスとは、光電変換によって得られる画像データを外部に出力するイメージセンサと、その画像データを処理するプロセッサとを有するデバイスである。

図２において、撮像デバイスは、CMOSセンサ１１０とDSP１２０とが、パラレル出力線３０及びシリアル通信線４０のそれぞれで接続されている点で、CMOSセンサ１０とDSP２０とが、パラレル出力線３０及びシリアル通信線４０のそれぞれで接続されている図１の場合と共通する。

但し、図２では、撮像デバイスは、CMOSセンサ１１０とDSP１２０とを有する点で、CMOSセンサ１０とDSP２０とを有する図１の場合と相違する。

CMOSセンサ１１０は、画像データを出力するイメージセンサの一例である。CMOSセンサ１１０は、そこに入射する光を光電変換することにより、画像データを取得し、その画像データを、パラレル出力線３０を介して、外部に出力する。

また、CMOSセンサ１１０は、画像データの他、CMOSセンサ１１０の内部の情報であるレジスタ値群も、パラレル出力線３０を介して、外部に出力する。

DSP１２０は、イメージセンサが出力する画像データを受信するプロセッサの一例である。DSP１２０は、CMOSセンサ１１０がパラレル出力線３０を介して出力する画像データを受信し、必要な処理を施して出力する。

さらに、DSP１２０は、CMOSセンサ１１０がパラレル出力線３０を介して出力するレジスタ値群も受信する。このレジスタ値群は、必要に応じて、DSP１２０の処理に用いられる。

ここで、CMOSセンサ１１０とDSP１２０とは、パラレル出力線３０によって接続されている他、シリアル通信線４０によっても接続されている。

そして、DSP１２０は、シリアル通信線４０のレジスタライト線４１を介して、CMOSセンサ１１０へのレジスタ値群のライトを行う。

また、CMOSセンサ１１０は、図１のCMOSセンサ１０に対する上位互換性を持たせるために、シリアル通信線４０のレジスタリード線４２を介してのレジスタ値群の外部への出力を行うことが可能となっている。

すなわち、CMOSセンサ１１０は、上述したように、レジスタ値群を、パラレル出力線３０を介して外部に出力するが、シリアル通信線４０を介して外部に出力することも可能となっている。

なお、CMOSセンサ１１０に、図１のCMOSセンサ１０に対する上位互換性を持たせる必要がない場合には、CMOSセンサ１１０は、シリアル通信線４０のレジスタリード線４２を介してのレジスタ値群の外部への出力を行うことができないように構成することができる。この場合、シリアル通信線４０は、図中、点線で示すレジスタリード線４２を設けずに構成することができる。

図３は、図２のCMOSセンサ１１０の構成例を示している。

なお、図中、図１のCMOSセンサ１０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、CMOSセンサ１１０は、画素アレイ部１１、レジスタ群１３、及び、シリアルI/F１４を有する点で、図１のCMOSセンサ１０と共通する。

但し、CMOSセンサ１１０は、パラレルI/F１２に代えて、パラレルI/F１１２を有する点で、図１のCMOSセンサ１０と相違する。

パラレルI/F１１２には、画素アレイ部１１が出力する画像データの他、レジスタ群１３が記憶しているレジスタ値群が供給される。

パラレルI/F１１２は、パラレル出力線３０を介して、DSP１２０と接続されており、図１のパラレルI/F１２と同様に、画素アレイ部１１からの画像データとしての各画素の画素値を、パラレル出力線３０を介して、パラレル出力で、DSP１２０に送信（出力）する。

さらに、パラレルI/F１１２は、レジスタ群１３が記憶しているレジスタ値群を、画像データを外部に出力していないタイミングで、パラレル出力線３０を介して、パラレル出力で、外部としてのDSP１２０に送信（出力）する。

ここで、パラレルI/F１１２が、画像データを外部に出力していないタイミングとしては、例えば、水平ブランキング期間や垂直ブランキング期間等がある。

なお、DSP１２０は、図１のDSP２０と同様に、パラレルI/F１１２からパラレル出力線３０を介して送信されてくる画像データを受信し、必要な処理を施して出力する。ここで、DSP１２０が行う処理としては、例えば、手ぶれ補正や、画像データのダイナミックレンジを拡大する処理等がある。

さらに、DSP１２０は、パラレルI/F１１２からパラレル出力線３０を介して送信されてくるレジスタ値群を受信する。DSP１２０は、パラレルI/F１１２からのレジスタ値群を監視し、必要に応じて、CMOSセンサ１１０の制御等を行う。

図４は、図３のパラレルI/F１１２がパラレル出力線３０を介して出力するデータ（以下、パラレルデータともいう）のフォーマットを示している。

パラレルI/F１１２は、例えば、１フィールド、又は１フレームである１画面分の画像データに同期して、レジスタ値群を出力する。

すなわち、パラレルI/F１１２は、例えば、垂直ブランキング期間、つまり、１画面分の画像データの出力の終了後、次の１画面分の画像データの出力を開始する前までの間に、レジスタ値群を出力する。

パラレルI/F１１２が１画面分の画像データに同期して、その１画面分の画像データの直後の垂直ブランキング期間に出力するレジスタ値群としては、例えば、その１画面分の画像データが画素アレイ部１１で得られたときにレジスタ群１３に記憶されていたレジスタ値群を採用することができる。

このように、パラレルI/F１１２において、１画面分の画像データに同期して、その１画面分の画像データが画素アレイ部１１で得られたときのレジスタ値群を出力することで、DSP１２０は、CMOSセンサ１１０内で行われた、１画面分の画像データを得る（取得する）処理に関する情報を一元化して（まとめて）取得することができる。

すなわち、DSP１２０は、例えば、CMOSセンサ１１０で、１画面分の画像データを得る処理が行われるときに設定されていた、CMOSセンサ１１０の動作を決めるパラメータ等をまとめて取得することができる。

ここで、パラレルI/F１１２が１画面分の画像データに同期して出力するレジスタ値群としては、例えば、図４に示すように、スタンバイ情報や、動作モード情報、ゲイン情報、電子シャッタ情報、OPB情報等がある。

スタンバイ情報は、CMOSセンサ１１０が低消費電力モードになっているか否かを表す。動作モード情報は、CMOSセンサ１１０（の画素アレイ部１１）のビニングのモード（例えば、隣接する２×２画素の画素値の加算値を、１画素の画素値として出力するか否か）を表す。

また、ゲイン情報は、画素アレイ部１１が出力する画像データのゲイン（画素アレイ部１１において、画像データ（画素値）を増幅するときの増幅率）を表す。電子シャッタ情報は、画素アレイ部１１の電子シャッタの状態（電子シャッタの開き具合（等価的に、絞りの状態））を表す。OPB情報は、光学的黒のレベルを表す。

なお、パラレルI/F１１２が１画面分の画像データに同期して出力するレジスタ値群としては、レジスタ群１３に記憶されているレジスタ値群のうちの、１つのレジスタ値でも良いし、全部を含む複数のレジスタ値でも良い。

パラレルI/F１１２に出力させるレジスタ値群は、例えば、DSP１２０から、シリアル通信線４０を介して、レジスタ群１３に、所定のレジスタ値をライトすることで制御（指定）することができる。

また、レジスタ値群を、パラレルI/F１１２からパラレル出力線３０を介して出力するか、又は、シリアルI/F１４からシリアル通信線４０を介して出力するかの制御（指定）も、DSP１２０から、シリアル通信線４０を介して、レジスタ群１３に、所定のレジスタ値をライトすることで行うことができる。

なお、図４に示したように、パラレルI/F１１２において、垂直ブランキング期間に、レジスタ値群を出力する場合には、そのレジスタ値群のデータ量は、垂直ブランキング期間内に、パラレル出力で出力（送信）することができるデータ量に制限される。

次に、図５を参照して、図２の撮像デバイスの処理（動作）について説明する。

図５Ａは、図２のCMOSセンサ１１０の処理を説明するフローチャートである。

CMOSセンサ１１０では、画素アレイ部１１が、そこに入射する光を光電変換することにより、電気信号としての画像データを取得して出力する。

CMOSセンサ１１０が出力する画像データは、パラレルI/F１１２に供給される。

パラレルI/F１１２は、CMOSセンサ１１０から画像データが供給されると、ステップＳ１１において、その画像データを、パラレル出力線３０を介して、パラレル出力により、DSP２０に出力する。

パラレルI/F１１２において、１画面分としての、例えば、１フレームの画像データの出力が終了すると、すなわち、例えば、垂直ブランキング期間となると、処理は、ステップＳ１１からステップＳ１２に進み、パラレルI/F１１２は、レジスタ群１３が記憶しているレジスタ値群、すなわち、例えば、直前に送信した１フレームの画像データが画素アレイ部１１で得られたときのレジスタ値群を、パラレル出力線３０を介して、パラレル出力により、DSP１２０に出力する。

したがって、パラレルI/F１１２では、レジスタ群１３が記憶しているレジスタ値群が、画像データを外部に出力していないタイミングで、パラレル出力により、外部に出力される。

以上のように、レジスタ群１３が記憶しているレジスタ値群が、画像データを外部に出力していないタイミングで、パラレル出力により、外部に出力されるので、回路を大規模化せずに、CMOSセンサ１１０の処理に関する情報を、高速に、外部に出力することができる。

したがって、外部のDSP１２０では、シリアル通信線４０を介しての（低速の）シリアル通信によって、レジスタ値群をリードする場合に比較して、多くのレジスタ値群を、短時間で取得することができる。

レジスタ群１３が記憶しているレジスタ値群の外部への出力が終了し、さらに、垂直ブランキング期間が終了して、画素アレイ部１１が、次の１フレームの画像データの出力を開始すると、処理は、ステップＳ１２からステップＳ１１に戻り、CMOSセンサ１１０は、以下、同様の処理を繰り返す。

図５Ｂは、図２のDSP１２０の処理を説明するフローチャートである。

DSP１２０は、ステップＳ２１において、CMOSセンサ１１０のパラレルI/F１１２からパラレル出力線３０を介して、画像データが送信（出力）されてくるのを待って、その画像データを受信する。

DSP１２０が１フレームの画像データを受信すると、処理は、ステップＳ２１からステップＳ２２に進み、DSP１２０は、パラレルI/F１１２が画像データに同期して送信（出力）してくるレジスタ値群、すなわち、直前に受信した１フレームの画像データの直後の垂直ブランキング期間に送信されてくる、その１フレームの画像データが画素アレイ部１１で得られたときのレジスタ値群を受信し、処理は、ステップＳ２３に進む。

以上のように、DSP１２０は、パラレル出力で、CMOSセンサ１１０から送信されてくるレジスタ値群を受信するので、シリアル通信によって、レジスタ値群を、CMOSセンサ１１０からリードする必要がない。

ステップＳ２３では、DSP１２０は、直前のステップＳ２２で受信したレジスタ値群に基づき、CMOSセンサ１１０を制御する必要があるかどうかを判定する。

ステップＳ２３において、CMOSセンサ１１０を制御する必要がないと判定された場合、処理は、ステップＳ２４をスキップして、ステップＳ２１に戻る。そして、ステップＳ２１において、DSP１２０は、パラレルI/F１１２から次の１フレームの画像データが送信されてくるのを待って、その画像データを受信し、以下、同様の処理を繰り返す。

一方、ステップＳ２３において、CMOSセンサ１１０を制御する必要があると判定された場合、処理は、ステップＳ２４に進み、DSP１２０は、直前のステップＳ２２で受信したレジスタ値群に基づき、CMOSセンサ１１０に対して必要な制御を行う。

すなわち、DSP１２０は、シリアル通信線４０を介して、シリアル通信により、必要なレジスタ値を送信し、レジスタ群１３にライトすることで、CMOSセンサ１１０を制御する。

具体的には、例えば、DSP１２０がCMOSセンサ１１０から受信したレジスタ値群に、ゲイン情報が含まれる場合において、そのゲイン情報が表すゲインが、所定の閾値以下である場合、つまり、画像データが暗い場合には、ステップＳ２３では、CMOSセンサ１１０のゲインを制御する必要があると判定される。

そして、ステップＳ２４では、DSP１２０は、例えば、現在のゲイン（直前のステップＳ２２で受信したレジスタ値群に含まれるゲイン情報が表すゲイン）よりも所定値だけ大のゲインを表すゲイン情報を、シリアル通信によって、レジスタ群１３にライトすることで、CMOSセンサ１１０のゲインが大となるように、CMOSセンサ１１０を制御する。

以上のように、図２の撮像デバイスでは、CMOSセンサ１１０にフィードバックをかける（COMSセンサ１１０を制御する）ための情報（基準）として、CMOSセンサ１１０が画像データに同期して出力するレジスタ値群を利用することができる。

ステップＳ２４の後、処理は、ステップＳ２１に戻り、以下、同様の処理が繰り返される。

次に、図６は、図２のCMOSセンサ１１０の他の構成例を示している。

なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、図６において、CMOSセンサ１１０は、画素アレイ部１１、レジスタ群１３、シリアルI/F１４、及び、パラレルI/F１１２を有する点で、図３の場合と共通する。

但し、図６のCMOSセンサ１１０は、欠陥補正モジュール１５０、及び、デモザイクモジュール１６０が、画素アレイ部１１とパラレルI/F１１２との間に、新たに設けられている点で、図３の場合と相違する。

すなわち、図６のCMOSセンサ１１０は、画像データに、画像処理を施す画像処理モジュールの一例である欠陥補正モジュール１５０、及び、デモザイクモジュール１６０が組み込まれたSoC(System on a Chip)の構成になっている。

欠陥補正モジュール１５０には、画素アレイ部１１が出力する画像データが供給される。欠陥補正モジュール１５０は、画素アレイ部１１が出力する画像データに対する画像処理として、画素の、いわゆる欠陥補正を行い、その欠陥補正後の画像データを、デモザイクモジュール１６０に供給する。

ここで、欠陥補正モジュール１５０は、その欠陥補正モジュール１５０で行われる処理である欠陥補正に関する情報を記憶する、レジスタ群１３とは別のレジスタである他のレジスタ群としてのレジスタ群１５１を有している。

欠陥補正モジュール１５０は、レジスタ群１５１に記憶されているレジスタ値（群）を参照して、欠陥補正を行う。また、欠陥補正モジュール１５０は、欠陥補正にあたって必要な情報（レジスタ値（群））を、レジスタ群１５１にライトする。

すなわち、例えば、欠陥補正モジュール１５０は、欠陥画素を検出して、その欠陥画素の画素値を補正する。また、欠陥補正モジュール１５０は、欠陥画素の検出後、その欠陥画素の情報を、レジスタ群１５１にライトする。その後、欠陥補正モジュール１５０は、必要に応じて、レジスタ群１５１に記憶されているレジスタ値群に含まれる、欠陥画素の情報を参照することにより、画素アレイ部１１からの画像データにおける画素から、欠陥画素を特定し、その欠陥画素の画素値を補正する。

また、例えば、欠陥補正モジュール１５０が、欠陥画素の検出を、所定の閾値を用いて行う場合、つまり、画素アレイ部１１からの画像データにおける画素の画素値と、所定の閾値とを比較することにより、欠陥画素の検出を行う場合には、欠陥補正モジュール１５０は、レジスタ群１５１に記憶されているレジスタ値群を参照することにより、欠陥画素の検出に用いる所定の閾値を認識する。

すなわち、レジスタ群１５１に対しては、レジスタ群１３と同様に、シリアルI/F１４が、外部のDSP１２０とシリアル通信を行うことで、情報のライト及びリードを行うことができるようになっている。

例えば、DSP１２０は、シリアル通信線４０を介して、シリアル通信によって、所定の閾値を、シリアルI/F１４に送信することで、レジスタ群１５１にライトする。

欠陥補正モジュール１５０は、例えば、上述したようにして、レジスタ群１５１にライトされた所定の閾値を参照して、欠陥画素の検出を行う。

デモザイクモジュール１６０には、欠陥補正モジュール１５０からの画像データが供給される。デモザイクモジュール１６０は、欠陥補正モジュール１５０からの画像データに対する画像処理として、デモザイク処理を行い、そのデモザイク処理後の画像データを、パラレルI/F１１２に供給する。

ここで、デモザイクモジュール１６０は、そのデモザイクモジュール１６０で行われる処理であるデモザイク処理に関する情報を記憶する、レジスタ群１３とは別のレジスタである他のレジスタ群としてのレジスタ群１６１を有している。

デモザイクモジュール１６０は、レジスタ群１６１に記憶されているレジスタ値（群）を参照して、デモザイク処理を行う。また、デモザイクモジュール１６０は、デモザイク処理にあたって必要な情報（レジスタ値（群））を、レジスタ群１６１にライトする。

すなわち、デモザイクモジュール１６０では、画素アレイ部１１から欠陥補正モジュール１５０を介して供給される、１画素につき、R,G、又はBのうちのいずれか１つの色信号を画素値として有する画像データを、１画素につき、R,G、及びBのすべての色信号を画素値として有する画像データに変換するデモザイク処理が行われる。

デモザイク処理では、例えば、画素が画素値として有していない色信号が、他の複数の画素の画素値を用いた補間として重み付け加算等によって求められる。

例えば、デモザイクモジュール１６０は、補間に際し、重み付け加算に用いる重みを、色信号を求めようとしている画素と、補間に用いる画素との距離等に基づいて求める。さらに、デモザイクモジュール１６０は、重み付け加算に用いる重みの情報を、レジスタ群１６１にライトする。その後、デモザイクモジュール１６０は、必要に応じて、レジスタ群１６１に記憶されているレジスタ値群に含まれる、重みの情報を参照し、その重みを用いて、補間を行う。

また、レジスタ群１６１に対しては、レジスタ群１３と同様に、シリアルI/F１４が、外部のDSP１２０とシリアル通信を行うことで、情報のライト及びリードを行うことができるようになっている。

例えば、DSP１２０は、シリアル通信線４０を介して、シリアル通信によって、補間に用いる重みの情報を、シリアルI/F１４に送信することで、レジスタ群１６１にライトする。

デモザイクモジュール１６０は、例えば、上述したようにして、レジスタ群１６１にライトされた重みの情報を参照し、その重みを用いて、補間を行う。

なお、図６では、パラレルI/F１１２は、画像データを外部に出力していないタイミングにおいて、レジスタ群１３が記憶しているレジスタ値群を、パラレル出力線３０を介して、パラレル出力で、DSP１２０に送信する他、他のレジスタ群としてのレジスタ群１５１や１６１が記憶しているレジスタ値群も、同様に、DSP１２０に送信する。

図７は、図６のパラレルI/F１１２がパラレル出力線３０を介して出力するデータ（パラレルデータ）のフォーマットを示している。

パラレルI/F１１２は、図７に示すように、１画面分としての、例えば、１フレームの画像データに同期して、画像データがパラレル出力線３０に出力されていない期間である、例えば、垂直ブランキング期間に、レジスタ群１３，１５１、及び１６１のぞれぞれが記憶しているレジスタ値群を、パラレル出力線３０上に出力することで、外部のDSP１２０に送信する。

ここで、図７において、レジスタ値群#1は、レジスタ群１３が記憶しているレジスタ値群であり、レジスタ値群#2は、レジスタ群１５１が記憶しているレジスタ値群である。また、レジスタ値群#3は、レジスタ群１６１が記憶しているレジスタ値群である。

パラレルI/F１１２が１フレームの画像データに同期して出力するレジスタ値群としては、例えば、その１フレームの画像データが画素アレイ部１１で得られたときにレジスタ群１３に記憶されていたレジスタ値群、その１フレームの画像データが欠陥補正モジュール１５０で処理（欠陥補正）されたときにレジスタ群１５１に記憶されていたレジスタ値群、及び、その１フレームの画像データがデモザイクモジュール１６０で処理（デモザイク処理）されたときにレジスタ群１６１に記憶されていたレジスタ値群を採用することができる。

このように、パラレルI/F１１２において、１フレームの画像データに同期して、その１フレームの画像データがCMOSセンサ１１０内で処理されたときのレジスタ値群を出力することで、DSP１２０は、CMOSセンサ１１０内で行われた、１フレームの画像データに対する処理（画素アレイ部１１、欠陥補正モジュール１５０、及び、デモザイクモジュール１６０の処理）に関する情報（レジスタ値群）を一元化して（まとめて）取得することができる。

すなわち、DSP１２０は、例えば、CMOSセンサ１１０で、１フレームの画像データに対する処理が行われるときに設定されていた、CMOSセンサ１１０の動作（欠陥補正モジュール１５０及びデモザイクモジュール１６０の動作を含む）を決めるパラメータ等をまとめて取得することができる。

以上のように、パラレルI/F１１２が、１フレームの画像データに同期して、その１フレームの画像データがCMOSセンサ１１０内で処理されたときのレジスタ値群を出力する場合には、DSP１２０では、例えば、その１フレームの画像データとレジスタ値群とを対応付けて記憶させることができる。

ここで、図８は、１フレームの画像データと、その１フレームの画像データがCMOSセンサ１１０内で処理されたときのレジスタ値群とのセットが、複数であるNフレーム分だけ記憶された状態を示している。

DSP１２０では、図８に示したように、１フレームの画像データと、その１フレームの画像データがCMOSセンサ１１０内で処理されたときのレジスタ値群とのセットを、Nフレーム分だけ記憶させた後、例えば、そのNフレームのそれぞれの画像データが、CMOSセンサ１１０で処理されたときのレジスタ値群の確認を行うことができる。

図９は、図３や図６の撮像デバイスを適用したカメラの一実施の形態の構成例を示すブロック図である。

図９において、カメラは、光学系２０１、撮像デバイス２０２、マイクロコンピュータ２０３、メモリカード２０４、及び、表示装置２０５を有している。

光学系２０１は、レンズ等から構成され、そこに入射する光を、撮像デバイス２０２のCMOSセンサ２１１上に集光する。

撮像デバイス２０２は、図３や図６の撮像デバイスと同様に構成され、CMOSセンサ２１１及びDSP２１２を有する。

CMOSセンサ２１１は、図３や図６のCMOSセンサ１１０と同様に構成され、光学系２０１からの光を光電変換することにより、画像データを取得し、DSP２１２に出力する。

DSP２１２は、図３や図６のDSP２１２と同様に構成され、CMOSセンサ２１１からの画像データを受信し、必要な処理を施して、マイクロコンピュータ２０３に供給する。

なお、CMOSセンサ２１１とDSP２１２との間では、図３や図６の撮像デバイスと同様にして、レジスタ値群がやりとりされる。

マイクロコンピュータ２０３は、カメラ全体を制御する他、DSP２１２からの画像データを、メモリカード２０４に供給して記憶させる。また、マイクロコンピュータ２０３は、DSP２１２からの画像データを、例えば、LCD(Liquid Crystal Display)等の表示装置２０５に供給し、いわゆるスルー画像等として表示させる。

なお、CMOSセンサ２１１がDSP２１２に出力するレジスタ値群は、必要に応じて、DSP２１２からマイクロコンピュータ２０３に供給される。

マイクロコンピュータ２０３は、例えば、DSP２１２からのレジスタ値群に基づき、必要に応じて、DSP２１２を制御する。

ここで、図９のカメラは、スチルカメラであっても良いし、ビデオカメラであっても良い。また、図９のカメラは、携帯電話機等に搭載されるカメラであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の撮像デバイスの一例の構成例を示すブロック図である。 本発明を適用した撮像デバイスの一実施の形態の構成例を示すブロック図である。 CMOSセンサ１１０の構成例を示すブロック図である。 パラレルI/F１１２が出力するデータのフォーマットを示す図である。 撮像デバイスの処理を説明するフローチャートである。 CMOSセンサ１１０の他の構成例を示すブロック図である。 パラレルI/F１１２が出力するデータのフォーマットを示す図である。 １フレームの画像データとレジスタ値群とのNセットが記憶された状態を示す図である。 本発明を適用したカメラの一実施の形態の構成例を示すブロック図である。

符号の説明

１１ 画素アレイ部， １３ レジスタ群， １４ シリアルI/F， ３０ パラレル出力線， ３１ 画像データ出力線， ３２ パラレルクロック線， ４０ シリアル通信線， ４１ レジスタライト線， ４２ レジスタリード線， ４３ シリアルクロック線， １１０ CMOSセンサ， １１２ パラレルI/F， １２０ DSP， １５０ 欠陥補正モジュール， １５１ レジスタ群， １６０ デモザイクモジュール， １６１ レジスタ群， ２０１ 光学系， ２０２ 撮像デバイス， ２０３ マイクロコンピュータ， ２０４ メモリカード， ２０５ 表示装置， ２１１ CMOSセンサ， ２１２ DSP

Claims (11)

1. 光を光電変換することにより、画像データを取得する画素アレイ部と、
   イメージセンサの処理に関する情報を記憶するレジスタ群と、
   前記画像データを、パラレル出力で、外部に出力するパラレルインタフェースと、
   前記レジスタ群にライトする情報を、シリアル通信で受信するシリアルインタフェースと
   を備え、
   前記パラレルインタフェースは、さらに、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力する
   イメージセンサ。
2. 前記パラレルインタフェースから出力するレジスタ値群を、前記シリアルインタフェースによるシリアル通信で受信されてライトされるレジスタ値によって指定する
   請求項１に記載のイメージセンサ。
3. 前記パラレルインタフェースは、１画面分の前記画像データに同期して、その１画面分の前記画像データが前記画素アレイ部で得られたときの前記レジスタ値群を出力する
   請求項１又は２に記載のイメージセンサ。
4. 前記レジスタ値群は、
   前記イメージセンサが低消費電力モードになっているか否かを表すスタンバイ情報、
   前記イメージセンサのビニングのモードを表す動作モード情報、
   前記画像データのゲインを表すゲイン情報、
   電子シャッタの状態を表す電子シャッタ情報、
   及び、光学的黒のレベルを表すOPB(Optical Black)情報
   のうちの１以上を含む
   請求項１ないし３のいずれかに記載のイメージセンサ。
5. 前記画像データに、画像処理を施す画像処理モジュールと、
   前記画像処理モジュールの画像処理に関する情報を記憶する他のレジスタ群と
   をさらに備え、
   前記シリアルインタフェースは、前記レジスタ群、及び、前記他のレジスタ群にライトする情報を、シリアル通信で受信し、
   前記パラレルインタフェースは、パラレル出力で、前記レジスタ群、及び、前記他のレジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力する
   請求項１ないし４のいずれかに記載のイメージセンサ。
6. 光を光電変換することにより、画像データを取得する画素アレイ部と、
   イメージセンサの処理に関する情報を記憶するレジスタ群と、
   前記画像データを、パラレル出力で、外部に出力するパラレルインタフェースと、
   前記レジスタ群にライトする情報を、シリアル通信で受信するシリアルインタフェースと
   を備える前記イメージセンサの前記パラレルインタフェースが、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力するステップを含む
   データ出力方法。
7. 画像データを出力するイメージセンサと、
   前記イメージセンサが出力する前記画像データを受信するプロセッサと
   を備え、
   前記イメージセンサは、
   光を光電変換することにより、画像データを取得する画素アレイ部と、
   前記イメージセンサの処理に関する情報を記憶するレジスタ群と、
   前記画像データを、パラレル出力で、外部に出力するパラレルインタフェースと、
   前記レジスタ群にライトする情報を、シリアル通信で受信するシリアルインタフェースと
   を有し、
   前記パラレルインタフェースは、さらに、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力し、
   前記プロセッサは、前記パラレルインタフェースが出力する前記画像データ、及び、レジスタ値群を受信する
   撮像デバイス。
8. 前記プロセッサは、前記レジスタ値群に基づいて、前記イメージセンサを制御する
   請求項７に記載の撮像デバイス。
9. 前記パラレルインタフェースは、１画面分の前記画像データに同期して、その１画面分の前記画像データが前記画素アレイ部で得られたときの前記レジスタ値群を出力し、
   前記プロセッサは、前記１画面分の前記画像データに同期して出力される前記レジスタ値群に基づいて、前記イメージセンサを制御する
   請求項８又は９に記載の撮像デバイス。
10. 前記イメージセンサは、
    前記画像データに、画像処理を施す画像処理モジュールと、
    前記画像処理モジュールの画像処理に関する情報を記憶する他のレジスタ群と
    をさらに有し、
    前記シリアルインタフェースは、前記レジスタ群、及び、前記他のレジスタ群にライトする情報を、シリアル通信で受信し、
    前記パラレルインタフェースは、パラレル出力で、前記レジスタ群、及び、前記他のレジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力し、
    前記プロセッサは、
    １画面分の前記画像データと、
    前記１画面分の前記画像データが前記画素アレイ部で得られたときに前記レジスタ群に記憶されていた前記レジスタ値群、及び、前記１画面分の前記画像データが前記画像処理モジュールで処理されたときに前記他のレジスタ群に記憶されていた前記レジスタ群値と
    を対応付けて記憶させる
    請求項７ないし９のいずれかに記載の撮像デバイス。
11. 光学系と、
    画像データを出力するイメージセンサと、
    前記イメージセンサが出力する前記画像データを受信するプロセッサと
    を備え、
    前記イメージセンサは、
    前記光学系からの光を光電変換することにより、画像データを取得する画素アレイ部と、
    前記イメージセンサの処理に関する情報を記憶するレジスタ群と、
    前記画像データを、パラレル出力で、外部に出力するパラレルインタフェースと、
    前記レジスタ群にライトする情報を、シリアル通信で受信するシリアルインタフェースと
    を有し、
    前記パラレルインタフェースは、さらに、パラレル出力で、前記レジスタ群が記憶しているレジスタ値群を、前記画像データを外部に出力していないタイミングで、外部に出力し、
    前記プロセッサは、前記パラレルインタフェースが出力する前記画像データ、及び、レジスタ値群を受信する
    カメラ。

Images