以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、本発明の撮像システムが、本発明の内視鏡装置として用いられている場合について説明する。図1は、本発明の実施形態における内視鏡装置の概略構成を示した構成図である。
図1において、内視鏡装置1は、内視鏡スコープ部10と、本体部20と、を備えている。内視鏡装置1は、例えば、消化器用の内視鏡装置である。内視鏡装置1は、内視鏡スコープ部10における挿入部が患者(検査対象者)の体内に挿入され、検査対象者の消化器内の病巣組織など、観察対象の部位を撮影する。このとき、内視鏡装置1は、照射した光によって観察対象の部位を撮影する。
内視鏡装置1において、内視鏡スコープ部10は、挿入部11と、操作部12と、を備えている。内視鏡スコープ部10において、挿入部11は、先端に撮像部13を備えている。また、内視鏡装置1において、本体部20は、外部処理部21と、カラーモニタ22と、を備えている。内視鏡装置1では、内視鏡スコープ部10の操作部12と本体部20の外部処理部21とが、ユニバーサルコード30によって接続されている。なお、内視鏡装置1では、内視鏡スコープ部10の操作部12と本体部20に備えた不図示の光源装置とも、観察対象の部位に照射する光を伝送する不図示のライトガイドによって接続されている。
内視鏡スコープ部10は、挿入部11が検査対象者の体内の消化器などに挿入され、観察対象の部位(以下、「観察部位」という)の像を撮像する。このとき、観察部位には、不図示のライトガイドによって導かれた照明光が挿入部11の先端から照射される。内視鏡スコープ部10は、撮像した観察部位の像に応じた撮像信号を、ユニバーサルコード30内の信号線によって外部処理部21に出力(伝送)する。
挿入部11は、検査対象者の体内に挿入される。挿入部11の先端の撮像部13には、観察部位の像を電気信号に変換した撮像信号を生成するイメージセンサを備えている。撮像部13に備えたイメージセンサは、生成した撮像信号を、挿入部11、操作部12、およびユニバーサルコード30を経由して外部処理部21に出力(伝送)する。
操作部12は、例えば、検査実施者(例えば、消化器の手術を実施している医師など)が操作することによって、挿入部11および撮像部13の動作を制御する支持部である。内視鏡スコープ部10において、操作部12は、挿入部11の先端を検査実施者の体内に挿入する際の方向や、内視鏡装置1における撮影を制御するための操作スイッチ14を備えている。操作スイッチ14は、例えば、検査実施者の操作に応じて、観察部位を撮影することを指示するための指示信号を、操作部12およびユニバーサルコード30を経由して外部処理部21に出力する。
外部処理部21は、内視鏡スコープ部10の撮像部13に備えたイメージセンサによる観察部位の観察や撮影を制御する制御部である。外部処理部21は、撮像部13に備えたイメージセンサが観察部位の観察や撮影を制御するための制御信号を、ユニバーサルコード30、操作部12、および挿入部11内の信号線を通して撮像部13に伝送する。また、外部処理部21は、挿入部11、操作部12、およびユニバーサルコード30内の信号線を通して伝送されてきた、撮像部13に備えたイメージセンサが撮影した観察部位の撮像信号に対して予め定めた画像処理を施し、撮影した観察部位を含む画像を生成する画像処理装置でもある。外部処理部21には、撮像部13に備えたイメージセンサによる撮影を制御し、イメージセンサから出力された撮像信号に基づいて画像を生成するコントロールユニットを備えている。
また、外部処理部21は、内視鏡装置1において観察部位の観察または撮影をする際に、検査実施者からの制御に応じて観察部位に照射する照明光を出射する不図示の光源装置を備えている。不図示の光源装置が出射した照明光は、例えば、ユニバーサルコード30、操作部12、および挿入部11内を通る不図示のライトガイドなどによって内視鏡スコープ部10の挿入部11の先端に導かれ、撮像部13から観察部位に照射される。なお、外部処理部21は、観察部位の観察または撮影をするときに、不図示の光源装置を制御して、観察部位に照明光を照射させる。そして、外部処理部21は、生成した観察部位を含む画像の画像信号をカラーモニタ22に出力して表示させる。
カラーモニタ22は、外部処理部21から入力された画像信号に応じた観察部位を含む画像を表示する。カラーモニタ22は、例えば、液晶ディスプレイ(Liquid Crystal Display:LCD)などの表示装置である。
このような構成によって内視鏡装置1は、患者(検査対象者)の体内の病巣組織などの観察部位を撮影する。そして、内視鏡装置1は、撮影した観察部位を含む画像を、検査実施者に提示する。
次に、本発明の撮像システムの構成について説明する。内視鏡装置1では、挿入部11に構成された撮像部13に備えたイメージセンサと、本体部20に構成された外部処理部21に備えたコントロールユニットとで、撮像システムを構成している。図2は、本発明の実施形態における撮像システムの概略構成を示したブロック図である。図2において、撮像システム100は、挿入部11に構成された撮像部13に備えたイメージセンサ130と、本体部20に構成された外部処理部21に備えたコントロールユニット210と、を含んで構成される。
イメージセンサ130は、コントロールユニット210からの制御に応じて、入射した光を露光(検出)し、露光した光を光電変換した電気信号を撮像信号として出力する固体撮像装置である。イメージセンサ130は、多機能化したCMOS(Complementary Metal-Oxide Semiconductor:相補型金属酸化膜半導体)型イメージセンサである。なお、イメージセンサ130の構造については、特に規定しない。従って、イメージセンサ130は、全ての構成要素を1枚の半導体基板に形成した構造であってもよいし、画素を形成した半導体基板と、画素以外の構成要素を形成した半導体基板とを積層した構造であってもよい。イメージセンサ130は、コントロールユニット210からの制御に応じて、動画像を撮影し、撮影した動画像の撮像信号をデジタルの撮像信号(以下、「デジタル撮像信号」という)に変換してコントロールユニット210に伝送する。
コントロールユニット210は、イメージセンサ130における撮影の機能や、イメージセンサ130に備えた撮影以外の機能の動作や実行を制御する制御装置である。また、コントロールユニット210は、イメージセンサ130から伝送されてきた動画像のデジタル撮像信号に対して予め定めた画像処理を施した画像を生成する画像処理部でもある。コントロールユニット210は、例えば、CPU(Central Processing Unit)などの処理装置を含んで構成されてもよい。
撮像システム100では、イメージセンサ130とコントロールユニット210との間の信号線の数を削減するため、イメージセンサ130とコントロールユニット210との間の信号の伝送に、所定のクロック(以下、「シリアルクロック信号SCL」という)と、それに同期したデータ信号(以下、「シリアルデータ信号SDA」という)とによってデータをコントロールするシリアル通信方式を用いる。なお、既存のシリアル通信方式において最も制御信号の数が少ないシリアル通信方式は、2種類の制御信号でデータをコントロールするI2C(Inter-Integrated Circuit)方式のシリアル通信であり、本実施形態のシリアル通信はI2Cに準じ、シリアルクロック信号SCAとシリアルデータ信号SDAでデータをコントロールしている。また、以下の説明においては、イメージセンサ130が、差動インターフェース方式であるLVDS(Low voltage differential signaling)方式のシリアル伝送方式によって、コントロールユニット210にデジタル撮像信号を伝送するものとして説明する。
また、撮像システム100では、イメージセンサ130とコントロールユニット210との間の信号線の数をさらに削減するため、I2Cシリアル通信におけるシリアルクロック信号SCLを削減する。このため、撮像システム100では、イメージセンサ130が、I2Cシリアル通信におけるシリアルクロック信号SCLに相当するクロック信号を、デジタル撮像信号に埋め込んでコントロールユニット210に伝送する。そして、撮像システム100では、コントロールユニット210が、デジタル撮像信号に埋め込まれてイメージセンサ130から伝送されてきたシリアルクロック信号SCLに相当するクロック信号に同期して、I2Cシリアル通信におけるシリアルデータ信号SDAをイメージセンサ130に伝送する。
図2においては、イメージセンサ130が、水平同期信号を、シリアルクロック信号SCLに相当するクロック信号としてデジタル撮像信号、つまり、LVDS方式の差動信号(差動正信号OUTPおよび差動負信号OUTN)に埋め込んで送信している状態を示している。また、図2においては、コントロールユニット210が、LVDS方式の差動信号に含まれて送信されてきた水平同期信号(シリアルクロック信号SCL)に同期して、シリアルデータ信号SDAをイメージセンサ130に伝送している状態を示している。
このように、撮像システム100では、コントロールユニット210がイメージセンサ130の動作を制御するために用いる2本のシリアル通信の信号線のうち、シリアルクロック信号SCLを伝送するためのシリアル信号線を削減して、シリアルデータ信号SDAを伝送するシリアル信号線32のみとする。なお、撮像システム100では、イメージセンサ130がコントロールユニット210にデジタル撮像信号を伝送するためのLVDS方式の信号線は、差動正信号OUTPを伝送するための差動信号線31Pと、差動負信号OUTNを伝送するための差動信号線31Nとの2本である。図2においては、コントロールユニット210からイメージセンサ130に電源を供給するための電源線とグラウンド線との2本の電源線も併せて示している。
これにより、撮像システム100を用いた内視鏡装置1では、内視鏡スコープ部10およびユニバーサルコード30内の信号線を、少なくとも、電源線およびグラウンド線の2本の電源線と、差動信号線31Pおよび差動信号線31Nの2本の差動信号線と、シリアル信号線32との5本の信号線のみに削減することができる。このことにより、撮像システム100を用いた内視鏡装置1では、内視鏡スコープ部10(特に、挿入部11)の細径化を実現することができる。
ここで、撮像システム100の構成要素のより詳細な構成について説明する。まず、イメージセンサ130の構成について説明する。イメージセンサ130は、電源回路1301と、画素部1302と、垂直走査回路1303と、列処理回路1304と、水平走査回路1305と、シリアルアクセスレジスタ1306と、タイミングジェネレータ1307と、フレーム構成回路1308と、符号化回路1309と、ラインドライバ1310と、オシュレータ1311と、を備えている。
電源回路1301は、コントロールユニット210から電源線とグラウンド線との2本の電源線によって供給された電源に基づいて、イメージセンサ130内で用いる電圧のそれぞれ電源を生成する。電源回路1301は、生成した電源をイメージセンサ130に備えたそれぞれの構成要素に供給する。
オシュレータ1311は、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいて、イメージセンサ130における基準のクロック信号、いわゆる、マスタークロック信号を生成するクロック発振回路である。オシュレータ1311は、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいた周波数のマスタークロック信号を生成(発振)する。オシュレータ1311は、生成したマスタークロック信号を、イメージセンサ130に備えたそれぞれの構成要素に供給する。
なお、オシュレータ1311は、撮像システム100において、コントロールユニット210からイメージセンサ130へのマスタークロック信号の伝送、つまり、イメージセンサ130とコントロールユニット210との間のマスタークロック信号の伝送線を削減するために、イメージセンサ130に備えた構成要素である。従って、撮像システム100を、コントロールユニット210からイメージセンサ130にマスタークロック信号を伝送する構成にした場合には、イメージセンサ130にオシュレータ1311を備えない構成にすることもできる。
画素部1302は、複数の画素が2次元の行列状に配置された画素アレイ部である。画素部1302内に配置されたそれぞれの画素は、配置されたそれぞれの位置に入射してきた光の強度に応じた電荷量の信号電荷を発生し、発生した信号電荷を蓄積する。なお、イメージセンサ130において画素部1302に複数配置されたそれぞれの画素には、赤色(R)の波長帯域の光を透過するオンチップカラーフィルタ、緑色(G)の波長帯域の光を透過するオンチップカラーフィルタ、および青色(B)の波長帯域の光を透過するオンチップカラーフィルタのいずれか一つのオンチップカラーフィルタが貼付されている。これにより、イメージセンサ130は、入射してきた光の強度に応じて発生したカラーの信号電荷を蓄積する。
垂直走査回路1303は、タイミングジェネレータ1307からの制御に応じて画素部1302内のそれぞれの画素を行ごとに駆動し、それぞれの画素に蓄積された信号電荷に応じた電圧信号を、画素信号として出力させる駆動回路である。これにより、それぞれの画素が行ごとに出力した画素信号(アナログ信号)が、列処理回路1304に入力される。
列処理回路1304は、タイミングジェネレータ1307からの制御に応じて、垂直走査回路1303の駆動によって画素部1302内のそれぞれの画素から出力されたアナログの画素信号に対して予め定めたアナログの信号処理を施す処理回路である。より具体的には、列処理回路1304は、例えば、相関二重サンプリング(Correlated Double Sampling:CDS)処理によってアナログの画素信号に含まれるノイズを除去するノイズ除去処理を施す。また、列処理回路1304は、CDS処理が施されたアナログの画素信号に対して、例えば、アナログの画素信号の信号レベルを増幅する信号増幅処理や、アナログの画素信号の大きさを表すデジタル値に変換するアナログ/デジタル変換(A/D変換)処理を施す。列処理回路1304は、水平走査回路1305からの制御に応じて、アナログ/デジタル変換したアナログの画素信号の大きさを表すデジタル値のデジタル撮像信号を、フレーム構成回路1308に順次出力する。なお、列処理回路1304がアナログ/デジタル変換したデジタル撮像信号は、パラレルのデジタル値のデータである。
なお、列処理回路1304は、画素部1302に配置された画素の列ごとのアナログの画素信号に対して、予め定めたアナログの信号処理を施す構成であってもよい。つまり、列処理回路1304は、アナログの信号処理を施す処理回路を、画素部1302に配置された画素の1列に対して1個ずつ備える構成であってもよい。また、列処理回路1304は、画素部1302に配置された画素の複数列ごとのアナログの画素信号に対して、予め定めたアナログの信号処理を施す構成であってもよい。つまり、列処理回路1304は、アナログの信号処理を施す処理回路を、画素部1302に配置された画素の複数列に対して1個ずつ備える構成であってもよい。また、列処理回路1304は、1個の処理回路が、画素部1302に配置されたそれぞれの列の画素から出力されたアナログの画素信号に対して、予め定めたアナログの信号処理を順次施す構成であってもよい。
水平走査回路1305は、タイミングジェネレータ1307からの制御に応じて画素部1302内のそれぞれの画素の列ごとに列処理回路1304を制御し、列処理回路1304がアナログ/デジタル変換した後のデジタル撮像信号(デジタル値)を、画素部1302内のそれぞれの画素の列ごとに順次出力させる駆動回路である。これにより、列処理回路1304がアナログ/デジタル変換したそれぞれの画素が出力したアナログの画素信号の大きさを表すデジタル撮像信号が、画素部1302に配置されたそれぞれの画素の列ごとに、フレーム構成回路1308に順次入力される。
フレーム構成回路1308は、タイミングジェネレータ1307からの制御に応じて、列処理回路1304から順次出力されたそれぞれのデジタル撮像信号によって表される動画像をコントロールユニット210に伝送するためのそれぞれのデジタル伝送信号を構成する処理回路である。このとき、フレーム構成回路1308は、イメージセンサ130から伝送されてきたデジタル撮像信号を受信したコントロールユニット210が、受信したデジタル撮像信号の塊から対応する動画像の1つのフレーム(1つの画像)を構成するために必要な情報を付加する。
より具体的には、フレーム構成回路1308は、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいて、動画像を構成するそれぞれのフレーム(画像)に対応する同期信号(垂直同期信号および水平同期信号)を生成する。そして、フレーム構成回路1308は、生成した同期信号を表す情報をデジタル撮像信号に埋め込んでコントロールユニット210に伝送するためのデジタル伝送信号を構成する。言い換えれば、フレーム構成回路1308は、生成した同期信号をコントロールユニット210が用いるシリアルクロック信号SCLに相当するクロック信号として埋め込んだ状態の動画像のそれぞれのフレーム(画像)を伝送するためのデジタル伝送信号を構成する。このとき、フレーム構成回路1308は、列処理回路1304から順次出力されたそれぞれの列のデジタル撮像信号を並べ替えて、動画像を構成するそれぞれのフレーム(画像)に含まれるデジタル撮像信号(デジタル値)の順番を変更したデジタル伝送信号を構成してもよい。
なお、フレーム構成回路1308が構成する動画像のデジタル伝送信号に含まれる同期信号を表す情報としては、デジタル撮像信号の塊から構成するフレーム(画像)内に配置されている行の位置を表す位置情報が含まれている。つまり、同期信号を表す情報には、これから伝送する1行分のデジタル撮像信号が、構成する動画像のフレーム(画像)におけるいずれの行のデジタル撮像信号であるかを表す情報が、デジタル撮像信号の伝送に先立って伝送される情報として含まれている。
フレーム構成回路1308は、構成した動画像のデジタル伝送信号に含まれるそれぞれのデータ(位置情報などの同期信号を表す情報やデジタル撮像信号)を、構成する動画像のフレーム(画像)の行ごとに、符号化回路1309に順次出力する。
これにより、イメージセンサ130から伝送されてきたデジタル撮像信号を受信したコントロールユニット210は、受信した1つのフレーム分(1つの画像分)のデジタル撮像信号に埋め込まれている同期信号を表す情報に基づいて、それぞれのデジタル撮像信号が、動画像の1つのフレーム(画像)内のいずれの行のデジタル撮像信号であるのかを判定することができる。また、コントロールユニット210は、受信した1つのフレーム分(1つの画像分)のデジタル撮像信号に埋め込まれている同期信号を表す情報に基づいて、動画像のフレーム(画像)においていずれのタイミングで行が切り替わるかを検出することができる。つまり、コントロールユニット210は、それぞれの行ごとの同期信号を表す情報から、フレーム構成回路1308が動画像のそれぞれのフレーム(画像)のデジタル撮像信号にシリアルクロック信号SCLに相当するクロック信号として埋め込んだ同期信号(垂直同期信号および水平同期信号)のタイミングを認識することができる。
また、フレーム構成回路1308は、生成した同期信号のうち水平同期信号を、イメージセンサ130内でシリアル通信に用いるシリアルクロック信号SCLとして、シリアルアクセスレジスタ1306に出力する。
なお、以下の説明においては、上述したフレーム構成回路1308における一連の処理を、「フレーム構成処理」という。
符号化回路1309は、タイミングジェネレータ1307からの制御に応じて、フレーム構成回路1308がフレーム構成処理を施して構成したデジタル伝送信号に含まれるそれぞれのデータ、つまり、位置情報などの同期信号を表す情報やデジタル撮像信号が含まれるパラレルのデータを1本(シングル)のシリアル信号で表すデータに変換(パラレル/シリアル変換)し、さらに符号化したシングルのシリアル信号であるデジタル伝送信号(符号)を生成する符号化回路である。符号化回路1309がシリアル信号で表すデータを符号化する際の符号化方式としては、例えば、マンチェスタ符号化方式や、8b/10b符号化方式など、既存の様々な符号化方式が考えられる。
マンチェスタ符号化方式や8b/10b符号化方式は、デジタル伝送信号(符号)を受信したコントロールユニット210が、クロックデータリカバリーによってデジタル伝送信号(符号)に含まれるそれぞれのデータ(つまり、シリアル信号で表された位置情報などの同期信号を表す情報やデジタル撮像信号)を復元するためのデータ検出クロックを多重化する符号化方式である。マンチェスタ符号化方式や8b/10b符号化方式の符号化では、シングルのシリアル信号のデジタル伝送信号を構成するそれぞれのビットのデータ(以下、「ビットデータ」という)が特定の周波数成分を含むように変調する。これにより、符号化回路1309が符号化したシングルのシリアル信号のデジタル伝送信号(符号)には、フレーム構成回路1308が構成した動画像のデジタル伝送信号のそれぞれのビットデータに同期した同期信号(データ検出クロック)が多重化される。このデータ検出クロックは、フレーム構成回路1308が構成した動画像のデジタル伝送信号に含まれるそれぞれのパラレルのデータをシリアルに変換したそれぞれのビットデータが切り替わるタイミングの間に、立ち下がりエッジまたは立ち上がりエッジが表れるクロック信号である。このエッジのタイミングで前記ビットデータを検出することにより、該ビットデータの論理を検出(復元)することができる。これにより、コントロールユニット210では、クロックデータリカバリーによってデータ検出クロックを抽出(復元)することによって、受信したデジタル伝送信号(符号)からそれぞれのビットデータを検出(復元)することができる。
以下の説明においては、符号化回路1309が、フレーム構成回路1308がフレーム構成処理を施して構成したデジタル伝送信号に含まれるそれぞれのデータを、マンチェスタ符号化方式によって符号化するものとして説明する。符号化回路1309は、マンチェスタ符号化した後のシングルのシリアル信号のデジタル伝送信号(符号)を、ラインドライバ1310に順次出力する。
ラインドライバ1310は、タイミングジェネレータ1307からの制御に応じて、符号化回路1309から出力されたシングルのシリアル信号であるデジタル伝送信号(符号)を、LVDS方式の差動正信号OUTPと差動負信号OUTNとの2本のシリアルの差動信号であるデジタル伝送信号(符号差動)に変換してコントロールユニット210に伝送するドライブ回路である。ラインドライバ1310は、変換したデジタル伝送信号(符号差動)のそれぞれの差動信号を、対応する出力端子から出力する。
シリアルアクセスレジスタ1306は、コントロールユニット210から伝送されてきたイメージセンサ130の動作を規定するために必要な種々の設定値(パラメータ)を記憶するレジスタである。シリアルアクセスレジスタ1306は、例えば、イメージセンサ130が露光(撮像)の動作をする際の露光時間(蓄積時間)や、動画像のフレームレート、露光(撮像)する画像の大きさを表す画像サイズ(画素数)、撮像信号を出力する際の読み出し方法など、イメージセンサ130における撮影の機能に関する設定値(パラメータ)を記憶する。また、シリアルアクセスレジスタ1306は、例えば、フレーム構成回路1308やオシュレータ1311などのそれぞれの構成要素による、イメージセンサ130に備えた撮影以外の機能の動作や実行を制御するための設定値(パラメータ)を記憶する。ここで、シリアルアクセスレジスタ1306が記憶するフレーム構成回路1308に関する設定値(パラメータ)としては、例えば、垂直方向のブランキング期間(水平同期信号の数)や、水平方向のブランキング期間(マスタークロック信号の数)など、フレーム構成回路1308が同期信号(垂直同期信号および水平同期信号)を生成するために必要な設定値(パラメータ)が含まれている。また、シリアルアクセスレジスタ1306が記憶するオシュレータ1311に関する設定値(パラメータ)としては、例えば、発振周波数(マスタークロック信号の周波数)など、オシュレータ1311が基準のクロック信号を生成するために必要な設定値(パラメータ)が含まれている。
シリアルアクセスレジスタ1306は、シリアル通信方式のレジスタであり、シリアルクロック信号SCLと、それに同期したシリアルデータ信号SDAによってコントロール可能なレジスタである。つまり、シリアルアクセスレジスタ1306は、記憶している設定値(パラメータ)をシリアル通信によって書き換えることができるレジスタである。シリアルアクセスレジスタ1306は、フレーム構成回路1308から出力された水平同期信号を、シリアルクロック信号SCLとして用いる。そして、シリアルアクセスレジスタ1306は、コントロールユニット210から伝送されてきたシリアルデータ信号SDAが表す設定値(パラメータ)を、シリアルクロック信号SCL(水平同期信号)に基づいて判定し、判定した設定値(パラメータ)を記憶する。例えば、シリアルアクセスレジスタ1306は、現在記憶している設定値(パラメータ)を、判定した設定値(パラメータ)に書き換える。
なお、シリアルアクセスレジスタ1306は、I2C方式のメモリに限定されるものではなく、例えば、SPI(Serial Peripheral Interface:シリアル・ペリフェラル・インタフェース)方式のレジスタであってもよい。この場合、シリアルアクセスレジスタ1306は、フレーム構成回路1308から出力された水平同期信号を、SPI方式におけるシリアルクロック信号SCKに相当する信号として用いて、記憶している設定値(パラメータ)を書き換える構成となる。
タイミングジェネレータ1307は、イメージセンサ130における全体の動作のタイミングを制御するためのタイミング信号を生成するタイミング生成回路である。タイミングジェネレータ1307は、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいて、イメージセンサ130に備えたそれぞれの構成要素が機能を実行するために必要なタイミング信号を生成する。タイミングジェネレータ1307は、生成したそれぞれのタイミング信号を、対応する構成要素に出力する。これにより、イメージセンサ130では、それぞれの構成要素が、タイミングジェネレータ1307が生成したタイミング信号に従ったタイミングで動作する。
続いて、コントロールユニット210の構成について説明する。コントロールユニット210は、ラインレシーバ2101と、クロックデータリカバリー(Clock Data Recovery:CDR)回路2102と、画像生成部2103と、レジスタ設定部2104と、を備えている。
ラインレシーバ2101は、イメージセンサ130から出力されて差動信号線31Pおよび差動信号線31NによってLVDS方式のシリアルの差動信号として伝送されてきたデジタル伝送信号(符号差動)を受信するレシーバ回路である。ラインレシーバ2101は、受信したデジタル伝送信号(符号差動)を、LVDS方式のシリアルの差動信号から、イメージセンサ130に備えた符号化回路1309がマンチェスタ符号化した後のシングルのシリアル信号であるデジタル伝送信号(符号)に変換する。ラインレシーバ2101は、変換したシングルのシリアル信号のデジタル伝送信号(符号)をクロックデータリカバリー回路2102に出力する。
クロックデータリカバリー回路2102は、ラインレシーバ2101から出力されたシングルのシリアル信号のデジタル伝送信号(符号)を構成するそれぞれのビットデータから、それぞれのビットデータに同期して多重化されたデータ検出クロックを抽出(復元)する復元回路である。より具体的には、クロックデータリカバリー回路2102は、イメージセンサ130に備えた符号化回路1309がデジタル伝送信号に含まれるそれぞれのビットデータの切り替わりのタイミングのときを立ち下がりエッジまたは立ち上がりエッジで表したデータ検出クロックのタイミングを抽出する。そして、クロックデータリカバリー回路2102は、ラインレシーバ2101から出力されたシングルのシリアル信号のデジタル伝送信号(符号)と、抽出(復元)したデータ検出クロックとのそれぞれを、画像生成部2103に出力する。図2に示したコントロールユニット210では、クロックデータリカバリー回路2102が、ラインレシーバ2101から出力されたシングルのシリアル信号のデジタル伝送信号(符号)をビットデータDataとし、抽出(復元)したデータ検出クロックを同期信号Syncとして、画像生成部2103に出力している。
なお、図2に示したコントロールユニット210では、ラインレシーバ2101から出力されたシングルのシリアル信号のデジタル伝送信号(符号)がクロックデータリカバリー回路2102を通過して画像生成部2103に出力される構成を示しているが、デジタル伝送信号(符号)は、ラインレシーバ2101から出力されたそのままのシングルのシリアル信号である。従って、コントロールユニット210では、ラインレシーバ2101が、シングルのシリアル信号のデジタル伝送信号(符号)をクロックデータリカバリー回路2102と画像生成部2103とのそれぞれに出力し、クロックデータリカバリー回路2102が、抽出(復元)したデータ検出クロックのみを画像生成部2103に出力する構成であってもよい。
画像生成部2103は、クロックデータリカバリー回路2102から出力されたビットデータDataによって表される位置情報などの同期信号を表す情報やデジタル撮像信号を復元し、復元した位置情報などの同期信号を表す情報やデジタル撮像信号に基づいて、イメージセンサ130が撮影した動画像を生成する画像処理部である。
画像生成部2103は、まず、クロックデータリカバリー回路2102から出力された同期信号Syncに基づいて、シングルのシリアル信号のデジタル伝送信号(符号)に含まれるそれぞれのビットデータの値(“High”レベルまたは“Low”レベルのデータ値)を検出する。このとき、画像生成部2103は、同期信号Syncを逓倍したクロック信号のエッジを用いて、それぞれのビットデータのデータ値を検出する。これにより、画像生成部2103は、イメージセンサ130に備えた符号化回路1309がマンチェスタ符号化した後のシングルのシリアル信号のデジタル伝送信号(符号)に含まれるそれぞれのビットデータを得ることができる。
その後、画像生成部2103は、検出したビットデータから、イメージセンサ130に備えた符号化回路1309がマンチェスタ符号化をする前のデジタル伝送信号に含まれるそれぞれのビットデータを復元する。つまり、画像生成部2103は、マンチェスタ符号化されたシングルのシリアル信号のデジタル伝送信号(符号)を、マンチェスタ符号化されていないシングルのシリアル信号のデジタル伝送信号に復元する。
そして、画像生成部2103は、復元したマンチェスタ符号化されていないシングルのシリアル信号のデジタル伝送信号をパラレルのデータに変換(シリアル/パラレル変換)する。これにより、画像生成部2103は、イメージセンサ130に備えたフレーム構成回路1308がフレーム構成処理を施して構成した動画像のデジタル伝送信号に含まれるそれぞれのパラレルのデータ(位置情報などの同期信号を表す情報やデジタル撮像信号)を復元する。つまり、画像生成部2103は、フレーム構成回路1308が生成してシリアルクロック信号SCLに相当するクロック信号として埋め込んだ同期信号(垂直同期信号および水平同期信号)と、列処理回路1304が出力したそれぞれのデジタル撮像信号とを復元する。
そして、画像生成部2103は、復元したデジタル撮像信号のそれぞれのデータに対して種々の画像処理を施して、イメージセンサ130が撮像した観察部位を含む動画像を生成する。
また、画像生成部2103は、復元した位置情報などの同期信号を表す情報に基づいて、イメージセンサ130に備えたフレーム構成回路1308が生成し、シリアルクロック信号SCLに相当するクロック信号としてデジタル撮像信号に埋め込んだ同期信号(垂直同期信号および水平同期信号)と同様の同期信号を生成する同期信号生成部でもある。つまり、画像生成部2103は、フレーム構成回路1308が生成した同期信号(垂直同期信号および水平同期信号)に同期した同期信号を生成する同期信号生成部でもある。なお、イメージセンサ130からのデジタル伝送信号(符号差動)の伝送に遅延が生じている場合、この遅延は、固定の遅延量であると考えられる。この場合、画像生成部2103は、イメージセンサ130からのデジタル伝送信号(符号差動)の伝送における固定の遅延量を考慮して、フレーム構成回路1308が生成した同期信号に同期した同期信号を生成する構成にしてもよい。
画像生成部2103が生成した動画像および同期信号は、例えば、カラーモニタ22に出力され、カラーモニタ22にイメージセンサ130が撮影した動画像が表示される。また、画像生成部2103は、生成した同期信号を、イメージセンサ130が内部(つまり、シリアルアクセスレジスタ1306)でシリアルクロック信号SCLとして、レジスタ設定部2104に出力する。図2に示したコントロールユニット210では、画像生成部2103が、生成した同期信号のうち水平同期信号Hsyncを、シリアルクロック信号SCLとしてレジスタ設定部2104に出力している。
レジスタ設定部2104は、イメージセンサ130に備えたシリアルアクセスレジスタ1306に、イメージセンサ130の動作を規定するための種々の設定値(パラメータ)を設定する制御部である。レジスタ設定部2104は、シリアル通信によって、シリアルアクセスレジスタ1306への設定値(パラメータ)の記憶や、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)の書き換えを制御する。このとき、レジスタ設定部2104は、画像生成部2103から出力された水平同期信号Hsyncを、シリアルクロック信号SCLとして用いて、シリアルアクセスレジスタ1306に対してシリアル通信をする。レジスタ設定部2104は、シリアルアクセスレジスタ1306に対して設定値(パラメータ)の記憶や、書き換え、読み出しを制御する際に、まず、シリアルアクセスレジスタ1306に対するアクセスを表すレジスタ設定信号を生成する。
例えば、レジスタ設定部2104は、シリアルアクセスレジスタ1306に対して設定値(パラメータ)の記憶や書き換えの制御をする際に、シリアルアクセスレジスタ1306に設定する設定値(パラメータ)を表すレジスタ設定信号を生成する。撮像システム100を用いた内視鏡装置1では、レジスタ設定部2104が、例えば、検査実施者が操作スイッチ14を操作して指示した観察部位の撮影をするためにイメージセンサ130に設定する設定値(パラメータ)を表すレジスタ設定信号を生成する。また、例えば、レジスタ設定部2104は、シリアルアクセスレジスタ1306に対して記憶している設定値(パラメータ)の読み出しの制御をする際に、シリアルアクセスレジスタ1306に設定値(パラメータ)の読み出しを指示するレジスタ設定信号を生成する。撮像システム100を用いた内視鏡装置1では、レジスタ設定部2104が、例えば、検査実施者が操作スイッチ14を操作して指示した現在の設定の確認をするためにイメージセンサ130に設定している設定値(パラメータ)の読み出しの指示を表すレジスタ設定信号を生成する。
そして、レジスタ設定部2104は、生成したレジスタ設定信号をシリアルデータ信号SDAとし、水平同期信号Hsync(つまり、シリアルクロック信号SCL)に同期したタイミングで、シリアル信号線32によってイメージセンサ130に伝送する。
このような構成によって撮像システム100では、イメージセンサ130が、同期信号を生成し、生成した同期信号を表す情報(位置情報など)をシリアルクロック信号SCLに相当するクロック信号として埋め込んだ状態で動画像のそれぞれのフレーム(画像)を伝送するためのデジタル伝送信号を構成する。これにより、撮像システム100では、イメージセンサ130が、デジタル撮像信号と共に、生成した同期信号をシリアルクロック信号SCLに相当するクロック信号としてコントロールユニット210に伝送する。また、撮像システム100では、コントロールユニット210が、イメージセンサ130から伝送されてきたデジタル伝送信号(符号差動)に含まれる同期信号を表す情報(位置情報など)に基づいて、イメージセンサ130内で生成した同期信号と同様の同期信号を生成する。そして、撮像システム100では、生成した同期信号を、イメージセンサ130が内部で用いているシリアルクロック信号SCLとして、シリアルクロック信号SCL(同期信号)に同期したタイミングで、生成したシリアルデータ信号SDAをイメージセンサ130に伝送して、シリアル通信をする。
つまり、撮像システム100では、一般的なI2Cシリアル通信においてはシリアルデータ信号SDAを伝送する側からシリアルデータ信号SDAと共に伝送するシリアルクロック信号SCLを、シリアルデータ信号SDAを受信する側で生成して伝送する。そして、撮像システム100では、シリアルデータ信号SDAを伝送する側が、シリアルデータ信号SDAを受信する側から伝送されてきたシリアルクロック信号SCLに同期したタイミングで、生成したシリアルデータ信号SDAを伝送する。
これにより、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、一般的なI2Cシリアル通信であれば2本必要になる信号線(シリアルクロック信号SCL用の信号線とシリアルデータ信号SDA用の信号線)のうち、シリアルクロック信号SCLを伝送する信号線を削減することができる。このことにより、撮像システム100を用いた内視鏡装置1では、内視鏡スコープ部10およびユニバーサルコード30内の信号線を、一般的なI2Cシリアル通信をする構成の場合よりも1本少なくして、内視鏡スコープ部10(特に、挿入部11)の細径化を実現することができる。
次に、撮像システム100についてより詳細に説明する。まず、イメージセンサ130がコントロールユニット210に伝送するデジタル伝送信号について説明する。上述したように、イメージセンサ130は、撮影した動画像のデジタル撮像信号と生成した同期信号を表す情報とを合わせたデジタル伝送信号を構成し、構成したデジタル伝送信号を符号化したシングルのシリアル信号のデジタル伝送信号(符号)を、LVDS方式の差動シリアル伝送方式によってコントロールユニット210に伝送する。
図3は、本発明の実施形態の撮像システム100を構成する固体撮像装置(イメージセンサ130)が制御装置(コントロールユニット210)に伝送する動画像のフレーム(画像)の構成を模式的に示した図である。なお、以下の説明においては、イメージセンサ130が撮影した動画像におけるそれぞれの画素に対応するデジタル撮像信号が12ビットであり、コントロールユニット210に伝送するデジタル伝送信号のデータ(以下、「デジタル伝送データ」という)が16ビットであるものとして説明する。
イメージセンサ130では、垂直走査回路1303が、画素部1302に配置されているそれぞれの画素を行ごとに駆動し、駆動する行を垂直方向(列方向、縦方向)に順次移動して、それぞれの画素が発生した信号電荷に応じた画素信号を列処理回路1304に出力させる。そして、イメージセンサ130では、水平走査回路1305が、画素部1302に配置されている画素の列ごとに、列処理回路1304がアナログ/デジタル変換したデジタル撮像信号をフレーム構成回路1308に出力させる。つまり、イメージセンサ130では、デジタル撮像信号が、いわゆる、ラスター順にフレーム構成回路1308に出力される。図3には、動画像を構成する1つのフレーム(1つの画像)分のデジタル撮像信号がフレーム構成回路1308に順次出力される様子を模式的に示している。
より具体的には、まず、垂直走査回路1303が、画素部1302の1行目に配置された画素を駆動して画素信号を列処理回路1304に出力させ、水平走査回路1305が、画素部1302の1列目に配置された画素に対応するデジタル撮像信号から順にn列目に配置された画素に対応するデジタル撮像信号までフレーム構成回路1308に出力させる。その後、垂直走査回路1303が、画素部1302の2行目に配置された画素を駆動して画素信号を列処理回路1304に出力させ、水平走査回路1305が、同様に、画素部1302の1列目からn列目まで順にデジタル撮像信号をフレーム構成回路1308に出力させる。そして、最後に、垂直走査回路1303が、画素部1302のm行目に配置された画素を駆動して画素信号を列処理回路1304に出力させ、水平走査回路1305が、画素部1302の1列目からn列目まで順にデジタル撮像信号をフレーム構成回路1308に出力させる。イメージセンサ130では、このような垂直走査回路1303と水平走査回路1305との動作によって、動画像を構成する1つのフレーム(1つの画像)分のデジタル撮像信号がフレーム構成回路1308に順次出力される。なお、垂直走査回路1303が駆動する画素の列の数(n列)や画素の行の数(m行)は、イメージセンサ130が露光(撮像)する画像の大きさを表す画像サイズ(画素数)の設定値(パラメータ)としてシリアルアクセスレジスタ1306に記憶されている。
その後、イメージセンサ130では、シリアルアクセスレジスタ1306に記憶されている垂直方向のブランキング期間の設定値(パラメータ)に応じた一定の時間が経過するごとに、動画像を構成する次の1つのフレーム(1つの画像)分のデジタル撮像信号が、画素部1302の1行目からラスター順に、フレーム構成回路1308に順次出力される。つまり、イメージセンサ130では、シリアルアクセスレジスタ1306に記憶されている垂直方向のブランキング期間の設定値(パラメータ)によって、それぞれの動画像のフレーム(画像)のデジタル撮像信号がフレーム構成回路1308に出力される周期、いわゆる、動画像のフレームレートが決められている。
なお、それぞれの動画像のフレーム(画像)のデジタル撮像信号がフレーム構成回路1308に出力される動画像のフレームレートは、イメージセンサ130において動画像を撮影する撮影周期でもある。イメージセンサ130における動画像の撮影では、垂直走査回路1303が、シリアルアクセスレジスタ1306に記憶されている撮影の機能に関する設定値(パラメータ)に従って、画素部1302に配置されたそれぞれの画素を駆動する。ここで、イメージセンサ130が動画像の撮影するときの垂直走査回路1303による画素の駆動方法としては、それぞれの画素を行ごとに順次駆動する、いわゆる、ローリングシャッタ方式の駆動、または全ての画素を同時に駆動する、いわゆる、グローバルシャッタ方式の駆動が考えられる。ただし、イメージセンサ130において動画像を撮影するための垂直走査回路1303による画素の駆動は、動画像を構成する前のフレーム(画像)の画素信号の出力が完了した画素に対して、垂直方向のブランキング期間、またはデジタル撮像信号をラスター順にフレーム構成回路1308に出力している期間に実施される。つまり、垂直走査回路1303による画素信号を出力させるための画素の駆動と、動画像を撮影するための画素の駆動とは、排他的に実施される。そして、撮像システム100では、コントロールユニット210が受信したデジタル撮像信号に基づいた動画像のフレーム(画像)を構成する際のタイミング、つまり、イメージセンサ130が撮影した動画像のそれぞれのフレーム(画像)をカラーモニタ22に表示させるタイミングに同期して、コントロールユニット210に備えたレジスタ設定部2104が、シリアルアクセスレジスタ1306に対して設定値(パラメータ)の記憶や、書き換え、読み出しを制御する。従って、以下の説明においては、イメージセンサ130において動画像を撮影するための垂直走査回路1303による画素の駆動に関する詳細な説明は、省略する。
また、イメージセンサ130では、フレーム構成回路1308が、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいて、列処理回路1304が出力したそれぞれの動画像のフレーム(画像)のデジタル撮像信号に対応する同期信号(垂直同期信号および水平同期信号)を生成する。そして、イメージセンサ130では、フレーム構成回路1308が、生成した同期信号を表す情報(位置情報など)をデジタル撮像信号に埋め込んでコントロールユニット210に伝送するためのデジタル伝送信号を構成する。
図3には、列処理回路1304が出力した動画像を構成する1つのフレーム(1つの画像)分のデジタル撮像信号に、生成した垂直同期信号VDと水平同期信号HDとのそれぞれの同期信号を表す情報を合わせた動画像のデジタル伝送信号の一例を示している。なお、図3には、参考として、フレーム構成回路1308が生成した垂直同期信号VDと水平同期信号HDとのそれぞれの同期信号の一例を併せて示している。図3に示した垂直同期信号VDと水平同期信号HDとのそれぞれでは、“High”=“H”レベルで、デジタル伝送信号が動画像として有効な期間であることを表し、“Low”=“L”レベルで、デジタル伝送信号が動画像として無効な期間、つまり、ブランキング期間であることを表している。
フレーム構成回路1308は、図3に示したような同期信号を表す情報とデジタル撮像信号とを合わせた動画像のデジタル伝送信号を構成する。つまり、フレーム構成回路1308は、垂直同期信号VDと水平同期信号HDとのそれぞれが表すブランキング期間内に、コントロールユニット210による動画像の構成に用いない、デジタル撮像信号と同様の形式のデータを、列処理回路1304から出力されたデジタル撮像信号に埋め込んだデジタル伝送信号を構成する。図3には、垂直同期信号VDが表す垂直方向のブランキング期間(垂直ブランキング期間)内と、水平同期信号HDが表す水平方向のブランキング期間(水平ブランキング期間)内とのそれぞれの期間に動画像の構成に用いないデータを埋め込んで構成した動画像のフレーム(画像)の一例を示している。そして、フレーム構成回路1308は、構成した動画像のフレーム(画像)に含まれるそれぞれの同期信号を表す情報のデータまたはデジタル撮像信号を、行ごとに符号化回路1309に順次出力する。このとき、フレーム構成回路1308は、それぞれのブランキング期間内の動画像の構成に用いないデータに、構成した動画像のフレーム(画像)に含まれるそれぞれの同期信号を表す情報(位置情報)のデータを埋め込む。そして、イメージセンサ130では、符号化回路1309が、フレーム構成回路1308から出力されたデータ、つまり、デジタル伝送データ(パラレルのデータ)をマンチェスタ符号化方式によって符号化し、ラインドライバ1310が、LVDS方式の差動信号に変換してコントロールユニット210に伝送する。
より具体的には、構成したデジタル伝送信号のそれぞれの行のデジタル伝送データを出力するとき、フレーム構成回路1308は、少なくとも最初に出力するデジタル伝送データの16ビットの全てを“1”(つまり、“11111111_11111111”)にする。これは、イメージセンサ130では、それぞれの画素に対応するデジタル撮像信号が12ビットであり、16ビットのデジタル伝送データに表されるデジタル撮像信号が全て“1”となることがないことを利用して、行の先頭、つまり、水平同期信号HDの始まりのタイミングを出力するデジタル伝送データで表すためである。これにより、デジタル撮像信号を受信したコントロールユニット210は、受信したデジタル撮像信号が表す16ビットのデジタル伝送データの中から、全てのビットが“1”であるデジタル伝送データを検出することによって、イメージセンサ130が構成した動画像のデジタル伝送信号におけるそれぞれの行の先頭、つまり、行の切り替わりのタイミングを認識することができる。
続いて、フレーム構成回路1308は、次に出力する16ビットのデジタル伝送データで、構成したデジタル伝送信号における位置情報、つまり、行の位置を表す。なお、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、全てのビットが“1”であるデジタル伝送データの次のデジタル伝送データが行の位置を表すデータであることが予め決められ、整合させている。このため、デジタル撮像信号を受信したコントロールユニット210は、全てのビットが“1”であるデジタル伝送データの次に受信したデジタル伝送信号が表す16ビットのデジタル伝送データで、これから受信するデジタル伝送信号が表すデジタル伝送データがいずれの行のデジタル撮像信号であるかを認識することができる。
その後、フレーム構成回路1308は、それぞれの行のデジタル撮像信号を表す16ビットのデジタル伝送データを順次出力する。ここで、デジタル撮像信号は、12ビットのデータである。このため、フレーム構成回路1308は、16ビットのデジタル伝送データのうち、例えば、下位の12ビットにデジタル撮像信号を割り当て、上位の4ビットの全てを“0”にしたデジタル伝送データを出力する。これにより、デジタル撮像信号を受信したコントロールユニット210は、受信したデジタル伝送信号が表す16ビットのデジタル伝送データのうち、下位12ビットをデジタル撮像信号として順次認識して処理をすることができる。
なお、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、フレーム構成回路1308が構成した動画像のデジタル伝送信号における垂直方向のブランキング期間が、デジタル伝送信号の何行分の期間であるかが予め決められ、整合させている。これにより、デジタル撮像信号を受信したコントロールユニット210は、行の位置を表すデジタル伝送データを受信することによって、動画像を構成するデジタル撮像信号が含まれるデジタル伝送データを受信するのか、垂直方向のブランキング期間におけるデジタル伝送データを受信するのかを予め認識している。また、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、フレーム構成回路1308が構成した動画像のデジタル伝送信号における水平方向のブランキング期間が、デジタル伝送データのいくつ分の期間であるかが予め決められ、整合させている。これにより、デジタル撮像信号を受信したコントロールユニット210は、行の位置を表すデジタル伝送データを受信した後、いくつ目のデジタル伝送データからデジタル撮像信号を表すデジタル伝送データを受信するのかを予め認識している。このため、フレーム構成回路1308は、行の位置を表すデジタル伝送データを出力した後に出力するデジタル撮像信号を表すデジタル伝送データ以外を、いかなるデータにしてもよい。なお、上述したように、デジタル撮像信号は、12ビットのデータであるため、フレーム構成回路1308は、例えば、上位の4ビットの全てを“1”にしたデジタル伝送データを出力することによって、コントロールユニット210がより確実にデジタル撮像信号を表すデジタル伝送データではないことを認識できるようにしてもよい。
このように、イメージセンサ130では、フレーム構成回路1308が、それぞれの行のデジタル伝送データを符号化回路1309に出力する際に、行の先頭を表すデジタル伝送データ、行の位置を表すデジタル伝送データに引き続き、デジタル撮像信号を表す複数のデジタル伝送データ、またはデジタル撮像信号を表さない複数のデジタル伝送データの順に、それぞれのデジタル伝送データを出力する。
その後、フレーム構成回路1308は、1行分のデジタル撮像信号を表すデジタル伝送データ、またはデジタル撮像信号を表さないデジタル伝送データの出力を完了した後、次の行のデジタル伝送データを出力する。このときも、フレーム構成回路1308は、上述したように、次の行の先頭、つまり、次の行の水平同期信号HDの始まりのタイミングを表すデジタル伝送データから順にそれぞれのデジタル伝送データを、符号化回路1309に出力する。
そして、イメージセンサ130では、符号化回路1309が、それぞれのデジタル伝送データを順次シリアル信号に変換してマンチェスタ符号化をし、ラインドライバ1310が、LVDS方式に順次変換した差動信号によって、複数のデジタル伝送データをデジタル伝送信号(符号差動)としてコントロールユニット210に伝送する。これにより、デジタル伝送信号(符号差動)を受信したコントロールユニット210では、画像生成部2103が、行の先頭を表すデジタル伝送データのデジタル伝送信号を受信したタイミングに基づいて、イメージセンサ130に備えたフレーム構成回路1308が生成した同期信号と同様の同期信号(図2では、水平同期信号Hsync)を生成する。そして、コントロールユニット210では、レジスタ設定部2104が、水平同期信号Hsyncを、シリアルクロック信号SCLとして用いて、シリアルアクセスレジスタ1306に対してシリアル通信をする。
なお、撮像システム100では、コントロールユニット210がマスタークロック信号をイメージセンサ130に伝送していない。つまり、撮像システム100では、従来の内視鏡装置では挿入部の先端に備えた固体撮像装置が動作するタイミングと本体部が動作するタイミングを合わせるために本体部から固体撮像装置にマスタークロック信号を伝送するための信号線も削減している。このため、撮像システム100では、イメージセンサ130にオシュレータ1311を備えている。そして、撮像システム100では、コントロールユニット210が、オシュレータ1311が基準のクロック信号(マスタークロック信号)を生成(発振)するために必要な設定値(パラメータ)をシリアルアクセスレジスタ1306に設定する(記憶させる)ことによって、マスタークロック信号の周波数を制御する。これにより、撮像システム100では、イメージセンサ130に備えたフレーム構成回路1308が生成する同期信号の周期(周波数)が一定の周期(周波数)となる。そして、撮像システム100では、コントロールユニット210に備えた画像生成部2103が、イメージセンサ130からシリアルクロック信号SCLに相当するクロック信号として埋め込んだ同期信号(垂直同期信号および水平同期信号)と同様の同期信号を生成する。
ここで、イメージセンサ130に備えたオシュレータ1311の構成の一例について説明する。図4は、本発明の実施形態の撮像システム100を構成する固体撮像装置(イメージセンサ130)に備えたクロック発振回路(オシュレータ1311)の概略構成の一例を示したブロック図である。図4において、オシュレータ1311は、リングオシュレータ13110と、可変電流源13111と、を含んで構成される。
リングオシュレータ13110は、奇数個の論理否定回路(INV回路)が円環状に接続された構成のクロック発振回路である。リングオシュレータ13110は、それぞれのINV回路に流れる電流値に応じた周波数のクロック信号を発振する。
可変電流源13111は、オシュレータ1311に備えたそれぞれのINV回路に電流値を流す電流源である。可変電流源13111は、入力された設定値(パラメータ)に応じて流す電流を変更することができる、デジタル制御の可変電流源である。可変電流源13111には、シリアルアクセスレジスタ1306に記憶されている発振周波数(マスタークロック信号の周波数)の設定値(パラメータ)が入力されている。コントロールユニット210は、シリアルアクセスレジスタ1306を制御して、シリアルアクセスレジスタ1306に記憶されている発振周波数(マスタークロック信号の周波数)の設定値(パラメータ)を書き換えることによって、可変電流源13111が発振するクロック信号の周波数を変更する。これにより、コントロールユニット210は、イメージセンサ130に備えたフレーム構成回路1308が生成する同期信号の周期(周波数)を一定の周期(周波数)にすることができる。
なお、シリアルクロック信号SCLとして有効な周波数は、1kHz以上500kHz以下であると考えられる。このため、コントロールユニット210は、レジスタ設定部2104が用いるシリアルクロック信号SCLに相当するクロック信号(図2では、水平同期信号Hsync)の周波数が、1kHz~500kHzの間となるように、イメージセンサ130に備えたオシュレータ1311が生成するマスタークロック信号の周波数を設定してもよい。これにより、コントロールユニット210は、フレーム構成回路1308が生成する同期信号(より具体的には、水平同期信号HD)の周期(周波数)を一定の周期(周波数)とし、画像生成部2103が、イメージセンサ130からシリアルクロック信号SCLに相当するクロック信号として埋め込んだ同期信号(水平同期信号)と同様の同期信号を生成する。
続いて、コントロールユニット210によるシリアル通信のタイミングについて説明する。上述したように、コントロールユニット210に備えたレジスタ設定部2104は、画像生成部2103から出力された同期信号(図2では、水平同期信号Hsync)を、シリアルクロック信号SCLとして用いて、イメージセンサ130に備えたシリアルアクセスレジスタ1306に対してシリアル通信をする。図5は、本発明の実施形態の撮像システム100におけるシリアル通信のそれぞれの信号の関係を示したタイミングチャートである。図5には、シリアルクロック信号SCLとして、水平同期信号Hsyncのタイミングの一例を示している。また、図5には、シリアルデータ信号SDAとして、レジスタ設定部2104が出力するレジスタ設定信号のタイミングの一例を示している。
撮像システム100におけるシリアル通信のタイミングは、一般的なI2Cシリアル通信のタイミングと同様である。より具体的には、レジスタ設定部2104は、シリアルクロック信号SCLが“High”レベルの期間中にシリアルデータ信号SDAを“Low”レベルにする(つまり、立ち下がりエッジを設ける)ことによってスタート条件とする。また、レジスタ設定部2104は、シリアルクロック信号SCLが“High”レベルの期間中にシリアルデータ信号SDAを“High”レベルにする(つまり、立ち上がりエッジを設ける)ことによってストップ条件とする。また、レジスタ設定部2104は、スタート条件とストップ条件との間の期間において、シリアルクロック信号SCLが“Low”レベルのときにシリアルデータ信号SDAのレベルを伝送するデータのレベルに切り替え、シリアルクロック信号SCLが“High”レベルの期間中はシリアルデータ信号SDAのレベルを維持することによってデータを伝送する。図5においては、レジスタ設定部2104が、レジスタ設定信号のデータとして、“0101”のデータをシリアルアクセスレジスタ1306に伝送した場合のタイミングを示している。
なお、図5に示したシリアル通信のタイミングの一例では、イメージセンサ130に備えたフレーム構成回路1308が生成した、図3に示した水平同期信号HDと同様の水平同期信号Hsyncをそのままシリアルクロック信号SCLとした場合を示した。つまり、シリアルクロック信号SCLにおける“High”レベルの期間と“Low”レベルの期間とが異なる、いわゆる、デューティ比が不均一である場合を示した。ところで、シリアル通信においては、上述したように、シリアルクロック信号SCLが“Low”レベルのときにシリアルデータ信号SDAのレベルを伝送するデータのレベルに切り替える。このため、シリアル通信においては、シリアルクロック信号SCLが“Low”レベルの期間を図5に示したタイミングの一例よりも長くした方が、レジスタ設定部2104の動作タイミングに余裕が生まれる。例えば、シリアルクロック信号SCLのデューティ比が50%である方が、図5に示したタイミングの一例よりもレジスタ設定部2104の動作タイミングに余裕が生まれる。
しかも、撮像システム100では、イメージセンサ130がコントロールユニット210に伝送するデジタル伝送データから、それぞれの行の先頭のタイミング、つまり、水平同期信号HDの始まりのタイミングがわかれば、画像生成部2103は水平同期信号Hsyncを生成することができる。そして、撮像システム100では、動画像として有効なデジタル伝送信号が伝送されるタイミングを、シリアルアクセスレジスタ1306の設定値(パラメータ)などによって規定することができる。
このため、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、シリアルクロック信号SCLのデューティ比を予め決めて整合しておく。つまり、撮像システム100では、イメージセンサ130に備えたフレーム構成回路1308が生成し、シリアルアクセスレジスタ1306がシリアルクロック信号SCLとして用いる水平同期信号と、コントロールユニット210に備えた画像生成部2103が生成し、レジスタ設定部2104がシリアルクロック信号SCLとして用いる水平同期信号Hsyncとのそれぞれのデューティ比を予め整合させておく。これにより、撮像システム100では、図3に示した水平同期信号HDや図5に示した水平同期信号Hsyncとは異なるデューティ比のシリアルクロック信号SCL(例えば、デューティ比が50%のシリアルクロック信号SCL)を、シリアル通信に用いることができる。つまり、撮像システム100では、イメージセンサ130に備えたシリアルアクセスレジスタ1306が用いるシリアルクロック信号SCLと、コントロールユニット210に備えたレジスタ設定部2104が用いるシリアルクロック信号SCLとのそれぞれのシリアルクロック信号SCLにおけるデューティ比が共有化されていれば、いかなるデューティ比のシリアルクロック信号SCLであっても、シリアル通信に用いることができる。
なお、図5に示したシリアル通信のタイミングの一例では、シリアルクロック信号SCLが“High”レベルのときに、スタート条件とストップ条件とを規定し、シリアルクロック信号SCLが“High”レベルの期間中のシリアルデータ信号SDAのレベルをデータとして伝送するタイミングの一例を示した。しかし、撮像システム100におけるシリアル通信では、シリアルクロック信号SCLの切り替えタイミングがわかれば、シリアルクロック信号SCLの“High”レベルと“Low”レベルとは逆であってもよい。さらに、撮像システム100では、イメージセンサ130に備えたシリアルアクセスレジスタ1306が用いるシリアルクロック信号SCLと、コントロールユニット210に備えたレジスタ設定部2104が用いるシリアルクロック信号SCLとの切り替えタイミングが同期していれば、それぞれのシリアルクロック信号SCLにおける“High”レベルと“Low”レベルとは異なっていてもよい。
なお、撮像システム100では、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)を、コントロールユニット210が読み出すためのシリアル通信をすることができる。この場合、撮像システム100では、レジスタ設定部2104が、シリアル通信によってシリアルアクセスレジスタ1306に読み出しを指示し、シリアルアクセスレジスタ1306が、記憶している設定値(パラメータ)を表す信号をシリアルデータ信号SDAとしてシリアル信号線32に出力する。つまり、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、双方向のシリアル通信をすることができる。このため、シリアル信号線32は、予め定めた抵抗値の不図示の抵抗によって電源に接続されてプルアップされた、いわゆる、オープンドレイン構成となっている。しかし、撮像システム100において、コントロールユニット210が、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)の読み出しをしない場合には、シリアル信号線32をオープンドレイン構成にしなくてもよい。この場合、イメージセンサ130に備えたシリアルアクセスレジスタ1306においても、読み出しの指示に応じて記憶している設定値(パラメータ)を伝送する構成を備えなくてもよく、シリアルアクセスレジスタ1306の回路規模を低減することができる。また、オープンドレイン方式は、一般的に長い距離の伝送への対応に不向きであるため、シリアル通信で読み出しをせずに書き込み専用にし、接続構成でオープンドレイン方式を回避することは、内視鏡装置のような長いケーブルに適用するには有利に働く。
実施形態によれば、複数の画素が2次元の行列状に配置され、撮影した連続した画像(動画像)の撮像信号(デジタル撮像信号)を伝送する内視鏡装置(内視鏡装置1)において患者(検査対象者)の体内に挿入する挿入部(挿入部11)に備わる固体撮像装置(イメージセンサ130)と、イメージセンサ130から伝送されたデジタル撮像信号を処理するとともに、イメージセンサ130の動作を制御する内視鏡装置1において検査対象者の体内に挿入しない外部処理部(外部処理部21)に備わる制御装置(コントロールユニット210)とを含む撮像システム(撮像システム100)であって、イメージセンサ130は、撮像信号(画素信号)を取得する画素部(画素部1302)と、イメージセンサ130の動作を規定する設定値(パラメータ)を記憶するレジスタ(シリアルアクセスレジスタ1306)と、画素信号をアナログ/デジタル変換してデジタル撮像信号に変換する処理回路(列処理回路1304)と、撮影した画像(動画像)の水平同期信号(水平同期信号HD)に同期する同期信号(水平同期信号HD、垂直同期信号VDであってもよい)を第1のシリアルクロック信号(シリアルクロック信号SCL)としてデジタル撮像信号に埋め込んだシリアルのデジタル伝送信号を生成するフレーム構成部(フレーム構成回路1308)と、デジタル伝送信号のデータを伝送するデータ伝送部(ラインドライバ1310、符号化回路1309を含んでもよい)と、を備え、コントロールユニット210は、伝送されたデジタル伝送信号に含まれるデジタル撮像信号に埋め込まれたシリアルクロック信号SCL(水平同期信号HD)に同期した第2のシリアルクロック信号(水平同期信号Hsync)を生成するクロック生成部(画像生成部2103)と、水平同期信号Hsyncに同期して、シリアルアクセスレジスタ1306に対する制御をするためのレジスタ設定信号を伝送するレジスタ設定部(レジスタ設定部2104)と、を備え、シリアルアクセスレジスタ1306は、伝送されたレジスタ設定信号が表す制御を、シリアルクロック信号SCLを用いて判定し、判定結果に応じて設定値(パラメータ)の記憶をする、撮像システム(撮像システム100)が構成される。
また、実施形態によれば、シリアルクロック信号SCLは、画像(動画像)に対応する水平同期信号(水平同期信号HD)である、撮像システム100が構成される。
また、実施形態によれば、シリアルクロック信号SCLの周波数は、1kHz以上500kHz以下である、撮像システム100が構成される。
また、実施形態によれば、ラインドライバ1310は、デジタル伝送信号のデータを2本の差動信号(例えば、LVDS方式の差動信号)で伝送し、レジスタ設定部2104は、レジスタ設定信号を1本の単信号(例えば、I2Cシリアル通信におけるシリアルデータ信号SDA)で伝送する、撮像システム100が構成される。
また、実施形態によれば、レジスタ設定部2104は、レジスタ設定信号の伝送のみを行い、信号の受信は行わない(言い換えれば、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)の読み出しをしない)、撮像システム100が構成される。
また、実施形態によれば、イメージセンサ130は、基準のクロック信号(マスタークロック信号)を発振して出力するクロック発振回路(オシュレータ1311)、をさらに備え、レジスタ設定部2104は、シリアルアクセスレジスタ1306にマスタークロック信号の発振周波数の設定信号(設定値(パラメータ))を記憶させ、オシュレータ1311は、シリアルアクセスレジスタ1306に記憶されたマスタークロック信号の発振周波数の設定信号(設定値(パラメータ))に従った周波数のマスタークロック信号を発振する、撮像システム100が構成される。
また、実施形態によれば、撮像システム100、を含んで構成された(撮像システム100を用いた)内視鏡装置(内視鏡装置1)であって、イメージセンサ130は、挿入部(挿入部11)の先端(撮像部13)に配置され、コントロールユニット210は、本体部(本体部20または本体部20に構成された外部処理部21)に配置される、内視鏡装置(内視鏡装置1)が構成される。
上記に述べたように、本発明の実施形態によれば、内視鏡装置として用いられる撮像システムを構成する固体撮像装置が、撮影した動画像を構成するフレーム(画像)に対応する同期信号(垂直同期信号および水平同期信号)を生成し、動画像のデジタル撮像信号に生成した同期信号を表す情報とを埋め込んだ動画像のデジタル伝送信号を構成して、撮像システムを構成する制御装置に伝送する。つまり、本発明の実施形態では、固体撮像装置が、撮影した動画像における同期信号の始まりのタイミングを埋め込んだ状態の動画像のデジタル伝送信号を、制御装置に伝送する。そして、本発明の実施形態では、制御装置が、伝送されてきた動画像のデジタル伝送信号に埋め込まれている同期信号を表す情報、つまり、同期信号の始まりのタイミングに基づいて、固体撮像装置が生成した同期信号と同様の同期信号を生成して、伝送されてきた動画像のデジタル伝送信号に含まれるデジタル撮像信号に基づいた動画像を生成する。
また、本発明の実施形態では、撮像システムを構成する制御装置が、固体撮像装置に備えたそれぞれの構成要素における機能の動作や実行を制御する際に、固体撮像装置との間でシリアル通信をする。このとき、本発明の実施形態では、制御装置に備えたレジスタ設定部が、制御装置内で生成した固体撮像装置と同様の同期信号をシリアルクロック信号SCLに相当するクロック信号として用いて、シリアルデータ信号SDAを伝送し、固体撮像装置に備えたシリアルアクセスレジスタに記憶している設定値(パラメータ)を書き換える。そして、本発明の実施形態では、シリアルアクセスレジスタが、固体撮像装置内で生成した同期信号をシリアルクロック信号SCLとして用いて、制御装置から伝送されてきたシリアルデータ信号SDAが表する設定値(パラメータ)を受信して、記憶された設定値(パラメータ)を書き換える。つまり、本発明の実施形態では、撮像システムを構成する固体撮像装置と制御装置とのそれぞれで、同期したシリアルクロック信号SCLを生成してシリアル通信をする。これにより、本発明の実施形態では、撮像システムを構成する固体撮像装置と制御装置との間でシリアル通信をするためのシリアルクロック信号SCLとシリアルデータ信号SDAとの2本の信号線のうち、シリアルクロック信号SCLを伝送するための信号線を削減することができる。
これにより、本発明の実施形態では、撮像システムを用いた内視鏡装置において、内視鏡スコープ部および電気信号ケーブル内の信号線の数を、一般的なI2Cシリアル通信をする構成の内視鏡装置よりも1本少なくして、内視鏡スコープ部(特に、挿入部)の細径化を実現することができる。また、本発明の実施形態では、シリアル通信に用いる信号線の数が少なくなることにより、撮像システムを構成する固体撮像装置に形成するパッドの数が少なくなる。これにより、本発明の実施形態では、撮像システムを構成する固体撮像装置の面積(投影面積)が小さくなり、固体撮像装置の実装面積を小さくして、内視鏡スコープ部(特に、挿入部の先端に備える撮像部)の小型化を実現することができる。
なお、本発明の実施形態では、本発明の撮像システム(実施形態では、撮像システム100)において、水平同期信号(実施形態では、水平同期信号HDや水平同期信号Hsync)をシリアルクロック信号SCLに相当するクロック信号として用いる場合の構成について説明した。しかし、本発明の撮像システムにおいてシリアルクロック信号SCLに相当するクロック信号として用いる信号は、本発明の実施形態において示した水平同期信号に限定されるものではない。つまり、本発明の撮像システムにおいてシリアルクロック信号SCLに相当するクロック信号として用いる信号は、イメージセンサ130において生成し、デジタル撮像信号に埋め込んでデジタル伝送信号としてコントロールユニット210に伝送するクロック信号であれば、いかなるクロック信号であってもよい。ただし、本発明の撮像システムにおいては、コントロールユニット210が受信したデジタル伝送信号(符号)に含まれるそれぞれのデータ(ビットデータ)をクロックデータリカバリー回路2102によって復元するために、符号化回路1309がマンチェスタ符号化方式や8b/10b符号化方式において多重化したデータ検出クロックは、シリアルクロック信号SCLに相当するクロック信号としては用いない。また、本発明の撮像システムにおいては、オシュレータ1311がイメージセンサ130における基準のクロック信号として生成するマスタークロック信号も、シリアルクロック信号SCLに相当するクロック信号としては用いない。また、本発明の撮像システムにおいては、垂直走査回路1303が画素部1302から画素信号を出力させるタイミングや、水平走査回路1305が列処理回路1304からデジタル撮像信号を出力させるタイミングの信号、つまり、フレーム構成回路1308が構成するデジタル伝送信号に含まれるデジタル撮像信号のタイミングを表す信号も、シリアルクロック信号SCLに相当するクロック信号としては用いない。これは、データ検出クロックや、マスタークロック信号、デジタル撮像信号のタイミングを表す信号の周期(周波数)は、上述したシリアルクロック信号SCLとして有効な周波数であると考えられる1kHz以上500kHz以下の周期(周波数)の信号よりも周期が短い(周波数が高い)の信号であるからである。
このため、本発明の撮像システムでは、水平同期信号の代わりにシリアルクロック信号SCLに相当するクロック信号として用いる信号として、例えば、垂直同期信号が考えられる。つまり、撮像システム100において、フレーム構成回路1308が生成する垂直同期信号を、シリアルクロック信号SCLに相当するクロック信号として用いる構成にしてもよい。この場合、撮像システム100では、画像生成部2103が、生成した垂直同期信号をレジスタ設定部2104に出力し、レジスタ設定部2104が、画像生成部2103から出力された垂直同期信号を、シリアルクロック信号SCLとして用いて、シリアルアクセスレジスタ1306に対してシリアル通信をする構成となる。ただし、垂直同期信号は、上述したシリアルクロック信号SCLとして有効な周波数であると考えられる1kHz以上500kHz以下の周期(周波数)に合致した信号であるが、実施形態において示した水平同期信号よりは周期が長い(周波数が低い)の信号である。このため、撮像システム100においてシリアルクロック信号SCLに相当するクロック信号として垂直同期信号を用いた場合には、水平同期信号をシリアルクロック信号SCLに相当するクロック信号として用いた場合よりも、シリアルアクセスレジスタ1306に対するシリアル通信、つまり、シリアルアクセスレジスタ1306に記憶している設定値(パラメータ)の書き換えが遅くなると考えられる。しかし、撮像システム100においてシリアルアクセスレジスタ1306に記憶している設定値(パラメータ)の書き換えの速度が重要な項目ではない場合などにおいては、問題なく垂直同期信号をシリアルクロック信号SCLに相当するクロック信号として用いることができる。なお、この場合の撮像システム100の動作は、上述した水平同期信号をシリアルクロック信号SCLとして用いた動作と同様に考えることができるため、詳細な説明は省略する。
また、本発明の実施形態では、撮像システム100において、イメージセンサ130がコントロールユニット210に伝送するデジタル伝送信号のデータ(デジタル伝送データ)から、それぞれの行の先頭のタイミング、つまり、水平同期信号HDの始まりのタイミングを基準として画像生成部2103が水平同期信号Hsyncを生成し、シリアルクロック信号SCLとして用いる構成について説明した。しかし、本発明の撮像システムにおいてシリアル通信において用いるシリアルクロック信号SCLを生成する際に基準とするタイミングは、本発明の実施形態において示した水平同期信号HDの始まりのタイミングに限定されるものではない。つまり、撮像システム100において、イメージセンサ130とコントロールユニット210との間でシリアルクロック信号SCLを生成する際に基準とするタイミングを予め整合させておけば、例えば、水平同期信号HDにおいてブランキング期間が終了するタイミングなど、それぞれの行において先頭以外の位置を、シリアルクロック信号SCLを生成する際に基準とするタイミングとしてもよい。なお、この場合の撮像システム100の動作は、上述した水平同期信号をシリアルクロック信号SCLとして用いた動作と同様に考えることができるため、詳細な説明は省略する。
なお、本発明の実施形態では、撮像システム100において、フレーム構成回路1308が、動画像を構成するそれぞれのフレーム(画像)に対応する同期信号(垂直同期信号VDおよび水平同期信号HD)を生成する構成について説明した。しかし、本発明の撮像システムにおいて同期信号を生成する構成要素は、本発明の実施形態においてフレーム構成回路1308に限定されるものではない。つまり、撮像システム100においてフレーム構成回路1308は、少なくとも、同期信号を表す情報をデジタル撮像信号埋め込んだ動画像のデジタル伝送信号を構成する構成要素であればよく、同期信号は、例えば、タイミングジェネレータ1307などの他の構成要素が生成してもよい。
なお、本発明の実施形態では、本発明の撮像システムが、本発明の内視鏡装置として用いられる場合について説明した。しかし、本発明の撮像システムが用いられる装置は、実施形態において示した内視鏡装置に限定されるものではなく、シリアル通信によってデータの伝送をする装置であれば、様々な装置に本発明の撮像システムの考え方を適用することができる。そして、本発明の撮像システムの考え方を適用した様々な装置において、同様の効果を得ることができる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更をすることができる。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。