JPWO2015114906A1 - 撮像システムおよび撮像装置 - Google Patents

Abstract

本発明にかかる撮像システムは、複数の画素が設けられた受光部（２４４ｆ）と、該複数の画素が生成した電気信号を画像情報として読み出す読み出し部（２４４ｇ）と、を有するセンサ部（２４４ａ）と、入力された同期信号に基づいて読み出し信号を生成して該読み出し信号を読み出し部（２４４ｇ）に出力する撮像制御部（２４４ｅ）と、読み出し部による読み出し動作に応じた照明部（３１）による照明タイミングに関するタイミング情報を生成するタイミング情報生成部（２４４ｌ）と、を有する撮像素子（２４４）と、照明光を出射する光源装置（３）と、タイミング情報生成部（２４４ｌ）が生成したタイミング情報を取得し、該取得したタイミング情報に基づいて照明制御部（３２）による照明光の出射を制御する制御部（４０８）と、を備えた。

Description

本発明は、例えば、複数の画素を有する撮像素子を備えた撮像装置、およびこの撮像装置が撮像した撮像信号を取得する撮像システムに関する。

従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば先端に撮像素子が設けられ、可撓性を有する細長形状をなし、被検体の体腔内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が撮像した撮像信号に応じた体内画像の画像処理を行って、体内画像を表示部等に表示させる処理装置とを備える。

内視鏡システムを用いて体内画像を取得する際には、被検体の体腔に内視鏡を挿入した後、この内視鏡の先端から体腔内の生体組織に白色光等の照明光を照射し、撮像素子が体内画像を撮像する。挿入部は、撮像素子によって撮像された映像信号に対してＡ／Ｄ変換等の信号処理を行い、信号処理された映像信号を処理装置に出力する。医師等のユーザは、処理装置が表示する体内画像に基づいて被検体の臓器の観察を行う。

撮像素子には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。ＣＭＯＳセンサは、例えばライン毎にタイミングをずらして読み出しを行うローリングシャッタ方式によって画像データを生成する。

このようなＣＭＯＳセンサを用いた内視鏡システムとして、ＬＥＤ（Light Emitting Diode）などの半導体光源により照明光を得る技術が開示されている（例えば、特許文献１を参照）。

国際公開第２０１２／０３３２００号

しかしながら、上述した特許文献１では、制御装置が撮像素子の読み出しタイミングと半導体光源の発光タイミングとを制御しているため、各タイミングにかかるパラメータが一致していないと、撮像素子の読み出しタイミングと半導体光源の発光タイミングとにずれが生じることがあった。特に、撮像素子の読み出しタイミングにかかるパラメータは撮像素子の仕様によって異なるため、一律のタイミングにかかるパラメータで制御しようとした場合、撮像素子の仕様がこの一律のタイミングにかかるパラメータで動作できるものに制約されてしまう。また、撮像素子は個体ごとに特性にばらつきを有するものであり、撮像素子の読み出しタイミングにかかるパラメータを個別に設定する必要がある。

本発明は、上記に鑑みてなされたものであって、撮像素子の読み出しタイミングと光源の発光タイミングとのずれを解消することができる撮像システムおよび撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像システムは、照明光を出射する照明部と、前記照明部による前記照明光の出射を制御する照明制御部と、各々が受光した光を光電変換して電気信号を生成する複数の画素が設けられた受光部と、該複数の画素が生成した電気信号を画像情報として読み出す読み出し部と、入力される同期信号に基づいて読み出し信号を生成して該読み出し信号を前記読み出し部に出力する撮像制御部と、前記読み出し部による読み出し動作に応じた前記照明部による照明タイミングに関するタイミング情報を生成するタイミング情報生成部と、を有する撮像素子と、前記タイミング情報生成部が生成した前記タイミング情報を取得し、該取得したタイミング情報に基づいて前記照明制御部による照明光の出射を制御するタイミング制御部と、を備えたことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記タイミング情報は、前記撮像素子が前記同期信号を受信してから前記読み出し部が読み出しを開始するまでの処理時間である遅延時間を含むことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記撮像素子は、前記読み出し部から出力される前記画像情報を含む画像信号に前記タイミング情報を含むタイミング信号を重畳する重畳部を有することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記重畳部は、前記画像信号に含まれる情報のうち、有効画素領域の情報以外の情報領域に前記タイミング情報を重畳することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記遅延時間は、入力される前記同期信号のうちの垂直同期信号の立上がりまたは立下がりから前記読み出し部による読み出し開始までの時間であることを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記タイミング情報は、一つのフレームにおける読み出し開始タイミングから読み出し終了タイミングまでの時間を含むことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記タイミング情報は、電子シャッタ制御により前記画素への露光が開始されるタイミングを示す情報を含むことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記照明制御部は、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）の各照明光を所定のタイミングで順次出射するように前記照明部を制御することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記タイミング情報生成部は、ホワイトバランス調整時に前記タイミング情報を生成することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記撮像素子は、前記読み出し部が出力した電気信号に対して信号処理を施す信号処理部と、当該撮像素子および前記照明部が動作するための動作タイミングの基準となるクロック信号を生成する第１クロック生成部と、を有し、前記撮像素子が出力した前記画像情報に対して所定の画像処理を施す画像処理部と、前記画像処理部が動作するための動作タイミングの基準となるクロック信号を生成する第２クロック生成部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、光源装置から出射された照明光により照明された被検体の体内画像を撮像する撮像装置であって、各々が受光した光を光電変換して電気信号を生成する複数の画素が設けられた受光部と、該複数の画素が生成した電気信号を画像情報として読み出す読み出し部と、を有するセンサ部と、入力される同期信号に基づいて読み出し信号を生成して該読み出し信号を前記読み出し部に出力する撮像制御部と、前記読み出し部による読み出し動作に応じた前記光源装置による照明タイミングに関するタイミング情報を生成するタイミング情報生成部と、を備えたことを特徴とする。

本発明によれば、撮像素子の読み出しタイミングと光源の発光タイミングとのずれを解消することができるという効果を奏する。

図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の実施の形態１にかかる内視鏡システムの機能構成を示すブロック図である。 図３は、本発明の実施の形態１にかかる内視鏡システムの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。 図４は、本発明の実施の形態１にかかる内視鏡システムの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。 図５は、本発明の実施の形態１の変形例にかかる内視鏡システムの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。 図６は、本発明の実施の形態２にかかる内視鏡システムの概略構成を示すブロック図である。 図７Ａは、本発明の実施の形態２にかかる内視鏡が出力する画像信号のデータ構造の一例を説明する図である。 図７Ｂは、本発明の実施の形態２にかかる内視鏡が出力する画像信号のデータ構造の一例を説明する図である。 図８は、本発明の実施の形態２の変形例２にかかる内視鏡システムの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。 図９は、本発明の実施の形態２の変形例３にかかる内視鏡システムの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。 図１０は、本発明の実施の形態２の変形例４にかかる内視鏡システムの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。 図１１は、本発明の実施の形態２の変形例６にかかる内視鏡システムの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。 図１２は、本発明の実施の形態３にかかる内視鏡システムの概略構成を示すブロック図である。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、撮像システムの一例として患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本発明の実施の形態１にかかる内視鏡システムの機能構成を示すブロック図である。

図１および図２に示す内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した体内画像に所定の画像処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置４（制御装置）と、処理装置４が画像処理を施した体内画像を表示する表示装置５と、を備える。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４（撮像装置）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。

先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、を有する。

光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成するセンサ部２４４ａと、センサ部２４４ａが出力した電気信号に対してノイズ除去やＡ／Ｄ変換を行うアナログフロントエンド部２４４ｂ（以下、「ＡＦＥ部２４４ｂ」という）と、ＡＦＥ部２４４ｂが出力したデジタル信号（画像信号）をパラレル／シリアル変換して外部に送信するＰ／Ｓ変換部２４４ｃと、センサ部２４４ａの駆動タイミング、ＡＦＥ部２４４ｂおよびＰ／Ｓ変換部２４４ｃにおける各種信号処理のパルスを発生するタイミングジェネレータ２４４ｄと、撮像素子２４４の動作を制御する撮像制御部２４４ｅと、を有する。撮像素子２４４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサである。

センサ部２４４ａは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が２次元状に配列され、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する受光部２４４ｆと、受光部２４４ｆの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として順次読み出す読み出し部２４４ｇと、を有する。また、読み出し部２４４ｇは、受光部２４４ｆから水平ライン毎に電気信号（撮像信号）を順次読み出してＡＦＥ部２４４ｂへ出力する。

本実施の形態１にかかる撮像素子２４４（ＣＭＯＳセンサ）は、水平ライン毎にタイミングをずらして露光または読み出しを行うローリングシャッタ方式によって電気信号を生成する。また、撮像素子２４４は、１ライン（後述するラインデータ単位）毎の画像情報を処理装置４に出力する。

ＡＦＥ部２４４ｂは、電気信号に含まれるノイズ成分を低減するとともに、電気信号の増幅率を調整して一定の出力レベルを維持するＣＤＳ（Correlated Double Sampling）部２４４ｈと、ＣＤＳ部２４４ｈを介して出力された電気信号をＡ／Ｄ変換するＡ／Ｄ変換部２４４ｉと、Ａ／Ｄ変換部２４４ｉにおいてデジタル変換された電気信号の補正を行う補正部２４４ｊと、を有する。ＣＤＳ部２４４ｈは、たとえば相関二重サンプリング法を用いてノイズの低減を行う。また、補正部２４４ｊは、画素欠陥に対する画像の補正や、色補正（ＲＧＢ映像信号の階調補正（γ補正））を行う。

Ｐ／Ｓ変換部２４４ｃは、ＡＦＥ部２４４ｂが出力したデジタル信号（画像信号）をパラレル／シリアル変換して外部に送信するほか、該パラレル／シリアル変換の前に、ＡＥＦ部２４４ｂから出力された電気信号に対し、Ｎビット／Ｍビット符号化（Ｎ＜Ｍ、以下、ビットを「ｂ」と表記する）や、同期信号の重畳などの処理を含んでもよい。Ｐ／Ｓ変換部２４４ｃは、例えば、記憶されている変換テーブルをもとに、８ｂ／１０ｂ符号化の処理を施して、８ｂの電気信号を１０ｂの電気信号に変換する。

撮像制御部２４４ｅは、処理装置４から受信した設定データに従って先端部２４の各種動作を制御する。撮像制御部２４４ｅは、例えば、読み出し部２４４ｇに読み出し信号を出力して、各画素が出力する電気信号の出力態様を画素単位で制御する。また、撮像制御部２４４ｅは、読み出し部２４４ｇが読み出しを開始するタイミングに関するタイミング情報を生成するタイミング情報生成部２４４１を有する。撮像制御部２４４ｅは、タイミング情報生成部２４４１が生成したタイミング情報を処理装置４に出力する。タイミング情報は、読み出し部２４４ｇによる読み出し動作に応じた照明部３１による照明タイミングに関する情報である。撮像制御部２４４ｅは、ＣＰＵ（Central Processing Unit）や各種プログラムを記録するレジスタ等を用いて構成される。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置４、光源装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子２４４を駆動するための駆動用のタイミング信号を送受信するための信号線、および読み出し部２４４ｇが読み出しを開始するタイミングに関するタイミング情報を送信するための信号線を含む。

つぎに、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。

照明部３１は、照明制御部３２の制御のもと、被写体（被検体）に対して、波長帯域が互いに異なる複数の照明光を順次切り替えて出射する。照明部３１は、光源部３１ａと、光源ドライバ３１ｂと、回転フィルタ３１ｃと、駆動部３１ｄと、駆動ドライバ３１ｅと、を有する。

光源部３１ａは、白色ＬＥＤおよび一または複数のレンズ等を用いて構成され、光源ドライバ３１ｂの制御のもと、白色光を回転フィルタ３１ｃへ出射する。光源部３１ａが発生させた白色光は、回転フィルタ３１ｃおよびライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。

光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源部３１ａに対して電流を供給することにより、光源部３１ａに白色光を出射させる。

回転フィルタ３１ｃは、光源部３１ａが出射する白色光の光路上に配置され、回転することにより、光源部３１ａが出射した白色光のうち所定の波長帯域の光のみを透過させる。具体的には、回転フィルタ３１ｃは、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）それぞれの波長帯域を有する光を透過させる赤色フィルタ３１１、緑色フィルタ３１２および青色フィルタ３１３を有する。回転フィルタ３１ｃは、回転することにより、赤、緑および青の波長帯域（例えば、赤：６００ｎｍ〜７００ｎｍ、緑：５００ｎｍ〜６００ｎｍ、青：４００ｎｍ〜５００ｎｍ）の光を順次透過させる。これにより、光源部３１ａが出射する白色光（Ｗ照明）は、狭帯域化した赤色光（Ｒ照明）、緑色光（Ｇ照明）および青色光（Ｂ照明）いずれかの光を内視鏡２に順次出射（面順次方式）することができる。

駆動部３１ｄは、ステッピングモータやＤＣモータ等を用いて構成され、回転フィルタ３１ｃを回転動作させる。

駆動ドライバ３１ｅは、照明制御部３２の制御のもと、駆動部３１ｄに所定の電流を供給する。

照明制御部３２は、例えば、あるフレームにおいて読み出し対象のすべてのラインがブランキング期間となる第１の期間（例えば図３のＴexposure）、照明部３１に第１の照明光（例えばＲ照明）を出射させ、第１の期間の終了後、次のフレームのブランキング期間である第２の期間、第１の照明光と波長帯域が異なる第２の照明光（例えばＧ照明）を照明部３１に出射させ、第２の期間の終了後、その次のフレームのブランキング期間である第３の期間、第３の照明光（例えばＢ照明）を照明部３１に出射させる一連の処理を照明部３１に繰り返し実行させる。

なお、光源部３１ａを赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤで構成し、光源ドライバ３１ｂが各ＬＥＤに対して電流を供給することによって赤色光、緑色光または青色光を順次出射させるものであってもよい。また、白色ＬＥＤや、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤから同時に光を出射させるものや、キセノンランプなどの放電灯などにより白色光を被検体に照射して画像を取得するものであってもよい。

次に、処理装置４の構成について説明する。処理装置４は、Ｓ／Ｐ変換部４０１と、画像処理部４０２と、明るさ検出部４０３と、調光部４０４と、同期信号生成部４０５と、入力部４０６と、記録部４０７と、制御部４０８と、基準クロック生成部４０９と、を備える。

Ｓ／Ｐ変換部４０１は、撮像素子２４４から入力された画像情報（電気信号）をシリアル／パラレル変換して画像処理部４０２に出力する。なお、画像情報には、撮像信号および撮像素子２４４を補正する補正パラメータ等が含まれる。

画像処理部４０２は、Ｓ／Ｐ変換部４０１から入力された画像情報をもとに、表示装置５が表示する体内画像を生成する。画像処理部４０２は、画像情報に対して、所定の画像処理を実行して体内画像を生成する。ここで、画像処理としては、同時化処理、オプティカルブラック減算処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理、複数の画像データを合成する合成処理およびフォーマット変換処理等である。また、画像処理部４０２は、Ｓ／Ｐ変換部４０１から入力された画像情報を制御部４０８または明るさ検出部４０３へ出力する。

明るさ検出部４０３は、画像処理部４０２から入力されるＲＧＢ画像情報から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部４０８へ出力する。また、明るさ検出部４０３は、検出した明るさレベルをもとにゲイン調整値を算出し、ゲイン調整値を画像処理部４０２へ出力する。

調光部４０４は、制御部４０８の制御のもと、明るさ検出部４０３が算出した光照射量をもとに光源装置３が発生する光量や発光タイミング等を設定し、この設定した条件を含む調光信号を光源装置３へ出力する。

同期信号生成部４０５は、少なくとも垂直同期信号を含む同期信号を生成し、集合ケーブル２４５に含まれる所定の信号線を介してタイミングジェネレータ２４４ｄへ送信するとともに、処理装置４内部の画像処理部４０２へ送信する。

入力部４０６は、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。

記録部４０７は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。記録部４０７は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部４０７は、処理装置４の識別情報を記録する。ここで、識別情報には、処理装置４の固有情報（ＩＤ）、年式、スペック情報、伝送方式および伝送レート等が含まれる。

制御部４０８は、ＣＰＵ等を用いて構成され、撮像素子２４４および光源装置３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４０８は、記録部４０７に記録されている撮像制御のための設定データ（例えば、読み出し対象の画素など）を、集合ケーブル２４５に含まれる所定の信号線を介して撮像制御部２４４ｅへ送信する。制御部４０８は、撮像素子２４４の各ラインの露光タイミングと読み出しタイミングを含むタイミング情報に基づいて前記光源を駆動するための駆動信号を生成して光源装置３に出力するタイミング制御部として機能する。

基準クロック生成部４０９は、内視鏡システム１の各構成部の動作の基準となるクロック信号を生成し、内視鏡システム１の各構成部に対して生成したクロック信号を供給する。

次に、表示装置５について説明する。表示装置５は、映像ケーブルを介して処理装置４が生成した体内画像情報に対応する体内画像を受信して表示する。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）を用いて構成される。

続いて、内視鏡システム１の撮影時における撮像素子の露光と読み出しタイミングについて図面を参照して説明する。図３，４は、内視鏡システム１の撮影時における撮像素子の露光と読み出しタイミングを説明する図である。本実施の形態１にかかる撮像素子２４４は、読み出し部２４４ｇによって、水平ライン毎にタイミングをずらして第１〜第ｎライン（１フレーム）の電気信号の読み出しを行う読み出し期間と、照明光による被写体の照明を行うためのブランキング期間とを交互に繰り返して、被検体の体内画像を取得する。

読み出し部２４４ｇによって第１〜第ｎライン（１フレーム）の読み出しを行う際、第１ライン目の読み出し開始時間をＴ read、第ｎライン目の読み出し終了時間をＴ read-end、１ラインの読み出し期間をＴ read-length(line)、１フレームの読み出し期間をＴ read-length(Frame)、ブランキング期間において、第１ライン目から第ｎライン目までのすべてのラインで照明光が照射されている期間をＴ exposureとする。第１ライン目の読み出し開始時間Ｔ readは、垂直同期信号が立ち上がってから読み出し部２４４ｇが読み出しを開始するまでの遅延期間（時間、クロック数、またはライン数およびクロック数）に相当する。なお、第１ライン目の読み出し開始時間Ｔ readは、垂直同期信号が立ち下がりから読み出し部２４４ｇが読み出しを開始するまでの遅延期間であってもよい。

読み出し部２４４ｇは、図４に示すように、垂直同期信号が立ち上がる（パルスがハイになる）と、受光部２４４ｆから水平ライン毎に電気信号（撮像信号）を順次読み出してＡＦＥ部２４４ｂへ出力する。換言すれば、垂直同期信号が立ち上がると、所定の遅延時間経過後、読み出し開始時間Ｔ readにおいて、ブランキング期間から読み出し期間に切り替わる。この際、垂直同期信号が立ち上がってから読み出しを開始するまでの遅延時間は、使用する内視鏡２や、駆動モードによって異なる。具体的には、内視鏡２が採用する撮像素子２４４の個体差（処理能力）によって遅延時間が異なる。また、同一の撮像素子２４４を用いたとしても、駆動モードにより遅延時間の計算方法が異なるため、遅延時間自体も駆動モードにより異なる時間となる。

本実施の形態１では、読み出し部２４４ｇが読み出しを開始する開始タイミング（開始時間Ｔ read）をタイミング情報として、信号線を介して処理装置４に出力する。これにより、撮像素子２４４の読み出し部２４４ｇによる読み出し開始タイミングが異なる場合であっても、撮像素子または駆動モードに応じた読み出し開始タイミングを取得することができる。

制御部４０８は、取得したタイミング情報に基づいて照明制御部３２を制御することにより、撮像素子の仕様や駆動モードによる読み出し開始タイミングの差異によらず（撮像および照明の各タイミングにかかるパラメータが異なる場合であっても）、第１ライン目から第ｎライン目までのすべてのラインで照明光が照射されている期間Ｔ exposureに照明光を照射することができる。これにより、各ラインで均一に照明光が照射された画像を取得することができる。

上述した本実施の形態１によれば、撮像素子２４４が、読み出し部２４４ｇが読み出しを開始する開始タイミング（開始時間Ｔ read）をタイミング情報として、所定の信号線を介して処理装置４に出力し、制御部４０８が、取得した該タイミング情報に基づいて照明制御部３２を制御するようにしたので、撮像素子２４４の読み出し部２４４ｇによる読み出し開始タイミングが異なる場合であっても、撮像素子の読み出しタイミングと光源の発光タイミングとのずれを解消することができる。これにより、撮像素子の仕様や駆動モードによらず、明るさが均一な体内画像や、混色のない体内画像を得ることができる。

また、上述した本実施の形態１によれば、撮像素子の仕様や駆動モードによらず、撮像素子の読み出しタイミングに合わせて光源の発光タイミングを制御することができるため、全画素を読み出すだけでなく、特定の範囲の画素を読み出したり、画素の物理的配列とは順序を入れ替えて読み出したりすることが可能なＣＭＯＳセンサを用いたとしても、撮像素子の読み出しタイミングと光源の発光タイミングとにずれが生じることなく撮像処理を行うことができる。

なお、上述した本実施の形態１では、読み出し部２４４ｇが読み出しを開始する開始タイミング（開始時間Ｔ read）をタイミング情報として、信号線を介して処理装置４に出力するものとして説明したが、読み出し中にハイレベルの信号を出力し、読み出ししていない期間にローレベルの信号を出力するものであってもよい。この場合、制御部４０８は、この信号のレベルの変化に基づき照明タイミングを制御する。タイミング情報は、読み出し部２４４ｇによる読み出し動作に応じた照明部３１による照明タイミングとすることができる情報であれば適用できる。

（実施の形態１の変形例）
図５は、本実施の形態１の変形例にかかる内視鏡システム１の撮影時における撮像素子の露光と読み出しタイミングを説明する図である。上述した実施の形態１では、ライン毎にタイミングをずらして露光または読み出しを行うローリングシャッタ方式によって画像情報を生成するものとして説明したが、本変形例では、全ラインに同時に露光または読み出しを行うグローバルシャッタ方式によって画像情報を生成する。

本変形例においても、読み出し部２４４ｇが読み出しを開始する開始タイミング（開始時間Ｔ read）をタイミング情報として、信号線を介して処理装置４に出力する。これにより、撮像素子２４４の読み出し部２４４ｇによる読み出し開始タイミングが異なる場合であっても、撮像素子または駆動モードに応じた読み出し開始タイミングを取得することができる。

制御部４０８は、取得したタイミング情報に基づいて照明制御部３２を制御することにより、撮像素子の仕様や駆動モードによる読み出し開始タイミングの差異によらず、第１ライン目から第ｎライン目までのすべてのラインで照明光が照射されている期間Ｔ exposureに照明光を照射することができる。

上述した本変形例によれば、グローバルシャッタ方式によって画像情報を生成する場合であっても、撮像素子の仕様や駆動モードによらず、撮像素子の読み出しタイミングと光源の発光タイミングとのずれを解消することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図６は、本発明の実施の形態２にかかる内視鏡システム１ａの概略構成を示すブロック図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では所定の信号線を介して撮像素子２４４から処理装置４にタイミング情報を出力したが、本実施の形態２では、画像信号にタイミング情報を重畳することによって撮像素子２４４から処理装置４にタイミング情報を出力する。

本実施の形態２にかかる内視鏡システム１ａは、Ｐ／Ｓ変換部２４４ｃと補正部２４４ｊとの間で信号処理を施す重畳部２４４ｋを有する。重畳部２４４ｋは、補正部２４４ｊにより補正処理が施された画像信号に対してタイミング情報を重畳する。

図７Ａ、図７Ｂは、本発明の実施の形態２にかかる内視鏡２が出力する画像信号のデータ構造の一例を説明する図である。図７Ａは、１フレームの画素のデータに応じたフレームデータ６を説明する図である。図７Ｂは、１ライン（図７ＡのラインＬ）の画素のデータに応じたラインデータ７を説明する図である。

撮像素子２４４が取得した１フレーム（１枚の画像）のフレームデータ６は、図７Ａに示すように、スタートコード領域６１、ヘッダ領域６２、画像データ領域６３、フッタ領域６４およびエンドコード領域６５に分けられる。

スタートコード領域６１およびエンドコード領域６５には、ラインデータ７の先頭および後尾を示す制御コードがそれぞれ付与されている。

ヘッダ領域６２には、画像データ領域６３に格納されている情報（例えば、ラインナンバーや、フレームナンバー、このヘッダ情報と組をなす誤り訂正符号など）の付加的な情報が含まれる。

画像データ領域６３には、撮像素子２４４（センサ部２４４ａ）により生成された電気信号（撮像信号）に応じた情報が格納されている。画像データ領域６３には、有効画素の画像データである有効画素領域６３１と、有効画素領域６３１の水平ラインの先頭に設けられるマージン領域である水平ブランキング領域６３２と、有効画素領域６３１および水平ブランキング領域６３２の上端側に設定される第１垂直ブランキング領域６３３と、有効画素領域６３１および水平ブランキング領域６３２の下端側に設定される第２垂直ブランキング領域６３４と、からなる。

フッタ領域６４には、例えば、画像データ領域６３に格納されている情報と組をなす誤り訂正符号が付与されている。

１ラインの画素のデータに応じたラインデータ７は、図７Ｂに示すように、先頭にスタートコード７１が付与され、ヘッダ７２、画像データ７３、フッタ７４およびエンドコード７５が順に付与されている。図７Ｂは画像データ領域６３の第１垂直ブランキング領域６３３を有するラインＬのラインデータのため、画像データ７３の領域には、ブランキングデータが付与されている。

本実施の形態２では、重畳部２４４ｋが、画素欠陥に対する画像の補正や色補正などの補正処理を行った後のラインデータ７に対して、読み出し部２４４ｇが読み出しを開始する開始タイミング（開始時間Ｔ read）であるタイミング情報Ｄをブランキングデータ内に重畳する。すなわち、本実施の形態２では、重畳部２４４ｋがタイミング情報Ｄを第１垂直ブランキング領域６３３に格納する重畳処理を施すことによって、タイミング情報Ｄを含むタイミング信号を画像信号に重畳して撮像素子２４４から処理装置４に出力する。これにより、撮像素子２４４の読み出し部２４４ｇによる読み出し開始タイミングが異なる場合であっても、撮像素子または駆動モードに応じた読み出し開始タイミングを取得することができる。

制御部４０８は、画像処理部４０２が信号処理を施すことによって画像信号からタイミング情報を取り出されたタイミング情報に基づいて照明制御部３２を制御する。これにより、撮像素子の仕様や駆動モードによる読み出し開始タイミングの差異によらず、第１ライン目から第ｎライン目までのすべてのラインで照明光が照射されている期間Ｔ exposureに照明光を照射することができる。

上述した本実施の形態２によれば、実施の形態１と同様、撮像素子２４４が、読み出し部２４４ｇが読み出しを開始する開始タイミング（開始時間Ｔ read）をタイミング情報として、重畳部２４４ｋにより画像信号に重畳して処理装置４に出力し、制御部４０８が、取得した該タイミング情報に基づいて照明制御部３２を制御するようにしたので、撮像素子２４４の読み出し部２４４ｇによる読み出し開始タイミングが異なる場合であっても、撮像素子の読み出しタイミングと光源の発光タイミングとのずれを解消することができる。これにより、撮像素子の仕様や駆動モードによらず、明るさが均一な体内画像や、混色のない体内画像を得ることができる。

また、上述した本実施の形態２によれば、画像信号にタイミング情報を重畳して処理装置４に出力するようにしたので、信号線を増加させることなく、タイミング情報を処理装置４に出力することが可能となる。これにより、信号線の増加による集合ケーブル２４５の太径化を防止することができる。

なお、上述した本実施の形態２では第１垂直ブランキング領域にタイミング情報を付与するものとして説明したが、第２垂直ブランキング領域に付与してもよいし、水平ブランキング領域に付与してもよいし、ヘッダ領域に付与してもよいし、有効画素領域のタイミング調整のための余剰データ領域に付与してもよい。

（実施の形態２の変形例１）
上述した実施の形態２では、タイミング情報を画像データ領域６３に格納するものとして説明したが、本変形例１では、ラインデータ７の任意の位置（データ）に格納する。例えば、第１垂直ブランキング領域６３３を有するラインデータのヘッダ（例えば１ライン目のヘッダ７２）に格納されるものであってもよい。また、ヘッダ７２内の任意の位置に設けることも可能である。具体的には、任意のデータ（例えばフレームの先頭を表すデータ）が任意の値となったタイミングを指定して、該指定した位置にタイミング情報を格納する。

（実施の形態２の変形例２）
図８は、本実施の形態２の変形例２にかかる内視鏡システム１ａの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。上述した実施の形態２では、読み出しを開始する開始タイミング（１ライン目の開始時間Ｔ read）をタイミング情報とするものとして説明したが、本変形例２では、全水平ラインの各ヘッダにタイミング情報を格納する。このタイミング情報は、当該タイミング情報を付与したラインの次のラインにおいて何クロック目に読み出しを開始するかの情報を含む。

（実施の形態２の変形例３）
図９は、本実施の形態２の変形例３にかかる内視鏡システム１ａの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。上述した実施の形態２では、読み出しを開始する開始タイミング（１ライン目の開始時間Ｔ read）をタイミング情報とするものとして説明したが、本変形例３のように、第１ライン目の読み出しを開始する開始タイミング（１ライン目の開始時間Ｔ read）と、第ｎライン目の読み出しを終了する終了タイミング（ｎライン目の開始時間Ｔ read-end）とをタイミング情報とするものであってもよい。

ローリングシャッタ方式では、ラインによって読み出し開始のタイミングが異なるため、有効画素領域の先頭のラインの読み出し開始から、有効画素領域の後尾のラインの読み出し完了までの期間が重要となる。変形例３のように、タイミング情報に第ｎライン目の読み出しを終了する終了タイミング（ｎライン目の開始時間Ｔ read-end）を追加することによって、撮像素子の読み出しタイミングと光源の発光タイミングとのずれを一段と確実に解消することができる。

（実施の形態２の変形例４）
図１０は、本実施の形態２の変形例４にかかる内視鏡システム１ａの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。上述した変形例３では、第１ライン目の読み出しを開始する開始タイミング（１ライン目の開始時間Ｔ read）と、第ｎライン目の読み出しを終了する終了タイミング（ｎライン目の開始時間Ｔ read-end）とをタイミング情報とするものとして説明したが、本変形例４のように、第１ライン目の読み出し開始から、第ｎライン目の読み出し終了までの期間（１フレームに応じた読み出し時間Ｔ read-length）をタイミング情報とするものであってもよい。

（実施の形態２の変形例５）
電子シャッタを用いずに、光源の点灯期間を制御することによって撮像素子の電荷蓄積期間を制御する場合は、センサ部２４４ａのフォトダイオードの電荷蓄積期間（上述したブランキング期間）が、ｍ回目の読み出しタイミングからｍ＋１回目の読み出し開始タイミングまでの期間（光源の点灯期間）となるため、上述した実施の形態１，２のように、タイミング情報を取得することによって照明制御部３２の光源制御タイミングを決定することができる。

しかしながら、電子シャッタを用いる場合は、フォトダイオードの電荷蓄積期間が、ｍ回目の読み出し後の電子シャッタのタイミングから、ｍ＋１回目の読み出し開始タイミングまでの期間となる。電子シャッタによって蓄積された電荷が捨てられる期間においては、どのような光が入射していても読み出されるデータには影響しない。このため、電子シャッタの電荷蓄積タイミングを読み出し開始タイミングとしてタイミング情報（蓄積期間に関する情報）を処理装置４に出力することによって、例えば上述した期間Ｔ exposureで照明光を出射して、均一な照明光の照射を行うことができる。

（実施の形態２の変形例６）
図１１は、本実施の形態２の変形例６にかかる内視鏡システムの撮影時における撮像素子の露光と読み出しタイミングを説明する図である。上述した実施の形態２では、有効画素領域すべての読み出し期間または電荷蓄積時間が分かることを目的としていたが、ＣＭＯＳセンサにおいて切り出しやビニングを行う場合、有効画素領域の読み出し対象画素（例えば、図１１の領域Ｒ）をタイミング情報の対象とすることで、読み出し対象でない画素を露光している期間については無視して、読み出し対象の画素について照明光を均一に照射することができる。

（実施の形態２の変形例７）
上述した変形例３，４では、第１ライン目の読み出し開始タイミング、および第ｎライン目の読み出し終了タイミングをタイミング情報としていたが、ラインごとの読み出し開始タイミング、および読み出し終了タイミングをタイミング情報としてもよい。この場合、タイミング情報は、各ラインデータのヘッダなどに付与される。これにより、時間的な制御精度が高い光源を使用する場合に、ラインごとの電荷蓄積期間に応じて明るさ（光量など）を制御することができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図１２は、本発明の実施の形態３にかかる内視鏡システム１ｂの概略構成を示すブロック図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した本実施の形態１，２では、処理装置４が内視鏡システム全体を制御するものとして説明したが、内視鏡２が内視鏡システム全体を制御するものであってもよい。

図１２に示す内視鏡システム１ｂは、上述した内視鏡２の撮像素子２４４が、基準クロック生成部２４４ｌをさらに有する。また、内視鏡システム１ｂは、上述した同期信号生成部４０５を有しない。本実施の形態３では、撮像素子２４４に基準クロック生成部２４４ｌを設けて、該基準クロック生成部２４４ｌが生成したクロックにより読み出し開始タイミングと照明光の照射タイミングとを制御する。換言すれば、内視鏡システム１ｂでは、基準クロック生成部２４４ｌが生成したクロックを基準として、読み出し部２４４ｇによる読み出しと、照明制御部３２による照明光の出射とのタイミングが制御される。本実施の形態３において、光源装置３は基準クロック生成部２４４ｌが生成したクロックに基づき動作し、基準クロック生成部４０９は画像処理部４０２などの処理装置４の内部の構成を動作させるためのクロックを生成する。

本実施の形態３によれば、基準クロック生成部２４４ｌが生成したクロックにより読み出し開始タイミングと照明光の照射タイミングとを制御するようにしたので、撮像素子２４４の基準クロック生成部２４４ｌが生成するクロックと、制御装置４の基準クロック生成部４０９が生成するクロックとに周波数偏差があったとしても、読み出し開始タイミングと照明光の照射タイミングとを高精度に合わせることができる。なお、基準クロック生成部２４４ｌは撮像素子の内部に設けられているものに限らず、内視鏡２の内部のどこかに設けられていればよい。

また、本実施の形態１〜３において、タイミング情報としての読み出し開始時間Ｔ readを垂直同期信号が立ち上がってから読み出し部２４４ｇが読み出しを開始するまでの遅延期間として説明したが、垂直同期信号の立ち上がりのタイミングのほか、画像信号内のヘッダや水平ブランキング領域の任意のデータを基準タイミングとして該基準タイミングから読み出し開始時間までの遅延時間をタイミング情報としてもよい。基準タイミングが明確であれば、どの位置（データ）を基準タイミングとしても適用可能である。

また、本実施の形態１〜３において、１ライン目の読み出し開始タイミングは有効画素領域を有するラインの先頭の水平ラインであることが、有効画素領域の画像を取得する点で好ましい。

また、本実施の形態１〜３において、タイミング情報をホワイトバランスなどの内視鏡２の校正時に取得するものであってもよい。タイミング情報をホワイトバランス時に取得して、読み出し部２４４ｇによる読み出し開始タイミングと、照明制御部３２による照明光の照射タイミングとを合わせておくことによって、観察時にタイミング情報を取得して遅延時間の計算を行うなどの処理を行わずに、最適なタイミングで照明光を照射して撮像処理を行うことが可能となり、観察時に内視鏡２または処理装置４が行う処理を軽減することができる。

また、本実施の形態１〜３では、撮像制御部２４４ｅがタイミング情報生成部２４４１を有するものとして説明したが、撮像素子２４４に個別にタイミング情報生成部を設けて、該タイミング情報生成部が生成したタイミング情報を処理装置４に出力するものであってもよい。

また、本実施の形態２では、撮像素子２４４に重畳部２４４ｋを設けて、該重畳部２４４ｋによりタイミング情報が重畳されたデータを処理装置４に出力するものとして説明したが、補正部２４４ｊなどＡＦＥ部２４４ｂにおいて重畳処理を施すものであってもよい。

また、本実施の形態１〜３では、制御装置４の制御部４０８が、取得したタイミング情報に基づいて光源装置３の駆動を制御するものとして説明したが、光源装置３が制御部を有し、該制御部がタイミング情報を取得して該タイミング情報に基づいて駆動するものであってもよい。

以上のように、本発明にかかる撮像システムおよび撮像装置は、外部の環境によらず、撮像素子の読み出しタイミングと光源の発光タイミングとのずれを解消するのに有用である。

１，１ａ，１ｂ 内視鏡システム
２ 内視鏡
３ 光源装置
４ 処理装置（制御装置）
３１ 照明部
３１ａ 光源部
３１ｂ 光源ドライバ
３１ｃ 回転フィルタ
３１ｄ 駆動部
３１ｅ 駆動ドライバ
３２ 照明制御部
２４４ 撮像素子（撮像装置）
２４４ａ センサ部
２４４ｂ ＡＦＥ部
２４４ｃ Ｐ／Ｓ変換部
２４４ｄ タイミングジェネレータ
２４４ｅ 撮像制御部
２４４ｆ 受光部
２４４ｇ 読み出し部
２４４ｋ 重畳部
２４４ｌ，４０９ 基準クロック生成部
２４５ 集合ケーブル
４０１ Ｓ／Ｐ変換部
４０２ 画像処理部
４０５ 同期信号生成部
４０８ 制御部（タイミング制御部）
２４４１ タイミング情報生成部

Claims (11)

1. 照明光を出射する照明部と、
   前記照明部による前記照明光の出射を制御する照明制御部と、
   各々が受光した光を光電変換して電気信号を生成する複数の画素が設けられた受光部と、該複数の画素が生成した電気信号を画像情報として読み出す読み出し部と、入力される同期信号に基づいて読み出し信号を生成して該読み出し信号を前記読み出し部に出力する撮像制御部と、前記読み出し部による読み出し動作に応じた前記照明部による照明タイミングに関するタイミング情報を生成するタイミング情報生成部と、を有する撮像素子と、
   前記タイミング情報生成部が生成した前記タイミング情報を取得し、該取得したタイミング情報に基づいて前記照明制御部による照明光の出射を制御するタイミング制御部と、
   を備えたことを特徴とする撮像システム。
2. 前記タイミング情報は、前記撮像素子が前記同期信号を受信してから前記読み出し部が読み出しを開始するまでの処理時間である遅延時間を含むことを特徴とする請求項１に記載の撮像システム。
3. 前記撮像素子は、前記読み出し部から出力される前記画像情報を含む画像信号に前記タイミング情報を含むタイミング信号を重畳する重畳部を有することを特徴とする請求項１に記載の撮像システム。
4. 前記重畳部は、前記画像信号に含まれる情報のうち、有効画素領域の情報以外の情報領域に前記タイミング情報を重畳することを特徴とする請求項３に記載の撮像システム。
5. 前記遅延時間は、入力される前記同期信号のうちの垂直同期信号の立上がりまたは立下がりから前記読み出し部による読み出し開始までの時間であることを特徴とする請求項２に記載の撮像システム。
6. 前記タイミング情報は、一つのフレームにおける読み出し開始タイミングから読み出し終了タイミングまでの時間を含むことを特徴とする請求項１に記載の撮像システム。
7. 前記タイミング情報は、電子シャッタ制御により前記画素への露光が開始されるタイミングを示す情報を含むことを特徴とする請求項１に記載の撮像システム。
8. 前記照明制御部は、赤色光、緑色光および青色光の各照明光を所定のタイミングで順次出射するように前記照明部を制御することを特徴とする請求項１に記載の撮像システム。
9. 前記タイミング情報生成部は、ホワイトバランス調整時に前記タイミング情報を生成することを特徴とする請求項１に記載の撮像システム。
10. 前記撮像素子は、
    前記読み出し部が出力した電気信号に対して信号処理を施す信号処理部と、
    当該撮像素子および前記照明部が動作するための動作タイミングの基準となるクロック信号を生成する第１クロック生成部と、
    を有し、
    前記撮像素子が出力した前記画像情報に対して所定の画像処理を施す画像処理部と、
    前記画像処理部が動作するための動作タイミングの基準となるクロック信号を生成する第２クロック生成部と、
    を備えたことを特徴とする請求項１に記載の撮像システム。
11. 光源装置から出射された照明光により照明された被検体の体内画像を撮像する撮像装置であって、
    各々が受光した光を光電変換して電気信号を生成する複数の画素が設けられた受光部と、該複数の画素が生成した電気信号を画像情報として読み出す読み出し部と、を有するセンサ部と、
    入力される同期信号に基づいて読み出し信号を生成して該読み出し信号を前記読み出し部に出力する撮像制御部と、
    前記読み出し部による読み出し動作に応じた前記光源装置による照明タイミングに関するタイミング情報を生成するタイミング情報生成部と、
    を備えたことを特徴とする撮像装置。

Images