以下、図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態による内視鏡装置1の全体構成を示している。図2は、内視鏡装置1の内部構成を示している。図1に示すように、内視鏡装置1は、挿入部2と、コントロールユニット3と、操作部4と、表示部5とを有する。
挿入部2は、観察対象の物体の内部に挿入される。挿入部2の先端20(先端部)には、被写体からの光を先端20に取り込むための光学系を有する光学アダプターを装着することが可能である。例えば、ステレオ光学アダプターを先端20に装着することにより、異なる複数の視点に対応する2つの被写体像を取得することが可能となる。内視鏡装置1は、2つの被写体像のステレオ画像を使用することにより、三角測量の原理で被写体の寸法を計測することが可能である。コントロールユニット3は、内視鏡装置1の制御を行うための構成を有する。操作部4は、ユーザーが行う操作を受け付ける。表示部5は、内視鏡装置1によって撮影された画像および処理メニュー等を表示する。
図2は、内視鏡装置1の詳細な構成を示している。図2に示すように、挿入部2の先端20に光学アダプター6が装着されている。第1の実施形態の光学アダプター6は、複数の視点からの複数の像を形成するステレオ光学アダプターである。光学アダプター6は、観察光学系60と照明光学系61とを有する。撮像素子21が挿入部2の先端20に配置されている。コントロールユニット3は、撮像素子制御部30と、画像処理部31と、光源32と、光源制御部33と、CPU34と、メモリー35とを有する。
光源32は、光源制御部33から供給された電力を青色の励起光に変換することにより、被写体を照明するための照明光を生成する。例えば、光源32は、発光ダイオード(LED)およびレーザーダイオード(LD)などのような半導体発光素子である。半導体発光素子は光のオンおよびオフを高速に切り替えることができる。このため、半導体発光素子を瞬間的に点灯させた場合に、カメラブレおよび被写体ブレによる画質の低下、つまりモーションブラーの発生を抑える効果がある。また、ハロゲンランプなどの他の光源と比較して半導体発光素子の発光効率は高いので、同じ明るさの他の光源よりも消費電力が少なく、かつ内視鏡装置1を小型化できるという効果もある。
光源制御部33は、光源32に電力を供給し、かつ画像処理部31から出力された光源制御パラメーターに基づいて光源32の点灯および消灯のタイミングと出射光量とを制御する。光源32の制御モードは、連続点灯モードおよびパルス点灯モードを含む。連続点灯モードでは光源32に供給される直流電流の大きさによって光量が制御される。パルス点灯モードでは光源32に供給される電流パルスの幅および高さによって光量が制御される。
光源32から出射された励起光は、挿入部2およびコントロールユニット3内に配置されたライトガイド81を介して、挿入部2の先端20に伝送される。ライトガイド81は、光ファイバーの素線を束ねた光ファイバーバンドルである。励起光は、先端20に配置された蛍光体22によって白色光に変換される。照明光学系61は、白色光を被写体に照射する。挿入部2は物体の内部に挿入され、光源32によって生成された光を、先端20に装着された光学アダプター6(照明光学系61)を介して被写体に照射する。
観察光学系60は、白色光によって照明された被写体の表面で反射した光を取り込む。つまり、観察光学系60は、照明光で照明された被写体の光学像を結像する。観察光学系60によって取り込まれた光は撮像素子21に入射する。撮像素子21は、挿入部2が挿入された物体の内部の被写体を複数の視点から撮像し、かつ被写体の光学像の画像データを生成する。例えば、ライン露光方式のCMOSイメージャーが撮像素子21に使用される。CMOSイメージャーを採用することにより、内視鏡装置1をシンプルな構成にし、かつ内視鏡装置1の消費電力を低減することができる。
挿入部2およびコントロールユニット3内に配置された信号線80は、複数の同軸ケーブルを束ねて構成された複合同軸線である。信号線80の先端側は撮像素子21に接続され、かつ信号線80の基端側の一部の同軸ケーブルは撮像素子制御部30に接続される。撮像素子制御部30は、信号線80を介して駆動のための電力を撮像素子21に供給する。また、撮像素子制御部30は、画像処理部31から受け取った撮像パラメーターを撮像素子21に出力することにより撮像素子21を制御する。
信号線80の基端側の残りの同軸ケーブルは画像処理部31に接続される。撮像素子21によって生成された画像データは、画像処理部31に伝送される。画像処理部31は、撮像素子21から出力された画像データに対して、各種の画像処理を行う。例えば、画像処理部31が行う画像処理は、デモザイキング、デジタルゲイン調整、ノイズリダクション、ホワイトバランス調整、輪郭補正、およびガンマ補正の少なくとも1つである。また、画像処理部31は、画像処理が行われた画像データと、CPU34によって生成されたグラフィックデータとを合成することにより表示用の映像信号を生成する。画像処理部31は、生成された表示用の映像信号を表示部5に出力する。表示部5は、画像処理部31から出力された映像信号に基づいて被写体の画像を表示する。
さらに、画像処理部31は、適切な明るさで撮像を行うために、入力された画像データに基づいて撮像素子制御パラメーターおよび光源制御パラメーターを生成する。撮像素子制御パラメーターは、電子シャッタースピード、アナログゲイン、および駆動モードなどのパラメーターである。光源制御パラメーターは、オン/オフのタイミングおよび点灯強度などのパラメーターである。画像処理部31は、撮像素子制御パラメーターを撮像素子制御部30に出力する。撮像素子制御部30は、撮像素子制御パラメーターに基づいて撮像素子21を制御する。画像処理部31は、光源制御パラメーターを光源制御部33に出力する。光源制御部33は、光源制御パラメーターに基づいて光源32を制御する。
挿入部2の先端20において、撮像素子21の近傍に温度センサー23が配置されている。温度センサー23は、撮像素子21と接触してもよい。温度センサー23は、撮像素子21の温度を測定する。温度センサー23は、測定された温度を示す温度データを信号線80に出力する。温度センサー23から出力された温度データは、画像処理部31を経由してCPU34に伝送される。
CPU34は、内視鏡装置1内の各部を制御する。また、CPU34は、操作部4の状態を監視する。これによって、CPU34は、計測に関する操作等を検出する。また、CPU34は、温度センサー23から出力された温度データに基づいて撮像素子21の温度を検出する。
メモリー35は、画像処理部31によって処理された画像データを記憶する。メモリー35は、内視鏡装置1から取り外すことが可能であってもよい。
図3は、CPU34の機能構成を示している。制御部340、表示処理部341、ローリング歪判定部342、モード設定部343、記録部344、および計測部345によってCPU34の機能が構成されている。図3に示すブロックの少なくとも1つがCPU34とは別の回路で構成されてもよい。
制御部340は、各部が行う処理を制御する。ユーザーが操作部4を操作した場合、制御部340は、ユーザーが行った操作を受け付ける。表示処理部341は、メニュー等を表示するためのグラフィックデータを生成する。表示処理部341によって生成されたグラフィックデータは画像処理部31に出力される。また、表示処理部341は、画像処理部31を制御することにより、表示部5に表示される画像の状態を制御する。ローリング歪判定部342は、被写体の画像におけるローリング歪の発生状況を判定する。モード設定部343は、光源制御部33および撮像素子制御部30に対するSG(セミグローバル)露光モード(第1のモード)およびライン露光モード(第2のモード)の設定を切り替える。SG露光モードおよびライン露光モードについては後述する。モード設定部343は、設定されるモードを示すモード情報を画像処理部31に出力する。画像処理部31は、モード情報が示すモードに対応する撮像素子制御パラメーターおよび光源制御パラメーターを生成する。記録部344は、被写体の画像すなわち画像データをメモリー35に記録する。計測部345は、被写体の画像すなわち画像データを使用して被写体の計測を行う。
図4は、撮像素子21の構成を示している。図4に示すように、撮像素子21は、画素部50と、垂直走査部51と、信号処理部52と、水平走査部53とを有する。
画素部50は、行列状に配置された複数の画素54を有する。複数の画素54は、撮像素子21の撮像領域に配置されている。複数の画素54の配列における行数と列数との各々は、2以上である。行数と列数とが同一でなくてもよい。複数の画素54の各々は、画素54に入射した光の量に応じた画素信号を生成する。複数の画素54の各々は、垂直信号線56に接続されている。複数の垂直信号線56が配置されている。複数の垂直信号線56の各々は、複数の画素54の配列における列毎に配置されている。複数の画素54の各々は、生成された画素信号を垂直信号線56に出力する。
複数の画素54の各々は、制御信号線57に接続されている。複数の制御信号線57が配置されている。複数の制御信号線57の各々は、複数の画素54の配列における行毎に配置されている。複数の制御信号線57の各々は、垂直走査部51に接続されている。複数の画素54の動作を制御するための制御信号が垂直走査部51から制御信号線57に出力される。1行の画素54に対して複数の制御信号線57が配置されている。図4では1行の画素54に対して1つの制御信号線57が示され、他の制御信号線57は省略されている。制御信号の詳細については、後述する。
複数の画素54の動作は、制御信号線57に出力された制御信号に基づいて制御される。1行の画素54に対応する制御信号は、その行における全ての画素54に共通に供給される。このため、同一の行に配置された2つ以上の画素54に対して同一の動作タイミングが設定される。つまり、同一の行に配置された2つ以上の画素54は、同時に動作する。画素54の構成の詳細については、後述する。
撮像素子制御部30によって生成された制御信号が撮像素子21に伝送される。垂直走査部51は、撮像素子21によって受信された制御信号に基づいて、複数の画素54の動作を制御するための制御信号を生成する。垂直走査部51は、複数の画素54の配列における複数の行の各々に対応する制御信号を生成する。垂直走査部51は、生成された制御信号を制御信号線57に出力する。
信号処理部52は、複数の信号処理回路55を有する。信号処理回路55は、複数の画素54の配列における列毎に配置されている。信号処理回路55は、垂直信号線56に接続されている。信号処理回路55は、画素54から垂直信号線56に出力された画素信号に対して、増幅およびノイズ除去等を含む信号処理を行う。
信号処理回路55によって処理された画素信号は、水平走査部53に入力される。水平走査部53は、複数の画素54の配列における列を順次選択する。水平走査部53によって選択された列に対応する画素信号は、出力端子58から出力される。
上記のように、撮像素子21は、行列状に配置された複数の画素54を備える。撮像素子21は、複数のフレームの各々において、照明光で照明された被写体の光学像に基づく各画素54の画素信号を生成し、かつその画素信号を用いて被写体の画像を生成する。
図5は、画素54の構成を示している。図5に示すように、画素54は、光電変換部70と、電荷転送部71と、電荷蓄積部72と、リセット部73と、増幅部74と、出力部75とを有する。光電変換部70は、フォトダイオードである。電荷蓄積部72は、容量である。例えば、電荷蓄積部72は、増幅部74を構成するトランジスタのゲート容量である。電荷転送部71と、リセット部73と、増幅部74と、出力部75とは、トランジスタである。
光電変換部70は、画素54に入射した光の量に応じた電荷を生成する。電荷転送部71は、光電変換部70によって生成された電荷を電荷蓄積部72に転送する。電荷蓄積部72は、光電変換部70から転送された電荷を蓄積する。リセット部73は、電源電圧VDDに基づいて、光電変換部70と電荷蓄積部72とにおける電荷をリセットする。電荷転送部71とリセット部73とがオンになることにより、リセット部73は光電変換部70と電荷蓄積部72とにおける電荷をリセットすることができる。増幅部74は、電荷蓄積部72に蓄積された電荷に基づく信号を増幅する。出力部75は、増幅部74によって増幅された信号を画素信号として垂直信号線56に出力する。
電荷転送部71の動作は、制御信号φTXによって制御される。リセット部73の動作は、制御信号φRSTによって制御される。出力部75の動作は、制御信号φSELによって制御される。制御信号φTXと、制御信号φRSTと、制御信号φSELとは、制御信号線57を介して垂直走査部51から供給される。
画素54の動作は、リセットと電荷転送と読み出しとを含む。リセットは、リセット部73の動作に対応する。電荷転送は、電荷転送部71の動作に対応する。読み出しは、出力部75の動作に対応する。
図6から図8を参照し、第1の実施形態における撮像素子21および光源32の制御方法を説明する。第1の実施形態において、内視鏡装置1は、複数のモードによる動作の切り替えを行うことができる。
図6は、ライン露光モードにおける撮像素子21の動作を示している。図6において、横方向は時間を示し、縦方向は撮像素子21の画素54の行位置を示している。図6では、8行の画素54における動作が示されている。最も上の行が1行目であり、最も下の行が8行目である。
図6において、撮像の周期すなわちフレーム周期は1/60秒であり、かつ各フレームの動作において全ての画素54の画素信号の読み出しに必要な時間は1/60秒である。図6において、複数の画素54の配列における各行の電荷蓄積および読み出しのタイミングが示されている。ライン露光モードにおいて、光源制御部33は、光源32に点灯状態を維持させる。
図6において、1行目の画素54において前のフレームの画素情報の読み出しが完了したタイミングすなわち蓄積可能期間の開始タイミングを基準にしたフレーム周期が示されている。時刻t1において、1行目の画素54がリセットされる。これによって、1行目の画素54の蓄積可能期間が開始される。蓄積可能期間において、画素54に入射した光に基づく信号が蓄積される。
時刻t1において、2行目の画素54の画素信号の読み出しが開始される。画素信号の読み出しは、電荷転送および信号読み出しを含む。これによって、2行目の画素54の蓄積可能期間が終了し、かつ2行目の画素54は画素信号を出力する。時刻t1から所定時間が経過した時刻t2において、2行目の画素54の画素信号の読み出しが終了し、かつ2行目の画素54がリセットされる。これによって、2行目の画素54の蓄積可能期間が開始される。
時刻t2において、3行目の画素54の画素信号の読み出しが開始される。これによって、3行目の画素54の蓄積可能期間が終了し、かつ3行目の画素54は画素信号を出力する。時刻t2から所定時間が経過した時刻t3において、3行目の画素54の画素信号の読み出しが終了し、かつ3行目の画素54がリセットされる。これによって、3行目の画素54の蓄積可能期間が開始される。
上記と同様の動作により、4行目から8行目の画素54において画素信号の読み出しおよびリセットが行われる。
8行目の画素54がリセットされる時刻t4において、1行目の画素54の画素信号の読み出しが開始される。これによって、1行目の画素54の蓄積可能期間が終了し、かつ1行目の画素54は画素信号を出力する。時刻t4から所定時間が経過した時刻t5において、1行目の画素54がリセットされる。これによって、1行目の画素54の蓄積可能期間が開始される。その後、上記の動作が繰り返される。
時刻t1に先立つ時刻t0において、1行目の画素54の画素信号の読み出しが開始される。時刻t0から時刻t4までの期間の長さはフレーム周期と同一である。フレーム周期において、行の配列順に全ての画素54の画素信号の読み出しが行毎に順次行われる。全ての画素54の画素信号の読み出しに必要な期間の長さは、撮像できる最短の周期となる。時刻t0から時刻t4までの期間に読み出された画素信号は、1フレームの被写体の画像を構成する。
上記のように、行の配列順に画素54から画素信号が読み出される。つまり、読み出し対象の行を1行ずつずらしながら各行の画素54から連続的に画素信号を読み出す動作(ローリングシャッター動作)が繰り返される。図6に示す動作において、撮像素子制御部30は、複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素54から画素信号を読み出す第2のスキャンを撮像素子21に行わせる。
図6に示すように、ローリングシャッター動作により、各行における複数の画素54において同時に電荷蓄積が行われ(ライン露光)、かつ行毎に画素信号の読み出しが順次行われる。画素信号の読み出しが完了した行の画素54はリセットされ、かつ電荷蓄積が再開される。
図7は、グローバル露光モードにおける撮像素子21と光源32との動作を示している。図7の上側の図において、横方向は時間を示し、縦方向は撮像素子21の画素54の行位置を示している。図7では、8行の画素54における動作が示されている。最も上の行が1行目であり、最も下の行が8行目である。図7の下側の図において、横方向は時間を示す、縦方向は光源32の状態を示している。「ON」は、光源32が点灯している状態を示す。「OFF」は、光源32が消灯している状態を示す。
図7において、撮像の周期すなわちフレーム周期は1/60秒であり、かつ各フレームの動作において全ての画素54の画素信号の読み出しに必要な時間は約1/120秒である。図7において、複数の画素54の配列における各行の電荷蓄積および読み出しのタイミングが示されている。グローバル露光モードにおいて、光源32は間欠的に点灯する。光源制御部33は、光源32を間欠的に点灯させる。
図7において、1行目の画素54において前のフレームの画素情報の読み出しが完了したタイミングすなわち蓄積可能期間の開始タイミングを基準にしたフレーム周期が示されている。図7に示す時刻t10から時刻t11までの期間において、図6に示す時刻t0から時刻t4までの期間における動作と同様の動作が行われる。つまり、時刻t10から時刻t11までの期間において、全ての画素54の画素信号の読み出しが行毎に順次行われる。図7に示す動作において、撮像素子制御部30は、複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素54から画素信号を読み出す第2のスキャンを撮像素子21に行わせる。
1フレームの画素信号の読み出しに必要な期間は、図6に示す動作と図7に示す動作とで異なる。図6に示す動作において、1フレームの画素信号の読み出しに必要な期間は、フレーム周期と同一である。図7に示す動作において、1フレームの画素信号の読み出しに必要な期間は、フレーム周期の約半分である。時刻t10から時刻t11までの期間に読み出された画素信号は、1フレームの被写体の画像を構成する。時刻t10において、光源制御部33は、光源32を点灯状態から消灯状態に切り替える。時刻t10から時刻t11までの期間において、光源制御部33は光源32を消灯させる。時刻t11において、光源制御部33は、光源32を消灯状態から点灯状態に切り替える。
時刻t11の後、時刻t12から時刻t13までの期間において、時刻t10から時刻t11までの期間における動作と同様の動作が行われる。時刻t11から時刻t12までの期間において、全ての画素54が同時に電荷蓄積を行うことができる。時刻t11から時刻t12までの期間において、光源制御部33は光源32を点灯させる。つまり、光源32はパルス状に点灯する。この期間において、グローバル露光が行われる。
全ての画素54の画素信号の読み出しに必要な時間がフレーム周期よりも短い場合、全ての画素54が同時に電荷蓄積を行うことができる期間を確保することができる。図7において、全ての画素54が同時に電荷蓄積を行うことができる期間は約1/120秒である。内視鏡のように、閉空間内に挿入されて撮像を行うカメラでは、照明が消灯している間、イメージャーの画素は露光されない。このため、照明のオンおよびオフのタイミングで露光時間と露光タイミングとを制御することができる。図7に示すように、各行の画素54において画素信号の読み出しが行われている期間に光源32が消灯し、かつ全ての画素54が同時に電荷蓄積を行う期間でのみ光源32が点灯するように点灯制御を行うことによりグローバル露光を行うことができる。
グローバル露光モード(第3のモード)が設定された場合、撮像素子制御部30は、フレーム周期よりも短い期間において第2のスキャンを撮像素子21に行わせる。撮像素子21は、グローバル露光モードにおける第2のスキャンにより読み出された画素信号を用いて画像(第3の画像)を生成する。光源制御部33は、グローバル露光モードにおける第2のスキャンが行われる前に複数の行の各々における画素54の蓄積可能期間が重なる期間の全てまたは一部を含む期間に光源32を点灯させる。光源制御部33は、グローバル露光モードにおける第2のスキャンが行われている期間に光源32を消灯させる。
図7に示す時刻t11において、8行目の画素54の画素信号の読み出しが終了する。その後、時刻t12において、1行目の画素54の画素信号の読み出しが開始される。時刻t11から時刻t12までの期間において、複数の行の各々における画素54すなわち全ての画素54の蓄積可能期間が重なる。光源32は、この期間に点灯している。つまり、図7において、光源32は、全ての画素54の蓄積可能期間が重なる期間の全てを含む期間に点灯している。時刻t11から時刻t12までの期間の一部のみにおいて光源32が点灯してもよい。時刻t11から時刻t12までの期間において、全ての画素54が同時に露光される。
例えば、グローバル露光モードにおける第2のスキャンが行われる期間は、フレーム周期の半分以下である。各画素54の画素信号の読み出し動作の駆動周波数を上げて第2のスキャンにかかる時間をより短くすることによって、全ての画素54の蓄積可能期間が重なる期間であるグローバル露光可能期間がより長くなる。
図7に示す時刻t12において、1行目の画素54の画素信号の読み出しが開始される。その後、第2のスキャンにより各行の画素54の画素信号の読み出しが行われる。時刻t12から時刻t13までの期間に第2のスキャンが行われている。この期間に光源32は消灯している。つまり、図7において、光源32は、全ての画素54の画素信号が読み出される期間に消灯している。光源制御部33は、各フレームの最初に画素信号が読み出される画素54において画素信号の読み出しが開始されたタイミングで光源32を消灯させる。各画素54の画素信号の読み出しが行われている期間に、光源制御部33は、光源32に消灯状態を維持させる。
図8は、ライン露光およびSG露光を組み合わせたモードにおける撮像素子21と光源32の動作を示している。図8の上側の図において、横方向は時間を示し、縦方向は撮像素子21の画素54の行位置を示している。図8では、8行の画素54における動作が示されている。最も上の行が1行目であり、最も下の行が8行目である。図8の下側の図において、横方向は時間を示す、縦方向は光源32の状態を示している。「ON」は、光源32が点灯している状態を示す。「OFF」は、光源32が消灯している状態を示す。
図8において、複数の画素54の配列における各行の電荷蓄積および読み出しのタイミングが示されている。図8に示す動作は、4つのフレームの動作で構成される。
図8において、1行目の画素54において前のフレームの画素情報の読み出しが完了したタイミングすなわち蓄積可能期間の開始タイミングを基準にしたフレーム周期が示されている。フレームiにおいて、第2のモードであるライン露光モードによる動作が行われる。フレームiにおける動作は、図6に示す動作と同様である。ライン露光モードが設定された場合、撮像素子制御部30は、複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素54から画素信号を読み出す第2のスキャンを撮像素子21に行わせる。ライン露光モードが設定された場合、光源制御部33は、第2のスキャンが行われる前に複数の行の各々における画素54の蓄積可能期間の全てを含む期間に光源32を点灯させる。撮像素子21は、第2のスキャンにより読み出された画素信号を用いて画像(第2の画像)を生成する。
図8に示す時刻t21において、1行目の画素54の画素信号の読み出しが開始される。その後、第2のスキャンにより各行の画素54の画素信号の読み出しが行われる。時刻t23において、8行目の画素54の画素信号の読み出しが開始され、かつ時刻t24に終了する。時刻t21から時刻t24までに全ての画素54から読み出された画素信号は、フレームiの画像(第2の画像)を構成する。表示部5は、フレームiの画像を表示する。
図8において、1行目の画素54の蓄積可能期間が開始された時刻t20から、8行目の画素54の蓄積可能期間が終了する時刻t23までの期間を少なくとも含む期間に、光源制御部33は、光源32に点灯状態を維持させる。
フレームi+1、フレームi+2、およびフレームi+3における動作を説明する。フレームi+1からフレームi+3において、第1のモードであるSG露光モードによる動作が行われる。フレームiがライン露光を行うフレームであり、かつフレームi+2がSG露光を行うフレームである。図8に示す動作において、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に設定した後、SG露光モードを光源制御部33および撮像素子制御部30に設定する。
時刻t22においてフレームi+1の1行目の画素54の蓄積可能期間が開始された後、行の配列順に各行の画素54の蓄積可能期間が順次開始される。時刻t24において、8行目の画素54の蓄積可能期間が開始される。フレームi+1において画素54で生成された画素信号が読み出されるとき、画素信号の読み出しが行われる行の順番は、ライン露光モードにおける順番と異なる。つまり、撮像素子21によってスキャンされる行の順番は、ライン露光モードにおける順番である行の配列順と異なる。具体的には、奇数行の画素54の画素信号の読み出しが先に行われる。奇数行の画素54の画素信号の読み出しが終了した後、偶数行の画素54の画素信号の読み出しが行われる。
第1の実施形態において、同時露光ラインは奇数行である。同時露光ラインは、複数の画素54の配列における複数の行の一部である。同時露光ラインは、2以上の行を含む。フレームi+2において、同時露光ラインである2以上の行の画素54は、同時に露光される。つまり、フレームi+2において、同時露光ラインである2以上の行の画素54の露光期間は同一である。同時露光ライン以外の偶数行は、非同時露光ラインである。非同時露光ラインは、複数の画素54の配列における複数の行のうち同時露光ラインを除く行である。
時刻t24において、フレームi+1の1行目の画素54の画素信号の読み出しが開始される。これによって、1行目の画素54の蓄積可能期間が終了し、かつ1行目の画素54は画素信号を出力する。時刻t24において、同時露光ラインの画素54の画素信号の読み出しが開始される。その後、同時露光ラインの画素54の画素信号の読み出しが行毎に順次行われる。すなわち、複数の画素54の配列における奇数行について画素54の画素信号の読み出しが行毎に順次行われる。時刻t25において、7行目の画素54の画素信号の読み出しが開始される。これによって、7行目の画素54の蓄積可能期間が終了する。時刻t25から所定時間が経過した時刻t26において、同時露光ラインの画素54の画素信号の読み出しが終了し、かつ7行目の画素54は画素信号を出力する。
画素54からフレームiの画像を構成する画素信号が読み出されているとき、すなわち第2のスキャンの動作中にSG露光モードが設定された場合、フレームi+1の画像を構成する画素信号の読み出しにおいて、撮像素子制御部30は、全ての同時露光ラインを連続的にスキャンすることにより同時露光ラインにおける画素54から画素信号を読み出す第1のスキャンを撮像素子21に行わせる。時刻t24から時刻t26までの期間において、第1のスキャンにより同時露光ラインにおける画素54からフレームi+1の画像を構成する画素信号が順次出力される。
同時露光ラインにおける画素54から、フレームi+1の画像を構成する画素信号が読み出されているとき、光源32は消灯している。SG露光モードが設定された場合、光源制御部33は、第1のスキャンが行われている期間の全てを含む期間に光源32を消灯させる。図8において、時刻t23から時刻t24までの期間において、光源制御部33は、光源32を点灯状態から消灯状態に切り替える。時刻t24から時刻t26を含む期間に光源32は消灯している。時刻t24から時刻t26までの期間に、全ての同時露光ラインにおける画素54からフレームi+1の画像を構成する画素信号が読み出される。図8において、第1のスキャンが行われている期間の全てを含む期間に光源32は消灯している。
第1のスキャンが行われた同時露光ラインにおける画素54は、画素信号の読み出しが終了したときにリセットされる。リセットにより、同時露光ラインにおける画素54のフレームi+2の蓄積可能期間が開始される。全ての同時露光ラインにおける画素54がリセットされた後、光源32が間欠的に点灯することにより、同時露光ラインにおける画素54のフレームi+2の露光期間を同一にすることができる。つまり、同時露光ラインにおける画素54のフレームi+2の画素信号の生成時に、ローリング歪のない露光(SG露光)を行うことができる。時刻t26から時刻t27までの期間がSG露光可能期間である。SG露光可能期間において、SG露光を行うフレームの全ての同時露光ラインにおける画素54の蓄積可能期間が重なる。
SG露光モードが設定された場合、光源制御部33は、SG露光可能期間の全てまたは一部の期間に光源32を点灯させる。具体的には、SG露光を行うフレームの前のフレームに対する第1のスキャンによる全ての同時露光ラインのスキャンが終了した後、光源制御部33は、SG露光を行うフレームの全ての同時露光ラインにおける画素54の蓄積可能期間が重なる期間の全てまたは一部を含む期間に光源32を点灯させる。撮像素子21は、SG露光を行うフレームの全ての同時露光ラインにおける画素54の蓄積可能期間が重なる期間の全てまたは一部を含む期間で光源32が点灯しているときに全ての同時露光ラインにおける画素54で生成された画素信号を用いて画像(第1の画像)を生成する。
図8に示す時刻t26において、同時露光ラインである7行目の画素54のフレームi+1の画素信号の読み出しが終了する。その後、時刻t27において、同時露光ラインである1行目の画素54のフレームi+2の画素信号の読み出しが開始される。時刻t26から時刻t27までの期間において、全ての同時露光ラインにおける画素54のフレームi+2の蓄積可能期間が重なる。光源32は、この期間に点灯している。つまり、図8において、光源32は、全ての同時露光ラインにおける画素54のフレームi+2の蓄積可能期間が重なる期間の全てを含む期間に点灯している。時刻t26において、光源制御部33は、光源32を消灯状態から点灯状態に切り替える。時刻t26から時刻t27までの期間の一部のみにおいて光源32が点灯してもよい。時刻t26から時刻t27までの期間において、全ての同時露光ラインにおける画素54が同時に露光される。時刻t26から時刻t27までの期間において、同時露光ラインにおける画素54は、フレームi+2の露光を行う。
光源制御部33は、同時露光ラインの画素54のうち最後にフレームi+2の電荷蓄積を開始する画素54における蓄積可能期間が開始されるタイミングで光源32を点灯させる。あるいは、光源制御部33は、同時露光ラインの画素54のうち最後にフレームi+2の電荷蓄積を開始する画素54における蓄積可能期間が開始されるタイミングよりも後に光源32を点灯させる。図8に示すように、同時露光ラインの画素54のうち最後にフレームi+2の電荷蓄積を開始する画素54は、7行目の画素54である。光源制御部33は、光源32が次に消灯するまでの時間が、画像処理部31によって適正と判断された露光時間となるように、光源32の点灯タイミングを制御する。この制御により、SG露光可能期間の全てで光源32が点灯していると同時露光ラインの全てあるいは一部の画素54の画素信号が飽和するシーンにおいて、画素54の画素信号の飽和を避けることができる。
上記のように、時刻t24から時刻t26までの期間に、第1のスキャンにより全ての同時露光ラインにおける画素54から、フレームi+1の画像を構成する画素信号が読み出される。その後、全ての同時露光ラインにおける画素54の蓄積可能期間が重なる期間に、撮像素子制御部30は、非同時露光ラインにおける画素54から画素信号を読み出すスキャンを撮像素子21に行わせる。これによって、非同時露光ラインにおける画素54から、フレームi+1の画像を構成する画素信号が読み出される。図8に示す時刻t26から時刻t27までの期間に、非同時露光ラインである偶数行の画素54の画素信号の読み出しが行われる。
フレームi+1における各行の画素54の露光時間は異なる。このため、表示処理部341は、フレームi+1の画像を構成する映像信号を表示部5に出力しないように画像処理部31を制御する。表示部5は、フレームi+1の画像を表示しない。
第1のスキャンにより全ての同時露光ラインにおける画素54からフレームi+1(第1のフレーム)の画素信号が読み出され、さらに非同時露光ラインにおける画素54からフレームi+1の画素信号が読み出される。その後、撮像素子制御部30は、撮像素子21に対して、全ての同時露光ラインを含む行における全ての画素54からフレームi+2(第2のフレーム)の画素信号を読み出させる。撮像素子21は、フレームi+2の画素信号を用いて画像(第1の画像)を生成する。光源制御部33は、全ての同時露光ラインにおける画素54で生成された画素信号を画素54から読み出すためのスキャンが行われている期間の全てを含む期間に光源32を消灯させる。つまり、光源制御部33は、同時露光ラインにおける画素54からフレームi+2の画素信号が読み出される期間に光源32を消灯させる。
フレームi+2およびフレームi+3において画素54で生成された画素信号が読み出されるとき、画素信号の読み出しが行われる行の順番は、ライン露光モードにおける順番と同一である。図8に示す時刻t27において、1行目の画素54の画素信号の読み出しが開始される。その後、第2のスキャンにより各行の画素54の画素信号の読み出しが行われる。時刻t28において、8行目の画素54の画素信号の読み出しが開始され、かつ時刻t29に終了する。時刻t27から時刻t29までに全ての画素54から読み出された画素信号は、フレームi+2の画像を構成する。
フレームi+2の画像は、ローリング歪判定部342によって使用される。フレームi+2における各非同時露光ラインの画素54の露光時間は非同時露光ライン毎に異なる。このため、表示処理部341は、フレームi+2の画像を構成する映像信号を表示部5に出力しないように画像処理部31を制御する。表示部5は、フレームi+2の画像を表示しない。したがって、表示部5は、フレームi+2の画像(第1の画像)およびフレームiの画像(第2の画像)のうちフレームiの画像のみを表示する。
前述したように、グローバル露光モードが設定された場合、撮像素子制御部30は、フレーム周期よりも短い期間において第2のスキャンを撮像素子21に行わせる。撮像素子21は、グローバル露光モードにおける第2のスキャンにより読み出された画素信号を用いて第3の画像を生成する。表示部5は、フレームi+2の画像(第1の画像)、フレームiの画像(第2の画像)、および第3の画像のうちフレームiの画像と第3の画像とのみを表示してもよい。
図8に示す時刻t27において、1行目の画素54の画素信号の読み出しが開始される。その後、時刻t28において、8行目の画素54の画素信号の読み出しが開始される。時刻t27から時刻t28までの期間において、同時露光ラインを含む全ての画素54の画素信号が読み出される。光源32は、この期間に消灯している。つまり、図8において、光源32は、全ての同時露光ラインを含む行における画素54のフレームi+2の画素信号が読み出される期間を含む期間に消灯している。時刻t27において、光源制御部33は、光源32を点灯状態から消灯状態に切り替える。光源制御部33は、同時露光ラインの画素54のうち最初に画素信号が読み出される画素54においてフレームi+2の画素信号の読み出しが開始されたタイミングで光源32を消灯させる。同時露光ラインの各画素54の画素信号の読み出しが行われている期間に、光源制御部33は、光源32に消灯状態を維持させる。
時刻t28の後、時刻t29において、1行目の画素54の画素信号の読み出しが開始される。その後、第2のスキャンにより各行の画素54の画素信号の読み出しが行われる。この第2のスキャンにより全ての画素54から読み出された画素信号は、フレームi+3の画像を構成する。フレームi+3における各行の画素54の露光時間は行毎に異なる。このため、表示処理部341は、フレームi+3の画像を構成する映像信号を表示部5に出力しないように画像処理部31を制御する。表示部5は、フレームi+3の画像を表示しない。
光源制御部33は、最後にフレームi+2の電荷蓄積を開始する画素54の画素信号の読み出しが終了した後、かつ最初にフレームi+4の電荷蓄積を開始する画素54の電荷蓄積可能期間が開始されるまでの期間に光源32を点灯させる。図8に示す時刻t28において、光源制御部33は、光源32を消灯状態から点灯状態に切り替える。
フレームi+2において、第1のスキャンにより全ての同時露光ラインにおける画素54からフレームi+1の画素信号が読み出される期間を除く期間(時刻t26から時刻t27までの期間)に、同時露光ラインにおける全ての画素54が同時に露光可能となる。同時露光ラインにおける全ての画素54が同時に露光される期間に、全ての非同時露光ラインにおける画素54からフレームi+1の画素信号が読み出される。
図8において、同時露光ラインおよび非同時露光ラインが4行、すなわち撮像素子21の画素54の全ての行数の半分である。このため、同時露光ラインにおける画素54の露光時間は、フレーム周期の半分である。同時露光ラインが4行よりも多い場合、非同時露光ラインは4行よりも少ない。この場合、同時露光ラインにおける画素54の露光時間は、フレーム周期の半分よりも短い。同時露光ラインが4行よりも少ない場合、非同時露光ラインは4行よりも多い。この場合、同時露光ラインにおける画素54の露光時間は、フレーム周期の半分よりも長くできる。SG露光モードが設定された場合、光源制御部33は、同時露光ラインの数に応じて、光源32の点灯時間を制御する。
図8に示す各フレームの動作において、全ての画素54の画素信号の読み出しに必要な時間は、フレーム周期と同一である。このため、高速読み出し駆動は不要である。
図8に示すように、同時露光ラインは奇数行であるが、同時露光ラインは偶数行であってもよい。連続するn行で同時露光ラインのグループが構成され、かつ2つのグループの間に、非同時露光ラインであるn行が配置されてもよい。nは2以上の整数である。例えば、nが2である場合、同時露光ラインは、1行目および2行目、5行目および6行目、9行目および10行目などである。
温度に応じた内視鏡装置1の動作を説明する。挿入部2の先端20の周囲における温度が高い状況では、撮像素子21の温度が非常に高くなることにより撮像素子21あるいはその周辺の部品に故障が発生する恐れがある。このため、温度が高い状況では、警告がユーザーに通知される。温度センサー23によって測定された温度が第1の閾値よりも高い場合、表示部5は、警告を表示する。例えば、第1の閾値は80℃である。具体的には、温度が第1の閾値よりも高い場合、表示処理部341は、警告を表示するためのグラフィックデータを生成する。表示処理部341によって生成されたグラフィックデータは画像処理部31に出力される。画像処理部31は、画像処理が行われた画像データと、グラフィックデータとを合成することにより表示用の映像信号を生成する。表示部5は、画像処理部31から出力された映像信号に基づいて警告を表示する。これによって、内視鏡装置1は、検査の中止をユーザーに促す。
温度センサー23によって測定された温度が第1の閾値以下である場合の内視鏡装置1の動作を説明する。モード設定部343は、光源制御部33および撮像素子制御部30に対するSG露光モード(第1のモード)、ライン露光モード(第2のモード)、およびグローバル露光モード(第3のモード)の設定を切り替える。温度が第2の閾値(所定値)よりも高い場合、モード設定部343は、SG露光モードおよびライン露光モードを光源制御部33および撮像素子制御部30に順次設定する。温度が第2の閾値以下である場合、モード設定部343は、グローバル露光モードを光源制御部33および撮像素子制御部30に設定する。
第2の閾値は、第1の閾値よりも低い。例えば、第2の閾値は、60℃である。モード設定部343は、温度センサー23から出力された温度データが示す温度を判定し、かつ温度に応じてSG露光モード、ライン露光モード、およびグローバル露光モードの設定を切り替える。温度が第1の閾値以下であり、かつ第2の閾値よりも高い場合、SG露光モードおよびライン露光モードを組み合わせた動作が行われる。つまり、図8に示す動作が行われる。これによって、ローリング歪の発生を検出するための画像が取得される。また、撮像素子21における発熱が、内視鏡装置1がグローバル露光モードで動作するときと比較して低減される。温度が第2の閾値以下である場合、グローバル露光モードの動作が行われる。つまり、図7に示す動作が行われる。これによって、ローリング歪がない画像が取得される。
図9および図10は、温度センサー23によって測定された温度が第1の閾値以下である場合の内視鏡装置1の動作を示している。図9および図10を参照し、内視鏡装置1の動作を説明する。図9および図10は、画像記録処理に対応している。表示部5は、被写体の画像を連続的に表示する。ユーザーは、画像を記録したいタイミングで操作部4を操作することにより、画像記録操作を行う。ユーザーは、画像記録操作により、画像記録指示を内視鏡装置1に入力することができる。なお、画像記録指示は、一定の時間間隔で内視鏡装置1の内部で自動的に発生してもよい。あるいは、内視鏡装置1にさらに無線送受信部を加えて内視鏡装置1の外部の別の装置から画像記録指示を与えるようにしてもよい。
モード設定部343は、温度センサー23から出力された温度データが示す温度を確認する(ステップS100)。
ステップS100の後、温度が60℃以下であると判定される場合(ステップS101)、モード設定部343は、グローバル露光モードを光源制御部33および撮像素子制御部30に設定する(ステップS102)。ステップS100の後、温度が60℃以下ではないと判定される場合(ステップS101)、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に設定する(ステップS103)。
ステップS102またはステップS103の後、制御部340は、操作部4からの信号に基づいて、画像記録操作が行われたか否かを判定する(ステップS104)。ステップS104において、画像記録操作が行われていないと制御部340が判定した場合、1フレームの画像が取得される(ステップS105)。ステップS105における動作は、光源制御部33および撮像素子制御部30に設定されているモードにより異なる。
グローバル露光モードが設定されている場合、図7に示す動作により1フレームの画素信号が取得される。ライン露光モードが設定されている場合、図6に示す動作により1フレームの画素信号が取得される(ステップS105)。
ステップS105の後、表示部5は、1フレームの画像を表示する(ステップS106)。ステップS106の後、ステップS100における処理が行われる。ユーザーによって画像記録操作が行われない場合、グローバル露光モードまたはライン露光モードの動作が繰り返される。
ステップS104において、画像記録操作が行われたと制御部340が判定した場合、光源制御部33および撮像素子制御部30に設定されているモードに従って1フレームの画像が取得される。つまり、図8に示すフレームiの画像が取得される(ステップS107)。
ステップS107の後、光源制御部33および撮像素子制御部30に設定されたモードがグローバル露光モードである場合(ステップS108)、記録部344は、ステップS107において取得された画像をメモリー35に記録する(ステップS112)。ステップS112の後、ステップS105における処理が行われる。ステップS112における処理が行われたときにSG露光モードが光源制御部33および撮像素子制御部30に設定されている場合、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に設定する。その後、ステップS105における処理が行われる。
ステップS107の後、光源制御部33および撮像素子制御部30に設定されたモードがグローバル露光モードでない場合(ステップS108)、モード設定部343は、SG露光モードを光源制御部33および撮像素子制御部30に設定する(ステップS109−1)。次に、光源制御部33および撮像素子制御部30に設定されているモードに従って1フレームの画像が取得される。つまり、図8に示すフレームi+2の画像が取得される(ステップS109−2)。その後、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に設定する(ステップS109−3)。図8に示すフレームi+2の画像が取得される前にフレームi+1の画像が取得されるが、この動作に関する処理は図10に示されていない。また、図8に示すフレームi+2の画像が取得された後にフレームi+3の画像が取得されるが、この動作に関する処理は図10に示されていない。
ステップS109−3の後、ローリング歪判定部342は、第1の画像と第2の画像とを用いてローリング歪の発生状況を判定する。具体的には、ローリング歪判定部342は、第1の画像の同時露光ラインのデータと、第2の画像において第1の画像の同時露光ラインに対応する行のデータとを比較する。これによって、ローリング歪判定部342は、ローリング歪の発生状況を判定する(ステップS110)。同時露光ラインにおける画素54で生成された画像は、ステップS109−2における処理により取得される。第2のスキャンにより読み出された画素信号は、ステップS107における処理により取得される。奇数行が同時露光ラインである場合、2つのフレーム画像における奇数行のデータが使用される。2つのフレーム画像において、同一行のデータが比較される。
ローリング歪の判定方法を説明する。ローリング歪判定部342は、ステップS109−2において取得された第1の画像のうち同時露光ラインのデータを抽出する。抽出されたデータは、基準画像を構成する。さらに、ローリング歪判定部342は、ステップS107において取得された第2の画像のうち第1の画像の同時露光ラインに対応する行のデータを抽出する。抽出されたデータは、部分画像を構成する。ローリング歪判定部342は、基準画像および部分画像の幾何学的歪を補正した後に、それぞれの画像における特徴点を抽出する処理を行う。ローリング歪判定部342は、基準画像および部分画像における特徴点を対応付ける。ローリング歪判定部342は、各特徴点の動きベクトルを算出する。
図11Aから図11Dは、被写体SBの基準画像および部分画像の幾何学的歪を補正した後の画像を示している。図11Aから図11Dにおいて、被写体SBの背景の画像は省略されている。説明を簡略化するため、被写体SBの構造は立方体である。図11Aは、基準画像における被写体SBの画像を示している。基準画像においてローリング歪は発生していない。図11Bは、部分画像における被写体SBの画像を示している。部分画像においてローリング歪が発生することにより、被写体SBが歪んでいる。
図11Cは、ローリング歪が発生していない部分画像における被写体SBの画像を示している。図11Cにおいて、被写体SBが先端20に対して平行に移動した、あるいは先端20が被写体SBに対して平行に移動したことにより、被写体SBの像が所定方向に平行に移動している。図11Cにおける破線は、移動前の被写体SBを示している。全ての移動ベクトルV1の方向および大きさは同一である。
図11Dは、ローリング歪が発生している部分画像における被写体SBの画像を示している。図11Dにおける破線は、移動前の被写体SBを示している。被写体SBの上部における移動ベクトルV2および被写体SBの下部における移動ベクトルV3の方向および大きさは異なる。
全ての動きベクトルの方向のばらつきが第3の閾値以下であり、かつ全ての動きベクトルの大きさのばらつきが第4の閾値以下である場合(図11C)、ローリング歪判定部342は、ローリング歪みがないと判定する。それ以外の場合(図11D)、ローリング歪判定部342は、ローリング歪みがあると判定する。ローリング歪みがあると判定される場合、ローリング歪判定部342は、ローリング歪の発生量を細かく判定してもよい。例えば、全ての動きベクトルの方向のばらつきが第3の閾値よりも大きくかつ第5の閾値以下であり、かつ全ての動きベクトルの大きさのばらつきが第4の閾値よりも大きくかつ第6の閾値以下である場合、ローリング歪判定部342は、ローリング歪が小さいと判定してもよい。あるいは、全ての動きベクトルの方向のばらつきが第5の閾値よりも大きい場合、または全ての動きベクトルの大きさのばらつきが第6の閾値よりも大きい場合、ローリング歪判定部342は、ローリング歪が大きいと判定してもよい。動きベクトルの方向および大きさのばらつきを示す指標には、標準偏差あるいは分散を用いてもよいし、最大値と最小値との差を用いてもよい。
ステップS110において判定されたローリング歪が所定量以下である場合(ステップS111)、ステップS112における処理が行われる。つまり、ローリング歪みがない場合、またはローリング歪が小さい場合、ステップS112における処理が行われる。したがって、画像記録指示が受け付けられた後、記録部344は、ローリング歪判定部342によってローリング歪が所定量以下であると判定された画像(第2の画像)をメモリー35に記録する。ステップS107において取得された画像がメモリー35に記録される。これによって、ローリング歪が小さい画像を記録することができる。ステップS112の後、ステップS105における処理が行われる。
ステップS110において判定されたローリング歪が所定量よりも大きい場合(ステップS111)、ローリング歪判定部342は、ローリング歪が所定量よりも大きいと連続的に判定された回数を確認する(ステップS113)。例えば、ローリング歪が所定量よりも大きいと連続的に判定された回数を示すカウンタが使用されてもよい。ステップS113においてローリング歪が所定量よりも大きいと連続的に判定された回数が10以内である場合、ステップS107における処理が行われる。つまり、ローリング歪が所定量よりも大きい状況が継続する場合、ステップS107およびステップS109−2における画像の取得が繰り返される。この場合、撮像素子21は、光源32が点灯しているときに全ての同時露光ラインにおける画素54で生成された画素信号を用いた画像(第1の画像)と、第2のスキャンにより読み出された画素信号を用いた画像(第2の画像)とを繰り返し生成する。
ステップS113においてローリング歪が所定量よりも大きいと連続的に判定された回数が10よりも多い場合、表示処理部341は、メッセージを表示するためのグラフィックデータを生成する。表示処理部341によって生成されたグラフィックデータは画像処理部31に出力される。画像処理部31は、画像処理が行われた画像データと、グラフィックデータとを合成することにより表示用の映像信号を生成する。表示部5は、画像処理部31から出力された映像信号に基づいてメッセージを表示する(ステップS114)。これによって、表示部5は、ローリング歪判定部342によって判定されたローリング歪の発生状況を表示する。
図12は、ステップS114において表示部5によって表示される画像G10を示している。画像G10は、ウィンドウW10を含む。ウィンドウW10は、ローリング歪の発生状況を示すメッセージM10を含む。さらに、ウィンドウW10は、ユーザーに対応方法を選択させるためのメッセージM11、メッセージM12、およびメッセージM13を含む。メッセージM11は、画像記録処理の中止を示す。メッセージM12は、画像の再取得を示す。メッセージM13は、ローリング歪を含む画像の記録を示す。さらに、ウィンドウW10は、各メッセージに対応して設けられたチェックボックスB10を含む。大きなローリング歪が発生する状況が継続している場合、内視鏡装置1は、画像の再取得をユーザーに促す。ユーザーは、操作部4を操作することにより、チェックボックスB10に選択結果を入力する(ステップS115)。
ステップS115においてユーザーによって画像記録の中止が選択された場合、ステップS105における処理が行われる。つまり、メッセージM11に対応する方法が選択された場合、ステップS105における処理が行われる。SG露光モードが光源制御部33および撮像素子制御部30に設定されているため、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に設定する。その後、ステップS105における処理が行われる。
ステップS115においてユーザーによって画像の再取得が選択された場合、ステップS107における処理が行われる。つまり、メッセージM12に対応する方法が選択された場合、ステップS107における処理が行われる。画像が再度取得されることにより、ローリング歪が小さい画像を取得できる可能性がある。
ステップS115においてユーザーによって画像の記録が選択された場合、ステップS112における処理が行われる。つまり、メッセージM13に対応する方法が選択された場合、ステップS112における処理が行われる。この場合、ステップS112において、記録部344は、ローリング歪判定部342によってローリング歪が所定量よりも大きいと判定された画像をメモリー35に記録する。ステップS107において取得された画像がメモリー35に記録される。
ステップS113における判定に使用される閾値は10以外の数であってもよい。また、ステップS113における判定に用いる指標は、ステップS104で画像記録操作が行われたと判定されたタイミングからの経過時間であってもよい。この場合、ステップS113において、経過時間が例えば1秒以内であるか否かが判定される。
ステップS114からステップS115までの処理と、ステップS107からステップS111までの処理とを並列化してもよい。つまり、ステップS114における処理によりメッセージM12が表示された後、ステップS115における処理によりユーザーが選択を行うまで、ステップS107からステップS111における処理を繰り返すようにしてもよい。その場合、ステップS111でローリング歪が所定量よりも小さいと判定されたときには、ローリング歪が小さい画像が取得できた旨を伝える別のメッセージに表示を切り替える処理が行われる。その後、ステップS112における処理が行われる。
図13および図14は、温度センサー23によって測定された温度が第1の閾値以下である場合の内視鏡装置1の他の動作を示している。図13および図14を参照し、内視鏡装置1の動作を説明する。図13および図14は、計測処理に対応している。表示部5は、被写体の画像を連続的に表示する。ユーザーは、画像を記録したいタイミングで操作部4を操作することにより、計測操作を行う。ユーザーは、計測操作により、計測指示を内視鏡装置1に入力することができる。図13および図14に示す処理について、図9および図10に示す処理と異なる点を説明する。
図9に示すステップS104は、ステップS120に変更される。制御部340は、操作部4からの信号に基づいて、計測操作が行われたか否かを判定する(ステップS120)。ステップS120において、計測操作が行われたと制御部340が判定した場合、ステップS107における処理が行われる。ステップS120において、計測操作が行われていないと制御部340が判定した場合、ステップS105における処理が行われる。
図10に示すステップS112は、ステップS121に変更される。計測部345は、計測処理を行う(ステップS121)。計測処理において、計測部345は、ユーザーによって指定された計測点の3次元座標を算出する。計測部345は、各計測点の3次元座標に基づいて、被写体の大きさを計測する。例えば、計測部345は、2点間の距離、計測点から基準線までの長さ、領域の面積、および領域の周長の少なくとも1つを計測する。ステップS110において判定されたローリング歪が所定量以下である場合(ステップS111)、ローリング歪みが小さい画像がステップS121における計測処理に使用される。つまり、計測指示が受け付けられた後、計測部345は、ローリング歪判定部342によってローリング歪が所定量以下であると判定された画像(第2の画像)を使用して被写体の計測を行う。これによって、ローリング歪が小さい画像を使用して計測処理を行うことができる。つまり、計測精度の低下を回避することができる。計測処理において、計測部345による処理が行われた後、記録部344は、第2の画像に計測の結果を付加し、かつ第2の画像をメモリー35に記録する。ステップS121における画像のメモリー35への記録をステップS121の最初に行い、かつ最後に計測結果をメモリー35に追加するようにしてもよい。ステップS110においてローリング歪がないと判定された場合のみ、ステップS121における処理が行われてもよい。ステップS121の後、ステップS105における処理が行われる。
上記以外の点について、図13および図14に示す処理は、図9および図10に示す処理と同様である。
上記のように、内視鏡装置1は、第1の画像および第2の画像を取得する。第1の画像は、第1のモードであるSG露光モードの動作により取得される。第1の画像は、同時に露光された同時露光ラインにおける画素54から読み出された画素信号を用いて生成される。同時露光ラインの画像にはローリング歪がない。第2の画像は、第2のモードであるライン露光モードの動作により取得される。ローリング歪判定部342は、第1の画像における同時露光ラインのデータと、第2の画像において第1の画像の同時露光ラインに対応する行のデータとを比較することによりローリング歪の発生状況を判定する。ローリング歪判定部342によって判定されたローリング歪の発生状況と、第2の画像に割り当てられた役割とに応じて、第2の画像に対する処理が切り替わる。第2の画像に割り当てられた役割は、記録および計測のいずれか1つである。
上記のように、内視鏡装置1は、第2のスキャンにより読み出された画素信号を用いた画像を使用して処理を行う処理部である記録部344および計測部345を有する。記録部344および計測部345は、ローリング歪判定部342によってローリング歪が所定量以下であると判定された画像を使用して処理を行う。
本発明の各態様の内視鏡装置は、光源32、光源制御部33、観察光学系60、撮像素子21、撮像素子制御部30、ローリング歪判定部342、およびモード設定部343以外の構成を有していなくてもよい。
図10および図14に示すステップS107において取得される画像は、図8のフレームiの画像である。フレームi+1、フレームi+2、フレームi+3、およびフレームi+4を1単位とする動作が繰り返されてもよい。フレームi+4における動作は、フレームiにおける動作と同一である。この場合、ステップS107において取得される画像は、フレームi+4の画像である。
フレームiおよびフレームi+4の両方において画像が取得されてもよい。つまり、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に設定した後、SG露光モードを光源制御部33および撮像素子制御部30に設定する。SG露光モードが設定された後、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に再度設定する。ローリング歪判定部342は、フレームiおよびフレームi+4の画像におけるローリング歪の判定を行ってもよい。この場合、フレームi、フレームi+1、フレームi+2、フレームi+3、およびフレームi+4を1単位とする動作が繰り返される。フレームiおよびフレームi+4の画像のいずれか1つが記録または計測に使用される。ローリング歪の判定に使用される画像が増加することにより、ステップS111でローリング歪が所定量よりも大きいと判定される確率を減らすことができる。その結果、ステップS115の処理でユーザー操作を必要とする頻度を抑えることができ、かつ使い勝手を向上することができる。
図9および図10に示す処理は、以下のように変更されてもよい。ユーザーは、画像を記録したいタイミングで操作部4を操作することにより、フリーズ操作を行う。ユーザーは、フリーズ操作により、フリーズ指示を内視鏡装置1に入力することができる。ステップS104において、制御部340は、操作部4からの信号に基づいて、フリーズ操作が行われたか否かを判定する。
ステップS112における処理が行われる前に表示部5は、被写体の画像をフリーズ表示する。具体的には、表示処理部341は、画像処理部31にフリーズを指示する。画像処理部31は、ステップS107において取得された画像に対応する映像信号を表示部5に出力し、かつ画像のフリーズ処理を行う。つまり、画像処理部31は、同一の映像信号を表示部5に出力し続ける。表示部5は、画像処理部31から出力された映像信号に基づいて被写体の画像をフリーズ表示する。フリーズ表示された画像の画質をユーザーが確認した後、ステップS112における処理が行われる。
ステップS110において判定されたローリング歪が所定量以下である場合(ステップS111)、画像がフリーズ表示される。つまり、ローリング歪みがない場合、またはローリング歪が小さい場合、画像がフリーズ表示される。したがって、フリーズ指示が受け付けられた後、表示部5は、ローリング歪判定部342によってローリング歪が所定量以下であると判定された画像(第2の画像)をフリーズ表示する。画像がフリーズ表示された後、画像記録指示が受け付けられた場合、記録部344は、ローリング歪判定部342によってローリング歪が所定量以下であると判定された画像(第2の画像)をメモリー35に記録する。これによって、ローリング歪が小さいことをユーザーが確認した画像を記録することができる。
図13および図14に示す処理においてフリーズ表示が行われてもよい。例えば、ステップS121における処理が行われる前に表示部5は、上記と同様の処理により、被写体の画像をフリーズ表示する。フリーズ表示された画像の画質をユーザーが確認した後、ステップS121における処理が行われる。つまり、画像がフリーズ表示された後、計測指示が受け付けられた場合、計測部345は、ローリング歪判定部342によってローリング歪が所定量以下であると判定された画像(第2の画像)を使用して被写体の計測を行う。これによって、ローリング歪が小さいことをユーザーが確認した画像を使用して計測処理を行うことができる。
上記のように、画像がフリーズ表示された後、処理指示(画像記録指示または計測指示)が受け付けられた場合、記録部344および計測部345は、ローリング歪判定部342によってローリング歪が所定量以下であると判定された画像を使用して処理を行う。
第1の実施形態において、高速読み出し駆動が不要であるため、撮像素子の発熱を抑えることができる。また、ローリング歪判定部342がローリング歪の発生状況を判定することにより、ローリング歪が小さい画像を取得することができる。
SG露光モードにおいて、同時露光ラインの画素信号で構成された画像が取得される。同時露光ラインにおける全ての画素54で露光が同時に行われるため、ローリング歪は発生しない。ローリング歪判定部342は、この画像を使用することにより、ローリング歪の発生状況を確実に判定することができる。
複数の画素54の配列における全ての行の半分が同時露光ラインである場合、図8に示す時刻t24から時刻t26までの期間および時刻t26から時刻t27までの期間は、フレーム周期の半分である。この場合、同時露光ラインにおける画素54の露光期間として比較的長い期間が確保される。内視鏡装置1を使用してより狭い空間内を観察できるようにするためには、挿入部2が細径化されることが望ましい。挿入部2が細径化され、かつ光学アダプター6の照明光学系61が小さくなった場合、照明光量が不足しやすい。第1の実施形態では、SG露光可能期間を比較的長くできるため、同時露光ラインにおける画素54の露光量を多くできる。これによって、画像のS/Nが改善するため、挿入部2が細径化された内視鏡装置1においてもローリング歪の検出精度が高くなる。
(第2の実施形態)
本発明の第2の実施形態の内視鏡装置1において、第1の実施形態におけるCPU34は、図15に示すCPU34aに変更される。図15は、CPU34aの機能構成を示している。図15に示す構成について、図3に示す構成と異なる点を説明する。
CPU34aは、図3に示す構成に加えて、ブレ判定部346を有する。ブレ判定部346は、複数のフレームの画像を比較することにより、第1の画像および第2の画像におけるブレ(モーションブラー)の発生状況を判定する。ブレ判定部346が判定を行う画像は、2フレームの画像である。ブレ判定部346が判定を行う画像は、ライン露光モードの動作により取得された2フレームの画像(第2の画像)、あるいはSG露光モードの動作により取得された2フレームの画像(第1の画像)である。これらの画像は、同時に露光された同時露光ラインにおける画素54から読み出された画素信号を用いて生成される。
具体的には、フリーズ、画像記録、および計測のいずれか1つの指示が受け付けられたとき、ブレ判定部346は、第2の画像におけるブレの発生状況を判定する。ブレ判定部346によって第2の画像におけるブレが所定量以下であると判定された場合、モード設定部343は、SG露光モードを光源制御部33および撮像素子制御部30に設定する。ブレ判定部346によって第1の画像におけるブレが所定量以下であると判定された場合、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に設定する。
上記以外の点について、図15に示す構成は、図3に示す構成と同様である。
第1の実施形態における図9および図10に示す動作は、図9、図16、および図17に示す動作に変更される。図9に示す動作は、第1および第2の実施形態において共通である。第1の実施形態における図10に示す動作は、図16および図17に示す動作に変更される。図16および図17を参照し、内視鏡装置1の動作を説明する。図16および図17に示す動作において、図10に示す動作と異なる点を説明する。
ステップS104において、画像記録操作が行われたと制御部340が判定した場合、ステップS107における処理が行われる。ステップS107の後、ステップS107における処理と同様の処理が再度行われる(ステップS130−1)。ステップS107およびステップS130−1における処理により、グローバル露光モードあるいはライン露光モードで2フレームの画像が取得される。
ステップS130−1の後、ブレ判定部346は、グローバル露光モードあるいはライン露光モードの動作により取得された2フレームの画像を比較することにより、モーションブラーの発生状況を判定する(ステップS131−1)。ステップS131−1において判定されたモーションブラーが所定量よりも大きい場合(ステップS132−1)、ステップS130−1における処理が行われる。その後、ステップS131−1における判定が再度行われる。つまり、モーションブラーが所定量よりも大きい状況が継続する場合、ステップS130−1における画像の取得が繰り返される。この場合、撮像素子21は、光源32が点灯しているときに全ての画素54で生成された画素信号を用いた画像(第2の画像)を繰り返し生成する。ステップS131−1における2回目以降の判定において、その直前のステップS130−1において取得された画像と、1回前にステップS131−1における判定が行われる直前にステップS130−1において取得された画像とが使用される。ステップS131−1において判定されたモーションブラーが所定量以下である場合(ステップS132−1)、ステップS108における処理が行われる。ステップS107およびステップS130−1において第2の画像が取得される毎に、取得された第2の画像は表示部5に表示される。
光源制御部33および撮像素子制御部30に設定されたモードがグローバル露光モードである場合(ステップS108)、ステップS112における処理が行われる。ステップS104において、画像記録操作が行われたと制御部340が判定し、かつ光源制御部33および撮像素子制御部30に設定されたモードがグローバル露光モードでない場合(ステップS108)、ステップS109−1およびステップS109−2における処理が行われる。
ステップS109−2の後、ステップS109−2における処理と同様の処理が再度行われる(ステップS130−2)。ステップS109−2およびステップS130−2における処理により、SG露光モードで2フレームの画像が取得される。例えば、図8に示すフレームi+1からフレームi+3で構成される動作が2回行われる。
ステップS130−2の後、ブレ判定部346は、SG露光モードの動作により取得された2フレームの画像を比較することにより、モーションブラーの発生状況を判定する(ステップS131−2)。ステップS131−2において判定されたモーションブラーが所定量よりも大きい場合(ステップS132−2)、ステップS130−2における処理が行われる。その後、ステップS131−2における判定が再度行われる。つまり、モーションブラーが所定量よりも大きい状況が継続する場合、ステップS130−2における画像の取得が繰り返される。この場合、撮像素子21は、光源32が点灯しているときに全ての同時露光ラインにおける画素54で生成された画素信号を用いた画像(第1の画像)を繰り返し生成する。ステップS131−2における2回目以降の判定において、その直前のステップS130−2において取得された画像と、1回前にステップS131−2における判定が行われる直前にステップS130−2において取得された画像とが使用される。ステップS109−2およびステップS130−2において取得される第1の画像は、表示部5に表示されない。
ステップS131−2において判定されたモーションブラーが所定量以下である場合(ステップS132−2)、ステップ109−3における処理と、ステップS110における処理とが行われる。モーションブラーがない場合のみ、ステップ109−3およびステップS110における処理が行われてもよい。
上記以外の点について、図16および図17に示す動作は、図10に示す動作と同様である。
図9に示すステップS104が図13に示すステップS120に変更され、かつ図17に示すステップS112が図14に示すステップS121に変更されてもよい。
第2の実施形態において、ローリング歪だけでなく手ブレおよび被写体ブレのない画像がローリング歪の判定に使用される。このため、ローリング歪判定の精度が向上する。その結果、より高画質な画像の記録およびより高精度な計測を実現することができる。
なお、ステップS130−1およびステップS130−2の処理をなくして、ブレ判定部346は1フレームの画像を解析してブレの発生状況を判定するようにしてもよい。
また、ステップS107の後はすぐにステップS108に処理が進むようにしてもよい。具体的には、フリーズ、画像記録、および計測のいずれか1つの指示が受け付けられたとき、モード設定部343は、SG露光モード(第1のモード)を光源制御部33および撮像素子制御部30に設定する。ブレ判定部346によって第1の画像におけるブレが所定量以下であると判定された場合、モード設定部343は、ライン露光モード(第2のモード)を光源制御部33および撮像素子制御部30に設定する。あるいは、ステップS107とステップS108との間の処理は変更されず、かつステップS109−2の後はすぐにステップS109−3に処理が進むようにしてもよい。これらの構成では、ユーザーが計測操作を行ってからローリング歪の有無が判明するまでの時間を短縮することができる。
(第3の実施形態)
図1および図2に示す内視鏡装置1を使用して、本発明の第3の実施形態を説明する。第3の実施形態において、温度センサー23によって測定された温度が第1の閾値以下であり、かつ第2の閾値よりも高い場合、ライン露光モードおよびSG露光モードで画像が順次取得される。例えば、第1の閾値は80℃であり、かつ第2の閾値は60℃である。表示部5は、ライン露光モードで取得された画像を表示する。ローリング歪判定部342は、ライン露光モードで取得された画像およびSG露光モードで取得された画像を使用してローリング歪の判定を行う。ローリング歪判定部342によって、所定量よりも大きいローリング歪が発生していると判定された場合、表示部5は、警告を表示する。
第1の実施形態における図9および図10に示す動作は、図18および図19に示す動作に変更される。図18および図19を参照し、内視鏡装置1の動作を説明する。図18および図19に示す動作において、図9および図10に示す動作と異なる点を説明する。
ステップS102またはステップS103の後、ステップS105における処理が行われる。前述したように、グローバル露光モードが設定されている場合、ステップS105において、図7に示す動作により1フレームの画素信号が取得される。ライン露光モードが設定されている場合、ステップS105において、図6に示す動作により1フレームの画素信号が取得される。ステップS105の後、ステップS106における処理が行われる。ステップS106の後、設定されているモード(ステップS108)に応じて、ステップS104における処理が行われる。あるいは、ステップS109−1、ステップS109−2、およびステップS109−3における処理が行われる。
ステップS110において判定されたローリング歪が所定量よりも大きい場合(ステップS111)、表示処理部341は、歪警告アイコンを表示するためのグラフィックデータを生成する。表示処理部341によって生成されたグラフィックデータは画像処理部31に出力される。画像処理部31は、画像処理が行われた画像データと、グラフィックデータとを合成することにより表示用の映像信号を生成する。表示部5は、画像処理部31から出力された映像信号に基づいて歪警告アイコンを表示する(ステップS140)。これによって、表示部5は、警告を表示する。
図20は、ステップS140において表示部5によって表示される画像G11を示している。画像G11の被写体SBにローリング歪が発生している。画像G11は、歪み警告アイコンIC10を含む。歪み警告アイコンIC10は、所定量よりも大きいローリング歪の発生をユーザーに通知するマークである。歪み警告アイコンIC10が表示されることにより、ユーザーは、所定量よりも大きいローリング歪が発生していることを知ることができる。
光源制御部33および撮像素子制御部30に設定されたモードがグローバル露光モードである場合(ステップS108)、ステップS104における処理が行われる。ステップS110において判定されたローリング歪が所定量以下である場合(ステップS111)、ステップS104における処理が行われる。ステップS140における処理が行われた後、ステップS104における処理が行われる。
ステップS104において、画像記録操作が行われていないと制御部340が判定した場合、ステップS100における処理が行われる。ステップS104において、画像記録操作が行われたと制御部340が判定した場合、ステップS112における処理が行われる。この場合、記録部344は、ステップS105において取得された画像をメモリー35に記録する。ステップS112における処理が行われた後、ステップS100における処理が行われる。
上記以外の点について、図18および図19に示す動作は、図9および図10に示す動作と同様である。
図19に示すステップS104が図13に示すステップS120に変更され、かつ図19に示すステップS112が図14に示すステップS121に変更されてもよい。
上記のように、表示部5によって警告が表示された後、処理指示(画像記録指示または計測指示)が受け付けられた場合、記録部344および計測部345は、ローリング歪判定部342によらずステップS105における処理により取得された画像を使用して指示された処理を行う。
歪警告アイコンが表示されている状態で画像記録操作または計測操作が行われた場合、ユーザーに対する注意喚起が行われてもよい。その後、ライン露光モードの動作により、ローリング歪がない画像が取得できた場合、画像の記録あるいは計測が行われてもよい。つまり、表示部5によって警告が表示された後、処理指示が受け付けられた場合、記録部344および計測部345は、ローリング歪判定部342によってローリング歪が所定量以下であると判定され、かつステップS105における処理により取得された画像を使用して処理を行ってもよい。
図21は、ユーザーに対する注意喚起のために表示部5によって表示される画像G12を示している。画像G12は、ウィンドウW11を含む。ウィンドウW11は、ローリング歪の発生状況を示すメッセージM14を含む。さらに、ウィンドウW11は、ユーザーに対応方法を選択させるためのメッセージM15、メッセージM16、およびメッセージM17を含む。メッセージM15は、ローリング歪が収まった後における画像記録処理または計測処理の実行を示す。メッセージM16は、画像記録処理または計測処理の中止を示す。メッセージM17は、ローリング歪が発生している画像の使用を示す。さらに、ウィンドウW11は、各メッセージに対応して設けられたチェックボックスB11を含む。ユーザーは、操作部4を操作することにより、チェックボックスB11に選択結果を入力する。メッセージM15に対応する方法が選択された場合、ローリング歪が所定量以下になるまで、ライン露光モードおよびSG露光モードによる画像の取得と、ローリング歪の判定とが繰り返される。
第3の実施形態において、歪警告アイコンが表示されている場合、ユーザーは、画像記録操作または計測操作を避けることにより、所定量よりも大きいローリング歪が発生している画像が使用される可能性を減らすことができる。
(第4の実施形態)
図1および図2に示す内視鏡装置1を使用して、本発明の第4の実施形態を説明する。第1の実施形態では、撮像領域の全体でローリング歪を検出できるように、奇数ラインの画素54が同時露光ラインに設定される。第4の実施形態では、関心領域が予め設定されている場合、関心領域に含まれる行が同時露光ラインに設定される。これによって、ローリング歪判定部342は、関心領域の位置に応じてローリング歪の判定を行うことができる。同時露光ラインに設定される行の数は、関心領域における画素54の露光に必要な時間に応じて決定される。例えば、フレーム周期の3分の1の露光時間が必要である場合、同時露光ラインに設定される行の数の上限は、全ての行の数の3分の2である。
図22は、ライン露光およびSG露光を組み合わせたモードにおける撮像素子21と光源32との動作を示している。図22の上側の図において、横方向は時間を示し、縦方向は撮像素子21の画素54の行位置を示している。図22では、8行の画素54における動作が示されている。最も上の行が1行目であり、最も下の行が8行目である。図22の下側の図において、横方向は時間を示す、縦方向は光源32の状態を示している。「ON」は、光源32が点灯している状態を示す。「OFF」は、光源32が消灯している状態を示す。
図22において、複数の画素54の配列における各行の電荷蓄積および読み出しのタイミングが示されている。図22に示す動作の大部分は、図8に示す動作と同様である。図22に示す動作について、図8に示す動作と異なる点を説明する。時刻t24から時刻t27までの期間における撮像素子21の制御が、図8に示す動作と異なる。
図22において、同時露光ラインは、連続する2以上の行を含む。具体的には、関心領域が撮像領域の一部に設定され、その関心領域を含む複数の行が同時露光ラインになる。図22は、関心領域が撮像領域の中央に設定された場合を示す。図22において、同時露光ラインは、撮像領域の中心から上側および下側にそれぞれ全ての行数の4分の1だけ広がる。つまり、同時露光ラインは、3行目から6行目である。
時刻t24において、3行目の画素54の画素信号の読み出しが開始される。時刻t24において、同時露光ラインの画素54のフレームi+1の画素信号の読み出しが開始される。その後、同時露光ラインの画素54のフレームi+1の画素信号の読み出しが行毎に順次行われる。時刻t25において、6行目の画素54の画素信号の読み出しが開始される。時刻t25から所定時間が経過した時刻t26において、同時露光ラインの画素54のフレームi+1の画素信号の読み出しが終了する。時刻t26から時刻t27までの期間に、非同時露光ラインである1行目、2行目、7行目、および8行目の画素54の画素信号の読み出しが行われる。
上記以外の点について、図22に示す動作は、図8に示す動作と同様である。なお、光源32を点灯から消灯に切り換えるタイミングを、最初の同時露光ラインである3行目の画素54のフレームi+2の画素信号の読み出しが開始される時刻t27−2まで遅らせられるようにしてもよい。この場合、SG露光可能期間をより長くすることができる。
過去にライン露光モードで取得された画像において、テクスチャーの強い領域、および中間階調の領域が最大限に関心領域に含まれるように関心領域が自動的に設定されてもよい。また、同時露光ラインとして設定される行の数が上限を超えない限り、関心領域が複数に分割されてもよい。
第4の実施形態において、関心領域は、連続する2以上の行で構成される。関心領域において、特に行に直交する方向すなわち垂直方向について動きベクトルの検出精度が上がる。このため、第1の実施形態において検出されるローリング歪よりも小さなローリング歪を検出することができる。
(第5の実施形態)
図1および図2に示す内視鏡装置1を使用して、本発明の第5の実施形態を説明する。第5の実施形態における撮像素子21は、グローバルリセット機能を備える。撮像素子21は、グローバルリセット機能により、全ての画素54の電荷を同時にリセットした後、全ての画素54において電荷蓄積を再開する。これによって、全ての画素54における露光開始時刻が同一になる。
第1の実施形態における図6および図7に示す動作は、第5の実施形態においても同様である。第1の実施形態における図8に示す動作は、図23に示す動作に変更される。
図23は、ライン露光およびSG露光を組み合わせたモードにおける撮像素子21と光源32との動作を示している。図23の上側の図において、横方向は時間を示し、縦方向は撮像素子21の画素54の行位置を示している。図23では、8行の画素54における動作が示されている。最も上の行が1行目であり、最も下の行が8行目である。図23の下側の図において、横方向は時間を示す、縦方向は光源32の状態を示している。「ON」は、光源32が点灯している状態を示す。「OFF」は、光源32が消灯している状態を示す。
図23において、複数の画素54の配列における各行の電荷蓄積および読み出しのタイミングが示されている。図23に示す動作は、3つのフレームの動作で構成される。フレームiがライン露光を行うフレームであり、かつフレームi+1がSG露光を行うフレームである。フレームi+3における動作は、フレームiにおける動作と同一である。フレームi+3に続くフレームi+4における動作は、フレームi+1における動作と同一である。
図23において、1行目の画素54において前のフレームの画素情報の読み出しが完了したタイミングすなわち蓄積可能期間の開始タイミングを基準にしたフレーム周期が示されている。フレームiにおいて、第2のモードであるライン露光モードによる動作が行われる。フレームiにおける動作は、図8に示す動作と同様である。
フレームi+1およびフレームi+2における動作を説明する。フレームi+1およびフレームi+2において、第1のモードであるSG露光モードによる動作が行われる。図23に示す動作において、モード設定部343は、ライン露光モードを光源制御部33および撮像素子制御部30に設定した後、SG露光モードを光源制御部33および撮像素子制御部30に設定する。
フレームi+1において、時刻t30から時刻t31まで、行の配列順に各行の画素54の蓄積可能期間が順次開始される。この動作は、図8に示す時刻t22から時刻t24までの期間における動作と同様である。
フレームi+1において画素54で生成された画素信号が読み出されるとき、画素信号の読み出しが行われる行の順番は、ライン露光モードにおける順番と異なる。つまり、撮像素子21によってスキャンされる行の順番は、ライン露光モードにおける順番と異なる。具体的には、奇数行の画素54の画素信号の読み出しが先に行われる。奇数行の画素54の画素信号の読み出しが終了した後、偶数行の画素54の画素信号の読み出しが行われる。
第5の実施形態において、同時露光ラインは偶数行である。フレームi+1において、同時露光ラインである2以上の行の画素54は、同時に露光される。つまり、フレームi+1において、同時露光ラインである2以上の行の画素54の露光期間は同一である。同時露光ライン以外の奇数行は、非同時露光ラインである。
SG露光モードが設定された場合、撮像素子制御部30は、撮像素子21に対して、全ての同時露光ラインにおける画素54を同時にリセットさせる。全ての画素54のフレームiの画素信号の読み出しが終了する時刻t31において、撮像素子制御部30は、同時露光ラインを含む全ての行の画素54を同時にリセットさせる。これによって、全ての画素54が同時にリセットされる。つまり、グローバルリセットが行われる。図23において、全ての行の画素54がリセットされるが、全ての同時露光ラインの画素54のみがリセットされてもよい。また、リセットのタイミングは時刻t31から時刻t32までの期間の任意のタイミングであってもよい。
グローバルリセットにより、全ての同時露光ラインにおける画素54の蓄積可能期間が同時に開始される。全ての同時露光ラインにおける画素54がリセットされた後、光源32が間欠的に消灯することにより、同時露光ラインにおける画素54の露光期間を同一にすることができる。つまり、同時露光ラインにおける画素54のフレームi+2の画素信号の生成時にSG露光を行うことができる。時刻t31から時刻t32までの期間がSG露光可能期間である。
SG露光モードが設定された場合、光源制御部33は、SG露光可能期間の全てまたは一部を含む期間に光源32を点灯させる。具体的には、全ての同時露光ラインにおける画素54が同時にリセットされた後、光源制御部33は、全ての同時露光ラインにおける画素54の蓄積可能期間が重なる期間の全てまたは一部を含む期間に光源32を点灯させる。撮像素子21は、光源32が点灯しているときに全ての同時露光ラインにおける画素54で生成された画素信号を用いた画像(第1の画像)を生成する。
グローバルリセットが行われた時刻t31の後、後述するように、時刻t32において、同時露光ラインである2行目の画素54の画素信号の読み出しが開始される。時刻t31から時刻t32までの期間において、全ての同時露光ラインにおける画素54の蓄積可能期間が重なる。光源32は、この期間に点灯している。つまり、図23において、光源32は、全ての同時露光ラインにおける画素54の蓄積可能期間が重なる期間の全てを含む期間に点灯している。時刻t31から時刻t32までの期間の一部のみにおいて光源32が点灯してもよい。時刻t31から時刻t32までの期間において、全ての同時露光ラインにおける画素54が同時に露光される。時刻t31から時刻t32までの期間において、同時露光ラインにおける画素54は、フレームi+1の露光を行う。図23において、時刻t31よりも前に、光源制御部33は、光源32に点灯状態を維持させる。
時刻t32において、2行目の画素54の画素信号の読み出しが開始される。これによって、2行目の画素54の蓄積可能期間が終了し、その後、2行目の画素54は画素信号を出力する。時刻t32において、同時露光ラインの画素54の画素信号の読み出しが開始される。その後、同時露光ラインの画素54の画素信号の読み出しが行毎に順次行われる。時刻t33において、8行目の画素54の画素信号の読み出しが開始される。これによって、8行目の画素54の蓄積可能期間が終了し、かつ8行目の画素54は画素信号を出力する。時刻t33から所定時間が経過した時刻t34において、同時露光ラインの画素54の画素信号の読み出しが終了する。
SG露光モードが設定された場合、撮像素子制御部30は、全ての同時露光ラインを連続的にスキャンすることにより同時露光ラインにおける画素54から画素信号を読み出す第1のスキャンを撮像素子21に行わせる。具体的には、全ての同時露光ラインにおける画素54が同時にリセットされた後、撮像素子制御部30は、第1のスキャンを撮像素子21に行わせる。時刻t32から時刻t34までの期間において、第1のスキャンにより同時露光ラインにおける画素54から画素信号が順次出力される。
同時露光ラインにおける画素54から、フレームi+1の画像を構成する画素信号が読み出されているとき、光源32は消灯している。SG露光モードが設定された場合、光源制御部33は、第1のスキャンが行われている期間の全てを含む期間に光源32を消灯させる。図23において、時刻t32から時刻t34を含む期間に光源32は消灯している。時刻t32において、光源制御部33は、光源32を点灯状態から消灯状態に切り替える。時刻t32から時刻t34までの期間に、全ての同時露光ラインにおける画素54から画素信号が読み出される。このため、図23において、第1のスキャンが行われている期間の全てを含む期間に光源32は消灯している。
撮像素子制御部30は、同時露光ラインの画素54のうち最初にフレームi+1の電荷蓄積を開始する画素54における蓄積可能期間が終了する基準タイミングよりも前にグローバルリセットを撮像素子21に行わせる。同時露光ラインの画素54のうち最初にフレームi+1の電荷蓄積を開始する画素54は、2行目の画素54である。撮像素子制御部30は、グローバルリセットのタイミングから基準タイミングまでの時間が、画像処理部31によって適正と判断された露光時間となるように、グローバルリセットのタイミングを決定する。グローバルリセットのタイミングは、同時露光ラインの画素54のうち最後にフレームi+1の電荷蓄積を開始する画素54における蓄積可能期間が開始されるタイミングと同一である。あるいは、グローバルリセットのタイミングは、同時露光ラインの画素54のうち最後にフレームi+1の電荷蓄積を開始する画素54における蓄積可能期間が開始されるタイミングよりも後である。同時露光ラインの画素54のうち最後にフレームi+1の電荷蓄積を開始する画素54は、8行目の画素54である。
光源制御部33は、同時露光ラインの画素54のうち最初にフレームi+1の電荷蓄積を開始する画素54における蓄積可能期間が終了するタイミングで光源32を消灯させる。光源制御部33は、同時露光ラインの画素54のうち最後にフレームi+1の電荷蓄積を開始する画素54における蓄積可能期間が開始されるタイミングよりも後、かつ同時露光ラインの画素54のうち最初にフレームi+3の電荷蓄積を開始する画素54における蓄積可能期間が開始されるタイミングよりも前に光源32を点灯させる。同時露光ラインの画素54のうち最初にフレームi+3の電荷蓄積を開始する画素54は、2行目の画素54である。
上記のように、全ての同時露光ラインにおける画素54の蓄積可能期間が重なる期間に、撮像素子制御部30は、非同時露光ラインにおける画素54から画素信号を読み出すスキャンを撮像素子21に行わせる。これによって、非同時露光ラインにおける画素54から、フレームi+1の画像を構成する画素信号が読み出される。図23に示す時刻t31から時刻t32までの期間に、非同時露光ラインである奇数行の画素54の画素信号の読み出しが行われる。その後、時刻t32から時刻t34までの期間に、第1のスキャンにより全ての同時露光ラインにおける画素54から、フレームi+1の画像を構成する画素信号が読み出される。撮像素子21は、時刻t32から時刻t34までの期間に第1のスキャンにより読み出された画素信号を用いた画像(第1の画像)を生成する。
図23に示す時刻t32において、2行目の画素54の画素信号の読み出しが開始される。その後、時刻t34において、8行目の画素54の画素信号の読み出しが終了する。時刻t32から時刻t34までの期間において、同時露光ラインの画素54の画素信号が読み出される。光源32は、この期間に消灯している。つまり、図23において、光源32は、同時露光ラインの画素54の画素信号が読み出される期間に消灯している。光源制御部33は、同時露光ラインの画素54のうち最初に画素信号が読み出される画素54においてフレームi+1の画素信号の読み出しが開始されるタイミングで光源32を消灯させる。あるいは、グローバルリセットのタイミングよりも後で、かつ同時露光ラインの画素54のうち最初に画素信号が読み出される画素54においてフレームi+1の画素信号の読み出しが開始されるタイミングよりも前で光源制御部33は光源32を消灯させる。同時露光ラインの各画素54の画素信号の読み出しが行われている期間を含む期間に、光源制御部33は、光源32に消灯状態を維持させる。
フレームi+1の画像は、ローリング歪判定部342によって使用される。フレームi+1における各非同時露光ラインの画素54の露光時間は非同時露光ライン毎に異なる。このため、表示処理部341は、フレームi+1の画像を構成する映像信号を表示部5に出力しないように画像処理部31を制御する。表示部5は、フレームi+1の画像を表示しない。したがって、表示部5は、フレームi+1の画像(第1の画像)およびフレームiの画像(第2の画像)のうちフレームiの画像のみを表示する。
前述したように、グローバル露光モードが設定された場合、撮像素子制御部30は、フレーム周期よりも短い期間において第2のスキャンを撮像素子21に行わせる。撮像素子21は、グローバル露光モードにおける第2のスキャンにより読み出された画素信号を用いて第3の画像を生成する。表示部5は、フレームi+1の画像(第1の画像)、フレームiの画像(第2の画像)、および第3の画像のうちフレームiの画像と第3の画像とのみを表示してもよい。
時刻t34において、1行目の画素54のフレームi+2の画素信号の読み出しが開始される。時刻t34において、光源制御部33は、光源32を消灯状態から点灯状態に切り替える。その後、第2のスキャンにより各行の画素54の画素信号の読み出しが行われる。この第2のスキャンにより全ての画素54から読み出された画素信号は、フレームi+2の画像を構成する。フレームi+2における各行の画素54の露光時間は行毎に異なる。このため、表示処理部341は、フレームi+2の画像を構成する映像信号を表示部5に出力しないように画像処理部31を制御する。表示部5は、フレームi+2の画像を表示しない。
フレームi+1において、第1のスキャンにより全ての同時露光ラインにおける画素54からフレームi+1の画素信号が読み出される期間を除く期間(時刻t31から時刻t32までの期間)に、同時露光ラインにおける全ての画素54が同時に露光可能となる。同時露光ラインにおける全ての画素54が同時に露光される期間に、全ての非同時露光ラインにおける画素54からフレームi+1の画素信号が読み出される。
図23において、同時露光ラインおよび非同時露光ラインが4行、すなわち撮像素子21の画素54の全ての行数の半分であるため、同時露光ラインにおける画素54の露光時間は、フレーム周期の半分である。同時露光ラインが4行よりも多い場合、非同時露光ラインは4行よりも少ない。この場合、同時露光ラインにおける画素54の露光時間は、フレーム周期の半分よりも短い。同時露光ラインが4行よりも少ない場合、非同時露光ラインは4行よりも多い。この場合、同時露光ラインにおける画素54の露光時間は、フレーム周期の半分よりも長くできる。SG露光モードが設定された場合、光源制御部33は、同時露光ラインの数に応じて、光源32の点灯時間を制御する。
図23に示す各フレームの動作において、全ての画素54の画素信号の読み出しに必要な時間は、フレーム周期と同一である。このため、高速読み出し駆動は不要である。
図23に示すように、同時露光ラインは偶数行であるが、同時露光ラインは奇数行であってもよい。連続するn行で同時露光ラインのグループが構成され、かつ2つのグループの間に、非同時露光ラインであるn行が配置されてもよい。nは2以上の整数である。例えば、nが2である場合、同時露光ラインは、1行目および2行目、5行目および6行目、9行目および10行目などである。
図23に示す動作は、図24に示す動作に変更されてもよい。図24において、フレームi+1の画像を構成する画素信号の読み出しは、間引き読み出しである。つまり、時刻t31から時刻t32までの期間に非同時露光ラインの画素54の画素信号は読み出されない。SG露光モードが設定された場合、撮像素子制御部30は、全ての同時露光ラインのみを連続的にスキャンすることにより同時露光ラインにおける画素54から画素信号を読み出す第1のスキャンを撮像素子21に行わせる。この場合、画素54から読み出された全ての画素信号がフレームi+1の基準画像を構成する。このため、撮像素子21の後段における処理を省略することができる。フレームi+1のデータサイズを前および後のフレームのデータサイズと同一にするために、フレームi+1の画素信号にダミーのデータ(例えば0)を加えて基準画像を構成してもよい。
第1の実施形態における図8に示す動作において、フレームi+1およびフレームi+2の画像を構成する画素信号の読み出しは、間引き読み出しに変更されてもよい。つまり、時刻t24から時刻t27および時刻t27から時刻t29までの期間において、同時露光ラインの画素54の画素信号のみが読み出され、かつ非同時露光ラインの画素54の画素信号は読み出されなくてもよい。
第5の実施形態の内視鏡装置1におけるCPU34は、図15に示すCPU34aに変更されてもよい。
第5の実施形態において、グローバルリセットによって、同時露光ラインにおける画素54の電荷蓄積可能期間の開始タイミングが同一になる。このため、同時露光ラインにおける画素54の同時露光が開始される前に光源32が消灯する必要はない。第1の実施形態において、同時露光ラインにおける画素54の同時露光が行われるフレームi+2の前のフレームi+1およびその後のフレームi+3において、露光が不良になる。しかし、第5の実施形態において、同時露光ラインにおける画素54の同時露光が行われるフレームi+1の後のフレームi+2のみにおいて、露光が不良になる。このため、第5の実施形態において、フレームi+3における動作をフレームiにおける動作と同一にすることができる。その結果、画像記録指示あるいは計測指示が内視鏡装置1に入力されてから、画像記録処理あるいは計測処理が実行されるまでの動作を高速にすることができる。
(第6の実施形態)
図1および図2に示す内視鏡装置1を使用して、本発明の第6の実施形態を説明する。第6の実施形態におけるインターライン露光モードでは、奇数行の画素54から画素信号が読み出された後、偶数行の画素54から画素信号が読み出される。第6の実施形態におけるグローバル露光モードでは、第1の実施形態と同様に、行の配列順に画素54から画素信号が読み出される。
図25は、インターライン露光およびSG露光を組み合わせたモードにおける撮像素子21と光源32との動作を示している。図25の上側の図において、横方向は時間を示し、縦方向は撮像素子21の画素54の行位置を示している。図25では、8行の画素54における動作が示されている。最も上の行が1行目であり、最も下の行が8行目である。図25の下側の図において、横方向は時間を示す、縦方向は光源32の状態を示している。「ON」は、光源32が点灯している状態を示す。「OFF」は、光源32が消灯している状態を示す。
図25において、複数の画素54の配列における各行の電荷蓄積および読み出しのタイミングが示されている。図25においては図24等のタイミングチャートとは異なり、1行目の画素54における画素信号の読み出しの開始タイミングを基準にしたフレーム周期が示されている。フレームi−1およびフレームiにおいて、第2のモードとしてインターライン露光モードによる動作が行われる。インターライン露光モードが設定された場合、撮像素子21は、奇数行を連続的にスキャンした後、引き続き偶数行を連続的にスキャンする。これによって、撮像素子制御部30は、複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素54から画素信号を読み出す第2のスキャンを撮像素子21に行わせる。
フレームi+1において、第1のモードであるSG露光モードによる動作が行われる。フレームi+1がSG露光を行うフレームである。図25において、同時露光ラインは偶数行である。SG露光モードにおいて各画素54の画素信号が読み出される動作は、インターライン露光モードにおいて各画素54の画素信号が読み出される動作と同一である。フレームi+2およびフレームi+3において、第2のモードであるインターライン露光モードによる動作が行われる。フレームi+2およびフレームi+3の各画素54の画素信号が読み出される動作は、フレームi−1およびフレームiの各画素54の画素信号が読み出される動作と同一である。
第6の実施形態において、SG露光モードが設定された場合、撮像素子制御部30は、全ての同時露光ラインを連続的にスキャンすることにより同時露光ラインにおける画素54から画素信号を読み出す第1のスキャンと、複数の画素54の配列における複数の行のうち同時露光ラインを除く全ての非同時露光ラインを連続的にスキャンすることにより非同時露光ラインにおける画素54から画素信号を読み出す第3のスキャンとを撮像素子21に連続的に行わせる。第6の実施形態において、インターライン露光モードが設定された場合、撮像素子制御部30は、複数の画素54の配列における複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素54から画素信号を読み出す第2のスキャンを撮像素子21に行わせる。第6の実施形態における第2のスキャンは、第1のスキャンおよび第3のスキャンを含む。第2のスキャンにより行がスキャンされる順番は、第1のスキャンおよび第3のスキャンが連続的に行われることにより行がスキャンされる順番と同一である。
第6の実施形態における撮像素子21の動作が第2の実施形態に適用されてもよい。ブレ判定部346は、インターライン露光モードで取得された奇数行の画像と偶数行の画像とを比較することにより第2の画像におけるモーションブラーの発生状況を判定してもよい。モーションブラーの発生状況の判定は、日本国特開2014−210194号公報に開示されたブレ演算処理により行われてもよい。第6の実施形態における奇数行の画像が日本国特開2014−210194号公報における奇数フィールド画像に対応し、かつ第6の実施形態における偶数行の画像が日本国特開2014−210194号公報における偶数フィールド画像に対応する。この場合、ブレ判定部346は、1フレームのみの画像を使用してモーションブラーの発生状況の判定を行う。このため、第2の画像のモーションブラーの発生状況の判定に必要な画像の数を減らすことができ、その結果、画像記録指示あるいは計測指示が内視鏡装置1に入力されてから、画像記録処理あるいは計測処理が実行されるまでの動作を高速にすることができる。
第6の実施形態のインターライン露光モードおよびSG露光モードにおいて、画素信号の読み出しが行われる順番を切り替える制御が必要ない。このため、撮像素子21の発熱をさらに抑えることができる。第6の実施形態において、同時露光ラインが奇数行であっても同様の効果が得られる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。