JP6161445B2 - ストロボスコープおよび喉頭電子内視鏡 - Google Patents

Description

本発明は、ローリングシャッタを用いるストロボスコープに関し、特に喉頭ストロボスコピーを行う電子内視鏡に関する。

例えば喉頭ストロボスコピーを行う電子内視鏡システムでは、マイクロフォンを用いて被験者の声を検出し、声の基本周波数に合わせて照明光を断続的に照射することで、所定位相における声帯の様子や、声帯のスローモーション画像を撮影する（特許文献１）。

特開２００４−１６６７６１号公報

従来、喉頭ストロボスコピーには、ファイバスコープやグローバルシャッタが利用できるＣＣＤを用いた電子スコープが用いられる。しかし近年では、ＣＭＯＳイメージセンサの普及にともない、喉頭スコープにおいてもＣＭＯＳイメージセンサの利用が求められている。しかし、小型のＣＭＯＳイメージセンサはローリングシャッタを用い、グローバルシャッタ機能を備えていないためＣＣＤと同様の方法でストロボスコピー撮影を行うことができない。

本発明は、ローリングシャッタを用いたストロボスコープにおいて適正なストロボスコピーを行うことを課題としている。

本発明のストロボスコープは、撮像センサから１画面分の画像データをライン露光・順次読出し方式で読み出す画像読出し手段と、画像読出し手段を用い１ライン置きに画像データを読み出し第１画像として保持する第１画像保持手段と、第１画像の読出し後、画像読出し手段を用い１ライン置きに第１画像以外のラインの画像データを読出し第２画像として保持する第２画像保持手段と、ストロボ光を照射するストロボ照射手段と、ストロボ光の照射タイミングとラインの垂直位置情報とから、そのラインが適正に露光されているか否かを判別する判別手段と、第１画像および第２画像の適正露光により取得されたラインの画像データを用いて、１画面分の画像を生成する画像生成手段とを備えたことを特徴とする。

ストロボ発光期間は、第１または第２画像の一方が常に適正に露光される期間に設定される。また不適正な露光に二重露光または無露光が含まれる。

本発明の喉頭電子内視鏡は、上記のストロボスコープを搭載したことを特徴とする。

本発明によれば、ローリングシャッタを用いたストロボスコープにおいて適正なストロボスコピーを行える。

本発明の一実施形態である電子内視鏡システムの構成を示すブロック図である。 ライン露光・順次読出し方法（ローリングシャッタ）とストロボ発光期間（ストロボ発光禁止期間以外の期間）の関係を示すタイミングチャートである。 画像生成回路の構成を示すブロック図である。 垂直方向補完画像生成回路における奇数ラインの補完画像データの生成方法の一例を示す図である。 ストロボ光照射タイミングと使用可能／使用不可の奇数ラインの関係を示すタイミングチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である電子内視鏡システムの構成を示すブロック図である。

本実施形態の電子内視鏡システム１０は、電子スコープ（電子内視鏡）１１と、電子スコープ１１が着脱自在に接続されるプロセッサ装置１２と、プロセッサ装置１２からの映像を表示するモニタ１３と、ストロボスコピー用の照明光を電子スコープ１１へ供給するストロボ光源装置１４とから構成される。なお本実施形態において電子スコープ１１は例えば喉頭内視鏡である。

電子スコープ１１の先端には、ローリングシャッタを用いる撮像素子（ＣＭＯＳイメージセンサ）１５が搭載され、例えばプロセッサ装置１２に設けられた駆動回路１６からの駆動信号により、後述するライン露光・順次読出し方式で駆動・制御される。撮像素子１５では、対物レンズ１５Ａを通して所定のレートでの撮像が行われ、検出された画像信号はプロセッサ装置１２の前段信号処理回路１７へと送られる。前段信号処理回路１７では画像信号がデジタル信号に変換されるとともに所定の画像処理が施され、順次画像生成回路１８に入力される。

画像生成回路１８では、読み出された各画像が後述するように順次複数の画像に分けられて一時的にメモリに保持されるとともに、メモリに保持された画像データに基づき１画面分の画像（１フレーム画像）が生成される。画像生成回路１８において生成された画像は、順次後段信号処理回路１９へ送られ、例えば所定規格のビデオ信号に変換されてモニタ１３などの出力装置へと出力される。

撮像素子１５による被写体の撮影は、ライトガイド２１を通して電子スコープ１１の先端に供給され、照明レンズ２１Ａを通して電子スコープ先端から照射される照明光の下で行われる。ライトガイド２１へは、プロセッサ装置１２の光源部２２、あるいはストロボ光源装置１４の光源部２３から照明光が供給される。図１には、ストロボスコピー検査を行う場合（ストロボモード選択時）の接続状態が示され、ライトガイド２１はストロボ光源装置１４の光源部２３に接続されているが、通常撮影を行う場合（通常モード選択時）には、例えばプロセッサ装置１２の光源部２２にライトガイド２１は接続される。

またプロセッサ装置１２は、ストロボ光源装置１４と電気的に接続され、プロセッサ装置１２には、ストロボ発光装置１４からのストロボ発光パルス（光源部２３からライトガイド２１へ供給される照明光の供給期間に対応するパルス信号）を受信・検出する発光信号検出部２６が設けられる。

プロセッサ装置１２の駆動回路１６、前段信号処理回路１７、後段信号処理回路１９は、タイミングコントローラ２０からの同期信号に基づき制御され、画像生成回路１８は同期信号の他、発光信号検出部２６からの信号（ストロボ発光パルス情報）に基づいて制御される（後述）。また、プロセッサ装置１２の光源部２２、およびタイミングコントローラ２０は、プロセッサ装置全体の制御を行うシステムコントローラ２４により制御される。なおシステムコントローラ２４には、例えばプロセッサ装置１２の正面に配置され、各種スイッチやインジケータが設けられたフロントパネル２５が接続され、ユーザによるフロントパネル２５のスイッチ操作により各種処理の選択や各種モードの切替えが可能である。

一方、ストロボ発光装置１４には、被験者が発する音声を集音するマイクロフォン２８が設けられ、音声ピッチ検出回路２９においてそのピッチ（基本周波数）および位相が検出される。例えば、検出された音声ピッチおよび位相は、後述するピッチ検出パルスとしてメイン制御部２７に出力され、メイン制御部２７では、ピッチ検出パルスに基づき光源部２３での発光が制御されるとともに、ストロボ発光パルス信号が生成される。

ストロボ光源装置１４のメイン制御部２７には、各種スイッチやインジケータが設けられ、例えばストロボ発光装置１４の正面に配置されるフロントパネル３０が接続される。メイン制御部２７では、ユーザによるフロントパネル３０のスイッチ操作に基づき、所定位相の静止画撮影を行うか、位相を一定のピッチで移動するスローモーション画像の撮影を行うかの選択、あるいは静止画撮影における位相の選択が行われ、これらの選択に合わせて検出されたピッチおよび位相に応じたピッチ検出パルスが生成される。

また、ストロボ発光装置１４には、禁止信号検出部３１が設けられ、禁止信号検出部３１は、プロセッサ装置１２のタイミングコントローラ２０からストロボ発光禁止パルスを受信する。禁止信号検出部３１においてストロボ発光禁止パルスが検出されると、メイン制御部２７により光源部２３の発光が禁止される。

図２は、本実施形態で採用されるライン露光・順次読出し方法（ローリングシャッタ）とストロボ発光期間（ストロボ発光禁止期間以外の期間）の関係を示すタイミングチャートである。

本実施形態では、まず偶数ライン（偶数フィールド）の読出しが順次行われ（＃０、＃２、…＃ｎ）、その後続けて奇数ライン（奇数フィールド）の読出しが順次行われる（＃１、＃３、…＃ｎ＋１）。すなわち、撮像素子１５の１画面分（１フレーム分）の画像信号は、１ライン置きに順次上のラインから読み出され、その後、残りのラインが順次上から１ライン置きに読み出される。

なお図２において、横軸は時間であり、＃０、＃１、＃２、…、＃ｎ−１、＃ｎは、撮像素子１５の読出し領域における上からの水平ラインの番号である。また符号Ｓ１は、各ラインにおける読出し信号、符号Ｓ２は各ラインにおけるリセット信号である。すなわち、リセット信号Ｓ２から次の読出し信号Ｓ１までの間がそのラインのセンサ露光期間となる。また、読出し信号Ｓ１、リセット信号Ｓ２は、タイミングコントローラ２０の同期信号に基づき、駆動回路１６から撮像素子１５へ随時出力され、ストロボ発光期間は、禁止信号検出部３１で検出される検出ストロボ発光禁止パルスに基づきメイン制御部２７において設定される。

次に図３のブロック図を参照して、図１に示される画像生成回路１８の構成について説明する。

画像生成回路１８は、例えば偶数ライン（偶数フィールド）用のフレームメモリ４０と奇数ライン（奇数フィールド）用のフレームメモリ４１、垂直方向補完画像生成回路４２、スイッチ回路４３、判別回路４４、ラインカウンタ４５を備える。フレームメモリ４０、４１には、撮像素子１５の偶数ライン、奇数ラインの画像データが図２に示されるタイミングで順次偶数ライン＃０、＃２、…、＃ｎ、奇数ライン＃１、＃３…＃ｎ−１の順で読み出され、それぞれ一時的に保持される。その後、ライン＃０、＃１、…、＃ｎ−１、＃ｎの順で各フレームメモリ４０、４１から画像データが出力される。

偶数ライン用のフレームメモリ４０に保持された画像データは、直接後段信号処理回路１９へ出力されるとともに、垂直方向補完画像生成回路４２へ出力される。垂直方向補完画像生成回路４２では、偶数ラインの画像データを用いて隣接する奇数ラインの画像データが生成され、スイッチ回路４３へ出力される。一方、奇数ライン用のフレームメモリ４１に保持された画像データは、直接スイッチ回路４３へ出力される。すなわち、スイッチ回路４３には、フレームメモリ４１から読み出された奇数ラインの画像データ（撮像素子１５から読み出されたデータ）と、垂直方向補完画像生成回路４２で生成された奇数ラインの補完画像データ（偶数ラインの画像データから作成された画像データ）が入力される。

スイッチ回路４３は、判別回路４４からの信号に基づき、入力された画像データのうちの一方の画像データをライン単位で後段信号処理回路１９へ択一的に出力する。判別回路４４では、発光信号検出部２６からのストロボ発光パルス情報と、ラインカウンタ４５からの垂直位置情報に基づき、奇数ライン用フレームメモリ４１から出力される画像データが、使用可能であるか否かを判別する。なおラインカウンタ４５では、現在フレームメモリ４０、４１から出力されているライン番号がモニタされている。

判別回路４４において奇数ライン用フレームメモリ４１から出力される画像データが使用可能と判別される場合、スイッチ回路４３は、奇数ライン用フレームメモリ４１から出力される画像データを後段信号処理回路１９に出力し、そうでない場合には、垂直方向補完画像生成回路４２で生成された補完画像データを後段信号処理回路１９へ出力する。すなわち、画像生成回路１８では、偶数ラインに関しては撮像素子１５からの画像データを用い、奇数ラインに関しては、撮像素子１５からの奇数ラインの画像データが使用できるか否かに応じ、当該奇数ラインの画像データまたは補完画像データの何れかを用いて１画面（１フレーム）分の画像を生成し、後段信号処理回路１９へ出力する。

なお、図４に垂直方向補完画像生成回路４２における奇数ラインの画像データの補完方法の一例を示す。図示例では、偶数ライン＃ｍ（＃０）の画像データを、そのまま次の奇数ライン＃ｍ＋１（＃１）の画像データ（補完画像データ）としている。なお、補完画像データの生成方法は、図４に限定されるものではなく、上下偶数ラインの画像データを用いて奇数ラインの画像データを補間し、これを補完画像データとすることも可能である。

次に、図５のタイミングチャートを参照して、図３の判別回路４４において、どのような場合にその奇数ラインが使用可能と判断され、どのような場合に使用不可と判断されるかを説明する。

図５は図２のタイミングチャートに対応し、各ラインの読出しタイミングと、第１〜第４フレームの各々のストロボ発光期間にストロボ光（Ｌ１〜Ｌ４）が異なるタイミングで照射された状況が示される。

本実施形態の構成では、ストロボ発光期間にストロボ光が照射されれば、全ての偶数ライン（＃０〜＃ｎ）が適正に露光される。一方、奇数ライン（＃１〜＃ｎ−１）は、各フレームにおけるストロボ光の照射タイミングに応じて、適正露光となるライン、二重露光となるライン、偶数ラインと露光タイミングがずれて露光されるライン、または無露光（露光不足を含む）となるラインが存在する。すなわち、ローリングシャッタを用いる構成では、後半ライン（奇数ライン）の読出し信号Ｓ１が、次のフレームのストロボ発光期間に含まれてしまうので、次のフレームのストロボ光照射のタイミングにより、上記のような違いが生じる。

例えば、図５の例において、第１フレームの撮影では、ストロボ発光期間１の開始と同時にストロボ光Ｌ１が照射され、奇数ライン＃１〜＃ｎ−１の露光期間にストロボ光Ｌ１による露光がなされることはない。一方、第２フレームの撮影におけるストロボ発光期間２では、ライン＃１１の読出し信号Ｓ１、リセット信号Ｓ２が出力されるタイミングでストロボ光Ｌ２が照射される。そのため、第１フレームでは、奇数ライン＃１〜＃１１が無露光となり、これらのラインに関しては撮像素子１５からの適正な画像データが存在しない。また、ライン＃ｎ−１では、ストロボ光Ｌ２による露光がなされ、偶数ラインの露光タイミング（ストロボ光Ｌ１）とは露光タイミングが若干ずれるが、露光自体は適正である。

したがって、本実施形態では、第１フレームの奇数ライン＃１〜＃１１に関しては、使用不可として補完画像データを利用し、奇数ライン＃ｎ−１に関しては、使用可として、奇数ライン用のフレームメモリ４１に保持されたライン＃ｎ−１の画像データをそのまま利用して１画面（１フレーム）分の画像を生成する。

また、図５の第３フレームに関しては、奇数ライン＃５の読出し信号Ｓ１を含むタイミングでストロボ発光期間３のストロボ光Ｌ３が照射される。そのため、奇数ライン＃５〜＃１１については、ストロボ光Ｌ２とストロボ光Ｌ３による二重露光が発生する。一方、奇数ライン＃１、＃３については、同ラインの露光期間にストロボ光Ｌ３は照射されないので、ストロボ光Ｌ２による露光のみとなり、偶数ラインの露光と同じタイミングでの適正な画像データが得られる。また、奇数ライン＃ｎ−１に関しては、露光タイミングがストロボ光Ｌ２からストロボ光Ｌ３へとずれるものの露光自体は適正な画像データが得られる。

したがって、本実施形態では、第２フレームの奇数ライン＃１、＃３、＃ｎ−１に関しては使用可として、フレームメモリ４１の画像データをそのまま用い、奇数ライン＃５〜＃１１に関しては使用不可として、同ラインに対応する補完画像データを用いて１画面（１フレーム）分の画像を生成する。

以上のように、本実施形態によれば、ローリングシャッタを用いたストロボスコープにおいても、二重露光や無露光となるラインに対して補完データを用いることが可能になり、これらの影響を除去した適正なストロボスコピーが可能となる。

なお、本実施形態の説明ではフレームメモリ４０、４１としたが、これは物理的に異なるメモリであっても同一のメモリの異なる領域であってもよく、また各ラインの画像データのメモリ空間上のアドレスも任意である。また、本実施形態では偶数ラインを先に奇数ラインを後に読み出したが、偶奇ラインの読出しの順序は逆であってもよい。また、本実施形態では、ストロボ発光期間がフレーム期間の半分であったが、これに限定されるものではなく、偶奇フィールドの一方の画像が同フレームにおいて常に適正に露光されるような期間に設定されればよい。またストロボ発光期間をフレーム期間前半に設定することも可能である。その場合には、奇数ラインが全て使用され、偶数ラインの補完画像データが生成されるともに、偶数ラインの使用の適否が判定される。

本実施形態では、ストロボ光源を用いたときの動作説明のみを行ったが、通常の照明を行えば、同読出し方式で通常画像の撮影も可能である。この場合、常にフレームメモリに保持された画像データが用いられる。

本実施形態のストロボ発光装置は、光源がストロボ光を照射する構成として説明されたが、例えば通常のランプを用い、ロータリシャッタや絞り羽などのような機械的なシャッタ機構を用いて光を一時的に遮光することでライトガイドへ供給される照明光を断続的なものとすることもできる。また、ストロボ光源装置の光源部を連続的に照明光を供給可能な構成とし、通常モードにおいてもストロボ光源装置を利用する構成とすることもできる。更に本実施形態のストロボ光源装置の機能をプロセッサ装置に一体的に設けることも可能である。

なお本実施形態は、観察対象物のステレオスコピーを行うのであれば喉頭スコープに限定されるものではない。

１０ 電子内視鏡システム
１１ 電子スコープ
１２ プロセッサ装置
１３ モニタ
１４ ストロボ光源装置
１５ 撮像素子（ＣＭＯＳ）
１６ 駆動回路
１８ 画像生成回路
２０ タイミングコントローラ
２１ ライトガイド
２３ 光源部
２６ 発光信号検出部
２７ メイン制御部
２８ マイクロフォン
２９ 音声ピッチ検出回路
３１ 禁止信号検出部
４０ 偶数ライン用フレームメモリ
４１ 奇数ライン用フレームメモリ
４２ 垂直方向補完画像生成回路
４３ スイッチ回路
４４ 判別回路
４５ ラインカウンタ

Claims (2)

1. 撮像センサから１画面分の画像データをライン露光・順次読出し方式で読み出す画像読出し手段と、
   前記画像読出し手段を用い１ライン置きに画像データを読み出し第１画像として保持する第１画像保持手段と、
   前記第１画像の読出し後、前記画像読出し手段を用い１ライン置きに前記第１画像以外のラインの画像データを読出し、第２画像として保持する第２画像保持手段と、
   前記第１画像または第２画像の一方が常に適正に露光されるように設定されたストロボ発光期間にストロボ光を照射するストロボ照射手段と、
   前記ストロボ光の照射タイミングとラインの垂直位置情報とから、そのラインが、二重露光となるラインでないと判断される場合、かつ、無露光となるラインでないと判断される場合に、適正に露光されていると判別する判別手段と、
   前記第１画像および第２画像のうち適正露光により取得されたと判別されるラインの画像データを用いて、１画面分の画像を生成する画像生成手段と
   を備えることを特徴とするストロボスコープ。
2. 請求項１に記載のストロボスコープを搭載したことを特徴とする喉頭電子内視鏡。
   

Images