JP6196105B2 - 撮像装置および電子内視鏡装置 - Google Patents

Description

本発明は、ローリングシャッタを用いてストロボスコピーを行う撮像装置に関する。

例えば喉頭ストロボスコピーを行う電子内視鏡システムでは、マイクロフォンを用いて被験者の声を検出し、声の基本周波数に合わせて照明光を断続的に照射することで、所定位相における声帯の様子や、声帯のスローモーション画像を撮影する（特許文献１）。

特開２００４−１６６７６１

一方近年では、ＣＭＯＳイメージセンサの普及にともない、電子内視鏡においてもＣＭＯＳイメージセンサの利用が考えられている。しかし、小型のＣＭＯＳイメージセンサはローリングシャッタを用い、グローバルシャッタ機能を備えていない。ローリングシャッタを用いた動画撮影では、フレームの最上段の水平ラインから順番読み出しを行い、そのフレームの最下段の水平ラインの読み出しの終了と同時に、次のフレームの最上段の水平ラインの読み出しを開始する。

このため、ＣＭＯＳイメージセンサを用いたストロボ撮影では、ストロボ発光は常に１つのフレーム読み出し期間の途中で行われ、画面は、当該ストロボ発光よりも前に読み出される画面上側の領域と、当該ストロボ発光後に読み出される画面下側の領域に分離される。各水平ラインの露光期間は、前のフレームの当該ラインの画素信号の読み出し終了から、次のフレームの当該ラインの画素信号の読み出しが開始するまでの期間であるため、当該ストロボ発光により露光された画像は、当該ストロボ発光後に読み出される画面下側の領域のみであり、画面上側の領域は、無露光画像となるか、前のフレーム読み出し期間中のストロボ発光により露光された画像となる。

このような問題を解決するために、前のフレームの最下段の水平ラインの読み出し終了から次のフレームの最上段の水平ラインの読み出し開始までの間に、ストロボ光による露光期間を設け、１つのストロボ発光が、前後のフレーム露光期間に跨ることを防止する構成も考えられる。しかし、ストロボ露光用の期間を設けるとフレームレートを下げる必要があり、ストロボ発光のタイミングも制限されてしまう。

本発明は、ローリングシャッタを用いたストロボ撮影において、ストロボ露光用の期間を設けることなく、同一のストロボ発光により撮影される１画面分の画像を得ることを課題としている。

本発明の撮像素子と、ローリングシャッタ方式により撮像素子から連続して画素信号の読み出しを行う撮像素子駆動手段と、ストロボ撮影を行うためストロボ光を照射するストロボ光源と、ストロボ光が照射されたときに撮像素子からの読み出しが行われている第１画面の下側の画素信号からなる下側画像と、第１画面に続く第２画面の上側の画像信号からなる上側画像とから１画面の画像信号を生成することで、同一のストロボ光により露光された１画面分の画像を生成する画像生成手段とを備え、下側画像は、ストロボ光が照射された後に読み出されるラインの画素信号から構成され、上側画像は、ストロボ光が照射される前に読み出されたラインの画素信号から構成されることを特徴としている。

画像生成手段は、少なくとも下側画像を保持するメモリを備え、例えば、撮像素子から読み出される上側画像の画像信号をそのまま出力した後、続けてメモリに保持された下側画像の画像信号を出力することで１画面の画像信号を生成する。

メモリは例えば上側画像を保持する領域と下側画像を保持する領域とを備える１画面分メモリを備え、第１画面の下側画像が１画面分メモリに書き込まれた後、第２画面の上側画像が１画面分メモリに保存され、画像生成手段は、１画面メモリから上側画像、下側画像の順で画素信号を読み出すことで１画面の画像信号を生成する。またメモリは、１画面分メモリを２画面分備え、同一ストロボ光により露光された１画面分の画像信号を、ストロボ光毎に第１の１画面分メモリと第２の１画面分メモリとに交互に書き込むことが好ましい。

本発明の電子内視鏡装置は、上記撮像装置を備えることを特徴としている。

本発明によれば、ローリングシャッタを用いたストロボ撮影において、ストロボ露光用の期間を設けることなく、同一のストロボ発光により撮影される１画面分の画像を得ることができる。

本発明の一実施形態である撮像装置の構成を示すブロック図である。 ローリングシャッタを用いた画像信号の読み出しタイミングと、ストロボ発光のタイミングの関係を示すタイミングチャートである。 図２のフレームＢおよびフレームＣでそれぞれ得られる１画面分の画像と、各フレームにおける各ラインがどのタイミングのストロボ発光により露光されたかを示す図である。 変形例における画像メモリの第１フレームメモリと、第２フレームメモリに記録されるラインデータの書き込み（取り込み）の順序を模式的に示す図である。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である撮像装置の構成を示すブロック図である。

本実施形態の撮像装置は、例えば喉頭ストロボスコピーを行うための電子内視鏡システム１０であり、電子内視鏡システム１０は、電子スコープ（電子内視鏡）１１と、電子スコープ１１が接続されるプロセッサ装置１２と、プロセッサ装置１２から出力される画像を表示するモニタ１３とから主に構成される。

電子スコープ１１には、撮像素子として例えばＣＭＯＳイメージセンサ１４が搭載される。ＣＭＯＳイメージセンサ１４は、例えばプロセッサ装置１２に設けられたＣＭＯＳドライバ１５からの駆動信号に基づき制御され、ローリングシャッタ方式による動画像の撮影を行う。本実施形態において電子スコープ１１は、光源として例えばＬＥＤ１６を備え、ＬＥＤ１６の発光は、プロセッサ装置１２内に設けられたＬＥＤドライバ１７により制御される。すなわち、電子スコープ１１では、照明レンズ１６Ａを介してＬＥＤ１６から照射される光により患者の声帯（被写体）を照明し、撮像レンズ１４Ａを介してその画像をＣＭＯＳイメージセンサ１４で撮影する。

声帯のストロボ撮影を行う場合、ＬＥＤ１６は従来周知のように患者が発声する音声ピッチ（声帯の振動周期）に合わせて間欠的に点灯される。すなわち、患者が発する声をマイクロホン１８で集音し、これをプロセッサ装置１２の音声処理回路１９でピッチ検出に適した音声波形とし、音声周波数検出回路２０において同波形からピッチを検出する。ＬＥＤ発光タイミング制御回路２１は、検出された音声ピッチに合わせてＬＥＤドライバ１７および後述するフレーム取込タイミング発生回路２２へストロボ発光のタイミングを指示するタイミグ信号を出力する。

なお、ＬＥＤ発光タイミング制御回路２１は、タイミングパルス発生回路２３のクロックパルスに基づき制御され、その制御方法は、システムコントローラ２４からの指示に基づき選択される。例えば、振動する声帯の静止画の位相の調整や、スローモーション画像の速さの調整、あるいは通常画像撮影のためにＬＥＤ１６を常時点灯させるモードがあってもよい。また、これらの選択は、例えばプロセッサ装置１２の正面に設けられたパネルスイッチ群２５のスイッチ操作によりシステムコントローラ２４に指示される。

一方、ＣＭＯＳイメージセンサ１４の画像信号は、ＣＭＯＳドライバ１５からの駆動信号に基づき、ローリングシャッタ方式で、順次水平ライン毎にＣＭＯＳイメージセンサ１４から読み出され、フレームデータ取込回路２６へと出力される。フレームデータ取込回路２６は、フレーム取込タイミング発生回路２２からの信号に基づき、入力される画像信号をラインに応じて画像信号処理部２７または画像メモリ２８の一方に択一的に出力する。

画像信号処理部２７は、入力される画像信号に対して従来周知の所定の画像処理を施し（例えば輪郭強調処理、色補正、ペデステルレベル調整、ガンマ補正など）、所定形式の映像信号に変換後、モニタ１３等の外部装置へ出力する。画像メモリ２８は、フレームデータ取込回路２６から入力された画像信号を一時的に保持する。また、画像メモリ２８に保持された画像信号は、フレーム取込タイミング発生回路２２からの信号に基づき読み出され、画像信号処理部２７へと出力される。すなわち、画像メモリ２８からの読み出された画像信号に対しても従来周知の所定の画像処理が施され例えば画質が補正され、所定の形式の映像信号に変換後、モニタ１３等の外部装置へ出力される。

なお、フレーム取込タイミング発生回路２２は、ＣＭＯＳドライバ１５の駆動信号からＣＭＯＳイメージセンサ１４からの各水平ラインの読み出しのタイミングを把握するとともに、ＬＥＤ発光タイミング制御回路２１からのタイミング信号に基づきストロボ発光のタイミングを把握し、フレームデータ取込回路２６からの画像信号の出力先の切替タイミングおよび画像メモリ２８からの読み出しのタイミングを決定する。そして、フレームデータ取込回路２６および画像メモリ２８へは、同タイミングに基づき信号がそれぞれ出力される。

図２は、本実施形態のローリングシャッタを用いたＣＭＯＳイメージセンサ１４からの画像信号の読み出しタイミングと、ストロボ発光のタイミングの関係を示すタイミングチャートであり、横軸は時間に対応する。図２では、例示的に最上段の１水平ラインがオプティカルブラック（ＯＢ）に用いられ、その下の１０行分の水平ラインが画像の検出に用いられる。Ａ０〜Ａ１０、Ｂ０〜Ｂ１０、Ｃ０〜Ｃ１０は、それぞれフレームＡ、Ｂ、ＣのＯＢライン、および各フレームの画像の第１〜第１０ライン（行）の読み出し期間を示す。

すなわち、フレームＡの読み出し期間ＴＡは、ＯＢラインの読み出し期間Ａ０が開始から、第１０ラインの読み出し期間Ａ１０が終了までの期間となり、フレームＢ、Ｃの読み出し期間ＴＢ、ＴＣは、それぞれＯＢラインの読み出し期間Ｂ０、Ｃ０の開始から、第１０ラインの読み出し期間Ｂ１０、Ｃ１０が終了までの期間となる。

図２に示されるように、各水平ラインの露光期間（電荷蓄積期間）は、前のフレームのその水平ラインの読み出し終了から、次のフレームのその水平ラインの読み出し開始までの期間である。例えば、フレームＢのＯＢラインの露光期間は、読み出し期間Ａ０の終了から読み出し期間Ｂ０の開始までの期間であり、フレームＢの第１ラインの露光期間は、読み出し期間Ａ１の終了から読み出し期間Ｂ１の開始までの期間である。

したがって、フレームＢ全体の露光期間ＥＢは、最上段であるＯＢラインの露光期間が始まってから最下段である第１０ラインの露光期間が終了するまでの期間となり、図示されるように、フレームＡのＯＢラインの読み出し期間Ａ０の終了から、フレームＢの第１０ラインの読み出し期間Ｂ１０が開始するまでの期間となる。同様に、フレームＣ全体の露光期間ＥＣは、フレームＢのＯＢラインの読み出し期間Ｂ０の終了から、フレームＣの第１０ラインの読み出し期間Ｃ１０が開始するまでの期間となる。

一方、フレームＡの第１０ラインの読み出し期間Ａ１０は、フレームＢのＯＢラインの読み出し期間Ｂ０の直前に終了し、フレームＣの露光期間ＥＣはフレームＢのＯＢラインの読み出し期間Ｂ０の直後に開始される。すなわち、フレームＢの露光期間ＥＢは、その前半がフレームＡの露光期間ＥＡと、その後半がフレームＣの露光期間ＥＣと重複する。そのためフレームＡでの露光を主とするストロボ発光ＳＡであっても、ＯＢライン、第１ラインに関してはフレームＢの露光期間ＥＢに含まれ、フレームＢでの露光を主とするストロボ発光ＳＢであっても、ＯＢライン、第１、第２ラインに関してはフレームＣの露光期間ＥＣに含まれてしまう。したがって、各フレーム期間に撮像素子から読み出される１フレームの画像は、ストロボ発光よりも前に読み出される上側の領域と、そのストロボ発光よりも後に読み出される下側の領域で露光のタイミングが異なることとなる。なお、前のフレームにおいてストロボ発光が行われていない場合は、上側領域は無露光状態となる。

図３は、図２のフレームＢおよびフレームＣでそれぞれ得られる１画面分の画像と、各フレームにおける各ラインがどのタイミングのストロボ発光により露光されたかを示す図であり、左側がフレームＢの画像、右側がフレームＣの画像に対応する。

図３において、フレームＢの画像のうちＯＢライン、第１ライン、第２ラインは、図２のストロボ発光ＳＡにより露光され、第４ライン〜第１０ラインはストロボ発光ＳＢにより露光されている。また、フレームＣの画像のうちＯＢライン、第１〜第３ラインはストロボ発光ＳＢにより露光され、第５ライン〜第１０ラインはストロボ発光ＳＣにより露光されている。なお、フレームＢの第３ライン、フレームＣの第４ラインは、読み出し期間Ｂ３、Ｃ４の途中にストロボ発光ＳＢ、ＳＣがそれぞれ行われたラインであり、適正な露光はなされていない。

したがって、ストロボ撮影時にＣＭＯＳイメージセンサ１４から、ローリングシャッタを用いて通常に画像信号を読み出し動画像を作成すると、１つの画面（駒）は、上下で異なるタイミングで露光された画像で構成され適正な映像が得られない。

しかし、図３に示されるように、フレームＣの第１〜第３ラインと、フレームＢの第４ライン〜第１０ラインの画像は、同じストロボ発光ＳＢにより露光されたものである。そのため本実施形態では、フレームＣの第１〜第３ラインと、フレームＢの第４ライン〜第１０ラインの画像を用いて１画面分の画像を再構成する。

次に図１〜図３を参照して、ローリングシャッタを用いたストロボ撮影における本実施形態の画像信号処理について、フレームＢ、Ｃの画像信号を用いて１画面分の画像を再構成する場合を例に説明する。

ＣＭＯＳイメージセンサ１４からの画素信号の読み出しは、ローリングシャッタ方式にしたがって、各フレームにおける各ラインの画素信号が図２に示される一定のタイミングで読み出される。読み出された画素信号は、フレームデータ取込回路２６に入力され、フレームデータ取込回路２６は、フレーム読み出し期間の開始から、ストロボ発光が行われるまで、入力された各ラインの画素信号（上側画像の画像データ）を画像信号処理部２７へ直接出力する。ストロボ発光が行われると、その後入力される各ラインの画素信号の出力先は、画像メモリ２８へ切り替えられ、次のフレームの読み出しが開始されるまで、画像メモリ２８にはストロボ発光後の画素信号（下側画像の画像データ）が一時的に保持される。また画像メモリ２８への画素信号の保存が開始されると同時に、画像メモリ２８からは、前のフレーム読み出し期間に保存された画像信号（前のフレームの下側画像の画像データ）が順次読み出され、画像信号処理部２７へと出力される。

最下段のラインの画素信号の画像メモリ２８からの読み出しが完了すると、フレームデータ取込回路２６からの出力は、再び画像信号処理部２７へと切り替えられ、画像メモリ２８からの画素信号の読み出しも停止される。そして、次のフレームの読み出しが開始されると、画像信号は次のストロボ発光があるまで、フレームデータ取込回路２６から直接画像信号処理部２７へと出力され、同様の処理が繰り返される。

例えば、フレーム取込タイミング発生回路２２は、ＣＭＯＳドライバ１５からの同期信号に基づき、フレームＢの読み出し期間ＴＢの開始を検知すると、フレームデータ取込回路２６へ出力切替信号を出力し、画像信号の出力先を画像信号処理部２７へ切り替える。すなわち画像信号処理部２７へは、フレームＢのＯＢライン、第１ライン、…、と、順次各ラインの画素信号が出力される。

次に第３ラインの読み取り期間Ｂ３にストロボ発光ＳＢが行われ、フレーム取込タイミング発生回路２２が、このストロボ発光ＳＢをＬＥＤ発光タイミング制御回路２１からのタイミング信号から検知すると、フレーム取込タイミング発生回路２２は、ＣＭＯＳドライバ１５からの同期信号に基づき、次のラインである第４ラインの読み出し期間の開始に合わせ、出力切替信号をフレームデータ取込回路２６へ出力し、画像信号の出力先を画像メモリ２８へと切り替え、第４ライン以降の画像信号を画像メモリ２８に一時的に保存する。またこのときフレーム取込タイミング発生回路２２は、読み出し開始信号を画像メモリ２８へ同時に出力し、画像メモリ２８からは、前のフレームの読み出し期間に保存されたフレームＡの第３ライン以降の画素信号（図示せず）が画像信号処理部２７へと出力される。

ＣＭＯＳドライバ１５からの同期信号に基づき、フレーム取込タイミング発生回路２２がフレームＢの最後のラインである第１０ラインの読み出し期間Ｂ１０の終了を検知すると、再び出力切替信号がフレームデータ取込回路２６へ出力されるとともに、読み出し停止信号が画像メモリ２８へと出力される。すなわち、画像メモリ２８から画像信号処理部２７への出力が停止されるとともに、フレームデータ取込回路２６からは、フレームＣのＯＢライン、第１〜第３ラインの画像信号が直接画像信号処理部２７へ出力される。

フレームＣの第４ラインにおいてストロボ発光ＳＣが行われ、フレーム取込タイミング発生回路２２が、この発光をＬＥＤ発光タイミング制御回路２１からのタイミング信号から検知すると、フレーム取込タイミング発生回路２２は、ＣＭＯＳドライバ１５からの同期信号に基づき、次のラインである第５ラインの読み出し期間の開始に合わせ、出力切替信号をフレームデータ取込回路２６へ出力し、画像信号の出力先を画像メモリ２８へと切り替える。すなわち、画像メモリ２８には第５ライン〜第１０ラインの画像信号が一時的に保存される。またこのときフレーム取込タイミング発生回路２２は、読み出し開始信号を画像メモリ２８へ出力し、画像メモリ２８からは、フレームＢの第４ライン〜第１０ラインの画像信号が画像信号処理部２７へと出力される。

図２、図３の例では、ＣＭＯＳイメージセンサ１４から現在読み出されているフレームＣのＯＢライン〜第３ライン（上側画像）と、１つ前のフレームＢの読み出し期間において、画像メモリ２８に一時的に保持されたフレームＢの第４〜第１０ライン（下側画像）から画像を構成することで、同じストロボ発光ＳＢで撮影された１画面分の画像を得ることができる。

以上のように本実施形態によれば、ローリングシャッタを用いたストロボ撮影において、ストロボ露光用の期間を設けることなく、同一のストロボ発光により撮影される１画面分の画像を簡単に得ることができる。また、本実施形態では、既に読み出しが行われたメモリ領域に順次上書きを行えば、略１フレーム分のメモリで対応でき、メモリ容量を必要最小限に抑えることができる。また、画像表示のタイムラグも最小限に抑えることができる。

次に、図２、図４を参照して本実施形態の変形例について説明する。変形例は、画像メモリ２８に２フレーム分（２画面分）のメモリを用意したものである。すなわち、変形例では、画像メモリ２８が、第１フレームメモリ（第１画面メモリ）と、第２フレームメモリ（第２画面メモリ）を備えるとともに、図１のフレームデータ取込回路２６から出力される画像信号は、常に画像メモリ２８を介して画像信号処理部２７へ出力される。画像メモリ２８の各フレームメモリには、それぞれ隣接する一対のフレーム（露光期間に同じストロボ光を含むフレーム）の後のフレームの上側画像と、前のフレームの下側画像から構成される１フレーム分の画素信号が順次保持される。

すなわち、ＣＭＯＳイメージセンサ１４から漸次読み出される画素信号は、フレームデータ取込回路２６により択一的に選択される第１、第２フレームメモリの各ラインに対応する領域に逐次上書き保存される。ＣＭＯＳイメージセンサ１４の画面最上段のラインから読み出される画素信号は、一方のフレームメモリの対応ラインに順次書き込まれ、直前に照射されたストロボ光が発光されたときに読み出されていたラインの書き込みが終了すると、画像データの書き込み先は、他方のフレームメモリへと切り替えられる。ラインが最下段へ到ると、次にＣＭＯＳイメージセンサ１４の最上段のラインから順次読み出される画素信号は、順次それまで書き込みが行われていたフレームメモリの最上段のラインに対応する領域から順次書き込まれ、直前に照射されたストロボ光が発光されたときに読み出されていたラインへの書き込みが終了すると、書き込み先が前のフレームメモリへ切り替えられる。そして、上記動作が第１、第２フレーム間で繰り返される。

例えば、図４では、図２におけるフレームＢの第４ライン〜第１０ラインの画素信号（下側画像）が第１フレームメモリにおける第４ライン〜第１０に対応する領域に順次書き込まれ、その後、フレームＣのＯＢラインから、ストロボ発光ＳＢが照射された際に読み出しが行われていた第３ラインまでの画素信号（上側画像）が、第１フレームメモリにおけるＯＢライン〜第３ラインに対応する領域に順次書き込まれる。その後フレームＣの第５ライン〜第１０ラインの画素信号（下側画像）が第２フレームメモリにおける第５ライン〜第１０ラインに対応する領域に順次書き込まれ、フレームＤのＯＢラインから、ストロボ発光ＳＣとその読み出し期間が重なる第４ラインまでの画像信号（上側画像）が、第２フレームメモリにおけるＯＢライン〜第４ラインに対応する領域に順次書き込まれる。なお第１、第２フレームメモリからの読み出しのタイミングは、書き込みに対して１ライン遅れから１画面分の遅れまでのタイミングで設定される。

以上の構成により変形例においても、ローリングシャッタを用いたストロボ撮影においてストロボ露光用の期間を設けることなく、第１、第２フレームメモリにそれぞれ同じストロボ光で撮影された画像のみから構成される１画面分の画像データを記録できる。

なお、本実施形態では、各フレーム読み出し期間に１回のストロボ光が照射されているが、ストロボ光が照射されないフレーム読み出し期間が存在する場合にも本願発明を適用することができる。また、本発明は、インターレス方式の読み出しにも適用でき、ストロボ光源もＬＥＤに限定されるものではない。例えば、独立したストロボ光源装置を用いる構成でもよい。

１０ 電子内視鏡システム
１１ 電子スコープ（電子内視鏡）
１２ プロセッサ装置
１３ モニタ
１４ 撮像素子（ＣＭＯＳ）
１４Ａ 撮像レンズ
１５ ＣＭＯＳドライバ
１６ ストロボ光源（ＬＥＤ）
１６Ａ 照明レンズ
１７ ＬＥＤドライバ
１８ マイクロホン
１９ 音声処理回路
２０ 音声周波数検出回路
２１ ＬＥＤ発光タイミング制御回路
２２ フレーム取込タイミング発生回路
２３ タイミングパルス発生回路
２４ システムコントローラ
２５ パネルスイッチ群
２６ フレームデータ取込回路
２７ 画像信号処理部

Claims (6)

1. 撮像素子と、
   ローリングシャッタ方式により前記撮像素子から連続して画素信号の読み出しを行う撮像素子駆動手段と、
   ストロボ撮影を行うために１ラインの読み出し期間よりも短い期間、ストロボ光を照射するストロボ光源と、
   ストロボ光が照射されたときに前記撮像素子からの読み出しが行われている第１画面の下側の画素信号からなる下側画像と、前記第１画面に続く第２画面の上側の画像信号からなる上側画像とから１画面の画像信号を生成することで、同一のストロボ光により露光された１画面分の画像を生成する画像生成手段とを備え、
   前記下側画像は、前記ストロボ光が照射された後に読み出されるラインの画素信号から構成され、前記上側画像は、前記ストロボ光が照射される前に読み出されたラインの画素信号から構成される
   ことを特徴とする撮像装置。
2. 前記画像生成手段は、少なくとも前記下側画像を保持するメモリを備えることを特徴とする請求項１に記載の撮像装置。
3. 前記画像生成手段は、前記撮像素子から読み出される前記上側画像の画像信号をそのまま出力した後、続けて前記メモリに保持された前記下側画像の画像信号を出力することで前記１画面の画像信号を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記メモリは、前記上側画像を保持する領域と前記下側画像を保持する領域とを備える１画面分メモリを備え、前記第１画面の下側画像が前記１画面分メモリに書き込まれた後、前記第２画面の上側画像が前記１画面分メモリに保存され、前記画像生成手段は、前記１画面メモリから前記上側画像、前記下側画像の順で画素信号を読み出すことで前記１画面の画像信号を生成することを特徴とする請求項２に記載の撮像装置。
5. 前記１画面分メモリを２画面分備え、同一ストロボ光により露光された１画面分の画像信号を、ストロボ光毎に第１の１画面分メモリと第２の１画面分メモリとに交互に書き込むことを特徴とする請求項４に記載の撮像装置。
6. 請求項１〜５に記載の撮像装置を備えることを特徴とする電子内視鏡装置。
   

Images