JPWO2016104386A1

JPWO2016104386A1 - 内視鏡システム

Info

Publication number: JPWO2016104386A1
Application number: JP2016532642A
Authority: JP
Inventors: 朋也佐藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-12-26
Filing date: 2015-12-18
Publication date: 2017-04-27
Also published as: WO2016104386A1

Abstract

本発明にかかる調光装置は、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための露光量を設定する調光装置であって、画像データまたは合成画像データを取得して画像の明るさを検出する明るさ検出部と、明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、基準露光量算出部が算出した基準露光量をもとに、露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を備えた。

Description

本発明は、露光量の調整を行う調光装置、この調光装置を備えた撮像システム、調光装置の作動方法および調光装置の作動プログラムに関する。

従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば先端に撮像素子が設けられ、被検体内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が生成した撮像信号に応じた体内画像の画像処理を行って、体内画像を表示部等に表示させる処理装置とを備える。

近年、ダイナミックレンジを拡大した画像であるＨＤＲ（High Dynamic Range）画像を生成する技術が知られている。ＨＤＲ画像は、露光量の異なる複数の画像を合成することにより生成される。ＨＤＲ画像は、通常の画像（ある露光量で撮像した画像）と比してダイナミックレンジが広いため、ハレーションや黒つぶれを抑制した明瞭な画像を得ることができる。このＨＤＲ画像を取得する内視鏡（カプセル型内視鏡装置）として、複数の発光量を切り替えて露光量の異なる画像を取得し、ＨＤＲ画像を生成する技術が開示されている（例えば、特許文献１を参照）。特許文献１では、照明光の強度を１フレームごとに切り替えて撮像を行うことでＨＤＲ画像を生成するための明るい画像と暗い画像とを取得している。

特開２００４−３２１６０５号公報

しかしながら、特許文献１が開示する内視鏡は、光源の発光量を設定された複数の発光量のいずれかに切り替えているのみであり、被写体の明るさに応じたリアルタイムの調光制御は行われていなかった。

本発明は、上記に鑑みてなされたものであって、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる調光装置は、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置であって、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出部と、前記明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、前記基準露光量算出部が算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を備えたことを特徴とする。

また、本発明にかかる撮像システムは、露光量が異なる複数の露光処理により複数の画像データを取得する撮像装置と、前記複数の画像データを合成して合成画像データを生成する合成画像生成部と、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出部と、前記明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、前記基準露光量算出部が算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を有する調光装置と、照明光を出射する照明部と、前記露光量設定部が設定した露光量に基づく照明光を前記照明部に出射させる光源制御部と、を有する光源装置と、を備えたことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記合成画像生成部は、露光量が異なる複数の画像データをハイダイナミックレンジ合成してＨＤＲ画像データを生成するＨＤＲ画像生成部と、該ＨＤＲ画像生成部により生成されたＨＤＲ画像に対し、トーンマッピング処理を施して表示用のトーンマッピング画像データを生成するトーンマッピング画像生成部と、を有することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記明るさ検出部に入力される画像データは、前記合成画像生成部で生成された前記ＨＤＲ画像データまたは前記トーンマッピング画像データであり、前記露光量設定部は、前記明るさ検出部の検出対象の画像データのフレーム番号に基づいて設定対象の露光処理が複数の露光処理のうちのいずれの露光処理であるかを判断し、前記基準露光量に対して、該判断した露光処理に応じて設定された係数を乗じることにより露光量を設定することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記明るさ検出部に入力される画像データは、互いに露光量の異なる二つの露光処理により得られた二つの画像データのうちのいずれか一方の画像データであり、前記基準露光量算出部は、入力された一方の画像データの明るさ検出結果をもとに一方の露光処理に応じた露光量を前記基準露光量として算出し、前記露光量設定部は、前記基準露光量算出部が算出した前記基準露光量に対し、他方の露光処理に応じて設定された係数を乗じることにより露光量を設定することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記露光量は、前記照明光の光量の積分値であることを特徴とする。

また、本発明にかかる調光装置の作動方法は、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置の作動方法であって、明るさ検出部が、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出ステップと、基準露光量算出部が、前記明るさ検出ステップの検出結果をもとに、基準露光量を算出する基準露光量算出ステップと、露光量設定部が、前記基準露光量算出ステップで算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定ステップと、を含むことを特徴とする。

また、本発明にかかる調光装置の作動プログラムは、露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置の作動プログラムであって、明るさ検出部が、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出手順と、基準露光量算出部が、前記明るさ検出手順の検出結果をもとに、基準露光量を算出する基準露光量算出手順と、露光量設定部が、前記基準露光量算出手順で算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定手順と、を前記調光装置に実行させることを特徴とする。

本発明によれば、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができるという効果を奏する。

図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。図３は、本発明の実施の形態１にかかる内視鏡システムによる画像生成を説明する模式図である。図４は、本発明の実施の形態１にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。図５は、本発明の実施の形態２にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。図６は、本発明の実施の形態２の変形例にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。図７は、本発明の実施の形態３にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる調光装置を含む撮像システムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。

図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置４と、処理装置４の信号処理により生成された体内画像を表示する表示装置５と、を備える。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４（撮像装置）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。

先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、を有する。

光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。撮像素子２４４は、処理装置４から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて実現される。本実施の形態では、撮像素子２４４が、高精細度テレビジョン（High definition television：ＨＤＴＶ）映像信号に応じた撮像信号を出力するものとして説明する。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置４、光源装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。

つぎに、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。照明部３１は、照明制御部３２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３１は、光源３１ａと、光源ドライバ３１ｂと、を有する。

光源３１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。なお、光源３１ａは、赤色ＬＥＤ光源、緑色ＬＥＤ光源および青色ＬＥＤ光源を用いて構成し、いずれかの光源から光を出射することにより、赤色光、緑色光および青色光のうちのいずれかの波長帯域を有する光を照明光として出射するものであってもよい。

光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することにより、光源３１ａに照明光を出射させる。

照明制御部３２は、後述する露光量設定部４３４からの制御信号に基づいて、光源３１ａに供給する電力量を制御するとともに、光源３１ａの駆動タイミングを制御する。照明制御部３２の制御により、照明部３１は、第１の露光量で露光する第１露光処理、および第１の露光量とは異なる第２の露光量で露光する第２露光処理によりそれぞれ被写体を露光する。

次に、処理装置４の構成について説明する。処理装置４は、信号処理部４１と、画像処理部４２と、調光部４３（調光装置）と、入力部４４と、記憶部４５と、制御部４６と、を備える。

信号処理部４１は、撮像素子２４４が出力した撮像信号に対してノイズ除去やＡ／Ｄ変換を行う。

画像処理部４２は、信号処理部４１から入力された撮像信号をもとに、表示装置５が表示する表示用の画像信号を生成する。画像処理部４２は、異なる露光量の画像を合成してＨＤＲ画像を生成し、該生成したＨＤＲ画像を表示装置５に表示可能なサイズまでダイナミックレンジを下げることによって表示用のトーンマッピング画像を生成する合成画像生成部として機能する。画像処理部４２は、生成したＨＤＲ画像またはトーンマッピング画像に対し、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）、オプティカルブラック減算処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理およびフォーマット変換処理等を施す。画像処理部４２は、生成したトーンマッピング画像を含む画像信号を表示装置５に出力する。

画像処理部４２は、ＨＤＲ画像生成部４２１と、トーンマッピング画像生成部４２２と、を有する。ＨＤＲ画像生成部４２１は、撮像素子２４４が生成した異なる露光量の画像を含む撮像信号を取得して、該露光量の異なる画像を合成することによって、ダイナミックレンジを広げたＨＤＲ画像を生成する。トーンマッピング画像生成部４２２は、ＨＤＲ画像生成部４２１が生成したＨＤＲ画像に対し、表示装置５に表示可能なサイズまでダイナミックレンジを下げることによって表示用のトーンマッピング画像を生成する。

調光部４３は、取得した画像をもとに明るさを検出して露光量を設定し、該設定した露光量に応じた発光量（強度および時間を含む）で光源３１ａが発光するような制御信号を生成し、生成した制御信号を照明制御部３２に出力する。調光部４３は、明るさ検波部４３１と、判定部４３２と、基準露光量算出部４３３と、露光量設定部４３４と、を有する。

明るさ検波部４３１は、記憶部４５に記憶された画像（本実施の形態１ではトーンマッピング画像）を取得して各画素に対応する明るさレベルを検出し、検出した明るさレベルを基準露光量算出部４３３へ出力する。

判定部４３２は、明るさ検波部４３１に入力されたトーンマッピング画像に付されたフレーム番号が、偶数であるか奇数であるかを判定する。判定部４３２は、判定結果（偶数フレームまたは奇数フレーム）を露光量設定部４３４に出力する。

基準露光量算出部４３３は、明るさ検波部４３１が検出した明るさレベルをもとに、基準露光量を算出する。具体的には、記憶部４５に記憶されている関数であって、明るさレベルと基準露光量とに関する関数をもとに、基準露光量を算出する。基準露光量算出部４３３は、算出した基準露光量を露光量設定部４３４に出力する。露光量は、光量の積分値として算出される。なお、基準露光量算出部４３３は、記憶部４５に記憶されている、明るさレベルと基準露光量との関係テーブルをもとに基準露光量を出力するものであってもよい。

露光量設定部４３４は、判定部４３２の判定結果と、基準露光量算出部４３３が算出した基準露光量とをもとに露光量を設定し、該露光量に応じた光量制御情報を照明制御部３２に出力する。具体的には、露光量設定部４３４は、判定結果に基づいて、設定対象の露光処理が、二つの露光処理（長露光処理および短露光処理）のうちのどちらの露光処理であるかを判断し、記憶部４５を参照して、判断した露光処理に応じた係数を取得し、基準露光量に取得した係数を乗じることで露光量を求める。光量制御情報は、例えば、ＬＥＤ光源を用いる場合、電流値、ＰＷＭ（Pulse Width Modulation：パルス幅変調）の幅、または電流値およびＰＷＭの幅の組み合わせを光量に応じて変換した値である。

入力部４４は、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。

記憶部４５は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。記憶部４５は、本発明にかかる調光装置の作動プログラムを含む内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部４５は、処理装置４の識別情報を記憶する。ここで、識別情報には、処理装置４の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。

記憶部４５は、露光係数記憶部４５１と、画像情報記憶部４５２と、を有する。露光係数記憶部４５１は、上述した露光処理に応じた露光係数を記憶する。

画像情報記憶部４５２は、信号処理部４１により信号処理が施された撮像信号に応じた画像であって、長露光処理により撮像された長露光画像、および短露光処理により撮像された短露光画像と、トーンマッピング画像生成部４２２が順次生成する画像信号に応じたトーンマッピング画像とを記憶する。画像情報記憶部４５２は、例えばリングバッファを用いて実現され、トーンマッピング画像生成部４２２により生成された一定量（所定フレーム数）のトーンマッピング画像を記憶するものであってもよい。この場合、画像情報記憶部４５２は、容量が不足すると（所定のフレーム数のトーンマッピング画像を記憶すると）、最も古いトーンマッピング画像を最新のトーンマッピング画像で上書きすることで、最新のトーンマッピング画像を時系列順に所定フレーム数記憶する。

制御部４６は、ＣＰＵ等を用いて構成され、撮像素子２４４および光源装置３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４６は、記憶部４５に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して撮像素子２４４へ送信する。

次に、表示装置５について説明する。表示装置５は、映像ケーブルを介して処理装置４が生成した画像信号に対応するトーンマッピング画像を受信して表示する。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）等のモニタを用いて構成される。

続いて、内視鏡システム１による画像生成を、図３を参照して説明する。図３は、本実施の形態１にかかる内視鏡システムによる画像生成を説明する模式図である。ＨＤＲ画像生成部４２１は、信号処理部から入力された撮像信号（例えば長露光画像）と、画像情報記憶部４５２に記憶されている画像信号（例えば短露光画像）とを合成してダイナミックレンジを広げたＨＤＲ画像を生成する。具体的には、ＨＤＲ画像生成部４２１は、図３に示すように、信号処理部４１から入力されたフレーム番号２の短露光画像Ｐ_Ｓ１と、画像情報記憶部４５２に記憶されているフレーム番号１の長露光画像Ｐ_Ｌ１と、を合成して、ＨＤＲ画像Ｐ_Ｈ１を生成する。続いて、ＨＤＲ画像生成部４２１は、次のフレーム（フレーム番号３）の長露光画像Ｐ_Ｌ２と、画像情報記憶部４５２に記憶されているフレーム番号２の短露光画像Ｐ_Ｓ１と、を合成してＨＤＲ画像Ｐ_Ｈ２を生成する。同様にして、長露光画像Ｐ_Ｌ２、短露光画像Ｐ_Ｓ２および長露光画像Ｐ_Ｌ３（入力画像）についても前フレームの画像（記憶画像）と合成することによりＨＤＲ画像（図３ではＨＤＲ画像Ｐ_Ｈ３，Ｐ_Ｈ４）をそれぞれ生成する。

ＨＤＲ画像生成部４２１によりＨＤＲ画像Ｐ_Ｈ１〜Ｐ_Ｈ４が生成されると、トーンマッピング画像生成部４２２が、ＨＤＲ画像Ｐ_Ｈ１〜Ｐ_Ｈ４に対して、表示装置５に表示可能なサイズまでダイナミックレンジを下げることによって表示用のトーンマッピング画像Ｐ_Ｔ１〜Ｐ_Ｔ４を生成する。

続いて、本実施の形態１にかかる内視鏡システム１の調光部４３による露光量設定処理について、図４を参照して説明する。図４は、本実施の形態１にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。調光部４３は、制御部４６から光量制御にかかる指示信号が入力されると、露光量設定処理を行う。なお、制御部４６からの指示信号は、撮像素子２４４による撮像タイミングに合わせて出力されるものであってもよいし、入力部４４に入力された指示情報により出力されるものであってもよい。

まず、明るさ検波部４３１が、記憶部４５の画像情報記憶部４５２に記憶されているトーンマッピング画像を取得する（ステップＳ１０１）。ここで取得されるトーンマッピング画像は、最新のフレーム番号のトーンマッピング画像である。なお、本実施の形態１では、合成画像データとしてのトーンマッピング画像が明るさ検波部４３１に入力されるものとして説明する。

明るさ検波部４３１は、取得したトーンマッピング画像を用いて明るさ検波処理を行う（ステップＳ１０２：明るさ検出ステップ）。明るさ検波部４３１は、トーンマッピング画像の各画素に対応する明るさレベルを検出し、検出した明るさレベルを基準露光量算出部４３３へ出力する。

基準露光量算出部４３３は、明るさ検波部４３１から明るさレベルを取得すると、取得した明るさレベルに基づいて基準露光量を算出する（ステップＳ１０３：基準露光量算出ステップ）。基準露光量算出部４３３は、算出した基準露光量を露光量設定部４３４に出力する。

その後、判定部４３２が、取得したトーンマッピング画像のフレーム番号が、偶数であるか奇数であるかを判定する（ステップＳ１０４）。換言すれば、判定部４３２は、今回の露光量の設定によって照射される照明光により取得する撮像信号のフレームが、奇数フレームであるか偶数フレームであるかを判定する。判定部４３２は、判定結果を露光量設定部４３４に出力する。以下、図３に準じて、フレーム番号が偶数の場合は露光量の小さい短露光を行うものとし、フレーム番号が奇数の場合は露光量の大きい長露光であるものとして説明する。

ここで、取得したトーンマッピング画像のフレーム番号が、偶数であると判定された場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行して、露光量設定部４３４が、露光量の設定を行う。具体的には、露光量設定部４３４は、トーンマッピング画像のフレーム番号が偶数であると、次に撮像される画像のフレーム番号は奇数となるため今回算出する露光量は長露光であるものと判断し、露光係数記憶部４５１を参照して長露光に対応する露光係数α_１（＞１）を取得する。露光量設定部４３４は、基準露光量に露光係数α_１を乗じることにより、露光量を算出する（ステップＳ１０５）。

一方、取得したトーンマッピング画像のフレーム番号が、奇数であると判定された場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０６に移行して、露光量設定部４３４が、露光量の設定を行う。具体的には、露光量設定部４３４は、今回の露光量は短露光であるものと判断し、露光係数記憶部４５１を参照して短露光に対応する露光係数β_１（＞１）を取得する。露光量設定部４３４は、基準露光量を露光係数β_１で除する（換言すれば、露光係数１／β_１を乗ずる）ことにより、露光量を算出する（ステップＳ１０６）。

露光量設定部４３４は、判断した露光処理に応じた露光量を算出すると、ステップＳ１０７に移行して、該算出した露光量に設定するとともに、露光量に応じた光量制御情報を照明制御部３２に出力する（露光量設定ステップ）。

このようにして設定された露光量に応じて照明部３１が制御されることにより、被写体の明るさに応じた発光量となるようにリアルタイムの調光制御を行うことができる。なお、上述した実施の形態１では、表示装置５の表示フレームレート（fps）と、撮像素子２４４による撮像フレームレート（fps）とが同じであることを前提に説明したが、表示フレームレートよりも撮像フレームレートが大きい場合は、撮像フレームレートに合わせて調光制御を行うことが好ましい。例えば、同時式で長露光画像および短露光画像を取得してＨＤＲ画像を生成する場合であって、撮像フレームレートが表示フレームレートの２倍である場合、１つの表示フレームレートの間に、露光量を切り替えて照明した２フレーム分の画像（長露光画像および短露光画像）をそれぞれ取得する。また、面順次式（ＲＧＢの各色成分の照明光を順次照明）により長露光画像および短露光画像を取得してＨＤＲ画像を生成する場合であって、撮像フレームレートが表示フレームレートの６倍である場合、１つの表示フレームレートの間に、露光量を切り替えて照明した６フレーム分の画像（各色成分の長露光画像および短露光画像）をそれぞれ取得する。さらに、青色の波長帯域に含まれる狭帯域（例えば、４００ｎｍ〜４４５ｎｍ）の光と、緑色の波長帯域に含まれる狭帯域（例えば、５３０ｎｍ〜５５０ｎｍ）の光とからなる狭帯域照明光を面順次式により長露光画像および短露光画像を取得してＨＤＲ画像を生成する場合であって、撮像フレームレートが表示フレームレートの４倍である場合、１つの表示フレームレートの間に、露光量を切り替えて照明した４フレーム分の画像（各狭帯域成分の長露光画像および短露光画像）をそれぞれ取得する。本実施の形態１では、フレームレート（１フレームの撮像期間）を撮像タイミングとして、該撮像タイミングに応じて露光量を切り替える。

上述した本実施の形態１によれば、明るさ検波部４３１が前フレームのトーンマッピング画像を用いて画像の明るさを検波し、基準露光量算出部４３３が該検波結果に基づく基準露光量を算出し、判定部４３２によるフレーム番号（長露光または短露光）の判定結果に応じて、露光量設定部４３４が露光量を算出するようにしたので、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる。

なお、上述した本実施の形態１では、明るさ検波部４３１が前フレームのトーンマッピング画像を用いて画像の明るさを検波するものとして説明したが、合成画像データとしてＨＤＲ画像を取得して、該取得したＨＤＲ画像を用いて明るさを検波するものであってもよい。この場合、画像情報記憶部４５２には、ＨＤＲ画像生成部４２１により生成されたＨＤＲ画像が記憶される。

また、上述した本実施の形態１では、明るさ検波部４３１が検波した画像の明るさに基づいて基準露光量を算出するものとして説明したが、基準露光量に閾値を設けて、算出された基準露光量が閾値以上となる場合は、該閾値を基準露光量として出力するようにしてもよい。

また、上述した本実施の形態１では、フレーム番号に応じて、１フレームごとに露光量を切り替えるものとして説明したが、数フレームごとに露光量を切り替えるものであってもよいし、露光量により切り替えるフレーム数が異なるものとしてもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図５は、本実施の形態２にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、露光係数が長露光および短露光に応じてそれぞれ設定された値α_１およびβ_１を有するものとして説明したが、本実施の形態２では、基準露光量算出部４３３が、長露光に応じた露光量を算出する、すなわち露光係数α_１が１であるものとして説明する。

本実施の形態２にかかる露光量設定処理では、まず、判定部４３２が、露光量設定処理による照明により撮像される画像（撮像予定）のフレーム番号が、奇数であるか偶数であるかを判定する（ステップＳ２０１）。

ここで、撮像予定のフレーム番号が奇数、すなわち長露光を行うものと判定された場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に移行して、明るさ検波部４３１が、記憶部４５の画像情報記憶部４５２に記憶されている長露光画像を取得する。ここで取得される長露光画像は、画像情報記憶部４５２に記憶されている最新のフレーム番号の長露光画像である。

明るさ検波部４３１は、取得した長露光画像を用いて明るさ検波処理を行う（ステップＳ２０３）。明るさ検波部４３１は、長露光画像の各画素に対応する明るさレベルを検出し、検出した明るさレベルを基準露光量算出部４３３へ出力する。

基準露光量算出部４３３は、明るさ検波部４３１から明るさレベルを取得すると、取得した明るさレベルに基づいて基準露光量を算出する（ステップＳ２０４）。本実施の形態２では、基準露光量算出部４３３は、長露光処理に応じた露光量を基準露光量として算出する。算出した基準露光量を露光量設定部４３４に出力するとともに、記憶部４５に記憶させる。記憶部４５は、例えば、新たな基準露光量が入力されると、順次更新して最新の基準露光量を記憶する。

一方、撮像予定のフレーム番号が偶数、すなわち短露光処理を行うものと判定された場合（ステップＳ２０１：Ｎｏ）、ステップＳ２０５に移行して、露光量設定部４３４が、記憶部４５を参照して基準露光量を取得する。その後、露光量設定部４３４は、露光係数記憶部４５１を参照して短露光に対応する露光係数β_２（＞１）を取得する。露光量設定部４３４は、基準露光量を露光係数β_２で除することにより、短露光処理にかかる露光量を算出する（ステップＳ２０６）。

露光量設定部４３４は、ステップＳ２０４またはステップＳ２０６において露光量を算出すると、ステップＳ２０７に移行して、該算出した露光量に設定するとともに、露光量に応じた光量制御情報を照明制御部３２に出力する。

このようにして設定された露光量に応じて照明部３１が制御されることにより、基準露光量算出部４３３が一方の露光量を算出する場合であっても、被写体の明るさに応じた発光量となるようにリアルタイムの調光制御を行うことができる。

上述した本実施の形態２によれば、明るさ検波部４３１が前フレームの長露光画像を用いて画像の明るさを検波し、基準露光量算出部４３３が該検波結果に基づく基準露光量を算出し、判定部４３２によるフレーム番号（長露光または短露光）の判定結果に応じて、露光量設定部４３４が露光量を算出するようにしたので、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる。

また、上述した本実施の形態２によれば、基準露光量算出部４３３が長露光に応じた基準露光量を算出し、判定結果により短露光を行う場合は、基準露光量を算出せずに、露光量を算出し直すようにしたので、露光量算出処理の処理量を低減することができる。

（実施の形態２の変形例）
続いて、本発明の実施の形態２の変形例について説明する。図６は、本実施の形態２の変形例にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。上述した実施の形態２では、基準露光量算出部４３３が、長露光に応じた露光量を算出する、すなわち露光係数α_１が１であるものとして説明したが、本変形例では、基準露光量算出部４３３が、短露光に応じた露光量を算出する、すなわち実施の形態１における露光係数β_１が１であるものとして説明する。

本変形例にかかる露光量設定処理では、まず、判定部４３２が、露光量設定処理による照明により撮像される画像（撮像予定）のフレーム番号が、奇数であるか偶数であるかを判定する（ステップＳ３０１）。

ここで、撮像予定のフレーム番号が偶数、すなわち短露光を行うものと判定された場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に移行して、明るさ検波部４３１が、記憶部４５の画像情報記憶部４５２に記憶されている短露光画像を取得する。ここで取得される短露光画像は、画像情報記憶部４５２に記憶されている最新のフレーム番号の短露光画像である。

明るさ検波部４３１は、取得した短露光画像を用いて明るさ検波処理を行う（ステップＳ３０３）。明るさ検波部４３１は、短露光画像の各画素に対応する明るさレベルを検出し、検出した明るさレベルを基準露光量算出部４３３へ出力する。

基準露光量算出部４３３は、明るさ検波部４３１から明るさレベルを取得すると、取得した明るさレベルに基づいて基準露光量を算出する（ステップＳ３０４）。本変形例では、基準露光量算出部４３３は、短露光処理に応じた露光量を基準露光量として算出する。算出した基準露光量を露光量設定部４３４に出力するとともに、記憶部４５に記憶させる。

一方、撮像予定のフレーム番号が奇数、すなわち長露光処理を行うものと判定された場合（ステップＳ３０１：Ｎｏ）、ステップＳ３０５に移行して、露光量設定部４３４が、記憶部４５を参照して基準露光量を取得する。その後、露光量設定部４３４は、露光係数記憶部４５１を参照して長露光に対応する露光係数α_２（＞１）を取得する。露光量設定部４３４は、基準露光量に露光係数α_２を乗ずることにより、長露光処理にかかる露光量を算出する（ステップＳ３０６）。

露光量設定部４３４は、ステップＳ３０４またはステップＳ３０６において露光量を算出すると、ステップＳ３０７に移行して、該算出した露光量に設定するとともに、露光量に応じた光量制御情報を照明制御部３２に出力する。

上述した本実施の形態２の変形例によれば、明るさ検波部４３１が前フレームの短露光画像を用いて画像の明るさを検波し、基準露光量算出部４３３が該検波結果に基づく基準露光量を算出し、判定部４３２によるフレーム番号（長露光または短露光）の判定結果に応じて、露光量設定部４３４が露光量を算出するようにしたので、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる。

また、上述した本実施の形態２の変形例によれば、基準露光量算出部４３３が短露光に応じた基準露光量を算出し、判定結果により長露光を行う場合にのみ露光量を算出し直すようにしたので、露光量算出処理の処理量を低減することができる。

なお、上述した本実施の形態２および変形例において、基準露光量算出部４３３が算出した基準露光量に対し、対象の露光処理である場合（例えば実施の形態２であれば長露光）、係数を１として（長露光の係数をα_２としてα_２＝１）、基準露光量に該係数を乗じるようにしてもよい。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図７は、本実施の形態３にかかる内視鏡システムによる露光量設定処理を説明するフローチャートである。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、フレーム番号により自動的に露光量の設定を行うものとして説明したが、本実施の形態３では、術者などからの入力に応じて露光量の設定を行う。なお、本実施の形態３では、調光部４３が少なくとも判定部４３２および露光量設定部４３４を有するとともに、記憶部４５が少なくとも露光係数記憶部４５１を有していればよい。

本実施の形態３にかかる露光量設定処理では、まず、制御部４６が、術者などにより入力部４４を介して露光量設定処理のための基準露光量が入力されたか否かを判断する（ステップＳ４０１）。制御部４６は、基準露光量の入力がない場合（ステップ４０１：Ｎｏ）、入力の判断処理を繰り返す。

基準露光量が入力された場合（ステップＳ４０１：Ｙｅｓ）、ステップＳ４０２に移行して、判定部４３２による露光処理対象のフレーム番号の判定を行う。ステップＳ４０２では、判定部４３２が、露光量設定処理による照明により撮像される画像（撮像予定）のフレーム番号が、奇数であるか偶数であるかを判定する。

ここで、撮像予定のフレーム番号が奇数、すなわち長露光を行うものと判定された場合（ステップＳ４０２：Ｙｅｓ）、露光量設定部４３４が、露光量の設定を行う（ステップＳ４０３）。具体的には、露光量設定部４３４は、今回の露光量は長露光であるものと判断し、露光係数記憶部４５１を参照して長露光に対応する露光係数α_１を取得する。露光量設定部４３４は、基準露光量に露光係数α_１を乗じることにより、露光量を算出する。

一方、撮像予定のフレーム番号が偶数、すなわち短露光処理を行うものと判定された場合（ステップＳ４０２：Ｎｏ）、露光量設定部４３４が、露光量の設定を行う（ステップＳ４０４）。具体的には、露光量設定部４３４は、今回の露光量は短露光であるものと判断し、露光係数記憶部４５１を参照して短露光に対応する露光係数β_１（＞１）を取得する。露光量設定部４３４は、基準露光量を露光係数β_１で除することにより、露光量を算出する。

露光量設定部４３４は、判断した露光処理に応じた露光量を算出すると、ステップＳ４０５に移行して、該算出した露光量に設定するとともに、露光量に応じた光量制御情報を照明制御部３２に出力する。

上述した本実施の形態３によれば、入力部４４を介して基準露光量が入力された場合に、判定部４３２によるフレーム番号（長露光または短露光）の判定結果に応じて、露光量設定部４３４が露光量を算出するようにしたので、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うことができる。

上述した本実施の形態３において、入力される基準露光量に対して閾値を設定し、該閾値以上の基準露光量が入力された場合には閾値を基準露光量とするようにしてもよい。この場合は基準露光量算出部を設け、該基準露光量算出部が、入力された基準露光量と閾値との比較を行い、入力された基準露光量または閾値を基準露光量として露光量設定部４３４に出力する。

また、上述した本実施の形態３において、入力される基準露光量は、長露光に応じた露光量であってもよいし、短露光に応じた露光量であってもよい。例えば、基準露光量が長露光に応じたものである場合、短露光を行う場合にのみ露光係数（例えば１／β_２）を乗じて短露光の露光量を設定する。

なお、上述した実施の形態１〜３では、光源装置３が、処理装置４とは別体であるものとして説明したが、光源装置３および処理装置４が一体であって、例えば処理装置４の内部に照明部３１および照明制御部３２が設けられているものであってもよい。

また、上述した実施の形態１〜３では、二つの露光処理に応じて露光量を設定するものとして説明したが、三つ以上の露光処理を行うものであって、該三つの露光処理に応じて露光量を設定するものであってもよい。この場合、例えば実施の形態１では、露光処理に応じた三つの係数が設定される。

また、上述した実施の形態１〜３にかかる各露光量設定処理を処理モードとして設定し、該処理モードの設定によりいずれかの露光量設定処理を行うようなモード切り替え可能な構成としてもよい。この場合、処理装置４には、入力部４４が受け付けた指示信号などにより処理モードの切り替えを行う切替部が設けられる。

また、上述した実施の形態１〜３では、本発明にかかる調光装置が、観察対象が被検体内の生体組織などである内視鏡２を用いた内視鏡システム１の調光部として機能するものとして説明したが、光源が出射する照明光を異なる露光量に制御するものであれば、材料の特性を観測する工業用の内視鏡であっても適用できる。本発明にかかる調光装置は、体内、体外を問わず適用可能である。

以上のように、本発明にかかる調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラムは、異なる露光量の画像を取得する際にリアルタイムに調光制御を行うのに有用である。

１内視鏡システム
２内視鏡
３光源装置
４処理装置
２１挿入部
２２操作部
２３ユニバーサルコード
２４先端部
２５湾曲部
２６可撓管部
３１照明部
３２照明制御部
４１信号処理部
４２画像処理部（合成画像生成部）
４３調光部（調光装置）
４４入力部
４５記憶部
４６制御部
４２１ＨＤＲ画像生成部
４２２トーンマッピング画像生成部
４３１明るさ検波部
４３２判定部
４３３基準露光量算出部
４３４露光量設定部
４５１露光係数記憶部
４５２画像情報記憶部

Claims

露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置であって、
前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出部と、
前記明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、
前記基準露光量算出部が算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、
を備えたことを特徴とする調光装置。
露光量が異なる複数の露光処理により複数の画像データを取得する撮像装置と、
前記複数の画像データを合成して合成画像データを生成する合成画像生成部と、
前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出部と、前記明るさ検出部による検出結果をもとに、基準露光量を算出する基準露光量算出部と、前記基準露光量算出部が算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定部と、を有する調光装置と、
照明光を出射する照明部と、前記露光量設定部が設定した露光量に基づく照明光を前記照明部に出射させる光源制御部と、を有する光源装置と、
を備えたことを特徴とする撮像システム。
前記合成画像生成部は、
露光量が異なる複数の画像データをハイダイナミックレンジ合成してＨＤＲ画像データを生成するＨＤＲ画像生成部と、
該ＨＤＲ画像生成部により生成されたＨＤＲ画像に対し、トーンマッピング処理を施して表示用のトーンマッピング画像データを生成するトーンマッピング画像生成部と、
を有することを特徴とする請求項２に記載の撮像システム。
前記明るさ検出部に入力される画像データは、前記合成画像生成部で生成された前記ＨＤＲ画像データまたは前記トーンマッピング画像データであり、
前記露光量設定部は、前記明るさ検出部の検出対象の画像データのフレーム番号に基づいて設定対象の露光処理が複数の露光処理のうちのいずれの露光処理であるかを判断し、前記基準露光量に対して、該判断した露光処理に応じて設定された係数を乗じることにより露光量を設定することを特徴とする請求項３に記載の撮像システム。
前記明るさ検出部に入力される画像データは、互いに露光量の異なる二つの露光処理により得られた二つの画像データのうちのいずれか一方の画像データであり、
前記基準露光量算出部は、入力された一方の画像データの明るさ検出結果をもとに一方の露光処理に応じた露光量を前記基準露光量として算出し、
前記露光量設定部は、前記基準露光量算出部が算出した前記基準露光量に対し、他方の露光処理に応じて設定された係数を乗じることにより露光量を設定することを特徴とする請求項３に記載の撮像システム。
前記露光量は、前記照明光の光量の積分値であることを特徴とする請求項２〜５のいずれか一つに記載の撮像システム。
露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置の作動方法であって、
明るさ検出部が、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出ステップと、
基準露光量算出部が、前記明るさ検出ステップの検出結果をもとに、基準露光量を算出する基準露光量算出ステップと、
露光量設定部が、前記基準露光量算出ステップで算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定ステップと、
を含むことを特徴とする調光装置の作動方法。
露光量が異なる複数の露光処理により得られた複数の画像データを合成して合成画像データを生成するための前記露光量を設定する調光装置の作動プログラムであって、
明るさ検出部が、前記画像データまたは前記合成画像データを取得して画像の明るさを検出する明るさ検出手順と、
基準露光量算出部が、前記明るさ検出手順の検出結果をもとに、基準露光量を算出する基準露光量算出手順と、
露光量設定部が、前記基準露光量算出手順で算出した前記基準露光量をもとに、前記露光処理のタイミングに応じた露光量の設定を行う露光量設定手順と、
を前記調光装置に実行させることを特徴とする調光装置の作動プログラム。