JP6801990B2 - 画像処理システムおよび画像処理装置 - Google Patents

Description

本発明は、画像処理システムおよび画像処理装置に関する。

近年、被写体を撮像して、互いに視差を有する左眼用および右眼用の二つの画像データから視差画像を生成し、視差画像を表示装置に立体表示させる画像作成方法が知られている。医療分野等において使用される内視鏡と処理装置（プロセッサ）とが着脱可能である内視鏡システムにおいても、診断や検査の円滑化のために、観察対象を立体画像で観察したいという要求がある。この要求にこたえるための技術として、左眼用および右眼用の二つの光路を形成する光学系と、光学系から左眼用および右眼用の各光路の光をそれぞれ受光する二つの撮像素子とを備えた内視鏡が知られている（例えば、特許文献１を参照）。この内視鏡が装着されたプロセッサは、各撮像素子から取得した信号のゲインを調整する二つのゲイン調整回路と、ゲイン調整後の信号に基づく画像の明るさをそれぞれ検出する明るさ検出回路と、ゲイン調整後の信号に基づき左眼用画像および右眼用画像を生成する画像生成回路とを有している。

特開平９−０８０３２３号公報

特許文献１が開示する内視鏡システムは、右眼用の画像信号と、左眼用の画像信号とに対してそれぞれ個別に信号処理を施す互いに独立した信号処理回路を有しているため、回路規模を小さくすることが困難であった。

本発明は、上記に鑑みてなされたものであって、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる画像処理システムおよび画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理システムは、被写体像の特性が異なる複数の画像データを統合して一つの統合画像データを生成する統合部と、前記統合画像データに対して信号処理を施すとともに、前記統合画像データをもとに、前記特性が異なる複数の画像の明るさを測定する信号処理部と、前記信号処理部により前記信号処理が施された前記統合画像データをもとに、表示装置に表示させる表示画像を生成する表示画像生成部と、を備えることを特徴とする。

また、本発明にかかる画像処理システムは、上記発明において、前記被写体像の特性が異なる複数の画像データをそれぞれ生成する第１および第２撮像部をさらに備え、前記信号処理部は、前記統合画像データに対して、画像処理を施す画像処理部と、前記画像処理が施された前記統合画像データをもとに、前記画像の明るさを測定する明るさ測定部と、前記明るさ測定部が測定した前記画像の明るさをもとに、前記第１および第２撮像部による撮像処理における露光時間を制御する制御データを生成する制御データ生成部と、を有することを特徴とする。

また、本発明にかかる画像処理システムは、上記発明において、前記信号処理部は、前記統合部の後段に設けられ、一つの回路から構成されており、前記統合画像データに対して、前記特性に応じた感度補正を行う感度補正部、をさらに有し、前記画像処理部は、前記感度補正が施された統合画像データに対して前記画像処理を施すことを特徴とする。

また、本発明にかかる画像処理システムは、上記発明において、被写体像の特性が異なる複数の画像データは、互いに視野が異なる画像を含む画像データであることを特徴とする。

また、本発明にかかる画像処理システムは、上記発明において、前記視野が異なる画像は、互いに視差を有する画像であることを特徴とする。

また、本発明にかかる画像処理システムは、上記発明において、被写体像の特性が異なる複数の画像データは、被写体を照明する照明光の波長帯域が異なる画像を含む画像データであることを特徴とする。

また、本発明にかかる画像処理システムは、上記発明において、前記被写体像の特性が異なる複数の画像データを生成する撮像装置と、前記撮像装置が生成した前記画像データに画像処理を施す処理装置と、を備え、前記統合部、前記信号処理部および前記表示画像生成部は、前記処理装置に設けられていることを特徴とする。

また、本発明にかかる画像処理システムは、上記発明において、前記被写体像の特性が異なる複数の画像データを生成する撮像装置と、前記撮像装置が生成した前記画像データに画像処理を施す処理装置と、を備え、前記統合部は、前記撮像装置に設けられており、前記信号処理部および前記表示画像生成部は、前記処理装置に設けられていることを特徴とする。

また、本発明にかかる画像処理装置は、被写体像の特性が異なる複数の画像データを統合した一つの統合画像データに対して信号処理を施すとともに、前記統合画像データをもとに、前記特性が異なる複数の画像の明るさを測定する信号処理部と、前記信号処理部により前記信号処理が施された前記統合画像データをもとに、表示装置に表示させる表示画像を生成する表示画像生成部と、を有することを特徴とする。

本発明によれば、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができるという効果を奏する。

図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の一実施の形態にかかる内視鏡システムの画像統合部が統合した統合画像を説明する図である。 図４は、本発明の一実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。 図５は、本発明の実施の形態の変形例にかかる内視鏡システムの概略構成を示すブロック図である。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態）
図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。

図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体内の画像（以下、内視鏡画像ともいう）を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した画像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３と、処理装置３の信号処理により生成された内視鏡画像を表示する表示装置４と、を備える。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像部２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像部２４４によって撮像する。

先端部２４は、グラスファイバ等を用いて構成されて光源部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の左眼用光学系２４３ａおよび右眼用光学系２４３ｂと、光学系２４３の結像位置に設けられ、左眼用光学系２４３ａおよび右眼用光学系２４３ｂが集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像部２４４と、を有する。

左眼用光学系２４３ａは、一または複数のレンズを用いて構成され、撮像部２４４の前段に設けられて被写体からの入射光を結像する。左眼用光学系２４３ａは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。

右眼用光学系２４３ｂは、一または複数のレンズを用いて構成され、撮像部２４４の前段に設けられて被写体からの入射光を、左眼用光学系２４３ａとは視差を有して結像する。右眼用光学系２４３ｂは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。

撮像部２４４は、左眼用撮像素子２４４_１ａと、右眼用撮像素子２４４_１ｂと、左眼用信号処理部２４４_２ａと、右眼用信号処理部２４４_２ｂとを備える。

左眼用撮像素子２４４_１ａは、処理装置３から受信した駆動信号に従って、左眼用光学系２４３ａからの光を光電変換して、一枚の画像を構成する１フレーム分の電気信号（左眼用画像信号）を生成する。具体的には、左眼用撮像素子２４４_１ａは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が左眼用光学系２４３ａからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する。左眼用撮像素子２４４_１ａは、処理装置３から受信したシャッターデータに基づいて、露光処理が制御される。左眼用撮像素子２４４_１ａの受光面には、カラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。

右眼用撮像素子２４４_１ｂは、処理装置３から受信した駆動信号に従って、右眼用光学系２４３ｂからの光を光電変換して、一枚の画像を構成する１フレーム分の電気信号（右眼用画像信号）を生成する。具体的には、右眼用撮像素子２４４_１ｂは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が右眼用光学系２４３ｂからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、画像信号として出力する。右眼用撮像素子２４４_１ｂは、処理装置３から受信したシャッターデータに基づいて、露光処理が制御される。右眼用撮像素子２４４_１ｂの受光面には、カラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。

左眼用撮像素子２４４_１ａおよび右眼用撮像素子２４４_１ｂは、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて実現される。また、左眼用撮像素子２４４_１ａおよび右眼用撮像素子２４４_１ｂは、各々、単板のイメージセンサを用いて構成されるものであってもよいし、例えば３板方式等の複数のイメージセンサを用いて構成されるものであってもよい。

左眼用撮像素子２４４_１ａにより得られる左眼用画像、および右眼用撮像素子２４４_１ｂにより得られる右眼用画像は、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像である。

なお、本実施の形態にかかる撮像部２４４は、左眼用光学系２４３ａおよび右眼用光学系２４３ｂにそれぞれ対応する二つの撮像素子を有するものとして説明するが、一枚の画像を構成する１フレーム分の電気信号を生成する。なお、本実施の形態では、左眼用光学系２４３ａおよび右眼用光学系２４３ｂがそれぞれ結像した光を、左眼用光学系２４３ａおよび右眼用光学系２４３ｂに応じて二つの撮像素子により受光するものとして説明するが、同一の撮像素子によって受光領域を分けて受光するようにしてもよい。

左眼用信号処理部２４４_２ａは、左眼用撮像素子２４４_１ａから出力された左眼用画像データ（アナログ）に対してノイズ除去処理やクランプ処理を行うアナログ処理や、Ａ／Ｄ変換処理を行うＡ／Ｄ変換処理を施し、左眼用画像を含む左眼用画像データ（デジタル）を、処理装置３に出力する。

右眼用信号処理部２４４_２ｂは、右眼用撮像素子２４４_１ｂから出力された右眼用画像データ（アナログ）に対してノイズ除去処理やクランプ処理を行うアナログ処理や、Ａ／Ｄ変換処理を行うＡ／Ｄ変換処理を施し、右眼用画像を含む右眼用画像データ（デジタル）を、処理装置３に出力する。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、画像信号を伝送するための信号線や、撮像部２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像部２４４）に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡２と処理装置３との間で信号を伝送するものであってもよい。

また、内視鏡２には、撮像部２４４が有する撮像素子に対応する感度補正パラメータなどの感度補正情報を記憶する感度補正情報メモリ２７を有する。また、内視鏡２は、当該内視鏡２の情報を記憶するメモリ（図示せず）を有している。このメモリには、内視鏡２の種別、型番、左眼用撮像素子２４４_１ａ、右眼用撮像素子２４４_１ｂの種別等を示す識別情報を記録する。なお、メモリは、ホワイトバランス（ＷＢ）調整用のパラメータ等、左眼用撮像素子２４４_１ａ及び右眼用撮像素子２４４_１ｂが撮像した画像データに対する画像処理用の各種パラメータを記録していてもよい。

内視鏡２の処理装置３への装着時、処理装置３との通信処理によって、上述した内視鏡２の情報を処理装置３に出力する。或いは、内視鏡２の情報に対応した規則に従ってコネクタに接続ピンが設けてあり、処理装置３は、内視鏡２の装着時に処理装置３側の接続ピンと内視鏡２側の接続ピンとの接続状態をもとに内視鏡２の接続を認識する場合もある。

次に、処理装置３の構成について説明する。処理装置３は、画像統合部３０１と、感度補正部３０２と、第１画像処理部３０３と、第２画像処理部３０４と、ＯＳＤ情報合成部３０５と、表示画像生成部３０６と、領域分割部３０７と、明るさ測定部３０８と、シャッターデータ生成部３０９と、入力部３１０と、記憶部３１１と、制御部３１２と、を備える。なお、本実施の形態では、感度補正部３０２、第１画像処理部３０３、第２画像処理部３０４、領域分割部３０７、明るさ測定部３０８、およびシャッターデータ生成部３０９によって信号処理部を構成している。

画像統合部３０１は、内視鏡２から、撮像部２４４が生成した内視鏡画像を表す左眼用画像データおよび右眼用画像データを受信する。なお、画像信号取得部３１は、内視鏡２から光信号として画像信号を受信した場合は光電変換を行ってデジタルの画像信号を生成する。

画像統合部３０１は、受信した左眼用画像データおよび右眼用画像データを統合して一枚の統合画像データを生成する。図３は、本発明の一実施の形態にかかる内視鏡システムの画像統合部が統合した統合画像を説明する図である。画像合成部３０１は、図３に示すように左眼用画像Ｗ_Lと右眼用画像Ｗ_Rとを並べて配置することによって統合した一枚の統合画像Ｗ_Fを生成する。統合画像は、画素配列の水平ラインを揃えて左眼用画像Ｗ_Lと右眼用画像Ｗ_Rとを並べるようにしてもよいし（例えば図３を参照）、垂直ラインを揃えて左眼用画像Ｗ_Lと右眼用画像Ｗ_Rとを並べるようにしてもよい。なお、この左眼用画像Ｗ_Lと右眼用画像Ｗ_Rは、有効画素領域外のオプティカルブラック領域などの画素値を含んだ画像となっている。

感度補正部３０２は、画像統合部３０１から入力された統合画像の感度補正を行う。具体的に、感度補正部３０２は、統合画像に対して、内視鏡２から入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。これにより、内視鏡２が有する各撮像素子の感度に応じた補正処理を施すことができる。

第１画像処理部３０３は、感度補正部３０２から入力された統合画像に基づいて、各画素位置について輝度成分（例えばＹＣｒＣｂのＹ成分）の画素値、およびＲＧＢの各色成分の画素値を算出するとともに、左眼用画像および右眼用画像に対する画素欠陥補正、光学補正、色補正、オプティカルブラック減算、ノイズリダクション、ホワイトバランス調整、補間処理等の信号処理を施す。画素欠陥補正は、欠陥画素の周囲の画素の画素値に基づいて、欠陥画素の画素値を付与する。光学補正は、レンズの光学歪み等の補正を行う。色補正は、色温度の補正や、色偏差の補正を行う。

第２画像処理部３０４は、入力部３１０を介して設定入力された設定にしたがって、第１画像処理部３０３が画像処理を施した統合画像に対してズーム処理や、エンハンス処理を施す。具体的に、第２画像処理部３０４は、例えば、入力部３１０を介して赤色成分を強調する旨の設定がなされている場合、Ｒ成分を強調するエンハンス処理を施す。

感度補正部３０２、第１画像処理部３０３、第２画像処理部３０４および明るさ測定部３０８は、各々一つの回路を用いて構成されている。感度補正部３０２、第１画像処理部３０３、第２画像処理部３０４および明るさ測定部３０８は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）、処理内容を書き換え可能なプログラマブルロジックデバイスであるＦＰＧＡ（Field Programmable Gate Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。

ＯＳＤ情報合成部３０５は、内視鏡画像の表示領域を含む背景画像に、内視鏡画像に関する文字情報を合成した合成画像を生成する。具体的に、ＯＳＤ情報合成部３０５は、後述するＯＳＤ情報記憶部３１１ｂを参照して、表示画面を構成する背景画像、例えば黒色の背景に対し、撮像した内視鏡画像に関する文字情報等を重畳して合成する。

表示画像生成部３０６は、ＯＳＤ情報合成部３０５により合成処理が施された合成画像を含む画像信号が入力されると、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。具体的に、表示画像生成部３０６は、まず、画像信号から統合画像における左眼用画像および右眼用画像を抽出し、左眼用画像および右眼用画像を互いに離れた位置であって、視差を与える位置に配置していわゆるサイドバイサイド画像と呼ばれる視差画像を生成する。その後、表示画像生成部３０６は、生成した視差画像を、表示画面を構成する画像に重畳し、この画像を含む画像信号に対して圧縮処理等を行って、表示用の画像信号を生成する。表示画像生成部３０６は、生成した表示用の画像信号を表示装置４に送信する。なお、サイドバイサイド画像に限らず、例えば、左眼用画像のラインデータと右眼用画像のラインデータとを、視差を与えるシフト量分ずらして交互に配列させて統合したラインバイライン画像であってもよい。

領域分割部３０７は、統合画像における左眼用画像および右眼用画像のそれぞれに対して領域分割を行う。具体的に、領域分割部３０７は、例えば、図３に示すように、左眼用画像Ｗ_Lおよび右眼用画像Ｗ_Rをそれぞれ３×３の九つの領域（領域Ｒ_L，Ｒ_R）に分割する。なお、本実施の形態では、同じ面積を有する九つの領域に分割するものとして説明するが、各領域の大きさは同等であってもよいし、一部が異なっていてもよいし、互いに異なっていてもよい。また、九つに限らず、二つ以上の領域に分割するものであればよい。

明るさ測定部３０８は、領域分割部３０７が分割した各領域の明るさを検出して、左眼用画像および右眼用画像の明るさを測定する。具体的に、明るさ測定部３０８は、第１画像処理部３０３が算出した輝度成分の画素値に基づいて、各領域の平均画素値を明るさとして算出し、これらの平均画素値の平均値をそれぞれ算出して左眼用画像および右眼用画像の代表画素値を明るさとする。各領域の明るさ、ならびに左眼用画像および右眼用画像の各代表画素値は、平均値に限らず、最頻値、最大値および最小値のいずれかであってもよい。なお、輝度成分に限らず、設定された色味に応じて、ＲＧＢのうちのいずれかの色成分の画素値を用いるようにしてもよい。また、各領域に重み付けを行って、明るさを測定するようにしてもよい。

シャッターデータ生成部３０９は、明るさ測定部３０８が測定した左眼用画像および右眼用画像の明るさをもとに、左眼用撮像素子２４４_１ａおよび右眼用撮像素子２４４_１ｂのシャッターデータを生成する。具体的に、シャッターデータ生成部３０９は、左眼用画像および右眼用画像の明るさと、設定されている明るさ目標値と、後述するシャッター設定情報記憶部３１１ａに記憶されている設定条件とをもとに、左眼用撮像素子２４４_１ａおよび右眼用撮像素子２４４_１ｂの露光時間（シャッター速度）を算出し、これをシャッターデータとする。シャッターデータは、制御部３１２を介して撮像部２４４に送信される。なお、シャッターデータ生成部３０９は、算出された明るさが、予め設定されている閾値を超えた場合は、シャッターデータを、予め設定されている最大露光時間、または撮像素子に応じた最大露光時間に設定する。

入力部３１０は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部３１０は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータ等の可搬型端末を含んでいてもよい。

記憶部３１１は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータや、所定の画像処理が施された画像情報と該画像情報に関する文字情報とを重畳した合成画像を生成する合成処理、いわゆるオンスクリーンディスプレイ（ＯＳＤ）処理に関する情報等を記憶する。文字情報は、患者情報、機器情報及び検査情報等を示す情報である。また、記憶部３１１は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。

また、記憶部３１１は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等によって実現されるものであり、有線、無線を問わない。

また、記憶部３１１は、明るさ目標値に対する露光時間などのシャッターの設定条件を記憶するシャッター設定情報記憶部３１１ａと、表示画像を構成する背景画像や、この背景画像に内視鏡画像等の情報に関する文字情報を重畳した合成画像を生成する合成処理、いわゆるオンスクリーンディスプレイ（ＯＳＤ）処理に関する情報を記憶するＯＳＤ情報記憶部３１１ｂとを有する。文字情報は、患者情報、機器情報及び検査情報等を示す情報である。

以上の構成を有する記憶部３１１は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）やハードディスク等を用いて実現される。

制御部３１２は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成され、撮像部２４４および光源部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御等を行う。制御部３１２は、記憶部３１１に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミング等）や、シャッターデータ生成部３０９が生成したシャッターデータを、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像部２４４へ送信する。また、制御部３１２は、表示画像生成部３０６が生成した表示用の画像信号に応じた画像を表示装置４に表示させる制御を行う。

続いて、光源部３ａの構成について説明する。光源部３ａは、照明部３２１と、照明制御部３２２と、を備える。照明部３２１は、照明制御部３２２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３２１は、光源３２１ａと、光源ドライバ３２１ｂと、を有する。

光源３２１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３２１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。また、光源３２１ａは、ＬＥＤ光源や、レーザー光源、キセノンランプ、ハロゲンランプ等のいずれかを用いて実現される。

光源ドライバ３２１ｂは、照明制御部３２２の制御のもと、光源３２１ａに対して電流を供給することにより、光源３２１ａに照明光を出射させる。

照明制御部３２２は、制御部３１２からの制御信号（調光信号）に基づいて、光源３２１ａに供給する電力量を制御するとともに、光源３２１ａの駆動タイミングを制御する。

表示装置４は、映像ケーブルを介して処理装置３（表示画像生成部３０６）から受信した画像信号に対応する表示画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro Luminescence）等のモニタを用いて構成される。

ユーザは、表示装置４に表示された視差画像を、偏光特性を有する眼鏡を介して観察する。これにより、ユーザは、左眼により左眼用画像を観察し、右眼により右眼用画像を観察することによって、立体画像を観察することができる。

続いて、内視鏡システム１が行う画像処理について説明する。図４は、本発明の一実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。以下、制御部３１２の制御のもと、各部が動作するものとして説明する。

まず、処理装置３が内視鏡２から撮像部２４４が生成した内視鏡画像を表す左眼用画像データおよび右眼用画像データを受信すると、画像統合部３０１が、左眼用画像および右眼用画像を統合した一枚の統合画像データを生成する。（ステップＳ１０１）。

ステップＳ１０１に続くステップＳ１０２において、感度補正部３０２は、画像統合部３０１から入力された統合画像に対して、内視鏡２から入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。

ステップＳ１０２に続くステップＳ１０３において、第１画像処理部３０３は、感度補正部３０２から入力された統合画像における左眼用画像および右眼用画像に対して第１画像処理を施す。第１画像処理部３０３は、上述したように、各画素位置について輝度成分（例えばＹＣｒＣｂのＹ成分）の画素値、およびＲＧＢの各色成分の画素値を算出するとともに、画素欠陥補正、光学補正、色補正、オプティカルブラック減算、ノイズリダクション、ホワイトバランス調整、補間処理等の信号処理を施す。

以下、第１信号処理部３０３により生成された統合画像に基づく表示画像の生成および表示処理（ステップＳ１０４Ａ〜Ｓ１０４Ｄ）と、第１信号処理部３０３により算出された画素値に基づくシャッターデータの生成処理（ステップＳ１０５Ａ〜Ｓ１０５Ｃ）とを並列に行う。

まず、統合画像に基づく表示画像の生成および表示処理について説明する。ステップＳ１０４Ａにおいて、第２画像処理部３０４は、入力部３１０を介して設定入力された設定にしたがって、第１画像処理部３０３が画像処理を施した統合画像に対してズーム処理や、エンハンス処理などの第２画像処理を施す。

ステップＳ１０４Ａに続くステップＳ１０４Ｂにおいて、ＯＳＤ情報合成部３０５は、内視鏡画像の表示領域を含む背景画像に、内視鏡画像に関する文字情報（ＯＳＤ情報）を合成した合成画像を生成する。

ステップＳ１０４Ｂに続くステップＳ１０４Ｃにおいて、表示画像生成部３０６は、ＯＳＤ情報合成部３０５により合成処理が施された合成画像を含む画像信号が入力されると、視差画像を生成して合成画像に重畳した後、表示装置４で表示可能な態様の信号となるような信号処理を施した表示画像を含む表示用の画像信号を生成する。なお、ステップ１０４Ｃが生成する表示画像は、背景を有しない画像であって、視差画像に文字情報が重畳された画像であってもよい。

ステップＳ１０４Ｃに続くステップＳ１０４Ｄにおいて、制御部３１２は、ＯＳＤ情報合成部３０５により生成された合成画像に、表示画像生成部３０６が生成した視差画像を重畳して信号処理が施された表示画像を、表示装置４に表示させる。

また、上述した統合画像に基づく表示画像の生成および表示処理（ステップＳ１０４Ａ〜Ｓ１０４Ｄ）と並行して、第１信号処理部３０３により算出された画素値に基づくシャッターデータの生成処理を行う。

ステップＳ１０５Ａにおいて、領域分割部３０７は、統合画像における左眼用画像および右眼用画像のそれぞれに対して領域分割処理を行う。領域分割部３０７は、例えば、図３に示すように、左眼用画像および右眼用画像をそれぞれ３×３の九つの領域に分割する。

ステップＳ１０５Ａに続くステップＳ１０５Ｂにおいて、明るさ測定部３０８は、領域分割部３０７が分割した各領域の明るさを検出して、統合画像における左眼用画像および右眼用画像の明るさを測定する。明るさ測定部３０８は、画素値に基づいて、左眼用画像および右眼用画像の明るさを算出する。

ステップＳ１０５Ｂに続くステップＳ１０５Ｃにおいて、シャッターデータ生成部３０９は、明るさ測定部３０８が測定した左眼用画像および右眼用画像の明るさをもとに、左眼用撮像素子２４４_１ａおよび右眼用撮像素子２４４_１ｂのシャッターデータを生成する。シャッターデータ生成部３０９は、上述したように、左眼用画像および右眼用画像の明るさと、設定されている明るさ目標値と、後述するシャッター設定情報記憶部３１１ａに記憶されている設定条件とをもとに、左眼用撮像素子２４４_１ａおよび右眼用撮像素子２４４_１ｂの露光時間を算出する。生成されたシャッターデータは、制御部３１２を介して撮像部２４４に送信される。この送信されたシャッターデータは、当該フレームの次のフレームの撮像を行う際に適用される。

第１信号処理部３０３により生成された統合画像に基づく表示画像の生成および表示処理（ステップＳ１０４Ａ〜Ｓ１０４Ｄ）と、第１信号処理部３０３により算出された画素値に基づくシャッターデータの生成処理（ステップＳ１０５Ａ〜Ｓ１０５Ｃ）とが終了すると、制御部３１２は、新たな画像信号が内視鏡２から入力されたか否かを判断する（ステップＳ１０６）。制御部３１２は、例えば、新たな画像信号が内視鏡２から入力されたと判断すると（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０１に戻って上述した処理を繰り返す。この際に取得された画像信号は、例えば、ステップＳ１０５Ｃにおいて生成されたシャッターデータに基づいて撮像された画像を含んでいる。これに対し、新たな画像信号は入力されていないと判断すると（ステップＳ１０６：Ｎｏ）、上述した画像処理を終了する。

上述した本発明の一実施の形態によれば、感度補正部３０２、第１画像処理部３０３、第２画像処理部３０４および明るさ測定部３０８を、各々一つの回路を用いて構成し、画像統合部３０１が統合した一枚の統合画像データを用いて表示画像の生成処理と、明るさ測定処理とを行うようにしたので、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる。

なお、上述した実施の形態では、領域分割部３０７が、左眼用画像および右眼用画像を分割するものとして説明したが、各画像の明るさを算出できるものであれば、領域分割部３０７を有しない構成とし、明るさ測定部３０８が、左眼用画像および右眼用画像の全部または一部の画素値に基づいて明るさを算出するようにしてもよい。

また、上述した実施の形態では、左眼用画像および右眼用画像の明るさをもとに、露光時間（シャッター速度）を制御するものとして説明したが、左眼用画像および右眼用画像の明るさをもとに、光源３２１ａが発する光の強度を制御するようにしてもよいし、露光時間と光の強度を組み合わせて制御するようにしてもよい。この際、左眼用画像および右眼用画像のいずれかを用いて明るさが測定される。

（実施の形態の変形例）
本変形例では、右眼用画像および左眼用画像を統合する画像統合部を、内視鏡側に設ける。図５は、本発明の実施の形態の変形例にかかる内視鏡システムの概略構成を示すブロック図である。

図５に示す内視鏡システム１Ａは、被検体内に先端部を挿入することによって被検体内の画像（以下、内視鏡画像ともいう）を撮像する内視鏡２Ａと、内視鏡２Ａの先端から出射する照明光を発生する光源部３ａを有し、内視鏡２Ａが撮像した画像信号に所定の信号処理を施すとともに、内視鏡システム１Ａ全体の動作を統括的に制御する処理装置３Ａと、処理装置３Ａの信号処理により生成された内視鏡画像を表示する表示装置４と、を備える。

内視鏡２Ａは、上述した内視鏡２の構成において、先端部２４に代えて先端部２４Ａを備る。先端部２４Ａは、上述したライトガイド２４１、照明レンズ２４２と、左眼用光学系２４３ａおよび右眼用光学系２４３ｂ、撮像部２４４に加え、画像統合部２４６を備える。画像統合部２４６は、上述した画像統合部３０１と同様に、撮像部２４４から入力された左眼用画像データおよび右眼用画像データを統合して一枚の統合画像データを生成する。内視鏡２Ａは、画像統合部２４６が生成した統合画像データを処理装置３Ａに送信する。

処理装置３Ａは、上述した感度補正部３０２、第１画像処理部３０３、第２画像処理部３０４、ＯＳＤ情報合成部３０５、表示画像生成部３０６、領域分割部３０７、明るさ測定部３０８、シャッターデータ生成部３０９、入力部３１０、記憶部３１１、制御部３１２を備える。

感度補正部３０２は、内視鏡２Ａから入力された統合画像の感度補正を行う。具体的に、感度補正部３０２は、内視鏡２Ａから入力された統合画像に対して、内視鏡２Ａから入力された感度補正パラメータを用いて、左眼用画像と右眼用画像との間の感度補正を行う。本変形例によっても、内視鏡２Ａが有する各撮像素子の感度に応じた補正処理を施すことができる。

その後の表示画像の生成および表示処理、および、シャッターデータの生成処理は、上述した実施の形態と同様であり、図４のフローチャートに従って実行される。

上述した本変形例によれば、上述した実施の形態と同様、感度補正部３０２、第１画像処理部３０３、第２画像処理部３０４および明るさ測定部３０８を、各々一つの回路を用いて構成し、画像統合部２４６が統合した一枚の統合画像データを用いて表示画像の生成処理と、明るさ測定処理とを行うようにしたので、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくすることができる。

また、上述した本変形例によれば、内視鏡２Ａと処理装置３Ａとの間の画像データの送受信について、画像統合部２４６により統合された統合画像データを処理装置３Ａに送信するようにしたので、シリアルな画像データを送信することになり、画像データをパラレルに伝送する場合と比して、信号線を削減することができる。これにより、例えば挿入部２１を細径化することが可能である。

なお、上述した変形例では、画像統合部２４６を内視鏡２Ａに設けるものとして説明したが、さらに、処理装置３Ａが有する構成を、内視鏡２Ａに設けて、内視鏡２Ａと表示装置４とを直接接続して、視差画像を表示する構成としてもよい。

上述した実施の形態では、左眼用撮像素子２４４_１ａにより得られる左眼用画像、および右眼用撮像素子２４４_１ｂにより得られる右眼用画像が、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像であるものとして説明したが、例えば、同一の視野を有する画像であって、照明光の波長帯域が異なる画像や、異なる特性を有するフィルタを通過した光に基づく画像であってもよい。このように、本実施の形態にかかる内視鏡システム１，１Ａは、被写体像の特性が異なる複数の画像を処理する構成において、処理装置の回路規模を小さくすることが可能である。また、例えば、双眼型のカプセル型内視鏡が撮像した、異なる被写体が写った異なる視野の画像の信号処理を行う場合でも、カプセル型内視鏡から受信した画像信号の処理を行う処理装置の回路規模を小さくすることが可能である。

また、上述した実施の形態では、処理装置３が、ＹＣｂＣｒ色空間に基づく輝度（Ｙ）成分の画素値、およびＲＧＢの各色成分画素値を生成するものとして説明したが、色相（Hue）、彩度（Saturation Chroma）、明度（Value Lightness Brightness）の三つの成分からなるＨＳＶ色空間や、三次元空間を用いるＬ^*ａ^*ｂ^*色空間等を用いて、色と輝度とに分けた成分の画素値を生成するものであってもよい。

また、上述した実施の形態では、光源部３ａからＲＧＢの各色成分を含む白色の照明光が出射され、受光部が照明光による反射光を受光する同時式の照明／撮像方式であるものとして説明したが、光源部３ａが、各色成分の光を個別に順次出射して、受光部が、各色成分の光をそれぞれ受光する面順次式の照明／撮像方式であってもよい。

また、上述した実施の形態では、光源部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設ける等、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３の機能を付与してもよい。

また、上述した実施の形態では、光源部３ａが、処理装置３とは一体であるものとして説明したが、光源部３ａおよび処理装置３が別体であって、例えば処理装置３の外部に照明部３２１および照明制御部３２２が設けられているものであってもよい。また、光源３２１ａが先端部２４の先端に設けられているものであってもよい。

また、上述した実施の形態では、本発明にかかる内視鏡システムは、観察対象が被検体内の生体組織等である軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管等の光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。

以上のように、本発明にかかる画像処理システムおよび画像処理装置は、右眼用画像と左眼用画像とを用いて視差画像を生成し、かつ右眼用画像および左眼用画像から明るさを測定する信号処理回路の回路規模を小さくするのに有用である。

１ 内視鏡システム
２，２Ａ 内視鏡
３，３Ａ 処理装置
３ａ 光源部
４ 表示装置
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
２５ 湾曲部
２６ 可撓管部
２７ 感度補正情報メモリ
２４３ａ 左眼用光学系
２４３ｂ 右眼用光学系
２４４ 撮像部
２４４_１ａ 左眼用撮像素子
２４４_１ｂ 右眼用撮像素子
２４４_２ａ 左眼用信号処理部
２４４_２ｂ 右眼用信号処理部
２４６，３０１ 画像統合部
３０２ 感度補正部
３０３ 第１画像処理部
３０４ 第２画像処理部
３０５ ＯＳＤ情報合成部
３０６ 表示画像生成部
３０７ 領域分割部
３０８ 明るさ測定部
３０９ シャッターデータ生成部
３１０ 入力部
３１１ 記憶部
３１１ａ シャッター設定情報記憶部
３１１ｂ ＯＳＤ情報記憶部
３１２ 制御部
３２１ 照明部
３２２ 照明制御部

Claims (8)

1. 第１の画像データを生成する第１撮像部と、
   前記第１の画像データとは視野、照明光の波長帯域、および、光を通過させるフィルタのいずれかが異なり、少なくとも一部の視野が重複する第２の画像データを生成する第２撮像部と、
   前記第１および第２の画像データを並べて統合して一つの統合画像データを生成する統合部と、
   前記統合画像データに対して画像処理を施す画像処理部と、
   前記画像処理が施された前記統合画像データをもとに、前記第１および第２の画像データに対応する第１および第２の画像の明るさをそれぞれ測定する明るさ測定部と、
   前記明るさ測定部が測定した前記第１および第２の画像の明るさをもとに、前記第１および第２撮像部による撮像処理における露光条件をそれぞれ制御する制御データを生成する制御データ生成部と、
   前記画像処理部により前記画像処理が施された前記統合画像データから前記第１および第２の画像データを抽出し、表示装置に表示させる表示画像を生成する表示画像生成部と、
   を備えることを特徴とする画像処理システム。
2. 前記統合部の後段に設けられ、一つの回路から構成されており、前記統合画像データに対して、前記第１および第２の画像データの差異に応じた感度補正を行う感度補正部、
   をさらに有し、
   前記画像処理部は、前記感度補正が施された統合画像データに対して前記画像処理を施す
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記第１および第２の画像データは、互いに視野が異なる画像を含む画像データである
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記視野が異なる画像は、互いに視差を有する画像である
   ことを特徴とする請求項３に記載の画像処理システム。
5. 前記第１および第２の画像データは、同一の視野を有する画像であって、被写体を照明する照明光の波長帯域が異なる画像を含む画像データである
   ことを特徴とする請求項１に記載の画像処理システム。
6. 前記第１および第２撮像部を有する撮像装置と、
   前記撮像装置が生成した前記第１および第２の画像データに画像処理を施す処理装置と、
   を備え、
   前記統合部、前記画像処理部、前記明るさ測定部、前記制御データ生成部および前記表示画像生成部は、前記処理装置に設けられている
   ことを特徴とする請求項１に記載の画像処理システム。
7. 前記第１および第２撮像部を有する撮像装置と、
   前記撮像装置が生成した前記第１および第２の画像データに画像処理を施す処理装置と、
   を備え、
   前記統合部は、前記撮像装置に設けられており、
   前記画像処理部、前記明るさ測定部、前記制御データ生成部および前記表示画像生成部は、前記処理装置に設けられている
   ことを特徴とする請求項１に記載の画像処理システム。
8. 視野、照明光の波長帯域、および、光を通過させるフィルタのいずれかが互いに異なり、少なくとも一部の視野が重複する第１および第２の画像データを並べて統合した一つの統合画像データに対して画像処理を施す画像処理部と、
   前記画像処理が施された前記統合画像データをもとに、前記第１および第２の画像データに対応する第１および第２の画像の明るさをそれぞれ測定する明るさ測定部と、
   前記明るさ測定部が測定した前記第１および第２の画像の明るさをもとに、前記第１の画像データを生成する第１撮像部、および、前記第２の画像データを生成する第２撮像部による撮像処理における露光条件をそれぞれ制御する制御データを生成する制御データ生成部と、
   前記画像処理部により前記画像処理が施された前記統合画像データから前記第１および第２の画像データを抽出し、表示装置に表示させる表示画像を生成する表示画像生成部と、
   を有することを特徴とする画像処理装置。

Images