JP6109456B1 - 画像処理装置および撮像システム - Google Patents

Abstract

本発明にかかる画像処理装置は、露光量が異なる第１および第２の画像データを含む第１および第２の信号をハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、第１および第２の信号ならびに第１階調圧縮画像信号に基づいて色補正を施すことによって第２階調圧縮画像信号を生成する色補正部と、を備えた。

Description

本発明は、明るさの異なる画像信号の合成処理を行う画像処理装置および撮像システムに関する。

近年、明るさ（露光量）の異なる入力画像を合成することによってダイナミックレンジを拡大した画像であるＨＤＲ（High Dynamic Range）画像を生成後、このＨＤＲ画像に対して階調圧縮処理を施して、モニタに表示可能な階調圧縮画像を生成する技術が知られている（例えば、特許文献１を参照）。

特表２０１２−５１３１７２号公報

しかしながら、特許文献１が開示する従来の階調圧縮処理では、入力画像に対する色の再現性が低かった。特に、医学的な診断では、患部の色調によって診断を行うため、内視鏡により得られた入力画像の色調に対して、モニタに表示される階調圧縮画像の色調が異なると、診断結果が異なってしまうおそれがあった。

本発明は、上記に鑑みてなされたものであって、明るさが異なる入力画像を合成、階調圧縮した場合であっても、入力画像に対する階調圧縮画像の色の再現性の低下を抑制することができる画像処理装置および撮像システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、露光量が異なる第１および第２の画像データをそれぞれ含む第１および第２の信号をハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、前記ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、前記第１および第２の信号ならびに前記第１階調圧縮画像信号に基づいて色補正を施すことによって第２階調圧縮画像信号を生成する色補正部と、を備えたことを特徴とする。

また、本発明にかかる撮像システムは、外部からの光を光電変換する複数の画素を有し、露光量が異なる第１および第２の撮像信号を生成する撮像装置と、前記第１および第２の撮像信号をハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、前記ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、前記第１および第２の撮像信号ならびに前記第１階調圧縮画像信号に基づいて色補正を施すことによって第２階調圧縮画像信号を生成する色補正部と、を備えたことを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記ＨＤＲ画像生成部は、前記第１の撮像信号の画素値に対して０より大きく１より小さい第１の係数を乗じた値と、前記第２の撮像信号の画素値に対して前記第１の係数との和が１である第２の係数を乗じた値とに基づいて前記ＨＤＲ画像信号を生成し、前記色補正部は、前記第１および第２の撮像信号、前記第１階調圧縮画像信号、ならびに前記第１および第２の係数に基づいて前記第２階調圧縮画像信号を生成することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、前記色補正部は、前記第１の撮像信号の代表値に対する前記第１階調圧縮画像信号の代表値の比を、前記第１の係数に乗じることにより第１のゲイン値を算出するとともに、前記第２の撮像信号の代表値に対する前記第１階調圧縮画像信号の代表値の比を、前記第２の係数に乗じることにより第２のゲイン値を算出することによって、画素位置に応じたゲインマップを算出するゲインマップ算出部と、前記ゲインマップ算出部が算出した前記ゲインマップに基づいて前記第１および第２の撮像信号を再度ハイダイナミックレンジ合成することによって前記第２階調圧縮画像信号を生成する再合成処理部と、を有することを特徴とする。

また、本発明にかかる撮像システムは、上記発明において、照明光を出射する光源装置をさらに備え、前記第１の撮像信号は、第１の照明強度で照明された被写体を撮像した撮像信号であり、前記第２の撮像信号は、第１の照明強度とは異なる第２の照明強度で照明された被写体を撮像した撮像信号であることを特徴とする。

本発明によれば、明るさが異なる入力画像を合成、階調圧縮した場合であっても、入力画像に対する階調圧縮画像の色の再現性の低下を抑制することができるという効果を奏する。

図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の一実施の形態にかかる内視鏡システムによる画像生成を説明する模式図である。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含む撮像システムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。

図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置４と、処理装置４の信号処理により生成された体内画像を表示する表示装置５と、を備える。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４（撮像装置）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。

先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、を有する。

光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。撮像素子２４４は、処理装置４から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて実現される。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置４、光源装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。

つぎに、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。照明部３１は、照明制御部３２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３１は、光源３１ａと、光源ドライバ３１ｂと、を有する。

光源３１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。なお、光源３１ａは、赤色ＬＥＤ光源、緑色ＬＥＤ光源および青色ＬＥＤ光源を用いて構成し、いずれかの光源から光を出射することにより、赤色光、緑色光および青色光のうちのいずれかの波長帯域を有する光を照明光として出射するものであってもよい。

光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することにより、光源３１ａに照明光を出射させる。

照明制御部３２は、処理装置４からの制御信号に基づいて、光源３１ａに供給する電力量を制御するとともに、光源３１ａの駆動タイミングを制御する。照明制御部３２の制御により、照明部３１は、第１の露光量で露光する第１露光処理、および第１の露光量とは異なる第２の露光量で露光する第２露光処理によりそれぞれ被写体を露光する。本実施の形態では、第１の露光量が、第２の露光量よりも大きいものとして説明する。照明制御部３２は、例えば、照明光の照明強度を変化させることにより露光量を調整する。

次に、処理装置４の構成について説明する。処理装置４は、撮像信号取得部４１と、ＨＤＲ（High Dynamic Range）画像生成部４２と、階調圧縮部４３と、色補正部４４と、入力部４５と、記憶部４６と、制御部４７と、を備える。なお、ＨＤＲ画像生成部４２、階調圧縮部４３および色補正部４４により、画像処理装置を構成する。

撮像信号取得部４１は、内視鏡２から、撮像素子２４４が出力した撮像信号を受信する。図３は、本実施の形態にかかる内視鏡システムによる画像生成を説明する模式図である。撮像信号取得部４１は、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施して入力画像（画像データ）を含む撮像信号を生成する。撮像信号取得部４１は、入力画像として、第１露光処理である長露光処理によって得られる長露光画像Ｐ_L１〜Ｐ_L３、および第２露光処理である短露光処理によって得られる短露光画像Ｐ_S１，Ｐ_S２を生成するとともに、生成した入力画像を記憶部４６に格納する。各入力画像は、信号処理により赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の色成分が付与された画像である。図３では、撮像信号取得部４１が、長露光画像Ｐ_L１、短露光画像Ｐ_S１、長露光画像Ｐ_L２、短露光画像Ｐ_S２、長露光画像Ｐ_L３の順で取得するものとして説明する。

撮像信号取得部４１は、最新フレームの撮像信号と、記憶部４６に記憶され、最新フレームの１フレーム前の撮像信号とを、ＨＤＲ画像生成部４２および色補正部４４に出力する。本実施の形態では、撮像信号取得部４１は、第１の露光量によって撮像された長露光画像（第１の画像データ）を含む第１の撮像信号と、第１の撮像信号の前または後のフレームの撮像信号であって、第２の露光量で撮像された短露光画像（第２の画像データ）を含む第２の撮像信号とを、ＨＤＲ画像生成部４２および色補正部４４に出力する。長露光画像および短露光画像は、一方が入力画像である場合、他方は記憶部４６に記憶されている記憶画像となる。

ＨＤＲ画像生成部４２は、撮像素子２４４が生成した異なる露光量の画像を含む第１および第２の撮像信号を撮像信号取得部４１から取得して、露光量の異なる画像を合成することによって、ダイナミックレンジを広げたＨＤＲ画像Ｐ_H１〜Ｐ_H４（例えば、チャンネルあたりのビット数が３２ビット）を含むＨＤＲ画像信号を生成する。ＨＤＲ画像生成部４２は、第１の撮像信号と第２の撮像信号との加重加算処理を行なってＨＤＲ画像信号を生成する加重加算部４２１と、加重加算部４２１の加重加算処理時に用いる加重加算係数を算出する加重加算係数算出部４２２と、を有する。

加重加算部４２１は、第１の撮像信号と第２の撮像信号との加重加算処理を行って生成したＨＤＲ画像信号を階調圧縮部４３に出力する。具体的には、加重加算部４２１は、各画素の位置を直交座標系（ｘ，ｙ）で表すとともに、第１の撮像信号Ｓ_Lにおける長露光画像の画素値をＬ（ｘ，ｙ）、第２の撮像信号Ｓ_Sにおける短露光画像の画素値をＳ（ｘ，ｙ）、加重加算係数をα（ｘ，ｙ）（０＜α（ｘ，ｙ）＜１）、ＨＤＲ画像信号Ｓ_HにおけるＨＤＲ画像の画素値をＨ（ｘ，ｙ）とすると、ＨＤＲ画像の画素値Ｈ（ｘ，ｙ）は、下式（１）により導出される。なお、以下では、加重加算係数αは、短露光画像に対して設定される係数であるものとして説明する。
Ｈ（ｘ，ｙ）＝（１−α（ｘ，ｙ））×Ｌ（ｘ，ｙ）
＋α（ｘ，ｙ）×β×Ｓ（ｘ，ｙ） ・・・（１）
ここで、βは、短露光と長露光との露光量の差を調整するために短露光側に作用させる係数であって、短露光処理の露光量をＥ₁、長露光処理の露光量をＥ₂とすると、β＝Ｅ₂／Ｅ₁で表される。なお、この係数を長露光側に作用させる場合、係数β’は、β’＝Ｅ₁／Ｅ₂で表される。

加重加算係数算出部４２２は、長露光画像の明るさ（画素値Ｌ（ｘ，ｙ））に応じて加重加算係数α（ｘ，ｙ）を設定する。具体的には、加重加算係数算出部４２２は、記憶部４６を参照して、長露光画像の画素値Ｌ（ｘ，ｙ）が、予め設定されている基準値に対して大きいほど加重加算係数α（ｘ，ｙ）の値が大きくなるように設定し、長露光画像の画素値Ｌ（ｘ，ｙ）が、基準値に対して小さいほど加重加算係数α（ｘ，ｙ）を小さくなるように設定する。加重加算係数算出部４２２は、画素位置（座標）ごとに、加重加算係数α（ｘ，ｙ）を設定する。なお、加重加算係数算出部４２２は、画素値Ｓ（ｘ，ｙ）に対する加重加算係数（第１の係数）と、画素値Ｌ（ｘ，ｙ）に対する加重加算係数（第２の係数）との和が１となるように各係数の設定を行う。

階調圧縮部４３は、ＨＤＲ画像生成部４２が生成したＨＤＲ画像信号Ｓ_Hに対して、階調圧縮処理、例えば、チャンネルあたりのビット数を３２ビットから１２ビットとする処理を施すことによって、表示装置５で表示可能なサイズまでダイナミックレンジを下げた階調圧縮画像Ｐ_T１〜Ｐ_T４（トーンマッピング画像）を含む階調圧縮画像信号Ｓ_T（第１階調圧縮画像信号）を生成する。

色補正部４４は、撮像信号取得部４１から入力された第１の撮像信号Ｓ_Lおよび第２の撮像信号Ｓ_S、階調圧縮部４３が生成した階調圧縮画像信号Ｓ_Tならびに加重加算係数α（ｘ，ｙ）に基づき、第１の撮像信号Ｓ_Lおよび第２の撮像信号Ｓ_Sに色補正処理を施して色補正画像を含む色補正画像信号Ｓ_T’を生成する。

色補正部４４は、第１の撮像信号Ｓ_L、第２の撮像信号Ｓ_Sおよび階調圧縮画像信号Ｓ_Tの各信号の輝度成分を抽出する輝度成分抽出部４４１と、輝度成分抽出部４４１が抽出した輝度成分と、加重加算係数α（ｘ，ｙ）とをもとに、ゲインマップを算出するゲインマップ算出部４４２と、ゲインマップに基づいて各画素における画素値を補正して第１の撮像信号Ｓ_Lおよび第２の撮像信号Ｓ_Sを再合成した補正ＨＤＲ画像信号を生成後、該補正ＨＤＲ画像信号に階調圧縮処理を施すことで補正階調圧縮画像である色補正画像を含む色補正画像信号Ｓ_T’（第２階調圧縮画像信号）を生成する再合成処理部４４３と、を有する。

輝度成分抽出部４４１は、入力された第１の撮像信号Ｓ_L、第２の撮像信号Ｓ_Sおよび階調圧縮画像信号Ｓ_Tに対して、ＲＧＢで表現された値をＹＣｂＣｒ変換処理して輝度（Ｙ）成分および色差（ＣｒＣｂ）成分に分離し、各信号の輝度（Ｙ）成分を抽出する。輝度成分抽出部４４１は、第１の撮像信号Ｓ_Lから抽出した輝度成分を含む輝度成分信号Ｙ_L、第２の撮像信号Ｓ_Sから抽出した輝度成分を含む輝度成分信号Ｙ_Sおよび階調圧縮画像信号Ｓ_Tから抽出した輝度成分を含む輝度成分信号Ｙ_Tをゲインマップ算出部４４２に出力する。

ゲインマップ算出部４４２は、輝度成分抽出部４４１が抽出した輝度成分と、加重加算係数α（ｘ，ｙ）とをもとに、ゲインマップを算出する。具体的には、第１の撮像信号Ｓ_Lにおける画素位置（ｘ，ｙ）のゲイン値をＧ_L（ｘ，ｙ）、第２の撮像信号Ｓ_Sにおける画素位置（ｘ，ｙ）のゲイン値をＧ_S（ｘ，ｙ）、第１の撮像信号Ｓ_Lにおける長露光画像の画素値Ｌ（ｘ，ｙ）の輝度成分をＹ_L（ｘ，ｙ）、第２の撮像信号Ｓ_Sにおける短露光画像の画素値Ｓ（ｘ，ｙ）の輝度成分をＹ_S（ｘ，ｙ）、階調圧縮画像信号Ｓ_Tにおける階調圧縮画像の画素値Ｔ（ｘ，ｙ）の輝度成分をＹ_T（ｘ，ｙ）とすると、ゲイン値Ｇ_L（ｘ，ｙ）は下式（２）により導出され、ゲイン値Ｇ_S（ｘ，ｙ）は下式（３）により導出される。
Ｇ_L（ｘ，ｙ）＝（１−α（ｘ，ｙ））×Ｙ_T（ｘ，ｙ）／Ｙ_L（ｘ，ｙ）
・・・（２）
Ｇ_S（ｘ，ｙ）＝α（ｘ，ｙ）×Ｙ_T（ｘ，ｙ）／Ｙ_S（ｘ，ｙ）・・・（３）

ゲインマップ算出部４４２は、上式（２）、（３）により、各画素位置に対してゲイン値Ｇ_L（ｘ，ｙ）が付与された第１ゲインマップＧ_Lと、各画素位置に対してゲイン値Ｇ_S（ｘ，ｙ）が付与された第２ゲインマップＧ_Sと、を算出する。ゲインマップ算出部４４２は、算出した第１ゲインマップＧ_Lおよび第２ゲインマップＧ_Sを再合成処理部４４３に出力する。

再合成処理部４４３は、ゲインマップ算出部４４２が算出した第１ゲインマップＧ_Lおよび第２ゲインマップＧ_Sに基づいて各画素における画素値を補正して第１の撮像信号Ｓ_Lおよび第２の撮像信号Ｓ_Sを再合成した補正ＨＤＲ画像信号Ｓ_Qを生成後、該補正ＨＤＲ画像信号Ｓ_Qに階調圧縮処理を施すことで補正階調圧縮画像である色補正画像を含む色補正画像信号Ｓ_T’を生成する。具体的には、再合成処理部４４３は、補正ＨＤＲ画像信号Ｓ_Qにおける補正ＨＤＲ画像の画素値をＱ（ｘ，ｙ）とすると、画素値Ｑ（ｘ，ｙ）は下式（４）により導出される。
Ｑ（ｘ，ｙ）＝Ｇ_L（ｘ，ｙ）×Ｌ（ｘ，ｙ）
＋Ｇ_S（ｘ，ｙ）×Ｓ（ｘ，ｙ）・・・（４）

再合成処理部４４３は、第１ゲインマップＧ_Lおよび第２ゲインマップＧ_Sに基づいて画素値Ｑ（ｘ，ｙ）を算出し、補正ＨＤＲ画像信号Ｓ_Qを生成後、該補正ＨＤＲ画像信号Ｓ_Qに階調圧縮処理を施すことで補正階調圧縮画像である色補正画像Ｐ_C１〜Ｐ_C４を含む色補正画像信号Ｓ_T’を生成する。この色補正画像は、上述した階調圧縮画像（トーンマッピング画像）に対して色補正処理を施した画像である。

色補正部４４は、生成した色補正画像を含む色補正画像信号Ｓ_T’に対して、オプティカルブラック減算処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理およびフォーマット変換処理等を施した後、処理後の色補正画像信号Ｓ_T’を表示装置５に出力する。

入力部４５は、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。

記憶部４６は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。記憶部４６は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部４６は、処理装置４の識別情報を記憶する。ここで、識別情報には、処理装置４の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。

記憶部４６は、撮像信号取得部４１により信号処理が施された撮像信号に応じた画像であって、第１露光処理により撮像された長露光画像や、第２露光処理により撮像された短露光画像などの画像データ、加重加算部４２１の加重加算処理時に用いる加重加算係数の基準値、該基準値に対する加重加算係数の増減率などを記憶する。記憶部４６は、例えば第１および第２の撮像信号を記憶するリングバッファを有していてもよい。この場合、リングバッファは、容量が不足すると（所定のフレーム数の撮像信号を記憶すると）、最も古い撮像信号を最新の撮像信号で上書きすることで、最新の撮像信号から時系列で所定フレーム数記憶する。

制御部４７は、ＣＰＵ（Central Processing Unit）等を用いて構成され、撮像素子２４４および光源装置３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４７は、記憶部４６に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して撮像素子２４４へ送信する。

また、制御部４７は、取得した撮像信号に基づく画像をもとに明るさを検出して露光量を設定し、該設定した露光量に応じた発光量（強度および時間を含む）で光源３１ａが発光するような制御信号を生成する。

表示装置５は、映像ケーブルを介して処理装置４（色補正部４４）が生成した色補正画像信号Ｓ_T’に対応する色補正画像Ｐ_C１〜Ｐ_C４を表示する。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）等のモニタを用いて構成される。

以上説明した内視鏡システム１では、処理装置４に入力された撮像信号をもとに、ＨＤＲ画像生成部４２が、露光量の異なる第１および第２の撮像信号（撮像信号Ｓ_L，Ｓ_S）をもとにＨＤＲ画像信号Ｓ_Hを生成後、階調圧縮部４３が、階調圧縮画像信号Ｓ_Tを生成し、色補正部４４が、撮像信号Ｓ_L，Ｓ_Sおよび階調圧縮画像信号Ｓ_Tの各画像の輝度（Ｙ）成分をもとにゲインマップＧ_L，Ｇ_Sを算出して、算出されたゲインマップＧ_L，Ｇ_Sに基づいて色補正を施した階調圧縮画像信号を再構築して色補正画像信号Ｓ_T’を生成し、表示装置５が、再構築された色補正画像信号Ｓ_T’に基づく色補正画像（色補正画像Ｐ_C１〜Ｐ_C４）を表示する。

上述した本発明の一実施の形態によれば、露光量（明るさ）の異なる第１および第２の撮像信号をもとにＨＤＲ画像信号を生成後に階調圧縮画像信号を生成し、第１および第２の撮像信号ならびに階調圧縮画像信号の各画像の輝度成分をもとにゲインマップを算出して、算出されたゲインマップに基づいて色補正を施した階調圧縮画像を再構築するようにしたので、階調圧縮した場合であっても、入力画像に対する階調圧縮画像の色の再現性の低下を抑制することができる。

なお、上述した実施の形態では、ＹＣｂＣｒ色空間に基づいて輝度（Ｙ）成分を代表値として輝度（Ｙ）成分をもとにゲインマップを算出するものとして説明したが、ＹＣｂＣｒ色空間に限らず、例えば、色相（Hue）、彩度（Saturation Chroma）、明度（Value Lightness Brightness）の三つの成分からなるＨＳＶ色空間や、三次元空間を用いるＬ^*ａ^*ｂ^*色空間などを用いて、色と輝度とに分けて、輝度の情報を使ってゲインマップを算出してもよい。例えば、Ｌ^*ａ^*ｂ^*色空間を用いる場合は、３刺激値（ＸＹＺ空間（三次元空間）のＹ成分）を代表値として用いる。

なお、上述した実施の形態では、加重加算係数αが、短露光画像に対して設定される係数であるものとして説明したが、長露光画像に対して設定される係数であってもよい。

また、上述した実施の形態では、異なる二つの露光処理によって生成された撮像信号を用いるものとして説明したが、三つ以上の露光処理によって生成された撮像信号を用いるものであってもよい。

また、上述した実施の形態において、階調圧縮後の色補正処理の実行または非実行を切替可能としてもよい。この切替は、ユーザーによるスイッチ等の操作による指示入力に基づいてなされるものであってもよいし、撮像された画像を解析することによって、自動的に切替可能としてもよい。画像解析により切替を判断する場合は、例えば、画像の輝度分布をもとに画像の明暗差を算出し、この算出結果が予め設定されている明暗差よりも大きければ、色補正処理を実行し、予め設定されている明暗差以下であれば、当該処理を非実行としてもよい。

また、上述した実施の形態では、光源装置３が、処理装置４とは別体であるものとして説明したが、光源装置３および処理装置４が一体であって、例えば処理装置４の内部に照明部３１および照明制御部３２が設けられているものであってもよい。

また、上述した実施の形態では、本発明にかかる画像処理装置が、観察対象が被検体内の生体組織などである内視鏡２を用いた内視鏡システム１のＨＤＲ画像生成部４２、階調圧縮部４３および色補正部４４として機能するものとして説明したが、材料の特性を観測する工業用の内視鏡や、カプセル型の内視鏡を用いた内視鏡システムであっても適用できる。本発明にかかる画像処理装置は、体内、体外を問わず適用可能である。

また、上述した実施の形態では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic View Finder）に映像を出力する場合にも適用可能である。この場合、光学式ファインダを用いる場合に比べて、逆光状態などのシーン中の明暗差が大きい場合においても原画の色調を再現しながら被写体の視認性を向上させることが可能である。

以上のように、本発明にかかる画像処理装置および撮像システムは、階調圧縮した場合であっても、入力画像に対する階調圧縮画像の色の再現性の低下を抑制するのに有用である。

１ 内視鏡システム
２ 内視鏡
３ 光源装置
４ 処理装置
５ 表示装置
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
２５ 湾曲部
２６ 可撓管部
３１ 照明部
３２ 照明制御部
４１ 撮像信号取得部
４２ ＨＤＲ画像生成部
４３ 階調圧縮部
４４ 色補正部
４５ 入力部
４６ 記憶部
４７ 制御部
４２１ 加重加算部
４２２ 加重加算係数算出部
４４１ 輝度成分抽出部
４４２ ゲインマップ算出部
４４３ 再合成処理部

Claims (6)

1. 第１の画像データを含む第１の信号、および第２の画像データを含む第２の信号を第１ハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、
   前記ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、
   前記第１階調圧縮画像信号に基づいて、少なくとも前記第１および第２の信号を第２ハイダイナミックレンジ合成することによって第２階調圧縮画像信号を生成する色補正部と、
   を備えたことを特徴とする画像処理装置。
2. 外部からの光を光電変換する複数の画素を有し、露光量が異なる第１および第２の撮像信号を生成する撮像装置と、
   前記第１および第２の撮像信号を第１ハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、
   前記ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、
   前記第１階調圧縮画像信号に基づいて、少なくとも前記第１および第２の撮像信号を第２ハイダイナミックレンジ合成することによって第２階調圧縮画像信号を生成する色補正部と、
   を備えたことを特徴とする撮像システム。
3. 前記ＨＤＲ画像生成部は、前記第１の撮像信号の画素値に対して０より大きく１より小さい第１の係数を乗じた値と、前記第２の撮像信号の画素値に対して前記第１の係数との和が１である第２の係数を乗じた値とに基づいて前記ＨＤＲ画像信号を生成し、
   前記色補正部は、前記第１階調圧縮画像信号、ならびに前記第１および第２の係数に基づいて、少なくとも前記第１および第２の撮像信号を前記第２ハイダイナミックレンジ合成することによって前記第２階調圧縮画像信号を生成する
   ことを特徴とする請求項２に記載の撮像システム。
4. 前記色補正部は、
   前記第１の撮像信号の代表値、前記第１階調圧縮画像信号の代表値、および前記第１の係数を用いて第１のゲイン値を算出するとともに、前記第２の撮像信号の代表値、前記第１階調圧縮画像信号の代表値、および前記第２の係数を用いて第２のゲイン値を算出することによって、画素位置に応じたゲインマップを算出するゲインマップ算出部と、
   前記ゲインマップ算出部が算出した前記ゲインマップに基づいて前記第１および第２の撮像信号を前記第２ハイダイナミックレンジ合成した後、階調圧縮処理を施すことによって前記第２階調圧縮画像信号を生成する再合成処理部と、
   を有することを特徴とする請求項３に記載の撮像システム。
5. 前記ゲインマップは、前記第１の撮像信号の代表値に対する前記第１階調圧縮画像信号の代表値の比を、前記第１の係数に乗じることにより前記第１のゲイン値を算出するとともに、前記第２の撮像信号の代表値に対する前記第１階調圧縮画像信号の代表値の比を、前記第２の係数に乗じることにより前記第２のゲイン値を算出することによって、画素位置に応じたゲインマップを算出する
   ことを特徴とする請求項４に記載の撮像システム。
6. 照明光を出射する光源装置をさらに備え、
   前記第１の撮像信号は、第１の照明強度で照明された被写体を撮像した撮像信号であり、
   前記第２の撮像信号は、第１の照明強度とは異なる第２の照明強度で照明された被写体を撮像した撮像信号である
   ことを特徴とする請求項２に記載の撮像システム。

Images