WO2017022324A1

WO2017022324A1 - 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Info

Publication number: WO2017022324A1
Application number: PCT/JP2016/066800
Authority: WO
Inventors: 朋也佐藤
Original assignee: オリンパス株式会社
Priority date: 2015-08-05
Filing date: 2016-06-06
Publication date: 2017-02-09
Also published as: JPWO2017022324A1

Abstract

本発明にかかる画像信号処理方法は、映像信号を、コントラスト成分信号を含む第１の信号、および映像信号の成分信号のうち第１の信号が含む成分信号以外の成分信号を含む第２の信号に分割する分割ステップと、分割ステップで分割された成分信号のうち、第２の信号に対して明るさ調整処理を施す明るさ調整ステップと、分割ステップで分割された第１の信号、および明るさ調整ステップで明るさ調整された後の第２の信号を合成する合成ステップと、を含む。

Description

画像信号処理方法、画像信号処理装置および画像信号処理プログラム

　本発明は、入力画像に対して明るさ調整処理を行う画像信号処理方法、画像信号処理装置および画像信号処理プログラムに関する。

　従来、入力画像に対してγ補正処理などの明るさ調整処理を施すことにより、入力画像の明るさを調整する技術が知られている。γ補正処理では、入力画像のうち、輝度値の小さい暗部を明るくする補正が行われる。このようなγ補正処理として、色に応じてγ係数を設定し、各々の色に応じたγ補正を行う技術が開示されている（例えば、特許文献１を参照）。

特開２００９－１１８８９８号公報

　しかしながら、従来のγ補正処理では、暗部の明るさを明るくする補正が行われる一方、輝度値の大きい明部については、コントラストを圧縮するような補正が施される。このため、入力画像に対して従来のγ補正処理を行うと、入力画像の明るさは改善されるものの、入力画像と比してコントラストが劣化した画像が得られるという問題があった。

　本発明は、上記に鑑みてなされたものであって、コントラストの劣化を抑制しつつ、明るさを調整することができる画像信号処理方法、画像信号処理装置および画像信号処理プログラムを提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明にかかる画像信号処理方法は、映像信号を、コントラスト成分信号を含む第１の信号、および前記映像信号の成分信号のうち前記第１の信号が含む成分信号以外の成分信号を含む第２の信号に分割する分割ステップと、前記分割ステップで分割された成分信号のうち、前記第２の信号に対して明るさ調整処理を施す明るさ調整ステップと、前記分割ステップで分割された前記第１の信号、および前記明るさ調整ステップで明るさ調整された後の前記第２の信号を合成する合成ステップと、を含むことを特徴とする。

　また、本発明にかかる画像信号処理方法は、上記発明において、前記映像信号は、複数の色成分を含み、前記分割ステップ、前記明るさ調整ステップおよび前記合成ステップは、各色成分に対して独立した信号処理を施すことを特徴とする。

　また、本発明にかかる画像信号処理方法は、上記発明において、前記明るさ調整ステップは、前記第２の信号の輝度値において、閾値より小さい輝度値を大きくするとともに、前記閾値以上の輝度値を等倍にすることによって、前記第２の信号に対して明るさ調整処理を施すことを特徴とする。

　また、本発明にかかる画像信号処理方法は、上記発明において、前記明るさ調整ステップは、前記第２の信号の輝度値に基づいて適応的に明るさを調整することを特徴とする。

　また、本発明にかかる画像信号処理方法は、上記発明において、前記合成ステップにより合成された合成画像信号をもとに、調光信号を生成する調光信号生成ステップ、をさらに含むことを特徴とする。

　また、本発明にかかる画像信号処理装置は、上記発明において、映像信号を、コントラスト成分信号を含む第１の信号、および前記映像信号の成分信号のうち前記第１の信号が含む成分信号以外の成分信号を含む第２の信号に分割する分割部と、前記分割部が分割した成分信号のうち、前記第２の信号に対して明るさ調整処理を施す明るさ調整部と、前記分割部が分割した前記第１の信号、および前記明るさ調整部による明るさ調整後の前記第２の信号を合成する合成部と、を備えたことを特徴とする。

　また、本発明にかかる画像信号処理プログラムは、上記発明において、映像信号を、コントラスト成分信号を含む第１の信号、および前記映像信号の成分信号のうち前記第１の信号が含む成分信号以外の成分信号を含む第２の信号に分割する分割手順と、前記分割手順で分割された成分信号のうち、前記第２の信号に対して明るさ調整処理を施す明るさ調整手順と、前記分割手順で分割された前記第１の信号、および前記明るさ調整手順で明るさ調整された後の前記第２の信号を合成する合成手順と、をコンピュータに実行させることを特徴とする。

　本発明によれば、コントラストの劣化を抑制しつつ、明るさを調整することができるという効果を奏する。

図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。図３は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、明るさ調整部がベース成分に対して行う明るさ調整処理について説明する図である。図４は、本発明の一実施の形態にかかる処理装置が行う画像信号処理方法を示すフローチャートである。図５は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像およびベース成分画像の相対強度をそれぞれ示す図である。図６は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置におけるディテール成分の相対強度をそれぞれ示す図である。図７は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像、明るさ調整前のベース成分画像、および明るさ調整後のベース成分画像の相対強度をそれぞれ示す図である。図８は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像、従来の明るさ調整を行った画像、および本発明の明るさ調整を行った画像の相対強度をそれぞれ示す図である。

　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像信号処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

　図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。

　図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３と、処理装置３の信号処理により生成された体内画像を表示する表示装置４と、を備える。

　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

　挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。

　先端部２４は、グラスファイバ等を用いて構成されて光源部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、を有する。

　光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

　撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。受光部２４４ａには、カラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子２４４は、処理装置３から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge　Coupled　Device）イメージセンサや、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを用いて実現される。

　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

　ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡２と処理装置３との間で信号を伝送するものであってもよい。

　次に、処理装置３の構成について説明する。処理装置３は、撮像信号取得部３１と、分割部３２と、明るさ調整部３３と、合成部３４と、表示画像生成部３５と、入力部３６と、記憶部３７と、制御部３８と、を備える。なお、本発明にかかる画像信号処理装置は、少なくとも分割部３２と、明るさ調整部３３と、合成部３４とを用いて構成される。

　撮像信号取得部３１は、内視鏡２から、撮像素子２４４が出力した撮像信号を受信する。撮像信号取得部３１は、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施す。撮像信号取得部３１は、上述した信号処理によりＲＧＢの色成分が付与された入力画像を含む入力画像信号Ｓ_Cを生成する。撮像信号取得部３１は、生成した入力画像信号Ｓ_Cを分割部３２に入力するとともに、記憶部３７に入力して格納させる。

　分割部３２は、入力画像信号Ｓ_Cを撮像信号取得部３１から取得して、視覚的に相関の弱い成分と強い成分とに分割する。分割処理は、例えば、Lightness　and　retinex　theory,　E.H.Land,　J.J.McCann,　Journal　of　the　Optical　Society　of　America,　61（1）,　1-11（1971）に記載された技術（Retinex理論）を用いて行うことができる。Retinex理論に基づく分割処理において、視覚的に相関の弱い成分は、物体の照明光成分に相当し、一般にベース成分と呼ばれている。一方、視覚的に相関の強い成分は、物体の反射率に相当する成分であり、一般にディテール成分と呼ばれている。ディテール成分は、画像を構成する信号をベース成分で除算して得られる成分である。ディテール成分は、物体の輪郭（エッジ）成分や、テクスチャ成分等のコントラスト成分を含んでいる。分割部３２は、ベース成分を成分信号として含む信号（第２の信号、以下「ベース成分信号Ｓ_B」という）を明るさ調整部３３に入力するとともに、ディテール成分を成分信号として含む信号（第１の信号、以下「ディテール成分信号Ｓ_D」という）を合成部３４に入力する。なお、分割部３２は、ＲＧＢの各色成分の入力画像信号が入力された場合、各色成分の信号についてそれぞれ分割処理を行う。以降の信号処理においても、各色成分について処理が施される。

　分割部３２による成分分割処理は、例えば、Temporally　Coherent　Local　Tone　Mapping　of　HDR　Video,　T.O.Aydin,　et　al.,　ACM　Transactions　on　Graphics,　Vol　33,　November　2014に記載されたEdge-aware　filtering技術を用いて行うことができる。また、分割部３２は、空間周波数を複数の周波数帯域に分けて分割するようにしてもよい。

　明るさ調整部３３は、分割部３２によって分割された成分信号のうち、ベース成分信号Ｓ_Bに対して明るさ調整処理を施す。具体的には、明るさ調整部３３は、記憶部３７に記憶されている関係テーブルを参照して、各画素位置における輝度値をもとに、低輝度値を大きくするゲインアップ処理を行なう。なお、明るさ調整部３３は、入力されるベース成分信号に対して演算処理を行なうことでゲインアップ処理を施してもよい。明るさ調整部３３は、明るさ調整処理後のベース成分信号Ｓ_B’を合成部３４に入力する。

　合成部３４は、分割部３２が分割したディテール成分信号Ｓ_Dと、明るさ調整部３３により明るさ調整処理が施されたベース成分信号Ｓ_B’とを合成する。合成部３４は、ディテール成分信号Ｓ_Dとベース成分信号Ｓ_B’とを合成することにより、視覚的に相関の弱いベース成分に対してのみゲイン調整処理が施された合成画像信号Ｓ_Sを生成する。合成部３４は、生成した合成画像信号Ｓ_Sを表示画像生成部３５に入力する。

　表示画像生成部３５は、合成部３４が生成した合成画像信号Ｓ_Sに対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号Ｓ_Tを生成する。入力された信号がＲＧＢの各色成分に分かれている場合は、各色成分について補間処理を施して、各画素位置にＲＧＢの色成分を付与した画像信号を生成する。表示画像生成部３５は、生成した画像信号Ｓ_Tを表示装置４に出力する。

　入力部３６は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部３６は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。

　記憶部３７は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部３７は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。

　記憶部３７は、明るさ調整部３３が明るさ調整処理を行う際に用いる入出力にかかる輝度値の関係に関する明るさ調整情報を記憶する明るさ調整情報記憶部３７１を有する。図３は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、明るさ調整部がベース成分に対して行う明るさ調整処理について説明する図である。図３は、入力される輝度値に対して設定された最大値を１に正規化した例を示している。明るさ調整情報記憶部３７１は、例えば、図３に示すような相対入力輝度値に対する相対出力輝度値の関係を示すグラフを明るさ調整情報として記憶している。明るさ調整部３３は、図３に示すグラフを参照し、入力される信号に対し、相対的に輝度値が小さい場合に該輝度値を大きくして相対輝度値を上げるとともに、相対的に輝度値が大きい場合は等倍とするような明るさ調整処理を行う。例えば、図３では、入力輝度値に対する閾値を約０．４に設定し、入力された輝度値（相対値）が閾値よりも小さい場合に出力輝度値を上げるとともに、閾値以上の場合に出力輝度値を入力輝度値と等倍にする調整処理を施す。

　また、記憶部３７は、処理装置３の画像信号処理方法を実行するための画像信号処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などによって実現されるものであり、有線、無線を問わない。

　以上の構成を有する記憶部３７は、各種プログラム等が予めインストールされたＲＯＭ（Read　Only　Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random　Access　Memory）やハードディスク等を用いて実現される。

　制御部３８は、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、撮像素子２４４および光源部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３８は、記憶部３７に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像素子２４４へ送信する。

　また、制御部３８は、取得した撮像信号に基づく画像（例えば、合成後の画像）をもとに明るさを検出して露光量を設定し、該設定した露光量に応じた発光量（強度および時間を含む）、またはシャッタ開放時間を指示する調光信号を生成する。

　続いて、光源部３ａの構成について説明する。光源部３ａは、照明部３０１と、照明制御部３０２と、を備える。照明部３０１は、照明制御部３０２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３０１は、光源３０１ａと、光源ドライバ３０１ｂと、を有する。

　光源３０１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３０１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。なお、光源３０１ａは、赤色ＬＥＤ光源、緑色ＬＥＤ光源および青色ＬＥＤ光源を用いて構成し、照明光を出射するものであってもよい。また、光源３０１ａは、レーザー光源や、キセノンランプ、ハロゲンランプなどのランプを用いるものであってもよい。

　光源ドライバ３０１ｂは、照明制御部３０２の制御のもと、光源３０１ａに対して電流を供給することにより、光源３０１ａに照明光を出射させる。

　照明制御部３０２は、制御部３８からの制御信号（調光信号）に基づいて、光源３０１ａに供給する電力量を制御するとともに、光源３０１ａの駆動タイミングを制御する。

　表示装置４は、映像ケーブルを介して処理装置３（表示画像生成部３５）が生成した画像信号Ｓ_Tに対応する表示画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro　Luminescence）等のモニタを用いて構成される。

　以上説明した内視鏡システム１では、処理装置３に入力された撮像信号をもとに、分割部３２が、撮像信号に含まれる成分を二つの成分信号に分割し、明るさ調整部３３が、分割された成分信号のうち一方の成分信号に対して明るさ調整処理を施し、合成部３４が、明るさ調整後の成分信号と、他方の成分信号とを合成し、表示画像生成部３５が、合成後の信号に基づいて表示用の信号処理を施した画像信号Ｓ_Tを生成し、表示装置４が、画像信号Ｓ_Tに基づく表示画像を表示する。

　図４は、本発明の一実施の形態にかかる処理装置が行う画像信号処理方法を示すフローチャートである。以下、制御部３８の制御のもと、各部が動作するものとして説明する。撮像信号取得部３１は、内視鏡２から撮像信号を取得すると（ステップＳ１０１：Ｙｅｓ）、信号処理により赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の色成分が付与された画像を含む入力画像信号Ｓ_Cを生成し、分割部３２に入力する。一方、撮像信号取得部３１は、内視鏡２から撮像信号が入力されていない場合（ステップＳ１０１：Ｎｏ）、撮像信号の入力確認を繰り返す。

　分割部３２は、入力画像信号Ｓ_Cが入力されると、該入力画像信号Ｓ_Cをディテール成分信号とベース成分信号とに分割する（ステップＳ１０２：分割ステップ）。分割部３２は、上述した分割処理によって生成したベース成分信号Ｓ_Bを明るさ調整部３３に入力するとともに、ディテール成分信号Ｓ_Dを合成部３４に入力する。

　図５は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像およびベース成分画像の相対強度をそれぞれ示す図である。図６は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置におけるディテール成分画像の相対強度をそれぞれ示す図である。入力画像は入力画像信号Ｓ_Cに応じた画像であり、ベース成分画像はベース成分信号Ｓ_Bに応じた画像である。図５，６に示す画素ラインは、同一の画素ラインであり、この画素ラインのうちの２００番目から１０００番目の画素の位置についての相対強度を示している。図５は、入力画像の輝度値の最大値を１に正規化した例を示している。図６は、ディテール成分の輝度値の最大値を１に正規化した例を示している。

　ベース成分は、図５に示すように、入力画像の輝度変化から低周波成分が抽出されていることが分かる。これが視覚的に相関の弱い成分（物体の照明光成分）に相当する。一方、ディテール成分は、図６に示すように、入力画像の輝度変化からベース成分を除外した成分であり、コントラスト成分を多く含む成分である。これが視覚的に強い成分（物体の反射率に相当する成分）に相当する。

　その後、明るさ調整部３３が、入力されたベース成分信号Ｓ_Bに対して明るさ調整処理を施す（ステップＳ１０３：明るさ調整ステップ）。具体的には、明るさ調整部３３は、図３に示すような相対入力輝度値と相対出力輝度値とのグラフを参照し、ベース成分信号Ｓ_Bの入力輝度値に対して明るさを調整する。明るさ調整部３３は、明るさ調整処理後のベース成分信号Ｓ_B’を合成部３４に入力する。

　図７は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像、明るさ調整前のベース成分画像、および明るさ調整後のベース成分画像の相対強度をそれぞれ示す図である。図７に示す画素ラインは、図５に示す画素ラインと同一の画素ラインである。図７は、入力画像の輝度値の最大値を１に正規化した例を示している。

　明るさ調整後のベース成分信号Ｓ_B’に応じたベース成分画像は、図７に示すように、全体的に相対強度が大きくなっており、特に、相対強度の小さい輝度値ほど輝度値を大きくする調整処理が施されている。明るさ調整部３３がベース成分信号Ｓ_Bに対してのみ明るさ調整処理を行うことで、入力画像信号Ｓ_Cにおけるディテール成分を保持することができる。

　合成部３４は、分割部３２からディテール成分信号Ｓ_Dが入力され、明るさ調整部３３から明るさ調整後のベース成分信号Ｓ_B’が入力されると、該ディテール成分信号Ｓ_Dおよびベース成分信号Ｓ_B’を合成し、合成画像信号Ｓ_Sを生成する（ステップＳ１０４：合成ステップ）。合成部３４は、生成した合成画像信号Ｓ_Sを表示画像生成部３５に入力する。

　図８は、本発明の一実施の形態にかかる内視鏡システムによる画像信号処理方法を説明する図であって、ある画素ライン上の各画素位置における入力画像、従来の明るさ調整を行った画像、および本発明の明るさ調整を行った画像の相対強度をそれぞれ示す図である。図８に示す画素ラインは、図５～７に示す画素ラインと同一の画素ラインである。図８は、明るさ調整後の画像の輝度値の最大値を１に正規化した例を示している。

　図８に示すように、従来の明るさ調整、すなわち従来のγ補正を行った画像、および本発明の明るさ調整、すなわちベース成分のみに対して明るさ調整を行った合成画像信号Ｓ_Sに応じた合成画像のどちらの画像についても、入力画像信号Ｓ_Cに応じた入力画像に対して相対強度が高くなっている。

　ここで、本発明の明るさ調整を行った合成画像信号Ｓ_Sに応じた合成画像は、従来の明るさ調整を行った画像と比して、コントラスト情報、すなわち入力画像に含まれる輝度変化が失われていないことが分かる。このコントラストの差異は、従来の明るさ調整処理（γ補正処理）では、輝度値の大きい明部についてコントラストを圧縮するような補正が施される一方、本発明の明るさ調整では、入力画像をベース成分とディテール成分とに分割し、ベース成分にのみ明るさ調整を行うことにより生じる。

　表示画像生成部３５は、合成部３４から合成画像信号Ｓ_Sが入力されると、該合成画像信号Ｓ_Sに対して表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号Ｓ_Tを生成する（ステップＳ１０５）。表示画像生成部３５は、生成した画像信号Ｓ_Tを表示装置４に出力する。表示装置４は、入力された画像信号Ｓ_Tに応じた画像を表示する。

　表示画像生成部３５による画像信号Ｓ_Tの生成後、制御部３８は、調光信号を生成する旨の調光制御にかかる指示信号が入力されているか否かを判断する（ステップＳ１０６）。制御部３８は、例えば、入力部３６が、調光信号を生成する旨の指示信号の操作入力を受け付けているか否かを判断する。ここで、制御部３８は、調光信号を生成する旨の指示信号が入力されていないと判断すると（ステップＳ１０６：Ｎｏ）、画像信号処理を終了する。

　制御部３８は、調光信号を生成する旨の指示信号が入力されていると判断すると（ステップＳ１０６：Ｙｅｓ）、取得した撮像信号に基づく画像（例えば、合成後の画像）をもとに明るさを検出して露光量を設定し、該設定した露光量に応じた発光量（強度および時間を含む）、またはシャッタ開放時間を指示する調光信号を生成する（ステップＳ１０７）。制御部３８は、生成した調光信号を内視鏡２または光源部３ａに入力し、画像信号処理を終了する。

　上述した本発明の一実施の形態によれば、分割部３２が、入力画像信号Ｓ_Cを撮像信号取得部３１から取得して、ディテール成分信号Ｓ_Dと、ディテール成分信号の成分信号以外の成分信号を含むベース成分信号Ｓ_Bとに分割し、明るさ調整部３３が、ベース成分信号Ｓ_Bに対して明るさ調整処理を施し、合成部３４が、分割部３２が分割したディテール成分信号Ｓ_Dと、明るさ調整部３３により明るさ調整処理が施されたベース成分信号Ｓ_B’とを合成するようにしたので、従来のγ補正のような明部のコントラストの劣化を抑制しつつ、明るさを調整することができる。

　なお、上述した実施の形態では、撮像信号取得部３１が、ＲＧＢの各色成分が付与された画像を含む入力画像信号Ｓ_Cを生成するものとして説明したが、ＹＣｂＣｒ色空間に基づいて輝度（Ｙ）成分および色差成分を含むＹＣｂＣｒ色空間を有する入力画像信号Ｓ_Cを生成するものであってもよいし、色相（Hue）、彩度（Saturation　Chroma）、明度（Value　Lightness　Brightness）の三つの成分からなるＨＳＶ色空間や、三次元空間を用いるＬ^*ａ^*ｂ^*色空間などを用いて、色と輝度とに分けた成分を有する入力画像信号Ｓ_Cを生成するものであってもよい。

　また、上述した実施の形態では、明るさ調整部３３が、図３に示すような相対入力輝度値と相対出力輝度値とのグラフを参照し、ベース成分信号Ｓ_Bの入力輝度値に対して閾値以下の輝度値の明るさを調整するものとして説明したが、入力輝度値に対する閾値は任意に設定可能であり、また、従来のようなγカーブに基づくγ補正処理を適用してもよい。

　また、上述した実施の形態では、明るさ調整部３３が、図３に示すような相対入力輝度値と相対出力輝度値とのグラフを参照し、ベース成分信号Ｓ_Bの入力輝度値に対して閾値以下の輝度値の明るさを調整するものとして説明したが、周辺画素の輝度値に応じて適応的に明るさを調整するものであってもよい。例えば、所定の画素領域の輝度値（平均値や最頻値など）に応じて決まる係数（ゲイン係数）を、該画素領域の輝度値にそれぞれ乗じるようにしてもよい。適応的に明るさ調整を行う場合、得られる画像ごとに調整量（ゲインマップ）が変化し、同じ輝度値であっても画素位置によりゲイン係数が異なる。このような適応的に調整を行うための指標として、例えば、iCAM06:　A　refined　image　appearance　model　for　HDR　image　rendering,　Jiangtao　Kuang,　et　al.,　J.Vis.Commun.Image　R,　18(2007)　406－414に記載されたWhite画像を用いた手法が知られている。

　また、上述した実施の形態において、明るさ調整部３３が、入力部３６が受け付けた操作入力に応じて明るさのレベルを変更するようにしてもよいし、ディテール成分信号が有するコントラスト成分を強調する輪郭強調処理を施すようにしてもよい。

　また、上述した実施の形態では、光源部３ａから白色光が出射され、受光部２４４ａがＲＧＢの各色成分の光を受光する同時式の照明／撮像方式であるものとして説明したが、光源部３ａが、ＲＧＢの色成分の波長帯域の光を個別に順次出射して、受光部２４４ａが、各色成分の光をそれぞれ受光する面順次式の照明／撮像方式であってもよい。

　また、上述した実施の形態では、光源部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３の機能を付与してもよい。

　また、上述した実施の形態では、光源部３ａが、処理装置３とは一体であるものとして説明したが、光源部３ａおよび処理装置３が別体であって、例えば処理装置３の外部に照明部３０１および照明制御部３０２が設けられているものであってもよい。

　また、上述した実施の形態では、本発明にかかる画像信号処理装置が、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１の分割部３２、明るさ調整部３３および合成部３４として機能するものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。本発明にかかる画像信号処理装置は、体内、体外を問わず適用可能であり、外部で生成された撮像信号や画像信号を含む映像信号に対して分割、明るさ調整、合成処理を施すものである。

　また、上述した実施の形態では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic　View　Finder）に映像を出力する場合にも適用可能である。

　以上のように、本発明にかかる画像信号処理方法、画像信号処理装置および画像信号処理プログラムは、コントラストの劣化を抑制しつつ、明るさを調整するのに有用である。

　１　内視鏡システム
　２　内視鏡
　３　処理装置
　３ａ　光源部
　４　表示装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　３１　撮像信号取得部
　３２　分割部
　３３　明るさ調整部
　３４　合成部
　３５　表示画像生成部
　３６　入力部
　３７　記憶部
　３８　制御部
　３０１　照明部
　３０２　照明制御部
　３７１　明るさ調整情報記憶部

Claims

　映像信号を、コントラスト成分信号を含む第１の信号、および前記映像信号の成分信号のうち前記第１の信号が含む成分信号以外の成分信号を含む第２の信号に分割する分割ステップと、
　前記分割ステップで分割された成分信号のうち、前記第２の信号に対して明るさ調整処理を施す明るさ調整ステップと、
　前記分割ステップで分割された前記第１の信号、および前記明るさ調整ステップで明るさ調整された後の前記第２の信号を合成する合成ステップと、
　を含むことを特徴とする画像信号処理方法。
　前記映像信号は、複数の色成分を含み、
　前記分割ステップ、前記明るさ調整ステップおよび前記合成ステップは、各色成分に対して独立した信号処理を施す
　ことを特徴とする請求項１に記載の画像信号処理方法。
　前記明るさ調整ステップは、前記第２の信号の輝度値において、閾値より小さい輝度値を大きくするとともに、前記閾値以上の輝度値を等倍にすることによって、前記第２の信号に対して明るさ調整処理を施す
　ことを特徴とする請求項１に記載の画像信号処理方法。
　前記明るさ調整ステップは、前記第２の信号の輝度値に基づいて適応的に明るさを調整する
　ことを特徴とする請求項１に記載の画像信号処理方法。
　前記合成ステップにより合成された合成画像信号をもとに、調光信号を生成する調光信号生成ステップ、
　をさらに含むことを特徴とする請求項１に記載の画像信号処理方法。
　映像信号を、コントラスト成分信号を含む第１の信号、および前記映像信号の成分信号のうち前記第１の信号が含む成分信号以外の成分信号を含む第２の信号に分割する分割部と、
　前記分割部が分割した成分信号のうち、前記第２の信号に対して明るさ調整処理を施す明るさ調整部と、
　前記分割部が分割した前記第１の信号、および前記明るさ調整部による明るさ調整後の前記第２の信号を合成する合成部と、
　を備えたことを特徴とする画像信号処理装置。
　映像信号を、コントラスト成分信号を含む第１の信号、および前記映像信号の成分信号のうち前記第１の信号が含む成分信号以外の成分信号を含む第２の信号に分割する分割手順と、
　前記分割手順で分割された成分信号のうち、前記第２の信号に対して明るさ調整処理を施す明るさ調整手順と、
　前記分割手順で分割された前記第１の信号、および前記明るさ調整手順で明るさ調整された後の前記第２の信号を合成する合成手順と、
　をコンピュータに実行させることを特徴とする画像信号処理プログラム。