JPWO2020075227A1 - 画像信号処理装置、画像信号処理方法、プログラム - Google Patents

Abstract

処理装置２００は、ベース成分抽出部２２１と、ベース成分調整部２２２と、ディテール成分抽出部２２３と、相対強調部２３０と、合成部２４０を備える。ベース成分抽出部２２１は、画像信号からオリジナルベース成分信号を生成する。ベース成分調整部２２２は、加重平均処理を行うことで第１ベース成分信号を生成する。ディテール成分抽出部２２３は、画像信号から第１ディテール成分信号を生成する。相対強調部２３０は、第１ベース成分信号に対して第１ディテール成分信号を相対的に強調する信号処理を行って第２ベース成分信号と第２ディテール成分信号を出力する。合成部２４０は、第２ベース成分信号と第２ディテール成分信号とを合成することによって合成画像信号を生成する。

Description

本明細書の開示は、画像信号処理装置、画像信号処理方法、プログラムに関する。

病変の早期発見、早期治療が可能な内視鏡システムは、医療分野を中心に、近年、ますますその利用が拡大している。内視鏡検査で発見すべき病変には、様々なものが存在し、例えば、胃粘膜に生じた炎症及び凹凸など、視認性に乏しいものも存在する。このような視認性に乏しい病変を見落とすことなく発見するため、内視鏡システムの分野では、病変の視認性を改善する技術が求められている。

このような技術的な課題に関連する技術は、例えば、特許文献１に記載されている。特許文献１には、映像信号をベース成分とディテール成分に分割し、ベース成分に対して階調圧縮処理を施し、ディテール成分と階調圧縮処理が施されたベース成分とを合成することで、内視鏡画像を生成する技術が記載されている。なお、ディテール成分には、物体の輪郭及びテクスチャなどの情報を含むコントラスト成分が含まれている。

特許文献１に記載の技術によれば、良好な視認性を有する内視鏡画像を得ることが可能であり、病変をより容易に発見することが可能となる。さらに、特許文献１に記載の技術では、色味の変化を抑えながら内視鏡画像の視認性を改善することができる。このため、従来どおり、すでに確立されている診断学に基づく病変の診断が可能である。

国際公開第２０１７／２０３８６６号

特許文献１に記載の技術では、ベース成分が階調圧縮されることで、ベース成分に対してディテール成分が相対的に強調される。この相対的な強調が強くなりすぎると、得られる内視鏡画像の印象が従来の内視鏡画像とは大きく異なることがある。このため、視認性が改善されて病変の発見が容易となる一方で、例えば、胃粘膜の炎症の程度を本来よりも強く診断してしまうなどの事態が起こり得る。従って、相対的な強調の程度を調整することで、画像の印象を調整する技術が求められている。

以上のような実情から、本発明の一側面に係る目的は、従来の画像に対して視認性を改善する画像信号処理技術を提供することである。

また、本発明の別の側面に係る目的は、従来の画像との印象の違いを調整可能な画像信号処理技術を提供することである。

本発明の一態様に係る画像信号処理装置は、画像信号からベース成分を抽出してオリジナルベース成分信号を生成するベース成分抽出部と、前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成するベース成分調整部と、前記第１ベース成分信号に基づいて前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成するディテール成分抽出部と、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、を備える。

本発明の別の態様に係る画像信号処理装置は、制御パラメータに応じて画像信号を第１ベース成分信号と第１ディテール成分信号に分割して出力する分割部と、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、を備える。

本発明の更に別の態様に係る画像信号処理装置は、画像信号からベース成分を抽出してオリジナルベース成分信号を生成するベース成分抽出部と、前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成するベース成分調整部と、前記第１ベース成分信号に基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成するディテール成分抽出部と、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、を備え、前記相対強調部は、前記画像信号、前記オリジナルベース成分信号又は前記第１ベース成分信号のいずれか１つに対して階調圧縮処理を行うことで、前記第２ベース成分信号を生成する階調圧縮部を備える。

本発明の一態様に係る画像信号処理方法は、画像信号からベース成分を抽出してオリジナルベース成分信号を生成し、前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成し、前記画像信号と前記第１ベース成分信号とに基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成し、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力し、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する。

本発明の一態様に係るプログラムは、画像信号からベース成分を抽出してオリジナルベース成分信号を生成し、前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成し、前記画像信号と前記第１ベース成分信号とに基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成し、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力し、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する、処理をコンピュータに実行させる。

上記の態様によれば、従来の画像に対して視認性を改善することができる。また、別の態様によれば、従来の画像との印象の違いを調整することができる。

第１の実施形態に係る内視鏡システム１の構成を例示した図である。 第１の実施形態に係る画像信号処理のフローチャートである。 第１の実施形態に係る信号分割処理のフローチャートである。 アルファ値が0,0.5,1のそれぞれの場合における、ベース成分信号についてのラインプロファイルを示した図である。 アルファ値が0,0.5,1のそれぞれの場合における、ディテール成分信号とベース成分信号の比についてのラインプロファイルを示した図である。 第２の実施形態に係る内視鏡システム２の構成を例示した図である。 第３の実施形態に係る内視鏡システム３の構成を例示した図である。 第３の実施形態に係る信号分割処理のフローチャートである。

［第１の実施形態］
図１は、本実施形態に係る内視鏡システム１の構成を例示した図である。内視鏡システム１は、例えば、医療用の内視鏡システムであり、図１に示すように、内視鏡１００と、処理装置２００と、表示装置３００を備えている。

内視鏡１００は、例えば、軟性内視鏡であり、被検物に挿入される挿入部と、術者が操作する操作部と、操作部から延出したユニバーサルコード部と、ユニバーサルコード部の端部に設けられ処理装置２００に接続されるコネクタ部と、を備えている。内視鏡１００は、挿入部を被検物の体腔内に挿入した状態で被検物を撮像することで生成された撮像信号を、処理装置２００へ出力する。

内視鏡１００は、光学系１１０と、撮像素子１２０と、ライトガイド１３０と、照明レンズ１４０を備えている。なお、光学系１１０、撮像素子１２０、及び、照明レンズ１４０は、挿入部に設けられていて、ライトガイド１３０は、コネクタ部からユニバーサルコード部及び操作部を経由して挿入部にまで配設されている。

光学系１１０は、１枚以上のレンズを含み、被検物からの光を集光することで、撮像素子１２０の受光部１２１に被検物の光学像を形成する。光学系１１０は、さらに、光学系１１０に含まれる１枚以上のレンズの少なくとも一部を光軸方向へ移動させる移動構造を有してもよい。光学系１１０は、その移動構造によって、光学像の投影倍率を変更する光学ズーム機能、焦点位置を移動させて被検物に合焦するフォーカス機能を実現してもよい。

撮像素子１２０は、例えば、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの二次元イメージセンサである。撮像素子１２０は、被検物からの光を、光学系１１０を経由して受光面で受光し、受光した光を電気信号に変換することで、被検物の撮像信号を生成する。より詳細には、撮像素子１２０は、受光部１２１と、読み出し部１２２を含んでいる。

受光部１２１には、例えば、各々がフォトダイオートとコンデンサを含む複数の画素が二次元に配列されている。各画素には、さらに、カラーフィルタが含まれてもよい。複数の画素に配置されたカラーフィルタは、例えば、ベイヤー配列で配置されている。また、カラーフィルタの代わりに、各画素には、厚さ方向に複数のフォトダイオードが積層されてもよい。読み出し部１２２は、光電変換により生成された電気信号を複数の画素から読み出して、撮像信号として処理装置２００へ出力する。

ライトガイド１３０は、処理装置２００の光源部２８０から供給された照明光を照明レンズ１４０へ導光する。照明レンズ１４０は、ライトガイド１３０からの照明光を被検物に照射する。

処理装置２００は、内視鏡システム１の動作を制御する制御装置であり、内視鏡プロセッサとも呼ばれる。処理装置２００は、画像信号処理装置の一例であり、例えば、内視鏡１００から出力された撮像信号に対して後述する信号処理を行い、表示用の画像信号を生成し、表示装置４０に被検物の画像を表示させる。その他にも、処理装置２００は、調光制御などの種々の処理を行う。

処理装置２００は、分割部２２０と、相対強調部２３０と、合成部２４０を含んでいる。処理装置２００は、さらに、撮像信号処理部２１０と、表示画像生成部２５０と、制御部２６０と、入力部２７０と、光源部２８０と、記憶部２９０を備えてもよい。なお、撮像信号処理部２１０、分割部２２０、相対強調部２３０、合成部２４０、表示画像生成部２５０、制御部２６０、及び、光源部２８０の各々は、例えば、CPU等の汎用プロセッサを用いて構成されてもよく、ASIC,FPGA等の専用プロセッサを用いて構成されてもよい。即ち、処理装置２００は、上記の構成要素を実現する電気回路（circuitry）を含んでいる。

処理装置２００は、撮像信号処理部２１０で生成された画像信号を、分割部２２０でベース成分信号とディテール成分信号に分割する。その後、処理装置２００は、相対強調部２３０でベース成分信号に対してディテール成分信号を相対的に強調した後に、合成部２４０でそれらの信号を合成して合成画像信号を生成する。さらに、処理装置２００は、表示画像生成部２５０で合成画像信号から表示用の画像信号を生成することで、表示装置３００に内視鏡画像を表示させる。制御部２６０は、これらの動作全体を制御する。また、制御部２６０は、入力部２７０から入力に応じて、記憶部２９０から分割処理に用いる制御パラメータを読み出し、分割部２２０へ提供する。さらに、制御部２６０は、光源部２８０が行う自動調光についても制御する。

なお、ベース成分信号とは、画像信号に含まれる画像成分のうちのベース成分に対応する信号のことである。また、ディテール成分信号とは、画像信号に含まれる画像成分のうちのディテール成分に対応する信号のことである。

また、ベース成分は、ディテール成分よりも目の知覚と相関の弱い成分である。ベース成分は、空間周波数の低い低周波数成分でもあり、被検物に照射する照明光に依存する照明光成分でもある。一方、ディテール成分は、ベース成分よりも目の知覚と相関の強い成分である。ディテール成分は、空間周波数の高い高周波数成分でもあり、被検物の反射率に依存する反射率成分でもある。

撮像信号処理部２１０は、内視鏡１００から受信した撮像信号に対して所定の処理を行うことで画像信号を生成する。所定の処理は、例えば、ノイズ除去処理、アナログデジタル変換処理、OB減算処理、WB補正処理、デモザイキング処理、色マトリクス処理等を含んでいる。撮像信号処理部２１０は、生成した画像信号を分割部２２０へ出力する。

分割部２２０は、制御パラメータに応じて、撮像信号処理部２１０から受信した画像信号を、ベース成分信号とディテール成分信号に分割する。より詳細には、分割部２２０は、ベース成分抽出部２２１と、ベース成分調整部２２２と、ディテール成分抽出部２２３を備えている。

なお、以降では、分割部２２０から出力されるベース成分信号を特に第１ベース成分信号と記し、分割部２２０から出力されるディテール成分信号を特に第１ディテール成分信号と記す。また、相対強調部２３０から出力されるベース成分信号を特に第２ベース成分信号と記し、相対強調部２３０から出力されるディテール成分信号を特に第２ディテール成分信号と記す。

ベース成分抽出部２２１は、撮像信号処理部２１０から受信した画像信号からベース成分を抽出してベース成分信号を生成し、ベース成分調整部２２２へ出力する。以降では、ベース成分抽出部２２１で生成されるベース成分信号を特にオリジナルベース成分信号と記す。ベース成分の抽出方法は、特に限定しないが、例えば、バイラテラルフィルタ、イプシロンフィルタなどのエッジ保存平滑化フィルタを用いてもよい。

ベース成分調整部２２２は、画像信号とオリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成する。より詳細には、ベース成分調整部２２２は、画像信号と第１ベース成分信号の類似度合いを指定する制御パラメータを記憶部２９０から取得し、その後、制御パラメータに応じて決定される重み係数を用いて加重平均処理を行うことで第１ベース成分信号を生成する。生成された第１ベース成分信号は、ディテール成分抽出部２２３と相対強調部２３０へ出力される。なお、ベース成分調整部２２２で行われる加重平均処理は、例えば、アルファブレンド処理である。ベース成分調整部２２２で用いられる制御パラメータは、例えば、アルファブレンド処理に用いられるアルファ値αである。制御パラメータに応じて決定される重み係数は、例えば、画像信号に対する重み係数αと、オリジナルベース成分信号に対する重み係数（１−α）である。

ベース成分調整部２２２で行われる加重平均処理は、オリジナルベース成分信号と画像信号の間の信号を生成する処理であり、実質的には、オリジナルベース成分信号を分割部２２０に入力された画像信号に近づける処理である。どの程度画像信号に近づけるかについては、制御パラメータによって調整することが可能である。つまり、ベース成分調整部２２２で行われる加重平均処理は、制御パラメータに応じてオリジナルベース成分信号を分割部２２０に入力された画像信号に近づける処理である。

ディテール成分抽出部２２３は、第１ベース成分信号に基づいて、画像信号からディテール成分を抽出して第１ディテール成分信号を生成する。より詳細には、ディテール成分抽出部２２３は、画像信号を第１ベース成分信号で除算することによって、第１ディテール成分信号を生成する。生成された第１ディテール成分信号は、相対強調部２３０を経由して合成部２４０へ出力される。

相対強調部２３０は、分割部２２０から出力された第１ベース成分信号に、第１ベース成分信号に対して第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号を合成部２４０へ出力する。より詳細には、相対強調部２３０は、階調圧縮部２３１を備えている。

階調圧縮部２３１は、ベース成分調整部２２２から受信した第１ベース成分信号に対して階調圧縮処理を行うことで、第２ベース成分信号を生成し、合成部２４０へ出力する。階調圧縮部２３１で行う階調圧縮処理の方法は、特に限定しない。ベース成分信号のダイナミックレンジを所定の割合で圧縮するものであればよく、従来の内視鏡画像に対して行われている階調圧縮処理と同様の方法が用いられても良い。

階調圧縮部２３１が第１ベース成分信号に対して階調圧縮処理を行うことで、第１ベース成分信号に対して第１ディテール成分信号は相対的に強調されることになる。なお、相対強調部２３０から出力される第２ベース成分信号は、第１ベース成分信号に対して階調圧縮処理が施された信号である。これに対して、相対強調部２３０から出力される第２ディテール成分信号は、第１ディテール成分信号と同じものである。

合成部２４０は、第２ベース成分信号と第２ディテール成分信号とを合成することによって、合成画像信号を生成し、表示画像生成部２５０へ出力する。より詳細には、合成部２４０は、第２ベース成分信号と第２ディテール成分信号とを乗算することによって、合成画像信号を生成する。

表示画像生成部２５０は、合成部２４０から受信した合成画像信号から表示用の画像信号を生成し、表示装置３００へ出力する。

制御部２６０は、処理装置２００内の各部の動作全体を制御する。また、制御部２６０は、処理装置２００外の装置（例えば、撮像素子１２０）へ制御信号を出力して外部の装置の動作も制御する。

入力部２７０は、例えば、処理装置２００に設けられたスイッチ、タッチパネルなどであり、マウス術者の操作に応じた信号を制御部２６０へ出力する。なお、入力部２７０は、キーボード、マウス、ジョイスティックなど、処理装置２００に接続された入力装置からの信号を受け付ける回路であってもよく、また、タブレット型のコンピュータなどの入力端末からの信号を受け付ける回路であってもよい。

光源部２８０は、内視鏡１００を介して被検物へ照射する照明光を出力する。より詳細には、光源部２８０は、光源２８１と、光源ドライバ２８２と、光源制御部２８３を備えている。

光源２８１は、内視鏡１００に供給する照明光を出射する光源である。光源２８１は、例えば、LED光源であるが、LED光源に限らず、キセノンランプ、ハロゲンランプなどのランプ光源であってもよく、レーザ光源であってもよい。また、光源２８１は、それぞれ異なる色の照明光を出射する、複数のLED光源を含んでもよい。

光源ドライバ２８２は、光源２８１を駆動するドライバであり、例えば、LEDドライバである。光源ドライバ２８２は、光源制御部２８３からの指示値（例えば、電流値、電圧値）に従って、光源２８１を駆動する。

光源制御部２８３は、制御部２６０からの制御信号に基づいて、光源ドライバ２８２に指示値を出力することで、照明光量及び照明タイミングを制御する。

記憶部２９０は、ROM、RAM、ハードディスク、フラッシュメモリなどを含んでいる。記憶部２９０は、内視鏡システム１で用いられる各種のプログラム、パラメータ、及び、内視鏡システム１で得られたデータを格納する。より詳細には、記憶部２９０は、少なくとも分割部２２０での分割処理に用いる制御パラメータを格納する制御パラメータ記憶部２９１を含んでいる。

表示装置３００は、処理装置２００から受信した表示用の画像信号を用いて、内視鏡画像を表示する装置である。表示装置３００は、例えば、液晶ディスプレイ、有機ELディスプレイなどのディスプレイである。

以上のように構成された内視鏡システム１では、処理装置２００の相対強調部２３０がベース成分信号に対してディテール成分信号を相対的に強調することで、従来よりも高い視認性を有する内視鏡画像を得ることができる。また、処理装置２００の分割部２２０がベース成分信号と入力信号との類似度合いを調整することが可能なため、従来の内視鏡画像との印象の違いを調整することができる。

従って、処理装置２００によれば、従来の内視鏡画像に対して視認性を改善しつつ、従来の内視鏡画像との印象の違いを調整することができる。また、処理装置２００を備える内視鏡システム１によれば、視認性が改善され、且つ、印象が調整された内視鏡画像を表示することができる。このため、病変を確実に発見し、発見した病変を正確に診断することができる。

図２は、本実施形態に係る画像信号処理のフローチャートである。図３は、本実施形態に係る信号分割処理のフローチャートである。図４は、アルファ値が0,0.5,1のそれぞれの場合における、ベース成分信号についてのラインプロファイルを示した図である。図５は、アルファ値が0,0.5,1のそれぞれの場合における、ディテール成分信号とベース成分信号の比についてのラインプロファイルを示した図である。以下、図２から図５を参照しながら、処理装置２００で行われる画像信号処理方法について具体的に説明する。

処理装置２００は、内視鏡１００から撮像信号を受信すると、撮像信号に基づいて生成された画像信号に対して信号分割処理を行う（ステップＳ１０）。なお、以降では、処理装置２００が内視鏡１００に接続されていて、内視鏡１００から受信した撮像信号を受信したときに信号分割処理を行う例を説明するが、信号分割処理は、例えば記憶部２９０から画像信号を読み出したときに、行われてもよい。

図３に示す信号分割処理が開始されると、処理装置２００は、まず、オリジナルベース成分信号を生成する（ステップＳ１１）。ここでは、例えば、ベース成分抽出部２２１が、画像信号に対してエッジ保存平滑化フィルタを用いたフィルタリング処理を行うことで画像信号からベース成分を抽出する。

次に、処理装置２００は、制御パラメータを取得して重み係数を決定する（ステップＳ１２）。ここでは、例えば、ベース成分調整部２２２が、まず、制御パラメータ記憶部２９１から制御パラメータであるアルファ値αを読み出す。なお、アルファ値αは、０から１までの値であり、予め術者によって行われた選択に応じて決定されている。その後、ベース成分調整部２２２が、アルファ値αを用いて重み係数を決定する。具体的には、ベース成分調整部２２２は、例えば、画像信号に対する重み係数をαに決定し、オリジナルベース成分信号に対する重み係数を（１−α）に決定する。

重み係数が決定されると、処理装置２００は、重み係数を用いて画像信号とオリジナルベース成分信号を加重平均して、第１ベース成分信号を生成する（ステップＳ１３）。ここでは、例えば、ベース成分調整部２２２は、以下のアルファブレンド処理を行って、第１ベース成分信号を生成する。この場合、アルファ値αが１に近いほど第１ベース成分信号が画像信号に近くなる。
第１ベース成分信号 ＝ α×画像信号＋（１−α）×オリジナルベース信号・・・（１）

図４には、α=0, α=0.5, α=1における第１ベース成分信号についてのラインプロファイルが示されている。横軸は、画素位置を示し、縦軸は、各画素位置における第１ベース成分信号の輝度値を示している。

式（１）から明らかなように、α=1における第１ベース成分信号は、画像信号そのものであり、α=0における第１ベース成分信号は、オリジナルベース成分信号そのものである。従って、図４に示すように、第１ベース成分信号は、α=0では、平滑化処理により高周波成分が取り除かれた信号となるが、α=1では、画素位置毎に輝度値が大きく変動した信号となる。また、α=0.5では、第１ベース成分信号は、それらの中間の信号となる。

第１ベース成分信号が生成されると、処理装置２００は、第１ディテール成分信号を生成し（ステップＳ１４）、信号分割処理を終了する。ここでは、例えば、ディテール成分抽出部２２３が、画像信号をステップＳ１３で生成された第１ベース成分信号で除算して、第１ディテール成分信号を生成する。

図５には、α=0, α=0.5, α=1における第１ベース成分信号に対する第１ディテール成分信号の比についてのラインプロファイルが示されている。横軸は、画素位置を示し、縦軸は、各画素位置における第１ベース成分信号に対する第１ディテール成分信号の相対輝度値を示している。

図５に示すように、α=0では、相対輝度値が１から大きく乖離した値となるのに対して、α=1では、相対輝度値が１に固定される。また、α=0.5では、相対輝度値は、それらの中間的な特性を示す。

信号分割処理が終了すると、処理装置２００は、第１ベース成分信号に対して第１ディテール成分信号を相対的に強調する相対強調処理を行う（ステップＳ２０）。ここでは、例えば、相対強調部２３０が、第１ベース成分信号を第２ベース成分信号として出力するともに、階調圧縮部２３１が、第１ベース成分信号に対して階調圧縮処理を行うことで生成された第２ベース成分信号を出力する。なお、階調圧縮処理では、従来の内視鏡画像の階調圧縮処理で使用されるパラメータと同じパラメータを使用することが望ましい。

さらに、処理装置２００は、ベース成分信号とディテール成分信号を合成する（ステップＳ３０）。ここでは、例えば、合成部２４０が、相対強調部２３０から出力された第１ベース成分信号と第１ディテール成分信号を乗算することで合成し、合成画像信号を出力する。

最後に、処理装置２００は、合成画像信号に基づいて表示用の画像信号を生成し（ステップＳ４０）、表示用の画像信号を表示装置３００へ出力し（ステップＳ５０）、画像信号処理を終了する。ここでは、例えば、表示画像生成部２５０が、合成画像信号に基づいて表示用の画像信号を生成し、表示装置３００へ出力する。

以上のように、処理装置２００が図２に示す画像信号処理を行うことで、ベース成分信号に対してディテール成分信号が相対的に強調されるため、従来よりも高い視認性を有する内視鏡画像を得ることができる。特に、ベース成分信号だけを階調圧縮することで、コントラスト成分を含むディテール成分信号がそのまま維持されることになる。従って、階調圧縮処理によるコントラストの劣化を防止することが可能であり、従来よりも高い視認性を実現することができる。さらに、階調圧縮処理において、従来から使用されるパラメータと同じものを使用することで、階調圧縮処理の違いによって生じる色味の変化も抑制することができる。従って、色味の変化によって生じる印象の違いを抑えることができるとともに、既存の確立された診断学への影響を限りなく小さくすることができる。

また、処理装置２００が図２に示す画像信号処理を行うことで、制御パラメータに応じてベース成分信号が画像信号に近づくことになるため、従来の内視鏡画像との印象の違いを調整することができる。より具体的に説明すると、ベース成分信号を画像信号に近づけていき画像信号そのものとなった状態（例えば、α=1）では、ディテール成分信号も画像信号と同じになる。この場合、相対強調処理でベース成分信号だけを圧縮したとしても、実質的には画像信号全体を圧縮したことと同義であるので、相対強調部２３０で行われる相対強調処理は、モニタ性能等に応じて行われる従来の階調圧縮処理とほとんど同じものとなる。つまり、ベース成分信号を画像信号に近づけるほど相対的な強調の程度が小さくなり、表示用の画像信号が従来の内視鏡画像の画像信号に近づくことになり、その結果、印象の違いが小さくなる。従って、制御パラメータを調整することで、従来の内視鏡画像との印象の違いを調整することができる。特に、制御パラメータとしてアルファ値を用いることで、アルファ値を微調整することで印象を細かく調整することが可能であり、例えば個人差に起因する微妙な印象の違いなどにも対応することができる。

従って、本実施形態に係る処理装置２００によれば、従来の内視鏡画像に対する視認性の改善と、従来の内視鏡画像との印象の違いの調整とを、高いレベルで両立させることができる。

［第２の実施形態］
図６は、本実施形態に係る内視鏡システム２の構成を例示した図である。図６に示す内視鏡システム２は、処理装置２００の代わりに処理装置２００ａを備える点が、内視鏡システム１とは異なっている。その他の点については、内視鏡システム２は、内視鏡システム１と同様であるため、同一の構成要素には同一の符号を付して、詳細な説明を省略する。

処理装置２００ａは、相対強調部２３０の代わりに相対強調部２３０ａを備える点が処理装置２００とは異なっている。相対強調部２３０ａは、第１ベース成分信号だけではなく、第１ディテール成分信号にも、第１ベース成分信号に対して第１ディテール成分信号を相対的に強調する信号処理を行う点が、相対強調部２３０とは異なる。より詳細には、相対強調部２３０ａは、階調圧縮部２３１に加えて、強調部２３２を備えている。

強調部２３２は、ディテール成分抽出部２２３から受信した第１ディテール成分信号に対して強調処理を行うことで、第２ディテール成分信号を生成し、合成部２４０へ出力する。強調部２３２で行う強調処理の方法は、特に限定しない。強調処理は、例えば、パラメータを用いて行われるゲインアップ処理であっても良く、使用されるパラメータは、輝度値に依存する関数によって算出されてもよい。

処理装置２００ａによっても、処理装置２００と同様に、従来の内視鏡画像に対して視認性を改善しつつ、従来の内視鏡画像との印象の違いを調整することができる。さらに、処理装置２００ａでは、ディテール信号成分を階調圧縮しないことによるコントラストの劣化の抑制、つまり、従来の内視鏡画像に対する相対的なコントラストの改善に加えて、ディテール信号成分を強調することによる絶対的なコントラストの改善も実現することができる。従って、本実施形態に係る処理装置２００ａによれば、処理装置２００よりも、さらに高い視認性を実現することができる。

［第３の実施形態］
図７は、本実施形態に係る内視鏡システム３の構成を例示した図である。図７に示す内視鏡システム３は、処理装置２００の代わりに処理装置２００ｂを備える点が、内視鏡システム１とは異なっている。その他の点については、内視鏡システム３は、内視鏡システム１と同様であるため、同一の構成要素には同一の符号を付して、詳細な説明を省略する。

処理装置２００ｂは、分割部２２０の代わりに分割部２２０ａを備える点が処理装置２００とは異なっている。分割部２２０ａは、画像信号から生成したオリジナルベース成分信号と画像信号とをブレンドして第１ベース成分信号を生成する代わりに、画像信号から直接的に第１ベース成分信号を生成する点が、分割部２２０とは異なる。より詳細には、分割部２２０ａは、ベース成分抽出部２２１とベース成分調整部２２２の代わりに、ベース成分抽出部２２１ａを備えている。

ベース成分抽出部２２１ａは、撮像信号処理部２１０から受信した画像信号からベース成分を抽出してベース成分信号を生成する点は、ベース成分抽出部２２１と同様である。また、ベース成分の抽出方法については、例えば、バイラテラルフィルタ、イプシロンフィルタなどのエッジ保存平滑化フィルタを用いてもよく、この点もベース成分抽出部２２１と同様である。ただし、ベース成分抽出部２２１ａは、制御パラメータに応じてフィルタを決定し、決定されたフィルタを用いて画像信号を平滑化する点が異なっている。

ベース成分抽出部２２１ａは、制御パラメータに応じて、例えば、カーネルサイズ、フィルタの係数を決定する。また、制御パラメータに応じて、予め用意された複数のフィルタから一つのフィルタを選択することでフィルタ処理で使用するフィルタを決定する。これにより、ベース成分抽出部２２１ａで生成される第１ベース成分信号をどの程度画像信号に近づけるかについては、制御パラメータによって調整することが可能である。

図８は、本実施形態に係る信号分割処理のフローチャートである。処理装置２００ｂでも、図２に示す画像信号処理が行われるが、処理装置２００ｂは、ステップＳ１０の信号分割処理において、図３に示す信号分割処理の代わりに、図８に示す信号分割処理を行う。

図８に示す信号分割処理が開始されると、処理装置２００ｂは、まず、制御パラメータを取得してフィルタを決定する（ステップＳ６１）。ここでは、例えば、ベース成分抽出部２２１ａが、制御パラメータ記憶部２９１から制御パラメータを読み出して、フィルタ処理で用いられるフィルタを決定する。なお、制御パラメータは、予め術者によって行われた選択に応じて決定されている。

次に、処理装置２００ｂは、フィルタを用いて画像信号を平滑化して第１ベース成分信号を生成する（ステップＳ６２）。ここでは、例えば、ベース成分抽出部２２１ａが、ステップＳ６１で決定したフィルタを用いてフィルタ処理を行うことで、第１ベース成分信号を生成する。

最後に、処理装置２００ｂは、第１ディテール成分信号を生成し（ステップＳ６３）、信号分割処理を終了する。この処理は、図３に示すステップＳ１４の処理と同様である。

処理装置２００ｂによっても、処理装置２００と同様に、従来の内視鏡画像に対して視認性を改善しつつ、従来の内視鏡画像との印象の違いを調整することができる。さらに、処理装置２００ｂでは、制御パラメータに応じてフィルタを変更することでベース信号を画像信号に近づける。このため、既存の処理装置の構成を大幅に変更することなく、上述した効果を得ることができる。

上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。画像信号処理装置、画像信号処理方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

図１、図６、図７では、相対強調部が階調圧縮部２３１を含む例を示したが、相対強調部がベース成分信号に対してディテール成分信号を相対的に強調できればよく、このため、階調圧縮部２３１を含む構成に限定されない。相対強調部は、第１ベース成分信号と第１ディテール成分信号の少なくとも一方に、第１ベース成分信号に対して第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力すればよい。つまり、相対強調部は、階調圧縮部２３１と強調部２３２の少なくとも一方を含んでいればよい。

また、図１、図６、図７では、処理装置が光源部を含む例を示したが、処理装置は光源部を含まなくても良い。処理装置は、処理装置とは独立した光源装置に接続されていてもよく、光源装置を制御することで、内視鏡１００へ供給する照明光の調光制御を行っても良い。

また、図１、図６、図７では、処理装置が内視鏡システムに含まれる内視鏡プロセッサである例を示したが、処理装置は、内視鏡プロセッサに限らない。例えば、顕微鏡装置で取得した顕微鏡画像の画像信号に対して画像信号処理を行う画像信号処理装置であってもよい。

また、図１、図６、図７では、処理装置に含まれる制御パラメータ記憶部２９１に制御パラメータが予め格納されている例を示したが、制御パラメータは、処理装置外の装置、例えば、インターネット上のクラウドサーバなどから、必要に応じて取得してもよい。

特に言及していないが、ベース成分信号とディテール成分信号に対する分割部と相対強調部での処理は、色成分毎に行われてもよい。例えば、Ｒ，Ｇ，Ｂの色成分毎にベース成分信号とディテール成分信号を生成して、各種の処理を行ってもよい。

また、図２、図３、図８に示すフローチャートの各処理は、ハードウェア処理によって行われてもよく、また、メモリに展開したプログラムを実行することによるソフトウェア処理によって行われてもよい。

また、画像信号処理装置は、図１、図６、図７に示す構成以外の構成を含んでもよい。画像信号処理装置は、例えば、分割部と相対強調部の間に明るさ補正部を備えてもよい。明るさ補正部は、分割部から出力される第１のベース成分信号に対して輝度値を補正する処理を行って、画像の明るさを底上げしても良い。

また、図１、図６、図７に示す画像信号処理装置は、階調圧縮部が第１ベース成分信号を圧縮する例を示したが、階調圧縮部が圧縮する信号は、第１ベース成分信号に限らない。例えば、相対強調部は、画像信号、オリジナルベース成分、又は、第１ベース成分信号のいずれか１つに対して階調圧縮処理を行うことで、第２ベース成分信号を生成する階調圧縮部を備えてもよい。この場合、階調圧縮部は、利用者が指定した設定に従って、画像信号、オリジナルベース成分、又は、第１ベース成分信号のいずれか１つに対して階調圧縮信号処理を行ってもよい。例えば、強調の程度の調整を行う必要がない場合には、オリジナルベース成分信号に対して圧縮処理を行ってもよい。また、従来の画像との印象の違いを調整しながら視認性を改善する場合には、第１ベース成分信号に対して圧縮処理を行ってもよい。これにより、利用者は状況に応じて病変の視認性を改善する画像処理を適宜選択して利用することができる。

１、２、３ 内視鏡システム
１００ 内視鏡
１１０ 光学系
１２０ 撮像素子
１２１ 受光部
１２２ 読み出し部
１３０ ライトガイド
１４０ 照明レンズ
２００、２００ａ、２００ｂ 処理装置
２１０ 撮像信号処理部
２２０、２２０ａ 分割部
２２１、２２１ａ ベース成分抽出部
２２２ ベース成分調整部
２２３ ディテール成分抽出部
２３０、２３０ａ 相対強調部
２３１ 階調圧縮部
２３２ 強調部
２４０ 合成部
２５０ 表示画像生成部
２６０ 制御部
２７０ 入力部
２８０ 光源部
２８３ 光源制御部
２８２ 光源ドライバ
２８１ 光源
２９０ 記憶部
２９１ 制御パラメータ記憶部
３００ 表示装置

本発明の一態様に係る画像信号処理装置は、画像信号からベース成分を抽出してオリジナルベース成分信号を生成するベース成分抽出部と、前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成するベース成分調整部と、前記第１ベース成分信号に基づいて前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成するディテール成分抽出部と、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、前記画像信号と前記第１ベース成分信号との類似度合いに関する複数の制御パラメータが記憶された記憶部と、を備える。前記ベース成分調整部は、前記記憶部に記憶された複数の前記制御パラメータのうち、選択された前記制御パラメータを取得し、前記制御パラメータに応じて決定される重み係数を用いて前記加重平均処理を行うことで前記第１ベース成分信号を生成する。

本発明の別の態様に係る画像信号処理装置は、制御パラメータに応じて画像信号を第１ベース成分信号と第１ディテール成分信号に分割して出力する分割部と、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、前記画像信号と前記第１ベース成分信号との類似度合いに関する複数の前記制御パラメータが記憶された記憶部と、を備える。前記分割部は、前記記憶部に記憶された複数の前記制御パラメータのうち、選択された前記制御パラメータに応じて画像信号を第１ベース成分信号と第１ディテール成分信号に分割して出力する。

本発明の更に別の態様に係る画像信号処理装置は、画像信号からベース成分を抽出してオリジナルベース成分信号を生成するベース成分抽出部と、前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成するベース成分調整部と、前記第１ベース成分信号に基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成するディテール成分抽出部と、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、前記画像信号と前記第１ベース成分信号の類似度合いに関する複数の制御パラメータが記憶された記憶部と、を備える。前記ベース成分調整部は、前記記憶部に記憶された複数の前記制御パラメータのうち、選択された前記制御パラメータを取得し、前記制御パラメータに応じて決定される重み係数を用いて前記加重平均処理を行うことで前記第１ベース成分信号を生成する。前記相対強調部は、前記画像信号、前記オリジナルベース成分信号又は前記第１ベース成分信号のいずれか１つに対して階調圧縮処理を行うことで、前記第２ベース成分信号を生成する階調圧縮部を備える。

本発明の一態様に係る画像信号処理方法は、画像信号からベース成分を抽出してオリジナルベース成分信号を生成し、前記画像信号と前記オリジナルベース成分信号とに対して、選択された制御パラメータに応じて決定される重み係数を用いて加重平均処理を行うことで第１ベース成分信号を生成し、前記画像信号と前記第１ベース成分信号とに基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成し、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力し、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する。

本発明の一態様に係るプログラムは、画像信号からベース成分を抽出してオリジナルベース成分信号を生成し、前記画像信号と前記オリジナルベース成分信号とに対して、選択された制御パラメータに応じて決定される重み係数を用いて加重平均処理を行うことで第１ベース成分信号を生成し、前記画像信号と前記第１ベース成分信号とに基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成し、前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力し、前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する、処理をコンピュータに実行させる。

Claims (14)

1. 画像信号からベース成分を抽出してオリジナルベース成分信号を生成するベース成分抽出部と、
   前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成するベース成分調整部と、
   前記第１ベース成分信号に基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成するディテール成分抽出部と、
   前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、
   前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、を備える
   ことを特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において、
   前記ベース成分調整部は、制御パラメータに応じて決定される重み係数を用いて前記加重平均処理を行うことで前記第１ベース成分信号を生成する
   ことを特徴とする画像信号処理装置。
3. 請求項２に記載の画像信号処理装置において、
   前記ベース成分調整部は、前記制御パラメータを取得し、
   前記制御パラメータは、前記画像信号と前記第１ベース成分信号の類似度合いを指定するパラメータである
   ことを特徴とする画像信号処理装置。
4. 請求項２又は請求項３に記載の画像信号処理装置において、
   前記加重平均処理は、アルファブレンド処理であり、
   前記制御パラメータは、前記アルファブレンド処理に用いられるアルファ値である
   ことを特徴とする画像信号処理装置。
5. 請求項１乃至請求項４のいずれか１項に記載の画像信号処理装置において、
   前記相対強調部は、前記第１ベース成分信号に対して階調圧縮処理を行うことで、前記第２ベース成分信号を生成する階調圧縮部を備える
   ことを特徴とする画像信号処理装置。
6. 請求項１乃至請求項５のいずれか１項に記載の画像信号処理装置において、
   前記相対強調部は、前記第１ディテール成分信号に対して強調処理を行うことで、前記第２ディテール成分信号を生成する強調部を備える
   ことを特徴とする画像信号処理装置。
7. 請求項１乃至請求項６のいずれか１項に記載の画像信号処理装置において、
   前記ベース成分は、前記画像信号に含まれる画像成分のうち、前記ディテール成分よりも目の知覚と相関の弱い成分であり、
   前記ディテール成分は、前記画像成分のうち、前記ベース成分よりも目の知覚と相関の強い成分である
   ことを特徴とする画像信号処理装置。
8. 制御パラメータに応じて画像信号を第１ベース成分信号と第１ディテール成分信号に分割して出力する分割部と、
   前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、
   前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、を備える
   ことを特徴とする画像信号処理装置。
9. 請求項８に記載の画像信号処理装置において、
   前記制御パラメータは、前記画像信号と前記第１ベース成分信号の類似度合いを指定するパラメータある
   ことを特徴とする画像信号処理装置。
10. 請求項８又は請求項９に記載の画像信号処理装置において、
    前記分割部は、
    前記画像信号からベース成分を抽出してオリジナルベース成分信号を生成するベース成分抽出部と、
    前記制御パラメータに応じて決定される重み係数を用いて前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで前記第１ベース成分信号を生成するベース成分調整部と、
    前記第１ベース成分信号に基づいて、前記画像信号からディテール成分を抽出して前記第１ディテール成分信号を生成するディテール成分抽出部と、を備える
    ことを特徴とする画像信号処理装置。
11. 請求項８又は請求項９に記載の画像信号処理装置において、
    前記分割部は、
    前記制御パラメータに応じて決定されたフィルタを用いて前記画像信号を平滑化することで前記第１ベース成分信号を生成するベース成分抽出部と、
    前記第１ベース成分信号に基づいて、前記画像信号からディテール成分を抽出して前記第１ディテール成分信号を生成するディテール成分抽出部と、を備える
    ことを特徴とする画像信号処理装置。
12. 画像信号からベース成分を抽出してオリジナルベース成分信号を生成するベース成分抽出部と、
    前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成するベース成分調整部と、
    前記第１ベース成分信号に基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成するディテール成分抽出部と、
    前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力する相対強調部と、
    前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する合成部と、
    を備え、
    前記相対強調部は、前記画像信号、前記オリジナルベース成分信号又は前記第１ベース成分信号のいずれか１つに対して階調圧縮処理を行うことで、前記第２ベース成分信号を生成する階調圧縮部を備える、
    ことを特徴とする画像信号処理装置。
13. 画像信号からベース成分を抽出してオリジナルベース成分信号を生成し、
    前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成し、
    前記画像信号と前記第１ベース成分信号とに基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成し、
    前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力し、
    前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する
    ことを特徴とする画像信号処理方法。
14. 画像信号からベース成分を抽出してオリジナルベース成分信号を生成し、
    前記画像信号と前記オリジナルベース成分信号とに対して加重平均処理を行うことで第１ベース成分信号を生成し、
    前記画像信号と前記第１ベース成分信号とに基づいて、前記画像信号からディテール成分を抽出して第１ディテール成分信号を生成し、
    前記第１ベース成分信号と前記第１ディテール成分信号の少なくとも一方に、前記第１ベース成分信号に対して前記第１ディテール成分信号を相対的に強調する信号処理を行うことによって、第２ベース成分信号と第２ディテール成分信号とを出力し、
    前記第２ベース成分信号と前記第２ディテール成分信号とを合成することによって、合成画像信号を生成する、処理を
    コンピュータに実行させることを特徴とするプログラム。

Images