WO2021039180A1 - 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

画像処理装置は、画像から輝度値が特定の値よりも高い領域をマスク領域として特定し、マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する、マスク画像生成部と、マスク画像において、マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、マスク領域を、特定した部分を除く周辺の領域まで拡張する、マスク拡張処理部と、画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する、平滑化画像生成部と、輝度値平滑化画像において、拡張後のマスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する、補正画像生成部と、画像に補正画像を合成して、新たな画像を生成する、画像合成部と、を備えている。

Description

画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

　本発明は、内視鏡で撮影された画像のようなテカリが発生しやすい画像に対して画像処理を行うための、画像処理装置及び画像処理方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

　近年、固体撮像素子の高精度化、画像処理技術の向上により、人の体内において内視鏡によって撮影された画像から、病理診断を行う装置が提案されている。例えば、特許文献１は、内視鏡で撮影された画像から、画像に含まれる細胞核の特徴を抽出し、抽出した特徴と画像のテクスチャ解析の結果とに基づいて、病理診断を実行する、装置を開示している。

　ところで、内視鏡の撮影対象である人の体内には、体液等の液体が存在する。また、内視鏡の先端には、被写体を照らすライトが設けられている。このため、内視鏡によって撮影された画像には、多くの場合、テカリが発生してしまう。このようなテカリが発生すると、テカリの部分が特徴として抽出されてしまうことから、特許文献２は、内視鏡で撮影された画像からテカリを除去する技術を開示している。

　特許文献２に開示された技術では、まず、グレースケール化された画像から、テカリが発生している領域（以下「テカリ領域」とする）が特定される。次いで、テカリ領域を含み、且つ、それよりも大きな領域が、除外領域として設定され、画像から、除外領域が除去される。そして、画像中の除外領域があった領域は、除外領域の周囲の画素に基づいて補正される。このようにして補正された画像を用いれば、テカリが除去されているので、テカリの部分が特徴として抽出されてしまう問題は解消される。

特開２０１６－１５４８１０号公報 特開２０１８－１２８２９４号公報

　しかしながら、特許文献２に開示された技術では、上述したように、テカリ領域を覆う領域が、一律に、その周辺の画素に基づいて補正される。このため、テカリ領域の近くに存在するエッジが消滅してしまい、結果、特徴の抽出精度が低下する可能性がある。

　本発明の目的の一例は、上記問題を解消し、画像中に発生したテカリを補正する際において、画像中のエッジの消滅を抑制し得る、画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。

　上記目的を達成するため、本発明の一側面における画像処理装置は、
　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する、マスク画像生成部と、
　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張する、マスク拡張処理部と、
　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する、平滑化画像生成部と、
　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する、補正画像生成部と、
　前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成する、画像合成部と、
を備えている、ことを特徴とする。

　また、上記目的を達成するため、本発明の一側面における画像処理方法は、
　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する、マスク画像生成ステップと、
　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張する、マスク拡張処理ステップと、
　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する、平滑化画像生成ステップと、
　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する、補正画像生成ステップと、
　前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成する、画像合成ステップと、
を有する、ことを特徴とする。

　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する、マスク画像生成ステップと、
　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張する、マスク拡張処理ステップと、
　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する、平滑化画像生成ステップと、
　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する、補正画像生成ステップと、
　前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成する、画像合成ステップと、
を実行させる、命令を含む、プログラムを記録していることを特徴とする。

　以上のように、本発明によれば、画像中に発生したテカリを補正する際において、画像中のエッジの消滅を抑制することができる。

図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。 図３は、図２に示すマスク画像生成部、マスク拡張処理部、及び平滑化画像生成部で行われる処理を説明する図である。 図４は、図２に示す補正画像生成部における処理を説明する図である。 図５は、図２に示す画像合成部における処理を説明する図である。 図６は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。 図７は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
　以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１～図７を参照しながら説明する。
［装置構成］
　最初に、図１を用いて、本実施の形態における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。

　図１に示す本実施の形態における画像処理装置１０は、内視鏡で撮影された画像のようなテカリが発生しやすい画像に対して画像処理を行うための装置である。図１に示すように、画像処理装置１０は、マスク画像生成部１１と、マスク拡張処理部１２と、平滑化画像生成部１３と、補正画像生成部１４と、画像合成部１５とを備えている。

　マスク画像生成部１１は、まず、処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定する。続いて、マスク画像生成部１１は、この画像において、マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する。

　マスク拡張処理部１２は、マスク画像において、マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、マスク領域を、特定した部分を除く周辺の領域まで拡張する。

　また、平滑化画像生成部１３は、処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する。

　補正画像生成部１４は、平滑化画像生成部１３によって生成された輝度値平滑化画像において、拡張後のマスク領域に整合する領域を特定する。そして、補正画像生成部１４は、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する。

　画像合成部１５は、処理対象となる画像に、補正画像生成部１４によって生成された補正画像を合成して、新たな画像を生成する。

　このように、本実施の形態では、テカリが発生している部分と、その周辺の部分とは、輝度値が平滑化された画像によって置き換えられるが、周辺の部分のうち、一定条件を満たす部分、例えば、エッジ部分については、置き換えの対象から除外される。このため、本実施の形態によれば、画像中に発生したテカリを補正する際において、画像中のエッジの消滅を抑制することができる。

　続いて、図２～図５を用いて、本実施の形態における画像処理装置１０の構成及び機能についてより具体的に説明する。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。図３は、図２に示すマスク画像生成部、マスク拡張処理部、及び平滑化画像生成部で行われる処理を説明する図である。図４は、図２に示す補正画像生成部における処理を説明する図である。図５は、図２に示す画像合成部における処理を説明する図である。

　図２に示すように、本実施の形態では、画像処理装置１０は、内視鏡システム５０の一部を構成している。具体的には、内視鏡システム５０は、内視鏡２０と、それを制御するための内視鏡制御装置３０と、内視鏡で撮影した画像を表示する表示装置４０とを備えている。画像処理装置１０は、内視鏡制御装置３０に組み込まれている。より詳細には、画像処理装置１０は、後述する本実施の形態におけるプログラムを、内視鏡制御装置３０を構成しているコンピュータで実行することによって構築される。

　従って、本実施の形態では、画像処理装置１０は、図３に示すように、内視鏡２０によって撮影された画像を、処理対象画像６０として取得する。処理対象画像６０は、マスク画像生成部１１、平滑化画像生成部１３、及び画像合成部１５に送られる。

　マスク画像生成部１１は、まず、処理対象画像６０をグレースケール化し、グレースケール化された画像から、輝度値が特定の閾値以上である領域を特定し、この特定した領域をマスク領域とする。次いで、マスク画像生成部１１は、特定したマスク領域における画素の輝度値を「２５５」に設定し、それ以外の領域における画素の輝度値を「０」に設定する。これにより、図３に示すマスク画像６１が生成される。

　マスク拡張処理部１２は、本実施の形態では、マスク画像６１において、マスク領域を、その外縁に沿って、設定された画素数分拡張し、拡張した部分のうち、輝度についての条件を満たす部分を除去して、図３に示す拡張マスク画像６２を生成する。

　具体的には、マスク拡張処理部１２は、まず、例えば、OpenCVのdilate関数を用いて拡張処理を実行し、拡張した部分の輝度値を「２５５」に設定する。また、このとき、マスク拡張処理部１２は、dilate関数の引数のフィルタとして、例えば、全ての行列要素が１．０である５×５の行列を設定する。

　次いで、マスク拡張処理部１２は、処理対象画像６０からエッジを抽出する。エッジの抽出は、例えば、処理対象画像６０にラプラシアンフィルタを適用することによって行われる。そして、マスク拡張処理部１２は、処理対象画像６０から抽出したエッジとマスク領域の周辺の領域（マスク画像６１の拡張した部分）とを対比して、両者が重なる部分を、輝度についての条件を満たす部分として特定する。

　更に、マスク拡張処理部１２は、拡張処理のみが行われたマスク画像において、輝度についての条件を満たす部分にある画素の輝度値を「０」に設定する。これにより、図３に示す拡張マスク画像６２が生成される。

　平滑化画像生成部１３は、本実施の形態では、処理対象画像６０の全体での輝度値の変化を閾値以下となるように、平滑化処理を実行する。具体的には、平滑化画像生成部１３は、処理対象画像６０に対して、例えば、OpenCVのmedian Blur関数を用いて、平均値blur処理を実行する。また、このとき、カーネルサイズは、例えば１５に設定される。これによって、図３に示す輝度値平滑化画像６３が生成される。

　補正画像生成部１４は、本実施の形態では、輝度値平滑化画像６３において、拡張マスク画像６２のマスク領域に対応する領域を特定し、特定した領域以外の領域の輝度値を「０」に設定する。これにより、図４に示す補正画像６４が生成される。

　画像合成部１５は、本実施の形態では、まず、処理対象画像６０において、拡張マスク画像６２のマスク領域に対応する領域を特定し、特定した領域の輝度値を「０」に設定する。これにより、処理対象画像６０は、図５に示す画像６５となる。以下、画像６５は、「背景画像６５」と表記する。

　次いで、画像合成部１５は、背景画像６５の輝度値が「０」の領域に、補正画像６４の輝度値が「０」でない部分を埋め込んで、補正画像６４と背景画像６５とを合成する。これにより、図５に示す補正後の処理対象画像（以下「補正済対象画像」と表記する）６６が生成される。補正済対象画像６６では、エッジが損なわれることなく、元の処理対象画像６０に存在したテカリが除去されている。

［装置動作］
　次に、本実施の形態における画像処理装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図５を参照する。また、本実施の形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。

　まず、前提として、内視鏡システム５０において、内視鏡２０によって撮影された画像の画像データが、フレーム毎に、内視鏡制御装置３０に出力されてくる。出力されてきた画像データは、処理対象画像６０の画像データとして画像処理装置１０に送られる。

　図６に示すように、画像処理装置１０では、まず、マスク画像生成部１１が、処理対象画像６０から、輝度値が特定の値よりも高い領域をマスク領域として特定し、処理対象画像６０における、マスク領域以外の領域の輝度値を「０」として、マスク画像６１を生成する（ステップＡ１）。

　具体的には、ステップＡ１では、マスク画像生成部１１は、特定したマスク領域における画素の輝度値を「２５５」に設定し、それ以外の領域における画素の輝度値を「０」に設定する。

　次に、マスク拡張処理部１２が、ステップＡ１で生成されたマスク画像において、マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、マスク領域を、特定した部分を除く周辺の領域まで拡張する（ステップＡ２）。これにより、図３に示す拡張マスク画像６２が生成される。

　具体的には、ステップＡ２では、マスク拡張処理部１２は、まず、例えば、OpenCVのdilate関数を用いて拡張処理を実行し、拡張した部分の輝度値を「２５５」に設定する。また、次いで、マスク拡張処理部１２は、処理対象画像６０からエッジを抽出し、抽出したエッジとマスク領域の周辺の領域を対比して、両者が重なる部分を、輝度についての条件を満たす部分として特定する。その後、マスク拡張処理部１２は、拡張処理のみが行われたマスク画像において、輝度についての条件を満たす部分にある画素の輝度値を「０」に設定する。

　次に、平滑化画像生成部１３が、処理対象画像６０の全体の輝度値を平滑化して、輝度値平滑化画像６３を生成する（ステップＡ３）。具体的には、処理対象画像６０に対して、例えば、OpenCVのmedian Blur関数を用いて、平均値blur処理を実行する。

　次に、補正画像生成部１４は、ステップＡ３で生成された輝度値平滑化画像６３において、拡張後のマスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値を「０」として、補正画像６４を生成する（ステップＡ４）。

　次に、画像合成部１５は、処理対象画像６０に、補正画像生成部１４によって生成された補正画像６４を合成して、補正済対象画像６６を生成する（ステップＡ５）。

　具体的には、画像合成部１５は、処理対象画像６０において、拡張マスク画像６２のマスク領域に対応する領域の輝度値を「０」に設定して、背景画像６５を生成する。そして、画像合成部１５は、背景画像６５の輝度値が「０」の領域に、補正画像６４の輝度値が「０」でない部分を埋め込んで、補正画像６４と背景画像６５とを合成する。

　次に、画像合成部１５は、補正済対象画像６６における輝度値の変化の合計値を算出する（ステップＡ６）。そして、画像合成部１５は、算出した輝度値の変化の合計値が閾値以下であるかどうかを判定する（ステップＡ７）。

　ステップＡ７の判定の結果、算出した輝度値の変化の合計値が閾値を越えている場合は、再度ステップＡ３が実行される。但し、この場合のステップＡ３では、平滑化処理は、最新の補正済対象画像６６に対して行われる。

　一方、ステップＡ７の判定の結果、算出した輝度値の変化の合計値が閾値以下である場合は、画像合成部１５は、補正済対象画像６６の画像データを、表示装置４０に出力する（ステップＡ８）。これにより、表示装置４０の画面には、補正済対象画像６６が表示される。

［実施の形態における効果］
　以上のように、本実施の形態では、図５に示す補正済対象画像６６が生成され、これが画面に表示される。補正済対象画像６６では、エッジが損なわれることなく、元の処理対象画像６０に存在したテカリが除去されているので、本実施の形態によれば、画像中に発生したテカリを補正する際において、画像中のエッジの消滅が抑制される。

［プログラム］
　本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１～Ａ８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、マスク画像生成部１１、マスク拡張処理部１２、平滑化画像生成部１３、補正画像生成部１４、及び画像合成部１５として機能し、処理を行なう。

　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、マスク画像生成部１１、マスク拡張処理部１２、平滑化画像生成部１３、補正画像生成部１４、及び画像合成部１５のいずれかとして機能しても良い。

　ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

　図７に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード群）をメインメモリ１１２に展開し、プログラムを構成するコードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

　なお、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する、マスク画像生成部と、
　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張する、マスク拡張処理部と、
　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する、平滑化画像生成部と、
　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する、補正画像生成部と、
　前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成する、画像合成部と、
を備えている、ことを特徴とする画像処理装置。

（付記２）
　付記１に記載の画像処理装置であって、
　前記マスク拡張処理部が、前記マスク画像において、前記マスク領域を、その外縁に沿って、設定された画素数分拡張し、その後、拡張された部分のうち、前記輝度についての条件を満たす部分を除去することによって、前記マスク画像を拡張する、
ことを特徴とする画像処理装置。

（付記３）
　付記１または２に記載の画像処理装置であって、
　前記マスク拡張処理部が、前記処理対象となる画像から抽出されたエッジと前記マスク領域の周辺の領域とを対比して、両者が重なる部分を、前記輝度についての条件を満たす部分として特定する、
ことを特徴とする画像処理装置。

（付記４）
　付記１から３のいずれかに記載の画像処理装置であって、
　前記平滑化画像生成部が、前記処理対象となる画像全体での輝度値の変化を閾値以下とすることによって、前記輝度値平滑化画像を生成する、
ことを特徴とする画像処理装置。

（付記５）
　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する、マスク画像生成ステップと、
　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張する、マスク拡張処理ステップと、
　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する、平滑化画像生成ステップと、
　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する、補正画像生成ステップと、
　前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成する、画像合成ステップと、
を有する、ことを特徴とする画像処理方法。

（付記６）
　付記５に記載の画像処理方法であって、
　前記マスク拡張処理ステップにおいて、前記マスク画像において、前記マスク領域を、その外縁に沿って、設定された画素数分拡張し、その後、拡張された部分のうち、前記輝度についての条件を満たす部分を除去することによって、前記マスク画像を拡張する、
ことを特徴とする画像処理方法。

（付記７）
　付記５または６に記載の画像処理方法であって、
　前記マスク拡張処理ステップにおいて、前記処理対象となる画像から抽出されたエッジと前記マスク領域の周辺の領域とを対比して、両者が重なる部分を、前記輝度についての条件を満たす部分として特定する、
ことを特徴とする画像処理方法。

（付記８）
　付記５から７のいずれかに記載の画像処理方法であって、
　前記平滑化画像生成ステップにおいて、前記処理対象となる画像全体での輝度値の変化を閾値以下とすることによって、前記輝度値平滑化画像を生成する、
ことを特徴とする画像処理方法。

（付記９）
コンピュータに、
　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する、マスク画像生成ステップと、
　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張する、マスク拡張処理ステップと、
　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する、平滑化画像生成ステップと、
　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する、補正画像生成ステップと、
（ｅ）前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成する、画像合成ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。

（付記１０）
　付記９に記載のコンピュータ読み取り可能な記録媒体であって、
　前記マスク拡張処理ステップにおいて、前記マスク画像において、前記マスク領域を、その外縁に沿って、設定された画素数分拡張し、その後、拡張された部分のうち、前記輝度についての条件を満たす部分を除去することによって、前記マスク画像を拡張する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１１）
　付記９または１０に記載のコンピュータ読み取り可能な記録媒体であって、
　前記マスク拡張処理ステップにおいて、前記処理対象となる画像から抽出されたエッジと前記マスク領域の周辺の領域とを対比して、両者が重なる部分を、前記輝度についての条件を満たす部分として特定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１２）
　付記９から１１のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
　前記平滑化画像生成ステップにおいて、前記処理対象となる画像全体での輝度値の変化を閾値以下とすることによって、前記輝度値平滑化画像を生成する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　この出願は、２０１９年８月２８日に出願された日本出願特願２０１９－１５５１５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明によれば、画像中に発生したテカリを補正する際において、画像中のエッジの消滅を抑制することができる。本発明は、テカリの発生しやすい被写体を撮影対象とする、システム、例えば、内視鏡システムに有用である。

　１０　画像処理装置
　１１　マスク画像生成部
　１２　マスク拡張処理部
　１３　平滑化画像生成部
　１４　補正画像生成部
　１５　画像合成部
　２０　内視鏡
　３０　内視鏡制御装置
　４０　表示装置
　５０　内視鏡システム
　６０　処理対象画像
　６１　マスク画像
　６２　拡張マスク画像
　６３　輝度値平滑化画像
　６４　補正画像
　６５　背景画像
　６６　補正済対象画像
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (12)

1. 　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成する、マスク画像生成手段と、
   　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張する、マスク拡張処理手段と、
   　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成する、平滑化画像生成手段と、
   　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成する、補正画像生成手段と、
   　前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成する、画像合成手段と、
   を備えている、ことを特徴とする画像処理装置。
2. 　請求項１に記載の画像処理装置であって、
   　前記マスク拡張処理手段が、前記マスク画像において、前記マスク領域を、その外縁に沿って、設定された画素数分拡張し、その後、拡張された部分のうち、前記輝度についての条件を満たす部分を除去することによって、前記マスク画像を拡張する、
   ことを特徴とする画像処理装置。
3. 　請求項１または２に記載の画像処理装置であって、
   　前記マスク拡張処理手段が、前記処理対象となる画像から抽出されたエッジと前記マスク領域の周辺の領域とを対比して、両者が重なる部分を、前記輝度についての条件を満たす部分として特定する、
   ことを特徴とする画像処理装置。
4. 　請求項１から３のいずれかに記載の画像処理装置であって、
   　前記平滑化画像生成手段が、前記処理対象となる画像全体での輝度値の変化を閾値以下とすることによって、前記輝度値平滑化画像を生成する、
   ことを特徴とする画像処理装置。
5. 　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成し、
   　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張し、
   　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成し、
   　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成し、
   　前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成する、
   ことを特徴とする画像処理方法。
6. 　請求項５に記載の画像処理方法であって、
   　前記マスク領域の拡張において、前記マスク画像において、前記マスク領域を、その外縁に沿って、設定された画素数分拡張し、その後、拡張された部分のうち、前記輝度についての条件を満たす部分を除去することによって、前記マスク画像を拡張する、
   ことを特徴とする画像処理方法。
7. 　請求項５または６に記載の画像処理方法であって、
   　前記マスク領域の拡張において、前記処理対象となる画像から抽出されたエッジと前記マスク領域の周辺の領域とを対比して、両者が重なる部分を、前記輝度についての条件を満たす部分として特定する、
   ことを特徴とする画像処理方法。
8. 　請求項５から７のいずれかに記載の画像処理方法であって、
   　前記輝度値平滑化画像の生成において、前記処理対象となる画像全体での輝度値の変化を閾値以下とすることによって、前記輝度値平滑化画像を生成する、
   ことを特徴とする画像処理方法。
9. コンピュータに、
   　処理対象となる画像から、輝度値が特定の値よりも高い領域をマスク領域として特定し、更に、前記画像において、前記マスク領域以外の領域の輝度値をゼロとして、マスク画像を生成させ、
   　前記マスク画像において、前記マスク領域の周辺の領域のうち、輝度についての条件を満たす部分を特定し、前記マスク領域を、特定した部分を除く前記周辺の領域まで拡張させ、
   　前記処理対象となる画像の全体の輝度値を平滑化して、輝度値平滑化画像を生成させ、
   　前記輝度値平滑化画像において、拡張後の前記マスク領域に整合する領域を特定し、特定した領域以外の領域の輝度値をゼロとして、補正画像を生成させ、
   　前記処理対象となる画像に、前記補正画像を合成して、新たな画像を生成させる、
   命令を含むプログラムを実行させる、コンピュータ読み取り可能な記録媒体。
10. 　請求項９に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記マスク領域の拡張において、前記マスク画像において、前記マスク領域を、その外縁に沿って、設定された画素数分拡張し、その後、拡張された部分のうち、前記輝度についての条件を満たす部分を除去することによって、前記マスク画像を拡張する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
11. 　請求項９または１０に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記マスク領域の拡張において、前記処理対象となる画像から抽出されたエッジと前記マスク領域の周辺の領域とを対比して、両者が重なる部分を、前記輝度についての条件を満たす部分として特定する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
12. 　請求項９から１１のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
    　前記輝度値平滑化画像の生成において、前記処理対象となる画像全体での輝度値の変化を閾値以下とすることによって、前記輝度値平滑化画像を生成する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。

Images