JP7296182B1 - 画像処理方法 - Google Patents

Abstract

【課題】 血液によって覆われた下層部分の微細な凹凸を可視化する画像処理方法を提供する。【解決手段】元画像をＲＧＢ色空間に変換し、このＲＧＢ色空間に変換した画像の画素ごとにフィルタリングモノクロ化を行いグレープレーンを生成し、このグレープレーンを生成する際に色強調フィルタを用い、特定の色相を持つ領域の輝度率（Ｙ１）のみを高める。更に、元画像をＹＵＶ色空間、ＹＣｂＣｒ色空間またはＹＰｂＰｒ色空間に変換し、この変換した画像と前記グレープレーンとを画素ごとに輝度（Ｙ）で比較し高い（明るい）方を採用してカラー画像とし、このカラー画像に鮮明化処理を行う。【選択図】 図５

Description

本発明は、例えば血液によって覆われた下層部分の微細な凹凸を可視化する画像処理方法に関する。

使用目的などに応じて、画像の明度やコントラストを強調することが行われる。例えば特許文献１には、例えば内視鏡手術の際に血管或いは出血個所を発見するのを目的とした画像処理装置が開示されている。
具体的には、光源部からの照明光を被写体に照射することにより得られた被写体像を含む撮像画像を取得する画像取得部、撮像画像の黄色以外の領域に対して撮像画像の黄色領域の視認性を相対的に高める処理を行う視認性強調部、撮像画像の色情報に基づいて、撮像画像における血液の領域である血液領域を検出する検出部、および検出部による検出結果に基づいて血液領域についての報知処理を行う報知処理部が開示されている。

特許文献２には調整項目として、明度、彩度、赤色強調、肌色修正、コントラスト、傷ノイズ付加が挙げられ、赤色強調を設定する例として紅葉を写した画像、明度アップの例として、オーロラを写した画像が挙げられている。

特許文献３には血管系画像化方法として、静脈血管系を表す画素と動脈血管系を表す画素とを区別するために、静脈を赤色、動脈を青色とし、異なるハイライトで強調表示する強調表示方式が開示されている。

特許文献４には内視鏡画像の画像処理方法が開示されている。この画像処理方法は、画像を酸素飽和度が一定値を超える第１領域と一定値を下回る第２領域に分け、第１領域に対してカラーバランス処理を行い、第２領域に対して色を変化させるゲイン処理を行い、前記カラーバランス処理として、赤色成分を強調する赤色強調処理を行うことが開示されている。

特許文献５には、偏光性フィルターを一体に設けた赤色強調の偏光性を有する光学レンズにより、出血箇所を特定しやすくし、微細な出血箇所を見出すことが開示されている。

ＷＯ２０１８－２３５１７９号公報 特開２０２０－９９０１４号公報 特表２０２０－５０８７１３号公報 特開２０１４－５０４５３号公報 ＷＯ２０２０－０３１５０２号公報

特許文献１には、血管領域の色に対して彩度や輝度を上げる処理は開示されているが、これは出血箇所や血管の位置を分かりやすくするものであり、本願のように血液によって見にくくなっている下の部分（血液によって覆われている下層部分）を鮮明にすることを目的としておらず、このための処理、即ち、赤領域のグラデーションを広げることで赤色を薄くしてコントラストを高める処理については開示されていない。

特許文献２～５も、赤色部分を他の部分に対して目立たせる処理に関するものであり、血液（赤色部分）によって隠された血液の下の部分の画像を可視化するものではない。
即ち、本発明は赤を強調する処理ではなく、赤を消す処理を行うことを要旨としており、何れの特許文献もこの点を開示していない。

本発明は特定の色、例えば赤色部分を他の部分に対して目立たせるのではなく、赤色の悪影響を除去してその下の部分を可視化するものである。そのために本発明に係る画像処理方法は、元画像をＲＧＢ色空間に変換し、このＲＧＢ色空間に変換した画像の画素ごとにフィルタリングモノクロ化を行いグレープレーンを生成し、このグレープレーンを生成する際に色強調フィルタを用い、特定の色相を持つ領域の輝度率（Ｙ１）のみを高める。更に、元画像をＹＵＶ色空間、ＹＣｂＣｒ色空間またはＹＰｂＰｒ色空間に変換し、この変換した画像と前記グレープレーンとを画素ごとに輝度（Ｙ）で比較し高い（明るい）方を採用してカラー画像とし、このカラー画像に鮮明化処理を行う。

血液によって覆われた下層部分の微細な凹凸を可視化することを目的とする場合には、色強調フィルタとして赤色強調フィルタを用い、血液に近い赤の色相を持つ領域の輝度率（Ｙ１）のみを高める。

また、色強調フィルタによる特定の色の色強調は、当該特定の色の輝度を高めることで白色に近づけることが考えられる。

本発明に係る画像処理方法によれば、例えば手術中に血液によって覆われた下の部分を可視化することができるので、小さな凹凸や傷の場所を確認しながら手術を行え、安全性を高めることができる。

出血のある元画像 出血のある元画像の白黒画像 出血のある元画像の赤色領域の輝度を高めた白黒画像 置き換えた輝度信号（Ｙ１）と輝度信号と青色成分の差（Ｕ）及び輝度信号と赤色成分の差（Ｖ）を合成したカラー画像 合成したカラー画像に鮮明化処理を行った画像

以下に本発明の実施の形態を添付図面に基づいて説明する。
図１は出血のある元画像であり、この画像から分かるように血液で覆われた下の部分がどのようになっているかを見ることができない。

図２は元画像をＲＧＢ色空間に変換し、フィルタリングモノクロ化した白黒画像であり、赤色は彩度は高いが輝度が低く暗くなっている。つまり血液で覆われた下の部分が可視化できないのは、輝度が低いことが原因であることが分かる。

そこで、図３に示すように、元画像の赤の色相を持つ領域（出血している領域）を赤色強調フィルタによって明るくした白黒画像（輝度率：Ｙ１）を作成する。

フィルタリングモノクロ化処理においては、ＲＧＢ画像からＲ（赤）、Ｙe（黄）、Ｇ（緑）、Ｃ（シアン）、Ｂ（青）、Ｍ（マゼンタ）の色相別に重みを決めてグレースケールに変換する。
色相別に重みをＲf（赤）、Ｙef（黄）、Ｇf（緑）、Ｃf（シアン）、Ｂf（青）、Ｍf（マゼンタ）とすると、本実施例の場合、Ｒf＝１００％、Ｙef＝６０％、Ｇf＝４０％、Ｃf＝６０％、Ｂf＝２０％、Ｍf＝８０％とする。尚、色相環で表現される赤色に対する人間の輝度感度はＲf＝４０％である。
上記ｆに負の割合を指定することで特定の色を弱くすることも可能である。

Ｒ,Ｇ,Ｂの値を持つ画素の白黒値（輝度率）をＹとして以下の計算を行う。
ここで、max=ＲＧＢの最大値、mid=ＲＧＢの最大でも最小でもない値、 min=ＲＧＢの最小値とする。ただし、同値がある場合はmidがmaxまたはminと同値になる。
（1）max==mid==minの場合はその値をＹとして計算終了
（2）Ｙ＝０から開始
（3）max==Ｒの場合 Ｙ+＝Ｒf・(max-mid)
（4）max==Ｂの場合 Ｙ+＝Ｙef・(max-mid)
（5）max==Ｇの場合 Ｙ+＝Ｇf・(max-mid)
（6）min==Ｒの場合 Ｙ+＝Ｃf・(max-mid)
（7）min==Ｂの場合 Ｙ+＝Ｂf・(max-mid)
（8）min==Ｇの場合 Ｙ+＝Ｍf・(max-mid)
（9）（3）から（8）で必ず２つが該当する（同値がある場合は３つ）
（10）Ｙ+＝min
（11）Ｙ＞255ならＹ＝255
（12）Ｙ＜0ならＹ＝0

例えば色相環で表現される赤色の輝度率は４０％であるが、この輝度率を２．５倍することで１００％とする。赤色の輝度率が１００％に変換されることで、元画像では赤のグラデーションが黒→赤の範囲で構成されていた赤色領域が黒→赤→白の広いグラデーションに変換される。赤色領域を広いグラデーションに変換することで、図２と比較して同じ白黒写真であっても微細な明暗が可視化されることが分かる。

尚本発明において、上記した赤色の輝度率の倍率は調整可能なパラメータであり、２．５倍に限るものではなく、２．０倍などでもよい。
静脈などの青色の成分が多い場合には、Ｒ（赤）だけでなくＭ（マゼンタ）の倍率も変動することで血液映像の色相の違いを調整することが可能であるなど、Ｒ（赤）、Ｙe（黄）、Ｇ（緑）、Ｃ（シアン）、Ｂ（青）、Ｍ（マゼンタ）の倍率を狙った色相に応じた倍率を設定することで任意の色相を持つ領域の透過が可能である。

次いで、赤色強調フィルタによって明るくした白黒画像の赤色領域の輝度率（Ｙ１）を元画像のＹＵＶ色空間、ＹＣｂＣｒ色空間またはＹＰｂＰｒ色空間の赤色領域の輝度（Ｙ）と置き換える。即ち、元画像の赤色領域の輝度率（Ｙ）を２.５倍する。この置き換えた輝度率（Ｙ）に元画像のＵＶ、ＣｂＣｒまたはＰｂＰｒを合成して作成したカラー画像を図４に示す。

図４に示すように、赤色領域の明度を高めることで元画像では暗くなっていた部分が明るく階調が広くなり、血液の下の部分の凹凸が可視化されることが分かる。しかしながら、同時に赤色領域の境界部分において赤が蛍光色のようなイメージになる。

上記の原因は、画像をＹＵＶに分解し、Ｙ（輝度）を赤色強調フィルタで赤色領域だけを明るく（例えば２．５倍）すると、本来黒から真っ赤までの色だった領域が黒から赤を超えて白色が入るピンクまで含む広い階調を持つことになり、見た目も明るいピンク色が混じった蛍光色イメージになり、小さな凹凸や傷を見逃すことにつながる。

上記を解消するため、広くなった階調を自然な明るさの範囲に戻す。具体的には、ＰＮ.6867563、ＰＮ．6893068、ＣＬＡＨＥ、ＬＩＳｒ（登録商標）などを使用することで適応的にコントラストを均一化する鮮明化処理を行う。

図５は鮮明化処理が終了したカラー画像であり、元画像と比較すると血液で覆われていた部分の凹凸が可視化されていることが分かる。

実施例では、赤色領域の輝度率を高めて赤色領域のグラデーションを広くすることで手術中に血液で覆われた部分の可視化について説明したが、赤色以外の領域の輝度率を高めてもよい。特に、彩度は高く明度が低い画像領域の下層部分の鮮明化に利用することができる。

Claims (1)

1. 以下の工程からなる画像処理方法。
   （１）元画像をＲＧＢ色空間に変換する。
   （２）ＲＧＢ色空間に変換した画像からＲ（赤）、Ｙｅ（黄）、Ｇ（緑）、Ｃ（シアン）、Ｂ（青）、Ｍ（マゼンタ）の色相に重みを決めてグレースケールに変換する。
   （３）前記グレースケールに変換する際に赤色強調フィルタを用い、白黒画像の赤色領域の輝度率（Ｙ１）を高める。
   （４）元画像をＹＵＶ色空間、ＹＣｂＣｒ色空間またはＹＰｂＰｒ色空間に変換する。
   （５）前記赤色強調フィルタを用いて明るくした白黒画像の赤色領域の輝度を、元画像のＹＵＶ色空間、ＹＣｂＣｒ色空間またはＹＰｂＰｒ色空間の赤色領域の輝度（Ｙ）と置き換える。
   （６）上記の処理によって広くなった階調を自然な明るさの範囲に戻すためにコントラストを均一化する。

Images