WO2024009700A1 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
WO2024009700A1
WO2024009700A1 PCT/JP2023/021841 JP2023021841W WO2024009700A1 WO 2024009700 A1 WO2024009700 A1 WO 2024009700A1 JP 2023021841 W JP2023021841 W JP 2023021841W WO 2024009700 A1 WO2024009700 A1 WO 2024009700A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color space
red
color
brightness
Prior art date
Application number
PCT/JP2023/021841
Other languages
English (en)
French (fr)
Inventor
正浩 小林
Original Assignee
株式会社ロジック・アンド・デザイン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2023018255A external-priority patent/JP7296182B1/ja
Application filed by 株式会社ロジック・アンド・デザイン filed Critical 株式会社ロジック・アンド・デザイン
Publication of WO2024009700A1 publication Critical patent/WO2024009700A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators

Definitions

  • the present invention relates to an image processing method for visualizing minute irregularities in a lower layer portion covered with blood, for example.
  • Patent Document 1 discloses an image processing device whose purpose is to discover blood vessels or bleeding sites during endoscopic surgery, for example.
  • an image acquisition unit that acquires a captured image including a subject image obtained by irradiating the subject with illumination light from a light source unit;
  • a visibility enhancement unit that performs processing to relatively increase visibility;
  • a detection unit that detects a blood area that is a blood area in a captured image based on color information of the captured image;
  • a notification processing unit is disclosed that performs notification processing regarding a region.
  • Patent Document 2 lists brightness, saturation, red emphasis, skin color correction, contrast, and scratch noise addition as adjustment items, and an example of setting red emphasis is an image of autumn leaves, and an example of increasing brightness is an image of an aurora. Images taken are listed.
  • Patent Document 3 describes a vascular system imaging method that uses highlighting to highlight veins in red and arteries in blue and highlight them with different highlights in order to distinguish between pixels representing the venous vasculature and pixels representing the arterial vasculature. The method is disclosed.
  • Patent Document 4 discloses an image processing method for endoscopic images. This image processing method divides the image into a first region where the oxygen saturation exceeds a certain value and a second region where the oxygen saturation is below a certain value, performs color balance processing on the first region, and changes the color of the second region. It is disclosed that a gain process is performed to change the color balance process, and a red emphasis process that emphasizes a red component is performed as the color balance process.
  • Patent Document 5 discloses that a red-enhancing polarizing optical lens integrally provided with a polarizing filter makes it easier to identify bleeding points and finds minute bleeding points.
  • Patent Document 1 discloses a process of increasing the saturation and brightness of the color of blood vessel areas, but this is intended to make it easier to see the location of bleeding points and blood vessels, and as in the present application, it is difficult to see due to blood.
  • the purpose is not to make the lower part (the lower part covered by blood) clearer, but the processing for this purpose is to widen the gradation of the red area to make the red lighter and increase the contrast. The processing was not disclosed.
  • Patent Documents 2 to 5 also relate to processing to make a red part stand out from other parts, and do not visualize the image of the part under the blood that is hidden by the blood (red part). That is, the gist of the present invention is to perform processing to erase red, rather than processing to emphasize red, and none of the patent documents disclose this point.
  • the present invention does not make a particular color, for example, a red part, stand out from other parts, but rather removes the bad influence of red and makes the part underneath visible.
  • the image processing method according to the present invention converts the original image into an RGB color space, performs filtering and monochrome conversion for each pixel of the image converted into the RGB color space, and generates a gray plane.
  • a color emphasis filter is used to increase only the brightness rate (Y1) of an area having a specific hue.
  • the original image is converted to the YUV color space, YCbCr color space, or YPbPr color space, and the converted image and the gray plane are compared for each pixel in terms of brightness (Y), and the higher (brighter) one is adopted to determine the color. image, and perform sharpening processing on this color image.
  • a red emphasis filter is used as the color emphasis filter, and only the brightness rate (Y1) of the area with a red hue close to that of blood is visualized.
  • the color enhancement of a specific color using a color enhancement filter can be brought closer to white by increasing the brightness of the specific color.
  • the lower part covered with blood can be visualized during surgery, so the surgery can be performed while checking the location of small irregularities and wounds, increasing safety. Can be done.
  • Figure 1 is an original image with bleeding, and as can be seen from this image, it is not possible to see what the lower part covered with blood looks like.
  • FIG. 2 is a black and white image obtained by converting the original image to the RGB color space and filtering it to monochrome.
  • the red color has high saturation but low brightness and is dark. In other words, it can be seen that the reason why the lower part covered with blood cannot be visualized is because the brightness is low.
  • a black-and-white image (brightness rate: Y1) is created in which the red hue area (bleeding area) of the original image is brightened using a red emphasis filter.
  • the brightness rate of red expressed on the hue wheel is 40%, but this brightness rate is multiplied by 2.5 to make it 100%.
  • the red area in which the red gradation in the original image was configured from black to red is converted to a wide gradation from black to red to white.
  • minute contrasts can be visualized even in the same black and white photograph compared to FIG. 2.
  • the magnification of the brightness factor of the red color described above is an adjustable parameter, and is not limited to 2.5 times, but may be 2.0 times, etc.
  • M magenta
  • Ye yellow
  • G green
  • C cyan
  • B blue
  • M magenta
  • the brightness rate (Y1) of the red region of the monochrome image brightened by the red emphasis filter is replaced with the brightness (Y) of the red region of the YUV color space, YCbCr color space, or YPbPr color space of the original image. That is, the brightness rate (Y) of the red area of the original image is multiplied by 2.5.
  • FIG. 4 shows a color image created by combining the replaced luminance factor (Y) with the UV, CbCr, or PbPr of the original image.
  • the reason for the above is that when an image is decomposed into YUV and only the red area is brightened (for example, 2.5 times) using a red emphasis filter for Y (luminance), the area that was originally colored from black to bright red changes from black to red. It has a wide gradation range that includes pink with white in it, giving it a fluorescent color image mixed with bright pink, which makes it easy to overlook small irregularities and scratches.
  • the widened gradation is returned to the natural brightness range.
  • 6893068, CLAHE, LISr (registered trademark), etc. sharpening processing is performed to uniformize the contrast adaptively.
  • FIG. 5 shows a color image after the sharpening process, and when compared with the original image, it can be seen that the unevenness of the area covered with blood has been visualized.
  • the visualization of areas covered with blood during surgery was explained by increasing the brightness rate of the red area and widening the gradation of the red area, but the brightness rate of areas other than red may be increased. In particular, it can be used to sharpen the lower part of an image area where the saturation is high and the brightness is low.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

【課題】 血液によって覆われた下層部分の微細な凹凸を可視化する画像処理方法を提供する。 【解決手段】 元画像をRGB色空間に変換し、このRGB色空間に変換した画像の画素ごとにフィルタリングモノクロ化を行いグレープレーンを生成し、このグレープレーンを生成する際に色強調フィルタを用い、特定の色相を持つ領域の輝度率(Y1)のみを高める。更に、元画像をYUV色空間、YCbCr色空間またはYPbPr色空間に変換し、この変換した画像と前記グレープレーンとを画素ごとに輝度(Y)で比較し高い(明るい)方を採用してカラー画像とし、このカラー画像に鮮明化処理を行う。

Description

画像処理方法
 本発明は、例えば血液によって覆われた下層部分の微細な凹凸を可視化する画像処理方法に関する。
 使用目的などに応じて、画像の明度やコントラストを強調することが行われる。例えば特許文献1には、例えば内視鏡手術の際に血管或いは出血個所を発見するのを目的とした画像処理装置が開示されている。
 具体的には、光源部からの照明光を被写体に照射することにより得られた被写体像を含む撮像画像を取得する画像取得部、撮像画像の黄色以外の領域に対して撮像画像の黄色領域の視認性を相対的に高める処理を行う視認性強調部、撮像画像の色情報に基づいて、撮像画像における血液の領域である血液領域を検出する検出部、および検出部による検出結果に基づいて血液領域についての報知処理を行う報知処理部が開示されている。
 特許文献2には調整項目として、明度、彩度、赤色強調、肌色修正、コントラスト、傷ノイズ付加が挙げられ、赤色強調を設定する例として紅葉を写した画像、明度アップの例として、オーロラを写した画像が挙げられている。
 特許文献3には血管系画像化方法として、静脈血管系を表す画素と動脈血管系を表す画素とを区別するために、静脈を赤色、動脈を青色とし、異なるハイライトで強調表示する強調表示方式が開示されている。
 特許文献4には内視鏡画像の画像処理方法が開示されている。この画像処理方法は、画像を酸素飽和度が一定値を超える第1領域と一定値を下回る第2領域に分け、第1領域に対してカラーバランス処理を行い、第2領域に対して色を変化させるゲイン処理を行い、前記カラーバランス処理として、赤色成分を強調する赤色強調処理を行うことが開示されている。
 特許文献5には、偏光性フィルターを一体に設けた赤色強調の偏光性を有する光学レンズにより、出血箇所を特定しやすくし、微細な出血箇所を見出すことが開示されている。
WO2018-235179号公報 特開2020-99014号公報 特表2020-508713号公報 特開2014-50453号公報 WO2020-031502号公報
 特許文献1には、血管領域の色に対して彩度や輝度を上げる処理は開示されているが、これは出血箇所や血管の位置を分かりやすくするものであり、本願のように血液によって見にくくなっている下の部分(血液によって覆われている下層部分)を鮮明にすることを目的としておらず、このための処理、即ち、赤領域のグラデーションを広げることで赤色を薄くしてコントラストを高める処理については開示されていない。
 特許文献2~5も、赤色部分を他の部分に対して目立たせる処理に関するものであり、血液(赤色部分)によって隠された血液の下の部分の画像を可視化するものではない。
 即ち、本発明は赤を強調する処理ではなく、赤を消す処理を行うことを要旨としており、何れの特許文献もこの点を開示していない。
 本発明は特定の色、例えば赤色部分を他の部分に対して目立たせるのではなく、赤色の悪影響を除去してその下の部分を可視化するものである。そのために本発明に係る画像処理方法は、元画像をRGB色空間に変換し、このRGB色空間に変換した画像の画素ごとにフィルタリングモノクロ化を行いグレープレーンを生成し、このグレープレーンを生成する際に色強調フィルタを用い、特定の色相を持つ領域の輝度率(Y1)のみを高める。更に、元画像をYUV色空間、YCbCr色空間またはYPbPr色空間に変換し、この変換した画像と前記グレープレーンとを画素ごとに輝度(Y)で比較し高い(明るい)方を採用してカラー画像とし、このカラー画像に鮮明化処理を行う。
 血液によって覆われた下層部分の微細な凹凸を可視化することを目的とする場合には、色強調フィルタとして赤色強調フィルタを用い、血液に近い赤の色相を持つ領域の輝度率(Y1)のみを高める。
 また、色強調フィルタによる特定の色の色強調は、当該特定の色の輝度を高めることで白色に近づけることが考えられる。
 本発明に係る画像処理方法によれば、例えば手術中に血液によって覆われた下の部分を可視化することができるので、小さな凹凸や傷の場所を確認しながら手術を行え、安全性を高めることができる。
出血のある元画像 出血のある元画像の白黒画像 出血のある元画像の赤色領域の輝度を高めた白黒画像 置き換えた輝度信号(Y1)と輝度信号と青色成分の差(U)及び輝度信号と赤色成分の差(V)を合成したカラー画像 合成したカラー画像に鮮明化処理を行った画像
 以下に本発明の実施の形態を添付図面に基づいて説明する。
 図1は出血のある元画像であり、この画像から分かるように血液で覆われた下の部分がどのようになっているかを見ることができない。
 図2は元画像をRGB色空間に変換し、フィルタリングモノクロ化した白黒画像であり、赤色は彩度は高いが輝度が低く暗くなっている。つまり血液で覆われた下の部分が可視化できないのは、輝度が低いことが原因であることが分かる。
 そこで、図3に示すように、元画像の赤の色相を持つ領域(出血している領域)を赤色強調フィルタによって明るくした白黒画像(輝度率:Y1)を作成する。
 フィルタリングモノクロ化処理においては、RGB画像からR(赤)、Ye(黄)、G(緑)、C(シアン)、B(青)、M(マゼンタ)の色相別に重みを決めてグレースケールに変換する。
 色相別に重みをRf(赤)、Yef(黄)、Gf(緑)、Cf(シアン)、Bf(青)、Mf(マゼンタ)とすると、本実施例の場合、Rf=100%、Yef=60%、Gf=40%、Cf=60%、Bf=20%、Mf=80%とする。尚、色相環で表現される赤色に対する人間の輝度感度はRf=40%である。
 上記fに負の割合を指定することで特定の色を弱くすることも可能である。
 R,G,Bの値を持つ画素の白黒値(輝度率)をYとして以下の計算を行う。
ここで、max=RGBの最大値、mid=RGBの最大でも最小でもない値、 min=RGBの最小値とする。ただし、同値がある場合はmidがmaxまたはminと同値になる。
(1)max==mid==minの場合はその値をYとして計算終了
(2)Y=0から開始
(3)max==Rの場合  Y+=Rf・(max-mid)
(4)max==Bの場合  Y+=Yef・(max-mid)
(5)max==Gの場合  Y+=Gf・(max-mid)
(6)min==Rの場合  Y+=Cf・(max-mid)
(7)min==Bの場合  Y+=Bf・(max-mid)
(8)min==Gの場合  Y+=Mf・(max-mid)
(9)(3)から(8)で必ず2つが該当する(同値がある場合は3つ)
(10)Y+=min
(11)Y>255ならY=255
(12)Y<0ならY=0
 例えば色相環で表現される赤色の輝度率は40%であるが、この輝度率を2.5倍することで100%とする。赤色の輝度率が100%に変換されることで、元画像では赤のグラデーションが黒→赤の範囲で構成されていた赤色領域が黒→赤→白の広いグラデーションに変換される。赤色領域を広いグラデーションに変換することで、図2と比較して同じ白黒写真であっても微細な明暗が可視化されることが分かる。
 尚本発明において、上記した赤色の輝度率の倍率は調整可能なパラメータであり、2.5倍に限るものではなく、2.0倍などでもよい。
 静脈などの青色の成分が多い場合には、R(赤)だけでなくM(マゼンタ)の倍率も変動することで血液映像の色相の違いを調整することが可能であるなど、R(赤)、Ye(黄)、G(緑)、C(シアン)、B(青)、M(マゼンタ)の倍率を狙った色相に応じた倍率を設定することで任意の色相を持つ領域の透過が可能である。
 次いで、赤色強調フィルタによって明るくした白黒画像の赤色領域の輝度率(Y1)を元画像のYUV色空間、YCbCr色空間またはYPbPr色空間の赤色領域の輝度(Y)と置き換える。即ち、元画像の赤色領域の輝度率(Y)を2.5倍する。この置き換えた輝度率(Y)に元画像のUV、CbCrまたはPbPrを合成して作成したカラー画像を図4に示す。
 図4に示すように、赤色領域の明度を高めることで元画像では暗くなっていた部分が明るく階調が広くなり、血液の下の部分の凹凸が可視化されることが分かる。しかしながら、同時に赤色領域の境界部分において赤が蛍光色のようなイメージになる。
 上記の原因は、画像をYUVに分解し、Y(輝度)を赤色強調フィルタで赤色領域だけを明るく(例えば2.5倍)すると、本来黒から真っ赤までの色だった領域が黒から赤を超えて白色が入るピンクまで含む広い階調を持つことになり、見た目も明るいピンク色が混じった蛍光色イメージになり、小さな凹凸や傷を見逃すことにつながる。
 上記を解消するため、広くなった階調を自然な明るさの範囲に戻す。具体的には、PN.6867563、PN.6893068、CLAHE、LISr(登録商標)などを使用することで適応的にコントラストを均一化する鮮明化処理を行う。
 図5は鮮明化処理が終了したカラー画像であり、元画像と比較すると血液で覆われていた部分の凹凸が可視化されていることが分かる。
 実施例では、赤色領域の輝度率を高めて赤色領域のグラデーションを広くすることで手術中に血液で覆われた部分の可視化について説明したが、赤色以外の領域の輝度率を高めてもよい。特に、彩度は高く明度が低い画像領域の下層部分の鮮明化に利用することができる。

Claims (1)

  1.  以下の工程からなる画像処理方法。
    (1)元画像をRGB色空間に変換する。
    (2)RGB色空間に変換した画像からR(赤)、Ye(黄)、G(緑)、C(シアン)、B(青)、M(マゼンタ)の色相に重みを決めてグレースケールに変換する。
    (3)前記グレースケールに変換する際に赤色強調フィルタを用い、白黒画像の赤色領域の輝度率(Y1)を高める。
    (4)元画像をYUV色空間、YCbCr色空間またはYPbPr色空間に変換する。
    (5)前記赤色強調フィルタを用いて明るくした白黒画像の赤色領域の輝度を、元画像のYUV色空間、YCbCr色空間またはYPbPr色空間の赤色領域の輝度(Y)と置き換える。
    (6)上記の処理によって広くなった階調を自然な明るさの範囲に戻すためにコントラストを均一化する。
PCT/JP2023/021841 2022-07-07 2023-06-13 画像処理方法 WO2024009700A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022109503 2022-07-07
JP2022-109503 2022-07-07
JP2023018255A JP7296182B1 (ja) 2022-04-05 2023-02-09 画像処理方法
JP2023-018255 2023-02-09

Publications (1)

Publication Number Publication Date
WO2024009700A1 true WO2024009700A1 (ja) 2024-01-11

Family

ID=89453204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021841 WO2024009700A1 (ja) 2022-07-07 2023-06-13 画像処理方法

Country Status (1)

Country Link
WO (1) WO2024009700A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016459A (ja) * 1999-06-28 2001-01-19 Riso Kagaku Corp カラー画像情報に基づく白黒画像印刷方法および装置
US8086029B1 (en) * 2006-12-13 2011-12-27 Adobe Systems Incorporated Automatic image adjustment
WO2016080011A1 (ja) * 2014-11-19 2016-05-26 リンク・アイティ株式会社 デジタル画像の色属性表示装置、方法及びプログラム並びに画像処理装置
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016459A (ja) * 1999-06-28 2001-01-19 Riso Kagaku Corp カラー画像情報に基づく白黒画像印刷方法および装置
US8086029B1 (en) * 2006-12-13 2011-12-27 Adobe Systems Incorporated Automatic image adjustment
WO2016080011A1 (ja) * 2014-11-19 2016-05-26 リンク・アイティ株式会社 デジタル画像の色属性表示装置、方法及びプログラム並びに画像処理装置
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム

Similar Documents

Publication Publication Date Title
US7418132B2 (en) Signal processing apparatus, signal processing program and electronic camera
CN104079908B (zh) 红外与可见光图像信号处理方法及其实现装置
US10469760B2 (en) High dynamic range imaging
JP6420230B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN108876742B (zh) 图像色彩增强方法和装置
JP2007248936A (ja) 画像処理装置およびその方法、プログラム、記録媒体、集積回路
JP2009510587A (ja) 画像ディテール強調
JP2010219797A (ja) エッジ強調画像処理装置
JP2012505460A (ja) 画像のコントラスト強調
WO2013118337A1 (ja) 撮像装置
WO2024009700A1 (ja) 画像処理方法
JP7296182B1 (ja) 画像処理方法
CN110298812B (zh) 一种图像融合处理的方法及装置
KR20120042988A (ko) 화상 처리 방법, 화상 처리 장치 및 프로그램
JP2023153730A (ja) 画像処理方法
JP4626533B2 (ja) 画像処理装置およびその方法、プログラム、記録媒体
CN112581390B (zh) 一种图像色彩增强方法、装置、设备及可读存储介质
JP4734032B2 (ja) 画像処理装置
JP2009200884A (ja) 画像データ処理装置及び画像データ処理方法
KR20120083671A (ko) 히스토그램 정규화와 감마 보정 합성을 통하여 저조도 영상을 개선하는 방법 및 장치
US11284044B2 (en) Image generation device and imaging device
JP2007194775A (ja) ディテイルエンハンサー
KR20160025876A (ko) 영상의 대비 강화 방법 및 장치
JP6407768B2 (ja) 撮像装置、画像処理方法およびプログラム
JP2019148777A (ja) 表示装置、表示装置の制御方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835236

Country of ref document: EP

Kind code of ref document: A1