JPWO2020084651A1 - 画像処理装置、画像処理方法、内視鏡システムおよび内視鏡観察方法 - Google Patents

画像処理装置、画像処理方法、内視鏡システムおよび内視鏡観察方法 Download PDF

Info

Publication number
JPWO2020084651A1
JPWO2020084651A1 JP2020551716A JP2020551716A JPWO2020084651A1 JP WO2020084651 A1 JPWO2020084651 A1 JP WO2020084651A1 JP 2020551716 A JP2020551716 A JP 2020551716A JP 2020551716 A JP2020551716 A JP 2020551716A JP WO2020084651 A1 JPWO2020084651 A1 JP WO2020084651A1
Authority
JP
Japan
Prior art keywords
color
image
living body
image processing
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020551716A
Other languages
English (en)
Other versions
JP7053873B2 (ja
Inventor
遼佑 伊藤
遼佑 伊藤
裕基 庄野
裕基 庄野
貴之 塚越
貴之 塚越
洋平 谷川
洋平 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020084651A1 publication Critical patent/JPWO2020084651A1/ja
Application granted granted Critical
Publication of JP7053873B2 publication Critical patent/JP7053873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/465Conversion of monochrome to colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6016Conversion to subtractive colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)

Abstract

医師による診断の精度を安定して保ちつつ、生体の微妙な色合いの変化を視認容易にするために、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される基準画像に含まれる対象領域に対応した色を、色空間内における合同変換により無彩色に変換するパラメータを演算するパラメータ演算部32と、生体を撮影して得られた中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像の色を、パラメータ演算部32により演算されたパラメータに基づいて色空間で合同変換する変換部34と備える画像処理装置3である。

Description

本発明は、画像処理装置、画像処理方法、内視鏡システムおよび内視鏡観察方法に関するものである。
胃粘膜が萎縮した萎縮部などの異常部と、正常部との色の差を強調した画像を生成する医用画像処理装置が知られている(例えば、特許文献1参照。)。
特許文献1の医用画像処理装置は、複数の色情報で形成される特徴空間において、観察対象が分布する第1範囲、第2範囲および第3範囲の内、第2範囲の座標を低彩度の基準範囲に移動し、第1範囲および第3範囲の少なくとも一方を移動している。
特許第3121368号公報
しかしながら、特許文献1の医用画像処理装置は、画像内の特定の色だけ強調して画像化する非線形な変換を行うものであり、生体の特定の領域が強調されることが際立ち本来の微妙な色合いの変化に対応した生体の特性変化を捉える事を困難にさせる。病変の診断においては、対象領域か否かを見分ける境界が極端に色の差がついて表示されるため、異常部の細かい色調変化に基づく性質の診断が難しくなる。また、対象領域か否かの境界は医師が判断するものであり、装置側で恣意的に変化させてしまうと、医師による診断を不安定にさせてしまうという不都合がある。
本発明は、医師による診断の精度を安定して保ちつつ、生体の微妙な色合いの変化を視認容易にすることができる画像処理装置、画像処理方法、内視鏡システムおよび内視鏡観察方法を提供することを目的としている。
本発明の一態様は、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算するパラメータ演算部と、前記生体を撮影して得られた中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像の色を、前記パラメータ演算部により演算された前記パラメータに基づいて前記色空間で前記合同変換する変換部とを備える画像処理装置である。
本態様によれば、パラメータ演算部により、生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される基準画像内の対象領域の色を色空間内において合同変換することにより無彩色に変換するパラメータが演算される。そして、変換部において、パラメータ演算部により演算されたパラメータが用いられて、生体を撮影して得られたカラー画像の色が変換される。ここで、無彩色とは、白、黒およびこれらの混合で得られる色であり、さまざまな濃度の灰色を含んだ色のことである。
生体に含まれる対象領域を設定することにより、色空間内における合同変換により設定された対象領域の色を無彩色に変換するパラメータが演算され、設定された対象領域以外の部位の色が、演算されたパラメータによって異なる色に移動させられる。これにより、設定された対象領域とそれ以外の部位とを無彩色と有彩色との相違によって際立たせることができるとともに、設定された対象領域の色と設定された対象領域以外の部位の色との色空間上における距離を変化させないので、極端な色の差の発生を防止することができる。すなわち、医師が対象領域か否かの境界を診断する場合に、診断の精度を安定して保ちつつ、生体の微妙な色合いの変化を視認容易にすることができる。
上記態様においては、前記変換部が、前記カラー画像の色を前記色空間内における並進移動および回転移動の少なくとも一方の変換をしてもよい。
この構成により、カラー画像の並進移動および回転移動のいずれによっても、設定された対象領域の色と設定された対象領域以外の部位の色との色空間上における距離を変化させずに、対象領域を無彩色に変換することができ、生体の微妙な色合いの変化を視認容易にすることができる。
また、上記態様においては、前記基準被写体が、前記生体の光学特性を模擬したファントムであってもよい。
この構成により、生体の光学特性を模擬したファントムからなる基準被写体を撮影することにより取得された基準画像内において簡易に対象領域を決定することができ、変換部において用いられるパラメータを迅速に求めることができる。
また、この構成により、撮像する撮像部が変わっても、安定して変換部において用いられるパラメータの算出が行える。また、特性の安定したファントムを用いて変換パラメータを算出することにより、生体特性の時間的な変化も精度よくとらえることができる。これにより、医師の病状や治療後の経過観察をより容易にすることができる。
また、ファントムを構成する成分のパラメータとファントムの光学特性とが対応しているため、このファントムを用いて得られる変換部において用いられるパラメータに基づいて生成された画像から、生体の成分を疑似的に類推することができる。これにより、生体の病理構造の変化を類推することにより医師の診断の補助が可能となる。
また、上記態様においては、前記対象領域が、前記生体に含まれる正常部であってもよい。
この構成により、医師が基準画像内において正常部を対象領域として特定するだけで、変換部において用いられるパラメータを迅速に求めることができる。
また、上記態様においては、前記基準被写体が撮影される前記生体であって、前記基準画像は、前記生体の正常部を含む画像であってもよい。
また、上記態様においては、前記対象領域が、正常粘膜の相対的に血管の少ない領域であってもよい。
また、上記態様においては、前記対象領域が、血管部であってもよい。
また、上記態様においては、前記対象領域が、異常組織周囲の正常粘膜であってもよい。
また、上記態様においては、前記対象領域が、脂肪部であってもよい。
また、本発明の他の態様は、プロセッサを備え、該プロセッサが、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、前記生体を撮影して得られた中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像の色を、演算された前記パラメータに基づいて前記色空間で前記合同変換する画像処理装置である。
また、本発明の他の態様は、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、前記生体を撮影して得られた中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像全体の色を、演算により得られた前記パラメータに基づいて前記色空間で前記合同変換する画像処理方法である。
また、本発明の他の態様は、前記生体を撮影して前記カラー画像を取得する撮像部と、上記いずれかの画像処理装置とを備え、前記パラメータ演算部が、前記撮像部により前記基準被写体を撮影して得られた前記基準画像に基づいて、前記パラメータを演算し、前記変換部が、前記撮像部により取得された前記カラー画像の色を変換する内視鏡システムである。
上記態様においては、前記生体の光学特性を模擬したファントムを備え、前記基準被写体が、前記ファントムであってもよい。
また、本発明の他の態様は、生体の光学特性を含む基準被写体を内視鏡により撮影して基準画像を取得し、取得された前記基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域の色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、前記内視鏡により前記生体を撮影して中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像を取得し、取得された該カラー画像全体の色を、演算により得られた前記パラメータに基づいて前記色空間で前記合同変換し、合同変換された画像を表示する内視鏡観察方法である。
上記態様においては、前記基準被写体が、前記生体の光学特性を模擬したファントムであってもよい。
また、上記態様においては、前記ファントムが、前記生体を模擬した形状を有していてもよい。
また、上記態様においては、前記ファントムが、外光を遮光する容器内に配置され、該容器が前記内視鏡を挿入可能な開口部を有していてもよい。
本発明によれば、医師による診断の精度を安定して保ちつつ、生体の微妙な色合いの変化を視認容易にすることができるという効果を奏する。
本発明の一実施形態に係る内視鏡システムおよび画像処理装置を示すブロック図である。 図1の画像処理装置による画像の表示例を示す図である。 図2の画像においてパラメータ設定モードが選択された場合の画像の表示例を示す図である。 通常の白色板によるキャリブレーションにより設定された正常粘膜の色の位置を示す色空間の一例である。 図1の画像処理装置により設定された正常粘膜の色の位置を示す色空間である。 通常の白色板によるキャリブレーションにより設定された生体組織の色の色空間上の位置の一例を示す図である。 図6の基準画像内に含まれる対象領域の色の色空間上の位置の一例を示す図である。 図1の画像処理装置による画像変換の一例を説明する図である。 図1の内視鏡システムによる内視鏡観察方法を説明するフローチャートである。 内視鏡により取得された画像の輝度分布の一例を示す図である。 図10の画像を図1の画像処理装置により画像変換した後の画像の輝度分布の一例を示す図である。 図11の画像の白飛び防止処理後の画像の輝度分布の一例を示す図である。 図1の画像処理装置を用いた画像処理方法および内視鏡観察方法に用いられるファントムの一例を示す図である。 図1の画像処理装置を用いた画像処理方法および内視鏡観察方法に用いられるファントムの他の例を示す図である。 図1の画像処理装置を用いた画像処理方法および内視鏡観察方法に用いられるファントムの他の例を示す図である。
本発明の一実施形態に係る画像処理装置3、画像処理方法、内視鏡システム1および内視鏡観察方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置3は、図1に示されるように、内視鏡システム1に備えられている。
本実施形態に係る内視鏡システム1は、図1に示されるように、被写体(生体)を撮影してカラー画像(図2参照)Cを取得する内視鏡(撮像部)2と、内視鏡2により取得されたカラー画像Cを処理する画像処理装置3と、画像を表示するモニタ4と、術者に入力を行わせる入力部5とを備えている。入力部5は、キーボード、マウスあるいはタッチパネル等の入力装置である。
画像処理装置3は、図1に示されるように、制御部31と、パラメータ演算部32と、記憶部33と、画像変換部(変換部)34と、画像生成部35とを備えている。制御部31、パラメータ演算部32、画像変換部34および画像生成部35はプロセッサにより構成され、記憶部33はメモリにより構成されている。
画像生成部35は、モニタ4に表示させる画像を生成する。
パラメータ演算部32は、内視鏡2により取得された基準画像に基づいて、色空間内に定義される基準画像内の対象領域に対応した色を色空間内において無彩色に合同変換するためのパラメータを演算する。ここで、無彩色とは、白、黒およびこれらの混合で得られる色であり、さまざまな濃度の灰色を含んだ色である。また、本実施形態における合同変換とは、ユークリッド空間において任意の2点間の距離を変えない変換を示す。
記憶部33は、パラメータ演算部32により演算されたパラメータを記憶する。
画像変換部34は、内視鏡2により生体を撮影して取得されたカラー画像Cを、記憶部33に記憶されたパラメータを用いて画像変換する。
制御部31は、入力部5からの入力に基づいて、画像生成部35、パラメータ演算部32および画像変換部34を制御する。例えば、制御部31は、GUIにより、図2に示されるように、モニタ4上にモードを選択させるためのボタンB1,B2を表示し、術者が入力部5を操作していずれかのボタンB1,B2を選択した場合には、選択されたボタンB1,B2の内容に従って制御を行う。
具体的には、制御部31は、内視鏡2により取得されたカラー画像Cを画像生成部35に入力し、モニタ4に表示する表示画像に含めさせるとともに、表示画像中にモードを選択させるためのボタンB1,B2を含める。そして、制御部31は、モニタ4上に表示されたパラメータ設定モードのボタンB1が選択されたときには、図3に示されるように、モニタ4上に対象領域を指定するためのポインタPを表示させる。ポインタPは入力部5の操作によって、モニタ4上に表示されたカラー画像C上において任意の位置に移動させることができ、術者に所望の領域を対象領域として指定させることができる。
また、制御部31は、ポインタPによって対象領域が指定されたときには、当該対象領域の色空間上の色情報をパラメータ演算部32に送る。
パラメータ演算部32は、制御部31から送られてきた色情報により示される色を色空間内において無彩色に合同変換するためのパラメータを演算する。演算されたパラメータは記憶部33に記憶される。
さらに具体的には、図4に示されるように、通常の白色板によるキャリブレーションにおいて、臓器内の粘膜の色再現性を重視するために、正常粘膜の色は淡い赤色に対応させていた。パラメータ演算部32は、この正常粘膜の色を、色空間内において、図5に示されるように、白色(無彩色)に合同変換するためのパラメータを演算する。ここで、色空間としては、RGB、XYZ、CMY、Lab等の任意の色空間座標を有する色空間を採用してよい。パラメータとしては、指定された対象領域の色空間上の色と無彩色との色空間座標毎の差分係数を挙げることができる。
すなわち、図6に示されるように、色空間内において内視鏡2による観察の際に取り得る色の第1範囲R1が存在し、第1範囲R1内に、基準画像に含まれる色の第2範囲R2が存在する。また、図7に示されるように、第2範囲R2内に、対象領域を示す第3範囲R3が存在する。第3範囲R3の重心を色空間の原点に位置する白色に合同変換させるパラメータを第1範囲R1全体に適用することにより、第1範囲全体、すなわちカラー画像の色全体を図8に示されるように平行移動させることができる。
この後に、入力部5の操作によって、モニタ4上に表示されている観察モードのボタンB2が選択されたときには、制御部31は、内視鏡2によって逐次取得されるカラー画像Cを画像変換部34に送り、画像変換部34は、記憶部33に記憶されているパラメータを用いて、カラー画像Cの色全体を平行移動させる変換処理を行う。変換処理された画像は画像生成部35に送られ、表示画像に含められる。表示画像としては、内視鏡2により取得されたカラー画像Cに代えて、変換処理後のカラー画像Cを採用してもよいし、内視鏡2により取得されたカラー画像Cと並列して変換処理後のカラー画像Cを表示することにしてもよい。
このように構成された本実施形態に係る内視鏡システム1を用いて、患者の臓器内の観察を行う内視鏡観察方法および上記画像処理装置3を用いた画像処理方法について、以下に説明する。
本実施形態に係る内視鏡観察方法は、図9に示されるように、術者が内視鏡2を患者の臓器内に挿入し、内視鏡2により臓器の内面の画像を取得し(ステップS1)、取得された画像をモニタ4に表示する(ステップS2)。術者は、取得された画像を見ながら内視鏡2を操作し、正常粘膜が含まれる視野範囲に内視鏡2を配置する(ステップS3)。この状態で、入力部5によりパラメータ設定モードを選択し(ステップS4)、モニタ4に表示されたポインタPによりカラー画像C上において、正常粘膜の領域(対象領域)を指定する(ステップS5)。
これにより、正常粘膜の色空間座標毎の色情報がパラメータ演算部32に入力される。パラメータ演算部32においては、入力されてきた正常粘膜の色情報と無彩色の色情報との差分を算出することにより、パラメータを算出する(ステップS6)。算出されたパラメータは記憶部33に記憶される(ステップS7)。既に記憶されているパラメータが存在する場合には、パラメータが更新される。
この状態で、術者が、入力部5を操作して観察モードを選択する(ステップS8)と、内視鏡2により取得された画像が逐次、画像変換部34に入力され、画像変換部34において、記憶部33に記憶されているパラメータを用いてカラー画像Cの変換処理が行われ(ステップS9)、変換処理後の画像がモニタ4に表示される(ステップS10)。そして、観察モードの終了が術者により入力されるまで、ステップS9からの工程が繰り返される(ステップS11)。
パラメータ演算部32において演算されたパラメータは、臓器内の正常粘膜の色を無彩色に変換するためのものであるため、このパラメータを用いて、臓器のカラー画像C全体を変換すると、カラー画像C内の正常粘膜の部分は無彩色に変換され、その他の部分は無彩色以外の色に変換される。すなわち、臓器のカラー画像Cにおいて、正常粘膜の色および異常部の色は若干の相違があるものの、いずれも赤色系であって区別が付きにくいが、上記パラメータを用いて変換することにより、僅かな色の相違も無彩色と有彩色との相違となって現れ、両者の境界を明確に識別することが可能となる。
さらに、本実施形態によれば、カラー画像C内の特定の色だけ強調して画像化する非線形な変換ではなく、異常部と正常部(基準被写体)との色空間上の距離を保持したままカラー画像全体Cをシフトさせるものであるため、異常部と正常部との境界に極端な色の差を生じることがなく、医師による診断の精度を安定して維持しつつ、生体の微妙な色合いの変化を視認容易にすることができるという利点がある。
なお、本実施形態においては、基準画像内の対象領域を術者に指定させることとしたが、これに代えて、色空間内において基準画像を構成する色の頻度分布の例えば重心点あるいは中心点を対象領域の色として自動的に設定することにしてもよい。この場合、基準画像としては、視野範囲内に正常粘膜のみが存在すると考えられる状態で取得された画像を用いることが好ましい。
また、本実施形態においては、カラー画像C全体の色を色空間内において平行移動(並進移動)させることとしたが、これに代えて、あるいは、これに加えて、カラー画像C全体の色を色空間内において回転移動させてもよい。これによっても、異常部と正常部との距離を維持しつつ、正常部を無彩色に変換し、異常部と正常部との境界を明確にすることができる。
また、対象領域を指定することにより、指定された対象領域の色を用いてパラメータを算出することとしたが、これに変えて、一度指定した対象領域の位置をトラッキングして、パラメータの更新を逐次行ってもよい。
また、対象領域として正常粘膜を例示したが、色調の差を強調したい領域であれば任意の領域を指定してもよい。例えば、指定する領域は正常粘膜であっても血管の少ない領域を指定することで、血管がより強調される。血管部分を指定すると血管のない粘膜組織部分の微妙な状態の差、例えば肥厚状態の違いが色の変化として描出される。また、病変部等の異常部を強調せずに組織の違いを強調するために用いてもよい。例えば、瘢痕化した組織(異常組織)周囲の正常粘膜を指定することで、瘢痕化組織が強調される。さらに、神経膜組織と脂肪組織(脂肪部)との差を協調したいときには、脂肪組織を無彩色に変換するパラメータを算出すればよい。
例えば、通常のキャリブレーションで、神経膜組織が白色、脂肪が黄色、血液が赤色を有する場合に、図10に示される輝度分布を有している。この場合に、もともと暗い部分である脂肪を無彩色(白色)にするパラメータによって全体を画像変換すると、図11に示されるように、もともと明るい神経膜組織は白飛びしてしまう。すなわち、青色が飽和してしまう。この場合には、図12に示されるように、色空間上で青色が最大階調を超えた分だけ緑色および赤色の階調を下げることにより、連続的に白飛びせずに色の変換を行うことができる。
また、本実施形態においては、実際の臓器の内面の画像を取得して、正常粘膜と考えられる対象領域を術者に指定させることとしたが、これに代えて、生体の光学特性を模した被写体(基準被写体)であるファントムFを撮影して、対象領域の色を取得することにしてもよい。
ファントムFとしては、例えば、樹脂に、散乱体となる散乱粒子および吸収色素を混練することにより作成されたものを使用すればよい。このようなファントムFによれば、光を当てたときの反射光量および透過光量を観察対象の生体組織と同等となるように散乱粒子および吸収色素の濃度を調整することができる。また、散乱粒子の粒子サイズを調整することにより、観察対象となる生体組織と、散乱光の広がりを同等に調整することもできる。
また、撮像する内視鏡2が変わっても、安定して画像変換部34において用いられるパラメータの算出が行える。また、特性の安定したファントムFを用いて変換パラメータを算出することにより、生体特性の時間的な変化も精度よくとらえることができる。これにより、医師の病状や治療後の経過観察をより容易にすることができる。
また、ファントムFを構成する成分のパラメータとファントムFの光学特性とが対応しているため、ファントムFを用いて得られる画像変換部34において用いられるパラメータに基づいて生成された画像から、生体の成分を疑似的に類推することができる。これにより、生体の病理構造の変化を類推することにより医師の診断の補助が可能となる。
また、ファントムFとしては以下の態様のものを採用してもよい。
内視鏡2から発せられる光が照射される面は平滑な面であることが好ましい。これにより、ファントムの表面からの乱反射を抑制することができる。
また、内視鏡2から発せられる光が照射される面は、図13に示されるように、観察対象となる生体組織の形状に類似する形状を有していることが好ましい。これにより、実際の生体組織と同様にして、組織内部での散乱の影響を考慮して色の変換を行うことができる。
また、図14に示されるように、ファントムFは外光を遮断する容器6内に収容され、容器6に内視鏡2を挿入可能な開口部7が設けられていてもよい。これにより、外光が遮断された現実の体内の環境を模した環境を実現しながら色の変換を行うことができる。
さらに、図15に示されるように、外光を遮光する容器6内に配置されているファントムFが観察対象となる生体組織の形状に類似する形状を有していてもよい。膀胱のような球形状、あるいは、消化管のような円筒形状に代表されるように、実際の臓器は立体的な内面形状を有している。したがって、生体組織の形状に類似する形状の全体にわたって均一な材質からなるファントムFが配置されていてもよい。これにより、実際の観察時の内視鏡2とファントムFとの距離および角度による色味のバラツキを考慮して、色の変換を行うことができる。
1 内視鏡システム
2 内視鏡(撮像部)
3 画像処理装置
6 容器
7 開口部
31 制御部(プロセッサ)
32 パラメータ演算部(プロセッサ)
34 画像変換部(変換部、プロセッサ)
35 画像生成部(プロセッサ)
C カラー画像
F ファントム(基準被写体)
R3 第3範囲(対象領域)

Claims (17)

  1. 撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間における合同変換により無彩色に変換するパラメータを演算するパラメータ演算部と、
    前記生体を撮影して得られた中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像の色を、前記パラメータ演算部により演算された前記パラメータに基づいて前記色空間で前記合同変換する変換部とを備える画像処理装置。
  2. 前記変換部が、前記カラー画像の色を前記色空間内における並進移動および回転移動の少なくとも一方の変換をする請求項1に記載の画像処理装置。
  3. 前記基準被写体が、前記生体の光学特性を模擬したファントムである請求項1に記載の画像処理装置。
  4. 前記対象領域が、前記生体に含まれる正常部である請求項1に記載の画像処理装置。
  5. 前記基準被写体が撮影される前記生体であって、
    前記基準画像は、前記生体の正常部を含む画像である請求項1に記載の画像処理装置。
  6. 前記対象領域が、正常粘膜の相対的に血管の少ない領域である請求項1に記載の画像処理装置。
  7. 前記対象領域が、血管部である請求項1に記載の画像処理装置。
  8. 前記対象領域が、異常組織周囲の正常粘膜である請求項1に記載の画像処理装置。
  9. 前記対象領域が、脂肪部である請求項1に記載の画像処理装置。
  10. プロセッサを備え、
    該プロセッサが、撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、前記生体を撮影して得られた中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像の色を、演算された前記パラメータに基づいて前記色空間で前記合同変換する画像処理装置。
  11. 撮影される生体の光学特性を含む基準被写体を撮影して得られた基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域に対応した色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、
    前記生体を撮影して得られた中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像の色を、演算により得られた前記パラメータに基づいて前記色空間で前記合同変換する画像処理方法。
  12. 前記生体を撮影して前記カラー画像を取得する撮像部と、
    請求項1から請求項9のいずれかに記載の画像処理装置とを備え、
    前記パラメータ演算部が、前記撮像部により前記基準被写体を撮影して得られた前記基準画像に基づいて前記パラメータを演算し、
    前記変換部が、前記撮像部により取得された前記カラー画像の色を変換する内視鏡システム。
  13. 前記生体の光学特性を模擬したファントムを備え、
    前記基準被写体が、前記ファントムである請求項12に記載の内視鏡システム。
  14. 生体の光学特性を含む基準被写体を内視鏡により撮影して基準画像を取得し、
    取得された前記基準画像に基づいて、色空間内に定義される前記基準画像に含まれる対象領域の色を、前記色空間内における合同変換により無彩色に変換するパラメータを演算し、
    前記内視鏡により前記生体を撮影して中心波長の異なる少なくとも2つの波長帯域の輝度情報により構成されるカラー画像を取得し、
    取得された該カラー画像全体の色を、演算により得られた前記パラメータに基づいて前記色空間で前記合同変換し、
    合同変換された画像を表示する内視鏡観察方法。
  15. 前記基準被写体が、前記生体の光学特性を模擬したファントムである請求項14に記載の内視鏡観察方法。
  16. 前記ファントムが、前記生体を模擬した形状を有する請求項15に記載の内視鏡観察方法。
  17. 前記ファントムが、外光を遮光する容器内に配置され、該容器が前記内視鏡を挿入可能な開口部を有する請求項15に記載の内視鏡観察方法。

JP2020551716A 2018-10-22 2018-10-22 画像処理装置および内視鏡システム Active JP7053873B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/039131 WO2020084651A1 (ja) 2018-10-22 2018-10-22 画像処理装置、画像処理方法、内視鏡システムおよび内視鏡観察方法

Publications (2)

Publication Number Publication Date
JPWO2020084651A1 true JPWO2020084651A1 (ja) 2021-09-24
JP7053873B2 JP7053873B2 (ja) 2022-04-12

Family

ID=70331026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020551716A Active JP7053873B2 (ja) 2018-10-22 2018-10-22 画像処理装置および内視鏡システム

Country Status (4)

Country Link
US (1) US11793391B2 (ja)
JP (1) JP7053873B2 (ja)
CN (1) CN112601486B (ja)
WO (1) WO2020084651A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198890A (ja) * 2014-03-31 2015-11-12 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2016010506A (ja) * 2014-06-27 2016-01-21 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2016140428A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 眼科装置、画像処理方法およびプログラム
JP2016206301A (ja) * 2015-04-17 2016-12-08 キヤノン株式会社 情報処理装置、画像の表示方法、コンピュータプログラム、及び記憶媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS645525A (en) 1987-06-29 1989-01-10 Toshiba Corp White balance control apparatus of endoscope
JP3121368B2 (ja) 1991-05-01 2000-12-25 株式会社リコー シート原稿読取装置
JP4359840B2 (ja) * 2004-07-23 2009-11-11 株式会社エムアンドシー 画像処理装置及び画像処理方法
JP2006271871A (ja) 2005-03-30 2006-10-12 Olympus Medical Systems Corp 内視鏡用画像処理装置
JP5244455B2 (ja) 2008-05-21 2013-07-24 Hoya株式会社 内視鏡プロセッサおよび内視鏡システム
US8241206B2 (en) * 2008-07-08 2012-08-14 Olympus Medical Systems Corp. System for guiding capsule medical device
JP5051156B2 (ja) * 2009-03-05 2012-10-17 カシオ計算機株式会社 画像処理装置及びプログラム
JP5582948B2 (ja) * 2010-09-29 2014-09-03 富士フイルム株式会社 内視鏡装置
JP5258869B2 (ja) * 2010-12-13 2013-08-07 富士フイルム株式会社 内視鏡装置
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP5885652B2 (ja) 2012-12-27 2016-03-15 株式会社東芝 撮像装置、内視鏡装置、及び生体パターン強調処理方法
JP5931031B2 (ja) * 2013-09-23 2016-06-08 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
CN106132276B (zh) * 2014-04-08 2018-08-07 奥林巴斯株式会社 荧光观察内窥镜系统
WO2016079831A1 (ja) * 2014-11-19 2016-05-26 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置
JP2016198890A (ja) * 2015-04-07 2016-12-01 三豊化成株式会社 プリプレグの中間体、プリプレグ及びその製造方法、並びにプリプレグを用いた成形品及びその製造方法
JP6566395B2 (ja) * 2015-08-04 2019-08-28 国立大学法人佐賀大学 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
JP6580446B2 (ja) * 2015-10-09 2019-09-25 サイバネットシステム株式会社 画像処理装置及び画像処理方法
JP2017200601A (ja) * 2017-07-04 2017-11-09 富士フイルム株式会社 内視鏡装置
CN108014424B (zh) * 2017-12-29 2020-12-18 深圳开立生物医疗科技股份有限公司 一种内窥镜装置
JP6531202B2 (ja) * 2018-05-25 2019-06-12 Hoya株式会社 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198890A (ja) * 2014-03-31 2015-11-12 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2016010506A (ja) * 2014-06-27 2016-01-21 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2016140428A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 眼科装置、画像処理方法およびプログラム
JP2016206301A (ja) * 2015-04-17 2016-12-08 キヤノン株式会社 情報処理装置、画像の表示方法、コンピュータプログラム、及び記憶媒体

Also Published As

Publication number Publication date
JP7053873B2 (ja) 2022-04-12
US11793391B2 (en) 2023-10-24
US20210174510A1 (en) 2021-06-10
CN112601486B (zh) 2024-05-24
WO2020084651A1 (ja) 2020-04-30
CN112601486A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
JP4980723B2 (ja) 画像生成方法及び画像生成装置
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US11978184B2 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
WO2017077772A1 (ja) プロセッサ装置、内視鏡システム、及び画像処理方法
JP4327380B2 (ja) 蛍光画像表示方法および装置
JPWO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2016158682A (ja) 画像処理装置
WO2018079205A1 (ja) プロセッサ装置及び内視鏡システム
US12020420B2 (en) Endoscope system, method for activating endoscope system, and image processing apparatus
CN107405050B (zh) 内窥镜系统以及评价值计算装置
JP7053873B2 (ja) 画像処理装置および内視鏡システム
JP2008093225A (ja) 内視鏡システム及び内視鏡システムにおける画像処理方法
WO2019198576A1 (ja) 医療画像処理装置
US11363943B2 (en) Endoscope system and operating method thereof
EP4223203A1 (en) Image processing device, endoscope system, method for operating image processing device, and program for image processing device
CN111449611B (zh) 一种内窥镜系统及其成像方法
Cheng Color Performance Review (CPR): A Color Performance Analyzer for Endoscopy Devices
WO2020166697A1 (ja) 医療機器用色修正装置
CN117934304A (zh) 图像融合处理系统、方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220331

R151 Written notification of patent or utility model registration

Ref document number: 7053873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151