JPWO2013140667A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JPWO2013140667A1
JPWO2013140667A1 JP2013534110A JP2013534110A JPWO2013140667A1 JP WO2013140667 A1 JPWO2013140667 A1 JP WO2013140667A1 JP 2013534110 A JP2013534110 A JP 2013534110A JP 2013534110 A JP2013534110 A JP 2013534110A JP WO2013140667 A1 JPWO2013140667 A1 JP WO2013140667A1
Authority
JP
Japan
Prior art keywords
attribute
unit
support information
diagnosis support
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013534110A
Other languages
English (en)
Other versions
JP5444511B1 (ja
Inventor
田中 健一
健一 田中
博一 西村
博一 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2013534110A priority Critical patent/JP5444511B1/ja
Application granted granted Critical
Publication of JP5444511B1 publication Critical patent/JP5444511B1/ja
Publication of JPWO2013140667A1 publication Critical patent/JPWO2013140667A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置は、被検体を撮像して得られる画像を構成する画素毎に第1の特徴量を算出する第1の特徴量算出部と、第1の特徴量に基づいて画像を複数の領域に分割する領域分割部と、分割された領域毎に第2の特徴量を算出する第2の特徴量算出部と、第2の特徴量に基づき複数の領域における各領域が、複数種類の属性のいずれの属性を持つかの分類を行う分類部と、分類部により分類された複数の領域における2以上の所定数の領域が有する属性の割合に基づいて診断支援するための診断支援情報を算出する診断支援情報算出部と、を備える。

Description

本発明は被検体を撮像して得られる画像に対して画像処理を行う画像処理装置に関する。
被検体を撮像する撮像装置により取得される画像に対して、使用目的等に応じて種々の画像処理が行われる。
医療用分野においては、体腔内に挿入して内視鏡検査を行う内視鏡が広く用いられるようになっている。
内視鏡の挿入部は体腔内に挿入され、挿入部の先端部に設けられた撮像素子により体腔内の患部等が撮像され、画像処理装置により画像処理して内視鏡画像として表示装置に表示される。
また、近年においては、内視鏡の撮像素子により取得した画像又は内視鏡画像に対して、術者が診断をより円滑に行い易いように、画像処理により診断支援をする診断支援情報を算出する画像処理装置が提案されている。
例えば、日本国特許4451460号公報においては、生体粘膜を撮像した内視鏡画像に対して、組織構造が類似した領域別とするように領域を分割し、分割した領域毎に所定の特徴量に基づいて判別分類の処理を行い、判別分類された分類結果を診断支援情報として各領域に対応付けて表示する画像処理装置を開示している。
しかしながら、上記の公報のように診断支援情報を算出する構成においては、領域部分それぞれに対して診断支援情報を算出する構成であるため、診断支援情報を適切に提供することが困難になる場合があった。
より具体的に説明すると、例えば大腸内を検査する場合においては、大腸病変として現れる無血管領域(avascular area:AVAと略記)は、浸潤癌の診断を下す際の一つの目安となるために重要な所見となるが、内視鏡画像の領域において「血管が撮像されていない」という点だけに注目した場合には、癌化の可能性が低いと考えられている過形成ポリープにおいても血管が視覚化されないため、上記の従来例では両者を判別した診断支援情報を算出することが困難になる。
このため、上記のような場合にもより適切な診断支援情報を提供できる画像処理装置が望まれる。
本発明は上述した点に鑑みてなされたもので、特徴量に基づいて分割した複数の領域における各領域がそれぞれ持つ属性の割合に基づいてより適切な診断支援情報を算出する画像処理装置を提供することを目的とする。
本発明の一態様に係る画像処理装置は、被検体を撮像して得られる画像から、該画像を構成する画素毎に第1の特徴量を算出する第1の特徴量算出部と、前記第1の特徴量に基づいて前記画像を複数の領域に分割する領域分割部と、前記領域分割部により分割された領域毎に第2の特徴量を算出する第2の特徴量算出部と、前記第2の特徴量に基づき前記複数の領域における各領域が、複数種類の属性のいずれの属性を持つかの分類を行う分類部と、前記分類部により分類された前記複数の領域における2以上の所定数の領域が有する属性の割合に基づいて診断支援するための診断支援情報を算出する診断支援情報算出部と、を備える。
図1は本発明の第1の実施形態を備えた内視鏡システムの全体構成を示す図。 図2は図1の画像処理装置を構成するCPUにより構成される主要な処理機能を示すブロック図。 図3は画像入力部から入力される画像、領域に分割された画像等を模式的に示す図。 図4は第2の特徴量と、第2の特徴量における特定の範囲にそれぞれ複数種類の属性が存在する特徴量・属性の判別空間の概念を示す図。 図5は複数種類の属性と、複数種類の属性における特定の範囲にそれぞれ異なる診断支援情報が存在する属性・診断支援情報の判別空間の概念を示す図。 図6は第1の実施形態における診断支援情報を算出する処理手順を示すフローチャート。 図7は図6における属性の多次元ベクトル化する処理手順を示すフローチャート。 図8は図7の多次元ベクトルの成分値等を示す図。 図9は本発明の第2の実施形態における情報記憶部の情報格納内容を示す図。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示す内視鏡システム1は、内視鏡観察装置2と、この内視鏡観察装置2により得られた医用画像としての内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される本実施形態の画像処理装置3と、この画像処理装置3により画像処理された画像を表示する表示装置としての表示モニタ4とから構成される。
内視鏡観察装置2は、体腔内に挿入される内視鏡6と、この内視鏡6に照明光を供給する光源装置7と、内視鏡6の撮像手段に対する信号処理を行う信号処理装置としてのカメラコントロールユニット(CCUと略記)8と、このCCU8から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ9とを有する。
内視鏡6は、体腔内に挿入される挿入部11と、この挿入部11の後端に設けられた操作部12とを有する。また、挿入部11内には照明光を伝送するライトガイド13が挿通されている。
このライドガイド13の後端は、光源装置7に接続される。そして、この光源装置7から供給される照明光をライトガイド13により転送し、挿入部11の先端部14に設けた照明窓に取り付けられた先端面から(伝送した照明光を)出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ15と、この対物レンズ15の結像位置に配置された固体撮像素子としての例えば電荷結合素子(CCDと略記)16とによる撮像装置17が設けてある。そして、このCCD16の撮像面に結蔵された光学像は、このCCD16により光電変換される。
このCCD16は、信号線を介してCCU8と接続され、このCCU8からCCD駆動信号が印加されることにより、CCD16は光電変換した画像信号を出力する。この画像信号は、CCU8内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ9に出力され、モニタ9の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置3にも入力される。
この画像処理装置3は、内視鏡観察装置2から入力される内視鏡画像(以下、単に画像と略記)に対応する映像信号を入力する画像入力部21と、この画像入力部21から入力された画像データに対する画像処理を行う中央演算処理装置としてのCPU22と、このCPU22により画像処理を実行させる処理プログラム(制御プログラム)を記憶するメモリ等からなる処理プログラム記憶部23とを有する。
また、この画像処理装置3は、画像入力部21から入力される画像データ等を記憶するメモリ等からなる画像記憶部24と、CPU22により処理された情報等を記憶するメモリ等からなる情報記憶部25と、CPU22により処理された画像データ及び情報等を記憶装置インターフェース26を介して記憶する記憶装置としてのハードディスク27と、CPU22により処理された画像データ等を表示するための表示処理を行う表示処理回路等からなる表示処理部28と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボード等からなる入力操作部29とを有する。
そして、この表示処理部28により生成された映像信号は、画像表示手段としての表示モニタ4に表示され、この表示モニタ4の表示面には画像処理された処理画像が表示される。
なお、画像入力部21、CPU22、処理プログラム記憶部23、画像記憶部24、情報記憶部25、記憶装置インターフェース26、表示処理部28、入力操作部29は、データバス30を介して互いに接続されている。
図2は、本実施形態におけるCPU22により構成される主要な処理機能を示す。図2に示すようにCPU22は、画像入力部21から入力された画像に対してノイズ抑制、逆γ補正等の前処理を行う前処理部31の処理機能を有する。
なお、図3(A)は、画像入力部21から画像処理装置3に入力される画像を模式的に示す。
又、CPU22は、前処理部31により処理された画像における各画素に対して、第1の特徴量を算出する第1の特徴量算出部32aを含む特徴量算出部32の処理機能と、第1の特徴量に基づいて前記画像を複数の領域に分割する領域分割部33の処理機能と、を備える。
第1の特徴量算出部32aは、第1の特徴量として画像を形成する色信号としてのR,G,B信号の各信号値や、G/RやG/(R+G+B)などの各信号値の演算により算出される値や、輝度信号の輝度値や、画像が持つテクスチャ特徴(質感の特徴)、周波数分離する周波数帯域フィルタを用いた複数の周波数成分又は特定の周波数成分のフィルタ出力値等を算出する。
領域分割部33は、第1の特徴量に基づいて、公知のクラスタリング手法等を用いて複数の領域に分割する。クラスタリング手法は、k−meanクラスタリング(k−means法)等の非階層的クラスタリングでもよいし、最短距離法等の階層的クラスタリングでもよい。また、その他の領域分割手法を用いてもよい。図3(B)は、領域分割部33により複数に分割された領域Ra−Rdを示す。
上記特徴量算出部32は、領域分割部33により分割された複数の領域Ra−Rdにおける各領域Ri(i=a−d)毎に第2の特徴量を算出する第2の特徴量算出部32bを有する。
第2の特徴量算出部32bは、例えば各領域Riに対して第1の特徴量算出部32aによる第1の特徴量と同様の特徴量を第2の特徴量として算出しても良い。但し、領域毎に上記のR,G,B信号の各信号値、輝度値、テクスチャ特徴、フィルタ出力値等の各種特徴量の平均値や分散量等の統計量も第2の特徴量として算出する。
また、CPU22は、第2の特徴量に基づいて、領域分割部33により分割された複数の領域Ra−Rdにおける各領域Riが、予め用意された複数種類の属性のいずれの属性を持つか否かの分類を行う分類部34の処理機能を有する。
このため、例えば図1に示す情報記憶部25には、予め用意された複数種類の属性の情報を格納する属性情報格納部25aを有する。
そして、分類部34は、各領域が属性情報格納部25aに格納された複数種類の属性におけるいずれの属性を持つか否かの分類を行う。分類部34が例えばM個となる複数の領域を、各領域が持つ属性(の領域)に分類する場合、同じ属性となる領域が存在する可能性があるため、分類後にはM個以下となる所定数の属性の領域に分類する。
上記属性情報格納部25aは、検査対象の生体組織(生体粘膜組織)としての、例えば大腸の生体粘膜組織を診断する場合に対応して、属性情報格納部25aは、以下の属性を予め格納している。
A1.規則的なVessels 領域(血管領域)(+)
A2.規則的なSurface Pattern 領域(表面パターン領域)(+)
A3.Vessels が不規則な領域(−)
A4.Surface Pattern が不規則な領域(−)
A5.色調変化の激しい領域(−)
A6.無構造領域(±)
A7.出血している領域(−−)
上記のA1−A7の属性は、検査対象の大腸の生体粘膜組織の場合に対して、その病変の目安又は指標となる診断支援情報を算出するために予め設定される。過去に収集した大腸の生体粘膜組織の画像データを複数の属性によって分類ようとした場合、上記のA1−A7の属性により分類することができる。
属性の後に付けた符号(+)は悪性度の低い病変(病変の可能性が低い)指標となる属性を表し、符号(−)は悪性度の高い病変(病変の可能性が高い)指標となる属性を表す。
また、A6の属性の後の符号(±)は、構造が無い(つまり構造を実質的に示さない)ため悪性度が高いか、低いかの判断が困難である指標となる属性(所定の属性)を表す。注目領域としての無構造領域が持つ所定の属性は、該所定の属性を有する領域のみでは、上述したAVA に相当するものであるか、AVA でなく、単に血管が不可視となる領域であるかの判断が困難となる属性である。
そのため、本実施形態は後述するように、この無構造領域(±)の属性を持つ領域(つまり注目領域)に対しては、その領域に隣接する周囲の単数又は複数の領域が持つ各属性それぞれの面積の割合(複数の領域の属性の面積比)に基づいてその属性の値としての属性値を補正(して、補正した属性値を用いて診断支援情報を算出)する。
なお、後述するように複数種類の属性の属性値又は割合(換言すると、複数種類の次元数の仮想空間としての判別空間)に応じて、対応する病変名又は症状名等の診断支援情報を算出する。また、A7の属性の後の符号(−−)は、悪性度が非常に高い(病変の可能性が非常に高い)特定の属性を表す。
そして、この特定の属性を持つ領域を検出した場合には、他の属性又は属性値に関わらず、対応する病変名の診断支援情報を算出する。つまり、A7の属性は、A1−A6の属性の場合(少なくとも各属性値の算出に基づいて対応する診断支援情報を算出する場合)と大きく異なる。このため、以下の説明は、主にA1−A6の属性に関連する。
このように、本実施形態においては、属性情報格納部25aは、複数の領域Ra−Rdに対して、主に、悪性度の低い病変の指標となる第1の属性(具体的にはA1,A2)と、悪性度の高い病変の指標となる第2の属性(具体的にはA3−A5)と、悪性度の判断が困難である所定の属性としての第3の属性(具体的にはA6)との情報を予め格納している。
また、分類部34は、予め用意した教師データ(訓練データ)を用いて、上述した複数種類の属性A1−A6、に関しての分類(判別)境界を、第2の特徴量を用いて、公知の判別分類手法(Fisher の線形判別関数、Support Vector Machine 等)で算出する。図4は公知の判別分類手法を用いて予め算出された属性を判別(分類)する判別空間を模式的に示す。
図4の例では、第2の特徴量としての例えば輝度値と、テクステャ特徴とを直交する座標軸に設定して、領域Riが持つ輝度値、テクステャ特徴に応じて6つの属性A1−A6を判別可能に存在する範囲が算出された判別空間の概念図を示す。図4では、第2の特徴量が2つの2次元空間の場合で示しているが、第2の特徴量が3つの場合には3次元空間となり、また第2の特徴量が1つの場合には1次元(空間)となる。また、図4において黒の点(小円)1つが1つの領域に相当する。
そして、例えば情報記憶部25は、第2の特徴量の値と、対応する各属性が存在する範囲とを関連付けた(第2の)特徴量・属性対応付け情報(又は属性分類用情報)として格納する特徴量・属性対応付け情報格納部25bを有する。
分類部34は、特徴量・属性対応付け情報を参照することにより、領域Ri毎に算出された輝度値、テクステャ特徴等の第2の特徴量に対応する属性を簡単に分類(特定)することができる。
図3(C)は、図3(B)の領域Ra−Rdに対して、分類部34が特徴量・属性対応付け情報を参照して属性の分類を行った様子を示す。
また、属性の分類を行った画像において、術者等のユーザはこの画像処理装置3により診断支援情報を得ようとする領域(以下、関心領域)の範囲Roの設定を行うことができる。術者等のユーザは、図1の入力操作部29から、属性の分類が行われた画像に対して、診断支援情報を得ようとする関心領域の範囲Roを設定する。入力操作部29は、ユーザが関心領域の範囲Roを設定する範囲設定部29aを形成する。
関心領域の範囲Roを設定する入力操作によって、CPU22は属性の分類が行われた画像上に関心領域の範囲Roを設定する。
図3(D)は、属性の分類が行われた画像に、関心領域の範囲Roが設定された様子を示す。なお、属性の分類が行われた画像に対して、関心領域の範囲Roの設定を行う場合に限定されるものでなく、属性の分類が行われる前の画像に対して、関心領域の範囲Roの設定を行うこともできる。
また、図2に示すようにCPU22は、分類部34により分類された所定数の各領域Riの属性の情報、より具体的には各領域Riそれぞれが、いずれの属性を持つか否かの複数種類の属性及び各属性を持つ領域の面積の情報に基づいて、術者による診断を支援する診断支援情報を算出する診断支援情報算出部35の処理機能を有する。
診断支援情報算出部35は、検査対象の生体組織に対応して予め用意した病変名、又は症状名等を診断支援情報として算出する。本実施形態においては、大腸の検査を行う場合の診断支援情報として、以下の3つの病変名を用意している。
D1.過形成ポリープ
D2.腺腫
D3.癌
また、本実施形態においては、上述した(領域Riが持つ)第2の特徴量から、第2の特徴量に対応する属性を分類(特定)できるようにしたのと同様に、予め教師データを用いて複数の診断支援情報(具体的にはD1−D3)を判別する境界を、複数種類の属性(具体的にはA1−A6の属性)を用いて、公知の判別分類手法で算出する。
図5は例えば規則的なVessels 領域と、色調変化の激しい領域とを直交する座標系に設定した2次元のベクトル空間(判別空間)において、教師データを用いて予め算出した属性・診断支援情報対応付け情報の概念図を示す。
図5は、簡略化して2次元の空間において複数の診断支援情報(具体的にはD1−D3)が判別可能に存在する範囲を模式的に示しているが、実際にはA1−A6の属性をそれぞれ異なるベクトル成分と見なした6次元のベクトル空間(判別空間)において互いに異なる複数の診断支援情報が判別可能に存在する範囲が決定される。なお、図5において黒の点(小円)1つが1つの範囲Roに相当する。
また、情報記憶部25は、教師データを用いて予め算出した属性・診断支援情報対応付け情報を格納する属性・診断支援情報対応付け情報格納部25cを有する。
情報格納手段としての属性・診断支援情報対応付け情報格納部25cは、複数種類の属性をそれぞれベクトル成分とした複数次元数のベクトル空間において各属性を持つ領域の面積の総和により算出される属性値を各ベクトルの成分値に対応付けして、前記複数次元数のベクトルの成分値に応じて互いに異なる複数の診断支援情報が存在するベクトル空間内の範囲の情報を格納する。なお、属性・診断支援情報対応付け情報格納部25cは、分類部34により分類された所定数の領域がそれぞれ有する属性の面積比又は領域数の情報に基づいて診断支援情報を算出するのに利用される診断支援情報を格納する診断支援情報格納部を形成する。
そして、診断支援情報算出部35は、分類部34により分類された各領域Riが有する属性の情報と、各領域Riの面積の情報とから、属性・診断支援情報対応付け情報格納部25cに格納された属性・診断支援情報対応付け情報を参照して、診断支援情報を算出する。
このため、診断支援情報算出部35は、各領域Riが有する面積を算出する面積算出部35aを有する。そして、診断支援情報算出部35は、複数種類の属性(具体的にはA1−A6)における各属性の値を、当該各属性を持つ領域の面積の値を対応付けして決める。換言すると、図5に示した属性・診断支援情報対応付けの判別空間(属性の多次元ベクトル空間)における各属性の座標軸の値(ベクトル成分)は、当該属性を持つ単数又は複数の領域の面積の値(割合)に対応する。
従って、診断支援情報算出部35は、複数種類の属性において、各属性を持つ単数又は複数の領域の面積をそれぞれ算出した結果の各属性の値から、当該各属性の値に対応する診断支援情報を、属性・診断支援情報対応付け情報から簡単に算出することができる。
一方、(術者が診断支援を望む関心領域の範囲Ro内に)領域Riが所定(種類)の属性、具体的にはA6の属性を持つものを含むような分類結果の場合には、A6の属性を持つ注目領域となる領域Riの情報を診断支援情報に有効に利用できない。つまり、A6の属性は、病変の悪性度を低減する傾向に作用する第1の属性と、病変の悪性度を増大させる傾向に作用する第2の属性との判断が困難であるため、その属性及び領域のままでは、診断支援情報の算出に有効に利用できない。
このため、本実施形態の診断支援情報算出部35は、関心領域の範囲Ro内にA6の属性のような所定の属性を含む状態で分類した場合には、所定の属性を持つ注目領域を中心として、その周囲に存在する複数の領域が有する属性及び領域の面積から、第1の属性、又は第2の属性のいずれの属性に近いか否かの属性値に補正する処理を行う。
つまり、図2に示す診断支援情報算出部35は、特定の属性を有する注目領域なる領域に対しては、その属性の値を、例えば重み付けにより補正する重み付け補正部35bを有する。そして、診断支援情報算出部35は、A6の属性を持つ領域に対しては、重み付け補正部35bにより重み付け補正した属性の値を算出し、さらにA1−A5の属性及び各属性を持つ領域の面積により算出される各属性の値により、該各属性の値に対応する診断支援情報を属性・診断支援情報対応付け情報から算出する。なお、診断支援情報算出部35は、関心領域の範囲Ro内に、上記のA6の属性のような所定の属性を含む領域(注目領域という)を含むか否かを判定する注目領域判定手段としての注目領域判定部35cを有する(図2参照)。
また、CPU22(の診断支援情報算出部35)は、算出した診断支援情報を図1の表示処理部28に送り、表示処理部28は、算出した診断支援情報を表示モニタ4で表示する。表示処理部28は、診断支援情報を表示する処理を行う診断支援情報表示処理部28aを形成し、表示モニタ4は診断支援情報を表示する診断支援情報表示部を形成する。
なお、図2においては前処理部31、特徴量算出部32、領域分割部33、分類部34及び診断支援情報算出部35をCPU22により構成した場合を示しているが、CPU22により構成する場合に限定されるものでなく、専用の電子回路等のハードウェアを用いて構成しても良い。
このような構成の本実施形態の画像処理装置3は、被検体を撮像して得られる画像から、該画像を構成する画素毎に第1の特徴量を算出する第1の特徴量算出手段としての第1の特徴量算出部32aと、前記第1の特徴量に基づいて前記画像を複数の領域に分割する領域分割手段としての領域分割部33と、前記領域分割手段により分割された領域毎に第2の特徴量を算出する第2の特徴量算出手段としての第2の特徴量算出部32bと、前記第2の特徴量に基づき前記複数の領域における各領域が、複数種類の属性のいずれの属性を持つかの分類を行う分類手段としての分類部34と、前記分類手段により分類された前記複数の領域における2以上の所定数の領域が有する属性の割合に基づいて診断支援するための診断支援情報を算出する診断支援情報算出手段としての診断支援情報算出部35と、を備えることを特徴とする。
次に本実施形態の画像処理装置3により、診断支援情報を算出する処理を図6を参照して説明する。
図1に示すように内視鏡観察装置2、画像処理装置3及び表示モニタ4を接続した状態において術者は、内視鏡システム1の電源を投入する。
また、術者は、内視鏡6を被検体としての患者の例えば大腸を検査するために大腸内に挿入する。
内視鏡6の撮像装置17により撮像された画像は、モニタ9で表示されると共に、画像処理装置3にも画像入力部21を通って入力される。
つまり、図6のステップS1に示すように画像処理装置3には、画像入力部21により、例えばアナログの画像からデジタルの画像にA/D変換されて入力される。この画像は、例えば画像記憶部24に一時的に格納される。図3(A)は、その画像を模式的に示す。なお、図3(Aにおいては、処置対象の画像Iを中央部分の略楕円形状の領域に設定しているが、このような領域の場合に限定されるものでない。
ステップS2に示すようにCPU22(の前処理部31)は、処置対象の画像Iに対して、ノイズ抑制、逆γ補正等の前処理を行う。
ステップS3に示すようにCPU22(の第1の特徴量算出部32a)は、前処理部31により処理された画像Iにおける各画素からR,G,B信号値、各信号値の演算によって算出される値、輝度値、テクスチャ特徴、フィルタ出力値等の第1の特徴量を算出する。
ステップS4に示すようにCPU22(の領域分割部33)は、第1の特徴量に基づいて、公知のクラスタリング手法としてのk−means法や最短距離法等を用いて複数の領域に分割する。
図3(B)は、領域分割部33により複数に分割された複数の領域Ra−Rdを示す。
ステップS5に示すようにCPU22(の第2の特徴量算出部32b)は、複数に分割された領域Ra−Rdにおける各領域Ri毎に第2の特徴量を算出する。第2の特徴量算出部32bは、領域Ri毎に上記のR,G,B信号の各信号値、各信号値の演算によって算出される値、輝度値、テクスチャ特徴等の平均値や分散量等の統計量を第2の特徴量として算出する。なお、第1の特徴量と異なる種類の特徴量およびその統計量を用いても良い。
次のステップS6に示すようにCPU22(の分類部34)は、第2の特徴量算出部32bにより算出された第2の特徴量に基づいて、領域分割部33により分割された複数の領域Ra−Rdにおける各領域Riが、属性情報格納部25aに格納された複数種類の属性におけるいずれの属性を持つか否かの分類を行う。
この場合、図4において説明した特徴量・属性対応付け情報を予め特徴量・属性対応付け情報格納部25bに格納しておくと、各領域Riに対応する属性を簡単に特定(分類)することができる。
図3(D)は、ステップS6により複数の領域Ra−Rdがそれぞれ対応する属性に分類された状態を示す。具体的には、分類部34は、領域RaがA4の属性を持つと分類し、領域RbがA6の属性を持つと分類し、領域RcがA3の属性を持つと分類し、領域RdがA4の属性を持つと分類した状態を示す。
次のステップS7に示すようにCPU22は、術者により入力操作部29からの診断支援情報を算出する関心領域の範囲Roを設定する入力操作によって、CPU22は属性の分類が行われた画像I上に関心領域の範囲Roを設定する。
図3(D)は、属性の分類が行われた画像に、上記範囲Roが設定された様子を示す。なお、上述したようにステップS7に示した処理を、属性の分類前の画像Iにおいて行うようにしても良い。また、図3では範囲Roを1つの矩形領域で設定しているが、範囲Roは形状、サイズ、個数が限定されるものではない。また、範囲Roは特に設定せず、画像I全体を関心領域としても良い(画像I全体を範囲Roとすることと同等)。
次のステップS8においてCPU22(の診断支援情報算出部35)はステップS7において設定した範囲Ro内にA7のような属性、つまり特定の病変に対応する可能性が高い、悪性度の指標が顕著な特定の属性の領域を含むか否かの判定を行う。
範囲Ro内に特定の属性の領域を含むと判定した場合には、ステップS9においてCPU22(の診断支援情報算出部35)は、他の属性に関わらず、その特定の属性から、対応する診断支援情報を算出する。A7のような特定の属性を持つ領域が存在した場合には癌の病変名の診断支援情報を算出した後、ステップS14の処理に移る。
一方、範囲Ro内に特定の属性の領域を含まないと判定した場合には、次のステップS10においてCPU22(の診断支援情報算出部35)は、上記範囲Ro内の複数種類の属性の割合を複数種類の次元数の多次元ベクトル化(属性の多次元ベクトル化と略記)する処理を開始する。なお、属性の多次元ベクトル化の処理内容は、図7を参照して後述する。
多次元ベクトル化する処理を開始した場合、図6における次のステップS11においてCPU22(の診断支援情報算出部35の注目領域判定部35c)は、範囲Ro内にA6のような所定の属性の領域(換言すると、その領域のみでは適切な診断支援情報を算出し難い所定の属性を有する注目領域)を含むか否かの判定を行う。
図3(D)に示すように範囲Ro内に所定の属性の注目領域を含む判定結果の場合には、ステップS12において診断支援情報算出部35(の重み付け補正部35b)は、その所定の属性を含む注目領域に対して、重み付け補正処理により、属性の値、つまり属性値を補正した後、次のステップS13の処理に進む。
一方、範囲Ro内に所定の属性の領域を含まないと判定した場合には、重み付け補正処理を行うこと無く、ステップS13の処理に移る。
ステップS13においてCPU22(の診断支援情報算出部35)は、多次元ベクトル化された複数種類の属性の属性値の情報から対応する診断支援情報を算出し、算出した診断支援情報を表示処理部28に送る。
次のステップS14において表示処理部28(の診断支援情報表示処理部28a)は、診断支援情報を表示する処理を行い、表示モニタ4の表示画面に診断支援情報を表示する。図3(E)は、範囲Roに対して、算出した診断支援情報(具体的には腺種の病変名)を表示した様子を示す。なお、範囲Roの上に診断支援情報を表示するようにしても良い。
術者は、このように表示された診断支援情報を参考にすることによって、効率良く内視鏡検査を行うことができる。
次に図7を参照して図6におけるステップS10の属性の多次元ベクトル化の処理、及びこれに関連する重み付け補正処理等、診断支援情報算出部35の処理を説明する。
属性の多次元ベクトル化の処理が開始すると、診断支援情報算出部35(の面積算出部35a)は、図7のステップS21に示すように範囲Ro内に含まれる各領域の画素数又は面積比(換言すると、範囲Ro内に含まれる領域の属性の面積比)を算出する。
図8(A)は、面積算出部35aにより算出された領域Ra−Rdの各面積比を示す。なお、図8(A)においては、各領域Riの属性も示している。
また、ステップS22においてCPU22(の診断支援情報算出部35)は、ステップS9と同様に範囲Ro内に所定の属性の注目領域を含むか否かの判定を行い、所定の属性の注目領域を含む場合には、ステップS10と同様にステップS23において診断支援情報算出部35(の重み付け補正部35b)は、その所定の属性、又はその所定の属性を含む注目領域に対して、重み付け補正処理を行った後、ステップS24の処理に移る。
一方、範囲Ro内に所定の属性の注目領域を含まないと判定した場合には、ステップS24においてCPU22(の診断支援情報算出部35)は、属性の多次元ベクトル(具体例では6次元ベクトル)を決定する処理を行う。
図8(A)に示すように領域の面積比が算出されたので、CPU22(の診断支援情報算出部35)は、属性A1−A6を6次元ベクトルの6個のベクトル成分の値としてのベクトル成分値(単に成分値とも言う)を算出する。なお、ベクトル成分値(成分値)は、属性値又は属性の割合に相当する。
図8(A)のデータの場合には、A1,A2,A5の成分値は、それぞれ0となり、A3,A4,A6の成分値は、それぞれ0.1,0.7,0.2となる。従って、6次元ベクトルは、図8(B)のように算出(決定)される。
A6の成分値が0の場合には、図7のステップS25の(多次元ベクトルに対応する)診断支援情報を算出する処理(図6ではステップS13)に進み、一方、A6の成分値が0でない場合には、ステップS23の重み付け補正の処理により、A6の成分値を補正して、6次元ベクトルを決定する。A6の成分値が0でない場合には、A6の成分値を以下のように重み補正値Wcを算出し、この重み補正値Wcを乗算して補正する。この補正はA6の属性の場合に行われ、他のA1−A5の属性に対しての補正は行われない。
図3(D)に示すように範囲Roが設定されている場合、所定の属性としてのA6の属性を持つ注目領域Rbの周囲には領域Ra,Rc,Rdが存在する。
このため、本実施形態においては、図6のステップS12,又は図7のステップS23において重み付け補正部35bは、所定の属性の注目領域Rbの周囲の領域Ra,Rc,Rdにおける病変の悪性度が低いと分類される第1の属性(具体例ではA1,A2)の面積比(又は画素数)Ar1と、病変の悪性度が高いと分類される第2の属性(具体例ではA3−A5)の面積比(又は画素数)Ar2との割合に応じた成分値となる、以下の重み係数Wを用いた重み付け補正式(1)により(A6の成分値を補正するための)重み補正値Wcを算出する。
Wc=Ar2×W/(Ar1+Ar2) …(1)
本実施形態においては重み係数Wを2に設定している(W=2)。
図8の具体例に適用すると、補正式(1)は
Wc=(0.1+0.7+0.0)×2/(0.0+0.0+0.1+0.7+0.0)=2.0 …(2)
となる。重み付け補正部35bは、算出した重み補正値Wc(=2.0)を用いて、A6の成分値0.2を0.2×Wcにより補正した補正値0.4をA6の成分値の補正値とする。このように、重み付け補正部35bは、補正前のA6の成分値0.2を重み補正値Wcを用いて0.4に補正する。
従って6次元ベクトルA1−A6の成分値は、図8(B)に示すように0.0,0.0,0.1,0.7,0.0,0.4と決定する。
6次元ベクトルの各成分値が決定したため、図7に示すようにステップS25においてCPU22(の診断支援情報算出部35)は、属性A1−A6の6次元ベクトルに対応する診断支援情報を算出する。
さらにステップS26において表示モニタ4には、算出された診断支援情報が表示され、図7又は図6の処理が終了する。
なお、術者は、画像記憶部24に記憶された他の画像を選択して、同様の処理を行わせることもできる。
このような画像処理を行う画像処理装置3によれば、術者が指定した関心領域の範囲Roに対して診断支援情報を表示する処理を行うので、術者は効率良く内視鏡検査を行うことができる。
また、本実施形態の画像処理装置3によれば、特徴量に基づいて分割した複数の領域における各領域がそれぞれ持つ属性の割合(つまり、個々の領域でなく複数の領域にまたがる属性の割合)に基づいてより適切な診断支援情報を算出することができる。
また、本実施形態の画像処理装置3によれば、個々の領域からでは、対応する診断支援情報を算出するために必要となる属性値を適正に算出できないような場合においても、その周辺の2以上の領域が持つ属性の割合等から該当する属性値を算出することができるようにしているので、より適切な診断支援情報を算出することができる。
(第2の実施形態)
次に図9を参照して本発明の第2の実施形態を説明する。
第1の実施形態においては、検査対象(診断対象)部位又は組織として大腸に適用した場合において説明したが、本実施形態は胃粘膜等に対しても同様の画像処理を行うことができるようにした画像処理装置である。
本実施形態の画像処理装置は、図1に示す画像処理装置3と同様である。但し、本実施形態においては、図9に示すように情報格納部25は大腸用の属性情報格納部25aと共に、胃用の属性情報格納部25a′を格納している。
また、情報格納部25は、大腸用の特徴量・属性対応付け情報格納部25bと共に、胃用の特徴量・属性対応付け情報格納部25b′と、大腸用の属性・診断支援情報対応付け情報格納部25cと共に、胃用の属性・診断支援情報対応付け情報格納部25c′と、を格納している。
そして、入力操作部29に設けた検査対象部位(又は組織)入力部29b(図1において点線で示した)から検査対象部位又は組織として大腸、或いは胃を選択することにより、CPU22は、情報格納部25から選択された大腸用の情報、又は胃用の情報を参照して画像処理を行うことができるようにしている。
入力操作部29から大腸を選択した場合には、その動作は第1の実施形態と同様になるこのため、胃を選択した場合を説明する。
胃用の属性情報格納部25a′は、以下の4つの属性A11−A14を格納している。
A11.規則的な蜂の巣状血管領域、又は規則的な円形Surface Pattern 領域(表面パターン領域)(+)
A12.規則的な線状血管領域、又は規則的な帯状Surface Pattern 領域(表面パターン領域)(+)
A13.不規則的な蛇行血管領域、又はSurface Pattern(表面パターン)が消失した領域(−)
A14.太径血管(±)
上記A11−A12の属性は、第1の実施形態におけるA1−A2の属性と同様に第1の属性に相当し、A13の属性は、第1の実施形態におけるA3−A5の属性と同様に第2の属性に相当し、A14の属性は、第1の実施形態におけるA6の属性と同様に第3の属性に相当する。この場合、第1の実施形態におけるA6の場合と同様に、個々の領域のみから太径血管が癌の場合に現れる異常血管であるか、正常な胃底腺粘膜に現れる集合細静脈であるかの判別が困難となる。
また、本実施形態においても、CPU22は図2と同様の処理機能を有する。但し、分類部34は、領域分割部33により分割した領域を上記のA11−A14のいずれの領域の属性を持つか否かの分類を行う。なお、その際に算出される第1の特徴量および第2の特徴量は大腸用と同一の特徴量でも良いし、胃用の特徴量を別途算出しても良い。
また、本実施形態においても、A14の属性を、所定の属性として、この所定の属性を持つ所定の領域に対しては、第1の実施形態と同様に、診断支援情報算出部35(の重み付け補正部35b)は、同様の重み付け補正処理を行うことにより、その属性値を補正する。
また、胃用の診断支援情報として、以下のD11−D14を用意している。
D11.正常胃底腺粘膜
D12.正常幽門腺粘膜
D13.胃炎
D14.癌
そして、第1の実施形態における例えば図6の処理手順により診断支援情報を算出し、表示モニタ4にて診断支援情報を表示する。
従って、本実施形態は、第1の実施形態とほぼ同様の効果を有する。
本実施形態によれば、第1の実施形態と同様の効果を有すると共に、術者が、検査する部位を指定又は選択することにより、指定又は選択された部位の画像に対して適切な診断支援情報を算出して表示することができる。
なお、図9において点線で示すように、情報格納部25に、さらに食道用の属性情報格納部25a″、食道用の特徴量・属性対応付け情報格納部25b″と、食道用の属性・診断支援情報対応付け情報格納部25c″を設け、食道を検査する場合にも適切な診断支援情報を提供できるようにしても良い。
また、本実施形態では検査対象部位または組織をあらかじめ選択することで情報記憶部25から適した情報を参照する方法を例示したが、算出された各種特徴量を用いて検査対象部位または組織を推定しても良い。
なお、上述した実施形態において、所定の属性としての第3の属性を持つ注目領域が存在する場合において重み付け補正を行う場合には、当該注目領域の周囲の複数の領域における、第3の属性以外の属性における同じ属性を持つ領域の総和値をその属性の属性値に補正して、対応する診断支援情報を算出する例で説明したが、同じ属性を持つ領域の数を、その属性の属性値と見なして補正するようにしても良い。
つまり、重み付け補正部35bは、分類部34により第3の属性を持つ所定の領域が存在するような分類を行った場合に、前記所定の領域の周囲における第3の属性と異なる第1の属性を持つ領域の面積又は領域の数と、第2の属性を持つ領域の面積又は領域の数との割合に応じた重み付けした属性値に補正するようにしても良い。
また、情報記憶部25に含まれる属性、特徴量、診断支援情報は、実施形態で例示したものに限られるものではなく、種々の変更が可能である。なお、上述した注目領域判定手段又は注目領域選択手段としての注目領域判定部35cが、範囲Roにおける複数の領域から注目領域を判定又は選択する場合、以下のように判定又は選択するようにしても良い。入力操作部29等から注目領域に該当するA6等の所定の属性を指定する所定の属性指定手段を設け、この所定の属性設定手段により指定された所定の属性に基づいて、上記複数の領域から所定の属性に該当する注目領域を判定又は選択するようにしても良い。
また、上述した説明においては、主に領域分割部33により分割された単数又は複数の領域に対して前記診断支援情報を算出しようとする関心領域の範囲Roを設定する範囲設定部29aを備えた構成を説明したが、関心領域の範囲Roを前記複数の領域に設定して、注目領域判定部35cが前記複数の領域において所定の属性を有する注目領域の少なくとも一部を含むか否かを判定するようにしても良い。
また、上述した実施形態を部分的に組み合わせるようにしても良い。
また、本発明は、以下の内容も含む。複数種類Nの属性に対応したN次元の仮想空間において、被検体に対して教師データを用いて予め用意した病変名又は症状名を含む診断支援情報が存在する範囲を格納した診断支援情報格納部を有し、診断支援情報算出部は、領域分割部により分割された複数の領域における分類部により分類された所定数の領域がそれぞれ有する属性の面積比または領域数に基づいて前記所定数の領域が前記仮想空間内で存在する位置から、該位置に対応する前記診断支援情報を算出する。
本出願は、2012年3月21日に日本国に出願された特願2012−064195号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
本発明の一態様に係る画像処理装置は、被検体を撮像して得られる画像の任意の領域において、前記任意の領域を構成する画素毎に第1の特徴量を算出する第1の特徴量算出部と、前記第1の特徴量に基づいて前記任意の領域を複数の領域に分割する領域分割部と、前記領域分割部により分割された前記複数の領域の各領域毎に第2の特徴量を算出する第2の特徴量算出部と、前記第2の特徴量に基づき、前記領域分割部により分割された前記複数の領域の各領域を、複数種類の属性のうちいずれかの属性に分類する分類部と、前記分類部において分類された前記複数種類属性のうち、同一種類の属性ごとに面積又は数に基づく属性値を算出する診断支援情報算出部と、前記領域分割部により分割された前記複数の領域のうち所定の属性を有する領域が存在するか否かを判定する判定部と、前記判定部において、前記所定の属性を有する領域が存在すると判定された場合に、前記所定の属性以外の属性において算出された属性値に基づき、前記所定の属性に分類された領域における前記属性値を補正する補正部と、を備え、前記診断支援情報算出部は、前記所定の属性を有する領域において前記補正部により補正された属性値と、前記所定の属性を有する領域以外の前記複数の領域において前記診断支援情報算出部が算出した属性値と、に基づき前記所定の領域に対して診断支援するための診断支援情報を算出する。
本発明の他の態様に係る画像処理装置は、被検体を撮像して得られる画像の任意の領域において、前記任意の領域を構成する画素毎に第1の特徴量を算出する第1の特徴量算出部と、前記第1の特徴量に基づいて前記任意の領域を複数の領域に分割する領域分割部と、前記領域分割部により分割された領域毎に第2の特徴量を算出する第2の特徴量算出部と、悪性度の高い病変の指標となる属性と、悪性度の低い病変の指標となる属性と、良悪性判断が困難な属性との各属性情報を予め格納する属性情報格納部と、前記第2の特徴量算出部において算出された前記第2の特徴量に基づき、前記領域分割部により分割された各領域を、前記属性情報格納部に格納された各属性情報のうちいずれかに分類する分類部と、前記分類部により分類された前記複数の領域における2以上の領域が有する属性の割合に基づいて前記任意の領域に対して診断支援するための診断支援情報を算出する診断支援情報算出部と、を備える。
本発明の一態様に係る画像処理装置は、被検体を撮像して得られる画像の任意の領域において、前記任意の領域を構成する画素毎に第1の特徴量を算出する第1の特徴量算出部と、前記第1の特徴量に基づいて前記任意の領域を複数の領域に分割する領域分割部と、前記領域分割部により分割された前記複数の領域の各領域毎に第2の特徴量を算出する第2の特徴量算出部と、前記第2の特徴量に基づき、前記領域分割部により分割された前記複数の領域の各領域を、複数種類の属性のうちいずれかの属性に分類する分類部と、前記分類部において分類された前記複数種類の属性のうち、同一種類の属性ごとに面積又は数に基づく属性値を算出する診断支援情報算出部と、前記領域分割部により分割された前記複数の領域のうち所定の属性を有する領域が存在するか否かを判定する判定部と、前記判定部において、前記所定の属性を有する領域が存在すると判定された場合に、前記所定の属性以外の属性において算出された属性値に基づき、前記所定の属性に分類された領域における前記属性値を補正する補正部と、を備え、前記診断支援情報算出部は、前記所定の属性を有する領域において前記補正部により補正された属性値と、前記所定の属性を有する領域以外の前記複数の領域において前記診断支援情報算出部が算出した属性値と、に基づき前記任意の領域に対して診断支援するための診断支援情報を算出する。
本発明の他の態様に係る画像処理装置は、被検体を撮像して得られる画像の任意の領域において、前記任意の領域を構成する画素毎に第1の特徴量を算出する第1の特徴量算出部と、前記第1の特徴量に基づいて前記任意の領域を複数の領域に分割する領域分割部と、前記領域分割部により分割された領域毎に第2の特徴量を算出する第2の特徴量算出部と、悪性度の高い病変の指標となる属性と、悪性度の低い病変の指標となる属性と、良悪性判断が困難な属性との各属性情報を予め格納する属性情報格納部と、前記第2の特徴量算出部において算出された前記第2の特徴量に基づき、前記領域分割部により分割された各領域を、前記属性情報格納部に格納された各属性情報のうちいずれかに分類する分類部と、前記分類部により分類された前記複数の領域における2以上の領域が有する属性の割合に基づいて前記任意の領域に対して診断支援するための診断支援情報を算出する診断支援情報算出部と、を備える。

Claims (15)

  1. 被検体を撮像して得られる画像から、該画像を構成する画素毎に第1の特徴量を算出する第1の特徴量算出部と、
    前記第1の特徴量に基づいて前記画像を複数の領域に分割する領域分割部と、
    前記領域分割部により分割された領域毎に第2の特徴量を算出する第2の特徴量算出部と、
    前記第2の特徴量に基づき前記複数の領域における各領域が、複数種類の属性のいずれの属性を持つかの分類を行う分類部と、
    前記分類部により分類された前記複数の領域における2以上の所定数の領域が有する属性の割合に基づいて診断支援するための診断支援情報を算出する診断支援情報算出部と、
    を備えることを特徴とする画像処理装置。
  2. 前記診断支援情報算出部は、さらに
    前記複数の領域が所定の属性を有する注目領域を含むか否かを判定する注目領域判定部と、
    前記注目領域が有する前記所定の属性に対して前記注目領域の周囲に存在する前記複数の領域が持つ属性に応じて前記注目領域が有する前記所定の属性を補正する補正部と、
    を備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記診断支援情報算出部は、前記分類部により分類された前記所定数の領域がそれぞれ有する属性の面積比または領域数に基づいて前記診断支援情報を算出することを特徴とする請求項1に記載の画像処理装置。
  4. 前記診断支援情報算出部は、前記分類部により分類された前記所定数の領域がそれぞれ有する属性を有する領域の面積比または領域数に基づいて前記診断支援情報を算出することを特徴とする請求項2に記載の画像処理装置。
  5. 前記分類部が分類する前記複数種類の属性として、悪性度の高い病変の指標となる第1の属性と、悪性度の低い病変の指標となる第2の属性と、該当する属性の領域のみでは良悪性判断が困難な第3の属性との各属性情報を予め格納する属性情報格納部を有することを特徴とする請求項1に記載の画像処理装置。
  6. 前記分類部が分類する前記複数種類の属性として、悪性度の高い病変の指標となる第1の属性と、悪性度の低い病変の指標となる第2の属性と、該当する属性の領域のみでは悪性度の判定が困難な前記所定の属性である第3の属性との各属性情報を予め格納する属性情報格納部を有することを特徴とする請求項2に記載の画像処理装置。
  7. 前記分類部が分類する前記複数種類の属性として、悪性度の高い病変の指標となる第1の属性と、悪性度の低い病変の指標となる第2の属性と、該当する属性の領域のみでは悪性度の判定が困難な第3の属性との属性情報を予め格納する属性情報格納部を有することを特徴とする請求項3に記載の画像処理装置。
  8. 前記診断支援情報算出部は、前記領域分割部により分割された前記複数の領域におけるいずれかの領域が前記分類部により悪性度が顕著な指標となる特定の属性を含む場合には、他の領域が有する属性に関わらず、前記特定の属性に基づいて前記診断支援情報を算出することを特徴とする請求項1に記載の画像処理装置。
  9. 前記診断支援情報算出部は、前記領域分割部により分割された前記複数の領域におけるいずれかの領域が前記分類部により前記第1の属性よりも悪性度が顕著な指標となる特定の属性を含む場合には、他の領域が有する属性に関わらず、前記特定の属性に基づいて前記診断支援情報を算出することを特徴とする請求項7に記載の画像処理装置。
  10. 前記被検体における異なる検査部位に応じて、前記第1の特徴量、前記第2の特徴量、前記複数種類の属性のうち1つ以上を変更することを特徴とする請求項1に記載の画像処理装置。
  11. 前記被検体における異なる検査部位に応じて、前記第1の特徴量、前記第2の特徴量、前記複数種類の属性のうち1つ以上を変更することを特徴とする請求項9に記載の画像処理装置。
  12. 前記被検体における異なる検査部位に応じて、前記第1の特徴量、前記第2の特徴量、前記複数種類の属性のうち少なくとも前記複数種類の属性を含む1つ以上を変更することを特徴とする請求項7に記載の画像処理装置。
  13. 前記複数種類Nの属性に対応したN次元の仮想空間において、前記被検体に対して教師データを用いて予め用意した病変名又は症状名を含む前記診断支援情報が存在する範囲を格納した診断支援情報格納部を有し、前記診断支援情報算出部は、前記領域分割部により分割された前記複数の領域における前記分類部により分類された前記所定数の領域がそれぞれ有する属性の面積比または領域数に基づいて前記所定数の領域が前記仮想空間内で存在する位置から、該位置に対応する前記診断支援情報を算出することを特徴とする請求項2に記載の画像処理装置。
  14. 前記検査部位が大腸である場合には、前記診断支援情報算出部は、前記検査部位が過形成ポリープ、腺腫、癌におけるいずれの病変名に該当するか否かを算出することを特徴とする請求項11に記載の画像処理装置。
  15. 前記検査部位が胃である場合には、前記診断支援情報算出部は、前記検査部位が正常胃底腺粘膜、正常幽門腺粘膜、胃炎、癌におけるいずれに該当するかを算出することを特徴とする請求項11に記載の画像処理装置。
JP2013534110A 2012-03-21 2012-11-28 画像処理装置 Active JP5444511B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013534110A JP5444511B1 (ja) 2012-03-21 2012-11-28 画像処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012064195 2012-03-21
JP2012064195 2012-03-21
PCT/JP2012/080679 WO2013140667A1 (ja) 2012-03-21 2012-11-28 画像処理装置
JP2013534110A JP5444511B1 (ja) 2012-03-21 2012-11-28 画像処理装置

Publications (2)

Publication Number Publication Date
JP5444511B1 JP5444511B1 (ja) 2014-03-19
JPWO2013140667A1 true JPWO2013140667A1 (ja) 2015-08-03

Family

ID=49222155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013534110A Active JP5444511B1 (ja) 2012-03-21 2012-11-28 画像処理装置

Country Status (5)

Country Link
US (1) US8994801B2 (ja)
EP (1) EP2727514B1 (ja)
JP (1) JP5444511B1 (ja)
CN (1) CN103747718B (ja)
WO (1) WO2013140667A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5764592B2 (ja) * 2013-02-22 2015-08-19 東京エレクトロン株式会社 基板処理装置、基板処理装置の監視装置及び基板処理装置の監視方法
KR101598873B1 (ko) * 2014-01-20 2016-03-02 한국과학기술원 영상의 다변수화를 이용한 영상 구별 특징 자동 선별 장치 및 방법
WO2016170656A1 (ja) * 2015-04-23 2016-10-27 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6580446B2 (ja) * 2015-10-09 2019-09-25 サイバネットシステム株式会社 画像処理装置及び画像処理方法
JP6581923B2 (ja) * 2016-03-03 2019-09-25 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
WO2018079116A1 (ja) * 2016-10-27 2018-05-03 富士フイルム株式会社 内視鏡システム
JP6823072B2 (ja) 2016-10-27 2021-01-27 富士フイルム株式会社 プロセッサ装置及び内視鏡システム
WO2018105063A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置
WO2018235185A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 挿入支援装置、挿入支援方法、及び挿入支援装置を含む内視鏡装置
EP3653106A4 (en) 2017-07-14 2020-07-08 Fujifilm Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC ASSISTANCE DEVICE, AND MEDICAL INTERVENTION ASSISTANCE DEVICE
JP7033146B2 (ja) * 2017-10-17 2022-03-09 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
WO2019142243A1 (ja) * 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法
CN109191424B (zh) * 2018-07-23 2022-04-22 哈尔滨工业大学(深圳) 一种乳腺肿块检测与分类系统、计算机可读存储介质
JP7187244B2 (ja) * 2018-10-10 2022-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
JPWO2020162275A1 (ja) * 2019-02-08 2021-12-02 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP7281308B2 (ja) * 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体
JP6879520B2 (ja) * 2019-08-28 2021-06-02 サイバネットシステム株式会社 画像処理装置及び画像処理方法
CN114521122A (zh) * 2019-09-27 2022-05-20 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理的工作方法
WO2021079691A1 (ja) * 2019-10-23 2021-04-29 富士フイルム株式会社 画像処理装置及びその作動方法
CN111415564B (zh) * 2020-03-02 2022-03-18 武汉大学 基于人工智能的胰腺超声内镜检查导航方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4450973B2 (ja) * 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
EP1258220B1 (en) * 2001-05-16 2008-08-13 Olympus Corporation Endoscope with image processing device
JP4615963B2 (ja) * 2004-10-29 2011-01-19 オリンパス株式会社 カプセル型内視鏡装置
WO2006062163A1 (ja) * 2004-12-10 2006-06-15 Olympus Corporation 医用画像処理方法
KR100970295B1 (ko) * 2005-04-13 2010-07-15 올림푸스 메디칼 시스템즈 가부시키가이샤 화상 처리 장치 및 화상 처리 방법
JP4624841B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
KR100943367B1 (ko) * 2005-04-27 2010-02-18 올림푸스 메디칼 시스템즈 가부시키가이샤 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 기록한 기록 매체
JP5094036B2 (ja) * 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
JP4451460B2 (ja) 2007-03-16 2010-04-14 オリンパス株式会社 内視鏡診断支援装置
JP5281826B2 (ja) 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US8331641B2 (en) * 2008-11-03 2012-12-11 Siemens Medical Solutions Usa, Inc. System and method for automatically classifying regions-of-interest
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US8591401B2 (en) * 2010-08-18 2013-11-26 Olympus Corporation Endoscope apparatus displaying information indicating gravity direction on screen

Also Published As

Publication number Publication date
JP5444511B1 (ja) 2014-03-19
EP2727514A4 (en) 2015-06-17
US20140028821A1 (en) 2014-01-30
CN103747718A (zh) 2014-04-23
EP2727514A1 (en) 2014-05-07
WO2013140667A1 (ja) 2013-09-26
US8994801B2 (en) 2015-03-31
CN103747718B (zh) 2016-03-30
EP2727514B1 (en) 2017-05-10

Similar Documents

Publication Publication Date Title
JP5444511B1 (ja) 画像処理装置
US11145053B2 (en) Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5580637B2 (ja) 画像処理装置、内視鏡装置の作動方法及びプログラム
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
WO2012114600A1 (ja) 医用画像処理装置及び医用画像処理方法
JP5326064B2 (ja) 画像処理装置
JP7084994B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
JP5301737B2 (ja) 医用画像処理装置
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
JP2012005512A (ja) 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
JP5078486B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
JPWO2012153568A1 (ja) 医用画像処理装置
US20170095136A1 (en) Medical apparatus
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
EP1992273B1 (en) Medical image processing device and medical image processing method
JP2007075157A (ja) 画像表示装置
JP2013048646A (ja) 診断システム
WO2023042273A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP2008093213A (ja) 医療用画像処理装置及び医療用画像処理方法
WO2024084578A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP2008023266A (ja) 医療用画像処理装置及び医療用画像処理方法
WO2023153069A1 (ja) 医療画像装置、内視鏡システム、及び、診断書作成システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20131206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131220

R151 Written notification of patent or utility model registration

Ref document number: 5444511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250