JPWO2017109904A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JPWO2017109904A1
JPWO2017109904A1 JP2017557592A JP2017557592A JPWO2017109904A1 JP WO2017109904 A1 JPWO2017109904 A1 JP WO2017109904A1 JP 2017557592 A JP2017557592 A JP 2017557592A JP 2017557592 A JP2017557592 A JP 2017557592A JP WO2017109904 A1 JPWO2017109904 A1 JP WO2017109904A1
Authority
JP
Japan
Prior art keywords
image
intraluminal
image processing
processing apparatus
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017557592A
Other languages
English (en)
Other versions
JP6807869B2 (ja
Inventor
北村 誠
誠 北村
光隆 木村
光隆 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017109904A1 publication Critical patent/JPWO2017109904A1/ja
Application granted granted Critical
Publication of JP6807869B2 publication Critical patent/JP6807869B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

管腔内画像において発生し得る色味を持った学習サンプルを生成することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置は、生体の管腔内画像を取得する画像取得部と、管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、管腔内画像の色相および/または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成部と、を備える。

Description

本発明は、生体の管腔内を撮像することによって取得された画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
従来、内視鏡等の医療用観察装置を用いて生体の管腔内(消化管内)を撮像する管腔内画像に対し、識別基準を用いて異常領域等の特定領域を検出する技術が知られている。この際に用いられる識別基準は、通常、学習サンプルとして管腔内画像から抽出された様々なバリエーションの粘膜領域または異常領域の画像をもとに作成される。
画像の識別に関する技術として、例えば特許文献1には、学習サンプルとして取得した画像に対し、任意の注目領域の位置、方向、外観を変更したり、注目領域を拡大縮小または回転させたりといった幾何学的な処理を行うことにより新たな画像を生成し、新たな画像および元の画像から特徴量を算出して識別基準を作成する技術が開示されている。
米国特許第8903167号明細書
しかしながら、上述した特許文献1に開示された技術を管腔内画像に適用しようとした場合、管腔内画像において発生し得ない明るさ、または色相を持った学習サンプルが生成されてしまうという問題点があった。
本発明は、上記に鑑みてなされたものであって、管腔内画像において発生し得る色味を持った学習サンプルを生成することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内画像を取得する画像取得部と、前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成部と、を備えたことを特徴とする。
また、本発明に係る画像処理装置は、生体の管腔内画像を取得する画像取得部と、前記管腔内画像の色相および/または明るさを前記管腔内画像に含まれる生体情報に応じて予め設定された範囲情報から所定値毎に変化させることで新たに生成された複数の画像に基づいて学習される識別基準に基づき対象認識を行う識別部と、を備えたことを特徴とする。
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、生体の管腔内画像を取得する画像取得ステップと、前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像処理装置に、生体の管腔内画像を取得する画像取得ステップと、前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、を実行させることを特徴とする。
本発明によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるという効果を奏する。
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。 図2は、本発明の実施の形態1に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図3は、本発明の実施の形態2に係る演算部の構成を示すブロック図である。 図4は、本発明の実施の形態2に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図5は、図4の範囲決定処理の概要を示すフローチャートである。 図6は、本発明の実施の形態3に係る演算部の構成を示すブロック図である。 図7は、本発明の実施の形態3に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図8は、本発明の実施の形態4に係る演算部の構成を示すブロック図である。 図9は、本発明の実施の形態4に係る画像処理装置が実行する処理の概要を示すフローチャートである。
以下、本発明の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。
(実施の形態1)
〔画像処理装置の構成〕
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。本実施の形態1に係る画像処理装置1は、一例として、内視鏡(軟性内視鏡や硬性内視鏡等の内視鏡スコープ)またはカプセル型内視鏡(以下、これらをまとめて単に「内視鏡」という)によって、生体の管腔を撮像することにより取得された管腔内画像の生体情報に基づいて、管腔内画像の色又は明るさを変化させた新たな画像(仮想画像や学習サンプル)を生成する画像処理を実行する装置である。ここで、管腔内画像は、通常、各画素位置において、R(赤)、G(緑)、B(青)の波長成分に対する画素レベル(画素値)を持つカラー画像である。
図1に示す画像処理装置1は、内視鏡によって撮像された管腔内画像に対応する画像データを内視鏡または外部から出力する画像取得部2と、外部からの操作によって入力された入力信号を受け付ける入力部3と、管腔内画像や各種表示を行う表示部4と、画像取得部2によって取得された画像データや各種のプログラムを記録する記録部5と、画像処理装置1全体の動作を制御する制御部6と、画像データに対して所定の画像処理を行う演算部7と、を備える。
画像取得部2は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部2は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部2は、内視鏡によって撮像された画像データをサーバによって記録する場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部2は、内視鏡からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。
入力部3は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部6へ出力する。
表示部4は、液晶や有機EL(Electro Luminescence)の表示パネル等の表示装置によって実現され、制御部6の制御のもと、管腔内画像を含む各種画面を表示する。
記録部5は、フラッシュメモリ、ROM(Read Only Memory)およびRAM(Random Access Memory)といった各種ICメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部5は、画像取得部2によって取得された画像データの他、画像処理装置1を動作させるとともに、種々の機能を画像処理装置1に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部5は、管腔内画像の色または明るさを変化させた新たな画像(学習サンプル)を生成するための画像処理プログラム51、後述する演算部7が管腔内画像の生体情報に基づいて、管腔内画像の色相および/または明るさを変化させた新たな画像を生成するために、管腔内画像の生体情報に基づく色相および/または明るさの範囲を設定した範囲情報、および、このプログラムの実行中に使用される種々の情報等を記録する。
制御部6は、CPU(Central Processing Unit)等を用いて実現され、記録部5に記録された各種プログラムを読み込むことにより、画像取得部2から入力される画像データや入力部3から入力される入力信号等に従って、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
演算部7は、CPU等によって実現され、記録部5が記録する画像処理プログラム51を読み込むことによって管腔内画像の生体情報に基づいて、管腔内画像の色または明るさを変化させた新たな画像を生成する画像処理を実行する。
〔演算部の構成〕
次に、演算部7の詳細な構成について説明する。演算部7は、画像生成部10を有する。画像生成部10は、管腔内画像の生体情報に基づいて、管腔内画像の色または明るさを変化させた新たな画像を生成する。
〔画像処理装置の処理〕
次に、画像処理装置1が実行する画像処理方法について説明する。図2は、画像処理装置1が実行する処理の概要を示すフローチャートである。
図2に示すように、まず、画像生成部10は、画像取得部2を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得する(ステップS101)。
続いて、画像生成部10は、管腔内画像の生体情報に基づく色相および/または明るさの範囲を設定した範囲情報を取得する(ステップS102)。
その後、画像生成部10は、ステップS101において取得した管腔内画像とステップS102において取得した範囲情報とに基づいて、管腔内画像の色または明るさを所定の間隔によって変化させて新たな複数の画像を生成し、この生成した複数の画像を記録部5に記録または表示部4に表示させる(ステップS103)。なお、画像生成部10は、新たに生成した複数の画像を、学習機能や識別機能を有する外部装置へ出力するようにしてもよい。ステップS103の後、画像処理装置1は、本処理を終了する。
以上説明した本発明の実施の形態1によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2に係る画像処理装置は、上述した実施の形態1に係る画像処理装置1における演算部7の構成と異なる。以下においては、本実施の形態2に係る演算部の構成について説明する。なお、上述した実施の形態1に係る画像処理装置1と同一の構成には同一の符号を付して説明を省略する。
〔演算部の構成〕
図3は、本実施の形態2に係る演算部の構成を示すブロック図である。図3に示す演算部7aは、画像生成部10と、範囲決定部20と、を備える。
範囲決定部20は、生体情報に基づいて、色または明るさの範囲を決定する範囲情報を生成する。範囲決定部20は、生体内管腔における体液の情報を算出する管腔内体液情報算出部30を有する。
管腔内体液情報算出部30は、血液色情報算出部301と、胆汁色情報算出部302と、体液有無色情報算出部303と、薬剤色情報算出部304と、を有する。
血液色情報算出部301は、血液の色範囲に関する情報を決定する。具体的には、血液色情報算出部301は、赤色の色範囲を決定する。
胆汁色情報算出部302は、胆汁の色範囲に関する情報を決定する。具体的には、胆汁色情報算出部302は、黄色の色範囲を決定する。
体液有無色情報算出部303は、体液の有無による色範囲に関する情報を決定する。具体的には、体液の有無による色範囲に関する情報に基づいて、赤色の色範囲および明るさを決定する。
薬剤色情報算出部304は、薬剤の色範囲に関する情報を決定する。具体的には、薬剤色情報算出部304は、下剤の種別情報に基づいて、白色の色範囲および明るさを決定する。
〔画像処理装置の処理〕
次に、本実施の形態2に係る画像処理装置1が実行する画像処理方法について説明する。図4は、画像処理装置1が実行する処理の概要を示すフローチャートである。
図4に示すように、まず、画像生成部10は、画像取得部2を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得し、取得した管腔内画像を記録部5に記録する(ステップS201)。
続いて、画像生成部10は、管腔内画像を色変換する(ステップS202)。具体的には、画像生成部10は、管腔内画像をRGB画像からHSV画像に色変換する。なお、色変換の方法としては、HSVに限定されるものではなく、例えば色相および明るさを表現可能なLab、HLS、YUV等の他の色変換を用いてもよい。
その後、範囲決定部20は、画像生成部10が管腔内画像に基づいて、色相および明るさを変化させた新たな画像を生成するための範囲情報を決定する範囲決定処理を実行する(ステップS203)。
〔範囲決定処理〕
図5は、図4のステップS203における範囲決定処理の詳細を示すフローチャートである。
図5に示すように、血液色情報算出部301は、血液の色範囲に関する情報を算出する(ステップS301)。具体的には、血液の構成成分であるヘモグロビンの吸収波長は、G値またはB値を形成する中波長から短波長の帯域にあるため、体内管腔にある体液に血液が混じった場合、R値に対して、G値およびB値が低い赤色系の色となる。そこで、本実施の形態2では、生体内管腔における体液に血液が混在している画像を事前に収集しておき、血液が混在している場合のH(色相)範囲を推定する。即ち、血液色情報算出部301は、予め推定された血液が混在している場合のH範囲に基づいて、血液の色範囲を決定する。
続いて、胆汁色情報算出部302は、胆汁の色範囲に関する情報を算出する(ステップS302)。具体的には、胆汁の構成成分であるビリルビンの吸収波長は、B値を形成する短波長の帯域にあるため、生体内管腔にある体液に胆汁が混じると、B値に対して、R値およびG値が高い黄色系の色になる。そこで、本実施の形態2では、生体内管腔における体液に胆汁が混在している画像を事前に収集しておき、胆汁が混在している場合のH(色相)範囲を推定する。即ち、胆汁色情報算出部302は、予め推定された胆汁が混在している場合のH範囲に基づいて、胆汁の色範囲を決定する。
その後、体液有無色情報算出部303は、体液の有無による色範囲に関する情報を算出する(ステップS303)。カプセル型内視鏡では、多くの場合、生体内管腔に体液がある状態で画像が撮像されるが、軟性型内視鏡では、生体内管腔に体液がない状態で画像が撮像される。体液がない状態で撮像した画像は、生体内管腔を介して撮像した画像と比べて、赤黒い画像(赤くて、暗い画像)になる傾向がある。そこで、本実施の形態2では、体液がない状態で撮像した画像および体液を通して撮像した画像をそれぞれ事前に収集しておき、体液がない状態の場合のH(色相)範囲および体液がある状態の場合のH(色相)範囲およびV範囲(明るさ)それぞれを推定する。即ち、体液有無色情報算出部303は、予め推定された体液がない状態のH範囲およびV範囲に基づいて、体液がない状態の色範囲を決定し、かつ、予め推定された体液がある状態のH範囲およびV範囲に基づいて、体液がある状態の色範囲を決定する。
続いて、薬剤色情報算出部304は、薬剤の色範囲に関する情報を算出する(ステップS304)。そこで、本実施の形態2では、検査対象者が服用する薬剤(例えば、下剤、蠕動促進剤およびブースタ等)が混在した画像を事前に収集しておき、薬剤が混在した場合のH(色相)範囲を推定する。即ち、薬剤色情報算出部304は、予め推定された薬剤が混入された状態のH(色相)範囲に基づいて、薬剤の色範囲を決定する。ステップS304の後、画像処理装置1は、図4のメインルーチンへ戻る。
続いて、画像生成部10は、ステップS201において取得した管腔内画像とステップS203において範囲決定部20が決定した色範囲情報とに基づいて、色相および明るさを変化させた新たな画像を生成する(ステップS204)。例えば、画像生成部10は、画像内全体、所定領域毎、所定画素毎に、色相および/または明るさを所定値毎に変化させた複数の画像を生成する。これにより、管腔内画像において発生し得る色味を加味しつつ、色または明るさを変化させた新たな画像を生成することができる。ステップS204の後、画像処理装置1は、本処理を終了する。
以上説明した本発明の実施の形態2によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習サンプルを生成することができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態3に係る画像処理装置は、上述した実施の形態2に係る演算部7aの構成と異なる。以下においては、本実施の形態3に係る演算部の構成について説明する。なお、上述した実施の形態2に係る画像処理装置1と同一の構成には同一の符号を付して説明を省略する。
〔演算部の構成〕
図6は、本実施の形態3に係る演算部の構成を示すブロック図である。図6に示す演算部7bは、画像生成部10と、範囲決定部20bと、学習部50と、を備える。
範囲決定部20bは、上述した実施の形態2に係る管腔内体液情報算出部30に加えて、管腔内画像の臓器種別を判別する臓器判別部40と、を有する。
学習部50は、画像生成部10によって生成された新たな画像に基づいて、対象認識を行うための認識基準を学習する。
〔画像処理装置の処理〕
次に、本実施の形態3に係る画像処理装置1が実行する画像処理方法について説明する。図7は、画像処理装置1が実行する処理の概要を示すフローチャートである。図7のステップS401〜ステップS403は、上述した図4のステップS301〜ステップS303それぞれに対応する。
ステップS404において、臓器判別部40は、管腔内画像の臓器種別を判別する。臓器種別の判別方法としては、例えば特開2006−288612号に記載されている管腔内画像のR値、G値およびB値それぞれの平均値に基づいて、臓器種別を判別する方法を用いる。具体的には、臓器判別部40は、まず、事前に胃、小腸および大腸それぞれの画像内におけるR値、G値およびB値の平均値の数値を決定する。その後、臓器判別部40は、管腔内画像におけるR値、G値およびB値それぞれの平均値が胃の数値範囲内であれば、判別対象の管腔内画像を胃と判別し、小腸の数値範囲内であれば、判別対象の管腔内画像を小腸と判別し、大腸の数値範囲内であれば、判別対象の管腔内画像を大腸と判別する。
続いて、画像生成部10は、範囲決定部20bによって決定された色範囲に基づいて、色相および/または明るさを変化させた新たな画像を生成する(ステップS405)。具体的には、画像生成部10は、画像内全体、所定領域毎、所定画素毎に、色相および/または明るさを所定値毎に変化させた複数の画像を生成する。この場合、画像生成部10は、上述したステップS404において、臓器判別部40によって管腔内画像の臓器種別が胃であると判別したとき、管腔内画像に胆汁が存在しないので、胆汁を含む体液の色範囲については、新たな画像を生成する際に用いる色範囲の生成対象から除外する。
その後、学習部50は、画像生成部10によって生成された新たな画像および画像取得部2を介して取得したオリジナルの管腔内画像に基づいて、特徴量算出を行い、公知のSVM(アドコム・メディア株式会社:コンピュータビジョン最先端ガイド3:P95〜P102参照)等により、認識基準を作成する(ステップS406)。ステップS406の後、画像処理装置1は、本処理を終了する。
以上説明した本発明の実施の形態3によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習結果を得ることができる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。本実施の形態4に係る画像処理装置は、上述した実施の形態3に係る演算部7bの構成と異なる。以下においては、本実施の形態4に係る演算部の構成について説明する。なお、上述した実施の形態3に係る画像処理装置1と同一の構成には同一の符号を付して説明を省略する。
〔演算部の構成〕
図8は、本実施の形態4に係る演算部の構成を示すブロック図である。図8に示す演算部7cは、上述した実施の形態3に係る演算部7bの構成に加えて、学習部50が学習した認識基準に基づいて、対象認識を行う認識部60と、領域分割を行う領域分割部70と、をさらに備える。このうち、領域分割部70は、体液の情報に基づいて、領域を分割する体液領域分割部80を有する。
〔画像処理装置の処理〕
次に、本実施の形態4に係る画像処理装置1が実行する処理について説明する。図9は、本実施の形態4に係る画像処理装置1が実行するフローチャートである。図9において、ステップS501〜ステップS504は、上述した図7のステップS401〜ステップS404それぞれに対応する。
ステップS505において、領域分割部70は、体液の有無による領域分割を行う。具体的には、まず、領域分割部70は、事前に体液ありの管腔内画像のR値、G値およびB値それぞれを決定し、かつ、体液なしの管腔内画像のR値、G値およびB値それぞれを決定する。その後、領域分割部70は、管腔内画像における各画素のR値、G値およびB値が体液ありの数値範囲内であれば、体液ありと判別し、体液なしの数値範囲内であれば体液なしと判別する。そして、領域分割部70は、体液あり、体液なしの情報に基づいて、公知のラベリング処理を行うことによって、領域を分割する。
続いて、画像生成部10は、ステップS503における範囲情報、ステップS504における臓器種別および上述したステップS505における領域分割結果に基づいて、色相および/または明るさを変化させた新たな画像を生成する(ステップS506)。具体的には、画像生成部10は、上述したステップS505における領域分割結果を利用して、体液ありの領域のみ色相を所定値毎に変化させた新たな複数の画像を生成する。この場合、画像生成部10は、ステップS504において、管腔内画像が胃であると判別されているとき、胆汁が存在しないので、胆汁を含む体液の色範囲について新たな画像の生成から除外する。
その後、学習部50は、画像生成部10によって生成された新たな画像および画像取得部2を介して取得したオリジナルの管腔内画像に基づいて、特徴量算出を行い、公知のSVM等により、認識基準を作成する(ステップS507)。
続いて、認識部60は、学習部50が作成した認識基準によって対象認識を行う(ステップS508)。ステップS508の後、画像処理装置1は、本処理を終了する。
以上説明した本発明の実施の形態4によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習結果を得ることができる。
(その他の実施の形態)
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク(LAN)、広域エリアネットワーク(WAN)、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態1〜3およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態1〜4に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
1 画像処理装置
2 画像取得部
3 入力部
4 表示部
5 記録部
6 制御部
7,7a,7b,7c 演算部
10 画像生成部
20,20a,20b 範囲決定部
30 管腔内体液情報算出部
40 臓器判別部
50 学習部
51 画像処理プログラム
60 認識部
70 領域分割部
80 体液領域分割部
301 血液色情報算出部
302 胆汁色情報算出部
303 体液有無色情報算出部
304 薬剤色情報算出部

Claims (18)

  1. 生体の管腔内画像を取得する画像取得部と、
    前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習部をさらに備えたことを特徴とする請求項1に記載の画像処理装置。
  3. 前記認識基準に基づいて、対象認識を行う認識部をさらに備えたことを特徴とする請求項2に記載の画像処理装置。
  4. 前記管腔内画像に含まれる生体情報に基づいて、前記画像生成部が前記複数の画像を生成する際の前記範囲情報を決定する範囲決定部をさらに備えたことを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。
  5. 前記範囲決定部は、前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出部を有することを特徴とする請求項4に記載の画像処理装置。
  6. 前記管腔内体液情報算出部は、血液の色範囲に関する情報を算出する血液色情報算出部を有することを特徴とする請求項5に記載の画像処理装置。
  7. 前記血液色情報算出部は、血液の色範囲に関する情報に基づいて、赤色の色範囲を決定することを特徴とする請求項6に記載の画像処理装置。
  8. 前記管腔内体液情報算出部は、胆汁の色範囲に関する情報を算出する胆汁色情報算出部を有することを特徴とする請求項5に記載の画像処理装置。
  9. 前記胆汁色情報算出部は、胆汁の色範囲に関する情報に基づいて、黄色の色範囲を決定することを特徴とする請求項8に記載の画像処理装置。
  10. 前記管腔内体液情報算出部は、体液の有無による色範囲に関する情報を算出する体液有無色情報算出部を有することを特徴とする請求項5に記載の画像処理装置。
  11. 前記体液有無色情報算出部は、体液の有無による色範囲に関する情報に基づいて、赤色の色範囲および明るさを決定することを特徴とする請求項10に記載の画像処理装置。
  12. 前記管腔内体液情報算出部は、薬剤の色範囲に関する情報を算出する薬剤色情報算出部を有することを特徴とする請求項5に記載の画像処理装置。
  13. 前記範囲決定部は、前記管腔内画像の臓器種類を判別する臓器判別部をさらに有し、
    前記管腔内体液情報算出部は、前記臓器判別部によって判別された臓器種類に基づいて、体液の種類を決定することを特徴とする請求項5に記載の画像処理装置。
  14. 前記管腔内画像を所定の領域毎に分割する領域分割部をさらに備え、
    前記画像生成部は、前記領域分割部が分割した領域毎に色相および/または明るさを変化させた前記複数の画像を生成することを特徴とする請求項1に記載の画像処理装置。
  15. 前記領域分割部は、体液の情報に基づいて領域を分割する体液領域分割部を有することを特徴とする請求項14に記載の画像処理装置。
  16. 生体の管腔内画像を取得する画像取得部と、
    前記管腔内画像の色相および/または明るさを前記管腔内画像に含まれる生体情報に応じて予め設定された範囲情報から所定値毎に変化させることで新たに生成された複数の画像に基づいて学習される識別基準に基づき対象認識を行う識別部と、
    を備えたことを特徴とする画像処理装置。
  17. 画像処理装置が実行する画像処理方法であって、
    生体の管腔内画像を取得する画像取得ステップと、
    前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、
    を含むことを特徴とする画像処理方法。
  18. 画像処理装置に、
    生体の管腔内画像を取得する画像取得ステップと、
    前記管腔内画像に含まれる生体情報に応じて予め色相および/または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および/または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、
    を実行させることを特徴とするプログラム。
JP2017557592A 2015-12-24 2015-12-24 画像処理装置、画像処理方法およびプログラム Active JP6807869B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/086086 WO2017109904A1 (ja) 2015-12-24 2015-12-24 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017109904A1 true JPWO2017109904A1 (ja) 2018-10-11
JP6807869B2 JP6807869B2 (ja) 2021-01-06

Family

ID=59091043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557592A Active JP6807869B2 (ja) 2015-12-24 2015-12-24 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10748279B2 (ja)
JP (1) JP6807869B2 (ja)
CN (1) CN108697310B (ja)
WO (1) WO2017109904A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017211A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 医用画像学習装置、医用画像学習方法、及びプログラム
CN112584738B (zh) * 2018-08-30 2024-04-23 奥林巴斯株式会社 记录装置、图像观察装置、观察系统、观察系统的控制方法及存储介质
JP7176614B2 (ja) * 2019-03-27 2022-11-22 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
KR102372987B1 (ko) * 2020-03-18 2022-03-11 라온피플 주식회사 불량 이미지 생성 장치 및 방법
KR102272497B1 (ko) * 2020-07-31 2021-07-02 (주)딥인사이트 객체 중심 데이터 증강 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347817B2 (ja) * 1993-06-22 2002-11-20 株式会社ビュープラス 画像認識装置
JP2007236957A (ja) * 2007-03-16 2007-09-20 Olympus Corp 内視鏡診断支援装置及び内視鏡画像処理方法
US20120288186A1 (en) * 2011-05-12 2012-11-15 Microsoft Corporation Synthesizing training samples for object recognition
JP2013240701A (ja) * 2013-08-05 2013-12-05 Olympus Corp 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP2014023566A (ja) * 2012-07-24 2014-02-06 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2015173827A (ja) * 2014-03-14 2015-10-05 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347817B2 (ja) * 1993-06-22 2002-11-20 株式会社ビュープラス 画像認識装置
JP2007236957A (ja) * 2007-03-16 2007-09-20 Olympus Corp 内視鏡診断支援装置及び内視鏡画像処理方法
US20120288186A1 (en) * 2011-05-12 2012-11-15 Microsoft Corporation Synthesizing training samples for object recognition
JP2014023566A (ja) * 2012-07-24 2014-02-06 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2013240701A (ja) * 2013-08-05 2013-12-05 Olympus Corp 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP2015173827A (ja) * 2014-03-14 2015-10-05 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
US20180365830A1 (en) 2018-12-20
US10748279B2 (en) 2020-08-18
CN108697310A (zh) 2018-10-23
JP6807869B2 (ja) 2021-01-06
CN108697310B (zh) 2020-12-11
WO2017109904A1 (ja) 2017-06-29

Similar Documents

Publication Publication Date Title
US11376094B2 (en) Enhanced video enabled software tools for medical environments
US12059125B2 (en) Systems and methods for generating and displaying a study of a stream of in-vivo images
WO2017109904A1 (ja) 画像処理装置、画像処理方法およびプログラム
KR20210107667A (ko) 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체
US8502861B2 (en) Image display apparatus
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
EP3936026B1 (en) Medical image processing device, processor device, endoscopic system, medical image processing method, and program
US11600003B2 (en) Image processing apparatus and control method for an image processing apparatus that extract a region of interest based on a calculated confidence of unit regions and a modified reference value
US9530205B2 (en) Polyp detection apparatus and method of operating the same
JP2015173827A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
JP5822545B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2006296569A (ja) 画像表示装置
US20220222820A1 (en) Image processing apparatus, image processing method, and program
US20240296561A1 (en) Systems and Methods for Detecting Potential Malignancies
Zhou et al. A convolutional neural network-based system for detecting early gastric cancer in white-light endoscopy
JP2020054444A (ja) 口腔癌診断システム及び口腔癌診断プログラム
Sengun et al. Artificial Intelligence in Minimally Invasive Adrenalectomy: Using Deep Learning to Identify the Left Adrenal Vein
JP7265805B2 (ja) 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体
KR20160115269A (ko) 건강검진 정보 제공 애플리케이션 및 시스템
Fisher et al. Colour image analysis of wireless capsule endoscopy video: A review
WO2016056408A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US12011143B2 (en) Enhanced video enabled software tools for medical environments
US20230122280A1 (en) Systems and methods for providing visual indicators during colonoscopy
KR20230097945A (ko) 병리 슬라이드 이미지를 출력하는 방법 및 장치.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200501

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200525

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200526

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200612

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200616

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200707

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201013

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201110

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201208

R151 Written notification of patent or utility model registration

Ref document number: 6807869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250