JP6807869B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6807869B2 JP6807869B2 JP2017557592A JP2017557592A JP6807869B2 JP 6807869 B2 JP6807869 B2 JP 6807869B2 JP 2017557592 A JP2017557592 A JP 2017557592A JP 2017557592 A JP2017557592 A JP 2017557592A JP 6807869 B2 JP6807869 B2 JP 6807869B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- range
- intraluminal
- information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 86
- 238000003672 processing method Methods 0.000 title claims description 11
- 210000001124 body fluid Anatomy 0.000 claims description 59
- 239000010839 body fluid Substances 0.000 claims description 59
- 210000000056 organ Anatomy 0.000 claims description 26
- 210000000941 bile Anatomy 0.000 claims description 22
- 239000008280 blood Substances 0.000 claims description 18
- 210000004369 blood Anatomy 0.000 claims description 18
- 239000003814 drug Substances 0.000 claims description 14
- 229940079593 drug Drugs 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 4
- 239000012530 fluid Substances 0.000 claims 4
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000001727 in vivo Methods 0.000 description 7
- 210000002784 stomach Anatomy 0.000 description 5
- 230000006854 communication Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000002429 large intestine Anatomy 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000813 small intestine Anatomy 0.000 description 3
- BPYKTIZUTYGOLE-IFADSCNNSA-N Bilirubin Chemical compound N1C(=O)C(C)=C(C=C)\C1=C\C1=C(C)C(CCC(O)=O)=C(CC2=C(C(C)=C(\C=C/3C(=C(C=C)C(=O)N\3)C)N2)CCC(O)=O)N1 BPYKTIZUTYGOLE-IFADSCNNSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000008141 laxative Substances 0.000 description 2
- 230000002475 laxative effect Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Description
本発明は、生体の管腔内を撮像することによって取得された画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
従来、内視鏡等の医療用観察装置を用いて生体の管腔内（消化管内）を撮像する管腔内画像に対し、識別基準を用いて異常領域等の特定領域を検出する技術が知られている。この際に用いられる識別基準は、通常、学習サンプルとして管腔内画像から抽出された様々なバリエーションの粘膜領域または異常領域の画像をもとに作成される。
画像の識別に関する技術として、例えば特許文献１には、学習サンプルとして取得した画像に対し、任意の注目領域の位置、方向、外観を変更したり、注目領域を拡大縮小または回転させたりといった幾何学的な処理を行うことにより新たな画像を生成し、新たな画像および元の画像から特徴量を算出して識別基準を作成する技術が開示されている。
しかしながら、上述した特許文献１に開示された技術を管腔内画像に適用しようとした場合、管腔内画像において発生し得ない明るさ、または色相を持った学習サンプルが生成されてしまうという問題点があった。
本発明は、上記に鑑みてなされたものであって、管腔内画像において発生し得る色味を持った学習サンプルを生成することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内画像を取得する画像取得部と、前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成部と、を備えたことを特徴とする。
また、本発明に係る画像処理装置は、生体の管腔内画像を取得する画像取得部と、前記管腔内画像の色相および／または明るさを前記管腔内画像に含まれる生体情報に応じて予め設定された範囲情報から所定値毎に変化させることで新たに生成された複数の画像に基づいて学習される識別基準に基づき対象認識を行う識別部と、を備えたことを特徴とする。
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、生体の管腔内画像を取得する画像取得ステップと、前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像処理装置に、生体の管腔内画像を取得する画像取得ステップと、前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、を実行させることを特徴とする。
本発明によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるという効果を奏する。
以下、本発明の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。
（実施の形態１）
〔画像処理装置の構成〕
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、生体の管腔を撮像することにより取得された管腔内画像の生体情報に基づいて、管腔内画像の色又は明るさを変化させた新たな画像（仮想画像や学習サンプル）を生成する画像処理を実行する装置である。ここで、管腔内画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。
〔画像処理装置の構成〕
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、生体の管腔を撮像することにより取得された管腔内画像の生体情報に基づいて、管腔内画像の色又は明るさを変化させた新たな画像（仮想画像や学習サンプル）を生成する画像処理を実行する装置である。ここで、管腔内画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。
図１に示す画像処理装置１は、内視鏡によって撮像された管腔内画像に対応する画像データを内視鏡または外部から出力する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、管腔内画像や各種表示を行う表示部４と、画像取得部２によって取得された画像データや各種のプログラムを記録する記録部５と、画像処理装置１全体の動作を制御する制御部６と、画像データに対して所定の画像処理を行う演算部７と、を備える。
画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部２は、内視鏡によって撮像された画像データをサーバによって記録する場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部２は、内視鏡からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。
入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部６へ出力する。
表示部４は、液晶や有機ＥＬ（Electro Luminescence）の表示パネル等の表示装置によって実現され、制御部６の制御のもと、管腔内画像を含む各種画面を表示する。
記録部５は、フラッシュメモリ、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部５は、画像取得部２によって取得された画像データの他、画像処理装置１を動作させるとともに、種々の機能を画像処理装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部５は、管腔内画像の色または明るさを変化させた新たな画像（学習サンプル）を生成するための画像処理プログラム５１、後述する演算部７が管腔内画像の生体情報に基づいて、管腔内画像の色相および／または明るさを変化させた新たな画像を生成するために、管腔内画像の生体情報に基づく色相および／または明るさの範囲を設定した範囲情報、および、このプログラムの実行中に使用される種々の情報等を記録する。
制御部６は、ＣＰＵ（Central Processing Unit）等を用いて実現され、記録部５に記録された各種プログラムを読み込むことにより、画像取得部２から入力される画像データや入力部３から入力される入力信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
演算部７は、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラム５１を読み込むことによって管腔内画像の生体情報に基づいて、管腔内画像の色または明るさを変化させた新たな画像を生成する画像処理を実行する。
〔演算部の構成〕
次に、演算部７の詳細な構成について説明する。演算部７は、画像生成部１０を有する。画像生成部１０は、管腔内画像の生体情報に基づいて、管腔内画像の色または明るさを変化させた新たな画像を生成する。
次に、演算部７の詳細な構成について説明する。演算部７は、画像生成部１０を有する。画像生成部１０は、管腔内画像の生体情報に基づいて、管腔内画像の色または明るさを変化させた新たな画像を生成する。
〔画像処理装置の処理〕
次に、画像処理装置１が実行する画像処理方法について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。
次に、画像処理装置１が実行する画像処理方法について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。
図２に示すように、まず、画像生成部１０は、画像取得部２を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得する（ステップＳ１０１）。
続いて、画像生成部１０は、管腔内画像の生体情報に基づく色相および／または明るさの範囲を設定した範囲情報を取得する（ステップＳ１０２）。
その後、画像生成部１０は、ステップＳ１０１において取得した管腔内画像とステップＳ１０２において取得した範囲情報とに基づいて、管腔内画像の色または明るさを所定の間隔によって変化させて新たな複数の画像を生成し、この生成した複数の画像を記録部５に記録または表示部４に表示させる（ステップＳ１０３）。なお、画像生成部１０は、新たに生成した複数の画像を、学習機能や識別機能を有する外部装置へ出力するようにしてもよい。ステップＳ１０３の後、画像処理装置１は、本処理を終了する。
以上説明した本発明の実施の形態１によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１における演算部７の構成と異なる。以下においては、本実施の形態２に係る演算部の構成について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態２について説明する。本実施の形態２に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１における演算部７の構成と異なる。以下においては、本実施の形態２に係る演算部の構成について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
〔演算部の構成〕
図３は、本実施の形態２に係る演算部の構成を示すブロック図である。図３に示す演算部７ａは、画像生成部１０と、範囲決定部２０と、を備える。
図３は、本実施の形態２に係る演算部の構成を示すブロック図である。図３に示す演算部７ａは、画像生成部１０と、範囲決定部２０と、を備える。
範囲決定部２０は、生体情報に基づいて、色または明るさの範囲を決定する範囲情報を生成する。範囲決定部２０は、生体内管腔における体液の情報を算出する管腔内体液情報算出部３０を有する。
管腔内体液情報算出部３０は、血液色情報算出部３０１と、胆汁色情報算出部３０２と、体液有無色情報算出部３０３と、薬剤色情報算出部３０４と、を有する。
血液色情報算出部３０１は、血液の色範囲に関する情報を決定する。具体的には、血液色情報算出部３０１は、赤色の色範囲を決定する。
胆汁色情報算出部３０２は、胆汁の色範囲に関する情報を決定する。具体的には、胆汁色情報算出部３０２は、黄色の色範囲を決定する。
体液有無色情報算出部３０３は、体液の有無による色範囲に関する情報を決定する。具体的には、体液の有無による色範囲に関する情報に基づいて、赤色の色範囲および明るさを決定する。
薬剤色情報算出部３０４は、薬剤の色範囲に関する情報を決定する。具体的には、薬剤色情報算出部３０４は、下剤の種別情報に基づいて、白色の色範囲および明るさを決定する。
〔画像処理装置の処理〕
次に、本実施の形態２に係る画像処理装置１が実行する画像処理方法について説明する。図４は、画像処理装置１が実行する処理の概要を示すフローチャートである。
次に、本実施の形態２に係る画像処理装置１が実行する画像処理方法について説明する。図４は、画像処理装置１が実行する処理の概要を示すフローチャートである。
図４に示すように、まず、画像生成部１０は、画像取得部２を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得し、取得した管腔内画像を記録部５に記録する（ステップＳ２０１）。
続いて、画像生成部１０は、管腔内画像を色変換する（ステップＳ２０２）。具体的には、画像生成部１０は、管腔内画像をＲＧＢ画像からＨＳＶ画像に色変換する。なお、色変換の方法としては、ＨＳＶに限定されるものではなく、例えば色相および明るさを表現可能なＬａｂ、ＨＬＳ、ＹＵＶ等の他の色変換を用いてもよい。
その後、範囲決定部２０は、画像生成部１０が管腔内画像に基づいて、色相および明るさを変化させた新たな画像を生成するための範囲情報を決定する範囲決定処理を実行する（ステップＳ２０３）。
〔範囲決定処理〕
図５は、図４のステップＳ２０３における範囲決定処理の詳細を示すフローチャートである。
図５は、図４のステップＳ２０３における範囲決定処理の詳細を示すフローチャートである。
図５に示すように、血液色情報算出部３０１は、血液の色範囲に関する情報を算出する（ステップＳ３０１）。具体的には、血液の構成成分であるヘモグロビンの吸収波長は、Ｇ値またはＢ値を形成する中波長から短波長の帯域にあるため、体内管腔にある体液に血液が混じった場合、Ｒ値に対して、Ｇ値およびＢ値が低い赤色系の色となる。そこで、本実施の形態２では、生体内管腔における体液に血液が混在している画像を事前に収集しておき、血液が混在している場合のＨ（色相）範囲を推定する。即ち、血液色情報算出部３０１は、予め推定された血液が混在している場合のＨ範囲に基づいて、血液の色範囲を決定する。
続いて、胆汁色情報算出部３０２は、胆汁の色範囲に関する情報を算出する（ステップＳ３０２）。具体的には、胆汁の構成成分であるビリルビンの吸収波長は、Ｂ値を形成する短波長の帯域にあるため、生体内管腔にある体液に胆汁が混じると、Ｂ値に対して、Ｒ値およびＧ値が高い黄色系の色になる。そこで、本実施の形態２では、生体内管腔における体液に胆汁が混在している画像を事前に収集しておき、胆汁が混在している場合のＨ（色相）範囲を推定する。即ち、胆汁色情報算出部３０２は、予め推定された胆汁が混在している場合のＨ範囲に基づいて、胆汁の色範囲を決定する。
その後、体液有無色情報算出部３０３は、体液の有無による色範囲に関する情報を算出する（ステップＳ３０３）。カプセル型内視鏡では、多くの場合、生体内管腔に体液がある状態で画像が撮像されるが、軟性型内視鏡では、生体内管腔に体液がない状態で画像が撮像される。体液がない状態で撮像した画像は、生体内管腔を介して撮像した画像と比べて、赤黒い画像（赤くて、暗い画像）になる傾向がある。そこで、本実施の形態２では、体液がない状態で撮像した画像および体液を通して撮像した画像をそれぞれ事前に収集しておき、体液がない状態の場合のＨ（色相）範囲および体液がある状態の場合のＨ（色相）範囲およびＶ範囲（明るさ）それぞれを推定する。即ち、体液有無色情報算出部３０３は、予め推定された体液がない状態のＨ範囲およびＶ範囲に基づいて、体液がない状態の色範囲を決定し、かつ、予め推定された体液がある状態のＨ範囲およびＶ範囲に基づいて、体液がある状態の色範囲を決定する。
続いて、薬剤色情報算出部３０４は、薬剤の色範囲に関する情報を算出する（ステップＳ３０４）。そこで、本実施の形態２では、検査対象者が服用する薬剤（例えば、下剤、蠕動促進剤およびブースタ等）が混在した画像を事前に収集しておき、薬剤が混在した場合のＨ（色相）範囲を推定する。即ち、薬剤色情報算出部３０４は、予め推定された薬剤が混入された状態のＨ（色相）範囲に基づいて、薬剤の色範囲を決定する。ステップＳ３０４の後、画像処理装置１は、図４のメインルーチンへ戻る。
続いて、画像生成部１０は、ステップＳ２０１において取得した管腔内画像とステップＳ２０３において範囲決定部２０が決定した色範囲情報とに基づいて、色相および明るさを変化させた新たな画像を生成する（ステップＳ２０４）。例えば、画像生成部１０は、画像内全体、所定領域毎、所定画素毎に、色相および／または明るさを所定値毎に変化させた複数の画像を生成する。これにより、管腔内画像において発生し得る色味を加味しつつ、色または明るさを変化させた新たな画像を生成することができる。ステップＳ２０４の後、画像処理装置１は、本処理を終了する。
以上説明した本発明の実施の形態２によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習サンプルを生成することができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る画像処理装置は、上述した実施の形態２に係る演算部７ａの構成と異なる。以下においては、本実施の形態３に係る演算部の構成について説明する。なお、上述した実施の形態２に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態３について説明する。本実施の形態３に係る画像処理装置は、上述した実施の形態２に係る演算部７ａの構成と異なる。以下においては、本実施の形態３に係る演算部の構成について説明する。なお、上述した実施の形態２に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
〔演算部の構成〕
図６は、本実施の形態３に係る演算部の構成を示すブロック図である。図６に示す演算部７ｂは、画像生成部１０と、範囲決定部２０ｂと、学習部５０と、を備える。
図６は、本実施の形態３に係る演算部の構成を示すブロック図である。図６に示す演算部７ｂは、画像生成部１０と、範囲決定部２０ｂと、学習部５０と、を備える。
範囲決定部２０ｂは、上述した実施の形態２に係る管腔内体液情報算出部３０に加えて、管腔内画像の臓器種別を判別する臓器判別部４０と、を有する。
学習部５０は、画像生成部１０によって生成された新たな画像に基づいて、対象認識を行うための認識基準を学習する。
〔画像処理装置の処理〕
次に、本実施の形態３に係る画像処理装置１が実行する画像処理方法について説明する。図７は、画像処理装置１が実行する処理の概要を示すフローチャートである。図７のステップＳ４０１〜ステップＳ４０３は、上述した図４のステップＳ３０１〜ステップＳ３０３それぞれに対応する。
次に、本実施の形態３に係る画像処理装置１が実行する画像処理方法について説明する。図７は、画像処理装置１が実行する処理の概要を示すフローチャートである。図７のステップＳ４０１〜ステップＳ４０３は、上述した図４のステップＳ３０１〜ステップＳ３０３それぞれに対応する。
ステップＳ４０４において、臓器判別部４０は、管腔内画像の臓器種別を判別する。臓器種別の判別方法としては、例えば特開２００６−２８８６１２号に記載されている管腔内画像のＲ値、Ｇ値およびＢ値それぞれの平均値に基づいて、臓器種別を判別する方法を用いる。具体的には、臓器判別部４０は、まず、事前に胃、小腸および大腸それぞれの画像内におけるＲ値、Ｇ値およびＢ値の平均値の数値を決定する。その後、臓器判別部４０は、管腔内画像におけるＲ値、Ｇ値およびＢ値それぞれの平均値が胃の数値範囲内であれば、判別対象の管腔内画像を胃と判別し、小腸の数値範囲内であれば、判別対象の管腔内画像を小腸と判別し、大腸の数値範囲内であれば、判別対象の管腔内画像を大腸と判別する。
続いて、画像生成部１０は、範囲決定部２０ｂによって決定された色範囲に基づいて、色相および／または明るさを変化させた新たな画像を生成する（ステップＳ４０５）。具体的には、画像生成部１０は、画像内全体、所定領域毎、所定画素毎に、色相および／または明るさを所定値毎に変化させた複数の画像を生成する。この場合、画像生成部１０は、上述したステップＳ４０４において、臓器判別部４０によって管腔内画像の臓器種別が胃であると判別したとき、管腔内画像に胆汁が存在しないので、胆汁を含む体液の色範囲については、新たな画像を生成する際に用いる色範囲の生成対象から除外する。
その後、学習部５０は、画像生成部１０によって生成された新たな画像および画像取得部２を介して取得したオリジナルの管腔内画像に基づいて、特徴量算出を行い、公知のＳＶＭ（アドコム・メディア株式会社：コンピュータビジョン最先端ガイド３：Ｐ９５〜Ｐ１０２参照）等により、認識基準を作成する（ステップＳ４０６）。ステップＳ４０６の後、画像処理装置１は、本処理を終了する。
以上説明した本発明の実施の形態３によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習結果を得ることができる。
（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４に係る画像処理装置は、上述した実施の形態３に係る演算部７ｂの構成と異なる。以下においては、本実施の形態４に係る演算部の構成について説明する。なお、上述した実施の形態３に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
次に、本発明の実施の形態４について説明する。本実施の形態４に係る画像処理装置は、上述した実施の形態３に係る演算部７ｂの構成と異なる。以下においては、本実施の形態４に係る演算部の構成について説明する。なお、上述した実施の形態３に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
〔演算部の構成〕
図８は、本実施の形態４に係る演算部の構成を示すブロック図である。図８に示す演算部７ｃは、上述した実施の形態３に係る演算部７ｂの構成に加えて、学習部５０が学習した認識基準に基づいて、対象認識を行う認識部６０と、領域分割を行う領域分割部７０と、をさらに備える。このうち、領域分割部７０は、体液の情報に基づいて、領域を分割する体液領域分割部８０を有する。
図８は、本実施の形態４に係る演算部の構成を示すブロック図である。図８に示す演算部７ｃは、上述した実施の形態３に係る演算部７ｂの構成に加えて、学習部５０が学習した認識基準に基づいて、対象認識を行う認識部６０と、領域分割を行う領域分割部７０と、をさらに備える。このうち、領域分割部７０は、体液の情報に基づいて、領域を分割する体液領域分割部８０を有する。
〔画像処理装置の処理〕
次に、本実施の形態４に係る画像処理装置１が実行する処理について説明する。図９は、本実施の形態４に係る画像処理装置１が実行するフローチャートである。図９において、ステップＳ５０１〜ステップＳ５０４は、上述した図７のステップＳ４０１〜ステップＳ４０４それぞれに対応する。
次に、本実施の形態４に係る画像処理装置１が実行する処理について説明する。図９は、本実施の形態４に係る画像処理装置１が実行するフローチャートである。図９において、ステップＳ５０１〜ステップＳ５０４は、上述した図７のステップＳ４０１〜ステップＳ４０４それぞれに対応する。
ステップＳ５０５において、領域分割部７０は、体液の有無による領域分割を行う。具体的には、まず、領域分割部７０は、事前に体液ありの管腔内画像のＲ値、Ｇ値およびＢ値それぞれを決定し、かつ、体液なしの管腔内画像のＲ値、Ｇ値およびＢ値それぞれを決定する。その後、領域分割部７０は、管腔内画像における各画素のＲ値、Ｇ値およびＢ値が体液ありの数値範囲内であれば、体液ありと判別し、体液なしの数値範囲内であれば体液なしと判別する。そして、領域分割部７０は、体液あり、体液なしの情報に基づいて、公知のラベリング処理を行うことによって、領域を分割する。
続いて、画像生成部１０は、ステップＳ５０３における範囲情報、ステップＳ５０４における臓器種別および上述したステップＳ５０５における領域分割結果に基づいて、色相および／または明るさを変化させた新たな画像を生成する（ステップＳ５０６）。具体的には、画像生成部１０は、上述したステップＳ５０５における領域分割結果を利用して、体液ありの領域のみ色相を所定値毎に変化させた新たな複数の画像を生成する。この場合、画像生成部１０は、ステップＳ５０４において、管腔内画像が胃であると判別されているとき、胆汁が存在しないので、胆汁を含む体液の色範囲について新たな画像の生成から除外する。
その後、学習部５０は、画像生成部１０によって生成された新たな画像および画像取得部２を介して取得したオリジナルの管腔内画像に基づいて、特徴量算出を行い、公知のＳＶＭ等により、認識基準を作成する（ステップＳ５０７）。
続いて、認識部６０は、学習部５０が作成した認識基準によって対象認識を行う（ステップＳ５０８）。ステップＳ５０８の後、画像処理装置１は、本処理を終了する。
以上説明した本発明の実施の形態４によれば、管腔内画像において発生し得る色味を持った学習サンプルを生成することができるので、適切な学習結果を得ることができる。
（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態１〜４に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
１ 画像処理装置
２ 画像取得部
３ 入力部
４ 表示部
５ 記録部
６ 制御部
７,７ａ,７ｂ,７ｃ 演算部
１０ 画像生成部
２０,２０ａ,２０ｂ 範囲決定部
３０ 管腔内体液情報算出部
４０ 臓器判別部
５０ 学習部
５１ 画像処理プログラム
６０ 認識部
７０ 領域分割部
８０ 体液領域分割部
３０１ 血液色情報算出部
３０２ 胆汁色情報算出部
３０３ 体液有無色情報算出部
３０４ 薬剤色情報算出部
２ 画像取得部
３ 入力部
４ 表示部
５ 記録部
６ 制御部
７,７ａ,７ｂ,７ｃ 演算部
１０ 画像生成部
２０,２０ａ,２０ｂ 範囲決定部
３０ 管腔内体液情報算出部
４０ 臓器判別部
５０ 学習部
５１ 画像処理プログラム
６０ 認識部
７０ 領域分割部
８０ 体液領域分割部
３０１ 血液色情報算出部
３０２ 胆汁色情報算出部
３０３ 体液有無色情報算出部
３０４ 薬剤色情報算出部
Claims (15)
- 生体の管腔内画像を取得する画像取得部と、
前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成部と、
前記管腔内画像に含まれる生体情報に基づいて、前記画像生成部が前記複数の画像を生成する際の前記範囲情報を決定する範囲決定部と、
前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習部と
を備え、
前記範囲決定部は、
前記管腔内画像の臓器種類を判別する臓器判別部と、
前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出部と
を有し、
前記画像生成部は、前記臓器判別部によって判別された臓器種類に応じた前記体液の有無によって定まる色相および／または明るさに応じた前記範囲情報に基づいて、前記新たな複数の画像を生成することを特徴とする画像処理装置。 - 前記認識基準に基づいて、対象認識を行う認識部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
- 前記管腔内体液情報算出部は、血液の色範囲に関する情報を算出する血液色情報算出部を有することを特徴とする請求項１に記載の画像処理装置。
- 前記血液色情報算出部は、血液の色範囲に関する情報に基づいて、赤色の色範囲を決定することを特徴とする請求項３に記載の画像処理装置。
- 前記管腔内体液情報算出部は、胆汁の色範囲に関する情報を算出する胆汁色情報算出部を有することを特徴とする請求項１に記載の画像処理装置。
- 前記胆汁色情報算出部は、胆汁の色範囲に関する情報に基づいて、黄色の色範囲を決定することを特徴とする請求項５に記載の画像処理装置。
- 前記管腔内体液情報算出部は、体液の有無による色範囲に関する情報を算出する体液有無色情報算出部を有することを特徴とする請求項１に記載の画像処理装置。
- 前記体液有無色情報算出部は、体液の有無による色範囲に関する情報に基づいて、赤色の色範囲および明るさを決定することを特徴とする請求項７に記載の画像処理装置。
- 前記管腔内体液情報算出部は、薬剤の色範囲に関する情報を算出する薬剤色情報算出部を有することを特徴とする請求項１に記載の画像処理装置。
- 前記管腔内体液情報算出部は、前記臓器判別部によって判別された臓器種類に基づいて、体液の種類を決定することを特徴とする請求項１に記載の画像処理装置。
- 前記管腔内画像を所定の領域毎に分割する領域分割部をさらに備え、
前記画像生成部は、前記領域分割部が分割した領域毎に色相および／または明るさを変化させた前記複数の画像を生成することを特徴とする請求項１に記載の画像処理装置。 - 前記領域分割部は、体液の情報に基づいて領域を分割する体液領域分割部を有することを特徴とする請求項１１に記載の画像処理装置。
- 前記学習部が学習した前記認識基準に基づき対象認識を行う識別部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
生体の管腔内画像を取得する画像取得ステップと、
前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、
前記管腔内画像に含まれる生体情報に基づいて、前記画像生成ステップにおいて前記複数の画像を生成する際の前記範囲情報を決定する範囲決定ステップと、
前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習ステップと、
を含み、
前記範囲決定ステップは、
前記管腔内画像の臓器種類を判別する臓器判別ステップと、
前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出ステップと、
を含み、
前記画像生成ステップは、前記臓器判別ステップによって判別された判別された臓器種類に応じた前記体液の有無によって定まる色相および／または明るさに応じた前記範囲情報に基づいて、前記新たな複数の画像を生成することを特徴とする画像処理方法。 - 画像処理装置に、
生体の管腔内画像を取得する画像取得ステップと、
前記管腔内画像に含まれる生体情報に応じて予め色相および／または明るさの範囲が設定された範囲情報に基づいて、前記管腔内画像の色相および／または明るさを所定値毎に変化させて新たな複数の画像を生成する画像生成ステップと、
前記管腔内画像に含まれる生体情報に基づいて、前記画像生成ステップにおいて前記複数の画像を生成する際の前記範囲情報を決定する範囲決定ステップと、
前記複数の画像に基づいて、対象認識を行うための認識基準を学習する学習ステップと、
を実行させ、
前記範囲決定ステップは、
前記管腔内画像の臓器種類を判別する臓器判別ステップと、
前記管腔内画像における体液の情報に基づいて、前記範囲情報を決定する管腔内体液情報算出ステップと、
を含み、
前記画像生成ステップは、前記臓器判別ステップによって判別された判別された臓器種類に応じた前記体液の有無によって定まる色相および／または明るさに応じた前記範囲情報に基づいて、前記新たな複数の画像を生成することを特徴とするプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/086086 WO2017109904A1 (ja) | 2015-12-24 | 2015-12-24 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017109904A1 JPWO2017109904A1 (ja) | 2018-10-11 |
| JP6807869B2 true JP6807869B2 (ja) | 2021-01-06 |
Family
ID=59091043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017557592A Active JP6807869B2 (ja) | 2015-12-24 | 2015-12-24 | 画像処理装置、画像処理方法およびプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10748279B2 (ja) |
| JP (1) | JP6807869B2 (ja) |
| CN (1) | CN108697310B (ja) |
| WO (1) | WO2017109904A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6931425B2 (ja) * | 2018-07-20 | 2021-09-01 | 富士フイルム株式会社 | 医用画像学習装置、医用画像学習方法、及びプログラム |
| CN112584738B (zh) * | 2018-08-30 | 2024-04-23 | 奥林巴斯株式会社 | 记录装置、图像观察装置、观察系统、观察系统的控制方法及存储介质 |
| JP7176614B2 (ja) * | 2019-03-27 | 2022-11-22 | 日本電気株式会社 | 画像処理装置、画像処理方法及びプログラム |
| KR102372987B1 (ko) * | 2020-03-18 | 2022-03-11 | 라온피플 주식회사 | 불량 이미지 생성 장치 및 방법 |
| KR102272497B1 (ko) * | 2020-07-31 | 2021-07-02 | (주)딥인사이트 | 객체 중심 데이터 증강 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3347817B2 (ja) * | 1993-06-22 | 2002-11-20 | 株式会社ビュープラス | 画像認識装置 |
| JP2007236957A (ja) * | 2007-03-16 | 2007-09-20 | Olympus Corp | 内視鏡診断支援装置及び内視鏡画像処理方法 |
| US8903167B2 (en) * | 2011-05-12 | 2014-12-02 | Microsoft Corporation | Synthesizing training samples for object recognition |
| JP6132485B2 (ja) * | 2012-07-24 | 2017-05-24 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
| JP5622903B2 (ja) * | 2013-08-05 | 2014-11-12 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法および画像処理プログラム |
| JP6371544B2 (ja) * | 2014-03-14 | 2018-08-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2015
- 2015-12-24 JP JP2017557592A patent/JP6807869B2/ja active Active
- 2015-12-24 WO PCT/JP2015/086086 patent/WO2017109904A1/ja active Application Filing
- 2015-12-24 CN CN201580085814.2A patent/CN108697310B/zh active Active
-
2018
- 2018-06-20 US US16/013,181 patent/US10748279B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017109904A1 (ja) | 2017-06-29 |
| CN108697310B (zh) | 2020-12-11 |
| US10748279B2 (en) | 2020-08-18 |
| US20180365830A1 (en) | 2018-12-20 |
| CN108697310A (zh) | 2018-10-23 |
| JPWO2017109904A1 (ja) | 2018-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6807869B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| AU2019431299B2 (en) | AI systems for detecting and sizing lesions | |
| JP5800468B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| US9530205B2 (en) | Polyp detection apparatus and method of operating the same | |
| JP7166430B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
| US8457376B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| JP5442542B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
| EP2508116B1 (en) | Image-display device and capsule-type endoscope system | |
| JP7143504B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
| WO2019130924A1 (ja) | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム | |
| WO2019016912A1 (ja) | 診断支援装置、診断支援方法及びプログラム | |
| JP2006296569A (ja) | 画像表示装置 | |
| WO2020054543A1 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| JP6824868B2 (ja) | 画像解析装置及び画像解析方法 | |
| CN114049934B (zh) | 辅助诊断方法、装置、系统、设备和介质 | |
| JPWO2019138772A1 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
| US20210241457A1 (en) | Endoscope system, and image processing apparatus and image processing method used in endoscope system | |
| JP7265805B2 (ja) | 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体 | |
| WO2016056408A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| WO2023148857A1 (ja) | 情報出力方法および情報出力装置 | |
| US20240095917A1 (en) | Examination support device, examination support method, and storage medium storing examination support program | |
| WO2022234567A1 (en) | Systems, methods, and machine instructions for re-coloring color images | |
| WO2023064431A1 (en) | Systems and methods for providing visual indicators during colonoscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180608 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191119 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200501 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200501 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200525 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200526 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200612 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200616 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200707 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20201013 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201110 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201208 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6807869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |