JPWO2017109997A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JPWO2017109997A1
JPWO2017109997A1 JP2017557666A JP2017557666A JPWO2017109997A1 JP WO2017109997 A1 JPWO2017109997 A1 JP WO2017109997A1 JP 2017557666 A JP2017557666 A JP 2017557666A JP 2017557666 A JP2017557666 A JP 2017557666A JP WO2017109997 A1 JPWO2017109997 A1 JP WO2017109997A1
Authority
JP
Japan
Prior art keywords
image
unit
imaging
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017557666A
Other languages
English (en)
Other versions
JP6698699B2 (ja
Inventor
大和 神田
大和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017109997A1 publication Critical patent/JPWO2017109997A1/ja
Application granted granted Critical
Publication of JP6698699B2 publication Critical patent/JP6698699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)

Abstract

管腔内の状態を適切に反映した学習サンプルを生成することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置１は、生体の管腔内画像に映る対象の表面形状を推定する表面形状推定部１０と、表面形状に対する撮像視点を変更する撮像視点変更部１１と、変更後の撮像視点から撮像した場合の対象の仮想画像を生成する画像生成部１２と、を備える。

Description

本発明は、生体の管腔内を撮像することによって取得された画像に対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
従来、内視鏡等の医療用観察装置を用いて生体の管腔内（消化管内）を撮像した管腔内画像に対し、認識基準を用いて異常領域等の特定領域を認識する技術が知られている。この際に用いられる認識基準は、通常、学習サンプルとして管腔内画像から抽出された様々なバリエーションの正常粘膜領域または異常領域の画像をもとに作成される。
画像の認識に関する技術として、例えば特許文献１には、学習サンプルとして取得した画像に対し、任意の注目領域の位置、大きさ、向きを変更する処理を行うことにより新たな画像を生成する技術、および新たな画像および元の画像から特徴量を算出して認識基準を作成する技術が開示されている。
米国特許第８９０３１６７号明細書
しかしながら、学習サンプルに映る対象を、実際に異なる撮像視点から撮像した場合の画像は、撮像系の特性による像の歪みや、撮像距離の変化に伴う画素値の変化、また対象の表面形状によるオクルージョンの発生、等が生じるため、上述した特許文献１に開示された技術を適用しても、これらの管腔内の状態を適切に反映した学習サンプルを生成することが困難である。
本発明は、上記に鑑みてなされたものであって、管腔内の状態を適切に反映した学習サンプルを生成することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体の管腔内画像に映る対象の表面形状を推定する表面形状推定部と、前記表面形状に対する撮像視点を変更する撮像視点変更部と、変更後の前記撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成部と、を備えることを特徴とする。
また、本発明に係る画像処理方法は、生体の管腔内画像に映る対象の表面形状を推定する表面形状推定ステップと、前記表面形状に対する撮像視点を変更する撮像視点変更ステップと、変更後の撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、生体の管腔内画像に映る対象の表面形状を推定する表面形状推定ステップと、前記表面形状に対する撮像視点を変更する撮像視点変更ステップと、変更後の撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成ステップと、を画像処理装置に実行させることを特徴とする。
本発明によれば、管腔内の状態を適切に反映した学習サンプルを生成することができるという効果を奏する。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図３は、管腔内画像の一例を示す図である。 図４は、図２の表面形状推定処理の概要を示すフローチャートである。 図５は、撮像距離推定部による表面座標の推定方法を模式的に説明する図である。 図６は、図２の撮像視点変更処理の概要を示すフローチャートである。 図７は、相対角度変更部による相対角度の変更方法を模式的に説明する図である。 図８は、図２の画像生成処理の概要を示すフローチャートである。 図９は、仮想画像の一例を示す図である。 図１０は、仮想画像の別の一例を示す図である。 図１１は、本発明の実施の形態１の変形例１に係る表面形状推定部の構成を示すブロック図である。 図１２は、本発明の実施の形態１の変形例１に係る表面形状推定部が実行する表面形状推定処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態１の変形例２に係る画像生成部の構成を示すブロック図である。 図１４は、本発明の実施の形態１の変形例２に係る画像生成部が実行する画像生成処理の概要を示すフローチャートである。 図１５は、本発明の実施の形態２に掛かる撮像視点変更部の構成を示すブロック図である。 図１６は、本発明の実施の形態３に係る演算部の構成を示すブロック図である。
以下、本発明の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。
（実施の形態１）
〔画像処理装置の構成〕
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、生体の管腔を撮像することにより取得された管腔内画像に映る対象の表面形状に基づいて、もとの管腔内画像とは異なる撮像視点の新たな画像（仮想画像）を生成する画像処理を実行する装置である。管腔内画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。
図１に示す画像処理装置１は、内視鏡によって撮像された管腔内画像に対応する画像データを内視鏡または外部から取得する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、管腔内画像や各種表示を行う表示部４と、画像取得部２によって取得された画像データや各種のプログラムを記録する記録部５と、画像処理装置１全体の動作を制御する制御部６と、画像データに対して所定の画像処理を行う演算部７と、を備える。
画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部２は、内視鏡によって撮像された画像データを記録するサーバを用いる場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部２は、内視鏡からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。
入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部６へ出力する。
表示部４は、液晶や有機ＥＬ（Electro Luminescence）の表示パネル等の表示装置によって実現され、制御部６の制御のもと、管腔内画像を含む各種画面を表示する。
記録部５は、フラッシュメモリ、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部５は、画像取得部２によって取得された画像データの他、画像処理装置１を動作させるとともに、種々の機能を画像処理装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部５は、管腔内画像に対して撮像視点を変えた新たな仮想画像（学習サンプル）を生成する画像処理プログラム５１、および、このプログラムの実行中に使用される種々の情報等を記録する。
制御部６は、ＣＰＵ（Central Processing Unit）等を用いて実現され、記録部５に記録された各種プログラムを読み込むことにより、画像取得部２から入力される画像データや入力部３から入力される入力信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
演算部７は、ＣＰＵ等によって実現され、記録部５が記録する画像処理プログラム５１を読み込むことによって管腔内画像に映る対象に対し、撮像視点から異なる仮想画像を生成する画像処理を実行する。
〔演算部の詳細な構成〕
次に、演算部７の詳細な構成について説明する。
演算部７は、表面形状推定部１０と、撮像視点変更部１１と、画像生成部１２と、を備える。
表面形状推定部１０は、生体の管腔内画像に映る対象の表面形状を推定する。表面形状推定部１０は、撮像距離推定部２０を有する。
撮像距離推定部２０は、管腔内画像の各画素に映る対象までの撮像距離を推定する。撮像距離推定部２０は、低吸収波長成分選択部２０１を有する。
低吸収波長成分選択部２０１は、管腔内画像において、生体内での吸収・散乱の度合いが低い低吸収波長成分を選択する。
撮像視点変更部１１は、表面形状推定部１０が推定した表面形状に対する撮像視点を変更する。撮像視点変更部１１は、相対角度変更部３０と、相対位置変更部３１と、を有する。
相対角度変更部３０は、表面形状推定部１０が推定した表面形状と撮像視点の相対角度を変更する。相対角度変更部３０は、内視鏡の撮像方向に対してロール、ヨーおよびピッチのいずれかの回転を行う回転部３００を有する。
相対位置変更部３１は、表面形状推定部１０が推定した表面形状と撮像視点の相対位置を変更する。相対位置変更部３１は、表面形状と撮像視点との水平位置および／または垂直位置を変更する水平垂直位置変更部３１１と、表面形状から撮像視点までの撮像距離を変更する撮像距離変更部３１２と、を有する。
画像生成部１２は、変更後の撮像視点から撮像した場合の対象の仮想画像を生成する。画像生成部１２は、撮像視点の変更に伴い、仮想画像上に投影される管腔内画像の画素の画素値を基に、仮想画像の各画素の画素値を推定する画素値推定部４０と、仮想画像の画素の画素値に欠落が生じている場合、欠落が生じている画素の周辺の画素から該画素の画素値を補間する欠落画素値補間部４１と、を有する。
画素値推定部４０は、撮像視点の変更に伴い、仮想画像の各画素周辺に投影される管腔内画像の画素を探索する探索部４０１と、仮想画像の各画素の画素値を、探索部４０１によって探索された管腔内画像の画素における画素値を基に補間する画素値補間部４０２と、仮想画像上に投影される管腔内画像の各画素の中で、仮想画像における遮蔽領域となる画素を除外する遮蔽領域除外部４０３と、表面形状から撮像視点までの撮像距離に基づいて、仮想画像の各画素の画素値を補正する距離対応画素値補正部４０４と、を有する。
〔画像処理装置の処理〕
このように構成された画像処理装置１が実行する画像処理方法について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。
図２に示すように、まず、画像処理装置１は、画像取得部２を介して外部から内視鏡等によって撮像された画像データに対応する管腔内画像を取得し、取得した管腔内画像を記録部５に記録する（ステップＳ１０１）。図３に画像取得部２を介して外部から内視鏡等によって撮像された管腔内画像Ｗ１の一例を示す。
続いて、表面形状推定部１０は、記録部５に記録された管腔内画像の画像データを取得し、取得した管腔内画像に映る対象の表面形状を推定する表面形状推定処理を実行する（ステップＳ１０２）。
図４は、図２のステップＳ１０２における表面形状推定処理の概要を示すフローチャートである。
図４に示すように、低吸収波長成分選択部２０１は、生体内における低吸収・低散乱波長成分を選択する（ステップＳ２０１）。具体的には、生体内での吸収・散乱の度合いが最も低いＲ成分を選択する。これは、粘膜表面に映る血管等による画素値低下を抑えた最も粘膜表面との撮像距離に相関する画素値情報を得ることで、後段の撮像距離推定の精度を向上するためである。
続いて、撮像距離推定部２０は、管腔内画像の各画素に映る対象の撮像距離αを推定する（ステップＳ２０２）。具体的には、低吸収波長成分の画素値に基づいて、均等拡散面を仮定した撮像距離を（式１）に従って推定する。
Figure 2017109997
ここで、α（ｘｉ,ｙｉ）は、座標（ｘｉ，ｙｉ）に映る対象の撮像距離を示し、Ｉは、光源の放射強度（事前に測定）を示し、Kは、粘膜表面の拡散反射係数（平均的な値を事前に測定）を示し、θは、粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角（内視鏡先端の光源と粘膜表面の位置関係により決まる値だが、平均的な値を事前設定）を示し、Ｌ（ｘｉ,ｙｉ）は、座標（ｘｉ，ｙｉ）の画素の低吸収波長成分（R成分）の画素値を示す。
その後、表面形状推定部１０は、管腔内画像の各画素に映る対象の表面座標を推定する（ステップＳ２０３）。画像Ｗ１内の座標（ｘｉ，ｙｉ）（原点は画像中心）と、その座標に映る対象の表面座標（Ｘi，Ｙi，Ｚi）の間には、図５に示す関係がある。ここで、ＸＹＺは、画像Ｗ１のｘｙ軸と平行なＸＹ軸と、画像中心を通るＺ軸からなる表面座標系である。また。ｆは、センサーの画素ピッチや撮像系の特性等から決定される値である。αは、撮像距離推定部２０により推定された撮像距離である。
図５の関係から以下の式（２）、式（３）が成り立つ。
Figure 2017109997
 従って、式（２）および式（３）より、以下の式（４）が成り立つ。
Figure 2017109997
 このように、表面形状推定部１０は、管腔内画像Ｗ１の各画素に映る対象までの撮像距離および該画素の座標を基に、表面座標系への変換を行うことによって、各画素に映る対象（被写体）の表面座標（表面形状）を推定する。ステップＳ２０３の後、画像処理装置１は、図２のメインルーチンへ戻る。
図２に戻り、ステップＳ１０３以降の説明を続ける。
ステップＳ１０３において、撮像視点変更部１１は、表面形状に対する撮像視点を変更、例えば第１の撮像視点から第２の撮像視点に変更する撮像視点変更処理を実行する。
図６は、図２のステップＳ１０３における撮像視点変更処理の概要を示すフローチャートである。
図６に示すように、相対角度変更部３０は、表面形状と撮像視点の相対角度（内視鏡の撮像方向に対するロール、ヨーおよびピッチいずれかの角度）を変更する（ステップＳ３０１）。具体的には、図７に示すように、表面形状Ｑ１と撮像視点Ｐ１の相対角度を変更する。より具体的には、回転部３００は、以下の式（５）によって、表面座標系ＸＹＺから、表面形状の重心を原点とする重心座標系Ｘ０Ｙ０Ｚ０への変換を行う。
Figure 2017109997
 ここで、（Ｘｃ，Ｙｃ，Ｚｃ）は、表面形状の重心座標である。
さらに、回転部３００は、以下の式（６）によって、表面形状と撮像視点の相対角度を、Ｘ軸回転（ピッチ）、Ｙ軸回転（ヨー）およびＺ軸回転（ロール）によって変更する。図７の表面形状Ｑ１に対し、上記変更を行った場合の表面形状をＴ１に示す。
Figure 2017109997
 ここで、θxは、Ｘ軸に対する回転角を示し、θyは、Ｙ軸に対する回転角を示し、θzは、Ｚ軸に対する回転角を示す。
続いて、相対位置変更部３１は、水平垂直位置変更部３１１が表面形状と撮像視点の相対位置（水平・垂直位置）を変更し（ステップＳ３０２）、撮像距離変更部３１２は、表面形状から撮像視点までの撮像距離を変更する（ステップＳ３０３）。具体的には、以下の式（７）によって、水平垂直位置変更部３１１は、表面形状と撮像視点の水平・垂直位置を変更し、式（８）によって、撮像距離変更部３１２は、表面形状から撮像視点までの撮像距離を変更する。そして、式（９）によって、重心座標系Ｘ０Ｙ０Ｚ０から表面座標系ＸＹＺへの変換を行う。図７の表面形状Ｔ１に対し、上記変更を行った場合の表面形状Ｔ２に示す。
Figure 2017109997
 ここで、Ｘｓは、Ｘ方向（水平方向）の位置変更量を示し、Ｙｓは、Ｙ方向（垂直方向）の位置変更量を示し、Ｚｓは、Ｚ方向の位置変更量（撮像距離の変更量）を示す。ステップＳ３０３の後、画像処理装置１は、図２のメインルーチンへ戻る。
図２に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、画像生成部１２は、変更後の撮像視点から撮像した場合の対象の仮想画像を生成する画像生成処理を実行する。
図８は、図２のステップＳ１０４における画像生成処理の概要を示すフローチャートである。
図８に示すように、まず、画素値推定部４０は、撮像視点変更後の撮像面に投影される管腔内画像（元画像）の各画素の座標を算出する（ステップＳ４０１）。具体的には、以下の式（１０）によって、撮像視点変更後の撮像面（仮想画像）に投影される元画像の各画素の座標（ｘｉ’’，ｙｉ’’）を算出する。
Figure 2017109997
続いて、探索部４０１は、仮想画像の各画素周辺に投影される元画像の画素を探索する（ステップＳ４０２）。ｘｙ座標系における整数座標が、仮想画像の各画素位置に相当する。
その後、遮蔽領域除外部４０３は、仮想画像上に投影される元画像の各画素の中で、仮想画像におけるオクルージョン（遮蔽部）となるデータ（画素）を検出して除外する（ステップＳ４０３）。具体的には、仮想画像の各画素周辺に投影される元画像の画素の撮像距離を基に、遮蔽部を判定し、除外する。
続いて、画素値補間部４０２は、仮想画像の各画素の値を、探索部４０１によって探索された画素を基に補間して算出する（ステップＳ４０４）。
その後、距離対応画素値補正部４０４は、表面形状から撮像視点までの撮像距離に基づいて、仮想画像の各画素の画素値を補正する（ステップＳ４０５）。具体的には、撮像視点変更後の撮像距離が近い画素ほど画素値を高く、遠い画素ほど画素値を低く補正する。これにより、図９に示す仮想画像Ｗ２や図１０に示す仮想画像Ｗ３のように撮像視点を変更した画像を生成することができる。
続いて、仮想画像の画素の画素値に欠落が生じている場合（ステップＳ４０６：Ｙｅｓ）、欠落画素値補間部４１は、欠落が生じている画素の周辺の画素から該画素の画素値を補間する（ステップＳ４０７）。ステップＳ４０６の後、画像処理装置１は、図２のメインルーチンへ戻り、本処理を終了する。これに対して、仮想画像の画素の画素値に欠落が生じていない場合（ステップＳ４０６：Ｎｏ）、画像処理装置１は、図２のメインルーチンへ戻り、本処理を終了する。
また、本発明の実施の形態１によれば、管腔内画像に映る対象を、実際と異なる撮像視点から撮像した場合の仮想画像を生成した場合において、内視鏡の撮像系の特性による像の歪みや、撮像距離の変化に伴う画素値の変化、または対象の表面形状によるオクルージョン（遮蔽部）の発生等が生じるときであっても、これらの管腔内の状態を適切に反映した仮想画像（学習サンプル）を生成することができる。
（変形例１）
次に、本実施の形態１に係る変形例１について説明する。本実施の形態１に係る変形例１は、表面形状推定部の構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態１の変形例１に係る表面形状推定部の構成を説明後、本実施の形態１の変形例１に係る表面形状推定部が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
図１１は、本実施の形態１の変形例１に係る表面形状推定部の構成を示すブロック図である。図１１に示す表面形状推定部１０ａは、上述した実施の形態１に係る撮像距離推定部２０に換えて、撮像距離推定部２０ａを有する。
撮像距離推定部２０ａは、低吸収波長成分選択部２０１の構成に加えて、空間周波数の低い低空間周波数成分を算出する低空間周波数成分算出部２０２をさらに有する。
次に、表面形状推定部１０ａが実行する表面形状推定処理について説明する。図１２は、表面形状推定部１０ａが実行する表面形状推定処理の概要を示すフローチャートである。なお、本実施の形態１の変形例１では、表面形状推定部１０ａが実行する表面形状推定処理以外は、上述した実施の形態１に係る画像処理装置１が実行する処理（図２を参照）と同様のため、説明を省略する。また、図１２において、ステップＳ５０１、ステップＳ５０３およびステップＳ５０４は、上述した図４のステップＳ２０１、ステップＳ２０２およびステップＳ２０３それぞれに対応するため、説明を省略する。
ステップＳ５０２において、低空間周波数成分算出部２０２は、空間周波数の低い低空間周波数成分を算出する。具体的には、公知の平滑化処理等を用いて、空間周波数の低い低空間周波数成分を算出することによって、ノイズ成分を除去する。ステップＳ５０２の後、画像処理装置１は、ステップＳ５０３へ移行する。
以上説明した本発明の実施の形態１の変形例１によれば、ノイズ成分の少ない表面形状を推定することができ、それを基に管腔内の状態を適切に反映した学習サンプルを生成することができる。
（変形例２）
次に、本実施の形態１の変形例２について説明する。本実施の形態１の変形例２は、画像生成部の構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態１の変形例２に係る画像生成部の構成を説明後、本実施の形態１の変形例２に係る画像生成部が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
図１３は、本実施の形態１の変形例２に係る画像生成部の構成を示すブロック図である。図１３に示す画像生成部１２ａは、上述した実施の形態１に係る画素値推定部４０に換えて、画素値推定部４０ａを有する。
画素値推定部４０ａは、上述した実施の形態１に係る探索部４０１および画素値補間部４０２に換えて、撮像視点の変更に伴い、仮想画像上に投影される管腔内画像の各画素と、仮想画像の各画素の距離に応じた重みで、管腔内画像の各画素の画素値を加算することにより、仮想画像の各画素の画素値を求める重み加算部４０６と、を有する。さらに、重み加算部４０６は、仮想画像上に投影される管腔内画像の画素の粗密情報に基づいて、仮想画像の各画素の距離に応じた重みを調整する重み調整部４０６ａを有する。
次に、画像生成部１２ａが実行する画像生成処理について説明する。図１４は、画像生成部１２ａが実行する画像生成処理の概要を示すフローチャートである。なお、本実施の形態１の変形例２では、画像生成部１２ａが実行する画像生成処理以外は、上述した実施の形態１に係る画像処理装置１が実行する処理（図２を参照）と同様のため、説明を省略する。また、図１４において、ステップＳ６０１、ステップＳ６０３およびステップＳ６０５は、上述した図８のステップＳ４０１、ステップＳ４０３およびステップＳ４０５それぞれに対応する。
ステップＳ６０２において、重み調整部４０６ａは、仮想画像の各画素周辺の元画像の画素の粗密情報を基に、重み加算部４０６で用いられる重みを調整する。この重みは、仮想画像上に投影される管腔内画像（元画像）の各画素と、仮想画像の各画素の距離に応じて設定されるもので、具体的には、距離が近いほど大きく、遠いほど小さくなるように、ガウス関数などを用いて設定される。重み調整部４０６ａは、ガウス関数の広がり具合、つまり距離に応じた重みの変化具合を調整する。より具体的には、重み加算により画素値を求める対象の仮想画像の画素周辺の元画像の画素が粗な状態の場合には、ガウス関数の広がりが大きくなるように、密の状態の場合には、ガウス関数の広がりが小さくなるように、調整する。ステップＳ６０２の後、画像処理装置１は、ステップＳ６０３へ移行する。
ステップＳ６０４において、重み加算部４０６は、仮想画像の各画素の値を、仮想画像上に投影される元画像の各画素と仮想画像の各画素の距離と、重み調整部４０６ａによって調整された重みを基に、元画像の各画素を加算して算出する。ステップＳ６０４の後、画像処理装置１は、ステップＳ６０５へ移行する。
以上説明した本発明の実施の形態１の変形例２によれば、管腔内の状態を適切に反映した学習サンプルを生成することができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１における撮像視点変更部１１の構成が異なる。以下においては、本実施の形態２に係る撮像視点変更部の構成について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
図１５は、本実施の形態２に係る撮像視点変更の構成を示すブロック図である。図１５に示す撮像視点変更部１１ａは、上述した実施の形態１に係る撮像視点変更部１１の構成に加えて、変更量制御部３２を備える。
変更量制御部３２は、上述した画像生成部１２が生成する仮想画像において、データ欠落が生じないように撮像視点の変更量を制御する。具体的には、上述した画素値推定部４０と同様の処理を行い、元画像における遮蔽部（データ欠落部）が仮想画像に映らないように、相対角度変更部３０が変更する相対角度の変更量および相対位置変更部３１の変更量を制御する。
以上説明した本発明の実施の形態２によれば、変更量制御部３２が画像生成部１２によって生成される仮想画像において、データ欠落が生じないように撮像視点の変更量を制御するので、管腔内の状態を適切に反映した学習サンプルを生成することができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る画像処理装置は、上述した実施の形態１に係る画像処理装置１における演算部７の構成が異なる。以下においては、本実施の形態３に係る演算部の構成について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
図１６は、本実施の形態３に係る演算部の構成を示すブロック図である。図１６に示す演算部７ａは、上述した実施の形態１に係る演算部７の構成に加えて、画像生成頻度制御部１３と、学習部１４と、認識部１５と、をさらに備える。
画像生成頻度制御部１３は、実際の管腔内画像の撮像において発生し易い撮像視点からの仮想画像の生成頻度が高くなるように複数の仮想画像の生成を制御する。ここで、実際の管腔内画像の撮像において発生し易い撮像視点とは、撮影距離が近い管手前の粘膜面から撮影距離が遠い管深部の粘膜面までが映るとともに、管腔壁が管腔内画像の下側に映るような撮像視点等である。具体的には、画像生成頻度制御部１３は、画像生成部１２が生成した画像情報を基に、撮像視点変更部１１を制御することによって、実際の管腔内画像の撮像において発生し易い撮像視点からの仮想画像の生成頻度を高くする。
学習部１４は、仮想画像に基づいて、管腔内画像の認識に用いるパラメータを学習する。
認識部１５は、学習部１４が学習したパラメータに基づいて、管腔内画像の認識を行う。
以上説明した本発明の実施の形態３によれば、実際の管腔内画像の撮像において発生し易い撮像視点からの学習サンプルを多く生成することができる。これにより、状態を適切に反映した学習サンプルを用いて認識部１５のパラメータ（例えばパラメータとしては、色、輪郭（エッジ）、画素値面形状（画素値勾配）、テクスチャ等に対する認識基準等）を適切に学習することができる。この結果、適切に学習されたパラメータを用いて認識部１５の精度を向上することができる。
（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
なお、本発明は、実施の形態１〜３およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
１ 画像処理装置
２ 画像取得部
３ 入力部
４ 表示部
５ 記録部
６ 制御部
７，７ｃ 演算部
１０，１０ａ 表面形状推定部
１１，１１ａ 撮像視点変更部
１２，１２ａ 画像生成部
１３ 画像生成頻度制御部
１４ 学習部
１５ 認識部
２０，２０ａ 撮像距離推定部
３０ 相対角度変更部
３１ 相対位置変更部
３２ 変更量制御部
４０，４０ａ 画素値推定部
４１ 欠落画素値補間部
５１ 画像処理プログラム
２０１ 低吸収波長成分選択部
２０２ 低空間周波数成分算出部
３００ 回転部
３１１ 水平垂直位置変更部
３１２ 撮像距離変更部
４０１ 探索部
４０２ 画素値補間部
４０３ 遮蔽領域除外部
４０４ 距離対応画素値補正部
４０６ 重み加算部
４０６ａ 重み調整部

Claims (22)

  1. 生体の管腔内画像に映る対象の表面形状を推定する表面形状推定部と、
    前記表面形状に対する撮像視点を、推定時の撮像視点から変更する撮像視点変更部と、
    変更後の前記撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成部と、
    を備えることを特徴とする画像処理装置。
  2. 前記仮想画像に基づいて、管腔内画像の認識に用いるパラメータを学習する学習部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  3. 前記パラメータに基づいて、管腔内画像の認識を行う認識部をさらに備えることを特徴とする請求項２に記載の画像処理装置。
  4. 前記撮像視点変更部は、前記表面形状と撮像視点の相対位置を変更する相対位置変更部を有することを特徴とする請求項１に記載の画像処理装置。
  5. 前記相対位置変更部は、前記表面形状と撮像視点との水平位置および／または垂直位置を変更する水平垂直位置変更部を有することを特徴とする請求項４に記載の画像処理装置。
  6. 前記相対位置変更部は、前記表面形状から撮像視点までの撮像距離を変更する撮像距離変更部を有することを特徴とする請求項４に記載の画像処理装置。
  7. 前記撮像視点変更部は、前記表面形状と撮像視点の相対角度を変更する相対角度変更部を有することを特徴とする請求項１に記載の画像処理装置。
  8. 前記相対角度変更部は、撮像方向に対してロール、ヨーおよびピッチのいずれかの回転を行う回転部を有することを特徴とする請求項７に記載の画像処理装置。
  9. 前記撮像視点変更部は、
    前記画像生成部が生成する前記仮想画像において、データ欠落が生じないように撮像視点の変更量を制御する変更量制御部を有することを特徴とする請求項１に記載の画像処理装置。
  10. 前記画像生成部は、
    撮像視点の変更に伴い、前記仮想画像上に投影される前記管腔内画像の画素の画素値を基に、前記仮想画像の各画素の画素値を推定する画素値推定部を有することを特徴とする請求項１に記載の画像処理装置。
  11. 前記画素値推定部は、
    撮像視点の変更に伴い、前記仮想画像の各画素周辺に投影される前記管腔内画像の画素を探索する探索部と、
    前記仮想画像の各画素の画素値を、前記探索部によって探索された前記管腔内画像の画素における画素値を基に補間する画素値補間部と、
    を有することを特徴とする請求項１０に記載の画像処理装置。
  12. 前記画素値推定部は、
    撮像視点の変更に伴い、前記仮想画像上に投影される前記管腔内画像の各画素と、前記仮想画像の各画素の距離に応じた重みで、前記管腔内画像の各画素の画素値を加算することにより、前記仮想画像の各画素の画素値を求める重み加算部を有することを特徴とする請求項１０に記載の画像処理装置。
  13. 前記重み加算部は、前記仮想画像上に投影される前記管腔内画像の画素の粗密情報に基づいて、前記距離に応じた重みを調整する重み調整部を有することを特徴とする請求項１２に記載の画像処理装置。
  14. 前記画素値推定部は、
    前記仮想画像上に投影される前記管腔内画像の各画素の中で、前記仮想画像における遮蔽領域となる画素を除外する遮蔽領域除外部をさらに有することを特徴とする請求項１０に記載の画像処理装置。
  15. 前記画素値推定部は、
    前記表面形状から前記撮像視点までの撮像距離に基づいて、前記仮想画像の各画素の画素値を補正する距離対応画素値補正部をさらに有することを特徴とする請求項１０に記載の画像処理装置。
  16. 前記画像生成部は、
    前記仮想画像の画素の画素値に欠落が生じている場合、欠落が生じている画素の周辺の画素から該画素の画素値を補間する欠落画素値補間部をさらに備えることを特徴とする請求項１０に記載の画像処理装置。
  17. 実際の管腔内画像の撮像において発生し易い撮像視点からの仮想画像の生成頻度が高くなるように複数の仮想画像の生成を制御する画像生成頻度制御部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  18. 前記表面形状推定部は、
    前記管腔内画像の各画素に映る対象までの撮像距離を推定する撮像距離推定部を有することを特徴とする請求項１に記載の画像処理装置。
  19. 前記撮像距離推定部は、
    前記管腔内画像において、生体内での吸収・散乱の度合いが低い低吸収波長成分を選択する低吸収波長成分選択部を有することを特徴とする請求項１８に記載の画像処理装置。
  20. 前記撮像距離推定部は、
    前記管腔内画像において、空間周波数の低い低空間周波数成分を算出する低空間周波数成分算出部を有することを特徴とする請求項１８に記載の画像処理装置。
  21. 生体の管腔内画像に映る対象の表面形状を推定する表面形状推定ステップと、
    前記表面形状に対する撮像視点を変更する撮像視点変更ステップと、
    変更後の撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成ステップと、
    を含むことを特徴とする画像処理方法。
  22. 生体の管腔内画像に映る対象の表面形状を推定する表面形状推定ステップと、
    前記表面形状に対する撮像視点を変更する撮像視点変更ステップと、
    変更後の撮像視点から撮像した場合の前記対象の仮想画像を生成する画像生成ステップと、
    を画像処理装置に実行させることを特徴とするプログラム。
JP2017557666A 2015-12-25 2015-12-25 画像処理装置、画像処理方法およびプログラム Active JP6698699B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/086425 WO2017109997A1 (ja) 2015-12-25 2015-12-25 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017109997A1 true JPWO2017109997A1 (ja) 2018-10-11
JP6698699B2 JP6698699B2 (ja) 2020-05-27

Family

ID=59089901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557666A Active JP6698699B2 (ja) 2015-12-25 2015-12-25 画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10765297B2 (ja)
EP (1) EP3395229A4 (ja)
JP (1) JP6698699B2 (ja)
CN (1) CN108430302B (ja)
WO (1) WO2017109997A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118075A (ko) * 2018-04-09 2019-10-17 삼성전자주식회사 단층 촬영 장치 및 그에 따른 단층 영상 처리 방법
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS558539A (en) * 1978-07-05 1980-01-22 Nippon Kokan Kk Method of stamping electric furnace lining
JP4899068B2 (ja) * 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置
WO2011005865A2 (en) * 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
JP5377153B2 (ja) * 2009-08-18 2013-12-25 株式会社東芝 画像処理装置、画像処理プログラムおよび医用診断システム
JP5624336B2 (ja) * 2010-02-24 2014-11-12 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US8903167B2 (en) * 2011-05-12 2014-12-02 Microsoft Corporation Synthesizing training samples for object recognition
WO2014156378A1 (ja) 2013-03-27 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP6189240B2 (ja) * 2014-03-26 2017-08-30 株式会社東芝 画像処理装置、治療システム及び画像処理方法

Also Published As

Publication number Publication date
EP3395229A1 (en) 2018-10-31
JP6698699B2 (ja) 2020-05-27
WO2017109997A1 (ja) 2017-06-29
US20180317744A1 (en) 2018-11-08
US10765297B2 (en) 2020-09-08
CN108430302A (zh) 2018-08-21
EP3395229A4 (en) 2019-09-04
CN108430302B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
JP6125100B2 (ja) 点特徴と線特徴とを使用する堅牢な追跡
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
KR102169492B1 (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
WO2012114639A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP6478136B1 (ja) 内視鏡システム、内視鏡システムの作動方法
WO2014200625A1 (en) Systems and methods for feature-based tracking
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
US20100166280A1 (en) Three-dimensional shape data processing apparatus and three-dimensionalshape data processing method
JP2014106732A (ja) 情報処理装置および情報処理方法
JPWO2018139461A1 (ja) 移動物体検出装置、移動物体検出方法及び記憶媒体
CN109247068A (zh) 用于滚动快门补偿的方法和设备
JP2004235934A (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
WO2012029658A1 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2017092756A (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
KR20170029365A (ko) 깊이 지도 생성 장치 및 방법
WO2017109997A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2009237846A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4887491B2 (ja) 医用画像処理方法及びその装置、プログラム
JP2011045675A (ja) 画像解析装置、その計測方法及びプログラム
JP5728399B2 (ja) 計測装置、方法及びプログラム
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2006065472A (ja) ３次元モデル生成装置および方法
JP4775221B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200428

R151 Written notification of patent or utility model registration

Ref document number: 6698699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250