WO2021039870A1 - 医療用画像処理装置および医療用観察システム - Google Patents

医療用画像処理装置および医療用観察システム Download PDF

Info

Publication number
WO2021039870A1
WO2021039870A1 PCT/JP2020/032251 JP2020032251W WO2021039870A1 WO 2021039870 A1 WO2021039870 A1 WO 2021039870A1 JP 2020032251 W JP2020032251 W JP 2020032251W WO 2021039870 A1 WO2021039870 A1 WO 2021039870A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
pixel
medical
pixel group
Prior art date
Application number
PCT/JP2020/032251
Other languages
English (en)
French (fr)
Inventor
公宣 杉崎
公 後田
Original Assignee
ソニー・オリンパスメディカルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー・オリンパスメディカルソリューションズ株式会社 filed Critical ソニー・オリンパスメディカルソリューションズ株式会社
Priority to JP2021542978A priority Critical patent/JPWO2021039870A1/ja
Priority to US17/634,567 priority patent/US20220277432A1/en
Priority to EP20858419.3A priority patent/EP4000496A4/en
Publication of WO2021039870A1 publication Critical patent/WO2021039870A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

特定領域における近赤外画像と可視画像との境界を明確にすることができる医療用画像処理装置および医療用観察システムを提供する。画像処理部93は、外部から入力される第1の画像データに基づく第1の画像と、外部から入力される第2の画像データに基づく第2の画像であって、第1の画像における特定領域を強調した第2の画像と、を用いて、第1の画像における特定領域を、第1の画像における特定領域に位置する第1の画素群と、第2の画像における特定領域に位置する第2の画素群と、を混在させた混在画像データに置き換えた第3の画像データを生成する。

Description

医療用画像処理装置および医療用観察システム
 本開示は、外部から入力される画像データに対して画像処理を行う医療用画像処理装置および医療用観察システムに関する。
 医療もしくは産業用カメラにおいて、第1の撮像手段によって近赤外光帯域の光像を撮像することによって取得した特定部位が写る近赤外画像と、第2の撮像手段によって可視光領域の光像を撮像することによって取得した可視画像と、を所定の割合で画素毎に加算することによって合成画像を生成する技術が知られている(例えば特許文献1参照)。
特開2015-29841号公報
 しかしながら、上述した特許文献1では、近赤外画像と可視画像とを画素毎に所定の割合で加算しているため、特定部位が写る特定領域における背景の可視画像の情報が失われてしまうことで、特定領域における近赤外画像と可視画像との境界が不明確になるという問題点があった。
 本開示は、上記に鑑みてなされたものであって、特定領域における近赤外画像と可視画像との境界を明確にすることができる医療用画像処理装置および医療用観察システムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、外部から入力される第1の画像データに基づく第1の画像と、外部から入力される第2の画像データに基づく第2の画像であって、前記第1の画像における特定領域を強調した第2の画像と、を用いて、前記第1の画像における前記特定領域を、前記第1の画像における前記特定領域に位置する第1の画素群と、前記第2の画像における前記特定領域に位置する第2の画素群と、を混在させた混在画像データに置き換えた第3の画像データを生成する画像処理部、を備える。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記特定領域において前記第1の画素群と前記第2の画素群とを規則的に配置することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記特定領域の水平ラインにおいて前記第1の画素群と前記第2の画素群とを交互に画素を配置することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記特定領域において前記第1の画素群と前記第2の画素群とを格子状に画素を配置することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記特定領域における水平ライン毎または垂直ライン毎に前記第1の画素群と前記第2の画素群とを交互に配置することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記第2の画素群の各々の輝度値に応じて前記混在画像データに基づく混在画像における第2の画素の表示面積を変更することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記特定領域において前記第1の画素群と前記第2の画素群とを不規則に画素を配置することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記第2の画素群を強調する色に変換することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記第2の画素群の各々の輝度値を維持したまま強調する色に変換することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記第2の画素群の各々を輝度値に応じた色に変換することによって前記第3の画像データを生成する。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記画像処理部は、前記第2の画素群の各画素の表示データとして、前記第1の画素群の各画素における前記第1の画像データと前記第2の画素群の各画素における前記第2の画像データとが合成された画素毎の合成データを生成する機能を持つ。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記合成データは、前記第1の画像および第2の画像の各画素における色相、輝度、及び彩度の少なくとも1つのデータの情報を用いて合成されることにより生成される。
 また、本開示に係る医療用画像処理装置は、上記開示において、前記特定領域は、蛍光物資に対して励起光が照射されることによって発光した発光領域である。
 また、本開示に係る医療用観察システムは、上記開示の医療用画像処理装置と、蛍光物資を散布した被検体に対して白色光および近赤外光を照射可能な光源装置と、前記白色光が照射された際に前記被検体からの反射光を受光することによって前記第1の画像データを生成し、かつ、前記近赤外光が照射された際に前記蛍光物資から発せられた発光を受光することによって前記第2の画像データを生成する観察装置と、を備え、前記医療用画像処理装置は、前記観察装置から前記第1の画像データおよび前記第2の画像データを取得する。
 本開示によれば、特定領域と可視画像との境界を明確にすることができるという効果を奏する。
図1は、実施の形態1に係る内視鏡システムの概略構成を示す図である。 図2は、実施の形態1に係る内視鏡システムが備える光源装置、カメラヘッドおよび制御装置の機能構成を示すブロック図である。 図3は、実施の形態1に係る内視鏡システム1が実行する処理の概要を示すフローチャートである。 図4は、撮像部が生成する第1の画像の一例を模式的に示す図である。 図5は、撮像部が生成する第2の画像の一例を模式的に示す図である。 図6は、画像処理部が生成する第3の画像の一例を模式的に示す図である。 図7は、図6の特徴領域の一部を拡大した拡大図である。 図8は、実施の形態1の変形例1に係る画像処理部が生成する第3の画像の特徴領域における一部を拡大した拡大図である。 図9は、実施の形態1の変形例2に係る画像処理部が生成する第3の画像の特徴領域における一部を拡大した拡大図である。 図10は、実施の形態1の変形例3に係る画像処理部が生成する第3の画像の生成方法を模式的に示す図である。 図11は、実施の形態2に係る内視鏡システムの概略構成を示す図である。 図12は、実施の形態3に係る手術用顕微鏡システムの概略構成を示す図である。
 以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る医療用観察システムの一例として、硬性鏡を備える内視鏡システムについて説明する。
(実施の形態1)
 〔内視鏡システムの概略構成〕
 図1は、実施の形態1に係る内視鏡システムの概略構成を示す図である。図1に示す内視鏡システム1は、医療分野に用いられ、人や動物の生体等の被検体の生体内に挿入され、内部を撮像した画像を表示することによって被検体を観察するシステムである。なお、実施の形態1では、内視鏡システム1として、図1に示す硬性鏡(挿入部2)を用いた硬性内視鏡システムについて説明するが、これに限定されることなく、例えば軟性内視鏡システムであってもよい。
 図1に示す内視鏡システム1は、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5(内視鏡用撮像装置)と、第1の伝送ケーブル6と、表示装置7と、第2の伝送ケーブル8と、制御装置9と、第3の伝送ケーブル10と、を備える。
 挿入部2は、硬質または少なくとも一部が軟性で細長形状を有する。挿入部2は、患者等の被検体内に挿入される。挿入部2は、内部に1または複数のレンズを用いて構成され、観察像を結合する光学系が設けられている。
 光源装置3は、ライトガイド4の一端が接続される。光源装置3は、制御装置9による制御のもと、ライトガイド4の一端に被検体内を照明するための白色光、被検体に投与または散布された薬剤に励起光または赤外光を出射(供給)する。光源装置3は、LED(Light Emitting Diode)光源やLD(Laser Diode)等の半導体レーザ素子を用いて構成される。光源装置3と制御装置9とは、図1に示すように個別で通信する構成をしてもよいし、一体化した構成であってもよい。
 ライトガイド4は、一端が光源装置3に着脱自在に接続され、かつ、他端が挿入部2に着脱自在に接続される。ライトガイド4は、光源装置3から出射された光を一端から他端に導光し、挿入部2へ供給する。
 カメラヘッド5は、挿入部2の接眼部21が着脱自在に接続される。カメラヘッド5は、制御装置9の制御のもと、挿入部2によって結像された観察像を撮像することによって画像データ(撮像信号)を生成し、この画像データを出力する。また、カメラヘッド5は、円周方向に回転可能に設けられた操作リング部51と、内視鏡システム1の各種の操作を指示する指示信号の入力を受け付ける複数の入力部52と、を備える。
 第1の伝送ケーブル6は、一端が第1のコネクタ部61を介して制御装置9に着脱自在に接続され、他端が第2のコネクタ部62を介してカメラヘッド5に接続される。第1の伝送ケーブル6は、カメラヘッド5から出力される画像データを制御装置9へ伝送し、かつ、制御装置9から出力される制御信号、同期信号、クロック信号および電力等をカメラヘッド5へ伝送する。
 表示装置7は、第2の伝送ケーブル8を介して制御装置9に接続可能であり、制御装置9の制御のもと、制御装置9において処理された画像データに基づく表示画像を表示する。
 第2の伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。第2の伝送ケーブル8は、制御装置9において処理された画像データに基づく表示画像を表示装置7に伝送する。
 制御装置9は、メモリと、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)およびFPGA(Field Programmable Gate Array)等のハードウェアを有するプロセッサを用いて構成される。制御装置9は、メモリに記録されたプログラムに従って、第1の伝送ケーブル6、第2の伝送ケーブル8および第3の伝送ケーブル10の各々を介して、光源装置3、カメラヘッド5および表示装置7の動作を統括的に制御する。また、制御装置9は、第1の伝送ケーブル6を経由してカメラヘッド5から入力された画像データに対して、各種の画像処理を行って第2の伝送ケーブル8へ出力する。
 第3の伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端側が制御装置9に着脱自在に接続される。第3の伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
 〔光源装置、カメラヘッドおよび制御装置の詳細な構成〕
 次に、光源装置3、カメラヘッド5および制御装置9の機能構成について説明する。図2は、内視鏡システム1が備える光源装置3、カメラヘッド5および制御装置9の機能構成を示すブロック図である。なお、図2においては、説明の便宜上、挿入部2、ライトガイド4、第1の伝送ケーブル6、第2の伝送ケーブル8および第3の伝送ケーブル10を省略している。
 〔光源装置の構成〕
 まず、光源装置3の構成について説明する。
 光源装置3は、第1の光源部31と、第2の光源部32と、光源制御部33と、を備える。
 第1の光源部31は、光源制御部33の制御のもと、白色光をパルス発光することによって、被検体に照射される白色光を挿入部2へ供給する。第1の光源部31は、赤色(波長帯域600nm~700nm)の光を照射可能な赤色の半導体レーザ素子と、青色(波長帯域400nm~500nm)の光を照射可能な青色の半導体レーザ素子と、緑色(波長帯域500nm~600nm)の光を照射可能な緑色の半導体レーザ素子と、を用いて構成される。なお、第1の光源部31は、赤色、青色および緑色の半導体レーザ素子を用いて構成しているが、これに限定されることなく、白色光を照射可能な白色の半導体レーザ素子を用いてもよい。また、第1の光源部31は、半導体レーザ素子である必要はなく、例えば発光LED(Light Emitting Diode)等であってもよい。さらに、第1の光源部31は、赤色、緑色および青色の各々の光を同時に照射する同時式に限定されることなく、赤色、緑色および青色の各々の光を順次照射する面順式であってもよい。
 第2の光源部32は、光源制御部33の制御のもと、挿入部2を介して被検体に照射される赤外光をパルス発光する。具体的には、第2の光源部32は、光源制御部33の制御のもと、被検体に投入された薬剤(蛍光物質)を励起させる赤外光(波長帯域700~1000nm)を発光することによって挿入部2へ供給する。第2の光源部32は、蛍光物質を励起する光(700~1000nm)を照射可能な半導体レーザ素子と所定の波長帯域のみを透過させるフィルタ等を用いて構成される。なお、以下においては、第2の光源部32が発光する光を赤外光として説明するが、これに限定されることなく、例えば、ヘマトポルフィリン誘導体等の光感受性物質を腫瘍組織に予め蓄積させて蛍光を観察させるPDD(Photo Dynamic Diagnosis)観察に用いられる光(波長帯域405nm近傍)、およびコラーゲン等の蛍光物質からの自家発光を観察するAFI(Auto Fluorescence Imaging)観察に用いられる光(波長帯域390~470nm+波長帯域540~560nm)等であってもよい。
 光源制御部33は、制御装置9の制御のもと、第1の光源部31および第2の光源部32の発光を制御する。光源制御部33は、メモリと、CPU、ASIC、FPGA等のハードウェアを有するプロセッサを用いて構成される。
 〔カメラヘッドの構成〕
 次に、カメラヘッド5の構成について説明する。
 カメラヘッド5は、レンズユニット501と、撮像部502と、通信モジュール503と、カメラヘッドメモリ504と、カメラヘッド制御部505と、を備える。
 レンズユニット501は、1または複数のレンズを用いて構成され、撮像部502の受光面に被写体像を結像する。また、レンズユニット501は、カメラヘッド制御部505の制御のもと、図示しない駆動部がレンズを光軸方向に沿って移動させることによって焦点位置を変化させるAF(Auto Focus)および焦点距離を変化させる光学ズームを行う。なお、本実施の形態1では、レンズユニット501に絞り機構および光軸上に挿脱可能な光学フィルタ機構を設けてもよい。
 撮像部502(撮像素子)は、カメラヘッド制御部505の制御のもと、挿入部2およびレンズユニット501が結像した被写体像を受光して光電変換を行うことによって画像データ(RAWデータ)を生成し、この画像データを通信モジュール503へ出力する。具体的には、撮像部502は、第1の光源部31が被検体に照射時に、撮像することによって生成した第1の画像データに基づく第1の画像(以下、単に「第1の画像」という)を通信モジュール503へ出力する。また、撮像部502は、第2の光源部32が被検体に投与された薬剤に赤外光を照射することによって撮像する特殊観察モード時に、撮像することによって生成した第2の画像データに基づく第2の画像(以下、単に「第2の画像」という)を通信モジュール503へ出力する。ここで、第2の画像とは、第1の画像と略同じ観察視野における特定領域を強調したものである。さらに、特定領域とは、被検体に蛍光物資を含む薬剤が投与された領域である。撮像部502は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等用いて構成される。
 通信モジュール503は、第1の伝送ケーブル6を介して制御装置9から送信された各種の信号をカメラヘッド5内の各部に出力する。また、通信モジュール503は、第1の伝送ケーブル6を介して、撮像部502が生成した第1の画像、第2の画像、カメラヘッド5の現在の状態に関する情報等に対してパラレルシリアル変換処理等を行って制御装置9へ出力する。
 カメラヘッドメモリ504は、カメラヘッド5を識別するカメラヘッド情報およびカメラヘッド5が実行する各種のプログラムを記憶する。ここで、カメラヘッド情報には、撮像部502の画素数、画素ピッチおよびカメラヘッド5の識別ID等が含まれる。カメラヘッドメモリ504は、揮発性メモリおよび不揮発性メモリ等を用いて構成される。
 カメラヘッド制御部505は、通信モジュール503から入力された各種信号に基づいて、カメラヘッド5を構成する各部の動作を制御する。カメラヘッド制御部505は、メモリとCPU等のハードウェアを有するプロセッサを用いて構成される。
 〔制御装置の構成〕
 次に、制御装置9の構成について説明する。
 制御装置9は、通信モジュール91と、信号処理部92と、画像処理部93と、入力部94と、メモリ95と、出力部96と、制御部97と、を備える。
 通信モジュール91は、カメラヘッド5から入力された撮像信号を含む各種信号を制御部97や信号処理部92へ出力する。また、通信モジュール91は、制御部97から入力された各種信号をカメラヘッド5へ送信する。具体的には、通信モジュール91は、制御部97から入力された信号に対してパラレルシリアル変換処理等を行ってカメラヘッド5へ出力する。さらに、通信モジュール91は、カメラヘッド5から入力された信号に対して、シリアルパラレル変換処理等を行って制御装置9を構成する各部に出力する。
 信号処理部92は、通信モジュール91を介してカメラヘッド5から入力された第1の画像または第2の画像に対して、ノイズ低減処理やA/D変換処理等の信号処理を行って画像処理部93へ出力する。
 画像処理部93は、制御部97の制御のもと、信号処理部92から入力される第1の画像または第2の画像に対して、各種の画像処理を行って表示装置7へ出力する。ここで、所定の画像処理としては、補間処理、色補正処理、色強調処理および輪郭強調処理等の各種の公知の画像処理である。さらに、画像処理部93は、第1の画像における特定領域を、第1の画像における特定領域に位置する第1の画素群と、第2の画像における特定領域に位置する第2の画素群と、を混在させた混在画像データに置き換えた第3の画像データに基づく第3の画像(以下、単に「第3の画像」という)を生成して表示装置7へ出力する。また、画像処理部93は、特徴領域の水平ラインにおいて、第1の画像の特定領域に位置する第1の画素群と第2の画像の特定領域に位置する第2の画素群とを交互に画素を配置することによって第3の画像を生成する。具体的には、画像処理部93は、特徴領域の水平ラインにおいて、第1の画像の特定領域に位置する第1の画素を所定の間隔で第2の画像の特定領域に位置する第2の画素に置き換えることによって第3の画像を生成する。画像処理部93は、メモリと、GPU、FPGAまたはCPU等のハードウェアを有するプロセッサと、を用いて構成される。なお、実施の形態1では、画像処理部93が医療用画像処理装置として機能する。
 入力部94は、キーボード、マウスおよびタッチパネル等を用いて構成される。入力部94は、ユーザの操作による各種情報の入力を受け付ける。
 メモリ95は、揮発性メモリ、不揮発性メモリおよびフレームメモリ等を用いて構成される。メモリ95は、内視鏡システム1が実行する各種のプログラムや処理中に使用される各種のデータを記憶する。なお、メモリ95は、制御装置9に対して装着自在なメモリカード等をさらに備えてもよい。
 出力部96は、スピーカ、プリンタおよびディスプレイ等を用いて構成される。出力部96は、内視鏡システム1に関する各種情報を出力する。
 制御部97は、内視鏡システム1を構成する各部を統括的に制御する。制御部97は、メモリおよびCPU等のハードウェアを用いて構成される。
 〔内視鏡システムの処理〕
 次に、内視鏡システム1が実行する処理について説明する。図3は、内視鏡システム1が実行する処理の概要を示すフローチャートである。
 図3に示すように、まず、制御部97は、通信モジュール91を介してカメラヘッド5からカメラヘッド情報、およびメモリ95から内視鏡システム1の現在の観察モードを示す観察モード情報を取得する(ステップS101)。
 続いて、制御部97は、メモリ95から取得した観察モード情報に基づいて、内視鏡システム1が特殊観察モードであるか否かを判断する(ステップS102)。制御部97によって内視鏡システム1が特殊観察モードであると判断された場合(ステップS102:Yes)、内視鏡システム1は、後述するステップS103へ移行する。これに対して、制御部97によって内視鏡システム1が特殊観察モードでないと判断された場合(ステップS102:No)、内視鏡システム1は、後述するステップS112へ移行する。
 ステップS103において、制御部97は、光源装置3に白色光を第1の照明光として照射させる。この場合、撮像部502は、レンズユニット501を介して被写体で白色光が反射した反射光を受光し、光電変換を行うことによって第1の画像P1を生成する。
 続いて、画像処理部93は、制御部97の制御のもと、通信モジュール503、通信モジュール91および信号処理部92を介して撮像部502から第1の画像を取得する(ステップS104)。例えば、画像処理部93は、図4に示すような第1の画像P1を取得する。
 その後、制御部97は、光源装置3に近赤外光を第2の照明光として照射させる(ステップS105)。この場合、撮像部502は、レンズユニット501を介して被写体に塗布された蛍光物質からの発光を受光し、光電変換を行うことによって第2の画像を生成する。
 続いて、画像処理部93は、制御部97の制御のもと、通信モジュール503、通信モジュール91および信号処理部92を介して撮像部502から第2の画像を取得する(ステップS106)。例えば、画像処理部93は、図5に示すような第2の画像P2を取得する。第2の画像P2には、第1の画像P1と略同じ観察領域における特定領域R1である蛍光物質が発光した発光領域が含まれる。
 その後、画像処理部93は、第2の画像における各画素の輝度値に基づいて、特徴領域を抽出する(ステップS107)。具体的には、画像処理部93は、第2の画像を構成する画素毎に輝度値が所定の閾値以上であるか否かを判定し、輝度が所定の閾値以上である画素を特定領域として第2の画像から抽出する。例えば、図5に示す第2の画像P2の場合、画像処理部93は、輝度が所定の閾値以上である領域の画素を特定領域R1として抽出する。ここで、所定の閾値以上とは、蛍光物質が発光した際の輝度と撮像部502に発生するノイズとを区別することができる値である。さらに、ノイズには、ランダムノイズ、点滅欠陥ノイズ、画素欠陥ノイズおよび熱ノイズ等が含まれる。なお、所定の閾値は、予めレンズユニット501を遮蔽した状態で撮像部502に複数撮像させて生成された複数の画像の輝度の平均値を求めるキャリブレーション処理等によって算出し、この算出結果をカメラヘッドメモリ504に記録させてもよい。もちろん、所定の閾値は、ネットワークを経由してサーバ内に記録されたカメラヘッドIDに対応する閾値を取得するようにしてもよい。
 続いて、画像処理部93は、第2の画像の特徴領域の各画素の輝度値を維持したまま、特定領域の各画素を強調する色に変換する(ステップS108)。具体的には、画像処理部93は、第2の画像から抽出した特徴領域の各画素の輝度を色差に変換する。例えば、画像処理部93は、第2の画像から抽出した特徴領域の各画素の輝度をYCbCr形式に変換することによって色差情報に変換することによって第2の画像の特徴領域の画素群を強調する。
 その後、画像処理部93は、特徴領域における第1の画像の画素群と特定領域における第2の画像の画素群とを混在させた第3の画像を生成し(ステップS109)。第3の画像を表示装置7へ出力する(ステップS110)。具体的には、画像処理部93は、図6に示すように、特徴領域における第1の画像の第1の画素群と第2の画像の第2の画素群とを混在させた第3の画像P3を生成する。図7は、図6の特徴領域の一部R10を拡大した拡大図である。図7の画像P31に示すように、画像処理部93は、第1の画像の特定領域R1における第1の画素の第1の画素I群と第2の画像の特定領域R1の第2の画素I群とを混在させることによって第3の画像P3(図6を参照)を生成する。より具体的には、画像処理部93は、特徴領域の水平ラインにおいて、第1の画像の特徴領域における第1の画素Iを、第2の画像の第2の画素Iに交互に規則的に置き換えることで、第1の画像の特定領域に第2の画素I群を混在させる第3の画像P3を生成する。例えば、図7に示すように、画像処理部93は、第1の画像の特徴領域における第1の画素の第1の画素I群を第2の画像の第2の画素I群を格子状に交互に配置するように規則的に置き換えることによって第3の画像P3を生成する。これにより、背景の第1の画像である可視画像の情報を維持しつつ、特定領域の第2の画像(近赤外画像)と第1の画像(可視画像)との境界を明確にすることができる。なお、図7では、画像処理部93は、特徴領域における第1の画素の第1の画素Iを第2の画像の第2の画素Iに交互に規則的に置き換えて格子状に配置しているが、例えば2画素間隔で第2の画像の特定領域R1の第2の画素Iに置き換えてもよく、適宜変更することができる。
 続いて、入力部94から被検体の観察を終了する指示信号が入力された場合(ステップS111:Yes)、内視鏡システム1は、本処理を終了する。これに対して、入力部94から被検体の観察を終了する指示信号が入力されていない場合(ステップS111:No)、内視鏡システム1は、上述したステップS102へ戻る。
 ステップS112において、制御部97は、光源装置3に白色光を第1の照明光として照射させる。この場合、撮像部502は、レンズユニット501を介して被写体で白色光が反射した反射光を受光し、光電変換を行うことによって第1の画像P1を生成する。
 続いて、画像処理部93は、制御部97の制御のもと、通信モジュール503、通信モジュール91および信号処理部92を介して撮像部502から第1の画像を取得し(ステップS113)、第1の画像に対して所定の画像処理を施して表示装置7へ出力する(ステップS114)。ステップS114の後、内視鏡システム1は、ステップS111へ移行する。
 以上説明した実施の形態1によれば、画像処理部93が第1の画像における特定領域を、第1の画像における特定領域に位置する第1の画素群と、第2の画像における特定領域に位置する第2の画素群と、を混在させた混在画像データに置き換えた第3の画像を生成するので、背景の第1の画像である可視画像の情報を維持しつつ、特定領域の第2の画像と第1の画像との境界を明確にすることができる。
 また、実施の形態1によれば、画像処理部93が第1の画像の特徴領域において第1の画素群と第2の画素群とを規則的に配置することによって第3の画像を生成するので、白色画像である可視画像の部分を残ししつつ、特殊光である赤外光により蛍光が発生している特定領域の部分を特定できるため、病変部位の位置を容易に把握することができる。
 また、実施の形態1によれば、画像処理部93が第1の画像の特徴領域の水平ラインにおいて特徴領域に位置する第1の画素と特徴領域に位置する第2の画素とを交互に配置することによって第3の画像を生成するので、病変部位の位置を容易に把握することができるので、外科処理による操作性を向上させることができる。
 なお、実施の形態1では、画像処理部93が第1の画像の特徴領域において、特徴領域における第1の画像の第1の画素群と特徴領域における第2の画像の第2の画素群とを規則的に配置していたが、特徴領域における第1の画像の第1の画素群と特徴領域における第2の画像の第2の画素群とを不規則に配置することによって第3の画像を生成してもよい。
(実施の形態1の変形例1)
 次に、実施の形態1の変形例1について説明する。図8は、実施の形態1の変形例1に係る画像処理部が生成する第3の画像の特徴領域における一部を拡大した拡大図である。
 図8の画像P32に示すように、画像処理部93は、第1の画像の特徴領域における第1の画素の第1の画素Iと第2の画像の第2の画素Iとを混在させた第3の画像を生成する。この場合、図8に示すように、画像処理部93は、第2の画像における特徴領域の各画素の輝度値に基づいて、第2の画素の表示面積を変更する。そして、画像処理部93は、第1の画像の特徴領域に位置する第1の画素Iを、表示面積を変更した第2の画素IR10、第2の画素IR11および第2の画素IR12の各々と置き換えることによって第3の画像を生成する。なお、図8では、ハッチングの表示面積を変更することによって、第2の画像における特徴領域の各画素の輝度値に応じた第2の画素の表示面積を表現した。さらに、図8では、輝度値が大きいほど、表示面積が大きい(第2の画素IR10>第2の画素IR11>第2の画素IR12)。
 以上説明した実施の形態1の変形例1によれば、画像処理部93が第2の画像における特徴領域の各画素の輝度値に基づいて、第2の画素の表示面積を変更し、第1の画素Iを、表示面積を変更した第2の画素Iと置き換えることによって第3の画像を生成するので、白色画像である可視画像の部分を残ししつつ、特殊光である赤外光により蛍光が発生している特定領域の部分を特定できるため、病変部位の位置を容易に把握することができる。
(実施の形態1の変形例2)
 次に、実施の形態1の変形例2について説明する。図9は、実施の形態1の変形例2に係る画像処理部が生成する第3の画像の特徴領域における一部を拡大した拡大図である。
 図9の画像P33に示すように、画像処理部93は、第1の画像の特徴領域における第1の画素Iと第2の画像の第2の画素Iとを混在させた第3の画像を生成する。この場合、画像処理部93は、第2の画像における特徴領域の各画素の輝度値に基づいて、第2の画素Iの色を変更する。そして、画像処理部93は、輝度値に応じて表示の色を変更した第2の画素IR21~第2の画素IR24を第1の画素Iと置き換えて第3の画像を生成する。例えば、画像処理部93は、輝度値が大きいほど、色を強調する(第2の画素IR21>第2の画素IR22>第2の画素IR23>第2の画素IR24)。例えば、画像処理部93は、第2の画素IR21を緑色、第2の画素IR22を青色、第2の画素IR23をマゼンタ色、第2の画素IR24を赤色に変換する。
 以上説明した実施の形態1の変形例2によれば、画像処理部93が第2の画像における特徴領域の各画素の輝度値に基づいて、第2の画素Iの色を変更し、輝度値に応じて表示の色を変更した第2の画素IR1~IR4を第1の画素Iと置き換えて第3の画像を生成するので、特殊光である赤外光により蛍光が発生している特定領域の部分を特定できるため、病変部位の位置を容易に把握することができる。
(実施の形態1の変形例3)
 次に、実施の形態1の変形例3について説明する。図10は、実施の形態1の変形例3に係る画像処理部93が生成する第3の画像の生成方法を模式的に示す図である。
 図10に示すように、画像処理部93は、水平ライン毎に第1の画像の特徴領域における第1の画素群と第2の画像の特徴領域における第2の画像群とを交互に配置することによって第3の画像を生成する。具体的には、画像処理部93は、第1の画像の特徴領域における偶数の水平ラインの第1の画素IW2群,第1の画素IW4群を第2の画像の特徴領域における偶数の水平ラインの第2の画素IR2群,第2の画素IR4群に置き換えて第3の画像を生成する。
 以上説明した実施の形態1の変形例3によれば、画像処理部93は、第1の画像の特徴領域における偶数の水平ラインの第1の画素IW2群,第1の画素IW4群を第2の画像の特徴領域における偶数の水平ラインの第2の画像の第2の画素IR2群,第2の画素IR4群に置き換えて第3の画像を生成するので、特殊光である赤外光により蛍光が発生している特定領域の部分を特定できるため、病変部位の位置を容易に把握することができる。
 なお、上述した実施の形態1の変形例3では、画像処理部93が垂直ライン毎に第1の画像の特徴領域における第1の画素群と第2の画像の特徴領域における第2の画像群とを交互に配置することによって第3の画像を生成してもよい。
 また、上述した実施の形態1の変形例3では、画像処理部93が特徴領域においてライン毎に第1の画素群と第2の画素群とを混在させて第3の画像を生成しているが、所定のライン毎、例えば2ライン毎に第1の画像群と第2の画素群とを混在させて第3の画像を生成してもよいし、奇数または偶数の水平ラインまたは垂直ラインだけに第1の画像群と第2の画素群とを混在させて第3の画像を生成してもよい。
(実施の形態2)
 次に、実施の形態2について説明する。上述した実施の形態1では、硬性鏡を用いた硬性内視鏡システムに適用した場合について説明したが、実施の形態2では、軟性の内視鏡を用いた軟性内視鏡システムに適用した場合について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
 〔内視鏡システムの概略構成〕
 図11は、実施の形態2に係る内視鏡システムの概略構成を示す図である。図11に示す内視鏡システム200は、被検体内に挿入部202を挿入することによって観察部位の体内画像を撮像して画像データを生成する内視鏡201と、内視鏡201に白色光または赤外光を供給する光源装置210と、内視鏡201が取得した撮像信号に所定の画像処理を施すとともに、内視鏡システム200全体の動作を統括的に制御する制御装置220と、制御装置220が画像処理を施した体内画像を表示する表示装置230と、を備える。
 内視鏡201は、少なくとも、上述したレンズユニット501と、撮像部502と、を有する。
 光源装置210は、少なくとも、上述した第1の光源部31と、第2の光源部32と、光源制御部33と、を有する。
 制御装置220は、少なくとも、上述した通信モジュール91と、信号処理部92と、画像処理部93と、入力部94と、メモリ95と、出力部96と、制御部97と、を有する。
 以上説明した実施の形態2によれば、軟性の内視鏡システム200であっても、上述した実施の形態1と同様の効果を得ることができる。
(実施の形態3)
 次に、実施の形態3について説明する。上述した実施の形態1,2では、内視鏡システムであったが、実施の形態3では、手術用顕微鏡システムに適用した場合について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
 〔手術用顕微鏡システムの構成〕
 図12は、実施の形態3に係る手術用顕微鏡システムの概略構成を示す図である。図12に示す手術用顕微鏡システム300は、被写体を観察するための画像を撮像することによって取得する医療用撮像装置である顕微鏡装置310と、顕微鏡装置310が撮像した画像を表示する表示装置311と、を備える。なお、表示装置311と顕微鏡装置310とを一体に構成することも可能である。
 顕微鏡装置310は、被写体の微小部位を拡大して撮像する顕微鏡部312と、顕微鏡部312の基端部に接続し、顕微鏡部312を回動可能に支持するアームを含む支持部313と、支持部313の基端部を回動可能に保持し、床面上を移動可能なベース部314と、を有する。ベース部314は、手術用顕微鏡システム300の動作を制御する制御装置315と、顕微鏡装置310から被写体に照射する白色光または赤外光等を生成する光源装置316と、を有する。なお、制御装置315は、少なくとも、上述した通信モジュール91と、信号処理部92と、画像処理部93と、入力部94と、メモリ95と、出力部96と、制御部97と、を有する。また、光源装置316は、少なくとも、上述した第1の光源部31と、第2の光源部32と、光源制御部33と、を有する。また、ベース部314は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部313を支持する構成としてもよい。
 顕微鏡部312は、例えば、円柱状をなして、その内部に上述したレンズユニット501および撮像部502を有する。顕微鏡部312の側面には、顕微鏡装置310の動作指示の入力を受け付けるスイッチが設けられている。顕微鏡部312の下端部の開口面には、内部を保護するカバーガラスが設けられている(図示せず)。
 このように構成された手術用顕微鏡システム300は、術者等のユーザが顕微鏡部312を把持した状態で各種スイッチを操作しながら、顕微鏡部312を移動させたり、ズーム操作を行ったり、照明光を切り替えたりする。なお、顕微鏡部312の形状は、ユーザが把持して視野方向を変更しやすいように、観察方向に細長く延びる形状であれば好ましい。このため、顕微鏡部312の形状は、円柱状以外の形状であってもよく、例えば多角柱状であってもよい。
 以上説明した実施の形態3によれば、手術用顕微鏡システム300においても、上述した実施の形態1と同様の効果を得ることができる。
(その他の実施の形態)
 上述した本開示の実施の形態1~3に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態1~3に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態1~3に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。
 本開示は、実施形態に限られるものではなく、特定領域において第1の画像と第2の画像とを混在して表示する際に、第2の画像の表示色と第1の画像の色とを所望の比率にてブレンド(合成)した色を第2の画像の表示色とすることもできる。
 具体的には、画像処理部93は、特定領域の第2の画素群の色表示に関して、画素ごとに以下のような処理を行う。第2の画像の各画素と重なる位置における第1の画像データ(例えば色相データ)と、第2の画像の各画素における第2の画像データ(例えば色相データ)とを線形補完した所望の色相データ(ブレンド色)を第2の画像(第2の画素群)の各画素の色(合成データ)を生成して表示することもできる。
 なお、ブレンド色の所望の比率は、画素毎の輝度や彩度に応じて適切な比率が画像処理部93にて設定することができる。また、観察者(術者)の好みに応じて設定を変更することも可能である。更に、上記「ブレンド」の例示では、色相データに対する「ブレンド(合成)」について説明をしたが、色相データに限定されるものではなく、各画素の輝度(明るさ)データや彩度データの少なくとも1つを用いたブレンドが可能である。
 例えば、上記色相データを輝度データに置き換えて合成データを生成することで所望の輝度データを有する画素データとして第2の画像(第2の画素群)の各画素に表示してもよい。
 また、上記色相データを彩度データに置き換えて合成データを生成することで所望の彩度データを有する画素データとして第2の画像(第2の画素群)の各画素に表示してもよい。
 なお、上記「ブレンド」の例示においては、色相、輝度、及び彩度の各データのブレンドについて説明したが、色相、輝度、及び彩度の各データの少なくとも2つを組み合わせて合成データを生成することで所望とする画素データとして第2の画像(第2の画素群)の各画素に表示することも可能である。
 また、本開示の実施の形態1~3に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
 また、本開示の実施の形態1~3に係る医療用観察システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
 また、本開示の実施の形態1~3に係る医療用観察システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
 なお、本明細書におけるタイミングチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてタイミング間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したタイミングチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
 以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
 なお、本技術は以下のような構成も取ることができる。
(付記1)
 外部から入力される第1の画像データに基づく第1の画像と、
 外部から入力される第2の画像データに基づく第2の画像であって、前記第1の画像における特定領域を強調した第2の画像と、
 を用いて、
 前記第1の画像における前記特定領域を、前記第1の画像における前記特定領域に位置する第1の画素群と、前記第2の画像における前記特定領域に位置する第2の画素群と、を混在させた混在画像データに置き換えた第3の画像データを生成する画像処理部、
 を備える、
 医療用画像処理装置。
(付記2)
 (付記1)に記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記特定領域において前記第1の画素群と前記第2の画素群とを規則的に配置することによって前記第3の画像データを生成する、
 医療用画像処理装置。
(付記3)
 (付記2)に記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記特定領域の水平ラインにおいて前記第1の画素群と前記第2の画素群とを交互に画素を配置することによって前記第3の画像データを生成する、
 医療用画像処理装置。
(付記4)
 (付記2)に記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記特定領域において前記第1の画素群と前記第2の画素群とを格子状に画素を配置することによって前記第3の画像データを生成する、
 医療用画像処理装置。
(付記5)
 (付記2)に記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記特定領域における水平ライン毎または垂直ライン毎に前記第1の画素群と前記第2の画素群とを交互に配置することによって前記第3の画像データを生成する、
 医療用画像処理装置。
(付記6)
 (付記1)に記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記第2の画素群の各々の輝度値に応じて前記混在画像データに基づく混在画像における第2の画素の表示面積を変更することによって前記第3の画像データを生成する、
 医療画像処理装置。
(付記7)
 (付記1)に記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記特定領域において前記第1の画素群と前記第2の画素群とを不規則に画素を配置することによって前記第3の画像データを生成する、
 医療用画像処理装置。
(付記8)
 (付記1)~(付記7)のいずれか一つに記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記第2の画素群を強調する色に変換することによって前記第3の画像データを生成する、
 医療用画像処理装置。
(付記9)
 (付記1)~(付記7)のいずれか一つに記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記第2の画素群の各々の輝度値を維持したまま強調する色に変換することによって前記第3の画像データを生成する、
 医療用画像処理装置。
(付記10)
 (付記1)~(付記7)のいずれか一つに記載の医療用画像処理装置であって、
 前記画像処理部は、
 前記第2の画素群の各々を輝度値に応じた色に変換することによって前記第3の画像データを生成する、
 医療用画像処理装置。
(付記11)
 (付記1)~(付記7)のいずれか一つに記載の医療用画像処理装置であって、
 前記画像処理部は、前記第2の画素群の各画素の表示データとして、前記第1の画素群の各画素における前記第1の画像データと前記第2の画素群の各画素における前記第2の画像データとが合成された画素毎の合成データを生成する機能を持つ、
 医療用画像処理装置。
(付記12)
 (付記11)に記載の医療用画像処理装置であって、
 前記合成データは、前記第1の画像および第2の画像の各画素における色相、輝度、及び彩度の少なくとも1つのデータの情報を用いて合成されることにより生成される、
 医療用画像処理装置。
(付記13)
 (付記1)~(付記12)のいずれか一つに記載の医療用画像処理装置であって、
 前記特定領域は、
 蛍光物資に対して励起光が照射されることによって発光した発光領域である、
 医療用画像処理装置。
(付記14)
 (付記1)~(付記13)のいずれか一つに記載の医療用画像処理装置と、
 蛍光物資を散布した被検体に対して白色光および近赤外光を照射可能な光源装置と、
 前記白色光が照射された際に前記被検体からの反射光を受光することによって前記第1の画像データを生成し、かつ、前記近赤外光が照射された際に前記蛍光物資から発せられた発光を受光することによって前記第2の画像データを生成する観察装置と、
 を備え、
 前記医療用画像処理装置は、
 前記観察装置から前記第1の画像データおよび前記第2の画像データを取得する、
 医療用観察システム。
1,200 内視鏡システム
2,202 挿入部
3,210,316 光源装置
4 ライトガイド
5 カメラヘッド
6 第1の伝送ケーブル
7,230,311 表示装置
8 第2の伝送ケーブル
9,220,315 制御装置
10 第3の伝送ケーブル
21 接眼部
31 第1の光源部
32 第2の光源部
33 光源制御部
51 操作リング部
52 入力部
61 第1のコネクタ部
62 第2のコネクタ部
91,503 通信モジュール
92 信号処理部
93 画像処理部
94 入力部
95 メモリ
96 出力部
97 制御部
201 内視鏡
300 手術用顕微鏡システム
310 顕微鏡装置
312 顕微鏡部
313 支持部
314 ベース部
501 レンズユニット
502 撮像部
503 通信モジュール
504 カメラヘッドメモリ
505 カメラヘッド制御部

Claims (14)

  1.  外部から入力される第1の画像データに基づく第1の画像と、
     外部から入力される第2の画像データに基づく第2の画像であって、前記第1の画像における特定領域を強調した第2の画像と、
     を用いて、
     前記第1の画像における前記特定領域を、前記第1の画像における前記特定領域に位置する第1の画素群と、前記第2の画像における前記特定領域に位置する第2の画素群と、を混在させた混在画像データに置き換えた第3の画像データを生成する画像処理部、
     を備える、
     医療用画像処理装置。
  2.  請求項1に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記特定領域において前記第1の画素群と前記第2の画素群とを規則的に配置することによって前記第3の画像データを生成する、
     医療用画像処理装置。
  3.  請求項2に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記特定領域の水平ラインにおいて前記第1の画素群と前記第2の画素群とを交互に画素を配置することによって前記第3の画像データを生成する、
     医療用画像処理装置。
  4.  請求項2に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記特定領域において前記第1の画素群と前記第2の画素群とを格子状に画素を配置することによって前記第3の画像データを生成する、
     医療用画像処理装置。
  5.  請求項2に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記特定領域における水平ライン毎または垂直ライン毎に前記第1の画素群と前記第2の画素群とを交互に配置することによって前記第3の画像データを生成する、
     医療用画像処理装置。
  6.  請求項1に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記第2の画素群の各々の輝度値に応じて前記混在画像データに基づく混在画像における第2の画素の表示面積を変更することによって前記第3の画像データを生成する、
     医療画像処理装置。
  7.  請求項1に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記特定領域において前記第1の画素群と前記第2の画素群とを不規則に画素を配置することによって前記第3の画像データを生成する、
     医療用画像処理装置。
  8.  請求項1に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記第2の画素群を強調する色に変換することによって前記第3の画像データを生成する、
     医療用画像処理装置。
  9.  請求項1に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記第2の画素群の各々の輝度値を維持したまま強調する色に変換することによって前記第3の画像データを生成する、
     医療用画像処理装置。
  10.  請求項1に記載の医療用画像処理装置であって、
     前記画像処理部は、
     前記第2の画素群の各々を輝度値に応じた色に変換することによって前記第3の画像データを生成する、
     医療用画像処理装置。
  11.  請求項1に記載の医療用画像処理装置であって、
     前記画像処理部は、前記第2の画素群の各画素の表示データとして、前記第1の画素群の各画素における前記第1の画像データと前記第2の画素群の各画素における前記第2の画像データとが合成された画素毎の合成データを生成する機能を持つ、
     医療用画像処理装置。
  12.  請求項11に記載の医療用画像処理装置であって、
     前記合成データは、前記第1の画像および第2の画像の各画素における色相、輝度、及び彩度の少なくとも1つのデータの情報を用いて合成されることにより生成される、
     医療用画像処理装置。
  13.  請求項1に記載の医療用画像処理装置であって、
     前記特定領域は、
     蛍光物資に対して励起光が照射されることによって発光した発光領域である、
     医療用画像処理装置。
  14.  請求項1に記載の医療用画像処理装置と、
     蛍光物資を散布した被検体に対して白色光および近赤外光を照射可能な光源装置と、
     前記白色光が照射された際に前記被検体からの反射光を受光することによって前記第1の画像データを生成し、かつ、前記近赤外光が照射された際に前記蛍光物資から発せられた発光を受光することによって前記第2の画像データを生成する観察装置と、
     を備え、
     前記医療用画像処理装置は、
     前記観察装置から前記第1の画像データおよび前記第2の画像データを取得する、
     医療用観察システム。
PCT/JP2020/032251 2019-08-27 2020-08-26 医療用画像処理装置および医療用観察システム WO2021039870A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021542978A JPWO2021039870A1 (ja) 2019-08-27 2020-08-26
US17/634,567 US20220277432A1 (en) 2019-08-27 2020-08-26 Medical image processing device and medical observation system
EP20858419.3A EP4000496A4 (en) 2019-08-27 2020-08-26 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL OBSERVATION SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-154630 2019-08-27
JP2019154630 2019-08-27

Publications (1)

Publication Number Publication Date
WO2021039870A1 true WO2021039870A1 (ja) 2021-03-04

Family

ID=74685910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032251 WO2021039870A1 (ja) 2019-08-27 2020-08-26 医療用画像処理装置および医療用観察システム

Country Status (4)

Country Link
US (1) US20220277432A1 (ja)
EP (1) EP4000496A4 (ja)
JP (1) JPWO2021039870A1 (ja)
WO (1) WO2021039870A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011101771A (ja) * 2009-11-12 2011-05-26 Fujifilm Corp 画像表示装置
JP2011104016A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2015029841A (ja) 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2016147366A1 (ja) * 2015-03-19 2016-09-22 オリンパス株式会社 内視鏡装置
WO2018047369A1 (ja) * 2016-09-06 2018-03-15 オリンパス株式会社 内視鏡システム
WO2018100732A1 (ja) * 2016-12-02 2018-06-07 オリンパス株式会社 内視鏡用画像処理装置
WO2018131141A1 (ja) * 2017-01-13 2018-07-19 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
WO2017149742A1 (ja) * 2016-03-04 2017-09-08 オリンパス株式会社 内視鏡用画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011101771A (ja) * 2009-11-12 2011-05-26 Fujifilm Corp 画像表示装置
JP2011104016A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2015029841A (ja) 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2016147366A1 (ja) * 2015-03-19 2016-09-22 オリンパス株式会社 内視鏡装置
WO2018047369A1 (ja) * 2016-09-06 2018-03-15 オリンパス株式会社 内視鏡システム
WO2018100732A1 (ja) * 2016-12-02 2018-06-07 オリンパス株式会社 内視鏡用画像処理装置
WO2018131141A1 (ja) * 2017-01-13 2018-07-19 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4000496A4

Also Published As

Publication number Publication date
JPWO2021039870A1 (ja) 2021-03-04
EP4000496A1 (en) 2022-05-25
EP4000496A4 (en) 2022-10-05
US20220277432A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
JP6956805B2 (ja) 内視鏡システム、内視鏡システムの制御方法
JP5698878B2 (ja) 内視鏡装置
JP5259882B2 (ja) 撮像装置
KR100939400B1 (ko) 생체 관측 장치
JP6228833B2 (ja) 撮像システム、及び内視鏡装置
JP6392486B1 (ja) 内視鏡システム
JP6616071B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
WO2021039870A1 (ja) 医療用画像処理装置および医療用観察システム
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
JP6137892B2 (ja) 撮像システム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP6937902B2 (ja) 内視鏡システム
JP7399151B2 (ja) 光源装置、医療用観察システム、調整装置、照明方法、調整方法およびプログラム
US11582427B2 (en) Medical image processing apparatus and medical observation system
JP2019041946A (ja) プロセッサ装置とその作動方法、および内視鏡システム
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
US11463668B2 (en) Medical image processing device, medical observation system, and image processing method
WO2018211600A1 (ja) 撮像装置、内視鏡システム、制御方法およびプログラム
WO2021186803A1 (ja) 医療用観察システム、制御装置および制御方法
US11774772B2 (en) Medical image processing device, medical observation system, and image processing method
JPWO2007077915A1 (ja) 撮像装置、表示装置及び撮像・表示装置
JP2010279521A (ja) 内視鏡装置および内視鏡画像取得方法
WO2021033326A1 (ja) 撮像素子、内視鏡および内視鏡システム
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP2020146405A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858419

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021542978

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020858419

Country of ref document: EP

Effective date: 20220218

NENP Non-entry into the national phase

Ref country code: DE