JP7127644B2 - 手術用撮像システム及び手術用画像の信号処理装置 - Google Patents

手術用撮像システム及び手術用画像の信号処理装置 Download PDF

Info

Publication number
JP7127644B2
JP7127644B2 JP2019526706A JP2019526706A JP7127644B2 JP 7127644 B2 JP7127644 B2 JP 7127644B2 JP 2019526706 A JP2019526706 A JP 2019526706A JP 2019526706 A JP2019526706 A JP 2019526706A JP 7127644 B2 JP7127644 B2 JP 7127644B2
Authority
JP
Japan
Prior art keywords
image
image sensor
imaging system
surgical
color filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019526706A
Other languages
English (en)
Other versions
JPWO2019003751A1 (ja
Inventor
浩司 鹿島
恒生 林
健治 高橋
貴美 水倉
大介 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019003751A1 publication Critical patent/JPWO2019003751A1/ja
Application granted granted Critical
Publication of JP7127644B2 publication Critical patent/JP7127644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/126—The splitting element being a prism or prismatic array, including systems based on total internal reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本開示は、手術用撮像システム及び手術用画像の信号処理装置に関する。
従来、例えば下記の特許文献１には、第１の撮像手段としてＳｉ系のＣＣＤ、ＣＭＯＳカメラ等を用い、第２の撮像手段としてＩｎＧａＡｓカメラ、ゲルマニウムカメラ、ビジコンカメラ等を用い、第２の撮像手段は可視光の波長には感度を有さない構成が記載されている。
特開２０１３－１６２９７８号公報
しかしながら、インジウムガリウム砒素（ＩｎＧａＡｓ）を用いたイメージセンサは、一般的にシリコン系のイメージセンサよりも解像度が低い。このため、上記特許文献に記載された技術では、例えば手術の術部を観察しようとした場合、ＩｎＧａＡｓカメラの解像度が低いため、可視光画像のような解像度の高い画像を得ることは困難である。
そこで、長波長域に受光感度を有するイメージセンサで撮像した場合に、画像の解像度を高めることが望まれていた。
本開示によれば、可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、を備える、手術用撮像システムが提供される。
また、本開示によれば、可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置が提供される。
本開示によれば、長波長域に受光感度を有するイメージセンサで撮像した場合に、画像の解像度を高めることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの構成を示すブロック図である。 ＳｉイメージセンサとＩｎＧａＡｓイメージセンサの分光感度特性を示す特性図である。 ＳｉイメージセンサとＩｎＧａＡｓイメージセンサのセンサ画素数の例を示す模式図である。 画素毎にＲＧＢ（赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ））の３色のカラーフィルタのいずれかと組み合わせるベイヤ（Ｂａｙｅｒ）方式を示す模式図である。 ＩｎＧａＡｓイメージセンサにおいて、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示す模式図である。 ＩｎＧａＡｓイメージセンサにおいて、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示す模式図である。 ＩｎＧａＡｓイメージセンサに赤色のフィルタを適用した例を示している。 ダイクロイックミラーと組み合わせて、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサを用いる３板システムを採用した例を示す模式図である。 生体組織の透過率を示す特性図である。 ＩｎＧａＡｓイメージセンサに１４００～１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像と、Ｓｉイメージセンサによる撮像で得られる可視光画像を示す模式図である。 血管を含む臓器の上を脂肪部が覆っている被写体を撮像した場合に、脂肪部を透過させて血管を認識可能とする例を示す模式図である。 本実施形態に係るシステムで行われる処理を示すフローチャートである。 合成処理部とその周辺の構成を示す模式図である。 撮像装置の光学システムを示す模式図である。 撮像装置の光学システムを示す模式図である。 撮像装置の光学システムを示す模式図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の概要
２．システムの構成例
３．２つのイメージセンサから得られる画像の位置合わせと合成
４．有用情報画像の抽出
５．本実施形態に係る手術用撮像システムで行われる処理
６．光学システムの構成例
１．本開示の概要
人体内部を撮像するために、撮像装置が広く用いられている。しかし、通常の可視光画像のみでは人体内部の臓器などの状態を正確には判断し難いのが実情である。このため、人体内部、例えば深い位置にある血管や脂肪域を視認し易くすることを目的として、近赤外波長域に感度のあるＩｎＧａＡｓイメージセンサを手術用撮像システムに搭載することを想定する。しかしながら、現状、ＩｎＧａＡｓイメージセンサは、従来の可視光画像の撮像で用いられるＳｉイメージセンサと比較して、画素サイズが大きくなり、解像度も低いという課題がある。
そこで、本開示では、ＩｎＧａＡｓイメージセンサの低い解像度を補うために、ＩｎＧａＡｓイメージセンサとＳｉイメージセンサの２つの撮像素子を利用した手術用撮像システムを発案した。本開示に係るＩｎＧａＡｓイメージセンサは、可視光域から近赤外波長域まで連続的な波長域に感度を持つイメージセンサであり、可視域の信号も取得することが可能である。つまり、本開示では、Ｓｉイメージセンサの波長域の最大値λ１ｍａｘと、ＩｎＧａＡｓイメージセンサの波長域の最小値はλ２ｍｉｎが「λ１ｍａｘ＞λ２ｍｉｎ」という関係を満たす。
特に手術用の撮像システムでは、撮像により得られる画像に高い解像度が要求される。本開示によれば、可視光域から近赤外波長域に感度のあるＩｎＧａＡｓイメージセンサを用いた場合に、Ｓｉイメージセンサを組み合わせることで、ＩｎＧａＡｓイメージセンサによる比較的低い解像度を高解像度のＳｉイメージセンサで補うことができる。従って、近赤外波長域の受光感度により上述のような深い位置にある血管や脂肪域を視認し易くするとともに、Ｓｉイメージセンサによる高解像度の画像を得ることができる。また、Ｓｉイメージセンサが撮像する可視光画像の画像情報と、ＩｎＧａＡｓイメージセンサが撮像する可視光画像の画像情報の相関を利用し、ＳｉイメージセンサとＩｎＧａＡｓイメージセンサの双方の画像間の位置合わせが可能となる。更に、Ｓｉイメージセンサが撮像する可視光画像の画像情報と、ＩｎＧａＡｓイメージセンサが撮像する可視光画像及び赤外光画像とを合成することで、双方のセンサから得られる情報を効率良く視認することも可能となる。
２．システムの構成例
図１は、本開示の一実施形態に係る手術用撮像システム１０００の構成を示すブロック図である。この手術用撮像システム１０００は、例えば、人体における血管、脂肪域、蛍光反応(蛍光物質、自家蛍光)などを観察対象としており、例えば内視鏡システム、ビデオ顕微鏡システム等に適用が可能である。図１に示すように、手術用撮像システム１０００は、撮像装置１００、信号処理装置２００、伝送装置３００、表示装置４００を有して構成されている。
撮像装置１００は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の２つの撮像素子を有している。Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０は、同じ被写体を撮像する。このため、同期信号生成部１３０が生成した同期信号によりＳｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の同期がとられる。同期信号生成部１３０は撮像装置１００に設けられていて良い。撮像の際には、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０による同時撮像、あるいは時分割によるフレームシーケンシャル撮像を行う。なお、通常はリアルタイムに撮像しながら信号処理と表示を行うが、録画しておいた画像データを再生する際に信号処理と表示を行っても良い。
図２は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の分光感度特性を示す特性図である。図２に示すように、ＩｎＧａＡｓイメージセンサ１２０は、可視光域から長波長域を含む広帯域な受光感度を有する。より具体的には、ＩｎＧａＡｓイメージセンサ１２０は、３５０ｎｍ～１５００ｎｍ程度の連続的な波長域に対して感度を有する。一方、Ｓｉイメージセンサ１１０は、可視光域に受光感度を有する。これにより、Ｓｉイメージセンサ１１０により高解像度の可視光画像が取得され、ＩｎＧａＡｓイメージセンサ１２０により可視光画像と赤外光画像が取得される。なお、以下では、可視光画像と赤外光画像を可視光／赤外光画像と称する。また、赤外光画像をＩＲ画像とも称する。
撮像の際に用いる光源として、可視域から近赤外波長域まで広帯域に照射可能な光源を採用することができる。また、近赤外波長域を蛍光観察として用いる場合には、蛍光を励起するための狭波長光源と、可視域の光源の組み合せても良い。
図３は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０のセンサ画素数の例を示す模式図である。一例としてＳｉイメージセンサ１１０は、３８４０×２１６０ピクセル（ｐｉｘ）の画素を有し、各画素はベイヤ（ｂａｙｅｒ）配列により配列されている。一方、ＩｎＧａＡｓイメージセンサ１２０は、５１２×２５６ピクセル（ｐｉｘ）の画素を有する。ＩｎＧａＡｓイメージセンサ１２０の画素のうち、２０×１０ピクセル（ｐｉｘ）は、Ｓｉイメージセンサ１１０が取得した可視光画素と位置合わせするため、位置合わせ用の可視光画素として構成されている。位置合わせ用の可視光画素については、後述する。なお、Ｓｉイメージセンサ１１０は、４０９６×２１６０ピクセル（ｐｉｘ）の画素を有するものや、４０９６×２１６０ピクセル（ｐｉｘ）以上の高解像度のもの（例えば７６８０×４３２０ピクセル（ｐｉｘ））であっても良い。
図１に示すように、信号処理装置２００は、白色光画像処理部２０２、分離処理部２０４、変形パラメータ生成処理部２０６、ＩＲ画像処理部２１０、合成処理部２２０を有して構成されている。白色光画像処理部２０２は、現像処理部２０２ａと高画質化処理部２０２ｂを有している。また、ＩＲ画像処理部２１０は、穴埋め処理部２１２、高画質化処理部２１４、有用情報画像抽出部（画像抽出部）２１６、有用情報画像処理部２１７、画像変形・拡大処理部（画像適合部）２１８を有している。
３．２つのイメージセンサから得られる画像の位置合わせと合成
１つのＳｉイメージセンサ１１０でカラー画像を撮像する場合には、図４Ａに示すように、画素毎にＲＧＢ（赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ））の３色のカラーフィルタのいずれかと組み合わせるベイヤ（Ｂａｙｅｒ）方式が一般的である。図４Ｂ及び図４Ｃは、ＩｎＧａＡｓイメージセンサ１２０においても、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示しており、Ｓｉイメージセンサ１１０で使われる緑（Ｇｒｅｅｎ）用のカラーフィルタをＩｎＧａＡｓイメージセンサ１２０にも適用した例を示している。
ＩｎＧａＡｓイメージセンサ１２０に緑色用のカラーフィルタを適用する際には、Ｓｉイメージセンサ１１０で使われる緑色用のカラーフィルタを、Ｓｉイメージセンサ１１０の緑色用のカラーフィルタと同じ画素位置に適用する。これにより、ＩｎＧａＡｓイメージセンサ１２０により、緑色用のカラーフィルタを透過した光を撮像できる。そして、Ｓｉイメージセンサ１１０の緑色用カラーフィルタを透過した画像と、ＩｎＧａＡｓイメージセンサ１２０の緑色用カラーフィルタを透過した画像を観察すると、同一物体を同じ波長域で観察していることとなる。従って、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の２つのイメージセンサで撮影された画像間の相関を利用することができ、相関に基づいて２つの画像の位置合わせを行うことができる。これは、上述のようにＩｎＧａＡｓイメージセンサ１２０が可視光の波長域にも感度があることで実現可能となる。なお、緑色用のカラーフィルタを配置した画素の画素値に基づいて位置合わせをすることで、他の色のカラーフィルタを用いた場合よりも解像度が高くなるため、位置合わせを精度良く行うことができる。
図４Ｂは、ＩｎＧａＡｓイメージセンサ１２０に対して、緑色用のカラーフィルタを比較的多くの画素に配置した例を示している。この場合、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の位置合わせを重視することになり、位置合わせの精度を高めることができる。また、図４Ｃは、ＩｎＧａＡｓイメージセンサ１２０に対して緑色用のカラーフィルタを少なくし、ＩｎＧａＡｓイメージセンサ１２０の本来の画素を多くした例を示している。この場合、ＩｎＧａＡｓイメージセンサ１２０による特殊光の画質を重視した撮像を行うことができる。
なお、ＩｎＧａＡｓイメージセンサ１２０に適用するカラーフィルタは、赤色、または青色であってもよい。この場合も、Ｓｉイメージセンサ１１０における同色のカラーフィルタと同じ画素位置に赤色、または青色のカラーフィルタを適用する。図４Ｄでは、ＩｎＧａＡｓイメージセンサ１２０に赤色のフィルタを適用した例を示している。
また、Ｓｉイメージセンサ１１０は近赤外領域でも感度があるため、近赤外用の透過フィルタをＳｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の双方の同じ画素位置に適用しても良い。これにより、近赤外用の透過フィルタを透過した画素から得られる画素値に基づいて、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の双方の画像の位置合わせが可能である。
なお、本実施形態において、Ｓｉイメージセンサ１１０については、１つのイメージセンサでＲＧＢの各色を撮像する１板のＢａｙｅｒシステムを想定しているが、この構成に限定されるものではない。例えば、図５に示すように、ダイクロイックミラー１１２と組み合わせて、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサ１１４，１１６，１１８を用いる３板システムを採用してもよい。
４．有用情報画像の抽出
次に、ＩｎＧａＡｓイメージセンサ１２０で撮像した画像から、生体に関する有用情報画像を抽出する手法について説明する。図６は、生体組織の透過率を示す特性図である。なお、図６に示すような特性は、例えば特開２００７－７５３６６号公報に記載されている。
図６では、上段に波長に応じた水の透過率の特性を示し、下段に波長に応じた人間の生体組織の透過率の特性を示している。上段と下段の特性において、横軸の波長は対応している。図６に示すように、１４００ｎｍ～１５００ｎｍの波長域では、脂肪の透過率が他の生体組織や水の透過率と比較して特異的に高いことが判る。つまり、ＩｎＧａＡｓイメージセンサ１２０の画素において、この波長域を選択的に透過するフィルタと組み合わせることで、脂肪とそれ以外の組織を見分けることが可能となる。なお、図２に示したように、Ｓｉイメージセンサ１１０で１４００～１５００ｎｍの波長域を撮像することはできない。
ＩｎＧａＡｓイメージセンサ１２０に１４００ｎｍ～１５００ｎｍの波長域を透過するフィルタを組み合わせ、近赤外域をカバーする広帯域光を照射して撮像すると、フィルタを通過して取得される信号値は１４００ｎｍ～１５００ｎｍ付近の波長域の信号となる。
この時、図６に示すように、脂肪以外の組織は、透過率が低くなる。換言すれば、脂肪以外の組織は吸光率が高い。このため、脂肪以外の組織は、光を多く吸収して暗い信号値となり、脂肪の組織は吸光率が低いので明るい信号値となる。
図７は、ＩｎＧａＡｓイメージセンサ１２０に１４００～１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像５１０と、Ｓｉイメージセンサ１１０による撮像で得られる可視光画像５００を示す模式図である。図７に示す例では、可視光画像５００に示すように、特定の臓器５３０を撮像した様子を示している。臓器５３０には、脂肪の組織が含まれるが、Ｓｉイメージセンサ１１０による撮像で得られる可視光画像５００からは、脂肪の組織を判別することはできない。特に、臓器５３０の内部に脂肪の組織が存在する場合、脂肪の組織を判別したり認識したりすることは困難である。
一方、上述した手法により、ＩｎＧａＡｓイメージセンサ１２０の画像５１０からは有用情報を抽出することができ、脂肪の組織は吸光率が低いため明るい信号値となる。従って、ＩｎＧａＡｓセンサ１２０から得られる近赤外画像中の脂肪部５４０は、図７の画像５１０中の白く明るい領域となる。従って、画像５１０から画素値が所定値以上の明るい画素を抽出することで、脂肪部５４０を抽出することができる。従って、脂肪部５４０の領域を有用情報画像として抽出する生体領域抽出機能が実現できる。逆に画像５１０中で画素値の低い領域、すなわち暗い領域を、水分量の多い領域とみなしてもよい。
図７では、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から抽出した有用情報画像を合成して得られる重畳画像５２０を示している。重畳画像５２０からは、Ｓｉイメージセンサ１１０の可視光画像５００から臓器５３０の輪郭や外観などを認識することができ、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から抽出した有用情報画像からは、画像５００からは判別できない脂肪部５４０の領域及び状態を判別できる。従って、脂肪部５４０が臓器５３０のどの範囲にどのような状態で生じているかを確実に判別することが可能となる。従って、臓器５３０の手術を行う場合には、脂肪部５４０の位置や状態を考慮して手術を行うことも可能となる。
また、ＩｎＧａＡｓイメージセンサ１２０において、１４００ｎｍ～１５００ｎｍの波長域を透過するフィルタを用いた場合、この波長域では脂肪の透過率は高く、脂肪部５４０の光は透過するが、それ以外の組織の光は透過しない。このため、脂肪部５４０と他の組織が重なっている場合に、脂肪部５４０を透過させた様子を観察可能である。
図８は、血管５４２を含む臓器５３０の上を脂肪部５４０が覆っている被写体５５０を撮像した場合に、脂肪部５４０を透過させて血管５４２を認識可能とする例を示す模式図である。被写体５５０をＳｉイメージセンサ１１０で撮像して得られる画像５００では、臓器５３０、脂肪部５４０、血管５４２が写っているが、脂肪部５４０が血管５４２の上に形成されているため、脂肪部５４０の下の血管５４２の様子を判別することはできない。
一方、ＩｎＧａＡｓイメージセンサ１２０に１４００～１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像５１０では、脂肪部５４０における光の透過率が高く、血管５４２の光の透過率は低いため、脂肪部５４０を光が透過することにより、血管５４２が透けて見えることになる。
従って、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０を合成して得られる重畳画像５２０では、脂肪部５４０を透過した血管５４２の様子を詳細に観察可能となる。また、重畳画像５２０では、可視光画像５００が含まれていることから、色再現も自然となり、視認性、認識性を高めることが可能である。なお、図８の重畳画像５２０においても、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から脂肪部５４０及び血管５４２を抽出して得られる有用情報画像を可視光画像５００に重畳することが望ましい。
図８では、比較のため、脂肪部５４０が無い被写体５６０を示している。被写体５６０は、脂肪部５４０が無い点を除くと、被写体５５０と同一である。重畳画像５２０では、脂肪部５４０を透けて血管５４２を視認できるため、脂肪部５４０を透過させつつ通常の色再現を保持する画像を取得することが可能である。従って、被写体５５０と重畳画像５２０を対比すると明らかなように、脂肪部５４０が存在していない被写体５６０を可視光画像として撮像した場合と同様の重畳画像５２０を得ることが可能である。
例えば、手術の現場において、脂肪部５４０によって視認できない血管５４２が存在すると、血管５４２を誤って切除してしまうことも想定される。このような場合、本実施形態に係る重畳画像５２０を用いることにより、脂肪部５４０を透過して血管５４２を観察することができるため、手術中に血管５４２が誤って切除されてしまう事態を確実に抑止できる。
重畳画像５２０を生成する際には、ＩＲ画像をモノクロ化し、任意の色に単色化し、可視光画像とアルファブレンディングして重畳画像５２０を生成しても良い。単色化においては、人間の体内ではほとんど存在しない緑色、または青色を選択することが好適である。
また、上述の例では、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０を合成する例を挙げたが、１つのディスプレイ内に２つの画像を、サイドバイサイド（ＳｉｄｅＢｙＳｉｄｅ）やピクチャインピクチャ（ＰｉｃｔｕｒｅＩｎＰｉｃｔｕｒｅ）などの方式で同時に表示しても良い。また、２つのディスプレイにそれぞれの画像を表示するなどしても良い。また、２Ｄ表示だけでなく、ステレオ３Ｄ表示を行ってもよい。更に、ヘッドマウントディスプレイのような人体装着式の表示デバイスを表示装置４００として表示してもよい。
５．本実施形態に係る手術用撮像システムで行われる処理
次に、図９のフローチャートに基づいて、図１のブロック図を参照しながら、本実施形態に係る手術用撮像システム１０００で行われる処理について説明する。図９の処理は、主として信号処理装置２００で行われるものである。先ず、ステップＳ１０では、Ｓｉイメージセンサ１１０が撮像した可視光画像が取得される。可視光画像は、白色光画像処理部２０２において、現像処理部２０２ａにより現像処理が行われ、高画質化処理部２０２ｂにより高画質化処理が行われる。
次のステップＳ１２では、ＩｎＧａＡｓイメージセンサ１２０が撮像した可視光／赤外光画像が取得される。次のステップＳ１４では、分離処理部２０４により、可視光／赤外光画像がＩＲ画像と位置合わせ用の可視光画像に分離される。ここで、ＩＲ画像は、図４Ｂに示した緑色用のカラーフィルタが配置された画素以外の画素からなる画像である。また、位置合わせ用の可視光画像は、図４Ｂに示した緑色用のカラーフィルタが配置された画素からなる画像である。なお、ＩＲ画像は、Ｓｉイメージセンサ１１０が撮像した可視光画像よりも低解像度であり、位置合わせ用の可視光画像はＩＲ画像よりも更に低解像度である。
次のステップＳ１６では、変形パラメータ生成処理部２０６が、Ｓｉイメージセンサ１２０が撮像した可視光画像と、分離処理部２０４により分離された位置合わせ用の可視光画像を対比する。そして、変形パラメータ生成処理部２０６は、Ｓｉイメージセンサ１２０が撮像した可視光画像に合わせてＩｎＧａＡｓイメージセンサ１２０が取得した可視光／赤外光画像を変形または拡大するための変形パラメータを生成する。
Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０は解像度が異なることや、それぞれのレンズ特性によって画角などが異なることが想定されるため、可視光画像と可視光／赤外画像の重畳表示を行う前に、信号処理として画サイズの変更を適切に行う。例えば、Ｓｉイメージセンサ１１０が４Ｋ解像度（３８４０×１０８０）で、ＩｎＧａＡｓイメージセンサ１２０がそれよりも解像度の低いＨＤ解像度（１９２０×１０８０）である場合、ＩｎＧａＡｓイメージセンサ１２０で撮像された可視光／赤外画像を、アスペクト比は変えずに４Ｋ解像度相当に解像度変換（Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）する。変形パラメータ生成処理部２０６は、このような画サイズの変更を行うための変形パラメータを生成する。
また、可視光画像と可視光／赤外光画像の重畳表示を行う前に、信号処理として画像の位置合わせや歪み補正を行ってもよい。例えば、時分割によるフレームシーケンシャルの撮像を行う場合、被写体やカメラが動くと、２つの画像間で位置ズレが発生する可能性がある。また、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０で同時に撮像を行う場合、双方のセンサ及び光学系の位置に応じた位置ズレが生じる。あるいは波長毎の軸上色収差やレンズ特性の違いによって、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０における像の大きさの違いや歪みが発生する可能性がある。変形パラメータ生成処理部２０６は、このような画像の位置合わせ、歪み補正を行うために変形パラメータを生成する。時分割によるフレームシーケンシャルの撮像で被写体やカメラが動いた場合は、Ｓｉイメージセンサ１１０の可視光画像とＩｎＧａＡｓイメージセンサ１２０の位置合わせ用の可視光画像を対比し、ブロックマッチングを行うことで、位置合わせを行うことができる。また、双方のセンサ及び光学系の位置に応じた位置ズレ、波長毎の軸上色収差やレンズ特性の相違は、撮像装置１００、及び双方のセンサの仕様から予め求めることができる。
なお、位置合わせを行った後、可視光画像と可視光／赤外光画像の同位置にある画像データを用いた視差推定によりデプスマップ（Ｄｅｐｔｈ ｍａｐ）を作成することも可能である。
次のステップＳ１８では、穴埋め処理部２１２が、分離処理部２０４により分離されたＩＲ画像について、位置合わせ用の可視光画像の画素値を穴埋めする処理を行う。具体的には、図４Ｂに示した緑色用のカラーフィルタが配置された画素の画素値を、周囲の画素の画素値で補間する処理を行う。
次のステップＳ２０では、高画質化処理部２１４が、穴埋め処理部２１２によって穴埋め処理が行われたＩＲ画像を高画質化する処理を行う。高画質化処理部２１４は、Ｓｉイメージセンサ１１０で撮像された可視光画像の画像情報を元に、ＩｎＧａＡｓイメージセンサ１２０で撮像されたＩＲ画像を信号処理で高画質化する。例えば、高画質化処理部２１４は、Ｓｉイメージセンサ１１０で撮像された可視画像をガイドにして、可視光画像とＩＲ画像のＰＳＦボケ量（ＰＳＦ）を推定する。そして、可視光画像のボケ量に合うようにＩＲ画像のボケを除去することでＩＲ画像のコントラストを向上させ、高画質化を行う。
次のステップＳ２２では、有用情報画像抽出部２１６が、高画質化処理のなされたＩＲ画像から、生体に関する有用情報画像を抽出する。有用情報画像は、例えば、図７及び図８に示したようなＩＲ画像中の脂肪部５４０の領域を示す画像情報である。可視光画像とＩＲ画像を単に合成した場合、脂肪部５４０が強調して表示されない場合があるため、脂肪部５４０の領域を有用情報画像として抽出し、他の領域を取り除く処理を行う。これにより、可視光画像との合成後に脂肪部５４０の領域を強調して表示することができる。
次のステップＳ２４では、有用情報画像処理部２１７が、有用情報画像について画像化処理を行う。ここでは、例えば、有用情報画像に相当する脂肪部５４０の領域を、人体内部に存在しない色（緑色、青色など）に着色する。これにより、可視光画像との合成後に脂肪部５４０の領域を強調して表示することができる。
次のステップＳ２６では、画像変形・拡大処理部２１８が、有用情報画像に変形パラメータを適用して、有用情報画像の変形、拡大処理を行う。これにより、Ｓｉイメージセンサ１１０で撮像された可視光画像と有用情報画像の位置、サイズが適合される。また、変形パラメータを適用することで、Ｓｉイメージセンサ１１０で撮像された可視光画像と有用情報画像において、波長毎の軸上色収差やレンズ特性の歪みが同じレベルに補正される。次のステップＳ２８では、合成処理部２２０が、白色光画像処理部２０２で処理がされた可視光画像と、ＩＲ画像処理部２１０で処理がされた有用情報画像とを合成する。合成により生成された合成画像（重畳画像）の情報は、信号処理装置２００から伝送装置３００へと送られ、更に表示装置４００へ送られる。
図１０は、合成処理部２２０とその周辺の構成を示す模式図である。図１０に示すように、合成処理部２２０の後段にセレクタ２２２が設けられていても良い。セレクタ２２２には、合成処理部２２０によって合成された合成画像に加え、合成前の画像、すなわち、白色光画像処理部２０２から出力された可視光画像と、ＩＲ画像処理部２１０から出力された有用情報画像が入力される。
セレクタ２２２からは、合成処理部２２０によって合成された合成画像、白色光画像処理部２０２で処理がされた可視光画像、及びＩＲ画像処理部２１０で処理がされた有用情報画像、のいずれかが選択されて伝送装置３００に出力される。従って、伝送装置３００から表示装置４００へ合成画像、可視光画像、及び有用情報画像のいずれかが送られることで、これらの画像を表示装置４００に表示することができる。なお、セレクタ２２２による画像の切り換えは、ユーザによる操作情報がセレクタに入力されることで行われる。合成画像を表示した場合は、Ｓｉイメージセンサ１１０から得られる情報とＩｎＧａＡｓイメージセンサ１２０から得られる情報を一度に視認することができるため、最も効率良く情報を取得可能である。
次のステップＳ３０では、表示装置４００が伝送装置３００から送られた画像情報を表示する。次のステップＳ３２では、処理を終了するか否かを判定する。処理を終了しない場合は、ステップＳ１０へ戻り、以降の処理を行う。
６．光学システムの構成例
図１１Ａ～図１１Ｃは、撮像装置１００の光学システムを示す模式図である。光学システムとしては、図１１Ａに示すように、１つの開口からレンズ１２２を通して光を導入し、撮像装置１００の内部にスプリッタ１２４を配置してＳｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０に導光する「１眼２板システム」を採用することができる。この場合、波長によって光学軸上の色収差が異なるため、その影響を軽減するために、レンズ１２２とＳｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０の位置を適切に設計することが望ましい。
また、図１１Ｂに示すように、２つの開口からレンズ１２６，１２８を通して光を導入し、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０のそれぞれに導光する「２眼２板システム」を採用しても良い。この場合には、重畳画像の生成時に２つの開口部の位置の違いによる視差を適切に補正する。
また、図１１Ｃは、図５と同様にダイクロイックミラー１１２を備え、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサ１１４，１１６，１１８を用いる３板システムを採用した例を示している。この場合、１つの開口からレンズ１３０を通して光を導入し、レンズ１３０を透過した光がスプリッタ１３２へ入射し、スプリッタ１３２で分光された光がダイクロイックミラー１１２とＩｎＧａＡｓイメージセンサ１２０のそれぞれに照射される。
以上説明したように本実施形態によれば、通常の可視光画像だけでは判断し難い血管や脂肪域の視認性を向上させることができる。また、ＩｎＧａＡｓイメージセンサ１２０で撮像された画像の解像度感を向上させることが可能となる。更に、ＩｎＧａＡｓイメージセンサ１２０とＳｉイメージセンサ１１０で撮像された画像を重畳表示させることで、同時観察が可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１） 可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、
可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、
前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、
を備える、手術用撮像システム。
（２） 前記第１のイメージセンサの解像度は、前記第２のイメージセンサの解像度よりも高い、前記（１）に記載の手術用撮像システム。
（３） 前記第１のイメージセンサは、画素毎に配置された所定の色のカラーフィルタを有し、
前記第２のイメージセンサは、前記第１のイメージセンサの前記カラーフィルタの画素位置に対応する画素位置に、前記カラーフィルタと同色のカラーフィルタを有する、前記（１）又は（２）に記載の手術用撮像システム。
（４） 前記所定の色は緑色である、前記（３）に記載の手術用撮像システム。
（５） 前記第１のイメージセンサはＳｉからなるイメージセンサであり、３８４０×２１６０ピクセル以上の解像度を有する、前記（１）～（４）のいずれかに記載の手術用撮像システム。
（６） 前記第２のイメージセンサはＩｎＧａＡｓからなるイメージセンサである、前記（１）～（５）のいずれかに記載の手術用撮像システム。
（７） 前記信号処理装置は、前記第１のイメージセンサの前記カラーフィルタを透過して得られる画素値と、前記第２のイメージセンサの前記カラーフィルタを透過して得られる画素値とに基づいて、前記第１の画像と前記第２の画像を適合する画像適合部を有する、前記（３）に記載の手術用撮像システム。
（８） 前記信号処理装置は、前記第２のイメージセンサの前記カラーフィルタが設けられた画素位置において、当該カラーフィルタが配置されていない状態での画素値を算出する穴埋め処理部を有する、前記（３）に記載の手術用撮像システム。
（９） 前記信号処理装置は、前記第１の画像と前記第２の画像を合成する合成処理部を有する、前記（１）～（８）のいずれかに記載の手術用撮像システム。
（１０） 前記信号処理装置は、前記第１の画像に基づいて前記第２の画像を高画質化する高画質化処理部を有する、前記（１）～（９）のいずれかに記載の手術用撮像システム。
（１１） 前記信号処理装置は、前記第２の画像から特定の領域を抽出する画像抽出部を有する、前記（１）～（１０）のいずれかに記載の手術用撮像システム。
（１２） 前記第２のイメージセンサは、所定の波長域の光を透過するフィルタを有し、
前記画像抽出部は、前記フィルタを透過して得られる画素値に基づいて前記特定の領域を抽出する、前記（１１）に記載の手術用撮像システム。
（１３） 前記所定の波長域は、１３００ｎｍ以上１４００ｎｍ以下の波長域である、前記（１２）に記載の手術用撮像システム。
（１４） 前記信号処理装置は、前記特定の領域に所定の色を付与する画像処理部を有する、前記（１１）に記載の手術用撮像システム。
（１５） 前記所定の色は緑色又は青色である、前記（１４）に記載の手術用撮像システム。
（１６） 前記第１のイメージセンサ及び前記第２のイメージセンサは、人体内部の脂肪又は血管を撮像する、前記（１）～（１５）のいずれかに記載の手術用撮像システム。
（１７） 可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置。
１００ 撮像装置
１１０ Ｓｉイメージセンサ
１２０ ＩｎＧａＡｓイメージセンサ
２００ 信号処理装置
２１２ 穴埋め処理部
２１４ 高画質化処理部
２１６ 有用情報画像抽出部
２１７ 有用情報画像処理部
２１８ 画像変形・拡大処理部
２２０ 合成処理部
１０００ 手術用撮像システム

Claims (16)

  1. 可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、
    可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、
    前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、
    を備え、
    前記第１のイメージセンサは、画素毎に配置された所定の色のカラーフィルタを有し、
    前記第２のイメージセンサは、前記第１のイメージセンサの前記カラーフィルタの画素位置に対応する画素位置に、前記カラーフィルタと同色のカラーフィルタを有する、
    手術用撮像システム。
  2. 前記第１のイメージセンサの解像度は、前記第２のイメージセンサの解像度よりも高い、請求項１に記載の手術用撮像システム。
  3. 前記所定の色は緑色である、請求項１に記載の手術用撮像システム。
  4. 前記第１のイメージセンサはＳｉからなるイメージセンサであり、３８４０×２１６０ピクセル以上の解像度を有する、請求項１に記載の手術用撮像システム。
  5. 前記第２のイメージセンサはＩｎＧａＡｓからなるイメージセンサである、請求項１に記載の手術用撮像システム。
  6. 前記信号処理装置は、前記第１のイメージセンサの前記カラーフィルタを透過して得られる画素値と、前記第２のイメージセンサの前記カラーフィルタを透過して得られる画素値とに基づいて、前記第１の画像と前記第２の画像を適合する画像適合部を有する、請求項１に記載の手術用撮像システム。
  7. 前記信号処理装置は、前記第２のイメージセンサの前記カラーフィルタが設けられた画素位置において、当該カラーフィルタが配置されていない状態での画素値を算出する穴埋め処理部を有する、請求項１に記載の手術用撮像システム。
  8. 前記信号処理装置は、前記第１の画像と前記第２の画像を合成する合成処理部を有する、請求項１に記載の手術用撮像システム。
  9. 前記信号処理装置は、前記第１の画像に基づいて前記第２の画像を高画質化する高画質化処理部を有する、請求項１に記載の手術用撮像システム。
  10. 前記信号処理装置は、前記第２の画像から特定の領域を抽出する画像抽出部を有する、請求項１に記載の手術用撮像システム。
  11. 前記第２のイメージセンサは、所定の波長域の光を透過するフィルタを有し、
    前記画像抽出部は、前記フィルタを透過して得られる画素値に基づいて前記特定の領域を抽出する、請求項１０に記載の手術用撮像システム。
  12. 前記所定の波長域は、１３００ｎｍ以上１４００ｎｍ以下の波長域である、請求項１１に記載の手術用撮像システム。
  13. 前記信号処理装置は、前記特定の領域に所定の色を付与する画像処理部を有する、請求項１０に記載の手術用撮像システム。
  14. 前記所定の色は緑色又は青色である、請求項１３に記載の手術用撮像システム。
  15. 前記第１のイメージセンサ及び前記第２のイメージセンサは、人体内部の脂肪又は血管を撮像する、請求項１に記載の手術用撮像システム。
  16. 可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置であって、
    前記第１のイメージセンサは、画素毎に配置された所定の色のカラーフィルタを有し、
    前記第２のイメージセンサは、前記第１のイメージセンサの前記カラーフィルタの画素位置に対応する画素位置に、前記カラーフィルタと同色のカラーフィルタを有する、
    信号処理装置。
JP2019526706A 2017-06-26 2018-05-28 手術用撮像システム及び手術用画像の信号処理装置 Active JP7127644B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017124074 2017-06-26
JP2017124074 2017-06-26
PCT/JP2018/020326 WO2019003751A1 (ja) 2017-06-26 2018-05-28 手術用撮像システム及び手術用画像の信号処理装置

Publications (2)

Publication Number Publication Date
JPWO2019003751A1 JPWO2019003751A1 (ja) 2020-04-23
JP7127644B2 true JP7127644B2 (ja) 2022-08-30

Family

ID=64740514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019526706A Active JP7127644B2 (ja) 2017-06-26 2018-05-28 手術用撮像システム及び手術用画像の信号処理装置

Country Status (4)

Country Link
US (1) US20200126220A1 (ja)
EP (1) EP3646771A4 (ja)
JP (1) JP7127644B2 (ja)
WO (1) WO2019003751A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200093420A1 (en) * 2018-09-21 2020-03-26 Covidien Lp Surgical imaging system and methods of use thereof
WO2020095513A1 (ja) * 2018-11-06 2020-05-14 富士フイルム株式会社 撮像レンズ及び撮像装置
US10902572B1 (en) * 2019-10-09 2021-01-26 Karl Storz Imaging, Inc. Enhanced fluorescence imaging for imaging system
TW202137749A (zh) * 2020-02-26 2021-10-01 日商索尼半導體解決方案公司 攝像裝置、攝像方法及電子機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003290125A (ja) 2002-03-29 2003-10-14 Olympus Optical Co Ltd センチネルリンパ節検出装置及び検出方法
JP2007075445A (ja) 2005-09-15 2007-03-29 Olympus Medical Systems Corp 撮像システム
CN106236006A (zh) 2016-08-31 2016-12-21 杨晓峰 3d光学分子影像腹腔镜成像系统
JP6132251B1 (ja) 2016-05-19 2017-05-24 パナソニックＩｐマネジメント株式会社 内視鏡及び内視鏡システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075366A (ja) 2005-09-14 2007-03-29 Olympus Medical Systems Corp 赤外観察システム
JP6044012B2 (ja) 2012-02-13 2016-12-14 愛知県 検出対象部位の検出システム
CN105308953A (zh) * 2013-07-19 2016-02-03 谷歌技术控股有限责任公司 用于捕获图像的不均匀传感器阵列
WO2015037340A1 (ja) * 2013-09-10 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN107205613B (zh) * 2015-01-22 2019-02-12 奥林巴斯株式会社 摄像装置
JPWO2017064760A1 (ja) * 2015-10-13 2018-08-02 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003290125A (ja) 2002-03-29 2003-10-14 Olympus Optical Co Ltd センチネルリンパ節検出装置及び検出方法
JP2007075445A (ja) 2005-09-15 2007-03-29 Olympus Medical Systems Corp 撮像システム
JP6132251B1 (ja) 2016-05-19 2017-05-24 パナソニックＩｐマネジメント株式会社 内視鏡及び内視鏡システム
CN106236006A (zh) 2016-08-31 2016-12-21 杨晓峰 3d光学分子影像腹腔镜成像系统

Also Published As

Publication number Publication date
EP3646771A1 (en) 2020-05-06
EP3646771A4 (en) 2020-07-01
JPWO2019003751A1 (ja) 2020-04-23
WO2019003751A1 (ja) 2019-01-03
US20200126220A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
JP7127644B2 (ja) 手術用撮像システム及び手術用画像の信号処理装置
JP4868976B2 (ja) 内視鏡装置
JP4009626B2 (ja) 内視鏡用映像信号処理装置
JP6533358B2 (ja) 撮像装置
US20170280029A1 (en) Image transformation and display for fluorescent and visible imaging
JP4757221B2 (ja) 撮像装置及び方法
JP6234375B2 (ja) 観察装置
JP6908039B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP7272670B2 (ja) カメラ装置、画像処理方法およびカメラシステム
JP5389380B2 (ja) 信号処理システム及び信号処理プログラム
JP5358368B2 (ja) 内視鏡システム
US20200077869A1 (en) 3d endoscope apparatus and 3d video processing apparatus
WO2017038774A1 (ja) 撮像システム、処理装置、処理方法及び処理プログラム
JP7095693B2 (ja) 医療用観察システム
WO2018131141A1 (ja) 内視鏡用画像処理装置および内視鏡用画像処理方法
US11159781B2 (en) Image processing apparatus, camera apparatus, and output control method
US10729310B2 (en) Endoscope image processing devices
JP2011234844A (ja) 制御装置、内視鏡装置及びプログラム
CN106163367A (zh) 医用图像处理装置及其工作方法以及内窥镜系统
JPWO2018105411A1 (ja) 画像処理装置および方法、並びに手術顕微鏡システム
US11051004B2 (en) Image processing apparatus, camera apparatus, and image processing method
WO2017149742A1 (ja) 内視鏡用画像処理装置
JP5331863B2 (ja) 内視鏡装置
JP5885652B2 (ja) 撮像装置、内視鏡装置、及び生体パターン強調処理方法
WO2021010020A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R151 Written notification of patent or utility model registration

Ref document number: 7127644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151