WO2022044898A1 - 医療撮像システム、医療撮像装置、および動作方法 - Google Patents

医療撮像システム、医療撮像装置、および動作方法 Download PDF

Info

Publication number
WO2022044898A1
WO2022044898A1 PCT/JP2021/030108 JP2021030108W WO2022044898A1 WO 2022044898 A1 WO2022044898 A1 WO 2022044898A1 JP 2021030108 W JP2021030108 W JP 2021030108W WO 2022044898 A1 WO2022044898 A1 WO 2022044898A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
medical imaging
image pickup
signal
Prior art date
Application number
PCT/JP2021/030108
Other languages
English (en)
French (fr)
Inventor
康昭 高橋
岳志 宮井
聡史 長江
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to DE112021004549.0T priority Critical patent/DE112021004549T5/de
Priority to JP2022544484A priority patent/JPWO2022044898A1/ja
Priority to US18/041,938 priority patent/US20230397801A1/en
Publication of WO2022044898A1 publication Critical patent/WO2022044898A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/126—The splitting element being a prism or prismatic array, including systems based on total internal reflection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/117—Adjustment of the optical path length
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Endoscopes (AREA)

Abstract

本開示は、より良好に術野を観察可能な医療用の画像を撮像することができるようにする医療撮像システム、医療撮像装置、および動作方法に関する。 医療撮像システムは、カラーフィルタを介した光を受光して第１の画像信号を出力する第１の撮像素子と、カラーフィルタを介さずに光を受光して第２の画像信号を出力する第２の撮像素子と、マウント面から入射した入射光を、第１の撮像素子に入射する光と第２の撮像素子に入射する光とに分岐する分岐光学系と、第１の画像信号および第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行う信号処理部とを備える。そして、マウント面から第１の撮像素子までの光路長が、マウント面から第２の撮像素子までの光路長より短く構成される。本技術は、例えば、EDOF画像を撮像可能な医療撮像システムに適用できる。

Description

医療撮像システム、医療撮像装置、および動作方法
　本開示は、医療撮像システム、医療撮像装置、および動作方法に関し、特に、より良好に術野を観察可能な医療用の画像を撮像することができるようにした医療撮像システム、医療撮像装置、および動作方法に関する。
　一般的に、内視鏡や顕微鏡などのような医療用観察装置では、被写界深度が浅い画像が取得される。これに対し、内視鏡や顕微鏡などを使用した手術における術野には奥行きがあることが多いため、被写界深度の深い医療用の画像を取得することが求められている。
　そこで、特許文献１に開示されているように、被写界深度を深くするために、位相マスクによるEDOF（Extended Depth of Field）光学系を利用することで、被写界深度を拡大させた内視鏡や顕微鏡などが提案されている。
特開２０１７－１５８７６４号公報
　ところで、解像度および被写界深度は光学系のＦ値で決定され、それらはトレードオフの関係を有している。即ち、Ｆ値を明るく設定して解像度を高めると、被写界深度が浅い画像になってしまうため、術野を観察するのに実用上十分な画質を得ることができなかった。そこで、高い解像度と深い被写界深度とを両立して、より良好に術野を観察するための医療用の画像を撮像することが求められている。
　本開示は、このような状況に鑑みてなされたものであり、より良好に術野を観察可能な医療用の画像を撮像することができるようにするものである。
　本開示の一側面の医療撮像システムおよび医療撮像装置は、カラーフィルタを介した光を受光して第１の画像信号を出力する第１の撮像素子と、カラーフィルタを介さずに光を受光して第２の画像信号を出力する第２の撮像素子と、マウント面から入射した入射光を、前記第１の撮像素子に入射する光と前記第２の撮像素子に入射する光とに分岐する分岐光学系と、前記第１の画像信号および前記第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行う信号処理部とを備え、前記マウント面から前記第１の撮像素子までの光路長が、前記マウント面から前記第２の撮像素子までの光路長より短く構成される。
　本開示の一側面の動作方法は、医療撮像システムの動作方法であって、マウント面から入射した入射光が分岐された光を受光して第１の撮像素子により第１の画像信号を出力することと、前記光とは別に分岐された光を受光して第２の撮像素子により第２の画像信号を出力することと、前記第１の画像信号および前記第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行うこととを含み、前記医療撮像システムは、前記マウント面から前記第１の撮像素子までの光路長が、前記マウント面から前記第２の撮像素子までの光路長より短く構成される。
　本開示の一側面においては、マウント面から入射した入射光が分岐された光を受光して第１の撮像素子により第１の画像信号が出力され、その光とは別に分岐された光を受光して第２の撮像素子により第２の画像信号が出力され、第１の画像信号および第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理が行われる。そして、マウント面から第１の撮像素子までの光路長が、マウント面から第２の撮像素子までの光路長より短く構成される。
本技術を適用した医療撮像システムの第１の実施の形態の構成例を示すブロック図である。 医療撮像システムの第２の実施の形態の構成例を示すブロック図である。 医療撮像システムの第３の実施の形態の構成例を示すブロック図である。 医療用画像の撮像方法を説明するフローチャートである。 撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。 内視鏡システムの概略的な構成の一例を示す図である。 図７に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 顕微鏡手術システムの概略的な構成の一例を示す図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜医療撮像システムの第１の構成例＞
　図１は、本技術を適用した医療撮像システムの第１の実施の形態の構成例を示すブロック図である。
　図１に示す医療撮像システム１１は、例えば、内視鏡や手術用顕微鏡に使用されることが想定され、医療撮像装置１２および信号処理装置１３を備えて構成される。例えば、医療撮像システム１１では、図示しない術野からの光が一点鎖線で示す光軸に沿って医療撮像装置１２に入射し、医療撮像装置１２において術野が撮像された画像が信号処理装置１３に供給される。そして、信号処理装置１３において被写界深度拡大処理が施された結果得られるEDoF 4K画像が、医療撮像システム１１から出力される。
　医療撮像装置１２は、マウント２１、分岐光学系２２、並びに、撮像モジュール２３－１および２３－２を備えて構成される。
　マウント２１は、例えば、術野にある患部などに焦点を合わせるためのフォーカス機能を備えた撮像レンズを、医療撮像装置１２に接続するための接続部である。
　分岐光学系２２は、マウント２１を介して医療撮像装置１２に入射した光を、撮像モジュール２３－１に入射する光、および撮像モジュール２３－２に入射する光に分岐する。
　分岐光学系２２は、第１のプリズム３１、第２のプリズム３２、およびハーフミラー３３により構成される。例えば、分岐光学系２２は、第１のプリズム３１および第２のプリズム３２の間にハーフミラー３３が配置され、ハーフミラー３３によって反射した光が第１のプリズム３１を介して撮像モジュール２３－２に入射し、ハーフミラー３３を透過した光が第２のプリズム３２を介して撮像モジュール２３－１に入射するように構成される。
　ハーフミラー３３は、反射率と透過率とを同一（50：50）に設定する他、例えば、反射率を透過率より高く設定したり、反射率を透過率より低く設定したりすることができる。反射率を透過率より高く設定したハーフミラー３３は、撮像モジュール２３－１よりも撮像モジュール２３－２に多くの光を入射させることができる。反射率を透過率より低く設定したハーフミラー３３は、撮像モジュール２３－２よりも撮像モジュール２３－１に多くの光を入射させることができる。なお、ハーフミラー３５は、基本的に反射率および透過率を可変にすることは難しいため、反射率および透過率の設定は設計時のパラメータ調整項目となる。
　撮像モジュール２３－１は、ハウジング４１－１およびカバーガラス４２－１により密閉された空間に、撮像素子４３－１およびフィルタ４４－１が収納されて構成される。また、撮像モジュール２３－２も同様に構成される。
　撮像モジュール２３－１のフィルタ４４－１は、全ての波長域の光を透過させる透明フィルタ（または、フィルタを有さない構成としてもよい）となっており、撮像素子４３－１は、フィルタ４４－１を介して輝度画像（モノクロ画像）を撮像する。撮像モジュール２３－２のフィルタ４４－２は、図示すようなベイヤ配列のRGBフィルタとなっており、撮像素子４３－２は、RGBフィルタを介してカラー画像を撮像する。
　また、医療撮像装置１２は、マウント２１から撮像モジュール２３－２までの光学的距離が、マウント２１から撮像モジュール２３－１までの光学的距離よりも短くなるように構成される。これにより、撮像モジュール２３－１によって撮像される輝度画像において所望の患部の近傍に焦点が合うように焦点距離が調整された場合、撮像モジュール２３－２では焦点がずれることになる。即ち、撮像モジュール２３－２によって撮像されるカラー画像では、所望の患部よりも近くに焦点が合うことになる。
　ここで、以下適宜、撮像モジュール２３－１によって撮像される輝度画像をMiddle輝度画像と称し、撮像モジュール２３－２によって撮像されるカラー画像をNearカラー画像と称する。従って、医療撮像システム１１では、撮像モジュール２３－１から出力されるMiddle輝度画像、および、撮像モジュール２３－２から出力されるNearカラー画像が、医療撮像装置１２から信号処理装置１３へ供給される。
　信号処理装置１３は、Middle輝度画像およびNearカラー画像を使用して、被写界深度を拡大したEDOF画像を生成する被写界深度拡大処理を行う。
　まず、信号処理装置１３は、Middle輝度画像から定常性検出を行い、その結果を用いてNearカラー画像のデモザイク（現像処理）を行う。信号処理装置１３は、水平、垂直、斜め方向に隣接画素差分をとり、画素差分が一番小さくなる方向に定常性（エッジ方向）があると見なして定常性検出を行う。例えば、水平エッジの場合には、水平方向の画素差分が一番小さくなる。信号処理装置１３は、デモザイクの性能を決めるポイントで、斜め線などでは全画素あるMiddle輝度画像を使用することで、ベイヤ配列の緑のチェッカーパターンよりも、精度の向上を図ることができる。
　次に、信号処理装置１３は、Nearカラー画像をRGBからYCbCrへ変換するとともに、Middle輝度画像をY（≒MONO）へ変換する。そして、信号処理装置１３は、Nearカラー画像とMiddle輝度画像とのうち、コントラストの高い方を、出力する画像のYとする。例えば、信号処理装置１３は、Nearカラー画像およびMiddle輝度画像それぞれでエッジを検出し、エッジの大きいものをコントラストが高いものとする。
　続いて、信号処理装置１３は、CbCrの出力を行う。例えば、Nearカラー画像の場合は、それぞれのCbCrを、出力するCbCrとする。一方、Middle輝度画像の場合は、Nearカラー画像とMiddle輝度画像とのコントラスト差を算出し、算出されたコントラスト差を低減して解消する処理（合成処理）を２番目の信号のCbCrに行って、出力するCbCrとする。そして、信号処理装置１３は、Middle輝度画像のYからNearカラー画像のYを減算（Y（Middle）-Y(Near)）して、CbCrに加算するアンシャープ処理を行う。
　このような被写界深度拡大処理を行うことにより、信号処理装置１３は、EDOF画像を生成することができる。
　なお、信号処理装置１３が、Middle輝度画像からの定常性検出の方法やパラメータは、ユーザが選択したモードや画像認識から得た手術状況から変更してもよい。例えば、耳鼻咽喉モードでは細い管内を見ることが多く画像周辺と画像中央で焦点が異なりやすいため、信号処理装置１３は、画像中央のみを見て定常性検出を行ってもよい。また、信号処理装置１３は、画像中央に鉗子などの術具が存在することを画像認識し、術具の先端周辺に基づいて定常性検出を行ってもよい。
　医療撮像システム１１では、撮像モジュール２３－１に入射される光が撮像モジュール２３－２に入射される光よりも多くなるように、ハーフミラー３３の反射率および透過率を設定することで、Middle輝度画像の方を明るくすることができる。医療撮像システム１１では、撮像モジュール２３－２に入射される光が撮像モジュール２３－１に入射される光よりも多くなるように、ハーフミラー３３の反射率および透過率を設定することで、Nearカラー画像の方を明るくすることができる。このように、医療撮像システム１１では、例えば、撮像モジュール２３－１および２３－２の感度差に応じてハーフミラー３３の反射率および透過率を設定することで、ノイズの低減を図ることができる。
　＜医療撮像システムの第２の構成例＞
　図２は、本技術を適用した医療撮像システムの第２の実施の形態の構成例を示すブロック図である。なお、図２に示す医療撮像システム１１Ａにおいて、図１の医療撮像システム１１と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
　図２に示すように、医療撮像システム１１Ａは、医療撮像装置１２Ａおよび信号処理装置１３を備えて構成される。医療撮像装置１２Ａでは、分岐光学系２２Ａは、第１のプリズム３１、第２のプリズム３２Ａ、ハーフミラー３３、第３のプリズム３４、およびハーフミラー３５を備える点で、図１の医療撮像装置１２と異なる構成となっている。即ち、分岐光学系２２Ａは、マウント２１を介して医療撮像装置１２に入射した光を３方向に分岐する。
　また、医療撮像装置１２Ａでは、撮像モジュール２３－１および２３－２に加えて、撮像モジュール２３－３を備える点で、図１の医療撮像装置１２と異なる構成となっている。撮像モジュール２３－３は、撮像モジュール２３－２と同様に、カラー画像を撮像することができる。
　分岐光学系２２Ａは、第１のプリズム３１および第２のプリズム３２Ａの間にハーフミラー３３が配置され、ハーフミラー３３によって反射された光が、第１のプリズム３１を介して撮像モジュール２３－２に入射するように構成される。また、分岐光学系２２は、第２のプリズム３２Ａおよび第３のプリズム３４の間にハーフミラー３５が配置され、ハーフミラー３５によって反射した光が第２のプリズム３２を介して撮像モジュール２３－３に入射し、ハーフミラー３５を透過した光が第３のプリズム３４を介して撮像モジュール２３－１に入射するように構成される。
　医療撮像装置１２Ａは、図１の医療撮像装置１２と同様に、ハーフミラー３３および３５の反射率および透過率を、撮像モジュール２３－１乃至２３－３の感度差に応じて設定することができる。
　また、医療撮像装置１２Ａは、マウント２１から撮像モジュール２３－３までの光学的距離が、マウント２１から撮像モジュール２３－１までの光学的距離よりも長くなるように構成される。これにより、撮像モジュール２３－１によって撮像される輝度画像において所望の患部の近傍に焦点が合うように焦点距離が調整された場合、撮像モジュール２３－３では焦点がずれることになる。即ち、撮像モジュール２３－３によって撮像されるカラー画像では、所望の患部よりも遠くに焦点が合うことになる。
　ここで、以下適宜、撮像モジュール２３－３によって撮像されるカラー画像をFarカラー画像と称する。従って、医療撮像システム１１Ａでは、撮像モジュール２３－１から出力されるMiddle輝度画像、撮像モジュール２３－２から出力されるNearカラー画像、および、撮像モジュール２３－３から出力されるFarカラー画像が、医療撮像装置１２Ａから信号処理装置１３へ供給される。
　信号処理装置１３は、Middle輝度画像、Nearカラー画像、およびFarカラー画像を使用して、図１の信号処理装置１３と同様に、被写界深度を拡大したEDOF画像を生成する被写界深度拡大処理を行う。
　なお、医療撮像装置１２Ａは、IR用の撮像モジュール（長波長光源用イメージセンサ）をさらに別に設け、４つの撮像モジュール２３を備える構成としてもよい。その構成では、Middle輝度画像用の撮像モジュール２３－１とFarカラー画像用の撮像モジュール２３－３との間に、IR用の撮像モジュールを配置することが好ましい。また、医療撮像装置１２Ａは、V用の撮像モジュール（短波長光源用イメージセンサ）をさらに別に設け、４つの撮像モジュール２３を備える構成としてもよい。その構成では、Middle輝度画像用の撮像モジュール２３－１とNearカラー画像用の撮像モジュール２３－２との間に、V用の撮像モジュールを配置することが好ましい。
　また、医療撮像装置１２Ａでは、マウント面からのNearカラー画像用の撮像モジュール２３－２までの距離Ａ、マウント面からのMiddle輝度画像用の撮像モジュール２３－１までの距離Ｂ、および、マウント面からのFarカラー画像用の撮像モジュール２３－３までの距離Ｃとの間に、（Ｂ－Ｃ）＞（Ｃ－Ａ）の関係性を有することが好ましい。即ち、Nearカラー画像用の撮像モジュール２３－２とFarカラー画像用の撮像モジュール２３－３との中央より、Far側にMiddle輝度画像用の撮像モジュール２３－１が配置されることを表している。これは、Farカラー画像用が重要になることが多いためである。
　＜医療撮像システムの第３の構成例＞
　図３は、本技術を適用した医療撮像システムの第３の実施の形態の構成例を示すブロック図である。なお、図３に示す医療撮像システム１１Ｂにおいて、図１の医療撮像システム１１と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
　図３に示すように、医療撮像システム１１Ｂは、医療撮像装置１２Ｂおよび信号処理装置１３を備えて構成される。医療撮像装置１２Ｂでは、分岐光学系２２は、第１のプリズム３１、第２のプリズム３２Ｂ、ハーフミラー３３、第３のプリズム３４、およびハーフミラー３５を備える点で、図１の医療撮像装置１２と異なる構成となっている。即ち、分岐光学系２２Ｂは、図２の分岐光学系２２Ａと同様に、マウント２１を介して医療撮像装置１２に入射した光を３方向に分岐する。
　また、医療撮像装置１２Ｂでは、撮像モジュール２３Ｂ－１および２３－２に加えて、撮像モジュール２３－３を備える点で、図１の医療撮像装置１２と異なる構成となっている。撮像モジュール２３－３は、撮像モジュール２３－２と同様に、カラー画像を撮像することができる。そして、撮像モジュール２３Ｂ－１のフィルタ４４Ｂ－１は、図示すようなベイヤ配列のRGBフィルタとなっており、撮像素子４３－１は、フィルタ４４Ｂ－１を介してカラー画像を撮像する備える点で、図１の撮像モジュール２３－１と異なる構成となっている。
　また、医療撮像装置１２Ｂは、マウント２１から撮像モジュール２３－３までの光学的距離が、マウント２１から撮像モジュール２３Ｂ－１までの光学的距離よりも長くなるように構成される。これにより、撮像モジュール２３Ｂ－１によって撮像されるカラー画像において所望の患部の近傍に焦点が合うように焦点距離が調整された場合、撮像モジュール２３－３では焦点がずれることになる。即ち、撮像モジュール２３－３によって撮像されるカラー画像では、所望の患部よりも遠くに焦点が合うことになる。
　ここで、以下適宜、撮像モジュール２３Ｂ－１によって撮像されるカラー画像をMiddleカラー画像と称し、撮像モジュール２３－３によって撮像されるカラー画像をFarカラー画像と称する。従って、医療撮像システム１１では、撮像モジュール２３Ｂ－１から出力されるMiddleカラー画像、撮像モジュール２３－２から出力されるNearカラー画像、および、撮像モジュール２３－３から出力されるFarカラー画像が、撮像モジュール２３－２から信号処理装置１３へ供給される。
　さらに、医療撮像装置１２Ｂでは、Middleカラー画像用の撮像モジュール２３Ｂ－１に対し、Farカラー画像用の撮像モジュール２３－３およびNearカラー画像用の撮像モジュール２３－２を、光軸に対して直交する水平面方向（上下方向または左右方向）に１画素ずらして配置する。
　信号処理装置１３は、Middleカラー画像、Nearカラー画像、およびFarカラー画像を使用して、被写界深度を拡大したEDOF画像を生成する被写界深度拡大処理を行う。
　まず、信号処理装置１３は、Middleカラー画像、Nearカラー画像、およびFarカラー画像におけるベイヤ配列の緑（Gr, Gb）を用いて、コントラストの１番高い画像と、２番目に高い画像を選択する。ここで、選ばれる２つの画像は、Nearカラー画像およびMiddleカラー画像の組み、または、Middleカラー画像およびFarカラー画像の組みのいずれかとなる。
　次に、信号処理装置１３は、選ばれた２つの画像それぞれのベイヤ配列の緑（Gr, Gb）を組み合わせることにより、チェッカーパターンではなく、緑の画素値からなる全画素の画像を用いて、定常検出を行う。
　そして、信号処理装置１３は、定常性検出の結果を用いてコントラストの１番高い画像のデモザイクを行った後、RGBを生成し出力する画像とする。
　医療撮像システム１１Ｂでは、ハーフミラー３３の反射率および透過率については、Middleカラー画像が必ず選択されることより、Middleカラー画像用の撮像モジュール２３Ｂ－１に入射される光が多くなるように設定することが好ましい。
　図４のフローチャートを参照して、医療撮像システム１１Ｂによる医療用画像の撮像方法について説明する。
　ステップＳ１１において、撮像モジュール２３Ｂ－１は、Middleカラー画像を取得して信号処理装置１３に出力する。
　ステップＳ１２において、撮像モジュール２３－２は、Nearカラー画像を取得して信号処理装置１３に出力する。
　ステップＳ１３において、撮像モジュール２３－３は、Farカラー画像を取得して信号処理装置１３に出力する。
　ステップＳ１４において、信号処理装置１３は、Middleカラー画像、Nearカラー画像、およびFarカラー画像を使用して被写界深度を拡大したEDOF画像を生成する被写界深度拡大処理を行って、EDOF画像を出力する。
　以上のように、上述した各実施の形態の医療撮像システム１１は、Middle輝度画像（Middleカラー画像）、Nearカラー画像、およびFarカラー画像という、フォーカスが異なる３枚の画像を同時に取得ことができる。これらの３枚の画像から、医療撮像システム１１は、高い解像度で被写界深度の画像を生成することができ、その生成された画像による良好な観察が可能となる。
　なお、例えば、特開2012-169989号公報では、ベイヤ配列のRGB撮像素子から得た信号をデモザイクする際に、モノクロ撮像素子の輝度信号を使用することで偽色のない良好な補間画像を得る技術が開示されているが、被写界深度を拡大することに関しては開示されていない。これに対し、医療撮像システム１１は、高い解像度の画像を取得するとともに、被写界深度を拡大した画像を取得することができる。
　＜電子機器の構成例＞
　上述したような医療撮像装置１２は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
　図５は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
　図５に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
　光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。
　撮像素子１０３としては、上述した医療撮像装置１２が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
　信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置１０１では、上述した医療撮像装置１２を適用することで、例えば、より良好に術野を観察可能な医療用の画像を撮像することができる。
　＜イメージセンサの使用例＞
　図６は、上述のイメージセンサ（撮像素子）を使用する使用例を示す図である。
　上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　＜応用例＞
　本開示に係る技術は、医療イメージングシステムに適用することができる。医療イメージングシステムは、イメージング技術を用いた医療システムであり、例えば、内視鏡システムや顕微鏡システムである。
　［内視鏡システム］
　内視鏡システムの例を図７、図８を用いて説明する。図７は、本開示に係る技術が適用可能な内視鏡システム５０００の概略的な構成の一例を示す図である。図８は、内視鏡５００１およびＣＣＵ（Camera　Control　Unit）５０３９の構成の一例を示す図である。図７では、手術参加者である術者（例えば、医師）５０６７が、内視鏡システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図７に示すように、内視鏡システム５０００は、医療イメージング装置である内視鏡５００１と、ＣＣＵ５０３９と、光源装置５０４３と、記録装置５０５３と、出力装置５０５５と、内視鏡５００１を支持する支持装置５０２７と、から構成される。
　内視鏡手術では、トロッカ５０２５と呼ばれる挿入補助具が患者５０７１に穿刺される。そして、トロッカ５０２５を介して、内視鏡５００１に接続されたスコープ５００３や術具５０２１が患者５０７１の体内に挿入される。術具５０２１は例えば、電気メス等のエネルギーデバイスや、鉗子などである。
　内視鏡５００１によって撮影された患者５０７１の体内を映した医療画像である手術画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された手術画像を見ながら術具５０２１を用いて手術対象に処置を行う。なお、医療画像は手術画像に限らず、診断中に撮像された診断画像であってもよい。
　［内視鏡］
　内視鏡５００１は、患者５０７１の体内を撮像するカメラであり、例えば、図８に示すように、入射した光を集光する集光光学系５００５１と、カメラの焦点距離を変更して光学ズームを可能とするズーム光学系５００５２と、カメラの焦点距離を変更してフォーカス調整を可能とするフォーカス光学系５００５３と、受光素子５００５４と、を含むカメラヘッドである。内視鏡５００１は、接続されたスコープ５００３を介して光を受光素子５００５４に集光することで画素信号を生成し、ＣＣＵ５０３９に伝送系を通じて画素信号を出力する。なお、スコープ５００３は、対物レンズを先端に有し、接続された光源装置５０４３からの光を患者５０７１の体内に導光する挿入部である。スコープ５００３は、例えば硬性鏡では硬性スコープ、軟性鏡では軟性スコープである。また、画素信号は画素から出力された信号に基づいた信号であればよく、例えば、ＲＡＷ信号や画像信号である。また、内視鏡５００１とＣＣＵ５０３９とを接続する伝送系にメモリを搭載し、メモリに内視鏡５００１やＣＣＵ５０３９に関するパラメータを記憶する構成にしてもよい。メモリは、例えば、伝送系の接続部分やケーブル上に配置されてもよい。例えば、内視鏡５００１の出荷時のパラメータや通電時に変化したパラメータを伝送系のメモリに記憶し、メモリから読みだしたパラメータに基づいて内視鏡の動作を変更してもよい。また、内視鏡と伝送系をセットにして内視鏡と称してもよい。受光素子５００５４は、受光した光を画素信号に変換するセンサであり、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプの撮像素子である。受光素子５００５４は、Ｂａｙｅｒ配列を有するカラー撮影可能な撮像素子であることが好ましい。また、受光素子５００５４は、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）、８Ｋ（水平画素数７６８０×垂直画素数４３２０）または正方形４Ｋ（水平画素数３８４０以上×垂直画素数３８４０以上）の解像度に対応した画素数を有する撮像素子であることが好ましい。受光素子５００５４は、１枚のセンサチップであってもよいし、複数のセンサチップでもよい。例えば、入射光を所定の波長帯域ごとに分離するプリズムを設けて、各波長帯域を異なる受光素子で撮像する構成であってもよい。また、立体視のために受光素子を複数設けてもよい。また、受光素子５００５４は、チップ構造の中に画像処理用の演算処理回路を含んでいるセンサであってもよいし、ＴｏＦ（Time　of　Flight）用センサであってもよい。なお、伝送系は例えば光ファイバケーブルや無線伝送である。無線伝送は、内視鏡５００１で生成された画素信号が伝送可能であればよく、例えば、内視鏡５００１とＣＣＵ５０３９が無線接続されてもよいし、手術室内の基地局を経由して内視鏡５００１とＣＣＵ５０３９が接続されてもよい。このとき、内視鏡５００１は画素信号だけでなく、画素信号に関連する情報（例えば、画素信号の処理優先度や同期信号等）を同時に送信してもよい。なお、内視鏡はスコープとカメラヘッドを一体化してもよく、スコープの先端部に受光素子を設ける構成としてもよい。
　［ＣＣＵ（Camera　Control　Unit）］
　ＣＣＵ５０３９は、接続された内視鏡５００１や光源装置５０４３を統括的に制御する制御装置であり、例えば、図８に示すように、ＦＰＧＡ５０３９１、ＣＰＵ５０３９２、ＲＡＭ５０３９３、ＲＯＭ５０３９４、ＧＰＵ５０３９５、Ｉ／Ｆ５０３９６を有する情報処理装置である。また、ＣＣＵ５０３９は、接続された表示装置５０４１や記録装置５０５３、出力装置５０５５を統括的に制御してもよい。例えば、ＣＣＵ５０３９は、光源装置５０４３の照射タイミングや照射強度、照射光源の種類を制御する。また、ＣＣＵ５０３９は、内視鏡５００１から出力された画素信号に対して現像処理（例えばデモザイク処理）や補正処理といった画像処理を行い、表示装置５０４１等の外部装置に処理後の画素信号（例えば画像）を出力する。また、ＣＣＵ５０３９は、内視鏡５００１に対して制御信号を送信し、内視鏡５００１の駆動を制御する。制御信号は、例えば、カメラの倍率や焦点距離などの撮像条件に関する情報である。なお、ＣＣＵ５０３９は画像のダウンコンバート機能を有し、表示装置５０４１に高解像度（例えば４Ｋ）の画像を、記録装置５０５３に低解像度（例えばＨＤ）の画像を同時に出力可能な構成としてもよい。
　また、ＣＣＵ５０３９は、信号を所定の通信プロトコル（例えば、ＩＰ（Internet　Protocol））に変換するＩＰコンバータを経由して外部機器と接続されてもよい。ＩＰコンバータと外部機器との接続は、有線ネットワークで構成されてもよいし、一部または全てのネットワークが無線ネットワークで構築されてもよい。例えば、ＣＣＵ５０３９側のＩＰコンバータは無線通信機能を有し、受信した映像を第５世代移動通信システム（５Ｇ）、第６世代移動通信システム（６Ｇ）等の無線通信ネットワークを介してＩＰスイッチャーや出力側ＩＰコンバータに送信してもよい。
　［光源装置］
　光源装置５０４３は、所定の波長帯域の光を照射可能な装置であり、例えば、複数の光源と、複数の光源の光を導光する光源光学系と、を備える。光源は、例えばキセノンランプ、ＬＥＤ光源やＬＤ光源である。光源装置５０４３は、例えば三原色Ｒ、Ｇ、Ｂのそれぞれに対応するＬＥＤ光源を有し、各光源の出力強度や出力タイミングを制御することで白色光を出射する。また、光源装置５０４３は、通常光観察に用いられる通常光を照射する光源とは別に、特殊光観察に用いられる特殊光を照射可能な光源を有していてもよい。特殊光は、通常光観察用の光である通常光とは異なる所定の波長帯域の光であり、例えば、近赤外光（波長が７６０ｎｍ以上の光）や赤外光、青色光、紫外光である。通常光は、例えば白色光や緑色光である。特殊光観察の一種である狭帯域光観察では、青色光と緑色光を交互に照射することにより、体組織における光の吸収の波長依存性を利用して、粘膜表層の血管等の所定の組織を高コントラストで撮影することができる。また、特殊光観察の一種である蛍光観察では、体組織に注入された試薬を励起する励起光を照射し、体組織または試薬が発する蛍光を受光して蛍光画像を得ることで、通常光では術者が視認しづらい体組織等を、術者が視認しやすくすることができる。例えば、赤外光を用いる赤外光観察では、体組織に注入されたインドシアニングリーン（ＩＣＧ）等の試薬を励起する励起光として近赤外光を照射することで、体組織の奥の構造を視認しやすくすることができる。また、蛍光観察では、青色波長帯域の特殊光で励起され、赤色波長帯域の蛍光を発する試薬（例えばＰＤＤや５－ＡＬＡ）を用いてもよい。なお、光源装置５０４３は、ＣＣＵ５０３９の制御により照射光の種類を設定される。ＣＣＵ５０３９は、光源装置５０４３と内視鏡５００１を制御することにより、通常光観察と特殊光観察が交互に行われるモードを有してもよい。このとき、通常光観察で得られた画素信号に特殊光観察で得られた画素信号に基づく情報を重畳されることが好ましい。
　［記録装置］
　記録装置５０５３は、ＣＣＵ５０３９から取得した画素を記録する装置であり、例えばレコーダーである。記録装置５０５３は、ＣＣＵ５０３９から取得した画像をＨＤＤやＳＤＤ、光ディスクに記録する。記録装置５０５３は、病院内のネットワークに接続され、手術室外の機器からアクセス可能にしてもよい。また、記録装置５０５３は画像のダウンコンバート機能またはアップコンバート機能を有していてもよい。
　［表示装置］
　表示装置５０４１は、画像を表示可能な装置であり、例えば表示モニタである。表示装置５０４１は、ＣＣＵ５０３９からの制御により、ＣＣＵ５０３９によって画像処理が施された画素信号に基づく表示画像を表示する。なお、表示装置５０４１はカメラやマイクを備えることで、視線認識や音声認識、ジェスチャによる指示入力を可能にする入力デバイスとしても機能してよい。
　［出力装置］
　出力装置５０５５は、ＣＣＵ５０３９から取得した情報を出力する装置であり、例えばプリンタである。出力装置５０５５は、例えば、ＣＣＵ５０３９から取得した画素信号に基づく印刷画像を紙に印刷する。
　［支持装置］
　支持装置５０２７は、アーム制御装置５０４５を有するベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、アーム部５０３１の先端に取り付けられた保持部５０３２とを備える多関節アームである。アーム制御装置５０４５は、ＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、アーム部５０３１の駆動を制御する。支持装置５０２７は、アーム制御装置５０４５によってアーム部５０３１を構成する各リンク５０３５の長さや各関節５０３３の回転角やトルク等のパラメータを制御することで、例えば保持部５０３２が保持する内視鏡５００１の位置や姿勢を制御する。これにより、内視鏡５００１を所望の位置または姿勢に変更し、スコープ５００３を患者５０７１に挿入でき、また、体内での観察領域を変更できる。支持装置５０２７は、術中に内視鏡５００１を支持する内視鏡支持アームとして機能する。これにより、支持装置５０２７は、内視鏡５００１を持つ助手であるスコピストの代わりを担うことができる。また、支持装置５０２７は、後述する顕微鏡装置５３０１を支持する装置であってもよく、医療用支持アームと呼ぶこともできる。なお、支持装置５０２７の制御は、アーム制御装置５０４５による自律制御方式であってもよいし、ユーザの入力に基づいてアーム制御装置５０４５が制御する制御方式であってもよい。例えば、制御方式は、ユーザの手元のマスター装置の動きに基づいてスレイブ装置としての支持装置５０２７が制御されるマスタ・スレイブ方式でもよい。また、支持装置５０２７の制御は、手術室の外から遠隔制御が可能であってもよい。
　以上、本開示に係る技術が適用され得る内視鏡システム５０００の一例について説明した。例えば、本開示に係る技術は、顕微鏡システムに適用されてもよい。
　［顕微鏡システム］
　図９は、本開示に係る技術が適用され得る顕微鏡手術システムの概略的な構成の一例を示す図である。なお、以下の説明において、内視鏡システム５０００と同様の構成については、同一の符号を付し、その重複する説明を省略する。
　図９では、術者５０６７が、顕微鏡手術システム５３００を用いて、患者ベッド５０６９上の患者５０７１に対して手術を行っている様子を概略的に示している。なお、図９では、簡単のため、顕微鏡手術システム５３００の構成のうちカート５０３７の図示を省略するとともに、内視鏡５００１に代わる顕微鏡装置５３０１を簡略化して図示している。ただし、本説明における顕微鏡装置５３０１は、リンク５０３５の先端に設けられた顕微鏡部５３０３を指していてもよいし、顕微鏡部５３０３及び支持装置５０２７を含む構成全体を指していてもよい。
　図９に示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室に設置される表示装置５０４１に拡大表示される。表示装置５０４１は、術者５０６７と対向する位置に設置されており、術者５０６７は、表示装置５０４１に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
　以上、本開示に係る技術が適用され得る内視鏡システム５０００及び顕微鏡手術システム５３００の例についてそれぞれ説明した。なお、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、支持装置５０２７は、その先端に内視鏡５００１又は顕微鏡部５３０３に代えて他の観察装置や他の術具を支持し得る。当該他の観察装置としては、例えば、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持装置に適用されてもよい。
　本開示に係る技術は、以上説明した構成のうち、内視鏡５００１や顕微鏡装置５３０１に好適に適用され得る。これにより、より良好に術野を観察可能な医療用の画像を撮像することができ、手術をより安全にかつより確実に行うことが可能になる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　カラーフィルタを介した光を受光して第１の画像信号を出力する第１の撮像素子と、
　カラーフィルタを介さずに光を受光して第２の画像信号を出力する第２の撮像素子と、
　マウント面から入射した入射光を、前記第１の撮像素子に入射する光と前記第２の撮像素子に入射する光とに分岐する分岐光学系と、
　前記第１の画像信号および前記第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行う信号処理部と
　を備え、
　前記マウント面から前記第１の撮像素子までの光路長が、前記マウント面から前記第２の撮像素子までの光路長より短く構成される
　医療撮像システム。
（２）
　前記分岐光学系は、一部の光を反射するとともに一部の光を透過する光学素子を有し、
　前記光学素子は、前記第１の撮像素子と前記第２の撮像素子との感度差に応じて透過率が設定されている
　上記（１）に記載の医療撮像システム。
（３）
　前記信号処理部は、前記第２の画像信号から定常性検出を行い、その結果を用いて前記第１の画像信号の現像処理を行う
　上記（１）または（２）に記載の医療撮像システム。
（４）
　前記信号処理部は、水平・垂直・斜め方向の少なくともいずれかの隣接画素差分を取得し、画素差分が一番小さくなる方向に定常性があると見なして定常性検出を行う
　上記（３）に記載の医療撮像システム。
（５）
　前記信号処理部は、前記第１の画像信号と前記第２の画像信号とのコントラスト差を算出し、コントラスト差を低減する処理を行う
　上記（３）に記載の医療撮像システム。
（６）
　前記信号処理部は、定常性検出のパラメータおよび方法について、ユーザが選択したモードまたは画像認識から得た手術状況に基づいて変更する
　上記（３）に記載の医療撮像システム。
（７）
　カラーフィルタを介した光を受光して第３の画像信号を出力する第３の撮像素子をさらに備え、
　前記マウント面から前記第２の撮像素子までの光路長より、前記マウント面から前記第３の撮像素子までの光路長より長く構成される
　上記（１）から（６）までのいずれかに記載の医療撮像システム。
（８）
　前記信号処理部は、前記第２の画像信号および前記第３の画像信号を構成するR, Gr, Gb, Bそれぞれの画素値のうち、Gr, Gbの画素値を用いて１枚の全画素画像を作成し、定常性検出を行う
　上記（７）に記載の医療撮像システム。
（９）
　カラーフィルタを介した光を受光して第１の画像信号を出力する第１の撮像素子と、
　カラーフィルタを介さずに光を受光して第２の画像信号を出力する第２の撮像素子と、
　マウント面から入射した入射光を、前記第１の撮像素子に入射する光と前記第２の撮像素子に入射する光とに分岐する分岐光学系と、
　前記第１の画像信号および前記第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行う信号処理部と
　を備え、
　前記マウント面から前記第１の撮像素子までの光路長が、前記マウント面から前記第２の撮像素子までの光路長より短く構成される
　医療撮像装置。
（１０）
　医療撮像システムの動作方法であって、
　マウント面から入射した入射光が分岐された光を受光して第１の撮像素子により第１の画像信号を出力することと、
　前記光とは別に分岐された光を受光して第２の撮像素子により第２の画像信号を出力することと、
　前記第１の画像信号および前記第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行うことと
　を含み、
　前記医療撮像システムは、前記マウント面から前記第１の撮像素子までの光路長が、前記マウント面から前記第２の撮像素子までの光路長より短く構成される
　動作方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　医療撮像システム，　１２　医療撮像装置，　１３　信号処理装置，　２０　マウント，　２１　分岐光学系，　２２　撮像モジュール，　３１　第１のプリズム，　３２　第２のプリズム，　３３　ハーフミラー，　３４　第３のプリズム，　３５　ハーフミラー，　４１　ハウジング，　４２　カバーガラス，　４３　撮像素子，　４４　フィルタ

Claims (10)

  1. 　カラーフィルタを介した光を受光して第１の画像信号を出力する第１の撮像素子と、
    　カラーフィルタを介さずに光を受光して第２の画像信号を出力する第２の撮像素子と、
    　マウント面から入射した入射光を、前記第１の撮像素子に入射する光と前記第２の撮像素子に入射する光とに分岐する分岐光学系と、
    　前記第１の画像信号および前記第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行う信号処理部と
    　を備え、
    　前記マウント面から前記第１の撮像素子までの光路長が、前記マウント面から前記第２の撮像素子までの光路長より短く構成される
    　医療撮像システム。
  2. 　前記分岐光学系は、一部の光を反射するとともに一部の光を透過する光学素子を有し、
    　前記光学素子は、前記第１の撮像素子と前記第２の撮像素子との感度差に応じて透過率が設定されている
    　請求項１に記載の医療撮像システム。
  3. 　前記信号処理部は、前記第２の画像信号から定常性検出を行い、その結果を用いて前記第１の画像信号の現像処理を行う
    　請求項１に記載の医療撮像システム。
  4. 　前記信号処理部は、水平・垂直・斜め方向の少なくともいずれかの隣接画素差分を取得し、画素差分が一番小さくなる方向に定常性があると見なして定常性検出を行う
    　請求項３に記載の医療撮像システム。
  5. 　前記信号処理部は、前記第１の画像信号と前記第２の画像信号とのコントラスト差を算出し、コントラスト差を低減する処理を行う
    　請求項３に記載の医療撮像システム。
  6. 　前記信号処理部は、定常性検出のパラメータおよび方法について、ユーザが選択したモードまたは画像認識から得た手術状況に基づいて変更する
    　請求項３に記載の医療撮像システム。
  7. 　カラーフィルタを介した光を受光して第３の画像信号を出力する第３の撮像素子をさらに備え、
    　前記マウント面から前記第２の撮像素子までの光路長より、前記マウント面から前記第３の撮像素子までの光路長より長く構成される
    　請求項１に記載の医療撮像システム。
  8. 　前記信号処理部は、前記第２の画像信号および前記第３の画像信号を構成するR, Gr, Gb, Bそれぞれの画素値のうち、Gr, Gbの画素値を用いて１枚の全画素画像を作成し、定常性検出を行う
    　請求項７に記載の医療撮像システム。
  9. 　カラーフィルタを介した光を受光して第１の画像信号を出力する第１の撮像素子と、
    　カラーフィルタを介さずに光を受光して第２の画像信号を出力する第２の撮像素子と、
    　マウント面から入射した入射光を、前記第１の撮像素子に入射する光と前記第２の撮像素子に入射する光とに分岐する分岐光学系と、
    　前記第１の画像信号および前記第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行う信号処理部と
    　を備え、
    　前記マウント面から前記第１の撮像素子までの光路長が、前記マウント面から前記第２の撮像素子までの光路長より短く構成される
    　医療撮像装置。
  10. 　医療撮像システムの動作方法であって、
    　マウント面から入射した入射光が分岐された光を受光して第１の撮像素子により第１の画像信号を出力することと、
    　前記光とは別に分岐された光を受光して第２の撮像素子により第２の画像信号を出力することと、
    　前記第１の画像信号および前記第２の画像信号を用いて被写界深度を拡大した被写界深度拡大画像を生成する被写界深度拡大処理を行うことと
    　を含み、
    　前記医療撮像システムは、前記マウント面から前記第１の撮像素子までの光路長が、前記マウント面から前記第２の撮像素子までの光路長より短く構成される
    　動作方法。
PCT/JP2021/030108 2020-08-31 2021-08-18 医療撮像システム、医療撮像装置、および動作方法 WO2022044898A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021004549.0T DE112021004549T5 (de) 2020-08-31 2021-08-18 Medizinisches bildgebungssystem, medizinische bildgebungsvorrichtung und operationsverfahren
JP2022544484A JPWO2022044898A1 (ja) 2020-08-31 2021-08-18
US18/041,938 US20230397801A1 (en) 2020-08-31 2021-08-18 Medical imaging system, medical imaging device, and operation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020146084 2020-08-31
JP2020-146084 2020-08-31

Publications (1)

Publication Number Publication Date
WO2022044898A1 true WO2022044898A1 (ja) 2022-03-03

Family

ID=80355200

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030108 WO2022044898A1 (ja) 2020-08-31 2021-08-18 医療撮像システム、医療撮像装置、および動作方法

Country Status (4)

Country Link
US (1) US20230397801A1 (ja)
JP (1) JPWO2022044898A1 (ja)
DE (1) DE112021004549T5 (ja)
WO (1) WO2022044898A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061819A1 (ja) * 2011-10-27 2013-05-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015091072A (ja) * 2013-11-07 2015-05-11 株式会社リコー 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法
US20170351103A1 (en) * 2016-06-07 2017-12-07 Karl Storz Gmbh & Co. Kg Endoscope and imaging arrangement providing depth of field
WO2018186123A1 (ja) * 2017-04-03 2018-10-11 オリンパス株式会社 内視鏡システム及び内視鏡システムの調整方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5673186B2 (ja) 2011-02-16 2015-02-18 株式会社Ｊｖｃケンウッド 撮像装置及び撮像装置の補間処理方法
JP2017158764A (ja) 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061819A1 (ja) * 2011-10-27 2013-05-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015091072A (ja) * 2013-11-07 2015-05-11 株式会社リコー 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法
US20170351103A1 (en) * 2016-06-07 2017-12-07 Karl Storz Gmbh & Co. Kg Endoscope and imaging arrangement providing depth of field
WO2018186123A1 (ja) * 2017-04-03 2018-10-11 オリンパス株式会社 内視鏡システム及び内視鏡システムの調整方法

Also Published As

Publication number Publication date
JPWO2022044898A1 (ja) 2022-03-03
DE112021004549T5 (de) 2023-08-03
US20230397801A1 (en) 2023-12-14

Similar Documents

Publication Publication Date Title
US11788966B2 (en) Imaging system
WO2022044897A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
US11531151B2 (en) Imaging apparatus and image generating method that detects an orientation of an imaging section and generates an image corresponding to a polarization direction corresponding to the orientation the imaging section
US11653824B2 (en) Medical observation system and medical observation device
JP6996518B2 (ja) 分岐光学系、撮像装置、及び撮像システム
JPWO2019031000A1 (ja) 信号処理装置、撮像装置、信号処理方法及びプログラム
JP6859554B2 (ja) 観察補助装置、情報処理方法、およびプログラム
WO2018088237A1 (ja) 画像処理装置および設定方法、並びにプログラム
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
WO2022044898A1 (ja) 医療撮像システム、医療撮像装置、および動作方法
US20230047294A1 (en) Medical image generation apparatus, medical image generation method, and medical image generation program
US20210235968A1 (en) Medical system, information processing apparatus, and information processing method
US20220022728A1 (en) Medical system, information processing device, and information processing method
US11399699B2 (en) Endoscope including green light sensor with larger pixel number than pixel number of red and blue light sensors
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2018088238A1 (ja) 画像処理装置および制御方法、並びにプログラム
WO2018088236A1 (ja) 画像処理装置および方法、並びにプログラム
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal
US20230248231A1 (en) Medical system, information processing apparatus, and information processing method
WO2022249572A1 (ja) 画像処理装置、画像処理方法及び記録媒体
JP7480779B2 (ja) 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム
US11676242B2 (en) Image processing apparatus and image processing method
JP2020525055A (ja) 医療撮影システム、方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861326

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022544484

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21861326

Country of ref document: EP

Kind code of ref document: A1