JP7287676B2 - 3板式カメラおよび4板式カメラ - Google Patents

3板式カメラおよび4板式カメラ Download PDF

Info

Publication number
JP7287676B2
JP7287676B2 JP2020074282A JP2020074282A JP7287676B2 JP 7287676 B2 JP7287676 B2 JP 7287676B2 JP 2020074282 A JP2020074282 A JP 2020074282A JP 2020074282 A JP2020074282 A JP 2020074282A JP 7287676 B2 JP7287676 B2 JP 7287676B2
Authority
JP
Japan
Prior art keywords
visible
video signal
light
prism
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020074282A
Other languages
English (en)
Other versions
JP2021175000A5 (ja
JP2021175000A (ja
Inventor
優治 木庭
洋太 橋本
祐一 竹永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Pro Co Ltd
Original Assignee
I Pro Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I Pro Co Ltd filed Critical I Pro Co Ltd
Priority to JP2020074282A priority Critical patent/JP7287676B2/ja
Priority to DE102021108929.8A priority patent/DE102021108929A1/de
Priority to US17/232,779 priority patent/US11736784B2/en
Publication of JP2021175000A publication Critical patent/JP2021175000A/ja
Publication of JP2021175000A5 publication Critical patent/JP2021175000A5/ja
Priority to JP2023081890A priority patent/JP2023101573A/ja
Application granted granted Critical
Publication of JP7287676B2 publication Critical patent/JP7287676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/3941Photoluminescent markers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Description

本開示は、3板式カメラおよび4板式カメラに関する。
近年、手術あるいは検査時に、被検体内に蛍光試薬としてICG(インドシアニングリーン)が投与され、励起光の照射等によりICGを励起させ、ICGが発する近赤外の蛍光像を被写体像とともに撮像し、観察することにより診断を行う方法が注目されている。例えば特許文献1には、入射光の青色成分の光および特定の波長領域の近赤外光の一部を反射させてその他の光を透過させる青色分解プリズムと、赤色成分の光および特定の波長領域の近赤外光の一部を反射させてその他の光を透過させる赤色分解プリズムと、赤色分解プリズムを透過した光が入射する緑色分解プリズムとを有する撮像装置が開示されている。
特開2016-75825号公報
特許文献1では、患部等からの光のうち近赤外光の一部の光量が複数の色分解プリズムのそれぞれに分担されるように入射されて撮像される。このため、例えば近赤外光の波長領域に特化した光を対応する撮像素子に受光させることはできないという課題があった。したがって、上述した手術あるいは検査時に、蛍光試薬が投与された観察部位のより鮮明な蛍光画像の出力が困難であり、医師等が患部の把握をより簡易にする点において改善の余地があった。
本開示は、上述した従来の事情に鑑みて案出され、蛍光試薬が投与された観察部位のより鮮明な蛍光画像を生成して出力し、医師等による患部の容易な把握を支援する3板式カメラおよび4板式カメラを提供する。
本開示は、観察部位からの光のうち入射したIR光をIRイメージセンサに受光させるIRプリズムと、前記観察部位からの光のうち入射した可視光を可視イメージセンサに受光させる可視プリズムと、前記観察部位からの光のうち入射した前記可視光と同一波長帯を有する第2可視光を特定イメージセンサに受光させる特定プリズムと、露光制御信号によって、前記可視イメージセンサおよび前記特定イメージセンサのそれぞれの露光時間を同一または異なるように制御するカメラ信号処理部と、前記IRイメージセンサ、前記可視イメージセンサおよび前記特定イメージセンサのそれぞれの撮像出力に基づいて、前記観察部位のIR映像信号、第1可視映像信号、第2可視映像信号を生成し、前記観察部位の前記第1可視映像信号および前記第2可視映像信号から広ダイナミックレンジ映像信号だけでなく高解像度映像信号も生成可能であり、生成された前記広ダイナミックレンジ映像信号または前記高解像度映像信号のいずれか一方と前記IR映像信号とを合成してモニタに出力する映像信号処理部と、を備える、3板式カメラを提供する。
また、本開示は、観察部位からの光のうち入射したIR光をIRイメージセンサに受光させるIRプリズムと、前記観察部位からの光のうち入射した可視光を可視イメージセンサに受光させる可視プリズムと、前記観察部位からの光のうち入射した前記可視光と同一波長帯を有する第2可視光を第1特定イメージセンサに受光させる第1特定プリズムと、前記観察部位からの光のうち入射した前記IR光と異なる近赤外波長帯を有する第2IR光または前記可視光より短い波長帯を有するUV光のうちいずれか一方を第2特定イメージセンサに受光させる第2特定プリズムと、露光制御信号によって、前記可視イメージセンサおよび前記第1特定イメージセンサのそれぞれの露光時間を同一または異なるように制御するカメラ信号処理部と、前記IRイメージセンサ、前記可視イメージセンサ、前記第1特定イメージセンサおよび前記第2特定イメージセンサのそれぞれの撮像出力に基づいて、前記観察部位のIR映像信号、第1可視映像信号、第2可視映像信号、特定映像信号を生成し、前記観察部位の前記第1可視映像信号および前記第2可視映像信号から広ダイナミックレンジ映像信号だけでなく高解像度映像信号も生成可能であり、生成された前記広ダイナミックレンジ映像信号または前記高解像度映像信号のいずれか一方と前記IR映像信号と前記特定映像信号とを合成してモニタに出力する映像信号処理部と、を備える、4板式カメラを提供する。
本開示によれば、蛍光試薬が投与された観察部位のより鮮明な蛍光画像を生成して出力でき、医師等による患部の容易な把握を支援できる。
第1構成例に係る3板式カメラの内部構成例を示すブロック図 第2構成例に係る3板式カメラの内部構成例を示すブロック図 第3構成例に係る3板式カメラの内部構成例を示すブロック図 第4構成例に係る3板式カメラの内部構成例を示すブロック図 第5構成例に係る3板式カメラの内部構成例を示すブロック図 実施の形態1に係る3板式カメラの構成例の組み合わせ例を示すテーブル 実施の形態1に係る分光プリズムの構造例を示す図 第1反射膜の分光特性例を示すグラフ 第2反射膜の分光特性例を示すグラフ 第1反射膜あるいは第2反射膜の分光特性の他の一例を示すグラフ 第2反射膜の分光特性の他の一例を示すグラフ 第2反射膜の分光特性の他の一例を示すグラフ 第2可視光および第1可視光のそれぞれの露光時間が同一となる場合の、可視光分割比率と感度、ダイナミックレンジ、解像度との関係例を示すグラフ 第2可視光および第1可視光のそれぞれの露光時間が10:1となる場合の、可視光分割比率と感度、ダイナミックレンジ、解像度との関係例を示すグラフ 第2可視光および第1可視光のそれぞれの露光時間が100:1となる場合の、可視光分割比率と感度、ダイナミックレンジ、解像度との関係例を示すグラフ 第2可視光および第1可視光のそれぞれの露光時間が1:10となる場合の、可視光分割比率と感度、ダイナミックレンジ、解像度との関係例を示すグラフ 実施の形態1に係る3板式カメラにより生成された可視・IR合成映像信号のモニタでの表示例を示す図 実施の形態1に係る3板式カメラにより生成された可視・IR合成映像信号のモニタでの他の表示例を示す図 第7構成例に係る4板式カメラの内部構成例を示すブロック図 第8構成例に係る4板式カメラの内部構成例を示すブロック図 第9構成例に係る4板式カメラの内部構成例を示すブロック図 第10構成例に係る4板式カメラの内部構成例を示すブロック図 実施の形態2に係る4板式カメラの構成例の組み合わせ例を示すテーブル 実施の形態2に係る分光プリズムの構造例を示す図
(実施の形態に至る技術的な経緯)
特許文献1では、患部等からの光のうち近赤外光の一部の光量が複数の色分解プリズムのそれぞれに分担されるように入射されて撮像される。このため、例えば近赤外光の波長領域に特化した光を対応する撮像素子に受光させることはできないという課題があった。したがって、上述した手術あるいは検査時に、蛍光試薬が投与された観察部位のより鮮明な蛍光画像の出力が困難であり、医師等が患部の把握をより簡易にする点において改善の余地があった。
そこで、以下の実施の形態1では、蛍光試薬が投与された観察部位のより鮮明な蛍光画像を生成して出力し、医師等による患部の容易な把握を支援する3板式カメラの例を説明する。
また、特許文献1では、色分解プリズムを構成するプリズムのうち複数のプリズム(具体的には、青色分解プリズムおよび赤色分解プリズム)のそれぞれにおいて近赤外光の一部を反射させて対応する後段の各イメージセンサに受光させる構成であった。このため、色分解プリズムを構成する複数のプリズムにおいて400~800nm程度の波長を有する可視光を反射させて対応する後段の各イメージセンサに受光させることはできず、高いダイナミックレンジを有した鮮明な撮像画像を得ることは困難であった。したがって、上述した手術あるいは検査時に、医師等が患部の把握をより簡易にする点において改善の余地があった。
そこで、以下の実施の形態1では、高いダイナミックレンジを有する観察部位のより鮮明な撮像画像を生成して出力し、医師等による患部の容易な把握を支援する3板式カメラの例を説明する。
(実施の形態1)
以下、適宜図面を参照しながら、本開示に係る3板式カメラおよび4板式カメラを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
[第1構成例]
第1構成例では、2つの撮像素子151,152のそれぞれに入射する第1可視光V1の光量と第2可視光V2の光量とが異なる場合を想定する。
図1は、第1構成例に係る3板式カメラ1の内部構成例を示すブロック図である。3板式カメラ1は、レンズ11と、分光プリズム13と、撮像素子151,152,153と、映像信号処理部17とを含む構成である。映像信号処理部17は、カメラ信号処理部191,192,193と、長短露光合成・広ダイナミックレンジ処理部21と、可視・IR合成処理部23とを有する。
実施の形態1に係る3板式カメラ(図1,図2,図4参照)は、例えば手術あるいは検査時に、患者等の被検体内の観察部位(例えば患部)に予め投与された蛍光試薬(例えばインドシアニングリーン。以下「ICG」と略記する。)に所定の波長帯(例えば760~800nm)の励起光を照射し、その励起光に基づいて長波長側(例えば820~860nm)に蛍光発光した観察部位を撮像する医療観察システムで使用される。3板式カメラにより撮像された画像(例えば観察部位の映像)は、モニタMN1により表示され(図13参照)、医師等のユーザによる医療行為の実行を支援する。分光プリズム13は、例えば上述した医療観察システムで使用される例を説明するが、使用は医療用途に限定されず工業用途でもよい。
図1では図示を省略しているが、3板式カメラ1のレンズ11よりも先端側は観察部位(例えば患部。以下同様。)に挿通されるスコープにより構成されている。このスコープは、例えば観察部位に挿通される硬性内視鏡等の医療器具の主要部であり、観察部位からの光L1をレンズ11まで導光可能な細長い導光部材である。
レンズ11は、分光プリズム13の対物側(先端側)に取り付けられ、観察部位からの光L1(例えば観察部位での反射光)を集光する。集光された光L2は、分光プリズム13に入射する。
光学部品の一例としての分光プリズム13は、観察部位からの光L2を入射し、第1可視光V1と第2可視光V2とIR光N1とに分光する。分光プリズム13は、第1プリズム31(例えばIRプリズム)と、第2プリズム32(例えば可視プリズム)と、第3プリズム33(例えば可視プリズム)とが順に接着された構成である(図7参照)。第1可視光V1は、第3プリズム33に対向するように配置された撮像素子152に入射する。第2可視光V2は、第2プリズム32に対向するように配置された撮像素子151に入射する。IR光N1は、第1プリズム31に対向するように配置された撮像素子153に入射する。分光プリズム13の詳細な構造例については、図7を参照して後述する。
可視イメージセンサの一例としての撮像素子151は、例えば可視光の撮像に適した複数の画素が配列されたCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)と、電子シャッタによる露光制御回路(図示略)とを含む。撮像素子151は、第2プリズム32(例えば可視プリズム)と対向するように配置される(図7参照)。撮像素子151は、カメラ信号処理部191からの露光制御信号CSH1に基づいて露光制御回路により定められる第1露光時間にわたって入射した第1可視光V1に基づいて撮像する。撮像素子151は、撮像により観察部位の映像信号V1Vを生成して映像信号処理部17に出力する。
特定イメージセンサの一例としての撮像素子152は、例えば可視光の撮像に適した複数の画素が配列されたCCDまたはCMOSと、電子シャッタによる露光制御回路(図示略)とを含む。撮像素子152は、第3プリズム33(例えば可視プリズム)と対向するように配置される(図7参照)。撮像素子152は、カメラ信号処理部192からの露光制御信号CSH2に基づいて露光制御回路により定められる第2露光時間にわたって入射した第2可視光V2に基づいて撮像する。撮像素子152は、撮像により観察部位の映像信号V2Vを生成して映像信号処理部17に出力する。
IRイメージセンサの一例としての撮像素子153は、例えばIR光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子153は、第1プリズム31(例えばIRプリズム)と対向するように配置される(図7参照)。撮像素子153は、入射したIR光N1に基づいて撮像する。撮像素子153は、撮像により観察部位の映像信号N1Vを生成して映像信号処理部17に出力する。
映像信号処理部17は、例えばDSP(Digital Signal Processor)あるいはFPGA(Field Programmable Gate Array)等のプロセッサにより構成される。カメラ信号処理部191~193、長短露光合成・広ダイナミックレンジ処理部21および可視・IR合成処理部23のそれぞれは、前述したプロセッサにより実行される。
カメラ信号処理部191は、撮像素子151からの映像信号V1Vを用いて各種のカメラ信号処理を施して観察部位の第1可視映像信号V1VDを生成し、長短露光合成・広ダイナミックレンジ処理部21に出力する。また、カメラ信号処理部191は、撮像素子151の第1露光時間を定めるための露光制御信号CSH1を生成して撮像素子151に出力する。撮像素子151は、この露光制御信号CSH1に基づいて第1可視光V1の第1露光時間を制御する。
カメラ信号処理部192は、撮像素子152からの映像信号V2Vを用いて各種のカメラ信号処理を施して観察部位の第2可視映像信号V2VDを生成し、長短露光合成・広ダイナミックレンジ処理部21に出力する。ここで、第1構成例では、撮像素子151に入射する第1可視光V1の光量と撮像素子152に入射する第2可視光V2の光量とは異なる。したがって、カメラ信号処理部191からの第1可視映像信号V1VDとカメラ信号処理部192からの第2可視映像信号V2VDとは明るさ(感度)が異なる。また、カメラ信号処理部192は、撮像素子152の第2露光時間を定めるための露光制御信号CSH2を生成して撮像素子152に出力する。撮像素子152は、この露光制御信号CSH2に基づいて第2可視光V2の第2露光時間を制御する。詳細は後述するが、第1露光時間と第2露光時間とは同一でもよいし、異なってもよい。
カメラ信号処理部193は、撮像素子153からの映像信号N1Vを用いて各種のカメラ信号処理を施して観察部位のIR映像信号N1VDを生成し、可視・IR合成処理部23に出力する。
長短露光合成・広ダイナミックレンジ処理部21は、明るさ(感度)の異なる2つの映像信号(具体的には、カメラ信号処理部191からの第1可視映像信号V1VDとカメラ信号処理部192からの第2可視映像信号V2VD)を入力して重ね合わせることで合成し、広ダイナミックレンジ映像信号VVDを生成する。つまり、長短露光合成・広ダイナミックレンジ処理部21は、明るさ(感度)が異なる第1可視映像信号V1VDおよび第2可視映像信号V2VDを合成することで、第1可視映像信号V1VDあるいは第2可視映像信号V2VDよりもダイナミックレンジが広がった広ダイナミックレンジ映像信号VVDを生成できる。長短露光合成・広ダイナミックレンジ処理部21は、広ダイナミックレンジ映像信号VVDを可視・IR合成処理部23に出力する。
可視・IR合成処理部23は、長短露光合成・広ダイナミックレンジ処理部21からの広ダイナミックレンジ映像信号VVDとカメラ信号処理部193からのIR映像信号N1VDとを入力して重ね合わせることで合成し、可視・IR合成映像信号IMVVDを生成する。可視・IR合成処理部23は、可視・IR合成映像信号IMVVDを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
モニタMN1は、例えば手術あるいは検査時に手術室に配置される画像コンソール(図示略)を構成し、3板式カメラ1により生成された観察部位の可視・IR合成映像信号IMVVDを表示する。これにより、医師等のユーザは、モニタMN1に表示された可視・IR合成映像信号IMVVDを目視で視認することで、観察部位中の蛍光発光した部位だけでなく広いダイナミックレンジを有するカラー映像によって術野等の周辺部分の状態を詳細に把握できる。録画機器は、例えば3板式カメラ1により生成された可視・IR合成映像信号IMVVDのデータを録画可能なレコーダである。
[第2構成例]
第2構成例では、撮像素子151に入射する第1可視光V1の光量と撮像素子152に入射する第2可視光V2の光量とが略等しい(言い換えると、あまり差が無い)場合を想定する。したがって、カメラ信号処理部191からの第1可視映像信号V1VDとカメラ信号処理部192からの第2可視映像信号V2VDとは明るさ(感度)が略同等となり、明るさ(感度)が略同等の第1可視映像信号V1VDおよび第2可視映像信号V2VDに対して画素ずらしに対応した合成処理が施されることで高解像度化が図られた高解像度映像信号VVDAが生成可能となる。
図2は、第2構成例に係る3板式カメラ1Aの内部構成例を示すブロック図である。3板式カメラ1Aは、レンズ11と、分光プリズム13と、撮像素子151,152,153と、映像信号処理部17Aとを含む構成である。映像信号処理部17Aは、カメラ信号処理部191,192,193と、画素ずらし合成・高解像度化処理部25と、可視・IR合成処理部23Aとを有する。図2の説明において、図1の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。なお、以下の実施の形態1に係る3板式カメラが可視光を少なくとも2チャンネル分撮像可能である構成(具体的には、第1構成例、第2構成例、第5構成例、第6構成例)の説明において、長短露光合成・広ダイナミックレンジ処理部21等は、第1構成例で説明した広いダイナミックレンジを有するカラー映像を有するための処理を行うだけでなく、第2構成例での画素ずらし合成・高解像度化処理部25が行う高解像度化(上述参照)の処理を併せて実行可能であってもよい。また、以下の実施の形態1に係る3板式カメラが可視光を少なくとも2チャンネル分撮像可能である構成(上述参照)の説明において、長短露光合成・広ダイナミックレンジ処理部21等の代わりに、画素ずらし合成・高解像度化処理部25に置き換えても構わない。
3板式カメラ1Aでは、映像信号処理部17Aにおいて画素ずらしによる高解像度映像信号VVDAが生成される。このため、分光プリズム13において、第1可視光V1が入射する撮像素子151,第2可視光V2が入射する撮像素子152のそれぞれを、対応する第2プリズム32,第3プリズム33に接着するにあたり、撮像素子151と撮像素子152との位置を光学的に半画素程度(例えば、水平方向にあるいは垂直方向に、または両方の方向に)ずらして接着する必要がある。これにより、光学的に半画素(上述参照)ずらして配置された撮像素子151,152の撮像に基づいて、画素ずらし合成・高解像度化処理部25において、画素ずらしによる高解像度映像信号VVDAが生成可能となる。
カメラ信号処理部191は、観察部位の第1可視映像信号V1VDを生成し、画素ずらし合成・高解像度化処理部25に出力する。
カメラ信号処理部192は、観察部位の第2可視映像信号V2VDを生成し、画素ずらし合成・高解像度化処理部25に出力する。
画素ずらし合成・高解像度化処理部25は、上述したように明るさ(感度)が略同等な2つの映像信号(具体的には、カメラ信号処理部191からの第1可視映像信号V1VDとカメラ信号処理部192からの第2可視映像信号V2VD)を入力する。画素ずらし合成・高解像度化処理部25は、入力された2つの映像信号を合成処理(つまり、第2プリズム32に接着された撮像素子151の撮像に基づいてカメラ信号処理部191により生成された第1可視映像信号V1VDと、第3プリズム33に接着された撮像素子152の撮像に基づいてカメラ信号処理部192により生成された第2可視映像信号V2VDとの合成)を行い、高解像度映像信号VVDAを生成する。画素ずらし合成・高解像度化処理部25は、入力された2つの映像信号の合成処理(上述参照)を行うことで、第1可視映像信号V1VDあるいは第2可視映像信号V2VDよりも高解像度を有する高解像度映像信号VVDAを生成できる。画素ずらし合成・高解像度化処理部25は、高解像度映像信号VVDAを可視・IR合成処理部23Aに出力する。
可視・IR合成処理部23Aは、画素ずらし合成・高解像度化処理部25からの高解像度映像信号VVDAとカメラ信号処理部193からのIR映像信号N1VDとを入力して重ね合わせることで合成し、可視・IR合成映像信号IMVVDAを生成する。可視・IR合成処理部23Aは、可視・IR合成映像信号IMVVDAを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
[第3構成例]
第3構成例では、近赤外(IR)光の波長帯域のうち異なる2つの波長帯域をそれぞれに撮像可能な撮像素子を2チャンネル(例えば図3に示す撮像素子151,153)を用いて撮像する場合を想定する。したがって、撮像素子151,153のそれぞれにより撮像された第1IR光N2に基づく第1IR映像信号N2VD,第2IR光N3に基づく第2IR映像信号N3VDを適宜重ね合わせることで、1チャンネルだけでIR光を撮像する構成(例えば第1構成例、第2構成例)に比べて患部のより詳細な様子を判別可能な映像信号を生成可能となる。
図3は、第3構成例に係る3板式カメラ1Bの内部構成例を示すブロック図である。3板式カメラ1Bは、レンズ11と、分光プリズム13と、撮像素子151B,152,153と、映像信号処理部17Bとを含む構成である。映像信号処理部17Bは、カメラ信号処理部191B,192B,193Bと、可視・IR合成処理部23Bとを有する。図3の説明において、図1または図2の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
3板式カメラ1Bは、例えば手術あるいは検査時に、患者等の被検体内の観察部位(例えば患部)に予め投与された複数種類の蛍光試薬(例えばICG)に所定の波長帯の励起光を照射し、その励起光に基づいて長波長側(例えば700~800nmおよび800~900nm)にそれぞれ蛍光発光した観察部位を撮像する医療観察システムで使用される。3板式カメラ1Bにより撮像された画像(例えば観察部位の映像)は、モニタMN1により表示され(図14参照)、医師等のユーザによる医療行為の実行を支援する。
分光プリズム13は、観察部位からの光L2を入射し、第1IR光N2と可視光V3と第2IR光N3とに分光する。分光プリズム13は、第1プリズム31(例えばIRプリズム)と、第2プリズム32(例えばIRプリズム)と、第3プリズム33(例えば可視プリズム)とが順に接着された構成である(図7参照)。第1IR光N2は、第2プリズム32に対向するように配置された撮像素子151に入射する。可視光V3は、第3プリズム33に対向するように配置された撮像素子152に入射する。第2IR光N3は、第1プリズム31に対向するように配置された撮像素子153に入射する。分光プリズム13の詳細な構造例については、図7を参照して後述する。
IRイメージセンサの一例としての撮像素子151Bは、例えばIR光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子151Bは、第2プリズム32(例えばIRプリズム)と対向するように配置される(図7参照)。撮像素子151Bは、入射した第1IR光N2に基づいて撮像する。撮像素子151Bは、撮像により観察部位の映像信号N2Vを生成して映像信号処理部17Bに出力する。
IRイメージセンサの一例としての撮像素子153Bは、例えばIR光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子153Bは、第1プリズム31(例えばIRプリズム)と対向するように配置される(図7参照)。撮像素子153Bは、入射した第2IR光N3に基づいて撮像する。撮像素子153Bは、撮像により観察部位の映像信号N3Vを生成して映像信号処理部17Bに出力する。
映像信号処理部17Bは、例えばDSPあるいはFPGA等のプロセッサにより構成される。カメラ信号処理部191B~193Bおよび可視・IR合成処理部23Bのそれぞれは、前述したプロセッサにより実行される。
カメラ信号処理部191Bは、撮像素子151からの映像信号N2Vを用いて各種のカメラ信号処理を施して観察部位の第1IR映像信号N2VDを生成し、可視・IR合成処理部23Bに出力する。詳細は後述するが、第1IR映像信号N2VDと第2IR映像信号N3VDとは撮像に用いられた入射光の波長が異なる(図8Dおよび図8E参照)。
カメラ信号処理部192Bは、撮像素子152からの映像信号V3Vを用いて各種のカメラ信号処理を施して観察部位の可視映像信号V3VDを生成し、可視・IR合成処理部23Bに出力する。
カメラ信号処理部193Bは、撮像素子153からの映像信号N3Vを用いて各種のカメラ信号処理を施して観察部位の第2IR映像信号N3VDを生成し、可視・IR合成処理部23Bに出力する。
可視・IR合成処理部23Bは、カメラ信号処理部191Bからの第1IR映像信号N2VDとカメラ信号処理部192Bからの可視映像信号V3VDとカメラ信号処理部193Bからの第2IR映像信号N3VDとを入力して重ね合わせることで合成し、可視・IR合成映像信号IMVVDBを生成する。可視・IR合成処理部23Bは、可視・IR合成映像信号IMVVDBを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
[第4構成例]
第4構成例では、可視光、IR光、UV(Ultra Violet)光の複数の異なる波長帯域をそれぞれに撮像可能な撮像素子を3チャンネル用いて撮像する場合を想定する。したがって、撮像素子151C,152,153のそれぞれにより撮像された映像信号を重ね合わせることで、多様な波長帯域の光の撮像により患部の詳細な様子を判別可能な映像信号を生成可能となる。
図4は、第4構成例に係る3板式カメラ1Cの内部構成例を示すブロック図である。3板式カメラ1Cは、レンズ11と、分光プリズム13と、撮像素子151C,152,153と、映像信号処理部17Cとを含む構成である。映像信号処理部17Cは、カメラ信号処理部191C,192B,193と、可視・IR合成処理部23Cとを有する。図4の説明において、図1~図3の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
分光プリズム13は、観察部位からの光L2を入射し、UV光U1と可視光V3とIR光N1とに分光する。分光プリズム13は、第1プリズム31(例えばIRプリズム)と、第2プリズム32(例えばUVプリズム)と、第3プリズム33(例えば可視プリズム)とが順に接着された構成である(図7参照)。UV光U1は、第2プリズム32に対向するように配置された撮像素子151に入射する。可視光V3は、第3プリズム33に対向するように配置された撮像素子152に入射する。IR光N1は、第1プリズム31に対向するように配置された撮像素子153に入射する。分光プリズム13の詳細な構造例については、図7を参照して後述する。
特定イメージセンサの一例としての撮像素子151Cは、例えばUV光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子151Cは、第2プリズム32(例えばUVプリズム)と対向するように配置される(図7参照)。撮像素子151Cは、入射したUV光U1に基づいて撮像する。撮像素子151Cは、撮像により観察部位の映像信号U1Vを生成して映像信号処理部17Cに出力する。
映像信号処理部17Cは、例えばDSPあるいはFPGA等のプロセッサにより構成される。カメラ信号処理部191C,192B,193および可視・IR合成処理部23Cのそれぞれは、前述したプロセッサにより実行される。
カメラ信号処理部191Cは、撮像素子151Cからの映像信号U1Vを用いて各種のカメラ信号処理を施して観察部位のUV映像信号U1VDを生成し、可視・IR合成処理部23Cに出力する。
可視・IR合成処理部23Cは、カメラ信号処理部191CからのUV映像信号U1VDとカメラ信号処理部192Bからの可視映像信号V3VDとカメラ信号処理部193からのIR映像信号N1VDとを入力して重ね合わせることで合成し、可視・IR合成映像信号IMVVDCを生成する。可視・IR合成処理部23Cは、可視・IR合成映像信号IMVVDCを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
[第5構成例]
第5構成例では、可視光の波長帯域を撮像可能な撮像素子を3チャンネル(例えば図5に示す撮像素子151,152,153D)を用いて撮像し、それぞれの撮像素子に入射する可視光の光量が異なる場合を想定する。したがって、観察部位あるいはその周辺の高いダイナミックレンジを有するカラー映像によって術野等の周辺部分の状態を詳細に判別可能な映像信号を生成可能となる。
図5は、第5構成例に係る3板式カメラ1Dの内部構成例を示すブロック図である。3板式カメラ1Dは、レンズ11と、分光プリズム13と、撮像素子151,152,153Dと、映像信号処理部17Dとを含む構成である。映像信号処理部17Dは、カメラ信号処理部191,192,193Dと、長短露光合成・広ダイナミックレンジ処理部21Dとを有する。図5の説明において、図1~図4の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
3板式カメラ1Dは、例えば手術あるいは検査時に、患者等の被検体内の観察部位(例えば患部)あるいはその周辺の術野を通常のカラー映像よりも鮮明に(言い換えると、通常のカラー映像より高いダイナミックレンジを有して)観察部位を撮像する医療観察システムで使用される。3板式カメラ1Dにより撮像された画像(例えば観察部位の映像)は、モニタMN1により表示され、医師等のユーザによる医療行為の実行を支援する。
分光プリズム13は、観察部位からの光L2を入射し、第1可視光V1と第2可視光V2と第3可視光V4とに分光する。分光プリズム13は、第1プリズム31(例えば可視プリズム)と、第2プリズム32(例えば可視プリズム)と、第3プリズム33(例えば可視プリズム)とが順に接着された構成である(図7参照)。第1可視光V1は、第1プリズム31(例えば可視プリズム)に対向するように配置された撮像素子153Dに入射する。第2可視光V2は、第2プリズム32(例えば可視プリズム)に対向するように配置された撮像素子151に入射する。第3可視光V4は、第3プリズム33(例えば可視プリズム)に対向するように配置された撮像素子152に入射する。分光プリズム13の詳細な構造例については、図7を参照して後述する。
第1可視イメージセンサの一例としての撮像素子153Dは、例えば可視光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子153Dは、第1プリズム31(第1可視プリズムの一例)と対向するように配置される(図7参照)。撮像素子153Dは、入射した第1可視光V1に基づいて撮像する。撮像素子153Dは、撮像により観察部位の映像信号V1Vを生成して映像信号処理部17Dに出力する。
第2可視イメージセンサの一例としての撮像素子151は、例えば可視光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子151は、第2プリズム32(第2可視プリズムの一例)と対向するように配置される(図7参照)。撮像素子151は、入射した第2可視光V2に基づいて撮像する。撮像素子151は、撮像により観察部位の映像信号V2Vを生成して映像信号処理部17Dに出力する。
特定イメージセンサの一例としての撮像素子152は、例えば可視光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子152は、第3プリズム33(特定プリズムの一例)と対向するように配置される(図7参照)。撮像素子152は、入射した第3可視光V4に基づいて撮像する。撮像素子152は、撮像により観察部位の映像信号V4Vを生成して映像信号処理部17Dに出力する。
映像信号処理部17Dは、例えばDSPあるいはFPGA等のプロセッサにより構成される。カメラ信号処理部191,192,193Dおよび長短露光合成・広ダイナミックレンジ処理部21Dのそれぞれは、前述したプロセッサにより実行される。
カメラ信号処理部193Dは、撮像素子153Dからの映像信号V4Vを用いて各種のカメラ信号処理を施して観察部位の第3可視映像信号V4VDを生成し、長短露光合成・広ダイナミックレンジ処理部21Dに出力する。また、カメラ信号処理部193Dは、撮像素子153Dの第3露光時間を定めるための露光制御信号CSH3を生成して撮像素子153Dに出力する。撮像素子153Dは、この露光制御信号CSH3に基づいて第3可視光V4の露光時間を制御する。
長短露光合成・広ダイナミックレンジ処理部21Dは、明るさ(感度)の異なる3つの映像信号(具体的には、カメラ信号処理部191からの第1可視映像信号V1VDとカメラ信号処理部192からの第2可視映像信号V2VDとカメラ信号処理部193Dからの第3可視映像信号V4VD)を入力して重ね合わせることで合成し、広ダイナミックレンジ映像信号VVDDを生成する。つまり、長短露光合成・広ダイナミックレンジ処理部21Dは、明るさ(感度)が異なる第1可視映像信号V1VD、第2可視映像信号V2VDおよび第3可視映像信号V4VDを合成することで、第1可視映像信号V1VD、第2可視映像信号V2VDあるいは第3可視映像信号V4VDよりもダイナミックレンジが広がった広ダイナミックレンジ映像信号VVDDを生成できる。長短露光合成・広ダイナミックレンジ処理部21Dは、広ダイナミックレンジ映像信号VVDDを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
図6は、実施の形態1に係る3板式カメラの構成例の組み合わせ例を示すテーブルである。図6において、第1構成例は図1、第2構成例は図2、第3構成例は図3、第4構成例は図4、第5構成例は図5をそれぞれ参照して説明済みである。実施の形態1に係る3板式カメラとして、第1構成例あるいは第2構成例の変形例(つまり第6構成例)として、第3プリズム33に入射する光がUV光であってもよい。つまり、図1および図2の説明において、「IR光」を「UV光」、「映像信号N1V」を「映像信号U1V」、「IR映像信号N1VD」を「UV映像信号U1VD」にそれぞれ置き換えてもよい。
図7は、実施の形態1に係る分光プリズム13の構造例を示す図である。上述したように、分光プリズム13は、第1プリズム31と第2プリズム32と第3プリズム33とが順に接着された構成である。第1プリズム31、第2プリズム32および第3プリズム33が、レンズ11により集光された光L2の光軸方向に順に組み付けられる。ここでいう光軸方向は、第1プリズム31の入射面31aに対して垂直に光L2が入射する方向である。上述した第1構成例~第6構成例において、第1プリズム31、第2プリズム32、第3プリズム33の役割(言い換えると、機能および用途)は、それぞれ同一となる場合もあれば異なる場合もある。
先ず、第1プリズム31がIRプリズムであると例示する(第1~第4構成例参照)。但し、第1プリズム31はIRプリズムであることに限定されず、可視プリズム(第5構成例参照)あるいはUVプリズム(第6構成例参照)でもよい。
IRプリズムは、光L2が入射する入射面31aと、光L2のうちIR光を反射させる第1反射膜FLM1(例えばダイクロイックミラー)が形成される反射面31bと、IR光が出射する出射面31cとを有する。第1反射膜FLM1は、蒸着等により反射面31bに形成され、光L2のうちIR光(例えば800nm以上の波長帯のIR光)を反射させるとともに、光L2のうちIR光でない光(例えば300~400nmのUV光、あるいは400~800nm程度の可視光)を透過させる(図8A参照)。IR光は、反射面31bで反射した後に入射面31aで全反射し、出射面31cを介して撮像素子153に入射する。このように、IRプリズムが第1プリズム31として配置されることで、観察部位からの光L2のうちIR成分の光が分光プリズム13の最も対物側(つまり観察部位側)で撮像されるので、分光プリズム13の後段側(つまり基端側)で撮像される場合に比べて反射等による光量の減衰が生じず、蛍光試薬の蛍光発光に基づく患部の状態がより鮮明に判別可能となり易くなる。
図8Aは、第1反射膜FLM1の分光特性例を示すグラフである。図8Aの横軸は波長[nm:ナノメートル]を示し、縦軸は反射率あるいは透過率を示す。特性TP1は第1反射膜の透過率を示し、特性TP1によれば、第1反射膜FLM1は300~800nm程度の光を透過させることができる。特性RF1は第1反射膜FLM1の反射率を示し、特性RF1によれば、第1反射膜FLM1は800nm以上のIR光を反射させることができる。したがって、撮像素子153には、面積AR1で示される光量のIR光(言い換えると、光L2のうちIR光)が全て入射できる。
次に、第2プリズム32が可視プリズムであると例示する(第1,第2,第5,第6構成例参照)。但し、第2プリズム32は可視プリズムであることに限定されず、IRプリズム(第3構成例参照)あるいはUVプリズム(第4構成例参照)でもよい。
可視プリズムは、第1反射膜FLM1を透過した光が入射する入射面32aと、その透過した光の一部の光量を反射させる第2反射膜FLM2(例えばビームスプリッタ)が形成される反射面32bと、その一部の光量の反射した可視光が出射する出射面32cとを有する。第2反射膜FLM2は、蒸着等により反射面32bに形成され、入射面32aに入射した可視光の一部(例えば入射面32aに入射した光の20%前後)の光量を有する可視光を反射させ、残りの(例えば入射面32aに入射した光の80%前後)の光量を有する可視光を透過させる(図8B参照)。この一部の可視光は、反射面32bで反射した後に入射面32aで全反射し、出射面32cを介して撮像素子151に入射する。なお、第2反射膜FLM2が反射する可視光の割合は20%に限定されず、例えば1%~30%程度の範囲でもよい。
図8Bは、第2反射膜FLM2の分光特性例を示すグラフである。図8Bの横軸は波長[nm:ナノメートル]を示し、縦軸は反射率あるいは透過率を示す。特性TP2は第2反射膜の透過率を示し、特性TP2によれば、第2反射膜FLM2は400~800nm程度の可視光の80%を透過させることができる。特性RF2は第2反射膜FLM2の反射率を示し、特性RF2によれば、第2反射膜FLM2は400~800nm程度の可視光の20%を反射させることができる。したがって、撮像素子151には、面積AR2で示される光量(つまり、入射面32aに入射した可視光(100%とする)のうち20%分)の可視光が入射できる。なお、後述する第3プリズム33が可視プリズムである場合、第2反射膜FLM2を透過した80%の可視光は第3プリズム33を透過して撮像素子152に入射する。
また、第2構成例(図2参照)に対応する分光プリズム13では、第2反射膜FLM2は、入射面32aに入射した可視光の一部(例えば入射面32aに入射した光の50%前後)の光量を有する可視光を反射させ、残りの(例えば入射面32aに入射した光の50%前後)の光量を有する可視光を透過させる。なお、この場合の第2反射膜FLM2が反射する可視光の割合は50%に限定されず、例えば30%~50%程度の範囲でもよい。同様に、後述する第3プリズム33が可視プリズムである場合、第2反射膜FLM2を透過した50%の可視光は第3プリズム33を透過して撮像素子152に入射する。
図8Cは、第1反射膜あるいは第2反射膜の分光特性の他の一例を示すグラフである。図8Cの横軸は波長[nm:ナノメートル]を示し、縦軸は反射率あるいは透過率を示す。特性TP3は第1反射膜あるいは第2反射膜の透過率を示し、特性TP3によれば、第1反射膜FLM1あるいは第2反射膜FLM2は400~800nm程度の可視光を透過させることができる。特性RF3は第1反射膜FLM1あるいは第2反射膜FLM2の反射率を示し、特性RF3によれば、第1反射膜FLM1あるいは第2反射膜FLM2は300~400nm程度のUV光を反射させることができる。したがって、撮像素子151あるいは撮像素子153には、面積AR3で示される光量のUV光が入射できる。
次に、第3プリズム33が可視プリズムであると例示する(第1~第6構成例参照)。但し、第3プリズム33は可視プリズムであることに限定されず、IRプリズムあるいはUVプリズムでもよい。
可視プリズムは、第2反射膜FLM2を透過した光(例えば可視光)が入射する入射面33aと、その透過した光が出射する出射面33cとを有する。可視光は、出射面33cを介して撮像素子152に入射する。
図8Dおよび図8Eは、第2反射膜FLM2の分光特性の他の一例を示すグラフである。図8Dおよび図8Eの横軸は波長[nm]を示し、縦軸は反射率あるいは透過率を示す。特性TP4は第3構成例(図3参照)に係る分光プリズム13の第2反射膜FLM2の透過率(300~700nmが透過可)を示し、特性RF4は第3構成例(図3参照)に係る分光プリズム13の第2反射膜FLM2の反射率(700~800nmが反射可)を示す。特性TP4および特性RF4によれば、第3構成例(図3参照)に係る分光プリズム13の第2反射膜FLM2は、700~800nm程度のIR光を反射させ、300~400nmのUV光および400~700nmの可視光を透過させることができる。したがって、撮像素子151には、面積AR4で示される光量のIR光が入射できる。また、図8Eに示すように、第3構成例(図3参照)に係る分光プリズム13の第2反射膜FLM2は、700~800nm程度のIR光を反射させ、300~400nmのUV光および400~700nmの可視光を透過させることができる。撮像素子152には、面積AR5で示される光量のUV光あるいは可視光が入射できる。
図9は、第2可視光V2および第1可視光V1のそれぞれの露光時間が同一となる場合の、可視光分割比率と感度GAN1、ダイナミックレンジDRG1、解像度RSO1との関係例を示すグラフである。図9の横軸は可視光分割比率であり、言い換えると、これは、例えば第1構成例(図1参照)あるいは第2構成例(図2参照)において、第2反射膜FLM2が第1反射膜FLM1を透過した光(例えば可視光)を反射する割合である。例えば、可視光分割比率が10%(つまり90:10)である場合、第2反射膜FLM2は第1反射膜FLM1を透過した光のうち10%の可視光を反射し、90%の可視光を透過する。つまり、第2可視光V2の光量:第1可視光V1の光量が90:10となる。他の可視光分割比率についても上述した具体例と同様に考えることができる。図9の縦軸は映像信号処理部17,17Aにおいて生成される広ダイナミックレンジ映像信号VVDあるいは高解像度映像信号VVDAの感度GAN1、ダイナミックレンジDRG1、解像度RSO1をそれぞれ示す。
図9では電子シャッタによる撮像素子152,151のそれぞれへの露光時間が同一となるように制御された例が示されている。したがって、感度GAN1については、可視光分割比率が小さければ小さい程最大(例えば0%の時に最大(100%)で最も明るくなる)となり、50%の時に最小(50%で最も暗くなる)となるような特性(例えば一次関数)に従って推移すると考えられる。これは、第1可視光V1に基づく第1可視映像信号V1VDの明るさと第2可視光V2に基づく第2可視映像信号V2VDの明るさとのうち、より明るい第2可視光V2の明るさによって感度が決まるためである。
ダイナミックレンジDRG1については、同様に可視光分割比率が0より大きい範囲で小さければ小さい程大きく(例えば0.01%の時に+約80dB)となり、50%の時に最小(例えば0dB)となるような特性に従って推移すると考えられる。これは、広ダイナミックレンジ映像信号VVDあるいは高解像度映像信号VVDAにおいて、可視光分割比率が小さければ小さい程、暗い部分と明るい部分の差が広がり易くなるためである。
解像度RSO1については、反対に可視光分割比率が小さければ小さい程最小(例えば0%の時に最小で1倍)となり、50%の時に最大(例えば1.4倍)となるような特性に従って推移すると考えられる。これは、可視光分割比率が大きければ大きい程、隣接する画素間での画素値の差分が小さくなり画素ずらしによって高解像度化を実現し易くなるためである。
図10は、第2可視光V2および第1可視光V1のそれぞれの露光時間が10:1となる場合の、可視光分割比率と感度GAN2、ダイナミックレンジDRG2、解像度RSO2との関係例を示すグラフである。図10の横軸は可視光分割比率であり、図9の説明と同様であるため説明を省略する。図10の縦軸は映像信号処理部17,17Aにおいて生成される広ダイナミックレンジ映像信号VVDあるいは高解像度映像信号VVDAの感度GAN2、ダイナミックレンジDRG2、解像度RSO2をそれぞれ示す。
図10では電子シャッタによる撮像素子152,151のそれぞれへの露光時間が10:1の比率となるように差が設けられた例が示されている。感度GAN2については、図9に示す感度GAN1と同様に、可視光分割比率が小さければ小さい程最大(例えば0%の時に最大(100%)で最も明るくなる)となり、50%の時に最小(50%で最も暗くなる)となるような特性(例えば一次関数)に従って推移すると考えられる。これは、撮像素子152,151のそれぞれへの露光時間の比率10:1に、第2可視光V2と第1可視光V1との光量比率を掛け合わせたものが、第2可視映像信号V2VDと第1可視映像信号V1VDの明るさの比率となり、そのうち明るい方の第2可視映像信号V2VDの明るさにより感度が決まるためである。
撮像素子152,151のそれぞれへの露光時間が同一の時に比べて例えば10:1の比率となるように差が設けられると、広ダイナミックレンジ映像信号VVDあるいは高解像度映像信号VVDAにおいて、明るい部分と暗い部分との差がより鮮明に現れやすくなりダイナミックレンジをより稼ぐことができると考えられる。したがって、ダイナミックレンジDRG2については、可視光分割比率が0より大きい範囲で小さければ小さい程大きく(例えば0.1%の時に+約80dB)となり、50%の時に最小(例えば+20dB)となるような特性に従って推移すると考えられる。つまり、図10の例であれば、最小値であっても+20dBを稼ぐことができる。
電子シャッタによる撮像素子152,151のそれぞれへの露光時間が10:1の比率となるように差が設けられると、例えば可視光分割比率が10%(第2可視光V2:第1可視光V1=90:10)となる場合、撮像素子151に入射する光量:撮像素子152に入射する光量=100:1程度となると考えられる。つまり、第1可視光V1では暗いところはほぼ映らず、第2可視光V2では明るいところはほぼ映らないので重ね合わせた時に解像度を稼ぐことはほぼ難しいと考えることができる。したがって、解像度RSO2については、可視光分割比率に拘わらず、小さい値(例えば0%の時に最小で1倍であって、50%でも1.1倍程度)を推移すると考えられる。
図11は、第2可視光V2および第1可視光V1のそれぞれの露光時間が100:1となる場合の、可視光分割比率と感度GAN2、ダイナミックレンジDRG3、解像度RSO3との関係例を示すグラフである。図11の横軸は可視光分割比率であり、図9の説明と同様であるため説明を省略する。図11の縦軸は映像信号処理部17,17Aにおいて生成される広ダイナミックレンジ映像信号VVDあるいは高解像度映像信号VVDAの感度GAN2、ダイナミックレンジDRG3、解像度RSO3をそれぞれ示す。
図11では電子シャッタによる撮像素子152,151のそれぞれへの露光時間が100:1の比率となるようにかなりの差が設けられた例が示されている。感度GAN2については、図10に示す感度GAN2と同様に、可視光分割比率が小さければ小さい程最大(例えば0%の時に最大(100%)で最も明るくなる)となり、50%の時に最小(50%で最も暗くなる)となるような特性(例えば一次関数)に従って推移すると考えられる。これは、撮像素子152,151のそれぞれへの露光時間の比率100:1に、第2可視光V2と第1可視光V1との光量比率を掛け合わせたものが、第2可視映像信号V2VDと第1可視映像信号V1VDの明るさの比率となり、そのうち明るい方の第2可視映像信号V2VDの明るさにより感度が決まるためである。
撮像素子152,151のそれぞれへの露光時間が同一の時に比べて例えば100:1の比率となるようにかなりの差が設けられると、広ダイナミックレンジ映像信号VVDあるいは高解像度映像信号VVDAにおいて、明るい部分と暗い部分との差がより一層に鮮明に現れやすくなりダイナミックレンジをより多く稼ぐことができると考えられる。したがって、ダイナミックレンジDRG3については、可視光分割比率が0より大きい範囲で小さければ小さい程大きく(例えば1%の時に+約80dB)となり、50%の時に最小(例えば+40dB)となるような特性に従って推移すると考えられる。つまり、図11の例であれば、最小値であっても+40dBを稼ぐことができる。
電子シャッタによる撮像素子152,151のそれぞれへの露光時間が100:1の比率となるようにかなりの差が設けられると、例えば可視光分割比率が10%(第2可視光V2:第1可視光V1=90:10)となる場合、撮像素子152に入射する光量:撮像素子151に入射する光量=1000:1程度となると考えられる。つまり、第2可視光V2では明るすぎて暗いところはほぼ映らず、第1可視光V1では暗すぎて明るいところはほぼ映らないので図10の例に比べて重ね合わせた時に解像度を稼ぐことはほぼ難しいと考えることができる。したがって、解像度RSO3については、可視光分割比率に拘わらず、小さい値(例えば0%の時に最小で1倍であって、50%でも1.02倍程度)を推移すると考えられる。
図12は、第2可視光V2および第1可視光V1のそれぞれの露光時間が1:10となる場合の、可視光分割比率と感度GAN3、ダイナミックレンジDRG4、解像度RSO4との関係例を示すグラフである。図12の横軸は可視光分割比率であり、図9の説明と同様であるため説明を省略する。図12の縦軸は映像信号処理部17,17Aにおいて生成される広ダイナミックレンジ映像信号VVDあるいは高解像度映像信号VVDAの感度GAN3、ダイナミックレンジDRG4、解像度RSO4をそれぞれ示す。
図12では電子シャッタによる撮像素子152,151のそれぞれへの露光時間が1:10の比率となるように差が設けられた例が示されている。図10の例と反対に、撮像素子152,151のそれぞれへの露光時間が例えば1:10の比率となるように差が設けられると、例えば可視光分割比率が10%(第2可視光V2:第1可視光V1=90:10)となる場合、撮像素子152に入射する光量と撮像素子151に入射する光量とは可視光分割比率と露光時間比との相殺によってほぼ同等になると考えられる。したがって、感度GAN3については、可視光分割比率が0%から10%まで(言い換えると、撮像素子152,151にそれぞれ入射する光量があまり変わらない場合)は最小となるように略一定に推移し、可視光分割比率が10%より大きくなり50%になるまでは一次関数的に単調増加する特性として推移する。例えば50%の時に最大(50%、つまり-6dB)に明るくなる。これは、撮像素子152,151のそれぞれへの露光時間の比率1:10に、第2可視光V2と第1可視光V1との光量比率を掛け合わせたものが、第2可視映像信号V2VDと第1可視映像信号V1VDの明るさの比率となり、そのうち明るい方の映像信号の明るさにより感度が決まるためである。
撮像素子152,151のそれぞれへの露光時間が同一の時に比べて例えば1:10の比率となるように差が設けられると、広ダイナミックレンジ映像信号VVDあるいは高解像度映像信号VVDAにおいて、可視光分割比率が0%より大きい範囲で小さければ小さい程明るさの差分が得られ易いが、可視光分割比率が高くなるにつれて明るい部分と暗い部分との差が現れにくくなりダイナミックレンジをより稼ぐことが難しくなると考えられる。したがって、ダイナミックレンジDRG4については、可視光分割比率が0%より大きい範囲で小さければ小さい程大きくなる(例えば、0.001%の時に約+80dB)となるが、可視光分割比率が10%の時に、撮像素子152,151の露光時間の比率1:10と相殺されて、第2可視映像信号V2VDと第1可視映像信号V1VDとの明るさがほぼ同等となり、ダイナミックレンジDRG4は最小となる。可視光分割比率が10%を超えると再び第2可視映像信号V2VDと第1可視映像信号V1VDとの明るさに差ができるため、ダイナミックレンジDRG4が大きくなり、可視光分割比率50%の場合は、撮像素子152,151の露光時間の比率1:10と掛け合わせて、第2可視映像信号V2VDと第1可視映像信号V1VDの明るさの比率が1:10となるため、ダイナミックレンジは+20dBとなる。
電子シャッタによる撮像素子152,151のそれぞれへの露光時間が1:10の比率となるように差が設けられると、例えば可視光分割比率が10%(第2可視光V2:第1可視光V1=90:10)となる場合、撮像素子152に入射する光量と撮像素子151に入射する光量とがほぼ同等になると考えられる(上述参照)。つまり、可視光分割比率と露光時間比(1:10)との相殺が起きる時(例えば可視光分割比率が10%)の時に第1可視光V1に基づく第1可視映像信号V1VDと第2可視光V2に基づく第2可視映像信号V2VDとが同等の明るさとなるので、解像度RSO4としては最大となり、相殺が起きにくくなるような可視光分割比率の時に最大値から低下するような特性で推移すると考えられる。
図13は、実施の形態1に係る3板式カメラ1,1A,1Cにより生成された可視・IR合成映像信号IMVVD,IMVDDA,IMVDDCのモニタMN1での表示例を示す図である。図13に示す可視・IR合成映像信号IMVVD,IMVDDA,IMVDDCは、被検体である患者の観察部位(例えば肝臓および膵臓の周囲)での撮像に基づいて生成されてモニタMN1に表示されている。図13では、手術あるいは検査の前に予め患者体内の患部に投与されたICGの蛍光試薬が発光し、可視・IR合成映像信号IMVVD,IMVDDA,IMVDDCではその箇所(例えば患部FL1)が分かるように示されている。このように、3板式カメラ1,1A,1Cは、例えば手術あるいは検査時に、医師等のユーザによる観察部位の詳細を把握可能な高画質な可視・IR合成映像信号IMVVD,IMVDDA,IMVDDCを生成してモニタMN1に表示できる。なお、このような表示例は実施の形態1に係る3板式カメラに限定したものではなく、後述する実施の形態2に係る4板式カメラにより生成された可視・IR合成映像信号も同様にモニタMN1に表示されてよい。
図14は、実施の形態1に係る3板式カメラ1Bにより生成された可視・IR合成映像信号IMVVDBのモニタMN1での表示例を示す図である。図14に示す可視・IR合成映像信号IMVVDBは、被検体である患者の観察部位(例えば肝臓および膵臓の周囲)での撮像に基づいて生成されてモニタMN1に表示されている。可視・IR合成映像信号IMVVDBは、2種類の波長帯域に分離(分光)された第1IR光N2および第2IR光N3の撮像に基づく、第1IR映像信号N2VDおよび第2IR映像信号N3VDの合成により、観察部位に静脈が存在しているのかあるいは動脈が存在しているのかを医師等のユーザに詳細に把握させることができる。例えば、700~800nmの波長帯域では動脈血よりも静脈血の吸光係数が高く、逆に800~900nmの波長帯域では静脈血よりも動脈血の吸光係数が高く、800nm付近を境界として動脈血の吸光係数と静脈血の吸光係数とが逆転することが知られている。これにより、3板式カメラ1Bは、700~800nmの波長を有する第1IR光N2と、800~900nmの波長を有する第2IR光N3との強度比率によって、可視・IR合成映像信号IMVVDBに移る血液が動脈血であるか、または静脈血であるかを識別可能となる。
図14では、例えば第1IR映像信号N2VDにより動脈が存在していることが示されている。このように、3板式カメラ1Bは、例えば手術あるいは検査時に、医師等のユーザによる観察部位の詳細(特に静脈、動脈の存在の有無)を把握可能な高画質な可視・IR合成映像信号IMVVDBを生成してモニタMN1に表示できる。なお、このような表示例は実施の形態1に係る3板式カメラに限定したものではなく、後述する実施の形態2に係る4板式カメラにより生成された可視・IR合成映像信号も同様にモニタMN1に表示されてよい。
以上により、実施の形態1に係る3板式カメラは、観察部位からの光のうち入射したIR光をIRイメージセンサに受光させるIRプリズムと、観察部位からの光のうち入射した可視光を可視イメージセンサに受光させる可視プリズムと、観察部位からの光のうち入射した特定波長帯光を特定イメージセンサに受光させる特定プリズムと、を有する。3板式カメラは、IRイメージセンサ、可視イメージセンサおよび特定イメージセンサのそれぞれの撮像出力に基づいて、観察部位のIR映像信号、可視映像信号、特定映像信号を生成し、IR映像信号、可視映像信号および特定映像信号を合成してモニタMN1に出力する映像信号処理部と、を有する。
これにより、3板式カメラは、例えば手術あるいは検査時に予め患者等の被検体内に蛍光試薬(例えばICG)が投与された観察部位(例えば患部)からの光のうち特定波長帯域(例えば800nm以上)、つまり蛍光試薬の蛍光領域に特化したIR光を分光プリズム13により分離(分光)することができる。したがって、3板式カメラは、蛍光試薬が投与された観察部位のより鮮明な蛍光画像と可視光によるカラー映像とをそれぞれ生成して出力できるので、医師等による患部の容易な把握を支援できる。
また、特定波長帯光は、可視光(例えば第1可視光V1)と同一の波長帯を有する第2可視光V2である。映像信号処理部17は、可視映像信号(例えば第1可視映像信号V1VD)と第2可視光V2に基づく第2可視映像信号V2VDとを合成して広ダイナミックレンジ映像信号VVDを生成し、広ダイナミックレンジ映像信号VVDとIR映像信号N1VDとを合成する。これにより、3板式カメラ(例えば3板式カメラ1)は、IR映像信号N1VDと広ダイナミックレンジ映像信号VVDとを合成した可視・IR合成映像信号IMVVDをモニタMN1に表示できるので、術野の鮮明かつ患部位置を詳細に判明可能な映像を医師等のユーザに提示でき、ユーザによる医療行為を適切な支援できる。
また、特定波長帯光は、可視光(例えば第1可視光V1)と同一の波長帯を有する第2可視光V2である。映像信号処理部17は、可視映像信号(例えば第1可視映像信号V1VD)と第2可視光V2に基づく第2可視映像信号V2VDとを合成して高解像度映像信号VVDAを生成し、高解像度映像信号VVDAとIR映像信号N1VDとを合成する。これにより、3板式カメラ(例えば3板式カメラ1A)は、IR映像信号N1VDと高解像度映像信号VVDAとを合成した可視・IR合成映像信号IMVVDAをモニタMN1に表示できるので、例えば複雑な形状を有す患部の構造および位置を詳細に判明可能な映像を医師等のユーザに提示でき、ユーザによる医療行為を適切な支援できる。
また、特定波長帯光は、IR光(例えば第1IR光N2)と異なる近赤外波長帯を有する第2IR光N3である。例えば、第1IR光N2の波長帯域は800~1000nmであり、第2IR光N3の波長帯域は700~800nmである。映像信号処理部17は、IR映像信号(例えば第1IR映像信号N2VD)と、可視映像信号V3VDと、第2IR光N3に基づく第2IR映像信号N3VDとを合成する。これにより、3板式カメラ(例えば3板式カメラ1B)は、撮像対象となる波長帯域が異なる複数のIR光の撮像に基づく第1IR映像信号N2VD,第2IR映像信号N3VDを重ね合わせるので、術野のカラー映像とともに、蛍光試薬の反応(発光)によって患部のより的確な状態を示せるIR映像信号とをモニタMN1に表示でき、医師等のユーザよる医療行為を適切な支援できる。
また、特定波長帯光は、可視光V3より短い波長帯を有するUV光U1である。映像信号処理部17は、IR映像信号N1VDと、可視映像信号V3VDと、UV光U1に基づくUV映像信号U1VDとを合成する。これにより、3板式カメラ(例えば3板式カメラ1C)は、3チャンネルのイメージセンサにおいて撮像される波長帯域がいずれも異なる複数の光の撮像に基づくUV映像信号U1VD,可視映像信号V3VD,IR映像信号N1VDを重ね合わせるので、術野のカラー映像および蛍光試薬の反応(発光)に基づく患部の状態を示せるIR映像信号だけでなく、UV光の撮像により得られる患部の状態を示せるUV映像信号をモニタMN1に表示できるので、医師等のユーザよる医療行為を適切な支援できる。
また、実施の形態1に係る3板式カメラは、観察部位からの光のうち入射した第1可視光を第1可視イメージセンサに受光させる第1可視プリズムと、観察部位からの光のうち入射した第2可視光を第2可視イメージセンサに受光させる第2可視プリズムと、観察部位からの光のうち入射した特定波長帯光を特定イメージセンサに受光させる特定プリズムと、を有する。3板式カメラは、第1可視イメージセンサ、第2可視イメージセンサおよび特定イメージセンサのそれぞれの撮像出力に基づいて、観察部位の第1可視映像信号、第2可視映像信号、特定映像信号を生成し、第1可視映像信号と、第2可視映像信号と、特定映像信号とを合成してモニタMN1に出力する映像信号処理部と、を有する。
これにより、3板式カメラは、例えば手術あるいは検査時に、光量(明るさ)が異なる複数の可視光を重ね合わせることで、単一のカラー映像よりも広いダイナミックレンジを有する広ダイナミックレンジ映像信号VVDDをモニタMN1に表示できるだけでなく、もう1チャンネル分の撮像光に基づく撮像映像を表示できる。したがって、3板式カメラは、術野を暗く映したり明るく映したりして術野の鮮明な状況を判明可能な映像を医師等のユーザに提示でき、ユーザによる医療行為を適切な支援できる。
また、特定波長帯光は、第1可視光V1および第2可視光V2と同一の波長帯を有する第3可視光V4である。映像信号処理部17Dは、第1可視映像信号V1VDと、第2可視映像信号V2VDと、第3可視光に基づく第3可視映像信号とを合成して広ダイナミックレンジ映像信号を生成する。これにより、3板式カメラ1Dは、光量の異なる3チャンネル分の可視映像信号を重ね合わせるので、単一のカラー映像に比べて広範囲なダイナミックレンジを有する映像をモニタMN1に表示できるので、術野のより一層鮮明かつ詳細が分かり易い映像を医師等のユーザに提示でき、ユーザによる医療行為を適切な支援できる。
また、第1可視プリズムおよび第2可視プリズムのそれぞれは、特定プリズムよりも観察部位側から遠くに配置される。これにより、第1可視プリズムと第2可視プリズムとの接着面付近に配置される反射膜(例えば第2反射膜FLM2)は、第1可視プリズムに入射する可視光と同一の波長帯域を有する可視光を反射させるための特性を有するように構成すればよいので、例えば可視光と波長帯域が異なるIR光を反射させるための特性を持たせる場合に比べて、反射膜の製造精度を向上できる。
(実施の形態2)
実施の形態1では、3つのプリズムが接着された分光プリズム13を搭載した3板式カメラについて説明した。実施の形態2では、4つのプリズムが接着された分光プリズム14を搭載した4板式カメラの例について説明する。
[第7構成例]
第7構成例では、2つの撮像素子151,152のそれぞれに入射する第1可視光V1の光量と第2可視光V2の光量とが異なり、かつ、IR光、UV光をそれぞれ撮像する場合を想定する。
図15は、第7構成例に係る4板式カメラ1Eの内部構成例を示すブロック図である。4板式カメラ1Eは、レンズ11と、分光プリズム14と、撮像素子151,152,153,154と、映像信号処理部17Eとを含む構成である。映像信号処理部17Eは、カメラ信号処理部191,192,193,194と、長短露光合成・広ダイナミックレンジ処理部21と、可視・IR・UV合成処理部23Eとを有する。図15の説明において、図1の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。なお、以下の実施の形態2に係る4板式カメラが可視光を少なくとも2チャンネル分撮像可能である構成(具体的には、第7構成例、第9構成例、第10構成例、第11構成例)の説明において、長短露光合成・広ダイナミックレンジ処理部21等は、第1構成例で説明した広いダイナミックレンジを有するカラー映像を有するための処理を行うだけでなく、第2構成例での画素ずらし合成・高解像度化処理部25が行う高解像度化(上述参照)の処理を併せて実行可能であってもよい。また、以下の実施の形態2に係る4板式カメラが可視光を少なくとも2チャンネル分撮像可能である構成(上述参照)の説明において、長短露光合成・広ダイナミックレンジ処理部21等の代わりに、画素ずらし合成・高解像度化処理部25に置き換えても構わない。
実施の形態2に係る4板式カメラ(図15,図18参照)は、例えば手術あるいは検査時に、患者等の被検体内の観察部位(例えば患部)に予め投与された蛍光試薬(例えばインドシアニングリーン。以下「ICG」と略記する。)に所定の波長帯(例えば760~800nm)の励起光を照射し、その励起光に基づいて長波長側(例えば820~860nm)に蛍光発光した観察部位を撮像する医療観察システムで使用される。4板式カメラにより撮像された画像(例えば観察部位の映像)は、モニタMN1により表示され(図13参照)、医師等のユーザによる医療行為の実行を支援する。分光プリズム14は、例えば上述した医療観察システムで使用される例を説明するが、使用は医療用途に限定されず工業用途でもよい。
光学部品の一例としての分光プリズム14は、観察部位からの光L2を入射し、第1可視光V1と第2可視光V2とIR光N1とUV光U1とに分光する。分光プリズム14は、第1プリズム41(例えばIRプリズム)と、第2プリズム42(例えばUVプリズム)と、第3プリズム43(例えば可視プリズム)と、第4プリズム44(例えば可視プリズム)とが順に接着された構成である(図19参照)。第1可視光V1は、第3プリズム43(例えば可視プリズム)に対向するように配置された撮像素子151に入射する。第2可視光V2は、第4プリズム44(例えば可視プリズム)に対向するように配置された撮像素子152に入射する。IR光N1は、第1プリズム41(例えばIRプリズム)に対向するように配置された撮像素子153に入射する。UV光U1は、第2プリズム42(例えばUVプリズム)に対向するように配置された撮像素子154に入射する。分光プリズム14の詳細な構造例については、図20を参照して後述する。
可視イメージセンサの一例としての撮像素子151は、例えば可視光の撮像に適した複数の画素が配列されたCCDまたはCMOSと、電子シャッタによる露光制御回路(図示略)とを含む。撮像素子151は、第3プリズム43(例えば可視プリズム)と対向するように配置される(図20参照)。撮像素子151は、カメラ信号処理部191からの露光制御信号CSH1に基づいて露光制御回路により定められる第1露光時間にわたって入射した第1可視光V1に基づいて撮像する。撮像素子151は、撮像により観察部位の映像信号V1Vを生成して映像信号処理部17Eに出力する。
第2特定イメージセンサの一例としての撮像素子152は、例えば可視光の撮像に適した複数の画素が配列されたCCDまたはCMOSと、電子シャッタによる露光制御回路(図示略)とを含む。撮像素子152は、第4プリズム44(例えば可視プリズム)と対向するように配置される(図20参照)。撮像素子152は、カメラ信号処理部192からの露光制御信号CSH2に基づいて露光制御回路により定められる第2露光時間にわたって入射した第2可視光V2に基づいて撮像する。撮像素子152は、撮像により観察部位の映像信号V2Vを生成して映像信号処理部17Eに出力する。
IRイメージセンサの一例としての撮像素子153は、例えばIR光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子153は、第1プリズム41(例えばIRプリズム)と対向するように配置される(図20参照)。撮像素子153は、入射したIR光N1に基づいて撮像する。撮像素子153は、撮像により観察部位の映像信号N1Vを生成して映像信号処理部17Eに出力する。
第1特定イメージセンサの一例としての撮像素子154は、例えばUV光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子154は、第2プリズム42(例えばUVプリズム)と対向するように配置される(図20参照)。撮像素子154は、入射したUV光U2に基づいて撮像する。撮像素子154は、撮像により観察部位の映像信号U2Vを生成して映像信号処理部17Eに出力する。
映像信号処理部17Eは、例えばDSPあるいはFPGA等のプロセッサにより構成される。カメラ信号処理部191~194、長短露光合成・広ダイナミックレンジ処理部21および可視・IR・UV合成処理部23Eのそれぞれは、前述したプロセッサにより実行される。
カメラ信号処理部191は、撮像素子151からの映像信号V1Vを用いて各種のカメラ信号処理を施して観察部位の第1可視映像信号V1VDを生成し、長短露光合成・広ダイナミックレンジ処理部21に出力する。また、カメラ信号処理部191は、撮像素子151の第1露光時間を定めるための露光制御信号CSH1を生成して撮像素子151に出力する。撮像素子151は、この露光制御信号CSH1に基づいて第1可視光V1の第1露光時間を制御する。
カメラ信号処理部192は、撮像素子152からの映像信号V2Vを用いて各種のカメラ信号処理を施して観察部位の第2可視映像信号V2VDを生成し、長短露光合成・広ダイナミックレンジ処理部21に出力する。ここで、第7構成例では、撮像素子151に入射する第1可視光V1の光量と撮像素子152に入射する第2可視光V2の光量とは異なる。したがって、カメラ信号処理部191からの第1可視映像信号V1VDとカメラ信号処理部192からの第2可視映像信号V2VDとは明るさ(感度)が異なる。また、カメラ信号処理部192は、撮像素子152の第2露光時間を定めるための露光制御信号CSH2を生成して撮像素子152に出力する。撮像素子152は、この露光制御信号CSH2に基づいて第2可視光V2の第2露光時間を制御する。なお、第1露光時間と第2露光時間とは同一でもよいし、異なってもよい。
カメラ信号処理部193は、撮像素子153からの映像信号N1Vを用いて各種のカメラ信号処理を施して観察部位のIR映像信号N1VDを生成し、可視・IR合成処理部23に出力する。
カメラ信号処理部194は、撮像素子154からの映像信号U2Vを用いて各種のカメラ信号処理を施して観察部位のUV映像信号U2VDを生成し、可視・IR合成処理部23に出力する。
可視・IR・UV合成処理部23Eは、長短露光合成・広ダイナミックレンジ処理部21からの広ダイナミックレンジ映像信号VVDEとカメラ信号処理部193からのIR映像信号N1VDとカメラ信号処理部194からのUV映像信号U2VDとを入力して重ね合わせることで合成し、可視・IR・UV合成映像信号IMVVDEを生成する。可視・IR・UV合成処理部23Eは、可視・IR・UV合成映像信号IMVVDEを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
[第8構成例]
第8構成例では、近赤外(IR)光の波長帯域のうち異なる2つの波長帯域をそれぞれに撮像可能な撮像素子を2チャンネル(例えば図16に示す撮像素子153,154)を用いて撮像し、かつ、可視光、UV光をそれぞれ撮像する場合を想定する。
図16は、第8構成例に係る4板式カメラ1Fの内部構成例を示すブロック図である。4板式カメラ1Fは、レンズ11と、分光プリズム14と、撮像素子151,152,153,154と、映像信号処理部17Fとを含む構成である。映像信号処理部17Fは、カメラ信号処理部191,192F,193,194と、可視・IR・UV合成処理部23Fとを有する。図16の説明において、図15の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
実施の形態2に係る4板式カメラ(図16,図17参照)は、例えば手術あるいは検査時に、患者等の被検体内の観察部位(例えば患部)に予め投与された複数種類の蛍光試薬(例えばICG)に所定の波長帯の励起光を照射し、その励起光に基づいて長波長側(例えば700~800nmおよび800~900nm)にそれぞれ蛍光発光した観察部位を撮像する医療観察システムで使用される。4板式カメラ1Fにより撮像された画像(例えば観察部位の映像)は、モニタMN1により表示され(図14参照)、医師等のユーザによる医療行為の実行を支援する。
光学部品の一例としての分光プリズム14は、観察部位からの光L2を入射し、可視光V3とUV光U2と第1IR光N2と第2IR光N3とに分光する。分光プリズム14は、第1プリズム41(例えばIRプリズム)と、第2プリズム42(例えばIRプリズム)と、第3プリズム43(例えばUVプリズム)と、第4プリズム44(例えば可視プリズム)とが順に接着された構成である(図20参照)。可視光V3は、第4プリズム44(例えば可視プリズム)に対向するように配置された撮像素子152に入射する。UV光U2は、第3プリズム43(例えばUVプリズム)に対向するように配置された撮像素子151に入射する。第1IR光N2は、第1プリズム41(例えばIRプリズム)に対向するように配置された撮像素子153に入射する。第2IR光N3は、第2プリズム42(例えばIRプリズム)に対向するように配置された撮像素子154に入射する。分光プリズム14の詳細な構造例については、図20を参照して後述する。
第2特定イメージセンサの一例としての撮像素子151は、例えばUV光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子151は、第3プリズム43と対向するように配置される(図20参照)。撮像素子151は、撮像により観察部位の映像信号U2Vを生成して映像信号処理部17Fに出力する。
映像信号処理部17Fは、例えばDSPあるいはFPGA等のプロセッサにより構成される。カメラ信号処理部191F,192~194および可視・IR・UV合成処理部23Fのそれぞれは、前述したプロセッサにより実行される。
カメラ信号処理部191Fは、撮像素子151からの映像信号U2Vを用いて各種のカメラ信号処理を施して観察部位のUV映像信号U2VDを生成し、可視・IR・UV合成処理部23Fに出力する。
可視・IR・UV合成処理部23Fは、カメラ信号処理部191FからのUV映像信号U2VDとカメラ信号処理部192からの可視映像信号V3VDとカメラ信号処理部193からの第1IR映像信号N2VDとカメラ信号処理部194からの第2IR映像信号N3VDとを入力して重ね合わせることで合成し、可視・IR・UV合成映像信号IMVVDFを生成する。可視・IR・UV合成処理部23Fは、可視・IR・UV合成映像信号IMVVDFを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
[第9構成例]
第9構成例では、2つの撮像素子151,152のそれぞれに入射する第1可視光V1の光量と第2可視光V2の光量とが異なり、かつ、近赤外(IR)光の波長帯域のうち異なる2つの波長帯域をそれぞれに撮像可能な撮像素子を2チャンネル(例えば図16に示す撮像素子153,154)を用いて撮像する場合を想定する。
図17は、第9構成例に係る4板式カメラ1Gの内部構成例を示すブロック図である。4板式カメラ1Gは、レンズ11と、分光プリズム14と、撮像素子151,152,153,154と、映像信号処理部17Gとを含む構成である。映像信号処理部17Gは、カメラ信号処理部191,192,193,194Gと、可視・IR合成処理部23Gとを有する。図17の説明において、図15あるいは図16の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
光学部品の一例としての分光プリズム14は、観察部位からの光L2を入射し、第1可視光V1と第2可視光V2と第1IR光N2と第2IR光N3とに分光する。分光プリズム14は、第1プリズム41(例えばIRプリズム)と、第2プリズム42(例えばIRプリズム)と、第3プリズム43(例えば可視プリズム)と、第4プリズム44(例えば可視プリズム)とが順に接着された構成である(図20参照)。第1可視光V1は、第3プリズム43に対向するように配置された撮像素子151に入射する。第2可視光V2は、第4プリズム44に対向するように配置された撮像素子152に入射する。第1IR光N2は、第1プリズム41に対向するように配置された撮像素子153に入射する。第2IR光N3は、第2プリズム42に対向するように配置された撮像素子154に入射する。分光プリズム14の詳細な構造例については、図20を参照して後述する。
第1特定イメージセンサの一例としての撮像素子154は、例えばIR光の撮像に適した複数の画素が配列されたCCDまたはCMOSを含む。撮像素子154は、第2プリズム42と対向するように配置される(図20参照)。撮像素子154は、入射した第2IR光N3に基づいて撮像する。撮像素子154は、撮像により観察部位の映像信号N3Vを生成して映像信号処理部17Gに出力する。
映像信号処理部17Gは、例えばDSPあるいはFPGA等のプロセッサにより構成される。カメラ信号処理部191~193,194Gおよび可視・IR合成処理部23Gのそれぞれは、前述したプロセッサにより実行される。
カメラ信号処理部194Gは、撮像素子154からの映像信号N3Vを用いて各種のカメラ信号処理を施して観察部位の第2IR映像信号N3VDを生成し、可視・IR合成処理部23Gに出力する。
可視・IR合成処理部23Gは、カメラ信号処理部191からの第1可視映像信号V1VDとカメラ信号処理部192からの第2可視映像信号V2VDとカメラ信号処理部193からの第1IR映像信号N2VDとカメラ信号処理部194Gからの第2IR映像信号N3VDとを入力して重ね合わせることで合成し、可視・IR合成映像信号IMVVDGを生成する。可視・IR合成処理部23Gは、可視・IR合成映像信号IMVVDGを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
[第10構成例]
第10構成例では、可視光の波長帯域を撮像可能な撮像素子を3チャンネル(例えば図18に示す撮像素子151,152,153)を用いて撮像し、それぞれの撮像素子に入射する可視光の光量が異なる場合を想定する。したがって、観察部位あるいはその周辺の高いダイナミックレンジを有するカラー映像によって術野等の周辺部分の状態を詳細に判別可能な映像信号を生成可能となる。
図18は、第10構成例に係る4板式カメラ1Hの内部構成例を示すブロック図である。4板式カメラ1Hは、レンズ11と、分光プリズム14と、撮像素子151,152,153,154と、映像信号処理部17Hとを含む構成である。映像信号処理部17Hは、カメラ信号処理部191,192,193,194Hと、可視・IR合成処理部23Hとを有する。図18の説明において、図15~図17の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
光学部品の一例としての分光プリズム14は、観察部位からの光L2を入射し、第1可視光V1と第2可視光V2と第3可視光V4とIR光N1とに分光する。分光プリズム14は、第1プリズム41(例えばIRプリズム)と、第2プリズム42(例えば可視プリズム)と、第3プリズム43(例えば可視プリズム)と、第4プリズム44(例えば可視プリズム)とが順に接着された構成である(図20参照)。第1可視光V1は、第3プリズム43に対向するように配置された撮像素子151に入射する。第2可視光V2は、第4プリズム44に対向するように配置された撮像素子152に入射する。IR光N1は、第1プリズム41に対向するように配置された撮像素子153に入射する。第3可視光V4は、第2プリズム42に対向するように配置された撮像素子154に入射する。分光プリズム14の詳細な構造例については、図20を参照して後述する。
第2特定イメージセンサの一例としての撮像素子154は、例えば可視光の撮像に適した複数の画素が配列されたCCDまたはCMOSと、電子シャッタによる露光制御回路(図示略)とを含む。撮像素子154は、第2プリズム42と対向するように配置される(図20参照)。撮像素子154は、カメラ信号処理部192からの露光制御信号CSH3に基づいて露光制御回路により定められる第3露光時間にわたって入射した第3可視光V4に基づいて撮像する。撮像素子154は、撮像により観察部位の映像信号V4Vを生成して映像信号処理部17Hに出力する。
カメラ信号処理部194Hは、撮像素子154からの映像信号V4Vを用いて各種のカメラ信号処理を施して観察部位の第3可視映像信号V4VDを生成し、長短露光合成・広ダイナミックレンジ処理部21Hに出力する。また、カメラ信号処理部194Hは、撮像素子154の第3露光時間を定めるための露光制御信号CSH3を生成して撮像素子154に出力する。撮像素子154は、この露光制御信号CSH3に基づいて第3可視光V4の第3露光時間を制御する。
長短露光合成・広ダイナミックレンジ処理部21Hは、明るさ(感度)の異なる3つの映像信号(具体的には、カメラ信号処理部191からの第1可視映像信号V1VDとカメラ信号処理部192からの第2可視映像信号V2VDとカメラ信号処理部194Hからの第3可視映像信号V4VD)を入力して重ね合わせることで合成し、広ダイナミックレンジ映像信号VVDHを生成する。つまり、長短露光合成・広ダイナミックレンジ処理部21Hは、明るさ(感度)が異なる第1可視映像信号V1VD、第2可視映像信号V2VDおよび第3可視映像信号V4VDを合成することで、第1可視映像信号V1VD、第2可視映像信号V2VDあるいは第3可視映像信号V4VDよりもダイナミックレンジが広がった広ダイナミックレンジ映像信号VVDHを生成できる。長短露光合成・広ダイナミックレンジ処理部21Hは、広ダイナミックレンジ映像信号VVDHを可視・IR合成処理部23Hに出力する。
可視・IR合成処理部23Hは、長短露光合成・広ダイナミックレンジ処理部21Hからの広ダイナミックレンジ映像信号VVDHとカメラ信号処理部193からのIR映像信号N1VDとを入力して重ね合わせることで合成し、可視・IR合成映像信号IMVVDHを生成する。可視・IR合成処理部23Hは、可視・IR合成映像信号IMVVDHを、モニタMN1に出力したり録画機器(図示略)に送信して蓄積させたりしてよい。
図19は、実施の形態2に係る4板式カメラの構成例の組み合わせ例を示すテーブルである。図19において、第7構成例は図15、第8構成例は図16、第9構成例は図17、第10構成例は図18をそれぞれ参照して説明済みである。実施の形態2に係る4板式カメラとして、第10構成例の変形例(つまり第11構成例)として、第1プリズム41に入射する光がUV光であってもよい。つまり、図18の説明において、「IR光」を「UV光」、「映像信号N1V」を「映像信号U1V」、「IR映像信号N1VD」を「UV映像信号U1VD」にそれぞれ置き換えてもよい。
図20は、実施の形態2に係る分光プリズム14の構造例を示す図である。上述したように、分光プリズム14は、第1プリズム41と第2プリズム42と第3プリズム43と第4プリズム44とが順に接着された構成である。第1プリズム41、第2プリズム42、第3プリズム43および第4プリズム44が、レンズ11により集光された光L2の光軸方向に順に組み付けられる。ここでいう光軸方向は、第1プリズム41の入射面41aに対して垂直に光L2が入射する方向である。上述した第7構成例~第11構成例において、第1プリズム41、第2プリズム42、第3プリズム43、第4プリズム44の役割(言い換えると、機能および用途)は、それぞれ同一となる場合もあれば異なる場合もある。
先ず、第1プリズム41がIRプリズムであると例示する(第7~第10構成例参照)。但し、第1プリズム41はIRプリズムであることに限定されず、可視プリズムあるいはUVプリズム(第11構成例参照)でもよい。
IRプリズムは、光L2が入射する入射面41aと、光L2のうちIR光を反射させる第1反射膜FLM3(例えばダイクロイックミラー)が形成される反射面41bと、IR光が出射する出射面41cとを有する。第1反射膜FLM3は、蒸着等により反射面41bに形成され、光L2のうちIR光(例えば800nm以上の波長帯のIR光)を反射させるとともに、光L2のうちIR光でない光(例えば300~400nmのUV光、あるいは400~800nm程度の可視光)を透過させる(図8A参照)。IR光は、反射面41bで反射した後に入射面41aで全反射し、出射面41cを介して撮像素子153に入射する。このように、IRプリズムが第1プリズム41として配置されることで、観察部位からの光L2のうちIR成分の光が分光プリズム14の最も対物側(つまり観察部位側)で撮像されるので、分光プリズム14の後段側(つまり基端側)で撮像される場合に比べて反射等による光量の減衰が生じず、蛍光試薬の蛍光発光に基づく患部の状態がより鮮明に判別可能となり易くなる。
次に、第2プリズム42がUVプリズムであると例示する(第7構成例参照)。但し、第2プリズム42はUVプリズムであることに限定されず、IRプリズム(第8,第9構成例参照)あるいは可視プリズム(第10,第11構成例参照)でもよい。
UVプリズムは、第1反射膜FLM3を透過した光が入射する入射面42aと、その透過した光のうち300~400nmの波長帯域を有するUV光を反射させる第2反射膜FLM4(例えばビームスプリッタ)が形成される反射面42bと、その他の波長帯域(例えば400~800nm)を有する可視光が出射する出射面42cとを有する。第2反射膜FLM4は、蒸着等により反射面42bに形成され、入射面42aに入射した光のうちUV光を反射させ、残りの可視光を透過させる(図8C参照)。UV光は、反射面42bで反射した後に入射面42aで全反射し、出射面42cを介して撮像素子154に入射する。
次に、第3プリズム43が可視プリズムであると例示する(第7,第9,第10,第11構成例参照)。但し、第3プリズム43は可視プリズムであることに限定されず、IRプリズムあるいはUVプリズム(第8構成例参照)でもよい。
可視プリズムは、第2反射膜FLM4を透過した光が入射する入射面43aと、その透過した光の一部の光量を反射させる第3反射膜FLM5(例えばビームスプリッタ)が形成される反射面43bと、その一部の光量の反射した可視光が出射する出射面43cとを有する。第3反射膜FLM5は、蒸着等により反射面43bに形成され、入射面43aに入射した可視光の一部(例えば入射面43aに入射した光の20%前後)の光量を有する可視光を反射させ、残りの(例えば入射面43aに入射した光の80%前後)の光量を有する可視光を透過させる(図8B参照)。この一部の可視光は、反射面43bで反射した後に入射面43aで全反射し、出射面43cを介して撮像素子151に入射する。なお、第3反射膜FLM5が反射する可視光の割合は20%に限定されず、例えば1%~30%程度の範囲でもよい。
次に、第4プリズム44が可視プリズムであると例示する(第7~第11構成例参照)。但し、第4プリズム44は可視プリズムであることに限定されず、IRプリズムあるいはUVプリズムでもよい。
可視プリズムは、第3反射膜FLM5を透過した光(例えば可視光)が入射する入射面44aと、その透過した光が出射する出射面44cとを有する。可視光は、出射面44cを介して撮像素子152に入射する。
以上により、実施の形態2に係る4板式カメラは、観察部位からの光のうち入射したIR光をIRイメージセンサに受光させるIRプリズムと、観察部位からの光のうち入射した可視光を可視イメージセンサに受光させる可視プリズムと、観察部位からの光のうち入射した第1特定波長帯光を第1特定イメージセンサに受光させる第1特定プリズムと、観察部位からの光のうち入射した第2特定波長帯光を第2特定イメージセンサに受光させる第2特定プリズムと、を有する。4板式カメラは、IRイメージセンサ、可視イメージセンサ、第1特定イメージセンサおよび第2特定イメージセンサのそれぞれの撮像出力に基づいて、観察部位のIR映像信号、可視映像信号、第1特定映像信号、第2特定映像信号を生成し、IR映像信号と、可視映像信号と、第1特定映像信号と、第2特定映像信号とを合成してモニタMN1に出力する映像信号処理部と、を有する。
これにより、4板式カメラは、例えば手術あるいは検査時に予め患者等の被検体内に蛍光試薬(例えばICG)が投与された観察部位(例えば患部)からの光のうち特定波長帯域(例えば800nm以上)、つまり蛍光試薬の蛍光領域に特化したIR光を分光プリズム13により分離(分光)することができる。したがって、4板式カメラは、蛍光試薬が投与された観察部位のより鮮明な蛍光画像と可視光によるカラー映像とをそれぞれ生成して出力できるので、医師等による患部の容易な把握を支援できる。
また、第1特定波長帯光は、IR光と異なる近赤外波長帯を有する第2IR光N3である。第2特定波長帯光は、可視光V3より短い波長帯を有するUV光U2である。映像信号処理部17Fは、IR映像信号(例えば第1IR映像信号N2VD)と、可視映像信号V3VDと、第2IR光N3に基づく第2IR映像信号N3VDと、UV光U2に基づくUV映像信号U2VDとを合成する。これにより、4板式カメラ(例えば4板式カメラ1F)は、撮像対象となる波長帯域が異なる複数のIR光の撮像に基づく第1IR映像信号N2VD,第2IR映像信号N3VDを重ね合わせるので、術野のカラー映像およびUV光の撮像により得られる患部の状態を示せるUV映像信号とともに、蛍光試薬の反応(発光)によって患部のより的確な状態を示せるIR映像信号とをモニタMN1に表示でき、医師等のユーザよる医療行為を適切な支援できる。
また、第1特定波長帯光は、可視光と同一の波長帯を有する第2可視光V2である。第2特定波長帯光は、可視光(例えば第1可視光V1)より短い波長帯を有するUV光U2である。映像信号処理部17Eは、可視映像信号(例えば第1可視映像信号V1VD)と第2可視光V2に基づく第2可視映像信号V2VDとを合成して広ダイナミックレンジ映像信号VVDEを生成し、広ダイナミックレンジ映像信号VVDEと、IR映像信号N1VDと、UV光U2に基づくUV映像信号U2VDとを合成する。これにより、4板式カメラ(例えば4板式カメラ1E)は、4チャンネルのイメージセンサにおいて撮像される波長帯域がいずれも異なる複数の光の撮像に基づくUV映像信号U1VD,第1可視映像信号V1VD,第2可視映像信号V2VD,IR映像信号N1VDを重ね合わせるので、術野の広いダイナミックレンジを有するカラー映像および蛍光試薬の反応(発光)に基づく患部の状態を示せるIR映像信号だけでなく、UV光の撮像により得られる患部の状態を示せるUV映像信号をモニタMN1に表示できるので、医師等のユーザよる医療行為を適切な支援できる。
また、第1特定波長帯光は、可視光(例えば第1可視光V1)と同一の波長帯を有する第2可視光V2である。第2特定波長帯光は、IR光(例えば第1IR光N2)と異なる近赤外波長帯を有する第2IR光N3である。映像信号処理部17Gは、可視映像信号(例えば第1可視映像信号V1VD)と第2可視光V2に基づく第2可視映像信号V2VDとを合成して広ダイナミックレンジ映像信号VVDDを生成し、広ダイナミックレンジ映像信号VVDDと、IR映像信号(例えば第1IR映像信号N2VD)と、第2IR光N3に基づく第2IR映像信号N3VDとを合成する。これにより、4板式カメラ(例えば4板式カメラ1G)は、撮像対象となる波長帯域が異なる複数のIR光の撮像に基づく第1IR映像信号N2VD,第2IR映像信号N3VDを重ね合わせ、さらに、第1可視映像信号V1VDおよび第2可視映像信号V2VDを重ね合わせて広いダイナミックレンジを有するカラー映像を生成できるので、術野の広いダイナミックレンジを有するカラー映像と、蛍光試薬の反応(発光)によって患部のより的確な状態を示せるIR映像信号とをモニタMN1に表示でき、医師等のユーザよる医療行為を適切な支援できる。
また、実施の形態2に係る4板式カメラは、観察部位からの光のうち入射した第1可視光を第1可視イメージセンサに受光させる第1可視プリズムと、観察部位からの光のうち入射した第2可視光を第2可視イメージセンサに受光させる第2可視プリズムと、観察部位からの光のうち入射した第1特定波長帯光を第1特定イメージセンサに受光させる第1特定プリズムと、観察部位からの光のうち入射した第2特定波長帯光を第2特定イメージセンサに受光させる第2特定プリズムと、を有する。4板式カメラは、第1可視イメージセンサ、第2可視イメージセンサ、第1特定イメージセンサおよび第2特定イメージセンサのそれぞれの撮像出力に基づいて、観察部位の第1可視映像信号、第2可視映像信号、第1特定映像信号、第2特定映像信号を生成し、第1可視映像信号と、第2可視映像信号と、第1特定映像信号と、第2特定映像信号とを合成してモニタMN1に出力する映像信号処理部と、を有する。
これにより、4板式カメラは、例えば手術あるいは検査時に、光量(明るさ)が異なる複数の可視光を重ね合わせることで、単一のカラー映像よりも広いダイナミックレンジを有する広ダイナミックレンジ映像信号VVDDをモニタMN1に表示できるだけでなく、もう2チャンネル分の撮像光に基づく撮像映像を表示できる。したがって、4板式カメラは、術野を暗く映したり明るく映したりして術野の鮮明な状況を判明可能な映像を医師等のユーザに提示でき、ユーザによる医療行為を適切な支援できる。
また、第1特定波長帯光は、第1可視光V1と同一の波長帯を有する第3可視光V4である。第2特定波長帯光は、第1可視光V1より長い波長帯を有するIR光N1である。映像信号処理部17Hは、第1可視映像信号V1VDと第2可視映像信号V2VDと第3可視光V4に基づく第3可視映像信号V4VDとを合成して広ダイナミックレンジ映像信号VVDHを生成し、広ダイナミックレンジ映像信号VVDHと、IR光N1に基づくIR映像信号N1VDとを合成する。これにより、4板式カメラは、光量の異なる3チャンネル分の可視映像信号を重ね合わせるので、単一のカラー映像に比べて広範囲なダイナミックレンジを有する映像をモニタMN1に表示できるので、術野のより一層鮮明かつ詳細が分かり易い映像を医師等のユーザに提示でき、ユーザによる医療行為を適切な支援できる。
また、第1可視プリズムおよび第2可視プリズムのそれぞれは、第1特定プリズムおよび第2特定プリズムよりも観察部位側から遠くに配置される。これにより、第1可視プリズムと第2可視プリズムとの接着面付近に配置される反射膜(例えば第3反射膜FLM5)は、第1可視プリズムに入射する可視光と同一の波長帯域を有する可視光を反射させるための特性を有するように構成すればよいので、例えば可視光と波長帯域が異なるIR光を反射させるための特性を持たせる場合に比べて、反射膜の製造精度を向上できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
本開示は、蛍光試薬が投与された観察部位のより鮮明な蛍光画像を生成して出力し、医師等による患部の容易な把握を支援する3板式カメラおよび4板式カメラとして有用である。
1、1A、1B、1C、1D 3板式カメラ
1E、1F、1G、1H 4板式カメラ
11 レンズ
13、14 分光プリズム
17、17A、17B、17C、17D、17E、17F、17G、17H 映像信号処理部
21、21D 長短露光合成・広ダイナミックレンジ処理部
23、23A、23B 可視・IR合成処理部
23F 可視・IR・UV合成処理部
25 画素ずらし合成・高解像度化処理部
31、41 第1プリズム
41a、42a、43a、44a 入射面
41b、42b、43b 反射面
41c、42c、43c、44c 出射面
32、42 第2プリズム
33、43 第3プリズム
44 第4プリズム
151、151B、151C、152、152B、153、153B、153D、154 撮像素子
191、191B、191C、192、192B、192F、193、193B、193D、194、194G カメラ信号処理部
FLM1、FLM3 第1反射膜
FLM2、FLM4 第2反射膜
FLM5 第3反射膜

Claims (6)

  1. 観察部位からの光のうち入射したIR光をIRイメージセンサに受光させるIRプリズムと、
    前記観察部位からの光のうち入射した可視光を可視イメージセンサに受光させる可視プリズムと、
    前記観察部位からの光のうち入射した前記可視光と同一波長帯を有する第2可視光を特定イメージセンサに受光させる特定プリズムと、
    露光制御信号によって、前記可視イメージセンサおよび前記特定イメージセンサのそれぞれの露光時間を同一または異なるように制御するカメラ信号処理部と、
    前記IRイメージセンサ、前記可視イメージセンサおよび前記特定イメージセンサのそれぞれの撮像出力に基づいて、前記観察部位のIR映像信号、第1可視映像信号、第2可視映像信号を生成し、前記観察部位の前記第1可視映像信号および前記第2可視映像信号から広ダイナミックレンジ映像信号だけでなく高解像度映像信号も生成可能であり、生成された前記広ダイナミックレンジ映像信号または前記高解像度映像信号のいずれか一方と前記IR映像信号とを合成してモニタに出力する映像信号処理部と、を備える、
    3板式カメラ。
  2. 前記可視プリズムに前記特定プリズムよりも多くの前記可視光が入射されるように前記可視光を分光する分光プリズム、を更に備え、
    前記可視イメージセンサの露光時間が前記特定イメージセンサの露光時間と同一、もしくは前記可視イメージセンサの露光時間が前記特定イメージセンサの露光時間よりも長い場合、前記映像信号処理部は、前記第1可視映像信号と前記第2可視映像信号とを合成した前記広ダイナミックレンジ映像信号を生成し、
    前記可視イメージセンサの露光時間が前記特定イメージセンサの露光時間よりも短い場合、前記映像信号処理部は、前記第1可視映像信号と前記第2可視映像信号とを合成した前記高解像度映像信号を生成する、
    請求項1に記載の3板式カメラ。
  3. 前記可視プリズムに前記特定プリズムと同量の前記可視光が入射されるように前記可視光を分光する分光プリズム、を更に備え、
    前記可視イメージセンサの露光時間が前記特定イメージセンサの露光時間と同一の場合、前記映像信号処理部は、前記第1可視映像信号と前記第2可視映像信号とを合成した前記高解像度映像信号を生成し、
    前記可視イメージセンサの露光時間が前記特定イメージセンサの露光時間よりも長いもしくは短い場合、前記映像信号処理部は、前記第1可視映像信号と前記第2可視映像信号とを合成した前記広ダイナミックレンジ映像信号を生成する、
    請求項1に記載の3板式カメラ。
  4. 観察部位からの光のうち入射したIR光をIRイメージセンサに受光させるIRプリズムと、
    前記観察部位からの光のうち入射した可視光を可視イメージセンサに受光させる可視プリズムと、
    前記観察部位からの光のうち入射した前記可視光と同一波長帯を有する第2可視光を第1特定イメージセンサに受光させる第1特定プリズムと、
    前記観察部位からの光のうち入射した前記IR光と異なる近赤外波長帯を有する第2IR光または前記可視光より短い波長帯を有するUV光のうちいずれか一方を第2特定イメージセンサに受光させる第2特定プリズムと、
    露光制御信号によって、前記可視イメージセンサおよび前記第1特定イメージセンサのそれぞれの露光時間を同一または異なるように制御するカメラ信号処理部と、
    前記IRイメージセンサ、前記可視イメージセンサ、前記第1特定イメージセンサおよび前記第2特定イメージセンサのそれぞれの撮像出力に基づいて、前記観察部位のIR映像信号、第1可視映像信号、第2可視映像信号、特定映像信号を生成し、前記観察部位の前記第1可視映像信号および前記第2可視映像信号から広ダイナミックレンジ映像信号だけでなく高解像度映像信号も生成可能であり、生成された前記広ダイナミックレンジ映像信号または前記高解像度映像信号のいずれか一方と前記IR映像信号と前記特定映像信号とを合成してモニタに出力する映像信号処理部と、を備える、
    4板式カメラ。
  5. 前記可視プリズムに前記第1特定プリズムよりも多くの前記可視光が入射されるように前記可視光を分光する分光プリズム、を更に備え、
    前記可視イメージセンサの露光時間が前記第1特定イメージセンサの露光時間と同一、もしくは前記可視イメージセンサの露光時間が前記第1特定イメージセンサの露光時間よりも長い場合、前記映像信号処理部は、前記第1可視映像信号と前記第2可視映像信号とを合成した前記広ダイナミックレンジ映像信号を生成し、
    前記可視イメージセンサの露光時間が前記第1特定イメージセンサの露光時間よりも短い場合、前記映像信号処理部は、前記第1可視映像信号と前記第2可視映像信号とを合成した前記高解像度映像信号を生成する、
    請求項に記載の4板式カメラ。
  6. 前記可視プリズムに前記第1特定プリズムと同量の前記可視光が入射されるように前記可視光を分光する分光プリズム、を更に備え、
    前記可視イメージセンサの露光時間が前記第1特定イメージセンサの露光時間と同一の場合、前記映像信号処理部は、前記第1可視映像信号と前記第2可視映像信号とを合成した前記高解像度映像信号を生成し、
    前記可視イメージセンサの露光時間が前記第1特定イメージセンサの露光時間よりも長いもしくは短い場合、前記映像信号処理部は、前記第1可視映像信号と前記第2可視映像信号とを合成した前記広ダイナミックレンジ映像信号を生成する、
    請求項に記載の4板式カメラ。
JP2020074282A 2020-04-17 2020-04-17 3板式カメラおよび4板式カメラ Active JP7287676B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020074282A JP7287676B2 (ja) 2020-04-17 2020-04-17 3板式カメラおよび4板式カメラ
DE102021108929.8A DE102021108929A1 (de) 2020-04-17 2021-04-09 Drei-Chip-Kamera und Vier-Chip-Kamera
US17/232,779 US11736784B2 (en) 2020-04-17 2021-04-16 Three-plate camera and four-plate camera
JP2023081890A JP2023101573A (ja) 2020-04-17 2023-05-17 3板式カメラおよび4板式カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020074282A JP7287676B2 (ja) 2020-04-17 2020-04-17 3板式カメラおよび4板式カメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023081890A Division JP2023101573A (ja) 2020-04-17 2023-05-17 3板式カメラおよび4板式カメラ

Publications (3)

Publication Number Publication Date
JP2021175000A JP2021175000A (ja) 2021-11-01
JP2021175000A5 JP2021175000A5 (ja) 2021-12-16
JP7287676B2 true JP7287676B2 (ja) 2023-06-06

Family

ID=77920101

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020074282A Active JP7287676B2 (ja) 2020-04-17 2020-04-17 3板式カメラおよび4板式カメラ
JP2023081890A Pending JP2023101573A (ja) 2020-04-17 2023-05-17 3板式カメラおよび4板式カメラ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023081890A Pending JP2023101573A (ja) 2020-04-17 2023-05-17 3板式カメラおよび4板式カメラ

Country Status (3)

Country Link
US (1) US11736784B2 (ja)
JP (2) JP7287676B2 (ja)
DE (1) DE102021108929A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023099967A (ja) * 2022-01-04 2023-07-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176940A (ja) 2003-12-16 2005-07-07 Olympus Corp 電子内視鏡
JP2009290694A (ja) 2008-05-30 2009-12-10 Fujifilm Corp 撮像装置
JP2013183353A (ja) 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
JP2016214507A (ja) 2015-05-19 2016-12-22 株式会社島津製作所 イメージング装置
JP2018027272A (ja) 2016-08-19 2018-02-22 ソニー株式会社 撮像システム
JP2018175762A (ja) 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI108693B (fi) * 2000-06-12 2002-02-28 Ekspansio Engineering Ltd Oy Valoilmaisinryhmän asemoitu kiinnitys värijakoprismaan
US20040130649A1 (en) * 2003-01-03 2004-07-08 Chulhee Lee Cameras
US7242478B1 (en) * 2003-12-05 2007-07-10 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
JP2007334311A (ja) * 2006-05-18 2007-12-27 Nippon Hoso Kyokai <Nhk> 可視光・赤外光撮影光学系
AU2010221241A1 (en) * 2009-03-04 2011-10-27 Paul A. Wagner Temporally aligned exposure bracketing for high dynamic range imaging
US10349037B2 (en) * 2014-04-03 2019-07-09 Ams Sensors Singapore Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
JP2016075825A (ja) 2014-10-07 2016-05-12 パナソニックIpマネジメント株式会社 色分解プリズム及び撮像装置
WO2018131240A1 (ja) * 2017-01-16 2018-07-19 ソニー株式会社 分岐光学系、撮像装置、及び撮像システム
WO2018193465A1 (en) * 2017-04-20 2018-10-25 Irillic Pvt Ltd System for extending dynamic range and contrast of a video under fluorescence imaging
US11113802B1 (en) * 2019-09-09 2021-09-07 Apple Inc. Progressive image fusion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176940A (ja) 2003-12-16 2005-07-07 Olympus Corp 電子内視鏡
JP2009290694A (ja) 2008-05-30 2009-12-10 Fujifilm Corp 撮像装置
JP2013183353A (ja) 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
JP2016214507A (ja) 2015-05-19 2016-12-22 株式会社島津製作所 イメージング装置
JP2018027272A (ja) 2016-08-19 2018-02-22 ソニー株式会社 撮像システム
JP2018175762A (ja) 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置

Also Published As

Publication number Publication date
DE102021108929A1 (de) 2021-10-21
US11736784B2 (en) 2023-08-22
JP2023101573A (ja) 2023-07-21
US20210329153A1 (en) 2021-10-21
JP2021175000A (ja) 2021-11-01

Similar Documents

Publication Publication Date Title
JP5735031B2 (ja) コンパクトな蛍光内視鏡映像システム
JP6765494B1 (ja) 3板式カメラ
US9433350B2 (en) Imaging system and method for the fluorescence-optical visualization of an object
JP4444657B2 (ja) カメラ内に移動部品を有さない蛍光内視鏡ビデオシステム
JP5100457B2 (ja) 内視鏡観察システム
US20080177140A1 (en) Cameras for fluorescence and reflectance imaging
US10805512B2 (en) Dual path endoscope
JPWO2016117071A1 (ja) 撮像装置
JPH06125911A (ja) 内視鏡装置
JP2007313171A (ja) 内視鏡システム
JP2023101573A (ja) 3板式カメラおよび4板式カメラ
JP6859554B2 (ja) 観察補助装置、情報処理方法、およびプログラム
JP7477158B2 (ja) 3板式カメラ
JP4097959B2 (ja) 内視鏡撮像システム
US20180092519A1 (en) Infrared fluorescence observation device
JP7346357B2 (ja) 内視鏡システム
WO2017042980A1 (ja) 蛍光観察装置および蛍光観察内視鏡装置
JP2023075696A (ja) 3板式カメラ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230518

R150 Certificate of patent or registration of utility model

Ref document number: 7287676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150