JP7477158B2 - ３板式カメラ - Google Patents

３板式カメラ Download PDF

Info

Publication number
JP7477158B2
JP7477158B2 JP2020131042A JP2020131042A JP7477158B2 JP 7477158 B2 JP7477158 B2 JP 7477158B2 JP 2020131042 A JP2020131042 A JP 2020131042A JP 2020131042 A JP2020131042 A JP 2020131042A JP 7477158 B2 JP7477158 B2 JP 7477158B2
Authority
JP
Japan
Prior art keywords
visible light
video signal
light
visible
prism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020131042A
Other languages
English (en)
Other versions
JP2022027195A (ja
Inventor
優治 木庭
洋太 橋本
祐一 竹永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Pro Co Ltd
Original Assignee
I Pro Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I Pro Co Ltd filed Critical I Pro Co Ltd
Priority to JP2020131042A priority Critical patent/JP7477158B2/ja
Priority to US17/132,554 priority patent/US11252382B1/en
Priority to DE102021119417.2A priority patent/DE102021119417A1/de
Publication of JP2022027195A publication Critical patent/JP2022027195A/ja
Application granted granted Critical
Publication of JP7477158B2 publication Critical patent/JP7477158B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/145—Beam splitting or combining systems operating by reflection only having sequential partially reflecting surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/26—Reflecting filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Description

本開示は、３板式カメラに関する。
近年、手術あるいは検査時に、被検体内に蛍光試薬としてＩＣＧ（インドシアニングリーン）が投与され、励起光の照射等によりＩＣＧを励起させ、ＩＣＧが発する近赤外の蛍光像を被写体像とともに撮像し、観察することにより診断を行う方法が注目されている。例えば特許文献１には、入射光の青色成分の光および特定の波長領域の近赤外光の一部を反射させてその他の光を透過させる青色分解プリズムと、赤色成分の光および特定の波長領域の近赤外光の一部を反射させてその他の光を透過させる赤色分解プリズムと、赤色分解プリズムを透過した光が入射する緑色分解プリズムとを有する撮像装置が開示されている。
特開２０１６－７５８２５号公報
特許文献１の構成では、患部等からの光のうち近赤外光の一部の光量が複数の色分解プリズムのそれぞれに分担されるように入射されて撮像される。このため、例えば近赤外光の波長領域に特化した光を対応する撮像素子に受光させることはできないという課題があった。したがって、上述した手術あるいは検査時に、蛍光試薬が投与された観察部位のより鮮明な蛍光画像の出力が困難であり、医師等が患部の把握をより簡易にする点において改善の余地があった。また、青色、赤色、緑色の各光がそれぞれ特化して撮像されるので、可視光の撮像による映像の解像度の向上について改善の余地があった。
本開示は、上述した従来の事情に鑑みて案出され、蛍光試薬が投与された観察部位のより鮮明な蛍光映像の生成と観察部位のカラー映像の高解像度化とを両立し、医師等による患部の容易な把握を支援する３板式カメラを提供することを目的とする。
本開示は、観察部位からの光のうちＩＲ光を第１イメージセンサに受光させる第１プリズムと、前記観察部位からの光のうちＡ％（Ａ：既定の実数）の可視光を第２イメージセンサに受光させる第２プリズムと、残りの（１００－Ａ）％の可視光を第３イメージセンサに受光させる第３プリズムと、光学的に略１画素分ずれた位置にそれぞれ接着された前記第２イメージセンサおよび前記第３イメージセンサの撮像出力に基づくカラー映像信号と、前記第１イメージセンサの撮像出力に基づくＩＲ映像信号とを合成してモニタに出力する映像信号処理部と、を備え、前記第２イメージセンサの赤色、緑色、青色を有するカラーフィルタと前記第３イメージセンサの赤色、緑色、青色を有するカラーフィルタとが各画素に緑色のカラーフィルタが位置するように配置され、前記映像信号処理部は、前記各画素の緑色のカラーフィルタに基づく画素値を選択して前記カラー映像信号を生成する、３板式カメラを提供する。
本開示によれば、蛍光試薬が投与された観察部位のより鮮明な蛍光映像の生成と観察部位のカラー映像の高解像度化とを両立でき、医師等による患部の容易な把握を支援できる。
実施の形態１に係る３板式カメラの内部構成例を示すブロック図 実施の形態１に係る３板式カメラの内部構成の他の一例を示すブロック図 図１に示す分光プリズムの構造例を示す図 撮像素子１５１，１５２のカラーフィルタの配列例を示す図 撮像素子１５１，１５２のカラーフィルタがベイヤ配列で構成されかつ半画素ずらしで配置された場合の課題の説明図 ダイクロイックミラーの分光特性例を示すグラフ ビームスプリッタの分光特性例を示すグラフ 第２可視光および第１可視光のそれぞれの露光時間が同一となる場合の、可視光分割比率と感度、ダイナミックレンジ、解像度との関係例を示すグラフ 第２可視光および第１可視光のそれぞれの露光時間が１０：１となる場合の、可視光分割比率と感度、ダイナミックレンジ、解像度との関係例を示すグラフ 第２可視光および第１可視光のそれぞれの露光時間が１００：１となる場合の、可視光分割比率と感度、ダイナミックレンジ、解像度との関係例を示すグラフ 第２可視光および第１可視光のそれぞれの露光時間が１：１０となる場合の、可視光分割比率と感度、ダイナミックレンジ、解像度との関係例を示すグラフ 実施の形態１に係る３板式カメラにより生成された可視・ＩＲ合成映像信号のモニタでの表示例を示す図
以下、適宜図面を参照しながら、本開示に係る３板式カメラを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
図１Ａは、実施の形態１に係る３板式カメラ１の内部構成例を示すブロック図である。図１Ｂは、実施の形態１に係る３板式カメラ１の内部構成の他の一例を示すブロック図である。３板式カメラ１は、レンズ１１と、分光プリズム１３と、撮像素子１５１，１５２，１５３と、映像信号処理部１７とを含む構成である。映像信号処理部１７は、カメラ信号処理部１９１，１９２，１９３と、画素ずらし合成・高解像度化処理部２１と、可視・ＩＲ合成処理部２３とを有する。なお、図１Ｂに示すように、３板式カメラ１は、映像信号処理部１７（図１Ａ参照）の代わりに、長短露光合成・広ダイナミックレンジ処理部２１Ａを有する映像信号処理部１７Ａ（図１Ｂ参照）を有してもよい。また図示は省略するが、３板式カメラ１は、映像信号処理部１７（図１Ａ参照）および映像信号処理部１７Ａ（図１Ｂ参照）の両方を有してもよい。それぞれの構成について詳細に説明する。
３板式カメラ１は、例えば手術あるいは検査時に、患者等の被検体内の観察部位（例えば患部）に予め投与された蛍光試薬（例えばインドシアニングリーン。以下「ＩＣＧ」と略記する。）に所定の波長帯（例えば７６０ｎｍ～８００ｎｍ）の励起光を照射し、その励起光に基づいて長波長側（例えば８２０～８６０ｎｍ）に蛍光発光した観察部位を撮像する医療観察システムで使用される。３板式カメラ１により撮像された画像（例えば観察部位の映像）は、モニタＭＮ１により表示され（図９参照）、医師等のユーザによる医療行為の実行を支援する。分光プリズム１３は、例えば上述した医療観察システムで使用される例を説明するが、使用は医療用途に限定されず工業用途でもよい。
図１では図示を省略しているが、３板式カメラ１のレンズ１１よりも対物側（言い換えると、先端側）は観察部位（例えば患部。以下同様。）に挿通されるスコープにより構成されている。このスコープは、例えば観察部位に挿通される硬性内視鏡等の医療器具の主要部であり、観察部位からの光Ｌ１をレンズ１１まで導光可能な導光部材である。
レンズ１１は、分光プリズム１３の対物側（言い換えると、先端側）に取り付けられ、観察部位からの光Ｌ１（例えば観察部位での反射光）を集光する。集光された光Ｌ２は、分光プリズム１３に入射する。
分光プリズム１３は、観察部位からの光Ｌ２を入射して第１可視光Ｖ１と第２可視光Ｖ２とＩＲ光Ｎ１とに分光する。分光プリズム１３は、ＩＲプリズム３１と可視プリズム３２，３３とを有する構成である（図２参照）。第１可視光Ｖ１は、可視プリズム３２に対向するように配置された撮像素子１５１に入射する。第２可視光Ｖ２は、可視プリズム３３に対向するように配置された撮像素子１５２に入射する。ＩＲ光Ｎ１は、ＩＲプリズム３１に対向するように配置された撮像素子１５３に入射する。分光プリズム１３の詳細な構造例については、図２を参照して後述する。
第２イメージセンサの一例としての撮像素子１５１は、例えば可視光の撮像に適した複数の画素が配列されたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）と、電子シャッタによる露光制御回路（図示略）とを含む。撮像素子１５１を構成するＣＣＤまたはＣＭＯＳには、例えばそれぞれの画素ごとに対応して、マイクロレンズとカラーフィルタと受光素子とが少なくとも配置されている。マイクロレンズは、入射光（可視光）を集光する。カラーフィルタは、マイクロレンズを透過した特定の色成分（波長）の可視光を透過する。なお、撮像素子１５１のカラーフィルタは、例えば赤（Ｒ），緑（Ｇ），緑（Ｇ），青（Ｂ）等のベイヤ配列（図８参照）によって配置される。特定の色成分は、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）を示す。受光素子は、カラーフィルタを透過した特定の色成分（波長）の光を受光する。撮像素子１５１は、可視プリズム３２と対向するように配置される（図２参照）。撮像素子１５１は、カメラ信号処理部１９１からの露光制御信号ＣＳＨ１に基づいて露光制御回路により定められる第１露光時間にわたって入射した第１可視光Ｖ１に基づいて撮像する。撮像素子１５１は、撮像により観察部位の映像信号Ｖ１Ｖを生成して映像信号処理部１７に出力する。
第３イメージセンサの一例としての撮像素子１５２は、例えば可視光の撮像に適した複数の画素が配列されたＣＣＤまたはＣＭＯＳと、電子シャッタによる露光制御回路（図示略）とを含む。撮像素子１５２を構成するＣＣＤまたはＣＭＯＳには、例えばそれぞれの画素ごとに対応して、マイクロレンズとカラーフィルタと受光素子とが少なくとも配置されている。マイクロレンズは、入射光（可視光）を集光する。カラーフィルタは、マイクロレンズを透過した特定の色成分（波長）の可視光を透過する。なお、撮像素子１５２のカラーフィルタは、例えば赤（Ｒ），緑（Ｇ），緑（Ｇ），青（Ｂ）等のベイヤ配列（図８参照）によって配置される。特定の色成分は、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）を示す。受光素子は、カラーフィルタを透過した特定の色成分（波長）の光を受光する。撮像素子１５２は、可視プリズム３３と対向するように配置される（図２参照）。撮像素子１５２は、カメラ信号処理部１９２からの露光制御信号ＣＳＨ２に基づいて露光制御回路により定められる第２露光時間にわたって入射した第２可視光Ｖ２に基づいて撮像する。撮像素子１５２は、撮像により観察部位の映像信号Ｖ２Ｖを生成して映像信号処理部１７に出力する。
第１イメージセンサの一例としての撮像素子１５３は、例えばＩＲ光の撮像に適した複数の画素が配列されたＣＣＤまたはＣＭＯＳを含む。撮像素子１５３は、ＩＲプリズム３１と対向するように配置される（図２参照）。撮像素子１５３は、入射したＩＲ光Ｎ１に基づいて撮像する。撮像素子１５３は、撮像により観察部位の映像信号Ｎ１Ｖを生成して映像信号処理部１７に出力する。
映像信号処理部１７は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）あるいはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のプロセッサにより構成される。カメラ信号処理部１９１～１９３、画素ずらし合成・高解像度化処理部２１および可視・ＩＲ合成処理部２３は、前述したプロセッサにより実行される。
カメラ信号処理部１９１は、撮像素子１５１からの映像信号Ｖ１Ｖを用いて各種のカメラ信号処理を施して観察部位の第１可視映像信号Ｖ１ＶＤを生成し、画素ずらし合成・高解像度化処理部２１あるいは長短露光合成・広ダイナミックレンジ処理部２１Ａに出力する。また、カメラ信号処理部１９１は、撮像素子１５１の第１露光時間を定めるための露光制御信号ＣＳＨ１を生成して撮像素子１５１に出力する。撮像素子１５１は、この露光制御信号ＣＳＨ１に基づいて第１可視光Ｖ１の露光時間を制御する。
カメラ信号処理部１９２は、撮像素子１５２からの映像信号Ｖ２Ｖを用いて各種のカメラ信号処理を施して観察部位の第２可視映像信号Ｖ２ＶＤを生成し、画素ずらし合成・高解像度化処理部２１あるいは長短露光合成・広ダイナミックレンジ処理部２１Ａに出力する。詳細は後述するが、第１可視映像信号Ｖ１ＶＤと第２可視映像信号Ｖ２ＶＤとは明るさ（感度）が略同一（同一を含む）でもよいし、異なってもよい。特に、第１可視映像信号Ｖ１ＶＤと第２可視映像信号Ｖ２ＶＤとは明るさ（感度）が略同一（同一を含む）に近いほど高解像度化の効果が高くなる。また、カメラ信号処理部１９２は、撮像素子１５２の露光時間を定めるための露光制御信号ＣＳＨ２を生成して撮像素子１５２に出力する。撮像素子１５２は、この露光制御信号ＣＳＨ２に基づいて第２可視光Ｖ２の第２露光時間を制御する。詳細は後述するが、第１露光時間と第２露光時間とは同一でもよいし（図５参照）、異なってもよく（図６～図８参照）、以下同様である。
カメラ信号処理部１９３は、撮像素子１５３からの映像信号Ｎ１Ｖを用いて各種のカメラ信号処理を施して観察部位のＩＲ映像信号Ｎ１ＶＤを生成し、可視・ＩＲ合成処理部２３に出力する。
画素ずらし合成・高解像度化処理部２１は、２つの映像信号（具体的には、カメラ信号処理部１９１からの第１可視映像信号Ｖ１ＶＤとカメラ信号処理部１９２からの第２可視映像信号Ｖ２ＶＤ）を入力する。第１可視映像信号Ｖ１ＶＤおよび第２可視映像信号Ｖ２ＶＤの明るさが等しいほど、画素ずらし合成・高解像度化処理部２１による高解像度化の効果が最も高くなる。第１可視映像信号Ｖ１ＶＤおよび第２可視映像信号Ｖ２ＶＤの空間位置関係を考慮した合成・画素補間処理を行うことで、高解像度化が図られた高解像度映像信号ＶＶＤが生成可能となる。
画素ずらし合成・高解像度化処理部２１は、入力された２つの映像信号を合成処理（つまり、可視プリズム３２に接着された撮像素子１５１の撮像に基づいてカメラ信号処理部１９１により生成された第１可視映像信号Ｖ１ＶＤと、可視プリズム３３に接着された撮像素子１５２の撮像に基づいてカメラ信号処理部１９２により生成された第２可視映像信号Ｖ２ＶＤとの合成）を行い、高解像度映像信号ＶＶＤを生成する。画素ずらし合成・高解像度化処理部２１は、入力された２つの映像信号の合成処理（上述参照）を行うことで、第１可視映像信号Ｖ１ＶＤあるいは第２可視映像信号Ｖ２ＶＤよりも高解像度を有する高解像度映像信号ＶＶＤを生成できる。画素ずらし合成・高解像度化処理部２１は、高解像度映像信号ＶＶＤを可視・ＩＲ合成処理部２３に出力する。画素ずらし合成・高解像度化処理部２１による高解像度映像信号ＶＶＤの生成については、図３Ａを参照して後述する。
なお、３板式カメラ１では、映像信号処理部１７において画素ずらしによる高解像度映像信号ＶＶＤが生成される。このため、分光プリズム１３（図２参照）において、第１可視光Ｖ１が入射する撮像素子１５１，第２可視光Ｖ２が入射する撮像素子１５２のそれぞれを、対応する可視プリズム３２，３３に接着するにあたり、撮像素子１５１と撮像素子１５２との位置を光学的に略１画素程度（例えば、水平方向にあるいは垂直方向に、または両方の方向に）ずらして接着する必要がある（図３Ａ参照）。これにより、光学的に略１画素程度（上述参照）ずらして配置された撮像素子１５１，１５２の撮像に基づいて、画素ずらし合成・高解像度化処理部２１において、画素ずらしによる高解像度映像信号ＶＶＤが生成可能となる。なお、略１画素程度には、１画素を含むが、１画素ちょうどでなくてもよく、例えば１画素プラスマイナス０．２５画素分の距離のずれを含んでもよい。画素ずらし量が１画素に近いほど、画素ずらし合成・高解像度化処理部２１による高解像度化の効果が高くなる。
長短露光合成・広ダイナミックレンジ処理部２１Ａは、明るさ（感度）の異なる２つの映像信号（具体的には、カメラ信号処理部１９１からの第１可視映像信号Ｖ１ＶＤとカメラ信号処理部１９２からの第２可視映像信号Ｖ２ＶＤ）を入力して重ね合わせることで合成し、広ダイナミックレンジ映像信号ＶＶＤＡを生成する。長短露光合成・広ダイナミックレンジ処理部２１Ａは、明るさ（感度）の異なる２つの映像信号を重ね合わせて合成することで、第１可視映像信号Ｖ１ＶＤあるいは第２可視映像信号Ｖ２ＶＤよりもダイナミックレンジを見かけ上広げた広ダイナミックレンジ映像信号ＶＶＤＡを生成できる。長短露光合成・広ダイナミックレンジ処理部２１Ａは、広ダイナミックレンジ映像信号ＶＶＤＡを可視・ＩＲ合成処理部２３に出力する。
可視・ＩＲ合成処理部２３は、画素ずらし合成・高解像度化処理部２１から高解像度映像信号ＶＶＤとカメラ信号処理部１９３からのＩＲ映像信号Ｎ１ＶＤとを入力して重ね合わせることで合成し、可視・ＩＲ合成映像信号ＩＭＶＶＤを生成する。可視・ＩＲ合成映像信号ＩＭＶＶＤによれば、画素ずらし後の合成処理によって高解像度化されているので観察部位（例えば術野）の周囲の状態が視覚的に明瞭になるだけでなく、ＩＣＧ等の蛍光試薬の蛍光発光により患部の状態を詳細に判明可能となる（図９参照）。可視・ＩＲ合成処理部２３は、可視・ＩＲ合成映像信号ＩＭＶＶＤを、モニタＭＮ１に出力したり録画機器（図示略）に送信して蓄積させたりしてよい。
モニタＭＮ１は、例えば手術あるいは検査時に手術室に配置される画像コンソール（図示略）を構成し、３板式カメラ１により生成された観察部位の可視・ＩＲ合成映像信号ＩＭＶＶＤを表示する。これにより、医師等のユーザは、モニタＭＮ１に表示された可視・ＩＲ合成映像信号ＩＭＶＶＤを目視で視認することで、観察部位中の蛍光発光した部位を詳細に把握できる。録画機器は、例えば３板式カメラ１により生成された可視・ＩＲ合成映像信号ＩＭＶＶＤのデータを録画可能なレコーダである。
図２は、図１に示す分光プリズム１３の構造例を示す図である。以下、図１に示す分光プリズム１３の構造例として図２を参照して主に説明する。分光プリズム１３は、ＩＲプリズム３１（第１プリズムの一例）と、可視プリズム３２（第２プリズムの一例）と、可視プリズム３３（第３プリズムの一例）とを有する。ＩＲプリズム３１、可視プリズム３２および可視プリズム３３が、レンズ１１により集光された光Ｌ２の光軸方向に順に組み付けられる。
第１プリズムの一例としてのＩＲプリズム３１は、光Ｌ２が入射する入射面３１ａと、光Ｌ２のうちＩＲ光を反射させるダイクロイックミラーＤＹＭ１が形成される反射面３１ｂと、ＩＲ光が出射する出射面３１ｃとを有する。ダイクロイックミラーＤＹＭ１（第１反射膜の一例）は、蒸着等により反射面３１ｂに形成され、光Ｌ２のうちＩＲ光（例えば８００ｎｍ以上の波長帯のＩＲ光）を反射させるとともに、光Ｌ２のうちＩＲ光でない光（例えば４００ｎｍ～８００ｎｍ程度の光）を透過させる（図４Ａ参照）。具体的には、ＩＲプリズム３１の入射面３１ａに入射した光Ｌ２のうちＩＲ光（上述参照）が反射面３１ｂで反射する。このＩＲ光は、反射面３１ｂで反射した後にＩＲプリズム３１の入射面３１ａで全反射し、出射面３１ｃを介して撮像素子１５３に入射する。
図４Ａは、ダイクロイックミラーＤＹＭ１の分光特性例を示すグラフである。図４Ａの横軸は波長［ｎｍ：ナノメートル（以下同様）］を示し、縦軸は反射率あるいは透過率を示す。特性ＴＰ１はダイクロイックミラーＤＹＭ１の透過率を示し、特性ＴＰ１によれば、ダイクロイックミラーＤＹＭ１は４００ｎｍ～８００ｎｍ程度の光を透過させることができる。特性ＲＦ１はダイクロイックミラーＤＹＭ１の反射率を示し、特性ＲＦ１によれば、ダイクロイックミラーＤＹＭ１は８００ｎｍ以上のＩＲ光を反射させることができる。したがって、撮像素子１５３には、面積ＡＲ１で示される光量のＩＲ光（言い換えると、光Ｌ２のうちＩＲ光）が全て入射できる。
第２プリズムの一例としての可視プリズム３２は、ダイクロイックミラーＤＹＭ１を透過した光（第１透過光の一例）が入射する入射面３２ａと、その透過した光（具体的には可視光）の一部の光量を反射させるビームスプリッタＢＳＰ１が形成される反射面３２ｂと、その一部の光量の反射した可視光が出射する出射面３２ｃとを有する。ビームスプリッタＢＳＰ１（第２反射膜の一例）は、蒸着等により反射面３２ｂに形成され、入射面３２ａに入射した可視光の一部（例えば入射面３２ａに入射した光のＡ％前後、Ａは既定の実数であり例えば５０）の光量を有する可視光を反射させ、残りの（１００－Ａ）％（例えば入射面３２ａに入射した光の５０％前後）の光量を有する可視光を透過させる（図４Ｂ参照）。具体的には、可視プリズム３２の入射面３２ａに入射した可視光のうち一部（例えば５０％）の光量の可視光が反射面３２ｂで反射する。この一部の可視光は、反射面３２ｂで反射した後に可視プリズム３２の入射面３２ａで全反射し、出射面３２ｃを介して撮像素子１５１に入射する。なお、図１に示す分光プリズム１３において、ビームスプリッタＢＳＰ１が反射する可視光の割合は５０％に限定されず、例えば３０～５０％程度の範囲でもよい。
第３プリズムの一例としての可視プリズム３３は、ビームスプリッタＢＳＰ１を透過した残りの光量の可視光が入射する入射面３３ａと、その残りの光量の可視光が出射する出射面３３ｃとを有する。具体的には、可視プリズム３３では、ビームスプリッタＢＳＰ１を透過した残りの光量の可視光が入射してそのまま出射して撮像素子１５２に入射する（図４Ｂ参照）。
図４Ｂは、ビームスプリッタＢＳＰ１の分光特性例を示すグラフである。図４Ｂの横軸は波長［ｎｍ］を示し、縦軸は反射率あるいは透過率を示す。特性ＴＰ２は図２に示す分光プリズム１３におけるビームスプリッタＢＳＰ１の透過率あるいは反射率（４００ｎｍ～８００ｎｍにおいて約５０％）を示す。特性ＴＰ２によれば、第２反射膜の一例としてのビームスプリッタＢＳＰ１は４００ｎｍ～８００ｎｍ程度の光のうち約５０％の光量の光（主に可視光）を反射させ、残りの約５０％の光量の光（主に可視光）を透過させることができる。したがって、撮像素子１５１には、面積ＡＲ２で示される光量の可視光（例えば約５０％程度の光量の可視光）が入射できる。また、撮像素子１５２には、面積ＡＲ２で示される光量の可視光（例えば約５０％程度の光量の可視光）が入射できる。
次に、撮像素子１５１，１５２のカラーフィルタＢＹＲ１，ＢＹＲ２の配列について、図３Ａを参照して説明する。図３Ａは、撮像素子１５１，１５２のカラーフィルタＢＹＲ１，ＢＹＲ２の配列例を示す図である。カラーフィルタＢＹＲ１は、撮像素子１５１を構成するカラーフィルタであり、例えば水平方向かつ垂直方向において隣り合う任意の４画素において赤（Ｒ），緑（Ｇ），緑（Ｇ），青（Ｂ）のカラーフィルタから構成されるベイヤ配列で配置されている。ベイヤ配列では、任意の４赤（Ｒ）および青（Ｂ）に比べて緑（Ｇ）が多く配置されている。これは、人間の視覚は緑（Ｇ）に最も敏感に反応することが知られているためである。同様にカラーフィルタＢＹＲ２は、撮像素子１５２を構成するカラーフィルタであり、例えば水平方向かつ垂直方向において隣り合う任意の４画素において赤（Ｒ），緑（Ｇ），緑（Ｇ），青（Ｂ）のカラーフィルタから構成されるベイヤ配列で配置されている。
図３Ａに示すように、撮像素子１５１，１５２を１画素分オフセットが付与された配置にすることで、カラーフィルタＢＹＲ１，ＢＹＲ２は、１画素分オフセットされた配置になる。図３Ａでは１画素分のオフセットが付与された例が示されているが、カラーフィルタＢＹＲ１，ＢＹＲ２は、略１画素分（上述参照）のオフセットが付与されて配置されても構わない。したがって、略１画素分（上述参照）のオフセットの画素ずらしにより、一方のベイヤ配列（例えばカラーフィルタＢＹＲ１）の緑（Ｇ）画素が他方のベイヤ配列（例えばカラーフィルタＢＹＲ２）の青（Ｂ）画素あるいは赤（Ｒ）画素の上に配置されることになる。言い換えると、全ての画素に対して緑（Ｇ）のカラーフィルタが配置される。これにより、第１可視映像信号Ｖ１ＶＤおよび第２可視映像信号Ｖ２ＶＤを入力する画素ずらし合成・高解像度化処理部２１は、２層で積層されたベイヤ配列のカラーフィルタＢＹＲ１，ＢＹＲ２（図３Ａ参照）のうち各画素において輝度信号の解像度に寄与する割合が最も高い緑（Ｇ）のカラーフィルタを透過した光を選択的に用いることで、略１画素分の画素ずらしが行われていない場合の映像信号に比べて高い高解像度を有する高解像度映像信号ＶＶＤを生成できる。
ここで、仮に撮像素子１５１，１５２の各カラーフィルタが半画素分の画素ずらしのオフセットが付与されて配置された場合の問題について、図３Ｂを参照して説明する。図３Ｂは、撮像素子１５１，１５２のカラーフィルタＢＹＲ１，ＢＹＲ２がベイヤ配列で構成されかつ半画素ずらしで配置された場合の課題の説明図である。図３Ｂの横軸および縦軸はともに周波数であり、ｆｓはサンプリング周波数、ｆｓ／２はナイキスト周波数をそれぞれ示す。
仮に撮像素子１５１，１５２の各カラーフィルタが半画素分の画素ずらしのオフセットが付与されて積層配置された場合、図３Ｂに示すように、ナイキスト周波数（ｆｓ／２）の近傍で被写体に存在しない擬色あるいはモアレが検知されることが分かった。このような擬色あるいはモアレが検知されると、カラー映像信号の画質が劣化してしまう。一方、このような問題を解決するため、実施の形態１では図３Ａに示すように、カラーフィルタＢＹＲ１，ＢＹＲ２は、光学的に１画素分のオフセットが付与されて配置された。これにより、画素ずらし合成・高解像度化処理部２１により生成される高解像度映像信号ＶＶＤは、ナイキスト周波数（ｆｓ／２）の近傍で図３Ｂに示す擬色あるいはモアレの検知が無く、画質の向上が的確に図られることになった。
図５は、第２可視光Ｖ２および第１可視光Ｖ１のそれぞれの露光時間が同一となる場合の、可視光分割比率と感度ＧＡＮ１、ダイナミックレンジＤＲＧ１、解像度ＲＳＯ１との関係例を示すグラフである。図５の横軸は可視光分割比率であり、言い換えると、これはビームスプリッタＢＳＰ１がダイクロイックミラーＤＹＭ１を透過した可視光を反射する割合である。例えば、可視光分割比率が１０％（つまり９０：１０）である場合、ビームスプリッタＢＳＰ１はダイクロイックミラーＤＹＭ１を透過した光のうち１０％の可視光を反射し、９０％の可視光を透過する。つまり、第２可視光Ｖ２の光量：第１可視光Ｖ１の光量が９０：１０となる。他の可視光分割比率についても上述した具体例と同様に考えることができる。図５の縦軸は映像信号処理部１７において生成される高解像度映像信号ＶＶＤの感度ＧＡＮ１、ダイナミックレンジＤＲＧ１、解像度ＲＳＯ１を示す。
図５では電子シャッタによる撮像素子１５２，１５１のそれぞれへの露光時間が同一となるように制御された例が示されている。したがって、感度ＧＡＮ１については、可視光分割比率が小さければ小さい程最大（例えば０％の時に最大（１００％）で最も明るくなる）となり、５０％の時に最小（５０％で最も暗くなる）となるような特性（例えば一次関数）に従って推移すると考えられる。これは、第１可視光Ｖ１に基づく第１可視映像信号Ｖ１ＶＤの明るさと第２可視光Ｖ２に基づく第２可視映像信号Ｖ２ＶＤの明るさとのうち、より明るい第２可視光Ｖ２の明るさによって感度が決まるためである。
ダイナミックレンジＤＲＧ１については、同様に可視光分割比率が０より大きい範囲で小さければ小さい程大きく（例えば０．０１％の時に＋約８０ｄＢ）となり、５０％の時に最小（例えば０ｄＢ）となるような特性に従って推移すると考えられる。これは、高解像度映像信号ＶＶＤにおいて、可視光分割比率が小さければ小さい程、暗い部分と明るい部分の差が広がり易くなるためである。
解像度ＲＳＯ１については、反対に可視光分割比率が小さければ小さい程最小（例えば０％の時に最小で１倍）となり、５０％の時に最大（例えば１．１倍）となるような特性に従って推移すると考えられる。これは、可視光分割比率が大きければ大きい程、隣接する画素間での画素値の差分が小さくなり画素ずらしによって高解像度化を実現し易くなるためである。
図６は、第２可視光Ｖ２および第１可視光Ｖ１のそれぞれの露光時間が１０：１となる場合の、可視光分割比率と感度ＧＡＮ２、ダイナミックレンジＤＲＧ２、解像度ＲＳＯ２との関係例を示すグラフである。図６の横軸は可視光分割比率であり、図５の説明と同様であるため説明を省略する。図６の縦軸は映像信号処理部１７において生成される高解像度映像信号ＶＶＤの感度ＧＡＮ２、ダイナミックレンジＤＲＧ２、解像度ＲＳＯ２を示す。
図６では電子シャッタによる撮像素子１５２，１５１のそれぞれへの露光時間が１０：１の比率となるように差が設けられた例が示されている。感度ＧＡＮ２については、図５に示す感度ＧＡＮ１と同様に、可視光分割比率が小さければ小さい程最大（例えば０％の時に最大（１００％）で最も明るくなる）となり、５０％の時に最小（５０％で最も暗くなる）となるような特性（例えば一次関数）に従って推移すると考えられる。これは、撮像素子１５２，１５１のそれぞれへの露光時間の比率１０：１に、第２可視光Ｖ２と第１可視光Ｖ１との光量比率を掛け合わせたものが、第２可視映像信号Ｖ２ＶＤと第１可視映像信号Ｖ１ＶＤの明るさの比率となり、そのうち明るい方の第２可視映像信号Ｖ２ＶＤの明るさにより感度が決まるためである。
撮像素子１５２，１５１のそれぞれへの露光時間が同一の時に比べて例えば１０：１の比率となるように差が設けられると、高解像度映像信号ＶＶＤにおいて、明るい部分と暗い部分との差がより鮮明に現れやすくなりダイナミックレンジをより稼ぐことができると考えられる。したがって、ダイナミックレンジＤＲＧ２については、可視光分割比率が０より大きい範囲で小さければ小さい程大きく（例えば０．１％の時に＋約８０ｄＢ）となり、５０％の時に最小（例えば＋２０ｄＢ）となるような特性に従って推移すると考えられる。つまり、図６の例であれば、最小値であっても＋２０ｄＢを稼ぐことができる。
電子シャッタによる撮像素子１５２，１５１のそれぞれへの露光時間が１０：１の比率となるように差が設けられると、例えば可視光分割比率が１０％（第２可視光Ｖ２：第１可視光Ｖ１＝９０：１０）となる場合、撮像素子１５１に入射する光量：撮像素子１５２に入射する光量＝１００：１程度となると考えられる。つまり、第１可視光Ｖ１では暗いところはほぼ映らず、第２可視光Ｖ２では明るいところはほぼ映らないので重ね合わせた時に解像度を稼ぐことはほぼ難しいと考えることができる。したがって、解像度ＲＳＯ２については、可視光分割比率に拘わらず、小さい値（例えば０％の時に最小で１倍であって、５０％でも１．０２倍程度）を推移すると考えられる。
図７は、第２可視光Ｖ２および第１可視光Ｖ１のそれぞれの露光時間が１００：１となる場合の、可視光分割比率と感度ＧＡＮ２、ダイナミックレンジＤＲＧ３、解像度ＲＳＯ３との関係例を示すグラフである。図７の横軸は可視光分割比率であり、図５の説明と同様であるため説明を省略する。図７の縦軸は映像信号処理部１７において生成される高解像度映像信号ＶＶＤの感度ＧＡＮ２、ダイナミックレンジＤＲＧ３、解像度ＲＳＯ３を示す。
図７では電子シャッタによる撮像素子１５２，１５１のそれぞれへの露光時間が１００：１の比率となるようにかなりの差が設けられた例が示されている。感度ＧＡＮ２については、図６に示す感度ＧＡＮ２と同様に、可視光分割比率が小さければ小さい程最大（例えば０％の時に最大（１００％）で最も明るくなる）となり、５０％の時に最小（５０％で最も暗くなる）となるような特性（例えば一次関数）に従って推移すると考えられる。これは、撮像素子１５２，１５１のそれぞれへの露光時間の比率１００：１に、第２可視光Ｖ２と第１可視光Ｖ１との光量比率を掛け合わせたものが、第２可視映像信号Ｖ２ＶＤと第１可視映像信号Ｖ１ＶＤの明るさの比率となり、そのうち明るい方の第２可視映像信号Ｖ２ＶＤの明るさにより感度が決まるためである。
撮像素子１５２，１５１のそれぞれへの露光時間が同一の時に比べて例えば１００：１の比率となるようにかなりの差が設けられると、高解像度映像信号ＶＶＤにおいて、明るい部分と暗い部分との差がより一層に鮮明に現れやすくなりダイナミックレンジをより多く稼ぐことができると考えられる。したがって、ダイナミックレンジＤＲＧ３については、可視光分割比率が０より大きい範囲で小さければ小さい程大きく（例えば１％の時に＋約８０ｄＢ）となり、５０％の時に最小（例えば＋４０ｄＢ）となるような特性に従って推移すると考えられる。つまり、図７の例であれば、最小値であっても＋４０ｄＢを稼ぐことができる。
電子シャッタによる撮像素子１５２，１５１のそれぞれへの露光時間が１００：１の比率となるようにかなりの差が設けられると、例えば可視光分割比率が１０％（第２可視光Ｖ２：第１可視光Ｖ１＝９０：１０）となる場合、撮像素子１５２に入射する光量：撮像素子１５１に入射する光量＝１０００：１程度となると考えられる。つまり、第２可視光Ｖ２では明るすぎて暗いところはほぼ映らず、第１可視光Ｖ１では暗すぎて明るいところはほぼ映らないので図６の例に比べて重ね合わせた時に解像度を稼ぐことはほぼ難しいと考えることができる。したがって、解像度ＲＳＯ３については、可視光分割比率に拘わらず、小さい値（例えば０％の時に最小で１倍であって、５０％でも１．００１倍程度）を推移すると考えられる。
図８は、第２可視光Ｖ２および第１可視光Ｖ１のそれぞれの露光時間が１：１０となる場合の、可視光分割比率と感度ＧＡＮ３、ダイナミックレンジＤＲＧ４、解像度ＲＳＯ４との関係例を示すグラフである。図８の横軸は可視光分割比率であり、図５の説明と同様であるため説明を省略する。図８の縦軸は映像信号処理部１７において生成される高解像度映像信号ＶＶＤの感度ＧＡＮ３、ダイナミックレンジＤＲＧ４、解像度ＲＳＯ４を示す。
図８では電子シャッタによる撮像素子１５２，１５１のそれぞれへの露光時間が１：１０の比率となるように差が設けられた例が示されている。図６の例と反対に、撮像素子１５２，１５１のそれぞれへの露光時間が例えば１：１０の比率となるように差が設けられると、例えば可視光分割比率が１０％（第２可視光Ｖ２：第１可視光Ｖ１＝９０：１０）となる場合、撮像素子１５２に入射する光量と撮像素子１５１に入射する光量とは可視光分割比率と露光時間比との相殺によってほぼ同等になると考えられる。したがって、感度ＧＡＮ３については、可視光分割比率が０％から１０％まで（言い換えると、撮像素子１５２，１５１にそれぞれ入射する光量があまり変わらない場合）は最小となるように略一定に推移し、可視光分割比率が１０％より大きくなり５０％になるまでは一次関数的に単調増加する特性として推移する。例えば５０％の時に最大（５０％、つまり－６ｄＢ）に明るくなる。これは、撮像素子１５２，１５１のそれぞれへの露光時間の比率１：１０に、第２可視光Ｖ２と第１可視光Ｖ１との光量比率を掛け合わせたものが、第２可視映像信号Ｖ２ＶＤと第１可視映像信号Ｖ１ＶＤの明るさの比率となり、そのうち明るい方の映像信号の明るさにより感度が決まるためである。
撮像素子１５２，１５１のそれぞれへの露光時間が同一の時に比べて例えば１：１０の比率となるように差が設けられると、高解像度映像信号ＶＶＤにおいて、可視光分割比率が０％より大きい範囲で小さければ小さい程明るさの差分が得られ易いが、可視光分割比率が高くなるにつれて明るい部分と暗い部分との差が現れにくくなりダイナミックレンジをより稼ぐことが難しくなると考えられる。したがって、ダイナミックレンジＤＲＧ４については、可視光分割比率が０％より大きい範囲で小さければ小さい程大きくなる（例えば、０．００１％の時に約＋８０ｄＢ）となるが、可視光分割比率が１０％の時に、撮像素子１５２，１５１の露光時間の比率１：１０と相殺されて、第２可視映像信号Ｖ２ＶＤと第１可視映像信号Ｖ１ＶＤとの明るさがほぼ同等となり、ダイナミックレンジＤＲＧ４は最小となる。可視光分割比率が１０％を超えると再び第２可視映像信号Ｖ２ＶＤと第１可視映像信号Ｖ１ＶＤとの明るさに差ができるため、ダイナミックレンジＤＲＧ４が大きくなり、可視光分割比率５０％の場合は、撮像素子１５２，１５１の露光時間の比率１：１０と掛け合わせて、第２可視映像信号Ｖ２ＶＤと第１可視映像信号Ｖ１ＶＤの明るさの比率が１：１０となるため、ダイナミックレンジは＋２０ｄＢとなる。
電子シャッタによる撮像素子１５２，１５１のそれぞれへの露光時間が１：１０の比率となるように差が設けられると、例えば可視光分割比率が１０％（第２可視光Ｖ２：第１可視光Ｖ１＝９０：１０）となる場合、撮像素子１５２に入射する光量と撮像素子１５１に入射する光量とがほぼ同等になると考えられる（上述参照）。つまり、可視光分割比率と露光時間比（１：１０）との相殺が起きる時（例えば可視光分割比率が１０％）の時に第１可視光Ｖ１に基づく第１可視映像信号Ｖ１ＶＤと第２可視光Ｖ２に基づく第２可視映像信号Ｖ２ＶＤとが同等の明るさとなるので、解像度ＲＳＯ４としては最大となり、相殺が起きにくくなるような可視光分割比率の時に最大値から低下するような特性で推移すると考えられる。
図９は、実施の形態１に係る３板式カメラ１により生成された可視・ＩＲ合成映像信号ＩＭＶＶＤのモニタＭＮ１での表示例を示す図である。図９に示す可視・ＩＲ合成映像信号ＩＭＶＶＤは、被検体である患者の観察部位（例えば肝臓および膵臓の周囲）での撮像に基づいて生成されてモニタＭＮ１に表示されている。図９では、手術あるいは検査の前に予め患者体内の患部に投与されたＩＣＧの蛍光試薬が発光し、可視・ＩＲ合成映像信号ＩＭＶＶＤではその箇所（例えば患部ＦＬ１）が分かるように示されている。また、画素ずらし合成・高解像度化処理部２１によって高解像度を有する高解像度映像信号ＶＶＤが生成されているので、可視・ＩＲ合成映像信号ＩＭＶＶＤでは観察対象等の術野の鮮明な映像が得られる。このように、３板式カメラ１は、例えば手術あるいは検査時に、医師等のユーザによる観察部位の詳細を把握可能な高画質であって患部の位置を容易に特定可能な可視・ＩＲ合成映像信号ＩＭＶＶＤを生成してモニタＭＮ１に表示できる。
以上により、実施の形態１に係る３板式カメラ１は、観察部位（例えば被検体内の患部）からの光Ｌ２のうちＩＲ光を撮像素子１５３に受光させる第１プリズム（例えばＩＲプリズム３１）と、観察部位（例えば被検体内の患部）からの光Ｌ２Ａ％の可視光を反射しかつ残りの（１００－Ａ）％の可視光を撮像素子１５１に受光させる第２プリズム（例えば可視プリズム３２）と、残りの（１００－Ａ）％の可視光を撮像素子１５２に受光させる第３プリズム（例えば可視プリズム３３）と、を備える。また、３板式カメラ１は、光学的に略１画素分ずれた位置にそれぞれ接着された撮像素子１５１および撮像素子１５２の撮像出力に基づくカラー映像信号と、撮像素子１５３の撮像出力に基づくＩＲ映像信号とを合成してモニタＭＮ１に出力する映像信号処理部１７を備える。
これにより、３板式カメラ１は、例えば手術あるいは検査時に予め患者等の被検体内に蛍光試薬（例えばＩＣＧ）が投与された観察部位（例えば患部）からの光のうち蛍光試薬の蛍光領域に特化したＩＲ光を分光プリズム１３により分離（分光）することができる。さらに、３板式カメラ１は、観察部位からの光のうち上述した可視光の一部をビームスプリッタＢＳＰ１において反射するとともに残りの可視光を透過して光学的に略１画素分ずれた撮像素子１５１，１５２の撮像出力に基づいて高解像度を有するＲＧＢのカラー映像信号を生成できる。また、３板式カメラ１は、撮像素子１５１，１５２の撮像出力を合成することで、ダイナミックレンジを拡大したＲＧＢのカラー映像信号を生成できる。したがって、３板式カメラ１は、ＩＲ光および可視光の両方においてより鮮明な蛍光画像を生成して出力できるので、蛍光試薬が投与された観察部位のより鮮明な蛍光映像の生成と観察部位のカラー映像の高解像度化とを両立でき、医師等による患部の容易な把握を支援できる。
また、第１プリズムには、ＩＲ光を反射する第１反射膜（例えばダイクロイックミラーＤＹＭ１）が形成される。第２プリズムには、第１反射膜を透過した可視光のうちＡ％の可視光を反射しかつ（１００－Ａ）％の可視光を透過する第２反射膜（例えばビームスプリッタＢＳＰ１）が形成される。第３プリズムには、第２反射膜を透過した（１００－Ａ）％の可視光が入射する。これにより、観察部位（例えば患部）からの光のうちＩＲ光をダイクロイックミラーＤＹＭ１が最初に分光し、ダイクロイックミラーＤＹＭ１を透過した可視光をビームスプリッタＢＳＰ１において分光するので、ダイクロイックミラーＤＹＭ１およびビームスプリッタＢＳＰ１における分光を効率化できる。
また、Ａ％の値と残りの（１００－Ａ）％の値とが略等しい。これにより、Ａが略５０となり、光学的に略１画素分ずれた配置を有するカラーフィルタＢＹＲ１，ＢＹＲ２のそれぞれに均等な明るさを有する光が入射するので、３板式カメラ１は、最も高解像度なＲＧＢのカラー映像信号を効率的に生成できる。
また、撮像素子１５１の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）を有するカラーフィルタＢＹＲ１と撮像素子１５２の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）を有するカラーフィルタＢＹＲ２とが、各画素において緑色（Ｇ）のカラーフィルタが位置するように配置される。映像信号処理部１７は、各画素に位置するように配置された緑色（Ｇ）のカラーフィルタに基づく画素値を選択し、この選択された画素値をカラー映像信号のうちの輝度信号の生成に主として用いる。これにより、映像信号処理部１７は、２層で積層されたベイヤ配列のカラーフィルタＢＹＲ１，ＢＹＲ２（図３Ａ参照）のうち各画素において輝度信号の解像度に寄与する割合が最も高い（Ｇ）のカラーフィルタを透過した光を選択的に用いることで、略１画素分の画素ずらしが行われていない場合の映像信号に比べて高い高解像度を有する高解像度映像信号ＶＶＤを生成できる。これは、人間の視覚は緑（Ｇ）に最も敏感に反応するため、輝度信号の解像度へ寄与する割合が最も高いことが知られていることを利用したものである。
また、撮像素子１５２は、撮像素子１５１に対して水平方向および垂直方向のうち少なくとも一方向に光学的に１画素ずれて配置される。これにより、光学的に略１画素程度（上述参照）ずらして配置された撮像素子１５１，１５２の撮像に基づいて、映像信号処理部において、画素ずらしによる高解像度映像信号ＶＶＤが生成可能となる。
また、３板式カメラ１は、撮像素子１５１の露光時間と撮像素子１５２の露光時間との比率を同一あるいは異なるように制御する。これにより、３板式カメラ１は、撮像素子１５１の露光時間と撮像素子１５２の露光時間との比率とビームスプリッタＢＳＰ１による可視光の反射率とに応じて、ユーザの嗜好に沿う感度、ダイナミックレンジおよび解像度をそれぞれ適応的に実現した高画質な映像信号を生成できる（図５～図８参照）。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
例えば、上述した実施の形態１では、第１プリズムの一例としてＩＲプリズム３１を例示したが、第１プリズムはＩＲプリズム３１に限定されなくてもよい。例えば、第１プリズムは可視光を反射する可視プリズムでなければ、光Ｌ２のうちＩＲ光および可視光でない他の波長帯域（例えば紫外線の波長帯域）の光を反射するプリズムであってもよい。これにより、ＩＲ映像信号の代わりに例えば紫外線の撮像に基づく映像信号と高解像度化およびダイナミックレンジが拡充したＲＧＢのカラー映像信号とが合成された映像がモニタＭＮ１等に出力可能となる。
また、図２に示す分光プリズム１３において、ＩＲプリズム３１が最も対物側に配置されている例として説明したが、ＩＲプリズム３１は最も対物側に配置されなくても構わない。例えばＩＲプリズム３１は、可視プリズム３２，３３のいずれのプリズムの位置に配置されても構わない。ＩＲプリズム３１が分光プリズム１３においていずれのプリズムの位置に配置されたとしても、撮像素子１５１，１５２が光学的に略１画素（上述参照）分ずれて可視プリズム３２，３３に接着されることで、上述した実施の形態１に係る３板式カメラ１と同様の効果が得られる。
本開示は、蛍光試薬が投与された観察部位のより鮮明な蛍光映像の生成と観察部位のカラー映像の高解像度化とを両立し、医師等による患部の容易な把握を支援する３板式カメラとして有用である。
１ ３板式カメラ
１１ レンズ
１３ 分光プリズム
１７ 映像信号処理部
２１ 画素ずらし合成・高解像度化処理部
２１Ａ 長短露光合成・広ダイナミックレンジ処理部
２３ 可視・ＩＲ合成処理部
３１ ＩＲプリズム
３１ａ、３２ａ、３３ａ 入射面
３１ｂ、３２ｂ 反射面
３１ｃ、３２ｃ、３３ｃ 出射面
３２、３３ 可視プリズム
１５１、１５２、１５３ 撮像素子
１９１、１９２、１９３ カメラ信号処理部
ＢＳＰ１ ビームスプリッタ
ＤＹＭ１ ダイクロイックミラー
ＭＮ１ モニタ

Claims (4)

  1. 観察部位からの光のうちＩＲ光を第１イメージセンサに受光させる第１プリズムと、
    前記観察部位からの光のうちＡ％（Ａ：既定の実数）の可視光を第２イメージセンサに受光させる第２プリズムと、
    残りの（１００－Ａ）％の可視光を第３イメージセンサに受光させる第３プリズムと、
    光学的に略１画素分ずれた位置にそれぞれ接着された前記第２イメージセンサおよび前記第３イメージセンサの撮像出力に基づくカラー映像信号と、前記第１イメージセンサの撮像出力に基づくＩＲ映像信号とを合成してモニタに出力する映像信号処理部と、を備え、
    前記第２イメージセンサの赤色、緑色、青色を有するカラーフィルタと前記第３イメージセンサの赤色、緑色、青色を有するカラーフィルタとが各画素に緑色のカラーフィルタが位置するように配置され、
    前記映像信号処理部は、前記各画素の緑色のカラーフィルタに基づく画素値を選択して前記カラー映像信号を生成する、
    ３板式カメラ。
  2. 前記第１プリズムには、前記ＩＲ光を反射する第１反射膜が形成され、
    前記第２プリズムには、前記第１反射膜を透過した可視光のうち前記Ａ％の可視光を反射しかつ前記（１００－Ａ）％の可視光を透過する第２反射膜が形成され、
    前記第３プリズムには、前記第２反射膜を透過した前記（１００－Ａ）％の可視光が入射する、
    請求項１に記載の３板式カメラ。
  3. 前記Ａ％の値と前記（１００－Ａ）％の値とは略等しい、
    請求項１に記載の３板式カメラ。
  4. 前記第３イメージセンサは、前記第２イメージセンサに対して水平方向および垂直方向のうち少なくとも一方向に光学的に１画素ずれて配置される、
    請求項１に記載の３板式カメラ。
JP2020131042A 2020-07-31 2020-07-31 ３板式カメラ Active JP7477158B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020131042A JP7477158B2 (ja) 2020-07-31 2020-07-31 ３板式カメラ
US17/132,554 US11252382B1 (en) 2020-07-31 2020-12-23 3 MOS camera
DE102021119417.2A DE102021119417A1 (de) 2020-07-31 2021-07-27 3MOS-Kamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020131042A JP7477158B2 (ja) 2020-07-31 2020-07-31 ３板式カメラ

Publications (2)

Publication Number Publication Date
JP2022027195A JP2022027195A (ja) 2022-02-10
JP7477158B2 true JP7477158B2 (ja) 2024-05-01

Family

ID=79300701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020131042A Active JP7477158B2 (ja) 2020-07-31 2020-07-31 ３板式カメラ

Country Status (3)

Country Link
US (1) US11252382B1 (ja)
JP (1) JP7477158B2 (ja)
DE (1) DE102021119417A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6765494B1 (ja) * 2019-10-31 2020-10-07 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 ３板式カメラ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135951A (ja) 2005-11-21 2007-06-07 Olympus Medical Systems Corp ２板撮像装置
JP2013534083A (ja) 2010-05-28 2013-08-29 シートゥーキュア・インコーポレーテッド ２センサー撮像システム
JP2015033032A (ja) 2013-08-05 2015-02-16 キヤノン株式会社 光学機器および画素ずらし画像取得方法
JP2018027272A (ja) 2016-08-19 2018-02-22 ソニー株式会社 撮像システム
WO2018221041A1 (ja) 2017-05-30 2018-12-06 ソニー株式会社 医療用観察システム及び医療用観察装置
JP2019080114A (ja) 2017-10-20 2019-05-23 キヤノンメディカルシステムズ株式会社 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472989A (zh) * 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
JP2016075825A (ja) 2014-10-07 2016-05-12 パナソニックＩｐマネジメント株式会社 色分解プリズム及び撮像装置
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
US20160292506A1 (en) * 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having an optical channel that includes spatially separated sensors for sensing different parts of the optical spectrum
WO2018235225A1 (ja) * 2017-06-22 2018-12-27 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP6765494B1 (ja) * 2019-10-31 2020-10-07 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 ３板式カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135951A (ja) 2005-11-21 2007-06-07 Olympus Medical Systems Corp ２板撮像装置
JP2013534083A (ja) 2010-05-28 2013-08-29 シートゥーキュア・インコーポレーテッド ２センサー撮像システム
JP2015033032A (ja) 2013-08-05 2015-02-16 キヤノン株式会社 光学機器および画素ずらし画像取得方法
JP2018027272A (ja) 2016-08-19 2018-02-22 ソニー株式会社 撮像システム
WO2018221041A1 (ja) 2017-05-30 2018-12-06 ソニー株式会社 医療用観察システム及び医療用観察装置
JP2019080114A (ja) 2017-10-20 2019-05-23 キヤノンメディカルシステムズ株式会社 撮像装置

Also Published As

Publication number Publication date
US11252382B1 (en) 2022-02-15
JP2022027195A (ja) 2022-02-10
DE102021119417A1 (de) 2022-02-03
US20220038610A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
JP7314976B2 (ja) 撮像装置及び撮像方法
WO2018008062A1 (ja) 蛍光観察装置および蛍光観察内視鏡装置
JP5735031B2 (ja) コンパクトな蛍光内視鏡映像システム
US10335019B2 (en) Image pickup element and endoscope device
JP6765494B1 (ja) ３板式カメラ
JP5558688B2 (ja) 眼科装置および画像生成方法
JP6072374B2 (ja) 観察装置
JP5462084B2 (ja) 画像処理装置及びプログラム
JP5159526B2 (ja) 眼底カメラ
US10874293B2 (en) Endoscope device
WO2018043727A1 (ja) 内視鏡システム
JP7477158B2 (ja) ３板式カメラ
US8596784B2 (en) Opthalmology photographing apparatus
JP2023101573A (ja) ３板式カメラおよび４板式カメラ
JP4097959B2 (ja) 内視鏡撮像システム
WO2017042980A1 (ja) 蛍光観察装置および蛍光観察内視鏡装置
WO2023119795A1 (ja) 内視鏡システム及びその作動方法
JP2009125411A (ja) 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム
JP4169957B2 (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240411