JPWO2018221041A1 - 医療用観察システム及び医療用観察装置 - Google Patents

Abstract

【課題】より好適な態様で高画質な画像を取得可能とする。【解決手段】医療用観察装置と画像処理装置とを含み、医療用観察装置は、複数の撮像素子と入射光を複数の光に分離する分岐光学系とを有し、分岐光学系により分離された複数の光のそれぞれは、複数の撮像素子のうちの少なくともいずれかに導光され、複数の撮像素子のうち、２以上の撮像素子それぞれにより互いに明るさの異なる画像が撮像され、２以上の撮像素子については、分岐光学系との間の光学的距離が互いに異なるように配設され、画像処理装置は、互いに明るさの異なる複数の画像に基づく当該複数の画像それぞれよりもダイナミックレンジの広い第１の合成画像と、分岐光学系との間の光学的距離が互いに異なる２以上の撮像素子それぞれにより撮像された複数の画像に基づく当該複数の画像それぞれよりも被写界深度の深い第２の合成画像と、のうち少なくともいずれかを生成する、医療用観察システム。【選択図】図１

Description

本開示は、医療用観察システム及び医療用観察装置に関する。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を備えた、デジタルスチルカメラやデジタルビデオカメラ（以下、これらを総じて「デジタルカメラ」とも称する）等の撮像装置が広く普及している。特に近年では、このような撮像装置は、例えば、内視鏡や手術用顕微鏡等のような医療用の観察装置にも適用されている。

また、ＨＤＲ（High Dynamic Range）やＥＤｏＦ（Extended Depth of Field）と呼ばれる技術のように、デジタルカメラ等の撮像装置により撮像された画像に基づき、当該画像よりも高画質な画像を取得可能とする技術が各種提案されている。例えば、特許文献１には、被写体に対して焦点が合っている距離が異なる複数の画像に基づき、当該複数の画像それぞれよりも被写界深度のより深い合成画像を生成する技術の一例が開示されている。

国際公開第２０１３／０６１８１９号

特に、近年では、撮像素子の高精細化に伴い、より高解像な画像を撮像可能な撮像素子も各種提案されている。そのため、このような撮像素子の利用に際し、より好適な態様で高画質な画像を取得可能とする技術の提供が求められている。

そこで、本開示では、より好適な態様で高画質な画像を取得可能とする医療用観察システム及び医療用観察装置を提案する。

本開示によれば、医療用観察装置と、前記医療用観察装置により撮像された画像に対して画像処理を施す画像処理装置と、を含み、前記医療用観察装置は、複数の撮像素子と、入射光を複数の光に分離する分岐光学系と、を有し、前記分岐光学系により分離された前記複数の光のそれぞれは、前記複数の撮像素子のうちの少なくともいずれかに導光され、前記複数の撮像素子のうち、２以上の撮像素子それぞれにより互いに明るさの異なる画像が撮像され、２以上の撮像素子については、前記分岐光学系との間の光学的距離が互いに異なるように配設され、前記画像処理装置は、互いに明るさの異なる複数の画像に基づく、当該複数の画像それぞれよりもダイナミックレンジの広い第１の合成画像と、分岐光学系との間の光学的距離が互いに異なる前記２以上の撮像素子それぞれにより撮像された複数の画像に基づく、当該複数の画像それぞれよりも被写界深度の深い第２の合成画像と、のうち少なくともいずれかを生成する、医療用観察システムが提供される。

また、本開示によれば、複数の撮像素子と、入射光を複数の光に分離する分岐光学系と、を備え、前記分岐光学系により分離された前記複数の光のそれぞれは、前記複数の撮像素子のうちの少なくともいずれかに導光され、前記複数の撮像素子のうち、２以上の撮像素子により互いに明るさの異なる画像が撮像され、２以上の撮像素子については、前記分岐光学系との間の光学的距離が異なる、医療用観察装置が提供される。

以上説明したように本開示によれば、より好適な態様で高画質な画像を取得可能とする医療用観察システム及び医療用観察装置が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示に係る技術が適用され得る内視鏡撮像システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の一実施形態に係る撮像装置の構成の一例について説明するための説明図である。 同実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る撮像システムの機能構成の一例を示したブロック図である。 変形例１に係る撮像装置の構成の一例について説明するための説明図である。 変形例２に係る撮像装置の構成の一例について説明するための説明図である。 変形例２に係る撮像装置に適用されるダイクロイック膜２５３の分光特性の一例について示した図である。 変形例２に係る撮像装置に適用されるダイクロイック膜２５３の分光特性の一例について示した図である。 本開示の一実施形態に係る内視鏡撮像システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。 本開示の一実施形態に係る撮像システムの応用例について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．撮像システムの構成例
２．高画質な画像を取得可能とする仕組みに関する検討
３．技術的特徴
３．１．撮像装置の構成例
３．２．機能構成
３．３．変形例
４．ハードウェア構成の一例
５．応用例
６．むすび

＜＜１．撮像システムの構成例＞＞
まず、図１及び図２を参照して、本開示の一実施形態に係る撮像システムの概略的な構成の一例として、当該撮像システムを内視鏡撮像システムのような所謂「医療用観察システム」として構成した場合の一例について説明する。

例えば、図１は、本開示に係る技術が適用され得る内視鏡撮像システムの概略的な構成の一例を示す図であり、当該内視鏡撮像システムを所謂内視鏡手術システムとして構成した場合の一例を示している。図１では、術者（医師）１６７が、内視鏡手術システム１００を用いて、患者ベッド１６９上の患者１７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１００は、内視鏡１０１と、その他の術具１１７と、内視鏡１０１を支持する支持アーム装置１２７と、内視鏡下手術のための各種の装置が搭載されたカート１３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ１２５ａ〜１２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ１２５ａ〜１２５ｄから、内視鏡１０１の鏡筒１０３や、その他の術具１１７が患者１７１の体腔内に挿入される。図示する例では、その他の術具１１７として、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３が、患者１７１の体腔内に挿入されている。また、エネルギー処置具１２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具１１７はあくまで一例であり、術具１１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡１０１によって撮影された患者１７１の体腔内の術部の画像が、表示装置１４１に表示される。術者１６７は、表示装置１４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具１２１や鉗子１２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ１１９、エネルギー処置具１２１及び鉗子１２３は、手術中に、術者１６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置１２７は、ベース部１２９から延伸するアーム部１３１を備える。図示する例では、アーム部１３１は、関節部１３３ａ、１３３ｂ、１３３ｃ、及びリンク１３５ａ、１３５ｂから構成されており、アーム制御装置１４５からの制御により駆動される。アーム部１３１によって内視鏡１０１が支持され、その位置及び姿勢が制御される。これにより、内視鏡１０１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡１０１は、先端から所定の長さの領域が患者１７１の体腔内に挿入される鏡筒１０３と、鏡筒１０３の基端に接続されるカメラヘッド１０５と、から構成される。図示する例では、硬性の鏡筒１０３を有するいわゆる硬性鏡として構成される内視鏡１０１を図示しているが、内視鏡１０１は、軟性の鏡筒１０３を有するいわゆる軟性鏡として構成されてもよい。なお、カメラヘッド１０５または当該カメラヘッド１０５を含む内視鏡１０１が、「医療用観察装置」の一例に相当する。

鏡筒１０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０１には光源装置１４３が接続されており、当該光源装置１４３によって生成された光が、鏡筒１０３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１７１の体腔内の観察対象（換言すると、撮像対象物）に向かって照射される。なお、内視鏡１０１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１０５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）１３９に送信される。なお、カメラヘッド１０５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド１０５には撮像素子が複数設けられてもよい。この場合、鏡筒１０３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ１３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１０１及び表示装置１４１の動作を統括的に制御する。具体的には、ＣＣＵ１３９は、カメラヘッド１０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ１３９は、当該画像処理を施した画像信号を表示装置１４１に提供する。また、ＣＣＵ１３９は、カメラヘッド１０５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置１４１は、ＣＣＵ１３９からの制御により、当該ＣＣＵ１３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡１０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置１４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置１４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置１４１が設けられてもよい。

光源装置１４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡１０１に供給する。

アーム制御装置１４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置１２７のアーム部１３１の駆動を制御する。

入力装置１４７は、内視鏡手術システム１００に対する入力インタフェースである。ユーザは、入力装置１４７を介して、内視鏡手術システム１００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置１４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置１４７を介して、アーム部１３１を駆動させる旨の指示や、内視鏡１０１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具１２１を駆動させる旨の指示等を入力する。

入力装置１４７の種類は限定されず、入力装置１４７は各種の公知の入力装置であってよい。入力装置１４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ１５７及び／又はレバー等が適用され得る。入力装置１４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置１４１の表示面上に設けられてもよい。

あるいは、入力装置１４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置１４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置１４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置１４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者１６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置１４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１２１の駆動を制御する。気腹装置１５１は、内視鏡１０１による視野の確保及び術者の作業空間の確保の目的で、患者１７１の体腔を膨らめるために、気腹チューブ１１９を介して当該体腔内にガスを送り込む。レコーダ１５３は、手術に関する各種の情報を記録可能な装置である。プリンタ１５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム１００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置１２７は、基台であるベース部１２９と、ベース部１２９から延伸するアーム部１３１と、を備える。図示する例では、アーム部１３１は、複数の関節部１３３ａ、１３３ｂ、１３３ｃと、関節部１３３ｂによって連結される複数のリンク１３５ａ、１３５ｂと、から構成されているが、図１では、簡単のため、アーム部１３１の構成を簡略化して図示している。実際には、アーム部１３１が所望の自由度を有するように、関節部１３３ａ〜１３３ｃ及びリンク１３５ａ、１３５ｂの形状、数及び配置、並びに関節部１３３ａ〜１３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部１３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部１３１の可動範囲内において内視鏡１０１を自由に移動させることが可能になるため、所望の方向から内視鏡１０１の鏡筒１０３を患者１７１の体腔内に挿入することが可能になる。

関節部１３３ａ〜１３３ｃにはアクチュエータが設けられており、関節部１３３ａ〜１３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置１４５によって制御されることにより、各関節部１３３ａ〜１３３ｃの回転角度が制御され、アーム部１３１の駆動が制御される。これにより、内視鏡１０１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置１４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部１３１の駆動を制御することができる。

例えば、術者１６７が、入力装置１４７（フットスイッチ１５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置１４５によってアーム部１３１の駆動が適宜制御され、内視鏡１０１の位置及び姿勢が制御されてよい。当該制御により、アーム部１３１の先端の内視鏡１０１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部１３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部１３１は、手術室から離れた場所に設置される入力装置１４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置１４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部１３１が移動するように、各関節部１３３ａ〜１３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部１３１に触れながらアーム部１３１を移動させる際に、比較的軽い力で当該アーム部１３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡１０１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡１０１が支持されていた。これに対して、支持アーム装置１２７を用いることにより、人手によらずに内視鏡１０１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置１４５は必ずしもカート１３７に設けられなくてもよい。また、アーム制御装置１４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置１４５は、支持アーム装置１２７のアーム部１３１の各関節部１３３ａ〜１３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置１４５が互いに協働することにより、アーム部１３１の駆動制御が実現されてもよい。

（光源装置）
光源装置１４３は、内視鏡１０１に術部を撮影する際の照射光を供給する。光源装置１４３は、例えばＬＥＤ、レーザー光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザー光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザー光源それぞれからのレーザー光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置１４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡１０１のカメラヘッド１０５及びＣＣＵ１３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド１０５及びＣＣＵ１３９の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド１０５は、その機能として、レンズユニット１０７と、撮像部１０９と、駆動部１１１と、通信部１１３と、カメラヘッド制御部１１５と、を有する。また、ＣＣＵ１３９は、その機能として、通信部１５９と、画像処理部１６１と、制御部１６３と、を有する。カメラヘッド１０５とＣＣＵ１３９とは、伝送ケーブル１６５によって双方向に通信可能に接続されている。

まず、カメラヘッド１０５の機能構成について説明する。レンズユニット１０７は、鏡筒１０３との接続部に設けられる光学系である。鏡筒１０３の先端から取り込まれた観察光は、カメラヘッド１０５まで導光され、当該レンズユニット１０７に入射する。レンズユニット１０７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット１０７は、撮像部１０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部１０９は撮像素子によって構成され、レンズユニット１０７の後段に配置される。レンズユニット１０７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部１０９によって生成された画像信号は、通信部１１３に提供される。

撮像部１０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、ベイヤ（Bayer）配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者１６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部１０９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者１６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１０７も複数系統設けられる。

また、撮像部１０９は、必ずしもカメラヘッド１０５に設けられなくてもよい。例えば、撮像部１０９は、鏡筒１０３の内部に、対物レンズの直後に設けられてもよい。

駆動部１１１は、アクチュエータによって構成され、カメラヘッド制御部１１５からの制御により、レンズユニット１０７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１０９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１３は、ＣＣＵ１３９との間で各種の情報を送受信するための通信装置によって構成される。通信部１１３は、撮像部１０９から得た画像信号をＲＡＷデータとして伝送ケーブル１６５を介してＣＣＵ１３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者１６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部１１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル１６５を介してＣＣＵ１３９に送信される。

また、通信部１１３は、ＣＣＵ１３９から、カメラヘッド１０５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部１１３は、受信した制御信号をカメラヘッド制御部１１５に提供する。なお、ＣＣＵ１３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部１１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部１１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ１３９の制御部１６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１０１に搭載される。

カメラヘッド制御部１１５は、通信部１１３を介して受信したＣＣＵ１３９からの制御信号に基づいて、カメラヘッド１０５の駆動を制御する。例えば、カメラヘッド制御部１１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部１０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部１１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部１１１を介してレンズユニット１０７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部１１５は、更に、鏡筒１０３やカメラヘッド１０５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット１０７や撮像部１０９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド１０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ１３９の機能構成について説明する。通信部１５９は、カメラヘッド１０５との間で各種の情報を送受信するための通信装置によって構成される。通信部１５９は、カメラヘッド１０５から、伝送ケーブル１６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部１５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部１５９は、電気信号に変換した画像信号を画像処理部１６１に提供する。

また、通信部１５９は、カメラヘッド１０５に対して、カメラヘッド１０５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部１６１は、カメラヘッド１０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部１６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部１６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部１６１が複数のＧＰＵによって構成される場合には、画像処理部１６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部１６３は、内視鏡１０１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部１６３は、カメラヘッド１０５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部１６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡１０１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部１６３は、画像処理部１６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部１６３は、画像処理部１６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置１４１に表示させる。この際、制御部１６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部１６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１２１使用時のミスト等を認識することができる。制御部１６３は、表示装置１４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者１６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド１０５及びＣＣＵ１３９を接続する伝送ケーブル１６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１６５を用いて有線で通信が行われていたが、カメラヘッド１０５とＣＣＵ１３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル１６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル１６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム１００の一例について説明した。なお、ここでは、一例として内視鏡手術システム１００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

＜＜２．高画質な画像を取得可能とする仕組みに関する検討＞＞
デジタルカメラ等の撮像装置により撮像された画像に基づき、当該画像よりも高画質な画像を取得可能とする技術が各種提案されている。このような技術の具体的な一例として、ＨＤＲ（High Dynamic Range）やＥＤｏＦ（Extended Depth of Field）と呼ばれる技術が挙げられる。

ＨＤＲは、露出条件の異なる複数の画像（例えば、ダイナミックレンジの異なる複数の画像）を合成することで、当該複数の画像それぞれよりもダイナミックレンジの広い画像を生成する技術である。また、ＥＤｏＦは、例えば、被写体に対して焦点が合っている距離が異なる複数の画像を合成することで、当該複数の画像それぞれよりも被写界深度のより深い画像（即ち、焦点の合う奥行き方向の範囲がより広い画像）を生成する技術である。

このような高画質な画像を取得可能とする技術は、例えば、図１及び図２を参照して前述したような撮像システムへの導入も期待されている。

特に、近年では、撮像素子の高精細化に伴い（即ち、画素ピッチがより狭くなることにより）、より解像度の高い画像を撮像可能となってきている。その一方で、このような高精細な撮像素子により解像度のより高い画像を得られる撮像条件は、画素ピッチのより広い撮像素子に比べて制限される場合がある。具体的な一例として、撮像素子の高精細化に伴い、撮像される画像の解像度がより大きくなるほど焦点深度がより浅くなるため、当該画像の被写界深度がより浅くなる傾向にある。このような特性は、特に４Ｋ以上の解像度においてより顕著に表れる傾向にある。

このような状況を鑑み、本開示では、高精細な撮像素子を利用してより解像度の高い画像を撮像するような状況下においても、高画質な画像をより好適な態様で取得可能とする技術の一例について提案する。

＜＜３．技術的特徴＞＞
以下に、本実施形態に係る撮像装置の技術的特徴について説明する。

＜３．１．撮像装置の構成例＞
まず、図３を参照して、本実施形態に係る撮像装置の概略的な構成の一例について、特に、撮像装置内に入射した光が撮像素子に結像するまでの構成に着目して説明する。図３は、本実施形態に係る撮像装置の構成の一例について説明するための説明図であり、前述した内視鏡手術システム１００のカメラヘッド１０５として適用可能な撮像装置の一例を示している。なお、以降の説明では、図３に示す撮像装置を、カメラヘッド１０５として適用可能な他の撮像装置と明示的に区別するために、「撮像装置１０５ａ」と称する場合がある。

図３に示すように、本実施形態に係る撮像装置１０５ａは、分岐光学系２１１と、第１の撮像素子１０５１〜第３の撮像素子１０５３とを含む。

撮像装置１０５ａにより被写体のカラー画像を撮像する場合には、第１の撮像素子１０５１〜第３の撮像素子１０５３は、例えば、Ｒ画素、Ｂ画素、及びＧ画素が配置されてなる。この場合には、第１の撮像素子１０５１〜第３の撮像素子１０５３としては、例えば、所謂ベイヤ（Bayer）配列を有するものが適用されてもよい。また、他の一例として、撮像装置１０５ａにより被写体の白黒画像を撮像する場合には、第１の撮像素子１０５１〜第３の撮像素子１０５３として、カラーフィルタが設けられていない撮像素子が適用されてもよい。

また、第１の撮像素子１０５１〜第３の撮像素子１０５３としては、有効画素数が、例えば、８Ｋ、４Ｋ等のＵＨＤ（Ultra High−definition）、ＨＤ（High−definition）、あるいはＳＤ（Standard Definition）の解像度に相当するものが適用され得る。なお、第１の撮像素子１０５１〜第３の撮像素子１０５３としては、有効画素数が４Ｋの解像度以上に相当するものであるとより好ましい。

分岐光学系２１１は、撮像装置１０５ａに入射した入射した光（以降では、「入射光」とも称する）を複数の光に分離し、分離した各光を第１の撮像素子１０５１〜第３の撮像素子１０５３にそれぞれ結像させる。

具体的には、図３に示すように、分岐光学系２１１は、第１プリズム２１７と第２プリズム２１８とがビームスプリッタ２１３を介して互いに接合され、かつ、第２プリズム２１８と第３プリズム２１９とがビームスプリッタ２１５を介して互いに接合されたプリズムである。即ち、第１プリズム２１７と第２プリズム２１８との界面に、ビームスプリッタ２１３が設けられている。また、第２プリズム２１８と第３プリズム２１９との界面にビームスプリッタ２１５が設けられている。

ビームスプリッタ２１３は、入射光の一部を反射することで、当該入射光を複数の光に分離する。なお、ビームスプリッタ２１３で反射される光と、当該ビームスプリッタ２１３を透過する光との間の比率は、当該ビームスプリッタ２１３の反射率（換言すると、透過率）に応じて決定される。同様に、ビームスプリッタ２１５は、上記ビームスプリッタ２１３を透過した光の一部を反射することで、当該光を複数の光に分離する。即ち、ビームスプリッタ２１５で反射される光と、当該ビームスプリッタ２１５を透過する光との間の比率は、当該ビームスプリッタ２１５の反射率（換言すると、透過率）に応じて決定される。ビームスプリッタ２１３及び２１５のうち少なくとも一方が、所謂ハーフミラー膜として構成されていてもよい。

第１プリズム２１７は、撮像装置１０５ａへの入射光が入射するとともに、ビームスプリッタ２１３により反射された当該入射光の一部が導光される光路として機能するプリズムである。第２プリズム２１８は、ビームスプリッタ２１３を透過した光が入射するとともに、ビームスプリッタ２１５により反射された当該光の一部が導光される光路として機能するプリズムである。第３プリズム２１９は、ビームスプリッタ２１５を透過した光が導光される光路として機能するプリズムである。

第１プリズム２１７に入射した入射光は、第１プリズム２１７内を直進し、光軸上に斜めに設けられたビームスプリッタ２１３によって一部が反射され、他の一部が当該ビームスプリッタ２１３を透過することで、複数の光に分離される。

ビームスプリッタ２１３によって反射分離された光は、第１プリズム２１７内を導光される。ここで、反射分離された当該光は、図３に示した位置Ａで一度だけ全反射して、第１プリズム２１７の外部へと透過する。これにより、ビームスプリッタ２１３の成膜面の光軸に対する角度を垂直に近づけることができる。逆に言えば、本実施形態に係るビームスプリッタ２１３の光軸上への設置角度は、位置Ａにおける可視光線の全反射条件が成立するように設定されている。第１プリズム２１７を透過した光は、第１の撮像素子１０５１へと導光される。なお、第１プリズム２１７と第１の撮像素子１０５１との間に、他の光学系が介在してもよい。

ビームスプリッタ２１３を透過した光は、第２プリズム２１８に入射する。第２プリズム２１８に入射した光は、当該第２プリズム２１８内を直進し、光軸上に斜めに設けられたビームスプリッタ２１５によって一部が反射され、他の一部が当該ビームスプリッタ２１５を透過することで、複数の光に分離される。

ビームスプリッタ２１５によって反射分離された光は、第２プリズム２１８内を導光される。第２プリズム２１８におけるビームスプリッタ２１５が設けられている側とは逆側の端面（換言すれば、第２プリズム２１８の光軸下流側の出射面）は、光軸に対して垂直となるように設けられている。そのため、ビームスプリッタ２１５によって反射分離された光は、第２プリズム２１８の出射面に対して垂直となる状態を維持したまま、第２プリズム２１８の外部に透過する。第２プリズム２１８を透過した光は、第３の撮像素子１０５３へと導光される。なお、第２プリズム２１８と第３の撮像素子１０５３との間に、他の光学系が介在してもよい。

ビームスプリッタ２１５を透過した光は、第３プリズム２１９に入射して、当該第３プリズム２１９の内部を直進する。第３プリズム２１９におけるビームスプリッタ２１５が設けられている側とは逆側の端面（換言すれば、第３プリズム２１９の光軸下流側の出射面）は、光軸に対して垂直となるように設けられている。そのため、ビームスプリッタ２１５を透過した光は、第３プリズム２１９の出射面に対して垂直となる状態を維持したまま、第３プリズム２１９の外部に透過する。第３プリズム２１９を透過した光は、第２の撮像素子１０５２へと導光される。なお、第３プリズム２１９と第２の撮像素子１０５２との間に、他の光学系が介在してもよい。

また、本実施形態に係る撮像装置１０５ａは、第１の撮像素子１０５１〜第３の撮像素子１０５３のうち２以上の撮像素子により互いに明るさの異なる画像が撮像されるように構成されている。具体的な一例として、撮像装置１０５ａは、第１の撮像素子１０５１、第２の撮像素子１０５２、及び第３の撮像素子１０５３それぞれにより撮像される画像の明るさが、４：４：１となるように構成されているとよい。このような構成により、例えば、第２の撮像素子１０５２及び第３の撮像素子１０５３それぞれにより撮像された、互いに明るさの異なる画像を合成することで、当該画像それぞれよりもダイナミックレンジのより広い画像（例えば、ＨＤＲ（High Dynamic Range）画像）を生成することが可能となる。

なお、２以上の撮像素子により互いに明るさの異なる画像が撮像されれば、当該画像を撮像するための構成は特に限定されない。具体的な一例として、ビームスプリッタ２１３及び２１５の反射率（透過率）を調整することで、第１の撮像素子１０５１〜第３の撮像素子１０５３それぞれに結像する光の光量が調整されてもよい。具体的な一例として、ビームスプリッタ２１３の反射率（透過率）が、透過光と反射光との間の光量の差が５：４となるように調整されていてもよい。また、ビームスプリッタ２１３の反射率（透過率）が、透過光と反射光との間の光量の差が４：１となるように調整されていてもよい。このような構成により、第１の撮像素子１０５１、第２の撮像素子１０５２、及び第３の撮像素子１０５３それぞれに結像する光の光量の比率が４：４：１となる。

また、他の一例として、第１の撮像素子１０５１〜第３の撮像素子１０５３のうち２以上の撮像素子それぞれのシャッタースピードを制御することで、当該２以上の撮像素子に互いに明るさの異なる画像を撮像させてもよい。また、他の一例として、当該２以上の撮像素子それぞれの感度を制御することで、当該２以上の撮像素子に互いに明るさの異なる画像を撮像させてもよい。また、他の一例として、当該２以上の撮像素子のうち少なくとも一方の前段に絞りを設け、当該絞りを制御することで、当該２以上の撮像素子それぞれに結像する光の光量が制御されてもよい。

本実施形態に係る撮像装置１０５ａにおいて、第１の撮像素子１０５１〜第３の撮像素子１０５３のうち２以上の撮像素子は、分岐光学系２１１からの光学的距離が互いに異なるように配設されている。より具体的には、分岐光学系２１１が両側テレセントリックに構成されており、当該２以上の撮像素子は、当該分岐光学系２１１の出射端からの光学的距離が互いに異なるように配設されている。このような構成により、当該２以上の撮像素子は、被写体に対して焦点が合っている距離が互いに異なる画像を撮像することとなる。換言すると、当該２以上の撮像素子は、分岐光学系２１１を基準として焦点距離が互いに異なるとも言える。なお、「光学的距離」とは、光の進む速さから算出される光学的な距離に相当し、光の経路の物理的距離と当該経路における屈折率とにより算出される。

例えば、図３において、参照符号Ｌ１１は、分岐光学系２１１（第１プリズム２１７）のうち、第１の撮像素子１０５１に結像する光が出射する出射端と、当該第１の撮像素子１０５１と、の間の光学的距離を示している。また、参照符号Ｌ１２は、分岐光学系２１１（第３プリズム２１９）のうち、第２の撮像素子１０５２に結像する光が出射する出射端と、当該第２の撮像素子１０５２と、の間の光学的距離を示している。即ち、図３に示す例では、光学的距離Ｌ１１と光学的距離Ｌ１２とが互いに異なるように、第１の撮像素子１０５１及び第２の撮像素子１０５２が配設されていてもよい。

例えば、図４は、本実施形態に係る撮像装置１０５ａの概要について説明するための説明図である。具体的には、図４は、第１の撮像素子１０５１及び第２の撮像素子１０５２のそれぞれと、分岐光学系２１１のように第１の撮像素子１０５１及び第２の撮像素子１０５２それぞれへと光を導光する光学系と、の間の光学的な位置関係を模式的に示している。図４において、参照符号２００は、第１の撮像素子１０５１及び第２の撮像素子１０５２それぞれへと光を導光する光学系を模式的に示しており、撮像装置１０５ａ（例えば、カメラヘッド等）に取り付けられるレンズ等の光学系（例えば、内視鏡、顕微鏡等）や、図３に示す分岐光学系２１１を含み得る。また、参照符号Ｌ１１及びＬ１２は、図３に示す光学的距離Ｌ１１及びＬ１２それぞれを模式的に示している。

図４に示すように、光学系２００を導光した後に当該光学系２００を出射した光が、第１の撮像素子１０５１及び第２の撮像素子１０５２それぞれに結像するまでの光学的距離Ｌ１１及びＬ１２が互いに異なる。即ち、第１の撮像素子１０５１及び第２の撮像素子１０５２は、光学系２００を基準として焦点距離が互いに異なるとも言える。そのため、第１の撮像素子１０５１及び第２の撮像素子１０５２それぞれには、光学系２００からの距離（即ち、被写体距離）が互いに異なる被写体の像が結像することとなる。換言すると、第１の撮像素子１０５１及び第２の撮像素子１０５２は、被写体に対して焦点が合っている距離が互いに異なる画像を撮像することとなる。

具体的な一例として、図４に示す例では、第２の撮像素子１０５２には、参照符号Ｐ１２で示された被写体の像が結像する。例えば、図４において、参照符号Ｌ１６は、光学系２００から被写体Ｐ１２までの光学的距離（換言すると、被写体距離）を模式的に示している。これに対して、第１の撮像素子１０５１は、第２の撮像素子１０５２に比べて、光学系２００からの光学的距離が長い。そのため、第１の撮像素子１０５１には、参照符号Ｐ１１で示された被写体、即ち、光学系２００に対して被写体Ｐ１２よりも離間した被写体の像が結像することとなる。例えば、図４において、参照符号Ｌ１６は、光学系２００から被写体Ｐ１２までの光学的距離（換言すると、被写体距離）を模式的に示している。

このような構成により、例えば、被写体距離が互いに異なる被写体の像が結像する第２の撮像素子１０５２及び第１の撮像素子１０５１それぞれにより撮像された画像を合成することで、当該画像それぞれよりも被写界深度のより深い画像（例えば、ＥＤｏＦ（Extended Depth of Field）画像）を生成することが可能となる。

ところで、図１及び図２を参照して説明した例のように、撮像装置１０５ａを内視鏡１０１のカメラヘッド１０５として構成する場合には、注目している被写体に対して、奥側よりも手前側の方が飽和しやすい傾向にある。そのため、このようなケースにおいては、例えば、図４に示す例において第２の撮像素子１０５２に対応する被写体距離を基準とする場合に、第１の撮像素子１０５１については、被写体距離が当該第２の撮像素子１０５２よりも短くなるように（即ち、より手前側に焦点が合うように）配設されるとよい。即ち、この場合においては、第１の撮像素子１０５１は、第２の撮像素子１０５２に比べて、光学系２００との間の光学的距離がより短くなるように配設されるとよい。

なお、上記では、３つの撮像素子を含む所謂３板構成の撮像装置の一例について説明したが、必ずしも本実施形態に係る撮像装置の構成を限定するものではない。具体的には、分岐光学系により入射光から分離された各光が複数の撮像素子にそれぞれ結像するように構成されていれば、撮像素子の数は４つ以上であってもよい。また、撮像素子を追加することで、ＨＤＲ及びＥＤｏＦに限らず、他の機能を追加することも可能である。具体的な一例として、赤外（ＩＲ）の波長帯域に属する光を検知可能な撮像素子を別途追加することにより、本実施形態に係る撮像装置を、ＩＣＧ（Indocyanine green）等の蛍光体を使用した蛍光観察に応用することも可能である。また、他の一例として、複数の撮像素子間においてベイヤ配列の位相をずらし、当該複数の撮像素子それぞれにより撮像された画像を合成することで、当該画像それぞれよりも解像度の高い画像を生成することも可能である。

以上、図３を参照して、本実施形態に係る撮像装置の概略的な構成の一例について、特に、撮像装置内に入射した光が撮像素子に結像するまでの構成に着目して説明した。

＜３．２．機能構成＞
続いて、図５を参照して、本実施形態に係る撮像システムの概略的な機能構成の一例について、特に、図３を参照して説明した撮像装置１０５ａにより撮像された画像に対して画像処理を施す画像処理装置の構成に着目して説明する。図５は、本実施形態に係る撮像システムの機能構成の一例を示したブロック図である。

図５に示すように、本実施形態に係る撮像システム１は、撮像装置１０５ａと、画像処理装置３００と、出力部３５０とを含む。

撮像装置１０５ａは、図３を参照して説明した撮像装置１０５ａに相当し、例えば、図１に示す内視鏡手術システム１００における内視鏡１０１のカメラヘッド１０５に相当し得る。図３を参照して説明したように、撮像装置１０５ａは、第１の撮像素子１０５１〜第３の撮像素子１０５３を含む。なお、図４では、撮像装置１０５ａの構成として、第１の撮像素子１０５１〜第３の撮像素子１０５３以外の他の構成については図示を省略している。

また、図４に示す例では、第２の撮像素子１０５２を基準として、第１の撮像素子１０５１及び第３の撮像素子１０５３が配設されている。具体的には、第１の撮像素子１０５１は、図３に示す分岐光学系２１１からの距離（換言すると、焦点距離）が第２の撮像素子１０５２とは異なるように配設されている。また、第３の撮像素子１０５３により、第２の撮像素子１０５２よりも低露光の画像（即ち、明るさのより暗い画像）が撮像されるように、撮像装置１０５ａが構成されている。

以上のような構成の基で、第１の撮像素子１０５１〜第３の撮像素子１０５３のそれぞれは、撮像した画像を画像処理装置３００に出力する。なお、以降の説明では、第１の撮像素子１０５１、第２の撮像素子１０５２、及び第３の撮像素子１０５３により撮像された画像を、それぞれ「第１の画像」、「第２の画像」、及び「第３の画像」とも称する。

画像処理装置３００は、撮像装置１０５ａの第１の撮像素子１０５１〜第３の撮像素子１０５３それぞれにより撮像された画像に対して各種画像処理を施すことで出力画像を生成し、生成した当該出力画像を出力部３５０に表示させる。出力部３５０は、所謂ディスプレイ等により構成され、画像等のような提示対象となる情報を表示情報として表示することで、当該情報をユーザに提示する。なお、画像処理装置３００及び出力部３５０は、例えば、図１に示す内視鏡手術システム１００におけるＣＣＵ１３９及び表示装置１４１に相当し得る。

より具体的な一例として、画像処理装置３００は、図４に示すように、第１の画像処理部３０１と、第２の画像処理部３０３と、出力制御部３０５とを含む。

第１の画像処理部３０１は、第１の撮像素子１０５１により撮像された第１の画像と、第２の撮像素子１０５２により撮像された第２の画像とを取得する。第１の画像処理部３０１は、取得した第１の画像及び第２の画像に対して、例えばＥＤｏＦ技術に基づく信号処理を施すことで第１の画像及び第２の画像を合成し、当該第１の画像及び当該第２の画像のいずれよりも被写界深度の深い合成画像（所謂ＥＤｏＦ画像）を生成する。なお、以降の説明では、第１の画像処理部３０１により生成される合成画像を「第１の合成画像」とも称する。第１の画像処理部３０１は、生成した第１の合成画像を出力制御部３０５に出力する。

第２の画像処理部３０３は、第２の撮像素子１０５２により撮像された第２の画像と、第３の撮像素子１０５３により撮像された第３の画像とを取得する。第２の画像処理部３０３は、取得した第２の画像及び第３の画像に対して、例えばＨＤＲ技術に基づく信号処理を施すことで第２の画像及び第３の画像を合成し、当該第２の画像及び当該第３の画像のいずれよりもダイナミックレンジの広い合成画像（所謂ＨＤＲ画像）を生成する。なお、以降の説明では、第２の画像処理部３０３により生成される合成画像を「第２の合成画像」とも称する。第２の画像処理部３０３は、生成した第１の合成画像を出力制御部３０５に出力する。

出力制御部３０５は、第１の撮像素子１０５１により撮像された第１の画像と、第２の撮像素子１０５２により撮像された第２の画像と、に基づく第１の合成画像（ＥＤｏＦ画像）を、第１の画像処理部３０１から取得する。また、出力制御部３０５は、第２の撮像素子１０５２により撮像された第２の画像と、第３の撮像素子１０５３により撮像された第３の画像と、に基づく第２の合成画像（ＨＤＲ画像）を、第２の画像処理部３０３から取得する。出力制御部３０５は、取得した第１の合成画像及び第２の合成画像のうち少なくともいずれかに応じた出力画像を出力部３５０に表示させる。

具体的な一例として、出力制御部３０５は、取得した第１の合成画像及び第２の合成画像を合成することで第３の合成画像を生成し、生成した当該第３の合成画像を出力部３５０に表示させてもよい。このようにして生成された第３の合成画像は、第１の合成画像（ＥＤｏＦ画像）の特性と、第２の合成画像（ＨＤＲ画像）の特性とを有することとなる。即ち、このような構成により、第１の画像〜第３の画像のいずれよりも、被写界深度がより深く、かつダイナミックレンジのより広い第３の合成画像を、出力部３５０を介してユーザに提示することが可能となる。また、他の一例として、出力制御部３０５は、第１の合成画像及び第２の合成画像のいずれかを出力部３５０に表示させてもよい。

また、出力制御部３０５は、上述した第１の合成画像〜第３の合成画像のうち２以上の合成画像の中から、いずれかの合成画像を所定の条件に応じて選択的に切り替えて出力部３５０に表示させてもよい。具体的な一例として、出力制御部３０５は、所定の入力部（図示を省略する）を介したユーザからの指示に応じて、第１の合成画像〜第３の合成画像のうちのいずれかを出力部３５０に表示させてもよい。また、他の一例として、出力制御部３０５は、所定のイベントの検出結果をトリガとして、第１の合成画像〜第３の合成画像のうちのいずれかを出力部３５０に表示させてもよい。

また、出力制御部３０５は、第１の合成画像〜第３の合成画像のうち２以上の合成画像が提示された出力画像を生成し、生成した出力画像を出力部３５０に表示させてもよい。具体的な一例として、出力制御部３０５は、第１の合成画像〜第３の合成画像のうちの一部の合成画像が、他の合成画像の一部の領域に部分画像として提示された出力画像を生成し、当該出力画像を出力部３５０に表示させてもよい。

また、出力部３５０が複数台設けられている場合には、出力制御部３０５は、第１の合成画像〜第３の合成画像のうち２以上の合成画像を、互いに異なる出力部３５０に個別に表示させてもよい。

なお、上述した例はあくまで一例であり、第１の合成画像〜第３の合成画像のうち少なくともいずれかの合成画像を、出力部３５０を介してユーザに提示することが可能であれば、当該合成画像を提示する態様は特に限定されない。

以上、図５を参照して、本実施形態に係る撮像システムの概略的な機能構成の一例について、特に、図３を参照して説明した撮像装置１０５ａにより撮像された画像に対して画像処理を施す画像処理装置の構成に着目して説明した。

＜３．３．変形例＞
続いて、本実施形態に係る撮像装置の変形例について説明する。

（変形例１：２板構成の撮像装置の一例）
まず、変形例１として、図６を参照して、２板構成の撮像装置の構成の一例について説明する。図６は、変形例１に係る撮像装置の構成の一例について説明するための説明図である。なお、以降の説明では、本変形例に係る撮像装置を、前述した実施形態や他の変形例に係る撮像装置と区別するために、「撮像装置１０５ｂ」と称する場合がある。

図６に示すように、変形例１に係る撮像装置１０５ｂは、分岐光学系２３１と、第１の撮像素子１０５４及び第２の撮像素子１０５５とを含む。

第１の撮像素子１０５４及び第２の撮像素子１０５５は、図３を参照して前述した撮像装置１０５ａにおける第１の撮像素子１０５１〜第３の撮像素子１０５３と同様の構成を取り得る。即ち、撮像装置１０５ｂの用途（例えば、カラー画像及び白黒画像のいずれを撮像するか）に応じて、第１の撮像素子１０５４及び第２の撮像素子１０５５として、ベイヤ（Bayer）配列を有するものが適用されてもよいし、カラーフィルタが設けられていない撮像素子が適用されてもよい。また、第１の撮像素子１０５４及び第２の撮像素子１０５５としては、有効画素数が４Ｋの解像度以上のものであるとより好ましい。

分岐光学系２１１は、撮像装置１０５ａに入射した光（即ち、入射光）を複数の光に分離し、分離した各光を第１の撮像素子１０５４及び第２の撮像素子１０５５にそれぞれ結像させる。

具体的には、図６に示すように、分岐光学系２３１は、第１プリズム２３５と第２プリズム２３７とがビームスプリッタ２３３を介して互いに接合されたプリズムである。即ち、第１プリズム２３５と第２プリズム２３７との界面に、ビームスプリッタ２３３が設けられている。

ビームスプリッタ２３３は、入射光の一部を反射することで、当該入射光を複数の光に分離する。なお、ビームスプリッタ２３３で反射される光と、当該ビームスプリッタ２３３を透過する光との間の比率は、当該ビームスプリッタ２３３の反射率（換言すると、透過率）に応じて決定される。

第１プリズム２３５は、撮像装置１０５ｂへの入射光が入射するとともに、ビームスプリッタ２３３により反射された当該入射光の一部が導光される光路として機能するプリズムである。第２プリズム２３７は、ビームスプリッタ２３３を透過した光が導光される光路として機能するプリズムである。

第１プリズム２３５に入射した入射光は、第１プリズム２３５内を直進し、光軸上に斜めに設けられたビームスプリッタ２３３によって一部が反射され、他の一部が当該ビームスプリッタ２３３を透過することで、複数の光に分離される。

ビームスプリッタ２３３によって反射分離された光は、第１プリズム２３５内を導光される。ここで、反射分離された当該光は、図５に示した位置Ａで一度だけ全反射して、第１プリズム２３５の外部へと透過する。これにより、ビームスプリッタ２３３の成膜面の光軸に対する角度を垂直に近づけることができる。逆に言えば、本変形例に係るビームスプリッタ２３３の光軸上への設置角度は、位置Ａにおける可視光線の全反射条件が成立するように設定されている。第１プリズム２３５を透過した光は、第１の撮像素子１０５４へと導光される。なお、第１プリズム２３５と第１の撮像素子１０５４との間に、他の光学系が介在してもよい。

ビームスプリッタ２３３を透過した光は、第２プリズム２３７に入射して、当該第２プリズム２３７の内部を直進する。第２プリズム２３７におけるビームスプリッタ２３３が設けられている側とは逆側の端面（換言すれば、第２プリズム２３７の光軸下流側の出射面）は、光軸に対して垂直となるように設けられている。そのため、ビームスプリッタ２３３を透過した光は、第２プリズム２３７の出射面に対して垂直となる状態を維持したまま、第２プリズム２３７の外部に透過する。第２プリズム２３７を透過した光は、第２の撮像素子１０５５へと導光される。なお、第２プリズム２３７と第２の撮像素子１０５５との間に、他の光学系が介在してもよい。

また、本変形例に係る撮像装置１０５ｂは、第１の撮像素子１０５４及び第２の撮像素子１０５５により互いに明るさの異なる画像が撮像されるように構成されている。具体的な一例として、第１の撮像素子１０５４により、第２の撮像素子１０５５よりも低露光の画像（即ち、明るさのより暗い画像）が撮像されるように、撮像装置１０５ｂが構成されていてもよい。このような構成により、例えば、第２の撮像素子１０５５及び第１の撮像素子１０５４それぞれにより撮像された、互いに明るさの異なる画像を合成することで、当該画像それぞれよりもダイナミックレンジのより広い画像（例えば、ＨＤＲ画像）を生成することが可能となる。なお、第１の撮像素子１０５４及び第２の撮像素子１０５５により互いに明るさの異なる画像が撮像されれば、そのため構成は特に限定されない。

また、本変形例に係る撮像装置１０５ｂにおいて、第１の撮像素子１０５４及び第２の撮像素子１０５５は、分岐光学系２３１からの光学的距離（換言すると、焦点距離）が互いに異なるように配設されている。より具体的には、分岐光学系２３１が両側テレセントリックに構成されており、第１の撮像素子１０５４及び第２の撮像素子１０５５は、当該分岐光学系２３１の出射端からの光学的距離が互いに異なるように配設されている。換言すると、第１の撮像素子１０５４及び第２の撮像素子１０５５は、分岐光学系２３１を基準として焦点距離が互いに異なるとも言える。

例えば、図６において、参照符号Ｌ２１は、分岐光学系２３１（第１プリズム２３５）のうち、第１の撮像素子１０５４に結像する光が出射する出射端と、当該第１の撮像素子１０５４と、の間の光学的距離を示している。また、参照符号Ｌ２２は、分岐光学系２３１（第２プリズム２３７）のうち、第２の撮像素子１０５５に結像する光が出射する出射端と、当該第２の撮像素子１０５５と、の間の光学的距離を示している。即ち、図６に示す例では、光学的距離Ｌ２１と光学的距離Ｌ２２とが互いに異なるように、第１の撮像素子１０５４及び第２の撮像素子１０５５が配設されている。

このような構成により、分岐光学系２３１から光学的距離が互いに異なる（即ち、被写体距離が互いに異なる被写体の像が結像する）第１の撮像素子１０５４及び第２の撮像素子１０５５それぞれにより撮像された画像を合成することで、当該画像それぞれよりも被写界深度のより深い画像（例えば、ＥＤｏＦ画像）を生成することが可能となる。

以上のような構成により、第１の撮像素子１０５４及び第２の撮像素子１０５５それぞれにより撮像される画像を合成することで、当該画像それぞれよりも、ダイナミックレンジがより広く、かつ被写界深度がより深い画像を取得することが可能となる。

以上、変形例１として、図６を参照して、２板構成の撮像装置の構成の一例について説明した。

（変形例２：３板構成の撮像装置の他の一例）
続いて、変形例２として、図７を参照して、３板構成の撮像装置の他の一例について説明する。図７は、変形例２に係る撮像装置の構成の一例について説明するための説明図である。なお、以降の説明では、本変形例に係る撮像装置を、前述した実施形態や他の変形例に係る撮像装置と区別するために、「撮像装置１０５ｃ」と称する場合がある。

図７に示すように、変形例２に係る撮像装置１０５ｃは、分岐光学系２５１と、第１の撮像素子１０５７〜第３の撮像素子１０５９とを含む。

分岐光学系２５１は、撮像装置１０５ｃに入射した光（即ち、入射光）を複数の光に分離し、分離した各光を第１の撮像素子１０５７〜第３の撮像素子１０５９にそれぞれ結像させる。

具体的には、図７に示すように、分岐光学系２５１は、第１プリズム２５７と第２プリズム２５８とがダイクロイック膜２５３を介して互いに接合され、かつ、第２プリズム２５８と第３プリズム２５９とがビームスプリッタ２５５を介して互いに接合されたプリズムである。即ち、第１プリズム２５７と第２プリズム２５８との界面に、ダイクロイック膜２５３が設けられている。また、第２プリズム２５８と第３プリズム２５９との界面にビームスプリッタ２５５が設けられている。

ダイクロイック膜２５３は、撮像装置１０５ｃに入射した光（即ち、入射光）を、可視光波長帯域に属する光のうち一部の波長帯域に属する光と、当該一部の波長帯域とは異なる他の波長帯域に属する光と、に分離する光学膜である。具体的な一例として、ダイクロイック膜２５３は、可視光波長帯域に属する光のうちＲ成分（赤色成分）及びＢ成分（青色成分）を含む波長帯域に属する光を反射し、Ｇ成分（緑色成分）を含む波長帯域に属する光を透過する特性を有する。

例えば、図８及び図９は、変形例２に係る撮像装置に適用されるダイクロイック膜２５３の分光特性の一例について示した図である。具体的には、図８は、ダイクロイック膜２５３の分光反射率の特性の一例を示している。即ち、図８において、横軸は波長（ｎｍ）を示しており、縦軸は分光反射率（％）を示している。また、図９は、ダイクロイック膜２５３の分光透過率の特性の一例を示している。即ち、図９において、横軸は波長（ｎｍ）を示しており、縦軸は分光透過率（％）を示している。図８及び図９に示すように、ダイクロイック膜２５３は、Ｒ成分、Ｇ成分、及びＧ成分の３原色の光のうち、Ｒ成分及びＢ成分を含む波長帯域の光の大部分（例えば、９０％以上）を反射させ、Ｇ成分を含む波長帯域の光の大部分（例えば、９０％以上）を透過させる特性を有している。

第１プリズム２５７は、撮像装置１０５ｃへの入射光が入射するとともに、ダイクロイック膜２５３により反射されたＲ成分及びＢ成分を含む波長帯域に属する光が導光される光路として機能するプリズムである。第２プリズム２５８は、ダイクロイック膜２５３を透過したＧ成分を含む波長帯域に属する光が入射するとともに、ビームスプリッタ２５５により反射された当該光の一部が導光される光路として機能するプリズムである。第３プリズム２５９は、ビームスプリッタ２５５を透過した光（即ち、Ｇ成分を含む波長帯域に属する光の他の一部）が導光される光路として機能するプリズムである。

第１プリズム２５７に入射した入射光は、第１プリズム２５７内を直進し、光軸上に斜めに設けられたダイクロイック膜２５３によって、Ｒ成分及びＢ成分を含む波長帯域に属する光と、Ｇ成分を含む波長帯域に属する光と、に分離される。なお、以降の説明では、便宜上、ダイクロイック膜２５３によって入射光から分離された光のうち、Ｒ成分及びＢ成分を含む波長帯域に属する光を「第１の光」とも称し、Ｇ成分を含む波長帯域に属する光を「第２の光」とも称する。

第１の光は、ダイクロイック膜２５３によって反射されて、第１プリズム２５７内を導光される。ここで、反射分離された第１の光は、図７に示した位置Ａで一度だけ全反射して、第１プリズム２５７の外部へと透過する。これにより、ダイクロイック膜２５３の成膜面の光軸に対する角度を垂直に近づけることができる。逆に言えば、本変形例に係るダイクロイック膜２５３の光軸上への設置角度は、位置Ａにおける可視光線の全反射条件が成立するように設定されている。第１プリズム２５７を透過した光は、第１の撮像素子１０５７へと導光される。なお、第１プリズム２５７と第１の撮像素子１０５７との間に、他の光学系が介在してもよい。

ダイクロイック膜２５３を透過した第２の光は、第２プリズム２５８に入射する。第２プリズム２５８に入射した第２の光は、当該第２プリズム２５８内を直進し、光軸上に斜めに設けられたビームスプリッタ２５５によって一部が反射され、他の一部が当該ビームスプリッタ２５５を透過することで、複数の光に分離される。

ビームスプリッタ２５５によって反射分離された光（即ち、第２の光の一部）は、第２プリズム２５８内を導光される。第２プリズム２５８におけるビームスプリッタ２５５が設けられている側とは逆側の端面（換言すると、第２プリズム２５８の光軸下流側の出射面）は、光軸に対して垂直となるように設けられている。そのため、ビームスプリッタ２５５によって反射分離された光は、第２プリズム２５８の出射面に対して垂直となる状態を維持したまま、第２プリズム２５８の外部に透過する。第２プリズム２５８を透過した光は、第３の撮像素子１０５９へと導光される。なお、第２プリズム２５８と第３の撮像素子１０５９との間に、他の光学系が介在してもよい。

ビームスプリッタ２５５を透過した光（即ち、第２の光の他の一部）は、第３プリズム２５９に入射して、当該第３プリズム２５９の内部を直進する。第３プリズム２５９におけるビームスプリッタ２５５が設けられている側とは逆側の端面（換言すれば、第３プリズム２５９の光軸下流側の出射面）は、光軸に対して垂直となるように設けられている。そのため、ビームスプリッタ２５５を透過した光は、第３プリズム２５９の出射面に対して垂直となる状態を維持したまま、第３プリズム２５９の外部に透過する。第３プリズム２５９を透過した光は、第２の撮像素子１０５８へと導光される。なお、第３プリズム２５９と第２の撮像素子１０５８との間に、他の光学系が介在してもよい。

第１の撮像素子１０５７は、上述の通り、ダイクロイック膜２５３により入射光が分離された各光のうち、当該ダイクロイック膜２５３により反射分離された第１の光が結像する。そのため、例えば、ダイクロイック膜２５３が、Ｒ成分及びＢ成分を含む波長帯域に属する光を反射するように構成されている場合には、第１の撮像素子１０５７は、少なくともＲ画素及びＢ画素を含むように構成される。

より具体的な一例として、第１の撮像素子１０５７は、Ｒ画素及びＢ画素のみが配置されて構成されてもよい。また、他の一例として、第１の撮像素子１０５７は、Ｒ画素、Ｂ画素、及びＧ画素が配置されて構成されてもよい。この場合には、例えば、第１の撮像素子１０５７として、ベイヤ（Bayer）配列を有するものが適用されてもよい。また、第１の撮像素子１０５７としては、有効画素数が４Ｋの解像度以上のものであるとより好ましい。なお、上記第１の光が結像する第１の撮像素子１０５７が、「第６の撮像素子」の一例に相当する。

第２の撮像素子１０５８及び第３の撮像素子１０５９は、上述の通り、ダイクロイック膜２５３により入射光が分離された各光のうち、当該ダイクロイック膜２５３を透過した第２の光が、ビームスプリッタ２５５により分離されてそれぞれ結像する。より具体的には、第２の撮像素子１０５８は、当該第２の光のうち、当該ビームスプリッタ２５５を透過した一部の光が結像する。また、第３の撮像素子１０５９は、当該第２の光のうち、当該ビームスプリッタ２５５により反射分離された他の一部の光が結像する。そのため、例えば、ダイクロイック膜２５３が、Ｒ成分及びＢ成分を含む波長帯域に属する光を反射するように構成されている場合には、第２の撮像素子１０５８及び第３の撮像素子１０５９には、Ｇ成分を含む波長帯域に属する光が結像することとなる。

以上のような構成から、第２の撮像素子１０５８及び第３の撮像素子１０５９としては、例えば、カラーフィルタが設けられていない撮像素子が適用されるとよい。また、他の一例として、第２の撮像素子１０５８及び第３の撮像素子１０５９のうち少なくともいずれかとして、Ｒ画素、Ｂ画素、及びＧ画素が配置されて構成された撮像素子が適用されてもよい。この場合には、例えば、当該撮像素子として、ベイヤ（Bayer）配列を有するものが適用されてもよい。また、第２の撮像素子１０５８及び第３の撮像素子１０５９としては、有効画素数が４Ｋの解像度以上のものであるとより好ましい。なお、ビームスプリッタ２５５によって第２の光から分離された各光が「第３の光」及び「第４の光」の一例に相当する。また、ビームスプリッタ２５５によって第２の光から分離された各光（即ち、第３の光及び第４の光）がそれぞれ結像する第２の撮像素子１０５８及び第３の撮像素子１０５９が、「第４の撮像素子」及び「第５の撮像素子」の一例に相当する。

また、本変形例に係る撮像装置１０５ｃは、第２の撮像素子１０５８及び第３の撮像素子１０５９により互いに明るさの異なる画像が撮像されるように構成されている。具体的な一例として、第３の撮像素子１０５９により、第２の撮像素子１０５８よりも低露光の画像（即ち、明るさのより暗い画像）が撮像されるように、撮像装置１０５ｃが構成されていてもよい。このような構成により、例えば、第１の撮像素子１０５７、第２の撮像素子１０５８、及び第３の撮像素子１０５９それぞれにより撮像された画像を合成することで、当該画像それぞれよりもダイナミックレンジのより広い画像（例えば、ＨＤＲ画像）を生成することが可能となる。なお、第２の撮像素子１０５８及び第３の撮像素子１０５９により互いに明るさの異なる画像が撮像されれば、そのため構成は特に限定されない。

また、本変形例に係る撮像装置１０５ｃにおいて、第２の撮像素子１０５８及び第３の撮像素子１０５９は、分岐光学系２５１からの光学的距離（換言すると、焦点距離）が互いに異なるように配設されている。より具体的には、分岐光学系２５１が両側テレセントリックに構成されており、第２の撮像素子１０５８及び第３の撮像素子１０５９は、当該分岐光学系２５１の出射端からの光学的距離が互いに異なるように配設されている。換言すると、第２の撮像素子１０５８及び第３の撮像素子１０５９は、分岐光学系２５１を基準として焦点距離が互いに異なるとも言える。

例えば、図６において、参照符号Ｌ３２は、分岐光学系２５１（第３プリズム２５９）のうち、第２の撮像素子１０５８に結像する光が出射する出射端と、当該第２の撮像素子１０５８と、の間の光学的距離を示している。また、参照符号Ｌ３３は、分岐光学系２５１（第２プリズム２５８）のうち、第３の撮像素子１０５９に結像する光が出射する出射端と、当該第３の撮像素子１０５９と、の間の光学的距離を示している。即ち、図７に示す例では、光学的距離Ｌ３２と光学的距離Ｌ３３とが互いに異なるように、第２の撮像素子１０５８及び第３の撮像素子１０５９が配設されている。なお、分岐光学系２５１と第１の撮像素子との間の光学的距離については特に限定されない。具体的な一例として、第１の撮像素子は、分岐光学系２５１と当該第１の撮像素子との間の光学的距離が、光学的距離Ｌ３２と略等しくなるように配設されていてもよい。

このような構成により、例えば、第１の撮像素子１０５７、第２の撮像素子１０５８、及び第３の撮像素子１０５９それぞれにより撮像された画像を合成することで、当該画像それぞれよりも被写界深度のより深い画像（例えば、ＥＤｏＦ画像）を生成することが可能となる。

以上、変形例２として、図７〜図９を参照して、３板構成の撮像装置の他の一例について説明する。

＜＜４．ハードウェア構成の一例＞＞
続いて、図１０を参照しながら、前述した内視鏡撮像システム（即ち、内視鏡手術システム）におけるＣＣＵのように、各種処理を実行する情報処理装置（例えば、画像処理装置）のハードウェア構成の一例について、詳細に説明する。図１０は、本開示の一実施形態に係る内視鏡撮像システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

本実施形態に係る内視鏡撮像システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る内視鏡撮像システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１０では図示しないが、内視鏡撮像システムを構成する情報処理装置９００に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る内視鏡撮像システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜＜５．応用例＞＞
続いて、本開示の一実施形態に係る撮像システムの応用例として、図１１を参照して、当該撮像システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明する。

図１１は、本開示の一実施形態に係る撮像システムの応用例について説明するための説明図であり、顕微鏡撮像システムの概略的な構成の一例について示している。具体的には、図１１には、本開示の一実施形態に係る顕微鏡撮像システムが用いられる場合の一適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。

例えば、図１１は、手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図１１を参照すると、施術者（ユーザ）８２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具８２１を使用して、施術台８３０上の施術対象（患者）８４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ８２０である医師が施術対象８４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図１１に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置８１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。

施術台８３０の脇には手術用ビデオ顕微鏡装置８１０が設けられる。手術用ビデオ顕微鏡装置８１０は、基台であるベース部８１１と、ベース部８１１から延伸するアーム部８１２と、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５とを備える。アーム部８１２は、複数の関節部８１３ａ、８１３ｂ、８１３ｃと、関節部８１３ａ、８１３ｂによって連結される複数のリンク８１４ａ、８１４ｂと、アーム部８１２の先端に設けられる撮像ユニット８１５を有する。図１１に示す例では、簡単のため、アーム部８１２は３つの関節部８１３ａ〜８１３ｃ及び２つのリンク８１４ａ、８１４ｂを有しているが、実際には、アーム部８１２及び撮像ユニット８１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部８１３ａ〜８１３ｃ及びリンク８１４ａ、８１４ｂの数や形状、関節部８１３ａ〜８１３ｃの駆動軸の方向等が適宜設定されてもよい。

関節部８１３ａ〜８１３ｃは、リンク８１４ａ、８１４ｂを互いに回動可能に連結する機能を有し、関節部８１３ａ〜８１３ｃの回転が駆動されることにより、アーム部８１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置８１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部８１２の駆動（又は駆動制御）とは、関節部８１３ａ〜８１３ｃの駆動（又は駆動制御）、及び、関節部８１３ａ〜８１３ｃの駆動（又は駆動制御）を行うことによりアーム部８１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。

アーム部８１２の先端には、先端ユニットとして撮像ユニット８１５が接続されている。撮像ユニット８１５は、撮像対象物の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図１１に示すように、アーム部８１２の先端に設けられた撮像ユニット８１５が施術対象８４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置８１０によってアーム部８１２及び撮像ユニット８１５の姿勢や位置が制御される。なお、アーム部８１２の先端に先端ユニットとして接続される撮像ユニット８１５の構成は特に限定されず、例えば、撮像ユニット８１５は、撮像対象物の拡大像を取得する顕微鏡として構成されている。また、撮像ユニット８１５は、当該アーム部８１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット８１５が、アーム部８１２の先端に先端ユニットとして適宜接続されてもよい。なお、当該撮像ユニット８１５として、例えば、前述した実施形態に係る分岐光学系が適用された撮像装置を適用することが可能である。即ち、本応用例においては、撮像ユニット８１５または当該撮像ユニット８１５を含む手術用ビデオ顕微鏡装置８１０が、「医療用観察装置」の一例に相当し得る。また本説明では、先端ユニットとして撮像ユニット８１５が適用されている場合に着目して説明したが、アーム部８１２の先端に接続される先端ユニットは、必ずしも撮像ユニット８１５に限定されない。

また、ユーザ８２０と対向する位置には、モニタやディスプレイ等の表示装置８５０が設置される。撮像ユニット８１５によって撮像された施術部位の画像は、表示装置８５０の表示画面に電子画像として表示される。ユーザ８２０は、表示装置８５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。

以上のような構成により、手術用ビデオ顕微鏡装置８１０によって施術部位の撮像を行いながら手術を行うことが可能となる。

＜＜６．むすび＞＞
以上、説明したように、本実施形態に係る撮像システムは、撮像装置（例えば、図１及び図２に示すカメラヘッド１０５）と、撮像装置により撮像された画像に対して画像処理を施す画像処理装置（例えば、図１及び図２に示すＣＣＵ１３９）とを含む。撮像装置は、複数の撮像素子と、入射光を複数の光に分離する分岐光学系と、を有する。また、当該分岐光学系により分離された複数の光のそれぞれは、当該複数の撮像素子のうちの少なくともいずれかに導光される（即ち、結像する）。このような構成の基で、複数の撮像素子のうち、２以上の撮像素子それぞれにより互いに明るさの異なる画像が撮像され、２以上の撮像素子については、当該分岐光学系との間の光学的距離が互いに異なるように配設される。画像処理装置は、例えば、互いに明るさの異なる複数の画像に基づき、当該複数の画像それぞれよりもダイナミックレンジの広い第１の合成画像を生成してもよい。また、他の一例として、画像処理装置は、分岐光学系との間の光学的距離が互いに異なる上記２以上の撮像素子それぞれにより撮像された複数の画像に基づき、当該複数の画像それぞれよりも被写界深度の深い第２の合成画像を生成してもよい。なお、画像処理装置は、第１の合成画像及び第２の合成画像のうちいずれかを選択的に生成してもよいし、双方を生成してもよい。また、画像処理装置は、第１の合成画像及び第２の合成画像を合成することで第３の合成画像を生成してもよい。

このような構成により、本実施形態に係る撮像システムに依れば、例えば、ダイナミックレンジのより広い画像と、被写界深度のより深い画像との少なくともいずれかを、状況に応じて選択的に取得することも可能である。また、本実施形態に係る撮像システムに依れば、ダイナミックレンジがより広く、かつ被写界深度のより深い画像を取得することも可能である。即ち、本時実施形態に係る撮像システムに依れば、高精細な撮像素子を利用してより解像度の高い画像を撮像するような状況下においても、高画質な画像をより好適な態様で取得することが可能となる。

また、前述したように、本実施形態に係る撮像システムでは、入射光を分岐光学系により分離し、入射光から分離された各光を複数の撮像素子それぞれに結像させている。このような構成のため、当該撮像システムに依れば、複数の機能を組み合わせたシステムに比べて、複数の画像間に生じる視差をより小さく抑える（理想的には、視差を生じさせない）ことが可能となる。また、このような構成のより、当該撮像システムに依れば、１つの撮像素子を利用してＨＤＲ等を実現する場合に比べて、空間解像度や時間解像度をより向上させることが可能となる。また、当該撮像システムは、単体で複数の機能を実現することが可能であるため、複数の機能を組み合わせたシステムに比べてより小型化することも可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ＥＤｏＦ及びＨＤＲに着目してより高画質な画像を生成するための構成の一例について説明した。一方で、複数の画像を合成することでより高画質な画像を生成することが可能であれば、そのための方法は必ずしもＥＤｏＦやＨＤＲのみには限定されない。即ち、本実施形態に係る撮像装置に含まれる複数の撮像素子それぞれにより撮像された画像を合成することで、当該画像よりも高画質な画像を生成することが可能であれば、撮像装置の構成や、画像の合成に係る処理の内容は限定されない。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
医療用観察装置と、
前記医療用観察装置により撮像された画像に対して画像処理を施す画像処理装置と、
を含み、
前記医療用観察装置は、
複数の撮像素子と、入射光を複数の光に分離する分岐光学系と、を有し、
前記分岐光学系により分離された前記複数の光のそれぞれは、前記複数の撮像素子のうちの少なくともいずれかに導光され、
前記複数の撮像素子のうち、２以上の撮像素子それぞれにより互いに明るさの異なる画像が撮像され、２以上の撮像素子については、前記分岐光学系との間の光学的距離が互いに異なるように配設され、
前記画像処理装置は、
互いに明るさの異なる複数の画像に基づく、当該複数の画像それぞれよりもダイナミックレンジの広い第１の合成画像と、
分岐光学系との間の光学的距離が互いに異なる前記２以上の撮像素子それぞれにより撮像された複数の画像に基づく、当該複数の画像それぞれよりも被写界深度の深い第２の合成画像と、
のうち少なくともいずれかを生成する、
医療用観察システム。
（２）
前記複数の撮像素子のうち、第１の撮像素子及び第２の撮像素子により互いに明るさの異なる前記画像が撮像され、
当該第１の撮像素子及び当該第２の撮像素子は、前記分岐光学系との間の光学的距離が互いに異なるように配設される、
前記（１）に記載の医療用観察システム。
（３）
前記複数の撮像素子のうち、第１の撮像素子及び第２の撮像素子により互いに明るさの異なる前記画像が撮像され、
当該複数の撮像素子のうち、前記第１の撮像素子と、前記第２の撮像素子とは異なる第３の撮像素子とは、前記分岐光学系との間の光学的距離が互いに異なるように配設される、
前記（１）に記載の医療用観察システム。
（４）
前記分岐光学系は、
前記入射光から所定の波長帯域に属する第１の光を分離するダイクロイック膜と、
前記入射光から前記第１の光が分離された第２の光を、第３の光及び第４の光に分離するビームスプリッタと、
を含み、
前記複数の撮像素子のうち、前記第３の光が導光される第４の撮像素子と、前記第４の光が導光される第５の撮像素子とにより、互いに明るさの異なる前記画像が撮像され、
前記第４の撮像素子及び前記第５の撮像素子は、前記分岐光学系との間の光学的距離が互いに異なるように配設される、
前記（１）に記載の医療用観察システム。
（５）
前記第４の撮像素子及び前記第５の撮像素子は、カラーフィルタが設けられていない撮像素子である、前記（４）に記載の医療用観察システム。
（６）
前記第２の光は、可視光波長帯域のうちの一部の波長帯域に属する、前記（４）または（５）に記載の医療用観察システム。
（７）
前記第２の光は、Ｇ成分の波長帯域に属する光を含み、
前記第１の光は、Ｒ成分及びＢ成分それぞれの波長帯域に属する光を含む、
前記（６）に記載の医療用観察システム。
（８）
前記複数の撮像素子のうち、前記第１の光が導光される第６の撮像素子は、ベイヤ配列の撮像素子である、前記（４）〜（７）のいずれか一項に記載の医療用観察システム。
（９）
前記複数の撮像素子のうち少なくとも一部の撮像素子により撮像される画像は、解像度が４Ｋ以上である、前記（１）〜（８）のいずれか一項に記載の医療用観察システム。
（１０）
前記第１の合成画像の生成元となる複数の前記画像の取得条件は、対応する撮像素子に導光される光の光量、当該撮像素子の感度、及びシャッタースピードのうち少なくともいずれかが異なる、前記（１）〜（９）のいずれか一項に記載の医療用観察システム。
（１１）
前記第１の合成画像の生成元となる前記画像を撮像する２以上の撮像素子に対して、光量の異なる光が導光されるように、前記入射光を分離する、前記（１０）に記載の医療用観察システム。
（１２）
前記第１の合成画像の生成元となる前記画像を撮像する２以上の撮像素子それぞれの前段に設けられた絞りが制御されることで、当該２以上の撮像素子それぞれに対して光量の異なる光が導光される、前記（１０）に記載の医療用観察システム。
（１３）
前記複数の撮像素子のうち、前記第２の合成画像の生成元となる前記画像を撮像する２以上の撮像素子は、前記分岐光学系の出射端との間の光学的距離が互いに異なるように配設される、前記（１）〜（１２）のいずれか一項に記載の医療用観察システム。
（１４）
前記画像処理装置は、前記第１の合成画像と前記第２の合成画像とに基づき第３の合成画像を生成する、前記（１）〜（１３）のいずれか一項に記載の医療用観察システム。
（１５）
前記医療用観察装置は、
被検体の滞空内に挿入される鏡筒を含む内視鏡部を備え、
前記内視鏡部により取得された前記被検体の像を撮像する、
前記（１）〜（１４）のいずれか一項に記載の医療用観察システム。
（１６）
前記医療用観察装置は、
撮像対象物の拡大像を取得する顕微鏡部を備え、
前記顕微鏡部により取得された前記撮像対象物の像を撮像する、
前記（１）〜（１４）のいずれか一項に記載の医療用観察システム。
（１７）
複数の撮像素子と、
入射光を複数の光に分離する分岐光学系と、
を備え、
前記分岐光学系により分離された前記複数の光のそれぞれは、前記複数の撮像素子のうちの少なくともいずれかに導光され、
前記複数の撮像素子のうち、２以上の撮像素子により互いに明るさの異なる画像が撮像され、２以上の撮像素子については、前記分岐光学系との間の光学的距離が異なる、
医療用観察装置。

１ 撮像システム
１０５ａ 撮像装置
２１１ 分岐光学系
２１３ ビームスプリッタ
２１５ ビームスプリッタ
２１７ 第１プリズム
２１８ 第２プリズム
２１９ 第３プリズム
１０５１ 第１の撮像素子
１０５２ 第２の撮像素子
１０５３ 第３の撮像素子
１０５ｂ 撮像装置
２３１ 分岐光学系
２３３ ビームスプリッタ
２３５ 第１プリズム
２３７ 第２プリズム
１０５４ 第１の撮像素子
１０５５ 第２の撮像素子
１０５ｃ 撮像装置
２５１ 分岐光学系
２５３ ダイクロイック膜
２５５ ビームスプリッタ
２５７ 第１プリズム
２５８ 第２プリズム
２５９ 第３プリズム
１０５７ 第１の撮像素子
１０５８ 第２の撮像素子
１０５９ 第３の撮像素子
３００ 画像処理装置
３０１ 第１の画像処理部
３０３ 第１の画像処理部
３０３ 第２の画像処理部
３０５ 出力制御部
３５０ 出力部

Claims (17)

1. 医療用観察装置と、
   前記医療用観察装置により撮像された画像に対して画像処理を施す画像処理装置と、
   を含み、
   前記医療用観察装置は、
   複数の撮像素子と、入射光を複数の光に分離する分岐光学系と、を有し、
   前記分岐光学系により分離された前記複数の光のそれぞれは、前記複数の撮像素子のうちの少なくともいずれかに導光され、
   前記複数の撮像素子のうち、２以上の撮像素子それぞれにより互いに明るさの異なる画像が撮像され、２以上の撮像素子については、前記分岐光学系との間の光学的距離が互いに異なるように配設され、
   前記画像処理装置は、
   互いに明るさの異なる複数の画像に基づく、当該複数の画像それぞれよりもダイナミックレンジの広い第１の合成画像と、
   分岐光学系との間の光学的距離が互いに異なる前記２以上の撮像素子それぞれにより撮像された複数の画像に基づく、当該複数の画像それぞれよりも被写界深度の深い第２の合成画像と、
   のうち少なくともいずれかを生成する、
   医療用観察システム。
2. 前記複数の撮像素子のうち、第１の撮像素子及び第２の撮像素子により互いに明るさの異なる前記画像が撮像され、
   当該第１の撮像素子及び当該第２の撮像素子は、前記分岐光学系との間の光学的距離が互いに異なるように配設される、
   請求項１に記載の医療用観察システム。
3. 前記複数の撮像素子のうち、第１の撮像素子及び第２の撮像素子により互いに明るさの異なる前記画像が撮像され、
   当該複数の撮像素子のうち、前記第１の撮像素子と、前記第２の撮像素子とは異なる第３の撮像素子とは、前記分岐光学系との間の光学的距離が互いに異なるように配設される、
   請求項１に記載の医療用観察システム。
4. 前記分岐光学系は、
   前記入射光から所定の波長帯域に属する第１の光を分離するダイクロイック膜と、
   前記入射光から前記第１の光が分離された第２の光を、第３の光及び第４の光に分離するビームスプリッタと、
   を含み、
   前記複数の撮像素子のうち、前記第３の光が導光される第４の撮像素子と、前記第４の光が導光される第５の撮像素子とにより、互いに明るさの異なる前記画像が撮像され、
   前記第４の撮像素子及び前記第５の撮像素子は、前記分岐光学系との間の光学的距離が互いに異なるように配設される、
   請求項１に記載の医療用観察システム。
5. 前記第４の撮像素子及び前記第５の撮像素子は、カラーフィルタが設けられていない撮像素子である、請求項４に記載の医療用観察システム。
6. 前記第２の光は、可視光波長帯域のうちの一部の波長帯域に属する、請求項４に記載の医療用観察システム。
7. 前記第２の光は、Ｇ成分の波長帯域に属する光を含み、
   前記第１の光は、Ｒ成分及びＢ成分それぞれの波長帯域に属する光を含む、
   請求項６に記載の医療用観察システム。
8. 前記複数の撮像素子のうち、前記第１の光が導光される第６の撮像素子は、ベイヤ配列の撮像素子である、請求項４に記載の医療用観察システム。
9. 前記複数の撮像素子のうち少なくとも一部の撮像素子により撮像される画像は、解像度が４Ｋ以上である、請求項１に記載の医療用観察システム。
10. 前記第１の合成画像の生成元となる複数の前記画像の取得条件は、対応する撮像素子に導光される光の光量、当該撮像素子の感度、及びシャッタースピードのうち少なくともいずれかが異なる、請求項１に記載の医療用観察システム。
11. 前記第１の合成画像の生成元となる前記画像を撮像する２以上の撮像素子に対して、光量の異なる光が導光されるように、前記入射光を分離する、請求項１０に記載の医療用観察システム。
12. 前記第１の合成画像の生成元となる前記画像を撮像する２以上の撮像素子それぞれの前段に設けられた絞りが制御されることで、当該２以上の撮像素子それぞれに対して光量の異なる光が導光される、請求項１０に記載の医療用観察システム。
13. 前記複数の撮像素子のうち、前記第２の合成画像の生成元となる前記画像を撮像する２以上の撮像素子は、前記分岐光学系の出射端との間の光学的距離が互いに異なるように配設される、請求項１に記載の医療用観察システム。
14. 前記画像処理装置は、前記第１の合成画像と前記第２の合成画像とに基づき第３の合成画像を生成する、請求項１に記載の医療用観察システム。
15. 前記医療用観察装置は、
    被検体の滞空内に挿入される鏡筒を含む内視鏡部を備え、
    前記内視鏡部により取得された前記被検体の像を撮像する、
    請求項１に記載の医療用観察システム。
16. 前記医療用観察装置は、
    撮像対象物の拡大像を取得する顕微鏡部を備え、
    前記顕微鏡部により取得された前記撮像対象物の像を撮像する、
    請求項１に記載の医療用観察システム。
17. 複数の撮像素子と、
    入射光を複数の光に分離する分岐光学系と、
    を備え、
    前記分岐光学系により分離された前記複数の光のそれぞれは、前記複数の撮像素子のうちの少なくともいずれかに導光され、
    前記複数の撮像素子のうち、２以上の撮像素子により互いに明るさの異なる画像が撮像され、２以上の撮像素子については、前記分岐光学系との間の光学的距離が異なる、
    医療用観察装置。

Images