JP6561571B2 - 医療用撮像装置、撮像方法及び撮像装置 - Google Patents

Description

本開示は、医療用撮像装置、撮像方法及び撮像装置に関する。

従来から、シリコン基板内に異なる深さに形成されたフォトダイオードを用いて異なる波長の光を光電変換するイメージセンサ（固体撮像素子）が提案されている（例えば、特許文献１等）。かかるイメージセンサでは、図１１に示すように、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の各色に相当する波長帯域の光を取得するための３つの層のフォトダイオード（光電変換部）２ａ、２ｂ、２ｃから画素２が形成されている。しかし、図１２に示す分光感度曲線のように、シリコン基板内に異なる深さにフォトダイオードを形成することによる波長分離性は高くない。図１２に示した青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の各色の層のセンサによって吸収される波長帯域には、他層のセンサで吸収される波長も多く混ざり合っている。これは混色と言われ、イメージセンサの色再現性に影響を与え、画質劣化の原因になることがわかっている。

上記画質劣化の問題を解決するため、有機光電変換層とシリコンによる無機光電変換層とを積層した構造とするイメージセンサが提案されている（例えば、特許文献２等）。かかるイメージセンサは、有機光電変換層において少なくとも緑色（Ｇ）に相当する波長帯域の光の信号を取り出し、無機光電変換層において赤色（Ｒ）、青色（Ｂ）に相当する波長帯域の光の信号を取り出す構造となっている。この構造では、受光面側に設けられたＧ画素に相当する有機光電変換層により緑色（Ｇ）中心の波長帯域の光が吸収されるため、無機光電変換層での赤色（Ｒ）、青色（Ｂ）の波長分離が改善され、混色の問題が起きにくくなっている。

特表２００２−５１３１４５号公報 特開２００８−２５８４７４号公報 特開２０１３−２２０２５４号公報

腹腔鏡下手術や胸腔鏡下手術等の外科手術向けの内視鏡装置は、ＣＣＤやＣＭＯＳイメージセンサを搭載したカメラヘッドに光学レンズからなる硬性鏡を取り付けて使用される。このような内視鏡装置では、複数回の使用のために滅菌処理が不可欠であり、通常はオートクレーブによる高圧蒸気滅菌処理が施される。高圧蒸気滅菌処理時には１３０℃程度の高温環境下に置かれるため、内視鏡装置のカメラヘッド及び硬性鏡には耐熱性が要求される。しかしながら、上記特許文献２の有機光電変換層のような有機材料は一般的に熱に弱いため、高圧蒸気滅菌処理を施す必要のある機器のイメージセンサには不適である。

そこで、本開示では耐熱性を有するイメージセンサを備える、新規かつ改良された医療用撮像装置、撮像方法及び撮像装置を提案する。

本開示によれば、受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を備える、医療用撮像装置が提供される。

また、本開示によれば、受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を用いて、被写体を撮像すること、固体撮像素子の撮像タイミングに同期して、光源制御部により光源装置の発光制御を行い、被写体に対して所定の波長帯域の光を照射すること、
とを含む、撮像方法が提供される。

さらに、本開示によれば、受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を備える、撮像装置が提供される。

以上説明したように本開示によれば、耐熱性を有するイメージセンサを備える医療用撮像装置、撮像方法及び撮像装置を実現できる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が施されてもよい。

本開示の第１の実施形態に係る内視鏡装置システムの概略構成を示す説明図である。 同実施形態に係る内視鏡装置システムを構成するカメラヘッド、ビデオプロセッサ及び光源装置の構成を示すブロック図である。 同実施形態に係るカメラヘッドのイメージセンサの構成を説明する説明図である。 図３のイメージセンサの分光感度特性を示す説明図である。 同実施形態に係る内視鏡装置システムにおける撮像分光特性を示す説明図である。 同実施形態に係る内視鏡装置システムにおける画像出力までの流れを示す説明図である。 同実施形態に係るビデオプロセッサの他の構成例を示すブロック図である。 本開示の第２の実施形態に係るカメラヘッドのイメージセンサの構成を説明する説明図である。 図８に示すイメージセンサのカラーフィルタの一構成例を示す概略平面図である。 同実施形態に係る内視鏡装置システムにおける撮像分光特性を示す説明図である。 本開示の関連技術に係るイメージセンサの一構造例を示す説明図である。 図１１のイメージセンサの分光感度曲線の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施の形態（撮像タイミングと光源発光との同期）
１．１．内視鏡装置システムの構成
１．２．内視鏡装置システムによる撮影
１．３．まとめ
２．第２の実施の形態（カラーフィルタ）
２．１．イメージセンサの構成
２．２．撮像方法
２．３．まとめ
３．変形例
３．１．検出波長帯域について
３．２．適用対象

＜１．第１の実施形態＞
［１．１．内視鏡装置システムの構成］
まず、図１及び図２を参照して、本開示の第１の実施形態に係る内視鏡装置システム１の概略構成について説明する。なお、図１は、本実施形態に係る内視鏡装置システム１の概略構成を示す説明図である。図２は、本実施形態に係る内視鏡装置システム１を構成するカメラヘッド２０、ビデオプロセッサ３０及び光源装置４０の構成を示すブロック図である。

本実施形態に係る内視鏡装置システム１は、図１に示すように、硬性鏡１０と、カメラヘッド２０と、ビデオプロセッサ３０と、光源装置４０と、モニタ５０とから構成されている医療用撮像装置である。なお、本開示において、医療用撮像装置とは、少なくともカメラヘッド２０のイメージセンサを備えている撮像装置をいう。

硬性鏡１０は、患者の体内に挿入される挿入部分が硬質の材料からなる内視鏡であり、複数の光学レンズからなる。硬性鏡１０は、光ファイバ６５によって光源装置４０と接続されており、光ファイバ６５を介して光源装置４０からの光が挿入部分から出射され、被写体である観察対象が照明される。また、硬性鏡１０の他端（挿入部分と反対側）にはカメラヘッド２０が接続されている。

カメラヘッド２０は、硬性鏡１０を介して観察対象を撮像する。カメラヘッド２０は、カプラー（図示せず。）により硬性鏡１０と接続されている。カメラヘッド２０は、図２に示すように、硬性鏡１０を介して観察対象の画像をイメージセンサ２３に結像する結像レンズ２１と、観察対象の画像を取得するイメージセンサ２３と、イメージセンサ２３とデータの送受信を行う画像伝送部２５とからなる。

結像レンズ２１により結像された画像はイメージセンサ２３にて電子化され、ＲＡＷ（Ｒａｗ Ｉｍａｇｅ Ｆｏｒｍａｔ）画像データとして、画像伝送ケーブル６１を介して画像伝送部２５からビデオプロセッサ３０に伝送される。また、画像伝送部２５は、画像伝送ケーブル６１を介してビデオプロセッサ３０からの指示を受け、制御信号をイメージセンサ２３へ出力する。本実施形態に係るカメラヘッド２０は、オートクレーブによる高圧蒸気滅菌処理が施される部材であり、耐熱性が要求されるものである。

ビデオプロセッサ３０は、カメラヘッド２０にて撮像された画像に対して補間処理等を施し、現像する。ビデオプロセッサ３０は、図２に示すように、画像受信部３１と、補間処理部３３と、画像出力部３５と、制御部３７とからなる。

ビデオプロセッサ３０は、画像受信部３１にてカメラヘッド２０からＲＡＷ画像データを受信すると、補間処理部３３にてカメラ信号処理を実行し、モニタ表示可能な画像データ信号に変換する。補間処理部３３にて変換された画像データは、画像出力部３５を介して、ビデオケーブル６７によりビデオプロセッサ３０と接続された外部のモニタ５０に出力される。制御部３７は、映像同期パルスに従ってビデオプロセッサ３０の各処理部を制御するとともに、カメラヘッド２０を制御するため、カメラヘッド２０に対して制御信号を出力する。また、制御部３７は、観察対象への照射光を画像処理と連動して出射させるため、制御線６３を介して光源装置４０に対して制御信号を出力する。

光源装置４０は、硬性鏡１０に照明を供給する光源装置４０である。光源装置４０は、光源制御部４１と、発光部４３と、光出力部４５とからなる。光源制御部４１は、ビデオプロセッサ３０からの制御信号に基づいて、発光部４３の発光制御を行う。発光部４３は、可視光域の光を発光可能な光源である。本実施形態では、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の光をそれぞれ発光可能に構成されている。発光部４３から発せられた光は、光出力部４５から光ファイバ６５を介して硬性鏡１０へ出力される。本実施形態に係る光源装置４０は、イメージセンサ２３の撮像フレームレートに合わせて発光部４３の発光パターンを制御可能に構成される。したがって、発光部４３は、例えばＬＥＤやレーザーデバイス等のように、高速の発光制御が可能なデバイスで構成される。

モニタ５０は、ビデオプロセッサ３０により生成された画像を表示する出力装置である。モニタ５０は、例えば、液晶ディスプレイ装置や有機ＥＬディスプレイ装置等であってもよい。

以上、本実施形態に係る内視鏡装置システム１の構成について説明した。

［１．２．内視鏡装置システムによる撮影］
次に、図３〜図７に基づいて、本実施形態に係る内視鏡装置システム１による観察対象の撮像方法について説明する。

（１）イメージセンサの構成
本実施形態に係る内視鏡装置システム１による観察対象の撮像方法を説明するにあたり、まず、図３及び図４に基づいて、本実施形態に係るカメラヘッド２０のイメージセンサ２３の構成について説明する。図３は、本実施形態に係るカメラヘッド２０のイメージセンサ２３の構成を説明する説明図である。図４は、図３のイメージセンサ２３の分光感度特性を示す説明図である。

本実施形態に係る内視鏡装置システム１のカメラヘッド２０は、シリコン基板に受光面から深さ方向に２層以上の光電変換層が積層された光電変換部を有し、異なる波長帯域の光を分離可能なイメージセンサ２３を備えている。例えば、図３に示すように、光電変換部２３Ａは、受光面から深さ方向に、異なる波長帯域の光を取得するための２つの光電変換層２３ａ、２３ｂから形成されている。受光面側にある第１の光電変換層２３ａは、短い波長を吸収して光電変換する画素（以下、「Ｓ画素」とも称する。）である。一方、第１の光電変換層２３ａより下層にある第２の光電変換層２３ｂは、長い波長を吸収して光電変換する画素（以下、「Ｌ画素」とも称する。）である。例えば、Ｓ画素は青色画素（Ｂ画素）であり、Ｌ画素は赤色画素（Ｒ画素）である。このような光電変換部からなるイメージセンサ２３は、有機光電変換層を備えていないため、高圧蒸気滅菌処理が可能である。

本実施形態に係るイメージセンサ２３のような積層型の固体撮像素子においては、解像度の低下を抑制することができる。比較として、例えば単板式の固体撮像素子では、画素を微細化するため、感度の低下やカラーフィルタ配列に起因する解像度の低下により画質の劣化が生じる。これに対して、積層型の固体撮像素子では、１画素で複数の波長帯の信号を取得できるため、解像度の低下を抑制できる。また、カラーフィルタで吸収してしまう光を損失せずに取得できるため、感度低下を抑制することもできる。

一方、積層型の固体撮像素子においては、上述したように波長分離性が高くないため混色が発生し、画質が劣化することがわかっている。これに対して、例えば上記特許文献２のように、有機光電変換層を積層し、混色が発生しにくくすることも提案されているが、有機材料は高圧蒸気滅菌処理に耐え得る耐熱性を備えていないため、本実施形態に係る内視鏡装置システム１には適用できない。

そこで、本実施形態に係るイメージセンサ２３は、有機光電変換層を配置せず、無機光電変換層２３ａ、２３ｂにて青色（Ｂ）及び赤色（Ｒ）に相当する波長帯域の光を取得する構成とする。そして、イメージセンサ２３による撮像タイミングに同期して光源装置４０を発光制御することで、時分割的にＧ信号とＲ、Ｂ信号とを分離する。

すなわち、図３に示すように、青色画素（Ｂ画素）として機能する第１の光電変換層２３ａと、赤色画素（Ｒ画素）として機能する第２の光電変換層２３ｂとを積層して形成されたイメージセンサ２３において、シリコン基板の深さに応じた波長分離性はさほど高くない。例えば、図４に示すように、Ｂ画素とＲ画素とでは、吸収する光の波長帯域が重複する部分がある。このため、青色（Ｂ）と赤色（Ｒ）との間にある緑色（Ｇ）の波長帯域の光は、第１の光電変換層２３ａであるＢ画素及び第２の光電変換層２３ｂであるＲ画素の双方で光電変換されることになる。そこで、本実施形態では、混色を防止するため、時分割的に光源装置４０が発光する光の波長帯域を変化させて、各色に対応する波長帯域の光を分離し、画質の劣化を防止する。

（２）撮像方法
以下、図５〜図７に基づき、本実施形態に係る内視鏡装置システム１における観察対象の撮像方法について詳細に説明する。図５は、本実施形態に係る内視鏡装置システム１における撮像分光特性を示す説明図である。図６は、本実施形態に係る内視鏡装置システム１における画像出力までの流れを示す説明図である。図７は、本実施形態に係るビデオプロセッサの他の構成例を示すブロック図である。

本実施形態に係る内視鏡装置システム１では、イメージセンサ２３と光源装置４０とを連動させて、時系列的に、光源装置４０にて異なる波長帯域の光を発光させるとともに、イメージセンサ２３によって緑色（Ｇ）と赤色（Ｒ）及び青色（Ｂ）との信号を取得する。図５に撮像分光特性の概念図を示す。

光源装置４０は、ビデオプロセッサ３０の制御部３７から与えられる垂直同期信号に基づき、イメージセンサ２３の撮像タイミングに合わせて、所定の波長帯域の光を発光する。例えば、図５に示すように、ある時刻ｔにおいて、光源装置４０の光源制御部４１は、イメージセンサ２３の撮像タイミングに合わせて、発光部４３に図５の上段左に示す緑色（Ｇ）の波長帯域の光を発光させる。このとき、イメージセンサ２３のＳ画素（ここでは青色画素）及びＬ画素（ここでは赤色画素）は、図５の上段中央に示したセンサ分光感度特性で光を吸収する。これにより、Ｓ画素及びＬ画素により、図５の上段右に示すような撮像分光感度特性での撮像が行われる。

イメージセンサ２３のＳ画素、Ｌ画素の信号は、画像伝送部２５からビデオプロセッサ３０に出力される。そして、補間処理部３３において、図５の上段右に示すＳ画素信号とＬ画素信号とが加算され、緑色（Ｇ）の画素信号が得られる。

次いで、光源装置４０は、続く時刻ｔ＋１において、制御部３７からの指示によりマゼンタ色（Ｍ）の発光を行う。マゼンタ色（Ｍ）の発光は、赤色発光と青色発光との混合により実現される。光源装置４０の光源制御部４１は、イメージセンサ２３の撮像タイミングに合わせて、発光部４３に図５の下段左に示すように、青色（Ｂ）及び赤色（Ｒ）の波長帯域の光を発光させ、マゼンタ色（Ｍ）を発光させる。このとき、イメージセンサ２３のＳ画素（ここでは青色画素）及びＬ画素（ここでは赤色画素）は、図５の下段中央に示したセンサ分光感度特性で光を吸収する。これにより、Ｓ画素及びＬ画素により、図５の下段右に示すような撮像分光感度特性での撮像が行われる。

イメージセンサ２３のＳ画素、Ｌ画素の信号は、画像伝送部２５からビデオプロセッサ３０に出力される。そして、補間処理部３３において、図５の下段右に示すＳ画素信号を青色（Ｂ）の画素信号として得る。また、図５の下段右に示すＬ画素信号を赤色（Ｒ）の画素信号として得る。

ビデオプロセッサ３０の制御部３７は、上記の時刻ｔと時刻ｔ＋１との撮像動作を繰り返す。これにより、イメージセンサ２３を構成する全画素においてＧ画素を取得するフレーム（Ｇフレーム）と、イメージセンサ２３を構成する全画素においてＢ画素及びＲ画素を同時取得するフレーム（ＲＢフレーム）を交互に実現する。ビデオプロセッサ３０の補間処理部３３は、ＧフレームとＲＢフレームとの信号から同期化処理を行うことにより、イメージセンサ２３の全画素について、青色（Ｂ）画素、緑色（Ｇ）画素、赤色（Ｒ）画素を持つ画像データを出力することができる。

図６に、本実施形態に係る内視鏡装置システム１において画像を出力するまでの流れを示す。図６の水平方向は時間を示しており、ビデオフレームに同期して１列ごとに右側へ遷移する。カメラヘッド２０、ビデオプロセッサ３０及び光源装置４０は、ビデオ同期信号により同期している。

まず、フレームＦｔでは、光源装置４０において緑色（Ｇ）の発光が行われる。上述のように、撮像分光特性は、光源分光強度とイメージセンサ２３の分光感度特性との合成により、図６の上から２段目のようになる。このとき、ビデオプロセッサ３０の補間処理部３３は、イメージセンサ２３から出力されるＳ画素とＬ画素との輝度値を足し合わせることにより、イメージセンサ２３全面における緑色（Ｇ）の画素の輝度値を生成する。

次いで、フレームＦｔ＋１では、光源装置４０においてマゼンタ色（Ｍ）の発光が行われる。上述のように、撮像分光特性は、光源分光強度とイメージセンサ２３の分光感度特性との合成により、図６の上から２段目のようになる。なお、イメージセンサのＳ画素の輝度値は青色（Ｂ）の画素の輝度値であり、Ｌ画素の輝度値は赤色（Ｒ）の画素の輝度値となる。したがって、ビデオプロセッサ３０の補間処理部３３は、イメージセンサ２３全面における青色（Ｂ）の画素及び赤色（Ｒ）の画素の輝度値を生成する。

ここで、フレームＦｔにおける青色（Ｂ）の画素及び赤色（Ｒ）の画素の輝度値は、前後のフレームからの補間処理により生成してもよい。補間処理としては、例えば、１フレーム前のフレームＦｔ−１における青色（Ｂ）の画素の輝度値及び赤色（Ｒ）の画素の輝度値をそのまま用いる０次補間処理を適用してもよい。あるいは、１フレーム前のフレームＦｔ−１における青色（Ｂ）の画素の輝度値及び赤色（Ｒ）の画素の輝度値と、１フレーム後のフレームＦｔ＋１における青色（Ｂ）の画素の輝度値及び赤色（Ｒ）の画素の輝度値から線形的に補間を行う１次補間処理を適用してもよい。

さらに、補間処理部３３は、前後のフレーム間で検出された画像中の物体の動きに応じて補間処理を行ってもよい。この場合、例えば図７に示すように、ビデオプロセッサ３０Ａには、動き検出部３９が設けられてもよい。動き検出部３９は、制御部３７により映像同期パルスに従って制御される。動き検出部３９は、画像受信部３１が受信したＲＡＷ画像データを受信すると、画像中の物体の動きを検出し、動き情報として補間処理部３３へ出力する。これにより、補間処理部３３は、動き検出部３９から受信した動き情報に基づいて、画像受信部３１から入力された画像データの動き補償を行うことが可能となる。

補間処理部３３は、このような補間処理を施すことにより、フレームＦｔにおいてイメージセンサ２３全面における青色（Ｂ）の画素及び赤色（Ｒ）の画素の輝度値を生成する。

同様に、フレームＦｔ＋１における緑色（Ｇ）の画素の輝度値は、１フレーム前のフレームＦｔにおける緑色（Ｇ）の画素の輝度値と、１フレーム後のフレームＦｔ＋２における緑色（Ｇ）の画素の輝度値とを用いて、補間処理を施してもよい。これにより、イメージセンサ２３全面における緑色（Ｇ）の画素の輝度値が生成される。

これらの補間処理は、例えば上記特許文献３に記載のような技術を用いてもよい。そして、補間処理部３３は、さらにＲ、Ｇ、Ｂのゲイン調整によるホワイトバランス処理等の色補正処理やノイズ低減処理等の画質改善処理を行い、最終的な映像信号を生成する。

上記処理は、フレームＦｔ＋２、Ｆｔ＋３、・・・とビデオフレームが進む毎に、緑色（Ｇ）の画素の輝度値の生成と、青色（Ｂ）の画素及び赤色（Ｒ）の画素の輝度値の生成とが繰り返し行われる。すなわち、本実施形態に係る内視鏡装置システム１では、時分割的に、緑色（Ｇ）の画像信号を取得するフレームと、青色（Ｂ）の画像信号及び赤色（Ｒ）の画像信号を取得するフレームとで撮像が行われる。

なお、撮像フレームレートを、映像出力フレームレートの２倍に設定すると、１つの映像出力フレームレートにＧフレームとＲＢフレームとの２つの撮像フレームレートを含めることができる。すなわち、映像出力フレームレートにおける各フレームに対して青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の全ての信号を取得することが可能となる。このように、倍速撮像することで、より解像度の高い画像を得ることができるようになる。

［１．３．まとめ］
以上、本開示の第１の実施形態に係る内視鏡装置システム１の構成とこれによる観察対象の撮像方法について説明した。本実施形態によれば、積層型のイメージセンサ２３を用いることで、カラーフィルタを配置して色分割を行う単板式のイメージセンサと比較して、全画素において赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各輝度値を得ることが可能となる。したがって得られる画像の解像度を向上させることができる。

そして、本実施形態に係る内視鏡装置システム１のように、手術用内視鏡装置等の医療機器においては、高圧蒸気滅菌処理が施されることがあるため、イメージセンサ２３に耐熱性が要求されている。本実施形態に係る内視鏡装置システム１は、イメージセンサ２３に有機材料を用いることなく実現できるため、高圧蒸気滅菌処理に耐え得る十分な耐熱性を備えるものとなっている。

また、本実施形態に係る内視鏡装置システム１では、２フレームの時分割処理で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各画素の輝度値を得ることができる。従来の、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を発光する光源装置と単板式のモノクロイメージセンサとを用いた時分割的な撮像では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各輝度値を得ることはできたが、時間的なズレが大きくなり色割れ（いわゆるカラーブレーキング）が発生していた。本実施形態に係る撮像方法では、２フレームの時分割処理で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各画素の輝度値を得ることができるため、色割れの発生を低減することができる。

さらに、本実施形態に係る内視鏡装置システム１では、イメージセンサ２３の撮像タイミングに同期した光源装置４０の発光制御を行うことで、混色が生じる波長帯域での色分離を実現することができる。これにより、従来の積層型のイメージセンサに生じていた混色の発生を防止し、画質劣化を防止することができる。

＜２．第２の実施形態＞
次に、図８〜図１０に基づいて、本開示の第２の実施形態に係る内視鏡装置システムについて説明する。本実施形態に係る内視鏡装置システムは、第１の実施形態と比較して、イメージセンサの構成が相違しており、これにより光源装置４０の発光制御も不要となる。以下では、第１の実施形態との相違点について主として説明し、同一の機能構成についての詳細な説明は省略する。

［２．１．イメージセンサの構成］
まず、図８及び図９に基づいて、本実施形態に係る内視鏡装置システムのイメージセンサの構成について説明する。図８は、本実施形態に係るカメラヘッドのイメージセンサの構成を説明する説明図である。図９は、図８に示すイメージセンサのカラーフィルタ２３ｃの一構成例を示す概略平面図である。なお、内視鏡装置システム自体の構成は、図１〜図３に示した第１の実施形態の内視鏡装置システム１の構成とほぼ同一であるため、ここでは詳細な説明を省略する。

本実施形態に係る内視鏡装置システムのカメラヘッドに設けられるイメージセンサは、シリコン基板に受光面から深さ方向に２層以上の光電変換層が積層された光電変換部を有し、異なる波長帯域の光を分離可能であるとともに、光電変換部の上面にカラーフィルタを備えている。例えば、図８に示すように、光電変換部２３Ｂは、受光面から深さ方向に、異なる波長帯域の光を取得するための２つの光電変換層２３ａ、２３ｂと、これらの上層に設けられたカラーフィルタ２３ｃとから形成されている。

受光面側にある第１の光電変換層２３ａは、短い波長を吸収して光電変換する画素（Ｓ画素）であり、第１の光電変換層２３ａより下層にある第２の光電変換層２３ｂは、長い波長を吸収して光電変換する画素（Ｌ画素）である。例えば、Ｓ画素は青色画素（Ｂ画素）であり、Ｌ画素は赤色画素（Ｒ画素）である。

また、第１の光電変換層２３ａの上層には、カラーフィルタ２３ｃが設けられている。カラーフィルタ２３ｃは、図９に示すように、緑色（Ｇ）の画像信号を取り出すための緑カラーフィルタＣＦ_Ｇと、マゼンタ色（Ｍ）の画像信号、すなわち青色（Ｂ）及び赤色（Ｒ）の画像信号を取り出すためのマゼンタカラーフィルタＣＦ_Ｍとが、市松模様に配置されている。つまり、カラーフィルタ２３ｃによって、緑色（Ｇ）画素とマゼンタ色（Ｍ）画素とが空間分割的に配置されている状態を実現できる。なお、カラーフィルタ２３ｃは、カメラヘッド２０に対して高圧蒸気滅菌処理を施す場合には、耐熱性を高めるため、無機材料から形成される。当該イメージセンサ２３が、内視鏡装置システムのような耐熱性を要求される機器に設けられない場合には、カラーフィルタ２３ｃは有機材料から形成してもよい。

本実施形態に係るイメージセンサ２３は、単体で各色に対応する波長帯域の光を分離することができるので、内視鏡装置システムの光源装置は、イメージセンサ２３の撮像タイミングと同期させる必要はない。光源装置は、例えば白色光を実現可能な装置であればよく、イメージセンサ２３による撮影時に観察対象に対して光を照射できればよい。

［２．２．撮像方法］
以下、図１０に基づき、本実施形態に係る内視鏡装置システムにおける観察対象の撮像方法について詳細に説明する。図１０は、本実施形態に係る内視鏡装置システムにおける撮像分光特性を示す説明図である。

本実施形態に係る内視鏡装置システムでは、カラーフィルタ２３ｃを備えるイメージセンサ２３により、空間分割的に、異なる波長帯域の光の信号が取得される。すなわち、緑カラーフィルタＣＦ_Ｇが設けられた領域では、Ｓ画素及びＬ画素により吸収される光の波長帯域は、図１０の上段左に示すように緑色（Ｇ）の波長帯域となる。緑カラーフィルタＣＦ_Ｇを通過したこの光は、図１０の上段中央に示すセンサ分光感度特性でＳ画素及びＬ画素に吸収される。これにより、Ｓ画素及びＬ画素により、図１０の上段右に示すような撮像分光感度特性での撮像が行われる。

イメージセンサ２３のＳ画素、Ｌ画素の信号は、画像伝送部２５からビデオプロセッサ３０に出力される。そして、補間処理部３３において、図１０の上段右に示すＳ画素信号とＬ画素信号とが加算され、緑色（Ｇ）の画素信号が得られる。

一方、マゼンタカラーフィルタＣＦ_Ｍが設けられた領域では、Ｓ画素及びＬ画素により吸収される光の波長帯域は、図１０の下段左に示すようにマゼンタ色（Ｍ）、すなわち、青色（Ｂ）及び赤色（Ｒ）の波長帯域となる。マゼンタカラーフィルタＣＦ_Ｍを通過したこの光は、図１０の下段中央に示すセンサ分光感度特性でＳ画素及びＬ画素に吸収される。これにより、Ｓ画素及びＬ画素により、図１０の下段右に示すような撮像分光感度特性での撮像が行われる。

イメージセンサ２３のＳ画素、Ｌ画素の信号は、画像伝送部２５からビデオプロセッサ３０に出力される。そして、補間処理部３３において、図１０の下段右に示すＳ画素信号を青色（Ｂ）の画素信号として得る。また、図１０の下段右に示すＬ画素信号を赤色（Ｒ）の画素信号として得る。

このように、本実施形態に係る内視鏡装置システムのイメージセンサ２３を用いることで、各撮像フレームにおいて、空間分割的に各画素の画像信号をそれぞれ取得することが可能となる。

［２．３．まとめ］
以上、本開示の第２の実施形態に係る内視鏡装置システムのイメージセンサの構成とこれによる観察対象の撮像方法について説明した。本実施形態によれば、カラーフィルタを備える積層型のイメージセンサ２３を用いる。有機材料を用いずイメージセンサ２３を構成することで、高圧蒸気滅菌処理に耐え得る十分な耐熱性を備えるようにすることができる。また、本実施形態に係るイメージセンサ２３では、カラーフィルタを用いて空間分割的に観察対象を撮影するので、光源装置の発光制御をイメージセンサ２３の撮像タイミングに同期させる必要がなく、汎用性の高いシステムを実現することができる。

＜３．変形例＞
［３．１．検出波長帯域について］
第１の実施形態に係るイメージセンサ２３は、青色（Ｂ）、赤色（Ｒ）の波長帯域を分離可能に構成されており、第２の実施形態に係るイメージセンサ２３は、カラーフィルタ２３ｃを用いて青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の波長帯域を分離可能に構成されていたが、本開示はかかる例に限定されない。青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の波長帯域以外の波長帯域を、上記第１の実施形態あるいは第２の実施形態のシステム構成を適用して分離することも可能である。

例えば、上述の実施形態のシステム構成を適用して、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）に加え、赤外線（ＩＲ）の波長帯域を分離することもできる。第１の実施形態のようにイメージセンサ２３と光源装置４０とを連動させて波長帯域を分離させる場合には、緑色（Ｇ）及び赤外線（ＩＲ）の波長帯域の光の発光と、青色（Ｂ）及び赤色（Ｒ）の波長帯域の光の発光とを交互に行えばよい。

また、上述の実施形態のシステム構成を適用して、ＮＢＩ（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ；狭帯域光法）のように狭帯域化された２つの波長を含む光（特殊光）を分離することも可能である。ＮＢＩでは、例えば３９０〜４４５ｎｍの青色光と５３０〜５５０ｎｍの緑色光とのような狭帯域化された光を観察対象に照らして、イメージセンサにより画像を取得する。このような場合にも、第１の実施形態あるいは第２の実施形態のシステム構成を適用して、各波長帯域の光を分離することができる。

［３．２．適用対象］
上記実施形態では、内視鏡装置システムへの適用を例として説明したが、本開示はかかる例に限定されず、内視鏡装置システムのような医療用機器以外にも適用可能であり、汎用撮像装置として使用できる。

例えば、第１の実施形態のようにイメージセンサ２３と光源装置４０とを連動させて波長帯域を分離させる場合には、光源装置４０の発光を制御可能な環境に対して適用することができる。例えば、光源装置４０以外からの光はほぼ入射しないスタジオ撮影等への適用が考えられる。

また、第２の実施形態のようにカラーフィルタ２３ｃを用いて各波長帯域の光を分離させる場合、イメージセンサ２３を内視鏡装置システムのような耐熱性を要求される機器に設けないときには、カラーフィルタ２３ｃは有機材料から形成してもよい。第２の実施形態に係るシステム構成においては観察対象への照射光も白色光でよいため、様々な状況に適用することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を備える、医療用撮像装置。
（２）
被写体を照射する光源装置を制御する光源制御部をさらに備え、
前記光源制御部は、前記固体撮像素子の撮像タイミングに同期して前記光源装置の発光を制御する、前記（１）に記載の医療用撮像装置。
（３）
前記光電変換部は、青色波長帯域を検出可能な第１の光電変換層と、赤色波長帯域を検出可能な第２の光電変換層とを含み、
前記光源制御部は、前記固体撮像素子の撮像タイミングに同期して、第１のタイミングで前記光源装置に青色波長帯域の光及び赤色波長帯域の光を出力させ、第２のタイミングで前記光源装置に緑色波長帯域の光を出力させる、前記（２）に記載の医療用撮像装置。
（４）
前記固体撮像素子により取得された画像データに対して補間処理を行う補間処理部を備え、
前記補間処理部は、前記画像データの各撮像フレームにおいて取得されていない色の画素の輝度値を、他の撮像フレームにて取得された画素の輝度値を用いて補間する、前記（３）に記載の医療用撮像装置。
（５）
前記画像データ中の物体の動きを検出する動き検出部を備え、
前記補間処理部は、前記動き検出部から入力された前記画像データ中の物体の動き情報に基づいて、動き補償処理を行う、前記（４）に記載の医療用撮像装置。
（６）
前記固体撮像素子の撮像フレームレートは、映像出力フレームレートの２倍に設定される、前記（１）〜（５）のいずれか１項に記載の医療用撮像装置。
（７）
前記光電変換部上に、カラーフィルタ層が設けられる、前記（１）に記載の医療用撮像装置。
（８）
前記光電変換部は、青色波長帯域を検出可能な第１の光電変換層と、赤色波長帯域を検出可能な第２の光電変換層とを有し、
前記カラーフィルタ層は、緑色波長帯域の光を透過させる第１のカラーフィルタと、青色波長帯域及び赤色波長帯域の光を透過させる第２のカラーフィルタとからなる、前記（７）に記載の医療用撮像装置。
（９）
前記医療用撮像装置は、高圧蒸気滅菌処理が可能である、前記（１）〜（８）のいずれか１項に記載の医療用撮像装置。
（１０）
前記医療用撮像装置は内視鏡である、前記（１）〜（９）のいずれか１項に記載の医療用撮像装置。
（１１）
受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を用いて、被写体を撮像すること、
前記固体撮像素子の撮像タイミングに同期して、光源制御部により光源装置の発光制御を行い、前記被写体に対して所定の波長帯域の光を照射すること、
とを含む、撮像方法。
（１２）
受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を備える、撮像装置。

１ 内視鏡装置システム
１０ 硬性鏡
２０ カメラヘッド
２１ 結像レンズ
２３ イメージセンサ
２３Ａ、２３Ｂ 光電変換部
２５ 画像伝送部
３０ ビデオプロセッサ
３１ 画像受信部
３３ 補間処理部
３５ 画像出力部
３７ 制御部
３９ 動き検出部
４０ 光源装置
４１ 光源制御部
４３ 発光部
４５ 光出力部
５０ モニタ
６１ 画像伝送ケーブル
６３ 制御線
６５ 光ファイバ
６７ ビデオケーブル

Claims (12)

1. 受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子と、
   被写体を照射する光源装置を制御する光源制御部と、
   を備え、
   前記光電変換部は、第１の光電変換層と、第２の光電変換層とを含み、
   前記光源制御部は、前記固体撮像素子の撮像タイミングに同期して、前記第１の光電変換層に対応した第１の波長帯域および前記第２の光電変換層に対応した第２の波長帯域を含む光と、前記第１の波長帯域および前記第２の波長帯域の間の第３の波長帯域の光とを、順次出力させるように、前記光源装置の発光を制御する、医療用撮像装置。
2. 前記第１の波長帯域は、青色波長帯域であり、
   前記第２の波長帯域は、赤色波長帯域であり、
   前記第３の波長帯域は、緑色波長帯域であり、
   前記光電変換部は、前記青色波長帯域を検出可能な前記第１の光電変換層と、前記赤色波長帯域を検出可能な前記第２の光電変換層とを含み、
   前記光源制御部は、前記固体撮像素子の撮像タイミングに同期して、第１のタイミングで前記光源装置に前記青色波長帯域の光及び前記赤色波長帯域の光を出力させ、第２のタイミングで前記光源装置に前記緑色波長帯域の光を出力させる、請求項１に記載の医療用撮像装置。
3. 前記固体撮像素子により取得された画像データに対して補間処理を行う補間処理部を備え、
   前記補間処理部は、前記画像データの各撮像フレームにおいて取得されていない色の画素の輝度値を、他の撮像フレームにて取得された画素の輝度値を用いて補間する、請求項２に記載の医療用撮像装置。
4. 前記画像データ中の物体の動きを検出する動き検出部を備え、
   前記補間処理部は、前記動き検出部から入力された前記画像データ中の物体の動き情報に基づいて、動き補償処理を行う、請求項３に記載の医療用撮像装置。
5. 前記固体撮像素子の撮像フレームレートは、映像出力フレームレートの２倍に設定される、請求項１〜４のいずれか１項に記載の医療用撮像装置。
6. 受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を備え、
   前記光電変換部上には、それぞれの前記光電変換層が検出可能な波長帯域の光をそれぞれ透過させる少なくとも２つ以上のカラーフィルタからなるカラーフィルタ層が設けられている、医療用撮像装置。
7. 前記光電変換部は、青色波長帯域を検出可能な第１の光電変換層と、赤色波長帯域を検出可能な第２の光電変換層とを有し、
   前記カラーフィルタ層は、緑色波長帯域の光を透過させる第１のカラーフィルタと、青色波長帯域及び赤色波長帯域の光を透過させる第２のカラーフィルタとからなる、請求項６に記載の医療用撮像装置。
8. 前記医療用撮像装置は、高圧蒸気滅菌処理が可能である、請求項１〜７のいずれか１項に記載の医療用撮像装置。
9. 前記医療用撮像装置は内視鏡である、請求項１〜８のいずれか１項に記載の医療用撮像装置。
10. 受光面から少なくとも第１の光電変換層と、第２の光電変換層とが積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を備える医療用撮像装置が撮像を行うこと、
    前記固体撮像素子の撮像タイミングに同期して、第１の光電変換層に対応した第１の波長帯域および前記第２の光電変換層に対応した第２の波長帯域を含む光と、前記第１の波長帯域および前記第２の波長帯域の間の第３の波長帯域の光とを、順次出力させるように、光源制御部が光源装置の発光制御を行うことにより、前記光源装置が所定の波長帯域の光を出力すること、
    とを含む、撮像方法。
11. 受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子と、
    被写体を照射する光源装置を制御する光源制御部と、
    を備え、
    前記光電変換部は、第１の光電変換層と、第２の光電変換層とを含み、
    前記光源制御部は、前記固体撮像素子の撮像タイミングに同期して、前記第１の光電変換層に対応した第１の波長帯域および前記第２の光電変換層に対応した第２の波長帯域を含む光と、前記第１の波長帯域および前記第２の波長帯域の間の第３の波長帯域の光とを、順次出力させるように、前記光源装置の発光を制御する、撮像装置。
12. 受光面から少なくとも２層以上の光電変換層が積層された光電変換部を有し、受光した光を異なる波長帯域の光に分離可能な固体撮像素子を備え、
    前記光電変換部上には、それぞれの前記光電変換層が検出可能な波長帯域の光をそれぞれ透過させる少なくとも２つ以上のカラーフィルタからなるカラーフィルタ層が設けられている、撮像装置。

Images