WO2019244246A1

WO2019244246A1 - 撮像装置、内視鏡装置及び撮像装置の作動方法

Info

Publication number: WO2019244246A1
Application number: PCT/JP2018/023315
Authority: WO
Inventors: 直也栗山; 鈴木　大介
Original assignee: オリンパス株式会社
Priority date: 2018-06-19
Filing date: 2018-06-19
Publication date: 2019-12-26

Abstract

撮像装置１０は、第１～第Ｎのフレームを１周期として、面順次方式を用いて被写体に照明光を照射する照明部６００と、対物光学系２１０と撮像素子２２０を有する撮像部２００と、対物光学系２１０のフォーカス位置を制御するフォーカス制御部３７０と、撮像素子２２０が撮像した画像を取得する画像取得部３９０と、深度拡大部３３０を含む。照明部６００は、第１の照明光を第１～第Ｎのフレームの間にＭ回発光させ、フォーカス制御部３７０は、第１の照明光のＭ回の発光の各発光タイミングにおいて、異なる前記フォーカス位置を設定し、深度拡大部３３０は、フォーカス位置の異なるＭ枚の前記画像を合成することによって、深度拡大画像を出力する。

Description

撮像装置、内視鏡装置及び撮像装置の作動方法

　本発明は、撮像装置、内視鏡装置及び撮像装置の作動方法等に関する。

　内視鏡装置（内視鏡システム）においては、モノクロの撮像素子に対して波長帯域の異なる照明光を順次照明することによって、解像度の高い画像を撮像する面順次方式が採用されている。ここで内視鏡装置においては、ユーザが行う診断と処置に支障をきたさないように可能な限り深い被写界深度が要求される。しかし近年では、内視鏡装置においても撮像素子が高画素化し、それに従って被写界深度が浅くなってきている。

　浅い被写界深度を補う技術として、被写界深度を拡大するＥＤＯＦ（Extended Depth Of Field）技術の導入が提案されている。例えば特許文献１では、フォーカス位置の異なる複数の画像を同時に撮像できる撮像系に面順次照明を組み合わせて、撮像した複数の画像からピントの合った領域を合成する。これにより、各照明光を用いて撮像された画像の被写界深度を拡大できる。

国際公開第２０１６／０６７４２５号

　特許文献１では、１つの撮像素子上に焦点の異なる複数の画像を撮像する。そのため、大型の撮像素子が必要となってしまう。特許文献１の手法を内視鏡装置に適用した場合、撮像素子の大型化は挿入部の太径化につながる。

　本発明の幾つかの態様によれば、撮像素子の大型化を必要とせずに被写界深度を拡大する撮像装置、内視鏡装置及び撮像装置の作動方法等を提供できる。

　本発明の一態様は、第１～第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式を用いて被写体に照明光を照射する照明部と、前記被写体からの反射光を被写体像として結像する対物光学系と、前記被写体像が結像される撮像素子と、を有する撮像部と、前記対物光学系のフォーカス位置を制御するフォーカス制御部と、前記撮像素子が撮像した画像を取得する画像取得部と、Ｍ枚（Ｍは２≦Ｍ≦Ｎ－１を満たす整数）の前記画像を１枚の深度拡大画像に合成することによって被写界深度を拡大する深度拡大部と、を含み、前記照明部は、前記面順次方式を用いて前記被写体に照射される照明光のうちの少なくとも第１の照明光を、前記第１～第Ｎのフレームの間に、Ｍ回発光させ、前記フォーカス制御部は、前記第１の照明光のＭ回の発光の各発光タイミングにおいて、異なる前記フォーカス位置を設定し、前記深度拡大部は、前記フォーカス位置の異なるＭ枚の前記画像を合成することによって、前記深度拡大画像を出力する撮像装置に関係する。

　また本発明の他の態様は、上記の撮像装置を含む内視鏡装置に関係する。

　また本発明のさらに他の態様は、第１～第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式を用いて被写体に照明光を照射する照明部と、前記被写体からの反射光を被写体像として結像する対物光学系と、前記被写体像が結像される撮像素子と、を有する撮像部と、を含む撮像装置の作動方法であって、前記面順次方式を用いて前記被写体に照射される照明光のうちの少なくとも第１の照明光を、前記第１～第Ｎのフレームの間に、Ｍ（Ｍは２≦Ｍ≦Ｎ－１を満たす整数）回発光させ、前記第１の照明光のＭ回の発光の各発光タイミングにおいて、前記対物光学系のフォーカス位置を異なる前記フォーカス位置に設定し、前記撮像素子が撮像した画像を取得し、前記フォーカス位置の異なるＭ（Ｍは２以上の整数）枚の前記画像を１枚の深度拡大画像に合成することによって被写界深度を拡大する撮像装置の作動方法に関係する。

撮像装置の構成例。第１の実施形態の内視鏡装置の構成例。３照明光、２倍深度拡大の場合の内視鏡装置の動作を説明する図。２照明光、２倍深度拡大の場合の内視鏡装置の動作を説明する図。２照明光、３倍深度拡大の場合の内視鏡装置の動作を説明する図。２照明光、３倍深度拡大の場合の内視鏡装置の動作を説明する図。第２の実施形態の内視鏡装置の構成例。３照明光、２倍深度拡大の場合の内視鏡装置の動作を説明する図。２照明光、２倍深度拡大の場合の内視鏡装置の動作を説明する図。２照明光、２倍深度拡大の場合の内視鏡装置の動作を説明する図。２照明光、３倍深度拡大の場合の内視鏡装置の動作を説明する図。５照明光、２倍深度拡大の場合の内視鏡装置の動作を説明する図。

　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．撮像装置
　内視鏡装置等の撮像装置では、複数の照射光を順次照射する面順次方式が広く知られている。例えば撮像装置は、三原色に対応するＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の光を順次照射し、撮像素子から順次取得されるＲ画像、Ｇ画像、Ｂ画像を合成することによって、カラー画像を出力する。

　面順次方式とＥＤＯＦを組み合わせる場合、Ｒ照明の照射によって、互いにフォーカス位置の異なる複数のＲ画像を取得する必要がある。同様に、互いにフォーカス位置の異なる複数のＧ画像の取得、及び、互いにフォーカス位置の異なる複数のＢ画像の取得が必要になる。特許文献１の手法では、１回の光の照射によって、フォーカス位置の異なる複数の画像を取得できる。例えば、１回のＲ照明の照射によって、フォーカス位置の異なる複数のＲ画像を同時に取得できるため、当該複数のＲ画像を合成することによって、被写界深度が拡大されたＲ画像を取得可能である。

　ただし特許文献１の手法では、フォーカス位置の設定が異なる複数の入射光が、撮像素子に同時に入射される。そのため、フォーカス位置の異なる複数の画像を、高い解像度の状態で取得するためには、撮像素子を大型化する必要がある。撮像装置が内視鏡装置である場合、撮像素子が大型化することによって、撮像対象へ挿入される挿入部が大型化、太径化してしまう。

　図１は、本実施形態の撮像装置の構成例である。撮像装置１０は、照明部６００と、撮像部２００と、フォーカス制御部３７０と、画像取得部３９０と、深度拡大部３３０を含む。より具体的には、撮像装置１０は処理部３００を含み、処理部３００が、フォーカス制御部３７０と、画像取得部３９０と、深度拡大部３３０を含む。ここで、処理部３００は例えば処理装置又は制御装置である。撮像部２００はイメージャである。なお、撮像部２００は着脱可能であってもよい。

　照明部６００は、第１～第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式を用いて被写体に照明光を照射する。撮像部２００は、対物光学系２１０と撮像素子２２０とを含む。対物光学系２１０は、被写体からの反射光を被写体像として撮像素子２２０に結像する。撮像素子２２０はイメージセンサである。フォーカス制御部３７０は、対物光学系２１０のフォーカス位置を制御する。画像取得部３９０は、撮像素子２２０が撮像した画像を取得する。深度拡大部３３０は、Ｍ枚（Ｍは２≦Ｍ≦Ｎ－１を満たす整数）の画像を１枚の深度拡大画像に合成することによって被写界深度を拡大する。

　ここで、後述する図３の例であればＮ＝６であり、Ｍ＝２である。図３の例では、Ｍ枚の画像とは例えばＲ_Ｆ０－１とＲ_Ｆ１－１の２枚であり、深度拡大画像とはＥＡ１である。なお図３ではＧ画像及びＢ画像も深度拡大の対象である。Ｍ枚の画像とは例えばＧ_Ｆ０－１とＧ_Ｆ１－１であり、深度拡大画像とはＥＡ２である。或いは、Ｍ枚の画像とは例えばＢ_Ｆ０－１とＢ_Ｆ１－１であり、深度拡大画像とはＥＡ３である。

　そして照明部６００は、面順次方式を用いて被写体に照射される照明光のうちの少なくとも第１の照明光を、第１～第Ｎのフレームの間に、Ｍ回発光させる。フォーカス制御部３７０は、第１の照明光のＭ回の発光の各発光タイミングにおいて、異なるフォーカス位置を設定する。深度拡大部３３０は、フォーカス位置の異なるＭ枚の画像を合成することで、深度拡大画像を出力する。

　ここで、面順次方式を用いて被写体に照射される照明光は、互いに波長帯域、周波数帯域の異なる複数の照明光を含む。複数の照明光は、ＲＧＢの３つの照明光でもよいし、ＧＢの２つの照明光でもよい。照明光としてＲＧＢを用いる例は図３等を用いて後述し、ＧＢを用いる例は図４等を用いて後述する。また、複数の照明光は、ＲＧＢとは異なる波長帯域の照明光を含んでもよく、詳細については図１２を用いて後述する。

　また、フォーカス位置とは、被写体側においてフォーカスが合う位置である。即ち、合焦面の位置、又は合焦面と光軸の交点の位置である。フォーカス位置は、撮像部の基準位置から、被写体側においてフォーカスが合う位置までの距離を用いて表される。撮像部の基準位置は、例えば撮像素子の位置、又は対物レンズ先端の位置である。対物光学系においてフォーカスレンズを動かすことによってフォーカス位置を調整する。即ち、フォーカス位置とフォーカスレンズの位置は互いに対応しており、フォーカス位置はフォーカスレンズの位置とも言える。

　また、深度拡大画像とは、撮像素子２２０を用いて撮像される画像に比べて、被写界深度が拡大された画像である。具体的には、互いにフォーカス位置が異なる複数の画像に基づいて被写界深度が疑似的に拡大された画像である。例えば、画像の各局所領域において、Ｍ枚の画像の中から、その局所領域での合焦度合いが最も高い画像を選択し、その選択した各局所領域の画像を用いて深度拡大画像を構成する。局所領域は例えば画素である。

　本実施形態によれば、面順次方式を用いて被写体に照射される照明光のうちの少なくとも第１の照明光について、フォーカス位置を異ならせながらＭ回の照射、及び撮像を行う。被写界深度の拡大に用いるＭ枚の画像をＭフレームかけて取得するため、撮像素子を大型化する必要性が低い。

　なお、第１の実施形態として後述する手法によれば、複数の照明光の全てについて被写界深度の拡大を行うことが可能である。ただし、本実施形態では少なくとも第１の照明光について被写界深度の拡大が行われればよく、被写界深度の拡大の対象とならない照明光が存在することは妨げられない。

　具体的には、照明部６００は、第１の照明光以外の少なくとも１つの照明光において、第１～第Ｎのフレームの間に１回だけ発光を行う。これにより、被写界深度の拡大対象とならない照明光の照射頻度を低減できるため、効率的な動作を実現することが可能になる。なお、被写界深度の拡大対象とならない照明光が複数存在する場合、その全ての照明光について１周期当たり１回だけ発光を行うことによって、より効率的な動作を実現できる。この場合の具体例を図８及び図１２を用いて後述する。ただし、被写界深度の拡大対象とならない照明光を、１周期内に複数回発光させることも妨げられない。これは、フォーカス位置の制御を容易にする目的で実行されてもよいし、光量不足を補う目的で実行されてもよい。例えば、波長帯域の幅が狭い狭帯域光では、１周期内に複数回の発光を行って複数の画像を取得し、当該複数の画像を合成することによって、光量不足を補うことが可能である。なお、この場合の複数回の発光は被写界深度の拡大を目的としないため、フォーカス位置を変更する必要性は低い。具体例を図９を用いて後述する。

　また、撮像装置１０は、深度拡大部３３０において合成した深度拡大画像を、出力の輝度成分に割り当てて表示画像を生成する後処理部３５０を更に含む。より具体的には、図２に示すとおり、処理部３００が後処理部３５０を含む。

　ここで出力の輝度成分とは、例えば複数の出力チャンネルのうち、輝度に対する寄与度が相対的に高い出力チャンネルである。複数の出力チャンネルが広く知られたＲＧＢの３チャンネルである場合、輝度成分とは出力のＧチャンネルに対応する。Ｒ信号値、Ｇ信号値、Ｂ信号値をそれぞれＲ、Ｇ、Ｂとした場合、輝度値Ｙは例えばＹ＝ｒ×Ｒ＋ｇ×Ｇ＋ｂ×Ｂという式を用いて求められる。ＲＧＢとＹＣｒＣｂとの変換方式は種々知られており、方式に応じて係数ｒ、ｇ、ｂの値は異なる。ただし、いずれの形式においてもｇはｒよりも大きく、且つ、ｇはｂよりも大きい。即ち、輝度値Ｙに対する寄与度は、Ｒ信号及びＢ信号に比べてＧ信号が相対的に高いと言える。この場合、出力のＧチャンネルに割り当てられる画像を、深度拡大画像とする。Ｇ画像がＧチャンネルに割り当てられる場合、１周期にＭ回発光する第１の照明光とは、緑色に対応する波長帯域の照明光である。またＢ画像がＧチャンネルに割り当てられる場合、１周期にＭ回発光する第１の照明光とは、青色に対応する波長帯域の照明光である。

　なお出力の輝度成分とは、ユーザにとって視認性の高い波長帯域に対応する成分であり、被写体の形状及び解像度に対する寄与度の高い成分である。よって出力の輝度成分に深度拡大画像を割り当てることによって、広い範囲において被写体の形状を明確に観察可能な表示画像を生成することが可能になる。ここでの範囲とは撮像部２００と被写体との距離範囲を表す。また、ユーザの視認性に寄与する信号成分の被写界深度が拡大することが重要であり、輝度成分はＧチャンネルに限定されない。処理部３００での画像処理として、複数の照明光によって撮像された複数の画像から一旦Ｙ信号、Ｃｒ信号、Ｃｂ信号を生成し、それを再度ＲＧＢ信号に変換した後に、各出力チャンネルに割り当てる、という処理も考えられる。この場合、Ｙ信号への寄与度が高い画像の被写界深度を拡大すればよい。具体的には、当該画像を撮像するための照明光を、１周期にＭ回発光させる制御が行われる。

　また、後処理部３５０は、深度拡大部３３０において合成した深度拡大画像を、出力の輝度成分以外にもさらに割り当てて表示画像を生成する。具体的には、輝度への寄与度が低い成分、例えば出力のＲチャンネルやＢチャンネルにも深度拡大画像を割り当てる。

　Ｒチャンネル及びＢチャンネルは、ユーザにとっての視認性が相対的に低いものの、表示画像の色味に影響を与える。例えばＲチャンネルとＢチャンネルの少なくとも一方の信号を強調することによって、特定の被写体の観察が容易になるケースもあり、そのような場合、輝度成分以外の成分にも深度拡大画像を割り当てることによって、当該被写体の視認性を向上させることが可能になる。後述する第１の実施形態では、輝度成分に対応する出力のＧチャンネルだけでなく、出力のＲチャンネル及びＢチャンネルにも深度拡大画像が割り当てられる例を説明する。

　また、撮像装置１０は、複数の出力チャンネルの各チャンネルに画像を割り当てて、表示画像を生成する後処理部３５０を含み、後処理部３５０は、複数の出力チャンネルのうちの１つの出力チャンネルに、深度拡大部３３０において合成した深度拡大画像を割り当て、複数の出力チャンネルのうちの他の出力チャンネルに、被写界深度が拡大されていない画像を割り当てて、表示画像を生成することも妨げられない。

　これにより、深度拡大画像を割り当てる出力チャンネルを１つとすることが可能になる。その他の出力チャンネルには、深度拡大画像を割り当てる必要がない。そのため、被写界深度の拡大対象とならない照明光の１周期当たりの発光回数を少なくでき、照明部６００やフォーカス制御部３７０での制御が容易になる。ここでの発光回数とは狭義には１回である。また、被写界深度を拡大する画像処理の対象となる画像の種類が１つに限定されるため、処理部３００での処理負荷を軽減することが可能になる。後述する第２の実施形態では、輝度成分に対応する出力のＧチャンネルに深度拡大画像を割り当て、他の出力チャンネルであるＲチャンネル及びＢチャンネルには深度拡大画像を割り当てない例を説明する。

　なお、ここで深度拡大画像が割り当てられる１つの出力チャンネルとは、狭義には輝度成分に対応するチャンネルであり、上述したように出力のＧチャンネルである。ただし、輝度成分以外のチャンネルに深度拡大画像を割り当てることに利点がある場合もあることは上述した通りである。よって輝度成分以外に深度拡大画像を割り当て、輝度成分に深度拡大画像を割り当てない変形実施も妨げられない。

　また撮像装置１０は、画像取得部３９０が取得した画像に輪郭強調処理を行い、輪郭強調画像を生成する輪郭強調部３８０と、複数の出力チャンネルの各チャンネルに画像を割り当てて、表示画像を生成する後処理部３５０を含む。そして後処理部３５０は、複数の出力チャンネルのうちの少なくとも１つの出力チャンネルに、深度拡大部３３０において合成した深度拡大画像を割り当て、後処理部３５０は、複数の出力チャンネルのうちの他の出力チャンネルに、輪郭強調部３８０が生成した輪郭強調画像を割り当てて、表示画像を生成する。

　このように、深度拡大画像が割り当てられる出力チャンネル以外のチャンネルに対して、撮像画像そのものではなく輪郭強調画像を割り当てることによって、表示画像の視認性向上が可能になる。後述する第２の実施形態では、深度拡大画像が割り当てられないＲチャンネル及びＢチャンネルに輪郭強調画像を割り当てる例を説明する。

　また、１周期内における第１の照明光のＭ回の発光の各発光タイミングにおけるフォーカス位置を、第１～第Ｍのフォーカス位置とする。この場合に、フォーカス制御部３７０は、第１の照明光の以外の照明光におけるフォーカス位置を、第１～第Ｍのフォーカス位置のうちの最も遠い被写体へ合焦するフォーカス位置と最も近い被写体へ合焦するフォーカス位置の間のフォーカス位置に設定する。

　後述する図８等では、Ｆ０、Ｆ１、Ｆ２は合焦する被写体までの距離の順に並んでおり、Ｆ０とＦ２の２つが第１～第Ｍのフォーカス位置に対応する（Ｍ＝２）。この場合、Ｆ０とＦ２の一方が最も遠い被写体へ合焦するフォーカス位置であり、他方が最も近い被写体へ合焦するフォーカス位置となる。そして、被写界深度の拡大対象とならない２つの照明光は、いずれもフォーカス位置がＦ１に設定される。Ｆ１は合焦する被写体の位置がＦ０とＦ２の間の位置となるフォーカス位置である。

　深度拡大画像を生成するためには、フォーカス制御部３７０は、フォーカス位置を少なくとも第１～第Ｍのフォーカス位置の範囲を対象として移動させる必要がある。その際、最も遠点側と最も近点側の間のフォーカス位置で他の照明光を照射することによって、フォーカス位置の制御を容易にすることが可能になる。図８の例であれば、Ｆ０からＦ２への切り替えの途中でＢ照明の照射を行い、Ｆ２からＦ０への切り替えの途中でＲ照明の照射が行われる。即ち、深度拡大画像を取得するためのフォーカス位置制御の中で、被写界深度の拡大対象でない照射光の照射を自然に実行でき、フォーカス位置の制御が容易である。

　また、深度拡大部３３０は、画像が撮像される毎に深度拡大画像を出力し、後処理部３５０は、深度拡大部３３０から出力される深度拡大画像によって、表示画像のうち、少なくとも１つの成分を更新することによって、表示画像を出力する。

　これは具体的には、後述する図３及び図４に対応する。これにより、撮像のフレームレートと、表示画像が出力されるフレームレートを同じにできる。つまり、表示画像を高いフレームレートを用いて出力しようとした場合、撮像のフレームレートを過剰に大きくする必要がない。１フレームの撮像における露光時間、換言すれば照射光の照射時間を長くできるため、明るく視認性の高い表示画像を生成することが可能である。

　また、Ｎ＝３×ｉ（ｉは２以上の整数）であり、照明部６００は、第１の照明光、第２の照明光、第３の照明光の順次発光を、第１～第Ｎのフレームの間にｉ回繰り返す。図３の例では第１の照明光がＲ、第２の照明光がＧ、第３の照明光がＢであり、第２の照明光及び第３の照明光についても被写界深度の拡大対象である。なお、図３の例ではｉ＝２であるが、ｉは３以上であってもよい。

　そしてフォーカス制御部３７０は、同一の照明光のｊ回目（ｊは１≦ｊ＜ｉの整数）の発光タイミングと、ｊ＋１回目の発光タイミングとで、異なる前記フォーカス位置を設定する。図３の例において、画像ＩＡ１～ＩＡ６を１周期と考えた場合、ＲＧＢの各照明光の１回目の発光タイミングでのフォーカス位置がＦ０であり、２回目の発光タイミングでのフォーカス位置がＦ１である。即ち、フォーカス制御部３７０は、同一の照明光が直前に発光したタイミングとはフォーカス位置を異ならせる制御を行う。

　これにより、３つの照明光を用い、且つ、全ての照明光の照射による画像の被写界深度を拡大する場合に、適切な発光制御、及びフォーカス位置の制御が可能になる。

　また、Ｎ＝２×ｉ（ｉは２以上の整数）であり、照明部６００は、第１の照明光、第２の照明光の順次発光を、第１～第Ｎのフレームの間にｉ回繰り返す。フォーカス制御部３７０は、同一の照明光のｊ回目（ｊは１≦ｊ＜ｉの整数）の発光タイミングと、ｊ＋１回目の発光タイミングとで、異なる前記フォーカス位置を設定する。図４、図５の例では、第１の照明光はＢであり、第２の照明光はＧである。

　このようにすれば、２つの照明光を用い、且つ、全ての照明光の照射による画像の被写界深度を拡大する場合に、適切な発光制御、及びフォーカス位置の制御が可能になる。

　また、Ｎ＝４×ｉ（ｉは２以上の整数）であり、照明部６００は、第１の照明光、第１の照明光、第２の照明光、第２の照明光の順次発光を、第１～第Ｎのフレームの間にｉ回繰り返す。フォーカス制御部３７０は、同一の照明光のｊ回目（ｊは１≦ｊ＜２×ｉの整数）の発光タイミングと、ｊ＋１回目の発光タイミングとで、異なる前記フォーカス位置を設定する。

　図６の例において、画像ＩＤ２～ＩＤ９を１周期と考えた場合、第１の照明光はＧであり、第２の照明光はＢである。１周期内におけるＧ照明の４回の発光タイミングでは、フォーカス位置はＦ１（画像ＩＤ２）、Ｆ２（画像ＩＤ３）、Ｆ１（画像ＩＤ６）、Ｆ０（画像ＩＤ７）と変化する。同様に、１周期内におけるＢ照明の４回の発光タイミングでは、フォーカス位置はＦ１（画像ＩＤ４）、Ｆ２（画像ＩＤ５）、Ｆ１（画像ＩＤ８）、Ｆ０（画像ＩＤ９）と変化する。即ち、フォーカス制御部３７０は、同一の照明光が直前に発光したタイミングとはフォーカス位置を異ならせる制御を行う。

　これにより、２つの照明光を用い、且つ、全ての照明光の照射による画像の被写界深度を拡大する場合に、適切な発光制御、及びフォーカス位置の制御が可能になる。特に図５では表示画像の出力間隔が１フレーム又は３フレームと変動するのに対して、図６の手法では表示画像の出力間隔を２フレームに揃えることが可能になる。

　また、Ｎ＝４であり、照明部６００は、照明光を第２の照明光、第１の照明光、第３の照明光、第１の照明光の周期によって順次発光する。フォーカス制御部３７０は、第１～第Ｎのフレームの中での第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで、異なるフォーカス位置を設定する。

　図８の例において、画像ＩＥ１～ＩＥ４を１周期と考えた場合、第１の照明光はＧ、第２の照明光はＲ、第３の照明光はＢであり、１周期の中で照明光はＲ，Ｇ，Ｂ，Ｇの順で切り替えられる。なお図８の例において、画像ＩＥ２～ＩＥ５を１周期と考えてもよいし、画像ＩＥ３～ＩＥ６を１周期と考えてもよいし、画像ＩＥ４～ＩＥ７を１周期と考えてもよい。即ち、１周期の中での照明光の照射順は、Ｇ，Ｂ，Ｇ，Ｒであってもよいし、Ｂ，Ｇ，Ｒ，Ｇであってもよいし、Ｇ，Ｒ，Ｇ，Ｂであってもよく、これらは全て同義である。

　このようにすれば、３つの照明光を用い、且つ、そのうちの第１の照明光の照射による画像の被写界深度を拡大する場合に、適切な発光制御、及びフォーカス位置の制御が可能になる。

　また、Ｎ＝３であり、照明部６００は、照明光を第１の照明光、第２の照明光、第１の照明光の周期によって順次発光する。或いはＮ＝４であり、照明部６００は、照明光を第１の照明光、第２の照明光、第１の照明光、第２の照明光の周期によって順次発光する。図１０がＮ＝３の場合に対応し、図９がＮ＝４の場合に対応する。図９、図１０の例では第１の照明光がＢであり、第２の照明光がＧである。フォーカス制御部３７０は、第１～第Ｎのフレームの中での第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで、異なるフォーカス位置を設定する。

　これにより、２つの照明光を用い、且つ、そのうちの第１の照明光の照射による画像の被写界深度を拡大する場合に、適切な発光制御、及びフォーカス位置の制御が可能になる。なお図９と図１０を比較した場合、図１０は被写界深度の拡大対象でないＧの照明光の照射頻度を低減できるという点で有利であり、図９はフォーカス位置の急激な変化を抑制できるという点で有利である。

　また、Ｎ＝６であり、照明部６００は、照明光を第２の照明光、第１の照明光、第３の照明光、第４の照明光、第１の照明光、第５照明光の周期によって順次発光する。フォーカス制御部３７０は、第１～第Ｎのフレームの中での第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで、異なるフォーカス位置を設定する。図１２の例において、画像ＩＩ１～ＩＩ６を１周期と考えた場合、第１の照明光はＧ、第２の照明光はＲ、第３の照明光はＢ、第４の照明光はＲ’、第５の照明光はＢ’であり、１周期の中で照明光はＲ，Ｇ，Ｂ，Ｒ’，Ｇ，Ｂ’の順で切り替えられる。

　これにより、５つの照明光を用い、且つ、そのうちの第１の照明光の照射による画像の被写界深度を拡大する場合に、適切な発光制御、及びフォーカス位置の制御が可能になる。なお、照明光の数は２，３，５のいずれかに限定されず、４であってもよいし６以上であってもよい。また照明光の波長帯域も、Ｒ，Ｇ，Ｂ，Ｒ’，Ｂ’に対応する帯域に限定されず、他の帯域の照明光を用いてもよい。

　また、Ｎ＝４であり、照明部６００は、照明光を第１の照明光、第１の照明光、第１の照明光、第２の照明光の周期によって順次発光する。フォーカス制御部３７０は、第１～第Ｎのフレームの中での第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで異なるフォーカス位置を設定する。またフォーカス制御部３７０は、第１～第Ｎのフレームの中での第１の照明光の２回目の発光タイミングと３回目の発光タイミングとで異なるフォーカス位置を設定する。図１１の例において、画像ＩＨ１～ＩＨ４を１周期と考えた場合、第１の照明光はＢ、第２の照明光はＧであり、１周期の中で照明光はＢ，Ｂ，Ｂ，Ｇの順で切り替えられる。

　これにより、２つの照明光を用い、且つ、そのうちの第１の照明光の照射による画像の被写界深度を拡大する場合に、適切な発光制御、及びフォーカス位置の制御が可能になる。また、図１１の例ではＢ照明の１～３回目の発光タイミングでのフォーカス位置が、それぞれＦ０、Ｆ１、Ｆ２であり、その全てが異なる位置に設定される。そのため、図９及び図１０等と比較した場合、被写界深度の拡大率を高くすることが可能になる。

　また、撮像素子２２０は、カラーフィルタを備えないモノクロセンサである。モノクロセンサと面順次方式の組み合わせによって、撮像素子の全面を用いて１つの画像を出力できる。デモザイキング等の補間処理が不要となるため、高い解像度の画像を取得できる。

　ただし、撮像素子２２０は、カラーフィルタを備えたカラーセンサであることは妨げられない。カラーフィルタを備えた撮像素子２２０を用いることによって、モノクロセンサを用いる場合に比べて照明光の照射回数を削減することが可能になる。カラーフィルタを備えた撮像素子２２０を用いる手法については、変形例として後述する。

　なお、本実施形態の撮像装置１０は以下のように構成されてもよい。即ち、処理部３００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。プロセッサは、フォーカス制御処理と画像取得処理と深度拡大処理とを行う。フォーカス制御処理は、被写体像を撮像素子に結像する対物光学系のフォーカス位置を制御する。画像取得処理は、撮像素子が撮像した画像を取得する。深度拡大処理は、Ｍ枚（Ｍは２以上の整数）の前記画像を１枚の深度拡大画像に合成することによって被写界深度を拡大する。

　プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。回路装置は例えばＩＣ等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することで、処理部３００の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。処理部３００の各部は、画像取得部３９０、深度拡大部３３０、フォーカス制御部３７０、制御部３６０、前処理部３１０、後処理部３５０である。

　また、本実施形態の処理部３００の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、フォーカス制御部３７０はフォーカス制御モジュールとして実現され、画像取得部３９０は画像取得モジュールとして実現され、深度拡大部３３０は画像合成モジュールとして実現される。

　また、本実施形態の処理部３００の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。処理部３００は、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体は、処理部３００の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部３００の各部の処理をコンピュータに実行させるためのプログラムである。

２．第１の実施形態
　まず第１の実施形態について説明する。第１の実施形態では複数の照射光の照射によって撮像される画像を対象として、被写界深度の拡大が行われる例を説明する。

２．１　内視鏡装置の構成例
　以下では本実施形態の撮像装置が内視鏡装置である場合を説明するが、撮像装置は内視鏡装置に限定されない。撮像装置は、連続的に深度拡大画像を取得するものであればよく、例えば深度拡大された動画を撮影するものであればよい。例えば、撮像装置は顕微鏡であってもよい。

　図２は、内視鏡装置１２の詳細な構成例である。図２の内視鏡装置１２は撮像装置１０の一例である。

　挿入部１００は、体内へ挿入される部分である。挿入部１００は、ライトガイド１１０と撮像部２００とを含む。

　ライトガイド１１０は、照明部６００からの出射光を、挿入部１００の先端まで導光する。照明部６００は、例えば白色光源６１０と回転フィルタ６２０を含む。白色光源６１０は、可視光領域で波長毎に均一な強度である白色光を照射する。白色光源６１０は、例えばＬＥＤ、又はキセノンランプである。回転フィルタ６２０は、透過する波長帯域が異なる色フィルタを複数備えており、回転しながら白色光を透過することで波長帯域の異なる照明光を順次ライトガイド１１０に照射する。なお、回転フィルタ６２０が有する色フィルタの数及び各色フィルタの分光特性は、種々の変形実施が可能である。

　撮像部２００は、被写体からの反射光を結像し、被写体の画像を撮像する。撮像部２００は、対物光学系２１０と撮像素子２２０とＡ／Ｄ変換部２３０とを含む。Ａ／Ｄ変換部２３０は例えばＡ／Ｄ変換回路である。なお、Ａ／Ｄ変換部２３０はイメージセンサに内蔵されてもよい。

　ライトガイド１１０からの出射光が被写体に照射される。対物光学系２１０は、被写体から反射した反射光を、被写体像として結像する。対物光学系２１０のフォーカス位置は変更可能であり、後述するフォーカス制御部３７０によって制御される。

　撮像素子２２０は、対物光学系２１０によって結像された被写体像を光電変換することによって、画像を撮像する。Ａ／Ｄ変換部２３０は、撮像素子２２０から順次出力されるアナログ信号をデジタルの画像に変換し、そのデジタルの画像を前処理部３１０に順次出力する。具体的には、撮像素子２２０が被写体の動画を撮像する。Ａ／Ｄ変換部２３０は、その動画の各フレームの画像をＡ／Ｄ変換し、デジタルの画像を前処理部３１０へ出力する。前処理部３１０は、デジタルの動画を出力する。

　処理部３００は、画像処理を含む信号処理と、内視鏡装置１２の制御とを行う。処理部３００は、前処理部３１０と、第１フレームメモリ３２０と、深度拡大部３３０と、第２フレームメモリ３４０と、後処理部３５０と、制御部３６０と、フォーカス制御部３７０と、を含む。前処理部３１０は例えば前処理回路である。第１フレームメモリ３２０及び第２フレームメモリ３４０は例えばＲＡＭ等のメモリである。深度拡大部３３０は例えば画像合成回路である。後処理部３５０は例えば後処理回路である。制御部３６０は例えば制御回路又はコントローラであり、フォーカス制御部３７０は例えばフォーカス制御回路又はフォーカスコントローラである。

　前処理部３１０は、Ａ／Ｄ変換部２３０から順次出力された画像に対して、画像処理を施し、その処理後の画像を第１フレームメモリ３２０と深度拡大部３３０に順次出力する。画像処理は、例えばホワイトバランス処理、補間処理等である。なお、図２の前処理部３１０が図１の画像取得部３９０に相当する。

　第１フレームメモリ３２０は、前処理部３１０から出力された（Ｍ－１）枚の画像を記憶し、その画像を深度拡大部３３０へ出力する。Ｍは２以上の整数である。ここで、１枚の画像は、動画の１フレームにおいて撮像された画像である。

　深度拡大部３３０は、第１フレームメモリ３２０が記憶する（Ｍ－１）枚の画像と、前処理部３１０が出力する１枚の画像とを、１枚の深度拡大画像へ合成し、その深度拡大画像を出力する。即ち、深度拡大部３３０はＭ枚の画像から１枚の深度拡大画像を生成する。ここで、合成される画像は、同じ波長帯域の照明光を照射したタイミングで取得された画像である。深度拡大部３３０は、深度拡大画像の各局所領域において、Ｍ枚の画像のうち最もフォーカスが合っている画像を選択し、その選択した画像の局所領域を抽出し、抽出した局所領域から深度拡大画像を合成する。

　第２フレームメモリ３４０は、深度拡大部３３０から出力される深度拡大画像を格納する。格納された深度拡大画像は後処理部３５０に出力される。

　後処理部３５０は、深度拡大部３３０から出力される深度拡大画像と、第２フレームメモリ３４０に格納された深度拡大画像とを合成することでフルカラー画像を生成し、さらにガンマ処理等の画像処理を施し、表示部４００に出力する。

　制御部３６０は、撮像素子２２０、前処理部３１０、第１フレームメモリ３２０、深度拡大部３３０、第２フレームメモリ３４０、後処理部３５０、フォーカス制御部３７０、照明部６００と双方向に接続しており、これらを制御する。例えば制御部３６０は、照明部６００から照射される照射光の種類及び発光タイミングと、フォーカス制御部３７０によるフォーカス位置とを同期させる。

　フォーカス制御部３７０は、フォーカス位置を制御するフォーカス制御信号を対物光学系２１０へ出力する。フォーカス位置の制御の詳細は後述する。Ｍ枚の画像はフォーカス位置がそれぞれ異なるタイミングで取得され、同じ波長帯域の照明光が照射されたタイミングで撮像された画像を深度拡大部３３０で１枚に合成することによって被写界深度を拡大した深度拡大画像が得られる。

　表示部４００は、深度拡大部３３０から出力される深度拡大画像を順次表示する。即ち、深度拡大画像をフレーム画像とする動画を表示する。表示部４００は、例えば液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等である。

　外部Ｉ／Ｆ部５００は、ユーザが内視鏡装置に対して入力等を行うためのインターフェースである。即ち、内視鏡装置を操作するためのインターフェース、或いは内視鏡装置の動作設定を行うためのインターフェース等である。例えば、外部Ｉ／Ｆ部５００は、画像処理のパラメータを調整するための調整ボタン等を含む。

２．２　動作
　以下、内視鏡装置１２の動作について説明する。具体的には図３～図６を用いて４つの動作例について説明する。

　図３は、照明光が３種類の３面順次方式であり、深度拡大レベルが２倍であるときの内視鏡装置１２の動作を説明する図である。なお、以下では照明光がＲＧＢの３つである例を説明するが、３つの照明光は互いに波長帯域が異なるものであれば具体的な波長帯域は種々の変形実施が可能である。また、深度拡大レベルとは、被写界深度の拡大度合いを表すものである。深度拡大レベルが２倍とは、フォーカス位置の異なる２枚の画像の合成によって深度拡大画像が生成されることを表す。即ち図３ではＭ＝２となる。

　撮像素子２２０の撮像のフレームレートは、例えば６０ｆｐｓ（frame per second）である。フォーカス制御部３７０は、Ｆ０（画像ＩＡ１、ＩＡ２、ＩＡ３）、Ｆ１（画像ＩＡ４、ＩＡ５、ＩＡ６）、Ｆ０（画像ＩＡ７、ＩＡ８、ＩＡ９）、…とフォーカス位置を変化させる。照明部６００は、Ｒ（画像ＩＡ１）、Ｇ（画像ＩＡ２）、Ｂ（画像ＩＡ３）、Ｒ（画像ＩＡ４）、…と波長帯域の異なる照明光を順次照射する。図３の例では、Ｎ＝６であり、例えば画像ＩＡ１～ＩＡ６が取得される６フレームが１周期となる。フォーカス制御部３７０の制御は、Ｆ０とＦ１を３フレームずつ交互に変化させる制御と言い換えられる。照明部６００の動作は、ＲＧＢを１フレームずつ照射する動作を１周期内で２回繰り返す動作と言い換えられる。

　画像ＩＡ１～ＩＡ３の取得タイミングでは、深度拡大に用いるＭ枚の画像が揃っていないため、深度拡大部３３０は合成処理を実行せず、後処理部３５０は表示画像を出力しない。画像ＩＡ４が撮像されたら、深度拡大部３３０は第１フレームメモリ３２０に記憶されていた画像ＩＡ１と、前処理部３１０から出力される画像ＩＡ４を合成し、深度拡大画像ＥＡ１を生成する。なお図３において、ＩＡ１（Ｒ_Ｆ０－１）との表記は、画像ＩＡ１が、フォーカス位置がＦ０に設定された状態で、Ｒ照明の照射によって撮像された１枚目の画像であることを表す。図３の他の箇所、及び図４以降でも同様であり、図面中のＸ_Ｙ－Ｚとの表記は、当該画像が照明光Ｘ及びフォーカス位置Ｙの組み合わせによって撮像された画像であること、及び当該画像がＸＹの組み合わせによって撮像されたＺ枚目の画像であることを表す。生成された深度拡大画像ＥＡ１は、第２フレームメモリ３４０に記憶される。ここで深度拡大画像ＥＡ１を合成する際は、画像ＩＡ４（Ｒ_Ｆ１－１）を基準画像とし、画像ＩＡ１は画像ＩＡ４に対して位置合わせを行った上で合成する。

　同様に、画像ＩＡ５（Ｇ_Ｆ１－１）が撮像されたら、深度拡大部３３０は第１フレームメモリ３２０に記憶されていた画像ＩＡ２（Ｇ_Ｆ０－１）と、前処理部３１０から出力される画像ＩＡ５を合成し、深度拡大画像ＥＡ２を生成する。生成された深度拡大画像ＥＡ２は、第２フレームメモリ３４０に記憶される。深度拡大画像ＥＡ２を合成する際は、画像ＩＡ５を基準画像とし、画像ＩＡ２を合成する。

　同様に、画像ＩＡ６（Ｂ_Ｆ１－１）が撮像されたら、深度拡大部３３０は第１フレームメモリ３２０に記憶されていた画像ＩＡ３（Ｂ_Ｆ０－１）と、前処理部３１０から出力される画像ＩＡ６を合成し、深度拡大画像ＥＡ３を生成する。生成された深度拡大画像ＥＡ３は、第２フレームメモリ３４０及び後処理部３５０に出力される。深度拡大画像ＥＡ３を合成する際は画像ＩＡ６を基準画像とし、画像ＩＡ３を合成する。

　そして後処理部３５０は、深度拡大部３３０から出力される深度拡大画像ＥＡ３と、第２フレームメモリ３４０から読みだした深度拡大画像ＥＡ１及び深度拡大画像ＥＡ２を出力チャンネルに割り当てて表示画像を生成する。具体的には、後処理部３５０は、深度拡大画像ＥＡ１を出力のＲチャンネルに割り当て、深度拡大画像ＥＡ２を出力のＧチャンネルに割り当て、深度拡大画像ＥＡ３を出力のＢチャンネルに割り当てることで、表示画像ＤＡ１を出力する。

　以上で１周期の処理が完了し、これ以降はフォーカス制御部３７０及び照明部６００は、同様の制御を繰り返す。例えばＩＡ６の次のフレームでは、深度拡大部３３０は、前処理部３１０から出力される画像ＩＡ７（Ｒ_Ｆ０－２）を基準画像として、第１フレームメモリ３２０から読みだした画像ＩＡ４（Ｒ_Ｆ１－１）を合成することによって深度拡大画像ＥＡ４を生成する。生成された深度拡大画像ＥＡ４は、第２フレームメモリ３４０及び後処理部３５０に出力される。そして後処理部３５０は、深度拡大画像ＥＡ４を出力のＲチャンネルに割り当て、深度拡大画像ＥＡ２を出力のＧチャンネルに割り当て、深度拡大画像ＥＡ３を出力のＢチャンネルに割り当てることによって、表示画像ＤＡ２を出力する。即ち、所与の照明光の照射によって新たな深度拡大画像が取得された場合、同じ照明光の照射によって取得された過去の深度拡大画像を、当該新たな深度拡大画像によって更新する。

　これ以降も同様であり、図３の例では、最初に表示画像が出力される画像ＩＡ６以降のフレームでは、各フレームにおいて深度拡大画像の取得、及び表示画像の出力が行われる。撮像のフレームレートと表示画像の出力のフレームレートが等しくなり、撮像が６０ｆｐｓであれば表示も６０ｆｐｓとなる。

　図３に示した手法によって、ＲＧＢの面順次照明を行いつつ、異なるタイミングで撮像したフォーカス位置の異なる２枚の画像を合成することによって２倍の深度拡大（時分割ＥＤＯＦ）を実現できる。

　図４は、照明光が２種類の２面順次方式であり、深度拡大レベルが２倍であるときの内視鏡装置１２の動作を説明する図である。なお、以下では照明光がＧＢの２つである例を説明するが、２つの照明光は互いに波長帯域が異なるものであれば具体的な波長帯域は種々の変形実施が可能である。

　撮像素子２２０の撮像のフレームレートは、例えば６０ｆｐｓである。フォーカス制御部３７０は、Ｆ０（画像ＩＢ１、ＩＢ２）、Ｆ１（画像ＩＢ３、ＩＢ４）、Ｆ０（画像ＩＢ５、ＩＢ６）、…とフォーカス位置を変化させる。照明部６００は、Ｇ（画像ＩＢ１）、Ｂ（画像ＩＢ２）、Ｇ（画像ＩＢ３）、Ｂ（画像ＩＢ４）、…と波長帯域の異なる照明光を順次照射する。図４の例では、Ｎ＝４であり、例えば画像ＩＢ１～ＩＢ４が取得される４フレームが１周期となる。

　深度拡大部３３０は撮像した画像ＩＢ１（Ｇ_Ｆ０－１）、画像ＩＢ３（Ｇ_Ｆ１－１）を合成し、深度拡大画像ＥＢ１を出力する。ここで深度拡大画像ＥＢ１を合成する際は、画像ＩＢ３を基準画像とし、画像ＩＢ１はＩＢ３に対して位置合わせを行った上で合成する。

　深度拡大画像ＥＢ２を合成する際は、画像ＩＢ４（Ｂ_Ｆ１－１）を基準画像とし、画像ＩＢ２（Ｂ_Ｆ０－１）を合成する。そして後処理部３５０は、深度拡大画像ＥＢ１を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＢ２を出力のＧチャンネルに割り当てることで、表示画像ＤＢ１を出力する。

　以上で１周期の処理が完了し、これ以降はフォーカス制御部３７０及び照明部６００は、同様の制御を繰り返す。例えばＩＢ４の次のフレームでは、深度拡大部３３０は、画像ＩＢ５（Ｇ_Ｆ０－２）を基準画像とし画像ＩＢ３（Ｇ_Ｆ１－１）を合成することによって深度拡大画像ＥＢ３を合成する。そして後処理部３５０は、深度拡大画像ＥＢ３を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＢ２を出力のＧチャンネルに割り当てることによって、表示画像ＤＢ２を出力する。

　図４に示した手法によって、ＧＢの面順次照明を行いつつ、深度拡大レベル２倍の時分割ＥＤＯＦを実現できる。

　図５は、照明光が２種類の２面順次方式であり、深度拡大レベルが３倍であるときの内視鏡装置１２の動作を説明する図である。

　撮像素子２２０の撮像のフレームレートは例えば１２０ｆｓｐである。フォーカス制御部３７０は、Ｆ０（画像ＩＣ１、ＩＣ２）、Ｆ１（画像ＩＣ３、ＩＣ４）、Ｆ２（画像ＩＣ５、ＩＣ６）、Ｆ１（画像ＩＣ７、ＩＣ８）、…とフォーカス位置を変化させる。照明部６００は、Ｇ（画像ＩＣ１）、Ｂ（画像ＩＣ２）、Ｇ（画像ＩＣ３）、Ｂ（画像ＩＣ４）、…と波長帯域の異なる照明光を順次照射する。図５の例では、Ｎ＝８であり、例えば画像ＩＣ１～ＩＣ８が取得される８フレームが１周期となる。

　深度拡大部３３０は撮像した画像ＩＣ１（Ｇ_Ｆ０－１）、ＩＣ３（Ｇ_Ｆ１－１）、ＩＣ５（Ｇ_Ｆ２－１）を合成し、深度拡大画像ＥＣ１を出力する。ここで深度拡大画像ＥＣ１を合成する際は、画像ＩＣ３を基準画像とし、画像ＩＣ１及びＩＣ５は画像ＩＣ３に対して位置合わせを行った上で合成する。深度拡大画像ＥＣ２を合成する際は、画像ＩＣ４（Ｂ_Ｆ１－１）を基準画像とし、画像ＩＣ２（Ｂ_Ｆ０－１）及びＩＣ６（Ｂ_Ｆ２－１）を合成する。

　そして後処理部３５０は、深度拡大画像ＥＣ１を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＣ２を出力のＧチャンネルに割り当てることによって、表示画像ＤＣ１を出力する。

　画像ＩＣ８を撮像するフレームによって１周期の処理が完了するが、図５の例では次の深度拡大画像の出力は２周期目に行われる。例えば深度拡大部３３０は、画像ＩＣ９の取得後に、画像ＩＣ７（Ｇ_Ｆ１－２）を基準画像として、画像ＩＣ５（Ｇ_Ｆ２－１）及びＩＣ９（Ｇ_Ｆ０－２）を合成することで深度拡大画像ＥＣ３を合成する。そして後処理部３５０は、深度拡大画像ＥＣ３を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＣ２を出力のＧチャンネルに割り当てることによって、表示画像ＤＣ２を出力する。

　図５に示した手法によって、ＧＢの面順次照明を行いつつ、深度拡大レベル３倍の時分割ＥＤＯＦを実現できる。なお、Ｇ照明に着目した場合、深度拡大画像ＥＣ１は画像ＩＣ１、ＩＣ３、ＩＣ５の合成によって生成され、次の深度拡大画像ＥＣ３は画像ＩＣ５、ＩＣ７、ＩＣ９の合成によって生成される。つまり、画像ＩＣ７の撮像タイミングでは深度拡大画像は生成されず、表示画像も出力（更新）されない。Ｂ照明に着目した場合も同様であり、画像ＩＣ８の撮像タイミングでは深度拡大画像は生成されず、表示画像も出力されない。最初に表示画像が出力される画像ＩＣ６以降のタイミングでは、表示画像が出力されるフレームと出力されないフレームとが２フレームずつ交互に現れることになる。図５の例では、撮像のフレームレートに対して表示画像の出力のフレームレートが１／２となる。表示画像の出力のフレームレートを６０ｆｐｓとする場合、撮像のフレームレートは上述したように１２０ｆｐｓとなる。

　図６は、照明光が２種類の２面順次方式であり、深度拡大レベルが３倍であるときの内視鏡装置１２の動作を説明する図である。

　撮像素子２２０の撮像のフレームレートは例えば１２０ｆｓｐである。フォーカス制御部３７０は、Ｆ０（画像ＩＤ１）、Ｆ１（画像ＩＤ２）、Ｆ２（画像ＩＤ３）、Ｆ１（画像ＩＤ４）、Ｆ２（画像ＩＤ５）、Ｆ１（画像ＩＤ６）、Ｆ０（画像ＩＤ７）、Ｆ１（画像ＩＤ８）、…とフォーカス位置を変化させる。照明部６００は、Ｇ（画像ＩＤ１）、Ｂ（画像ＩＤ２、ＩＤ３）、Ｇ（画像ＩＤ４、ＩＤ５）、Ｂ（画像ＩＤ６、ＩＤ７）、…と波長帯域の異なる照明光を順次照射する。図６の例では、Ｎ＝８であり、例えば画像ＩＤ１～ＩＤ８が取得される８フレームが１周期となる。

　深度拡大部３３０は撮像した画像ＩＤ１（Ｇ_Ｆ０－１）、ＩＤ４（Ｇ_Ｆ１－１）、ＩＤ５（Ｇ_Ｆ２－１）を合成し、深度拡大画像ＥＤ１を出力する。ここで深度拡大画像ＥＤ１を合成する際は、画像ＩＤ４を基準画像とし、画像ＩＤ１、ＩＤ５は画像ＩＤ４に対して位置合わせを行った上で合成する。深度拡大画像ＥＤ２を合成する際は、画像ＩＤ６（Ｂ_Ｆ１－２）を基準画像とし、画像ＩＤ３（Ｂ_Ｆ０－１）、ＩＤ７（Ｂ_Ｆ２－１）を合成する。

　そして後処理部３５０は、深度拡大画像ＥＤ１を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＤ２を出力のＧチャンネルに割り当てることによって、表示画像ＤＤ１を出力する。

　画像ＩＤ８を撮像するフレームによって１周期の処理が完了するが、図６の例では次の深度拡大画像の出力は２周期目に行われる。例えば深度拡大部３３０は、画像ＩＤ９の取得後に、画像ＩＤ８（Ｇ_Ｆ１－２）を基準画像とし画像ＩＤ５（Ｇ_Ｆ２－１）、ＩＤ９（Ｇ_Ｆ０－２）を合成することによって深度拡大画像ＥＤ３を合成する。そして後処理部３５０は、深度拡大画像ＥＤ３を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＤ２を出力のＧチャンネルに割り当てることによって、表示画像ＤＤ２を出力する。

　図６に示した手法によって、ＧＢの面順次照明を行いつつ、深度拡大レベル３倍の時分割ＥＤＯＦを実現できる。なお、Ｇ照明に着目した場合、深度拡大画像ＥＤ１は画像ＩＤ１、ＩＤ４、ＩＤ５の合成によって生成され、深度拡大画像ＥＤ３は画像ＩＤ５、ＩＤ８、ＩＤ９の合成によって生成される。つまり、画像ＩＤ８の撮像タイミングでは深度拡大画像は生成されず、表示画像も出力されない。最初に表示画像が出力される画像ＩＤ７以降のタイミングでは、表示画像が出力されるフレームと出力されないフレームとが１フレームずつ交互に現れることになる。即ち図６の例においても、図５の例と同様に、撮像のフレームレートに対して表示画像の出力のフレームレートが１／２となる。表示画像の出力のフレームレートを６０ｆｐｓとする場合、撮像のフレームレートは上述したように１２０ｆｐｓとなる。

　なお、図５及び図６の動作は、２照明、深度拡大レベル３倍の時分割ＥＤＯＦである点、及び表示画像の出力フレームレートが撮像のフレームレートの１／２となる点では同様である。ただし図５と図６は、表示画像の出力間隔が相違する。図５では、表示画像が出力されないフレームが２フレーム連続し、その後に、表示画像が出力されるフレームが２フレーム連続する。即ち、表示画像の出力間隔が１フレーム（１／１２０秒）の場合と３フレーム（１／４０秒）の場合があり不均一である。それに対して、図６では、表示画像が出力されないフレームと、表示画像が出力されるフレームが１フレームずつ交互に現れる。即ち、表示画像の出力間隔を２フレーム（１／６０秒）に揃えることができ、その点で図５に比べて望ましい。

　また図５と図６の動作は、基準画像と位置合わせする画像間のタイミング差という点でも相違する。図５の場合、基準画像に対して、２フレーム前の画像と２フレーム後の画像が位置合わせされる。例えば画像ＩＣ３を基準画像として２フレーム前のＩＣ１と２フレーム後のＩＣ５が位置合わせされる。つまり、画像間のタイミング差を２フレーム（１／６０秒）に揃えることができる。一方図６の場合、基準画像に対して、３フレーム前の画像と１フレーム後の画像が位置合わせされる。例えば画像ＩＤ４を基準画像として３フレーム前のＩＤ１と１フレーム後のＩＤ５が位置合わせされる。つまり、画像間のタイミング差は１フレームと３フレームとなるため不均一である。特に、タイミング差が３フレーム（１／４０秒）と大きい場合、画像間の差異が大きくなり位置合わせの精度が低下するおそれがある。この点では図５に比べて図６の方が望ましい。

　以上図３～図６を用いて説明したように、照明光の数や深度拡大レベルは種々の変形実施が可能である。また、照明光の数や深度拡大レベルが同じ場合であっても、照明部６００やフォーカス制御部３７０での制御に種々の変形実施が可能である。

３．第２の実施形態
　次に第２の実施形態について説明する。第２の実施形態では複数の照射光のうち、一部の照射光の照射によって撮像される画像を対象として、被写界深度の拡大が行われる例を説明する。出力チャンネルに着目した場合、第２の実施形態とは、複数の出力チャンネルの一部のチャンネルに深度拡大画像を割り当て、他のチャンネルに深度拡大画像を割り当てない手法と言い換えることが可能である。

　なお、以下では複数の照射光のうちのいずれか１つの照射光を被写界深度の拡大対象とし、他の全ての照射光を被写界深度の拡大対象としない例を説明する。ただし、３以上の照射光を用いる場合において、２以上の照射光を被写界深度の拡大対象とする等、種々の変形実施が可能である。

３．１　内視鏡装置の構成例
　図７は、内視鏡装置１２の詳細な構成例である。図２の内視鏡装置１２は撮像装置１０の一例である。図２と比較した場合、輪郭強調部３８０が追加されている。なお、第２フレームメモリ３４０、後処理部３５０、輪郭強調部３８０以外の構成は、図２を用いて上述した第１の実施形態と同様のため、詳細な説明を省略する。

　輪郭強調部３８０は、前処理部３１０から出力される画像に対して輪郭強調処理を行い、輪郭強調画像を生成する。生成した輪郭強調画像は、第２フレームメモリ３４０および後処理部３５０に出力される。輪郭強調処理は、例えばラプラシアンフィルタを用いたフィルタ処理である。ただし、輪郭強調処理は種々の手法が知られており、本実施形態ではそれらを広く適用可能である。ここで、輪郭強調処理を行う画像を撮像するタイミングで照射される照明光は、深度拡大部３３０で深度拡大処理される画像を撮像するタイミングに照射される照明光と、異なる波長帯域である。

　第２フレームメモリ３４０は、深度拡大部３３０から出力される深度拡大画像および、輪郭強調部３８０から出力される輪郭強調画像を格納する。格納された深度拡大画像および輪郭強調画像は後処理部３５０に出力される。

　後処理部３５０は、深度拡大部３３０から出力される深度拡大画像と、第２フレームメモリ３４０に格納された深度拡大画像もしくは輪郭強調画像、輪郭強調部３８０から出力される輪郭強調画像とを合成することによってフルカラー画像を生成し、さらにガンマ処理等の画像処理を施し、表示部４００に出力する。

３．２　動作
　以下、内視鏡装置１２の動作について説明する。具体的には図８～図１２を用いて５つの動作例について説明する。

　図８は、照明光が３種類の４面順次方式であり、深度拡大レベルが２倍であるときの内視鏡装置１２の動作を説明する図である。被写界深度の拡大は出力のＧチャンネルに入力される画像が対象である。具体的にはＧ照明の照射によって撮像される画像に基づいて、深度拡大画像が生成される。

　撮像素子２２０の撮像のフレームレートは、例えば６０ｆｐｓである。フォーカス制御部３７０は、Ｆ１（画像ＩＥ１）、Ｆ０（画像ＩＥ２）、Ｆ１（画像ＩＥ３）、Ｆ２（画像ＩＥ４）…とフォーカス位置を変化させる。照明部６００は、Ｒ（画像ＩＥ１）、Ｇ（画像ＩＥ２）、Ｂ（画像ＩＥ３）、Ｇ（画像ＩＥ４）、…と波長帯域の異なる照明光を順次照射する。図８の例では、Ｎ＝４であり、例えば画像ＩＥ１～ＩＥ４が取得される４フレームが１周期となる。

　画像ＩＥ１（Ｒ_Ｆ１－１）は、Ｒ照明の照射によって撮像される画像である。よって画像ＩＥ１は、被写界深度の拡大対象でなく、輪郭強調処理の対象である。よって前処理部３１０は、画像ＩＡ１を輪郭強調部３８０に出力し、輪郭強調部３８０は画像ＩＥ１に対して輪郭強調処理を行って輪郭強調画像ＨＥ１を生成する。輪郭強調画像ＨＥ１は、第２フレームメモリ３４０に記憶される。

　画像ＩＥ２（Ｇ_Ｆ０－１）は、Ｇ照明の照射によって撮像される画像である。よって画像ＩＥ２は、被写界深度の拡大対象であるため、第１フレームメモリ３２０に記憶される。

　画像ＩＥ３（Ｂ_Ｆ１－１）は、Ｂ照明の照射によって撮像される画像である。前処理部３１０は、画像ＩＥ３を輪郭強調部３８０に出力し、輪郭強調部３８０は画像ＩＥ３に対して輪郭強調処理を行って輪郭強調画像ＨＥ２を生成する。輪郭強調画像ＨＥ２は、第２フレームメモリ３４０に記憶される。

　画像ＩＥ４（Ｇ_Ｆ２－１）は、Ｇ照明の照射によって撮像される画像である。よって画像ＩＥ４は、被写界深度の拡大対象であるため、第１フレームメモリ３２０及び深度拡大部３３０に出力される。深度拡大部３３０は、画像ＩＥ２（Ｇ_Ｆ０－１）とＩＥ４（Ｇ_Ｆ２－１）を合成し、深度拡大画像ＥＥ１を出力する。ここで深度拡大画像ＥＥ１を合成する際は、画像ＩＥ４を基準画像とし、画像ＩＥ２はＩＥ４に対して位置合わせを行った上で合成する。

　そして後処理部３５０は、深度拡大部３３０から出力される深度拡大画像ＥＥ１と、第２フレームメモリ３４０から読みだした輪郭強調画像ＨＥ１及び輪郭強調画像ＨＥ２を出力チャンネルに割り当てて表示画像を生成する。具体的には、後処理部３５０は、輪郭強調画像ＨＥ１を出力のＲチャンネルに割り当て、深度拡大画像ＥＥ１を出力のＧチャンネルに割り当て、輪郭強調画像ＨＥ２を出力のＢチャンネルに割り当てることによって、表示画像ＤＥ１を出力する。

　以上で１周期の処理が完了し、これ以降はフォーカス制御部３７０及び照明部６００は、同様の制御を繰り返す。例えばＩＥ４の次のフレームでは、前処理部３１０は、画像ＩＥ５（Ｒ_Ｆ０－２）を輪郭強調部３８０に出力し、輪郭強調部３８０は、画像ＩＥ５を輪郭強調処理することで輪郭強調画像ＨＥ３を生成する。そして後処理部３５０は、輪郭強調画像ＨＥ３を出力のＲチャンネルに割り当て、深度拡大画像ＥＥ１を出力のＧチャンネルに割り当て、輪郭強調画像ＨＥ２を出力のＢチャンネルに割り当てることで、表示画像ＤＥ２を出力する。

　次に、前処理部３１０は、画像ＩＥ６（Ｇ_Ｆ０－２）を第１フレームメモリ３２０及び深度拡大部３３０に出力する。深度拡大部３３０は、画像ＩＥ４（Ｇ_Ｆ２－１）とＩＥ６（Ｇ_Ｆ０－２）を合成し、深度拡大画像ＥＥ２を出力する。そして後処理部３５０は、輪郭強調画像ＨＥ３を出力のＲチャンネルに割り当て、深度拡大画像ＥＥ２を出力のＧチャンネルに割り当て、輪郭強調画像ＨＥ２を出力のＢチャンネルに割り当てることによって、表示画像ＤＥ３を出力する。

　これ以降も同様であり、Ｒ又はＢの照明光が照射されるタイミングでは、出力のＲチャンネル又はＢチャンネルに割り当てられる輪郭強調画像が更新され、Ｇの照明光が照射されるタイミングでは、新たな深度拡大画像が生成されてＧチャンネルに割り当てられる深度拡大画像が更新される。即ち、各フレームにおいて表示画像の出力が行われ、撮像のフレームレートと表示画像の出力のフレームレートが等しくなる。撮像が６０ｆｐｓであれば表示も６０ｆｐｓとなる。

　図８に示した手法によって、ＲＧＢの面順次照明を行いつつ、異なるタイミングで撮像したフォーカス位置の異なる２枚の画像を合成することによって２倍の深度拡大（時分割ＥＤＯＦ）を実現できる。ただし、被写界深度が拡大されるのは出力のＧチャンネルであり、Ｒチャンネル及びＢチャンネルの入力は輪郭強調画像である。

　図９は、照明光が２種類の２面順次方式であり、深度拡大レベルが２倍であるときの内視鏡装置１２の動作を説明する図である。被写界深度の拡大は出力のＧチャンネルに入力される画像が対象である。具体的にはＢ照明の照射によって撮像される画像に基づいて、深度拡大画像が生成される。

　撮像素子２２０の撮像のフレームレートは、例えば６０ｆｐｓである。フォーカス制御部３７０は、Ｆ０（画像ＩＦ１）、Ｆ１（画像ＩＦ２）、Ｆ２（画像ＩＦ３）、Ｆ１（画像ＩＦ４）、…とフォーカス位置を変化させる。照明部６００は、Ｂ（画像ＩＦ１）、Ｇ（画像ＩＦ２）、Ｂ（画像ＩＦ３）、Ｇ（画像ＩＦ４）、…と波長帯域の異なる照明光を順次照射する。図９の例では、Ｎ＝４であり、例えば画像ＩＦ１～ＩＦ４が取得される４フレームが１周期となる。

　深度拡大部３３０は、撮像した画像ＩＦ１（Ｂ_Ｆ０－１）、ＩＦ３（Ｂ_Ｆ２－１）を合成し、深度拡大画像ＥＦ１を出力する。ここで深度拡大画像ＥＦ１を合成する際は、画像ＩＦ３を基準画像とし、画像ＩＦ１はＩＦ３に対して位置合わせを行った上で合成する。

　また、輪郭強調部３８０は、画像ＩＦ２（Ｇ_Ｆ１－１）に対して輪郭強調処理を行い、輪郭強調画像ＨＦ１を出力する。そして後処理部３５０は、輪郭強調画像ＨＦ１を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＦ１を出力のＧチャンネルに割り当てることによって、表示画像ＤＦ１を出力する。

　次に、輪郭強調部３８０は、画像ＩＦ４（Ｇ_Ｆ１－２）を輪郭強調処理することによって輪郭強調画像ＨＦ２を生成する。そして後処理部３５０は、輪郭強調画像ＨＦ２を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＦ１を出力のＧチャンネルに割り当てることによって、表示画像ＤＦ２を出力する。

　以上で１周期の処理が完了し、これ以降はフォーカス制御部３７０及び照明部６００は、同様の制御を繰り返す。例えばＩＦ４の次のフレームでは、前処理部３１０は、画像ＩＦ５（Ｂ_Ｆ０－２）を第１フレームメモリ３２０及び深度拡大部３３０に出力する。深度拡大部３３０は、画像ＩＦ３（Ｇ_Ｆ２－１）とＩＦ５（Ｇ_Ｆ０－２）を合成し、深度拡大画像ＥＦ２を出力する。そして後処理部３５０は、輪郭強調画像ＨＦ２を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＦ２を出力のＧチャンネルに割り当てることによって、表示画像ＤＦ３を出力する。

　図９に示した手法によって、ＧＢの面順次照明を行いつつ、異なるタイミングで撮像したフォーカス位置の異なる２枚の画像を合成することによって２倍の深度拡大（時分割ＥＤＯＦ）を実現できる。ただし、被写界深度が拡大されるのは出力のＧチャンネルであり、Ｒチャンネル及びＢチャンネルの入力は輪郭強調画像である。

　図１０は、照明光が２種類の２面順次方式であり、深度拡大レベルが２倍であるときの内視鏡装置１２の動作を説明する図である。被写界深度の拡大は出力のＧチャンネルに入力される画像が対象である。具体的にはＢ照明の照射によって撮像される画像に基づいて、深度拡大画像が生成される。

　撮像素子２２０の撮像のフレームレートは、例えば６０ｆｐｓである。フォーカス制御部３７０は、Ｆ０（画像ＩＧ１）、Ｆ１（画像ＩＧ２）、Ｆ２（画像ＩＧ３）、Ｆ０（画像ＩＧ４）、…とフォーカス位置を変化させる。照明部６００は、Ｂ（画像ＩＧ１）、Ｇ（画像ＩＧ２）、Ｂ（画像ＩＧ３、ＩＦ４）、Ｇ（画像ＩＧ５）、Ｂ（画像ＩＧ６、ＩＧ７）、…と波長帯域の異なる照明光を順次照射する。図１０の例では、Ｎ＝３であり、例えば画像ＩＧ１～ＩＧ３が取得される３フレームが１周期となる。

　輪郭強調部３８０は、画像ＩＧ２（Ｇ_Ｆ１－１）に対して輪郭強調処理を行い、輪郭強調画像ＨＧ１を出力する。深度拡大部３３０は、撮像した画像ＩＧ１（Ｂ_Ｆ０－１）、ＩＧ３（Ｂ_Ｆ２－１）を合成し、深度拡大画像ＥＧ１を出力する。ここで深度拡大画像ＥＧ１を合成する際は、画像ＩＧ３を基準画像とし、画像ＩＧ１はＩＧ３に対して位置合わせを行った上で合成する。そして後処理部３５０は、輪郭強調画像ＨＧ１を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＧ１を出力のＧチャンネルに割り当てることによって、表示画像ＤＧ１を出力する。

　以上で１周期の処理が完了し、これ以降はフォーカス制御部３７０及び照明部６００は、同様の制御を繰り返す。例えばＩＧ３の次のフレームでは、前処理部３１０は、画像ＩＧ４（Ｂ_Ｆ０－２）を第１フレームメモリ３２０及び深度拡大部３３０に出力する。深度拡大部３３０は、画像ＩＧ３（Ｇ_Ｆ２－１）とＩＧ４（Ｇ_Ｆ０－２）を合成し、深度拡大画像ＥＧ２を出力する。そして後処理部３５０は、輪郭強調画像ＨＧ１を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＧ２を出力のＧチャンネルに割り当てることによって、表示画像ＤＧ２を出力する。以下同様に、画像ＩＧ５の取得によって輪郭強調画像が更新され、画像ＩＧ６の取得によって深度拡大画像が更新される。

　図１０に示した手法によって、ＧＢの面順次照明を行いつつ、異なるタイミングにおいて撮像したフォーカス位置の異なる２枚の画像を合成することによって、２倍の深度拡大（時分割ＥＤＯＦ）を実現できる。ただし、被写界深度が拡大されるのは出力のＧチャンネルであり、Ｒチャンネル及びＢチャンネルの入力は輪郭強調画像である。

　なお、図９及び図１０の動作は、２照明、深度拡大レベル２倍の時分割ＥＤＯＦである点では同様である。ただし図９では１周期の４フレーム目にＧ照明の照射があるのに対して、図１０はＢＧＢの３フレームを１周期とする点で異なる。深度拡大画像の更新を高頻度にするという点では、図１０の方が望ましい。一方、図１０の例ではＩＧ３とＩＧ４の間でフォーカス位置を大きく変更する必要がある。フォーカス位置の変更制御、具体的にはレンズを駆動するアクチュエータの制御が容易であるという点では、図９の方が望ましい。

　図１１は、照明光が２種類の２面順次方式であり、深度拡大レベルが２倍であるときの内視鏡装置１２の動作を説明する図である。被写界深度の拡大は出力のＧチャンネルに入力される画像が対象である。具体的にはＢ照明の照射によって撮像される画像に基づいて、深度拡大画像が生成される。

　撮像素子２２０の撮像のフレームレートは、例えば１２０ｆｐｓである。フォーカス制御部３７０は、Ｆ０（画像ＩＨ１）、Ｆ１（画像ＩＨ２）、Ｆ２（画像ＩＨ３）、Ｆ１（画像ＩＨ４）、…とフォーカス位置を変化させる。照明部６００は、Ｂ（画像ＩＨ１、ＩＨ２、ＩＨ３）、Ｇ（画像ＩＨ４）…と波長帯域の異なる照明光を順次照射する。図１０の例では、Ｎ＝４であり、例えば画像ＩＨ１～ＩＨ４が取得される４フレームが１周期となる。

　深度拡大部３３０は、撮像した画像ＩＨ１（Ｂ_Ｆ０－１）、画像ＩＨ２（Ｂ_Ｆ１－１）、画像ＩＨ３（Ｂ_Ｆ２－１）を合成し、深度拡大画像ＥＨ１を出力する。ここで深度拡大画像ＥＨ１を合成する際は、画像ＩＨ２を基準画像とし、画像ＩＨ１、ＩＨ３は画像ＩＨ２に対して位置合わせを行った上で合成する。

　また、輪郭強調部３８０は画像ＩＨ４（Ｇ_Ｆ１－１）に対して輪郭強調処理を行い、輪郭強調画像ＨＨ１を出力する。そして後処理部３５０は、輪郭強調画像ＨＨ１を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＨ１を出力のＧチャンネルに割り当てることによって、表示画像ＤＨ１を出力する。

　以上で１周期の処理が完了し、これ以降はフォーカス制御部３７０及び照明部６００は、同様の制御を繰り返す。深度拡大部３３０は、画像ＩＨ７の取得後、画像ＩＨ６（Ｂ_Ｆ１－２）を基準画像とし、画像ＩＨ５（Ｂ_Ｆ０－２）、ＩＨ７（Ｂ_Ｆ２－２）を位置合わせした上で合成し、深度拡大画像ＥＨ２を出力する。そして後処理部３５０は、輪郭強調画像ＨＨ１を出力のＲチャンネル及びＢチャンネルに割り当て、深度拡大画像ＥＨ２を出力のＧチャンネルに割り当てることによって、表示画像ＤＨ２を出力する。

　なお図１１の例では、画像ＩＨ５及びＩＨ６の取得時には、深度拡大画像の更新、及び表示画像の出力が行われない。画像ＩＨ７の取得時に、深度拡大画像の更新及び表示画像の出力が行われ、画像ＩＨ８の取得時に、輪郭強調画像の更新及び表示画像の出力が行われる。即ち、表示画像の出力は４フレーム当たり２フレームとなるため、撮像のフレームレートに対して表示画像の出力のフレームレートが１／２となる。表示画像の出力のフレームレートを６０ｆｐｓとする場合、撮像のフレームレートは上述したように１２０ｆｐｓとなる。

　図１１に示した手法によって、ＧＢの２面順次照明を行いつつ、異なるタイミングにおいて撮像したフォーカス位置の異なる３枚の画像を合成することによって、３倍の深度拡大（時分割ＥＤＯＦ）を実現できる。ただし、被写界深度が拡大されるのは出力のＧチャンネルであり、Ｒチャンネル及びＢチャンネルの入力は輪郭強調画像である。

　図１２は、照明光が５種類の６面順次方式であり、深度拡大レベルが２倍であるときの内視鏡装置１２の動作を説明する図である。

　撮像素子２２０の撮像のフレームレートは、例えば６０ｆｐｓである。フォーカス制御部３７０は、Ｆ１（画像ＩＩ１）、Ｆ０（画像ＩＩ２）、Ｆ１（画像ＩＩ３、ＩＩ４）、Ｆ２（画像ＩＩ５）、Ｆ１（画像ＩＩ６、ＩＩ７）、…とフォーカス位置を変化させる。照明部６００は、Ｒ（画像ＩＩ１）、Ｇ（画像ＩＩ２）、Ｂ（画像ＩＩ３）、Ｒ’（画像ＩＩ４）、Ｇ（画像ＩＩ５）、Ｂ’（画像ＩＩ６）、…と波長帯域の異なる照明光を順次照射する。ここでＲ’はＲと波長帯域が近い照明光である。またＢ’はＢと波長帯域が近い照明光である。波長帯域が近いとは、例えばピーク波長の差が小さいことを表す。例えば、ＲとＲ’のピーク波長の差は、Ｒ’とＧのピーク波長の差に比べて小さい。Ｂ’とＢのピーク波長の差は、Ｂ’とＧのピーク波長の差に比べて小さい。

　深度拡大部３３０は撮像した画像ＩＩ２（Ｇ_Ｆ０－１）と、画像ＩＩ５（Ｇ_Ｆ２－１）を合成し、深度拡大画像ＥＩ１を出力する。ここで深度拡大画像ＥＩ１を合成する際は、画像ＩＩ５を基準画像とし、画像ＩＩ２はＩＩ５に対して位置合わせを行った上で合成する。

　また、輪郭強調部３８０は画像ＩＩ１（Ｒ_Ｆ１－１）、ＩＩ３（Ｂ_Ｆ１－１）、ＩＩ４（Ｒ’_Ｆ１－１）、ＩＩ６（Ｂ’_Ｆ１－１）に対してそれぞれ輪郭強調処理を行い、輪郭強調画像ＨＩ１、ＨＩ２、ＨＩ３、ＨＩ４を出力する。

　そして後処理部３５０は、輪郭強調画像ＨＩ１とＨＩ３を加算平均して出力のＲチャンネルに割り当て、深度拡大画像ＥＩ１を出力のＧチャンネルに割り当て、輪郭強調画像ＨＩ２とＨＩ４を加算平均して出力のＢに割り当てることによって、表示画像ＤＨ１を出力する。

　以上で１周期の処理が完了し、これ以降はフォーカス制御部３７０及び照明部６００は、同様の制御を繰り返す。Ｒ、Ｂ、Ｒ’、Ｂ’の照明光が照射されるタイミングでは、出力のＲチャンネル又はＢチャンネルに割り当てられる輪郭強調画像が更新され、Ｇの照明光が照射されるタイミングでは、新たな深度拡大画像が生成されてＧチャンネルに割り当てられる深度拡大画像が更新される。

　例えば深度拡大部３３０は、画像ＩＩ８（Ｇ_Ｆ０－２）を基準画像として画像ＩＩ５（Ｇ_Ｆ２－１）を位置合わせした上で合成し、深度拡大画像ＥＩ２を出力する。そして後処理部３５０は、画像ＩＩ７（Ｒ_Ｆ０－２）に対して輪郭強調処理を行った輪郭強調画像ＨＩ５と輪郭強調画像ＨＩ３を加算平均した後に出力のＲチャンネルに割り当て、深度拡大画像ＥＩ２を出力のＧチャンネルに割り当て、輪郭強調画像ＨＩ２とＨＩ４を加算平均した後に出力のＢに割り当てることによって、表示画像ＤＩ２を出力する。

　図１２の例では、各フレームにおいて表示画像の出力が行われ、撮像のフレームレートと表示画像の出力のフレームレートが等しくなる。撮像が６０ｆｐｓであれば表示も６０ｆｐｓとなる。

　図１２に示した手法によって、６面順次照明を行いつつ、異なるタイミングにおいて撮像したフォーカス位置の異なる２枚の画像を合成することによって、２倍の深度拡大（時分割ＥＤＯＦ）を実現できる。ただし、被写界深度が拡大されるのは出力のＧチャンネルであり、Ｒチャンネル及びＢチャンネルの入力は輪郭強調画像である。

４．変形例
　本実施形態の撮像素子２２０はモノクロセンサである。図３に示した例では、照明部６００がＲ照明を照射したタイミングでは、撮像素子２２０はＲの波長帯域に対応する画像ＩＡ１を出力する。同様に、Ｇ照明を照射したタイミングでは、撮像素子２２０はＧの波長帯域に対応する画像ＩＡ２を出力し、Ｂ照明を照射したタイミングでは、撮像素子２２０はＢの波長帯域に対応する画像ＩＡ３を出力する。

　ただし撮像素子２２０はモノクロセンサに限定されず、カラーフィルタを備えた撮像素子であっても構わない。なおカラーフィルタとは、広く知られたベイヤフィルタであってもよいし、補色フィルタであってもよいし、他のフィルタであってもよい。補色フィルタとは、シアン、マゼンダ及びイエローの各色フィルタを含むフィルタである。

　この場合、処理部３００（例えば前処理部３１０）は、１つの照明光の照射による撮像素子２２０からの出力信号に対して同時化処理を行うことによって、複数の画像を取得する。撮像素子２２０がベイヤ配列の撮像素子であれば、１つの照明光の照射に基づいて、Ｒフィルタに対応する画像、Ｇフィルタに対応する画像、及びＢフィルタに対応する画像の３つの画像を取得可能である。換言すれば、Ｐ種類の照明光を面順次方式を用いてカラーフィルターを備えた撮像素子２２０に照射することによって、Ｐ×ｑ（ｑは例えば３）種類の画像を取得できる。深度拡大部３３０は、Ｐ×ｑ種類の画像の一部又は全部を対象として、深度拡大処理を行う。

　例えば、図１２に準じた手法を、２つの照明光によって実現してもよい。第１のタイミングにおいて、フォーカス制御部３７０は、フォーカス位置をＦ１に設定し、照明部６００は白色光である第１照明光を照射する。これにより、前処理部３１０はＩＩ１（Ｒ_Ｆ０－１）、及びＩＩ３（Ｂ_Ｆ０－１）に相当する画像を同時に取得可能である。次の第２のタイミングにおいて、フォーカス制御部３７０は、フォーカス位置をＦ０に設定し、照明部６００は白色光である第１照明光を照射する。これにより、前処理部３１０はＩＩ２（Ｇ_Ｆ０－１）に相当する画像を取得する。

　次の第３のタイミングにおいて、フォーカス制御部３７０は、フォーカス位置をＦ１に設定し、照明部６００は少なくとも赤色の一部の波長帯域及び青色の一部の波長帯域がカットされた第２照明光を照射する。より具体的には、第２照明光とは、当該第２照明光が撮像素子２２０のＲフィルタを透過することによってＲ’に対応する波長帯域の信号が取得され、且つ、当該第２照明光が撮像素子２２０のＢフィルタを透過することによってＢ’に対応する波長帯域の信号が取得される照明光である。これにより、前処理部３１０はＩＩ４（Ｒ’_Ｆ１－１）、及びＩＩ６（Ｂ’_Ｆ１－１）に相当する２つの画像を同時に取得可能である。

　さらに次に第４のタイミングにおいて、フォーカス制御部３７０は、フォーカス位置をＦ２に設定し、照明部６００は白色光である第１照明光を照射する。これにより、前処理部３１０はＩＩ５（Ｇ_Ｆ２－１）に相当する画像を取得する。

　以上の手法によれば、図１２の例では６フレームかけて取得した画像ＩＩ１～ＩＩ６を、４フレームの期間で取得することが可能である。また以上の例では、取得可能な画像の一部を処理に用いている。例えば、第１タイミングにおいてＧ_Ｆ０－１に相当する画像が取得可能であり、第２タイミングにおいてＲ_Ｆ１－１、Ｂ_Ｆ１－１に相当する画像が取得可能であるが、これらの画像が表示画像の出力に用いられない。本変形例では、取得可能な画像の各画像を処理に用いるか否かを柔軟に変更である。さらに言えば、各画像を深度拡大処理の対象とするか、輪郭強調処理の対象とするか、或いは他の画像処理の対象とするかについても、柔軟な設定が可能である。

　なおＲとＲ’、ＢとＢ’のように、同じカラーフィルタを透過する複数の信号を分離した状態で画像処理に用いる場合、照明光自体を分けて照射することが望ましい。例えば白色光が撮像素子２２０のＲフィルタを透過することによって取得される信号は、ＲとＲ’が混ざった状態であり、当該信号からＲとＲ’を分離することは困難なためである。このような場合、面順次方式の照明光の照射と、カラーフィルタを備えた撮像素子２２０とを組み合わせることの利点が大きい。

　また、内視鏡装置として、制御装置とスコープが接続され、そのスコープをユーザが操作しながら体内を撮影するタイプを想定できる。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。

　例えば、手術支援システムは、制御装置とロボットとスコープとを含む。スコープは例えば硬性鏡である。制御装置は、ロボットを制御する装置である。即ち、ユーザが制御装置の操作部を操作することによってロボットを動作させ、ロボットを用いて患者に対する手術を行う。また制御装置の操作部を操作することによって、ロボットを経由することによってスコープを操作し、手術領域を撮影する。制御装置は、図１、図２又は図７の処理部３００を含んでいる。ユーザは、処理部３００が表示装置に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システムにおける制御装置に適用できる。なお、制御装置はロボットに内蔵されてもよい。

　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形することによって具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０…撮像装置、１２…内視鏡装置、１００…挿入部、１１０…ライトガイド、
２００…撮像部、２１０…対物光学系、２２０…撮像素子、２３０…Ａ／Ｄ変換部、
３００…処理部、３１０…前処理部、３２０…第１フレームメモリ、
３３０…深度拡大部、３４０…第２フレームメモリ、３５０…後処理部、
３６０…制御部、３７０…フォーカス制御部、３８０…輪郭強調部、
３９０…画像取得部、４００…表示部、５００…外部Ｉ／Ｆ部、６００…照明部、
６１０…白色光源、６２０…回転フィルタ

Claims

　第１～第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式を用いて被写体に照明光を照射する照明部と、
　前記被写体からの反射光を被写体像として結像する対物光学系と、前記被写体像が結像される撮像素子と、を有する撮像部と、
　前記対物光学系のフォーカス位置を制御するフォーカス制御部と、
　前記撮像素子が撮像した画像を取得する画像取得部と、
　Ｍ枚（Ｍは２≦Ｍ≦Ｎ－１を満たす整数）の前記画像を１枚の深度拡大画像に合成することによって被写界深度を拡大する深度拡大部と、
　を含み、
　前記照明部は、
　前記面順次方式を用いて前記被写体に照射される照明光のうちの少なくとも第１の照明光を、前記第１～第Ｎのフレームの間に、Ｍ回発光させ、
　前記フォーカス制御部は、
　前記第１の照明光のＭ回の発光の各発光タイミングにおいて、異なる前記フォーカス位置を設定し、
　前記深度拡大部は、
　前記フォーカス位置の異なるＭ枚の前記画像を合成することによって、前記深度拡大画像を出力することを特徴とする撮像装置。
　請求項１において、
　前記照明部は、
　前記第１の照明光以外の少なくとも１つの照明光において、前記第１～第Ｎのフレームの間に１回だけ発光を行うことを特徴とする撮像装置。
　請求項１において、
　前記深度拡大部において合成した前記深度拡大画像を、出力の輝度成分に割り当てて表示画像を生成する後処理部を更に含むことを特徴とする撮像装置。
　請求項３において、
　前記後処理部は、
　前記深度拡大部において合成した前記深度拡大画像を、出力の前記輝度成分以外にもさらに割り当てて前記表示画像を生成することを特徴とする撮像装置。
　請求項１において、
　複数の出力チャンネルの各チャンネルに画像を割り当てて、表示画像を生成する後処理部を更に含み、
　前記後処理部は、
　前記複数の出力チャンネルのうちの１つの出力チャンネルに、前記深度拡大部において合成した前記深度拡大画像を割り当て、前記複数の出力チャンネルのうちの他の出力チャンネルに、前記被写界深度が拡大されていない画像を割り当てて、前記表示画像を生成することを特徴とする撮像装置。
　請求項１において、
　前記画像取得部が取得した画像に輪郭強調処理を行い、輪郭強調画像を生成する輪郭強調部と、
　複数の出力チャンネルの各チャンネルに画像を割り当てて、表示画像を生成する後処理部と、
　を更に含み、
　前記後処理部は、
　前記複数の出力チャンネルのうちの少なくとも１つの出力チャンネルに、前記深度拡大部において合成した前記深度拡大画像を割り当て、前記複数の出力チャンネルのうちの他の出力チャンネルに、前記輪郭強調部が生成した前記輪郭強調画像を割り当てて、前記表示画像を生成することを特徴とする撮像装置。
　請求項１において、
　前記第１の照明光のＭ回の発光の各発光タイミングにおける前記フォーカス位置が、第１～第Ｍのフォーカス位置である場合に、
　前記フォーカス制御部は、
　前記第１の照明光の以外の照明光における前記フォーカス位置を、前記第１～第Ｍのフォーカス位置のうちの最も遠い被写体へ合焦するフォーカス位置と最も近い被写体へ合焦するフォーカス位置の間のフォーカス位置に設定することを特徴とする撮像装置。
　請求項１において、
　複数の出力チャンネルの各チャンネルに画像を割り当てて、表示画像を生成する後処理部を更に含み、
　前記深度拡大部は、
　前記画像が撮像される毎に前記深度拡大画像を出力し、
　前記後処理部は、
　前記深度拡大部から出力される前記深度拡大画像によって、前記表示画像のうち、少なくとも１つの成分を更新することによって、前記表示画像を出力することを特徴とする撮像装置。
　請求項１において、
　Ｎ＝３×ｉ（ｉは２以上の整数）であり、
　前記照明部は、
　前記第１の照明光、第２の照明光、第３の照明光の順次発光を、前記第１～第Ｎのフレームの間にｉ回繰り返し、
　前記フォーカス制御部は、
　同一の照明光のｊ回目（ｊは１≦ｊ＜ｉの整数）の発光タイミングと、ｊ＋１回目の発光タイミングとで、異なる前記フォーカス位置を設定することを特徴とする撮像装置。
　請求項１において、
　Ｎ＝４であり、
　前記照明部は、
　前記照明光を第２の照明光、前記第１の照明光、第３の照明光、前記第１の照明光の周期によって順次発光し、
　前記フォーカス制御部は、
　前記第１～第Ｎのフレームの中での前記第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで、異なる前記フォーカス位置を設定することを特徴とする撮像装置。
　請求項１において、
　Ｎ＝３であり、
　前記照明部は、
　前記照明光を前記第１の照明光、第２の照明光、前記第１の照明光の周期によって順次発光し、
　前記フォーカス制御部は、
　前記第１～第Ｎのフレームの中での前記第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで、異なる前記フォーカス位置を設定することを特徴とする撮像装置。
　請求項１において、
　Ｎ＝４であり、
　前記照明部は、
　前記照明光を前記第１の照明光、第２の照明光、前記第１の照明光、前記第２の照明光の周期によって順次発光し、
　前記フォーカス制御部は、
　前記第１～第Ｎのフレームの中での前記第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで、異なる前記フォーカス位置を設定することを特徴とする撮像装置。
　請求項１において、
　Ｎ＝２×ｉ（ｉは２以上の整数）であり、
　前記照明部は、
　前記第１の照明光、第２の照明光の順次発光を、前記第１～第Ｎのフレームの間でｉ回繰り返し行い、
　前記フォーカス制御部は、
　同一の照明光のｊ回目（ｊは１≦ｊ＜ｉの整数）の発光タイミングと、ｊ＋１回目の発光タイミングとで、異なる前記フォーカス位置を設定することを特徴とする撮像装置。
　請求項１において、
　Ｎ＝６であり、
　前記照明部は、
　前記照明光を第２の照明光、前記第１の照明光、第３の照明光、第４の照明光、前記第１の照明光、第５照明光の周期によって順次発光し、
　前記フォーカス制御部は、
　前記第１～第Ｎのフレームの中での前記第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで、異なる前記フォーカス位置を設定することを特徴とする撮像装置。
　請求項１において、
　Ｎ＝４であり、
　前記照明部は、
　前記照明光を前記第１の照明光、前記第１の照明光、前記第１の照明光、第２の照明光の周期によって順次発光し、
　前記フォーカス制御部は、
　前記第１～第Ｎのフレームの中での前記第１の照明光の１回目の発光タイミングと２回目の発光タイミングとで異なる前記フォーカス位置を設定し、前記第１～第Ｎのフレームの中での前記第１の照明光の２回目の発光タイミングと３回目の発光タイミングとで異なる前記フォーカス位置を設定することを特徴とする撮像装置。
　請求項１において、
　前記撮像素子は、
　カラーフィルタを備えないモノクロセンサであることを特徴とする撮像装置。
　請求項１において、
　前記撮像素子は、
　カラーフィルタを備えたカラーセンサであることを特徴とする撮像装置。
　請求項１に記載された撮像装置を含むことを特徴とする内視鏡装置。
　第１～第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式を用いて被写体に照明光を照射する照明部と、前記被写体からの反射光を被写体像として結像する対物光学系と、前記被写体像が結像される撮像素子と、を有する撮像部と、を含む撮像装置の作動方法であって、
　前記面順次方式を用いて前記被写体に照射される照明光のうちの少なくとも第１の照明光を、前記第１～第Ｎのフレームの間に、Ｍ（Ｍは２≦Ｍ≦Ｎ－１を満たす整数）回発光させ、
　前記第１の照明光のＭ回の発光の各発光タイミングにおいて、前記対物光学系のフォーカス位置を異なる前記フォーカス位置に設定し、
　前記撮像素子が撮像した画像を取得し、
　前記フォーカス位置の異なるＭ（Ｍは２以上の整数）枚の前記画像を１枚の深度拡大画像に合成することによって被写界深度を拡大する、
　ことを特徴とする撮像装置の作動方法。