JPWO2019220584A1 - 撮像装置、内視鏡装置及び撮像装置の作動方法 - Google Patents

Abstract

撮像装置１０は、被写体像を撮像素子２２０に結像する対物光学系２１０のフォーカス位置を制御するフォーカス制御部３５０と、撮像素子２２０が撮像した１秒あたり（Ｌ×Ｎ）枚の画像を取得する画像取得部３９０と、画像取得部３９０が取得したＭ枚の画像から１枚の深度拡大画像を合成することで被写界深度を拡大し、１秒あたりＬ枚の深度拡大画像を出力する画像合成部３３０と、を含む。画像合成部３３０は、Ｍ枚の画像のうち１枚の画像を基準画像として設定し、Ｍ枚の画像のうち基準画像以外の画像を基準画像に対して位置合わせし、位置合わせ後のＭ枚の画像から１枚の深度拡大画像を合成する。

Description

本発明は、撮像装置、内視鏡装置及び撮像装置の作動方法等に関する。

内視鏡装置においては、ユーザが行う診断と処置に支障をきたさないように、可能な限り深い被写界深度が要求される。しかし近年では、内視鏡装置において多画素数の撮像素子が使用され、それに伴って被写界深度が浅くなっている。

浅い被写界深度を補う技術として、被写界深度を拡大するＥＤＯＦ（Extended Depth Of Field）技術の導入が提案されている。例えば特許文献１では、フォーカス位置を変化させて複数の画像を撮像し、その複数の画像においてピントの合った領域を合成画像として合成する。以降は、フォーカス位置を変化させて次の画像を撮像し、その画像においてピントが合った領域と合成画像を合成する。これにより、撮像フレームレートを抑制しつつ被写界深度を拡大できる。

特開２０１７−６３３０号公報

ＥＤＯＦを用いた場合、複数の画像を合成するため、実際の被写体には存在しないアーティファクトが発生するおそれがある。そして、アーティファクトが発生してしまった場合、そのアーティファクトが出来るだけ早く消えることが望ましい。例えば特許文献１に記載の技術では、新たに撮像した画像においてピントが合った領域を用いて、合成画像を更新している。このため、合成画像に発生したアーティファクト領域が更新されるまで、アーティファクトが表示され続けてしまう。

本発明の幾つかの態様によれば、ＥＤＯＦにおいて発生したアーティファクトを早期に更新できる撮像装置、内視鏡装置及び撮像装置の作動方法等を提供できる。

本発明の一態様は、被写体像を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、前記撮像素子が撮像した１秒あたり（Ｌ×Ｎ）枚（Ｌは２以上の整数、Ｎは１以上の数）の画像を取得する画像取得部と、前記画像取得部が取得したＭ枚（ＭはＮより大きい整数）の画像から１枚の深度拡大画像を合成することで被写界深度を拡大し、１秒あたりＬ枚の深度拡大画像を出力する画像合成部と、を含み、前記画像合成部は、前記Ｍ枚の画像のうち１枚の画像を基準画像として設定し、前記Ｍ枚の画像のうち前記基準画像以外の画像を前記基準画像に対して位置合わせし、位置合わせ後の前記Ｍ枚の画像を前記１枚の深度拡大画像に合成する撮像装置に関係する。

本発明の一態様によれば、Ｌ枚の深度拡大画像の各々を、撮像画像から合成している。これにより、ある深度拡大画像において仮にアーティファクトが発生したとしても、次の深度拡大画像は撮像画像から合成するので、アーティファクト部分を早期に更新できる。また本発明の一態様によれば、Ｎ＞Ｍであることで、Ｌ×Ｎ＜Ｌ×Ｍとなる。即ち、合成される画像を重複させながら深度拡大画像を合成できる。合成される画像を重複させない場合、撮像フレームレートは（Ｌ×Ｍ）ｆｐｓとなるが、本発明の一態様によれば、それより低フレームレートの（Ｌ×Ｎ）ｆｐｓとなる。即ち、出来るだけ低フレームレートの撮像を実現しながら、且つ被写体深度の拡大率Ｍを大きくできる。

また本発明の他の態様は、上記に記載された撮像装置を含む内視鏡装置に関係する。

また本発明の更に他の態様は、被写体像を撮像素子に結像する対物光学系のフォーカス位置を制御し、前記撮像素子が撮像した１秒あたり（Ｌ×Ｎ）枚（Ｌは２以上の整数、Ｎは１以上の数）の画像を取得し、取得したＭ枚（ＭはＮより大きい整数）の画像のうち１枚の画像を基準画像として設定し、前記Ｍ枚の画像のうち前記基準画像以外の画像を前記基準画像に対して位置合わせし、位置合わせ後の前記Ｍ枚の画像を１枚の深度拡大画像に合成して被写界深度を拡大し、１秒あたりＬ枚の深度拡大画像を出力する撮像装置の作動方法に関係する。

ＥＤＯＦにおけるアーティファクトの発生を説明する図。 本実施形態の撮像装置の構成例。 内視鏡装置の詳細な構成例。 Ｎ＝２、Ｍ＝３であるときの内視鏡装置の動作を説明する図。 Ｎ＝２、Ｍ＝４であるときの内視鏡装置の動作を説明する図。 Ｎ＝２、Ｍ＝５であるときの内視鏡装置の動作を説明する図。 Ｎ＝３、Ｍ＝５であるときの内視鏡装置の動作を説明する図。 Ｎ＝１、Ｍ＝２であるときの内視鏡装置の動作を説明する図。 Ｎ＝３／２、Ｍ＝２であるときの内視鏡装置の動作を説明する図。 Ｎ＝３／２、Ｍ＝２であるときの内視鏡装置の動作を説明する図。 Ｎ＝５／４、Ｍ＝２であるときの内視鏡装置の動作を説明する図。 画像合成部の詳細な構成例。 合成マップ生成部が行う処理の手順を示すフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．撮像装置
図１は、ＥＤＯＦにおけるアーティファクトの発生を説明する図である。

図１に示すように、フレームＦ１、Ｆ２において、フォーカス位置を変えながら画像が撮像される。フレームＦ１では、点線で示す円の内側が合焦しており、フレームＦ２では、円の外側が合焦している。この場合、フレームＦ１で撮像された画像の円の内側と、フレームＦ２で撮像された画像の円の外側とが合成され、深度拡大画像ＥＤ１が生成される。なお、点線は便宜的に示すものであり、実際には存在しない。

複数の画像から深度拡大画像ＥＤ１を合成しているので、深度拡大画像ＥＤ１においてアーティファクトが発生する場合がある。例えば、フレームＦ１、Ｆ２の間で調光によって照明光の明るさが変化した場合、合成の境界である円の内外で明るさの差が発生し、その明るさムラがアーティファクトとなる。或いは、フレームＦ１、Ｆ２の間で被写体が動いた場合、被写体の位置がずれているため合成の境界がアーティファクトとなる。これらのアーティファクトは、実際の被写体には存在しない。

次に、フレームＦ３において画像が撮像される。このときのフォーカス位置は例えばフレームＦ１のフォーカス位置と同じである。フレームＦ３では、点線で示す円の内側が合焦しており、この合焦領域を使って深度拡大画像ＥＤ１が更新され、深度拡大画像ＥＤ２が生成される。フレームＦ３の合焦領域は、フレームＦ１の合焦領域から右側にずれているため、その右側にずれた合焦領域の部分だけが更新される。このため、深度拡大画像ＥＤ１におけるアーティファクトの一部は消えるが、更新されない領域のアーティファクトは残ったままである。以降も同様な更新を繰り返すが、合焦領域で更新されない限りアーティファクトが消えないので、長い期間にわたってアーティファクトが表示される可能性がある。

この課題を解決する手法として、深度拡大画像を更新するのではなく、毎回、撮像画像から新たに深度拡大画像を合成する手法が考えられる。しかしながら、この手法では深度拡大画像のフレームレートが低下する、又は撮像のフレームレートが高速になるという課題がある。例えば、撮影した動画の３フレーム毎に深度拡大画像を生成し、６０ｆｐｓ（fps: frame per second）の深度拡大動画を得たいとき、元の動画を１８０ｆｐｓで撮影する必要がある。一方、元の動画を６０ｆｐｓで撮影したときには、３フレーム毎に深度拡大画像を生成すると２０ｆｐｓの深度拡大画像しか得られない。

以上のように、従来技術では、ＥＤＯＦにおいて発生したアーティファクトを早期に更新し、且つ深度拡大動画のフレームレートを確保することが困難である。

図２は、本実施形態の撮像装置の構成例である。撮像装置１０は処理部３００と撮像部２００とを含む。処理部３００は例えば処理装置又は制御装置である。撮像部２００はイメージャである。なお、撮像部２００は着脱可能であってもよい。

撮像部２００は、対物光学系２１０と撮像素子２２０とを含む。対物光学系２１０は、被写体像を撮像素子２２０に結像する。対物光学系２１０は対物レンズであるが、更にプリズム等の光学素子を含んでもよい。撮像素子２２０はイメージセンサである。撮像素子２２０は、１秒あたり（Ｌ×Ｎ）枚の画像を撮像する。即ち、フレームレートが（Ｌ×Ｎ）ｆｐｓの動画を撮影する。Ｌは２以上の整数であり、Ｎは１以上の数である。Ｎは実数であり、整数に限定されない。例えばＮは有理数である。

処理部３００は、フォーカス制御部３５０と画像取得部３９０と画像合成部３３０とを含む。フォーカス制御部３５０は、対物光学系２１０のフォーカス位置を制御する。画像取得部３９０は、撮像素子２２０が撮像した画像を取得する。画像合成部３３０は、画像取得部３９０が取得したＭ枚の画像から１枚の深度拡大画像を合成することで被写界深度を拡大し、１秒あたりＬ枚の深度拡大画像を出力する。ＭはＮより大きい整数である。画像合成部３３０は、Ｍ枚の画像のうち１枚の画像を基準画像として設定し、Ｍ枚の画像のうち基準画像以外の画像を基準画像に対して位置合わせし、位置合わせ後のＭ枚の画像を１枚の深度拡大画像に合成する。

例えば、後述する図４ではＮ＝２、Ｍ＝３である。画像合成部３３０は、３枚の画像ＩＡ１〜ＩＡ３のうち１枚の画像ＩＡ２を基準画像として設定し、基準画像以外の画像ＩＡ１、ＩＡ３を基準画像ＩＡ２に対して位置合わせし、位置合わせ後の画像ＩＡ１〜ＩＡ３を１枚の深度拡大画像ＥＡ１に合成する。次に、画像合成部３３０は、３枚の画像ＩＡ３〜ＩＡ５のうち１枚の画像ＩＡ４を基準画像として設定し、基準画像以外の画像ＩＡ３、ＩＡ５を基準画像ＩＡ４に対して位置合わせし、位置合わせ後の画像ＩＡ３〜ＩＡ５を１枚の深度拡大画像ＥＡ２に合成する。フレームレートは１２０ｆｐｓなので（Ｌ×Ｎ）＝１２０であり、Ｌ＝６０である。即ち、深度拡大画像の出力フレームレートは６０ｆｐｓである。

本実施形態によれば、Ｍ枚の画像から深度拡大画像を合成し、１秒あたり（Ｌ×Ｎ）枚の画像からＬ枚の深度拡大画像を出力する。即ち、深度拡大画像と、新たに撮像した画像とを合成するのではなく、撮像した画像から深度拡大画像を合成している。図１では深度拡大画像と、新たに撮像した画像とを合成しているため、アーティファクトが長く残るおそれがあるが、本実施形態では仮にアーティファクトが発生してもアーティファクト部分の更新間隔が短縮される。

また本実施形態によれば、Ｎ＞Ｍであることで、Ｌ×Ｎ＜Ｌ×Ｍとなる。即ち、合成させる画像を重複させながら深度拡大画像を合成できる。例えば図４では深度拡大画像ＥＡ１、ＥＡ２において画像ＩＡ３が重複する。合成させる画像を重複させない場合、撮像フレームレートは（Ｌ×Ｍ）ｆｐｓとなるが、本実施形態では、それより低フレームレートの（Ｌ×Ｎ）ｆｐｓとなる。即ち、出来るだけ低フレームレートの撮像を実現しながら、且つ被写体深度の拡大率Ｍを大きくできる。

また図１において仮に位置合わせを行う場合、深度拡大画像と、新たに撮像した画像との間において位置合わせされる。過去の位置合わせが失敗していた場合には深度拡大画像にアーティファクトが残っている場合があるが、そのアーティファクトは新たな位置合わせでは消去できない。この点、本実施形態によれば、撮像した画像から深度拡大画像を合成しているので、撮像した画像間において位置合わせを行うことができる。これにより、毎回位置合わせし直すことができるので、過去の位置合わせが失敗していても、それを原因とするアーティファクトが残らない。

ここで、フォーカス位置とは、被写体側においてフォーカスが合う位置である。即ち、合焦面の位置、又は合焦面と光軸の交点の位置である。フォーカス位置は、撮像部の基準位置から、被写体側においてフォーカスが合う位置までの距離で表される。撮像部の基準位置は、例えば撮像素子の位置、又は対物レンズ先端の位置である。対物光学系においてフォーカスレンズを動かすことでフォーカス位置を調整する。即ち、フォーカス位置とフォーカスレンズの位置は互いに対応しており、フォーカス位置はフォーカスレンズの位置とも言える。

また、深度拡大画像とは、撮像画像の被写体深度よりも被写界深度を拡大した画像である。具体的には、互いにフォーカス位置が異なる複数の画像に基づいて被写界深度が疑似的に拡大された画像である。例えば、画像の各局所領域において、Ｍ枚の画像の中から、その局所領域での合焦度合いが最も高い画像を選択し、その選択した各局所領域の画像で深度拡大画像を構成する。局所領域は例えば画素である。１フレームの深度拡大画像を合成する際に用いるＭ枚の画像は、撮像素子が順次に撮像した画像である。

また、フォーカス制御部３５０は、Ｍ枚の画像の各々が撮像されるタイミングにおいて、異なるフォーカス位置を設定する。

例えば図４では、深度拡大画像ＥＡ１を合成する際に用いられる画像ＩＡ１、ＩＡ２、ＩＡ３から深度拡大画像ＥＡ１が合成される。画像ＩＡ１、ＩＡ２、ＩＡ３が撮像されるタイミングにおいて、フォーカス位置はｆｐ１、ｆｐ２、ｆｐ３に設定される。ｆｐ１、ｆｐ２、ｆｐ３は、互いに異なるフォーカス位置である。

本実施形態によれば、互いに異なるフォーカス位置で撮像したＭ枚の画像から深度拡大画像を合成することで、被写体深度を拡大できる。本実施形態では、合成させる画像を重複させながら深度拡大画像を合成するので、重複しない画像を撮像するタイミングにおけるフォーカス位置は、重複する画像を撮像するタイミングにおけるフォーカス位置以外から選択する。例えば図４では深度拡大画像ＥＡ１、ＥＡ２において画像ＩＡ３が重複する。深度拡大画像ＥＡ２を合成する際に用いる画像ＩＡ３〜ＩＡ５のうち、画像ＩＡ４、ＩＡ５を撮像するタイミングにおけるフォーカス位置ｆｐ２、ｆｐ１は、画像ＩＡ３を撮像するタイミングにおけるフォーカス位置ｆｐ３以外から選択されている。

ここで、画像が撮像されるタイミングは、撮像素子２２０の露光期間に含まれるタイミングである。例えば露光期間の中央であるが、これに限定されず、露光期間に含まれる任意のタイミングであってよい。例えば図４において画像ＩＡ１の露光期間においてフォーカス位置がｆｐ１に設定される。図４では露光期間の全体でフォーカス位置がｆｐ１となっているが、露光期間に含まれる任意のタイミングにおいてフォーカス位置がｆｐ１となっていればよい。

また、第１〜第Ｍのフォーカス位置のうち第１のフォーカス位置が、最も遠い被写体へ合焦するフォーカス位置であり、第Ｍのフォーカス位置が、最も近い被写体へ合焦するフォーカス位置であるとする。このとき、フォーカス制御部３５０は、画像が撮像されるタイミングの１タイミングおきに、第２〜第Ｍ−１のフォーカス位置のいずれかを設定する。

例えば図５では、フォーカス位置ｆｐ１〜ｆｐ４のうちｆｐ１が、最も遠い被写体へ合焦するフォーカス位置であり、ｆｐ４が、最も近い被写体へ合焦するフォーカス位置である。フォーカス制御部３５０は、画像ＩＢ１、ＩＢ３、ＩＢ５、ＩＢ７が撮像されるタイミングにおいて、フォーカス位置ｆｐ３、ｆｐ２、ｆｐ３、ｆｐ２を設定する。

アクチュエータがフォーカスレンズを駆動することでフォーカス位置を移動させるが、フォーカス位置の移動速度が速いほどアクチュエータの経年劣化が早くなる。この点、本実施形態によれば、第１のフォーカス位置から第Ｍのフォーカス位置へ、又は第Ｍのフォーカス位置から第１のフォーカス位置へ移動するときに、第２〜第Ｍ−１のフォーカス位置のいずれかを経由する。これにより、フォーカス位置の差が最大となる移動を避けることができるので、アクチュエータの経年劣化を遅らせることができる。

また、Ｎは２であり、Ｍは３以上５以下の整数である。

例えば図４では、Ｎ＝２、Ｍ＝３であり、図５では、Ｎ＝２、Ｍ＝４であり、図６では、Ｎ＝２、Ｍ＝５である。

Ｎ＝２の場合、深度拡大画像を合成する際に用いる画像を２枚ずつ更新する。例えば図４では、画像ＩＢ１〜ＩＢ４から深度拡大画像ＥＢ１を合成し、画像ＩＢ３〜ＩＢ６から深度拡大画像ＥＢ２を合成する。即ち、画像ＩＢ１、ＩＢ２を画像ＩＢ５、ＩＢ６に更新し、画像ＩＢ３、ＩＢ４を共通に用いている。２枚ずつ画像を更新する場合、基準画像を２枚毎に設定することが望ましいが、本実施形態では２枚毎に第２〜第Ｍ−１のフォーカス位置のいずれかが設定されるので、第２〜第Ｍ−１のフォーカス位置のいずれかにおいて撮像された画像を基準画像として設定できる。これにより、位置合わせされる画像間のフォーカス位置の差を最大値よりも小さくできるので、位置合わせの精度を向上できる。最大値は、第１、第Ｍのフォーカス位置の差である。

また、フォーカス制御部３５０は、第１のフォーカス位置において画像が撮像された後、次の画像が撮像されるタイミングにおいて、第Ｍのフォーカス位置を設定せず、第２〜第Ｍ−１のフォーカス位置のいずれかを設定する。またフォーカス制御部３５０は、第Ｍのフォーカス位置において画像が撮像された後、次の画像が撮像されるタイミングにおいて、第１のフォーカス位置を設定せず、第２〜第Ｍ−１のフォーカス位置のいずれかを設定する。

本実施形態によれば、第１のフォーカス位置から第Ｍのフォーカス位置へ、又は第Ｍのフォーカス位置から第１のフォーカス位置へ移動するときに、第２〜第Ｍ−１のフォーカス位置のいずれかを経由する。これにより、フォーカス位置の差が最大となる移動を避けることができるので、アクチュエータの経年劣化を遅らせることができる。

また、Ｎが整数であるとき、画像合成部３３０は、画像取得部３９０が取得した第１〜第Ｍ＋Ｎの画像のうち第１〜第Ｍの画像から第１の深度拡大画像を合成し、第Ｎ＋１〜第Ｍ＋Ｎの画像から第２の深度拡大画像を合成する。

例えば図５では、Ｎ＝２、Ｍ＝４である。画像合成部３３０は、画像ＩＢ１〜ＩＢ６のうち画像ＩＢ１〜ＩＢ４から深度拡大画像ＥＢ１を合成し、画像ＩＢ３〜ＩＢ６から深度拡大画像ＥＢ２を合成する。

本実施形態によれば、被写界深度を４倍（Ｍ倍）に拡大できると共に、深度拡大画像を出力するフレームレートを撮像フレームレートの２倍（Ｎ倍）に抑制できる。即ち低フレームレートの撮像であるにも関わらず、高倍率な深度拡大を実現できる。

また、画像合成部３３０は、第１〜第Ｍの画像の位置合わせを行う際、第１〜第Ｎの画像のいずれかを基準画像として設定する。第１〜第Ｎの画像は、第２の深度拡大画像を合成する際に用いる第Ｎ＋１〜第Ｍ＋Ｎの画像と重複しない。

例えば図４では、画像合成部３３０は画像ＩＡ１〜ＩＡ３から深度拡大画像ＥＡ１を合成する。このとき、画像合成部３３０は、画像ＩＡ２を位置合わせの基準画像として設定する。画像合成部３３０は画像ＩＡ３〜ＩＡ５から深度拡大画像ＥＡ２を合成するが、画像ＩＡ２は、画像ＩＡ３〜ＩＡ５と重複しない。また図７では、画像合成部３３０は画像ＩＤ１〜ＩＤ４から深度拡大画像ＥＤ１を合成する。このとき、画像合成部３３０は、画像ＩＤ３を位置合わせの基準画像として設定する。画像合成部３３０は画像ＩＤ４〜ＩＤ８から深度拡大画像ＥＤ２を合成するが、画像ＩＤ３は、画像ＩＤ４〜ＩＤ８と重複しない。

本実施形態によれば、深度拡大画像を合成する際に用いる画像のうち、更新される画像を位置合わせの基準画像として設定できる。これにより、アーティファクトが同じ位置に残り続ける可能性を低減できる。例えば図４では、深度拡大画像ＥＡ１、ＥＡ２を合成する際に用いられる画像のうち重複する画像はＩＡ３であるが、それは基準画像に設定されない。即ち、深度拡大画像ＥＡ１を合成するとき基準画像はＩＡ２であり、深度拡大画像ＥＡ２を合成するとき基準画像はＩＡ４である。被写体が動く場合には、画像ＩＡ２と画像ＩＡ４で被写体の位置が変わっており、その異なる被写体位置を基準として位置合わせが行われる。このため、深度拡大画像ＥＡ１、ＥＡ２においてアーティファクトの発生位置が変化する。

また、画像合成部３３０は、画像取得部３９０が取得した第１〜第Ｍ＋ｐ＋ｑの画像のうち第１〜第Ｍの画像から第１の深度拡大画像を合成し、第ｐ＋１〜第Ｍ＋ｐの画像から第２の深度拡大画像を合成し、第ｑ＋１〜第Ｍ＋ｐ＋ｑの画像から第３の深度拡大画像を合成する。ｐ、ｑは１以上Ｍより小さい整数であり、ｐ≠ｑである。画像合成部３３０は、１秒間あたりの平均として（Ｌ×Ｎ）枚の画像からＬ枚の深度拡大画像を出力する。

例えば図９では、Ｍ＝２、ｐ＝１、ｑ＝２である。画像合成部３３０は、画像ＩＦ１〜ＩＦ５のうち画像ＩＦ１、ＩＦ２から深度拡大画像ＥＦ１を合成し、画像ＩＦ２、ＩＦ３から深度拡大画像ＥＦ２を合成し、画像ＩＦ４、ＩＦ５から深度拡大画像ＥＦ３を合成する。なお、画像合成部３３０は、画像ＩＦ３、ＩＦ４から深度拡大画像を合成しない。又は、画像合成部３３０は、画像ＩＦ３、ＩＦ４から深度拡大画像を合成するが、その深度拡大画像を出力しない。図９では、撮像フレームレート９０ｆｐｓであり、フレームレート６０ｆｐｓの深度拡大画像を出力する。即ち、平均としてＮ＝９０ｆｐｓ／６０ｆｐｓ＝３／２となっている。

本実施形態によれば、深度拡大画像を合成する際に用いる画像が、一定の枚数でなく、変化する。このような場合であっても、平均としては（Ｌ×Ｎ）枚の画像からＬ枚の深度拡大画像を出力できる。そして、Ｍ＞Ｎなので、被写体深度の拡大率を出来るだけ大きくしながら、撮像フレームレートを抑制できる。

また、１＜Ｎ＜２である。

例えば図９では、Ｎ＝３／２であり、図１１では５／４である。また図９、図１１ではＭ＝２である。

被写体深度の拡大率がＭ＝２である場合、フォーカス位置がｆｐ１、ｆｐ２の２つしかないので、画像の更新枚数が変化してもフォーカス位置の選択が容易である。即ち、ｆｐ１、ｆｐ２の間を往復するだけで、連続する２画像のフォーカス位置は必ずｆｐ１、ｆｐ２となる。Ｍ＝２の場合、１≦Ｎ＜Ｍ＝２である。そして、画像の更新枚数が一定でない場合には１＜Ｎとなる。即ち、１＜Ｎ＜２となる。

また、フォーカス制御部３５０は、各画像が撮像されるタイミングにおいて、第１〜第Ｍのフォーカス位置のいずれかを設定する。画像合成部３３０は、第２〜第Ｍ−１のフォーカス位置のいずれかに設定されたときに撮像された画像を、基準画像として設定する。

フォーカス位置の差が最大となるのは、第１、第Ｍのフォーカス位置の差である。本実施形態によれば、第２〜第Ｍ−１のフォーカス位置のいずれかにおいて撮像された画像を基準画像として設定できる。これにより、位置合わせされる画像間のフォーカス位置の差を最大値よりも小さくできるので、位置合わせの精度を向上できる。

また、深度拡大画像を合成する際に用いるＭ枚の画像は、順に撮像された第１〜第Ｍの画像である。画像合成部３３０は、第２〜第Ｍ−１の画像のいずれかを基準画像として設定する。

撮像タイミングの差が最大となるのは、第１の画像の撮像タイミングと第Ｍの画像の撮像タイミングとの差である。本実施形態によれば、第２〜第Ｍ−１のフォーカス位置のいずれかにおいて撮像された画像を基準画像として設定できる。これにより、位置合わせされる画像間の撮像タイミングの差を最大値よりも小さくできるので、位置合わせの精度を向上できる。

また、Ｎが整数であるとき、画像合成部３３０は、Ｎ枚間隔の画像毎に基準画像を設定する。

仮に基準画像が一定間隔で設定されない場合、その基準画像における被写体の動きは、一定でない間隔で撮像した動きになっている。深度拡大画像は、基準画像を基準として位置合わせされているので、被写体の位置は基準画像における被写体の位置となっている。Ｎが整数であるとき、深度拡大画像は一定のフレームレートであるが、その被写体の動きは一定のフレームレートではなくなってしまう。この点、本実施形態によれば、Ｎ枚間隔の画像毎に基準画像を設定するので、深度拡大画像において被写体の動きが一定のフレームレートとなる。

なお、本実施形態の撮像装置１０は以下のように構成されてもよい。即ち、処理部３００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。プロセッサは、フォーカス制御処理と画像取得処理と画像合成処理とを行う。フォーカス制御処理は、被写体像を撮像素子に結像する対物光学系のフォーカス位置を制御する。画像取得処理は、撮像素子が撮像した１秒あたり（Ｌ×Ｎ）枚の画像を取得する。画像合成処理は、画像取得処理部が取得したＭ枚の画像から１枚の深度拡大画像を合成することで被写界深度を拡大し、１秒あたりＬ枚の深度拡大画像を出力する。画像合成処理は、Ｍ枚の画像のうち１枚の画像を基準画像として設定し、Ｍ枚の画像のうち基準画像以外の画像を基準画像に対して位置合わせし、位置合わせ後のＭ枚の画像から１枚の深度拡大画像を合成する。

プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。回路装置は例えばＩＣ等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令をプロセッサが実行することで、処理部３００の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。処理部３００の各部は、画像取得部３９０、画像合成部３３０、フォーカス制御部３５０、制御部３４０、前処理部３１０である。

また、本実施形態の処理部３００の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、フォーカス制御部３５０はフォーカス制御モジュールとして実現され、画像取得部３９０は画像取得モジュールとして実現され、画像合成部３３０は画像合成モジュールとして実現される。

また、本実施形態の処理部３００の各部が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭである。処理部３００は、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体は、処理部３００の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部３００の各部の処理をコンピュータに実行させるためのプログラムである。

２．内視鏡装置
以下では本実施形態の撮像装置が内視鏡装置である場合を説明するが、撮像装置は内視鏡装置に限定されない。撮像装置は、連続的に深度拡大画像を取得するものであればよく、例えば深度拡大された動画を撮影するものであればよい。例えば、撮像装置は顕微鏡であってもよい。

図３は、内視鏡装置１２の詳細な構成例である。図３の内視鏡装置１２は撮像装置１０の一例である。内視鏡装置１２は、挿入部１００と処理部３００と表示部４００と外部Ｉ／Ｆ部５００と照明部６００とを含む。挿入部１００は例えばスコープであり、表示部４００は例えば表示装置であり、外部Ｉ／Ｆ部５００は例えばインターフェース、又は操作部、又は操作装置であり、照明部６００は照明装置、又は光源である。内視鏡装置１２は、例えば消化管等に用いられる軟性鏡、又は腹腔鏡等に用いられる硬性鏡である。

挿入部１００は、体内へ挿入される部分である。挿入部１００は、ライトガイド１１０と撮像部２００とを含む。

ライトガイド１１０は、照明部６００からの出射光を、挿入部１００の先端まで導光する。照明部６００は、例えば白色光源６１０を含み、白色光の照明光を出射する。白色光源６１０は、例えばＬＥＤ、又はキセノンランプである。なお、照明光は白色光に限定されず、内視鏡装置に用いられる種々の帯域の照明光を採用できる。

撮像部２００は、被写体からの反射光を結像し、被写体の画像を撮像する。撮像部２００は、対物光学系２１０と撮像素子２２０とＡ／Ｄ変換部２３０とを含む。Ａ／Ｄ変換部２３０は例えばＡ／Ｄ変換回路である。なお、Ａ／Ｄ変換部２３０はイメージセンサに内蔵されてもよい。

ライトガイド１１０からの出射光が被写体に照射される。対物光学系２１０は、被写体から反射した反射光を、被写体像として結像する。対物光学系２１０のフォーカス位置は変更可能であり、後述するフォーカス制御部３５０によって制御される。

撮像素子２２０は、対物光学系２１０により結像された被写体像を光電変換して画像を撮像する。Ａ／Ｄ変換部２３０は、撮像素子２２０から順次出力されるアナログ信号をデジタルの画像に変換し、そのデジタルの画像を前処理部３１０に順次出力する。具体的には、撮像素子２２０が被写体の動画を撮像する。Ａ／Ｄ変換部２３０は、その動画の各フレームの画像をＡ／Ｄ変換し、デジタルの画像を前処理部３１０へ出力する。前処理部３１０は、デジタルの動画を出力する。

処理部３００は、画像処理を含む信号処理と、内視鏡装置１２の制御とを行う。処理部３００は、前処理部３１０と、フレームメモリ３２０と、画像合成部３３０と、制御部３４０と、フォーカス制御部３５０と、を含む。前処理部３１０は例えば前処理回路であり、フレームメモリ３２０は例えばＲＡＭ等のメモリであり、画像合成部３３０は例えば画像合成回路であり、制御部３４０は例えば制御回路又はコントローラであり、フォーカス制御部３５０は例えばフォーカス制御回路又はフォーカスコントローラである。

前処理部３１０は、Ａ／Ｄ変換部２３０から順次出力された画像に対して、の画像処理を施し、その処理後の画像をフレームメモリ３２０と画像合成部３３０に順次出力する。画像処理は、例えばホワイトバランス処理、補間処理等である。なお、図３の前処理部３１０が図２の画像取得部３９０に相当する。

フレームメモリ３２０は、前処理部３１０から出力された（Ｍ−１）枚の画像を記憶し、その画像を画像合成部３３０へ出力する。Ｍは２以上の整数である。ここで、１枚の画像は、動画の１フレームにおいて撮像された画像である。

画像合成部３３０は、フレームメモリ３２０が記憶する（Ｍ−１）枚の画像と、前処理部３１０が出力する１枚の画像とを、１枚の深度拡大画像へ合成し、その深度拡大画像を出力する。即ち、画像合成部３３０はＭ枚の画像から１枚の深度拡大画像を生成する。画像合成部３３０は、深度拡大画像の各局所領域において、Ｍ枚の画像のうち最もフォーカスが合っている画像を選択し、その選択した画像の局所領域を抽出し、抽出した局所領域から深度拡大画像を合成する。撮像部２００が撮影した動画から深度拡大画像を順次に生成することで、深度拡大画像をフレーム画像とする動画が得られる。

制御部３４０は、撮像素子２２０、前処理部３１０、フレームメモリ３２０、画像合成部３３０及びフォーカス制御部３５０と双方向に接続しており、これらを制御する。例えば、制御部３４０は、撮像素子２２０の露光期間と対物光学系２１０のフォーカス位置とを同期させる。或いは、制御部３４０は、照明を調光制御する。即ち、制御部３４０は、画像の明るさに基づいて照明部６００の光量を制御し、画像の明るさを一定にする。

フォーカス制御部３５０は、フォーカス位置を制御するフォーカス制御信号を対物光学系２１０へ出力する。フォーカス位置の制御の詳細は後述する。撮像部２００は、互いにフォーカス位置が異なるＭフレームで画像を撮像し、画像合成部３３０は、そのＭ枚の画像を１枚の画像に合成する。これにより、被写界深度が拡大された深度拡大画像が得られる。

表示部４００は、画像合成部３３０から出力される深度拡大画像を順次表示する。即ち、深度拡大画像をフレーム画像とする動画を表示する。表示部４００は、例えば液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等である。

外部Ｉ／Ｆ部５００は、ユーザが内視鏡装置に対して入力等を行うためのインターフェースである。即ち、内視鏡装置を操作するためのインターフェース、或いは内視鏡装置の動作設定を行うためのインターフェース等である。例えば、外部Ｉ／Ｆ部５００は、画像処理のパラメータを調整するための調整ボタン等を含む。

３．動作
以下、内視鏡装置１２の動作について説明する。図４は、Ｎ＝２、Ｍ＝３であるときの内視鏡装置１２の動作を説明する図である。撮像フレームレートをＩＦＲとし、深度拡大画像のフレームレートをＥＦＲとしたとき、Ｎ＝ＩＦＲ／ＥＦＲである。Ｍは、１枚の深度拡大画像へ合成される画像の枚数である。

図４に示すように、撮像素子２２０は画像ＩＡ１〜ＩＡ５を順次に撮像する。フレームレートは１２０ｆｐｓである。図４において、実線の四角は露光期間を示す。露光期間は、撮像素子２２０が露光状態となっている期間である。露光状態は、画素が光電変換による電荷を蓄積している状態である。フォーカス制御部３５０は、画像毎にフォーカス位置を変更する。具体的には、フォーカス制御部３５０は、画像ＩＡ１、ＩＡ２、ＩＡ３、ＩＡ４に対応して、フォーカス位置をｆｐ１、ｆｐ２、ｆｐ３、ｆｐ２と変化させ、以降、同様に繰り返す。

フォーカス位置ｆｐ１〜ｆｐ３は、Ｍ＝３におけるｆｐ１〜ｆｐＭである。ｆｐ１は、ｆｐ１〜ｆｐＭのうち最も遠点側のフォーカス位置であり、ｆｐ２は、ｆｐ１に比べて近点側のフォーカス位置であり、ｆｐＭは、ｆｐ１〜ｆｐＭのうち最も近点側のフォーカス位置である。隣り合うフォーカス位置をｆｐｉ、ｆｐｉ＋１とすると、ｆｐｉ、ｆｐｉ＋１における被写界深度は一部において重なっている。ｉは、１以上Ｍ−１以下の整数である。

画像合成部３３０は、画像ＩＡ１〜ＩＡ３を合成し、深度拡大画像ＥＡ１を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＡ２を基準画像とし、画像ＩＡ１及び画像ＩＡ３を画像ＩＡ２に対して位置合わせし、位置合わせされた画像ＩＡ１〜ＩＡ３を合成する。図４において、太実線の四角が基準画像を示す。画像合成部３３０は、画像ＩＡ３〜ＩＡ５を合成し、深度拡大画像ＥＡ２を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＡ４を基準画像とし、画像ＩＡ３及び画像ＩＡ５を画像ＩＡ４に対して位置合わせし、位置合わせされた画像ＩＡ３〜ＩＡ５を合成する。以上の結果、画像合成部３３０は、被写界深度を３倍に拡大した深度拡大画像を１２０ｆｐｓ／２＝６０ｆｐｓで出力できる。

深度拡大画像ＥＡ１の元となる画像ＩＡ１〜ＩＡ３のうち、画像ＩＡ３は、深度拡大画像ＥＡ２の元となる画像ＩＡ３〜ＩＡ５と共通している。このため、仮に画像ＩＡ３を合成した領域において、位置合わせの精度不足によるアーティファクトが発生した場合、深度拡大画像ＥＡ１、ＥＡ２の同じ位置にアーティファクトが発生するおそれがある。

この点、本実施形態では、深度拡大画像ＥＡ１を合成する際には、画像ＩＡ２を基準として画像ＩＡ１〜ＩＡ３の位置合わせを行い、深度拡大画像ＥＡ２を合成する際には、画像ＩＡ４を基準として画像ＩＡ３〜ＩＡ５の位置合わせを行う。被写体が動く場合には、画像ＩＡ２と画像ＩＡ４で被写体の位置が変わっており、その異なる被写体位置を基準として位置合わせが行われる。このため、深度拡大画像ＥＡ１、ＥＡ２においてアーティファクトの発生位置が変化するので、アーティファクトが同じ位置に残り続ける可能性を低減できる。

また、位置合わせの精度が不十分な場合、同じ被写体が二重に合成される二重像等のアーティファクトが発生する可能性がある。一般的には、フォーカス位置の差や、撮像タイミングの差が大きくなるにつれて、位置合わせが困難になる。フォーカス位置の差に関しては、フォーカス位置の差が大きくなると同一の被写体であってもボケ方が異なるので、画像上で同一の被写体と識別できなくなるためである。撮像タイミングの差に関しては、撮像タイミングの差が大きくなると画像上での被写体の動きが大きくなるので、画像間で被写体の位置が大きく異なるためである。例えば、一方の画像では被写体が画像外に出てしまい、位置合わせできない場合がある。又は、画像間で被写体の位置が大きく異なる場合、位置合わせに必要な計算コストが増大する。

この点、本実施形態によれば、フォーカス位置ｆｐ２において撮像される画像を基準画像としている。フォーカス位置ｆｐ１とｆｐ３の間においてフォーカス位置の差が最大となるが、本実施形態ではフォーカス位置ｆｐ１とｆｐ２の間、及びフォーカス位置ｆｐ２とｆｐ３の間において位置合わせを行う。また、本実施形態によれば、深度拡大画像の元となる３枚の画像のうち２番目に撮像される画像を基準画像としている。１番目と３番目に撮像される画像の間において撮像タイミングの差が最大であるが、本実施形態では１番目と２番目の間、及び２番目と３番目の間において位置合わせを行う。以上の理由によって、安定的な位置合わせが可能となり、深度拡大画像にアーティファクトを発生させる可能性を低減できる。

また、フォーカス位置を変更するためには、対物光学系の一部をアクチュエータで駆動する必要がある。フォーカス位置をｆｐ１からｆｐ２へ駆動する場合に比べて、フォーカス位置をｆｐ１からｆｐ３へ駆動する場合の方が、より高速な駆動が求められる。高速な駆動を行うほど、アクチュエータの経年劣化を早めてしまう。本実施形態によれば、ｆｐ１とｆｐ２の間、及びｆｐ２とｆｐ３の間においてフォーカス位置を駆動するので、アクチュエータの経年劣化を遅らせることができる。

図５は、Ｎ＝２、Ｍ＝４であるときの内視鏡装置１２の動作を説明する図である。

図５に示すように、撮像素子２２０は画像ＩＢ１〜ＩＢ８を順次に撮像する。フレームレートは１２０ｆｐｓである。フォーカス制御部３５０は、画像ＩＢ１、ＩＢ２、ＩＢ３、ＩＢ４に対応して、フォーカス位置をｆｐ３、ｆｐ１、ｆｐ２、ｆｐ４と変化させ、以降、同様に繰り返す。

画像合成部３３０は、画像ＩＢ１〜ＩＢ４を合成し、深度拡大画像ＥＢ１を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＢ３を基準画像とし、画像ＩＢ１、ＩＢ２、ＩＢ４を画像ＩＢ３に対して位置合わせし、位置合わせされた画像ＩＢ１〜ＩＢ４を合成する。画像合成部３３０は、画像ＩＢ３〜ＩＢ６を合成し、深度拡大画像ＥＢ２を出力する。このとき、フォーカス位置ｆｐ３において撮像された画像ＩＢ５を基準画像とし、画像ＩＢ３、ＩＢ４、ＩＢ６を画像ＩＢ５に対して位置合わせを行い、位置合わせされた画像ＩＢ３〜ＩＢ６を合成する。以上の結果、画像合成部３３０は、被写界深度を４倍に拡大した深度拡大画像を１２０ｆｐｓ／２＝６０ｆｐｓで出力できる。

深度拡大画像ＥＢ１を合成する際の基準画像は画像ＩＢ３であり、画像ＩＢ３と画像ＩＢ１は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。また、画像ＩＢ３と画像ＩＢ２は、フォーカス位置の差が１つであり、撮像タイミングの差が１つである。画像ＩＢ３と画像ＩＢ４は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。深度拡大画像ＥＢ２を合成する際の基準画像は画像ＩＢ５であり、画像ＩＢ５と画像ＩＢ３は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。また、画像ＩＢ５と画像ＩＢ４は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。画像ＩＢ５と画像ＩＢ６は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。フォーカス位置ｆｐ１とｆｐ４の間においてフォーカス位置の差が最大の４となるが、本実施形態では、フォーカス位置の差が最大となる場合の位置合わせを回避できる。また、深度拡大画像の元となる４枚の画像のうち１番目と４番目に撮像される画像の間において撮像タイミングの差が最大の４となるが、本実施形態では、撮像タイミングの差が最大となる場合の位置合わせを回避できる。以上の理由によって、安定的な位置合わせが可能となり、深度拡大画像にアーティファクトを発生させる可能性を低減できる。

また、フォーカス位置をｆｐ１からｆｐ４へ、又はｆｐ４からｆｐ１へ駆動する場合に、アクチュエータの駆動が最も高速になる。本実施形態によれば、アクチュエータの駆動が最も高速になる場合を回避できるので、アクチュエータの経年劣化を遅らせることができる。

なお、図５では、深度拡大画像を合成する毎に、元となる画像を２枚ずつ更新しているが、更新する画像の枚数はこれに限定されない。具体的には、画像ＩＢ１〜ＩＢ４から深度拡大画像ＥＢ１を合成し、画像ＩＢ４〜ＩＢ７から深度拡大画像ＥＢ２を合成しても構わない。この場合、１枚更新と３枚更新を交互に繰り返す。この場合においても、平均としてフレームレート６０ｆｐｓの深度拡大画像が出力されるので、Ｎ＝１２０ｆｐｓ／６０ｆｐｓ＝２となる。

図６は、Ｎ＝２、Ｍ＝５であるときの内視鏡装置１２の動作を説明する図である。

図６に示すように、撮像素子２２０は画像ＩＣ１〜ＩＣ１２を順次に撮像する。フレームレートは１２０ｆｐｓである。フォーカス制御部３５０は、画像ＩＣ１、ＩＣ２、ＩＣ３、ＩＣ４、ＩＣ５、ＩＣ６、ＩＣ７、ＩＣ８、ＩＣ９、ＩＣ１０、ＩＣ１１、ＩＣ１２に対応して、フォーカス位置をｆｐ２、ｆｐ１、ｆｐ３、ｆｐ５、ｆｐ４、ｆｐ１、ｆｐ２、ｆｐ５、ｆｐ３、ｆｐ１、ｆｐ４、ｆｐ５と変化させ、以降、同様に繰り返す。

画像合成部３３０は、画像ＩＣ１〜ＩＣ５を合成し、深度拡大画像ＥＣ１を出力する。このとき、フォーカス位置ｆｐ３において撮像された画像ＩＣ３を基準画像とし、画像ＩＣ１、ＩＣ２、ＩＣ４、ＩＣ５を画像ＩＣ３に対して位置合わせし、位置合わせされた画像ＩＣ１〜ＩＣ５を合成する。画像合成部３３０は、画像ＩＣ３〜ＩＣ７を合成し、深度拡大画像ＥＣ２を出力する。このとき、フォーカス位置ｆｐ３において撮像された画像ＩＣ５を基準画像とし、画像ＩＣ３、ＩＣ４、ＩＣ６、ＩＣ７を画像ＩＣ５に対して位置合わせを行い、位置合わせされた画像ＩＣ３〜ＩＣ７を合成する。以上の結果、画像合成部３３０は、被写界深度を５倍に拡大した深度拡大画像を１２０ｆｐｓ／２＝６０ｆｐｓで出力できる。

深度拡大画像ＥＣ１を合成する際の基準画像は画像ＩＣ３であり、画像ＩＣ３と画像ＩＣ１は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。また、画像ＩＣ３と画像ＩＣ２は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。画像ＩＣ３と画像ＩＣ４は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。画像ＩＣ３と画像ＩＣ５は、フォーカス位置の差が２つであり、撮像タイミングの差が２つである。深度拡大画像ＥＣ２を合成する際の基準画像は画像ＩＣ５であり、画像ＩＣ５と画像ＩＣ３は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。また、画像ＩＣ５と画像ＩＣ４は、フォーカス位置の差が１つであり、撮像タイミングの差が１つである。画像ＩＣ５と画像ＩＣ６は、フォーカス位置の差が３つであり、撮像タイミングの差が１つである。画像ＩＣ５と画像ＩＣ７は、フォーカス位置の差が２つであり、撮像タイミングの差が２つである。フォーカス位置ｆｐ１とｆｐ５の間においてフォーカス位置の差が最大の５となるが、本実施形態では、フォーカス位置の差が最大となる場合の位置合わせを回避できる。また、深度拡大画像の元となる５枚の画像のうち１番目と５番目に撮像される画像の間において撮像タイミングの差が最大の５となるが、本実施形態では、撮像タイミングの差が最大となる場合の位置合わせを回避できる。以上の理由によって、安定的な位置合わせが可能となり、深度拡大画像にアーティファクトを発生させる可能性を低減できる。

また、フォーカス位置をｆｐ１からｆｐ５へ、又はｆｐ５からｆｐ１へ駆動する場合に、アクチュエータの駆動が最も高速になる。本実施形態によれば、アクチュエータの駆動が最も高速になる場合を回避できるので、アクチュエータの経年劣化を遅らせることができる。

なお、図６では、深度拡大画像を合成する毎に、元となる画像を２枚ずつ更新しているが、更新する画像の枚数はこれに限定されない。具体的には、画像ＩＢ１〜ＩＢ４から深度拡大画像ＥＢ１を合成し、画像ＩＢ４〜ＩＢ７から深度拡大画像ＥＢ２を合成しても構わない。この場合、１枚更新と３枚更新を交互に繰り返す。この場合においても、平均としてフレームレート６０ｆｐｓの深度拡大画像が出力されるので、Ｎ＝１２０ｆｐｓ／６０ｆｐｓ＝２となる。

図７は、Ｎ＝３、Ｍ＝５であるときの内視鏡装置１２の動作を説明する図である。

図７に示すように、撮像素子２２０は画像ＩＤ１〜ＩＤ８を順次に撮像する。フレームレートは１８０ｆｐｓである。フォーカス制御部３５０は、画像ＩＤ１、ＩＤ２、ＩＤ３、ＩＤ４、ＩＤ５、ＩＤ６に対応して、フォーカス位置をｆｐ１、ｆｐ２、ｆｐ３、ｆｐ５、ｆｐ４、ｆｐ３と変化させ、以降、同様に繰り返す。

画像合成部３３０は、画像ＩＤ１〜ＩＤ５を合成し、深度拡大画像ＥＤ１を出力する。このとき、フォーカス位置ｆｐ３において撮像された画像ＩＤ３を基準画像とし、画像ＩＤ１、ＩＤ２、ＩＤ４、ＩＤ５を画像ＩＤ３に対して位置合わせし、位置合わせされた画像ＩＤ１〜ＩＤ５を合成する。画像合成部３３０は、画像ＩＤ４〜ＩＤ８を合成し、深度拡大画像ＥＤ２を出力する。このとき、フォーカス位置ｆｐ３において撮像された画像ＩＤ６を基準画像とし、画像ＩＤ４、ＩＤ５、ＩＤ７、ＩＤ８を画像ＩＤ６に対して位置合わせを行い、位置合わせされた画像ＩＤ４〜ＩＤ８を合成する。以上の結果、画像合成部３３０は、被写界深度を５倍に拡大した深度拡大画像を１８０ｆｐｓ／３＝６０ｆｐｓで出力できる。

深度拡大画像ＥＤ１を合成する際の基準画像は画像ＩＤ３であり、画像ＩＤ３と画像ＩＤ１は、フォーカス位置の差が２つであり、撮像タイミングの差が２つである。また、画像ＩＤ３と画像ＩＤ２は、フォーカス位置の差が１つであり、撮像タイミングの差が１つである。画像ＩＤ３と画像ＩＤ４は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。画像ＩＤ３と画像ＩＤ５は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。深度拡大画像ＥＤ２を合成する際の基準画像は画像ＩＤ６であり、画像ＩＤ６と画像ＩＤ４は、フォーカス位置の差が２つであり、撮像タイミングの差が２つである。また、画像ＩＤ６と画像ＩＤ５は、フォーカス位置の差が１つであり、撮像タイミングの差が１つである。画像ＩＤ６と画像ＩＤ７は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。画像ＩＤ６と画像ＩＤ８は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。フォーカス位置ｆｐ１とｆｐ５の間においてフォーカス位置の差が最大の５となるが、本実施形態では、フォーカス位置の差が最大となる場合の位置合わせを回避できる。また、深度拡大画像の元となる５枚の画像のうち１番目と５番目に撮像される画像の間において撮像タイミングの差が最大の５となるが、本実施形態では、撮像タイミングの差が最大となる場合の位置合わせを回避できる。以上の理由によって、安定的な位置合わせが可能となり、深度拡大画像にアーティファクトを発生させる可能性を低減できる。

また、フォーカス位置をｆｐ１からｆｐ５へ、又はｆｐ５からｆｐ１へ駆動する場合に、アクチュエータの駆動が最も高速になる。本実施形態によれば、アクチュエータの駆動が最も高速になる場合を回避できるので、アクチュエータの経年劣化を遅らせることができる。

図８は、Ｎ＝１、Ｍ＝２であるときの内視鏡装置１２の動作を説明する図である。

図８に示すように、撮像素子２２０は画像ＩＥ１〜ＩＥ３を順次に撮像する。フレームレートは６０ｆｐｓである。フォーカス制御部３５０は、画像ＩＥ１、ＩＥ２に対応して、フォーカス位置をｆｐ２、ｆｐ１と変化させ、以降、同様に繰り返す。

画像合成部３３０は、画像ＩＥ１、ＩＥ２を合成し、深度拡大画像ＥＥ１を出力する。このとき、フォーカス位置ｆｐ１において撮像された画像ＩＥ２を基準画像とし、画像ＩＥ１を画像ＩＥ２に対して位置合わせし、位置合わせされた画像ＩＥ１、ＩＥ２を合成する。画像合成部３３０は、画像ＩＥ２、ＩＥ３を合成し、深度拡大画像ＥＥ２を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＥ３を基準画像とし、画像ＩＥ２を画像ＩＥ３に対して位置合わせし、位置合わせされた画像ＩＥ２、ＩＥ３を合成する。以上の結果、画像合成部３３０は、被写界深度を２倍に拡大した深度拡大画像を６０ｆｐｓ／１＝６０ｆｐｓで出力できる。

本実施形態によれば、深度拡大画像のフレームレートに対して撮像フレームレートを高速化することなく、２倍の深度拡大が可能となる。また本実施形態によれば、画像間における撮像タイミングの差を小さくできる。このため、位置合わせが必要な画像間における被写体の動き量を小さくでき、その動き量を検出する回路の規模を抑制できる。

なお、図４〜図８では、Ｎ＝２且つ３≦Ｍ≦５、又はＮ＝３且つＭ＝５、又はＮ＝１且つＭ＝２の場合を説明したが、Ｎ、Ｍの選び方はこれに限定されない。即ち、Ｎ≧１且つＭ＞Ｎであり、Ｍ枚の画像から深度拡大画像を合成し、次の深度拡大画像を合成する際にＭ枚のうちＮ枚を更新してもよい。これにより、被写界深度をＭ倍に拡大できる。また、深度拡大画像の元となる画像に重複がない場合には、深度拡大画像のフレームレートに対してＭ倍の撮像フレームレートが必要となるが、本実施形態では重複させているので、深度拡大画像のフレームレートに対してＮ倍（Ｎ＜Ｍ）の撮像フレームレートに抑制できる。また本実施形態では、フォーカス位置を変化させる順序、及び基準画像の選び方を工夫しているので、アーティファクトを効果的に抑制できる。

また、図４〜図８ではＮが整数である場合を説明したが、以下に説明する通り、Ｎが非整数であってもよい。例えば、ｓ、ｔが１以上の整数であり、ｓ≠ｔであるとき、Ｎ＝ｓ／ｔであってもよい。以下では１＜Ｎ＜２となる幾つかの例を説明する。

図９は、Ｎ＝３／２、Ｍ＝２であるときの内視鏡装置１２の動作を説明する図である。

図９に示すように、撮像素子２２０は画像ＩＦ１〜ＩＦ６を順次に撮像する。フレームレートは９０ｆｐｓである。フォーカス制御部３５０は、画像ＩＦ１、ＩＦ２に対応して、フォーカス位置をｆｐ２、ｆｐ１と変化させ、以降、同様に繰り返す。

画像合成部３３０は、画像ＩＦ１、ＩＦ２を合成し、深度拡大画像ＥＦ１を出力する。このとき、フォーカス位置ｆｐ１において撮像された画像ＩＦ２を基準画像とし、画像ＩＦ１を画像ＩＦ２に対して位置合わせし、位置合わせされた画像ＩＦ１、ＩＦ２を合成する。画像合成部３３０は、画像ＩＦ２、ＩＦ３を合成し、深度拡大画像ＥＦ２を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＦ３を基準画像とし、画像ＩＦ２を画像ＩＦ３に対して位置合わせし、位置合わせされた画像ＩＦ２、ＩＦ３を合成する。画像合成部３３０は、画像ＩＦ４、ＩＦ５を合成し、深度拡大画像ＥＦ３を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＦ５を基準画像とし、画像ＩＦ４を画像ＩＦ５に対して位置合わせし、位置合わせされた画像ＩＦ４、ＩＦ５を合成する。画像合成部３３０は、画像ＩＦ５、ＩＦ６を合成し、深度拡大画像ＥＦ４を出力する。このとき、フォーカス位置ｆｐ１において撮像された画像ＩＦ６を基準画像とし、画像ＩＦ５を画像ＩＦ６に対して位置合わせし、位置合わせされた画像ＩＦ５、ＩＦ６を合成する。以上の結果、画像合成部３３０は、被写界深度を２倍に拡大した深度拡大画像を９０ｆｐｓ／（３／２）＝６０ｆｐｓで出力できる。図８と同様に２画像間の位置合わせなので、動き量を検出する回路の規模を抑制できる。

なお、図９では画像ＩＦ３、ＩＦ４から深度拡大画像を合成していないが、図１０に示すように画像ＩＦ３、ＩＦ４から深度拡大画像ＥＦ２ｂを合成し、且つ、その深度拡大画像ＥＦ２ｂを画像合成部３３０が出力しない構成としてもよい。画像合成部３３０は深度拡大画像ＥＦ１、ＥＦ２、ＥＦ３、ＥＦ４を出力するので、表示部４００に表示する深度拡大画像は図９と同じになる。

図１１は、Ｎ＝５／４、Ｍ＝２であるときの内視鏡装置１２の動作を説明する図である。

図１１に示すように、撮像素子２２０は画像ＩＧ１〜ＩＧ１０を順次に撮像する。フレームレートは７５ｆｐｓである。フォーカス制御部３５０は、画像ＩＧ１、ＩＧ２に対応して、フォーカス位置をｆｐ２、ｆｐ１と変化させ、以降、同様に繰り返す。

画像合成部３３０は、画像ＩＧ１、ＩＧ２を合成し、深度拡大画像ＥＧ１を出力する。このとき、フォーカス位置ｆｐ１において撮像された画像ＩＧ２を基準画像とし、画像ＩＧ１を画像ＩＧ２に対して位置合わせし、位置合わせされた画像ＩＧ１、ＩＧ２を合成する。画像合成部３３０は、画像ＩＧ２、ＩＧ３を合成し、深度拡大画像ＥＧ２を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＧ３を基準画像とし、画像ＩＧ２を画像ＩＧ３に対して位置合わせし、位置合わせされた画像ＩＧ２、ＩＧ３を合成する。画像ＩＧ３、ＩＧ４を合成し、深度拡大画像ＥＧ３を出力する。このとき、フォーカス位置ｆｐ１において撮像された画像ＩＧ４を基準画像とし、画像ＩＧ３を画像ＩＧ４に対して位置合わせし、位置合わせされた画像ＩＧ３、ＩＧ４を合成する。画像合成部３３０は、画像ＩＧ４、ＩＧ５を合成し、深度拡大画像ＥＧ３を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＧ５を基準画像とし、画像ＩＧ４を画像ＩＧ５に対して位置合わせし、位置合わせされた画像ＩＧ４、ＩＧ５を合成する。画像合成部３３０は、画像ＩＧ６、ＩＧ７を合成し、深度拡大画像ＥＧ５を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＧ７を基準画像とし、画像ＩＧ６を画像ＩＧ７に対して位置合わせし、位置合わせされた画像ＩＧ６、ＩＧ７を合成する。以上の結果、画像合成部３３０は、被写界深度を２倍に拡大した深度拡大画像を７５ｆｐｓ／（５／４）＝６０ｆｐｓで出力できる。

４．画像合成部
以下、画像合成部３３０が深度拡大画像を合成する手法について説明する。図１２は、画像合成部３３０の詳細な構成例である。画像合成部３３０は、基準画像設定部３３１と第１位置合わせ部３３２と第２位置合わせ部３３３と第１合焦度算出部３３４と第２合焦度算出部３３５と第３合焦度算出部３３６と合成マップ生成部３３７と合成部３３８とを含む。なお図１２、図１３ではＭ＝３の場合を例に説明する。

基準画像設定部３３１は、フレームメモリ３２０が記憶する２枚の画像から、基準画像を１枚設定する。設定した基準画像を、第１位置合わせ部３３２、第２位置合わせ部３３３、第１合焦度算出部３３４、及び合成部３３８へ出力する。

第１位置合わせ部３３２は、基準画像設定部３３１が設定した基準画像を基準として、前処理部３１０が出力する１枚の画像を画素毎に位置合わせする。第１位置合わせ部３３２は、位置合わせ後の画像を第２位置合わせ画像として、第２合焦度算出部３３５及び合成部３３８へ出力する。

第２位置合わせ部３３３は、基準画像設定部３３１が設定した基準画像を基準として、１枚の画像を画素毎に位置合わせする。１枚の画像は、フレームメモリ３２０が記憶する２枚の画像のうち基準画像以外の画像である。第２位置合わせ部３３３は、位置合わせ後の画像を第２位置合わせ画像として、第３合焦度算出部３３６及び合成部３３８へ出力する。

第１合焦度算出部３３４は、基準画像の合焦度を画素毎に算出する。例えば、画像に対してハイパスフィルタ処理、又はバンドパスフィルタ処理を行い、その処理結果を合焦度として出力する。第１合焦度算出部３３４は、算出した合焦度を第１合焦度として合成マップ生成部３３７へ出力する。

第２合焦度算出部３３５は、第１位置合わせ画像の合焦度を画素毎に算出し、算出した合焦度を第２合焦度として合成マップ生成部３３７へ出力する。

第３合焦度算出部３３６は、第２位置合わせ画像の合焦度を画素毎に算出し、算出した合焦度を第３合焦度として合成マップ生成部３３７へ出力する。

合成マップ生成部３３７は、画素毎に第１合焦度と第２合焦度と第３合焦度を比較し、その比較結果に基づき画像と同サイズの合成マップを生成し、その合成マップを合成部３３８へ出力する。合成マップは、各画素に「０」、「１」又は「２」が格納されたマップである。図１３は、合成マップ生成部３３７が行う処理の手順を示すフローチャートである。ステップＳ１において、合成マップ生成部３３７は、画像に含まれる画素のうち１つの画素を選択する。次にステップＳ２において、第１合焦度≧第２合焦度、且つ第１合焦度≧第３合焦度であるか否かを判定する。ステップＳ２の条件を満たす場合には、ステップＳ３において、合成マップの画素に「０」を格納する。ステップＳ２の条件を満たさない場合には、ステップＳ４において、第２合焦度≧第３合焦度であるか否かを判定する。ステップＳ４の条件を満たす場合には、ステップＳ５において、合成マップの画素に「１」を格納する。ステップＳ４の条件を満たさない場合には、ステップＳ６において、合成マップの画素に「２」を格納する。

合成部３３８は、基準画像と第１位置合わせ画像と第２位置合わせ画像とを合成マップに基づいて合成する。合成部３３８は、合成マップの画素の値が「０」であるとき、基準画像の画素値を選択し、合成マップの画素の値が「１」であるとき、第１位置合わせ画像の画素値を選択し、合成マップの画素の値が「２」であるとき、第２位置合わせ画像の画素値を選択する。これを全ての画素に対して行う。

なお、上記ではＭ＝３の場合を例に説明したが、Ｍ＞４であってもよい。即ち、基準画像設定部３３１は、フレームメモリ３２０が記憶する（Ｍ−１）枚の画像から、基準画像を１枚設定する。第１位置合わせ部３３２、第１合焦度算出部３３４、第２合焦度算出部３３５の動作は上述の通りである。第２位置合わせ部３３３は、基準画像を基準として、（Ｍ−２）枚の画像を画素毎に位置合わせし、位置合わせ後の画像を第２〜第Ｍ−１位置合わせ画像として出力する。第３合焦度算出部３３６は、第２〜第Ｍ−１位置合わせ画像の合焦度を画素毎に算出し、算出した合焦度を第３〜第Ｍ合焦度として出力する。合成マップ生成部３３７は、画素毎に第１〜第Ｍ合焦度を比較し、その比較結果に基づき合成マップを生成する。

５．手術支援システム
内視鏡装置として、制御装置とスコープが接続され、そのスコープをユーザが操作しながら体内を撮影するタイプを想定できる。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。

例えば、手術支援システムは、制御装置とロボットとスコープとを含む。スコープは例えば硬性鏡である。制御装置は、ロボットを制御する装置である。即ち、ユーザが制御装置の操作部を操作することでロボットを動作させ、ロボットを介して患者に対する手術を行う。また制御装置の操作部を操作することでロボットを経由してスコープを操作し、手術領域を撮影する。制御装置は、図１又は図３の処理部３００を含んでいる。ユーザは、処理部３００が表示装置に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システムにおける制御装置に適用できる。なお、制御装置はロボットに内蔵されてもよい。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 撮像装置、１２ 内視鏡装置、１００ 挿入部、１１０ ライトガイド、２００ 撮像部、２１０ 対物光学系、２２０ 撮像素子、２３０ Ａ／Ｄ変換部、３００ 処理部、３１０ 前処理部、３２０ フレームメモリ、３３０ 画像合成部、３３１ 基準画像設定部、３３２ 第１位置合わせ部、３３３ 第２位置合わせ部、３３４ 第１合焦度算出部、３３５ 第２合焦度算出部、３３６ 第３合焦度算出部、３３７ 合成マップ生成部、３３８ 合成部、３４０ 制御部、３５０ フォーカス制御部、３９０ 画像取得部、４００ 表示部、５００ 外部Ｉ／Ｆ部、６００ 照明部、６１０ 白色光源、ＥＡ１，ＥＡ２ 深度拡大画像、ＩＡ１〜ＩＡ５ 画像、ｆｐ１〜ｆｐ５ フォーカス位置

本発明の一態様によれば、Ｌ枚の深度拡大画像の各々を、撮像画像から合成している。これにより、ある深度拡大画像において仮にアーティファクトが発生したとしても、次の深度拡大画像は撮像画像から合成するので、アーティファクト部分を早期に更新できる。また本発明の一態様によれば、Ｎ＞Ｍであることで、Ｌ×Ｎ＜Ｌ×Ｍとなる。即ち、合成される画像を重複させながら深度拡大画像を合成できる。合成される画像を重複させない場合、撮像フレームレートは（Ｌ×Ｍ）ｆｐｓとなるが、本発明の一態様によれば、それより低フレームレートの（Ｌ×Ｎ）ｆｐｓとなる。即ち、出来るだけ低フレームレートの撮像を実現しながら、且つ被写界深度の拡大率Ｍを大きくできる。

また本実施形態によれば、Ｎ＞Ｍであることで、Ｌ×Ｎ＜Ｌ×Ｍとなる。即ち、合成させる画像を重複させながら深度拡大画像を合成できる。例えば図４では深度拡大画像ＥＡ１、ＥＡ２において画像ＩＡ３が重複する。合成させる画像を重複させない場合、撮像フレームレートは（Ｌ×Ｍ）ｆｐｓとなるが、本実施形態では、それより低フレームレートの（Ｌ×Ｎ）ｆｐｓとなる。即ち、出来るだけ低フレームレートの撮像を実現しながら、且つ被写界深度の拡大率Ｍを大きくできる。

また、深度拡大画像とは、撮像画像の被写界深度よりも被写界深度を拡大した画像である。具体的には、互いにフォーカス位置が異なる複数の画像に基づいて被写界深度が疑似的に拡大された画像である。例えば、画像の各局所領域において、Ｍ枚の画像の中から、その局所領域での合焦度合いが最も高い画像を選択し、その選択した各局所領域の画像で深度拡大画像を構成する。局所領域は例えば画素である。１フレームの深度拡大画像を合成する際に用いるＭ枚の画像は、撮像素子が順次に撮像した画像である。

本実施形態によれば、互いに異なるフォーカス位置で撮像したＭ枚の画像から深度拡大画像を合成することで、被写界深度を拡大できる。本実施形態では、合成させる画像を重複させながら深度拡大画像を合成するので、重複しない画像を撮像するタイミングにおけるフォーカス位置は、重複する画像を撮像するタイミングにおけるフォーカス位置以外から選択する。例えば図４では深度拡大画像ＥＡ１、ＥＡ２において画像ＩＡ３が重複する。深度拡大画像ＥＡ２を合成する際に用いる画像ＩＡ３〜ＩＡ５のうち、画像ＩＡ４、ＩＡ５を撮像するタイミングにおけるフォーカス位置ｆｐ２、ｆｐ１は、画像ＩＡ３を撮像するタイミングにおけるフォーカス位置ｆｐ３以外から選択されている。

Ｎ＝２の場合、深度拡大画像を合成する際に用いる画像を２枚ずつ更新する。例えば図５では、画像ＩＢ１〜ＩＢ４から深度拡大画像ＥＢ１を合成し、画像ＩＢ３〜ＩＢ６から深度拡大画像ＥＢ２を合成する。即ち、画像ＩＢ１、ＩＢ２を画像ＩＢ５、ＩＢ６に更新し、画像ＩＢ３、ＩＢ４を共通に用いている。２枚ずつ画像を更新する場合、基準画像を２枚毎に設定することが望ましいが、本実施形態では２枚毎に第２〜第Ｍ−１のフォーカス位置のいずれかが設定されるので、第２〜第Ｍ−１のフォーカス位置のいずれかにおいて撮像された画像を基準画像として設定できる。これにより、位置合わせされる画像間のフォーカス位置の差を最大値よりも小さくできるので、位置合わせの精度を向上できる。最大値は、第１、第Ｍのフォーカス位置の差である。

例えば図４では、画像合成部３３０は画像ＩＡ１〜ＩＡ３から深度拡大画像ＥＡ１を合成する。このとき、画像合成部３３０は、画像ＩＡ２を位置合わせの基準画像として設定する。画像合成部３３０は画像ＩＡ３〜ＩＡ５から深度拡大画像ＥＡ２を合成するが、画像ＩＡ２は、画像ＩＡ３〜ＩＡ５と重複しない。また図７では、画像合成部３３０は画像ＩＤ１〜ＩＤ５から深度拡大画像ＥＤ１を合成する。このとき、画像合成部３３０は、画像ＩＤ３を位置合わせの基準画像として設定する。画像合成部３３０は画像ＩＤ４〜ＩＤ８から深度拡大画像ＥＤ２を合成するが、画像ＩＤ３は、画像ＩＤ４〜ＩＤ８と重複しない。

深度拡大画像ＥＢ１を合成する際の基準画像は画像ＩＢ３であり、画像ＩＢ３と画像ＩＢ１は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。また、画像ＩＢ３と画像ＩＢ２は、フォーカス位置の差が１つであり、撮像タイミングの差が１つである。画像ＩＢ３と画像ＩＢ４は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。深度拡大画像ＥＢ２を合成する際の基準画像は画像ＩＢ５であり、画像ＩＢ５と画像ＩＢ３は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。また、画像ＩＢ５と画像ＩＢ４は、フォーカス位置の差が１つであり、撮像タイミングの差が１つである。画像ＩＢ５と画像ＩＢ６は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。フォーカス位置ｆｐ１とｆｐ４の間においてフォーカス位置の差が最大の４となるが、本実施形態では、フォーカス位置の差が最大となる場合の位置合わせを回避できる。また、深度拡大画像の元となる４枚の画像のうち１番目と４番目に撮像される画像の間において撮像タイミングの差が最大の４となるが、本実施形態では、撮像タイミングの差が最大となる場合の位置合わせを回避できる。以上の理由によって、安定的な位置合わせが可能となり、深度拡大画像にアーティファクトを発生させる可能性を低減できる。

画像合成部３３０は、画像ＩＣ１〜ＩＣ５を合成し、深度拡大画像ＥＣ１を出力する。このとき、フォーカス位置ｆｐ３において撮像された画像ＩＣ３を基準画像とし、画像ＩＣ１、ＩＣ２、ＩＣ４、ＩＣ５を画像ＩＣ３に対して位置合わせし、位置合わせされた画像ＩＣ１〜ＩＣ５を合成する。画像合成部３３０は、画像ＩＣ３〜ＩＣ７を合成し、深度拡大画像ＥＣ２を出力する。このとき、フォーカス位置ｆｐ４において撮像された画像ＩＣ５を基準画像とし、画像ＩＣ３、ＩＣ４、ＩＣ６、ＩＣ７を画像ＩＣ５に対して位置合わせを行い、位置合わせされた画像ＩＣ３〜ＩＣ７を合成する。以上の結果、画像合成部３３０は、被写界深度を５倍に拡大した深度拡大画像を１２０ｆｐｓ／２＝６０ｆｐｓで出力できる。

深度拡大画像ＥＣ１を合成する際の基準画像は画像ＩＣ３であり、画像ＩＣ３と画像ＩＣ１は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。また、画像ＩＣ３と画像ＩＣ２は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。画像ＩＣ３と画像ＩＣ４は、フォーカス位置の差が２つであり、撮像タイミングの差が１つである。画像ＩＣ３と画像ＩＣ５は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。深度拡大画像ＥＣ２を合成する際の基準画像は画像ＩＣ５であり、画像ＩＣ５と画像ＩＣ３は、フォーカス位置の差が１つであり、撮像タイミングの差が２つである。また、画像ＩＣ５と画像ＩＣ４は、フォーカス位置の差が１つであり、撮像タイミングの差が１つである。画像ＩＣ５と画像ＩＣ６は、フォーカス位置の差が３つであり、撮像タイミングの差が１つである。画像ＩＣ５と画像ＩＣ７は、フォーカス位置の差が２つであり、撮像タイミングの差が２つである。フォーカス位置ｆｐ１とｆｐ５の間においてフォーカス位置の差が最大の５となるが、本実施形態では、フォーカス位置の差が最大となる場合の位置合わせを回避できる。また、深度拡大画像の元となる５枚の画像のうち１番目と５番目に撮像される画像の間において撮像タイミングの差が最大の５となるが、本実施形態では、撮像タイミングの差が最大となる場合の位置合わせを回避できる。以上の理由によって、安定的な位置合わせが可能となり、深度拡大画像にアーティファクトを発生させる可能性を低減できる。

画像合成部３３０は、画像ＩＧ１、ＩＧ２を合成し、深度拡大画像ＥＧ１を出力する。このとき、フォーカス位置ｆｐ１において撮像された画像ＩＧ２を基準画像とし、画像ＩＧ１を画像ＩＧ２に対して位置合わせし、位置合わせされた画像ＩＧ１、ＩＧ２を合成する。画像合成部３３０は、画像ＩＧ２、ＩＧ３を合成し、深度拡大画像ＥＧ２を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＧ３を基準画像とし、画像ＩＧ２を画像ＩＧ３に対して位置合わせし、位置合わせされた画像ＩＧ２、ＩＧ３を合成する。画像ＩＧ３、ＩＧ４を合成し、深度拡大画像ＥＧ３を出力する。このとき、フォーカス位置ｆｐ１において撮像された画像ＩＧ４を基準画像とし、画像ＩＧ３を画像ＩＧ４に対して位置合わせし、位置合わせされた画像ＩＧ３、ＩＧ４を合成する。画像合成部３３０は、画像ＩＧ４、ＩＧ５を合成し、深度拡大画像ＥＧ４を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＧ５を基準画像とし、画像ＩＧ４を画像ＩＧ５に対して位置合わせし、位置合わせされた画像ＩＧ４、ＩＧ５を合成する。画像合成部３３０は、画像ＩＧ６、ＩＧ７を合成し、深度拡大画像ＥＧ５を出力する。このとき、フォーカス位置ｆｐ２において撮像された画像ＩＧ７を基準画像とし、画像ＩＧ６を画像ＩＧ７に対して位置合わせし、位置合わせされた画像ＩＧ６、ＩＧ７を合成する。以上の結果、画像合成部３３０は、被写界深度を２倍に拡大した深度拡大画像を７５ｆｐｓ／（５／４）＝６０ｆｐｓで出力できる。

第１位置合わせ部３３２は、基準画像設定部３３１が設定した基準画像を基準として、前処理部３１０が出力する１枚の画像を画素毎に位置合わせする。第１位置合わせ部３３２は、位置合わせ後の画像を第１位置合わせ画像として、第２合焦度算出部３３５及び合成部３３８へ出力する。

例えば、手術支援システムは、制御装置とロボットとスコープとを含む。スコープは例えば硬性鏡である。制御装置は、ロボットを制御する装置である。即ち、ユーザが制御装置の操作部を操作することでロボットを動作させ、ロボットを介して患者に対する手術を行う。また制御装置の操作部を操作することでロボットを経由してスコープを操作し、手術領域を撮影する。制御装置は、図２又は図３の処理部３００を含んでいる。ユーザは、処理部３００が表示装置に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システムにおける制御装置に適用できる。なお、制御装置はロボットに内蔵されてもよい。

Claims (14)

1. 被写体像を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、
   前記撮像素子が撮像した１秒あたり（Ｌ×Ｎ）枚（Ｌは２以上の整数、Ｎは１以上の数）の画像を取得する画像取得部と、
   前記画像取得部が取得したＭ枚（ＭはＮより大きい整数）の画像から１枚の深度拡大画像を合成することで被写界深度を拡大し、１秒あたりＬ枚の深度拡大画像を出力する画像合成部と、
   を含み、
   前記画像合成部は、
   前記Ｍ枚の画像のうち１枚の画像を基準画像として設定し、前記Ｍ枚の画像のうち前記基準画像以外の画像を前記基準画像に対して位置合わせし、位置合わせ後の前記Ｍ枚の画像から前記１枚の深度拡大画像を合成することを特徴とする撮像装置。
2. 請求項１において、
   前記フォーカス制御部は、
   前記Ｍ枚の画像の各々が撮像されるタイミングにおいて、異なる前記フォーカス位置を設定することを特徴とする撮像装置。
3. 請求項２において、
   第１〜第Ｍのフォーカス位置のうち前記第１のフォーカス位置が、最も遠い被写体へ合焦するフォーカス位置であり、前記第Ｍのフォーカス位置が、最も近い被写体へ合焦するフォーカス位置であるとき、
   前記フォーカス制御部は、
   画像が撮像されるタイミングの１タイミングおきに、前記第２〜第Ｍ−１のフォーカス位置のいずれかを設定することを特徴とする撮像装置。
4. 請求項３において、
   Ｎは２であり、Ｍは３以上５以下の整数であることを特徴とする撮像装置。
5. 請求項２において、
   第１〜第Ｍのフォーカス位置のうち前記第１のフォーカス位置が、最も遠い被写体へ合焦するフォーカス位置であり、前記第Ｍのフォーカス位置が、最も近い被写体へ合焦するフォーカス位置であるとき、
   前記フォーカス制御部は、
   前記第１のフォーカス位置において画像が撮像された後、次の画像が撮像されるタイミングにおいて、前記第Ｍのフォーカス位置を設定せず、前記第２〜第Ｍ−１のフォーカス位置のいずれかを設定し、
   前記第Ｍのフォーカス位置において画像が撮像された後、次の画像が撮像されるタイミングにおいて、前記第１のフォーカス位置を設定せず、前記第２〜第Ｍ−１のフォーカス位置のいずれかを設定することを特徴とする撮像装置。
6. 請求項１において、
   Ｎは整数であり、
   前記画像合成部は、
   前記画像取得部が取得した第１〜第Ｍ＋Ｎの画像のうち前記第１〜第Ｍの画像から第１の深度拡大画像を合成し、前記第Ｎ＋１〜第Ｍ＋Ｎの画像から第２の深度拡大画像を合成することを特徴とする撮像装置。
7. 請求項６において、
   前記画像合成部は、
   前記第１〜第Ｍの画像の位置合わせを行う際、前記第１〜第Ｎの画像のいずれかを前記基準画像として設定することを特徴とする撮像装置。
8. 請求項１において、
   前記画像合成部は、
   前記画像取得部が取得した第１〜第Ｍ＋ｐ＋ｑの画像（ｐ、ｑは１以上Ｍより小さい整数であり、ｐ≠ｑ）のうち前記第１〜第Ｍの画像から第１の深度拡大画像を合成し、前記第ｐ＋１〜第Ｍ＋ｐの画像から第２の深度拡大画像を合成し、前記第ｑ＋１〜第Ｍ＋ｐ＋ｑの画像から第３の深度拡大画像を合成し、
   １秒間あたりの平均として前記（Ｌ×Ｎ）枚の画像から前記Ｌ枚の深度拡大画像を出力することを特徴とする撮像装置。
9. 請求項１において、
   １＜Ｎ＜２であることを特徴とする撮像装置。
10. 請求項２において、
    前記フォーカス制御部は、
    前記各画像が撮像されるタイミングにおいて、第１〜第Ｍのフォーカス位置のいずれかを設定し、
    前記第１のフォーカス位置が、最も遠い被写体へ合焦するフォーカス位置であり、前記第Ｍのフォーカス位置が、最も近い被写体へ合焦するフォーカス位置であるとき、
    前記画像合成部は、
    前記第２〜第Ｍ−１のフォーカス位置のいずれかに設定されたときに撮像された画像を、前記基準画像として設定することを特徴とする撮像装置。
11. 請求項１において、
    前記画像合成部は、
    前記Ｍ枚の画像が、順に撮像された第１〜第Ｍの画像であるとき、前記第２〜第Ｍ−１の画像のいずれかを前記基準画像として設定することを特徴とする撮像装置。
12. 請求項１において、
    Ｎは整数であり、
    前記画像合成部は、
    Ｎ枚間隔の画像毎に前記基準画像を設定することを特徴とする撮像装置。
13. 請求項１に記載された撮像装置を含むことを特徴とする内視鏡装置。
14. 被写体像を撮像素子に結像する対物光学系のフォーカス位置を制御し、
    前記撮像素子が撮像した１秒あたり（Ｌ×Ｎ）枚（Ｌは２以上の整数、Ｎは１以上の数）の画像を取得し、
    取得したＭ枚（ＭはＮより大きい整数）の画像のうち１枚の画像を基準画像として設定し、前記Ｍ枚の画像のうち前記基準画像以外の画像を前記基準画像に対して位置合わせし、位置合わせ後の前記Ｍ枚の画像を１枚の深度拡大画像に合成して被写界深度を拡大し、１秒あたりＬ枚の深度拡大画像を出力することを特徴とする撮像装置の作動方法。

Images