JP6124655B2

JP6124655B2 - 撮像装置、撮像装置の制御方法及びプログラム

Info

Publication number: JP6124655B2
Application number: JP2013079863A
Authority: JP
Inventors: 浩一郎吉野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-04-05
Filing date: 2013-04-05
Publication date: 2017-05-10
Anticipated expiration: 2033-04-05
Also published as: US9219854B2; US20140300799A1; JP2014204337A

Description

本発明は、撮像装置、撮像装置の制御方法及びプログラム等に関する。

従来、可動レンズの移動により対物レンズの画角を調整し、広角（以下、ＷＩＤＥ）側では被写体となる消化管全体の観察（通常観察）を行い、望遠（以下、ＴＥＬＥ）側では消化管の一部を拡大して観察（拡大観察）を行うズーム機能を備えた内視鏡システムが実用化されている。

一般的にこのようなズーム機能を備えた内視鏡システムでは、可動レンズの移動によりＴＥＬＥ側での画角を小さく（光学倍率を大きく）するだけでなく、合焦物体位置の調整も同時に行うことで拡大観察に必要な倍率を実現している場合が多い。具体的には、ＴＥＬＥ側で合焦物体位置が小さくなるように対物レンズを設計することで、被写体により近接して観察を行うことが可能になるため、拡大観察時の倍率をより大きくすることが可能になる。

一方、対物レンズから合焦物体位置までの距離が短くなると、被写体の移動による像位置の移動量が大きくなるため、一般的に光学系の被写界深度が狭くなる。このため、ズーム機能を備えた内視鏡システムでは、ＴＥＬＥ側の被写界深度の幅が１ｍｍ以下となる場合もあり、ユーザーが被写体にピントを合わせることが難しくなってきている。このような問題を解決するには、例えば特許文献１に示すような、画像の高周波成分からコントラスト値（画像の合焦度合いを示す評価値）を算出して合焦状態を評価し、オートフォーカス（ＡＦ）を行う内視鏡システムが提案されている。また、例えば特許文献２では、フォーカスレンズを微小に振動（ウォブリング）させてコントラスト値を算出することで合焦方向を検出し、フォーカスレンズを合焦方向に向かって移動させるという動作を周期的に行うことで、動画において被写体に追従しながらピントを合わせ続ける機能（フルタイムＡＦ）を備えたビデオカメラが提案されている。

特開２００４−２９４７８８号公報特開平１０−２３９５７９号公報

内視鏡の拡大観察においては、被写体の拍動等により対物レンズから被写体までの距離（被写体距離）を一定に保つことが難しい。このため、ユーザーがシングルＡＦにより一時的に被写体にピントを合わせても、被写体距離の変動により被写体がボケることでユーザーの観察に支障をきたす。

このような問題を解決するには、特許文献２のようにフルタイムＡＦを行うことが望ましいが、この場合、ウォブリング時の画像のちらつきを無くすため、フォーカスレンズの移動による画角の変動をできるだけ抑える必要がある。このため、前述のズーム機能を備えた内視鏡システムのように、可動レンズの移動により画角と合焦物体位置を同時に調整するような光学系では、可動レンズをフォーカスレンズとみなしてウォブリングによるフルタイムＡＦを行うことが難しいという課題があった。

本発明の幾つかの態様によれば、画角と合焦物体位置の両方を調整する可動レンズを有する対物レンズを用いる場合に、適切にフルタイムＡＦを行う撮像装置、撮像装置の制御方法及びプログラム等を提供することができる。

本発明の一態様は、画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズと、前記対物レンズで結像された被写体像を光電変換して画像を取得する撮像素子と、前記可動レンズの位置を制御することによりフルタイムＡＦ（ＡｕｔｏＦｏｃｕｓ）を行うフォーカス制御部と、前記フルタイムＡＦにおける前記可動レンズの基準位置である基準レンズ位置を設定する基準レンズ位置設定部と、前記基準レンズ位置と前記可動レンズの位置に基づいて、前記画像に対して倍率補正処理を行う倍率補正処理部と、を含み、前記基準レンズ位置設定部は、前記フルタイムＡＦでのウォブリング動作による前記可動レンズの移動範囲に基づいて、前記基準レンズ位置を設定し、前記倍率補正処理部は、設定された前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による、前記画像の前記画角の変動を低減する処理を、前記倍率補正処理として行う撮像装置に関係する。

本発明の一態様では、ウォブリング動作での可動レンズの位置に基づいて基準レンズ位置を設定し、当該基準レンズ位置を基準とした倍率補正処理を画像に対して行う。よって、ウォブリング動作では高速で可動レンズの位置が変更され、一群駆動レンズではそれにより画像の画角変動が生じ、ＡＦ評価値の算出や表示画像の見づらさ等の問題が生じうるところ、倍率補正処理を行うことで当該問題の発生を抑止すること等が可能になる。

また、本発明の他の態様は、画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズで結像された被写体像を光電変換した画像を取得する処理を行い、フルタイムＡＦ（ＡｕｔｏＦｏｃｕｓ）における前記可動レンズの基準位置である基準レンズ位置を、前記フルタイムＡＦでのウォブリング動作による前記可動レンズの移動範囲に基づいて設定する処理を行い、前記基準レンズ位置と前記可動レンズの位置に基づいて、前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による、前記画像の前記画角の変動を低減する倍率補正処理を、前記画像に対して行う撮像装置の制御方法に関係する。

また、本発明の他の態様は、画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズで結像された被写体像を光電変換した画像を取得し、フルタイムＡＦ（ＡｕｔｏＦｏｃｕｓ）における前記可動レンズの基準位置である基準レンズ位置を、前記フルタイムＡＦでのウォブリング動作による前記可動レンズの移動範囲に基づいて設定し、前記基準レンズ位置と前記可動レンズの位置に基づいて、前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による、前記画像の前記画角の変動を低減する倍率補正処理を、前記画像に対して行う、ステップをコンピュータに実行させるプログラムに関係する。

本実施形態の撮像装置に対応する内視鏡装置の構成例。本実施形態の対物レンズ（一群駆動レンズ）の構成例。可動レンズ位置と合焦物体位置、及び被写界深度範囲の関係図。操作部の構成例。図５（Ａ）、図５（Ｂ）は撮像部と被写体との相対的な位置関係と、合焦物体位置、及び被写界深度範囲の関係図。第１の実施形態の倍率補正処理部及び基準レンズ位置設定部の構成例。第２の実施形態の倍率補正処理部及び基準レンズ位置設定部の構成例。図８（Ａ）、図８（Ｂ）は可動レンズ位置、物体高、像高の関係図。可動レンズ位置と像高との関係を補間処理で求める例。図１０（Ａ）〜図１０（Ｄ）は倍率補正処理の説明図。図１１は倍率補正処理時の補間処理の説明図。ウォブリング動作を説明するフローチャート。図１３（Ａ）はウォブリング動作時の可動レンズ位置の変動を説明する図、図１３（Ｂ）はウォブリング動作の中心位置の変動を説明する図。合焦レンズ位置の近傍における中心位置の振動を説明する図。可動レンズ位置と像高とを対応づけるテーブルのデータ構造例。本実施形態の撮像装置の構成例。基準レンズ位置を中心位置とすることによる効果の説明図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
本実施形態の撮像装置は、図１６に示したように、画角の変更に伴い合焦物体位置が変更される可動レンズ２４０を含む対物レンズ２３０と、対物レンズ２３０で結像された被写体像を光電変換して画像を取得する撮像素子２６０と、可動レンズ２４０の位置を制御することによりフルタイムＡＦ（ＡｕｔｏＦｏｃｕｓ）を行うフォーカス制御部３３０と、フルタイムＡＦにおける可動レンズ２４０の基準位置である基準レンズ位置を設定する基準レンズ位置設定部３８０と、基準レンズ位置と可動レンズ２４０の位置に基づいて、画像に対して倍率補正処理を行う倍率補正処理部３７０を含み、基準レンズ位置設定部３８０は、フルタイムＡＦでのウォブリング動作による可動レンズ２４０の移動範囲に基づいて、基準レンズ位置を設定し、倍率補正処理部３７０は、設定された基準レンズ位置に対する、ウォブリング動作時の可動レンズ２４０の位置の変動による、画像の画角の変動を低減する処理を、倍率補正処理として行う。

以下、上記撮像装置に関する本実施形態の手法について説明する。１群駆動レンズ（例えば図２に示したレンズ）ではズームレンズ（ここでは可動レンズ２４０）を移動させることで合焦物体位置を変更する。つまり、合焦物体位置の移動には撮像倍率の変動を伴うことになる。よって１群駆動レンズを用いてＡＦを行おうとした場合、ＡＦに用いるＡＦ評価値（例えばコントラスト値）の算出が問題となる。

なお、合焦物体位置とは、物体、撮像光学系、像面等を含む系が合焦状態にある場合の、基準位置に対する当該物体の相対的な位置（物点）である。具体的には、所与の位置に像面を設定し、撮像光学系を所与の状態とした場合に、当該撮像光学系により前記像面上に結像する像が合焦している場合の当該物体の位置を表す。本実施形態の合焦制御装置（或いは内視鏡システム）等では、像面は撮像部に含まれる撮像素子の面と一致することが想定されるため、撮像素子の面が固定されている場合、光学系の状態を決定すれば合焦物体位置は決定可能となる。

コントラストＡＦにおいて、合焦物体位置を変化させてそれぞれの位置でコントラスト値を算出し、算出したコントラスト値の極大値を求めるように、ＡＦでは複数のＡＦ評価値の関係を求めることが想定される。本実施形態で想定しているフルタイムＡＦでは、所与の中心位置を中心に、所与のウォブリング幅で可動レンズを移動させるウォブリング動作を行い、可動レンズが広角側に移動されたタイミングでのコントラスト値と、可動レンズが望遠側に移動されたタイミングでのコントラスト値とを比較する処理を行い、その比較結果を用いて中心位置をシフトさせていく。ウォブリング動作の詳細については後述する。

しかし、１群駆動レンズでは上述したように、合焦物体位置を変えると撮像倍率も変化してしまう。そのため、あるタイミングでのＡＦ評価値算出に用いた画像に比べて、別のタイミングでの画像は被写体の倍率が変化しており、ＡＦ評価値を安定的に算出することができない。例えば、ＡＦ動作中に撮像倍率が増加した（拡大された）場合には、画像に含まれる高周波成分が低周波側にシフトする（エッジがなまる）ことになり、拡大前と拡大後でＡＦ評価値の算出条件が異なってしまう。よって、ＡＦ評価値の大小を適切に判断することができず、ＡＦ動作に支障をきたす。

そこで本出願人は、可動レンズ位置の基準となる基準レンズ位置を設定し、当該基準レンズ位置に対する可動レンズ位置の変動を補償する倍率補正処理を、画像（撮像画像）に対して行う手法を提案する。具体的には、基準レンズ位置に対して可動レンズ位置が変動することで、基準レンズ位置で取得される画像の画角に比べて、変動時の可動レンズ位置で取得される画像の画角は変化することになり、本実施形態の倍率補正処理はこの画角変動を低減する処理となる。

つまり、本実施形態の倍率補正処理を行うことで、ウォブリング動作により可動レンズ位置の変動が起こっても、倍率補正処理後の画像は基準レンズ位置で撮像された場合と同程度の画角（理想的には一致する画角）となる。つまり、倍率補正処理後の画像に基づいて、コントラスト値の算出等のＡＦ処理を行うことで、高い精度でフォーカス制御を行うことが可能になる。

また、ＡＦ評価値算出の際のズームレンズの駆動（ウォブリング）により撮像倍率が変動することで、ユーザ（ドクター）に提示する表示画像の倍率（画角）も高頻度に変化することになる。しかし、表示画像に基づき診断を行う際、表示画像の画角の高頻度での変化は、ドクターにとってストレスになりやすく、適切な診断を妨げる要因となる。この課題に対しても、上記倍率補正処理を行うことで対応可能である。

なお、上述したように、内視鏡装置等の被写体と撮像部との相対的な位置関係（狭義には相対距離）が頻繁に変化する装置を用いる場合には、シングルＡＦではなくウォブリング動作を伴うフルタイムＡＦを行うことが好ましい。そして本実施形態では、上記のレンズ基準位置はウォブリング動作の一周期毎に設定されるものを想定している。

図１３（Ａ）、図１３（Ｂ）を用いて後述するように、ウォブリング動作では所与の中心位置を決め、そこから所与のウォブリング幅だけＴＥＬＥ側（図１３（Ａ）のＡ１）、ＷＩＤＥ側（図１３（Ａ）のＡ２）にそれぞれ可動レンズ位置を移動させる制御を行う。そして、ウォブリング動作の一周期が終わると、その結果を用いて中心位置を所与のシフトレベルだけシフトする。ここでコントラスト値の比較が行われるのはＡ１での値とＡ２での値であり、Ａ１やＡ２での値を次の周期での値（例えばＡ３，Ａ４での値）と比較することは想定していない。つまり、コントラスト値の安定的な算出という観点でいえば、ウォブリング動作の一周期内で基準が一致していれば問題なく、ウォブリング動作の第１の周期（例えば図１３（Ａ）のＡ６）と、当該第１の周期とは異なる第２の周期（例えばＡ７）との間でまで基準を統一する必要はない。

さらにいえば、複数の周期でレンズ基準位置を共通にしてしまうことで問題が生じるおそれもあり得る。例えば、ＡＦ開始時に設定した基準位置を継続して使用している場合に、フルタイムＡＦを行った結果、可動レンズがスタート時点に比べて広角側に移動していったとする。その場合、撮像画像としてはより広い被写体範囲を撮像した広角画像が取得されているにもかかわらず、ＡＦ開始時と同程度の狭い画角を維持する倍率補正処理が行われてしまうため、画像の一部を拡大する処理が行われる。結果として、倍率補正処理後の出力画像は、撮像素子が本来有する解像度に比べて低い解像度の画像となり、センサー性能を十分生かし切れないことになる。

よって本実施形態では、ウォブリング動作の一周期毎にレンズ基準位置を設定することを想定する。例えば後述するように、ウォブリング動作の中心位置をレンズ基準位置とすればよい。このようにすれば、中心位置に対する可動レンズ位置の振れによる影響（例えばＡ１，Ａ２での画角変動）を低減しつつ、シフトレベル分のシフト（例えばＡ５での画角変動）は低減しないものとできる。よって、倍率補正処理後の画像においては、あたかも可動レンズ位置が図１３（Ｂ）に示したように移動しているように見せることが可能になり、細かい（高周波での）画角変動を抑止しつつ、大局的な（低周波での）画角変動は画像に反映させることが可能になる。

なお、以下の説明においては、図１等に示したように撮像装置の例として内視鏡装置を用いる。ただし上述の説明からもわかるように、内視鏡装置は本実施形態の撮像装置の一例であり、本実施形態の手法は一群駆動レンズを用いる種々の撮像装置に適用することが可能である。

２．第１の実施形態
本発明の第１の実施形態に係る撮像装置を含む内視鏡システムについて、図１を用いて説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００と、操作部６００を備えている。

光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。

撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を結像する対物レンズ２３０と、対物レンズ２３０に含まれ画角と合焦物体位置を同時に調整する可動レンズ２４０と、可動レンズ２４０を駆動するレンズ駆動部２５０と、対物レンズ２３０で結像された反射光を光電変換して画像を生成する撮像素子２６０を備えている。レンズ駆動部２５０は例えばボイスコイルモーター（以下、ＶＣＭ）である。また、撮像素子２６０は例えばベイヤ配列の色フィルタを持つ撮像素子である。

図２に本実施形態における対物レンズ２３０の一例を示す。この対物レンズは、可動レンズ２４０の位置をＷＩＤＥ端からＴＥＬＥ端に移動させた場合に、画角が狭くなる（光学倍率が大きくなる）と共に合焦物体位置が小さくなるような設計がなされている。具体的には、例えば可動レンズ位置を調整することで、図３に示すような合焦物体位置および被写界深度範囲を実現している。

処理部３００はＡＤ変換部３１０と、前処理部３２０と、フォーカス制御部３３０と、レンズ制御部３４０と、画像処理部３５０と、制御部３６０と、倍率補正処理部３７０と、基準レンズ位置設定部３８０と、を備えている。

ＡＤ変換部３１０は、撮像素子２６０から順次出力されるアナログ信号をデジタル画像に変換して、前処理部３２０に順次出力する。前処理部３２０はＡＤ変換部３１０から出力された画像に対して、ホワイトバランス、補間処理（デモザイキング処理）等の画像処理を施し、倍率補正処理部３７０に順次出力する。倍率補正処理部３７０はフォーカス制御部３３０に接続されており、フォーカス制御部から出力される情報に従って、前処理部３２０から出力された画像に対して倍率補正処理を行い、フォーカス制御部３３０と画像処理部３５０に画像を順次出力する。倍率補正処理部３７０の詳細については後述する。

フォーカス制御部３３０はレンズ制御部３４０と、制御部３６０と、操作部６００と、倍率補正処理部３７０に接続されており、操作部６００から出力されるＡＦ開始／終了信号に従ってＡＦ制御を行う。この時フォーカス制御部３３０は、可動レンズ２４０に要求されるレンズ位置（要求レンズ位置）をレンズ制御部３４０に出力する。またフォーカス制御部３３０は、倍率補正処理に必要な情報を倍率補正処理部３７０に出力する。さらにフォーカス制御部３３０は、制御部３６０から撮像素子２６０の制御信号（例えば画像の取得を終了するタイミング信号等）を取得する。フォーカス制御部３３０の詳細については後述する。

レンズ制御部３４０は、レンズ駆動部２５０と、フォーカス制御部３３０と、操作部６００に接続されており、操作部６００およびフォーカス制御部３３０から出力される要求レンズ位置に従って可動レンズを制御する。操作部６００の詳細については後述する。

画像処理部３５０は制御部３６０に接続されており、倍率補正処理部３７０から出力された画像信号に対して色変換、階調変換、エッジ強調、ノイズリダクション等の画像処理を施し、表示部４００に画像信号を順次出力する。表示部４００は例えば液晶モニタであり、画像処理部３５０から出力される画像信号を表示する。

基準レンズ位置設定部３８０は、倍率補正処理の基準となる可動レンズ２４０の位置である基準レンズ位置を設定する。倍率補正処理部３７０での倍率補正処理は、可動レンズ２４０の実際の位置によらず、あたかも設定された基準レンズ位置に可動レンズ２４０があるかのような画像を生成する処理となる。基準レンズ位置設定部３８０の詳細については後述する。

制御部３６０は外部Ｉ／Ｆ部５００やフォーカス制御部３３０、画像処理部３５０、基準レンズ位置設定部３８０、撮像素子２６０などと相互に接続されており、これらを制御する。外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースであり、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。

次に操作部６００の詳細について説明する。図４に本実施形態における操作部６００の一例を示す。本実施形態において、操作部６００は例えば撮像部２００と一体化して構成されており、ズームレバー６１０とＡＦボタン６２０を備えている。ズームレバー６１０は、例えば一定の範囲を連続的に動作させることが可能であり、ユーザーはズームレバー６１０を動かすことで、可動レンズ２４０の位置をＷＩＤＥ端からＴＥＬＥ端まで連続的に調整することができる。具体的には、例えば操作部６００は、ズームレバー６１０の位置情報を要求レンズ位置に変換してレンズ制御部３４０に出力する。また、操作部６００は例えばＡＦボタン６２０が押されるたびに、フルタイムＡＦの開始／終了信号を交互にフォーカス制御部３３０に出力する。

ここで操作部６００は例えば前述のＡＦボタン６２０を省いた構成としてもよい。この場合、例えばユーザーがズームレバーをＴＥＬＥ端からさらにＴＥＬＥ側に動かすことで、操作部６００がフルタイムＡＦの開始信号をフォーカス制御部３３０に出力してもよい。この場合、ユーザーがズームレバーをＴＥＬＥ端に戻すことで、フルタイムＡＦの終了信号をフォーカス制御部３３０に出力してもよい。このような構成にすることで、ユーザーはズームレバーの操作のみで可能レンズの位置制御とフルタイムＡＦの開始／終了制御を行うことが可能になり、ユーザーの操作が複雑になることを避けることができる。

ここで、本実施形態において通常観察および拡大観察を行う場合のユーザーの操作について、図３および図５を用いて説明する。まず、ユーザーはズームレバー６１０をＷＩＤＥ端に移動させ、病変部を発見するための通常観察を行う（図３のズームレンズ位置Ａ）。この時、撮像部２００では図５（Ａ）に示すように、画角および被写界深度が広い画像を取得することができる。本実施形態において、この時の被写界深度範囲は図３に示すように約１０〜５０ｍｍである。

次にユーザーは、発見した病変部に対して撮像部２００を徐々に近づけながら、病変部を拡大していく。本実施形態では病変部までの距離が１０ｍｍ以下になると、病変部が被写界深度から外れてボケはじめる。この時、ユーザーはズームレバー６１０をＴＥＬＥ側に移動させ、被写界深度範囲を撮像部に近づける（図３のズームレンズ位置Ｂ〜Ｃ）。これにより病変部が被写界深度内に入るため、ユーザーは病変部の観察を継続することができる。

本実施形態においては、ズームレンズ位置がＣの場合でも被写界深度範囲は約４〜７ｍｍであり、ある程度の被写界深度が維持されている。このため、ユーザーがズームレバー６１０や撮像部２００の位置を操作することで、容易に病変部にピントを合わせることが可能である。

次にユーザーは、撮像部２００をさらに病変部に近づけながら、ズームレバー６１０をさらにＴＥＬＥ側に移動させ、病変部をより拡大する。本実施形態においては、可動レンズ位置がＤよりもＴＥＬＥ側にあると、図３に示すように被写界深度範囲は１ｍｍ前後かそれ以下となる。このような条件下では、図５（Ｂ）に示すようにユーザーは被写体となる消化管の壁面に対して撮像部２００をほぼ正対させた状態で観察を行う場合が多い。これは被写界深度が狭い場合、被写体に対して撮像部２００を正対させないと、画像中のピントが合う領域が狭くなるからである。

このような場合においては、ユーザーがズームレバー６１０や撮像部２００の位置を操作することで被写体にピントを合わせることが難しくなる。このため、ユーザーはＡＦボタン６２０を押してフルタイムＡＦを開始する。もしくは、前述のようにズームレバー６１０をＴＥＬＥ端からさらにＴＥＬＥ側に動かしてフルタイムＡＦを開始してもよい。これにより、ユーザーが容易に被写体にピントを合わせることが可能になる。

次に、本実施形態におけるフォーカス制御部３３０の詳細について、図１２に示すフローチャートおよび図１３（Ａ）、図１３（Ｂ）を用いて説明する。以降は、倍率補正処理部３７０からフォーカス制御部３３０に順次出力される画像を現在画像と呼ぶ。

フォーカス制御部３３０は、制御部３６０からＡＦ開始信号が出力された場合、現在画像の取得が終了したタイミングでカウンタwobCntを０、フルタイムＡＦの開始フラグstartFlagを１とする（Ｓ１０１）。さらにフォーカス制御部３３０は、レンズ制御部３４０から現在の可動レンズ２４０の位置lensPosNowを取得する。次にフォーカス制御部３３０は、画像の取得終了まで待機した後（Ｓ１０２）、wobCntが０（Ｓ１０３でＹｅｓ）かつstartFlagが１（Ｓ１０４でＹｅｓ）であるため、startFlagを０とし、wobCntを１とする（Ｓ１０５）。以後、startFlagは０のままである。またフォーカス制御部３３０は、要求レンズ位置lensPosReqを以下の式（１）で算出する。ここでwobLvlは、図１３（Ａ）に示すように可動レンズ２４０のウォブリング幅である。さらにフォーカス制御部３３０は、lensPosNowをウォブリングの中心位置を表すlensPosCentに代入する。
lensPosReq = lensPosNow + wobLvl ・・・・・（１）

その後フォーカス制御部３３０はレンズ制御部３４０にlensPosReqを出力する（Ｓ１０６）。さらにフォーカス制御部３３０は、倍率補正処理部３７０にlensPosReqとlensPosCentを出力し、Ｓ１０２に戻る。

次にフォーカス制御部３３０は、wobCntが１である（Ｓ１０３でＮｏ且つＳ１０７でＹｅｓ）ため現在画像の取得が終了したタイミングで、現在画像のコントラスト値contrastValNowを取得し、これをcontrastValOldとして保存する（Ｓ１０８）。ここでは例えば現在画像に任意のＡＦ領域を設定し、ＡＦ領域に含まれるすべての画素のＧ信号に対してＨＰＦ（high-pass filter）処理を行い、その出力値の総和をcontrastValNowとすればよい。なお、ここでの現在画像は図１３（Ａ）に示すように可動レンズ位置が増加する方向にウォブリングされた画像である。さらにフォーカス制御部３３０はwobCntを２とした後、lensPosReq を以下の式（２）で算出する（Ｓ１０９）。なお、ここでフォーカス制御部３３０は、lensPosCentの値は変更しない。
lensPosReq = lensPosNow - 2 * wobLvl ・・・・・（２）

その後フォーカス制御部３３０はレンズ制御部３４０にlensPosReqを出力する。さらにフォーカス制御部３３０は、倍率補正処理部３７０にlensPosReqとlensPosCentを出力する（Ｓ１０６）。

次にフォーカス制御部３３０は、wobCntが２である（Ｓ１０３でＮｏ且つＳ１０７でＮｏ）ため現在画像の取得が終了したタイミングで、contrastValNowを取得する（Ｓ１１０）。なお、ここでの現在画像は図１３（Ａ）に示すように可動レンズ位置が減少する方向にウォブリングされた画像である。さらにフォーカス制御部３３０はwobCntを０とした後、lensPosReqを以下の式（３）で算出する（Ｓ１１１）。なお、ここでフォーカス制御部３３０は、lensPosCentの値は変更しない。
lensPosReq = lensPosNow + wobLvl ・・・・・（３）

その後フォーカス制御部３３０はレンズ制御部３４０にlensPosReqを出力する。さらにフォーカス制御部３３０は、倍率補正処理部３７０にlensPosReqとlensPosCentを出力する（Ｓ１０６）。これにより、可動レンズ位置はウォブリングの中心位置に戻ることになる。

次にフォーカス制御部３３０は、wobCntが０（Ｓ１０３でＹｅｓ）かつstartFlagが０（Ｓ１０４でＮｏ）であるため現在画像の取得が終了したタイミングで、上記で取得したcontrastValNowとcontrastValOldを比較する（Ｓ１１２）。contrastValOldがcontrastValNowよりも大きい場合（Ｓ１１２でＹｅｓ）は、可動レンズ位置が増加する方向に合焦レンズ位置があると考えられるため、フォーカス制御部３３０はwobCntを１とした後、lensPosReqとlensPosCentを以下の式（４）、（５）で算出する（Ｓ１１３）。これにより図１３（Ａ）に示すようにウォブリングの中心位置が、可動レンズ位置が増加する方向に移動することになる。
lensPosReq = lensPosNow + wobLvl + shiftLvl ・・・・・（４）
lensPosCent = lensPosNow + shiftLvl ・・・・・（５）

またcontrastValRefがcontrastValNowよりも小さい場合（Ｓ１１２でＮｏ）は、可動レンズ位置が減少する方向に合焦レンズ位置があると考えられるため、フォーカス制御部３３０はwobCntを１とした後、lensPosReqとlensPosCentを以下の式（６）、（７）で算出する（Ｓ１１４）。これによりウォブリングの中心位置が、可動レンズ位置が減少する方向に移動することになる。
lensPosReq = lensPosNow + wobLvl - shiftLvl ・・・・・（６）
lensPosCent = lensPosNow - shiftLvl ・・・・・（７）

以後も同様の動作を継続して行うことで、フォーカス制御部３３０は可動レンズ位置を徐々に合焦レンズ位置に近づけることで、最終的には合焦レンズ位置に到達し、被写体にピントを合わせることができる。また、被写体距離の変動などにより被写体がボケた場合も、上記の動作を継続して行うことで再度被写体にピントを合わせることが可能であるため、フルタイムＡＦが実現できることになる。

次に、倍率補正処理部３７０における倍率補正処理の考え方について説明する。図８（Ａ）は物体位置（被写体距離）を任意の固定値として、本実施形態における可動レンズ２４０をＴＥＬＥ端からＷＩＤＥ端まで移動させた時の、物体高（物体面上での光軸からの距離）と像高（像面上での光軸からの距離）の関係を示した模式図である。最大像高は撮像素子の寸法で決まる固定値であり、可動レンズ２４０がＴＥＬＥ端からＷＩＤＥ端に移動するに従って最大像高に対応する物体高が大きくなっている（画角が広くなっている）ことが分かる。このような可動レンズ２４０を用いてウォブリングを行う場合、ウォブリング時の可動レンズ２４０の位置がウォブリングの中心位置を基準としてＴＥＬＥ側にあるのかＷＩＤＥ側にあるのかによって、被写体の像面上の位置が変化する。例えば物体高ｘの位置にある被写体の像高は、図８（Ｂ）に示すように可動レンズ２４０がＴＥＬＥ側にある場合はｘ’＿ＴＥＬＥとなり、ＷＩＤＥ側にある場合はｘ’＿ＷＩＤＥとなる。この結果、ウォブリング時に画像のちらつきが発生するため、これを防止するために倍率補正処理部３７０で倍率補正処理を行う必要がある。

さらに、本実施形態のようにフォーカス制御部３３０に入力される前の画像に対して倍率補正処理を行うことで、可動レンズ２４０がＴＥＬＥ側にある場合もＷＩＤＥ側にある場合も、フォーカス制御部３３０で設定されるＡＦ領域に対応する被写体の範囲を等しくすることができるため、フルタイムＡＦの精度を向上させることが可能になる。

次に、基準レンズ位置設定部３８０における基準レンズ位置の設定処理について説明する。上述したように、本実施形態ではウォブリング動作の一周期の中で一定の基準を設定できればよいことを想定しており、且つ実際の画角と倍率補正処理後の画像の画角との乖離が大きくならないことが望ましい。以上を考慮すれば、処理対象としているウォブリング動作の周期での、ＴＥＬＥ端とＷＩＤＥ端の間のいずれかの位置を基準レンズ位置として設定すればよいことになる。例えば、ウォブリング動作の中心位置、ＴＥＬＥ端、ＷＩＤＥ端のいずれかをレンズ基準位置とすると設定が容易である。

ただし、ウォブリングを用いたフルタイムＡＦでは、画像のボケが大きい場合はウォブリング量を大きくしなければ、合焦レンズ位置の方向を判別できない。一方、画像のボケが小さい場合は、ウォブリング量が大きすぎるとボケの大きい画像と小さい画像が交互に表示されることになり不自然な画像となる。このため、フルタイムＡＦ中にウォブリング量を変化させることも考えられる。このため、ウォブリングのＴＥＬＥ側もしくはＷＩＤＥ側の可動レンズ位置を基準レンズ位置として倍率補正処理を行うと、ウォブリング量を変更した場合に倍率補正処理後の画像の画角が変化し、違和感のある画像となる。このため本実施形態では、ウォブリング時にＴＥＬＥ側、ＷＩＤＥ側で取得された画像に対して、ウォブリングの中心位置を基準レンズ位置として倍率補正処理を行うことが考えられる。なお、以下の説明では基準レンズ位置はウォブリング動作の中心位置（lensPosCent）であるものとするが、上述したように状況によってはこれに限定されるものではない。

基準レンズ位置が設定されたものとして、倍率補正処理の説明に戻る。可動レンズ２４０の位置がウォブリングの中心にある場合、被写体の像面上の位置は、図８（Ｂ）に示すようにｘ’＿ＣＥＮＴである。このため、ＴＥＬＥ側で取得された画像に対しては、ｘ’＿ＴＥＬＥに位置している被写体がｘ’＿ＣＥＮＴに移動するように倍率補正処理を行う。具体的には補正係数Ｋを以下の式（８）で算出し、画像全体にＫ倍の倍率補正処理を行う。
K = x’_CENT / x’_TELE ・・・・・（８）

また、ＷＩＤＥ側で取得された画像に対しても同様に、補正係数Ｋを以下の式（９）で算出し、画像全体にＫ倍の倍率補正処理を行う。
K = x’_CENT / x’_WIDE ・・・・・（９）

光軸中心から最大像高までのすべての像高に対して、補正係数Ｋがほぼ一定の値となるように対物レンズが設計されていれば、このような処理により画像全体で高精度な倍率補正を実現することができる。また、像高に対する補正係数Ｋの変化量が大きい場合は、像高に応じてＫの値を算出するようにしてもよい。倍率補正処理の詳細については後述する。

なおフルタイムＡＦを行っている場合、前述したようにウォブリングの中心位置は、合焦レンズ位置に近づくように変化する。このため倍率補正処理部３７０は、ウォブリングの中心位置がどこであっても高精度な倍率補正を実現できる必要がある。

本実施形態における倍率補正処理部３７０の詳細について、図６を用いて説明する。倍率補正処理部３７０は、補正処理部３７１と、補正係数算出部３７２と、メモリ３７３を備えている。補正係数算出部３７２は、フォーカス制御部３３０から出力されるlensPosReqと、基準レンズ位置設定部３８０から出力される基準レンズ位置（ここではlensPosCent）、およびメモリ３７３に保存されている補正係数算出用のデータから補正係数Ｋを算出し、補正処理部３７１に出力する。補正処理部３７１は、補正係数算出部３７２から出力されるＫを用いて、前処理部３２０から出力される画像に対して補正処理を行い、補正処理後の画像をフォーカス制御部３３０および画像処理部３５０に出力する。

ここで、補正係数算出部３７２における補正係数Ｋの算出手法について説明する。図１５はメモリ３７３に保存されている補正係数算出用データの一例である。ここではＴＥＬＥ端からＷＩＤＥ端における複数の可動レンズ位置Ａ〜Ｆと、それぞれのレンズ位置における被写体の像高ｘ’＿Ａ〜ｘ’＿Ｆが保存されている。ここで像高ｘ’＿Ａ〜ｘ’＿Ｆは、例えば図８（Ａ）に示したような可動レンズ２４０の各レンズ位置に対する物体高と像高の関係を対物レンズの設計データから算出し、任意の物体高ｘを用いて決定すればよい。

本実施形態では、前述したようにフルタイムＡＦを行っている場合、フォーカス制御部３３０からlensPosReqが順次出力されるとともに、基準レンズ位置設定部３８０からlensPosCentが順次出力されている。補正係数算出部３７２はまず可動レンズ２４０がlensPosReqに位置する場合の像高ｘ’＿ＲＥＱを算出する。ここでは例えば、まずレンズ位置Ａ〜Ｆのうち、lensPosReqを間に挟む２点の可動レンズ位置を検出し（ここでは可動レンズ位置ＥとＦの間にlensPosReqがあるとする）、この２点のレンズ位置とそれに対応する像高（ここではｘ’＿Ｅとｘ’＿Ｆ）から図９に示すような線形補間を用いてｘ’＿ＲＥＱを算出すればよい。次に補正係数算出部３７２は、可動レンズ２４０がlensPosCentに位置する場合の像高ｘ’＿ＣＥＮＴを、ｘ’＿ＲＥＱと同様の手法で算出する。その後、補正係数算出部３７２は以下の式（１０）でＫを算出し、補正処理部３７１に順次出力する。
K = x’_CENT / x’_REQ ・・・・・（１０）

次に、補正処理部３７１における補正処理の詳細について説明する。補正処理部３７１はまず補正処理後の画像における、画素値を算出したい注目画素の座標（ｏｕｔＸ，ｏｕｔＹ）を取得する。ここで（ｏｕｔＸ，ｏｕｔＹ）は図１０（Ａ）に示すように、左上画素を基準とした座標である。次に補正処理部３７１は図１０（Ｂ）に示すように、注目画素の座標（ｏｕｔＸ，ｏｕｔＹ）を、以下の式（１１）、（１２）を用いて画像中心（光軸に対応する画像上の点）を基準とした座標（ｓｈｉｆｔＸ，ｓｈｉｆｔＹ）に変換する。ここで（ｃｅｎｔＸ，ｃｅｎｔＹ）は、画像中心の座標である。
shiftX = outX - centX ・・・・・（１１）
shiftY = outY - centY ・・・・・（１２）

次に補正処理部３７１は、以下の式（１３）、（１４）を用いて（ｓｈｉｆｔＸ，ｓｈｉｆｔＹ）に対応する補正処理前の画像の座標（ｉｎＳｈｉｆｔＸ，ｉｎＳｈｉｆｔＹ）を算出する。（ｉｎＳｈｉｆｔＸ，ｉｎＳｈｉｆｔＹ）は、画像中心を基準とした座標であり、図１０（Ｃ）はＫが１より大きい時の（ｓｈｉｆｔＸ，ｓｈｉｆｔＹ）と（ｉｎＳｈｉｆｔＸ，ｉｎＳｈｉｆｔＹ）の関係を示している。
inShiftX = shiftX / K ・・・・・（１３）
inShiftY = shiftY / K ・・・・・（１４）

次に補正処理部３７１は、算出した座標（ｉｎＳｈｉｆｔＸ，ｉｎＳｈｉｆｔＹ）を、以下の式（１５）、（１６）を用いて、画像の左上画素を基準とした座標（ｉｎＸ，ｉｎＹ）に変換する。この座標（ｉｎＸ，ｉｎＹ）が、補正処理後の注目画素の座標（ｏｕｔＸ，ｏｕｔＹ）に対応する変倍処理前の画像の座標である。
inX = inShiftX + centX ・・・・・（１５）
inY = inShiftY + centY ・・・・・（１６）

このため、Ｋが１より大きい場合は、図１０（Ｃ）に示すように（ｉｎＸ，ｉｎＹ）は（ｏｕｔＸ，ｏｕｔＹ）と比較して画像中心に近づく方向に移動することになる。またＫが１より小さい場合は、（ｉｎＸ，ｉｎＹ）は（ｏｕｔＸ，ｏｕｔＹ）と比較して画像中心から遠ざかる方向に移動することになる。

次に補正処理部３７１は、算出した補正処理前の画像の座標（ｉｎＸ，ｉｎＹ）から、補正処理後の注目画素（ｏｕｔＸ，ｏｕｔＹ）の画素値Ｉ（ｏｕｔＸ，ｏｕｔＹ）を算出する。ここでは例えばバイリニア法など補間処理を用いて注目画素の画素値を算出すればよい。具体的には図１１に示すように、補正処理前の画像において、（ｉｎＸ，ｉｎＹ）の周辺に位置する４画素の画素値ｐ００，ｐ０１，ｐ１０，ｐ１１を用いて以下の式（１７）でＩ（ｏｕｔＸ，ｏｕｔＹ）を算出すればよい。また、その他の既存の補間処理を用いても、Ｉ（ｏｕｔＸ，ｏｕｔＹ）を算出することが可能であることは言うまでもない。
I(outX, outY) = ( floor(inX) + 1 - inX ) * ( floor(inY) + 1 - inY ) * p00
+ ( floor(inX) + 1 - inX ) * ( inY - floor(inY) ) * p10
+ ( inX - floor(inX) ) * ( floor(inY) + 1 - inY ) * p01
+ ( inX - floor(inX) ) * ( inY - floor(inY) ) * p11 ・・・・・（１７）

また、Ｋが１よりも小さい場合は前述のように、（ｉｎＸ，ｉｎＹ）は（ｏｕｔＸ，ｏｕｔＹ）と比較して画像中心から遠ざかる方向に移動する。このため、（ｏｕｔＸ，ｏｕｔＹ）が画像の周辺付近に位置する場合は、（ｉｎＸ，ｉｎＹ）が画像の外側に位置することになり、補正処理後の画素値Ｉ（ｏｕｔＸ，ｏｕｔＹ）が算出できなくなる場合がある。このような場合は、図１０（Ｄ）に示すように画像として使用される有効領域の外側にあらかじめ余裕領域を準備しておき、余裕領域の画素値を使用してＩ（ｏｕｔＸ，ｏｕｔＹ）を算出するようにすればよい。

補正処理部３７１は、前処理部３２０から順次出力される画像に対して、ＲＧＢすべてのチャンネルでこのような倍率補正処理を行い、フォーカス制御部３３０および画像処理部３５０に順次出力する。この結果、ウォブリング時にＴＥＬＥ側、ＷＩＤＥ側で取得された画像が、図１３（Ｂ）に示すように見かけ上はウォブリングの中心位置で取得された画像のように補正されるため、表示部４００ではウォブリング時のちらつきが無く、違和感のない画像を表示することが可能になる。

なお、前述したようにユーザーがフルタイムＡＦを行うのは、一般的にＴＥＬＥ端付近が多いと考えられるため、ここでは例えばレンズ位置Ｄ〜Ｆとそれに対応する像高ｘ’＿Ｄ〜ｘ’＿Ｆのみをメモリ３７３に保存しておき、フォーカス制御部３３０はこの範囲のみで可動レンズ２４０を制御してフルタイムＡＦを行うようにしてもよい。

また、他の変形例として、撮像装置はＡＦ処理後の合焦レンズ位置を用いて被写体までの距離を算出する距離計測部を備えてもよい。フォーカスレンズ位置に対応する合焦物体位置は光学的な特性から一意に決定されるものであるため、フォーカスレンズ位置が所与の位置であることが決定されれば、その際の合焦物体位置を求めることができる。ここでＡＦ処理が正常に終了した後のフォーカスレンズ位置とは、撮像対象としている被写体に合焦していることが期待される合焦レンズ位置であることから、その際の被写体は合焦物体位置に相当する位置にあると推定できる。このため距離計測部は例えば、合焦レンズ位置と合焦物体位置の関係を表すテーブルデータをメモリに保存しておき、ＡＦ処理後の合焦レンズ位置からこのテーブルデータを用いて合焦物体位置を算出し、これを被写体までの距離とすればよい。

つまり、本実施形態の手法はＡＦを適切に行うものであるが、ＡＦの結果（特にフォーカスレンズ位置）を用いて被写体までの距離を表す距離情報を算出することが可能である。取得した距離情報をどのような処理に利用するかは任意であるが、例えば距離情報から被写体の構造等を推定し、特定の凹凸構造に対して視認性を高めるための強調処理を行うことや、距離情報が所定の閾値以下であれば被写体である生体に接触する可能性があるとしてアラートを行うこと等が考えられる。

以上の本実施形態では、撮像装置は図１６や図１に示したように、画角の変更に伴い合焦物体位置が変更される可動レンズ２４０を含む対物レンズ２３０と、対物レンズ２３０で結像された被写体像を光電変換して画像を取得する撮像素子２６０と、可動レンズ２４０の位置を制御することによりフルタイムＡＦ（ＡｕｔｏＦｏｃｕｓ）を行うフォーカス制御部３３０と、フルタイムＡＦにおける可動レンズの基準位置である基準レンズ位置を設定する基準レンズ位置設定部３８０と、基準レンズ位置と可動レンズの位置に基づいて、画像に対して倍率補正処理を行う倍率補正処理部３７０を含む。そして、基準レンズ位置設定部３８０は、フルタイムＡＦでのウォブリング動作による可動レンズの移動範囲に基づいて、基準レンズ位置を設定し、倍率補正処理部３７０は、設定された基準レンズ位置に対する、ウォブリング動作時の可動レンズの位置の変動による、画像の画角の変動を低減する処理を、倍率補正処理として行う。

ここで、フルタイムＡＦとは、図１２のフローチャートや、図１３（Ａ）、図１３（Ｂ）を用いて説明したように、ウォブリング動作により可動レンズ２４０を移動させ、各可動レンズ位置で取得された画像から求めたコントラスト値を比較することで、可動レンズ２４０の位置を合焦レンズ位置（合焦状態にある場合のレンズの位置）に近づける制御である。

これにより、設定した基準レンズ位置を基準とした場合の可動レンズ２４０の位置変動を補償する倍率補正処理が行われるため、図１３（Ａ）のＡ１，Ａ２に示したようなウォブリング動作が行われる場合であっても、画像上では当該ウォブリング動作に伴う可動レンズ２４０の移動が少ない（理想的にはキャンセルされた）ように見せることが可能になる。よって、倍率補正処理後の画像を用いてＡＦ評価値（コントラスト値等）の算出を行うことで、ＡＦ評価値を安定的に算出できるため、ＡＦ制御を精度よく行うことが可能になる。また、高頻度での画角の変動を抑止できるため、ユーザーに対して見やすい画像を提示することができる。これは病変部の観察等が想定される内視鏡分野においては非常に有用である。

また、基準レンズ位置設定部３８０は、可動レンズ２４０のウォブリング動作の中心位置（lensPosCent）、又はウォブリング動作での望遠側端点を表す最遠点（lensPosCent+wobLvl）、又はウォブリング動作での広角側端点を表す最近点（lensPosCent-wobLvl）に基づいて、基準レンズ位置を設定してもよい。

これにより、ウォブリング動作の一周期内において、一定の基準レンズ位置を容易に設定することが可能になる。中心位置やウォブリング幅はフォーカス制御部３３０で設定されるもので取得が容易であるため、中心位置、最遠点、最近点ともに複雑な処理を行うことなく取得可能である。

また、基準レンズ位置設定部３８０は、可動レンズ２４０のウォブリング動作の中心位置を、基準レンズ位置として設定してもよい。

これにより、上述したように中心位置（lensPosCent）を基準レンズ位置とできるため、容易に基準レンズ位置を設定可能である。また、最遠点及び最近点は、ウォブリング幅（wobLvl）が異なればその位置が異なるものになるところ、上述したように所与のウォブリング周期と、他のウォブリング周期とでウォブリング幅を変化させるケーズは十分に考えられるが、その場合問題が生ずる可能性がある。極端な例を図１７に示す。第１のウォブリング周期Ｂ７では、Ｂ１，Ｂ２に示す大きなウォブリング幅でウォブリング動作を行い、結果としてＢ５に示したシフトレベルで、可動レンズ２４０の位置が増大する方向にシフトしたとする。そして、第２のウォブリング周期Ｂ８では、シフト後の中心位置を用いて、Ｂ３，Ｂ４に示す小さなウォブリング幅でウォブリング動作を行った。この場合、最遠点を基準レンズ位置とすると、第１のウォブリング周期Ｂ７でも第２のウォブリング周期Ｂ８でも、レンズ基準位置はＢ６で示した位置となる。しかし、Ｂ５に示したように、フルタイムＡＦの制御としては可動レンズ２４０の位置は増大する方向へのシフトを示しているのに、その結果が画像上全く反映されないという事態になり、ユーザーに対して違和感を与えてしまう。その点、中心位置をレンズ基準位置とすれば、Ｂ７ではレンズ基準位置はＢ９となり、Ｂ８ではレンズ基準位置はＢ１０となるため、Ｂ５のシフト分が基準レンズ位置（及び倍率補正処理後の画像の画角）に反映可能という利点がある。

また、フォーカス制御部３３０は、第１のウォブリング周期において、第１の位置を中心に第１のウォブリング幅で可動レンズ２４０を動作させる第１のウォブリング動作を、ウォブリング動作として行って第１のＡＦ処理を行い、第１のウォブリング周期の次の第２のウォブリング周期において、第１のＡＦ処理の結果に基づいて設定された第２の位置を中心に第２のウォブリング幅で可動レンズ２４０を動作させる第２のウォブリング動作を、ウォブリング動作として行って第２のＡＦ処理を行ってもよい。その場合、基準レンズ位置設定部３８０は、第１のウォブリング周期では、第１のウォブリング動作による可動レンズ２４０の移動範囲に基づいて、第１の基準レンズ位置を基準レンズ位置として設定し、第２のウォブリング周期では、第２のウォブリング動作による可動レンズ２４０の移動範囲に基づいて、第２の基準レンズ位置を基準レンズ位置として設定する。

これにより、ウォブリング周期毎に、対象とする周期での可動レンズ２４０の位置に応じて基準レンズ位置を設定することが可能になる。ウォブリング周期毎に基準レンズ位置が設定されるため、図１３（Ａ）のＡ１〜Ａ４に示したような細かな可動レンズ２４０の移動による画角への影響を抑止しつつ、Ａ５に示したシフト（つまりはフルタイムＡＦによる大局的な可動レンズ２４０の制御）を適切に画像に反映させることが可能になる。よって、ユーザーに対して見やすい画像を提供するとともに、上述したような撮像素子の性能を十分発揮できないという問題が生じる可能性も抑止することができる。

また、倍率補正処理部３７０は、倍率補正処理の出力として、撮像素子２６０で取得される画像に比べて画素数の少ない出力画像を出力してもよい。

さらに、撮像素子２６０で取得される画像のうち、中央領域を有効領域とし、画像のうち有効領域でない周縁領域を余裕領域とした場合に、倍率補正処理部３７０は、倍率補正処理として拡大処理が行われる場合には、有効領域に基づいて出力画像を生成し、倍率補正処理として縮小処理が行われる場合には、有効領域と余裕領域とに基づいて出力画像を生成してもよい。

これにより、図１０（Ｄ）に示したように、倍率補正処理として縮小処理が行われる場合にも、出力画像の各画素に対して適切に情報を割り当てることが可能になる。縮小処理では図１０（Ｄ）に示したように所与の画素の出力値は、当該画素よりも周縁部側の画素値を用いて決定することになるため、場合によっては（ｉｎＸ，ｉｎＹ）に当たる周縁画素が存在せず、出力画像の周縁部の情報が取得できないおそれもある。その点、あらかじめ撮像された画像の周縁部を余裕領域として設定しておけば、縮小処理時にも当該余裕領域の画素を用いることで、出力画像の情報欠落を抑止することができる。なお、倍率補正処理の係数（上記Ｋ）はウォブリング幅でその上限下限が決定されるものであり、ウォブリング幅は一般的に極端に大きな値をとることはない。つまり、十分な余裕領域を設けたとしても、有効領域の撮像画像全体に占める割合を大きくすることができるため、撮像素子の性能（撮像素子自体の画素数）に対して倍率補正処理後の画像の画素数が極端に下がるおそれは小さい。

また、倍率補正処理部３７０は、倍率補正処理後の画像をフォーカス制御部３３０に出力し、フォーカス制御部３３０は、倍率補正処理部３７０から出力された倍率補正処理後の画像に基づいて、フルタイムＡＦを行ってもよい。

これにより、倍率補正処理後の画像を用いてフルタイムＡＦ（狭義にはそのうちのコントラスト値の算出）を行うことができるため、精度よくＡＦ制御を行うことが可能になる。これは上述したように、倍率補正処理は画角の変動を低減する処理であるため、その結果を用いることで、比較すべき画像間でのコントラスト値の算出基準の変動（例えば同等のエッジが一方では高周波側に、他方では低周波側へシフトする等の変動や、コントラスト値の算出対象であるＡＦ領域に含まれる被写体範囲の変動）を抑止し、コントラスト値の比較処理を正確に行うことができるためである。

また、可動レンズ２４０の可動範囲のうち、最も望遠側の可動レンズ２４０の位置を望遠端とし、最も広角側の可動レンズ２４０の位置を広角端とした場合に、フォーカス制御部３３０は、広角端と望遠端の間で任意に設定された所定の位置と、望遠端との間に可動レンズ２４０が位置する場合に、フルタイムＡＦを実行してもよい。

これにより、所与の位置に対して望遠側に可動レンズ２４０がある場合に、フルタイムＡＦを行うことが可能になる。上述したように、ＡＦは手動でのピント合わせが困難であるケースで特に有効であり、手動ピント合わせが困難な状況としては被写界深度範囲の狭い拡大観察時が考えられる。すなわち、可動レンズ２４０が望遠側にある場合にフルタイムＡＦを動作させることで、効率的なフォーカス制御を行うことができる。

また、撮像装置は、可動レンズ２４０の位置をユーザーが調整するためのズームレバー（例えば図４に示したズームレバー６１０）を有する操作部６００を含み、フォーカス制御部３３０は、ユーザーによるズームレバーを操作により、フルタイムＡＦの開始及び終了の少なくとも一方を決定してもよい。

これにより、ユーザーの明示的な操作に基づいてフルタイムＡＦの開始、終了を決定することが可能になる。ＡＦが効果的な状況で自動的にＡＦを動作させることが有用な状況も十分考えられるが、ユーザーが認識していないうちに勝手にＡＦが始まることが、かえって操作を妨げてしまう状況もあり得る。よって、ＡＦの開始、終了の決定をユーザー操作に基づいて決定するというインターフェースが有用となる場合も多い。

また、可動レンズ２４０の可動範囲のうち、最も望遠側の可動レンズ２４０の位置を望遠端とし、最も広角側の可動レンズ２４０の位置を広角端とした場合に、フォーカス制御部３３０は、望遠端に対応する望遠端レバー位置にズームレバー６１０を移動する操作が行われ、且つ望遠端レバー位置からさらに望遠側にズームレバー６１０を移動する操作が行われた場合に、フルタイムＡＦの開始を決定してもよい。

これにより、ズームレバー６１０を用いたＡＦ開始操作を実現することが可能になる。上述したように、ユーザーがＡＦ開始を意図していない状況でＡＦが開始されることが好ましくない場合がある。その場合、ＡＦとは関係なく通常行われる操作がＡＦ開始のトリガーとなることは避けるべきである。よって例えば、望遠端に対応するレバー位置までズームレバー６１０を動かした上で、さらに望遠側に操作するという、通常の操作では行われる可能性が低い操作を、ＡＦ開始のトリガーとするとよい。この場合、図４に示したＡＦボタン６２０を省略できるため、操作部６００の構成を簡略化することが可能になる。

なお、本実施形態の撮像装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の撮像装置等が実現される。具体的には、非一時的な情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

また、以上の本実施形態は、画角の変更に伴い合焦物体位置が変更される可動レンズ２４０を含む対物レンズ２３０で結像された被写体像を光電変換した画像を取得する処理を行い、フルタイムＡＦ（ＡｕｔｏＦｏｃｕｓ）における可動レンズ２４０の基準位置である基準レンズ位置を、フルタイムＡＦでのウォブリング動作による可動レンズ２４０の移動範囲に基づいて設定する処理を行い、基準レンズ位置と可動レンズ２４０の位置に基づいて、基準レンズ位置に対する、ウォブリング動作時の可動レンズ２４０の位置の変動による、画像の画角の変動を低減する倍率補正処理を、画像に対して行う撮像装置の制御方法（撮像装置の作動方法）に適用することができる。

３．第２の実施形態
次に、第２の実施形態に係る撮像装置を含む内視鏡システムについて説明する。本実施形態の内視鏡システムは、基準レンズ位置設定部３８０以外は第１の実施形態と同様である。

本実施形態における基準レンズ位置設定部３８０（及び倍率補正処理部３７０）の詳細について、図７を用いて説明する。基準レンズ位置設定部３８０は、基準レンズ位置算出部３８４と、第２メモリ３８５を備えている。本実施形態では、フォーカス制御部３３０から順次出力されるlensPosCentはまず第２メモリ３８５に保存される。第２メモリ３８５には現在のlensPosCentの値と、そこから過去Ｎ個分のlensPosCentの値が保存されるようになっている。基準レンズ位置算出部３８４は、第２メモリ３８５に保存された複数のlensPosCentから、倍率補正処理の目標となる基準レンズ位置lensPosTargetを算出し、補正係数算出部３７２に順次出力する。具体的には、基準レンズ位置算出部３８４は第２メモリ３８５に保存されているすべてのlensPosCentの平均値をlensPosTargetとして算出する。

補正係数算出部３７２は、フォーカス制御部３３０から順次出力されるlensPosReqと、基準レンズ位置算出部３８４から順次出力されるlensPosTargetを用いて補正係数Ｋを算出し、補正処理部３７１に出力する。ここでは例えば補正係数算出部３７２は、第１の実施形態におけるlensPosCentの代わりにlensPosTargetを使用し、第１の実施形態と同様の手法でＫを算出すればよい。その後、補正処理部３７１は第１の実施形態と同様の手法で倍率変動補正を行う。

第１の実施形態で説明したように、フルタイムＡＦ中にウォブリングの中心位置は、合焦レンズ位置に近づくようにＷＩＤＥ側かＴＥＬＥ側かに常に変化する。このため図１４に示すようにウォブリングの中心位置は、合焦後も合焦レンズ位置を挟んでＷＩＤＥ側とＴＥＬＥ側とを往復しながら移動することになる。この往復の振幅が大きい場合は、ウォブリングの中心位置を目標として精度良く倍率変動補正を行った場合も、ウォブリング中心位置の往復に伴って倍率変動補正後の画像の画角が経時的に変化し違和感のある画像となる。このため本実施形態のように、lensPosCentと比較して変化が小さいlensPosTargetを倍率変動補正の目標とすることで、合焦後も画角の変化が少ない自然な画像を実現することができる。

以上の本実施形態では、撮像装置の基準レンズ位置設定部３８０は、可動レンズ２４０のウォブリング動作の中心位置を時間的に平均することで求められる位置を、基準レンズ位置として設定する。

これにより、図１４に示したように、ウォブリング動作の中心位置が合焦レンズ位置に近い状況となった場合にも、適切なレンズ基準位置を設定することが可能になる。フルタイムＡＦでは意図的にＡＦ動作を終了させない限り、ウォブリング周期の終了後にはシフトレベルだけ中心位置が移動してしまうことが一般的である。そのため、中心位置が合焦レンズ位置に近い場合には、当該合焦レンズ位置の周辺で中心位置が振動するケースが生じうる。そのような振動する中心位置をレンズ基準位置とすると、倍率補正処理で取得される画像の画角もレンズ基準位置に応じて振動するため見づらいものとなる。その点、上述の振動周期に比べて長い周期での中心位置の平均をとれば、当該平均値は合焦レンズ位置に近い値となることが期待されるため、倍率補正処理後の画像の画角変動を低減することが可能である。

１００光源部、１１０白色光源、１２０集光レンズ、２００撮像部、
２１０ライトガイドファイバ、２２０照明レンズ、２３０対物レンズ、
２４０可動レンズ、２５０レンズ駆動部、２６０撮像素子、３００処理部、
３１０ＡＤ変換部、３２０前処理部、３３０フォーカス制御部、
３４０レンズ制御部、３５０画像処理部、３６０制御部、
３７０倍率補正処理部、３７１補正処理部、３７２補正係数算出部、
３７３メモリ、３８０基準レンズ位置設定部、３８４基準レンズ位置算出部、
３８５第２メモリ、４００表示部、５００外部Ｉ／Ｆ部、６００操作部、
６１０ズームレバー、６２０ＡＦボタン

Claims

画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズと、
前記対物レンズで結像された被写体像を光電変換して画像を取得する撮像素子と、
前記可動レンズの位置を制御することによりＡＦ（ＡｕｔｏＦｏｃｕｓ）を行うフォーカス制御部と、
前記ＡＦにおける所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定する基準レンズ位置設定部と、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行う倍率補正処理部と、
を含み、
前記基準レンズ位置設定部は、
前記可動レンズの前記ウォブリング動作の中心位置を時間的に平均することで求められる位置を、前記基準レンズ位置として設定することを特徴とする撮像装置。
画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズと、
前記対物レンズで結像された被写体像を光電変換して画像を取得する撮像素子と、
前記可動レンズの位置を制御することによりＡＦ（ＡｕｔｏＦｏｃｕｓ）を行うフォーカス制御部と、
前記ＡＦにおける所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定する基準レンズ位置設定部と、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行う倍率補正処理部と、
を含み、
前記可動レンズの可動範囲のうち、最も望遠側の前記可動レンズの位置を望遠端とし、最も広角側の前記可動レンズの位置を広角端とした場合に、
前記フォーカス制御部は、
前記広角端と前記望遠端の間で任意に設定された所定の位置と、前記望遠端との間に前記可動レンズが位置する場合に、前記ＡＦを実行することを特徴とする撮像装置。
画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズと、
前記対物レンズで結像された被写体像を光電変換して画像を取得する撮像素子と、
前記可動レンズの位置を制御することによりＡＦ（ＡｕｔｏＦｏｃｕｓ）を行うフォーカス制御部と、
前記ＡＦにおける所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定する基準レンズ位置設定部と、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行う倍率補正処理部と、
前記可動レンズの位置をユーザーが調整するためのズームレバーを有する操作部と、
を含み、
前記フォーカス制御部は、
前記ユーザーによる前記ズームレバーの操作により、前記ＡＦの開始及び終了の少なくとも一方を決定し、
前記可動レンズの可動範囲のうち、最も望遠側の前記可動レンズの位置を望遠端とし、最も広角側の前記可動レンズの位置を広角端とした場合に、
前記フォーカス制御部は、
前記望遠端に対応する望遠端レバー位置に前記ズームレバーを移動する操作が行われ、且つ前記望遠端レバー位置からさらに望遠側に前記ズームレバーを移動する操作が行われた場合に、前記ＡＦの開始を決定することを特徴とする撮像装置。
請求項２又は３において、
前記基準レンズ位置設定部は、
前記可動レンズの前記ウォブリング動作の中心位置、又は前記ウォブリング動作での望遠側端点を表す最遠点、又は前記ウォブリング動作での広角側端点を表す最近点に基づいて、前記基準レンズ位置を設定することを特徴とする撮像装置。
請求項２又は３において、
前記基準レンズ位置設定部は、
前記可動レンズの前記ウォブリング動作の中心位置を、前記基準レンズ位置として設定することを特徴とする撮像装置。
請求項１乃至３のいずれかにおいて、
前記フォーカス制御部は、
第１のウォブリング周期において、第１の位置を中心に第１のウォブリング幅で前記可動レンズを動作させる第１のウォブリング動作を、前記ウォブリング動作として行って第１のＡＦ処理を行い、
前記第１のウォブリング周期の次の第２のウォブリング周期において、前記第１のＡＦ処理の結果に基づいて設定された第２の位置を中心に第２のウォブリング幅で前記可動レンズを動作させる第２のウォブリング動作を、前記ウォブリング動作として行って第２のＡＦ処理を行い、
前記基準レンズ位置設定部は、
前記第１のウォブリング周期では、前記第１のウォブリング動作による前記可動レンズの前記移動範囲に基づいて、第１の基準レンズ位置を前記基準レンズ位置として設定し、
前記第２のウォブリング周期では、前記第２のウォブリング動作による前記可動レンズの前記移動範囲に基づいて、第２の基準レンズ位置を前記基準レンズ位置として設定することを特徴とする撮像装置。
請求項１乃至３のいずれかにおいて、
前記倍率補正処理部は、
前記倍率補正処理の出力として、前記撮像素子で取得される前記画像に比べて画素数の少ない出力画像を出力することを特徴とする撮像装置。
請求項７において、
前記撮像素子で取得される前記画像のうち、中央領域を有効領域とし、前記画像のうち前記有効領域でない周縁領域を余裕領域とした場合に、
前記倍率補正処理部は、
前記倍率補正処理として拡大処理が行われる場合には、前記有効領域に基づいて前記出力画像を生成し、
前記倍率補正処理として縮小処理が行われる場合には、前記有効領域と前記余裕領域とに基づいて前記出力画像を生成することを特徴とする撮像装置。
請求項１乃至３のいずれかにおいて、
前記倍率補正処理部は、
前記倍率補正処理後の前記画像を前記フォーカス制御部に出力し、
前記フォーカス制御部は、
前記倍率補正処理部から出力された前記倍率補正処理後の前記画像に基づいて、前記ＡＦを行うことを特徴とする撮像装置。
画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズで結像された被写体像を光電変換した画像を取得する処理を行い、
ＡＦ（ＡｕｔｏＦｏｃｕｓ）における所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定する処理を行い、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行い、
前記可動レンズの前記ウォブリング動作の中心位置を時間的に平均することで求められる位置を、前記基準レンズ位置として設定することを特徴とする撮像装置の制御方法。
画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズで結像された被写体像を光電変換した画像を取得する処理を行い、
ＡＦ（ＡｕｔｏＦｏｃｕｓ）における所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定する処理を行い、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行い、
前記可動レンズの可動範囲のうち、最も望遠側の前記可動レンズの位置を望遠端とし、最も広角側の前記可動レンズの位置を広角端とした場合に、
前記広角端と前記望遠端の間で任意に設定された所定の位置と、前記望遠端との間に前記可動レンズが位置する場合に、前記ＡＦを実行することを特徴とする撮像装置の制御方法。
画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズで結像された被写体像を光電変換した画像を取得する処理を行い、
ＡＦ（ＡｕｔｏＦｏｃｕｓ）における所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定する処理を行い、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行い、
前記可動レンズの位置をユーザーが調整するためのズームレバーに対する前記ユーザーの操作により、前記ＡＦの開始及び終了の少なくとも一方を決定し、
前記可動レンズの可動範囲のうち、最も望遠側の前記可動レンズの位置を望遠端とし、最も広角側の前記可動レンズの位置を広角端とした場合に、
前記望遠端に対応する望遠端レバー位置に前記ズームレバーを移動する操作が行われ、且つ前記望遠端レバー位置からさらに望遠側に前記ズームレバーを移動する操作が行われた場合に、前記ＡＦの開始を決定することを特徴とする撮像装置の制御方法。
画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズで結像された被写体像を光電変換した画像を取得し、
ＡＦ（ＡｕｔｏＦｏｃｕｓ）における所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定し、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行う、
ステップをコンピュータに実行させ、
前記基準レンズ位置を設定するステップで、前記可動レンズの前記ウォブリング動作の中心位置を時間的に平均することで求められる位置を、前記基準レンズ位置として設定するプログラム。
画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズで結像された被写体像を光電変換した画像を取得し、
ＡＦ（ＡｕｔｏＦｏｃｕｓ）における所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定し、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行う、
ステップをコンピュータに実行させ、
前記可動レンズの可動範囲のうち、最も望遠側の前記可動レンズの位置を望遠端とし、最も広角側の前記可動レンズの位置を広角端とした場合に、
前記広角端と前記望遠端の間で任意に設定された所定の位置と、前記望遠端との間に前記可動レンズが位置する場合に、前記ＡＦを実行するプログラム。
画角の変更に伴い合焦物体位置が変更される可動レンズを含む対物レンズで結像された被写体像を光電変換した画像を取得し、
ＡＦ（ＡｕｔｏＦｏｃｕｓ）における所定周期毎のウォブリング動作に対する前記可動レンズの移動範囲に基づいて、基準レンズ位置を設定し、
前記基準レンズ位置に対する、前記ウォブリング動作時の前記可動レンズの位置の変動による前記画像の前記画角の変動を低減する倍率補正処理を行う、
ステップをコンピュータに実行させ、
前記可動レンズの位置をユーザーが調整するためのズームレバーに対する前記ユーザーの操作により、前記ＡＦの開始及び終了の少なくとも一方を決定し、
前記可動レンズの可動範囲のうち、最も望遠側の前記可動レンズの位置を望遠端とし、最も広角側の前記可動レンズの位置を広角端とした場合に、
前記望遠端に対応する望遠端レバー位置に前記ズームレバーを移動する操作が行われ、且つ前記望遠端レバー位置からさらに望遠側に前記ズームレバーを移動する操作が行われた場合に、前記ＡＦの開始を決定するプログラム。