JP6137847B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

撮像装置及び撮像装置の制御方法 Download PDF

Info

Publication number
JP6137847B2
JP6137847B2 JP2013012814A JP2013012814A JP6137847B2 JP 6137847 B2 JP6137847 B2 JP 6137847B2 JP 2013012814 A JP2013012814 A JP 2013012814A JP 2013012814 A JP2013012814 A JP 2013012814A JP 6137847 B2 JP6137847 B2 JP 6137847B2
Authority
JP
Japan
Prior art keywords
image
contrast value
control unit
input image
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013012814A
Other languages
English (en)
Other versions
JP2014145808A5 (ja
JP2014145808A (ja
Inventor
浩一郎 吉野
浩一郎 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013012814A priority Critical patent/JP6137847B2/ja
Priority to EP13872928.0A priority patent/EP2950127A4/en
Priority to CN201380071531.3A priority patent/CN104956246A/zh
Priority to PCT/JP2013/075868 priority patent/WO2014115372A1/ja
Publication of JP2014145808A publication Critical patent/JP2014145808A/ja
Priority to US14/810,836 priority patent/US20150334289A1/en
Publication of JP2014145808A5 publication Critical patent/JP2014145808A5/ja
Application granted granted Critical
Publication of JP6137847B2 publication Critical patent/JP6137847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。
内視鏡システムにおいてはユーザーの診断・処置に支障をきたさないため、できるだけ広い被写界深度が求められる。しかし近年では、内視鏡システムにおいても高画素の撮像素子が使用されるに従ってその被写界深度が狭くなってきていることから、オートフォーカス（以下ＡＦ）を行う内視鏡システムが提案されている。内視鏡においてコントラスト方式のＡＦを行う場合、画像中に照明光の反射に起因する輝点が存在すると、輝点のエッジがコントラスト値に大きな影響を与えるため、ユーザーが観察したい被写体である生体にピントが合う位置をうまく検出できないという課題がある。またユーザーが処置を行っている際にＡＦを行う場合、画像中にカンシ等の処置具が存在すると、ユーザーが意図していない被写体（カンシ等）にピントが合ってしまうといった課題がある。
また、これらの課題は内視鏡システムに限定されるものではなく、コントラスト値を用いたＡＦを行う撮像装置においても同様に問題となるものである。このような課題を解決するために例えば、特許文献１及び特許文献２のように、ＡＦ領域に複数のブロックを設定し、輝点やカンシが含まれるブロックを検出し、これらのブロックをＡＦ領域から除外してＡＦ制御を行うといった手法が提案されている。
特開２００４−２９４７８８号公報 特開２０１１−１３９７６０号公報
前述の特許文献１及び特許文献２では、被写体となる生体がわずかに動いたこと等に起因して画像中の輝点の位置が変動した場合やユーザーがカンシを動かした場合など、除外すべき被写体の画像中の位置がＡＦ中に変化した場合は正しくＡＦを行うことが困難であった。
本発明の幾つかの態様によれば、除外すべき被写体の画像中の位置がＡＦ中に変化した場合でも、適切なフォーカス制御を行う撮像装置及び撮像装置の制御方法を提供することができる。
本発明の一態様は、合焦物体位置を調整するフォーカスレンズを含む光学系と、前記光学系で結像された被写体像の画像を取得する撮像素子と、フォーカスレンズ位置を制御するレンズ位置制御部と、オートフォーカス制御を行うフォーカス制御部と、を含み、前記フォーカス制御部は、入力画像に複数のブロックを設定するブロック設定部と、設定した複数の前記ブロックの各ブロックのコントラスト値を表すブロックコントラスト値情報を算出するコントラスト値算出部と、基準画像の前記ブロックコントラスト値情報を保存するコントラスト値保存部と、設定した複数の前記ブロックの各ブロックの特徴量を算出する特徴量算出部と、前記特徴量に基づいて、複数の前記ブロックのうち、前記フォーカス制御において有効である有効ブロックを判定し、判定結果を有効ブロック情報として取得する有効ブロック判定部と、前記基準画像の前記有効ブロック情報を保存する有効ブロック情報保存部と、前記基準画像の前記有効ブロック情報と、前記入力画像の前記有効ブロック情報からオートフォーカス領域を設定するオートフォーカス領域設定部と、前記オートフォーカス領域と前記基準画像の前記ブロックコントラスト値情報から、前記基準画像の画像コントラスト値を決定するとともに、前記オートフォーカス領域と前記入力画像の前記ブロックコントラスト値情報から、前記入力画像の前記画像コントラスト値を決定するコントラスト値決定部とを含み、前記オートフォーカス領域設定部は、前記基準画像と前記入力画像の両方で前記有効ブロックと判定された前記ブロックの集合を、前記オートフォーカス領域として設定する撮像装置に関係する。
本発明の一態様では、入力画像の有効ブロック情報と基準画像の有効ブロック情報の両方を用いてオートフォーカス領域を設定し、設定したオートフォーカス領域に基づいて各画像のコントラスト値を決定する。よって、入力画像と基準画像の両方について、適切に有効でないブロック（例えば輝点等を含むブロック）を除外しつつ、同じ条件でコントラスト値を算出することができるため、適切なＡＦ制御を行うこと等が可能になる。
本発明の他の態様は、入力画像を取得し、前記入力画像に複数のブロックを設定し、設定した複数の前記ブロックの各ブロックのコントラスト値を表すブロックコントラスト値情報を算出し、設定した複数の前記ブロックの各ブロックの特徴量を算出し、算出した前記特徴量に基づいて、複数の前記ブロックのうち、フォーカス制御において有効である有効ブロックを判定して、前記入力画像の有効ブロック情報を取得し、前記入力画像とは合焦物体位置の異なるフォーカスレンズ位置において、前記入力画像よりも前のタイミングで撮像された基準画像の前記ブロックコントラスト値情報をコントラスト値保存部から読み出すとともに、前記基準画像の前記有効ブロック情報を有効ブロック情報保存部から読み出し、前記基準画像と前記入力画像の両方で前記有効ブロックと判定された前記ブロックの集合を、オートフォーカス領域として設定し、前記オートフォーカス領域と前記基準画像の前記ブロックコントラスト値情報から、前記基準画像の画像コントラスト値を求めるとともに、前記オートフォーカス領域と前記入力画像の前記ブロックコントラスト値情報から、前記入力画像の前記画像コントラスト値を求め、前記基準画像の前記画像コントラスト値と、前記入力画像の前記画像コントラスト値の比較処理に基づいて、前記フォーカス制御を行う撮像装置の制御方法に関係する。
本実施形態の撮像装置のシステム構成例。 フォーカス制御部の構成例。 フォーカス制御部の他の構成例。 第１の実施形態の処理を説明するフローチャート。 第１の実施形態の変形例の処理を説明するフローチャート。 第３の実施形態をシングルＡＦに適用した処理を説明するフローチャート。 第２の実施形態の処理を説明するフローチャート。 第３の実施形態をフルタイムＡＦに適用した処理を説明するフローチャート。 第１の実施形態のピーク検出処理を説明する図。 第１の実施形態の変形例のピーク検出処理を説明する図。 第２の実施形態のフォーカスレンズの駆動例を説明する図。 図１２（Ａ）、図１２（Ｂ）はブロック設定処理の説明図。 ブロックと座標値との関係を説明する図。 図１４（Ａ）〜図１４（Ｃ）は有効ブロック情報の例と、ＡＦ領域の設定例を説明する図。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．本実施形態の手法
本実施形態の画像処理装置は、図１に示したように、合焦物体位置を調整するフォーカスレンズ２４０を含む光学系と、光学系で結像された被写体像の画像を取得する撮像素子２６０と、フォーカスレンズ位置を制御するレンズ位置制御部３４０と、オートフォーカス制御を行うフォーカス制御部３３０と、を含む。そしてフォーカス制御部３３０は、図２に示したように、入力画像に複数のブロックを設定するブロック設定部３３１と、設定した複数のブロックの各ブロックのコントラスト値を表すブロックコントラスト値情報を算出するコントラスト値算出部３３２と、基準画像のブロックコントラスト値情報を保存するコントラスト値保存部３３３と、設定した複数のブロックの各ブロックの特徴量を算出する特徴量算出部３３４と、特徴量に基づいて、複数の前記ブロックのうち、フォーカス制御において有効である有効ブロックを判定し、判定結果を有効ブロック情報として取得する有効ブロック判定部３３５と、基準画像の有効ブロック情報を保存する有効ブロック情報保存部３３６と、基準画像の有効ブロック情報と、入力画像の有効ブロック情報からオートフォーカス領域を設定するオートフォーカス領域設定部３３７と、オートフォーカス領域と基準画像のブロックコントラスト値情報から、基準画像の画像コントラスト値を決定するとともに、オートフォーカス領域と入力画像のブロックコントラスト値情報から、入力画像の画像コントラスト値を決定するコントラスト値決定部３３８とを含み、オートフォーカス領域設定部３３７は、基準画像と入力画像の両方で有効ブロックと判定されたブロックの集合を、オートフォーカス領域として設定する。
ここで合焦物体位置とは、光学系、像面（狭義には撮像素子２６０の面）、物体（被写体）からなる系が合焦状態にある場合の、物体の位置を表すものである。また、ブロックコントラスト値情報とは、対象としている画像の含まれるブロックのブロックコントラスト値の集合を表す情報である。また、特徴量とは有効ブロックの判定に用いるものであり、例えば後述するように、輝度の最大値や平均値、ＣｒＣｂの平均値等を用いればよい。また、有効ブロック情報とは、対象としている画像に設定された複数のブロックが有効ブロックであるか否かを表す情報であり、例えば図１４（Ａ）や図１４（Ｂ）に示すような情報であってもよい。
特許文献１及び特許文献２のように、ＡＦのためのコントラスト値の算出において、対象としている画像中の輝点やカンシの領域を除外する手法が知られている。しかし従来手法では、ＡＦ中に輝点等の画像上での位置や大きさが変化する場合等は想定されていない。
そのため、ＡＦ処理において最初に設定した除外領域をそのまま用い続けた場合には、その後輝点等の位置や大きさが変化すると、その変化後の画像では当該輝点等を適切に除去することができずコントラスト値の正確な算出が困難となる。また、画像毎に除外領域を設定することで各画像の輝点等を除外したとしても、一連のＡＦ動作の中で、画像毎に除外領域（ひいてはコントラスト値の算出に用いられる領域）が異なるものになるため、各画像から算出されるコントラスト値は、その算出条件が異なるものとなり、当該コントラスト値を比較したとしても、コントラスト値のピーク検出は正確に行うことができない。
特に、撮像装置として生体用の内視鏡装置を用いた場合には、撮像部側から照射光を照射する必要があること、及び被写体である生体表面は濡れていることから、画像上での輝点の位置や大きさは変動しやすく、上述の問題を無視することができない。
また、従来手法では合焦レンズ位置（系が合焦状態にある場合のフォーカスレンズ位置）を１回決定するシングルＡＦを想定しており、連続的に合焦レンズ位置の探索を継続するフルタイムＡＦを想定していないという問題もある。
そこで本出願人は、入力画像に対してＡＦ処理を行う場合に、当該入力画像についての有効ブロック（輝点等を含むブロックを除いた有効なブロック）の判定結果である有効ブロック情報だけでなく、基準画像についての有効ブロック情報を用いてオートフォーカス領域（以下、ＡＦ領域と表記し、オートフォーカス領域設定部３３７をＡＦ領域設定部３３７と表記する）を設定する手法を提案する。具体的には、図１４（Ａ）〜図１４（Ｃ）に示したように、入力画像と基準画像の両方で有効と判定されたブロックの集合をＡＦ領域とすればよい。このようにすれば、入力画像と基準画像のコントラスト値は、同一の条件で求めることができるため、入力画像と基準画像の比較処理を適切に行うことができる。
この場合、各画像のコントラスト値（ブロックコントラスト値と区別するために、必要に応じて画像コントラスト値とも表記する）は、ＡＦ領域に含まれるブロックのブロックコントラスト値の総和等から求めることができる。
なお、ある１つの画像の画像コントラスト値は、比較対象とする画像が異なればＡＦ領域が変化する可能性がある以上、常に同一であるとは限らない。つまり、本実施形態の手法においても、画像コントラスト値はその絶対値に意味があるものではなく、基準画像と入力画像の比較処理においてその相対関係を表すものである点には留意すべきである。
以下、第１〜第３の実施形態について説明する。第１の実施形態ではシングルＡＦを行う手法、及びその変形例について説明し、第２の実施形態ではフルタイムＡＦを行う手法について説明する。また、第３の実施形態では入力画像の動き量を用いた手法について説明する。なお、動き量を用いた手法はシングルＡＦと組み合わせてもよいし、フルタイムＡＦと組み合わせてもよいため、第１の実施形態との組み合わせと第２の実施形態との組み合わせの両方を説明する。
２．第１の実施形態
本実施形態ではフォーカス制御としてシングルＡＦを行う場合について説明する。具体的には、まずシステム構成例を説明した後、オートフォーカス制御を行うフォーカス制御部の詳細について説明する。その後、フローチャート等を用いて処理の詳細を説明した上で、変形例についても説明する。
２．１ システム構成例
本発明の第１の実施形態に係る撮像装置（ここでは具体例として内視鏡システムを用いるがこれには限定されない）について、図１を用いて説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００には、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を結像する対物レンズ系２３０と、対物レンズ系２３０に含まれ合焦物体位置を調整するフォーカスレンズ２４０と、フォーカスレンズ２４０を駆動するレンズ駆動部２５０と、対物レンズ系２３０で結像された反射光を光電変換して画像を生成する撮像素子２６０を備えている。レンズ駆動部２５０は例えばボイスコイルモーター（以下、ＶＣＭ）である。また、撮像素子２６０は例えばベイヤ配列の色フィルタを持つ撮像素子である。
処理部３００はＡ／Ｄ変換部３１０と、前処理部３２０と、フォーカス制御部３３０と、レンズ位置制御部３４０と、画像処理部３５０と、制御部３６０を備えている。Ａ／Ｄ変換部３１０は、撮像素子２６０から順次出力されるアナログ信号をデジタルの画像信号に変換して、前処理部３２０に順次出力する。前処理部３２０はＡ／Ｄ変換部３１０から出力された画像信号に対して、ホワイトバランス、補間処理（デモザイキング処理）、ＹＣｂＣｒ変換処理等の画像処理を施し、フォーカス制御部３３０と画像処理部３５０に順次出力する。
レンズ位置制御部３４０は、レンズ駆動部２５０とフォーカス制御部３３０とに接続されており、フォーカス制御部３３０から出力される情報に従ってフォーカスレンズ２４０を制御する。フォーカス制御部３３０の詳細については後述する。
画像処理部３５０は、前処理部３２０から出力された画像信号に対して色変換、階調変換、エッジ強調、ノイズリダクション等の画像処理を施し、表示部４００に画像信号を順次出力する。表示部４００は例えば液晶モニタであり、画像処理部３５０から出力される画像信号を表示する。
制御部３６０は外部Ｉ／Ｆ部５００やフォーカス制御部３３０、画像処理部３５０、撮像素子２６０などと相互に接続されており、これらを制御する。外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースであり、例えばＡＦの開始／終了を行うためのＡＦボタンや画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。
２．２ フォーカス制御部の詳細
次にフォーカス制御部３３０の詳細について、図２を用いて説明する。以降は、前処理部３２０からフォーカス制御部３３０に順次出力される画像を現在画像（入力画像）と呼ぶ。
フォーカス制御部３３０はブロック設定部３３１と、コントラスト値算出部３３２と、コントラスト値保存部３３３と、特徴量算出部３３４と、有効ブロック判定部３３５と、有効ブロック情報保存部３３６と、ＡＦ領域設定部３３７と、コントラスト値決定部３３８と、ＡＦ制御部３３９を備えている。
ブロック設定部３３１は、前処理部３２０から出力される現在画像に対して、図１２（Ａ）に示すような複数の評価ブロックを設定する。設定した評価ブロックは図１３に示すようにb(bx,by)として表し、(bx,by)は左上の評価ブロックを基準位置(0,0)として定義した座標である。
コントラスト値算出部３３２は、ブロック設定部３３１で設定された全ての評価ブロックに対して、評価ブロックのコントラスト値blockContrastValNow(bx,by)を算出し、コントラスト値決定部３３８とコントラスト値保存部３３３に出力する。ここでは例えば、各評価ブロックに含まれるすべての画素のＹ信号に対してハイパスフィルタ処理を行い、その出力値の総和をそのブロックのコントラスト値とすればよい。
コントラスト値保存部３３３は、ＡＦ制御部３３９から出力される制御信号に従って、コントラスト値算出部３３２で算出した全ての評価ブロックのblockContrastValNow(bx,by)を保存し、基準画像の各評価ブロックのコントラスト値blockContrastValRef(bx,by)としてコントラスト値決定部３３８に出力する。コントラスト値保存部３３３及び基準画像の詳細については後述する。
特徴量算出部３３４は、ブロック設定部３３１で設定されたすべての評価ブロックに対して特徴量を算出し、有効ブロック判定部３３５に出力する。ここでは特徴量として、例えば各評価ブロックに含まれるすべての画素のＹ信号の最大値blockMaxY(bx,by)や平均値blockAveY(bx,by)、Ｃｂ，Ｃｒ信号のそれぞれの平均値blockAveCb(bx,by),blockAveCr(bx,by)等を算出し、有効ブロック判定部３３５に出力する。
有効ブロック判定部３３５は、特徴量算出部３３４から出力された各評価ブロックの特徴量を用いて、各評価ブロックが有効ブロックであるか否かの判定を行う。ここで有効ブロック判定部３３５は例えば、各評価ブロックのblockMaxY(bx,by)が所定の閾値以上であるか否かの判定を行い、閾値以上である場合は評価ブロック内に輝点が含まれるため有効ブロックではないと判定し、対応する評価ブロックの有効ブロック判定フラグeffectiveBlockFlagNow(bx,by)を０とする。またblockMaxY(bx,by)が所定の閾値以下である場合は、評価ブロック内に輝点が含まれないため有効ブロックと判定して対応する評価ブロックのeffectiveBlockFlagNow(bx,by)を１とする。
また有効ブロック判定部３３５は例えば、各評価ブロックのblockAveY(bx,by)が所定の閾値以下であるか否かの判定を行い、閾値以下である場合は評価ブロックが画像の非常に暗い領域に位置するため有効ブロックではないと判定し、対応する評価ブロックのeffectiveBlockFlagNow(bx,by)を０とする。またblockAveY(bx,by)が所定の閾値以上である場合は、評価ブロックが画像の明るい領域に位置するため、有効ブロックと判定して評価ブロックのeffectiveBlockFlagNow(bx,by)を１とする。
さらに有効ブロック判定部３３５は例えば、各評価ブロックのblockAveCb(bx,by)、blockAveCr(bx,by)が共に所定の閾値以下であるか否かの判定を行い、共に所定の閾値以下である場合は評価ブロックが画像のカンシの領域に位置するため有効ブロックではないと判定し、対応する評価ブロックのeffectiveBlockFlagNow(bx,by)を０とする。これは、カンシは主に黒や銀色であるため、カンシに対応する領域ではＣｂ，Ｃｒ信号が共に０に近い値となるためである。またblockAveCb(bx,by)、blockAveCr(bx,by)の両方、もしくはどちらか一方が所定の閾値以上である場合は、評価ブロックはカンシの領域に位置しないため、有効ブロックと判定して対応する評価ブロックのeffectiveBlockFlagNow(bx,by)を１とする。
有効ブロック判定部３３５は上述した判定処理のうちの１つもしくは任意の組み合わせの判定を行い、すべての評価ブロックに対するeffectiveBlockFlagNow(bx,by)をＡＦ領域設定部３３７と有効ブロック情報保存部３３６に出力する。ここで有効ブロック判定部３３５が複数の判定処理を行う場合は、すべての判定処理に対して有効ブロックであると判定された評価ブロックに対して、最終的にeffectiveBlockFlagNow(bx,by)を１とすればよい。また、複数の判定処理に対して、１つでも無効ブロックと判定された評価ブロックに対してはeffectiveBlockFlagNow(bx,by)を０とすればよい。
また特徴量算出部３３４は、必要に応じて上述していない任意の特徴量を算出し、有効ブロック判定部３３５は算出した特徴量に応じて任意の判定処理を行い、各評価ブロックが有効ブロックであるか否かを判定してもよい。
有効ブロック情報保存部３３６は、ＡＦ制御部３３９から出力される制御信号に従って、有効ブロック判定部３３５から出力された全ての評価ブロックのeffectiveBlockFlagNow(bx,by)を保存し、基準画像の有効判定フラグeffectiveBlockFlagRef(bx,by)としてＡＦ領域設定部３３７に出力する。有効ブロック情報保存部３３６及び基準画像の詳細については後述する。
ＡＦ領域設定部３３７は有効ブロック判定部３３５から出力される現在画像の有効ブロック判定フラグeffectiveBlockFlagNow(bx,by)と、有効ブロック情報保存部３３６から出力される基準画像の有効ブロック判定フラグeffectiveBlockFlagRef(bx,by)からＡＦ領域を設定し、コントラスト値決定部３３８に出力する。具体的には、例えば図１４（Ａ）に示すようなeffectiveBlockFlagNow(bx,by)と図１４（Ｂ）に示すようなeffectiveBlockFlagRef(bx,by)に対して各評価ブロック毎に論理積を算出し、その結果を図１４（Ｃ）に示すようなＡＦ領域フラグafAreaFlag(bx,by)としてコントラスト値決定部３３８に出力する。このような処理を行うことで、ＡＦ領域設定部３３７は現在画像と基準画像の両方の画像で有効ブロックと判定された評価ブロックの集合をＡＦ領域として設定することができる。
コントラスト値決定部３３８は、ＡＦ領域設定部３３７から出力されるafAreaFlag(bx,by)とコントラスト値算出部３３２から出力される現在画像の各評価ブロックのコントラスト値blockContrastValNow(bx,by) から、現在画像のコントラスト値contrastValNowを決定し、ＡＦ制御部３３９に出力する。さらにコントラスト値決定部３３８は、ＡＦ領域設定部３３７から出力されるafAreaFlag(bx,by)とコントラスト値保存部３３３から出力される基準画像の各評価ブロックのコントラスト値blockContrastValRef(bx,by)から、基準画像のコントラスト値contrastValRefを決定し、ＡＦ制御部３３９に出力する。具体的にはコントラスト値決定部３３８は、afAreaFlag(bx,by)が１である評価ブロックに対応するblockContrastValNow(bx,by)の総和を算出し、これをcontrastValNowとする。さらにコントラスト値決定部３３８は、afAreaFlag(bx,by)が１である評価ブロックに対応するblockContrastValRef(bx,by)の総和を算出し、これをcontrastValRefとする。このような処理を行うことで、コントラスト値決定部３３８は現在画像と基準画像の両方の画像で有効ブロックと判定された評価ブロックのみを用いて、それぞれの画像に対応するコントラスト値（画像コントラスト値）を決定することができる。
ＡＦ制御部３３９は、制御部３６０から出力されるＡＦ開始／終了信号に従って、コントラスト値決定部３３８から出力される現在画像のコントラスト値contrastValNow及び基準画像のコントラスト値contrastValRef を用いてＡＦ制御を行う。この時ＡＦ制御部３３９は、フォーカスレンズ２４０に要求されるレンズ位置（要求レンズ位置）をレンズ位置制御部３４０に出力することで、フォーカスレンズ２４０の位置を制御する。またＡＦ制御部３３９は、レンズ位置制御部３４０からフォーカスレンズ位置を取得する。さらにＡＦ制御部３３９は、制御部３６０から撮像素子２６０の制御信号（例えば画像の取得を終了するタイミング信号等）を取得する。
２．３ 処理の詳細
ＡＦ制御部３３９がシングルＡＦを行う場合の動作を、図４に示すフローチャートを用いて説明する。ＡＦ制御部３３９は、制御部３６０からＡＦ開始信号が出力された場合、例えばフォーカスレンズ２４０の可動域の任意の一方の端（レンズ位置Ａ）を要求レンズ位置としてレンズ位置制御部３４０に出力する（Ｓ１０１）。フォーカスレンズ２４０がレンズ位置Ａに到達したら、ＡＦ制御部３３９は要求レンズ位置をレンズの可動域のもう一方の端（レンズ位置Ｂ）に変更し、フォーカスレンズ２４０のスキャン動作を開始し、合焦レンズ位置の検出（ピーク検出）を行う（Ｓ１０２）。
次にＡＦ制御部３３９は、現在画像がスキャン開始後１枚目の画像であるかの判定を行い（Ｓ１０３）、１枚目である場合は、有効ブロック判定部３３５から有効ブロック情報保存部３３６に出力されるeffectiveBlockFlagNow(bx,by)が、effectiveBlockFlagRef(bx,by)として保存されるように制御信号を出力する。さらにＡＦ制御部３３９は、コントラスト値算出部３３２からコントラスト値保存部３３３に出力されるblockContrastValNow(bx,by)が、blockContrastValRef(bx,by)として保存されるように制御信号を出力する。またＡＦ制御部３３９は、レンズ位置制御部３４０から現在画像取得時のフォーカスレンズ位置lensPosNowを取得し、これを基準画像取得時のフォーカスレンズ位置lensPosRefとして保存する（Ｓ１０４）。その後ＡＦ制御部３３９は、ピーク検出を継続する。
またＡＦ制御部３３９は、現在画像がスキャン開始後２枚目以降の画像である場合（Ｓ１０３でＮｏの場合）は、現在画像のコントラスト値contrastValNowを取得する（Ｓ１０５）。この際には、保存されているeffectiveBlockFlagRef(bx,by)を読み出しＡＦ領域を設定する処理等が行われることになる。
そしてＡＦ制御部３３９は、コントラスト値決定部３３８から出力されるcontrastValNowとcontrastValRefを取得して比較する（Ｓ１０６）。contrastValNowがcontrastValRefよりも大きい場合（Ｓ１０６でＹｅｓの場合）、ＡＦ制御部３３９は有効ブロック判定部３３５から有効ブロック情報保存部３３６に出力されるeffectiveBlockFlagNow(bx,by)が、新たなeffectiveBlockFlagRef(bx,by)として保存されるように制御信号を出力することで、effectiveBlockFlagRef(bx,by)を更新する。さらにＡＦ制御部３３９は、コントラスト値算出部３３２からコントラスト値保存部３３３に出力されるblockContrastValNow(bx,by)が、新たなblockContrastValRef(bx,by)として保存されるように制御信号を出力することで、blockContrastValRef(bx,by)を更新する。またＡＦ制御部３３９は、レンズ位置制御部３４０からlensPosNowを取得し、これを新たなlensPosRefとして保存することで、lensPosRefを更新する（Ｓ１０７）。その後ＡＦ制御部３３９は、ピーク検出を継続する。
またＡＦ制御部３３９は、contrastValNowがcontrastValRefよりも小さい場合（Ｓ１０６でＮｏの場合）、contrastValNowとcontrastValRef * Kを比較する（Ｓ１０８）。ここでKは０から１の間の任意の係数である。contrastValNowがcontrastValRef * Kよりも大きい場合、ＡＦ制御部３３９はeffectiveBlockFlagRef(bx,by)、blockContrastValNow(bx,by)、lensPosRefの更新を行わず、ピーク検出を継続する。一方、contrastValNowがcontrastValRef * K以下になった場合（Ｓ１０８でＮｏの場合）、ＡＦ制御部３３９はlensPosRefをピーク位置と判定してピーク検出を終了する（Ｓ１０９）。
現在画像が更新されるタイミングに合わせてこのような一連の動作を行うことで、ＡＦ制御部３３９は合焦レンズ位置をlensPosRefとして検出することができる。このことについて、図９を用いてより詳しく説明する。図９はフォーカスレンズ位置と画像のコントラスト値の一般的な関係を表す概略図である。レンズ位置Ａからレンズ位置Ｂに向かってフォーカスレンズ２４０のスキャン動作を行った場合、図９に示すようにフォーカスレンズ２４０が合焦レンズ位置に近づく従ってコントラスト値は増加し、合焦レンズ位置から離れるに従ってコントラスト値は減少することになる。
本実施形態では、前述したように現在画像と基準画像の両方の画像で有効ブロックと判定された評価ブロックのみを用いて、それぞれの画像に対応するコントラスト値であるcontrastValNowとcontrastValRefを算出している。このため、基準画像や現在画像における輝点やカンシの有無及びその位置の違いに等よって有効ブロックの位置や数が変化することから、contrastValNow 及びcontrastValRefの絶対値は変化する。しかし、contrastValRefとcontrastValNowの大小関係は、基準画像取得時のフォーカスレンズ位置と現在画像取得時のフォーカスレンズ位置によって図９と同様に決定される。
例えば、図９に状態１として示すフォーカスレンズ位置が合焦レンズ位置に近づく状態では、この時に取得されるcontrastValNow1はcontrastValRef1より大きくなる。この状態では、lensPosRefは現在画像取得時のフォーカスレンズ位置lensPosNowに順次更新される。
また、図９に状態２として示すフォーカスレンズ位置が合焦レンズ位置を超えて遠ざかる状態では、この時に取得されるcontrastValNow2はcontrastValRef2より小さくなる。この状態では、lensPosRefに合焦レンズ位置が保存される。合焦レンズ位置と現在画像取得時のフォーカスレンズ位置の差が大きくなり、contrastValNow2がcontrastValRef2 * K 以下になった時点でＡＦ制御部３３９はピーク検出を終了するため、この時lensPosRefには合焦レンズ位置が保存されていることになる。
ここでＡＦ制御部３３９は、前述の係数Kを適切に設定することで、被写体である生体や撮像部２００のわずかな移動やノイズの影響等により合焦レンズ位置以外のフォーカスレンズ位置でコントラスト値の減少が発生した場合もピークの誤検出を防止することが可能となり、精度よく合焦レンズ位置を検出することが可能になる。
ピーク検出の終了後、ＡＦ制御部３３９はlensPosRefを要求レンズ位置としてレンズ位置制御部３４０に出力し、フォーカスレンズ２４０がlensPosRefに到達したら合焦動作が完了したとしてシングルＡＦを終了する。
このような制御を行うことで本実施形態における内視鏡システムは、被写体となる生体がわずかに動いたこと等に起因して画像中の輝点の位置が変動した場合や、ユーザーがカンシを動かした場合など、除外すべき被写体の画像中の位置がＡＦ中に変化した場合も正しくシングルＡＦを行うことが可能となる。
２．４ 変形例
次に本実施形態の変形例について、図５に示すフローチャートを用いて説明する。Ｓ２０１，Ｓ２０２については、図４のＳ１０１，Ｓ１０２と同様である。本変形例におけるＡＦ制御部３３９は、まず現在画像がスキャン開始後１枚目の画像であるかの判定を行い（Ｓ２０３）、１枚目である場合は、有効ブロック判定部３３５から有効ブロック情報保存部３３６に出力されるeffectiveBlockFlagNow(bx,by)が、effectiveBlockFlagRef(bx,by)として保存されるように制御信号を出力する。さらにＡＦ制御部３３９は、コントラスト値算出部３３２からコントラスト値保存部３３３に出力されるblockContrastValNow(bx,by)が、blockContrastValRef(bx,by)として保存されるように制御信号を出力する。またＡＦ制御部３３９は、レンズ位置制御部３４０からlensPosNowを取得し、これをlensPosRefとして保存する（Ｓ２０４）。その後ＡＦ制御部３３９は、ピーク検出を継続する。
またＡＦ制御部３３９は、現在画像がスキャン開始後２枚目の画像であるかの判定を行い（Ｓ２０５）、２枚目である場合は、まず有効ブロック情報保存部３３６に保存されたeffectiveBlockFlagRef(bx,by)を、基準画像の１枚前の画像の有効ブロック判定フラグeffectiveBlockFlagOld(bx,by)にコピーするように制御信号を出力する。さらにＡＦ制御部３３９は、コントラスト値保存部３３３に保存されたblockContrastValRef(bx,by)を、基準画像の１枚前の画像の各評価ブロックのコントラスト値blockContrastValOld(bx,by)にコピーするように制御信号を出力する。またＡＦ制御部３３９は、lensPosRefを基準画像の１枚前の画像のフォーカスレンズ位置lensPosOldにコピーする。次にＡＦ制御部３３９は、有効ブロック判定部３３５から有効ブロック情報保存部３３６に出力されるeffectiveBlockFlagNow(bx,by)が、effectiveBlockFlagRef(bx,by)として保存されるように制御信号を出力する。さらにＡＦ制御部３３９は、コントラスト値算出部３３２からコントラスト値保存部３３３に出力されるblockContrastValNow(bx,by)が、blockContrastValRef(bx,by)として保存されるように制御信号を出力する。またＡＦ制御部３３９は、レンズ位置制御部３４０からlensPosNowを取得し、これをlensPosRefとして保存する（Ｓ２０６）。その後ＡＦ制御部３３９は、ピーク検出を継続する。
またＡＦ制御部３３９は、現在画像がスキャン開始後３枚目以降の画像である場合（Ｓ２０５でＮｏの場合）は、コントラスト値決定部３３８から出力されるcontrastValNowとcontrastValRefを取得して比較する（Ｓ２０７，Ｓ２０８）。
contrastValNowがcontrastValRefよりも大きい場合（Ｓ２０８でＹｅｓの場合）、ＡＦ制御部３３９はまず有効ブロック情報保存部３３６に保存されたeffectiveBlockFlagRef(bx,by)を、effectiveBlockFlagOld(bx,by)にコピーするように制御信号を出力し、effectiveBlockFlagOld(bx,by)を更新する。さらにＡＦ制御部３３９は、コントラスト値保存部３３３に保存されたblockContrastValRef(bx,by)を、blockContrastValOld(bx,by)にコピーするように制御信号を出力し、blockContrastValOld(bx,by)を更新する。またＡＦ制御部３３９は、lensPosRef をlensPosOldにコピーすることでlensPosOldを更新する。次にＡＦ制御部３３９は、有効ブロック判定部３３５から有効ブロック情報保存部３３６に出力されるeffectiveBlockFlagNow(bx,by)が、effectiveBlockFlagRef(bx,by)として保存されるように制御信号を出力する。さらにＡＦ制御部３３９は、コントラスト値算出部３３２からコントラスト値保存部３３３に出力されるblockContrastValNow(bx,by)が、blockContrastValRef(bx,by)として保存されるように制御信号を出力する。またＡＦ制御部３３９は、レンズ位置制御部３４０からlensPosNowを取得し、これをlensPosRefとして保存する（Ｓ２０９）。その後ＡＦ制御部３３９は、ピーク検出を継続する。
またＡＦ制御部３３９は、contrastValNowがcontrastValRefよりも小さい場合（Ｓ２０８でＮｏの場合）、contrastValNowとcontrastValRef * Kを比較する（Ｓ２１０）。ここでKは０から１の間の任意の係数である。contrastValNowがcontrastValRef * Kよりも大きい場合（Ｓ２１０でＹｅｓの場合）、ＡＦ制御部３３９はeffectiveBlockFlagRef(bx,by)、blockContrastValNow(bx,by)、lensPosRefの更新を行わず、ピーク検出を継続する。一方、contrastValNowがcontrastValRef * K以下になった場合（Ｓ２１０でＮｏの場合）、ＡＦ制御部３３９は合焦レンズ位置が検出されたと判定してピーク検出を終了する。
なお本変形例におけるＡＦ領域設定部３３７は、有効ブロック判定部３３５から出力されるeffectiveBlockFlagNow(bx,by)、有効ブロック情報保存部３３６から出力されるeffectiveBlockFlagRef(bx,by)及びeffectiveBlockFlagOld(bx,by)の３つからＡＦ領域を設定し、コントラスト値決定部３３８に出力する。具体的には、まずeffectiveBlockFlagNow(bx,by)とeffectiveBlockFlagRef(bx,by)に対して各評価ブロック毎に論理積を算出し、次にその結果とeffectiveBlockFlagOld(bx,by)に対して各評価ブロック毎に論理積を算出した結果をafAreaFlag(bx,by)としてコントラスト値決定部３３８に出力する。このような処理を行うことで、ＡＦ領域設定部３３７は現在画像と基準画像（適宜、第１の基準画像と表記する）及び基準画像の１枚前の画像（適宜、第２の基準画像と表記する）のすべてで有効ブロックと判定された評価ブロックの集合をＡＦ領域として設定することができる。
さらに本変形例におけるコントラスト値決定部３３８は、ＡＦ領域設定部３３７から出力されるafAreaFlag(bx,by)とコントラスト値算出部３３２から出力されるblockContrastValNow(bx,by) からcontrastValNowを決定し、ＡＦ制御部３３９に出力する。さらにコントラスト値決定部３３８は、ＡＦ領域設定部３３７から出力されるafAreaFlag(bx,by)とコントラスト値保存部３３３から出力されるblockContrastValRef(bx,by)及びblockContrastValOld(bx,by)から、contrastValRef及びcontrastValOldを決定し、ＡＦ制御部３３９に出力する。
具体的にはコントラスト値決定部３３８は、afAreaFlag(bx,by)が１である評価ブロックに対応するblockContrastValNow(bx,by)の総和を算出し、これをcontrastValNowとする。さらにコントラスト値決定部３３８は、afAreaFlag(bx,by)が１である評価ブロックに対応するblockContrastValRef(bx,by)及びblockContrastValOld(bx,by)の総和をそれぞれ算出し、これをcontrastValRef及びcontrastValOldとする。このような処理を行うことで、コントラスト値決定部３３８は現在画像と基準画像及び基準画像の１枚前の画像のすべてで有効ブロックと判定された評価ブロックのみを用いて、それぞれの画像に対応するコントラスト値を決定することができる。
ピーク検出の終了後、ＡＦ制御部３３９は３つレンズ位置lensPosNow、lensPosRef、lensPosOld及びこれらに対応するコントラスト値contrastValNow、contrastValRef、contrastValOldから公知のラグランジェ補間等を用いて図１０に示すように、これらの３点を通る２次関数を算出する。その後、算出した２次関数に対してコントラスト値が最大となるフォーカスレンズ位置lensPosPeakを要求レンズ位置として決定し、レンズ位置制御部３４０に出力する（Ｓ２１１）。フォーカスレンズ２４０がlensPosPeakに到達したら合焦動作が完了したとして（Ｓ２１２）、シングルＡＦを終了する。
このような制御を行うことで本変形例における内視鏡システムは、フォーカスレンズ２４０のスキャンピッチを大きくした場合も精度良く合焦レンズ位置を検出することが可能となり、高速なシングルＡＦを実現できる。
なお、他の変形例として、撮像装置はＡＦ処理後の合焦レンズ位置を用いて被写体までの距離を算出する距離計測部を備えてもよい。フォーカスレンズ位置に対応する合焦物体位置は光学的な特性から一意に決定されるものであるため、フォーカスレンズ位置が所与の位置であることが決定されれば、その際の合焦物体位置を求めることができる。ここでＡＦ処理が正常に終了した後のフォーカスレンズ位置とは、撮像対象としている被写体に合焦していることが期待される合焦レンズ位置であることから、その際の被写体は合焦物体位置に相当する位置にあると推定できる。このため距離計測部は例えば、合焦レンズ位置と合焦物体位置の関係を表すテーブルデータをメモリに保存しておき、ＡＦ処理後の合焦レンズ位置からこのテーブルデータを用いて合焦物体位置を算出し、これを被写体までの距離とすればよい。
つまり、本実施形態の手法はＡＦを適切に行うものであるが、ＡＦの結果（特にフォーカスレンズ位置）を用いて被写体までの距離を表す距離情報を算出することが可能である。取得した距離情報をどのような処理に利用するかは任意であるが、例えば距離情報から被写体の構造等を推定し、特定の凹凸構造に対して視認性を高めるための強調処理を行うことや、距離情報が所定の閾値以下であれば被写体である生体に接触する可能性があるとしてアラートを行うこと等が考えられる。
以上の本実施形態では、撮像装置は図１に示したように、合焦物体位置を調整するフォーカスレンズ２４０を含む光学系と、光学系で結像された被写体像を光電変換して画像を生成する撮像素子２６０と、フォーカスレンズ位置を制御するレンズ位置制御部３４０と、オートフォーカス制御を行うフォーカス制御部３３０と、を含む。そしてフォーカス制御部３３０は、図２に示したように、入力画像に複数のブロックを設定するブロック設定部３３１と、設定した複数のブロックの各ブロックのコントラスト値を表すブロックコントラスト値情報を算出するコントラスト値算出部３３２と、基準画像のブロックコントラスト値情報を保存するコントラスト値保存部３３３と、設定した複数のブロックの各ブロックの特徴量を算出する特徴量算出部３３４と、特徴量に基づいて、複数の前記ブロックのうち、フォーカス制御において有効である有効ブロックを判定し、判定結果を有効ブロック情報として取得する有効ブロック判定部３３５と、基準画像の有効ブロック情報を保存する有効ブロック情報保存部３３６と、基準画像の有効ブロック情報と、入力画像の有効ブロック情報からＡＦ領域を設定するＡＦ領域設定部３３７と、ＡＦ領域と基準画像のブロックコントラスト値情報から、基準画像の画像コントラスト値を決定するとともに、ＡＦ領域と入力画像のブロックコントラスト値情報から、入力画像の画像コントラスト値を決定するコントラスト値決定部３３８とを含み、ＡＦ領域設定部３３７は、基準画像と入力画像の両方で有効ブロックと判定されたブロックの集合を、ＡＦ領域として設定する。
これにより、ＡＦのためのコントラスト値の算出において、入力画像の有効ブロック情報だけでなく、当該入力画像との比較対象となる基準画像の有効ブロック情報も用いた処理が可能になる。よって、ＡＦ中に輝点等の画像上での位置や大きさが変化した場合であっても、適切に当該輝点等の領域を除外しつつ、比較対象となる画像間でのコントラスト値の算出条件を合わせることができるため、適切なＡＦ制御が可能になる。
また、フォーカス制御部３３０は、入力画像の画像コントラスト値が基準画像の画像コントラスト値より大きい場合は、入力画像を新たな基準画像として設定する基準画像更新処理を行ってもよい。また、フォーカス制御部３３０は、入力画像の画像コントラスト値が、基準画像の画像コントラスト値から算出される閾値より小さい場合は、ピークを検出したと判定してもよい。
これにより、図９に示したようにコントラスト値のピーク位置を検出することが可能になる。本実施形態での基準画像とは、それまでに処理を行った画像のうち最もピーク位置に近いと考えられる画像である。入力画像の画像コントラスト値が基準画像の画像コントラスト値より大きい場合とは、図９の状態１に対応し、この場合は入力画像の方がよりピーク位置に近いと考えられるため、基準画像を更新する。一方、入力画像の画像コントラスト値が、基準画像の画像コントラスト値より小さい場合とは、図９の状態２に対応し、ピーク位置はその時点で保持している基準画像に対応する位置であると考えることができる。ただし、入力画像の画像コントラスト値が基準画像の画像コントラスト値よりもわずかに小さかったとしても、それはノイズ等の影響でありフォーカスの合い具合を適切に反映していない可能性も考えられる。よって、ピークを検出したという判定は、入力画像の画像コントラスト値が基準画像の画像コントラスト値に対してある程度大きい幅で減少したことを条件とするとよい。ここでは、０＜Ｋ＜１となる定数Ｋを用いて、図４のＳ１０８に示した判定を行うものとする。
また、フォーカス制御部３３０は、ピークを検出したと判定した場合は、判定が行われたタイミングでの基準画像に対応するフォーカスレンズ位置にフォーカスレンズを移動させる指示を、レンズ位置制御部３４０に対して送信してもよい。
これにより、図９のlensPosRef2に示した位置をピークとして検出し、当該位置にフォーカスレンズを移動させることが可能になる。この場合、実際に基準画像を取得した位置に移動させることになるため、ＡＦの精度を向上させるためには、フォーカスレンズの移動幅（スキャンピッチ）はある程度（例えば、所与のレンズ位置と次のレンズ位置との間にピークがあったとしても問題がない程度に）小さくすることが望ましい。
また、フォーカス制御部３３０は、フォーカス制御において、フォーカスレンズ位置を第１の位置から第２の位置へ向かって所与の移動幅で移動させ、フォーカスレンズ位置が第１の位置である場合に生成された画像を基準画像とし、第１の位置の次の位置から第２の位置まで、所与の移動幅でのフォーカスレンズ位置の移動毎に生成された画像を、順次入力画像としてもよい。
これにより、図９に示したようにシングルＡＦを実現することが可能になる。ここで第１の位置とはフォーカスレンズの可動範囲の一端であり、第２の位置とはフォーカスレンズの可動範囲の他端であることが想定されるが、これに限定されるものではない。
また、フォーカス制御部３３０は、基準画像として、第１の基準画像と、第１の基準画像よりも前のタイミングで取得された第２の基準画像の２つを設定し、ＡＦ領域設定部３３７は、第１の基準画像、第２の基準画像及び入力画像の全てで有効ブロックと判定されたブロックの集合を、ＡＦ領域として設定してもよい。
これにより、３枚（或いはそれ以上の数）の画像について適切にコントラスト値を比較することが可能になる。画像Ａと画像Ｂに対する第１の比較処理と、画像Ｂと画像Ｃに対する第２の比較処理を別々に行った場合、それぞれの処理で算出された画像コントラスト値は、２つの画像間の比較においてのみ有効であり、第１の比較処理で算出された画像Ａのコントラスト値と、第２の比較処理で算出された画像Ｃのコントラスト値との比較は意味をなさない可能性がある（第１の比較処理と第２の比較処理でＡＦ領域が同一であれば有意な比較となる可能性もあるが、それは限定されたケースである）。よって、３つ以上の画像について比較処理を行うのであれば、全ての画像の有効ブロック情報を用いるとよい。
また、フォーカス制御部３３０は、入力画像の画像コントラスト値が第１の基準画像の画像コントラスト値より大きい場合は、第１の基準画像を新たな第２の基準画像として設定するとともに、入力画像を新たな第１の基準画像として設定する基準画像更新処理を行ってもよい。また、フォーカス制御部３３０は、入力画像の画像コントラスト値が、第１の基準画像の画像コントラスト値から算出される閾値より小さい場合は、ピークを検出したと判定してもよい。
そして、ピークを検出したと判定した場合は、フォーカス制御部３３０は、判定が行われたタイミングでの第１の基準画像、第２の基準画像及び入力画像の画像コントラスト値に基づく補間処理を行って極大値を求め、極大値に対応するフォーカスレンズ位置にフォーカスレンズを移動させる指示を、レンズ位置制御部３４０に対して送信してもよい。
これにより、図１０に示したように補間処理を用いたピーク位置の検出が可能になる。この場合には、仮にピーク位置において画像の取得（及びその後のコントラスト値の算出処理等）が行われていなかったとしても、当該位置をピークとして検出することができる。よって、フォーカスレンズを移動させる際の移動幅を図９のケースに比べて大きくすることができるため、ＡＦに要する処理負荷の軽減、及びＡＦ制御の高速化が可能になる。上述したように、３つ以上の画像の有効ブロック情報を全て用いるため、画像コントラスト値の相対関係は適切に求めることができ、補間処理も適切に実行可能である。
また、フォーカス制御部３３０は、フォーカス制御において、フォーカスレンズ位置を第１の位置から第２の位置へ向かって所与の移動幅で移動させ、フォーカスレンズ位置が第１の位置である場合に生成された画像を第２の基準画像とし、フォーカスレンズ位置が第１の位置の次の位置である場合に生成された画像を第１の基準画像とし、第１の位置の２つ後の位置から第２の位置まで、所与の移動幅でのフォーカスレンズ位置の移動毎に生成された画像を、順次入力画像としてもよい。
これにより、図１０に示したようなシングルＡＦを実現することが可能になる。
また、有効ブロック判定部３３５は、ブロックに輝点が含まれるか否かを判定する第１の判定処理、ブロックが暗部領域であるか否かを判定する第２の判定処理、及びブロックに生体に対する処置具が含まれるか否かを判定する第３の判定処理の少なくとも１つの判定処理を行って、ブロックが有効ブロックであるか否かを判定してもよい。
これにより、輝点、暗部領域、処置具（カンシ等）に基づいて有効ブロックか否かを判定することが可能になる。なお、この場合の特徴量としては、第１の判定処理では輝度の最大値、第２の判定処理では輝度の平均値、第３の判定処理ではＣｒＣｂそれぞれの平均値を用いることができる。なお、各判定処理の特徴量として他の値を用いてもよい。また、有効ブロックか否かの判定に第１〜第３の判定処理以外の判定処理をさらに用いてもよい。
また、撮像装置は、図１には不図示であるが、フォーカス制御部３３０で検出された合焦レンズ位置に基づいて、被写体までの距離情報を求める距離計測部を含んでもよい。
これにより、フォーカス制御部３３０でのオートフォーカス制御の結果を用いて、被写体までの距離情報を取得することが可能になる。フォーカス制御によりＡＦが完了した場合には、レンズ（フォーカスレンズ２４０等）、像面（狭義には撮像素子２６０の面だが、これに限定されない）、被写体とからなる系は合焦状態にあると言える。そして、合焦状態でのフォーカスレンズ２４０や撮像素子２６０の基本的な特性は、設計事項として事前に取得しておくことができる。つまり、合焦状態での物点の位置（合焦物体位置）は、合焦状態でのフォーカスレンズ２４０等の位置（合焦レンズ位置）が決定されれば、テーブルデータの参照等により求めることができ、これは撮像された被写体までの距離を表す情報に他ならない。
３．第２の実施形態
本発明の第２の実施形態に係る撮像装置（内視鏡システム）について説明する。本実施形態におけるＡＦ制御部３３９はフルタイムＡＦを行う。なお本実施形態に係る内視鏡システムの構成は、ＡＦ制御部３３９を除いて第１の実施形態と同様である。
本実施形態におけるＡＦ制御部３３９の動作について、図７に示すフローチャートを用いて説明する。ＡＦ制御部３３９は、制御部３６０からＡＦ開始信号が出力された場合、現在画像の取得が終了したタイミングでカウンタwobCntを０、フルタイムＡＦの開始フラグstartFlagを１とする。さらにＡＦ制御部３３９は、レンズ位置制御部３４０からlensPosNowを取得する（Ｓ４０１）。次にＡＦ制御部３３９は、wobCntが０かつstartFlagが１であるため（Ｓ４０３，Ｓ４０４でともにＹｅｓ）、startFlagを０とし、wobCntを１とする（Ｓ４０５）。以後、startFlagは０のままである。さらにＡＦ制御部３３９は、要求レンズ位置lensPosReq を lensPosReq = lensPosNow + wobLvlとして算出し、レンズ位置制御部３４０に出力する。ここでwobLvlは、図１１に示すようにフォーカスレンズのウォブリング幅である。
次にＡＦ制御部３３９は、wobCntが１であるため（Ｓ４０３でＮｏ，Ｓ４０６でＹｅｓ）、現在画像の取得が終了したタイミングで、有効ブロック判定部３３５から有効ブロック情報保存部３３６に出力されるeffectiveBlockFlagNow(bx,by)が、effectiveBlockFlagRef(bx,by)として保存されるように制御信号を出力する。さらにＡＦ制御部３３９は、コントラスト値算出部３３２からコントラスト値保存部３３３に出力されるblockContrastValNow(bx,by)が、blockContrastValRef(bx,by)として保存されるように制御信号を出力する（Ｓ４０７）。なお、ここでの現在画像は図１１に示すようにフォーカスレンズ位置が増加する方向にウォブリングされた画像である。さらにＡＦ制御部３３９はwobCntを２とした後、lensPosReq = lensPosNow - 2 * wobLvlとして算出し、レンズ位置制御部３４０に出力する（Ｓ４０８）。
次にＡＦ制御部３３９は、wobCntが２であるため（Ｓ４０３，Ｓ４０６でともにＮｏ）、現在画像の取得が終了したタイミングで、コントラスト値決定部３３８から出力されるcontrastValNowとcontrastValRefを取得する（Ｓ４１０）。この際には、新たに取得したeffectiveBlockFlagNow(bx,by)と、Ｓ４０７で保存したeffectiveBlockRef(bx,by)からＡＦ領域を求める等の処理が行われることになる。なお、ここでの現在画像は図１１に示すようにフォーカスレンズ位置が減少する方向にウォブリングされた画像である。さらにＡＦ制御部３３９はwobCntを０とした後、lensPosReq = lensPosNow + wobLvlとして算出し、レンズ位置制御部３４０に出力する（Ｓ４１１）。これにより、フォーカスレンズ位置はウォブリングの中心位置に戻ることになる。
次にＡＦ制御部３３９は、wobCntが０かつstartFlagが０であるため（Ｓ４０３でＹｅｓ，Ｓ４０４でＮｏ）現在画像の取得が終了したタイミングで、上記で取得したcontrastValNowとcontrastValRefを比較する（Ｓ４１２）。contrastValRefがcontrastValNowよりも大きい場合（Ｓ４１２でＹｅｓの場合）は、フォーカスレンズ位置が増加する方向に合焦レンズ位置があると考えられるため、ＡＦ制御部３３９はwobCntを１とした後、lensPosReq = lensPosNow + wobLvl + shiftLvlとして算出し、レンズ位置制御部に出力する（Ｓ４１３）。これにより図１１に示すようにウォブリングの中心位置が、フォーカスレンズ位置が増加する方向に移動することになる。
またcontrastValRefがcontrastValNowよりも小さい場合（Ｓ４１２でＮｏの場合）は、フォーカスレンズ位置が減少する方向に合焦レンズ位置があると考えられるため、ＡＦ制御部３３９はwobCntを１とした後、lensPosReq = lensPosNow + wobLvl - shiftLvlとして算出し、レンズ位置制御部に出力する（Ｓ４１４）。これによりウォブリングの中心位置が、フォーカスレンズ位置が減少する方向に移動することになる。
以後も同様の動作を継続して行うことで、ＡＦ制御部３３９はフォーカスレンズ位置を徐々に合焦レンズ位置に近づけることで、最終的には合焦レンズ位置に到達することができる。また、被写体の移動等により合焦状態から外れた場合も上記の動作を継続して行うことで、再度合焦状態を達成できる。
このような制御を行うことで本実施形態における撮像装置は、被写体となる生体がわずかに動いたこと等に起因して画像中の輝点の位置が変動した場合や、ユーザーがカンシを動かした場合など、除外すべき被写体の画像中の位置がＡＦ中に変化した場合も正しくフルタイムＡＦを行うことが可能となる。
以上の本実施形態では、撮像装置のフォーカス制御部３３０は、所与の中心位置に対して、フォーカスレンズが第１の方向へ移動したタイミングで取得した画像を基準画像とし、中心位置に対して、フォーカスレンズが第１の方向とは異なる第２の方向へ移動したタイミングで取得した画像を入力画像とする。そして、フォーカス制御部３３０は、基準画像の画像コントラスト値と、入力画像の画像コントラスト値の比較処理に基づいて、中心位置を更新する中心位置更新処理を行う。
これにより、図１１に示したように連続的にＡＦ制御を行うフルタイムＡＦを実現することが可能になる。ここでの中心位置とは、カウンタ値（wobCnt）が０の時のフォーカスレンズ位置であり、当該中心位置を基準として、所与の移動幅（wobLvl）だけフォーカスレンズ位置を前後に振るウォブリング動作を行う。つまり本実施形態では、フォーカスレンズを一方に振ったときの画像と、他方に振ったときの画像の２つを比較するものであり、一連の動作が終了した場合（wobCntが０，１，２と変化して再度０に戻った場合）には、次の一連の動作では基準画像及び入力画像は新たに取得され、前の動作での基準画像及び入力画像により影響を受けることはない（処理に用いないだけで過去の基準画像等の情報を保持しておくことは妨げられない）。
また、フォーカス制御部３３０は、基準画像の画像コントラスト値が入力画像の画像コントラスト値より大きい場合は、中心位置を所与のシフトレベルだけ第１の方向へ移動させる処理を中心位置更新処理として行い、基準画像の画像コントラスト値が入力画像の画像コントラスト値以下の場合は、中心位置をシフトレベルだけ第２の方向へ移動させる処理を中心位置更新処理として行ってもよい。
これにより、画像コントラスト値の比較処理の結果に基づいて、ウォブリングの中心位置を更新することが可能になる。具体的には、基準画像と入力画像のうち、コントラスト値が高い側に合焦レンズ位置があると推定されるため、対応する方向にシフトレベル（shiftLvl）だけフォーカスレンズ２４０を移動させるものとする。
４．第３の実施形態
本発明の第３の実施形態に係る撮像装置（内視鏡システム）について、図３を用いて説明する。本実施形態に係る内視鏡システムの構成は、フォーカス制御部３３０を除いて第１の実施形態と同様である。
本実施形態におけるフォーカス制御部３３０はブロック設定部３３１と、コントラスト値算出部３３２と、コントラスト値保存部３３３と、特徴量算出部３３４と、有効ブロック判定部３３５と、有効ブロック情報保存部３３６と、ＡＦ領域設定部３３７と、コントラスト値決定部３３８と、ＡＦ制御部３３９と、縮小画像生成部３３ａと、メモリ３３ｂと、動き検出部３３ｃを備えている。ブロック設定部３３１と、コントラスト値算出部３３２と、コントラスト値保存部３３３と、特徴量算出部３３４と、有効ブロック判定部３３５と、有効ブロック情報保存部３３６と、ＡＦ領域設定部３３７と、コントラスト値決定部３３８の構成は、第１の実施形態と同様である。
縮小画像生成部３３ａは、ブロック設定部３３１で設定されたすべての評価ブロックに対して縮小画像を生成し、メモリ３３ｂと動き検出部３３ｃに出力する。ここで縮小画像生成部３３ａは、例えば図１２（Ａ）に示すように評価ブロックb(bx,by)に含まれる画素の数がＮ＊Ｎ画素の場合、Ｎの約数であるＭを用いて、Ｍ＊Ｍ画素に含まれるＹ信号の画素値をすべて加算平均することで、b(bx,by)の縮小画像であるsmallB(bx,by)の画素値を算出する。このような処理をb(bx,by)に含まれるすべての画素に対して行うことで図１２（Ｂ）に示すようにＮ／Ｍ＊Ｎ／Ｍ画素のsmallB(bx,by)を生成することができる（図ではＮ＝８、Ｍ＝４として示している）。
メモリ３３ｂは縮小画像生成部３３ａから出力される縮小画像を保存し、動き検出部３３ｃに出力する。動き検出部３３ｃは縮小画像生成部３３ａから出力される現在画像の縮小画像と、メモリ３３ｂから出力される現在画像の１枚前の画像の縮小画像から、各評価ブロックの動き量blockSAD(bx,by)を算出し、ＡＦ制御部３３９に出力する。具体的には、現在画像の各評価ブロックの縮小画像をsmallB1(bx,by)、現在画像の１枚前の画像の各評価ブロックの縮小画像をsmallB2(bx,by)とした場合、動き検出部３３ｃはsmallB1(bx,by) とsmallB2(bx,by)で対応する画素の差分を算出し、各評価ブロックの縮小画像に含まれるすべての画素に対する差分の総和をblockSAD(bx,by)とする。
なお、本実施形態では各評価ブロックの縮小画像からblockSAD(bx,by)を算出したが、これは現在画像及び現在画像の１枚前の画像の合焦度合いによりblockSAD(bx,by)の値が大きく変動することを防ぐためである。この影響が小さい場合は、縮小画像を作成せずに各評価ブロックの画素値そのものから上記と同様の手法でblockSAD(bx,by)を算出してもよい。
次に本実施形態において、ＡＦ制御部３３９がシングルＡＦを行う場合の動作について説明する。ＡＦ制御部３３９は、制御部３６０からＡＦ開始信号が出力された場合、例えばフォーカスレンズ２４０の可動域の任意の一方の端（レンズ位置Ａ）を要求レンズ位置としてレンズ位置制御部３４０に出力する。フォーカスレンズ２４０がレンズ位置Ａに到達したら、ＡＦ制御部３３９は要求レンズ位置をレンズの可動域のもう一方の端（レンズ位置Ｂ）に変更し、フォーカスレンズ２４０のスキャン動作を開始し、合焦レンズ位置の検出（ピーク検出）を行う。
ピーク検出時のＡＦ制御部３３９の動作を、図６に示すフローチャートを用いて説明する。現在画像がスキャン開始後１枚目の画像である場合（Ｓ３０１〜Ｓ３０４）は、第１の実施形態（図４のＳ１０１〜Ｓ１０４）と同様である。現在画像がスキャン開始後２枚目以降の画像である場合（Ｓ３０３でＮｏの場合）は、ＡＦ制御部３３９は動き検出部３３ｃから出力されるblockSAD(bx,by)と、ＡＦ領域設定部３３７から出力されるafAreaFlag(bx,by)から、現在画像の動き量flameSADを算出する（Ｓ３０５）。具体的にはＡＦ制御部３３９は、afAreaFlag(bx,by)が１である評価ブロックに対応するblockSAD(bx,by)の平均値を算出し、これをflameSADとする。
次にＡＦ制御部３３９は、算出したflameSADを所定の閾値（動き量閾値）と比較する（Ｓ３０６）。flameSADが閾値よりも大きい場合（Ｓ３０６でＹｅｓの場合）、ＡＦ制御部３３９は１枚前の画像に対する現在画像の動きが大きいと判断し、図６に示すようにその後の動作は行わずにピーク検出を継続する。これは現在画像の動きが大きい場合、動きボケによりcontrastValNowが低下することで、合焦レンズ位置に到達していないにもかかわらず合焦レンズ位置を検出したと判定することを防ぐためである。
またflameSADが閾値よりも小さい場合（Ｓ３０６でＮｏの場合）、ＡＦ制御部３３９は第１の実施形態と同様の動作（Ｓ３０７〜Ｓ３１１は図４のＳ１０５〜Ｓ１０９に対応）を行いピーク検出を継続する。
ピーク検出の終了後、ＡＦ制御部３３９はlensPosRefを要求レンズ位置としてレンズ位置制御部３４０に出力し、フォーカスレンズ２４０がlensPosRefに到達したら合焦動作が完了したとしてシングルＡＦを終了する。
このような制御を行うことで本実施形態における内視鏡システムは、ＡＦ中に被写体となる生体が大きく動いた場合も、間違った合焦レンズ位置を検出することなく、安定したシングルＡＦを行うことが可能となる。
なお、flameSADが閾値よりも大きい場合、その後の動作は行わずにピーク検出を継続するが、その際のフォーカスレンズ位置は変更してもよいし、そのままでもよい。フォーカスレンズ位置を変更してピーク検出を継続する場合、動きが大きい画像を取得した際のフォーカスレンズ位置ではフォーカス制御に関する処理を再度行わずに次の処理に移れるため、高速でフォーカス制御を行うことが可能である。その場合でも、フォーカスレンズの一回の移動量が小さい場合には、一カ所での処理がスキップされたとしても最終的に求められる合焦レンズ位置の精度に対する影響は大きくない。つまり、第１の実施形態の基本的な手法のように、そもそも精度を高めるためにフォーカスレンズの一回の移動量が小さくすることが想定されるケースでは、flameSADが閾値よりも大きく処理がスキップされた場合に、フォーカスレンズ位置を更新するとよい。
一方、フォーカスレンズの一回の移動量が大きい場合には、一カ所での処理がスキップされた場合、コントラスト値が取得されないブランクの幅が大きくなるため、求められる合焦レンズ位置の精度に対する影響が大きい。つまり、第１の実施形態の変形例のように、フォーカスレンズの一回の移動量が大きくすることが想定されるケースでは、flameSADが閾値よりも大きく処理がスキップされた場合に、フォーカスレンズ位置を更新せず同一のフォーカスレンズ位置で再度処理を行うとよい。
また、動き量を用いた処理はシングルＡＦと組み合わせるだけでなく、第２の実施形態で上述したフルタイムＡＦと組み合わせてもよい。本実施形態において、ＡＦ制御部３３９がフルタイムＡＦを行う場合の動作について、図８に示すフローチャートを用いて説明する。
ＡＦ制御部３３９は、制御部３６０からＡＦ開始信号が出力された場合、現在画像の取得が終了したタイミングでカウンタwobCntを０、フルタイムＡＦの開始フラグstartFlagを１とする。その後、第２の実施形態と同様の動作を行う。次に、ＡＦ制御部３３９は、wobCntが１である場合は第２の実施形態と同様の動作を行う。
次にＡＦ制御部３３９は、wobCntが２であるため現在画像の取得が終了したタイミングで、コントラスト値決定部３３８から出力されるcontrastValNowとcontrastValRefを取得する。その後、ＡＦ制御部３３９は前述と同様の手法で、現在画像と現在の１枚前の画像からflameSADを算出し保存する。ここでの現在画像と現在の１枚前の画像は、ウォブリングの中心位置からフォーカスレンズ位置がwobLvlだけ減少及び増加した画像である。つまり以上の処理（Ｓ５０１〜Ｓ５１１）は、Ｓ５１０においてflameSADを算出する点を除いて、第２の実施形態（図７のＳ４０１〜Ｓ４１１）と同様である。
次にＡＦ制御部３３９は、wobCntが０かつstartFlagが０であるため、現在画像の取得が終了したタイミングで、保存されているflameSADを所定の閾値と比較する（Ｓ５１２）。flameSADが閾値よりも大きい場合（Ｓ５１２でＹｅｓの場合）、ＡＦ制御部３３９はウォブリング中の画像の動きが大きいと判断し、図８に示すようにwobCntを１とした後、lensPosReq = lensPosNow + wobLvlとして算出しレンズ位置制御部に出力する（Ｓ５１３）。これはウォブリング中の画像の動きが大きい場合、動きボケによりcontrastValNowが低下することで、合焦レンズ位置とは異なる方向にフォーカスレンズ位置が移動することを防ぐため、ウォブリングの中心位置の更新をスキップする処理となる。またflameSADが閾値よりも小さい場合（Ｓ５１２でＮｏの場合）、ＡＦ制御部３３９はＳ５１４〜Ｓ５１６に示したように、第２の実施形態（図７のＳ４１２〜Ｓ４１４）と同様の動作を行う。
このような制御を行うことで本実施形態における撮像装置は、ウォブリング中に被写体となる生体が大きく動いた場合も、間違った方向にフォーカスレンズ位置を移動することなく、安定したフルタイムＡＦを行うことが可能となる。
以上の本実施形態では、撮像装置は図３に示したように、入力画像と、入力画像の１タイミング前で取得された画像の間の動き量を求める動き検出部３３ｃを含み、フォーカス制御部３３０は、動き量が所与の動き量閾値より大きい場合は、入力画像に対する処理をスキップする。
ここで動き量は種々の手法により求めることができるが、例えば入力画像とその１タイミング前の画像との間の相違度（ＳＡＤ或いはＳＳＤ等）を用いればよい。具体的には、入力画像とその１タイミング前の画像を用いて、入力画像に設定されたブロックごとの相違度であるblockSAD(bx,by)を求め、全てのブロックのうち、有効ブロック情報を用いて設定されたＡＦ領域に含まれるブロックのblockSAD(bx,by)の総和等を当該入力画像の動き量とすればよい。
これにより、入力画像の動き量が大きい場合には、当該入力画像を用いたＡＦ制御をスキップすることが可能になる。動き量が大きい場合は、動きボケが発生している可能性が高く、仮にフォーカスレンズ位置が適切であったとしても入力画像のコントラスト値は小さい値となってしまう。そのような入力画像を用いてＡＦ制御を行っても適切な結果が得られず、例えば図９のシングルＡＦであれば状態１にあるにも関わらず状態２であると判定し、その段階で処理を終了してしまう可能性もある。よってここでは、動き量が大きい入力画像についてはＡＦ制御に関する処理を行わないものとした。
また、フォーカス制御部３３０は、動き量が動き量閾値より大きい場合は、入力画像に対応するフォーカスレンズ位置において新たに取得された画像を、新たな入力画像としてもよい。また、フォーカス制御部３３０は、動き量が動き量閾値より大きい場合は、レンズ位置制御部３４０に対してフォーカスレンズ位置の変更指示を行い、フォーカスレンズ位置の変更後に取得された画像を、新たな入力画像としてもよい。
これにより、動き量が大きい入力画像に対する処理のスキップ後、次の入力画像を取得する際のフォーカスレンズ位置を柔軟に選択することが可能になる。具体的には、フォーカスレンズ位置を維持して、同じフォーカスレンズ位置で入力画像の取得をやり直してもよいし、フォーカスレンズ位置を更新して、更新後のフォーカスレンズ位置で取得した入力画像に対して処理を行ってもよい。
また、撮像装置は図３に示したように、入力画像と、入力画像の１タイミング前で取得された画像の間の動き量を求める動き検出部３３ｃを含み、フォーカス制御部３３０は、動き量が所与の動き量閾値より大きい場合は、入力画像に対する処理をスキップし、所与の移動幅でのフォーカスレンズ位置の移動後に生成された画像を、新たな入力画像としてもよい。
これにより、図９に示したシングルＡＦを行う場合であって、入力画像の動き量が大きい場合には、入力画像に対する処理をスキップした上でフォーカスレンズ位置を更新し、更新後のフォーカスレンズ位置で取得した画像を新たな入力画像とすることができる。図９のシングルＡＦでは、ＡＦ制御の精度向上のためにフォーカスレンズの移動幅が小さいことが想定される。よって、１つのフォーカスレンズ位置での処理をスキップしたとしても影響は少なく、このようにすることで処理のやり直しが発生しないためＡＦの高速化等が可能になる。
また、撮像装置は図３に示したように、入力画像と、入力画像の１タイミング前で取得された画像の間の動き量を求める動き検出部３３ｃを含み、フォーカス制御部３３０は、動き量が所与の動き量閾値より大きい場合は、入力画像に対する処理をスキップするとともに、所与の移動幅でのフォーカスレンズ位置の移動をスキップし、入力画像に対応するフォーカスレンズ位置において生成された画像を、新たな入力画像としてもよい。
これにより、図１０に示したシングルＡＦを行う場合であって、入力画像の動き量が大きい場合には、入力画像に対する処理だけでなく、フォーカスレンズ位置の更新処理もスキップし、同じフォーカスレンズ位置で取得した画像を新たな入力画像とすることができる。図１０のシングルＡＦではピーク位置は補間処理で求めるため、フォーカスレンズの移動幅が大きいことが想定される。よって、１つのフォーカスレンズ位置での処理をスキップした場合の影響は図９等の場合に比べて大きいため、同じ位置で入力画像の取得をやり直すことが好ましい。
また、撮像装置は図３に示したように、入力画像と、入力画像の１タイミング前で取得された画像の間の動き量を求める動き検出部３３ｃを含み、フォーカス制御部３３０は、動き量が所与の動き量閾値より大きい場合は、中心位置更新処理をスキップしてもよい。
これにより、図１１に示したフルタイムＡＦを行う場合であって、入力画像の動き量が大きい場合には、中心位置更新処理をスキップすることができる。フルタイムＡＦでは２つの画像を比較して、よりよい方向にフォーカスレンズ位置を移す処理を行う以上、コントラスト値が適切に算出されずに有意な比較が行えない場合には、徒にフォーカスレンズ位置を変更するのではなく、現在位置で再度画像取得をやり直すことが好ましい。
以上、本発明を適用した３つの実施の形態１〜３及びその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ系、
２４０ フォーカスレンズ、２５０ レンズ駆動部、２６０ 撮像素子、
３００ 処理部、３１０ Ａ／Ｄ変換部、３２０ 前処理部、
３３０ フォーカス制御部、３３１ ブロック設定部、３３２ コントラスト値算出部、
３３３ コントラスト値保存部、３３４ 特徴量算出部、３３５ 有効ブロック判定部、
３３６ 有効ブロック情報保存部、３３７ ＡＦ領域設定部、
３３８ コントラスト値決定部、３３９ ＡＦ制御部、３３ａ 縮小画像生成部、
３３ｂ メモリ、３３ｃ 動き検出部、３４０ レンズ位置制御部、
３５０ 画像処理部、３６０ 制御部、４００ 表示部、５００ 外部Ｉ／Ｆ部

Claims (19)

  1. 合焦物体位置を調整するフォーカスレンズを含む光学系と、
    前記光学系で結像された被写体像の画像を取得する撮像素子と、
    フォーカスレンズ位置を制御するレンズ位置制御部と、
    オートフォーカス制御を行うフォーカス制御部と、
    を含み、
    前記フォーカス制御部は、
    前記撮像素子により撮像された前記画像である入力画像に、複数のブロックを設定するブロック設定部と、
    設定した複数の前記ブロックの各ブロックのコントラスト値を表すブロックコントラスト値情報を算出するコントラスト値算出部と、
    前記入力画像とは合焦物体位置の異なるフォーカスレンズ位置において、前記入力画像よりも前のタイミングで、前記撮像素子により撮像された基準画像の、前記ブロックコントラスト値情報を保存するコントラスト値保存部と、
    設定した複数の前記ブロックの各ブロックに含まれる画素の情報に基づいて、各ブロックの特徴量を算出する特徴量算出部と、
    前記特徴量に基づいて、複数の前記ブロックのうち、前記オートフォーカス制御において有効である有効ブロックを判定し、判定結果を有効ブロック情報として取得する有効ブロック判定部と、
    前記基準画像の前記有効ブロック情報を保存する有効ブロック情報保存部と、
    前記基準画像の前記有効ブロック情報と、前記入力画像の前記有効ブロック情報からオートフォーカス領域を設定するオートフォーカス領域設定部と、
    前記オートフォーカス領域と前記基準画像の前記ブロックコントラスト値情報から、前記基準画像の画像コントラスト値を決定するとともに、前記オートフォーカス領域と前記入力画像の前記ブロックコントラスト値情報から、前記入力画像の前記画像コントラスト値を決定するコントラスト値決定部とを含み、
    前記オートフォーカス領域設定部は、
    前記基準画像と前記入力画像の両方で前記有効ブロックと判定された前記ブロックの集合を、前記オートフォーカス領域として設定することを特徴とする撮像装置。
  2. 請求項１において、
    前記入力画像と、前記入力画像の１タイミング前で取得された前記画像の間の動き量を求める動き検出部を含み、
    前記フォーカス制御部は、
    前記動き量が所与の動き量閾値より大きい場合は、前記入力画像を用いた前記オートフォーカス制御をスキップすることを特徴とする撮像装置。
  3. 請求項２において、
    前記フォーカス制御部は、
    前記動き量が前記動き量閾値より大きい場合は、前記入力画像に対応する前記フォーカスレンズ位置において新たに取得された前記画像を、新たな前記入力画像とすることを特徴とする撮像装置。
  4. 請求項２において、
    前記フォーカス制御部は、
    前記動き量が前記動き量閾値より大きい場合は、前記レンズ位置制御部に対して前記フォーカスレンズ位置の変更指示を行い、前記フォーカスレンズ位置の変更後に取得された前記画像を、新たな前記入力画像とすることを特徴とする撮像装置。
  5. 請求項１において、
    前記フォーカス制御部は、
    前記入力画像の前記画像コントラスト値が前記基準画像の前記画像コントラスト値より大きい場合は、前記入力画像を新たな前記基準画像として設定する基準画像更新処理を行い、
    前記入力画像の前記画像コントラスト値が、前記基準画像の前記画像コントラスト値から算出される閾値より小さい場合は、ピークを検出したと判定することを特徴とする撮像装置。
  6. 請求項５において、
    前記フォーカス制御部は、
    前記ピークを検出したと判定した場合は、前記判定が行われたタイミングでの前記基準画像に対応する前記フォーカスレンズ位置に前記フォーカスレンズを移動させる指示を、前記レンズ位置制御部に対して送信することを特徴とする撮像装置。
  7. 請求項５において、
    前記フォーカス制御部は、
    前記オートフォーカス制御において、前記フォーカスレンズ位置を第１の位置から第２の位置へ向かって所与の移動幅で移動させ、
    前記フォーカスレンズ位置が前記第１の位置である場合に生成された前記画像を、前記基準画像とし、
    前記第１の位置の次の位置から前記第２の位置まで、前記所与の移動幅での前記フォーカスレンズ位置の移動毎に生成された前記画像を、順次前記入力画像とすることを特徴とする撮像装置。
  8. 請求項７において、
    前記入力画像と、前記入力画像の１タイミング前で取得された前記画像の間の動き量を求める動き検出部を含み、
    前記フォーカス制御部は、
    前記動き量が所与の動き量閾値より大きい場合は、前記入力画像に対する処理をスキップし、
    前記所与の移動幅での前記フォーカスレンズ位置の移動後に生成された前記画像を、新たな前記入力画像とすることを特徴とする撮像装置。
  9. 請求項１において、
    前記フォーカス制御部は、
    前記基準画像として、第１の基準画像と、前記第１の基準画像よりも前のタイミングで取得された第２の基準画像の２つを設定し、
    前記オートフォーカス領域設定部は、
    前記第１の基準画像、前記第２の基準画像及び前記入力画像の全てで前記有効ブロックと判定された前記ブロックの集合を、前記オートフォーカス領域として設定することを特徴とする撮像装置。
  10. 請求項９において、
    前記フォーカス制御部は、
    前記入力画像の前記画像コントラスト値が前記第１の基準画像の前記画像コントラスト値より大きい場合は、前記第１の基準画像を新たな前記第２の基準画像として設定するとともに、前記入力画像を新たな前記第１の基準画像として設定する基準画像更新処理を行い、
    前記入力画像の前記画像コントラスト値が、前記第１の基準画像の前記画像コントラスト値から算出される閾値より小さい場合は、ピークを検出したと判定することを特徴とする撮像装置。
  11. 請求項１０において、
    前記フォーカス制御部は、
    前記ピークを検出したと判定した場合は、前記判定が行われたタイミングでの前記第１の基準画像、前記第２の基準画像及び前記入力画像の前記画像コントラスト値に基づく補間処理を行って極大値を求め、前記極大値に対応する前記フォーカスレンズ位置に前記フォーカスレンズを移動させる指示を、前記レンズ位置制御部に対して送信することを特徴とする撮像装置。
  12. 請求項９において、
    前記フォーカス制御部は、
    前記オートフォーカス制御において、前記フォーカスレンズ位置を第１の位置から第２の位置へ向かって所与の移動幅で移動させ、
    前記フォーカスレンズ位置が前記第１の位置である場合に生成された前記画像を、前記第２の基準画像とし、
    前記フォーカスレンズ位置が前記第１の位置の次の位置である場合に生成された前記画像を、前記第１の基準画像とし、
    前記第１の位置の２つ後の位置から前記第２の位置まで、前記所与の移動幅での前記フォーカスレンズ位置の移動毎に生成された前記画像を、順次前記入力画像とすることを特徴とする撮像装置。
  13. 請求項１２において、
    前記入力画像と、前記入力画像の１タイミング前で取得された前記画像の間の動き量を求める動き検出部を含み、
    前記フォーカス制御部は、
    前記動き量が所与の動き量閾値より大きい場合は、前記入力画像に対する処理をスキップするとともに、前記所与の移動幅での前記フォーカスレンズ位置の移動をスキップし、
    前記入力画像に対応する前記フォーカスレンズ位置において生成された前記画像を、新たな前記入力画像とすることを特徴とする撮像装置。
  14. 請求項１において、
    前記フォーカス制御部は、
    所与の中心位置に対して、前記フォーカスレンズが第１の方向へ移動したタイミングで取得した前記画像を前記基準画像とし、
    前記中心位置に対して、前記フォーカスレンズが前記第１の方向とは異なる第２の方向へ移動したタイミングで取得した前記画像を前記入力画像とし、
    前記フォーカス制御部は、
    前記基準画像の前記画像コントラスト値と、前記入力画像の前記画像コントラスト値の比較処理に基づいて、前記中心位置を更新する中心位置更新処理を行うことを特徴とする撮像装置。
  15. 請求項１４において、
    前記フォーカス制御部は、
    前記基準画像の前記画像コントラスト値が前記入力画像の前記画像コントラスト値より大きい場合は、前記中心位置を所与のシフトレベルだけ前記第１の方向へ移動させる処理を前記中心位置更新処理として行い、
    前記基準画像の前記画像コントラスト値が前記入力画像の前記画像コントラスト値以下の場合は、前記中心位置を前記シフトレベルだけ前記第２の方向へ移動させる処理を前記中心位置更新処理として行うことを特徴とする撮像装置。
  16. 請求項１４において、
    前記入力画像と、前記入力画像の１タイミング前で取得された前記画像の間の動き量を求める動き検出部を含み、
    前記フォーカス制御部は、
    前記動き量が所与の動き量閾値より大きい場合は、前記中心位置更新処理をスキップすることを特徴とする撮像装置。
  17. 請求項１において、
    前記有効ブロック判定部は、
    前記ブロックに輝点が含まれるか否かを判定する第１の判定処理、前記ブロックが暗部領域であるか否かを判定する第２の判定処理、及び前記ブロックに生体に対する処置具が含まれるか否かを判定する第３の判定処理の少なくとも１つの判定処理を行って、前記ブロックが前記有効ブロックであるか否かを判定することを特徴とする撮像装置。
  18. 請求項１において、
    前記フォーカス制御部で検出された合焦レンズ位置に基づいて、被写体までの距離情報を求める距離計測部を含むことを特徴とする撮像装置。
  19. 撮像素子により撮像された画像である入力画像を取得し、
    前記入力画像に複数のブロックを設定し、
    設定した複数の前記ブロックの各ブロックのコントラスト値を表すブロックコントラスト値情報を算出し、
    設定した複数の前記ブロックの各ブロックに含まれる画素の情報に基づいて、各ブロックの特徴量を算出し、算出した前記特徴量に基づいて、複数の前記ブロックのうち、フォーカス制御において有効である有効ブロックを判定して、前記入力画像の有効ブロック情報を取得し、
    前記入力画像とは合焦物体位置の異なるフォーカスレンズ位置において、前記入力画像よりも前のタイミングで、前記撮像素子により撮像された基準画像の前記ブロックコントラスト値情報をコントラスト値保存部から読み出すとともに、前記基準画像の前記有効ブロック情報を有効ブロック情報保存部から読み出し、
    前記基準画像と前記入力画像の両方で前記有効ブロックと判定された前記ブロックの集合を、オートフォーカス領域として設定し、
    前記オートフォーカス領域と前記基準画像の前記ブロックコントラスト値情報から、前記基準画像の画像コントラスト値を求めるとともに、前記オートフォーカス領域と前記入力画像の前記ブロックコントラスト値情報から、前記入力画像の前記画像コントラスト値を求め、
    前記基準画像の前記画像コントラスト値と、前記入力画像の前記画像コントラスト値の比較処理に基づいて、前記フォーカス制御を行うことを特徴とする撮像装置の制御方法。
JP2013012814A 2013-01-28 2013-01-28 撮像装置及び撮像装置の制御方法 Active JP6137847B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013012814A JP6137847B2 (ja) 2013-01-28 2013-01-28 撮像装置及び撮像装置の制御方法
EP13872928.0A EP2950127A4 (en) 2013-01-28 2013-09-25 IMAGING APPARATUS AND METHOD FOR CONTROLLING THE IMAGING APPARATUS
CN201380071531.3A CN104956246A (zh) 2013-01-28 2013-09-25 摄像装置和摄像装置的控制方法
PCT/JP2013/075868 WO2014115372A1 (ja) 2013-01-28 2013-09-25 撮像装置及び撮像装置の制御方法
US14/810,836 US20150334289A1 (en) 2013-01-28 2015-07-28 Imaging device and method for controlling imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013012814A JP6137847B2 (ja) 2013-01-28 2013-01-28 撮像装置及び撮像装置の制御方法

Publications (3)

Publication Number Publication Date
JP2014145808A JP2014145808A (ja) 2014-08-14
JP2014145808A5 JP2014145808A5 (ja) 2016-03-17
JP6137847B2 true JP6137847B2 (ja) 2017-05-31

Family

ID=51227179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013012814A Active JP6137847B2 (ja) 2013-01-28 2013-01-28 撮像装置及び撮像装置の制御方法

Country Status (5)

Country Link
US (1) US20150334289A1 (ja)
EP (1) EP2950127A4 (ja)
JP (1) JP6137847B2 (ja)
CN (1) CN104956246A (ja)
WO (1) WO2014115372A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953049B2 (ja) * 2012-01-24 2016-07-13 オリンパス株式会社 内視鏡システム
CN105629628B (zh) * 2014-10-30 2018-06-22 展讯通信（上海）有限公司 自动对焦方法及装置
WO2016088628A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6364560B2 (ja) * 2015-12-22 2018-07-25 富士フイルム株式会社 合焦制御装置、撮像装置、合焦制御方法、及び、合焦制御プログラム
GB2541041B (en) 2016-01-07 2018-05-09 Imagination Tech Ltd Focus statistics
JP6670853B2 (ja) * 2016-01-15 2020-03-25 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
JP6670854B2 (ja) * 2016-01-15 2020-03-25 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
CN110062596B (zh) * 2016-12-20 2022-08-16 奥林巴斯株式会社 自动焦点控制装置、内窥镜装置以及自动焦点控制装置的工作方法
JP6860378B2 (ja) * 2017-02-24 2021-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
CN107049214A (zh) * 2017-04-27 2017-08-18 苏州双威医疗器械科技有限公司 自动调焦显微内窥荧光成像系统
JP7079123B2 (ja) * 2018-03-15 2022-06-01 キヤノン株式会社 撮像装置及びその制御方法、撮像システム
WO2020026493A1 (ja) * 2018-07-30 2020-02-06 オリンパス株式会社 内視鏡装置、駆動方法およびプログラム
JP7065202B2 (ja) * 2018-11-06 2022-05-11 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
CN112907500B (zh) * 2019-12-03 2022-02-18 精微视达医疗科技（武汉）有限公司 一种内窥镜对焦方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313240A (ja) * 1998-04-27 1999-11-09 Minolta Co Ltd デジタルカメラの画像処理方法
JP2004294788A (ja) 2003-03-27 2004-10-21 Fuji Photo Optical Co Ltd オートフォーカス機能を備えた電子内視鏡装置
JP2005309323A (ja) * 2004-04-26 2005-11-04 Kodak Digital Product Center Japan Ltd 撮像用焦点距離検出方法及び撮像装置
JP4364078B2 (ja) * 2004-06-30 2009-11-11 イーストマン コダック カンパニー 撮像方法及び撮像装置
JP2008129554A (ja) * 2006-11-27 2008-06-05 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
JP5423305B2 (ja) * 2008-10-16 2014-02-19 株式会社ニコン 画像評価装置及びカメラ
JP2010160297A (ja) * 2009-01-08 2010-07-22 Sony Corp 撮像装置、自動合焦方法、並びにコンピューター・プログラム
CN101950063B (zh) * 2009-07-10 2012-08-29 佛山普立华科技有限公司 自动对焦系统及自动对焦方法
JP2011053550A (ja) * 2009-09-03 2011-03-17 Canon Inc 光学機器
JP5423287B2 (ja) * 2009-09-29 2014-02-19 リコーイメージング株式会社 撮像装置
JP5385163B2 (ja) 2010-01-06 2014-01-08 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2012029357A1 (ja) * 2010-08-30 2012-03-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5888890B2 (ja) * 2011-07-21 2016-03-22 オリンパス株式会社 フォーカス制御装置
JP5993133B2 (ja) * 2011-11-24 2016-09-14 株式会社キーエンス 画像処理センサ、フォーカス調整方法及びコンピュータプログラム

Also Published As

Publication number Publication date
EP2950127A4 (en) 2016-10-05
EP2950127A1 (en) 2015-12-02
CN104956246A (zh) 2015-09-30
US20150334289A1 (en) 2015-11-19
JP2014145808A (ja) 2014-08-14
WO2014115372A1 (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
JP6137847B2 (ja) 撮像装置及び撮像装置の制御方法
JP5149467B2 (ja) 内視鏡装置
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
JP6249769B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
US9521330B2 (en) Endoscopic image processing device, information storage device and image processing method
US9345391B2 (en) Control device, endoscope apparatus, aperture control method, and information storage medium
JP2005318554A5 (ja)
JP6453905B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
JP6124655B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
US20130194403A1 (en) Endoscope apparatus, image processing method, and information storage device
US9482855B2 (en) Microscope system
JP2014145808A5 (ja)
JP2010117593A (ja) 距離情報取得装置、撮像装置、及びプログラム
JP6736670B2 (ja) 内視鏡システム
JP6564284B2 (ja) 画像処理装置および画像処理方法
JP2011191617A (ja) 撮像装置
JP5881910B2 (ja) 内視鏡装置
JP2013076823A (ja) 画像処理装置、内視鏡システム、画像処理方法及びプログラム
US20190265436A1 (en) Focus control device, focus control method, program, and imaging device
JP5050282B2 (ja) 合焦検出装置、合焦検出方法および合焦検出プログラム
WO2018016002A1 (ja) 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5616743B2 (ja) 撮像装置および画像処理方法
JP7087984B2 (ja) 撮像システムおよび設定装置
WO2021161432A1 (ja) 顕微鏡システム、設定探索方法、及び、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170425

R151 Written notification of patent or utility model registration

Ref document number: 6137847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250