WO2015050008A1 - 撮像装置、撮像装置の作動方法 - Google Patents

撮像装置、撮像装置の作動方法 Download PDF

Info

Publication number
WO2015050008A1
WO2015050008A1 PCT/JP2014/074914 JP2014074914W WO2015050008A1 WO 2015050008 A1 WO2015050008 A1 WO 2015050008A1 JP 2014074914 W JP2014074914 W JP 2014074914W WO 2015050008 A1 WO2015050008 A1 WO 2015050008A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
contrast
evaluation value
unit
calculation target
Prior art date
Application number
PCT/JP2014/074914
Other languages
English (en)
French (fr)
Inventor
弘太郎 小笠原
藤澤　豊
武秀 藤本
清貴 菅野
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2015516319A priority Critical patent/JP5829360B2/ja
Priority to EP14850832.8A priority patent/EP3015893A4/en
Priority to CN201480040352.8A priority patent/CN105378534B/zh
Publication of WO2015050008A1 publication Critical patent/WO2015050008A1/ja
Priority to US15/013,085 priority patent/US9444994B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/005—Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an imaging apparatus that acquires a plurality of images while changing a focus position and adjusts the focus position so that a contrast evaluation value takes a peak value, and an operation method of the imaging apparatus.
  • the distance measurement method to acquire the distance information to the subject includes the active method that detects the distance based on the time and irradiation angle until the reflected wave returns by irradiating the subject with infrared rays or ultrasonic waves, and infrared rays.
  • the active method that detects the distance based on the time and irradiation angle until the reflected wave returns by irradiating the subject with infrared rays or ultrasonic waves, and infrared rays.
  • a passive system that performs distance measurement using an image acquired through an optical system without using it.
  • phase difference AF AF: auto focus
  • contrast AF widely used in video cameras, compact cameras, and the like.
  • phase difference AF requires, for example, an AF sensor
  • contrast AF that can perform AF using an image captured by an imaging unit is relatively widely used in small-sized imaging devices such as endoscopes. Has been.
  • contrast AF a plurality of (generally three or more) frame images are acquired while driving the focus lens to change the focus position, and the contrast evaluation value (for example, high-frequency component of the image) of the acquired image is maximum.
  • the contrast evaluation value for example, high-frequency component of the image
  • This is an AF method in which the focus position at (peak) is the focal point.
  • Various techniques relating to such contrast AF have been proposed.
  • Japanese Patent Application Laid-Open No. 2012-108313 includes a first focusing processing unit and a second focusing processing unit, and it is determined that focusing by the first focusing processing unit has been achieved. Describes a technique for switching processing from the first focusing processing unit to the second focusing processing unit.
  • the first focusing processing unit is, for example, a focusing processing unit using contrast AF.
  • the second focus processing unit includes a focus processing unit that performs AF based on the average luminance of the image, a focus processing unit that performs AF based on the frequency characteristics of the luminance image, and a motion vector detected from a local region of the luminance image.
  • Japanese Patent Application Laid-Open No. 2010-204585 also detects the motion of a subject image when performing contrast AF, and changes the position of the focus detection area based on the motion detection result. There is described a technique for suppressing flickering feeling when moving the AF frame by changing the position based on the detection integration result and changing the AF frame with characteristics different from the focus detection area.
  • the imaging apparatus is an electronic endoscope and frequently enters and exits the field of view during the operation.
  • moving objects such as forceps and treatment tools
  • the focus follows such moving objects, the target object cannot be observed in the focused state, which hinders observation. There is a possibility.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging apparatus and an operation method of the imaging apparatus that can stably perform focus position alignment with respect to a target subject.
  • An imaging apparatus includes a focus lens for changing a focus position, an objective optical system that forms an optical image of a subject, and an imaging element that captures the optical image and outputs the image. , Causing the imaging device to acquire a plurality of images while changing the focus position, calculating a contrast evaluation value of each acquired image, and adjusting the focus position so that the contrast evaluation value takes a peak value
  • a contrast AF unit a motion amount detection unit that detects a motion amount of a subject in each region in the image from a plurality of images acquired in time series by the imaging device, and the motion amount in the contrast AF unit
  • a control unit that excludes an excluded area having a value equal to or greater than a predetermined threshold from the calculation target area of the contrast evaluation value.
  • An operation method of an imaging apparatus includes a step in which an objective optical system including a focus lens for changing a focus position forms an optical image of a subject, and an imaging element captures the optical image. And outputting the image, and the contrast AF unit causes the imaging device to acquire a plurality of images while changing the focus position, calculates a contrast evaluation value of each acquired image, and calculates the contrast evaluation value. Adjusting the focus position so as to take a peak value, and a motion amount detection unit calculates a motion amount of the subject in each region in the image from a plurality of images acquired in time series by the imaging device. A step of detecting, and the control unit calculates, in the contrast AF unit, an excluded area in which the amount of motion is equal to or greater than a predetermined threshold value. It has a step of excluding from elephant region.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram illustrating a state in which a moving object is excluded from a contrast evaluation value calculation target area in the first embodiment.
  • 5 is a flowchart showing contrast AF processing of the imaging apparatus according to the first embodiment.
  • FIG. 1 is a block diagram showing the configuration of an imaging apparatus.
  • the imaging apparatus is applied to an electronic endoscope system, and includes an electronic endoscope 1 and a video processor 2.
  • the electronic endoscope 1 includes an objective optical system 3 that forms an optical image of a subject, and an imaging element 5 that captures the optical image formed by the objective optical system 3 and outputs the image. .
  • the objective optical system 3 includes a focus lens 4 for changing the focus position.
  • the objective optical system 3 may be configured as a zoom optical system including a zoom lens.
  • the imaging device 5 acquires a plurality of images in time series based on the control of the contrast AF unit 8 as described later.
  • the video processor 2 includes a signal processing unit 6, a motion amount detection unit 7, a contrast AF unit 8, and a control unit 9.
  • the signal processing unit 6 applies correlated double sampling (CDS), gain adjustment, conversion from an analog signal to a digital signal, and synchronization processing (of the three color components constituting the color image).
  • Image signal processing such as white balance adjustment, ⁇ correction processing, color space conversion processing, etc., from the state in which only one color component exists in one pixel to the state in which all three color components exist in one pixel) I do.
  • An image processed for display by the signal processing unit 6 is output to a monitor or the like, and an image processed for recording is output to a recording device or the like.
  • the motion amount detection unit 7 may be used as a plurality of images acquired in time series by the image sensor 5 (this image may also be used as an image acquired by the contrast AF unit 8 described later for calculating a contrast evaluation value). The amount of movement of the subject in each area in the image is detected.
  • the movement amount detection unit 7 will be further described with reference to FIG.
  • FIG. 2 is a diagram showing an example of an image when there is a moving object.
  • a moving object 12 such as a forceps or a treatment tool exists in an image 11 of a target subject (a subject whose focus position is to be adjusted, for example, in a body cavity). is doing.
  • the motion amount detection unit 7 matches the first image and the second image acquired in time series (the first image and the second image are acquired in this order). Processing is performed to estimate the same object in the two images.
  • the motion amount detection unit 7 believes that the motion vectors (movement amount and movement direction) of the entire images of the first image and the second image are caused by the influence of camera shake or the like based on the matching processing result. Calculated as an overall motion vector.
  • the motion amount detection unit 7 removes the entire motion vector component from the second image, and in the second image after the removal, an object that has moved from the first image is referred to as a moving object 12. presume. Then, the motion amount detection unit 7 detects the estimated movement amount and movement direction of the moving object 12 as a motion vector of the moving object 12.
  • the control unit 9 determines whether or not the amount of motion (the magnitude of the motion vector) of the moving object 12 detected by the motion amount detection unit 7 is greater than or equal to a predetermined threshold. Then, the control unit 9 causes the contrast AF unit 8 to exclude, from the contrast evaluation value calculation target region, an excluded region whose motion amount is equal to or greater than a predetermined threshold.
  • FIG. 3 is a diagram showing a state in which a moving object is excluded from a contrast evaluation value calculation target region.
  • the calculation of the contrast evaluation value by the contrast AF unit 8 is performed, for example, by dividing the image 11 into a plurality of regions 11a and for each divided region 11a. Therefore, the control unit 9 sets an area (area indicated by hatching) that is a set of areas 11 a including the moving object 12 as the excluded area 13.
  • control unit 9 controls the contrast AF unit 8 to acquire a plurality of images in time series by the image sensor 5 while moving the position of the focus lens 4.
  • the contrast AF unit 8 calculates the contrast evaluation values of the plurality of images 11 acquired while changing the focus position, and moves the position of the focus lens 4 so that the calculated contrast evaluation values take a peak value. The focus position of the objective optical system 3 is adjusted.
  • the contrast AF unit 8 calculates the contrast evaluation value from the area excluding the excluded area 13 as described above.
  • the contrast AF unit 8 extracts a high-frequency component image by, for example, applying a high-pass filter to the image 11. Then, the contrast AF unit 8 adds the high-frequency component value for each region 11 a to all the calculation target regions 11 a except the excluded region 13.
  • the addition value (contrast addition value) calculated at this time is SumC
  • the contrast addition value SumC is smaller than when the exclusion region 13 does not exist. Therefore, depending on the size of the exclusion region 13, it is considered that the accuracy of contrast AF may be affected.
  • the control unit 9 calculates the correction coefficient R as follows.
  • the contrast AF unit 8 sets the contrast evaluation value CEV as an evaluation value independent of the size of the calculation target region.
  • CEV R ⁇ SumC Calculate as follows.
  • the contrast evaluation value CEV is calculated using the correction coefficient R.
  • the correction coefficient R may not be calculated when the calculation is unnecessary or when the necessity for calculation is low.
  • this calculation target region is the image 11 is not limited to the entire image 11, but may be a part of the image 11 (for example, a central portion).
  • the necessity for calculating the correction coefficient R is low, for example, the area ratio of the excluded area 13 in the calculation target area is small enough to ignore the influence on the contrast evaluation value CEV.
  • a method of calculating an evaluation value independent of the size of the calculation target region a method of using an average contrast addition value per unit area as a contrast evaluation value instead of the method using the correction coefficient R described above is adopted. Also good.
  • the region of the past image corresponding to the exclusion region 13 of the processing target image in this past image
  • a method of substituting the high frequency component of the corresponding region as the high frequency component of the exclusion region 13 may be adopted.
  • FIG. 4 is a flowchart showing the contrast AF processing of the imaging apparatus.
  • step S1 it is determined whether or not the objective optical system 3 is a zoom optical system including a zoom lens.
  • a zoom magnification is acquired (step S2), and a threshold for detecting the amount of motion is set based on the acquired zoom magnification (step S3).
  • the threshold value corresponding to the zoom magnification is set here. Therefore, the threshold value is generally set to be larger when the zoom magnification is high (if it is telephoto side) and smaller when the zoom magnification is low (if it is wide side).
  • step S4 is a scan in which a plurality of images are acquired in time series by the image pickup device 5 while driving the focus lens 4 by being repeatedly performed after returning from the processing of step S9 described later.
  • the motion amount detection unit 7 detects the motion amount as described above (step S5).
  • the controller 9 determines whether or not the detected amount of motion is equal to or greater than a predetermined threshold value (the threshold value set in step S3 when the objective optical system 3 is a zoom optical system) (step S6).
  • control unit 9 causes the contrast AF unit 8 to exclude the excluded area 13 that is equal to or greater than the predetermined threshold from the calculation target area of the contrast evaluation value (Ste S7).
  • step S7 When the process of step S7 is performed, the calculation target areas excluding the exclusion area 13 are compared. On the other hand, if it is determined in step S6 that the amount of motion is less than the predetermined threshold, all the calculation target areas In contrast, the contrast AF unit 8 acquires a contrast evaluation value (step S8).
  • step S9 it is determined whether or not it is in focus, that is, whether or not the focus position is at the peak position of the contrast evaluation value.
  • step S9 when it is determined in step S9 that the subject is in focus, the contrast AF process is terminated.
  • the moving object 12 is assumed to be an artificial object such as a forceps or a treatment tool.
  • the moving object 12 is not limited thereto, and for example, a subject site that performs pulsation or pulsation may be handled as the moving object 12. .
  • the imaging apparatus is applied to an electronic endoscope system.
  • the present invention is not limited to this, and can be widely applied to apparatuses having an imaging function.
  • the moving object 12 since the excluded area 13 whose motion amount is equal to or greater than the predetermined threshold is excluded from the calculation target area of the contrast evaluation value by the contrast AF unit 8, the moving object 12 is within the field of view. Even if it enters, it is possible to stably perform the focus position adjustment with respect to the target subject without causing the focus ambiguity caused by the moving object 12.
  • the contrast evaluation value is an evaluation value that does not depend on the size of the calculation target region, it is possible to satisfactorily suppress a decrease in focus position detection accuracy due to the presence of the exclusion region 13.
  • the image used for detection by the motion amount detection unit 7 is also used as the image acquired by the contrast AF unit 8 to calculate the contrast evaluation value, so that the number of frames of the image that needs to be captured can be reduced. It becomes.
  • the imaging apparatus may be operated, or a processing program for causing a computer to execute the imaging apparatus operating method, which can be read by a computer that records the processing program. It may be a recording medium that is not temporary.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various aspects of the invention can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components from all the components shown by embodiment.
  • the constituent elements over different embodiments may be appropriately combined.

Abstract

　フォーカス位置を変化させるフォーカスレンズ（４）を含み、被検体の光学像を結像する対物光学系（３）と、光学像を撮像して画像を出力する撮像素子（５）と、フォーカス位置を変化させながら撮像素子（５）に複数の画像を取得させ、取得された画像のコントラスト評価値がピーク値を取るようにフォーカス位置を調整するコントラストＡＦ部（８）と、時系列的に取得された複数の画像から被検体の動き量を検出する動き量検出部（７）と、検出された動き量が所定の閾値以上である除外領域をコントラスト評価値の算出対象領域から除外させる制御部（９）と、を備える撮像装置。

Description

撮像装置、撮像装置の作動方法
　本発明は、フォーカス位置を変化させながら複数の画像を取得してコントラスト評価値がピーク値を取るようにフォーカス位置を調整する撮像装置、撮像装置の作動方法に関する。
　被検体までの距離情報を取得する測距方式としては、被検体に赤外線や超音波などを照射して反射波が戻るまでの時間や照射角度に基づき距離を検出するアクティブ方式と、赤外線などを用いることなく光学系を介して取得した画像を利用して測距を行うパッシブ方式と、が知られている。
　これらの内のパッシブ方式の例としては、一眼レフカメラ等で用いられている位相差ＡＦ（ＡＦ：オート・フォーカス）と、ビデオカメラやコンパクトタイプのカメラ等で広く用いられているコントラストＡＦと、が挙げられる。位相差ＡＦは例えばＡＦセンサ等が必要となるために、内視鏡などの小型の撮像装置においては、撮像部で撮像した画像を利用してＡＦを行うことができるコントラストＡＦが比較的広く採用されている。
　このコントラストＡＦは、フォーカスレンズを駆動してフォーカス位置を異ならせながら複数の（一般には３つ以上の）フレーム画像を取得し、取得した画像のコントラスト評価値（例えば、画像の高周波成分）が最大（ピーク）となるフォーカス位置を合焦点とするＡＦ方式である。こうしたコントラストＡＦに関する技術は、従来より種々のものが提案されている。
　例えば日本国特開２００９－１３３９０３号公報には、被写体の動きが速い場合には、画像のコントラストに基づくピーク位置検出は行わず、合焦予測位置への移動を連続的に実施することにより、合焦精度をある程度確保した状態で被写体の動きにフォーカスレンズの動きを追従させる技術が記載されている。
　また、日本国特開２０１２－１０８３１３号公報には、第１の合焦処理部および第２の合焦処理部を備え、第１の合焦処理部による合焦が成されたと判定された場合に、第１の合焦処理部から第２の合焦処理部に処理を切り替える技術が記載されている。ここに、第１の合焦処理部は、例えばコントラストＡＦによる合焦処理部である。一方、第２の合焦処理部は、画像の平均輝度に基づくＡＦを行う合焦処理部、輝度画像の周波数特性に基づくＡＦを行う合焦処理部、輝度画像の局所領域から検出した動きベクトルに基づくＡＦを行う合焦処理部などである。
　さらに、日本国特開２０１０－２０４５８５号公報には、コントラストＡＦを行う際に被写体像の動き検出も行い、焦点検出領域については動き検出結果に基づいて位置を変更するが、ＡＦ枠については動き検出の積算結果に基づいて位置を変更して、焦点検出領域とは異なる特性でＡＦ枠を変更することにより、ＡＦ枠を移動させる際のチラツキ感を抑制する技術が記載されている。
　ところで、被検体に対してフォーカス位置を合わせたいにも関わらず、移動する物体が視野内に存在する場合、例えば、撮像装置が電子内視鏡であって、術中に頻繁に視野内に出入りする鉗子や処置具等の移動物体が存在する場合には、こうした移動物体にフォーカスが追従してしまうと、狙いとする被検体を合焦した状態で観察することができず、観察に支障を来す可能性がある。
　本発明は上記事情に鑑みてなされたものであり、狙いとする被検体に対するフォーカス位置合わせを安定して行うことができる撮像装置、撮像装置の作動方法を提供することを目的としている。
　本発明のある態様による撮像装置は、フォーカス位置を変化させるためのフォーカスレンズを含み、被検体の光学像を結像する対物光学系と、前記光学像を撮像して画像を出力する撮像素子と、前記フォーカス位置を変化させながら前記撮像素子に複数の画像を取得させ、取得された各画像のコントラスト評価値を算出して、前記コントラスト評価値がピーク値を取るように前記フォーカス位置を調整するコントラストＡＦ部と、前記撮像素子により時系列的に取得された複数の画像から、画像内の各領域における被検体の動き量を検出する動き量検出部と、前記コントラストＡＦ部に、前記動き量が所定の閾値以上である除外領域を前記コントラスト評価値の算出対象領域から除外させる制御部と、を具備している。
　本発明のある態様による撮像装置の作動方法は、フォーカス位置を変化させるためのフォーカスレンズを含む対物光学系が、被検体の光学像を結像するステップと、撮像素子が、前記光学像を撮像して画像を出力するステップと、コントラストＡＦ部が、前記フォーカス位置を変化させながら前記撮像素子に複数の画像を取得させ、取得された各画像のコントラスト評価値を算出して、前記コントラスト評価値がピーク値を取るように前記フォーカス位置を調整するステップと、動き量検出部が、前記撮像素子により時系列的に取得された複数の画像から、画像内の各領域における被検体の動き量を検出するステップと、制御部が、前記コントラストＡＦ部に、前記動き量が所定の閾値以上である除外領域を前記コントラスト評価値の算出対象領域から除外させるステップと、を有している。
本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１において、移動物体があるときの画像の例を示す図。 上記実施形態１において、移動物体をコントラスト評価値の算出対象領域から除外する様子を示す図。 上記実施形態１における撮像装置のコントラストＡＦ処理を示すフローチャート。
　以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
　図１から図４は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。
　本実施形態の撮像装置は、電子内視鏡システムに適用されたものとなっており、電子内視鏡１と、ビデオプロセッサ２と、を備えている。
　電子内視鏡１は、被検体の光学像を結像する対物光学系３と、対物光学系３により結像された光学像を撮像して画像を出力する撮像素子５と、を備えている。
　ここに対物光学系３は、フォーカス位置を変化させるためのフォーカスレンズ４を含んでいる。なお、対物光学系３は、ズームレンズを含むズーム光学系として構成されていても構わない。
　撮像素子５は、後述するように、コントラストＡＦ部８の制御に基づいて、複数の画像を時系列的に取得する。
　また、ビデオプロセッサ２は、信号処理部６と、動き量検出部７と、コントラストＡＦ部８と、制御部９と、を備えている。
　信号処理部６は、撮像素子５から出力される画像に、相関２重サンプリング（ＣＤＳ）、ゲイン調節、アナログ信号からデジタル信号への変換、同時化処理（カラー画像を構成する３色成分の内の１色成分のみが１つの画素に存在する状態から、３色成分全てが１つの画素に存在する状態に補間する処理）、ホワイトバランス調整、γ補正処理、色空間変換処理などの画像信号処理を行う。この信号処理部６により表示用に処理された画像はモニタ等に出力され、記録用に処理された画像は記録装置等に出力される。
　動き量検出部７は、撮像素子５により時系列的に取得された複数の画像（この画像は、後述するコントラストＡＦ部８がコントラスト評価値を算出するために取得する画像と兼用しても構わない）から、画像内の各領域における被検体の動き量を検出する。この動き量検出部７について、図２を参照してさらに説明する。ここに図２は、移動物体があるときの画像の例を示す図である。
　図２に示す例においては、狙いとする被検体（フォーカス位置を合わせたい被検体であって、例えば体腔内）の画像１１中に、鉗子や処置具等の移動物体１２が存在する場合を想定している。
　動き量検出部７は、まず、時系列的に取得された第１の画像と第２の画像（これら第１の画像と第２の画像は、この順序で取得されたものとする）のマッチング処理を行い、２つの画像中における同一物体の推定を行う。次に、動き量検出部７は、マッチング処理結果に基づいて、第１の画像と第２の画像の画像全体の動きベクトル（移動量および移動方向）を、手ブレ等の影響に起因すると思われる全体動きベクトルとして算出する。さらに、動き量検出部７は、全体動きベクトル成分を第２の画像から除去して、除去した後の第２の画像において、第１の画像から移動が発生している物体を移動物体１２と推定する。そして、動き量検出部７は、推定された移動物体１２の移動量および移動方向を、移動物体１２の動きベクトルとして検出する。
　制御部９は、動き量検出部７により検出された移動物体１２の動き量（動きベクトルの大きさ）が、所定の閾値以上であるか否かを判定する。そして制御部９は、コントラストＡＦ部８に、動き量が所定の閾値以上である除外領域をコントラスト評価値の算出対象領域から除外させる。
　図３は、移動物体をコントラスト評価値の算出対象領域から除外する様子を示す図である。
　コントラストＡＦ部８によるコントラスト評価値の算出は、例えば、画像１１を複数の領域１１ａに分割して、分割された領域１１ａ毎に算出されるようになっている。そこで、制御部９は、移動物体１２が含まれる領域１１ａの集合でなる領域（ハッチングで示した領域）を、除外領域１３として設定する。
　また、制御部９は、コントラストＡＦ部８を制御して、フォーカスレンズ４の位置を移動させながら、撮像素子５により複数の画像を時系列的に取得させる。
　コントラストＡＦ部８は、フォーカス位置を変化させながら取得された複数の画像１１のコントラスト評価値を算出して、算出したコントラスト評価値がピーク値を取るように、フォーカスレンズ４の位置を移動させて対物光学系３のフォーカス位置を調整する。
　このときにコントラストＡＦ部８がコントラスト評価値の算出対象とするのは、上述したように、除外領域１３を除いた領域である。
　すなわち、コントラストＡＦ部８は、画像１１に例えばハイパスフィルタをかけることにより、高周波成分画像を抽出する。そして、コントラストＡＦ部８は、領域１１ａ毎の高周波成分値を、除外領域１３を除く全ての算出対象の領域１１ａについて加算する。
　このときに算出される加算値（コントラスト加算値）をＳｕｍＣとすると、算出対象領域中に除外領域１３が存在する場合には、除外領域１３が存在しない場合に比べてコントラスト加算値ＳｕｍＣが小さい値になってしまい、除外領域１３の大きさによってはコントラストＡＦの精度に影響を与える可能性があると考えられる。
　そこで、制御部９は、画像１１における算出対象領域全体の面積をＳ０、除外領域１３を除いた算出対象領域の面積をＳ１としたときに、補正係数Ｒを次のように算出する。
　　　　　　　　　　　Ｒ＝Ｓ０／Ｓ１
　そして、コントラストＡＦ部８は、コントラスト評価値ＣＥＶを、算出対象領域の大きさに依存しない評価値として、
　　　　　　　　　　ＣＥＶ＝Ｒ×ＳｕｍＣ
のように算出する。
　こうして算出したコントラスト評価値ＣＥＶを用いて、フォーカス位置を変化させながら画像を撮像してコントラスト評価値ＣＥＶのピーク位置を探すスキャンを行い、探索されたピーク位置へフォーカスレンズ４を駆動することで合焦を行う。
　なお、コントラスト加算値ＳｕｍＣを求める際には、単純加算に代えて、算出対象の領域１１ａ毎に重み付けを行って加算する方法を用いても良いが、この場合には補正係数Ｒを算出する際にも同様に重み付けを行った面積Ｓ０，Ｓ１を用いることはいうまでもない。
　また、ここでは補正係数Ｒを用いてコントラスト評価値ＣＥＶを算出したが、算出が不要である場合や算出の必要度が低い場合などには、補正係数Ｒを算出しなくても構わない。ここに、補正係数Ｒの算出が不要である場合は、例えば、画像１１中に移動物体１２が存在していても、その存在位置がコントラスト評価値の算出対象領域（この算出対象領域は、画像１１全体であるとは限らず、画像１１中の一部（例えば中央部分など）であることもあるため）外である場合などである。また、補正係数Ｒの算出の必要度が低い場合は、例えば、算出対象領域に占める除外領域１３の面積割合が、コントラスト評価値ＣＥＶに与える影響を無視し得る程度に小さい場合などである。
　さらに、算出対象領域の大きさに依存しない評価値を算出する方法として、上述した補正係数Ｒを用いる方法に代えて、単位面積当たりの平均コントラスト加算値をコントラスト評価値として用いる方法を採用しても良い。あるいは、時間的に近接して取得された過去画像の中に移動物体１２が存在していない画像がある場合に、処理対象画像の除外領域１３に該当するその過去画像の領域（この過去画像における該当領域は、上述したマッチング処理により推定することができる）の高周波成分を、除外領域１３の高周波成分として代用する方法を採用しても構わない。
　次に、図４は、撮像装置のコントラストＡＦ処理を示すフローチャートである。
　この処理を開始すると、まず、対物光学系３がズームレンズを含むズーム光学系であるか否かを判定する（ステップＳ１）。
　ここでズーム光学系であると判定された場合には、ズーム倍率を取得して（ステップＳ２）、取得したズーム倍率に基づき、動き量を検出する際の閾値を設定する（ステップＳ３）。
　ここに、移動物体１２の速度が一定であっても、ズーム位置が画角の広いワイド領域にある場合には画像中の移動量は小さく、逆に画角の狭いテレ領域にある場合には画像中の移動量が大きくなる。そこで、移動物体１２の動き量が、除外領域１３として設定すべき動き量であるか否かを正確に判定するために、ここではズーム倍率に応じた閾値を設定している。従って閾値は、一般に、ズーム倍率が高ければ（テレ側であれば）大きくなり、ズーム倍率が低ければ（ワイド側であれば）小さくなるように設定される。
　このステップＳ３の処理が終了するか、またはステップＳ１においてズーム光学系でないと判定された場合には、フォーカスレンズ４を駆動して撮像素子５により画像を取得しする（ステップＳ４）。このステップＳ４は、後述するステップＳ９の処理から戻って繰り返して行われることにより、フォーカスレンズ４を駆動しながら撮像素子５により複数の画像を時系列的に取得していくスキャンとなる。
　そして、時系列的に取得された複数の画像に基づいて、動き量検出部７により動き量を上述したように検出する（ステップＳ５）。
　制御部９は、検出された動き量が、所定の閾値（対物光学系３がズーム光学系であるときには、ステップＳ３において設定された閾値）以上であるか否かを判定する（ステップＳ６）。
　ここで、動き量が所定の閾値以上である場合には、制御部９は、コントラストＡＦ部８に、所定の閾値以上となっている除外領域１３をコントラスト評価値の算出対象領域から除外させる（ステップＳ７）。
　ステップＳ７の処理を行った場合には除外領域１３を除いた算出対象領域に対して、一方、ステップＳ６において動き量が所定の閾値未満であると判定された場合には、全ての算出対象領域に対して、コントラストＡＦ部８が、コントラスト評価値を取得する（ステップＳ８）。
　そして合焦したか否か、つまり、フォーカス位置がコントラスト評価値のピーク位置にあるか否かを判定して（ステップＳ９）、まだ合焦していない場合にはステップＳ４へ行ってフォーカスレンズ４を駆動して上述したような処理を行う。
　こうして、ステップＳ９において合焦したと判定されたところで、このコントラストＡＦ処理を終了する。
　なお、上述では移動物体１２として鉗子や処置具等の人工物を想定したが、これらに限定されるものではなく、例えば、拍動や脈動を行う被検体部位も移動物体１２として取り扱って構わない。
　また、上述では、撮像装置が電子内視鏡システムに適用された例を説明したが、これに限定されるものではなく、撮像機能を備えた装置に広く適用可能である。
　このような実施形態１によれば、動き量が所定の閾値以上である除外領域１３を、コントラストＡＦ部８によるコントラスト評価値の算出対象領域から除外するようにしたために、移動物体１２が視野内に入ってきても、移動物体１２に起因するフォーカス迷いを生じさせることなく、狙いとする被検体に対するフォーカス位置合わせを安定して行うことが可能となる。
　このとき、コントラスト評価値を、算出対象領域の大きさに依存しない評価値とした場合には、除外領域１３が存在することによる合焦位置検出精度の低下を、良好に抑制することができる。
　特に、除外領域１３がある場合とない場合の算出対象領域の面積比に基づいて求めた補正係数Ｒを用いてコントラスト評価値ＣＥＶを算出する場合には、比較的簡単で負荷の小さい演算を行うだけで、合焦位置検出精度の低下抑制が可能となる。
　また、動き量検出部７が検出に用いる画像を、コントラストＡＦ部８がコントラスト評価値を算出するために取得した画像と兼用することにより、撮像が必要な画像のフレーム数を低減することが可能となる。
　なお、上述では主として撮像装置について説明したが、撮像装置の作動方法であっても良いし、コンピュータに撮像装置の作動方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
　本出願は、２０１３年１０月４日に日本国に出願された特願２０１３－２０９３８６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (5)

  1. 　フォーカス位置を変化させるためのフォーカスレンズを含み、被検体の光学像を結像する対物光学系と、
    　前記光学像を撮像して画像を出力する撮像素子と、
    　前記フォーカス位置を変化させながら前記撮像素子に複数の画像を取得させ、取得された各画像のコントラスト評価値を算出して、前記コントラスト評価値がピーク値を取るように前記フォーカス位置を調整するコントラストＡＦ部と、
    　前記撮像素子により時系列的に取得された複数の画像から、画像内の各領域における被検体の動き量を検出する動き量検出部と、
    　前記コントラストＡＦ部に、前記動き量が所定の閾値以上である除外領域を前記コントラスト評価値の算出対象領域から除外させる制御部と、
    　を具備することを特徴とする撮像装置。
  2. 　前記コントラスト評価値は、前記算出対象領域の大きさに依存しない評価値であることを特徴とする請求項１に記載の撮像装置。
  3. 　前記制御部は、全ての前記算出対象領域の面積を、前記除外領域を除外した後の前記算出対象領域の面積で割った補正係数を算出し、
    　前記コントラストＡＦ部は、前記除外領域を除外した後の前記算出対象領域についてコントラスト加算値を算出し、前記コントラスト加算値に前記補正係数を乗算することにより、前記算出対象領域の大きさに依存しない前記コントラスト評価値を算出することを特徴とする請求項２に記載の撮像装置。
  4. 　前記動き量検出部が検出に用いる画像は、コントラスト評価値を算出するために取得した画像であることを特徴とする請求項１に記載の撮像装置。
  5. 　フォーカス位置を変化させるためのフォーカスレンズを含む対物光学系が、被検体の光学像を結像するステップと、
    　撮像素子が、前記光学像を撮像して画像を出力するステップと、
    　コントラストＡＦ部が、前記フォーカス位置を変化させながら前記撮像素子に複数の画像を取得させ、取得された各画像のコントラスト評価値を算出して、前記コントラスト評価値がピーク値を取るように前記フォーカス位置を調整するステップと、
    　動き量検出部が、前記撮像素子により時系列的に取得された複数の画像から、画像内の各領域における被検体の動き量を検出するステップと、
    　制御部が、前記コントラストＡＦ部に、前記動き量が所定の閾値以上である除外領域を前記コントラスト評価値の算出対象領域から除外させるステップと、
    　を有することを特徴とする撮像装置の作動方法。
PCT/JP2014/074914 2013-10-04 2014-09-19 撮像装置、撮像装置の作動方法 WO2015050008A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015516319A JP5829360B2 (ja) 2013-10-04 2014-09-19 撮像装置、撮像装置の作動方法
EP14850832.8A EP3015893A4 (en) 2013-10-04 2014-09-19 Imaging device and method for operating imaging device
CN201480040352.8A CN105378534B (zh) 2013-10-04 2014-09-19 摄像装置、摄像装置的工作方法
US15/013,085 US9444994B2 (en) 2013-10-04 2016-02-02 Image pickup apparatus and method for operating image pickup apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-209386 2013-10-04
JP2013209386 2013-10-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/013,085 Continuation US9444994B2 (en) 2013-10-04 2016-02-02 Image pickup apparatus and method for operating image pickup apparatus

Publications (1)

Publication Number Publication Date
WO2015050008A1 true WO2015050008A1 (ja) 2015-04-09

Family

ID=52778601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/074914 WO2015050008A1 (ja) 2013-10-04 2014-09-19 撮像装置、撮像装置の作動方法

Country Status (5)

Country Link
US (1) US9444994B2 (ja)
EP (1) EP3015893A4 (ja)
JP (1) JP5829360B2 (ja)
CN (1) CN105378534B (ja)
WO (1) WO2015050008A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017122348A1 (ja) * 2016-01-15 2018-11-29 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
US10771676B2 (en) 2016-01-15 2020-09-08 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10667723B2 (en) * 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
WO2018116371A1 (ja) * 2016-12-20 2018-06-28 オリンパス株式会社 自動焦点制御装置、内視鏡装置及び自動焦点制御装置の作動方法
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
CN111902759B (zh) 2018-03-30 2022-06-07 富士胶片株式会社 对焦控制装置、对焦控制方法及存储介质
US11547313B2 (en) 2018-06-15 2023-01-10 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133903A (ja) 2007-11-28 2009-06-18 Fujifilm Corp 撮像装置およびその撮像方法
JP2010021597A (ja) * 2008-07-08 2010-01-28 Victor Co Of Japan Ltd 撮像装置および撮像方法
JP2010204585A (ja) 2009-03-05 2010-09-16 Canon Inc 撮像装置及びその制御方法
JP2012108313A (ja) 2010-11-17 2012-06-07 Olympus Corp 撮像装置、プログラム及びフォーカス制御方法
JP5253688B1 (ja) * 2011-08-10 2013-07-31 オリンパスメディカルシステムズ株式会社 内視鏡装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2209901B (en) * 1987-09-11 1992-06-03 Canon Kk Image sensing device
US6749561B2 (en) * 2001-08-23 2004-06-15 Smith & Nephew, Inc. Autofocusing endoscopic system
US7160249B2 (en) * 2003-03-28 2007-01-09 Olympus Corporation Endoscope image pickup unit for picking up magnified images of an object, a focus adjustment apparatus and method, and a focus range check apparatus and method for the same
US7267648B2 (en) * 2003-03-31 2007-09-11 Olympus Corporation Magnifying image pickup unit for an endoscope, an endoscope for in vivo cellular observation that uses it, and endoscopic, in vivo cellular observation methods
JP4029296B2 (ja) * 2004-03-02 2008-01-09 ソニー株式会社 オートフォーカス制御装置および方法、記録媒体、並びにプログラム
JP2006162821A (ja) * 2004-12-06 2006-06-22 Sony Corp 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体
JP2008129554A (ja) * 2006-11-27 2008-06-05 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
JP4984981B2 (ja) * 2007-03-08 2012-07-25 ソニー株式会社 撮像方法および撮像装置並びに駆動装置
JP2009133902A (ja) 2007-11-28 2009-06-18 Fujifilm Corp カメラ及びその組立方法
KR101623832B1 (ko) * 2010-01-07 2016-05-24 삼성전자주식회사 컨트라스트ａｆ로 다점 ａｆ를 적용하는 장치 및 방법
JP5609425B2 (ja) * 2010-08-24 2014-10-22 株式会社ニコン 画像処理装置、撮像装置、及び画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133903A (ja) 2007-11-28 2009-06-18 Fujifilm Corp 撮像装置およびその撮像方法
JP2010021597A (ja) * 2008-07-08 2010-01-28 Victor Co Of Japan Ltd 撮像装置および撮像方法
JP2010204585A (ja) 2009-03-05 2010-09-16 Canon Inc 撮像装置及びその制御方法
JP2012108313A (ja) 2010-11-17 2012-06-07 Olympus Corp 撮像装置、プログラム及びフォーカス制御方法
JP5253688B1 (ja) * 2011-08-10 2013-07-31 オリンパスメディカルシステムズ株式会社 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3015893A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017122348A1 (ja) * 2016-01-15 2018-11-29 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
US10666852B2 (en) 2016-01-15 2020-05-26 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device
US10771676B2 (en) 2016-01-15 2020-09-08 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device

Also Published As

Publication number Publication date
CN105378534B (zh) 2018-01-02
JPWO2015050008A1 (ja) 2017-03-09
CN105378534A (zh) 2016-03-02
US20160156835A1 (en) 2016-06-02
EP3015893A1 (en) 2016-05-04
US9444994B2 (en) 2016-09-13
EP3015893A4 (en) 2017-02-08
JP5829360B2 (ja) 2015-12-09

Similar Documents

Publication Publication Date Title
JP5829360B2 (ja) 撮像装置、撮像装置の作動方法
JP5049899B2 (ja) 撮像装置及びその制御方法
JP6727791B2 (ja) 追尾制御装置および追尾制御方法、撮像装置
US7602435B2 (en) Image-taking apparatus and focus control program for image-taking apparatus
US7860387B2 (en) Imaging apparatus and control method therefor
JP2008026788A (ja) 撮像装置及びフォーカス制御方法
JP2008203294A (ja) 撮像装置
JP5618712B2 (ja) 自動焦点調節装置および撮像装置
US9654680B2 (en) Image capturing apparatus and control method therefor
JP2004077959A (ja) 焦点調節方法およびカメラ
JP2008046351A (ja) 自動焦点調節装置および撮像装置
JP6995561B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP2010160202A (ja) レンズ制御装置、光学機器およびレンズ制御方法
US10841480B2 (en) Imaging device, control method of imaging device, and recording medium storing focus adjustment program
JP2008070120A (ja) 距離計測装置
JP2010139666A (ja) 撮像装置
JP2011039433A (ja) 撮像装置及び撮像装置の制御方法
JP6432038B2 (ja) 撮像装置
JP6564284B2 (ja) 画像処理装置および画像処理方法
US20190297269A1 (en) Control apparatus, imaging apparatus, and control method
JP4969349B2 (ja) 撮像装置及び撮像方法
JP2005114858A (ja) 測距カメラ装置
JP4900134B2 (ja) 焦点調節装置、カメラ
JP6639151B2 (ja) 撮像制御装置、撮像装置および撮像制御プログラム
JP5930979B2 (ja) 撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015516319

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14850832

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014850832

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE