WO2012099174A1 - Autofocus system - Google Patents
Autofocus system Download PDFInfo
- Publication number
- WO2012099174A1 WO2012099174A1 PCT/JP2012/050978 JP2012050978W WO2012099174A1 WO 2012099174 A1 WO2012099174 A1 WO 2012099174A1 JP 2012050978 W JP2012050978 W JP 2012050978W WO 2012099174 A1 WO2012099174 A1 WO 2012099174A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- area
- autofocus
- face
- image
- region
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Abstract
In the present invention, autofocus precision of a subject is increased by means of causing not only a face region but also a head-hair region to be an autofocus region. The autofocus system is provided with: an imaging unit that captures a subject image formed by means of an optical system; a face region detection unit that, from a captured image captured by means of the imaging unit, detects a face region that excludes the head-hair region of a person; a first AF region setting unit that sets the face region detected by the face region detection unit as a first autofocus region; a second AF region setting unit that, in a manner so that the head-hair region neighboring the face region is included, expands the first autofocus region set by the first AF region setting unit, and sets the expanded region including the head-hair region and the first autofocus region as a second autofocus region; and an autofocus unit that adjusts the focus of the optical system in a manner so that the focus matches the subject of the second autofocus region set by the second AF region setting unit.
Description
本発明は、オートフォーカスシステムに関する。
The present invention relates to an autofocus system.
カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムが知られている。そして、撮影視野内の人物を検出し、検出した人物にフォーカスを自動的に合わせる技術も知られている。
An autofocus (AF) system that automatically adjusts the camera focus is known. A technique for detecting a person in the field of view and automatically focusing on the detected person is also known.
従来、人物の検出及びフォーカスを合わせる対象として、典型的には人物の頭部が対象とされ、特に人物の頭部のうち、眉毛、目、鼻、口等の構成部品を含むが、頭髪（頭髪領域）は含まない顔領域が用いられている。
2. Description of the Related Art Conventionally, a person's head is typically targeted as a person to be detected and focused, and particularly includes human eyebrows, eyes, nose, mouth and other components such as head hair ( A facial region not including the (hair region) is used.
なお、特許文献１には、人物の顔（顔領域）を見失った場合に、その人物の胴体があると予測される領域を用いて、オートフォーカス処理を行うことが記載されている。
Note that Patent Document 1 describes that when a person's face (face area) is lost, an autofocus process is performed using an area where the person's torso is predicted.
また、特許文献２には、人物の顔領域の検出を行った後、この人物の顔領域に隣接する頭髪領域のみを用いてオートフォーカス処理を行うことが記載されている。
Patent Document 2 describes that after detecting a human face area, autofocus processing is performed using only a hair area adjacent to the human face area.
従来のオートフォーカスシステムにおけるフォーカシングは、例えば、フォーカスを合わせる対象領域（オートフォーカス領域）に含まれる被写体のコントラストの高低を示す焦点評価値を算出することによって行われる。撮影視野内の人物に関して、上述のように、頭髪領域を含まない顔領域がオートフォーカス領域として用いられるが、顔領域に含まれる眉毛、目、鼻及び口等の構成部品は、人物の顔のうち、肌色の領域の一部にしか相当しない。そのため、コントラスト方式のオートフォーカスにおいては、高周波成分が不足し、人物の顔に対するオートフォーカスの精度を低下させる要因となっていた。
Focusing in a conventional autofocus system is performed, for example, by calculating a focus evaluation value indicating the level of contrast of a subject included in a target area (autofocus area) to be focused. As described above, the face area that does not include the hair area is used as the autofocus area for the person in the field of view, but the components such as eyebrows, eyes, nose, and mouth included in the face area are Of these, it corresponds to only a part of the skin color area. For this reason, in contrast-based autofocus, the high-frequency component is insufficient, and this is a factor that reduces the accuracy of autofocus on a human face.
なお、特許文献１に記載されたオートフォーカス処理では、人物の顔の代わりに胴体をオートフォーカス領域としており、また、特許文献２に記載されたオートフォーカス処理では、単に頭髪領域だけオートフォーカス領域としているが、いずれも、人物の顔が検出できなくなってしまっている場合を想定しており、人物の顔そのものに対するオートフォーカスの精度を改善するものではない。
In the autofocus process described in Patent Document 1, the torso is used as an autofocus area instead of a human face, and in the autofocus process described in Patent Document 2, only the hair area is used as the autofocus area. However, in any case, it is assumed that the face of a person has become undetectable, and does not improve the accuracy of autofocus for the face of the person itself.
本発明は、このような事情に鑑みてなされたもので、被写体のオートフォーカス精度を向上させることを目的とする。
The present invention has been made in view of such circumstances, and an object thereof is to improve the autofocus accuracy of a subject.
光学系により結像された被写体像を撮像する撮像部と、前記撮像部により撮像された撮影画像から、人物の頭髪領域を除く顔領域を検出する顔領域検出部と、前記顔領域検出部によって検出された顔領域を、第１のオートフォーカス領域として設定する第１のＡＦ領域設定部と、前記第１のＡＦ領域設定部によって設定された前記第１のオートフォーカス領域を前記顔領域に隣接する頭髪領域が含まれるように拡大し、前記第１のオートフォーカス領域と前記頭髪領域を含む拡大領域を、第２のオートフォーカス領域として設定する第２のＡＦ領域設定部と、前記第２のＡＦ領域設定部によって設定された第２のオートフォーカス領域の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス部と、を備えるオートフォーカスシステム。
An imaging unit that captures a subject image formed by an optical system, a face region detection unit that detects a face region excluding a human hair region from a captured image captured by the imaging unit, and the face region detection unit A first AF area setting unit that sets the detected face area as a first autofocus area, and the first autofocus area set by the first AF area setting unit is adjacent to the face area A second AF area setting unit configured to set the first autofocus area and the enlarged area including the hair area as a second autofocus area; An autofocus unit that adjusts the focus of the optical system so that the subject in the second autofocus region set by the AF region setting unit is in focus. Focus system.
本発明によれば、顔領域だけでなく頭髪領域もオートフォーカス領域にすることによって、被写体のオートフォーカス精度を向上させることができる。
According to the present invention, not only the face area but also the hair area is set to the autofocus area, so that the autofocus accuracy of the subject can be improved.
以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。
Hereinafter, an autofocus system according to the present invention will be described in detail with reference to the accompanying drawings.
図１は、本発明の実施の形態のオートフォーカスシステムを説明するためのビデオカメラシステムの全体構成を示すブロック図である。同図に示すビデオカメラシステム１には、放送用又は業務用で使用されるテレビカメラ１０と、ＡＦ枠自動追尾装置を構成する画像処理ユニット１８及びＡＦ枠操作部２０とから構成されており、テレビカメラ１０で映される被写体の追尾機能を更に備える。
FIG. 1 is a block diagram showing an overall configuration of a video camera system for explaining an autofocus system according to an embodiment of the present invention. The video camera system 1 shown in FIG. 1 includes a television camera 10 used for broadcasting or business, an image processing unit 18 and an AF frame operation unit 20 constituting an AF frame automatic tracking device, It further includes a tracking function for a subject projected by the television camera 10.
テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１４と、カメラ本体１４のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２を含んで構成される。
The TV camera 10 includes a camera body 14 composed of an HD camera compatible with a high-definition television [HD (High Definition) TV] system, and a lens device 12 having a photographing lens (optical system) attached to a lens mount of the camera body 14. It is comprised including.
カメラ本体１４には、撮像素子（例えばＣＣＤ撮像素子）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１４の映像信号出力端子等から外部に出力される。
The camera body 14 is equipped with an image sensor (for example, a CCD image sensor), a required signal processing circuit, and the like. An image formed by the photographing lens of the lens device 12 is photoelectrically converted by the image sensor, Necessary signal processing is performed by the signal processing circuit, and an HDTV video signal (HDTV signal) is output from the video signal output terminal of the camera body 14 to the outside.
また、カメラ本体１４には、ビューファインダ１６が設置されており、そのビューファインダ１６にテレビカメラ１０の撮影映像が表示されるようになっている。また、ビューファインダ１６には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているオートフォーカス領域の輪郭であるＡＦ枠を示す画像（枠画像）が撮影映像に重畳されて表示されるようになっている。
In addition, a viewfinder 16 is installed in the camera body 14, and an image captured by the television camera 10 is displayed on the viewfinder 16. The viewfinder 16 displays various types of information other than the captured video. For example, an image (frame image) showing an AF frame that is the outline of the currently set autofocus area is captured. It is displayed superimposed on the video.
レンズ装置１２は、カメラ本体１４のレンズマウントに装着される撮影レンズ（ズームレンズ）を備えており、その撮影レンズにより、被写体２８がカメラ本体１４の撮像素子の撮像面に結像されるようになっている。撮影レンズには、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。
The lens device 12 includes a photographing lens (zoom lens) attached to the lens mount of the camera body 14 so that the subject 28 is imaged on the imaging surface of the imaging element of the camera body 14 by the photographing lens. It has become. Although not shown, the photographic lens is provided with movable parts for adjusting photographing conditions such as a focus lens group, a zoom lens group, and a diaphragm as its constituent elements. The mechanism is electrically driven. For example, the focus lens group and the zoom lens group move in the optical axis direction, the focus (subject distance) adjustment is performed by moving the focus lens group, and the focal length (zoom magnification) is adjusted by moving the zoom lens group. Adjustments are made.
なお、オートフォーカス調整に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。
In the system related to autofocus adjustment, it is sufficient that at least the focus lens group can be driven electrically, and other movable parts may be driven only manually.
また、レンズ装置１２には、ＡＦユニット４０及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１２全体を統括制御するものである。また、ＡＦユニット４０は、オートフォーカス調整によるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。
The lens device 12 is equipped with an AF unit 40 and a lens CPU (not shown). The lens CPU controls the entire lens device 12. The AF unit 40 is a processing unit for obtaining information necessary for performing focus control (automatic focus adjustment) by autofocus adjustment, and although not shown, an AF processing unit, an AF imaging circuit, and the like. It is composed of
ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、ＣＣＤ撮像素子等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、ＡＦ用撮像回路から出力される映像信号は輝度信号である。
The AF imaging circuit is arranged in the lens device 12 to acquire an AF processing video signal, and an image sensor such as a CCD image sensor (referred to as an AF image sensor) or an output signal from the AF image sensor is in a predetermined format. And a processing circuit for outputting as a video signal. The video signal output from the AF imaging circuit is a luminance signal.
ＡＦ用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラ本体１４の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像領域及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１４の撮像素子の撮像領域及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１４の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１４の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
The subject light branched from the subject light incident on the imaging element of the camera body 14 is imaged on the imaging surface of the AF imaging element by a half mirror or the like disposed on the optical path of the photographing lens. The imaging area and subject distance (distance of the subject in focus) of the AF imaging element are configured to match the imaging area and subject distance of the imaging element of the camera body 14, and the subject captured by the AF imaging element The image matches the subject image captured by the image sensor of the camera body 14. It should be noted that the shooting ranges of the two do not need to be completely the same. For example, the shooting range of the AF imaging element may be a larger range including the shooting range of the imaging element of the camera body 14.
ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいてオートフォーカス領域の被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるオートフォーカス領域の画像の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値はオートフォーカス領域の画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズＣＰＵに与えられる。
The AF processing unit acquires a video signal from the AF imaging circuit, and calculates a focus evaluation value indicating the level of contrast of the subject image in the autofocus area based on the video signal. For example, after extracting a high-frequency component signal from a video signal obtained from an AF image sensor using a high-pass filter, an image of an auto-focus area set as described below is included in the high-frequency component signal. The signal is integrated by one screen (one frame). The integrated value obtained for each screen in this way indicates the level of contrast of the image in the autofocus area, and the integrated value is given to the lens CPU as a focus evaluation value.
レンズＣＰＵは、オートフォーカス領域の輪郭情報（位置、大きさ、形状等）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたオートフォーカス領域をＡＦ処理の対象範囲に指定する。そして、そのオートフォーカス領域の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。
The lens CPU acquires AF frame information (AF frame information) indicating outline information (position, size, shape, etc.) of the autofocus area from the image processing unit 18 as will be described later, and is designated by the AF frame information. The designated autofocus area is designated as the target area for AF processing. Then, the focus evaluation value obtained from the image (video signal) in the autofocus area is acquired from the AF processing unit.
このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、オートフォーカス領域内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、オートフォーカス領域内の被写体に自動でピントが合わせられる。
In this way, every time a video signal for one screen is acquired from the AF imaging circuit (each time the focus evaluation value is obtained by the AF processing unit), the focus evaluation value is acquired from the AF processing unit, and the acquired focus is obtained. The focus lens group is controlled so that the evaluation value is maximized (maximum), that is, the contrast of the subject image in the autofocus area is maximized. For example, a hill-climbing method is generally known as a control method for a focus lens group based on a focus evaluation value, and the focus evaluation value starts to decrease by moving the focus lens group in a direction in which the focus evaluation value increases. Is detected, the focus lens group is set at that position. Thus, the subject in the autofocus area is automatically focused.
なお、上述のＡＦ処理部は、焦点評価値を算出するために、レンズ装置１２に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１４の撮像素子より撮影された映像の映像信号をカメラ本体１４から取得するような構成としてもよい。またオートフォーカス領域内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。
Note that the above-described AF processing unit obtains a video signal from the AF image sensor mounted on the lens device 12 in order to calculate the focus evaluation value, but the video imaged by the image sensor of the camera body 14 The video signal may be obtained from the camera body 14. Further, any AF means for automatically focusing on the subject in the autofocus area may be used.
次に、本発明の実施の形態のオートフォーカスシステムにおけるオートフォーカス領域について説明する。図２は、本発明の実施の形態のオートフォーカスシステムにおけるオートフォーカス領域の一例を示す図である。
Next, an autofocus area in the autofocus system according to the embodiment of the present invention will be described. FIG. 2 is a diagram illustrating an example of an autofocus area in the autofocus system according to the embodiment of the present invention.
図２に示すように、オートフォーカス領域２００は、カメラ本体１４における撮像素子の撮像領域２０２（又は撮影範囲）に対して四角形状の領域として設定され、その輪郭がＡＦ枠２０４として示されている。本発明の実施の形態のオートフォーカスシステムにおいては、撮像素子のオートフォーカス領域２００（ＡＦ枠２０４内の領域）で撮影される被写体にピントが合わされる。
As shown in FIG. 2, the autofocus area 200 is set as a rectangular area with respect to the imaging area 202 (or imaging area) of the imaging element in the camera body 14, and its outline is shown as an AF frame 204. . In the autofocus system according to the embodiment of the present invention, a subject to be photographed in the autofocus area 200 (area in the AF frame 204) of the image sensor is focused.
なお、本明細書では、撮像領域２０２に対するオートフォーカス領域２００は、オートフォーカス領域２００（ＡＦ枠２０４）の位置、大きさ、及び、形状（縦横比）の３つの要素によって決まるものとし、ＡＦ枠２０４の位置、大きさ、及び、形状の３つの要素のうち、少なくとも１つの要素が変更された場合にはオートフォーカス領域２００が変更されたものとする。
In this specification, the autofocus area 200 with respect to the imaging area 202 is determined by the three elements of the position, size, and shape (aspect ratio) of the autofocus area 200 (AF frame 204). It is assumed that the autofocus area 200 is changed when at least one of the three elements of the position 204, the size, and the shape 204 is changed.
また、レンズ装置１２は、ケーブルを介して、又は、直接的にカメラ本体１４と接続され、レンズ装置１２とカメラ本体１４の各々に設けられたシリアル通信インターフェース（ＳＣＩ）１２ａ、１４ａを通じて各種情報のやり取りが行えるようになっている。これによりＡＦユニット４０において現在設定されているＡＦ枠の情報もカメラ本体１４に送信され、カメラ本体１４内での処理によってビューファインダ１６に表示される撮影映像に現在設定されているＡＦ枠の位置、大きさ、形状に対応したＡＦ枠の画像が重畳表示されるようになっている。
The lens device 12 is connected to the camera body 14 via a cable or directly, and various kinds of information are transmitted through serial communication interfaces (SCI) 12a and 14a provided in the lens device 12 and the camera body 14, respectively. You can communicate. As a result, information on the AF frame currently set in the AF unit 40 is also transmitted to the camera body 14, and the position of the AF frame currently set in the captured image displayed on the viewfinder 16 by processing in the camera body 14. The image of the AF frame corresponding to the size and shape is superimposed and displayed.
画像処理ユニット１８は、レンズ装置１２のＡＦユニット４０において設定されるオートフォーカス領域（ＡＦ枠の位置、大きさ、形状（縦横比））を後述のマニュアル操作又は自動追尾の処理により指定するための処理部である。画像処理ユニット１８は、例えば、図示しない筐体内に納められて、レンズ装置１２の撮影レンズの鏡胴側部やカメラ本体１４の筐体外壁面等に設置される。なお、画像処理ユニット１８をレンズ装置１２やカメラ本体１４に設置する位置はこれに限らず他の任意の位置に設置するようにしてもよく、また、レンズ装置１２やカメラ本体１４以外の部分に配置するようにしてもよい。
The image processing unit 18 is for specifying an autofocus area (the position, size, and shape (aspect ratio) of the AF frame) set in the AF unit 40 of the lens apparatus 12 by a manual operation or automatic tracking process described later. It is a processing unit. For example, the image processing unit 18 is housed in a housing (not shown), and is installed on the lens barrel side portion of the photographing lens of the lens device 12 or the outer wall surface of the camera body 14. The position where the image processing unit 18 is installed in the lens device 12 or the camera body 14 is not limited to this, and may be installed in any other position. It may be arranged.
画像処理ユニット１８は、ＳＣＩ５８を備えており、そのＳＣＩ５８は、レンズ装置１２に接続され、ＳＣＩ１２ａを通じてレンズＣＰＵとの間で各種信号のやり取りが行えるようになっている。これにより、オートフォーカス領域２００を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１２のレンズＣＰＵに与えられ、そのＡＦ枠情報に基づいてＡＦユニット４０におけるオートフォーカス領域２００が設定される。
The image processing unit 18 includes an SCI 58. The SCI 58 is connected to the lens device 12, and can exchange various signals with the lens CPU through the SCI 12a. Thereby, AF frame information designating the autofocus area 200 is given from the image processing unit 18 to the lens CPU of the lens apparatus 12, and the autofocus area 200 in the AF unit 40 is set based on the AF frame information.
また、画像処理ユニット１８には映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体１４の映像出力コネクタがダウンコンバータ４６を介してケーブルで接続される。これによって、カメラ本体１４の映像出力コネクタから出力されたＨＤＴＶ信号が、ダウンコンバータ４６によって、標準テレビ［ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）］方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。
Also, the image processing unit 18 is provided with a video input connector for capturing a video signal, and the video output connector of the camera body 14 is connected to the video input connector via a down converter 46 with a cable. As a result, the HDTV signal output from the video output connector of the camera body 14 is converted (down-converted) by the down-converter 46 into a video signal (SDTV signal) of a standard television [NTSC (National Television System Committee)] system. Are input to the image processing unit 18.
詳細は後述するが画像処理ユニット１８は、自動追尾処理を実行する際に、カメラ本体１４から入力された映像信号から１コマ分の撮影画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、ＡＦによりその被写体にピントが合わせられるようにオートフォーカス領域２００を決定し、決定したオートフォーカス領域２００の情報をレンズ装置１２のレンズＣＰＵに送信する。なお、画像処理ユニット１８の構成及び処理内容については後述する。
Although details will be described later, when executing the automatic tracking process, the image processing unit 18 sequentially captures one frame of the captured image from the video signal input from the camera body 14 and selects a predetermined tracking target from the captured image. Processing to detect the subject is performed. Then, the autofocus area 200 is determined so that the subject can be focused by AF, and information on the determined autofocus area 200 is transmitted to the lens CPU of the lens device 12. The configuration and processing contents of the image processing unit 18 will be described later.
ＡＦ枠操作部２０は、画像処理ユニット１８と一体の装置として設けられ、後述するタッチパネル付き液晶ディスプレイ（ＬＣＤ）６６が、画像処理ユニット１８から取り外し可能に構成されている。なお、ＡＦ枠操作部２０の一部又は全てが、画像処理ユニット１８とは別体の装置として構成され、画像処理ユニット１８とケーブル等で接続される態様であってもよい。
The AF frame operation unit 20 is provided as an apparatus integrated with the image processing unit 18, and a liquid crystal display (LCD) 66 with a touch panel, which will be described later, is configured to be removable from the image processing unit 18. Note that a part or all of the AF frame operation unit 20 may be configured as a separate device from the image processing unit 18 and connected to the image processing unit 18 with a cable or the like.
ＡＦ枠操作部２０は、主にＡＦ枠の制御に関する操作を行うための操作部であり、オートフォーカス領域２００を操作者がマニュアル操作で指示入力するための操作部材や、所望の被写体を自動で追尾する自動追尾に関する操作を行うための操作部材を備えている。
The AF frame operation unit 20 is an operation unit for mainly performing operations related to control of the AF frame, and automatically operates an operation member for an operator to input an instruction for the autofocus area 200 by manual operation or a desired subject. An operation member for performing an operation related to automatic tracking for tracking is provided.
詳細は省略するが、ＡＦ枠操作部２０は、オートフォーカス領域の位置（ＡＦ枠の位置）をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、オートフォーカス領域の大きさ（ＡＦ枠の大きさ）を手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、オートフォーカス領域の形状（ＡＦ枠の形状）を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、自動追尾の開始を指示する追尾開始スイッチ６８、自動追尾の停止を指示する追尾停止スイッチ７０を含んでおり、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。
Although details are omitted, the AF frame operation unit 20 includes a position operation member 60 (for example, a joystick or a trackball) for moving the position of the autofocus area (the position of the AF frame) up and down and left and right manually by the user. A size operation member 62 (for example, a knob) for changing the size of the autofocus area (size of the AF frame) by manual operation, and a shape for changing the shape of the autofocus area (shape of the AF frame) by manual operation. A shape operation member 64 (for example, a knob), a tracking start switch 68 for instructing start of automatic tracking, and a tracking stop switch 70 for instructing stop of automatic tracking are included, and these operation members 60, 62, 64, 68, The setting state of 70 is read by the CPU 38 of the main board 30 in the image processing unit 18. .
また、ＡＦ枠操作部２０には、タッチパネル付き液晶ディスプレイ（以下、ＬＣＤという。）６６が設けられている。ＬＣＤ６６は、自動追尾に関するモード等の設定をタッチ操作（タップ操作）で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像が設定内容に応じて適宜切り換えられるようになっている。
Further, the AF frame operation unit 20 is provided with a liquid crystal display (hereinafter referred to as LCD) 66 with a touch panel. The LCD 66 is configured so that settings such as a mode relating to automatic tracking can be input by a touch operation (tap operation) so that an image displayed on the LCD 66 can be appropriately switched according to the setting contents by the CPU 38 of the image processing unit 18. It has become.
なお、本実施の形態では、後述する自動追尾モードによる自動追尾のみが行われる場合には、ＡＦ枠操作部２０の各操作部材６０、６２、６４、６８、７０の一部又は全てが設けられていなくてもよい。また、ＬＣＤ６６も必ずしも設けられていなくてもよい。後述する自動追尾モードによれば、これらの操作部材６０、６２、６４、６８、７０や、ＬＣＤ６６の操作を必要とすることなく、自動追尾が可能であり、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラに好ましく適用することができる。もし、スペース的に問題なく、操作性にも影響を与えなければ各操作部材６０、６２、６４、６８、７０の一部又は全て、或いはＬＣＤ６６を適宜設けて、ＡＦ枠の位置をマニュアルで変更できるようにしてもよい。
In the present embodiment, when only automatic tracking in the automatic tracking mode described later is performed, some or all of the operation members 60, 62, 64, 68, and 70 of the AF frame operation unit 20 are provided. It does not have to be. In addition, the LCD 66 is not necessarily provided. According to the automatic tracking mode to be described later, automatic tracking is possible without the need to operate these operating members 60, 62, 64, 68, 70 and LCD 66, and an AF frame operating device such as a handy camera. Can be preferably applied to a small camera in which installation of the camera is difficult in terms of space. If there is no problem in space and the operability is not affected, a part or all of each operation member 60, 62, 64, 68, 70, or LCD 66 is provided as appropriate, and the position of the AF frame is changed manually. You may be able to do it.
次に画像処理ユニット１８の構成及び処理内容について説明する。
Next, the configuration and processing contents of the image processing unit 18 will be described.
画像処理ユニット１８は、メインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４を含んで構成される。メインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。
The image processing unit 18 includes a main board 30, a pattern matching processing calculation board 32, and a face recognition processing calculation board 34. The main board 30, the pattern matching processing calculation board 32, and the face recognition processing calculation board 34 are equipped with CPUs 38, 50, 52, respectively, and perform individual calculation processing for each board, and each CPU 38, 50, 52 are connected by a bus or a control line so that data can be exchanged and arithmetic processing can be synchronized with each other.
画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ５８、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ３９等が搭載されている。
The processing in the image processing unit 18 is performed in an integrated manner on the main board 30. The main board 30 is equipped with an SCI 58, a decoder (A / D converter) 36, a superimposer 42, a RAM 39, etc., in addition to the CPU 38 that performs arithmetic processing.
ＳＣＩ５８は、上述のようにレンズ装置１２のＳＣＩ１２ａとの間でシリアル通信を行うためのインターフェース回路であり、上記ＡＦ枠情報等をレンズ装置１２に送信する。
The SCI 58 is an interface circuit for performing serial communication with the SCI 12a of the lens device 12 as described above, and transmits the AF frame information and the like to the lens device 12.
デコーダ３６は、上記ダウンコンバータ４６から画像処理ユニット１８に入力されるテレビカメラ１０の撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。このデコーダ３６から出力される撮影映像の映像信号は、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４にも送られ、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４においてもテレビカメラ１０の撮影映像を１コマ単位の撮影画像として取得することができるようになっている。
The decoder 36 is a circuit for converting the video signal (SDTV signal) of the captured video of the television camera 10 input from the down converter 46 to the image processing unit 18 into data that can be digitally processed by the image processing unit 18. A / D conversion processing for converting an analog SDTV signal into a video signal of digital data is performed. The video signal of the captured video output from the decoder 36 is also sent to the pattern matching processing calculation board 32 and the face recognition processing calculation board 34, and the TV camera 10 is also used in the pattern matching processing calculation board 32 and the face recognition processing calculation board 34. The captured video can be acquired as a captured image for each frame.
なお、画像処理ユニット１８は、ＣＰＵ３８により書込み・読出し可能なメモリ等も備えており、処理データの記憶などに適宜使用される。また、このメモリには、後述する自動追尾モードにおけるＡＦ枠設定処理（図４のステップＳ１０）において設定されるオートフォーカス領域の位置、大きさ、形状に関する情報が記憶されている。このオートフォーカス領域の位置、大きさ、形状に関する設定情報は、操作者（カメラマン）の好みに応じてＡＦ枠操作部２０の所定操作により変更可能であることが好ましい。
The image processing unit 18 includes a memory that can be written and read by the CPU 38, and is used as appropriate for storing processing data. In addition, information relating to the position, size, and shape of the autofocus area set in the AF frame setting process (step S10 in FIG. 4) in the automatic tracking mode described later is stored in this memory. It is preferable that the setting information regarding the position, size, and shape of the autofocus area can be changed by a predetermined operation of the AF frame operation unit 20 according to the preference of the operator (cameraman).
スーパーインポーザ４２は、上記のデコーダ３６により得られた撮影映像の映像信号と、ＣＰＵ３８により生成される画像信号とを合成し、その合成した映像信号をＬＣＤ６６に出力・表示する回路である。これにより、カメラ本体１４に設置されているビューファインダ１６と同様にテレビカメラ１０の撮影映像がＬＣＤ６６に表示されると共に、その撮影映像に重ねて、現在設定されているオートフォーカス領域の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面（メニュー画像）等がＬＣＤ６６に表示される。なお、撮影映像に重畳させることなくＣＰＵ３８で生成された画像のみを表示させることも当然可能である。
The superimposer 42 is a circuit that synthesizes the video signal of the captured video obtained by the decoder 36 and the image signal generated by the CPU 38 and outputs and displays the synthesized video signal on the LCD 66. As a result, the video image of the television camera 10 is displayed on the LCD 66 in the same manner as the viewfinder 16 installed in the camera body 14, and the image of the currently set autofocus area is superimposed on the video image, A menu screen (menu image) or the like that allows input operations on the touch panel is displayed on the LCD 66. Of course, it is also possible to display only the image generated by the CPU 38 without being superimposed on the captured video.
ＲＡＭ３９は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。
The RAM 39 is a memory that temporarily stores data used in the arithmetic processing of the CPU 38.
パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。
The pattern matching processing calculation board 32 and the face recognition processing calculation board 34 are calculation boards for individually performing pattern matching and face detection / authentication processing, and temporarily store image data in addition to the CPUs 50 and 52 that perform calculation processing. VRAMs 54, 56 and the like for storing them are provided.
また、画像処理ユニット１８には、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードやＵＳＢメモリなどの外部メモリとして顔認証データカード７４を装填するスロット（不図示）が設けられており、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予め顔認証データカード７４に保存しておき、その顔認証データカード７４をスロットに装填することで、顔認識に必要な認証データを顔認証データカード７４からＣＰＵ３８が読み込めるようになっている。
In addition, the image processing unit 18 is provided with a slot (not shown) in which a face authentication data card 74 is loaded as an external memory such as an SD (Secure Digital) card or a USB memory. Authentication data indicating the face of the specific person is stored in advance in the face authentication data card 74, and the face authentication data card 74 is loaded in the slot so that authentication data necessary for face recognition is detected. Can be read from the face authentication data card 74 by the CPU 38.
続いて、上記のごとく構成された画像処理ユニット１８によるオートフォーカス領域の制御についてＬＣＤ６６の表示及び操作に関する処理と共に説明する。
Subsequently, control of the autofocus area by the image processing unit 18 configured as described above will be described together with processing related to display and operation of the LCD 66.
図３は、本発明の実施の形態のオートフォーカスシステムにおけるタッチパネル付き液晶ディスプレイに表示される画面の一例を示す図である。
FIG. 3 is a diagram showing an example of a screen displayed on the liquid crystal display with a touch panel in the autofocus system according to the embodiment of the present invention.
図３に示すようにＬＣＤ６６の画面６６ａには、テレビカメラ１０の撮影映像に重畳して各種ボタン３００～３１２からなるメニュー画面（メニュー画像）と、現在設定されているオートフォーカス領域２００（図２参照）を示すＡＦ枠２０４が表示される。メニュー画面の各種ボタン３００～３１２やＡＦ枠２０４のように撮影映像に重畳される画像は、図１に示した画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により生成され、それらの画像が、スーパーインポーザ４２においてデコーダ３６から出力されるテレビカメラ１０の撮影映像に重畳されてＬＣＤ６６に表示されるようになっている。なお、ＬＣＤ６６の表示（表示内容）に関する制御はＣＰＵ３８により行われるものである。
As shown in FIG. 3, on the screen 66a of the LCD 66, a menu screen (menu image) composed of various buttons 300 to 312 superimposed on the video image taken by the TV camera 10 and the currently set autofocus area 200 (FIG. 2). AF frame 204 indicating (see) is displayed. Images to be superimposed on the captured video, such as the various buttons 300 to 312 and the AF frame 204 on the menu screen, are generated by the CPU 38 of the main board 30 in the image processing unit 18 shown in FIG. The poser 42 is displayed on the LCD 66 so as to be superimposed on the video image taken by the television camera 10 output from the decoder 36. Note that the CPU 38 controls the display (display contents) on the LCD 66.
一方、ＬＣＤ６６はタッチパネルを備えており、ＬＣＤ６６の画面６６ａに対して指先等が触れるタッチ操作が行われると、触れた位置（座標）を示す位置情報がＣＰＵ３８に与えられるようになっている。これにより、ＬＣＤ６６の画面６６ａに対して行われたタッチ操作の位置や操作の種類（タップ操作、ダブルタップ操作等）がＣＰＵ３８により検出されるようになっている。そして、その操作に従った処理がＣＰＵ３８により実行されるようになっている。
On the other hand, the LCD 66 is provided with a touch panel, and when a touch operation with which a fingertip or the like touches the screen 66a of the LCD 66 is performed, position information indicating the touched position (coordinates) is given to the CPU 38. Thereby, the position of the touch operation performed on the screen 66a of the LCD 66 and the type of operation (tap operation, double tap operation, etc.) are detected by the CPU 38. A process according to the operation is executed by the CPU 38.
ＬＣＤ６６の画面６６ａにおける基本的な操作として、各ボタン３００～３１２に予め割り当てられた指示を入力する操作や、オートフォーカス領域（ＡＦ枠２０４によって囲まれた領域）を指定する操作があり、前者の操作は、各ボタン３００～３１２の位置を指先等でタップ操作するものである。後者のオートフォーカス領域を指定する操作は、例えば、撮影映像が表示されたＬＣＤ６６の画面６６ａ上において、オートフォーカス領域を移動させたい位置をタップ操作すれば、その位置が中心となるようにオートフォーカス領域を移動させることができる。また、オートフォーカス領域２００を囲うＡＦ枠２０４の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてオートフォーカス領域の大きさや形状を変更することができる。
As basic operations on the screen 66a of the LCD 66, there are an operation for inputting an instruction assigned in advance to each of the buttons 300 to 312 and an operation for designating an autofocus area (area surrounded by the AF frame 204). The operation is to tap the position of each button 300-312 with a fingertip or the like. The latter operation for designating the autofocus area is, for example, by tapping the position where the autofocus area is to be moved on the screen 66a of the LCD 66 on which the captured video is displayed, so that the autofocus area is centered. The area can be moved. Further, the size of the autofocus area can be determined by moving the position of the touched vertex or side to the position where the drag operation is performed by the drag operation of sliding the AF frame 204 surrounding the autofocus area 200 with the fingertip and the like. The shape can be changed.
なお、オートフォーカス領域の位置、大きさ、形状は、ＡＦ枠操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４の操作でも変更可能である。
Note that the position, size, and shape of the autofocus region can be changed by operating the position operation member 60, the size operation member 62, and the shape operation member 64 of the AF frame operation unit 20.
ＬＣＤ６６の画面６６ａに表示されるメニュー画面（メニュー画像）について説明すると、図３において、”固定”と表示された固定モード選択ボタン３００、”物体追尾”と表示された物体追尾モード選択ボタン３０２、”顔検出”と表示された顔検出追尾モード選択ボタン３０４、”顔認識”と表示された顔認識追尾モード選択ボタン３０６、”全自動追尾”と表示された全自動追尾モード選択ボタン３０８は、オートフォーカスの制御モードを選択するボタンであり、これらのボタン３００～３０８のいずれかをタップ操作することで、固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モード、全自動追尾モードのうちから所望のモードを選択することできるようになっている。
The menu screen (menu image) displayed on the screen 66a of the LCD 66 will be described. In FIG. 3, a fixed mode selection button 300 displayed as “fixed”, an object tracking mode selection button 302 displayed as “object tracking”, A face detection tracking mode selection button 304 displayed as “face detection”, a face recognition tracking mode selection button 306 displayed as “face recognition”, and a fully automatic tracking mode selection button 308 displayed as “full automatic tracking” This button is used to select the auto focus control mode. By tapping any of these buttons 300 to 308, the fixed mode, object tracking mode, face detection tracking mode, face recognition tracking mode, and fully automatic tracking mode can be selected. A desired mode can be selected from among them.
固定モードは、オートフォーカス領域（位置、大きさ、形状）を操作者がマニュアル操作で指定し、その指定した位置にＡＦ枠を表示して、オートフォーカス領域を固定するモード（マニュアルモード）である。この固定モードは、カメラをほとんど動かさないニュース番組などでの撮影に有益なモードである。
The fixed mode is a mode (manual mode) in which an operator designates an autofocus area (position, size, shape) by manual operation, displays an AF frame at the designated position, and fixes the autofocus area. . This fixed mode is a mode that is useful for shooting news programs that hardly move the camera.
図３のＬＣＤ６６の画面６６ａにおいて固定モード選択ボタン３００をタップ操作すると固定モードが選択され、画像処理ユニット１８のメインボード３０に搭載されたＣＰＵ３８は、固定モードの処理を実行する。
3 When the fixed mode selection button 300 is tapped on the screen 66a of the LCD 66 in FIG. 3, the fixed mode is selected, and the CPU 38 mounted on the main board 30 of the image processing unit 18 executes processing in the fixed mode.
即ち、ＣＰＵ３８は、上記のようにＬＣＤ６６の画面６６ａに対するオートフォーカス領域を変更する操作や、ＡＦ枠操作部２０に設けられたＡＦ枠２０４をマニュアル操作で変更するための操作部材（位置操作部材６０、サイズ操作部材６２、形状操作部材６４）の操作に基づいてオートフォーカス領域を決定する。ＣＰＵ３８は、オートフォーカス領域を決定すると、そのオートフォーカス領域の情報を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。
That is, the CPU 38 operates to change the autofocus area on the screen 66a of the LCD 66 as described above, or an operation member (position operation member 60) for manually changing the AF frame 204 provided in the AF frame operation unit 20. The autofocus area is determined based on the operations of the size operation member 62 and the shape operation member 64). When the CPU 38 determines the autofocus area, the CPU 38 transmits AF frame information indicating the information of the autofocus area to the lens CPU of the lens apparatus 12 through the SCI 58.
自動追尾モードは、オートフォーカス領域内の所定の被写体を追尾対象とし、新たな撮影画像における当該追尾対象の存在領域を新たなオートフォーカス領域として決定する処理を行うモードである。自動追尾モードは、「物体追尾モード」、「顔検出追尾モード」、「顔認識追尾モード」、「全自動追尾モード」を含む、複数のモードを有している。
The automatic tracking mode is a mode in which a predetermined subject in the autofocus area is set as a tracking target, and a region where the tracking target exists in a new captured image is determined as a new autofocus area. The automatic tracking mode has a plurality of modes including “object tracking mode”, “face detection tracking mode”, “face recognition tracking mode”, and “full automatic tracking mode”.
物体追尾モードは、任意の物体を追尾させるモードである。この追尾対象とされた物体の少なくとも一部がＡＦ枠で囲われて表示されている。この物体追尾モードは、人物の顔以外を追尾する競馬中継、カ－レース中継などでの撮影に有益なモードである。このモードでは、撮影映像に対して操作者が追尾対象としたい任意の物体の画像を含むようにオートフォーカス領域を指定すると、ＡＦ枠に囲われたオートフォーカス領域内の物体が追尾対象として設定される。そして、その追尾対象の画像が基準パターンとして登録され、パターンマッチング処理演算ボード３２のＣＰＵ５０において、順次得られる撮影画像に対して、基準パターンに一致する画像範囲を検出するためのパターンマッチング処理が行われる。メインボード３０のＣＰＵ３８は、その基準パターンが検出された範囲を新たなオートフォーカス領域として決定し、このオートフォーカス領域の情報をレンズ装置１２のレンズＣＰＵに送信する。なお、物体の自動追尾を開始する際にレンズ装置１２においてＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、物体の自動追尾の開始と連動してＡＦの開始も指示される。
The object tracking mode is a mode for tracking an arbitrary object. At least a part of the object to be tracked is displayed surrounded by an AF frame. This object tracking mode is a mode useful for shooting in a horse race relay, a car race relay, etc. for tracking other than a human face. In this mode, if the autofocus area is specified so that the operator includes an image of an arbitrary object that is desired to be tracked in the captured video, the object in the autofocus area surrounded by the AF frame is set as the tracking target. The Then, the image to be tracked is registered as a reference pattern, and the CPU 50 of the pattern matching processing calculation board 32 performs pattern matching processing for detecting an image range that matches the reference pattern on the sequentially obtained captured images. Is called. The CPU 38 of the main board 30 determines a range in which the reference pattern is detected as a new autofocus area, and transmits information on the autofocus area to the lens CPU of the lens device 12. When focus control by AF is not performed in the lens device 12 when starting automatic tracking of an object (when the AF mode is not set), AF starts in conjunction with the start of automatic tracking of the object. Is also instructed.
顔検出追尾モードは、任意の人物の顔をＡＦ枠で追尾させるモードである。この追尾対象とされた人物の顔領域と頭髪領域で構成される拡大領域がオートフォーカス領域としてＡＦ枠で囲われて表示されている。この顔検出追尾モードは、人物の顔を検出して追尾する歌謡番組などでの撮影に有益なモードである。このモードでは、まず、顔認識処理演算ボード３４のＣＰＵ５２において撮影画像の中から任意の人物の顔画像を検出するため、人物の顔の構成部品である眉毛、目、鼻及び口などを含み、頭髪を含まない顔領域の検出を行うことによって、顔検出処理が行われる。そして、検出された顔領域に対応する顔画像の中から追尾対象とする顔画像を操作者が指定すると、その指定された顔画像が追尾対象として設定される。以後、順次得られる撮影画像に対して顔認識処理演算ボード３４のＣＰＵ５２により顔検出処理が行われると共に、検出された顔領域に対応する顔画像の中から追尾対象の顔画像を特定する処理がメインボード３０のＣＰＵ３８により行われる。
The face detection tracking mode is a mode for tracking the face of an arbitrary person using the AF frame. An enlarged area composed of the face area and the hair area of the person to be tracked is displayed as an autofocus area surrounded by an AF frame. This face detection tracking mode is a mode useful for shooting in a song program or the like that detects and tracks a person's face. In this mode, first, the CPU 52 of the face recognition processing calculation board 34 includes eyebrows, eyes, nose, mouth, and the like that are components of the person's face in order to detect a face image of an arbitrary person from the captured images. Face detection processing is performed by detecting a face region that does not include hair. When the operator designates a face image to be tracked from the face images corresponding to the detected face area, the designated face image is set as the track target. Thereafter, the CPU 52 of the face recognition processing calculation board 34 performs face detection processing on the sequentially obtained captured images, and processing for specifying a tracking target face image from the face images corresponding to the detected face area. This is performed by the CPU 38 of the main board 30.
更に、メインボード３０のＣＰＵ３８は、顔検出処理によって検出された顔領域に、後述するように、この顔領域に隣接する頭髪領域を加え拡大領域とし、この拡大領域をオートフォーカス領域として決定し、オートフォーカス領域の情報をレンズ装置１２のレンズＣＰＵに送信する。
Further, the CPU 38 of the main board 30 adds a hair area adjacent to the face area to the face area detected by the face detection process to be an enlarged area, and determines the enlarged area as an autofocus area. Information on the autofocus area is transmitted to the lens CPU of the lens device 12.
顔認識追尾モードは、事前に認証データとして登録した人物の顔を追尾させるモードである。この追尾対象とされた人物の顔領域と頭髪領域で構成される拡大領域がオートフォーカス領域としてＡＦ枠で囲われて表示されている。この顔認識追尾モードは、撮影する人物が事前に決まっている歌謡番組やスポーツ中継などでの撮影に有益なモードである。このモードでは、図１に示した画像処理ユニット１８のスロット（不図示）に装填された顔認証データカード７４から追尾対象とする人物の顔の認証データが取り込まれる。そして、顔検出追尾モードと同様に顔認識処理演算ボード３４のＣＰＵ５２において顔検出処理が行われると共に、検出された顔画像の中から追尾対象の顔画像が認証データを用いた周知の顔認証処理により検出される。メインボード３０のＣＰＵ３８は、顔認証処理によって検出された顔画像に対応する顔領域と、この顔領域に隣接する頭髪領域を加え拡大領域とし、この拡大領域をオートフォーカス領域として決定し、オートフォーカス領域の情報をレンズ装置１２のレンズＣＰＵに送信する。
The face recognition tracking mode is a mode for tracking the face of a person registered in advance as authentication data. An enlarged area composed of the face area and the hair area of the person to be tracked is displayed as an autofocus area surrounded by an AF frame. This face recognition tracking mode is a mode useful for shooting in a song program or a sports broadcast in which a person to be shot is determined in advance. In this mode, the face authentication data of the person to be tracked is fetched from the face authentication data card 74 loaded in the slot (not shown) of the image processing unit 18 shown in FIG. Then, face detection processing is performed in the CPU 52 of the face recognition processing calculation board 34 in the same manner as in the face detection tracking mode, and the face image to be tracked from the detected face images is a well-known face authentication process using authentication data. Is detected. The CPU 38 of the main board 30 adds the face area corresponding to the face image detected by the face authentication process and the hair area adjacent to the face area as an enlarged area, determines this enlarged area as an autofocus area, and autofocuses. The area information is transmitted to the lens CPU of the lens device 12.
全自動追尾モードは、上述した顔検出追尾モードと同様に、顔認識処理演算ボード３４のＣＰＵ５２において撮影画像の中から任意の人物の顔画像を検出するための周知の顔検出処理が行われる。そして、撮影画像の中に人物の顔画像が含まれる場合には、操作者が指定することなく、その顔画像が追尾対象として自動的に設定される。その際、撮影画像の中に複数の顔画像が含まれる場合には、顔の大きさや位置に応じて追尾対象とする顔画像が決定される。一方、撮影画像の中に人物の顔画像が含まれない場合には、上述した物体追尾モードによる自動追尾が実行される。
In the fully automatic tracking mode, a well-known face detection process for detecting a face image of an arbitrary person from a photographed image is performed by the CPU 52 of the face recognition processing calculation board 34, as in the face detection tracking mode described above. When a photographed image includes a human face image, the face image is automatically set as a tracking target without designation by the operator. At this time, when a plurality of face images are included in the photographed image, the face image to be tracked is determined according to the size and position of the face. On the other hand, when the person's face image is not included in the captured image, the automatic tracking in the object tracking mode described above is executed.
なお、図３において、”セット”と表示されたセットボタン３１０と、”リセット”と表示されたリセットボタン３１２は、自動追尾の開始と停止を指示するボタンであり、これらのボタン３１０、３１２は、自動追尾の開始又は停止の指示を操作者が行う制御モード（物体追尾モード、顔検出モード）が選択された場合にのみ表示される。なお、これらのセットボタン３１０とリセットボタン３１２は、ＡＦ枠操作部２０の追尾開始スイッチ６８と追尾停止スイッチ７０（図１参照）と同様に作用するボタンである。
In FIG. 3, a set button 310 displayed as “set” and a reset button 312 displayed as “reset” are buttons for instructing start and stop of automatic tracking. This is displayed only when a control mode (object tracking mode, face detection mode) in which the operator instructs to start or stop automatic tracking is selected. The set button 310 and the reset button 312 are buttons that operate in the same manner as the tracking start switch 68 and the tracking stop switch 70 (see FIG. 1) of the AF frame operation unit 20.
続いて、上記のごとく構成された画像処理ユニット１８による自動追尾において全自動追尾モードが選択されたときの処理について説明する。図４は、画像処理ユニットのＣＰＵにおける全自動追尾モードが選択されたときの自動追尾の処理手順を示したフローチャートである。
Subsequently, processing when the fully automatic tracking mode is selected in the automatic tracking by the image processing unit 18 configured as described above will be described. FIG. 4 is a flowchart showing a procedure for automatic tracking when the fully automatic tracking mode is selected in the CPU of the image processing unit.
所定操作によって全自動追尾モードが選択されると、まず、メインボード３０のＣＰＵ３８は、オートフォーカス領域を設定するＡＦ枠設定処理を行う（ステップＳ１０）。このＡＦ枠設定処理では、メインボード３０のメモリ（不図示）に記憶されているオートフォーカス領域の位置、大きさ、形状に関する情報に基づいて、撮影範囲（撮像エリア）におけるオートフォーカス領域を設定する。そして、このようにして設定したオートフォーカス領域（位置、大きさ、形状）の情報を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。これによって、レンズ装置１２のＡＦユニット４０において設定されるオートフォーカス領域が、ＡＦ枠情報により指定した範囲に設定される。
When the fully automatic tracking mode is selected by a predetermined operation, first, the CPU 38 of the main board 30 performs an AF frame setting process for setting an autofocus area (step S10). In this AF frame setting process, an autofocus area in an imaging range (imaging area) is set based on information on the position, size, and shape of the autofocus area stored in a memory (not shown) of the main board 30. . Then, AF frame information indicating information of the autofocus area (position, size, shape) set in this way is transmitted to the lens CPU of the lens device 12 through the SCI 58. As a result, the autofocus area set in the AF unit 40 of the lens apparatus 12 is set to a range designated by the AF frame information.
なお、メインボード３０のＣＰＵ３８は、ＬＣＤ６６が接続されているか否かを判断し、ＬＣＤ６６が接続されていないと判断した場合には、全自動追尾モードが選択されているものとして図４に示したフローチャートに従って各処理を行うようになっている。
Note that the CPU 38 of the main board 30 determines whether or not the LCD 66 is connected, and if it is determined that the LCD 66 is not connected, the fully automatic tracking mode is selected as shown in FIG. Each process is performed according to the flowchart.
続いてＣＰＵ３８からの指示により顔認識処理演算ボード３４のＣＰＵ５２は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ１２）。そして、その撮影画像の中に含まれる任意の人物の顔画像（顔領域）を検出する周知の顔検出処理を行う（ステップＳ１４）。そして、検出した顔画像をメインボード３０のＣＰＵ３８に通知する。
Subsequently, in response to an instruction from the CPU 38, the CPU 52 of the face recognition processing calculation board 34 takes in the image data of the photographed image for one frame from the decoder 36 (step S12). Then, a known face detection process for detecting a face image (face area) of an arbitrary person included in the photographed image is performed (step S14). Then, the detected face image is notified to the CPU 38 of the main board 30.
次にＣＰＵ３８は、ステップＳ１４における顔検出処理により撮影画像内に顔画像が検出されたか否かを判定する（ステップＳ１６）。
Next, the CPU 38 determines whether or not a face image is detected in the captured image by the face detection process in step S14 (step S16).
このステップＳ１６においてＮＯと判定した場合には、ステップＳ２０～ステップＳ３０のパターンマッチング処理による自動追尾の処理に移行し、ＹＥＳと判定した場合には、ステップＳ４０～ステップＳ５０の顔検出処理による自動追尾の処理に移行する。
If NO is determined in step S16, the process proceeds to automatic tracking processing by the pattern matching process in steps S20 to S30. If YES is determined, automatic tracking is performed by the face detection process in steps S40 to S50. Move on to processing.
ステップＳ１６においてＮＯと判定した場合、即ち、撮影画像内に顔画像が含まれていないと判定した場合には、ＣＰＵ３８（及びパターンマッチング処理演算ボード３２のＣＰＵ５０）は、ステップＳ２０～ステップＳ３０のパターンマッチング処理による自動追尾の処理を開始する。この場合、ＣＰＵ３８は、まず、ステップＳ１２により取り込んだ撮影画像のうちオートフォーカス領域の画像を基準パターンの画像として登録（記憶）する（ステップＳ２０）。そして、以下のステップＳ２２～Ｓ３０の処理を繰り返し実行する。
If it is determined NO in step S16, that is, if it is determined that a face image is not included in the captured image, the CPU 38 (and the CPU 50 of the pattern matching processing calculation board 32) performs the pattern of steps S20 to S30. The automatic tracking process using the matching process is started. In this case, the CPU 38 first registers (stores) the image in the autofocus area among the captured images captured in step S12 as the reference pattern image (step S20). Then, the following steps S22 to S30 are repeatedly executed.
基準パターンの画像を登録すると、ＣＰＵ３８からの指示によりパターンマッチング処理演算ボード３２のＣＰＵ５０は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ２２）。そして、ＣＰＵ５０は、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する（ステップＳ２４）。そして、その検出した画像範囲をメインボード３０のＣＰＵ３８に通知する。
When the image of the reference pattern is registered, the CPU 50 of the pattern matching processing calculation board 32 takes in the image data of the captured image for one frame from the decoder 36 in accordance with an instruction from the CPU 38 (step S22). Then, the CPU 50 performs a pattern matching process to detect an image range that matches the image of the reference pattern from the captured images (step S24). Then, the detected image range is notified to the CPU 38 of the main board 30.
続いて、ＣＰＵ３８は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているオートフォーカス領域と相違しているか否かを判定する（ステップＳ２６）。なお、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。
Subsequently, the CPU 38 determines whether or not the image of the reference pattern has moved, that is, whether or not the image range in which the reference pattern is detected is different from the currently set autofocus area (step S26). . Note that the determination process also determines YES when the size of the image of the reference pattern in the captured image changes.
ステップＳ２６においてＹＥＳと判定した場合には、ステップＳ２４において検出した画像範囲を新たなオートフォーカス領域として設定（更新）し、そのオートフォーカス領域の情報を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ２８）。
If YES is determined in step S26, the image range detected in step S24 is set (updated) as a new autofocus area, and AF frame information indicating information on the autofocus area is set in the lens CPU of the lens device 12. Transmit (step S28).
また、ステップＳ２４において検出した画像範囲の画像を新たな基準パターンの画像として更新する（ステップＳ３０）。
Also, the image in the image range detected in step S24 is updated as a new reference pattern image (step S30).
ステップＳ２６においてＮＯと判定した場合には、ステップＳ２８におけるオートフォーカス領域の更新は行わず、ステップＳ３０における基準パターンの更新のみを行う。
If it is determined NO in step S26, the autofocus area is not updated in step S28, and only the reference pattern is updated in step S30.
ステップＳ３０の処理が終了すると、ステップＳ２２の処理に戻る。
When the process of step S30 is completed, the process returns to step S22.
なお、操作者により自動追尾の停止を指示する操作、即ち、追尾停止スイッチがオンされると、自動追尾の処理を停止し、ステップＳ１０に戻る。即ち、オートフォーカス領域を囲むＡＦ枠が撮影画像の所定位置（例えば中心位置）に戻されて固定され、自動追尾が実行されなくなる。
Note that when the operator instructs to stop the automatic tracking, that is, when the tracking stop switch is turned on, the automatic tracking process is stopped and the process returns to step S10. That is, the AF frame surrounding the autofocus area is returned and fixed to a predetermined position (for example, the center position) of the captured image, and automatic tracking is not executed.
また、操作者によって追尾対象の被写体を撮影画像から意図的に外すカメラ操作が行われた場合にも、追尾停止スイッチがオンされた場合と同様、自動追尾の処理を停止するようにしてもよい。簡易な操作で自動追尾を停止させることができる。
Also, when the operator performs a camera operation that intentionally removes the subject to be tracked from the captured image, the automatic tracking process may be stopped as in the case where the tracking stop switch is turned on. . Automatic tracking can be stopped with a simple operation.
一方、ステップＳ１６においてＹＥＳと判定した場合、即ち、撮影画像内に顔画像が含まれていると判定した場合には、ＣＰＵ３８（及び顔認識処理演算ボード３４のＣＰＵ５２）は、ステップＳ４０～ステップＳ５０の顔検出処理による自動追尾の処理を開始する。この場合、ＣＰＵ３８は、まず、撮影画像内に検出された顔に適合するオートフォーカス領域を設定（ＡＦ枠を表示）する（ステップＳ４０）。例えば、ステップＳ１４の顔検出処理により検出した際の顔領域と、この顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域に変更する。そして、ステップＳ４２～ステップＳ５０の処理を繰り返す。
On the other hand, if it is determined as YES in step S16, that is, if it is determined that a face image is included in the captured image, the CPU 38 (and the CPU 52 of the face recognition processing calculation board 34) performs steps S40 to S50. The automatic tracking process by the face detection process is started. In this case, the CPU 38 first sets an autofocus area (displays an AF frame) that matches the detected face in the captured image (step S40). For example, the face area detected by the face detection process in step S14 and the enlarged area including the hair area adjacent to the face area are changed to the autofocus area. Then, the processing from step S42 to step S50 is repeated.
ここで、ステップＳ４０の更新処理について詳しく説明すると、メインボード３０のＣＰＵ３８は、まず、ステップＳ１４における顔検出処理により撮影画像内に検出された人物の顔画像（顔領域）が１つか否かを判定する（ステップＳ６０）。
Here, the update process in step S40 will be described in detail. First, the CPU 38 of the main board 30 determines whether or not there is one person face image (face area) detected in the captured image by the face detection process in step S14. Determination is made (step S60).
このステップＳ６０においてＹＥＳと判定した場合、即ち、撮影画像内に検出された顔画像は１つであると判定した場合には、ＣＰＵ３８は、顔検出処理により検出された顔画像を追尾対象（ＡＦ対象）として、その顔画像に対応するする顔領域に、この顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域に変更（更新）する（ステップＳ６２）。
When it is determined YES in step S60, that is, when it is determined that there is one face image detected in the captured image, the CPU 38 detects the face image detected by the face detection process as a tracking target (AF As an object, an enlarged area obtained by adding a hair area adjacent to the face area corresponding to the face image is changed (updated) to an autofocus area (step S62).
一方、ステップＳ６０においてＮＯと判定した場合、即ち、ステップＳ１６における顔検出処理により撮影画像内に検出された顔画像は複数であると判定した場合には、ＣＰＵ３８は、撮影画像内に含まれる複数の顔画像の大きさに差があるか否かを判定する（ステップＳ６４）。
On the other hand, if it is determined as NO in step S60, that is, if it is determined that there are a plurality of face images detected in the captured image by the face detection process in step S16, the CPU 38 includes a plurality of images included in the captured image. It is determined whether or not there is a difference in the size of the face images (step S64).
このステップＳ６４においてＹＥＳと判定した場合、即ち、顔検出処理により検出された複数の顔画像の大きさに差があると判定した場合には、ＣＰＵ３８は、これらの複数の顔画像のうち最も大きい顔画像を追尾対象として、その顔画像に対応するする顔領域に、この顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域に変更（更新）する（ステップＳ６６）。
When it is determined YES in step S64, that is, when it is determined that there is a difference in the size of the plurality of face images detected by the face detection process, the CPU 38 is the largest of the plurality of face images. With the face image as a tracking target, an enlarged area obtained by adding a hair area adjacent to the face area corresponding to the face image is changed (updated) to an autofocus area (step S66).
一方、ステップＳ６４においてＮＯと判定した場合、即ち、顔検出処理により検出された複数の顔画像の大きさに差がないと判定した場合には、ＣＰＵ３８は、これらの複数の顔画像のうち撮影画像内の中央側に位置する顔画像を追尾対象として、その顔画像に対応する顔領域に、この顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域に変更（更新）する（ステップＳ６８）。
On the other hand, when it is determined as NO in step S64, that is, when it is determined that there is no difference in the sizes of the plurality of face images detected by the face detection process, the CPU 38 captures the image among the plurality of face images. A face image located at the center side in the image is set as a tracking target, and an enlarged region obtained by adding a hair region adjacent to the face region corresponding to the face image is changed (updated) to an autofocus region (step) S68).
このようにステップＳ４０の更新処理では、撮影画像内に複数の顔画像が検出された場合には、複数の顔画像の大きさに差がある場合には最も大きい顔画像を追尾対象（ＡＦの対象）として、オートフォーカス領域が設定され、複数の顔画像の大きさに差がない場合（各顔画像の大きさが略同一の場合）には撮影画像内の中央側に位置する顔画像を追尾対象（ＡＦの対象）として、オートフォーカス領域が設定される。
As described above, in the update process of step S40, when a plurality of face images are detected in the photographed image, the largest face image is tracked (the AF target) if there is a difference in the size of the plurality of face images. Target), if an autofocus area is set and there is no difference in the size of multiple face images (when the size of each face image is approximately the same), the face image located at the center in the captured image An autofocus area is set as a tracking target (AF target).
次に、ＣＰＵ３８の指示により顔認識処理演算ボード３４のＣＰＵ５２は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ４２）。そして、ＣＰＵ５２は、ステップＳ１４と同様に、その撮影画像の中に含まれる任意の人物の顔画像を検出する顔検出処理を行う（ステップＳ４４）。そして、検出した顔画像をメインボード３０のＣＰＵ３８に通知する。
Next, in accordance with an instruction from the CPU 38, the CPU 52 of the face recognition processing calculation board 34 takes in the image data of the photographed image for one frame from the decoder 36 (step S42). And CPU52 performs the face detection process which detects the face image of the arbitrary persons contained in the picked-up image similarly to step S14 (step S44). Then, the detected face image is notified to the CPU 38 of the main board 30.
続いて、ＣＰＵ３８は、検出された顔画像のうち、現在設定されているオートフォーカス領域に含まれる顔領域に最も近接したものを追尾対象の顔画像として検出する（ステップＳ４６）。なお、ステップＳ４６において、顔画像を検出する範囲を撮影画像全体の範囲ではなく、現在設定されているオートフォーカス領域（ＡＦ枠）及びその周辺領域に制限してもよい。
Subsequently, the CPU 38 detects the face image closest to the face area included in the currently set autofocus area among the detected face images (step S46). In step S46, the range for detecting the face image may be limited to the currently set autofocus area (AF frame) and its peripheral area instead of the entire captured image range.
そして、ＣＰＵ３８は、追尾対象の顔（顔画像）が移動したか否か、即ち、検出した顔画像が、現在設定されているオートフォーカス領域に含まれる顔領域と相違しているか否かを判定する（ステップＳ４８）。なお、顔画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。
Then, the CPU 38 determines whether or not the tracking target face (face image) has moved, that is, whether or not the detected face image is different from the face region included in the currently set autofocus region. (Step S48). Note that the determination process also determines YES when the size of the face image changes.
ステップＳ４８においてＹＥＳと判定した場合には、ステップＳ４６において検出した顔画像に対応する顔領域を新たな顔領域として設定（更新）し、その顔領域に隣接する頭髪領域を加えた拡大領域をオートフォーカス領域とし、そのオートフォーカス領域の情報を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ５０）。そして、ステップＳ４２の処理に戻る。ステップＳ４８においてＮＯと判定した場合には、ステップＳ５０におけるオートフォーカス領域（ＡＦ枠）の更新は行わず、ステップＳ４２の処理に戻る。
If YES is determined in step S48, the face area corresponding to the face image detected in step S46 is set (updated) as a new face area, and the enlarged area including the hair area adjacent to the face area is automatically set. AF frame information indicating the information of the auto focus area is transmitted to the lens CPU of the lens apparatus 12 as a focus area (step S50). Then, the process returns to step S42. If NO is determined in step S48, the autofocus area (AF frame) is not updated in step S50, and the process returns to step S42.
なお、操作者により自動追尾の停止を指示する操作、即ち、追尾停止スイッチがオンされると、自動追尾の処理を停止し、ステップＳ１０に戻る。即ち、オートフォーカス領域（ＡＦ枠）が撮影画像の所定位置（例えば中心位置）に戻されて固定され、自動追尾が実行されなくなる。
Note that when the operator instructs to stop the automatic tracking, that is, when the tracking stop switch is turned on, the automatic tracking process is stopped and the process returns to step S10. That is, the autofocus area (AF frame) is returned and fixed to a predetermined position (for example, the center position) of the captured image, and automatic tracking is not executed.
また、操作者によって追尾対象の被写体を撮影画像から意図的に外すカメラ操作が行われた場合にも、追尾停止スイッチがオンされた場合と同様、自動追尾の処理を停止するようにしてもよい。簡易な操作で自動追尾を停止させることができる。
Also, when the operator performs a camera operation that intentionally removes the subject to be tracked from the captured image, the automatic tracking process may be stopped as in the case where the tracking stop switch is turned on. . Automatic tracking can be stopped with a simple operation.
次に、ＣＰＵ３８が、人物の顔領域に頭髪領域を加えて、拡大領域とする処理の説明をする。
Next, a description will be given of processing in which the CPU 38 adds a hair region to a person's face region to make it an enlarged region.
図５は、人物の顔領域（顔画像）と頭髪領域の説明図である。
FIG. 5 is an explanatory diagram of a human face area (face image) and hair area.
図５(ａ)は、ＣＰＵ５２によって、検出される顔領域を示している。この顔領域は、図５（ａ）に示すように、人物の顔の構成部品である眉毛、目、鼻及び口などを含み、頭髪を含まない顔領域である。この際、検出された顔領域には、人物の顔のみ、又はほとんど背景が含まれないようすることが好ましい。人物の後ろにある背景が入ってしまうと、オートフォーカスの精度に悪影響がでるためである。
FIG. 5A shows a face area detected by the CPU 52. As shown in FIG. 5A, this face area includes eyebrows, eyes, nose, mouth, and the like, which are components of a human face, and does not include head hair. At this time, it is preferable that the detected face area includes only the face of the person or almost no background. This is because if the background behind the person enters, the accuracy of autofocus will be adversely affected.
図５（ｂ）は、検出された顔領域にＣＰＵ３８が頭髪領域を加える一例を示している。ＣＰＵ３８は、この顔領域に隣接する頭髪領域が含まれるように、顔領域から頭髪領域に向かう一方向にのみ、この顔領域を拡大している。なお、この顔領域から頭髪領域に向かう一方向に、約３５％から４０％程度、顔領域を拡大すれば頭髪領域が含まれる。更に、頭髪領域を含めた後、人物の後ろにある背景を含めない、又はほとんど背景が含まれないようにすることが好ましい。オートフォーカスの精度に悪影響がでるためである。また、顔領域の縦横比に基づいて、顔領域の拡大率を変更してもよい。人によって瞳などの構成要素にばらつきがあるため、一律に拡大すると、十分に頭髪領域を含めることができなかったり、背景が余計に入ってしまう可能性もあるためである。
FIG. 5B shows an example in which the CPU 38 adds the hair region to the detected face region. The CPU 38 enlarges the face area only in one direction from the face area to the hair area so that the hair area adjacent to the face area is included. If the face area is enlarged by about 35% to 40% in one direction from the face area to the hair area, the hair area is included. Furthermore, after including the hair region, it is preferable not to include the background behind the person or to include almost no background. This is because the autofocus accuracy is adversely affected. Further, the enlargement ratio of the face area may be changed based on the aspect ratio of the face area. This is because components such as pupils vary from person to person, and if they are enlarged uniformly, the hair region may not be sufficiently included, or the background may be included.
なお、頭髪領域は、撮像領域内において、顔領域に対して上であることが多い。しかし、オートフォーカスの対象となる人物が逆立ちをしたり、寝そべったりすることによって、顔領域に対する頭髪領域の位置が変わることがある。そこで、ＣＰＵ３８は、顔領域内における瞳の位置に基づいて、人物の顔の傾きを算出し、これに基づいて、どの方向に頭髪領域が顔領域に対して隣接しているのかを判断するようにしてもよい。これにより、頭髪領域に向かう方向を容易に判断することができる。
Note that the hair region is often above the face region in the imaging region. However, the position of the hair region with respect to the face region may change due to the person who is the subject of autofocus performing a handstand or lying down. Therefore, the CPU 38 calculates the inclination of the human face based on the position of the pupil in the face area, and based on this, determines in which direction the hair area is adjacent to the face area. It may be. As a result, the direction toward the hair region can be easily determined.
図５（ｃ）は、検出された顔領域にＣＰＵ３８が頭髪領域を加える他の例を示している。図５（ｃ）に示す例では、ＣＰＵ３８が、検出された顔領域の縦横比を維持したまま、顔領域を拡大している。このようにすることで、オートフォーカス対象の人物が横を向いているときには、単に一方向に顔領域を拡大するよりも大きく頭髪領域を含めることができ、より多くの高周波成分を取得することができる。
FIG. 5C shows another example in which the CPU 38 adds the hair region to the detected face region. In the example shown in FIG. 5C, the CPU 38 enlarges the face area while maintaining the aspect ratio of the detected face area. In this way, when the autofocus target person is facing sideways, the hair region can be included larger than simply expanding the face region in one direction, and more high-frequency components can be acquired. it can.
以上、本実施形態のオートフォーカスシステムによれば、顔領域に加えて頭髪領域も含めてオートフォーカス領域とすることによって、高周波成分を多く取得することができ、人物の顔に対するオートフォーカスの精度を高めることができる。
As described above, according to the autofocus system of the present embodiment, a high frequency component can be acquired by setting the autofocus region including the hair region in addition to the face region, and the autofocus accuracy for the human face can be improved. Can be increased.
また、本実施形態のオートフォーカスシステムによれば、全自動追尾モードによる自動追尾処理では、撮影画像内に人物の顔画像が含まれているか否かが判定され、撮影画像内に人物の顔画像が含まれていると判定された場合には、人物の顔画像が追尾対象に設定され、顔検出処理による自動追尾が自動的に選択されて実行される。その際、撮影画像内に複数の人物の顔画像が含まれている場合には、複数の人物の顔画像のうち、最も大きい顔画像が追尾対象として設定される。また、各顔画像の大きさが同一である場合には、撮影画像内において中央側に位置する顔画像が追尾対象として設定される。
Further, according to the autofocus system of the present embodiment, in the automatic tracking processing in the fully automatic tracking mode, it is determined whether or not a person's face image is included in the captured image, and the person's face image is included in the captured image. Is determined to be included, a person's face image is set as a tracking target, and automatic tracking by face detection processing is automatically selected and executed. At this time, when a plurality of person's face images are included in the captured image, the largest face image among the plurality of person's face images is set as the tracking target. Further, when the size of each face image is the same, the face image located on the center side in the captured image is set as the tracking target.
一方、撮影画像内に人物の顔画像が含まれていないと判定された場合には、人物の顔以外が追尾対象に設定され、パターンマッチング処理による自動追尾が自動的に選択されて実行される。
On the other hand, if it is determined that the photographed image does not include a person's face image, other than the person's face is set as a tracking target, and automatic tracking by pattern matching processing is automatically selected and executed. .
また、本実施形態では、撮影画像内に人物の顔画像が含まれる場合には、パターンマッチング処理による自動追尾（物体追尾モード）よりも顔検出処理による自動追尾（顔検出追尾モード）が優先されて実行される。
In this embodiment, when a human face image is included in the captured image, automatic tracking (face detection tracking mode) by face detection processing has priority over automatic tracking (object tracking mode) by pattern matching processing. Executed.
したがって、操作者は、追尾対象としたい被写体が人物の顔である場合には、追尾対象としたい人物の顔が撮影画像内に含まれるように撮影画角を操作するだけで、自動追尾の開始操作を行うことなく、自動追尾を行うことができるようになる。
Therefore, when the subject to be tracked is a person's face, the operator can start automatic tracking simply by operating the shooting angle of view so that the face of the person to be tracked is included in the captured image. Automatic tracking can be performed without any operation.
特に、撮影画像内に複数の人物の顔（顔画像）が含まれる場合でも、これらの顔画像の大きさや位置に応じて追尾対象とする顔が自動的に設定されてＡＦ枠の自動追尾が行われるので、操作者はＡＦ枠自動追尾を開始する際の煩雑な操作が不要となり、操作者の負担を大幅に軽減することができる。
In particular, even when a plurality of human faces (face images) are included in the captured image, the face to be tracked is automatically set according to the size and position of these face images, and automatic AF frame tracking is performed. Thus, the operator does not need a complicated operation when starting the AF frame automatic tracking, and the burden on the operator can be greatly reduced.
また、本実施形態のオートフォーカスシステムでは、上述のように全自動追尾モードを備えているので、ＡＦ枠操作部２０の一部又は全部（例えば操作部材６０、６２、６４、６８、７０やＬＣＤ６６）が設けられていなくても、全自動追尾モードによるＡＦ枠自動追尾が可能であり、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラにおいても好ましく適用することができる。
In addition, since the autofocus system according to the present embodiment includes the fully automatic tracking mode as described above, a part or all of the AF frame operation unit 20 (for example, the operation members 60, 62, 64, 68, 70 and the LCD 66). ), AF frame automatic tracking in the fully automatic tracking mode is possible, and it can be preferably applied to a small camera in which it is difficult to install an AF frame operation device such as a handy camera. .
以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
The autofocus system of the present invention has been described in detail above, but the present invention is not limited to the above examples, and various improvements and modifications may be made without departing from the scope of the present invention. Of course.
以上、説明したように、本明細書には、以下のオートフォーカスシステムが開示されている。
（１） 光学系により結像された被写体像を撮像する撮像部と、前記撮像部により撮像された撮影画像から、人物の頭髪領域を除く顔領域を検出する顔領域検出部と、前記顔領域検出部によって検出された顔領域を、第１のオートフォーカス領域として設定する第１のＡＦ領域設定部と、前記第１のＡＦ領域設定部によって設定された前記第１のオートフォーカス領域を前記顔領域に隣接する頭髪領域が含まれるように拡大し、前記第１のオートフォーカス領域と前記頭髪領域を含む拡大領域を、第２のオートフォーカス領域として設定する第２のＡＦ領域設定部と、前記第２のＡＦ領域設定部によって設定された第２のオートフォーカス領域の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス部と、を備えるオートフォーカスシステム。
（２） 上記（１）のオートフォーカスシステムであって、前記第１のＡＦ領域設定部は、前記顔領域検出部によって複数の顔領域が検出された場合に、検出された複数の顔領域のうちいずれか一つの顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。
（３） 上記（２）のオートフォーカスシステムであって、前記第１のＡＦ領域設定部は、顔領域の大きさに基づいて、検出された複数の顔領域のうちいずれか一つの顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。
（４） 上記（３）のオートフォーカスシステムであって、前記第１のＡＦ領域設定部は、検出された複数の顔領域の大きさが同じである場合に、前記撮影画像内において最も中央側に位置する顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。
（５） 上記（１）から（４）のいずれか一つのオートフォーカスシステムであって、前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦方向又は横方向のいずれか一方であって、前記顔領域から前記頭髪領域に向かう方向にのみ、前記第１のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。
（６） 上記（５）のオートフォーカスシステムであって、前記第１のオートフォーカス領域に含まれる人物の瞳の位置に基づいて、前記第２のＡＦ領域設定部は、前記１のオートフォーカス領域を拡大する方向を決定するオートフォーカスシステム。
（７） 上記（１）から（６）のいずれか一つのオートフォーカスシステムであって、前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦横比に基づいて、第１のオートフォーカス領域の拡大量を決定するオートフォーカスシステム。
（８） 上記（１）から（４）のいずれか一つのオートフォーカスシステムであって、前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦横比を維持したまま、前記第１のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。
（９） 上記（１）から（８）のいずれか一つのオートフォーカスシステムであって、第２のＡＦ領域設定部によって設定される前記第２のオートフォーカス領域は、背景を除いた人物領域のみを含むオートフォーカスシステム。
（１０） 上記（１）から（９）のいずれか一つのオートフォーカスシステムであって、更に、前記第１のＡＦ領域設定部により設定された前記第１のオートフォーカス領域の人物を追尾する自動追尾部を備え、前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。
（１１） 上記（１）から（９）のいずれか一つのオートフォーカスシステムであって、更に、前記第２のＡＦ領域設定部により設定された第２のオートフォーカス領域の人物を追尾する自動追尾部を備え、前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。
（１２） ハンディタイプのカメラに搭載される（１）から（１１）のいずれか一つに記載のオートフォーカスシステム。 As described above, the following autofocus system is disclosed in the present specification.
(1) An imaging unit that captures a subject image formed by an optical system, a face region detection unit that detects a face region excluding a human hair region from a captured image captured by the imaging unit, and the face region A first AF area setting unit that sets the face area detected by the detection unit as a first autofocus area, and the first autofocus area set by the first AF area setting unit is the face. A second AF area setting unit for enlarging the hair area adjacent to the area and setting the first autofocus area and the enlarged area including the hair area as a second autofocus area; An autofocus unit that adjusts the focus of the optical system so that the subject in the second autofocus area set by the second AF area setting unit is in focus. Autofocus system.
(2) In the autofocus system according to (1), the first AF area setting unit detects a plurality of detected face areas when the face area detecting unit detects a plurality of face areas. An autofocus system that sets any one of the face areas as the first autofocus area.
(3) In the autofocus system according to (2), the first AF area setting unit selects any one of a plurality of detected face areas based on the size of the face area. An autofocus system that is set as the first autofocus area.
(4) In the autofocus system according to (3) above, the first AF area setting unit may be located at a most central position in the captured image when the sizes of the plurality of detected face areas are the same. An autofocus system that sets a face area located at a position as the first autofocus area.
(5) The autofocus system according to any one of (1) to (4), wherein the second AF area setting unit is one of a vertical direction and a horizontal direction of the first autofocus area. In the autofocus system, the first autofocus area is enlarged only in the direction from the face area to the hair area, and the enlarged area includes the hair area.
(6) In the autofocus system according to (5) above, based on the position of the pupil of the person included in the first autofocus area, the second AF area setting unit Auto focus system to determine the direction to enlarge.
(7) The autofocus system according to any one of (1) to (6), wherein the second AF area setting unit is configured to perform a first operation based on an aspect ratio of the first autofocus area. An autofocus system that determines the amount of enlargement of the autofocus area.
(8) The autofocus system according to any one of (1) to (4), wherein the second AF area setting unit maintains the aspect ratio of the first autofocus area while maintaining the aspect ratio of the first autofocus area. An autofocus system that enlarges one autofocus area to an enlarged area including the hair area.
(9) In the autofocus system according to any one of (1) to (8) above, the second autofocus area set by the second AF area setting unit is only a person area excluding the background Including auto focus system.
(10) The autofocus system according to any one of (1) to (9) above, and further for automatically tracking a person in the first autofocus area set by the first AF area setting unit An autofocus system including a tracking unit, wherein the face region detection unit detects a face region excluding a human hair region tracked by the automatic tracking unit.
(11) The auto-focus system according to any one of (1) to (9), wherein the auto-tracking further tracks a person in the second auto-focus area set by the second AF area setting unit. An autofocus system that detects a face area excluding a human hair area tracked by the automatic tracking section.
(12) The autofocus system according to any one of (1) to (11), which is mounted on a handy type camera.
（１） 光学系により結像された被写体像を撮像する撮像部と、前記撮像部により撮像された撮影画像から、人物の頭髪領域を除く顔領域を検出する顔領域検出部と、前記顔領域検出部によって検出された顔領域を、第１のオートフォーカス領域として設定する第１のＡＦ領域設定部と、前記第１のＡＦ領域設定部によって設定された前記第１のオートフォーカス領域を前記顔領域に隣接する頭髪領域が含まれるように拡大し、前記第１のオートフォーカス領域と前記頭髪領域を含む拡大領域を、第２のオートフォーカス領域として設定する第２のＡＦ領域設定部と、前記第２のＡＦ領域設定部によって設定された第２のオートフォーカス領域の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス部と、を備えるオートフォーカスシステム。
（２） 上記（１）のオートフォーカスシステムであって、前記第１のＡＦ領域設定部は、前記顔領域検出部によって複数の顔領域が検出された場合に、検出された複数の顔領域のうちいずれか一つの顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。
（３） 上記（２）のオートフォーカスシステムであって、前記第１のＡＦ領域設定部は、顔領域の大きさに基づいて、検出された複数の顔領域のうちいずれか一つの顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。
（４） 上記（３）のオートフォーカスシステムであって、前記第１のＡＦ領域設定部は、検出された複数の顔領域の大きさが同じである場合に、前記撮影画像内において最も中央側に位置する顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。
（５） 上記（１）から（４）のいずれか一つのオートフォーカスシステムであって、前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦方向又は横方向のいずれか一方であって、前記顔領域から前記頭髪領域に向かう方向にのみ、前記第１のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。
（６） 上記（５）のオートフォーカスシステムであって、前記第１のオートフォーカス領域に含まれる人物の瞳の位置に基づいて、前記第２のＡＦ領域設定部は、前記１のオートフォーカス領域を拡大する方向を決定するオートフォーカスシステム。
（７） 上記（１）から（６）のいずれか一つのオートフォーカスシステムであって、前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦横比に基づいて、第１のオートフォーカス領域の拡大量を決定するオートフォーカスシステム。
（８） 上記（１）から（４）のいずれか一つのオートフォーカスシステムであって、前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦横比を維持したまま、前記第１のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。
（９） 上記（１）から（８）のいずれか一つのオートフォーカスシステムであって、第２のＡＦ領域設定部によって設定される前記第２のオートフォーカス領域は、背景を除いた人物領域のみを含むオートフォーカスシステム。
（１０） 上記（１）から（９）のいずれか一つのオートフォーカスシステムであって、更に、前記第１のＡＦ領域設定部により設定された前記第１のオートフォーカス領域の人物を追尾する自動追尾部を備え、前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。
（１１） 上記（１）から（９）のいずれか一つのオートフォーカスシステムであって、更に、前記第２のＡＦ領域設定部により設定された第２のオートフォーカス領域の人物を追尾する自動追尾部を備え、前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。
（１２） ハンディタイプのカメラに搭載される（１）から（１１）のいずれか一つに記載のオートフォーカスシステム。 As described above, the following autofocus system is disclosed in the present specification.
(1) An imaging unit that captures a subject image formed by an optical system, a face region detection unit that detects a face region excluding a human hair region from a captured image captured by the imaging unit, and the face region A first AF area setting unit that sets the face area detected by the detection unit as a first autofocus area, and the first autofocus area set by the first AF area setting unit is the face. A second AF area setting unit for enlarging the hair area adjacent to the area and setting the first autofocus area and the enlarged area including the hair area as a second autofocus area; An autofocus unit that adjusts the focus of the optical system so that the subject in the second autofocus area set by the second AF area setting unit is in focus. Autofocus system.
(2) In the autofocus system according to (1), the first AF area setting unit detects a plurality of detected face areas when the face area detecting unit detects a plurality of face areas. An autofocus system that sets any one of the face areas as the first autofocus area.
(3) In the autofocus system according to (2), the first AF area setting unit selects any one of a plurality of detected face areas based on the size of the face area. An autofocus system that is set as the first autofocus area.
(4) In the autofocus system according to (3) above, the first AF area setting unit may be located at a most central position in the captured image when the sizes of the plurality of detected face areas are the same. An autofocus system that sets a face area located at a position as the first autofocus area.
(5) The autofocus system according to any one of (1) to (4), wherein the second AF area setting unit is one of a vertical direction and a horizontal direction of the first autofocus area. In the autofocus system, the first autofocus area is enlarged only in the direction from the face area to the hair area, and the enlarged area includes the hair area.
(6) In the autofocus system according to (5) above, based on the position of the pupil of the person included in the first autofocus area, the second AF area setting unit Auto focus system to determine the direction to enlarge.
(7) The autofocus system according to any one of (1) to (6), wherein the second AF area setting unit is configured to perform a first operation based on an aspect ratio of the first autofocus area. An autofocus system that determines the amount of enlargement of the autofocus area.
(8) The autofocus system according to any one of (1) to (4), wherein the second AF area setting unit maintains the aspect ratio of the first autofocus area while maintaining the aspect ratio of the first autofocus area. An autofocus system that enlarges one autofocus area to an enlarged area including the hair area.
(9) In the autofocus system according to any one of (1) to (8) above, the second autofocus area set by the second AF area setting unit is only a person area excluding the background Including auto focus system.
(10) The autofocus system according to any one of (1) to (9) above, and further for automatically tracking a person in the first autofocus area set by the first AF area setting unit An autofocus system including a tracking unit, wherein the face region detection unit detects a face region excluding a human hair region tracked by the automatic tracking unit.
(11) The auto-focus system according to any one of (1) to (9), wherein the auto-tracking further tracks a person in the second auto-focus area set by the second AF area setting unit. An autofocus system that detects a face area excluding a human hair area tracked by the automatic tracking section.
(12) The autofocus system according to any one of (1) to (11), which is mounted on a handy type camera.
本発明によれば、顔領域だけでなく頭髪領域もオートフォーカス領域にすることによって、被写体のオートフォーカス精度を向上させることができる。
According to the present invention, not only the face area but also the hair area is set to the autofocus area, so that the autofocus accuracy of the subject can be improved.
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１１年０１月１８日出願の日本特許出願（特願２０１１－００８３３２）に基づくものであり、その内容はここに参照として取り込まれる。 Although the present invention has been described in detail and with reference to specific embodiments, it will be apparent to those skilled in the art that various changes and modifications can be made without departing from the spirit and scope of the invention.
This application is based on a Japanese patent application filed on Jan. 18, 2011 (Japanese Patent Application No. 2011-008332), the contents of which are incorporated herein by reference.
本出願は、２０１１年０１月１８日出願の日本特許出願（特願２０１１－００８３３２）に基づくものであり、その内容はここに参照として取り込まれる。 Although the present invention has been described in detail and with reference to specific embodiments, it will be apparent to those skilled in the art that various changes and modifications can be made without departing from the spirit and scope of the invention.
This application is based on a Japanese patent application filed on Jan. 18, 2011 (Japanese Patent Application No. 2011-008332), the contents of which are incorporated herein by reference.
１…ビデオカメラシステム、
１０…テレビカメラ、
１２…レンズ装置、
１４…カメラ本体、
１６…ビューファインダ、
１８…画像処理ユニット、
２０…ＡＦ枠操作部、
３０…メインボード、
４０…ＡＦユニット、
３２…パターンマッチング処理演算ボード、
３４…顔認識処理演算ボード、
３８、５０、５２…ＣＰＵ、
６６…タッチパネル付き液晶ディスプレイ 1 ... Video camera system,
10 ... TV camera,
12 ... Lens device,
14 ... camera body,
16 ... Viewfinder,
18: Image processing unit,
20 ... AF frame operation section,
30 ... main board,
40 ... AF unit,
32. Pattern matching processing calculation board,
34. Face recognition processing calculation board,
38, 50, 52 ... CPU,
66 ... Liquid crystal display with touch panel
１０…テレビカメラ、
１２…レンズ装置、
１４…カメラ本体、
１６…ビューファインダ、
１８…画像処理ユニット、
２０…ＡＦ枠操作部、
３０…メインボード、
４０…ＡＦユニット、
３２…パターンマッチング処理演算ボード、
３４…顔認識処理演算ボード、
３８、５０、５２…ＣＰＵ、
６６…タッチパネル付き液晶ディスプレイ 1 ... Video camera system,
10 ... TV camera,
12 ... Lens device,
14 ... camera body,
16 ... Viewfinder,
18: Image processing unit,
20 ... AF frame operation section,
30 ... main board,
40 ... AF unit,
32. Pattern matching processing calculation board,
34. Face recognition processing calculation board,
38, 50, 52 ... CPU,
66 ... Liquid crystal display with touch panel
Claims (12)
- 光学系により結像された被写体像を撮像する撮像部と、
前記撮像部により撮像された撮影画像から、人物の頭髪領域を除く顔領域を検出する顔領域検出部と、
前記顔領域検出部によって検出された顔領域を、第１のオートフォーカス領域として設定する第１のＡＦ領域設定部と、
前記第１のＡＦ領域設定部によって設定された前記第１のオートフォーカス領域を前記顔領域に隣接する頭髪領域が含まれるように拡大し、前記第１のオートフォーカス領域と前記頭髪領域を含む拡大領域を、第２のオートフォーカス領域として設定する第２のＡＦ領域設定部と、
前記第２のＡＦ領域設定部によって設定された第２のオートフォーカス領域の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス部と、を備えるオートフォーカスシステム。 An imaging unit for imaging a subject image formed by an optical system;
A face area detection unit that detects a face area excluding a human hair area from a captured image captured by the imaging unit;
A first AF area setting unit that sets the face area detected by the face area detection unit as a first autofocus area;
Enlarging the first autofocus area set by the first AF area setting unit so as to include a hair area adjacent to the face area, and including the first autofocus area and the hair area A second AF area setting unit for setting the area as a second autofocus area;
An autofocus system, comprising: an autofocus unit that performs focus adjustment of the optical system so that a subject in the second autofocus region set by the second AF region setting unit is in focus. - 請求項１に記載のオートフォーカスシステムであって、
前記第１のＡＦ領域設定部は、前記顔領域検出部によって複数の顔領域が検出された場合に、検出された複数の顔領域のうちいずれか一つの顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。 The autofocus system according to claim 1,
The first AF area setting unit, when a plurality of face areas are detected by the face area detection unit, selects any one of the detected face areas as the first auto focus. Autofocus system to set as area. - 請求項２に記載のオートフォーカスシステムであって、
前記第１のＡＦ領域設定部は、顔領域の大きさに基づいて、検出された複数の顔領域のうちいずれか一つの顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。 The autofocus system according to claim 2,
The first AF area setting unit is an autofocus system that sets any one of a plurality of detected face areas as the first autofocus area based on the size of the face area. - 請求項３に記載のオートフォーカスシステムであって、
前記第１のＡＦ領域設定部は、検出された複数の顔領域の大きさが同じである場合に、前記撮影画像内において最も中央側に位置する顔領域を、前記第１のオートフォーカス領域として設定するオートフォーカスシステム。 The autofocus system according to claim 3,
The first AF area setting unit sets, as the first autofocus area, a face area located closest to the center in the captured image when the sizes of the plurality of detected face areas are the same. Autofocus system to set. - 請求項１から４のいずれか一項に記載のオートフォーカスシステムであって、
前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦方向又は横方向のいずれか一方であって、前記顔領域から前記頭髪領域に向かう方向にのみ、前記第１のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 4,
The second AF area setting unit is configured to perform the first autofocus only in the vertical direction or the horizontal direction of the first autofocus area and in the direction from the face area toward the hair area. An autofocus system that enlarges an area to include the hair area. - 請求項５に記載のオートフォーカスシステムであって、
前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域に含まれる人物の瞳の位置に基づいて、前記１のオートフォーカス領域を拡大する方向を決定するオートフォーカスシステム。 The autofocus system according to claim 5,
The second AF area setting unit is an autofocus system that determines a direction in which the first autofocus area is enlarged based on a position of a human pupil included in the first autofocus area. - 請求項１から６のいずれか一項に記載のオートフォーカスシステムであって、
前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦横比に基づいて、第１のオートフォーカス領域の拡大量を決定するオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 6,
The second AF area setting unit is an autofocus system that determines an enlargement amount of the first autofocus area based on an aspect ratio of the first autofocus area. - 請求項１から４のいずれか一項に記載のオートフォーカスシステムであって、
前記第２のＡＦ領域設定部は、前記第１のオートフォーカス領域の縦横比を維持したまま、前記第１のオートフォーカス領域を拡大して、前記頭髪領域を含む拡大領域とするオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 4,
The second AF area setting unit is an autofocus system that enlarges the first autofocus area while maintaining the aspect ratio of the first autofocus area to make the enlarged area including the hair area. - 請求項１から８のいずれか一項に記載のオートフォーカスシステムであって、
第２のＡＦ領域設定部によって設定される前記第２のオートフォーカス領域は、背景を除いた人物領域のみを含むオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 8,
The autofocus system in which the second autofocus area set by the second AF area setting unit includes only a person area excluding the background. - 請求項１から９のいずれか一項に記載のオートフォーカスシステムであって、
更に、前記第１のＡＦ領域設定部により設定された前記第１のオートフォーカス領域の人物を追尾する自動追尾部を備え、
前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 9,
And an automatic tracking unit that tracks a person in the first autofocus area set by the first AF area setting unit,
The face area detection unit is an autofocus system that detects a face area excluding a human hair area tracked by the automatic tracking unit. - 請求項１から９のいずれか一項に記載のオートフォーカスシステムであって、
更に、前記第２のＡＦ領域設定部により設定された第２のオートフォーカス領域の人物を追尾する自動追尾部を備え、
前記顔領域検出部は、前記自動追尾部によって追尾された人物の頭髪領域を除く顔領域を検出するオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 9,
And an automatic tracking unit that tracks a person in the second autofocus area set by the second AF area setting unit,
The face area detection unit is an autofocus system that detects a face area excluding a human hair area tracked by the automatic tracking unit. - ハンディタイプのカメラに搭載される請求項１から１１のいずれか一項に記載のオートフォーカスシステム。 The autofocus system according to any one of claims 1 to 11, which is mounted on a handy type camera.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-008332 | 2011-01-18 | ||
| JP2011008332A JP2014062926A (en) | 2011-01-18 | 2011-01-18 | Autofocus system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2012099174A1 true WO2012099174A1 (en) | 2012-07-26 |
Family
ID=46515796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2012/050978 WO2012099174A1 (en) | 2011-01-18 | 2012-01-18 | Autofocus system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2014062926A (en) |
| WO (1) | WO2012099174A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014056169A (en) * | 2012-09-13 | 2014-03-27 | Olympus Imaging Corp | Focus adjustment device and focus adjustment method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019201387A (en) * | 2018-05-18 | 2019-11-21 | 株式会社ザクティ | Tracking controller |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0630318A (en) * | 1992-07-10 | 1994-02-04 | Sony Corp | Video camera system |
| JP2005055744A (en) * | 2003-08-06 | 2005-03-03 | Minolta Co Ltd | Imaging apparatus and program |
| JP2006268248A (en) * | 2005-03-23 | 2006-10-05 | Konica Minolta Photo Imaging Inc | Photographing device, and face direction determining method |
| JP2007093306A (en) * | 2005-09-27 | 2007-04-12 | Matsushita Electric Works Ltd | Spatial information detection system |
| JP2008005438A (en) * | 2006-06-26 | 2008-01-10 | Canon Inc | Imaging apparatus and imaging method |
| JP2010074399A (en) * | 2008-09-17 | 2010-04-02 | Sony Corp | Device for determining composition, method of determining composition, image processing unit, method of processing image, and program |
| JP2010078764A (en) * | 2008-09-25 | 2010-04-08 | Nikon Corp | Focus detection device and method |
-
2011
- 2011-01-18 JP JP2011008332A patent/JP2014062926A/en active Pending
-
2012
- 2012-01-18 WO PCT/JP2012/050978 patent/WO2012099174A1/en active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0630318A (en) * | 1992-07-10 | 1994-02-04 | Sony Corp | Video camera system |
| JP2005055744A (en) * | 2003-08-06 | 2005-03-03 | Minolta Co Ltd | Imaging apparatus and program |
| JP2006268248A (en) * | 2005-03-23 | 2006-10-05 | Konica Minolta Photo Imaging Inc | Photographing device, and face direction determining method |
| JP2007093306A (en) * | 2005-09-27 | 2007-04-12 | Matsushita Electric Works Ltd | Spatial information detection system |
| JP2008005438A (en) * | 2006-06-26 | 2008-01-10 | Canon Inc | Imaging apparatus and imaging method |
| JP2010074399A (en) * | 2008-09-17 | 2010-04-02 | Sony Corp | Device for determining composition, method of determining composition, image processing unit, method of processing image, and program |
| JP2010078764A (en) * | 2008-09-25 | 2010-04-08 | Nikon Corp | Focus detection device and method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014056169A (en) * | 2012-09-13 | 2014-03-27 | Olympus Imaging Corp | Focus adjustment device and focus adjustment method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014062926A (en) | 2014-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5473551B2 (en) | Auto focus system | |
| JP5914364B2 (en) | Auto focus system | |
| EP2293542A2 (en) | Autofocus frame auto-tracking system | |
| JP2010124120A (en) | Autofocus system | |
| US20100123790A1 (en) | Autofocus system | |
| US8121469B2 (en) | Autofocus system | |
| TW202002606A (en) | Image-capturing device and method for operating the same | |
| JP5081133B2 (en) | Auto focus system | |
| JP2010085530A (en) | Autofocus system | |
| WO2012099174A1 (en) | Autofocus system | |
| JP2011022203A (en) | Af frame automatic follow-up system and method for automatically following up af frame | |
| JP5328616B2 (en) | AF frame automatic tracking system | |
| JP5276538B2 (en) | AF frame automatic tracking system | |
| JP2010230871A (en) | Auto focus system | |
| EP2187625B1 (en) | Autofocus system | |
| JP2010164637A (en) | Af frame automatic tracking system | |
| JP2010224499A (en) | Autofocus system | |
| JP2011022499A (en) | Autofocus system | |
| JP2010096963A (en) | Auto focus system with af frame auto-tracking function | |
| JP2010122366A (en) | Auto focus system | |
| JP5457008B2 (en) | Autofocus system with AF frame auto-tracking function | |
| JP2014049960A (en) | Imaging device, control method therefor, and program | |
| JP2010122367A (en) | Autofocus system | |
| JP2010122365A (en) | Af frame automatic tracking system | |
| JP2011040957A (en) | Auto focus system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12736123 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 12736123 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |