JP5750551B2 - Apparatus and method for measuring distance of multiple subjects - Google Patents

Apparatus and method for measuring distance of multiple subjects Download PDF

Info

Publication number
JP5750551B2
JP5750551B2 JP2014536906A JP2014536906A JP5750551B2 JP 5750551 B2 JP5750551 B2 JP 5750551B2 JP 2014536906 A JP2014536906 A JP 2014536906A JP 2014536906 A JP2014536906 A JP 2014536906A JP 5750551 B2 JP5750551 B2 JP 5750551B2
Authority
JP
Japan
Prior art keywords
subjects
focus
image
distance
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014536906A
Other languages
Japanese (ja)
Other versions
JPWO2014046184A1 (en
Inventor
小野 修司
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014536906A priority Critical patent/JP5750551B2/en
Application granted granted Critical
Publication of JP5750551B2 publication Critical patent/JP5750551B2/en
Publication of JPWO2014046184A1 publication Critical patent/JPWO2014046184A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Cameras In General (AREA)
  • Automatic Focus Adjustment (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は複数被写体の距離計測装置及び方法に係り、特に複数被写体の距離等を同時に計測する技術に関する。   The present invention relates to a distance measuring apparatus and method for a plurality of subjects, and more particularly to a technique for simultaneously measuring a distance of a plurality of subjects.

特許文献1には、マラソン中継中に各選手(被写体)の距離、又は被写体間の距離を算出し、中継画像中に距離を表示する撮影システムが記載されている。この撮影システムは、撮影範囲内に設けられた複数の測距領域のそれぞれにおいて被写体距離を算出するようにしている。   Patent Document 1 describes a photographing system that calculates the distance of each player (subject) or the distance between subjects during a marathon relay and displays the distance in a relay image. In this photographing system, the subject distance is calculated in each of a plurality of distance measuring areas provided in the photographing range.

特許文献2には、遠距離用の撮像レンズ系と近距離用の撮像レンズ系とを半円状の2つの分割したレンズで構成し、遠距離用の撮像レンズ系と近距離用の撮像レンズ系の各レンズとを配置して、遠距離用の撮像レンズ系で遠距離の被写体の画像を撮像素子の半分の領域に結像させ、近距離用の撮像レンズ系で近距離の被写体の画像を撮像素子の半分の領域に結像させて、撮像素子から遠距離用の画像と近距離用の画像とを同時に取得できる撮像装置が記載されている。   In Patent Document 2, an imaging lens system for a long distance and an imaging lens system for a short distance are configured by two semicircular divided lenses, and an imaging lens system for a long distance and an imaging lens for a short distance are used. The image of the long-distance subject is imaged in the half area of the image sensor by the long-distance imaging lens system, and the short-distance imaging lens system is used. Is imaged in a half region of the image sensor, and an image pickup apparatus capable of simultaneously acquiring a long-distance image and a short-distance image from the image sensor is described.

特許文献3には、撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する撮像装置が記載されている。この撮像装置は、撮像素子の各画素上に光束の一部を遮光する遮光部材(瞳分割手段)を設けてなる撮像素子(瞳指向センサ)を備え、この瞳指向センサから左視点画像及び右視点画像を取得するようにしている。   Japanese Patent Application Laid-Open No. 2004-228688 describes an imaging apparatus that forms a subject image that has passed through different regions in the left-right direction of a photographic lens on an imaging element and obtains a left viewpoint image and a right viewpoint image. This image pickup apparatus includes an image pickup element (pupil directing sensor) provided with a light blocking member (pupil dividing unit) that blocks a part of a light beam on each pixel of the image pickup element. A viewpoint image is acquired.

特開2010−113043号公報JP 2010-113043 A 特開2010−271429号公報JP 2010-271429 A 特開2011−199755号公報JP 2011-199755 A

特許文献1に記載の撮影システムは、複数の被写体(マラソン中継中に各選手)のうちの1つの被写体(先頭を走っている選手)にピントを合わせており、複数の被写体にそれぞれピントの合った画像を取得することができない。   The photographing system described in Patent Document 1 focuses on one subject (player who is running at the top) of a plurality of subjects (each athlete during a marathon broadcast), and each subject is in focus. Can't get the image.

特許文献2に記載の撮像装置は、遠距離用の画像と近距離用の画像とを同時に撮像することができるが、これらの画像中の被写体(主要被写体)までの距離を、単一の撮像装置により求めることができない。このため、特許文献2に記載の撮像装置は、被写体距離を検出する場合には、撮像装置を所定距離だけ隔てて構成されたステレオカメラ装置にする必要がある。   The imaging device described in Patent Document 2 can simultaneously capture a long-distance image and a short-distance image, and a single imaging of the distance to the subject (main subject) in these images. Cannot be determined by the device. For this reason, when detecting the subject distance, the imaging device described in Patent Document 2 needs to be a stereo camera device configured by separating the imaging device by a predetermined distance.

特許文献3に記載の撮像装置は、瞳指向センサから被写体距離に応じて視差の異なる左視点画像及び右視点画像を取得することができるが、被写体距離の異なる複数の被写体にピントの合った画像を撮像することができない。   The imaging device described in Patent Literature 3 can acquire a left viewpoint image and a right viewpoint image having different parallaxes according to the subject distance from the pupil-directing sensor, but an image focused on a plurality of subjects having different subject distances. Cannot be imaged.

本発明はこのような事情に鑑みてなされたもので、1台の撮像装置により被写体距離(合焦距離)の異なる複数の被写体に合焦した複数の画像を同時に取得することができるとともに、複数の被写体の合焦距離を計測することができる複数被写体の距離計測装置及び方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and can simultaneously acquire a plurality of images focused on a plurality of subjects having different subject distances (focusing distances) by a single imaging device. It is an object of the present invention to provide a distance measuring apparatus and method for a plurality of subjects capable of measuring the in-focus distance of the subject.

上記目的を達成するために本発明の一の態様に係る複数被写体の距離計測装置は、物理的に分離した複数のレンズからなる撮影光学系であって、撮影光学系の複数の領域が、複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサと、瞳指向センサから複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得手段と、画像取得手段により取得される複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御手段と、合焦制御手段によりそれぞれ合焦制御される複数の被写体の合焦距離をそれぞれ算出する第1の算出手段と、を備えている。   In order to achieve the above object, a distance measuring apparatus for a plurality of subjects according to an aspect of the present invention is a photographing optical system including a plurality of physically separated lenses, and a plurality of regions of the photographing optical system includes a plurality of regions. A pupil-directing sensor having a plurality of pixels each composed of a photographing optical system having independent focusing distances corresponding to a combination of lenses and a photoelectric conversion element arranged two-dimensionally. A pupil-directing sensor that selectively receives a light beam that has passed through any one of the above, an image acquisition unit that simultaneously acquires a plurality of images corresponding to a plurality of regions from the pupil-direction sensor, and a plurality of images acquired by the image acquisition unit Focusing control means for independently driving a plurality of physically separated lenses of the photographing optical system based on the image, and focusing on a plurality of subjects having different focusing distances, respectively. Re comprises a first calculation means for calculating a plurality of subjects focusing distance each being focusing control, the.

本発明の一の態様によれば、単一の撮影光学系及び瞳指向センサを有する1台の撮像装置により複数の被写体にそれぞれ合焦した画像を同時に撮像することができ、かつ合焦制御時の情報に基づいて複数の被写体までの距離も同時に計測することができる。   According to one aspect of the present invention, a single imaging device having a single imaging optical system and a pupil-directing sensor can simultaneously capture images focused on a plurality of subjects, and at the time of focusing control. Based on this information, the distances to a plurality of subjects can be measured simultaneously.

本発明の他の態様に係る複数被写体の距離計測装置において、第1の算出手段により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第2の算出手段を備えることが好ましい。これにより、複数の被写体間の距離を容易に把握することができる。   The distance measuring apparatus for a plurality of subjects according to another aspect of the present invention includes a second calculation unit that calculates the distances between the plurality of subjects based on the plurality of in-focus distances calculated by the first calculation unit. Is preferred. Thereby, the distance between several subjects can be easily grasped.

本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段は、複数の領域に対応する複数の画像をそれぞれ同時に、かつ連続して取得し、合焦制御手段は、画像取得手段により同時に、かつ連続して取得される複数の領域に対応する複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させ、第1の算出手段は、合焦制御手段によりそれぞれ連続して合焦制御される複数の被写体の合焦距離を連続して算出し、第2の算出手段は、第1の算出手段により連続して算出された複数の合焦距離に基づいて複数の被写体間の距離を連続して算出することが好ましい。これにより、複数の被写体が別々に移動していても複数被写体間の距離を常時計測することができる。   In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, the image acquisition unit acquires a plurality of images corresponding to a plurality of regions simultaneously and continuously, and the focusing control unit acquires the image The plurality of physically separated lenses of the photographing optical system are independently driven on the basis of a plurality of images corresponding to a plurality of areas acquired simultaneously and continuously by the means, and continuously aligned with a plurality of subjects. The first calculating means continuously calculates the in-focus distances of a plurality of subjects that are successively controlled by the focusing control means, and the second calculating means is the first calculating means. It is preferable that the distances between the plurality of subjects are continuously calculated based on the plurality of in-focus distances calculated in succession. Thereby, even if a plurality of subjects are moving separately, the distance between the plurality of subjects can be constantly measured.

本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成する合成画像生成手段を備えることが好ましい。これにより、合焦距離の異なる複数の被写体にそれぞれ合焦した被写体像を1画面の合焦画像内で観察することができ、複数の被写体を見失うことがない。   In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, a composite image in which a plurality of subjects at least in focus are synthesized based on a plurality of images simultaneously acquired from a pupil directing sensor by an image acquisition unit. It is preferable to include a composite image generating means for generating As a result, the subject images focused on a plurality of subjects with different in-focus distances can be observed in the focused image on one screen, and the plurality of subjects are not lost.

本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成し、かつ第2の算出手段により算出された複数の被写体間の距離を示す文字情報を合成画像に合成することが好ましい。これにより、複数の被写体間の距離を実時間で確認することができる。   In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, a composite image in which a plurality of subjects at least in focus are synthesized based on a plurality of images simultaneously acquired from a pupil directing sensor by an image acquisition unit. It is preferable to combine the character information indicating the distance between the plurality of subjects calculated by the second calculation unit with the composite image. As a result, the distance between the plurality of subjects can be confirmed in real time.

本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により同時に取得される複数の画像からそれぞれ主要な被写体を検出する被写体検出手段を備え、合焦制御手段は、画像取得手段により同時に取得される複数の画像内の被写体検出手段により検出された被写体を含む領域をそれぞれ焦点検出領域とし、各焦点検出領域の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させることが好ましい。これにより、複数の被写体をそれぞれ追跡しながら複数の被写体にそれぞれ合焦した画像及び合焦距離を取得することができる。   The distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention includes subject detection means for detecting main subjects from a plurality of images simultaneously acquired by the image acquisition means, and the focus control means includes image acquisition A plurality of lenses physically separated from the photographing optical system based on the images of the respective focus detection areas, each of which includes a subject detected by the subject detection means in a plurality of images simultaneously acquired by the means Are preferably driven independently to continuously focus on a plurality of subjects. Accordingly, it is possible to acquire images and in-focus distances focused on the plurality of subjects while tracking the plurality of subjects, respectively.

本発明の更に他の態様に係る複数被写体の距離計測装置において、合焦制御手段は、各焦点検出領域内の画像のコントラストがそれぞれ最大になるように撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させることが好ましい。   In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, the focusing control means includes a plurality of physically separated optical systems so that the contrast of the image in each focus detection region is maximized. It is preferable to drive the lens independently to focus a plurality of subjects continuously.

本発明の更に他の態様に係る複数被写体の距離計測装置において、第1の算出手段は、合焦制御手段により独立して合焦駆動された複数のレンズのレンズ位置を検出するレンズ位置検出手段を有し、レンズ位置検出手段により検出された複数のレンズのレンズ位置に基づいて複数の被写体の合焦距離を算出することが好ましい。これにより、合焦制御手段による合焦制御に連動して複数の被写体の合焦距離を算出することができる。尚、レンズ位置検出手段は、複数のレンズのレンズ位置を直接検出するようにしてもよいし、複数のレンズをそれぞれ駆動する駆動手段に対する各駆動指令から検出するようにしてもよい。   In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, the first calculation means detects a lens position of a plurality of lenses that are independently driven by the focus control means. Preferably, the in-focus distances of the plurality of subjects are calculated based on the lens positions of the plurality of lenses detected by the lens position detection unit. Thereby, the focus distances of a plurality of subjects can be calculated in conjunction with the focus control by the focus control means. The lens position detection means may directly detect the lens positions of the plurality of lenses, or may detect from the respective drive commands to the driving means for driving the plurality of lenses.

本発明の更に他の態様に係る複数被写体の距離計測方法は、物理的に分離した複数のレンズからなる撮影光学系であって、撮影光学系の複数の領域が、複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサとを有する撮像手段から複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得工程と、画像取得工程により取得される複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御工程と、合焦制御工程によりそれぞれ合焦制御される複数の被写体の合焦距離をそれぞれ算出する第1の算出工程と、を含んでいる。   A distance measuring method for a plurality of subjects according to still another aspect of the present invention is a photographing optical system including a plurality of physically separated lenses, and a plurality of regions of the photographing optical system correspond to a combination of a plurality of lenses. A pupil-directing sensor having a plurality of pixels composed of a photographing optical system having independent focusing distances and two-dimensionally arranged photoelectric conversion elements, and has passed through any of a plurality of regions An image acquisition process for simultaneously acquiring a plurality of images corresponding to a plurality of regions from an imaging means having a pupil-directing sensor that selectively receives a light beam, and imaging optics based on the plurality of images acquired by the image acquisition process Focus control is performed by driving a plurality of physically separated lenses independently and focusing on a plurality of subjects with different focus distances, and the focus control process. It includes a first calculation step of calculating the number of the subject focus distance respectively, the.

本発明の更に他の態様に係る複数被写体の距離計測方法において、第1の算出工程により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第2の算出工程を含むことが好ましい。   The distance measuring method for a plurality of subjects according to still another aspect of the present invention includes a second calculation step of calculating the distances between the plurality of subjects based on the plurality of in-focus distances calculated by the first calculation step. It is preferable.

本発明によれば、1台の撮像装置により合焦距離の異なる複数の被写体に合焦した複数の画像を同時に取得することができるとともに、複数の被写体の合焦距離、複数の被写体間の距離等を計測することができる。   According to the present invention, it is possible to simultaneously acquire a plurality of images focused on a plurality of subjects having different focus distances by a single imaging device, and to determine the focus distances of the plurality of subjects and the distances between the plurality of subjects. Etc. can be measured.

図1は、本発明の係る複数被写体の距離計測装置として適用された撮像装置の実施形態を示す外観図である。FIG. 1 is an external view showing an embodiment of an imaging apparatus applied as a distance measuring apparatus for a plurality of subjects according to the present invention. 図2は、図1に示した撮像装置の内部構成の実施形態を示すブロック図である。FIG. 2 is a block diagram showing an embodiment of the internal configuration of the imaging apparatus shown in FIG. 図3Aは、図1に示した撮像装置に適用される領域分割レンズの実施形態を示す正面図である。FIG. 3A is a front view showing an embodiment of an area dividing lens applied to the imaging apparatus shown in FIG. 図3Bは、図1に示した撮像装置に適用される領域分割レンズの実施形態を示す側面図である。FIG. 3B is a side view showing an embodiment of a region dividing lens applied to the imaging device shown in FIG. 1. 図4は、領域分割レンズ及び瞳指向センサを含む撮像装置の要部構成図である。FIG. 4 is a main part configuration diagram of an imaging apparatus including a region dividing lens and a pupil directing sensor. 図5は、瞳指向センサの平面図である。FIG. 5 is a plan view of the pupil pointing sensor. 図6Aは、瞳指向センサの構成を示す要部断面図である。FIG. 6A is a cross-sectional view of a main part showing the configuration of the pupil directing sensor. 図6Bは、瞳指向センサの構成を示す要部断面図である。FIG. 6B is a cross-sectional view of the main part showing the configuration of the pupil directing sensor. 図7は、複数被写体の距離計測方法を説明するために用いたフローチャートである。FIG. 7 is a flowchart used to explain the distance measurement method for a plurality of subjects. 図8Aは、同時に撮像された合焦距離の異なる2つの画像のイメージ図である。FIG. 8A is an image diagram of two images with different in-focus distances captured simultaneously. 図8Bは、同時に撮像された合焦距離の異なる2つの画像のイメージ図である。FIG. 8B is an image diagram of two images with different in-focus distances captured simultaneously. 図9Aは、同時に撮像される合焦距離の異なる2つの画像の各AF領域におけるAF評価値を示すグラフである。FIG. 9A is a graph showing AF evaluation values in each AF area of two images with different in-focus distances captured simultaneously. 図9Bは、同時に撮像される合焦距離の異なる2つの画像の各AF領域におけるAF評価値を示すグラフである。FIG. 9B is a graph showing AF evaluation values in each AF area of two images with different in-focus distances captured simultaneously. 図10は、合成画像生成部の実施形態を示すブロック図である。FIG. 10 is a block diagram illustrating an embodiment of the composite image generation unit. 図11は、合成画像生成部により生成された合成画像のイメージ図である。FIG. 11 is an image diagram of a composite image generated by the composite image generation unit.

以下、添付図面に従って本発明に係る複数被写体の距離計測装置及び方法の実施の形態について説明する。   Embodiments of a distance measuring apparatus and method for multiple subjects according to the present invention will be described below with reference to the accompanying drawings.

<複数被写体の距離計測装置の外観>
図1は本発明の係る複数被写体の距離計測装置として適用された撮像装置(例えば、テレビカメラ)10の実施形態を示す外観図である。複数の被写体がマラソンや駅伝の各選手の場合、撮像装置10は、三脚11に取り付けて第一中継車(例えば、マラソンや駅伝の先頭の中継車)に搭載することが好ましい。
<Appearance of multiple subject distance measuring device>
FIG. 1 is an external view showing an embodiment of an imaging apparatus (for example, a television camera) 10 applied as a distance measuring apparatus for a plurality of subjects according to the present invention. In the case where a plurality of subjects are marathon and relay race athletes, the imaging device 10 is preferably mounted on a tripod 11 and mounted on a first relay car (for example, the first relay car of a marathon or relay road).

図2は撮像装置10の内部構成の実施形態を示すブロック図である。   FIG. 2 is a block diagram illustrating an embodiment of the internal configuration of the imaging apparatus 10.

この撮像装置10は、撮像した動画を外部出力端子32を介して無線送信機(図示せず)に送信する。また、撮像装置10は、撮像した動画を記録媒体54に記録するとともに、複数の被写体の距離等を同時に計測し、計測結果を出力するものである。   The imaging device 10 transmits the captured moving image to a wireless transmitter (not shown) via the external output terminal 32. The imaging device 10 records the captured moving image on the recording medium 54, measures the distances of a plurality of subjects at the same time, and outputs the measurement results.

図3A及び図3Bは、それぞれ撮像装置10に適用される撮影光学系(領域分割レンズ)12の実施形態を示す正面図及び側面図であり、図4は、領域分割レンズ12及び撮像装置10に適用される撮像素子(瞳指向センサ)16(画像取得手段)を含む撮像装置10の要部構成図である。   3A and 3B are a front view and a side view showing an embodiment of a photographing optical system (region dividing lens) 12 applied to the imaging device 10, respectively. FIG. 4 shows the region dividing lens 12 and the imaging device 10 respectively. It is a principal part block diagram of the imaging device 10 containing the image pick-up element (pupil directivity sensor) 16 (image acquisition means) applied.

図3A及び図3Bに示すように領域分割レンズ12は、1つのレンズがレンズ中心Oに対して物理的に上下に2分割された半月型のレンズ部12a、12bから構成され、かつ各レンズ部12a、12bが光軸L1の方向に相対的に移動可能に設けられている。3A and region dividing lenses as shown in FIG. 3B 12 has one lens consists physically of two divided semicircular vertically lens unit 12a, 12b with respect to the lens center O 1, and each lens The parts 12a and 12b are provided so as to be relatively movable in the direction of the optical axis L1.

レンズ部12a、12bは、レンズ駆動部56(図2)によりそれぞれ独立して駆動され、合焦距離の異なる2つの被写体(主要被写体)に合焦するようにレンズ位置が制御される。これにより、レンズ部12a、12bの合焦距離を変更することができる。尚、レンズ部12a、12bの合焦制御の詳細については後述する。   The lens units 12a and 12b are independently driven by the lens driving unit 56 (FIG. 2), and the lens positions are controlled so as to focus on two subjects (main subjects) having different focus distances. Thereby, the focus distance of lens part 12a, 12b can be changed. Details of the focusing control of the lens units 12a and 12b will be described later.

図4に示すようにレンズ部12aは、レンズ部12bよりも前方(被写体側)に位置するため、近距離側の第1の被写体に合焦する合焦距離(1)を有し、一方、レンズ部12bは、遠距離側の第2の被写体に合焦する合焦距離(2)を有するものとなる。   As shown in FIG. 4, since the lens unit 12a is located in front of the lens unit 12b (subject side), the lens unit 12a has a focusing distance (1) for focusing on the first subject on the short distance side, The lens unit 12b has a focusing distance (2) for focusing on the second subject on the far side.

図5は瞳指向センサ16の平面図である。図5に示すように瞳指向センサ16は、二次元状に配列された光電変換素子により構成された複数の画素(画素p1の画素群,画素p2の画素群)を有している。画素p1の画素群は、レンズ部12aを通過した光束を選択的に受光し、画素p2の画素群は、レンズ部12bを通過した光束を選択的に受光するように構成されている。   FIG. 5 is a plan view of the pupil directing sensor 16. As shown in FIG. 5, the pupil directing sensor 16 has a plurality of pixels (a pixel group of the pixel p1 and a pixel group of the pixel p2) configured by photoelectric conversion elements arranged two-dimensionally. The pixel group of the pixel p1 is configured to selectively receive the light beam that has passed through the lens unit 12a, and the pixel group of the pixel p2 is configured to selectively receive the light beam that has passed through the lens unit 12b.

図6A及び図6Bは瞳指向センサ16の構成を示す要部断面図である。図6A及び図6Bに示すように画素p1は、フォトダイオードPDの前面側(マイクロレンズL側)に遮光部材16Aが配設され、画素p2は、フォトダイオードPDの前面側に遮光部材16Bが配設されている。マイクロレンズL及び遮光部材16A、16Bは瞳分割手段としての機能を有する。遮光部材16Aは、領域分割レンズ12のレンズ部12aを通過する光束のみをフォトダイオードPDの受光面に入射させる開口を有し、遮光部材16Bは、領域分割レンズ12のレンズ部12bを通過する光束のみをフォトダイオードPDの受光面に入射させる開口を有している。   6A and 6B are main part cross-sectional views showing the configuration of the pupil directing sensor 16. As shown in FIGS. 6A and 6B, the pixel p1 has a light shielding member 16A disposed on the front surface side (microlens L side) of the photodiode PD, and the pixel p2 has a light shielding member 16B disposed on the front surface side of the photodiode PD. It is installed. The microlens L and the light shielding members 16A and 16B have a function as pupil dividing means. The light shielding member 16A has an opening through which only the light beam that passes through the lens portion 12a of the region dividing lens 12 enters the light receiving surface of the photodiode PD, and the light shielding member 16B has a light beam that passes through the lens portion 12b of the region dividing lens 12. Only the light is incident on the light receiving surface of the photodiode PD.

これにより、瞳指向センサ16の画素p1の画素群と画素p2の画素群からそれぞれ画像を読み出すことにより、図4に示すように第1の被写体に合焦した出力画像Aと第2の被写体に合焦した出力画像Bとを同時に取得することができる。   As a result, by reading out images from the pixel group of the pixel p1 and the pixel group of the pixel p2 of the pupil directing sensor 16, respectively, the output image A and the second object focused on the first object as shown in FIG. The focused output image B can be acquired simultaneously.

図2に戻って、装置全体の動作は、中央処理装置(CPU:Central Processing Unit)40によって統括制御される。   Returning to FIG. 2, the overall operation of the apparatus is centrally controlled by a central processing unit (CPU) 40.

撮像装置10には、録画スタート等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、録画動作制御、画像処理制御、距離計測、画像データの記録/再生制御、液晶モニタ(LCD:Liquid Crystal Display)30の表示制御などを行う。   The imaging apparatus 10 is provided with an operation unit 38 for recording start and the like. A signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal. For example, recording operation control, image processing control, distance measurement, and image data recording / reproduction control are performed. Then, display control of a liquid crystal display (LCD) 30 is performed.

録画時において、領域分割レンズ12の各レンズ部12a、12bは、それぞれ合焦距離が異なる第1の被写体及び第2の被写体に合焦するようにレンズ駆動部56により独立してレンズ位置が制御される。各レンズ部12a、12bを通過した被写体光は、絞り14を介して瞳指向センサ16上に結像される。瞳指向センサ16では、所定の時間間隔(動画のフレームレート)で画像の読出し制御が行われる。これにより、図4に示すように第1の被写体に合焦した画像Aと第2の被写体に合焦した画像Bとを同時に、かつ連続して取得することができる。   During recording, the lens positions of the lens units 12a and 12b of the region dividing lens 12 are independently controlled by the lens driving unit 56 so that the first and second subjects having different in-focus distances are in focus. Is done. The subject light that has passed through the lens units 12 a and 12 b forms an image on the pupil directing sensor 16 through the diaphragm 14. In the pupil directing sensor 16, image read-out control is performed at a predetermined time interval (moving image frame rate). Thereby, as shown in FIG. 4, the image A focused on the first subject and the image B focused on the second subject can be acquired simultaneously and continuously.

瞳指向センサ16から読み出される画像A、画像Bの出力信号は、アナログ信号処理部20により相関二重サンプリング処理により画素毎の画像信号(電圧信号)としてサンプリングホールドされ、増幅されたのちA/D変換器21に加えられる。A/D変換器21は、順次入力する画像信号をデジタル信号に変換して画像入力コントローラ22に出力する。尚、MOS(Metal Oxide Semiconductor)型の瞳指向センサ16では、A/D変換器が内蔵されているものがあり、この場合、瞳指向センサ16から直接デジタル信号が出力される。   The output signals of the images A and B read out from the pupil directing sensor 16 are sampled and held as an image signal (voltage signal) for each pixel by the correlated double sampling process by the analog signal processing unit 20, and then A / D. Added to the converter 21. The A / D converter 21 converts sequentially input image signals into digital signals and outputs them to the image input controller 22. Note that some MOS (Metal Oxide Semiconductor) type pupil directivity sensors 16 include an A / D converter. In this case, a digital signal is directly output from the pupil directivity sensor 16.

それぞれ合焦距離の異なる、同時に撮像された2つの画像データは、瞳指向センサ16から画素位置を選択して画素データを読み出すことにより取得することができるが、瞳指向センサ16から全ての画素データを読み出してメモリ(SDRAM:Synchronous Dynamic Random Access Memory)48に一時的に記憶し、メモリ48から合焦距離の異なる2つの画像データを抽出するようにしてもよい。   Two pieces of image data captured at the same time, each having a different focus distance, can be acquired by selecting pixel positions from the pupil directing sensor 16 and reading out the pixel data. May be temporarily stored in a memory (SDRAM: Synchronous Dynamic Random Access Memory) 48, and two image data having different in-focus distances may be extracted from the memory 48.

デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、YC処理等の所定の信号処理を行う。   The digital signal processing unit 24 performs predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc., on the digital image signal input via the image input controller 22. Perform signal processing.

デジタル信号処理部24で処理され画像データは、VRAM(Video Random Access Memory)50に入力される。VRAM50から読み出された画像データはビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30(LCD)に出力される。これにより、被写体像が液晶モニタ30(LCD)の表示画面上に表示される。この場合、合焦距離の異なる2つの動画を、同時に表示するようにしてもよいし、いずれか1つの動画を表示するようにしてもよいし、後述するように2つの動画のうちのそれぞれ合焦している領域の画像を合成した合成画像を表示するようにしてもよい。   The image data processed by the digital signal processing unit 24 is input to a video random access memory (VRAM) 50. The image data read from the VRAM 50 is encoded by the video encoder 28 and output to a liquid crystal monitor 30 (LCD) provided on the back of the camera. Thereby, the subject image is displayed on the display screen of the liquid crystal monitor 30 (LCD). In this case, two videos with different in-focus distances may be displayed simultaneously, or any one of the videos may be displayed, or each of the two videos may be displayed as described later. You may make it display the synthesized image which synthesize | combined the image of the area | region which is in focus.

また、CPU40は、操作部38からの録画準備又は開始が指示されると、顔検出部42(被写体検出手段)による顔検出(被写体検出)を行わせる。顔検出部42は、図示しない画像照合回路及び顔画像テンプレートを含み、撮影画像中に含まれる被写体(人物)の顔を検出し、その顔の位置や大きさの情報をCPU40に出力する。即ち、顔検出部42の画像照合回路は、予め設定した顔領域を検出するための最も大きな対象領域を、画面内で少しずつ移動させながら顔画像テンプレートとの相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。続いて、対象領域を少し小さくし、再度、顔画像テンプレートとの相関を調べる。これを検出したい最小の検出領域まで繰り返し、顔領域を求める。このようにして求めた顔領域の情報(顔領域の大きさ及び位置を示す情報)をCPU40に出力する。尚、顔検出方法は、上記の例に限らず、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。   Further, when an instruction to prepare or start recording is given from the operation unit 38, the CPU 40 causes the face detection unit 42 (subject detection means) to perform face detection (subject detection). The face detection unit 42 includes an image matching circuit and a face image template (not shown), detects the face of a subject (person) included in the photographed image, and outputs information on the position and size of the face to the CPU 40. That is, the image matching circuit of the face detection unit 42 checks the correlation with the face image template while moving the largest target area for detecting a preset face area little by little on the screen. When the correlation score exceeds a preset threshold, the target area is recognized as a face area. Subsequently, the target area is slightly reduced, and the correlation with the face image template is examined again. This is repeated until the minimum detection area to be detected to obtain a face area. Information on the face area thus obtained (information indicating the size and position of the face area) is output to the CPU 40. The face detection method is not limited to the above example, and a known method such as a face detection method by edge detection or shape pattern detection, a face detection method by hue detection or skin color detection, or the like can be used.

CPU40は、顔検出部42から加えられる顔領域の情報に基づいて最も大きな顔領域と次に大きな顔領域とを同時に撮像する2つの画像の焦点検出領域(オートフォーカス(AF)領域)として設定する。   The CPU 40 sets the largest face area and the next largest face area as the focus detection areas (autofocus (AF) areas) of two images for simultaneously capturing the largest face area and the next largest face area based on the face area information added from the face detection unit 42. .

AF検出部43は、CPU40により設定された2つの画像A,Bの各AF領域(顔領域)の画像信号の高周波成分を積算し、その積算値をAF評価値としてCPU40に出力する。CPU40は、AF検出部43から入力するAF評価値が、ピーク値を維持するようにレンズ駆動部56を介してレンズ部12a、12bのレンズ位置を制御するコントラストAFによる合焦制御(いわゆる山登り制御)を行う。   The AF detection unit 43 integrates the high frequency components of the image signals of the AF areas (face areas) of the two images A and B set by the CPU 40, and outputs the integrated value to the CPU 40 as an AF evaluation value. The CPU 40 performs focusing control (so-called hill-climbing control) by contrast AF that controls the lens positions of the lens units 12a and 12b via the lens driving unit 56 so that the AF evaluation value input from the AF detection unit 43 maintains the peak value. )I do.

また、CPU40は、操作部38からの録画準備又は開始が指示されると、自動露出(AE)動作を開始させ、A/D変換器21から出力される画像データは、AE検出部44に取り込まれる。AE検出部44では、同時に取得される2つの画像のAF領域(顔領域)の画像信号、又は画面全体の画像信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいて絞り14の絞り値を決定し、その決定した絞り値に基づいて絞り14を制御したり、アナログ信号処理部20におけるゲイン制御を行う。   Further, the CPU 40 starts an automatic exposure (AE) operation when instructed to start or start recording from the operation unit 38, and the image data output from the A / D converter 21 is taken into the AE detection unit 44. It is. The AE detection unit 44 integrates the image signals of the AF areas (face areas) of the two images acquired simultaneously or the image signal of the entire screen, and outputs the integrated value to the CPU 40. The CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value input from the AE detection unit 44, determines the aperture value of the diaphragm 14 based on the shooting Ev value, and based on the determined aperture value. The diaphragm 14 is controlled and the gain control in the analog signal processing unit 20 is performed.

上記のようにしてAF制御及びAE制御された2つの画像A,Bは、瞳指向センサ16から所定のインターバルで読み出され、A/D変換器21、画像入力コントローラ22を介してメモリ48に入力され、一時的に記憶される。メモリ48に一時的に記憶された2つの画像A,Bの画像データは、デジタル信号処理部24により適宜読み出され、デジタル信号処理部24で処理され画像データは、VRAM50に入力される。VRAM50から読み出された画像データは、ビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30(LCD)に出力され、また、外部出力端子32を介して外部機器(無線送信機等)に出力される。   The two images A and B subjected to the AF control and the AE control as described above are read from the pupil directing sensor 16 at a predetermined interval and stored in the memory 48 via the A / D converter 21 and the image input controller 22. Input and temporarily stored. The image data of the two images A and B temporarily stored in the memory 48 are appropriately read out by the digital signal processing unit 24, processed by the digital signal processing unit 24, and the image data is input to the VRAM 50. The image data read from the VRAM 50 is encoded by the video encoder 28, output to a liquid crystal monitor 30 (LCD) provided on the back of the camera, and external equipment (wireless transmitter) via the external output terminal 32. Etc.).

また、デジタル信号処理部24では、画像データの輝度データY及び色差データCr,Cbの生成処理(YC処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びメモリ48に記憶された後、圧縮伸張処理部26に出力され、MPEG(Moving Picture Experts Group)−4等の動画圧縮フォーマットで圧縮される。圧縮された2つの合焦距離別の画像A,Bの動画ファイル、又は2つの合焦距離別の画像A,Bを合成した1つの動画ファイルは、メディア・コントローラ52を介して記録媒体54に記録される。これにより、同時に動画撮影された合焦距離の異なる2つの動画、又は合成された1つの動画を記録することができる。   The digital signal processing unit 24 performs predetermined signal processing including generation processing (YC processing) of luminance data Y of image data and color difference data Cr and Cb. The YC-processed image data (YC data) is stored again in the memory 48, and then output to the compression / decompression processing unit 26, and compressed in a moving image compression format such as MPEG (Moving Picture Experts Group) -4. A compressed moving image file of two images A and B according to in-focus distance or one moving image file obtained by combining two images A and B according to in-focus distance is recorded on a recording medium 54 via a media controller 52. The As a result, two moving images with different in-focus distances taken simultaneously, or one synthesized moving image can be recorded.

尚、EEPROM(Electrically Erasable and Programmable Read Only Memory)46には、CPU40が実行する制御プログラムの他、制御に必要な各種データ等が記録されている。   An EEPROM (Electrically Erasable and Programmable Read Only Memory) 46 records various data necessary for control in addition to a control program executed by the CPU 40.

[複数被写体の距離計測]
次に、上記のようにして撮像された合焦距離が異なる2つの画像A,B内の第1、第2の被写体の距離等を計測する複数被写体の距離計測部について説明する。
[Distance measurement of multiple subjects]
Next, a description will be given of a distance measuring unit for a plurality of subjects that measures the distance between the first and second subjects in the two images A and B that are captured as described above and have different in-focus distances.

図4に示す距離計測部は、主として合焦検出部60、合焦制御部62、及び計測部64から構成されている。   The distance measurement unit shown in FIG. 4 mainly includes a focus detection unit 60, a focus control unit 62, and a measurement unit 64.

合焦検出部60(合焦制御手段)は、図2に示したCPU40、顔検出部42、及びAF検出部43等から構成され、瞳指向センサ16により取得される2つの画像A,Bに基づいて2つの画像A,Bの合焦検出を行う。そして、2つの画像A,Bの一方又は両方が非合焦の場合には、領域分割レンズ12の各レンズ部12a、12bを、2つの画像A,Bの合焦距離に対応するレンズ位置(合焦位置)に移動させる指令信号を合焦制御部62に出力する。   The focus detection unit 60 (focus control unit) includes the CPU 40, the face detection unit 42, the AF detection unit 43, and the like illustrated in FIG. 2, and includes two images A and B acquired by the pupil directing sensor 16. Based on this, focus detection of the two images A and B is performed. When one or both of the two images A and B are out of focus, the lens portions 12a and 12b of the region dividing lens 12 are moved to the lens positions corresponding to the focusing distances of the two images A and B ( A command signal to be moved to the in-focus position is output to the in-focus control unit 62.

合焦制御部62(合焦制御手段)は、図2に示したレンズ駆動部56に対応し、合焦検出部60から入力する指令信号に基づいて各レンズ部12a、12bをそれぞれ独立して駆動し、合焦距離の異なる第1、第2の被写体に合焦するレンズ位置に移動させる。   The focusing control unit 62 (focusing control means) corresponds to the lens driving unit 56 shown in FIG. 2, and each lens unit 12a, 12b is independently set based on a command signal input from the focusing detection unit 60. The lens is driven and moved to a lens position that focuses on the first and second subjects having different in-focus distances.

合焦検出部60は、瞳指向センサ16により取得される2つの画像A,Bがそれぞれ合焦状態にあるときの各レンズ部12a、12bの現在のレンズ位置指令を、各レンズ部12a、12bのレンズ位置を示す情報として計測部64に出力する。例えば、合焦制御部62の駆動手段としてパルスモータが使用されている場合、合焦検出部60は、パルスモータを駆動するためのパルス信号を合焦制御部62に出力する。このパルス信号のパルス数を、レンズ部12a、12bの基準位置(ホームポジション)からカウントしたカウント値が、現在のレンズ部12a、12bのレンズ位置に対応するレンズ位置指令となる。   The focus detection unit 60 outputs the current lens position commands of the lens units 12a and 12b when the two images A and B acquired by the pupil directing sensor 16 are in focus, and the lens units 12a and 12b. Is output to the measuring unit 64 as information indicating the lens position. For example, when a pulse motor is used as the drive means of the focus control unit 62, the focus detection unit 60 outputs a pulse signal for driving the pulse motor to the focus control unit 62. A count value obtained by counting the number of pulses of the pulse signal from the reference position (home position) of the lens units 12a and 12b becomes a lens position command corresponding to the current lens position of the lens units 12a and 12b.

計測部64(第1の算出手段、第2の算出手段、レンズ位置検出手段)は、図2に示したCPU40の計測機能に対応する。計測部64は、合焦制御部62から合焦状態にある各レンズ部12a、12bのレンズ位置情報を取得し、これらのレンズ位置情報に基づいて画像A,B内の第1、第2の被写体までの距離を算出する。尚、第1、第2の被写体までの距離(合焦距離(1),(2))は、レンズ部12a、12bのレンズ位置に対応するため、レンズ部12a、12bのレンズ位置情報から第1、第2の被写体までの距離をそれぞれ算出することができる。   The measurement unit 64 (first calculation means, second calculation means, lens position detection means) corresponds to the measurement function of the CPU 40 shown in FIG. The measuring unit 64 acquires lens position information of the lens units 12a and 12b in the focused state from the focusing control unit 62, and based on these lens position information, the first and second images in the images A and B are obtained. Calculate the distance to the subject. Since the distances to the first and second subjects (focusing distances (1), (2)) correspond to the lens positions of the lens units 12a, 12b, the distances from the lens position information of the lens units 12a, 12b are used. The distances to the first and second subjects can be calculated respectively.

また、計測部64は、第1、第2の被写体間の距離を算出する。このようにして算出された第1、第2の被写体の距離、及び第1、第2の被写体間の距離は、適宜出力され、記録される。   The measuring unit 64 calculates the distance between the first and second subjects. The distance between the first and second subjects calculated in this way and the distance between the first and second subjects are appropriately output and recorded.

[複数被写体の距離計測方法]
次に、複数被写体の距離計測方法について、図7に示すフローチャートを参照しながら説明する。
[Distance measurement method for multiple subjects]
Next, a distance measuring method for a plurality of subjects will be described with reference to the flowchart shown in FIG.

図5において、図4に示した合焦検出部60、合焦制御部62、計測部64は、以下の処理を実行する。   5, the focus detection unit 60, the focus control unit 62, and the measurement unit 64 illustrated in FIG. 4 execute the following processing.

まず、合焦検出部60は、同時刻に撮像された画像A,Bを瞳指向センサ16を介して取得する(ステップS10)。   First, the focus detection unit 60 acquires images A and B captured at the same time via the pupil directing sensor 16 (step S10).

合焦検出部60及び合焦制御部62は、画像A,Bに基づいてレンズ部12a、12bの合焦制御を行う(ステップS12、S14)。   The focus detection unit 60 and the focus control unit 62 perform focus control of the lens units 12a and 12b based on the images A and B (steps S12 and S14).

図8A及び図8Bは、それぞれ合焦制御された画像A,Bを示す図である。図8A及び図8Bに示すように画像Aは、第1の被写体(顔)に合焦し、画像Bは、第2の被写体(顔)に合焦している。   FIG. 8A and FIG. 8B are diagrams showing images A and B that are respectively controlled in focus. As shown in FIGS. 8A and 8B, the image A is focused on the first subject (face), and the image B is focused on the second subject (face).

続いて、合焦検出部60は、合焦制御されているレンズ部12a、12bのレンズ位置をそれぞれ検出する(ステップS16、S18)。   Subsequently, the focus detection unit 60 detects the lens positions of the lens units 12a and 12b that are under focus control (steps S16 and S18).

図9A及び図9Bは、それぞれ画像A,B内の各AF領域(第1、第2の被写体の顔領域)のAF評価値を示すグラフである。合焦検出部60は、各AF領域のAF評価値が、常にピーク値となるようにレンズ部12a、12bのレンズ位置を制御(山登り制御)しており、現在のレンズ部12a、12bのレンズ位置a,aをそれぞれ検出することができる。9A and 9B are graphs showing the AF evaluation values of the AF areas (the first and second subject face areas) in the images A and B, respectively. The focus detection unit 60 controls the lens positions of the lens units 12a and 12b (mountain climbing control) so that the AF evaluation value of each AF area always has a peak value, and the lenses of the current lens units 12a and 12b. The positions a 1 and a 2 can be detected respectively.

次に、計測部64は、合焦検出部60から入力するレンズ部12a、12bのレンズ位置a,aを示すレンズ位置情報に基づいて第1、第2の被写体の距離(合焦距離)を算出し(ステップS20、S22)、また、算出した第1、第2の被写体の距離の差を求めることにより、第1、第2の被写体間の距離を算出する(ステップS24)。Next, the measurement unit 64 determines the distance between the first and second subjects (focus distance) based on the lens position information indicating the lens positions a 1 and a 2 of the lens units 12 a and 12 b input from the focus detection unit 60. ) Is calculated (steps S20 and S22), and the distance between the first and second subjects is calculated by calculating the difference between the calculated distances of the first and second subjects (step S24).

計測部64は、上記のようにして算出した第1、第2の被写体の距離、第1、第2の被写体間の距離を出力する(ステップS26)。   The measuring unit 64 outputs the distance between the first and second subjects and the distance between the first and second subjects calculated as described above (step S26).

次に、CPU40は、距離の計測が終了したか否かを判別し(ステップS28)、終了していない場合(「No」の場合)には、ステップS10に遷移させ、所定の時間間隔で同時に撮像された次の時刻における画像A、Bを取得させる。これにより、上記ステップS10からステップS28の処理が繰り返される。   Next, the CPU 40 determines whether or not the distance measurement has been completed (step S28). If the distance measurement has not been completed (in the case of “No”), the CPU 40 makes a transition to step S10 and simultaneously at predetermined time intervals. The images A and B taken at the next time taken are acquired. Thereby, the processing from step S10 to step S28 is repeated.

一方、ステップS28において、距離の計測が終了したと判別されると(「Yes」の場合)、複数被写体の距離計測を終了する。   On the other hand, if it is determined in step S28 that the distance measurement has been completed (in the case of “Yes”), the distance measurement for a plurality of subjects is terminated.

上記のようにして所定の時間間隔の時々刻々の第1、第2の被写体の距離、第1、第2の被写体間の距離を計測することができる。   As described above, the distance between the first and second subjects and the distance between the first and second subjects can be measured every predetermined time interval.

[合成画像生成部]
次に、画像A,Bの合成、及び距離情報の合成を行う合成画像生成部について説明する。
[Composite image generator]
Next, a composite image generation unit that combines the images A and B and the distance information will be described.

図10は、合成画像生成部70の実施形態を示すブロック図である。   FIG. 10 is a block diagram illustrating an embodiment of the composite image generation unit 70.

合成画像生成部70(合成画像生成手段)は、図2に示したデジタル信号処理部24及びCPU40により構成されており、主として画像入力部71、合焦度合い検出部72、分割領域選択部73、距離情報入力部74、キャラクタジェネレータ75、及び画像合成部76を備えている。   The composite image generation unit 70 (composite image generation means) is configured by the digital signal processing unit 24 and the CPU 40 shown in FIG. 2, and mainly includes an image input unit 71, a focus degree detection unit 72, a divided region selection unit 73, A distance information input unit 74, a character generator 75, and an image composition unit 76 are provided.

画像入力部71は、第1、第2の被写体に合焦している画像A,Bをそれぞれ入力し(図8A,図8B参照)、入力した画像A,Bを合焦度合い検出部72に出力する。   The image input unit 71 inputs the images A and B focused on the first and second subjects, respectively (see FIGS. 8A and 8B), and inputs the input images A and B to the focus degree detection unit 72. Output.

合焦度合い検出部72は、入力した画像A,Bの各画面を、複数の分割領域Aij,Bij(例えば、16×16の分割領域)に分割し、分割領域Aij,Bijごとに分割領域内の分割画像の高周波成分の積算値(合焦度合い情報)を算出する。そして、分割領域Aij,Bijごとの分割画像とともに、算出した分割画像の合焦度合い情報を分割領域選択部73に出力する。The focus degree detection unit 72 divides each screen of the input images A and B into a plurality of divided areas A ij and B ij (for example, 16 × 16 divided areas), and each divided area A ij and B ij. The integrated value (focus degree information) of the high frequency components of the divided images in the divided area is calculated. Then, together with the divided images for each of the divided areas A ij and B ij , the calculated degree-of-focus information of the divided images is output to the divided area selecting unit 73.

分割領域選択部73は、合焦度合い情報に基づいて分割領域Aij,Bijの同じ分割領域のうちの合焦度合いの高い分割領域の分割画像を選択し、選択した分割画像を画像合成部76に出力する。The divided region selection unit 73 selects a divided image of a divided region with a high degree of focus among the same divided regions of the divided regions A ij and B ij based on the focus degree information, and the selected divided image is an image composition unit. Output to 76.

画像合成部76は、分割領域選択部73により選択された各分割画像を合成し、1画面分の合成画像を生成する。これにより、図11に示すように第1、第2の被写体にそれぞれ合焦している合成画像を生成することができる。   The image composition unit 76 synthesizes the divided images selected by the divided region selection unit 73 and generates a composite image for one screen. As a result, as shown in FIG. 11, it is possible to generate a composite image in which each of the first and second subjects is focused.

一方、距離情報入力部74は、図4に示した計測部64から第1、第2の被写体の距離、及び第1、第2の被写体間の距離を示す距離情報を入力し、これらの距離情報をキャラクタジェネレータ75に出力する。キャラクタジェネレータ75は、入力する距離情報に基づいて距離情報に対応する文字画像(距離を示す数字)を発生し、発生した文字画像を画像合成部76に出力する。   On the other hand, the distance information input unit 74 inputs distance information indicating the distance between the first and second subjects and the distance between the first and second subjects from the measurement unit 64 shown in FIG. Information is output to the character generator 75. The character generator 75 generates a character image (a number indicating the distance) corresponding to the distance information based on the input distance information, and outputs the generated character image to the image composition unit 76.

画像合成部76は、キャラクタジェネレータ75から入力する文字画像を、合成画像上に合成する。図11に示すように第1、第2の被写体の距離を示す文字画像は、第1、第2の被写体の近傍に合成することが好ましく、第1、第2の被写体間の距離を示す文字画像は、第1、第2の被写体の中間位置に合成することが好ましい。   The image composition unit 76 composes the character image input from the character generator 75 on the composite image. As shown in FIG. 11, the character image indicating the distance between the first and second subjects is preferably synthesized in the vicinity of the first and second subjects, and the character indicating the distance between the first and second subjects. The image is preferably synthesized at an intermediate position between the first and second subjects.

画像合成部76により合成された合成画像は、外部出力端子32(図2)を介して中継車内の無線通信機に出力される。   The synthesized image synthesized by the image synthesizing unit 76 is output to the wireless communication device in the relay vehicle via the external output terminal 32 (FIG. 2).

これにより、第1の被写体(先頭の走者)と第2の被写体(追走者)の両方の選手にピントが合った映像を撮ることができ、なおかつ、選手間のギャップ(距離)を数値表示することができるので、マラソンや駅伝を実況中継する中継車に本撮像装置10を積めば、実況中継が面白くなる。   As a result, it is possible to take an image in which both the first subject (first runner) and the second subject (follower) are in focus, and numerically display the gap (distance) between the players. Therefore, if this imaging device 10 is loaded on a relay vehicle that relays a marathon or relay road relay, the live relay becomes interesting.

尚、図11に示す例では、第1、第2の被写体の距離と、第1、第2の被写体間の距離とを表示するようにしているが、いずれか一方の距離のみを表示するようにしてもよい。また、これらの距離は、常時表示するようにしてもよいし、第1、第2の被写体間の距離が変化した場合に一定時間表示するようにしてもよい。   In the example shown in FIG. 11, the distance between the first and second subjects and the distance between the first and second subjects are displayed. However, only one of the distances is displayed. It may be. These distances may be displayed constantly, or may be displayed for a certain period of time when the distance between the first and second subjects changes.

[その他]
図11に示す例では、第1、第2の被写体にそれぞれ合焦している合成画像上に第1、第2の被写体間の距離等を合成表示するようにしたが、本発明はこれに限定されない。例えば、図8A又は図8Bに示した画像A,又は画像Bのいずれか一方の画像に第1、第2の被写体間の距離等を合成表示するようにしてもよい。
[Others]
In the example shown in FIG. 11, the distance between the first and second subjects is synthesized and displayed on the synthesized image focused on the first and second subjects. It is not limited. For example, the distance between the first and second subjects may be combined and displayed on one of the images A and B shown in FIG. 8A or 8B.

また、本実施形態では、それぞれ合焦距離の異なる第1、第2の被写体として、マラソンや駅伝の選手を例に説明したが、本発明はこれに限定されず、種々の被写体の撮像に適用できる。また、本発明は、複数の被写体の距離がそれぞれ変化する複数被写体の撮像に好適である。   In the present embodiment, marathon and relay relay players have been described as examples of the first and second subjects having different in-focus distances, but the present invention is not limited to this, and can be applied to imaging various subjects. it can. Further, the present invention is suitable for imaging a plurality of subjects in which the distances of the plurality of subjects change respectively.

また、合焦制御する合焦距離の異なる複数の被写体は、LCD30(例えば、タッチパネル付きLCD)の画面上で、タップなどのユーザ入力により指定するようにしてもよい。   In addition, a plurality of subjects with different focus distances for focus control may be designated by user input such as a tap on the screen of the LCD 30 (for example, LCD with touch panel).

更に、合焦距離の異なる複数の被写体に対する合焦制御は、本実施形態のコントラストAFに限らず、位相差AF等の種々のAFを適用することができる。   Furthermore, the focusing control for a plurality of subjects having different focusing distances is not limited to the contrast AF of the present embodiment, and various AFs such as a phase difference AF can be applied.

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。   Moreover, it goes without saying that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.

10…撮像装置、12…領域分割レンズ、12a,12b…レンズ部、16…瞳指向センサ、24…デジタル信号処理部、40…中央処理装置(CPU)、60…合焦検出部、62…合焦制御部、64…計測部、70…合成画像生成部   DESCRIPTION OF SYMBOLS 10 ... Imaging device, 12 ... Area division | segmentation lens, 12a, 12b ... Lens part, 16 ... Pupil directivity sensor, 24 ... Digital signal processing part, 40 ... Central processing unit (CPU), 60 ... Focus detection part, 62 ... Focus Focus control unit, 64 ... measurement unit, 70 ... composite image generation unit

Claims (10)

物理的に分離した複数のレンズからなる撮影光学系であって、当該撮影光学系の複数の領域が、前記複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、
二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、前記複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサと、
前記瞳指向センサから前記複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得手段と、
前記画像取得手段により取得される複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御手段と、
前記合焦制御手段によりそれぞれ合焦制御される前記複数の被写体の合焦距離をそれぞれ算出する第1の算出手段と、
を備えた複数被写体の距離計測装置。
An imaging optical system comprising a plurality of physically separated lenses, wherein the plurality of areas of the imaging optical system have independent focal lengths corresponding to the combination of the plurality of lenses, and
A pupil directing sensor having a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements, the pupil directing sensor selectively receiving a light beam that has passed through any of the plurality of regions,
Image acquisition means for simultaneously acquiring a plurality of images corresponding to the plurality of regions from the pupil-directing sensor;
Focus control for independently driving a plurality of physically separated lenses of the photographing optical system based on a plurality of images acquired by the image acquisition means and focusing on a plurality of subjects having different focus distances. Means,
First calculation means for calculating the focus distances of the plurality of subjects that are respectively controlled in focus by the focus control means;
A distance measuring device for multiple subjects.
前記第1の算出手段により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第2の算出手段を備えた請求項1に記載の複数被写体の距離計測装置。   The distance measuring apparatus for a plurality of subjects according to claim 1, further comprising: a second calculation unit that calculates distances between the plurality of subjects based on the plurality of focus distances calculated by the first calculation unit. 前記画像取得手段は、前記複数の領域に対応する複数の画像をそれぞれ同時に、かつ連続して取得し、
前記合焦制御手段は、前記画像取得手段により同時に、かつ連続して取得される前記複数の領域に対応する複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、前記複数の被写体に連続的に合焦させ、
前記第1の算出手段は、前記合焦制御手段によりそれぞれ連続して合焦制御される前記複数の被写体の合焦距離を連続して算出し、
前記第2の算出手段は、前記第1の算出手段により連続して算出された複数の合焦距離に基づいて複数の被写体間の距離を連続して算出する請求項2に記載の複数被写体の距離計測装置。
The image acquisition means acquires a plurality of images corresponding to the plurality of regions simultaneously and successively,
The focusing control unit independently sets a plurality of physically separated lenses of the photographing optical system based on a plurality of images corresponding to the plurality of regions acquired simultaneously and continuously by the image acquiring unit. And continuously focus on the plurality of subjects,
The first calculation means continuously calculates the focus distances of the plurality of subjects that are successively controlled by the focus control means,
3. The plurality of subjects according to claim 2, wherein the second calculation unit continuously calculates the distance between the plurality of subjects based on the plurality of in-focus distances continuously calculated by the first calculation unit. Distance measuring device.
前記画像取得手段により前記瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成する合成画像生成手段を備えた請求項1から3のいずれか1項に記載の複数被写体の距離計測装置。   The composite image generation means which produces | generates the synthesized image which the several to-be-photographed object at least focused based on the several image acquired simultaneously from the said pupil orientation sensor by the said image acquisition means was combined. The distance measuring device for a plurality of subjects according to any one of the above. 前記画像取得手段により前記瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成し、かつ前記第2の算出手段により算出された複数の被写体間の距離を示す文字情報を前記合成画像に合成する合成画像生成手段を備えた請求項2又は3に記載の複数被写体の距離計測装置。   Based on a plurality of images simultaneously acquired from the pupil directing sensor by the image acquisition means, a composite image is generated by combining a plurality of subjects that are at least in focus, and calculated by the second calculation means The distance measuring device for a plurality of subjects according to claim 2 or 3, further comprising a composite image generating means for combining character information indicating distances between a plurality of subjects with the composite image. 前記画像取得手段により同時に取得される複数の画像からそれぞれ主要な被写体を検出する被写体検出手段を備え、
前記合焦制御手段は、前記画像取得手段により同時に取得される複数の画像内の前記被写体検出手段により検出された被写体を含む領域をそれぞれ焦点検出領域とし、各焦点検出領域の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、前記複数の被写体に連続的に合焦させる請求項1から5のいずれか1項に記載の複数被写体の距離計測装置。
Subject detection means for detecting main subjects from a plurality of images simultaneously acquired by the image acquisition means,
The focusing control unit sets a region including a subject detected by the subject detection unit in a plurality of images simultaneously acquired by the image acquisition unit as a focus detection region, and based on the image of each focus detection region 6. The distance measuring apparatus for a plurality of subjects according to claim 1, wherein a plurality of physically separated lenses of the photographing optical system are independently driven to continuously focus on the plurality of subjects.
前記合焦制御手段は、各焦点検出領域内の画像のコントラストがそれぞれ最大になるように前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、前記複数の被写体に連続的に合焦させる請求項6に記載の複数被写体の距離計測装置。   The focusing control unit independently drives a plurality of physically separated lenses of the photographing optical system so that the contrast of an image in each focus detection region is maximized, and continuously to the plurality of subjects. The distance measuring device for a plurality of subjects according to claim 6, wherein the distance measuring device is focused on. 前記第1の算出手段は、前記合焦制御手段により独立して合焦駆動された複数のレンズのレンズ位置を検出するレンズ位置検出手段を有し、前記レンズ位置検出手段により検出された複数のレンズのレンズ位置に基づいて前記複数の被写体の合焦距離を算出する請求項1から7のいずれか1項に記載の複数被写体の距離計測装置。   The first calculation unit includes a lens position detection unit that detects lens positions of a plurality of lenses that are independently driven by the focusing control unit, and a plurality of detection points detected by the lens position detection unit. The distance measuring device for a plurality of subjects according to any one of claims 1 to 7, wherein a focusing distance of the plurality of subjects is calculated based on a lens position of the lens. 物理的に分離した複数のレンズからなる撮影光学系であって、当該撮影光学系の複数の領域が、前記複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、前記複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサとを有する撮像手段から前記複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得工程と、
前記画像取得工程により取得される複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御工程と、
前記合焦制御工程によりそれぞれ合焦制御される前記複数の被写体の合焦距離をそれぞれ算出する第1の算出工程と、
を含む複数被写体の距離計測方法。
An imaging optical system comprising a plurality of physically separated lenses, wherein the plurality of areas of the imaging optical system have independent focal lengths corresponding to the combination of the plurality of lenses, and An imaging having a pupil directing sensor having a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements and selectively receiving a light beam that has passed through any of the plurality of regions An image acquisition step of simultaneously acquiring a plurality of images corresponding to the plurality of regions from the means;
Focus control for independently driving a plurality of physically separated lenses of the photographing optical system based on a plurality of images acquired by the image acquisition step and focusing on a plurality of subjects having different focus distances. Process,
A first calculation step of calculating a focus distance of each of the plurality of subjects that are respectively controlled in focus by the focus control step;
Distance measurement method for multiple subjects including
前記第1の算出工程により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第2の算出工程を含む請求項9に記載の複数被写体の距離計測方法。   The multiple subject distance measurement method according to claim 9, further comprising a second calculation step of calculating a distance between the plurality of subjects based on the plurality of in-focus distances calculated in the first calculation step.
JP2014536906A 2012-09-24 2013-09-19 Apparatus and method for measuring distance of multiple subjects Active JP5750551B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014536906A JP5750551B2 (en) 2012-09-24 2013-09-19 Apparatus and method for measuring distance of multiple subjects

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012209799 2012-09-24
JP2012209799 2012-09-24
PCT/JP2013/075306 WO2014046184A1 (en) 2012-09-24 2013-09-19 Device and method for measuring distances of multiple subjects
JP2014536906A JP5750551B2 (en) 2012-09-24 2013-09-19 Apparatus and method for measuring distance of multiple subjects

Publications (2)

Publication Number Publication Date
JP5750551B2 true JP5750551B2 (en) 2015-07-22
JPWO2014046184A1 JPWO2014046184A1 (en) 2016-08-18

Family

ID=50341488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014536906A Active JP5750551B2 (en) 2012-09-24 2013-09-19 Apparatus and method for measuring distance of multiple subjects

Country Status (5)

Country Link
US (1) US9386215B2 (en)
EP (1) EP2902743B1 (en)
JP (1) JP5750551B2 (en)
CN (1) CN104620075B (en)
WO (1) WO2014046184A1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413998B2 (en) * 2014-07-07 2016-08-09 Lite-On Electronics (Guangzhou) Limited Image capturing module for increasing assembly flatness and shortening focusing time and method of assembling the same
US9525814B2 (en) * 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
EP3339931B1 (en) * 2015-08-19 2021-09-22 FUJIFILM Corporation Lens device
JP7122806B2 (en) * 2017-02-24 2022-08-22 コニカミノルタ株式会社 OBJECT APPROACH DETECTION DEVICE AND OBJECT APPROACH DETECTION METHOD
JP7040599B2 (en) * 2018-03-13 2022-03-23 日本電気株式会社 Viewing support device, viewing support method and program
JP2019168479A (en) * 2018-03-22 2019-10-03 キヤノン株式会社 Controller, imaging device, method for control, program, and, and storage medium
JP7504579B2 (en) * 2019-11-20 2024-06-24 キヤノン株式会社 Image capture device, image capture device control method and program
US20220400211A1 (en) * 2021-06-11 2022-12-15 Bennet Langlotz Digital camera with multi-subject focusing
US11283989B1 (en) * 2021-06-11 2022-03-22 Bennet Langlotz Digital camera with multi-subject focusing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191259A (en) * 1993-12-27 1995-07-28 Nikon Corp Focus detection device
JP2003078802A (en) * 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> Imaging apparatus
JP2005109622A (en) * 2003-09-29 2005-04-21 Minolta Co Ltd Multiple-lens imaging apparatus and mobile communication terminal
JP2006184065A (en) * 2004-12-27 2006-07-13 Matsushita Electric Ind Co Ltd Object detector
JP2010113043A (en) * 2008-11-05 2010-05-20 Canon Inc Photographing system and lens device
JP2012042863A (en) * 2010-08-23 2012-03-01 Olympus Corp Imaging device
JP2013205781A (en) * 2012-03-29 2013-10-07 Fujifilm Corp Imaging apparatus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4426669B2 (en) * 1999-06-03 2010-03-03 オリンパス株式会社 Multi AF device
US8124929B2 (en) * 2004-08-25 2012-02-28 Protarius Filo Ag, L.L.C. Imager module optical focus and assembly method
CN101680756B (en) * 2008-02-12 2012-09-05 松下电器产业株式会社 Compound eye imaging device, distance measurement device, parallax calculation method and distance measurement method
US8244058B1 (en) * 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
KR101441586B1 (en) * 2008-10-06 2014-09-23 삼성전자 주식회사 Apparatus and method for capturing image
JP2010128122A (en) * 2008-11-27 2010-06-10 Olympus Corp Imaging apparatus
JP5440903B2 (en) * 2009-05-20 2014-03-12 株式会社リコー Imaging device, stereo camera device, and vehicle exterior monitoring device
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
JP2011199755A (en) * 2010-03-23 2011-10-06 Fujifilm Corp Image pickup device
WO2012017577A1 (en) * 2010-08-06 2012-02-09 パナソニック株式会社 Imaging device and imaging method
JP2012044564A (en) * 2010-08-20 2012-03-01 Sanyo Electric Co Ltd Imaging apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191259A (en) * 1993-12-27 1995-07-28 Nikon Corp Focus detection device
JP2003078802A (en) * 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> Imaging apparatus
JP2005109622A (en) * 2003-09-29 2005-04-21 Minolta Co Ltd Multiple-lens imaging apparatus and mobile communication terminal
JP2006184065A (en) * 2004-12-27 2006-07-13 Matsushita Electric Ind Co Ltd Object detector
JP2010113043A (en) * 2008-11-05 2010-05-20 Canon Inc Photographing system and lens device
JP2012042863A (en) * 2010-08-23 2012-03-01 Olympus Corp Imaging device
JP2013205781A (en) * 2012-03-29 2013-10-07 Fujifilm Corp Imaging apparatus

Also Published As

Publication number Publication date
CN104620075A (en) 2015-05-13
JPWO2014046184A1 (en) 2016-08-18
EP2902743A4 (en) 2016-05-04
US9386215B2 (en) 2016-07-05
WO2014046184A1 (en) 2014-03-27
US20150195449A1 (en) 2015-07-09
CN104620075B (en) 2016-04-13
EP2902743B1 (en) 2017-08-23
EP2902743A1 (en) 2015-08-05

Similar Documents

Publication Publication Date Title
JP5750551B2 (en) Apparatus and method for measuring distance of multiple subjects
US8854528B2 (en) Imaging apparatus
KR101605419B1 (en) Photographing apparatus and method of photographing
US9681037B2 (en) Imaging apparatus and its control method and program
US20080181460A1 (en) Imaging apparatus and imaging method
US8823778B2 (en) Imaging device and imaging method
JP2013201752A (en) Image processing device, image pickup device, control method, and program
US10313577B2 (en) Focus detection apparatus, focus detection method, and image capturing apparatus
JP2011022386A (en) Imaging apparatus and control method therefor
US20140226039A1 (en) Image capturing apparatus and control method thereof
WO2012002149A1 (en) Image processing method and apparatus
US9077979B2 (en) Stereoscopic image capture device and method
JP2013160991A (en) Imaging apparatus
US9693037B2 (en) Imaging apparatus having an imaging element in which a plurality of light receiving elements is arranged with respect to a micro lens and method for controlling same
JP6917803B2 (en) Imaging equipment, control methods, and programs
JP2011242652A (en) Focus detector and control method thereof
WO2013005477A1 (en) Imaging device, three-dimensional image capturing method and program
KR20120068696A (en) Image capturing device and image capturing method
US10447937B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area
JP2007108093A (en) Device for measuring distance to object to be photographed and method thereof
US20240089597A1 (en) Image capturing apparatus for capturing and compositing images different in in-focus position, control method, and storage medium
US20220358667A1 (en) Image processing apparatus and method, and image capturing apparatus and control method thereof, and storage medium
JP2012103285A (en) Focus detecting device and method for controlling the same
JP6891470B2 (en) Imaging device
JP2009044534A (en) Electronic camera

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150518

R150 Certificate of patent or registration of utility model

Ref document number: 5750551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250