JP5750551B2 - Apparatus and method for measuring distance of multiple subjects - Google Patents
Apparatus and method for measuring distance of multiple subjects Download PDFInfo
- Publication number
- JP5750551B2 JP5750551B2 JP2014536906A JP2014536906A JP5750551B2 JP 5750551 B2 JP5750551 B2 JP 5750551B2 JP 2014536906 A JP2014536906 A JP 2014536906A JP 2014536906 A JP2014536906 A JP 2014536906A JP 5750551 B2 JP5750551 B2 JP 5750551B2
- Authority
- JP
- Japan
- Prior art keywords
- subjects
- focus
- image
- distance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000001514 detection method Methods 0.000 claims description 53
- 238000003384 imaging method Methods 0.000 claims description 43
- 210000001747 pupil Anatomy 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 22
- 239000002131 composite material Substances 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000000691 measurement method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 23
- 238000005259 measurement Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Cameras In General (AREA)
- Automatic Focus Adjustment (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は複数被写体の距離計測装置及び方法に係り、特に複数被写体の距離等を同時に計測する技術に関する。 The present invention relates to a distance measuring apparatus and method for a plurality of subjects, and more particularly to a technique for simultaneously measuring a distance of a plurality of subjects.
特許文献1には、マラソン中継中に各選手(被写体)の距離、又は被写体間の距離を算出し、中継画像中に距離を表示する撮影システムが記載されている。この撮影システムは、撮影範囲内に設けられた複数の測距領域のそれぞれにおいて被写体距離を算出するようにしている。
特許文献2には、遠距離用の撮像レンズ系と近距離用の撮像レンズ系とを半円状の2つの分割したレンズで構成し、遠距離用の撮像レンズ系と近距離用の撮像レンズ系の各レンズとを配置して、遠距離用の撮像レンズ系で遠距離の被写体の画像を撮像素子の半分の領域に結像させ、近距離用の撮像レンズ系で近距離の被写体の画像を撮像素子の半分の領域に結像させて、撮像素子から遠距離用の画像と近距離用の画像とを同時に取得できる撮像装置が記載されている。 In Patent Document 2, an imaging lens system for a long distance and an imaging lens system for a short distance are configured by two semicircular divided lenses, and an imaging lens system for a long distance and an imaging lens for a short distance are used. The image of the long-distance subject is imaged in the half area of the image sensor by the long-distance imaging lens system, and the short-distance imaging lens system is used. Is imaged in a half region of the image sensor, and an image pickup apparatus capable of simultaneously acquiring a long-distance image and a short-distance image from the image sensor is described.
特許文献3には、撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する撮像装置が記載されている。この撮像装置は、撮像素子の各画素上に光束の一部を遮光する遮光部材(瞳分割手段)を設けてなる撮像素子(瞳指向センサ)を備え、この瞳指向センサから左視点画像及び右視点画像を取得するようにしている。 Japanese Patent Application Laid-Open No. 2004-228688 describes an imaging apparatus that forms a subject image that has passed through different regions in the left-right direction of a photographic lens on an imaging element and obtains a left viewpoint image and a right viewpoint image. This image pickup apparatus includes an image pickup element (pupil directing sensor) provided with a light blocking member (pupil dividing unit) that blocks a part of a light beam on each pixel of the image pickup element. A viewpoint image is acquired.
特許文献1に記載の撮影システムは、複数の被写体(マラソン中継中に各選手)のうちの1つの被写体(先頭を走っている選手)にピントを合わせており、複数の被写体にそれぞれピントの合った画像を取得することができない。
The photographing system described in
特許文献2に記載の撮像装置は、遠距離用の画像と近距離用の画像とを同時に撮像することができるが、これらの画像中の被写体(主要被写体)までの距離を、単一の撮像装置により求めることができない。このため、特許文献2に記載の撮像装置は、被写体距離を検出する場合には、撮像装置を所定距離だけ隔てて構成されたステレオカメラ装置にする必要がある。 The imaging device described in Patent Document 2 can simultaneously capture a long-distance image and a short-distance image, and a single imaging of the distance to the subject (main subject) in these images. Cannot be determined by the device. For this reason, when detecting the subject distance, the imaging device described in Patent Document 2 needs to be a stereo camera device configured by separating the imaging device by a predetermined distance.
特許文献3に記載の撮像装置は、瞳指向センサから被写体距離に応じて視差の異なる左視点画像及び右視点画像を取得することができるが、被写体距離の異なる複数の被写体にピントの合った画像を撮像することができない。 The imaging device described in Patent Literature 3 can acquire a left viewpoint image and a right viewpoint image having different parallaxes according to the subject distance from the pupil-directing sensor, but an image focused on a plurality of subjects having different subject distances. Cannot be imaged.
本発明はこのような事情に鑑みてなされたもので、1台の撮像装置により被写体距離(合焦距離)の異なる複数の被写体に合焦した複数の画像を同時に取得することができるとともに、複数の被写体の合焦距離を計測することができる複数被写体の距離計測装置及び方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and can simultaneously acquire a plurality of images focused on a plurality of subjects having different subject distances (focusing distances) by a single imaging device. It is an object of the present invention to provide a distance measuring apparatus and method for a plurality of subjects capable of measuring the in-focus distance of the subject.
上記目的を達成するために本発明の一の態様に係る複数被写体の距離計測装置は、物理的に分離した複数のレンズからなる撮影光学系であって、撮影光学系の複数の領域が、複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサと、瞳指向センサから複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得手段と、画像取得手段により取得される複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御手段と、合焦制御手段によりそれぞれ合焦制御される複数の被写体の合焦距離をそれぞれ算出する第1の算出手段と、を備えている。 In order to achieve the above object, a distance measuring apparatus for a plurality of subjects according to an aspect of the present invention is a photographing optical system including a plurality of physically separated lenses, and a plurality of regions of the photographing optical system includes a plurality of regions. A pupil-directing sensor having a plurality of pixels each composed of a photographing optical system having independent focusing distances corresponding to a combination of lenses and a photoelectric conversion element arranged two-dimensionally. A pupil-directing sensor that selectively receives a light beam that has passed through any one of the above, an image acquisition unit that simultaneously acquires a plurality of images corresponding to a plurality of regions from the pupil-direction sensor, and a plurality of images acquired by the image acquisition unit Focusing control means for independently driving a plurality of physically separated lenses of the photographing optical system based on the image, and focusing on a plurality of subjects having different focusing distances, respectively. Re comprises a first calculation means for calculating a plurality of subjects focusing distance each being focusing control, the.
本発明の一の態様によれば、単一の撮影光学系及び瞳指向センサを有する1台の撮像装置により複数の被写体にそれぞれ合焦した画像を同時に撮像することができ、かつ合焦制御時の情報に基づいて複数の被写体までの距離も同時に計測することができる。 According to one aspect of the present invention, a single imaging device having a single imaging optical system and a pupil-directing sensor can simultaneously capture images focused on a plurality of subjects, and at the time of focusing control. Based on this information, the distances to a plurality of subjects can be measured simultaneously.
本発明の他の態様に係る複数被写体の距離計測装置において、第1の算出手段により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第2の算出手段を備えることが好ましい。これにより、複数の被写体間の距離を容易に把握することができる。 The distance measuring apparatus for a plurality of subjects according to another aspect of the present invention includes a second calculation unit that calculates the distances between the plurality of subjects based on the plurality of in-focus distances calculated by the first calculation unit. Is preferred. Thereby, the distance between several subjects can be easily grasped.
本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段は、複数の領域に対応する複数の画像をそれぞれ同時に、かつ連続して取得し、合焦制御手段は、画像取得手段により同時に、かつ連続して取得される複数の領域に対応する複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させ、第1の算出手段は、合焦制御手段によりそれぞれ連続して合焦制御される複数の被写体の合焦距離を連続して算出し、第2の算出手段は、第1の算出手段により連続して算出された複数の合焦距離に基づいて複数の被写体間の距離を連続して算出することが好ましい。これにより、複数の被写体が別々に移動していても複数被写体間の距離を常時計測することができる。 In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, the image acquisition unit acquires a plurality of images corresponding to a plurality of regions simultaneously and continuously, and the focusing control unit acquires the image The plurality of physically separated lenses of the photographing optical system are independently driven on the basis of a plurality of images corresponding to a plurality of areas acquired simultaneously and continuously by the means, and continuously aligned with a plurality of subjects. The first calculating means continuously calculates the in-focus distances of a plurality of subjects that are successively controlled by the focusing control means, and the second calculating means is the first calculating means. It is preferable that the distances between the plurality of subjects are continuously calculated based on the plurality of in-focus distances calculated in succession. Thereby, even if a plurality of subjects are moving separately, the distance between the plurality of subjects can be constantly measured.
本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成する合成画像生成手段を備えることが好ましい。これにより、合焦距離の異なる複数の被写体にそれぞれ合焦した被写体像を1画面の合焦画像内で観察することができ、複数の被写体を見失うことがない。 In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, a composite image in which a plurality of subjects at least in focus are synthesized based on a plurality of images simultaneously acquired from a pupil directing sensor by an image acquisition unit. It is preferable to include a composite image generating means for generating As a result, the subject images focused on a plurality of subjects with different in-focus distances can be observed in the focused image on one screen, and the plurality of subjects are not lost.
本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成し、かつ第2の算出手段により算出された複数の被写体間の距離を示す文字情報を合成画像に合成することが好ましい。これにより、複数の被写体間の距離を実時間で確認することができる。 In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, a composite image in which a plurality of subjects at least in focus are synthesized based on a plurality of images simultaneously acquired from a pupil directing sensor by an image acquisition unit. It is preferable to combine the character information indicating the distance between the plurality of subjects calculated by the second calculation unit with the composite image. As a result, the distance between the plurality of subjects can be confirmed in real time.
本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により同時に取得される複数の画像からそれぞれ主要な被写体を検出する被写体検出手段を備え、合焦制御手段は、画像取得手段により同時に取得される複数の画像内の被写体検出手段により検出された被写体を含む領域をそれぞれ焦点検出領域とし、各焦点検出領域の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させることが好ましい。これにより、複数の被写体をそれぞれ追跡しながら複数の被写体にそれぞれ合焦した画像及び合焦距離を取得することができる。 The distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention includes subject detection means for detecting main subjects from a plurality of images simultaneously acquired by the image acquisition means, and the focus control means includes image acquisition A plurality of lenses physically separated from the photographing optical system based on the images of the respective focus detection areas, each of which includes a subject detected by the subject detection means in a plurality of images simultaneously acquired by the means Are preferably driven independently to continuously focus on a plurality of subjects. Accordingly, it is possible to acquire images and in-focus distances focused on the plurality of subjects while tracking the plurality of subjects, respectively.
本発明の更に他の態様に係る複数被写体の距離計測装置において、合焦制御手段は、各焦点検出領域内の画像のコントラストがそれぞれ最大になるように撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させることが好ましい。 In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, the focusing control means includes a plurality of physically separated optical systems so that the contrast of the image in each focus detection region is maximized. It is preferable to drive the lens independently to focus a plurality of subjects continuously.
本発明の更に他の態様に係る複数被写体の距離計測装置において、第1の算出手段は、合焦制御手段により独立して合焦駆動された複数のレンズのレンズ位置を検出するレンズ位置検出手段を有し、レンズ位置検出手段により検出された複数のレンズのレンズ位置に基づいて複数の被写体の合焦距離を算出することが好ましい。これにより、合焦制御手段による合焦制御に連動して複数の被写体の合焦距離を算出することができる。尚、レンズ位置検出手段は、複数のレンズのレンズ位置を直接検出するようにしてもよいし、複数のレンズをそれぞれ駆動する駆動手段に対する各駆動指令から検出するようにしてもよい。 In the distance measuring apparatus for a plurality of subjects according to still another aspect of the present invention, the first calculation means detects a lens position of a plurality of lenses that are independently driven by the focus control means. Preferably, the in-focus distances of the plurality of subjects are calculated based on the lens positions of the plurality of lenses detected by the lens position detection unit. Thereby, the focus distances of a plurality of subjects can be calculated in conjunction with the focus control by the focus control means. The lens position detection means may directly detect the lens positions of the plurality of lenses, or may detect from the respective drive commands to the driving means for driving the plurality of lenses.
本発明の更に他の態様に係る複数被写体の距離計測方法は、物理的に分離した複数のレンズからなる撮影光学系であって、撮影光学系の複数の領域が、複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサとを有する撮像手段から複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得工程と、画像取得工程により取得される複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御工程と、合焦制御工程によりそれぞれ合焦制御される複数の被写体の合焦距離をそれぞれ算出する第1の算出工程と、を含んでいる。 A distance measuring method for a plurality of subjects according to still another aspect of the present invention is a photographing optical system including a plurality of physically separated lenses, and a plurality of regions of the photographing optical system correspond to a combination of a plurality of lenses. A pupil-directing sensor having a plurality of pixels composed of a photographing optical system having independent focusing distances and two-dimensionally arranged photoelectric conversion elements, and has passed through any of a plurality of regions An image acquisition process for simultaneously acquiring a plurality of images corresponding to a plurality of regions from an imaging means having a pupil-directing sensor that selectively receives a light beam, and imaging optics based on the plurality of images acquired by the image acquisition process Focus control is performed by driving a plurality of physically separated lenses independently and focusing on a plurality of subjects with different focus distances, and the focus control process. It includes a first calculation step of calculating the number of the subject focus distance respectively, the.
本発明の更に他の態様に係る複数被写体の距離計測方法において、第1の算出工程により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第2の算出工程を含むことが好ましい。 The distance measuring method for a plurality of subjects according to still another aspect of the present invention includes a second calculation step of calculating the distances between the plurality of subjects based on the plurality of in-focus distances calculated by the first calculation step. It is preferable.
本発明によれば、1台の撮像装置により合焦距離の異なる複数の被写体に合焦した複数の画像を同時に取得することができるとともに、複数の被写体の合焦距離、複数の被写体間の距離等を計測することができる。 According to the present invention, it is possible to simultaneously acquire a plurality of images focused on a plurality of subjects having different focus distances by a single imaging device, and to determine the focus distances of the plurality of subjects and the distances between the plurality of subjects. Etc. can be measured.
以下、添付図面に従って本発明に係る複数被写体の距離計測装置及び方法の実施の形態について説明する。 Embodiments of a distance measuring apparatus and method for multiple subjects according to the present invention will be described below with reference to the accompanying drawings.
<複数被写体の距離計測装置の外観>
図1は本発明の係る複数被写体の距離計測装置として適用された撮像装置(例えば、テレビカメラ)10の実施形態を示す外観図である。複数の被写体がマラソンや駅伝の各選手の場合、撮像装置10は、三脚11に取り付けて第一中継車(例えば、マラソンや駅伝の先頭の中継車)に搭載することが好ましい。<Appearance of multiple subject distance measuring device>
FIG. 1 is an external view showing an embodiment of an imaging apparatus (for example, a television camera) 10 applied as a distance measuring apparatus for a plurality of subjects according to the present invention. In the case where a plurality of subjects are marathon and relay race athletes, the
図2は撮像装置10の内部構成の実施形態を示すブロック図である。
FIG. 2 is a block diagram illustrating an embodiment of the internal configuration of the
この撮像装置10は、撮像した動画を外部出力端子32を介して無線送信機(図示せず)に送信する。また、撮像装置10は、撮像した動画を記録媒体54に記録するとともに、複数の被写体の距離等を同時に計測し、計測結果を出力するものである。
The
図3A及び図3Bは、それぞれ撮像装置10に適用される撮影光学系(領域分割レンズ)12の実施形態を示す正面図及び側面図であり、図4は、領域分割レンズ12及び撮像装置10に適用される撮像素子(瞳指向センサ)16(画像取得手段)を含む撮像装置10の要部構成図である。
3A and 3B are a front view and a side view showing an embodiment of a photographing optical system (region dividing lens) 12 applied to the
図3A及び図3Bに示すように領域分割レンズ12は、1つのレンズがレンズ中心O1に対して物理的に上下に2分割された半月型のレンズ部12a、12bから構成され、かつ各レンズ部12a、12bが光軸L1の方向に相対的に移動可能に設けられている。3A and region dividing lenses as shown in FIG.
レンズ部12a、12bは、レンズ駆動部56(図2)によりそれぞれ独立して駆動され、合焦距離の異なる2つの被写体(主要被写体)に合焦するようにレンズ位置が制御される。これにより、レンズ部12a、12bの合焦距離を変更することができる。尚、レンズ部12a、12bの合焦制御の詳細については後述する。
The
図4に示すようにレンズ部12aは、レンズ部12bよりも前方(被写体側)に位置するため、近距離側の第1の被写体に合焦する合焦距離(1)を有し、一方、レンズ部12bは、遠距離側の第2の被写体に合焦する合焦距離(2)を有するものとなる。
As shown in FIG. 4, since the
図5は瞳指向センサ16の平面図である。図5に示すように瞳指向センサ16は、二次元状に配列された光電変換素子により構成された複数の画素(画素p1の画素群,画素p2の画素群)を有している。画素p1の画素群は、レンズ部12aを通過した光束を選択的に受光し、画素p2の画素群は、レンズ部12bを通過した光束を選択的に受光するように構成されている。
FIG. 5 is a plan view of the
図6A及び図6Bは瞳指向センサ16の構成を示す要部断面図である。図6A及び図6Bに示すように画素p1は、フォトダイオードPDの前面側(マイクロレンズL側)に遮光部材16Aが配設され、画素p2は、フォトダイオードPDの前面側に遮光部材16Bが配設されている。マイクロレンズL及び遮光部材16A、16Bは瞳分割手段としての機能を有する。遮光部材16Aは、領域分割レンズ12のレンズ部12aを通過する光束のみをフォトダイオードPDの受光面に入射させる開口を有し、遮光部材16Bは、領域分割レンズ12のレンズ部12bを通過する光束のみをフォトダイオードPDの受光面に入射させる開口を有している。
6A and 6B are main part cross-sectional views showing the configuration of the
これにより、瞳指向センサ16の画素p1の画素群と画素p2の画素群からそれぞれ画像を読み出すことにより、図4に示すように第1の被写体に合焦した出力画像Aと第2の被写体に合焦した出力画像Bとを同時に取得することができる。
As a result, by reading out images from the pixel group of the pixel p1 and the pixel group of the pixel p2 of the
図2に戻って、装置全体の動作は、中央処理装置(CPU:Central Processing Unit)40によって統括制御される。 Returning to FIG. 2, the overall operation of the apparatus is centrally controlled by a central processing unit (CPU) 40.
撮像装置10には、録画スタート等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、録画動作制御、画像処理制御、距離計測、画像データの記録/再生制御、液晶モニタ(LCD:Liquid Crystal Display)30の表示制御などを行う。
The
録画時において、領域分割レンズ12の各レンズ部12a、12bは、それぞれ合焦距離が異なる第1の被写体及び第2の被写体に合焦するようにレンズ駆動部56により独立してレンズ位置が制御される。各レンズ部12a、12bを通過した被写体光は、絞り14を介して瞳指向センサ16上に結像される。瞳指向センサ16では、所定の時間間隔(動画のフレームレート)で画像の読出し制御が行われる。これにより、図4に示すように第1の被写体に合焦した画像Aと第2の被写体に合焦した画像Bとを同時に、かつ連続して取得することができる。
During recording, the lens positions of the
瞳指向センサ16から読み出される画像A、画像Bの出力信号は、アナログ信号処理部20により相関二重サンプリング処理により画素毎の画像信号(電圧信号)としてサンプリングホールドされ、増幅されたのちA/D変換器21に加えられる。A/D変換器21は、順次入力する画像信号をデジタル信号に変換して画像入力コントローラ22に出力する。尚、MOS(Metal Oxide Semiconductor)型の瞳指向センサ16では、A/D変換器が内蔵されているものがあり、この場合、瞳指向センサ16から直接デジタル信号が出力される。
The output signals of the images A and B read out from the
それぞれ合焦距離の異なる、同時に撮像された2つの画像データは、瞳指向センサ16から画素位置を選択して画素データを読み出すことにより取得することができるが、瞳指向センサ16から全ての画素データを読み出してメモリ(SDRAM:Synchronous Dynamic Random Access Memory)48に一時的に記憶し、メモリ48から合焦距離の異なる2つの画像データを抽出するようにしてもよい。
Two pieces of image data captured at the same time, each having a different focus distance, can be acquired by selecting pixel positions from the
デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、YC処理等の所定の信号処理を行う。
The digital
デジタル信号処理部24で処理され画像データは、VRAM(Video Random Access Memory)50に入力される。VRAM50から読み出された画像データはビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30(LCD)に出力される。これにより、被写体像が液晶モニタ30(LCD)の表示画面上に表示される。この場合、合焦距離の異なる2つの動画を、同時に表示するようにしてもよいし、いずれか1つの動画を表示するようにしてもよいし、後述するように2つの動画のうちのそれぞれ合焦している領域の画像を合成した合成画像を表示するようにしてもよい。
The image data processed by the digital
また、CPU40は、操作部38からの録画準備又は開始が指示されると、顔検出部42(被写体検出手段)による顔検出(被写体検出)を行わせる。顔検出部42は、図示しない画像照合回路及び顔画像テンプレートを含み、撮影画像中に含まれる被写体(人物)の顔を検出し、その顔の位置や大きさの情報をCPU40に出力する。即ち、顔検出部42の画像照合回路は、予め設定した顔領域を検出するための最も大きな対象領域を、画面内で少しずつ移動させながら顔画像テンプレートとの相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。続いて、対象領域を少し小さくし、再度、顔画像テンプレートとの相関を調べる。これを検出したい最小の検出領域まで繰り返し、顔領域を求める。このようにして求めた顔領域の情報(顔領域の大きさ及び位置を示す情報)をCPU40に出力する。尚、顔検出方法は、上記の例に限らず、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。
Further, when an instruction to prepare or start recording is given from the
CPU40は、顔検出部42から加えられる顔領域の情報に基づいて最も大きな顔領域と次に大きな顔領域とを同時に撮像する2つの画像の焦点検出領域(オートフォーカス(AF)領域)として設定する。
The
AF検出部43は、CPU40により設定された2つの画像A,Bの各AF領域(顔領域)の画像信号の高周波成分を積算し、その積算値をAF評価値としてCPU40に出力する。CPU40は、AF検出部43から入力するAF評価値が、ピーク値を維持するようにレンズ駆動部56を介してレンズ部12a、12bのレンズ位置を制御するコントラストAFによる合焦制御(いわゆる山登り制御)を行う。
The
また、CPU40は、操作部38からの録画準備又は開始が指示されると、自動露出(AE)動作を開始させ、A/D変換器21から出力される画像データは、AE検出部44に取り込まれる。AE検出部44では、同時に取得される2つの画像のAF領域(顔領域)の画像信号、又は画面全体の画像信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいて絞り14の絞り値を決定し、その決定した絞り値に基づいて絞り14を制御したり、アナログ信号処理部20におけるゲイン制御を行う。
Further, the
上記のようにしてAF制御及びAE制御された2つの画像A,Bは、瞳指向センサ16から所定のインターバルで読み出され、A/D変換器21、画像入力コントローラ22を介してメモリ48に入力され、一時的に記憶される。メモリ48に一時的に記憶された2つの画像A,Bの画像データは、デジタル信号処理部24により適宜読み出され、デジタル信号処理部24で処理され画像データは、VRAM50に入力される。VRAM50から読み出された画像データは、ビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30(LCD)に出力され、また、外部出力端子32を介して外部機器(無線送信機等)に出力される。
The two images A and B subjected to the AF control and the AE control as described above are read from the
また、デジタル信号処理部24では、画像データの輝度データY及び色差データCr,Cbの生成処理(YC処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びメモリ48に記憶された後、圧縮伸張処理部26に出力され、MPEG(Moving Picture Experts Group)−4等の動画圧縮フォーマットで圧縮される。圧縮された2つの合焦距離別の画像A,Bの動画ファイル、又は2つの合焦距離別の画像A,Bを合成した1つの動画ファイルは、メディア・コントローラ52を介して記録媒体54に記録される。これにより、同時に動画撮影された合焦距離の異なる2つの動画、又は合成された1つの動画を記録することができる。
The digital
尚、EEPROM(Electrically Erasable and Programmable Read Only Memory)46には、CPU40が実行する制御プログラムの他、制御に必要な各種データ等が記録されている。
An EEPROM (Electrically Erasable and Programmable Read Only Memory) 46 records various data necessary for control in addition to a control program executed by the
[複数被写体の距離計測]
次に、上記のようにして撮像された合焦距離が異なる2つの画像A,B内の第1、第2の被写体の距離等を計測する複数被写体の距離計測部について説明する。[Distance measurement of multiple subjects]
Next, a description will be given of a distance measuring unit for a plurality of subjects that measures the distance between the first and second subjects in the two images A and B that are captured as described above and have different in-focus distances.
図4に示す距離計測部は、主として合焦検出部60、合焦制御部62、及び計測部64から構成されている。
The distance measurement unit shown in FIG. 4 mainly includes a
合焦検出部60(合焦制御手段)は、図2に示したCPU40、顔検出部42、及びAF検出部43等から構成され、瞳指向センサ16により取得される2つの画像A,Bに基づいて2つの画像A,Bの合焦検出を行う。そして、2つの画像A,Bの一方又は両方が非合焦の場合には、領域分割レンズ12の各レンズ部12a、12bを、2つの画像A,Bの合焦距離に対応するレンズ位置(合焦位置)に移動させる指令信号を合焦制御部62に出力する。
The focus detection unit 60 (focus control unit) includes the
合焦制御部62(合焦制御手段)は、図2に示したレンズ駆動部56に対応し、合焦検出部60から入力する指令信号に基づいて各レンズ部12a、12bをそれぞれ独立して駆動し、合焦距離の異なる第1、第2の被写体に合焦するレンズ位置に移動させる。
The focusing control unit 62 (focusing control means) corresponds to the
合焦検出部60は、瞳指向センサ16により取得される2つの画像A,Bがそれぞれ合焦状態にあるときの各レンズ部12a、12bの現在のレンズ位置指令を、各レンズ部12a、12bのレンズ位置を示す情報として計測部64に出力する。例えば、合焦制御部62の駆動手段としてパルスモータが使用されている場合、合焦検出部60は、パルスモータを駆動するためのパルス信号を合焦制御部62に出力する。このパルス信号のパルス数を、レンズ部12a、12bの基準位置(ホームポジション)からカウントしたカウント値が、現在のレンズ部12a、12bのレンズ位置に対応するレンズ位置指令となる。
The
計測部64(第1の算出手段、第2の算出手段、レンズ位置検出手段)は、図2に示したCPU40の計測機能に対応する。計測部64は、合焦制御部62から合焦状態にある各レンズ部12a、12bのレンズ位置情報を取得し、これらのレンズ位置情報に基づいて画像A,B内の第1、第2の被写体までの距離を算出する。尚、第1、第2の被写体までの距離(合焦距離(1),(2))は、レンズ部12a、12bのレンズ位置に対応するため、レンズ部12a、12bのレンズ位置情報から第1、第2の被写体までの距離をそれぞれ算出することができる。
The measurement unit 64 (first calculation means, second calculation means, lens position detection means) corresponds to the measurement function of the
また、計測部64は、第1、第2の被写体間の距離を算出する。このようにして算出された第1、第2の被写体の距離、及び第1、第2の被写体間の距離は、適宜出力され、記録される。
The measuring
[複数被写体の距離計測方法]
次に、複数被写体の距離計測方法について、図7に示すフローチャートを参照しながら説明する。[Distance measurement method for multiple subjects]
Next, a distance measuring method for a plurality of subjects will be described with reference to the flowchart shown in FIG.
図5において、図4に示した合焦検出部60、合焦制御部62、計測部64は、以下の処理を実行する。
5, the
まず、合焦検出部60は、同時刻に撮像された画像A,Bを瞳指向センサ16を介して取得する(ステップS10)。
First, the
合焦検出部60及び合焦制御部62は、画像A,Bに基づいてレンズ部12a、12bの合焦制御を行う(ステップS12、S14)。
The
図8A及び図8Bは、それぞれ合焦制御された画像A,Bを示す図である。図8A及び図8Bに示すように画像Aは、第1の被写体(顔)に合焦し、画像Bは、第2の被写体(顔)に合焦している。 FIG. 8A and FIG. 8B are diagrams showing images A and B that are respectively controlled in focus. As shown in FIGS. 8A and 8B, the image A is focused on the first subject (face), and the image B is focused on the second subject (face).
続いて、合焦検出部60は、合焦制御されているレンズ部12a、12bのレンズ位置をそれぞれ検出する(ステップS16、S18)。
Subsequently, the
図9A及び図9Bは、それぞれ画像A,B内の各AF領域(第1、第2の被写体の顔領域)のAF評価値を示すグラフである。合焦検出部60は、各AF領域のAF評価値が、常にピーク値となるようにレンズ部12a、12bのレンズ位置を制御(山登り制御)しており、現在のレンズ部12a、12bのレンズ位置a1,a2をそれぞれ検出することができる。9A and 9B are graphs showing the AF evaluation values of the AF areas (the first and second subject face areas) in the images A and B, respectively. The
次に、計測部64は、合焦検出部60から入力するレンズ部12a、12bのレンズ位置a1,a2を示すレンズ位置情報に基づいて第1、第2の被写体の距離(合焦距離)を算出し(ステップS20、S22)、また、算出した第1、第2の被写体の距離の差を求めることにより、第1、第2の被写体間の距離を算出する(ステップS24)。Next, the
計測部64は、上記のようにして算出した第1、第2の被写体の距離、第1、第2の被写体間の距離を出力する(ステップS26)。
The measuring
次に、CPU40は、距離の計測が終了したか否かを判別し(ステップS28)、終了していない場合(「No」の場合)には、ステップS10に遷移させ、所定の時間間隔で同時に撮像された次の時刻における画像A、Bを取得させる。これにより、上記ステップS10からステップS28の処理が繰り返される。
Next, the
一方、ステップS28において、距離の計測が終了したと判別されると(「Yes」の場合)、複数被写体の距離計測を終了する。 On the other hand, if it is determined in step S28 that the distance measurement has been completed (in the case of “Yes”), the distance measurement for a plurality of subjects is terminated.
上記のようにして所定の時間間隔の時々刻々の第1、第2の被写体の距離、第1、第2の被写体間の距離を計測することができる。 As described above, the distance between the first and second subjects and the distance between the first and second subjects can be measured every predetermined time interval.
[合成画像生成部]
次に、画像A,Bの合成、及び距離情報の合成を行う合成画像生成部について説明する。[Composite image generator]
Next, a composite image generation unit that combines the images A and B and the distance information will be described.
図10は、合成画像生成部70の実施形態を示すブロック図である。
FIG. 10 is a block diagram illustrating an embodiment of the composite
合成画像生成部70(合成画像生成手段)は、図2に示したデジタル信号処理部24及びCPU40により構成されており、主として画像入力部71、合焦度合い検出部72、分割領域選択部73、距離情報入力部74、キャラクタジェネレータ75、及び画像合成部76を備えている。
The composite image generation unit 70 (composite image generation means) is configured by the digital
画像入力部71は、第1、第2の被写体に合焦している画像A,Bをそれぞれ入力し(図8A,図8B参照)、入力した画像A,Bを合焦度合い検出部72に出力する。
The
合焦度合い検出部72は、入力した画像A,Bの各画面を、複数の分割領域Aij,Bij(例えば、16×16の分割領域)に分割し、分割領域Aij,Bijごとに分割領域内の分割画像の高周波成分の積算値(合焦度合い情報)を算出する。そして、分割領域Aij,Bijごとの分割画像とともに、算出した分割画像の合焦度合い情報を分割領域選択部73に出力する。The focus degree detection unit 72 divides each screen of the input images A and B into a plurality of divided areas A ij and B ij (for example, 16 × 16 divided areas), and each divided area A ij and B ij. The integrated value (focus degree information) of the high frequency components of the divided images in the divided area is calculated. Then, together with the divided images for each of the divided areas A ij and B ij , the calculated degree-of-focus information of the divided images is output to the divided
分割領域選択部73は、合焦度合い情報に基づいて分割領域Aij,Bijの同じ分割領域のうちの合焦度合いの高い分割領域の分割画像を選択し、選択した分割画像を画像合成部76に出力する。The divided
画像合成部76は、分割領域選択部73により選択された各分割画像を合成し、1画面分の合成画像を生成する。これにより、図11に示すように第1、第2の被写体にそれぞれ合焦している合成画像を生成することができる。
The
一方、距離情報入力部74は、図4に示した計測部64から第1、第2の被写体の距離、及び第1、第2の被写体間の距離を示す距離情報を入力し、これらの距離情報をキャラクタジェネレータ75に出力する。キャラクタジェネレータ75は、入力する距離情報に基づいて距離情報に対応する文字画像(距離を示す数字)を発生し、発生した文字画像を画像合成部76に出力する。
On the other hand, the distance information input unit 74 inputs distance information indicating the distance between the first and second subjects and the distance between the first and second subjects from the
画像合成部76は、キャラクタジェネレータ75から入力する文字画像を、合成画像上に合成する。図11に示すように第1、第2の被写体の距離を示す文字画像は、第1、第2の被写体の近傍に合成することが好ましく、第1、第2の被写体間の距離を示す文字画像は、第1、第2の被写体の中間位置に合成することが好ましい。
The
画像合成部76により合成された合成画像は、外部出力端子32(図2)を介して中継車内の無線通信機に出力される。
The synthesized image synthesized by the
これにより、第1の被写体(先頭の走者)と第2の被写体(追走者)の両方の選手にピントが合った映像を撮ることができ、なおかつ、選手間のギャップ(距離)を数値表示することができるので、マラソンや駅伝を実況中継する中継車に本撮像装置10を積めば、実況中継が面白くなる。
As a result, it is possible to take an image in which both the first subject (first runner) and the second subject (follower) are in focus, and numerically display the gap (distance) between the players. Therefore, if this
尚、図11に示す例では、第1、第2の被写体の距離と、第1、第2の被写体間の距離とを表示するようにしているが、いずれか一方の距離のみを表示するようにしてもよい。また、これらの距離は、常時表示するようにしてもよいし、第1、第2の被写体間の距離が変化した場合に一定時間表示するようにしてもよい。 In the example shown in FIG. 11, the distance between the first and second subjects and the distance between the first and second subjects are displayed. However, only one of the distances is displayed. It may be. These distances may be displayed constantly, or may be displayed for a certain period of time when the distance between the first and second subjects changes.
[その他]
図11に示す例では、第1、第2の被写体にそれぞれ合焦している合成画像上に第1、第2の被写体間の距離等を合成表示するようにしたが、本発明はこれに限定されない。例えば、図8A又は図8Bに示した画像A,又は画像Bのいずれか一方の画像に第1、第2の被写体間の距離等を合成表示するようにしてもよい。[Others]
In the example shown in FIG. 11, the distance between the first and second subjects is synthesized and displayed on the synthesized image focused on the first and second subjects. It is not limited. For example, the distance between the first and second subjects may be combined and displayed on one of the images A and B shown in FIG. 8A or 8B.
また、本実施形態では、それぞれ合焦距離の異なる第1、第2の被写体として、マラソンや駅伝の選手を例に説明したが、本発明はこれに限定されず、種々の被写体の撮像に適用できる。また、本発明は、複数の被写体の距離がそれぞれ変化する複数被写体の撮像に好適である。 In the present embodiment, marathon and relay relay players have been described as examples of the first and second subjects having different in-focus distances, but the present invention is not limited to this, and can be applied to imaging various subjects. it can. Further, the present invention is suitable for imaging a plurality of subjects in which the distances of the plurality of subjects change respectively.
また、合焦制御する合焦距離の異なる複数の被写体は、LCD30(例えば、タッチパネル付きLCD)の画面上で、タップなどのユーザ入力により指定するようにしてもよい。 In addition, a plurality of subjects with different focus distances for focus control may be designated by user input such as a tap on the screen of the LCD 30 (for example, LCD with touch panel).
更に、合焦距離の異なる複数の被写体に対する合焦制御は、本実施形態のコントラストAFに限らず、位相差AF等の種々のAFを適用することができる。 Furthermore, the focusing control for a plurality of subjects having different focusing distances is not limited to the contrast AF of the present embodiment, and various AFs such as a phase difference AF can be applied.
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Moreover, it goes without saying that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
10…撮像装置、12…領域分割レンズ、12a,12b…レンズ部、16…瞳指向センサ、24…デジタル信号処理部、40…中央処理装置(CPU)、60…合焦検出部、62…合焦制御部、64…計測部、70…合成画像生成部
DESCRIPTION OF
Claims (10)
二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、前記複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサと、
前記瞳指向センサから前記複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得手段と、
前記画像取得手段により取得される複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御手段と、
前記合焦制御手段によりそれぞれ合焦制御される前記複数の被写体の合焦距離をそれぞれ算出する第1の算出手段と、
を備えた複数被写体の距離計測装置。An imaging optical system comprising a plurality of physically separated lenses, wherein the plurality of areas of the imaging optical system have independent focal lengths corresponding to the combination of the plurality of lenses, and
A pupil directing sensor having a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements, the pupil directing sensor selectively receiving a light beam that has passed through any of the plurality of regions,
Image acquisition means for simultaneously acquiring a plurality of images corresponding to the plurality of regions from the pupil-directing sensor;
Focus control for independently driving a plurality of physically separated lenses of the photographing optical system based on a plurality of images acquired by the image acquisition means and focusing on a plurality of subjects having different focus distances. Means,
First calculation means for calculating the focus distances of the plurality of subjects that are respectively controlled in focus by the focus control means;
A distance measuring device for multiple subjects.
前記合焦制御手段は、前記画像取得手段により同時に、かつ連続して取得される前記複数の領域に対応する複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、前記複数の被写体に連続的に合焦させ、
前記第1の算出手段は、前記合焦制御手段によりそれぞれ連続して合焦制御される前記複数の被写体の合焦距離を連続して算出し、
前記第2の算出手段は、前記第1の算出手段により連続して算出された複数の合焦距離に基づいて複数の被写体間の距離を連続して算出する請求項2に記載の複数被写体の距離計測装置。The image acquisition means acquires a plurality of images corresponding to the plurality of regions simultaneously and successively,
The focusing control unit independently sets a plurality of physically separated lenses of the photographing optical system based on a plurality of images corresponding to the plurality of regions acquired simultaneously and continuously by the image acquiring unit. And continuously focus on the plurality of subjects,
The first calculation means continuously calculates the focus distances of the plurality of subjects that are successively controlled by the focus control means,
3. The plurality of subjects according to claim 2, wherein the second calculation unit continuously calculates the distance between the plurality of subjects based on the plurality of in-focus distances continuously calculated by the first calculation unit. Distance measuring device.
前記合焦制御手段は、前記画像取得手段により同時に取得される複数の画像内の前記被写体検出手段により検出された被写体を含む領域をそれぞれ焦点検出領域とし、各焦点検出領域の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、前記複数の被写体に連続的に合焦させる請求項1から5のいずれか1項に記載の複数被写体の距離計測装置。Subject detection means for detecting main subjects from a plurality of images simultaneously acquired by the image acquisition means,
The focusing control unit sets a region including a subject detected by the subject detection unit in a plurality of images simultaneously acquired by the image acquisition unit as a focus detection region, and based on the image of each focus detection region 6. The distance measuring apparatus for a plurality of subjects according to claim 1, wherein a plurality of physically separated lenses of the photographing optical system are independently driven to continuously focus on the plurality of subjects.
前記画像取得工程により取得される複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御工程と、
前記合焦制御工程によりそれぞれ合焦制御される前記複数の被写体の合焦距離をそれぞれ算出する第1の算出工程と、
を含む複数被写体の距離計測方法。An imaging optical system comprising a plurality of physically separated lenses, wherein the plurality of areas of the imaging optical system have independent focal lengths corresponding to the combination of the plurality of lenses, and An imaging having a pupil directing sensor having a plurality of pixels configured by two-dimensionally arranged photoelectric conversion elements and selectively receiving a light beam that has passed through any of the plurality of regions An image acquisition step of simultaneously acquiring a plurality of images corresponding to the plurality of regions from the means;
Focus control for independently driving a plurality of physically separated lenses of the photographing optical system based on a plurality of images acquired by the image acquisition step and focusing on a plurality of subjects having different focus distances. Process,
A first calculation step of calculating a focus distance of each of the plurality of subjects that are respectively controlled in focus by the focus control step;
Distance measurement method for multiple subjects including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014536906A JP5750551B2 (en) | 2012-09-24 | 2013-09-19 | Apparatus and method for measuring distance of multiple subjects |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012209799 | 2012-09-24 | ||
JP2012209799 | 2012-09-24 | ||
PCT/JP2013/075306 WO2014046184A1 (en) | 2012-09-24 | 2013-09-19 | Device and method for measuring distances of multiple subjects |
JP2014536906A JP5750551B2 (en) | 2012-09-24 | 2013-09-19 | Apparatus and method for measuring distance of multiple subjects |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5750551B2 true JP5750551B2 (en) | 2015-07-22 |
JPWO2014046184A1 JPWO2014046184A1 (en) | 2016-08-18 |
Family
ID=50341488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014536906A Active JP5750551B2 (en) | 2012-09-24 | 2013-09-19 | Apparatus and method for measuring distance of multiple subjects |
Country Status (5)
Country | Link |
---|---|
US (1) | US9386215B2 (en) |
EP (1) | EP2902743B1 (en) |
JP (1) | JP5750551B2 (en) |
CN (1) | CN104620075B (en) |
WO (1) | WO2014046184A1 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9413998B2 (en) * | 2014-07-07 | 2016-08-09 | Lite-On Electronics (Guangzhou) Limited | Image capturing module for increasing assembly flatness and shortening focusing time and method of assembling the same |
US9525814B2 (en) * | 2014-10-12 | 2016-12-20 | Himax Imaging Limited | Automatic focus searching using focal sweep technique |
EP3339931B1 (en) * | 2015-08-19 | 2021-09-22 | FUJIFILM Corporation | Lens device |
JP7122806B2 (en) * | 2017-02-24 | 2022-08-22 | コニカミノルタ株式会社 | OBJECT APPROACH DETECTION DEVICE AND OBJECT APPROACH DETECTION METHOD |
JP7040599B2 (en) * | 2018-03-13 | 2022-03-23 | 日本電気株式会社 | Viewing support device, viewing support method and program |
JP2019168479A (en) * | 2018-03-22 | 2019-10-03 | キヤノン株式会社 | Controller, imaging device, method for control, program, and, and storage medium |
JP7504579B2 (en) * | 2019-11-20 | 2024-06-24 | キヤノン株式会社 | Image capture device, image capture device control method and program |
US20220400211A1 (en) * | 2021-06-11 | 2022-12-15 | Bennet Langlotz | Digital camera with multi-subject focusing |
US11283989B1 (en) * | 2021-06-11 | 2022-03-22 | Bennet Langlotz | Digital camera with multi-subject focusing |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07191259A (en) * | 1993-12-27 | 1995-07-28 | Nikon Corp | Focus detection device |
JP2003078802A (en) * | 2001-09-04 | 2003-03-14 | Nippon Hoso Kyokai <Nhk> | Imaging apparatus |
JP2005109622A (en) * | 2003-09-29 | 2005-04-21 | Minolta Co Ltd | Multiple-lens imaging apparatus and mobile communication terminal |
JP2006184065A (en) * | 2004-12-27 | 2006-07-13 | Matsushita Electric Ind Co Ltd | Object detector |
JP2010113043A (en) * | 2008-11-05 | 2010-05-20 | Canon Inc | Photographing system and lens device |
JP2012042863A (en) * | 2010-08-23 | 2012-03-01 | Olympus Corp | Imaging device |
JP2013205781A (en) * | 2012-03-29 | 2013-10-07 | Fujifilm Corp | Imaging apparatus |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4426669B2 (en) * | 1999-06-03 | 2010-03-03 | オリンパス株式会社 | Multi AF device |
US8124929B2 (en) * | 2004-08-25 | 2012-02-28 | Protarius Filo Ag, L.L.C. | Imager module optical focus and assembly method |
CN101680756B (en) * | 2008-02-12 | 2012-09-05 | 松下电器产业株式会社 | Compound eye imaging device, distance measurement device, parallax calculation method and distance measurement method |
US8244058B1 (en) * | 2008-05-30 | 2012-08-14 | Adobe Systems Incorporated | Method and apparatus for managing artifacts in frequency domain processing of light-field images |
KR101441586B1 (en) * | 2008-10-06 | 2014-09-23 | 삼성전자 주식회사 | Apparatus and method for capturing image |
JP2010128122A (en) * | 2008-11-27 | 2010-06-10 | Olympus Corp | Imaging apparatus |
JP5440903B2 (en) * | 2009-05-20 | 2014-03-12 | 株式会社リコー | Imaging device, stereo camera device, and vehicle exterior monitoring device |
US8345144B1 (en) * | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
JP2011199755A (en) * | 2010-03-23 | 2011-10-06 | Fujifilm Corp | Image pickup device |
WO2012017577A1 (en) * | 2010-08-06 | 2012-02-09 | パナソニック株式会社 | Imaging device and imaging method |
JP2012044564A (en) * | 2010-08-20 | 2012-03-01 | Sanyo Electric Co Ltd | Imaging apparatus |
-
2013
- 2013-09-19 CN CN201380047317.4A patent/CN104620075B/en active Active
- 2013-09-19 JP JP2014536906A patent/JP5750551B2/en active Active
- 2013-09-19 WO PCT/JP2013/075306 patent/WO2014046184A1/en active Application Filing
- 2013-09-19 EP EP13839844.1A patent/EP2902743B1/en active Active
-
2015
- 2015-03-23 US US14/664,936 patent/US9386215B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07191259A (en) * | 1993-12-27 | 1995-07-28 | Nikon Corp | Focus detection device |
JP2003078802A (en) * | 2001-09-04 | 2003-03-14 | Nippon Hoso Kyokai <Nhk> | Imaging apparatus |
JP2005109622A (en) * | 2003-09-29 | 2005-04-21 | Minolta Co Ltd | Multiple-lens imaging apparatus and mobile communication terminal |
JP2006184065A (en) * | 2004-12-27 | 2006-07-13 | Matsushita Electric Ind Co Ltd | Object detector |
JP2010113043A (en) * | 2008-11-05 | 2010-05-20 | Canon Inc | Photographing system and lens device |
JP2012042863A (en) * | 2010-08-23 | 2012-03-01 | Olympus Corp | Imaging device |
JP2013205781A (en) * | 2012-03-29 | 2013-10-07 | Fujifilm Corp | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
CN104620075A (en) | 2015-05-13 |
JPWO2014046184A1 (en) | 2016-08-18 |
EP2902743A4 (en) | 2016-05-04 |
US9386215B2 (en) | 2016-07-05 |
WO2014046184A1 (en) | 2014-03-27 |
US20150195449A1 (en) | 2015-07-09 |
CN104620075B (en) | 2016-04-13 |
EP2902743B1 (en) | 2017-08-23 |
EP2902743A1 (en) | 2015-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5750551B2 (en) | Apparatus and method for measuring distance of multiple subjects | |
US8854528B2 (en) | Imaging apparatus | |
KR101605419B1 (en) | Photographing apparatus and method of photographing | |
US9681037B2 (en) | Imaging apparatus and its control method and program | |
US20080181460A1 (en) | Imaging apparatus and imaging method | |
US8823778B2 (en) | Imaging device and imaging method | |
JP2013201752A (en) | Image processing device, image pickup device, control method, and program | |
US10313577B2 (en) | Focus detection apparatus, focus detection method, and image capturing apparatus | |
JP2011022386A (en) | Imaging apparatus and control method therefor | |
US20140226039A1 (en) | Image capturing apparatus and control method thereof | |
WO2012002149A1 (en) | Image processing method and apparatus | |
US9077979B2 (en) | Stereoscopic image capture device and method | |
JP2013160991A (en) | Imaging apparatus | |
US9693037B2 (en) | Imaging apparatus having an imaging element in which a plurality of light receiving elements is arranged with respect to a micro lens and method for controlling same | |
JP6917803B2 (en) | Imaging equipment, control methods, and programs | |
JP2011242652A (en) | Focus detector and control method thereof | |
WO2013005477A1 (en) | Imaging device, three-dimensional image capturing method and program | |
KR20120068696A (en) | Image capturing device and image capturing method | |
US10447937B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area | |
JP2007108093A (en) | Device for measuring distance to object to be photographed and method thereof | |
US20240089597A1 (en) | Image capturing apparatus for capturing and compositing images different in in-focus position, control method, and storage medium | |
US20220358667A1 (en) | Image processing apparatus and method, and image capturing apparatus and control method thereof, and storage medium | |
JP2012103285A (en) | Focus detecting device and method for controlling the same | |
JP6891470B2 (en) | Imaging device | |
JP2009044534A (en) | Electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150518 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5750551 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |