WO2011108207A1 - ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法 - Google Patents

ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法 Download PDF

Info

Publication number
WO2011108207A1
WO2011108207A1 PCT/JP2011/000906 JP2011000906W WO2011108207A1 WO 2011108207 A1 WO2011108207 A1 WO 2011108207A1 JP 2011000906 W JP2011000906 W JP 2011000906W WO 2011108207 A1 WO2011108207 A1 WO 2011108207A1
Authority
WO
WIPO (PCT)
Prior art keywords
ghost
imaging optical
imaging
detection device
image
Prior art date
Application number
PCT/JP2011/000906
Other languages
English (en)
French (fr)
Inventor
敏行 山下
Original Assignee
コニカミノルタオプト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタオプト株式会社 filed Critical コニカミノルタオプト株式会社
Priority to US13/581,762 priority Critical patent/US9020281B2/en
Priority to JP2012502987A priority patent/JP5429358B2/ja
Publication of WO2011108207A1 publication Critical patent/WO2011108207A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/12—Stereoscopic photography by simultaneous recording involving recording of different viewpoint images in different colours on a colour film

Definitions

  • the present invention relates to a method and apparatus for detecting a ghost in an imaging apparatus, an imaging apparatus including the apparatus, and a ghost removal method.
  • Patent Document 1 When removing a ghost in the imaging apparatus, conventionally, as shown in Patent Document 1, for example, the position of a light source is estimated by some method, and the ghost position is determined by simulation from the position of the light source and removed. .
  • Patent Document 2 proposes a method for estimating a ghost position by changing a focus or moving a pan head to estimate a light source position.
  • the accuracy of ghost detection is a problem with the accuracy of light source position measurement and the accuracy of simulation, and it takes cost and time to obtain high accuracy.
  • the method for estimating the position of the light source is based on the premise that the light source is reflected in the captured image, and there is a problem that it cannot be detected when the light source is not reflected. Further, with the method of Patent Document 2, it is impossible to detect a ghost in real time.
  • An object of the present invention is to provide a ghost detection device capable of accurately detecting a ghost occurrence position in real time, an imaging device using the ghost detection device, and a ghost detection method.
  • the ghost detection device of the present invention compares two imaging optical systems having different ghost occurrence conditions with each other in the same imaging condition, and mutually equivalent imaging ranges in the captured images of the two imaging optical systems. And a ghost determination unit for determining a ghost part.
  • FIG. 1 is a block diagram of an imaging apparatus 1 that uses a ghost detection and removal method according to an embodiment of the present invention.
  • the imaging apparatus 1 is realized as a so-called digital still camera, movie camera, or the like, and has a function of detecting a ghost and outputting a removed captured image as one function thereof.
  • the imaging apparatus 1 includes an image processing apparatus 2 including a first camera C1 that is a main imaging optical system, a second camera C2 that is a sub imaging optical system, and a ghost determination unit for performing the ghost detection and removal. And is configured.
  • the two cameras C1 and C2 have different ghost manifestations under the same imaging conditions. Specifically, these cameras C1 and C2 differ in at least one of an adjustment method of angle (field angle, optical axis direction), resolution (lens group, number configuration, etc.), and manufacturing variation. Thus, even if images are captured under the same image capturing conditions (capturing the same subject from approximately the same direction), a difference occurs in the ghost manifestation state.
  • the first camera C1 constitutes the main imaging optical system capable of imaging with high definition image quality from a wide-angle range to a telephoto range
  • the second camera C2 is mounted on a terminal device of a relatively wide-angle mobile phone.
  • the inexpensive sub-imaging optical system is configured. In this case, even if the same subject 3 is imaged from the same direction, a ghost is generated on the wide-angle end side of the first camera C1 having a large lens group configuration and a large number of lenses and having a high resolution (resolution) as compared with the second camera C2. easy.
  • first and second cameras C1 and C2 have the same imaging optical system, if the angle of view and the angle in the optical axis direction are different, a difference occurs in the ghost occurrence status. Further, the first and second cameras C1 and C2 have the same imaging optical system, and even if each is manufactured within a predetermined tolerance range, manufacturing variation occurs, and the lens barrel is assembled so that the variation is reduced. At the time of attachment, a difference occurs in the appearance of the ghost by rotating the lens halfway (180 °) between the first and second cameras C1 and C2.
  • FIG. 2 is a block diagram showing a functional configuration of the image processing apparatus 2. Since the image processing apparatus 2 is mounted on the digital still camera, movie camera, and the like, the image processing apparatus 2 includes a microprocessor and its peripheral circuit device (in FIG. 1, a personal computer is shown, but will be described later). This is the case of application to a simple ghost detection device).
  • the image processing apparatus 2 is configured to store the captured image from the first and second cameras C1 and C2 temporarily, and the correspondence of the subject 3 between the two captured images. Based on the image position specifying unit 22 for specifying the position and the image position information obtained by the image position specifying unit 22, the mutually equal imaging ranges in the two captured images are compared with each other to obtain the luminance value.
  • a ghost detection / removal unit 23 that determines a bright portion with a shift as the ghost location, creates an image from which the ghost is removed, and outputs the image to the storage device 21 as described above, and an image from which the ghost has been removed as appropriate
  • an image output unit 24 for reading out and outputting the data.
  • the ghost-removed image from the image output unit 24 is appropriately stored in a memory card, a hard disk device, or the like.
  • the original image corresponding to the ghost-removed image is erased from the storage device 21.
  • 3 and 4 are flowcharts for explaining the processing operation in the image processing apparatus 2.
  • 3 shows a ghost detection operation
  • FIG. 4 shows a ghost removal operation.
  • captured images from the first and second cameras C1 and C2 are taken into the storage device 21 for one frame.
  • the image position specifying unit 22 determines which part of the subject 3 in the captured image from the first camera C1, which is the main imaging optical system, of the captured image of the second camera C2, which is the sub-imaging optical system. Whether it exists at a position is specified by pattern matching using a corresponding point search method described later as an example.
  • step S3 the ghost detection / removal unit 23 compares the luminance values of the same part of the subject 3 in the two captured images, and if there is a difference greater than or equal to a predetermined value. It is determined that a ghost has occurred, the higher one is regarded as a ghost, its position is determined, and output is made in step S4.
  • step S13 the ghost detection / removal unit 23 compares the luminance values of the same part of the subject 3 in the two captured images, and if there is a difference greater than or equal to a predetermined value. It is determined that a ghost has occurred, and a ghost-removed image is created by adopting the lower luminance value, and is output in step S14.
  • FIG. 5 is a diagram for explaining a method of specifying an image position in the image position specifying unit 22.
  • the imaging range of the first camera C1 that is the above-described high-resolution main imaging optical system is W1
  • the imaging range of the second camera C2 that is the low-resolution sub-imaging optical system is W2. If they are set in such a relationship that W1 is included in W2 as shown in FIG. 1, the obtained captured images are as shown in FIGS. 5 (a) and 5 (b), respectively.
  • the image position specifying unit 22 uses a captured image of the first camera C1 as a standard image I1, and a captured image of the second camera C2 as a reference image I2, and associates similar feature points by the corresponding point search method, The position of each part of the subject 3 on each image is specified.
  • the corresponding point search method calculates, for example, the similarity at a plurality of corresponding point candidate positions on the reference image I2 shown in FIG. 6B with respect to the point of interest P on the standard image I1 shown in FIG.
  • a corresponding point candidate position having a high degree of similarity is detected. Specifically, it is determined where a certain point of interest P (single pixel or a plurality of pixel blocks) on the reference image I1 shown in FIG. 6A is on the reference image I2 shown in FIG. Starting from the same position as that on the base image I1, the correlation calculation is performed at each position while changing the position on the reference image I2 in the baseline length direction. When the correlation calculation is completed for all the pixels, the similarity peak having the highest similarity (reliability) on the reference image I2 with respect to the target point P set on the base image I1 is calculated from the correlation value. Search for.
  • a window w1 having a size corresponding to each predetermined pixel is set on the standard image I1 in the vertical and horizontal directions.
  • a window w2 having the same size is also set on the reference image I2, and the reference image I2 is started from the same position as the window w1 on the standard image I1, and the position is changed within a certain range in the baseline length direction.
  • the correlation value R (x, y) is calculated at each position as follows. For these calculations, the brightnesses I 1 (i, j) and I 2 (i, j) between corresponding pixels at the same coordinates (i, j) in the windows w1 and W2 are used.
  • the image position specifying unit 22 is different in the size and direction of the captured images of the first and second cameras C1 and C2, as in the case of the main imaging optical system and the sub imaging optical system. Furthermore, in order to make the contrasted imaging ranges and resolutions equal to each other, at the time of contrasting the captured images from the first and second cameras C1 and C2, at least one image is enlarged or reduced, By performing at least one of deformation and rotation, an imaging range and resolution equal to each other are obtained.
  • the coordinate position conversion method in the case of enlargement and reduction can be expressed as follows, for example, by muffin conversion. However, (x ′, y ′) is an xy coordinate to be enlarged or reduced, (x, y) is an xy coordinate to be enlarged or reduced (that is, before conversion), and a, b, c, d are converted. It is a parameter, and s and t are shift amounts.
  • the ghost detection / removal unit 23 performs the processing shown in FIG. As shown in FIG. 8B, the luminance values of the same part of the subject 3 in the two captured images I1 and I2 are compared, and if there is a difference greater than or equal to a predetermined value, it is determined that a ghost has occurred. Then, as indicated by reference numeral G in FIG. 8 (a), the higher one is regarded as a ghost, and its position is determined.
  • the ghost detection / removal unit 23 adopts a lower luminance value for a portion having a luminance difference equal to or greater than the predetermined value, so that the ghost detection / removal unit 23 as shown by a reference symbol G ′ in FIG. A high-resolution reference image I1 ′ from which G has been removed can be obtained.
  • the photographing apparatus 1 is provided with two cameras C1 and C2 for detecting and removing a ghost in a digital still camera, a movie camera, and the like, and between these cameras C1 and C2.
  • the resolution resolution
  • the image processing apparatus 2 compares the mutually equal imaging ranges W1 in the captured images I1 and I2 of the two cameras C1 and C2 with each other by pattern matching, and shows a bright part having a deviation in luminance value. It is determined that the ghost G as shown in FIG.
  • the image of the bright part is the same subject position (that is, dark) in the other camera as shown in FIG. Since the captured image I1 ′ is generated by replacing the ghost G generated in the bright part as indicated by the reference symbol G ′, the ghost G generation position is accurately and in real time. It is possible to make a determination, and it is possible to create a captured image I1 ′ in which the ghost G is removed accurately and in real time.
  • the sizes and directions of the captured images I1 and I2 ′ are different, and at least one of enlargement or reduction, deformation, and rotation of the reference image I2 ′.
  • 7A particularly when enlargement as shown in FIGS. 7A to 7B is performed, if a low luminance value is simply used to remove the ghost G, the image I1 ′ after removal is removed. Resolution may be degraded.
  • the average luminance ave (I2) around the ghost G occurrence location in the reference image I2 ′ and the average luminance ave (I1) around the ghost G occurrence location in the reference image I1. Is subtracted from the luminance value I1 (i, j) of the reference image I1. That is, if x and y are the amounts of displacement in the respective directions, the output image I1 ′ (i, j)
  • I1 ′ (i, j) I1 (i, j) - ⁇ Ave (I1 (i, j))-ave (I2 (ix, jy)) ⁇ Can be obtained from
  • the second camera C2 added for detecting and removing the ghost G as described above includes a foveal lens in its imaging optical system, so that the imaging range W2 of the second camera C2 is increased. Even if the imaging range W1 of the first camera C1 is included, the ghost G can be detected with high accuracy with a relatively high resolution (resolution) in the vicinity of the center. The enlargement process as described above can be reduced.
  • the foveal lens is disclosed in, for example, Japanese Patent Application Laid-Open No. 2004-272578 filed by the present applicant.
  • the image position determination unit 22 may maintain the corresponding position for a predetermined period instead of searching for the corresponding position by the corresponding point search method every time the images I1 and I2 are captured.
  • the corresponding position relationship may be stored in advance. In this case, it is possible to eliminate a complicated processing for searching for corresponding points.
  • the above-described corresponding point search method since alignment is performed by pattern matching, ghost detection with higher accuracy can be performed.
  • the optical focal length in the first camera C1 is F1
  • the imaging element size (diagonal length) is S1
  • Is F2 and the image sensor size is S2, S1 / F1 ⁇ S2 / F2
  • the numerical aperture (NA) of the second camera C2 is larger, and therefore the resolution (resolution) of the first camera C1 is higher as described above. It becomes the main imaging optical system, and the imaging range (field angle, field of view) W1 of the first camera C1 is included in the imaging range W2 of the second camera C2.
  • the above equation is such that the optical focal length F1 is satisfied within a predetermined range on the short focal side. That is, on the long focal point side where the possibility of occurrence of ghost G is small, the above expression is removed.
  • the numerical aperture (NA) is increased unnecessarily, and therefore it is not necessary to reduce the resolution (resolution).
  • the first camera C1 having a variable magnification optical system can be used. Can be detected and removed with high accuracy.
  • FIG. 9 is a perspective view showing a schematic configuration of the camera 11 in the imaging apparatus using the ghost detection and removal method according to another embodiment of the present invention.
  • the camera 11 includes two optical systems (compound eyes) C1a and C2a that are equal (compound eyes) to each other.
  • Each of the optical systems C1a and C2a includes lenses L1 and L2 and imaging elements S1 and S2. It should be noted that the two lenses L1 and L2 are integrally formed. As a result, the angle (the angle of view, the optical axis direction) between the two imaging optical systems C1a and C2a can be adjusted collectively.
  • the focal points of the two optical systems C1a and C2a are fixed in this way, and they are configured integrally, and the calibration is appropriately performed, thereby corresponding points between the two captured images I1 and I2. Is suitable for determining (decision) in advance.
  • one image sensor S0 may be divided into areas to form a plurality (four in FIG. 10) of image sensors of lenses L1 to L4. Thereby, it is possible to suppress a shift in projection position due to aging or the like between the imaging optical systems.
  • a so-called stereo camera is configured by setting the two imaging optical systems to the same configuration, and 2 in the stereo camera.
  • the detection and removal of ghosts in one imaging optical system can be performed in common with other imaging optical systems.
  • the accuracy can be further improved by providing three or more similar imaging optical systems and detecting and removing ghosts between any two imaging optical systems.
  • the first and second cameras C ⁇ b> 1 and C ⁇ b> 2 that are imaging optical systems and the image processing device 2 that is a ghost determination unit are configured to be separable from each other
  • the image processing apparatus 2 can be a ghost inspection apparatus for the two cameras C1 and C2, and the ghost appearance of the two cameras C1 and C2 can be inspected at the time of manufacturing the lens.
  • the imaging apparatus 1 only detects the ghost G as described above, only the processing of FIG. 3 may be performed, and when only the removal is performed, only the processing of FIG. 4 may be performed.
  • the ghost detection device of the present invention compares two imaging optical systems having different ghost occurrence conditions with each other in the same imaging condition, and mutually equivalent imaging ranges in the captured images of the two imaging optical systems. And a ghost determination unit for determining a ghost part.
  • the ghost detection apparatus of the present invention is characterized by further comprising a ghost removal unit that creates a captured image from which the ghost has been removed from the ghost location determined by the ghost determination unit.
  • the ghost removing unit may replace the ghost portion in the image captured by one imaging optical system with an image of the same subject position in the other imaging optical system or correct the ghost. It is characterized by removing.
  • the ghost determination unit determines that a portion having a luminance difference of a predetermined value or more is a ghost portion as a result of the comparison of captured images by the two imaging optical systems. .
  • the two imaging optical systems are characterized in that at least one of an imaging range, a resolution, and a method for adjusting variations at the time of manufacture is different.
  • two image pickup optical systems are provided for detecting the ghost for the purpose of removing the ghost.
  • at least one of an imaging range, an angle of the imaging optical system (field angle, optical axis direction), resolution (lens group, number configuration, etc.), and a manufacturing variation adjustment method are provided between these imaging optical systems.
  • the ghost determination unit determines a ghost part by comparing image pickup ranges obtained by the two image pickup optical systems with the same image pickup range by pattern matching. Specifically, a bright part having a difference in luminance value in the contrast image is determined as the ghost location. Therefore, it is possible to accurately detect the ghost occurrence position in real time.
  • the ghost determination unit performs at least one of enlargement, reduction, deformation, and rotation on at least one of the images captured by the two imaging optical systems.
  • the captured images of the two imaging optical systems are compared.
  • the ghost determination unit performs at least one of enlargement or reduction, deformation, and rotation on at least one image before the comparison.
  • the same imaging range can be compared for ghost detection even if the size and direction of the captured image are different. Also, there may be a difference in the size and capability of the imaging optical system as in the main and sub imaging optical systems, and the sub imaging optical system added for ghost detection can be simplified to reduce the cost. You can also
  • the optical focal length in one of the two imaging optical systems is F1
  • the imaging element size is S1
  • the optical focal length in the other imaging optical system is F2.
  • the element size is S2, S1 / F1 ⁇ S2 / F2.
  • the other imaging optical system has a larger numerical aperture (NA), and thus one imaging optical system has higher resolution (resolution), and the sub imaging optical system and the main imaging optical system, respectively.
  • the imaging range of the main imaging optical system (view angle and field of view) is included in the imaging range of the sub imaging optical system.
  • the one imaging optical system can be scaled, and the optical focal length F1 is a predetermined range on the short focal side in the one imaging optical system.
  • the variable magnification optical system is provided in one imaging optical system in which the resolution (resolution) is high as described above.
  • the optical focal length F1 is satisfied within a predetermined range on the short focal side.
  • NA numerical aperture
  • the ghost detection device of the present invention is characterized in that the two imaging optical systems are integrally formed. According to the above configuration, since the lens and the like are integrally formed, the angles (view angle and optical axis direction) between the two imaging optical systems can be collectively adjusted.
  • the image pickup device in the two image pickup optical systems is realized by dividing one image pickup device into areas. According to this configuration, it is possible to suppress a deviation due to aging between the two imaging optical systems.
  • the other imaging optical system includes a foveal lens. According to this configuration, even if the other imaging optical system includes the imaging range of the one imaging optical system, it is possible to perform ghost detection with high accuracy with a relatively high resolution (resolution) near the center.
  • the ghost detection device of the present invention is further characterized by further comprising a third imaging optical system having the same characteristics as the one imaging optical system.
  • the one imaging optical system and the third imaging optical system constitute a so-called stereo camera, and ghost detection in the two imaging optical systems in the stereo camera is performed with respect to the other imaging optical system. Can be done.
  • the two imaging optical systems and the ghost determination unit can be separated from each other, and the ghost determination unit serves as a ghost inspection device for the two imaging optical systems.
  • the ghost determination unit can be a ghost inspection device when manufacturing two imaging optical systems such as lenses.
  • the imaging device of the present invention is characterized by including the above-described ghost detection device. According to said structure, the imaging device which can detect the ghost generation
  • the present invention relates to a ghost detection method, and the method includes an acquisition step of acquiring two captured images by two imaging optical systems having different ghost expression conditions under the same imaging condition; Comparing the same imaging range in the two captured images acquired in the acquisition step; And a ghost determination step of determining a portion having a luminance difference equal to or greater than a predetermined value as a ghost portion as a result of the comparison.
  • the ghost detection method of the present invention is characterized by further comprising a ghost removal step of creating a picked-up image from which the ghost has been removed from the ghost location determined by the determination step.
  • two image pickup optical systems are provided in creating a picked-up image from which a ghost is removed in a digital still camera, a movie camera, or the like.
  • at least one of the angle (field angle, optical axis direction), resolution (lens group, number configuration, etc.) and manufacturing variation adjustment method of the imaging optical system is different between the imaging optical systems.
  • the ghost can be removed by comparing mutually equal imaging ranges in the captured images of the two imaging optical systems by pattern matching or the like.
  • a bright part having a deviation in luminance value is a ghost part, so that the image of the bright part is replaced with an image of the same subject position (that is, the dark part side) in the other imaging optical system or
  • a captured image from which the ghost generated in the bright part is removed is created. Therefore, it is possible to create a captured image in which ghosts are accurately removed in real time.
  • two imaging optical systems having different ghost occurrence states are used, and the ghost occurrence location is determined by comparing the same captured images in the captured images of the two imaging optical systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

２つの撮像光学系を設け、それらの間でアングル、解像度および製造ばらつきの調整方法の内の少なくとも１つを異ならせておくことで、同じ撮像条件で撮像しても、ゴーストの発現状況に差が生じるようにしておく。そして、ステップＳ１で、それらの撮像画像を取込み、ステップＳ２で被写体の各部の対応位置を求め、ステップＳ３で前記対応位置の画像同士を比較し、輝度値にずれがある明部をゴースト箇所と判定する。したがって、ゴーストの発生位置を正確に、かつリアルタイムで検出することができる。

Description

ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法
　本発明は、撮像装置におけるゴーストを検出するための方法および装置、ならびに当該装置を備えた撮像装置、および、ゴースト除去方法に関する。
　前記撮像装置において、ゴーストを除去する場合、従来では、たとえば特許文献１で示されるように、何らかの方法で光源の位置を推定し、その光源の位置からシミュレーションでゴースト位置を割り出し、除去している。一方、以下特許文献２には、フォーカスを変えたり、雲台を移動させることで光源位置を推定して、ゴースト位置を推定する方法も提案されている。
　前記特許文献１の手法では、ゴーストの検出精度には、光源の位置測定精度や、シミュレーションの精度が問題となり、高い精度を得るには、コストおよび時間がかかる。また、光源の位置の推定方法は、撮像画像中に光源が映っていることを前提としており、光源が映り込んでいない場合には検出できないという問題がある。また、前記特許文献２の手法では、リアルタイムでゴーストを検出することが不可能である。
特開２００８－２８９０３４号公報 特開２００８－５４２０６号公報
　本発明の目的は、ゴーストの発生位置を正確に、かつリアルタイムで検出することができるゴースト検出装置およびそれを用いる撮像装置ならびにゴースト検出方法を提供することである。
　本発明のゴースト検出装置は、同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系と、前記２つの撮像光学系の撮像画像における相互に等しい撮像範囲を相互に対比することで、ゴースト箇所を判定するゴースト判定部とを含むことを特徴とする。
上記構成要素を備えることで本願発明においては、ゴーストの発生位置を正確に、かつリアルタイムで検出することができる。
本発明の実施の一形態に係るゴースト検出および除去方法を用いる撮像装置のブロック図である。 前記撮像装置における画像処理装置の機能的構成を示すブロック図である。 前記画像処理装置におけるゴースト検出動作を説明するためのフローチャートである。 前記画像処理装置におけるゴースト除去動作を説明するためのフローチャートである。 前記画像処理装置の画像位置特定部における画像位置の特定方法を説明するための図である。 対応点探索法を説明するための図である。 解像度（画面サイズ）変換の様子を説明するための図である。 本実施の形態に係るゴースト位置判定およびゴースト除去方法を説明するための図である。 本発明の実施の他の形態に係るゴースト検出および除去方法を用いる撮像装置におけるカメラの模式的構成を示す斜視図である。 本発明の実施の他の形態に係るゴースト検出および除去方法を用いる撮像装置におけるカメラの模式的構成を示す斜視図である。
＜実施例１＞
　図１は、本発明の実施の一形態に係るゴースト検出および除去方法を用いる撮像装置１のブロック図である。この撮像装置１は、いわゆるデジタルスチルカメラやムービーカメラなどとして実現され、その１つの機能としてゴーストを検出し、除去した撮像画像を出力する機能を有するものとする。この撮像装置１は、主撮像光学系である第１のカメラＣ１と、副撮像光学系である第２のカメラＣ２と、前記ゴースト検出および除去を行うためのゴースト判定部を含む画像処理装置２とを備えて構成される。
　注目すべきは、本実施の形態では、前記２つのカメラＣ１，Ｃ２は、同じ撮像条件において、ゴーストの発現状況が相互に異なることである。具体的には、これらのカメラＣ１，Ｃ２は、アングル（画角、光軸方向）、解像度（レンズ群、枚数構成等）、および製造ばらつきの調整方法の内の少なくとも１つを異ならせておくことで、前記同じ撮像条件（同じ被写体を略同じ方向から撮像する）で撮像しても、ゴーストの発現状況に差が生じるようになっている。
　たとえば、第１のカメラＣ１は広角域から望遠域まで高精細画質で撮像可能な前記主撮像光学系を構成し、第２のカメラＣ２は比較的広角の携帯電話の端末装置に搭載されるような安価な前記副撮像光学系を構成する。この場合、同じ被写体３を同じ方向から撮像しても、レンズ群構成や枚数が多く、解像度（分解能）が高い第１のカメラＣ１の広角端側で、第２のカメラＣ２よりもゴーストが生じ易い。一方、第１および第２のカメラＣ１，Ｃ２が同じ撮像光学系を備えていても、画角や光軸方向のアングルが異なると、ゴーストの発現状況に差が生じる。また、前記第１および第２のカメラＣ１，Ｃ２が同じ撮像光学系を備えており、それぞれ所定の公差範囲で作製しても、製造ばらつきが生じ、そのばらつきが小さくなるように鏡筒に組付ける際に、前記第１および第２のカメラＣ１，Ｃ２間で、レンズを半回転（１８０°）させることで、前記ゴーストの発現状況に差が生じる。
　このようにして前記第１および第２のカメラＣ１，Ｃ２で得られたゴーストの発現状況に差がある２つの撮像画像から、画像処理装置２は、２つの撮像画像における相互に等しい撮像範囲を相互に対比することで、ゴースト箇所を判定し、除去する。図２は、その画像処理装置２の機能的構成を示すブロック図である。この画像処理装置２は、前記デジタルスチルカメラやムービーカメラなどに搭載のため、マイクロプロセッサおよびその周辺回路装置などを備えて構成される（図１では、パーソナルコンピュータで示しているが、後述するようなゴースト検出装置に適用の場合である）。
　図２を参照して、この画像処理装置２は、前記第１および第２のカメラＣ１，Ｃ２からの撮像画像を一時的に記憶する記憶装置２１と、２つの撮像画像間における被写体３の対応位置を特定する画像位置特定部２２と、その画像位置特定部２２で得られた画像位置情報に基づき、前記のように２つの撮像画像における相互に等しい撮像範囲を相互に対比し、輝度値にずれがある明部を前記ゴースト箇所と判定し、ゴーストを除去した画像を作成して前記のように記憶装置２１に出力するゴースト検出・除去部２３と、前記記憶装置２１から適宜ゴースト除去済み画像を読出して出力する画像出力部２４とを備えて構成される。前記デジタルスチルカメラやムービーカメラなどでは、前記画像出力部２４からのゴースト除去済み画像は、メモリカードやハードディスク装置などに適宜記憶されてゆく。そのゴースト除去済み画像の前記記憶装置２１からの読出しに伴い、該ゴースト除去済み画像に、対応する原画像は、記憶装置２１から消去される。
　図３および図４は、前記画像処理装置２における処理動作を説明するためのフローチャートである。図３はゴースト検出動作、図４はゴースト除去動作をそれぞれ示す。共にステップＳ１では、前記記憶装置２１に前記第１および第２のカメラＣ１，Ｃ２からの撮像画像を１フレーム分取込む。ステップＳ２では、前記画像位置特定部２２は、主撮像光学系である第１のカメラＣ１からの撮像画像における被写体３の各部が、副撮像光学系である第２のカメラＣ２の撮像画像のどの位置に存在するかが、後述する対応点探索法を１例とするパターンマッチングによって特定される。
　続いて図３のゴースト検出処理では、ステップＳ３で前記ゴースト検出・除去部２３は、２つの撮像画像における被写体３の同じ部位同士の輝度値を比較し、所定値以上の差がある場合にはゴーストが発生していると判定し、高い方をゴーストと見なして、その位置を判定し、ステップＳ４で出力する。
　一方、図４のゴースト除去処理では、ステップＳ１３で前記ゴースト検出・除去部２３は、２つの撮像画像における被写体３の同じ部位同士の輝度値を比較し、所定値以上の差がある場合にはゴーストが発生していると判定し、低い方の輝度値を採用することでゴースト除去済み画像を作成し、ステップＳ１４で出力する。
　図５は、前記画像位置特定部２２における画像位置の特定方法を説明するための図である。たとえば図１で示すように、前述の高解像度の主撮像光学系である第１のカメラＣ１の撮像範囲をＷ１とし、低解像度の副撮像光学系である第２のカメラＣ２の撮像範囲をＷ２とし、それらが図１のようにＷ２にＷ１が包含される関係に設定されていると、得られる撮像画像は、それぞれ図5(a)および図5(b)で示すようになる。前記画像位置特定部２２は、第１のカメラＣ１の撮像画像を基準画像Ｉ１とし、第２のカメラＣ２の撮像画像を参照画像Ｉ２として、前記対応点探索法によって類似する特徴点を対応させ、被写体３の各部が、それぞれの画像上のどの位置になるかを特定する。
　前記対応点探索法は、たとえば図6(a)で示す基準画像Ｉ１上の注目点Ｐに対する図6(b)で示す参照画像Ｉ２上の複数の対応点候補位置における類似度を演算し、最も類似度の高い対応点候補位置を検出するものである。具体的には、図6(a)で示す基準画像Ｉ１上の或る注目点Ｐ（単一の画素或いは複数の画素ブロック）が図6(b)で示す参照画像Ｉ２上のどこにあるのかを、基準画像Ｉ１上と同じ位置から始めて、参照画像Ｉ２上を基線長方向に位置を変えながら、それぞれの位置で相関演算を行う。総ての画素について相関演算を終了すると、その相関値から、前記基準画像Ｉ１上に設定された注目点Ｐに対して、参照画像Ｉ２上で類似度（信頼性）の最も大きくなる類似度ピークの探索を行う。
　そのため、前記基準画像Ｉ１上の画像が参照画像Ｉ２上のどこにあるのかを探索するにあたって、前記基準画像Ｉ１上で、縦横方向にそれぞれ所定画素分の大きさを持つウインドウｗ１を設定し、同様に、参照画像Ｉ２上にも同じ大きさを持つウインドウｗ２を設定し、参照画像Ｉ２上において、基準画像Ｉ１上におけるウインドウｗ１と同じ位置から始めて、基線長方向に或る範囲で位置を変えながら、それぞれの位置で相関値Ｒ（ｘ、ｙ）の演算を以下のように行う。それらの演算には、ウインドウｗ１，Ｗ２の同じ座標（ｉ，ｊ）の対応画素同士の明るさＩ１（ｉ，ｊ），Ｉ２（ｉ，ｊ）が用いられる。
 
Figure JPOXMLDOC01-appb-I000001
 
　なお、このとき、前記画像位置特定部２２は、主撮像光学系と副撮像光学系との場合のように、前記第１および第２のカメラＣ１，Ｃ２の撮像画像の大きさや向きが異なる場合に、対比する撮像範囲や解像度を相互に等しいものとするために、前記第１および第２のカメラＣ１，Ｃ２からの撮像画像を相互に対比するにあたって、少なくとも一方の画像に、拡大または縮小、変形および回転の少なくとも１つを行うことで、相互に等しい撮像範囲および解像度を得る。
　たとえば、図7(a)で示すような低解像度の参照画像Ｉ２’を、図7(b)で示すように拡大した参照画像Ｉ２を、図7(c)で示す高解像度な基準画像Ｉ１との実際の比較画像とする。拡大および縮小の場合の座標位置の変換方法は、たとえばマフィン変換で、以下のように表すことができる。ただし、（ｘ’，ｙ’）は拡大または縮小先のｘｙ座標であり、（ｘ，ｙ）は拡大または縮小元（すなわち変換前の）ｘｙ座標であり、ａ，ｂ，ｃ，ｄは変換パラメータであり、ｓ，ｔはシフト量である。
 
Figure JPOXMLDOC01-appb-I000002
 
　上述のような対応点探索の結果、基準画像Ｉ１上での被写体３の各部の参照画像Ｉ２上での対応位置が判定されると、前記ゴースト検出・除去部２３は、図8(a)と図8(b)とで示すように、２つの撮像画像Ｉ１，Ｉ２における被写体３の同じ部位同士の輝度値を比較し、所定値以上の差がある場合にはゴーストが発生していると判定し、図8(a)において参照符号Ｇで示すように、高い方をゴーストと見なして、その位置を判定する。また、前記ゴースト検出・除去部２３は、前記所定値以上の輝度差の箇所について、低い方の輝度値を採用することで、図8(c)において参照符号Ｇ’で示すように、前記ゴーストＧが除去された高解像度な基準画像Ｉ１’を得ることができる。
　以上のように、本実施の形態の撮影装置１は、デジタルスチルカメラやムービーカメラなどにおいて、ゴーストの検出や除去を行うにあたって、２つのカメラＣ１，Ｃ２を設け、それらのカメラＣ１，Ｃ２間では、レンズ群構成や枚数等の解像度（分解能）を異ならせておくことで、同じ撮像条件（同じ被写体３を略同じ方向から撮像する）で撮像してもゴーストＧの発現状況に差が生じるようにしておき、画像処理装置２は、前記２つのカメラＣ１，Ｃ２の撮像画像Ｉ１，Ｉ２における相互に等しい撮像範囲同士Ｗ１をパターンマッチングによって相互に対比し、輝度値にずれがある明部を図8(a)で示すようなゴーストＧの発生箇所と判定し、またその明部の画像を、図8(b)で示すように他方のカメラにおける同じ被写体位置（すなわち暗部側）の画像で置換えることで、前記明部で生じているゴーストＧを参照符号Ｇ’で示すように除去した撮像画像Ｉ１’を作成するので、ゴーストＧの発生位置を正確、かつリアルタイムに判定することができるとともに、ゴーストＧを正確かつリアルタイムに除去した撮像画像Ｉ１’を作成することができる。
　すなわち、相互に異なる視点で見た画像Ｉ１，Ｉ２同士を比較することでゴーストＧの位置を検出し、また除去するので、主に動画撮影やプレビュー画面等で定常的にゴーストＧを判定し、また除去し続けることができ、特許文献２のように、１台のカメラでアングルを変更して撮影するような手法に比べて、実際の使用状況に即した実用的な手法を提案することができる。こうして、ゴーストＧの発生位置を正確に、かつリアルタイムで検出し、除去することができる撮像装置１を実現することができる。
　なお、前述の図７で示すように、前記主および副撮像光学系のように、撮像画像Ｉ１，Ｉ２’の大きさや向きが異なり、参照画像Ｉ２’の拡大または縮小、変形および回転の少なくとも１つを行う場合、特に図7(a)から図7(b)で示すような拡大を行う場合には、ゴーストＧの除去に、単純に輝度の低い値を採用すると、除去後の画像Ｉ１’の解像度が劣化する可能性がある。そのような場合には、参照画像Ｉ２’中のゴーストＧの発生箇所周辺の輝度の平均値ａｖｅ（Ｉ２）と、基準画像Ｉ１中のゴーストＧの発生箇所周辺の輝度の平均値ａｖｅ（Ｉ１）との差を、基準画像Ｉ１の輝度値Ｉ１（ｉ，ｊ）から差し引くようにすればよい。すなわち、ｘ，ｙをそれぞれの方向に対するずれ量とすれば、出力画像Ｉ１’（ｉ，ｊ）は、
　　Ｉ１’（ｉ，ｊ）＝Ｉ１（ｉ，ｊ）
　　　　　　　　－｛ａｖｅ（Ｉ１（ｉ，ｊ））－ａｖｅ（Ｉ２（ｉ－ｘ，ｊ－ｙ））｝
 
から求めることができる。
　このように構成することで、ゴーストＧの検出にあたって、前記主および副撮像光学系のように、第１および第２のカメラＣ１，Ｃ２間の大きさや能力に差があってもよくなり、ゴーストＧの検出や除去のために追加する副撮像光学系（第２のカメラＣ２）を、簡素なものとして、低コスト化することもできる。　
　一方、上述のようにゴーストＧの検出や除去のために追加する第２のカメラＣ２が、その撮像光学系に中心窩レンズを備えていることで、該第２のカメラＣ２の撮像範囲Ｗ２が第１のカメラＣ１の撮像範囲Ｗ１を包含しても、中心付近は比較的高い分解能（解像度）として、高精度にゴーストＧを検出することができるので、ゴーストＧを漏れなく検出しつつも、上述のような拡大処理を削減することができる。前記中心窩レンズについては、たとえば本件出願人による特開２００４－２７２５７８号公報などに示されている。
　また、前記画像位置判定部２２は、前記画像Ｉ１，Ｉ２の撮像の都度、前記の対応点探索法で対応箇所を探索するのではなく、所定期間、対応位置を維持するようにしてもよく、或いは第１および第２のカメラＣ１，Ｃ２の焦点距離が固定であるなどして、対応位置が変化しない場合には、予めその対応位置関係を記憶しておくようにしてもよい。その場合、煩雑な対応点探索の演算処理を無くすことができる。しかしながら、前述の対応点探索法によれば、パターンマッチングによる位置合せを行うので、より精度の高いゴースト検出を行うことができる。
　さらにまた、前記第１および第２のカメラＣ１，Ｃ２においては、第１のカメラＣ１における光学焦点距離をＦ１、撮像素子サイズ（対角長）をＳ１とし、第２のカメラＣ２における光学焦点距離をＦ２、撮像素子サイズをＳ２とするとき、
　　Ｓ１／Ｆ１≦Ｓ２／Ｆ２
の関係に設定されている。その場合、前記第２のカメラＣ２の方が開口数（ＮＡ）が大きくなり、したがって前述のように第１のカメラＣ１の方が分解能（解像度）が高くなり、それぞれ前述の副撮像光学系および主撮像光学系となり、第２のカメラＣ２の撮像範囲Ｗ２に第１のカメラＣ１の撮像範囲（画角、視野）Ｗ１が包含されるようになる。
　ただし、分解能（解像度）が高くなる第１のカメラＣ１を変倍可能とする場合、上式は、光学焦点距離Ｆ１が短焦点側の所定範囲で満足するようにする。すなわち、ゴーストＧの発生の可能性が小さい長焦点側では、上式の拘束を外す。このように構成することで、第２のカメラＣ２が固定焦点であっても、開口数（ＮＡ）をむやみに大きく、したがって分解能（解像度）を小さくする必要はない。これによって、前記第２のカメラＣ２に、前述の携帯電話の端末装置に搭載されるような前記固定焦点の簡素な光学系を使用しても、変倍光学系を備える第１のカメラＣ１でのゴーストを、高い精度で検出し、除去することができる。
＜実施例２＞
　図９は、本発明の実施の他の形態に係るゴースト検出および除去方法を用いる撮像装置におけるカメラ１１の模式的構成を示す斜視図である。このカメラ１１は、相互に等しい（複眼）２つの光学系（複眼）Ｃ１ａ，Ｃ２ａを備えて構成される。各光学系Ｃ１ａ，Ｃ２ａは、レンズＬ１，Ｌ２と、撮像素子Ｓ１，Ｓ２とを備えて構成される。注目すべきは、前記２つのレンズＬ１，Ｌ２レンズが一体として形成されていることである。これによって、２つの撮像光学系Ｃ１ａ，Ｃ２ａ間のアングル（画角、光軸方向）を一括して調整することができる。
　この場合、このように２つの光学系Ｃ１ａ，Ｃ２ａの焦点距離が固定で、かつそれらを一体で構成し、キャリブレーションを適切に行っておくことで、２つの撮像画像Ｉ１，Ｉ２間の対応点を、予め決定（決め打ち）しておくのに好適である。
　また、図１０のカメラ２０で示すように、１つの撮像素子Ｓ０をエリア分割して、複数（図１０では４つ）のレンズＬ１～Ｌ４の撮像素子が構成されてもよい。これによって、各撮像光学系間で、経年などによる投影位置のずれを抑えることができる。
　さらにまた、この図１０のカメラ２０のように、３つ以上の撮像光学系を備える場合、２つの撮像光学系を同一の構成とすることで、いわゆるステレオカメラを構成し、そのステレオカメラにおける２つの撮像光学系におけるゴーストの検出および除去を、共通に他の撮像光学系で行うことができるようになる。また、類似の撮像光学系を３つ以上設け、任意の２つの撮像光学系間でゴーストの検出および除去を行うことで、さらに精度を向上することができる。
　ここで、図１で示すように、撮像光学系である第１および第２のカメラＣ１，Ｃ２と、ゴースト判定部である画像処理装置２とを、相互に分離可能な構造とすることで、前記画像処理装置２を２つのカメラＣ１，Ｃ２のゴースト検査装置とすることができ、レンズの製造時などで、２つのカメラＣ１，Ｃ２のゴーストの出方を検査することができる。また、そのように撮像装置１がゴーストＧの検出のみを行う場合には図３の処理のみを行えばよく、除去のみを行う場合には図４の処理のみを行えばよい。
　本発明のゴースト検出装置は、同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系と、前記２つの撮像光学系の撮像画像における相互に等しい撮像範囲を相互に対比することで、ゴースト箇所を判定するゴースト判定部とを含むことを特徴とする。
　さらに、本発明のゴースト検出装置において、前記ゴースト判定部により判定されたゴースト箇所に対し、ゴーストを除去した撮像画像を作成するゴースト除去部を備えることを特徴とする。
　また、本発明のゴースト検出装置において、前記ゴースト除去部は、一方の撮像光学系による撮像画像におけるゴースト箇所を他方の撮像光学系における同じ被写体位置の画像で置き換え、または、補正することにより、ゴーストを除去することを特徴とすることを特徴とする。
　また、本発明のゴースト検出装置において、前記ゴースト判定部は、前記２つの撮像光学系による撮像画像の対比の結果、所定値以上の輝度差がある箇所をゴースト箇所と判定することを特徴とする。
　また、前記２つの撮像光学系間は、撮像範囲、解像度、および製造時のばらつきの調整方法の内の少なくとも１つが異なることを特徴とする。
　上記の構成によれば、デジタルスチルカメラやムービーカメラなどにおいて、ゴーストの除去などのために該ゴーストを検出するにあたって、撮像光学系を２つ設ける。そして、それらの撮像光学系間では、撮像範囲、該撮像光学系のアングル（画角、光軸方向）、解像度（レンズ群、枚数構成等）、および製造ばらつきの調整方法の内の少なくとも１つを異ならせておくことで、同じ撮像条件（同じ被写体を略同じ方向から撮像する）で撮像しても、ゴーストの発現状況に差が生じるようにする。
　さらに、ゴースト判定部は、前記２つ撮像光学系による撮像画像に対して、相互の等しい撮像範囲をパターンマッチングによって対比することにより、ゴースト箇所を判定する。具体的には、対比画像で、輝度値にずれがある明部を前記ゴースト箇所と判定する。したがって、ゴーストの発生位置を正確に、かつリアルタイムで検出することができる。
　さらにまた、本発明のゴースト検出装置では、前記ゴースト判定部は、前記２つの撮像光学系による撮像画像のうち、少なくとも一方の画像に対して、拡大、縮小、変形および回転の少なくとも１つを行うことで、前記２つの撮像光学系の撮像画像を対比することを特徴とする。
　上記の構成によれば、前記２つの撮像光学系が、たとえば主撮像光学系と副撮像光学系との場合のように、２つの撮像光学系の撮像画像の大きさや向きが異なる場合に、対比する撮像範囲や解像度を相互に等しいものとするために、前記ゴースト判定部は、その対比の前に、少なくとも一方の画像に、拡大または縮小、変形および回転の少なくとも１つを行う。
　したがって、前記主および副撮像光学系のように、撮像画像の大きさや向きが異なっても、ゴースト検出のために同じ撮像範囲を対比することができる。また、前記主および副撮像光学系のように、撮像光学系の大きさや能力に差があってもよくなり、ゴースト検出のために追加する副撮像光学系を、簡素なものとして、低コスト化することもできる。
　また、本発明のゴースト検出装置では、前記２つの撮像光学系のうち一方の撮像光学系における光学焦点距離をＦ１、撮像素子サイズをＳ１とし、他方の撮像光学系における光学焦点距離をＦ２、撮像素子サイズをＳ２とするとき、Ｓ１／Ｆ１≦Ｓ２／Ｆ２であることを特徴とする。
　上記の構成によれば、他方の撮像光学系の方が開口数（ＮＡ）が大きくなり、したがって一方の撮像光学系の方が分解能（解像度）が高くなり、それぞれ副撮像光学系および主撮像光学系となり、副撮像光学系の撮像範囲に主撮像光学系の撮像範囲（画角、視野）が包含される。
　さらにまた、本発明のゴースト検出装置では、前記一方の撮像光学系が変倍可能であり、前記光学焦点距離Ｆ１は、前記一方の撮像光学系における短焦点側の所定範囲であることを特徴とする。上記の構成によれば、前述のように分解能（解像度）が高くなる一方の撮像光学系に、変倍光学系を設ける。そして、上式は光学焦点距離Ｆ１が短焦点側の所定範囲で満足することとする。
　したがって、ゴースト発生の可能性が小さい長焦点側では、上式の拘束を外すことで、他方の撮像光学系が固定焦点であっても、開口数（ＮＡ）をむやみに大きく、したがって分解能（解像度）を小さくする必要はない。これによって、前記他方の撮像光学系に前記固定焦点の簡素な光学系を使用しても、変倍光学系を備える一方の撮像光学系でのゴーストを、高い精度で検出することができる。
　また、本発明のゴースト検出装置では、前記２つの撮像光学系が一体として形成されていることを特徴とする。　上記の構成によれば、レンズなどが一体として形成されていることで、２つの撮像光学系間のアングル（画角、光軸方向）を一括して調整することができる。
　さらにまた、本発明のゴースト検出装置では、前記２つの撮像光学系における撮像素子が、１つの撮像素子をエリア分割して実現されていることを特徴とする。　この構成によれば、前記２つの撮像光学系間で、経年などによるずれを抑えることができる。
　また、本発明のゴースト検出装置では、前記他方の撮像光学系に、中心窩レンズを備えることを特徴とする。この構成によれば、他方の撮像光学系が一方の撮像光学系の撮像範囲を包含しても、中心付近は比較的高い分解能（解像度）として、高精度なゴースト検出を行うことができる。
　さらにまた、本発明のゴースト検出装置では、前記一方の撮像光学系と同一特性の第３の撮像光学系をさらに備えることを特徴とする。上記の構成によれば、前記一方の撮像光学系と第３の撮像光学系とで、いわゆるステレオカメラを構成し、そのステレオカメラにおける２つの撮像光学系におけるゴースト検出を、前記他方の撮像光学系で行うことができる。
　また、本発明のゴースト検出装置では、前記２つの撮像光学系とゴースト判定部とを分離可能な構造とし、前記ゴースト判定部が、前記２つの撮像光学系のゴースト検査装置となることを特徴とする。この構成によれば、前記ゴースト判定部を、レンズなどの２つの撮像光学系の製造時などにおけるゴースト検査装置とすることができる。
　さらにまた、本発明の撮像装置は、上述のゴースト検出装置を備えることを特徴とする。上記の構成によれば、ゴーストの発生位置を正確に、かつリアルタイムで検出することができる撮像装置を実現することができる。
　さらに、本発明はゴースト検出方法に関し、当該方法は、同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系により２つの撮像画像を取得する取得工程と、
前記取得工程において取得された２つの撮像画像における相互に等しい撮像範囲を対比する工程と、
前記対比の結果、所定値以上の輝度差がある箇所をゴースト箇所と判定するゴースト判定工程とを有することを特徴とする。
さらに、本発明のゴースト検出方法において、前記判定工程により判定されたゴースト箇所に対し、ゴーストを除去した撮像画像を作成するゴースト除去工程をさらに備えたことを特徴とする。
　上記の構成によれば、デジタルスチルカメラやムービーカメラなどにおいて、ゴーストを除去した撮像画像を作成するにあたって、撮像光学系を２つ設ける。そして、それらの撮像光学系間では、該撮像光学系のアングル（画角、光軸方向）、解像度（レンズ群、枚数構成等）、および製造ばらつきの調整方法の内の少なくとも１つを異ならせておくことで、同じ撮像条件（同じ被写体を略同じ方向から撮像する）で撮像しても、ゴーストの発現状況に差が生じるようにする。
　さらに、ゴースト除去の工程において、前記２つの撮像光学系の撮像画像における相互に等しい撮像範囲同士を、パターンマッチングなどによって相互に対比することで、ゴーストの除去を行うことができる。具体的には、対比画像で、輝度値にずれがある明部がゴースト箇所であるので、その明部の画像を、他方の撮像光学系における同じ被写体位置（すなわち暗部側）の画像で置換えまたは補正することで、前記明部で生じているゴーストを除去した撮像画像を作成する。したがって、ゴーストを正確に、かつリアルタイムに除去した撮像画像を作成することができる。
　以上述べたように本発明によればゴーストの発現状況の異なる２つの撮像光学系を使用し、２つの撮像光学系の撮像画像における互いに等しい撮像画像を対比することでゴーストの発生箇所を判定し、当該箇所に対してゴースト除去した撮像画像を作成することができる。　それゆえ、ゴーストを正確に、かつリアルタイムに除去した撮像画像を作成することができる。

Claims (17)

  1. 同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系と、
    前記２つの撮像光学系の撮像画像における相互に等しい撮像範囲を相互に対比することで、ゴースト箇所を判定するゴースト判定部とを有することを特徴とするゴースト検出装置。
  2. 前記ゴースト判定部により判定されたゴースト箇所に対し、ゴーストを除去した撮像画像を作成するゴースト除去部をさらに備えたことを特徴とする請求項1記載のゴースト検出装置。
  3. 前記ゴースト除去部は、一方の撮像光学系による撮像画像におけるゴースト箇所を他方の撮像光学系における同じ被写体位置の画像で置き換え、または、補正することにより、ゴーストを除去することを特徴とする請求項２記載のゴースト検出装置。
  4. 前記ゴースト判定部は、前記２つの撮像光学系による撮像画像の対比の結果、所定値以上の輝度差がある箇所をゴースト箇所と判定することを特徴とする請求項１～３のいずれか1項に記載のゴースト検出装置。
  5. 前記２つの撮像光学系間は、撮像範囲、解像度、および製造時のばらつきの調整方法の内の少なくとも１つが異なることを特徴とする請求項１～４のいずれか1項に記載のゴースト検出装置。
  6. 前記ゴースト判定部は、前記２つ撮像光学系による撮像画像に対して、相互に等しい撮像範囲をパターンマッチングによって対比することにより、ゴースト箇所を判定することを特徴とする請求項１～５のいずれか1項に記載のゴースト検出装置。
  7. 前記ゴースト判定部は、前記２つの撮像光学系による撮像画像のうち、少なくとも一方の画像に対して、拡大、縮小、変形および回転の少なくとも１つを行うことで、前記２つの撮像光学系の撮像画像を対比することを特徴とする請求項１～６のいずれか1項に記載のゴースト検出装置。
  8. 前記２つの撮像光学系のうち、一方の撮像光学系における光学焦点距離をＦ１、撮像素子サイズをＳ１とし、他方の撮像光学系における光学焦点距離をＦ２、撮像素子サイズをＳ２とするとき、
    　　Ｓ１／Ｆ１≦Ｓ２／Ｆ２
    であることを特徴とする請求項１～７のいずれか1項に記載のゴースト検出装置。
  9. 前記一方の撮像光学系が変倍可能であり、前記光学焦点距離Ｆ１は、前記一方の撮像光学系における短焦点側の所定範囲であることを特徴とする請求項８に記載のゴースト検出装置。
  10. 前記２つの撮像光学系が一体として形成されていることを特徴とする請求項１～７のいずれか1項に記載のゴースト検出装置。
  11. 前記２つの撮像光学系における撮像素子が、１つの撮像素子をエリア分割して構成されていることを特徴とする請求項１０に記載のゴースト検出装置。
  12. 前記他方の撮像光学系に、中心窩レンズを備えることを特徴とする請求項８に記載のゴースト検出装置。
  13. 前記一方の撮像光学系と同一特性の第３の撮像光学系をさらに備えることを特徴とする請求項８，９、または、１２のいずれか1項に記載のゴースト検出装置。
  14. 前記２つの撮像光学系とゴースト判定部とは分離可能であることを特徴とする請求項１～１２のいずれか1項に記載のゴースト検出装置。
  15. 前記請求項１～１３のいずれか１項に記載のゴースト検出装置を備えることを特徴とする撮像装置。
  16. 同じ撮像条件において、ゴーストの発現状況が相互に異なる２つの撮像光学系により２つの撮像画像を取得する取得工程と、
    前記取得工程において取得された２つの撮像画像における相互に等しい撮像範囲を対比する対比工程と、
    前記対比の結果、所定値以上の輝度差がある箇所をゴースト箇所と判定するゴースト判定工程とを有することを特徴とするゴースト検出方法。
  17. 前記判定工程により判定されたゴースト箇所に対し、ゴーストを除去した撮像画像を作成するゴースト除去工程をさらに備えたことを特徴とする請求項16記載のゴースト検出方法。
     
PCT/JP2011/000906 2010-03-01 2011-02-18 ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法 WO2011108207A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/581,762 US9020281B2 (en) 2010-03-01 2011-02-18 Ghost detection device and imaging device using the same, ghost detection method and ghost removal method
JP2012502987A JP5429358B2 (ja) 2010-03-01 2011-02-18 ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010044215 2010-03-01
JP2010-044214 2010-03-01
JP2010044214 2010-03-01
JP2010-044215 2010-03-01

Publications (1)

Publication Number Publication Date
WO2011108207A1 true WO2011108207A1 (ja) 2011-09-09

Family

ID=44541877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000906 WO2011108207A1 (ja) 2010-03-01 2011-02-18 ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法

Country Status (3)

Country Link
US (1) US9020281B2 (ja)
JP (1) JP5429358B2 (ja)
WO (1) WO2011108207A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015005891A (ja) * 2013-06-21 2015-01-08 キヤノン株式会社 撮像装置およびその制御方法
JP2016100663A (ja) * 2014-11-19 2016-05-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラム
CN109788278A (zh) * 2019-01-16 2019-05-21 深圳市壹欣科技有限公司 相机炫光测试方法及其炫光采集装置
WO2021125076A1 (ja) * 2019-12-18 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、撮像装置及び撮像システム
WO2023042435A1 (ja) * 2021-09-16 2023-03-23 ソニーグループ株式会社 画像処理装置および方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000520B2 (ja) 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP5786101B1 (ja) * 2014-01-31 2015-09-30 オリンパス株式会社 撮像装置
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP6214457B2 (ja) 2014-04-18 2017-10-18 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP2019135468A (ja) * 2018-02-05 2019-08-15 株式会社タムロン 擾乱光判別装置、擾乱光分離装置、擾乱光判別方法及び擾乱光分離方法
CN113052781B (zh) * 2019-12-26 2024-04-12 华为技术有限公司 图像检测方法、装置、设备、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム
JP2007281989A (ja) * 2006-04-10 2007-10-25 Fuji Heavy Ind Ltd ステレオ式監視装置
JP2008123137A (ja) * 2006-11-09 2008-05-29 Aisin Seiki Co Ltd 車載用画像処理装置とその制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532008B1 (en) * 2000-03-13 2003-03-11 Recherches Point Lab Inc. Method and apparatus for eliminating steroscopic cross images
JP2004272578A (ja) 2003-03-07 2004-09-30 Minolta Co Ltd 撮像装置及び歪み補正方法
EP1883835A4 (en) * 2005-05-26 2011-04-13 Real D FANTOME COMPENSATION FOR IMPROVED STEREOSCOPIC PROJECTION
JP2008054206A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd ゴースト検出装置およびその関連技術
JP4931227B2 (ja) 2007-05-21 2012-05-16 キヤノン株式会社 画像処理装置及び画像処理プログラム
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8279285B2 (en) * 2010-04-14 2012-10-02 Canon Kabushiki Kaisha Hybrid imaging with visible and quantum entanglement images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323180A (ja) * 2004-05-10 2005-11-17 Denso Corp 撮像制御装置及びプログラム
JP2007281989A (ja) * 2006-04-10 2007-10-25 Fuji Heavy Ind Ltd ステレオ式監視装置
JP2008123137A (ja) * 2006-11-09 2008-05-29 Aisin Seiki Co Ltd 車載用画像処理装置とその制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015005891A (ja) * 2013-06-21 2015-01-08 キヤノン株式会社 撮像装置およびその制御方法
JP2016100663A (ja) * 2014-11-19 2016-05-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラム
CN109788278A (zh) * 2019-01-16 2019-05-21 深圳市壹欣科技有限公司 相机炫光测试方法及其炫光采集装置
WO2021125076A1 (ja) * 2019-12-18 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、撮像装置及び撮像システム
WO2023042435A1 (ja) * 2021-09-16 2023-03-23 ソニーグループ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
US9020281B2 (en) 2015-04-28
JP5429358B2 (ja) 2014-02-26
US20120321203A1 (en) 2012-12-20
JPWO2011108207A1 (ja) 2013-06-20

Similar Documents

Publication Publication Date Title
JP5429358B2 (ja) ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法
JP4852591B2 (ja) 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
US9325899B1 (en) Image capturing device and digital zooming method thereof
JP5596138B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP5917054B2 (ja) 撮像装置、画像データ処理方法、およびプログラム
JP5484631B2 (ja) 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
KR101021607B1 (ko) 향상된 이미지 품질을 갖는 이미지 시스템 및 그와 관련된 방법
JP5843454B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9258484B2 (en) Image pickup apparatus and control method for same
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR20160072687A (ko) 카메라 모듈
WO2011096157A1 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
WO2011099239A1 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2012026841A (ja) ステレオ測距装置及びステレオ測距方法
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
JP2013123123A (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP4947576B2 (ja) 撮像装置、ぶれ補正方法及び撮像方法
JP5223912B2 (ja) 撮像装置、および焦点判定プログラム
JP2007049266A (ja) 画像撮像装置
JP2008053787A (ja) 多眼電子カメラ及び多眼電子カメラの視差補正方法
JP5904886B2 (ja) 撮像装置、欠陥処理方法、欠陥処理プログラムおよび電子情報機器
JP6016546B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5079253B2 (ja) 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2015119428A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11750321

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012502987

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13581762

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11750321

Country of ref document: EP

Kind code of ref document: A1