WO2012001958A1 - 画像処理装置および方法並びにプログラム - Google Patents

画像処理装置および方法並びにプログラム Download PDF

Info

Publication number
WO2012001958A1
WO2012001958A1 PCT/JP2011/003691 JP2011003691W WO2012001958A1 WO 2012001958 A1 WO2012001958 A1 WO 2012001958A1 JP 2011003691 W JP2011003691 W JP 2011003691W WO 2012001958 A1 WO2012001958 A1 WO 2012001958A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
images
subject
image processing
Prior art date
Application number
PCT/JP2011/003691
Other languages
English (en)
French (fr)
Inventor
仁史 桜武
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2012522465A priority Critical patent/JPWO2012001958A1/ja
Priority to CN2011800329742A priority patent/CN103098479A/zh
Publication of WO2012001958A1 publication Critical patent/WO2012001958A1/ja
Priority to US13/731,876 priority patent/US20130120374A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention relates to an image processing apparatus that performs a three-dimensional process for stereoscopic display on a plurality of images having different viewpoints, and generates a stereoscopic image that is stereoscopically displayed on a display means for stereoscopic display, and
  • the present invention relates to a program for causing a computer to execute the method and the image processing method.
  • a stereoscopic image is generated by combining a plurality of images acquired by photographing the same subject from different positions, and the generated stereoscopic image is displayed stereoscopically so that a stereoscopic view can be performed using parallax. It is known to be.
  • an autostereoscopic method that performs stereoscopic display by arranging a plurality of images side by side.
  • a plurality of images are superimposed with different colors such as red and blue, or a plurality of images are superimposed with different polarization directions, and the plurality of images are combined to generate a stereoscopic image.
  • Stereoscopic viewing can be made possible by performing stereoscopic viewing of stereoscopic images using image separation glasses such as red-blue glasses and polarized glasses (anaglyph method, polarization filter method).
  • a plurality of images can be displayed on a stereoscopic display monitor capable of stereoscopic viewing and stereoscopically viewed without using polarized glasses or the like, like the parallax barrier method and the lenticular method.
  • a plurality of images are cut into strips in the vertical direction and alternately arranged to generate a stereoscopic image, and stereoscopic display is performed.
  • image separation glasses or by attaching optical elements to the liquid crystal and changing the light beam direction of the left and right images the left and right images are alternately switched at a high speed to display a stereoscopic display due to the afterimage effect.
  • a method of performing this has also been proposed (scan backlight method).
  • Patent Document 4 appropriately controls the parallax according to the arrangement state of the subject in the image.
  • the arrangement state of the subject in the image such as a through-image state or a moving image shooting or a moving image reproduction.
  • parallax adjustment is frequently performed, and there is a problem that the burden on the user's eyes increases.
  • the present invention has been made in view of the above circumstances, and an object thereof is to appropriately adjust the stereoscopic effect for a stereoscopic image.
  • the image processing apparatus of the present invention sets predetermined points corresponding to each other in a plurality of images with different viewpoints as cross points, and performs parallax adjustment on the plurality of images so that the parallax at the cross point position becomes zero.
  • An image processing apparatus that generates a stereoscopic image that is stereoscopically displayed on a display unit for stereoscopic display, and that calculates a parallax amount between a plurality of images for each subject on the image And when a subject whose absolute value of parallax is a predetermined amount or more is continuously captured for a predetermined number of frames or more with reference to a cross point provisionally set for a plurality of images, the subject is displayed as a display position.
  • the predetermined amount is preferably a value of 2.9% with respect to the screen width, which is a comfortable viewing range for stereoscopic display, and more preferably 0.
  • the predetermined number of frames is preferably 3 or more and 7 or less, more preferably 4 or 5.
  • parallax adjustment is performed on the parallax adjustment unit while an image acquisition unit that acquires a plurality of images with different viewpoints, a movement detection unit that detects movement of the image acquisition unit, and movement of the image acquisition unit is detected. It is good also as a thing provided with the control means which prohibits.
  • a camera shake amount detection unit that detects a camera shake amount of the image acquisition unit is provided, and the camera shake amount detection unit functions as a movement detection unit.
  • predetermined points corresponding to each other in a plurality of images with different viewpoints are set as cross points, and parallax adjustment is performed on the plurality of images so that the parallax at the cross point position becomes zero.
  • An image processing method for generating a stereoscopic image displayed stereoscopically on a display means for stereoscopic display, wherein a parallax amount between a plurality of images is calculated for each subject on the image, and the plurality of images When a subject whose absolute value of parallax is a predetermined amount or more is continuously captured for a predetermined number of frames with reference to a tentatively set cross point, the subject is specified as a display position adjustment subject.
  • the parallax is adjusted so that the absolute value of the parallax of the display position adjustment target subject does not exceed a predetermined amount after the adjustment.
  • the movement of the image acquisition unit is detected, and while the movement of the image acquisition unit is detected, the parallax is detected. It is preferable not to make adjustments.
  • the image processing method according to the present invention may be provided as a program for causing a computer to execute the image processing method.
  • the amount of parallax between a plurality of images is calculated for each subject on the image, and the absolute value of the parallax is set to a predetermined amount with reference to a crosspoint provisionally set for the plurality of images.
  • this subject is specified as a display position adjustment target subject so that the absolute value of the parallax of the display position adjustment target subject does not exceed a predetermined amount after adjustment. Since the parallax is adjusted so as to eliminate the subject that is excessively separated in the front-rear direction in the stereoscopic view from the cross point position, it is possible to reduce the burden on the user's eyes.
  • processing is performed only when a subject that is excessively separated from the cross point position in the front-rear direction is continuously captured for a predetermined number of frames or more.
  • the parallax adjustment is not performed due to excessive reaction, the burden on the user's eyes can be further reduced.
  • the predetermined amount is set to a value of 2.9% with respect to the screen width, it is possible to eliminate a subject that is excessively burdened on the user's eyes, and thus the burden on the user's eyes can be reduced. Further, if the predetermined amount is set to 0, there is no subject that jumps forward from the cross point position, so that the burden on the user's eyes can be further reduced.
  • the number of predetermined frames is too small, for example, the cross point position adjustment will be performed by reacting excessively to a subject etc. that has crossed the front for a moment, which will make the user feel uncomfortable.
  • the number is preferably 3 or more and 7 or less as an appropriate range, and more preferably 4 or 5.
  • the movement of the image acquisition unit is detected, and the parallax adjustment is not performed while the movement of the image acquisition unit is detected.
  • the parallax adjustment is not performed while the movement of the image acquisition unit is detected.
  • a camera shake amount detection unit for example, a gyro sensor
  • an image acquisition unit for example, a camera
  • a movement detection unit for detecting the movement of the image acquisition unit
  • FIG. 1 is a schematic block diagram showing an internal configuration of a compound eye camera to which an image processing apparatus according to a first embodiment of the present invention is applied.
  • 1 is a schematic block diagram showing an internal configuration of an image processing apparatus according to a first embodiment.
  • Schematic block diagram showing the configuration of the three-dimensional processing unit of the compound eye camera The flowchart which shows the process performed at the time of adjustment of a three-dimensional effect in 1st Embodiment.
  • FIG. (1) showing the relationship between the positional relationship of each subject at the time of shooting and the parallax for each subject.
  • FIG. 2 shows the relationship between the positional relationship of each subject at the time of shooting and the parallax for each subject.
  • FIG. 1 is a schematic block diagram showing an internal configuration of a compound eye camera to which an image processing apparatus according to a first embodiment of the present invention is applied.
  • FIG. 2 is a diagram showing a configuration of a photographing unit of the compound eye camera.
  • FIG. It is a schematic block diagram which shows the structure of the three-dimensional process part of a camera.
  • the compound-eye camera 1 includes two photographing units 21A and 21B, a photographing control unit 22, an image processing unit 23, a compression / decompression processing unit 24, a frame memory 25, a media control unit 26, An internal memory 27, a display control unit 28, a three-dimensional processing unit 30, a CPU 33, and a movement control unit 35 are provided.
  • the photographing units 21A and 21B are arranged so as to photograph a subject with a predetermined baseline length and convergence angle. The vertical positions of the photographing units 21A and 21B are the same. Further, since the movement control unit 35 is not used in the first embodiment, it will be described in a second embodiment to be described later.
  • the photographing units 21A and 21B include focus lenses 10A and 10B, zoom lenses 11A and 11B, diaphragms 12A and 12B, shutters 13A and 13B, CCDs 14A and 14B, analog front ends (AFE) 15A and 15B, and A / D converters 16A and 16B are provided.
  • the photographing units 21A and 21B include focus lens driving units 17A and 17B that drive the focus lenses 10A and 10B and zoom lens driving units 18A and 18B that drive the zoom lenses 11A and 11B.
  • the focus lenses 10A and 10B are for focusing on a subject, and can be moved in the optical axis direction by focus lens driving units 17A and 17B including a motor and a motor driver.
  • the focus lens driving units 17A and 17B control the movement of the focus lenses 10A and 10B based on focusing data obtained by AF processing performed by the imaging control unit 22 described later.
  • the zoom lenses 11A and 11B are for realizing a zoom function, and can be moved in the optical axis direction by zoom lens driving units 18A and 18B including a motor and a motor driver.
  • the zoom lens driving units 18A and 18B control the movement of the zoom lenses 11A and 11B based on the zoom data obtained by the CPU 33 by operating the zoom lever included in the input unit 34.
  • the apertures 12A and 12B are adjusted in aperture diameter by an aperture drive unit (not shown) based on aperture value data obtained by AE processing performed by the imaging control unit 22.
  • the shutters 13A and 13B are mechanical shutters, and are driven by a shutter driving unit (not shown) according to the shutter speed obtained by the AE process.
  • the CCDs 14A and 14B have a photoelectric surface in which a large number of light receiving elements are two-dimensionally arranged, and subject light is imaged on the photoelectric surface and subjected to photoelectric conversion to obtain an analog photographing signal.
  • color filters in which R, G, and B color filters are regularly arranged are arranged on the front surfaces of the CCDs 14A and 14B.
  • the AFEs 15A and 15B perform processing for removing noise of the analog photographing signal and processing for adjusting the gain of the analog photographing signal (hereinafter referred to as analog processing) for the analog photographing signals output from the CCDs 14A and 14B.
  • the A / D converters 16A and 16B convert the analog photographing signals subjected to the analog processing by the AFEs 15A and 15B into digital signals.
  • an image represented by digital image data acquired by the photographing unit 21A is an image GR
  • an image represented by image data acquired by the photographing unit 21B is an image GL.
  • the imaging control unit 22 includes an AF processing unit and an AE processing unit (not shown).
  • the AF processing unit determines the focusing area based on the pre-images acquired by the imaging units 21A and 21B by half-pressing the release button included in the input unit 34, and determines the focal positions of the lenses 10A and 10B. Output to 21A and 21B.
  • the AE processing unit calculates the brightness of the pre-image as a luminance evaluation value, determines an exposure value based on the luminance evaluation value, determines an aperture value and a shutter speed based on the exposure value, and shoots 21A and 21B. Output to.
  • the shooting control unit 22 instructs the shooting units 21A and 21B to acquire the main images of the images GR and GL by pressing the release button fully. Before the release button is operated, the shooting control unit 22 sequentially acquires through images for allowing the shooting unit 21A to check the shooting range at predetermined time intervals (for example, 1/30 second intervals). Give instructions.
  • the image processing unit 23 performs image processing such as white balance adjustment, gradation correction, sharpness correction, and color correction on the digital image data of the images GR and GL acquired by the imaging units 21A and 21B. .
  • the compression / decompression processing unit 24 is processed by the image processing unit 23 and applies to image data representing a 3D display image generated from the main images GR and GL for 3D display as will be described later.
  • compression processing is performed in a compression format such as JPEG, and a three-dimensional image file for three-dimensional display is generated.
  • This three-dimensional image file includes image data of the images GR and GL and image data of a three-dimensional display image.
  • a tag in which incidental information such as shooting date and time is stored is assigned to the image file based on the Exif format or the like.
  • the frame memory 25 is a working memory used when performing various processes including the processes performed by the above-described image processing unit 23 on the image data representing the images GR and GL acquired by the imaging units 21A and 21B.
  • the media control unit 26 accesses the recording medium 29 and controls writing and reading of the 3D image file.
  • the internal memory 27 stores various constants set in the compound-eye camera 1, a program executed by the CPU 33, and the like.
  • the display control unit 28 causes the monitor 20 to display the images GR and GL stored in the frame memory 25 two-dimensionally at the time of shooting, or causes the monitor 20 to display the images GR and GL recorded on the recording medium 29 two-dimensionally. Or Further, the display control unit 28 three-dimensionally displays the images GR and GL that have been subjected to the three-dimensional processing as described later on the monitor 20, and displays the three-dimensional image recorded on the recording medium 29 on the monitor 20. It is also possible to display. Note that switching between the two-dimensional display and the three-dimensional display may be performed automatically, or may be performed by an instruction from the photographer using the input unit 34. Here, when the three-dimensional display is performed, the through images of the images GR and GL are three-dimensionally displayed on the monitor 20 until the release button is pressed.
  • the three-dimensional processing unit 30 performs three-dimensional processing on the images GR and GL in order to display the images GR and GL on the monitor 20 in three dimensions.
  • any known method can be used as the three-dimensional display in the present embodiment. For example, by displaying the images GR and GL side by side and performing stereoscopic viewing by the naked eye parallel method, or by attaching a lenticular lens to the monitor 20 and displaying the images GR and GL at predetermined positions on the display surface of the monitor 20, A lenticular method in which the images GR and GL are incident on the left and right eyes to realize three-dimensional display can be used.
  • the optical path of the backlight of the monitor 20 is optically separated so as to correspond to the left and right eyes, and the images GR and GL are alternately displayed on the display surface of the monitor 20 according to the separation of the backlight left and right.
  • a scan backlight method or the like that realizes three-dimensional display can be used.
  • the monitor 20 is processed according to the three-dimensional processing method performed by the three-dimensional processing unit 30.
  • the three-dimensional display method is the lenticular method
  • a lenticular lens is attached to the display surface of the monitor 20
  • an optical element for changing the light beam direction of the left and right images is attached to the display surface of the monitor 20.
  • the lenticular method naked eye method
  • the stereoscopic display method a case where the lenticular method (naked eye method) is adopted as the stereoscopic display method will be described.
  • the three-dimensional processing unit 30 sets predetermined points in the images GR and GL as cross points in order to display the images GR and GL on the monitor 20 in three dimensions, and the cross points in the images GR and GL are monitored.
  • the display range on the monitor 20 is cut out from the images GR and GL so that the images are displayed at the same position on the screen 20.
  • the three-dimensional processing unit 30 includes a corresponding point detection unit 41, a positional deviation amount measurement unit 42, a double image determination unit 43, and a parallax adjustment unit 44.
  • the corresponding point detection unit 41 detects a feature point from one of the images GR and GL, and detects a corresponding point corresponding to the feature point in one image from the other image.
  • the positional deviation amount measuring unit 42 performs processing for measuring the deviation amount between corresponding points corresponding to each feature point.
  • the double image determination unit 43 determines a subject that jumps forward from the cross point position and a subject that retracts back from the cross point position.
  • the parallax adjustment unit 44 performs a process of adjusting the parallax of each subject by adjusting a position to be cut out as a display area from the images GR and GL.
  • the CPU 33 controls each part of the compound eye camera 1 in accordance with signals from the input part 34 including a release button and a cross key.
  • the data bus 36 is connected to each part constituting the compound eye camera 1 and the CPU 33, and exchanges various data and various information in the compound eye camera 1.
  • FIG. 4 is a flowchart showing processing performed when adjusting the stereoscopic effect in the first embodiment
  • FIG. 5 is a diagram (1) and FIG. 5 showing the relationship between the positional relationship of each subject at the time of shooting and the parallax for each subject.
  • 6 is a diagram illustrating an example of a display image after stereoscopic effect adjustment
  • FIG. 7 is a diagram for explaining timing for adjusting the stereoscopic effect
  • FIG. 8 is a diagram for explaining parallax adjustment in the case of a glasses method. .
  • step S1 parallax adjustment is performed by matching the cross point position to the near limit position (step S1).
  • step S2 two images GR and GL (through image) for generating a stereoscopic image are acquired (step S2).
  • step S3 it is determined whether or not a zoom operation is performed on the photographing units 21A and 21B (step S3). If Yes, the process proceeds to step S1 and the process is restarted from the beginning. If the determination in step S3 is No, a focus operation is performed on the photographing units 21A and 21B (step S4), and as shown in FIG. 5, the center of the reference image is set based on one of the two images GR and GL. The parallax adjustment is performed with the tentative crosspoint position (step S5).
  • a disparity shift distribution map is created (step S6), the subject located at the foreground is identified (step S7), and the subject located at the foreground is in front of the subject located at the center of the reference image.
  • (1) is acquired as the foremost double image determination value in the case of Yes (step S9), and in the case of No, “0” is acquired as the foremost double image determination value. Is acquired (step S10).
  • step S11 it is determined whether the number of times that the foremost double image determination value is continuously “1” exceeds a predetermined threshold (step S11), and in the case of Yes, as shown in FIG.
  • the parallax adjustment with the double image as the cross point position that is, a process is performed so that the subject does not jump out from the cross point position at all (step S12).
  • the present invention is not limited to the above, and processing may be performed so that the parallax of the foremost double image does not exceed a value of 2.9% with respect to the screen width, which is a comfortable viewing range for stereoscopic display. If the determination in step S11 is No, parallax adjustment is performed with the center of the reference image as the cross point position (step S13).
  • step S12 or step S13 as long as the through image display state continues, the process proceeds to step S2 and the above processing loop is repeated. This processing loop is performed every frame.
  • step S11 is not “Yes” in the first process, as shown in FIG. 7, if the above processing loop is repeated, the number of times that the foremost double image determination value becomes “1” continuously is obtained.
  • a predetermined threshold value is exceeded, that is, a state where the subject is continuously captured for a predetermined number of frames or more on the image at a position that is a predetermined amount or more away from the temporary crosspoint position.
  • the number is preferably 3 or more and 7 or less as an appropriate range, and more preferably 4 or 5. In the present embodiment, description will be made assuming that 4 frames are set.
  • a stereoscopic effect can be appropriately adjusted about the image for stereoscopic vision.
  • processing is performed only when the subject that has jumped excessively toward the front side is continuously captured for a predetermined number of frames or more. Since the cross-point position adjustment is not performed in response, the burden on the user's eyes can be suppressed.
  • the case where the lenticular method (naked eye method) is adopted as the stereoscopic display method has been described.
  • the parallax between the near side and the far side is obtained between the naked eye type stereoscopic display and the glasses type stereoscopic display.
  • the risk of health damage differs depending on the amount, and in the case of glasses-type stereoscopic display, the burden is placed on the user's eyes so that the subject is retracted too far into the back. In this case, as shown in FIG. It is sufficient to perform parallax adjustment with the cross point position as.
  • FIG. 9 is a schematic block diagram showing a configuration of a three-dimensional processing unit of a compound eye camera to which an image processing apparatus according to the second embodiment of the present invention is applied, and FIG. 10 is performed at the time of adjusting the stereoscopic effect in the second embodiment.
  • FIG. 11 is a flowchart (2) showing the relationship between the positional relationship of each subject at the time of shooting and the parallax for each subject.
  • the parallax is automatically adjusted to the front double image.
  • the shooting unit 21A when shooting is performed by chasing a moving subject in this manner (panning shot shooting), the shooting unit 21A, The distance relationship between the object 21B and the subject changes sequentially, and as a result, the parallax may be frequently adjusted, which may place a burden on the user's eyes.
  • the compound-eye camera according to the second embodiment is designed not to cause a sudden cross-point position change in the case of taking a panning shot, and the configuration of the compound-eye camera 1 according to the first embodiment. In comparison, the use of the movement control unit is different.
  • the three-dimensional processing unit 30 includes a corresponding point detection unit 41, a positional deviation amount measurement unit 42, a double image determination unit 43, and a parallax adjustment unit 44.
  • the corresponding point detection unit 41 performs a process of detecting a feature point from one of the images GR and GL and detecting a corresponding point corresponding to the feature point in one image from the other image.
  • the positional deviation amount measuring unit 42 performs processing for measuring the deviation amount between corresponding points corresponding to each feature point.
  • the double image determination unit 43 determines a subject that jumps forward from the cross point position and a subject that retracts back from the cross point position.
  • the parallax adjustment unit 44 performs a process of adjusting the parallax of each subject by adjusting the position to be cut out as a display area from the images GR and GL.
  • the movement control unit 35 includes a camera shake control unit 51 and a motion determination unit 52.
  • the camera shake control unit 51 performs camera shake correction on the imaging units 21A and 21B, and includes a gyro sensor for detecting the camera shake correction amount of the imaging units 21A and 21B.
  • the motion determination unit 52 receives the signal from the gyro sensor and performs a process of detecting the movement of the photographing units 21A and 21B.
  • step S101 it is determined whether or not a moving image shooting start button (S1) (not shown) is pressed (step S101). If No, automatic focus adjustment is performed (S106), front double image determination is performed (S107), and two near the front. The parallax adjustment is performed so that the overlapping image is at the cross point position (S108), and the process proceeds to step S101 again.
  • S1 moving image shooting start button
  • step S101 parallax adjustment is performed using one of the two images GR and GL as a reference and the center of the reference image as the temporary crosspoint position (step S102).
  • the camera shake signal is analyzed (step S103).
  • step S104 it is determined whether movement of the photographing units 21A and 21B has been detected. If Yes, the parallax is fixed until the panning photographing is finished (step S105), and the process is terminated.
  • step S104 If the determination in step S104 is No, the process proceeds to S107 and the above processing loop is repeated.
  • the image processing apparatus of the present invention is not limited to the application to a compound eye camera, and may be applied to other apparatuses such as an image display apparatus.

Abstract

【課題】　立体視用画像について適切に立体感を調整するとともに、調整の際にユーザーに違和感を生じさせないようにする。 【解決手段】　画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、この被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に所定量以上にならないように視差を調整する。

Description

画像処理装置および方法並びにプログラム
 
本発明は、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
 
同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できるようにすることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平衡法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせ、これら複数の画像を合成して立体視用画像を生成した立体視用画像を、赤青メガネや偏光メガネ等の画像分離メガネを用いて、融合視することにより、立体視を可能にすることができる（アナグリフ方式、偏光フィルタ方式）。
 
また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている（スキャンバックライト方式）。
 
このように立体視を行う場合、クロスポイント位置から過剰に離れた被写体があるとユーザーに対して眼の疲労を起こさせるという問題があるため、立体視用画像の立体感を適切に調整する必要がある。そのため、立体視表示された立体視用画像の適切な視差量を判断して、この視差量に基づいて立体視用画像を生成する手法が提案されている（特許文献１～４参照）。
 
特開平０８－２２３６０９号公報 特開平１０－０４８５６９号公報 特開平０９－２１８３７６号公報 特開平０８－２１１３３２号公報
 
しかしながら、特許文献１～３の装置はいずれも立体視用画像に対するユーザーの注視点を検出して、この注視点の視差を適切に制御するものであり、ユーザーがクロスポイント位置から過剰に離れた被写体に対して注視点を合わせた場合はこの被写体にピントが合ってしまい、この被写体を注視してしまうため、ユーザーの眼の疲労を抑えることができないという問題がある。なお、特許文献１～３の装置では、発明が解決しようとする課題の他にも、注視点を検出するための装置が必要となり、装置の構成や制御が複雑化するという問題もある。
 
また、特許文献４の手法は、画像中の被写体の配置状態に応じて視差を適切に制御するものであるが、スルー画状態や、動画撮影中もしくは動画再生中等、画像中の被写体の配置状態の変化が激しい場合には、頻繁に視差調節が行われて、逆にユーザーの眼の負担が大きくなるという問題がある。
 
本発明は上記事情に鑑みなされたものであり、立体視用画像について適切に立体感を調整することを目的とする。
 
本発明の画像処理装置は、視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、クロスポイント位置の視差が０になるように複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像上の被写体毎に、複数の画像間の視差量を算出する視差量算出手段と、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、この被写体を表示位置調整対象被写体として特定する表示位置調整対象被写体特定手段と、表示位置調整対象被写体の視差の絶対値が、調整後に所定量以上にならないように視差を調整する視差調整手段とを備えたことを特徴とするものである。
 
なお、裸眼方式の立体表示と眼鏡方式の立体表示とでは、手前側と奥側の視差量で健康被害リスクが異なり、裸眼方式の立体表示の場合には被写体が手前側に飛び出しすぎる程ユーザーの眼に負担が掛かり、眼鏡方式の立体表示の場合には被写体が奥側に引っ込みすぎる程ユーザーの眼に負担が掛かることになるため、表示方式に応じて適切な処理を行う必要がある。
 
本発明の画像処理装置において、所定量は、立体表示の快適視聴範囲である、画面幅に対して２．９％の値とすることが好ましく、０とすればより好ましい。
 
また、所定フレーム数は、３以上７以下の数とすることが好ましく、４または５とすればより好ましい。
 
また、視点が異なる複数の画像を取得する画像取得手段と、画像取得手段の移動を検出する移動検出手段と、画像取得手段の移動が検出されている間は、視差調整手段に対して視差調整を禁止する制御手段とを備えたものとしてもよい。
 
このとき、画像取得手段の手ブレ量を検出する手ブレ量検出手段を備え、手ブレ量検出手段は、移動検出手段として機能するものとすることが好ましい。
 
本発明の画像処理方法は、視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、クロスポイント位置の視差が０になるように複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、この被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に所定量以上にならないように視差を調整することを特徴とするものである。
 
本発明の画像処理方法においては、画像取得手段を用いて視点が異なる複数の画像を取得する際に、画像取得手段の移動を検出し、画像取得手段の移動が検出されている間は、視差調整を行なわないようにすることが好ましい。
 
本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
 
本発明によれば、画像上の被写体毎に、複数の画像間の視差量を算出し、複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、この被写体を表示位置調整対象被写体として特定し、表示位置調整対象被写体の視差の絶対値が、調整後に所定量以上にならないように視差を調整するようにして、クロスポイント位置から立体視における前後方向に過剰に離れた被写体を無くすようにしたので、ユーザーの眼の負担を軽減させることができる。その際、クロスポイント位置から前後方向に過剰に離れた被写体が所定フレーム数以上連続的に写っている場合のみ処理を行うようにしており、これにより例えば一瞬だけ手前を横切ったような被写体等に対して過剰に反応して視差調整が行なわれることが無くなるため、ユーザーの眼の負担をより軽減させることができる。
 
ここで、所定量を画面幅に対して２．９％の値とすれば、ユーザーの眼に過剰な負担となる被写体を無くすことができるため、ユーザーの眼の負担を軽減させることができる。また、所定量を０とすれば、クロスポイント位置から手前に飛び出す被写体が無くなるため、ユーザーの眼の負担をより軽減させることができる。
 
また、所定フレーム数は、少なすぎると例えば一瞬だけ手前を横切ったような被写体等に対して過剰に反応してクロスポイント位置調整が行なわれることになるため、ユーザーに違和感を感じさせることになり、逆に多すぎると予期せぬ位置に被写体が居続けた場合でもクロスポイント位置調整がなかなか行なわれなくなってしまうため、ユーザーの眼の負担を増加させてしまう。そのため、適切な範囲として３以上７以下の数とすることが好ましく、４または５とすればより好ましい。
 
また、画像取得手段を用いて視点が異なる複数の画像を取得する際に、画像取得手段の移動を検出し、画像取得手段の移動が検出されている間は、視差調整を行なわないようにすることにより、例えば流し撮り撮影を行なう場合等において急激なクロスポイント位置変化を生じさせないようにすることができるため、ユーザーの眼の負担を抑えることができる。
 
このとき、近年では一般的に画像取得手段（例えばカメラ等）が備えている手ブレ量検出手段（例えばジャイロセンサー等）を、画像取得手段の移動を検出する移動検出手段として兼用すれば、新たな構成部品を追加することなく本発明を実現することが可能となる。
 
本発明の第１の実施の形態による画像処理装置を適用した複眼カメラの内部構成を示す概略ブロック図 第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図 上記複眼カメラの３次元処理部の構成を示す概略ブロック図 第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート 撮影時の各被写体の位置関係と各被写体毎の視差との関係を示す図（１） 立体感調整後の表示画像の一例を示す図 立体感の調整を行なうタイミングを説明するための図 眼鏡方式の場合の視差調節について説明するための図 本発明の第２の実施の形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図 第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート 撮影時の各被写体の位置関係と各被写体毎の視差との関係を示す図（２）
 
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明の第１の実施の形態による画像処理装置を適用した複眼カメラの内部構成を示す概略ブロック図、図２は上記複眼カメラの撮影部の構成を示す図、図３は上記複眼カメラの３次元処理部の構成を示す概略ブロック図である。
 
図１に示すように本実施の形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、３次元処理部３０、ＣＰＵ３３、および移動制御部３５を備える。なお、撮影部２１Ａ，２１Ｂは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。また、撮影部２１Ａおよび２１Ｂの垂直方向の位置は同一であるものとする。また、移動制御部３５については第１の実施の形態では使用しないため、後述の第２の実施の形態において説明する。
 
図２に示すように、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂ、ズームレンズ１１Ａ，１１Ｂ、絞り１２Ａ，１２Ｂ、シャッタ１３Ａ，１３Ｂ、ＣＣＤ１４Ａ，１４Ｂ、アナログフロントエンド（ＡＦＥ）１５Ａ，１５ＢおよびＡ／Ｄ変換部１６Ａ，１６Ｂをそれぞれ備える。また、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂを駆動するフォーカスレンズ駆動部１７Ａ，１７Ｂおよびズームレンズ１１Ａ，１１Ｂを駆動するズームレンズ駆動部１８Ａ，１８Ｂを備える。
 
フォーカスレンズ１０Ａ，１０Ｂは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部１７Ａ，１７Ｂによって光軸方向に移動可能である。フォーカスレンズ駆動部１７Ａ，１７Ｂは、後述する撮影制御部２２が行うＡＦ処理により得られる合焦データに基づいてフォーカスレンズ１０Ａ，１０Ｂの移動を制御する。
 
ズームレンズ１１Ａ，１１Ｂは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部１８Ａ，１８Ｂによって光軸方向に移動可能である。ズームレンズ駆動部１８Ａ，１８Ｂは入力部３４に含まれるズームレバーを操作することによりＣＰＵ３３において得られるズームデータに基づいて、ズームレンズ１１Ａ，１１Ｂの移動を制御する。
 
絞り１２Ａ，１２Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
 
シャッタ１３Ａ，１３Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。
 
ＣＣＤ１４Ａ，１４Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１４Ａ，１４Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
 
ＡＦＥ１５Ａ，１５Ｂは、ＣＣＤ１４Ａ，１４Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。
 
Ａ／Ｄ変換部１６Ａ，１６Ｂは、ＡＦＥ１５Ａ，１５Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を画像ＧＲ、撮影部２１Ｂにより取得される画像データにより表される画像を画像ＧＬとする。
 
撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像の明るさを輝度評価値として算出し、輝度評価値に基づいて露出値を決定し、露出値に基づいて絞り値とシャッタ速度とを決定して撮影部２１Ａ，２１Ｂに出力する。
 
また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して画像ＧＲ，ＧＬの本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるためのスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。
 
画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した画像ＧＲ，ＧＬのデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。
 
圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために画像ＧＲ，ＧＬの本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、画像ＧＲ，ＧＬの画像データおよび３次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。
 
フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した画像ＧＲ，ＧＬを表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
 
メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイルの書き込みと読み込みの制御を行う。
 
内部メモリ２７は、複眼カメラ１において設定される各種定数、並びにＣＰＵ３３が実行するプログラム等を記憶する。
 
表示制御部２８は、撮影時においてフレームメモリ２５に格納された画像ＧＲ，ＧＬをモニタ２０に２次元表示させたり、記録メディア２９に記録されている画像ＧＲ，ＧＬをモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた画像ＧＲ，ＧＬをモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像をモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、入力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、画像ＧＲ，ＧＬのスルー画像がモニタ２０に３次元表示される。
 
３次元処理部３０は、画像ＧＲ，ＧＬをモニタ２０に３次元表示させるために、画像ＧＲ，ＧＬに３次元処理を行う。ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、画像ＧＲ，ＧＬを並べて表示して裸眼平行法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像ＧＲ，ＧＬを表示することにより、左右の目に画像ＧＲ，ＧＬを入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に画像ＧＲ，ＧＬをバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。
 
モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。
 
なお、本実施の形態の説明では、立体視表示の方式としてレンチキュラー方式（裸眼方式）を採用した場合について説明する。
従って、３次元処理部３０は、画像ＧＲ，ＧＬをモニタ２０に３次元表示させるために、画像ＧＲ，ＧＬ中の所定の点をクロスポイントとして設定し、画像ＧＲ，ＧＬ中のクロスポイントがモニタ２０上で同じ位置に表示されるように、画像ＧＲ，ＧＬからモニタ２０上での表示範囲を切り出す処理を行う。
 
図３に示すように、３次元処理部３０は、対応点検出部４１、位置ズレ量測定部４２、二重像判定部４３、および視差調節部４４を備える。対応点検出部４１は、画像ＧＲ，ＧＬの一方の画像中から特徴点を検出するとともに、他方の画像中から一方の画像中の特徴点に対応する対応点を検出する処理を行う。位置ズレ量測定部４２は、特徴点毎に対応する対応点との間のズレ量を測定する処理を行う。二重像判定部４３は、クロスポイント位置から手前に飛び出すことになる被写体、およびクロスポイント位置から奥に引っ込むことになる被写体の判定を行なう。視差調節部４４は、画像ＧＲ，ＧＬから表示領域として切り出す位置を調整することにより、各被写体の視差を調節する処理を行う。
 
ＣＰＵ３３は、レリーズボタンおよび十字キー等を含む入力部３４からの信号に応じて複眼カメラ１の各部を制御する。
 
データバス３６は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。
 
次に、第１の実施の形態において行われる処理について説明する。図４は第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図５は撮影時の各被写体の位置関係と各被写体毎の視差との関係を示す図（１）、図６は立体感調整後の表示画像の一例を示す図、図７は立体感の調整を行なうタイミングを説明するための図、図８は眼鏡方式の場合の視差調節について説明するための図である。
 
ここではスルー画の立体視用画像をモニタ２０に表示する場合について説明するが、動画や静止画をモニタ２０に表示する場合についても同様である。まず、スルー画の表示に先立って、クロスポイント位置を手前限界位置に合わせて視差調節を行う（ステップＳ１）。次いで立体視用画像を生成するための２つの画像ＧＲ、ＧＬ（スルー画）を取得する（ステップＳ２）。
 
次に、撮影部２１Ａ，２１Ｂに対するズーム操作が行なわれているか判定し（ステップＳ３）、Ｙｅｓの場合には、ステップＳ１に遷移して、処理を最初からやり直す。ステップＳ３における判定でＮｏの場合には、撮影部２１Ａ，２１Ｂに対するフォーカス操作を行い（ステップＳ４）、図５に示すように、２つの画像ＧＲ、ＧＬのうち一方を基準として、基準画像の中央を暫定クロスポイント位置とした視差調節を行う（ステップＳ５）。
 
次に、視差ズレ分布マップを作成して（ステップＳ６）、最も手前に位置する被写体を特定し（ステップＳ７）、最も手前に位置する被写体が基準画像の中央に位置する被写体よりも手前にあるか判定し（ステップＳ８）、Ｙｅｓの場合には、最手前二重像判定値として「１」を取得し（ステップＳ９）、Ｎｏの場合には、最手前二重像判定値として「０」を取得する（ステップＳ１０）。
 
次に、最手前二重像判定値が連続「１」となった回数が、所定の閾値を超えているか判定し（ステップＳ１１）、Ｙｅｓの場合には、図６に示すように、最手前二重像をクロスポイント位置とした視差調節、すなわちクロスポイント位置から被写体が全く手前に飛び出さないような処理を行う（ステップＳ１２）。なお、上記に限らず、最手前二重像の視差が、立体表示の快適視聴範囲である、画面幅に対して２．９％の値を超えないような処理を行うようにしてもよい。ステップＳ１１における判定でＮｏの場合には、基準画像の中央をクロスポイント位置とした視差調節を行う（ステップＳ１３）。
 
ステップＳ１２もしくはステップＳ１３の後は、スルー画表示状態が続く限り、ステップＳ２に遷移して、上記の処理ループを繰り返し行う。なお、この処理ループは、１フレームに毎に行なわれる。
 
初回の処理でステップＳ１１の判定がＹｅｓとなることは無いが、図７に示すように、上記の処理ループを繰り返していると、最手前二重像判定値の連続「１」となる回数が所定の閾値を超える状態、すなわち画像上で暫定クロスポイント位置から手前側に所定量以上離れた位置に被写体が所定フレーム数以上連続的に写っている状態が発生することがある。
 
ここで、所定フレーム数は、少なすぎると例えば一瞬だけ手前を横切ったような被写体等に対して過剰に反応してクロスポイント位置調整が行なわれることになるため、ユーザーに違和感を感じさせることになり、逆に多すぎると手前に被写体が位置し続けた場合でもクロスポイント位置調整がなかなか行なわれなくなってしまうため、ユーザーの眼の負担を増加させてしまう。そのため、適切な範囲として３以上７以下の数とすることが好ましく、４または５とすればより好ましい。本実施の形態では４フレームに設定したものとして説明する。
 
図７に示すように、最手前二重像判定値が連続「１」となる回数が閾値３を超えた状態（すなわち連続４回目が検出された状態）が検出されると、最手前二重像をクロスポイント位置とした視差調節を行う。
 
上記の構成とすることにより、立体視用画像について適切に立体感を調整することができる。その際、手前側に過剰に飛び出した被写体が所定フレーム数以上連続的に写っている場合のみ処理を行うようにしており、これにより例えば一瞬だけ手前を横切ったような被写体等に対して過剰に反応してクロスポイント位置調整が行なわれることが無くなるため、ユーザーの眼の負担を抑えることができる。
 
なお、上記実施の形態では、立体視表示の方式としてレンチキュラー方式（裸眼方式）を採用した場合について説明したが、裸眼方式の立体表示と眼鏡方式の立体表示とでは、手前側と奥側の視差量で健康被害リスクが異なり、眼鏡方式の立体表示の場合には被写体が奥側に引っ込みすぎる程ユーザーの眼に負担が掛かるため、その場合は、図８に示すように、最奥二重像をクロスポイント位置とする視差調節を行えばよい。
 
次いで、本発明の第２の実施の形態について説明する。なお、本発明の第２の実施の形態による画像処理装置を適用した複眼カメラは、第１の実施の形態による複眼カメラ１とほぼ同様の構成を有するため、同様の構成部分についての詳細な説明は省略する。図９は本発明の第２の実施の形態による画像処理装置を適用した複眼カメラの３次元処理部の構成を示す概略ブロック図、図１０は第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図１１は撮影時の各被写体の位置関係と各被写体毎の視差との関係を示す図（２）である。
 
上記第１の実施の形態では手前二重像に視差を自動的に調節するようにしていたが、このような態様で動きのある被写体を追いかけて撮影（流し撮り撮影）すると、撮影部２１Ａ，２１Ｂと被写体の距離関係が逐次変化し、その結果頻繁に視差の調節が行われてユーザーの眼に負担を掛かるおそれがある。そのため、第２の実施の形態による複眼カメラは、流し撮り撮影を行なう場合等において急激なクロスポイント位置変化を生じさせないようにしたものであり、第１の実施の形態による複眼カメラ１の構成と比較して、移動制御部を活用する点が異なるものである。
 
図９に示すように、３次元処理部３０は、対応点検出部４１、位置ズレ量測定部４２、二重像判定部４３、および視差調節部４４を備える。対応点検出部４１は、画像ＧＲ，ＧＬの一方の画像中から特徴点を検出するとともに、他方の画像中から一方の画像中の特徴点に対応する対応点を検出する処理を行う。位置ズレ量測定部４２は、特徴点毎に対応する対応点との間のズレ量を測定する処理を行う。二重像判定部４３は、クロスポイント位置から手前に飛び出すことになる被写体、およびクロスポイント位置から奥に引っ込むことになる被写体の判定を行なう。視差調節部４４は、画像ＧＲ，ＧＬから表示領域として切り出す位置を調整することにより、各被写体の視差を調節する処理を行う。
 
また、移動制御部３５は、手ブレ制御部５１、および動き判定部５２を備える。手ブレ制御部５１は、撮影部２１Ａ，２１Ｂに対する手ブレ補正を行うものであり、撮影部２１Ａ，２１Ｂの手ブレ補正量を検出するためのジャイロセンサーを備えている。動き判定部５２は、ジャイロセンサーからの信号を受信して、撮影部２１Ａ，２１Ｂの移動を検出する処理を行う。
 
次に、第２の実施の形態において行われる処理について説明する。
 
ここでは流し撮り撮影が行なわれる可能性がある場合の処理について説明する。本実施の形態では、図１１に示すように、通常の動画や静止画やスルー画の撮影時と、流し撮り撮影時とでは、異なるクロスポイント位置調節処理を行う。
 
まず不図示の動画撮影開始ボタン（Ｓ１）が押下されたか判定し（ステップＳ１０１）、Ｎｏの場合には、自動フォーカス調整を行い（Ｓ１０６）、手前二重像判定を行い（Ｓ１０７）、手前二重像がクロスポイント位置となるように視差調節を行い（Ｓ１０８）、再度ステップＳ１０１に遷移する。
 
ステップＳ１０１における判定でＹｅｓの場合には、２つの画像ＧＲ、ＧＬのうち一方を基準として、基準画像の中央を暫定クロスポイント位置とした視差調節を行い（ステップＳ１０２）、手ブレ制御部５１における手ブレ信号の解析を行う（ステップＳ１０３）。
 
次に、撮影部２１Ａ，２１Ｂの移動が検出されたか判定し（ステップＳ１０４）、Ｙｅｓの場合には、流し撮り撮影終了まで視差を固定し（ステップＳ１０５）、処理を終了する。
 
ステップＳ１０４における判定でＮｏの場合には、Ｓ１０７に遷移して、上記の処理ループを繰り返す。
 
上記の構成としても上記第１の実施の形態と同様の効果を得ることができ、さらに流し撮り撮影が行なわれた場合でも、適切な処理を行うことができる。
 
以上、本発明の実施の形態に係る装置について説明したが、コンピュータを、上記の３次元処理部３０に対応する手段として機能させ、各実施の形態における処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施の形態の１つである。
 
また、本発明の画像処理装置は、複眼カメラに適用する場合に限るものではなく、画像表示装置等の他の装置に適用してもよい。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Claims (10)

  1. 　視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、該クロスポイント位置の視差が０になるように前記複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
    前記画像上の被写体毎に、前記複数の画像間の視差量を算出する視差量算出手段と、
    前記複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、該被写体を表示位置調整対象被写体として特定する表示位置調整対象被写体特定手段と、
    前記表示位置調整対象被写体の視差の絶対値が、調整後に前記所定量以上にならないように視差を調整する視差調整手段とを備えたことを特徴とする画像処理装置。
  2. 前記所定量が、画面幅に対して２．９％の値であることを特徴とする請求項１記載の画像処理装置。
  3. 前記所定量が、０であることを特徴とする請求項１または２記載の画像処理装置。
  4. 前記所定フレーム数が、３以上７以下の数であることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
  5. 前記所定フレーム数が、４または５であることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
  6. 視点が異なる複数の画像を取得する画像取得手段と、
    前記画像取得手段の移動を検出する移動検出手段と、
    前記画像取得手段の移動が検出されている間は、前記視差調整手段に対して視差調整を禁止する制御手段とを備えたことを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
  7. 前記画像取得手段の手ブレ量を検出する手ブレ量検出手段を備え、
    該手ブレ量検出手段が、前記移動検出手段として機能するものであることを特徴とする請求項６記載の画像処理装置。
  8. 　視点が異なる複数の画像において相互に対応する所定の点をクロスポイントとして設定し、該クロスポイント位置の視差が０になるように前記複数の画像に対して視差調整を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
    前記画像上の被写体毎に、前記複数の画像間の視差量を算出し、
    前記複数の画像に対して暫定的に設定されているクロスポイントを基準として、視差の絶対値が所定量以上の被写体が所定フレーム数以上連続的に写っている場合に、該被写体を表示位置調整対象被写体として特定し、
    前記表示位置調整対象被写体の視差の絶対値が、調整後に前記所定量以上にならないように視差を調整することを特徴とする画像処理方法。
  9. 画像取得手段を用いて視点が異なる複数の画像を取得する際に、
    前記画像取得手段の移動を検出し、
    前記画像取得手段の移動が検出されている間は、視差調整を行なわないことを特徴とする請求項８記載の画像処理方法。
     
  10. 　請求項８または９記載の画像処理方法をコンピュータに実行させるためのプログラム。
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
PCT/JP2011/003691 2010-06-30 2011-06-28 画像処理装置および方法並びにプログラム WO2012001958A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012522465A JPWO2012001958A1 (ja) 2010-06-30 2011-06-28 画像処理装置および方法並びにプログラム
CN2011800329742A CN103098479A (zh) 2010-06-30 2011-06-28 图像处理装置、图像处理方法和图像处理程序
US13/731,876 US20130120374A1 (en) 2010-06-30 2012-12-31 Image processing device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010148686 2010-06-30
JP2010-148686 2010-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/731,876 Continuation US20130120374A1 (en) 2010-06-30 2012-12-31 Image processing device, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2012001958A1 true WO2012001958A1 (ja) 2012-01-05

Family

ID=45401699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003691 WO2012001958A1 (ja) 2010-06-30 2011-06-28 画像処理装置および方法並びにプログラム

Country Status (4)

Country Link
US (1) US20130120374A1 (ja)
JP (1) JPWO2012001958A1 (ja)
CN (1) CN103098479A (ja)
WO (1) WO2012001958A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015629A (ja) * 2013-07-05 2015-01-22 株式会社ニコン 画像処理装置および撮像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158119A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004007395A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2357835A3 (en) * 2002-03-27 2012-02-22 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US20080112593A1 (en) * 2006-11-03 2008-05-15 Ratner Edward R Automated method and apparatus for robust image object recognition and/or classification using multiple temporal views
US8274596B2 (en) * 2008-04-30 2012-09-25 Motorola Mobility Llc Method and apparatus for motion detection in auto-focus applications
JP4625515B2 (ja) * 2008-09-24 2011-02-02 富士フイルム株式会社 ３次元撮影装置および方法並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004007395A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015629A (ja) * 2013-07-05 2015-01-22 株式会社ニコン 画像処理装置および撮像装置

Also Published As

Publication number Publication date
US20130120374A1 (en) 2013-05-16
JPWO2012001958A1 (ja) 2013-08-22
CN103098479A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
JP4625515B2 (ja) ３次元撮影装置および方法並びにプログラム
US8199147B2 (en) Three-dimensional display apparatus, method, and program
US8130259B2 (en) Three-dimensional display device and method as well as program
WO2012001970A1 (ja) 画像処理装置および方法並びにプログラム
JP4895312B2 (ja) ３次元表示装置および方法並びにプログラム
JP2010068182A (ja) ３次元撮影装置および方法並びにプログラム
JP5295426B2 (ja) 複眼撮像装置、その視差調整方法及びプログラム
JP5449551B2 (ja) 画像出力装置、方法およびプログラム
JP5191864B2 (ja) ３次元表示装置および方法並びにプログラム
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JP5571257B2 (ja) 画像処理装置、方法およびプログラム
WO2012001958A1 (ja) 画像処理装置および方法並びにプログラム
JP5049231B2 (ja) ３次元表示装置および方法並びにプログラム
JP4847500B2 (ja) ３次元表示装置および方法並びにプログラム
JP2010102137A (ja) ３次元撮影装置および方法並びにプログラム
JP2012124650A (ja) 撮像装置および撮像方法
JP4925070B2 (ja) ３次元撮影装置および方法並びにプログラム
JP2010268097A (ja) ３次元表示装置及び３次元表示方法
JP5165742B2 (ja) ３次元撮影装置および方法並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180032974.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11800428

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012522465

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11800428

Country of ref document: EP

Kind code of ref document: A1