WO2014147957A1 - 画像処理方法及び画像処理装置 - Google Patents

画像処理方法及び画像処理装置 Download PDF

Info

Publication number
WO2014147957A1
WO2014147957A1 PCT/JP2014/000908 JP2014000908W WO2014147957A1 WO 2014147957 A1 WO2014147957 A1 WO 2014147957A1 JP 2014000908 W JP2014000908 W JP 2014000908W WO 2014147957 A1 WO2014147957 A1 WO 2014147957A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
selection
viewpoint image
subject
adjustment
Prior art date
Application number
PCT/JP2014/000908
Other languages
English (en)
French (fr)
Inventor
弘道 小野
井東　武志
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2015506577A priority Critical patent/JP6016180B2/ja
Priority to CN201480013667.3A priority patent/CN105191300B/zh
Publication of WO2014147957A1 publication Critical patent/WO2014147957A1/ja
Priority to US14/857,044 priority patent/US9986222B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Definitions

  • the present disclosure relates to an image processing method and an image processing apparatus that perform image processing for 3D display based on a plurality of images.
  • Patent Document 1 stores image data of a plurality of images obtained by photographing the same scene from different viewpoints in a storage unit, and two appropriate pieces of image data from the storage unit according to changes in conditions relating to image display and observation.
  • a technique for performing image processing for 3D display by selecting and using is disclosed. This image processing includes alignment adjustment such as parallax adjustment, trimming, and the like.
  • the selection of the two image data is performed so that the 3D image based on the selected two image data satisfies a predetermined condition (for example, a condition relating to an easily viewable parallax angle, a condition relating to spatial reproducibility, etc.). Thereby, an appropriate stereoscopic effect is given to the observer.
  • a predetermined condition for example, a condition relating to an easily viewable parallax angle, a condition relating to spatial reproducibility, etc.
  • the image processing method includes a first viewpoint image and a second viewpoint that form an image for 3D display specified through selection from an image group obtained by photographing the same subject from three or more different viewpoints.
  • An image processing method for performing image processing on an image wherein the position of the subject in the first viewpoint image is changed to the first viewpoint image based on a predetermined reference position and a shooting position related to the first viewpoint image.
  • the first viewpoint image is subjected to an adjustment process for shifting the image so as to be the same position as the position of the subject appearing in the image obtained when the shooting position is the reference position, and the reference position and Based on the shooting position related to the second viewpoint image, the position of the subject in the second viewpoint image is assumed to be temporarily the shooting position related to the second viewpoint image.
  • the adjustment process of shifting the image to the same position as the position of the subject appearing in the image obtained can be image processing method for performing with respect to the second viewpoint image.
  • the image processing apparatus includes a processor and a memory, and forms an image for 3D display specified through selection from an image group obtained by photographing the same subject from three or more different viewpoints.
  • An image processing apparatus that performs image processing on a first viewpoint image and a second viewpoint image, wherein the processor executes a control program stored in the memory, thereby executing a predetermined reference position and the first viewpoint image.
  • the position of the subject in the first viewpoint image is based on the shooting position according to the position of the subject appearing in the image obtained when the shooting position according to the first viewpoint image is the reference position.
  • An adjustment process for shifting the image so as to be the same position is performed on the first viewpoint image, and based on the reference position and the shooting position related to the second viewpoint image
  • the image is set so that the position of the subject in the second viewpoint image is the same as the position of the subject appearing in the image obtained when the shooting position related to the second viewpoint image is the reference position.
  • An image processing apparatus that performs adjustment processing for shifting the second viewpoint image.
  • the image processing method and the image processing apparatus align a display position of a specific subject as a reference when appropriately selecting an image from a plurality of images obtained by capturing the specific subject from different viewpoints and performing 3D display. The visibility for the observer (user) is improved.
  • FIG. 1 is a block diagram illustrating a configuration of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram for explaining the SB information according to the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration and content example of the storage content of the storage unit according to the first embodiment.
  • FIG. 4 is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
  • FIG. 5 is a diagram illustrating a state in which an input indicating a change in display magnification is made using the interface according to the first embodiment.
  • FIG. 6 is a flowchart illustrating the operation of the adjustment unit according to the first embodiment.
  • FIG. 7 is a diagram for explaining image processing (adjustment) by the adjustment unit according to the first embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram for explaining the SB information according to the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration and
  • FIG. 8 is a diagram for explaining parallax that occurs when shooting with a parallel twin-lens camera.
  • FIG. 9 is a diagram for explaining alignment adjustment for an image photographed by a parallel twin-lens camera.
  • FIG. 10 is a diagram showing a state of shooting for a plurality of images including the same subject in the first embodiment.
  • FIG. 11 is a diagram for explaining alignment adjustment by the adjustment unit according to the first embodiment.
  • FIG. 12 is a diagram for explaining a shooting position (SB information) of an image according to another embodiment.
  • the image processing method according to the present disclosure is the same in order to suppress variation in the display position of the specific subject.
  • An image processing method for performing image processing on a first viewpoint image and a second viewpoint image that form an image for 3D display specified through selection from an image group obtained by photographing a subject from three or more different viewpoints The position of the subject in the first viewpoint image is based on the predetermined reference position and the shooting position related to the first viewpoint image, and the shooting position related to the first viewpoint image is temporarily the reference position.
  • An adjustment process is performed on the first viewpoint image to shift the image to the same position as the position of the subject appearing in the obtained image, and the reference position and the second viewpoint
  • the position of the subject appearing in the image obtained when the position of the subject in the second viewpoint image is assumed to be the reference position based on the position of the image in the second viewpoint image Is an image processing method in which adjustment processing for shifting the image so as to be in the same position is performed on the second viewpoint image.
  • the specific subject is aligned at the position where the specific subject should appear in the image taken from the reference position.
  • the position of the subject no longer fluctuates.
  • a specific subject Horizontal positions positions in the left-right direction
  • a selection is made to change a set of two images that form a 3D image in order to appropriately perform 3D display according to a change in viewing conditions of the 3D image, such as a change in screen size, for example.
  • the position of the subject in the 3D image does not change, and the visibility for the observer (user) is improved.
  • the observation conditions are conditions relating to the environment and situation of observation (viewing) by the observer of the 3D display image.
  • the screen size of the display on which 3D display is performed the distance from the display to the user, the user's eyes
  • These are the distance between images and the enlargement ratio (display magnification) of the image.
  • the two images specified as the first viewpoint image and the second viewpoint image that form an image for 3D display are selected from, for example, two images selected from the image group or the image group. These are two images obtained by subjecting two images to enlargement or reduction magnification changing processing.
  • the image processing method includes a first selection step for performing the selection according to an observation condition for an image for 3D display, and the first viewpoint identified through the selection in the first selection step.
  • At least one of the two selected images may be different from that before the change in the viewing condition, but the position of the subject in the changed image is , They are aligned at the same position as when shooting at the reference position. For this reason, the visibility for the user is improved.
  • the first viewpoint image and the second viewpoint image identified through the selection in the second selection step are identified before the selection.
  • the adjustment process may not be performed on the image that has not been changed.
  • the selection in the first selection step and the second selection step is selection of two images from the image group, and is the target of the adjustment processing in the first adjustment step.
  • the two images specified as the one viewpoint image and the second viewpoint image are two images obtained by subjecting each of the two images as a result of the selection in the first selection step to a magnification changing process.
  • at least one of the identified first viewpoint image and second viewpoint image to be subjected to the adjustment process in the second adjustment step is a result of the selection in the second selection step.
  • the image may be at least one image obtained by performing a magnification changing process on at least one of the two images.
  • the position of the subject in the image after the magnification change processing is the same as the subject position when the image is taken at the reference position. It is easy to see because it can be aligned.
  • the image processing method includes a determining step of determining a predetermined position between shooting positions of any two images in the image group as the reference position, and includes the first adjustment step and the second adjustment step.
  • the adjustment process in the step may be performed based on the reference position determined in the determination step.
  • a predetermined position such as an average value of all shooting positions of an image group or an average value of shooting positions of two images located at both ends of all shooting positions can be determined as a reference position, and the image is shifted.
  • the partial omission of the image caused by the adjustment process to be performed can be suppressed to some extent.
  • the image processing method includes a storage step of storing, in a storage medium, information indicating the image group and a shooting position of each image in the image group prior to the selection in the first selection step. And the distance between the shooting positions related to the combination of any two images in the image group stored in the storage medium is between the shooting positions related to the combination of any other two images in the image group. It may be different from the distance.
  • the image processing method may include a display step of displaying the first viewpoint image and the second viewpoint image on which the adjustment process has been performed.
  • the selection in the first selection step and the second selection step is selection of two images from the image group, and is the target of the adjustment processing in the first adjustment step.
  • the two images specified as the one viewpoint image and the second viewpoint image are two images as a result of the selection in the first selection step, and are the objects of the adjustment processing in the second adjustment step.
  • At least one of the identified first viewpoint image and second viewpoint image is at least one of the two images as a result of the selection in the second selection step. It may be there.
  • the position of the subject in each image forming the 3D image is the same as the position of the subject when the image is taken at the reference position. Since it can align to a position, visibility improves.
  • the position of the subject in the first viewpoint image is parallel to the case where the first viewpoint image is captured and the optical axis of the camera.
  • the second viewpoint image is a process of shifting the first viewpoint image to move to the same position as the position of the subject appearing in the image obtained when the subject is photographed from the reference position.
  • the position of the subject in the second viewpoint image is temporarily changed from the reference position with the optical axis of the camera parallel to the case where the second viewpoint image is captured.
  • the second viewpoint image is shifted to move to the same position as the position of the subject appearing in the image obtained when It may be it is a process.
  • the image processing apparatus includes a processor and a memory, and forms an image for 3D display specified through selection from an image group obtained by photographing the same subject from three or more different viewpoints.
  • An image processing apparatus that performs image processing on a first viewpoint image and a second viewpoint image, wherein the processor executes a control program stored in the memory, thereby executing a predetermined reference position and the first viewpoint image.
  • the position of the subject in the first viewpoint image is based on the shooting position according to the position of the subject appearing in the image obtained when the shooting position according to the first viewpoint image is the reference position.
  • An adjustment process for shifting the image so as to be the same position is performed on the first viewpoint image, and based on the reference position and the shooting position related to the second viewpoint image
  • the image is set so that the position of the subject in the second viewpoint image is the same as the position of the subject appearing in the image obtained when the shooting position related to the second viewpoint image is the reference position.
  • An image processing apparatus that performs adjustment processing for shifting the second viewpoint image.
  • Embodiment 1 In the first embodiment, mainly when image selection is performed appropriately from a plurality of images obtained by shooting a specific subject (for example, a human body) from different viewpoints to perform 3D display, image processing that suppresses fluctuations in the display position of the subject is performed.
  • An image processing apparatus 100 as an example for realizing the method will be described.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus 100 according to the first embodiment.
  • the image processing apparatus 100 is configured by a computer and a display device including a memory (main storage device), a hard disk device and the like (auxiliary storage device), a processor, an input device, a communication interface, and the like in terms of hardware.
  • the image processing apparatus 100 includes an interface 101, a selection unit 102, a storage unit 104, an adjustment unit 105, and a display unit 106 in terms of functions.
  • the memory is ROM, RAM, or the like.
  • the memory stores in advance a control program for realizing the processing of each functional unit and setting values used in the control program, and the memory temporarily stores each value used when the control program is executed by the processor. It is also used to store automatically.
  • the interface 101 includes an input device such as a keyboard, a mouse, a switch, and a touch panel as an input interface of the image processing apparatus 100, and has a function of receiving an input from a user.
  • the input device is a touch panel
  • the touch panel may be disposed on the surface of the display device (display unit 106).
  • Examples of input contents to be accepted include observation conditions related to observation (viewing) of a 3D display image by a user.
  • the observation condition is information including, for example, the screen size of the display in the display unit 106 (may be a window size), the observation distance that is the distance from the display to the user, and the interocular distance of the user. Includes display conditions.
  • the display condition is, for example, information including a display magnification (enlargement ratio) indicating a degree when performing a magnification changing process for enlarging or reducing when displaying an image for 3D display on the display unit 106.
  • This display magnification (magnification rate) may be a value (degree of enlargement or reduction) based on the display size (screen size) in the display unit 106 (1.0 times), or the window size on the display May be a standard (1.0 times).
  • the display in the display unit 106 is a 3D glasses type (head mounted display)
  • the size of the 3D glasses may be included in the observation condition.
  • a virtual screen size (apparent screen size from the user) may be input as the screen size
  • a virtual observation distance (distance to the apparent screen from the user) may be input as the observation distance.
  • the interface 101 transmits the input information to the selection unit 102 and stores it in the storage unit 104.
  • the selection unit 102 Based on information obtained from the interface 101, the display unit 106, and the storage unit 104, the selection unit 102 forms a 3D display image to be displayed on the display unit 106 from a group of images held in the storage unit 104. It has a function to select two basic images. This function is realized by the control program stored in the memory being executed by the processor. A method for selecting two images will be described later.
  • the selection unit 102 may acquire information indicating the observation condition itself from the interface 101.
  • the selection unit 102 acquires information necessary for specifying an observation condition including a display condition such as a display magnification from the interface 101, and specifies an observation condition based on information in the storage unit 104. Also good.
  • the storage unit 104 is configured by, for example, a memory, and stores a plurality of images (3D image data 110) obtained by photographing the same subject from a plurality of different viewpoints, and information related to the 3D image data 110 (information about shooting conditions, etc.). Has the function of holding.
  • the storage unit 104 has a function of storing information indicating a preset display magnification and information received from the user via the interface 101.
  • the storage unit 104 may be configured by a storage medium other than the memory, that is, an external storage provided on a hard disk, a CD, a DVD, a BD, an SD card, etc., or a network (Internet, intranet).
  • the user can observe a 3D image by selecting two images from among a plurality of images constituting the 3D image data 110 held in the storage unit 104 and reproducing the selected image using the display unit 106.
  • This is an existing technique that allows a user to observe a 3D image by capturing left and right images (images) with binocular parallax and displaying the captured left and right images (images) on left and right eyes independently. It is an application of technology.
  • the plurality of images obtained by photographing the same subject from different viewpoints constituting the 3D image data 110 need not necessarily have the same photographing time, angle of view, number of recording pixels, and the like related to photographing. Absent.
  • the imaging device (image sensor) of the camera that captures the plurality of images may receive visible light with high sensitivity or correspond to any wavelength region such as infrared rays and X-rays. There may be.
  • the information related to the 3D image data 110 held in the storage unit 104 includes reference position information 114, SB information 111, distance information 112, and angle-of-view information 113, which are information related to shooting conditions.
  • the reference position information 114 indicates a reference position that constitutes the 3D image data 110 and serves as a reference for expression relating to the shooting position (viewpoint position) of each image obtained by shooting the same subject from different viewpoints. Information.
  • this reference position for example, the shooting position of any specific image constituting the 3D image data 110, the average position of the shooting positions of each image, or the center position in the shooting position range of each image or any of the ranges thereof A specific position or the like is determined in advance.
  • a predetermined position between the shooting positions of any two images of all the images constituting the 3D image data 110 is set as a reference position. It is effective to decide.
  • the position between the shooting positions of any two images is the average value of the shooting positions of all the images or the average of the shooting positions of two images located at both ends of the shooting positions of all the images. Including values.
  • the photographing position is specifically a focal position of the camera, for example.
  • the SB information 111 is information regarding the SB (stereo base: baseline length) between the shooting positions of the images constituting the 3D image data 110, and is information representing the shooting position of each image by the distance from the origin.
  • the origin is, for example, the first shooting position.
  • the SB information 111 is represented by, for example, a difference between the focal position of the camera and the origin.
  • the shooting position (for example, the focal position of the camera) may be acquired based on GPS (Global Positioning System), or may be obtained by analyzing and calculating an image captured at each position, or may be acquired by other methods. . Further, the photographing position may not be strictly the focal position of the camera but may be the approximate position of the camera.
  • FIG. 2 is a diagram for explaining the SB information 111. The figure also shows an example of each shooting position when shooting the same subject from a plurality of viewpoints.
  • the SB information 111 of the image photographed at the position a is 0 cm.
  • the SB information 111 of the image photographed at the position b is 1 cm
  • the SB information 111 of the image photographed at c is 3 cm.
  • the SB between the two images is 1 cm (SB information Difference: 1 cm-0 cm).
  • SB is 2 cm (SB information difference: 3 cm-1 cm).
  • the distance information 112 is information regarding the distance to the subject photographed in each image constituting the 3D image data 110.
  • the distance to the subject is specifically a distance from the focal position of the camera, for example, and may be a distance from a viewpoint (position) taken for each image as a camera position or a distance from a reference position.
  • a distance measurement sensor may be placed next to the camera and the measured value may be used, or a value obtained by a matching technique such as stereo matching using a plurality of images may be used. May be.
  • the distance information 112 may use information indicating two distances of the nearest distance and the farthest distance as the distance to the subject, and may include information indicating distances other than the two distances of the nearest distance and the farthest distance. May be. Further, the nearest distance and the farthest distance may be the same value.
  • the angle-of-view information 113 is information regarding the angle of view of the camera that captured each image constituting the 3D image data 110.
  • the angle-of-view information 113 is represented by, for example, the focal length of the camera lens and the sensor size of the image sensor (image sensor). For example, for a camera having a full 35 mm sensor, the focal length of the lens or the angle of view ( Angle). When using a lens without distortion, the angle of view is specified by the focal length of the lens and the sensor size.
  • the 3D image data 110, the SB information 111, the distance information 112, the angle of view information 113, and the reference position information 114 held in the storage unit 104 are registered in a database, for example, regardless of the holding format, and can be searched. It may be used or may be held as a file managed by the file system. Each image constituting the 3D image data 110 may be held in a moving image format such as MPEG. Furthermore, it may be held using an image format such as MPF (multi-picture format).
  • MPEG moving image format
  • MPF multi-picture format
  • FIG. 3 is a diagram showing a specific example of the configuration of the storage contents of the storage unit 104.
  • the image group constituting the 3D image data 110 is 10 images, and each is stored in a JPEG image file (the extension in the file name is jpg).
  • the ten image groups are image groups photographed in the same scene (that is, ten images obtained by photographing the same subject from different viewpoints).
  • Each 3D display image (stereoscopic image) formed from two different combinations in this image group has a different inter-camera distance (SB).
  • SB inter-camera distance
  • the selection unit 102 can select one set of images among a plurality of sets having different inter-camera distances by selecting two (one set).
  • the image table 116 is a table in which the SB information 111, the distance information 112, and the angle-of-view information 113, which are information related to the 3D image data 110, are associated with the 3D image data 110 together with the image number 115 in the database.
  • the image number 115 is represented by a file name when, for example, a serial number of 001 to 010 is added to the file names of 10 images constituting the 3D image data 110.
  • the SB information 111 of “0 cm” related to the JPEG image file “001.jpg” indicates that the shooting position of the image of this file is the same as the origin position.
  • the distance information 112 “2 m to 10 m” related to the JPEG image file “001.jpg” indicates that, for example, the closest subject in the image is located 2 m from the camera and the farthest subject is located 10 m from the camera. It shows that.
  • the adjustment unit 105 performs image processing (adjustment) on the two images selected by the selection unit 102 in the image group held in the storage unit 104, and outputs the two images as a result. It has a function of sending to the display unit 106. This function is realized by the control program stored in the memory being executed by the processor. The details of specific image processing (adjustment) in the adjustment unit 105 will be described later.
  • the display unit 106 is realized by a display device and has a function of displaying an image for 3D display. As long as 3D display is possible, any display method such as a glasses type using 3D glasses or a naked-eye type not using 3D glasses may be used. For example, a display that uses 3D glasses that employs an active shutter system in a frame sequential system may be used, or a display that employs a two-viewpoint parallax barrier system, for example.
  • the display unit 106 has a function of transmitting information related to display to the selection unit 102 and the adjustment unit 105 via HDMI (registered trademark, High-Definition Multimedia Interface) or the like.
  • HDMI registered trademark, High-Definition Multimedia Interface
  • the information related to the display includes the screen size or window size of the display, which is an element included in the observation condition, information on 3D glasses, and the like. If the display unit 106 is a PC (Personal Computer) having a 3D display function, for example, the window size can be changed by the user at any time. And to the adjustment unit 105. Note that when the display unit 106 is configured not to transmit the information related to display to the selection unit 102 and the adjustment unit 105, the information related to display may be input through the interface 101. Moreover, the information regarding display may be a predetermined fixed value.
  • FIG. 4 is a flowchart showing the operation of the image processing apparatus 100.
  • the user performs an operation for changing the display magnification (display magnification input operation)
  • two images selected from a group of images photographed from each of a plurality of viewpoints constituting 3D image data.
  • a process of performing image processing (adjustment) on a set of images and displaying the same is shown.
  • the processing of FIG. 4 is started in a state where the storage unit 104 holds 3D image data 110, information on shooting conditions, and the like and the image is once displayed on the display unit 106, the display magnification is changed (enlarged). Or, a reduced image is newly displayed.
  • the interface 101 of the image processing apparatus 100 accepts input by the user such as the display screen size W0, the observation distance L, and the interocular distance S, which are elements of the observation conditions, and stores information indicating the input observation conditions. (Processing step S100).
  • the selection unit 102 of the image processing apparatus 100 checks whether or not an input indicating a change in display magnification as a display condition has been made from the interface 101, and while the input relating to the change in display magnification cannot be detected, Wait until detection is possible (processing step S101).
  • FIG. 5 is a diagram illustrating a state in which an input indicating a change in display magnification is made using the interface 101.
  • the interface 101 is implemented as a transparent touch panel provided on the front surface of the display (screen) of the display unit 106.
  • the interface 101 receives a touch operation from the user.
  • FIG. 5A when the user touches the screen of the display unit 106 (that is, the touch panel as the interface 101), the interface 101 transmits information corresponding to the touch operation to the selection unit 102.
  • the selection unit 102 refers to the storage unit 104 (previously stores information for specifying the display magnification corresponding to the touch operation), and the like, thereby selecting the display magnification corresponding to the information transmitted from the interface 101. Identify.
  • a position (coordinates) that becomes the center of enlargement or reduction may be input. For example, the face of a person in the image touched with a finger as shown in FIG. 5A is enlarged twice as the center of enlargement in the example shown in FIG.
  • processing step S101 when the display magnification is input from the interface 101, the selection unit 102 selects two images used for 3D display (processing step S102).
  • the selection of two images from the group of images taken from each viewpoint corresponds to selecting one set from different combinations of stereo bases (base line lengths) related to photography.
  • base line lengths stereo bases
  • the selection unit 102 observes (stereoscopic view) from the observation conditions such as the display (screen) size W0, the observation distance L, and the interocular distance S of the display unit 106 and the photographing conditions held in the storage unit 104. Two images that can be displayed in 3D are selected so as to be easy. For example, the selection unit 102 calculates the viewing angle when a 3D image is formed for each combination of two images out of a group of images captured from each of a plurality of viewpoints from each condition (observation and imaging conditions), and the maximum Two images having a parallax angle and a minimum parallax angle in the range of ⁇ 1 ° to 1 ° are selected.
  • the observation distance L is not input from the interface 101, the observation distance L as a fixed value may be stored in advance in the storage unit 104, and this may be used, or the screen size of the display unit 106. May be used to calculate (estimate) the observation distance L.
  • the observation distance L can be estimated as a value that is three times the screen height.
  • the interocular distance S 6.5 cm, which is an average interocular distance of a human, may be used as the interocular distance S without being input from the interface 101, or based on information of 3D glasses. Then, the interocular distance S may be calculated (estimated).
  • the selection unit 102 to select two images for 3D display, in addition to selecting an image that facilitates 3D observation (stereoscopic view), other selection methods may be employed. That is, if the two images are not in the wrong 3D display (for example, 3D display in which the left eye image and the right eye image are reversed), the two images for 3D display can be selected by any selection method. Also good. For example, in order to select one that has a high 3D effect and facilitates stereoscopic viewing, two of the three 3D images that have a parallax angle within 1 ° of projection and -1 ° of pull-in have the largest parallax angle. It is also possible to select a 3D image.
  • the spatial recall is an index that represents the relationship between the actual distance to the subject at the time of shooting and the apparent distance to the subject when displayed in 3D.
  • the 3D display with a high space reproduction rate is a display that is close to the viewer (user) looking at the actual shooting space and hardly gives the user a sense of incongruity.
  • the viewing angle can be set within 1 ° and drawn in as a result of alignment adjustment (image shift) such as parallax adjustment performed by the adjustment unit 105. It is good also as choosing such 2 sheets.
  • the two previously selected images have a predetermined judgment condition such that the maximum parallax angle and the minimum parallax angle are within a range of ⁇ 1 ° to 1 °, etc. If the condition corresponding to (2) is satisfied, the process returns to step S101 without performing reselection.
  • the adjustment unit 105 After the two images for 3D display are selected by the selection unit 102, the adjustment unit 105 performs image processing related to adjustment of the display position of the subject on the two selected images (processing step S103). . Details of image processing (adjustment) by the adjustment unit 105 will be described later.
  • the display unit 106 After image processing (adjustment) is performed on the two images by the adjustment unit 105, the display unit 106 performs 3D display based on the adjusted two images (processing step S104). Thereafter, the process returns to the processing step S101 again.
  • FIG. 6 is a flowchart showing the operation of the adjustment unit.
  • the adjustment unit 105 determines whether the two images selected by the selection unit 102 are different from the two currently selected images, that is, whether the selected image is changed. Inspect (processing step S201). If there is no change in the selected image, alignment adjustment or the like is omitted.
  • the adjustment unit 105 acquires observation conditions (including display conditions) (processing step S202). Specifically, the adjustment unit 105 acquires the display magnification and the screen size W0 of the display from the storage unit 104, the display unit 106, or the selection unit 102.
  • the adjustment unit 105 acquires information on the shooting conditions and reference position information for the two images selected by the selection unit 102 (processing step S203). Specifically, the adjustment unit 105 receives, from the storage unit 104, SB information 111 (inter-camera distance SB), distance information 112 (distance R), angle-of-view information 113 (camera focal length f, image sensor sensor size pw). ) And reference position information 114 is acquired. It should be noted that the adjustment unit 105 may acquire these from the interface 101 instead of the storage unit 104 as information related to the imaging conditions and the reference position information 114 are input by the user.
  • the adjustment unit 105 uses the information acquired in the processing steps S202 and S203 to adjust the alignment adjustment amount for forming a 3D image having an easy-to-view depth (projection amount) for the two images selected by the selection unit 102. Is calculated (processing step S204). A specific method for calculating the alignment adjustment amount will be described later.
  • the adjustment unit 105 After calculating the alignment adjustment amount, the adjustment unit 105 performs image processing (such as alignment adjustment) on the two images selected by the selection unit 102, and outputs the resulting image to the display unit 106 (processing) Step S205). Specifically, the adjustment unit 105 enlarges or reduces the image so as to obtain a predetermined display magnification (see FIG. 4, processing step S101) and performs alignment adjustment (image shift) as image processing. When the position (coordinates) that is the center of enlargement or reduction is input during enlargement or reduction, the image is also trimmed so that the center point of enlargement or reduction is the center of the screen.
  • image processing such as alignment adjustment
  • FIG. 7 is a diagram for explaining image processing (adjustment) by the adjustment unit 105.
  • the adjustment unit 105 is obtained by shifting the image (pixel data) by half of the alignment adjustment amount DL calculated in the processing step S204 and subtracting half of DL from the CX, as shown in FIG. 7B. Trimming is performed around (CX-DL / 2, CY). Trimming is performed so as to be half the image size (1/4 in area). Then, an image (image processing result) obtained by enlarging the trimming result to double the display magnification (vertical and horizontal twice) is the image shown in FIG. As shown in FIG. 7C, the image as a result of the image processing includes a black region (for example, a region where the pixel data value is zero) obtained by alignment adjustment (image shift) corresponding to the alignment adjustment amount DL. Enlarged image.
  • the alignment adjustment has been described as an image shift in the horizontal direction (X direction), an image shift in the vertical direction (Y direction) is performed to adjust left and right vertical shift as a 3D image formed from two images. May also be used in combination.
  • the adjustment unit 105 may perform further image processing in addition to alignment adjustment, trimming, enlargement or reduction.
  • information related to shooting such as the yaw angle, low angle, pitch angle, and horizontal shift amount of the camera is stored in the storage unit 104, and the adjustment unit 105 uses the information to store the shot subject.
  • Various adjustments for reproducing with high accuracy in 3D display may be performed.
  • the example in which the touch position is enlarged (or reduced) as the center has been described, but the center of enlargement or reduction may be a portion indicated by a fixed value or a stored value at the time of shooting, It may be calculated based on the position of the subject. Further, the center of the image after enlargement or reduction may be calculated by some calculation from the touch position.
  • FIG. 8 is a diagram for explaining the parallax that occurs when shooting with a parallel twin-lens camera.
  • a parallel twin-lens camera two cameras
  • the amount of parallax at the time of shooting according to the following equation Q′x can be obtained.
  • FIG. 9 is a diagram for explaining alignment adjustment for an image photographed by a parallel twin-lens camera.
  • FIG. 9A shows the relationship between the amount of parallax obtained in FIG. 8 (Equation 1) and the parallax angle when the captured image is displayed (observed).
  • the amount of parallax in FIG. 8 is the amount of parallax on the image sensor. For this reason, it is necessary to convert Q′x into a parallax amount Qx on the display.
  • the amount of parallax is obtained by multiplying the ratio of the display size W0 to the sensor size pw of the image sensor by the enlargement ratio (display magnification) of the image specified by the user. Due to this relationship, the amount of parallax of the subject on the display is expressed by the following equation.
  • (b) shows an alignment adjustment for shifting the image in the left-right direction (horizontal direction) so that the parallax amount shown in (a) becomes zero.
  • the 3D display is made easy to see by adjusting the projection of the subject to be matched with the display (zeroing the projection).
  • the alignment adjustment amounts DL and DR for the left-eye image and the right-eye image are expressed by the following equations.
  • the example of alignment adjustment described above is an example of a general adjustment method, and the alignment adjustment in the case of reflecting the intention of the photographer or producer of the 3D image is not limited to this.
  • FIG. 10 is a diagram illustrating a state of photographing a plurality of images including the same subject, which is handled by the image processing apparatus 100.
  • the figure shows five cameras Cam1, Cam2, Cam3, Cam4, and Cam5 that photograph the same subject from different viewpoints.
  • the amount of parallax in these five cameras is expressed by the following equation as in Equation 1.
  • variable SB in Equation 5 is one of the following SB values (SB1, SB2, SB3, SB4, SB5). That is, any one of SB1, SB2, SB3, SB4, and SB5, which is a difference value between the origin (for example, the position of the camera Cam1) and the positions of the respective cameras Cam1, Cam2, Cam3, Cam4, and Cam5.
  • FIG. 11 is a diagram for explaining alignment adjustment by the adjustment unit 105 of the image processing apparatus 100.
  • a 3D image is formed by two images respectively captured by the cameras Cam1 and Cam5
  • adjustment is performed so that a specific subject (for example, a human body) projects on the display in 3D display (flying). Shows how to zero out the amount.
  • a specific subject for example, a human body
  • the adjustment unit 105 calculates the alignment adjustment amount according to the following equation based on the SB information (SB value) that is the imaging condition of the two images selected by the selection unit 102.
  • SB information SB value
  • variable SB in Equation 6 is also one of the following SB values (SB1, SB2, SB3, SB4, SB5). That is, any one of SB1, SB2, SB3, SB4, and SB5, which is a difference value between the origin and the positions of the cameras Cam1, Cam2, Cam3, Cam4, and Cam5.
  • SBb is an SB value expressed by a relative position from the origin with respect to the reference position indicated by the reference position information 114.
  • D (SB) is used to make the amount of parallax on the display zero in a 3D image formed by the image A taken at the shooting position SB and the image B that should be obtained if it was taken at the reference position. This corresponds to the amount of alignment adjustment only for the image A.
  • the alignment adjustment amount D (SB) for the images taken by each camera can be calculated independently of the other images.
  • the adjustment unit 105 performs alignment adjustment (image shift) by the alignment adjustment amount D (SB1) on the image captured by the camera Cam1, and the alignment adjustment amount D is applied to the image captured by the camera Cam5.
  • the image is shifted only by (SB5).
  • Equation 2 The calculation method of the alignment adjustment amount in a general parallel twin-lens camera is expressed as the following equation, which is a modified expression of Equation 2.
  • variable SB is SBL that is the SB value of the image for the left eye or SBR that is the SB value of the image for the right eye.
  • SBb serving as the reference position
  • (SBR + SBL) / 2 which is the center of the photographing positions of the left-eye image and the right-eye image.
  • Expression 7 the alignment adjustment amounts DL and DR of the left-eye image and the right-eye image are expressed by the following expressions.
  • the alignment adjustment amount is independently calculated by Expression 6 for one image without depending on the combination partner of two sheets constituting the 3D image. be able to.
  • the image processing apparatus 100 stores an image group obtained by photographing the same subject from three or more different viewpoints in the storage unit 104, and the selection unit 102 stores the image group. Of these, two images are selected according to the observation conditions. The selected two images are trimmed to change the magnification (enlargement or reduction) as necessary by the adjustment unit 105, and specified as a left-eye image and a right-eye image that form an image for 3D display. Then, adjust the alignment. The alignment adjustment by the adjustment unit 105 is performed as follows based on the SB information 111 and the reference position information 114 stored in the storage unit 104.
  • the position of a specific subject for example, a human body
  • An adjustment process for shifting the image is performed on the image for the left eye.
  • the same adjustment process is performed on the right-eye image.
  • the image processing apparatus 100 serves as a first selection step for selecting two images for forming a 3D display image according to the observation conditions for the 3D display image.
  • Processing step S102 is performed.
  • a processing step S103 is performed as a first adjustment step in which adjustment processing such as alignment adjustment corresponding to the left-eye image and the right-eye image identified through the selection in the first selection step is performed, and the 3D image Is displayed.
  • the image processing apparatus 100 determines in step S101 that the observation condition (display magnification) is changed, if the predetermined determination condition is not satisfied, the image processing apparatus 100 performs the selection according to the changed observation condition.
  • Processing step S102 is performed as a two-selection step.
  • a processing step as a second adjustment step in which adjustment processing such as alignment adjustment is performed on at least one of the left-eye image and the right-eye image specified through the selection in the second selection step.
  • S103 is performed and a 3D image is displayed. Accordingly, even if at least one of the left-eye image and the right-eye image is changed according to the change in the viewing condition of the 3D display image, the position of the subject in the changed image is adjusted. Thus, the same position as that obtained when shooting at the reference position is set. For this reason, the visibility for the user is improved.
  • the adjustment unit 105 performs processing step S201. As a result of the determination, alignment adjustment or the like is omitted. Thereby, processing efficiency can be improved.
  • the reference position is set with respect to the image obtained by changing the magnification (enlargement or the like) by the adjustment unit 105 for the two images selected by the selection unit 102 of the image processing apparatus 100. Alignment adjustment is performed so that the subject is moved to the position set as the viewpoint. Accordingly, even when the image is subjected to magnification change processing (enlargement, reduction, etc.) and displayed in 3D, the position of the subject in the image after the magnification change processing is not changed. In an implementation example in which the magnification change processing and alignment adjustment (image shift) are processed with the highest possible independence, alignment adjustment is not performed for images that have not been changed before and after selection. , Processing efficiency can be improved.
  • the selection unit 102 selects the predetermined position between the shooting positions of any two images in the image group obtained by shooting the same subject from different viewpoints.
  • the probability that the shooting position of two images sandwiches the reference position increases to some extent. For this reason, as a result of the alignment adjustment in the adjusting unit 105, the missing portion caused by the image shift can be reduced to some extent for the left eye image and the right eye image.
  • the left eye image and the right eye image that have been adjusted by the adjustment unit 105 of the image processing apparatus 100 are displayed by the display unit 106.
  • the user can observe the 3D image, and even when the observation condition is changed, since the horizontal position of a specific subject (for example, a human body) does not change in the 3D display, the user can observe easily.
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • two images are selected from a plurality of image groups.
  • a configuration used for a multi-parallax autostereoscopic 3D display that displays three or more images may be used.
  • the selection unit 102 selects three or more images
  • the adjustment unit 105 performs alignment adjustment and the like similar to the above on each of the selected images.
  • the display device described in Embodiment 1 has a screen on the surface of a device such as a liquid crystal display or an organic EL display, the screen is projected by projecting an image (image) onto the screen like a projector. It may be formed.
  • the shooting positions in the case where the subject is shot from a plurality of different viewpoints are as shown in FIG. 2, but may be the shooting positions a to e shown in FIG.
  • the position of a is 0 cm
  • the position of b is 0.5 cm
  • the position of c is 1.5 cm
  • the position of d is 3.5 cm
  • the position of e is 7 cm. .5 cm.
  • the SB value between the two images in the 10 combinations is any one of 10 values without duplication.
  • it is also useful to appropriately select the number of shooting positions so as to be able to cope with a larger number of stereo bases while suppressing the total number of images in view of the utilization efficiency of the storage medium storing the image group.
  • an image group serving as a selection candidate is stored in a storage unit ( Stored in a storage medium).
  • the SB information represents each shooting position as an SB value that is a distance (relative position) from the origin.
  • each shooting position is a relative position from the determined reference position. It is good also as expressing with SB value.
  • the SB information is stored in the storage unit 104, information indicating the reference position itself becomes unnecessary. That is, it is possible to calculate the alignment adjustment amount of each image from Expression 6 based on SB information with SBb in Expression 6 set to zero.
  • the example in which the optical axes of the cameras that photograph the subject at the photographing positions are parallel is described.
  • the optical axes are not necessarily parallel.
  • the camera's optical axis is not parallel and when toe-in shooting is performed by the crossing method, it is the same as when the optical axis is parallel by applying keystone correction to remove the keystone distortion of the image. Can be processed.
  • an example is shown in which the subject is fixed and the camera is moved to change the shooting position. However, the subject is rotated and moved to see the subject from different viewpoints. An image equivalent to the case may be obtained. Moreover, it is good also as image
  • the alignment adjustment has been described with respect to an example in which a specific subject is projected onto the display in 3D display (the amount of projection is set to zero).
  • the alignment adjustment is not necessarily performed on the display. It is not necessary.
  • An adjustment method is used in which a specific subject is adjusted to a position where it is retracted from the display by a predetermined amount or a position where it jumps forward by a predetermined amount (an offset amount is uniformly added to or subtracted from the alignment adjustment amount). It is good as well.
  • the first embodiment shows an example that can be applied even when the image is subjected to magnification change processing (enlargement, reduction, etc.), and the variable of the enlargement ratio is included in Expression 6, but enlargement or reduction is always performed. There is no need. Therefore, the enlargement ratio in Expression 6 may be replaced with a constant “1” as the image is not enlarged or reduced. For example, as an image for the left eye and an image for the right eye that form an image for 3D display, alignment adjustment may be performed on an image that has been captured without performing the magnification changing process, and the image may be used.
  • each functional component may be individually made into one chip by a semiconductor device such as an IC (Integrated Circuit) or an LSI (Large Scale Integration). However, it may be made into one chip so as to include a part or all of it. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • integrated circuit technology that replaces LSI appears as a result of progress in semiconductor technology or other derived technology
  • functional blocks may be integrated using this technology. Biotechnology can be applied as a possibility.
  • each process of the first embodiment may be realized by hardware, or may be realized by software (including a case where it is realized together with an OS (operating system), middleware, or a predetermined library). . Further, it may be realized by a mixture of software and hardware. Needless to say, when the image processing apparatus according to the above-described embodiment is realized by hardware, it is necessary to adjust the timing for performing each process. In the above embodiment, for the sake of convenience, details of timing adjustment of various signals that occur in actual hardware design are omitted.
  • execution order of the processing methods in the first embodiment is not necessarily limited to the order described in the first embodiment, and the execution order can be changed without departing from the gist of the invention. Is.
  • each functional component of the image processing apparatus 100 shown in the first embodiment may be installed in a separate apparatus.
  • Each functional component in each separated apparatus operates in cooperation with each other by wired or wireless communication so that an image processing method similar to that of the image processing apparatus 100 described in the first embodiment is realized. Become.
  • a stereoscopic display device a television, a portable information terminal, a PC, a digital still camera, a movie, an information recording / playback device, a video recording / playback device, a video processing device, and the like that are equipped with the selection unit 102 described in Embodiment 1 are realized. You may do it. In this case, a plurality of images obtained by photographing the same subject from a plurality of different viewpoints may be input to these devices from the outside.
  • a stereoscopic display device a television, a portable information terminal, a PC, a digital still camera, a movie, an information recording / reproducing device, a video recording / reproducing device, a video processing device, and the like that are equipped with the adjusting unit 105 described in Embodiment 1 are realized. You may do it. In this case, the selected two images for forming an image for 3D display, information relating to the photographing conditions, and reference position information are transmitted from outside these devices to these devices. It is also good to do.
  • the present disclosure is applicable to a device that displays a 3D image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　選択部（１０２）による同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て、特定された３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に画像処理を行う画像処理装置（１００）において、調整部（１０５）は、所定の基準位置及び第１視点画像に係る撮影位置に基づいて、第１視点画像における被写体の位置を、第１視点画像に係る撮影位置が仮に基準位置であったとするときに得られる画像において現れる被写体の位置と同じ位置にするよう画像をシフトする調整処理を第１視点画像に対して施し、基準位置及び第２視点画像に係る撮影位置に基づいて、第２視点画像における被写体の位置を、第２視点画像に係る撮影位置が仮に基準位置であったとするときに得られる画像において現れる被写体の位置と同じ位置にするよう画像をシフトする調整処理を第２視点画像に対して施す。

Description

画像処理方法及び画像処理装置
　本開示は、複数の画像に基づいて３Ｄ表示用の画像処理を行う画像処理方法及び画像処理装置に関する。
　特許文献１は、同一シーンを異なる視点から撮影した複数の画像の画像データを記憶部に記憶し、画像の表示やその観察に係る条件の変更に応じて、記憶部から適切な２つの画像データを選択して用いて３Ｄ表示用の画像処理を行う技術を開示する。この画像処理は、視差調整等のアライメント調整、トリミング等である。２つの画像データの選択は、選択した２つの画像データに基づく３Ｄ画像が所定の条件（例えば見易い視差角に係る条件、空間再現性に係る条件等）を満たすように行われる。これにより、観察者に適切な立体感が与えられる。
国際公開ＷＯ２０１２／１３７４５４号パンフレット
　本開示は、特定の被写体を異なる視点から撮影した複数の画像から適宜画像を選択して３Ｄ表示を行う場合に観察者の見易さを従来よりも向上させるべく、特定の被写体の表示位置の変動を抑制するための画像処理を行う画像処理方法及び画像処理装置を提供する。
　本開示における画像処理方法は、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理方法であって、所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す画像処理方法である。
　また、本開示における画像処理装置は、プロセッサ及びメモリを備え、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理装置であって、前記プロセッサは、前記メモリに格納された制御プログラムを実行することにより、所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す画像処理装置である。
　本開示における画像処理方法及び画像処理装置は、特定の被写体を異なる視点から撮影した複数の画像から適宜画像を選択して３Ｄ表示を行う場合において、その特定の被写体の表示位置を基準に揃えるので、観察者（ユーザ）にとっての見易さが向上する。
図１は、実施の形態１における画像処理装置の構成を示すブロック図である。 図２は、実施の形態１に係るＳＢ情報を説明するための図である。 図３は、実施の形態１に係る記憶部の記憶内容の構成及び内容例を示す図である。 図４は、実施の形態１における画像処理装置の動作を示すフローチャートである。 図５は、実施の形態１に係るインターフェースを用いて表示倍率の変更を示す入力がなされる様子を示す図である。 図６は、実施の形態１に係る調整部の動作を示すフローチャートである。 図７は、実施の形態１に係る調整部による画像処理（調整）を説明するための図である。 図８は、平行式２眼カメラで撮影する場合に生じる視差を説明するための図である。 図９は、平行式２眼カメラで撮影した画像についてのアライメント調整を説明するための図である。 図１０は、実施の形態１における同じ被写体を含む複数の画像についての撮影の様子を示す図である。 図１１は、実施の形態１に係る調整部によるアライメント調整を説明するための図である。 図１２は、他の実施の形態に係る画像の撮影位置（ＳＢ情報）を説明するための図である。
　特定の被写体を異なる視点から撮影した複数の画像から適宜画像を選択して３Ｄ表示を行う場合に、その特定の被写体の表示位置の変動を抑制すべく、本開示における画像処理方法は、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理方法であって、所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す画像処理方法である。
　これにより、どの撮影位置において撮影した画像においても、基準位置から撮影した画像において特定の被写体が現れるはずの位置に、その特定の被写体が揃えられることとなるため、どの画像が選択されても特定の被写体の位置が変動しなくなる。例えば、３Ｄ表示における左眼用画像と右眼用画像として用いるための各撮影位置で撮影された画像群のうち、どの２枚の画像が選択されて形成される３Ｄ画像においても、特定の被写体の水平位置（左右方向における位置）が同一となる。このため、例えば画面サイズの変更等の３Ｄ画像の観察条件の変化に応じて、適切に３Ｄ表示を行うべく３Ｄ画像を形成する２枚の画像の組を変更するような選択をしても、３Ｄ画像中の被写体の位置が変動せず、観察者（ユーザ）にとっての見易さが向上する。なお、観察条件は、３Ｄ表示用の画像の観察者による観察（視聴）の環境及び状況に関する条件であり、例えば３Ｄ表示がなされるディスプレイの画面サイズ、そのディスプレイからユーザまでの距離、ユーザの眼間距離や画像の拡大率（表示倍率）等である。また、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像として特定された２枚の画像は、例えば、画像群から選択された２枚の画像そのものや、画像群から選択された２枚の画像に拡大又は縮小の倍率変更処理を施して得られる２枚の画像等である。
　ここで、例えば、前記画像処理方法は、３Ｄ表示用の画像についての観察条件に応じて前記選択を行う第１選択ステップと、前記第１選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像に、それぞれ対応する前記調整処理を施す第１調整ステップと、前記観察条件が変更される際に一定条件下で当該変更後の観察条件に応じて前記選択を行う第２選択ステップと、前記第２選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像に、対応する前記調整処理を施す第２調整ステップとを含むこととしてもよい。
　これにより、３Ｄ表示用の画像の観察条件の変化に応じて、選択された２枚の画像のうち少なくとも１枚が観察条件の変化前とは異なり得るところ、変更された画像における被写体の位置が、基準位置で撮影した場合と同じ位置に揃えられる。このため、ユーザにとっての見易さが向上する。
　また、例えば、前記第２調整ステップでは、前記第２選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像のうち、当該選択の前において特定されていた前記第１視点画像及び前記第２視点画像から変更されていない画像がある場合においては、当該変更されていない画像に対しては前記調整処理を施さないこととしてもよい。
　これにより、３Ｄ表示用の画像の観察条件の変化に応じて選択された２枚の画像のうち１枚が観察条件の変化前と同じであれば、調整処理を省略して、処理効率を向上させることができる。
　また、例えば、前記第１選択ステップ及び前記第２選択ステップにおける前記選択は、前記画像群からの２枚の画像の選択であり、前記第１調整ステップにおける前記調整処理の対象となる、前記第１視点画像及び前記第２視点画像として特定された２枚の画像は、前記第１選択ステップにおける前記選択の結果としての２枚の画像それぞれに倍率変更処理を施して得られる２枚の画像であり、前記第２調整ステップにおける前記調整処理の対象となる、特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像は、前記第２選択ステップにおける前記選択の結果としての２枚の画像のうちの少なくとも１枚に倍率変更処理を施して得られる少なくとも１枚の画像であることとしてもよい。
　これにより、画像に倍率変更処理（拡大、縮小等）を施して３Ｄ表示する場合においても、その倍率変更処理後の画像における被写体の位置を仮に基準位置で撮影した場合における被写体の位置と同じ位置に揃えることができるので、見易さが向上する。
　また、例えば、前記画像処理方法は、前記画像群におけるいずれか２枚の画像の撮影位置間の所定位置を、前記基準位置として決定する決定ステップを含み、前記第１調整ステップ及び前記第２調整ステップにおける前記調整処理は、前記決定ステップにより決定された前記基準位置に基づいて行われることとしてもよい。
　これにより、例えば画像群の全撮影位置の平均値や全撮影位置のうち両端に位置する２枚の画像の撮影位置の平均値等といった所定位置を基準位置として決定することができ、画像をシフトする調整処理により生じる画像の部分的欠落をある程度抑制し得る。
　また、例えば、前記画像処理方法は、前記第１選択ステップにおける前記選択に先行して、前記画像群、及び、当該画像群における各画像の撮影位置を示す情報を記憶媒体に記憶する記憶ステップを含み、前記記憶媒体に記憶される前記画像群におけるいずれか２枚の画像の組合せに係る撮影位置間の距離は、当該画像群における他のいずれの２枚の画像の組合せに係る撮影位置間の距離とも異なることとしてもよい。
　これにより、３Ｄ表示用の画像の観察条件の変化に対応して適切な３Ｄ表示を迅速に行うために記憶媒体に格納しておく画像群を、効率的に記憶媒体に格納しておくことが可能となる。
　また、例えば、前記画像処理方法は、前記調整処理が施された前記第１視点画像及び前記第２視点画像を表示する表示ステップを含むこととしてもよい。
　これにより、３Ｄ表示用の画像を表示し、その表示を観察するための観察条件の変更があったときにその観察条件に対応して適切な表示を行うべく３Ｄ画像を形成する２枚の画像の組を変更するものの、３Ｄ画像での被写体の位置を変動させない。このため、ユーザにとっての見易さが向上する。
　また、例えば、前記第１選択ステップ及び前記第２選択ステップにおける前記選択は、前記画像群からの２枚の画像の選択であり、前記第１調整ステップにおける前記調整処理の対象となる、前記第１視点画像及び前記第２視点画像として特定された２枚の画像は、前記第１選択ステップにおける前記選択の結果としての２枚の画像であり、前記第２調整ステップにおける前記調整処理の対象となる、特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像は、前記第２選択ステップにおける前記選択の結果としての２枚の画像のうちの少なくとも１枚の画像であることとしてもよい。
　これにより、画像に倍率変更処理（拡大、縮小等）を施さずに３Ｄ表示する場合においても、３Ｄ画像を形成する各画像における被写体の位置を仮に基準位置で撮影した場合における被写体の位置と同じ位置に揃えることができるので、見易さが向上する。
　また、例えば、前記第１視点画像における前記被写体の位置をシフトする前記調整処理は、前記第１視点画像における前記被写体の位置を、当該第１視点画像を撮影した場合とカメラの光軸を平行にして仮に前記基準位置から当該被写体を撮影したとするときに得られる画像において現れる当該被写体の位置と、同じ位置まで移動させるべく当該第１視点画像をシフトする処理であり、前記第２視点画像における前記被写体の位置をシフトする前記調整処理は、前記第２視点画像における前記被写体の位置を、当該第２視点画像を撮影した場合とカメラの光軸を平行にして仮に前記基準位置から当該被写体を撮影したとするときに得られる画像において現れる当該被写体の位置と、同じ位置まで移動させるべく当該第２視点画像をシフトする処理であることとしてもよい。
　これにより、例えば、３Ｄ表示における左眼用画像及び右眼用画像として用いるための、各撮影位置でカメラの光軸を平行にして撮影された画像群のうち、どの２枚の画像の組で形成される３Ｄ画像においても、被写体の水平位置が同一となる。このため、ユーザにとっての見易さが向上する。また、３Ｄ画像を形成する２枚の画像のそれぞれについて、例えば平行式でない撮影の場合に生じる台形歪を補正するための台形補正等の処理を行うことなく、調整処理を行うことができる。
　また、本開示における画像処理装置は、プロセッサ及びメモリを備え、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理装置であって、前記プロセッサは、前記メモリに格納された制御プログラムを実行することにより、所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す画像処理装置である。
　これにより、選択された画像が、どの撮影位置において撮影した画像であっても、基準位置から撮影した画像において被写体が現れるはずの位置に、被写体が位置付くような画像処理がなされるため、ユーザにとって見易い３Ｄ表示が実現される。
　なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組合せが含まれる。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。即ち、以下の具体例を用いた説明で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって、請求の範囲に記載の主題を限定するものではない。以下の実施の形態における構成要素のうち、請求の範囲における独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
　（実施の形態１）
　実施の形態１では、主に、特定の被写体（例えば人体）を異なる視点から撮影した複数の画像から適宜画像を選択して３Ｄ表示を行う場合においてその被写体の表示位置の変動を抑制する画像処理方法を実現する一例としての画像処理装置１００について説明する。
　以下、図１～１１を用いて、実施の形態１を説明する。
　［１－１．構成］
　図１は、実施の形態１における画像処理装置１００の構成を示すブロック図である。
　画像処理装置１００は、ハードウェア面において、メモリ（主記憶装置）、ハードディスク装置等（補助記憶装置）、プロセッサ、入力装置、通信インターフェース等を備えるコンピュータ及びディスプレイ装置で構成される。この画像処理装置１００は、機能面では、同図に示すように、インターフェース１０１、選択部１０２、記憶部１０４、調整部１０５及び表示部１０６を備える。メモリはＲＯＭ、ＲＡＭ等である。メモリには各機能部の処理を実現するための制御プログラムやその制御プログラムで利用するための設定値等が予め格納され、また、メモリは、制御プログラムのプロセッサによる実行に際して用いられる各値を一時的に格納するためにも用いられる。
　以下、各機能構成要素について詳細に説明する。
　インターフェース１０１は、画像処理装置１００の入力インターフェースとして、キーボード、マウス、スイッチ、タッチパネル等の入力装置で構成されユーザからの入力を受け付ける機能を有する。入力装置がタッチパネルである場合においてタッチパネルはディスプレイ装置（表示部１０６）の表面に配置されていてもよい。受け付ける入力内容としては、３Ｄ表示用の画像のユーザによる観察（視聴）に関する観察条件等が挙げられる。なお、観察条件は、例えば、表示部１０６におけるディスプレイの画面サイズ（ウィンドウサイズであってもよい）、そのディスプレイからユーザまでの距離である観察距離、及びユーザの眼間距離を含む情報であり、表示条件を包含する。表示条件は、例えば、表示部１０６に３Ｄ表示用の画像を表示する際に拡大又は縮小を行う倍率変更処理を施すときのその度合いを示す表示倍率（拡大率）を含む情報である。この表示倍率（拡大率）は、表示部１０６におけるディスプレイサイズ（画面サイズ）を基準（１．０倍）としたもの（拡大又は縮小の度合い）であってもよいし、ディスプレイ上でのウィンドウサイズを基準（１．０倍）としたものであってもよい。なお、表示部１０６におけるディスプレイが、３Ｄメガネ式（ヘッドマウントディスプレイ）であった場合には、観察条件に３Ｄメガネのサイズが含まれることとしてもよい。また、画面サイズとして仮想画面サイズ（ユーザからの見かけ上の画面サイズ）が入力され、観察距離として仮想観察距離（ユーザからの見かけ上の画面までの距離）が入力されることとしてもよい。なお、インターフェース１０１は、入力された情報を、選択部１０２に伝達し、記憶部１０４に格納する。
　選択部１０２は、インターフェース１０１、表示部１０６及び記憶部１０４から得られる情報に基づいて、記憶部１０４に保持される画像群の中から、表示部１０６に表示する３Ｄ表示用の画像を形成する基礎となる２枚の画像を選択する機能を有する。この機能は、メモリに格納された制御プログラムがプロセッサにより実行されることで実現される。２枚の画像の選択方法については後述する。なお、選択部１０２は、インターフェース１０１から、観察条件を示す情報そのものを取得することとしてもよい。また、選択部１０２は、インターフェース１０１から表示倍率等の表示条件を含む観察条件を特定するために必要な情報を取得して、記憶部１０４内の情報に基づいて、観察条件を特定することとしてもよい。
　記憶部１０４は、例えばメモリで構成され、同一の被写体を異なる複数の視点から撮影して得られる複数の画像（３Ｄ画像データ１１０）、その３Ｄ画像データ１１０に関する情報（撮影条件に関する情報等）を保持する機能を有する。また、記憶部１０４は、予め設定された表示倍率を示す情報や、インターフェース１０１を介してユーザから受け付けた情報を格納する機能を有する。また、記憶部１０４は、メモリ以外の記憶媒体、即ち、ハードディスク、ＣＤ、ＤＶＤ、ＢＤ、ＳＤカード等やネットワーク（インターネット、イントラネット）上に設けられた外部ストレージで構成されてもよい。なお、記憶部１０４に保持されている３Ｄ画像データ１１０を構成する複数の画像のうち、２枚を選択し、表示部１０６により再生することで３Ｄ画像をユーザに観察させることができる。これは、両眼視差をもって左右の映像（画像）を撮影し、撮影した左右の映像（画像）を独立して左右の眼に投影できるディスプレイ装置に表示することにより３Ｄ画像をユーザに観察させる既存技術を応用したものである。この３Ｄ画像データ１１０を構成するところの、同一の被写体を異なる視点から撮影して得られる複数の画像については、撮影に関連する撮影時刻や画角や記録画素数等が必ずしも同一である必要はない。なお、これら複数の画像を撮影するカメラの撮像素子（イメージセンサ）は、可視光を高感度に受光するものであってもよいし、赤外線、Ｘ線等のいずれの波長領域に対応するものであってもよい。
　記憶部１０４に保持される３Ｄ画像データ１１０に関する情報には、基準位置情報１１４や、撮影条件に関する情報である、ＳＢ情報１１１、距離情報１１２及び画角情報１１３等が含まれる。
　基準位置情報１１４は、３Ｄ画像データ１１０を構成するところの、同一の被写体を異なる視点から撮影して得られる各画像の撮影位置（視点の位置）に関する表現の基準とするための基準位置を示す情報である。この基準位置として、例えば、３Ｄ画像データ１１０を構成するいずれか特定の画像の撮影位置、各画像の撮影位置の平均位置、或いは、各画像の撮影位置範囲内の中心位置やその範囲内のいずれか特定の位置等が予め定められている。特に、後述するアライメント調整（画像シフト）による画像の欠落を抑える観点からは、例えば３Ｄ画像データ１１０を構成する全ての画像のうちいずれか２枚の画像の撮影位置間の所定位置を基準位置と決定しておくこと等が有効となる。なお、このいずれか２枚の画像の撮影位置間の位置とは、全ての画像の撮影位置の平均値や、全ての画像の撮影位置のうち両端に位置する２枚の画像の撮影位置の平均値等を含む。また、撮影位置は、具体的には例えばカメラの焦点位置である。
　ＳＢ情報１１１は、３Ｄ画像データ１１０を構成する各画像の撮影位置間のＳＢ（ステレオベース：基線長）に関する情報であり、各画像の撮影位置を原点からの距離で表現した情報である。カメラを移動させて撮影位置を逐次変更する場合において、原点は例えば最初の撮影位置である。ＳＢ情報１１１は、具体的には例えばカメラの焦点位置と原点との差によって表わされる。撮影位置（例えばカメラの焦点位置）は、ＧＰＳ（Global Positioning System ）に基づいて取得しても、各位置で撮影された画像を解析して算定しても、その他の方法で取得してもよい。また、撮影位置は、厳密にカメラの焦点位置でなくても、カメラの概略位置等であってもよい。
　図２は、ＳＢ情報１１１を説明するための図である。同図は、同一の被写体を複数の視点で撮影する場合の各撮影位置の例も示している。
　図２に示すように、原点を同図中のａの位置とすると、ａの位置で撮影した画像のＳＢ情報１１１は、０ｃｍとなる。同様にｂの位置で撮影した画像のＳＢ情報１１１は１ｃｍとなり、ｃで撮影した画像のＳＢ情報１１１は、３ｃｍとなる。３Ｄ画像を形成するための２つの視点の画像として、例えば、ａの位置で撮影した画像と、ｂの位置で撮影した画像とを選択した場合には、両画像間のＳＢは１ｃｍ（ＳＢ情報の差分：１ｃｍ－０ｃｍ）となる。また、ｂの位置で撮影した画像と、ｃの位置で撮影した画像とを選択した場合には、ＳＢは２ｃｍ（ＳＢ情報の差分：３ｃｍ－１ｃｍ）となる。
　距離情報１１２は、３Ｄ画像データ１１０を構成する各画像に撮影されている被写体までの距離に関する情報である。なお、被写体までの距離は、具体的には例えばカメラの焦点位置からの距離であり、カメラの位置として画像毎に撮影した視点（位置）からの距離や、基準位置からの距離でもよい。なお、被写体までの距離としては、例えば、カメラの横に測距センサを置き、その測定値を用いてもよいし、複数の画像を用いてステレオマッチングなどのマッチング技術によって得られた値を用いてもよい。また、距離情報１１２に、被写体までの距離として最近距離と最遠距離の２つの距離を示す情報を用いてもよく、また、最近距離と最遠距離の２つ以外の距離を示す情報を含めてもよい。また、その最近距離と最遠距離とが同一の値であるようにしてもよい。
　画角情報１１３は、３Ｄ画像データ１１０を構成する各画像を撮影したカメラの画角に関する情報である。画角情報１１３は、例えば、カメラのレンズの焦点距離及び撮像素子（イメージセンサ）のセンササイズで表され、例えば、３５ｍｍフルサイズのセンサを有するカメラについては単にレンズの焦点距離、或いは画角（角度）で表される。なお、歪のないレンズを用いる場合において、画角はレンズの焦点距離及びセンササイズにより特定される。
　記憶部１０４に保持される３Ｄ画像データ１１０、ＳＢ情報１１１、距離情報１１２、画角情報１１３、基準位置情報１１４については、特に保持の形式を問わず、例えば、データベースに登録されており検索によって利用されることとしてもよし、ファイルシステムで管理されるファイルとして保持されていてもよい。また、３Ｄ画像データ１１０を構成する各画像は、ＭＰＥＧ等の動画フォーマットで保持されていてもよい。更に、ＭＰＦ（マルチピクチャフォーマット）等の画像フォーマットを用いて保持されていてもよい。
　図３は、記憶部１０４の記憶内容の構成の一具体例を示す図である。
　同図の例では、３Ｄ画像データ１１０を構成する画像群は、１０枚の画像であり、それぞれＪＰＥＧ画像ファイル（ファイル名における拡張子はｊｐｇ）に格納されている。この１０枚の画像群は、同一のシーンにおいて撮影された画像群（つまり同一の被写体を異なる視点から撮影して得られた１０枚の画像）である。この画像群における２枚の異なる組合せから形成される３Ｄ表示用の画像（立体視される画像）それぞれはカメラ間距離（ＳＢ）が異なる。このため、選択部１０２は、２枚（一組）を選択することで、カメラ間距離が異なる複数組のうち一組の画像を選択することが可能となる。画像テーブル１１６は、データベースにおいて、３Ｄ画像データ１１０に関する情報であるＳＢ情報１１１、距離情報１１２及び画角情報１１３を、３Ｄ画像データ１１０と関連付けるための画像番号１１５と共に対応付けたテーブルである。画像番号１１５は、例えば、３Ｄ画像データ１１０を構成する１０枚の画像のファイル名中に００１～０１０という通番が付されるとした場合において、ファイル名で表される。なお、図３の例において、ＪＰＥＧ画像ファイル「００１．ｊｐｇ」に関連する「０ｃｍ」というＳＢ情報１１１は、このファイルの画像の撮影位置が、原点の位置と同一であることを示している。また、ＪＰＥＧ画像ファイル「００１．ｊｐｇ」に関連する「２ｍ～１０ｍ」という距離情報１１２は、例えば画像における最も近い被写体がカメラから２ｍに位置しており、最も遠い被写体がカメラから１０ｍに位置していることを示している。
　調整部１０５は、記憶部１０４に保持される画像群のうち、選択部１０２により選択された２枚の画像に対して、画像処理（調整）を施して、その結果となる２枚の画像を表示部１０６に送出する機能を有する。この機能は、メモリに格納された制御プログラムがプロセッサにより実行されることで実現される。なお、調整部１０５における具体的な画像処理（調整）の内容については後述する。
　表示部１０６は、ディスプレイ装置で実現され、３Ｄ表示用の画像を表示する機能を有する。３Ｄ表示ができれば、３Ｄメガネを用いるメガネ式や、３Ｄメガネを用いない裸眼式等どのような表示方式でも構わない。例えば、フレームシーケンシャル方式で、アクティブシャッター方式を採用している３Ｄメガネを利用したディスプレイでもよく、また、例えば、２視点のパララックスバリア方式を採用しているディスプレイでもよい。また、表示部１０６は、表示に関する情報を、ＨＤＭＩ（登録商標、High-Definition Multimedia Interface）等を介して、選択部１０２及び調整部１０５に伝える機能を有する。表示に関する情報は、観察条件に含まれる要素であるディスプレイの画面サイズ又はウィンドウサイズや３Ｄメガネの情報等である。なお、表示部１０６が例えば３Ｄ表示機能を有するＰＣ（Personal Computer）の場合には、ユーザによりウィンドウサイズの変更が随時行われ得るため、変更の都度、表示部１０６は表示に関する情報を選択部１０２及び調整部１０５に伝える。なお、表示に関する情報を、表示部１０６が選択部１０２及び調整部１０５に伝達できない構成とした場合には、表示に関する情報は、インターフェース１０１により入力されることとしてもよい。また、表示に関する情報は、予め定められた固定値であるとしてもよい。
　［１－２．動作］
　以上のように構成された画像処理装置１００について、その動作を以下説明する。
　［１－２－１．全体的な動作］
　図４は、画像処理装置１００の動作を示すフローチャートである。同図では、概ね、ユーザが表示倍率を変更する操作（表示倍率の入力操作）を行った場合に、３Ｄ画像データを構成する複数の視点各々から撮影されてなる画像群から選択した２枚一組の画像に画像処理（調整）を行って表示する処理を示す。記憶部１０４に、３Ｄ画像データ１１０、撮影条件に関する情報等が保持されており、表示部１０６により一旦画像が表示された状態において、図４の処理が開始されると、表示倍率が変更（拡大又は縮小）された画像が新たに表示されることになる。
　画像処理装置１００のインターフェース１０１は、観察条件の要素であるディスプレイの画面サイズＷ０、観察距離Ｌ、眼間距離Ｓ等のユーザによる入力を受け付けて、入力された観察条件を示す情報を記憶部１０４に格納する（処理ステップＳ１００）。
　次に、画像処理装置１００の選択部１０２は、インターフェース１０１から、表示条件としての表示倍率の変更を示す入力がなされたか否かを検査し、表示倍率の変更に係る入力を検出できない間は、検出できるまで待機する（処理ステップＳ１０１）。
　図５は、インターフェース１０１を用いて表示倍率の変更を示す入力がなされる様子を示す図である。同図では、インターフェース１０１が、表示部１０６のディスプレイ（画面）の前面に設けられた透明のタッチパネルとして実装された例を示す。この場合、インターフェース１０１はユーザからのタッチ操作を受け付ける。図５において（ａ）に示すように、ユーザが表示部１０６の画面上（つまりインターフェース１０１であるタッチパネル）をタッチすると、インターフェース１０１は、そのタッチ操作に対応した情報を選択部１０２に伝達する。選択部１０２は、記憶部１０４（タッチ操作に対応して表示倍率を特定するための情報を予め記憶させておく）を参照すること等により、インターフェース１０１から伝達された情報に対応する表示倍率を特定する。なお、拡大又は縮小を表す表示倍率の他に、拡大又は縮小の中心となる位置（座標）も入力されることとしてもよい。例えば図５において（ａ）に示すように指でタッチされた、画像中の人物の顔が、（ｂ）に示す例では、拡大の中心となって、２倍に拡大されている。
　処理ステップＳ１０１において、表示倍率がインターフェース１０１から入力された場合には、選択部１０２は、３Ｄ表示に用いる２枚の画像を選択する（処理ステップＳ１０２）。この各視点から撮影された画像群からの２枚の画像の選択は、撮影に係るステレオベース（基線長）の異なる組合せの中から一組を選択していることに相当する。３Ｄ表示をユーザが観察する環境（表示条件を含む観察条件）が相違すると、ユーザにとって見易いものとなる３Ｄ表示に用いられる２枚の画像の組合せは異なる。
　具体的には選択部１０２は、表示部１０６のディスプレイ（画面）サイズＷ０、観察距離Ｌ、眼間距離Ｓといった観察条件と記憶部１０４に保持されている撮影条件とから、観察（立体視）が容易となるように３Ｄ表示できる２枚の画像を選択する。選択部１０２は、例えば複数の視点各々から撮影されてなる画像群のうち２枚一組の各組合せについて３Ｄ画像を形成した場合の視野角を各条件（観察、撮影条件）から算定し、最大視差角と最小視差角が－１°から１°の範囲内となる２枚を選択する。一般的に、３Ｄ表示の奥行きについて、飛出し１°、引き込み－１°以内の視差角であれば、被写体が違和感なく立体として認識できることが知られているからである。なお、観察距離Ｌについては、インターフェース１０１から入力されなくても、記憶部１０４に予め固定値としての観察距離Ｌを記憶しておき、これを用いることとしてもよいし、表示部１０６の画面サイズに基づいて観察距離Ｌを算定（推定）することしてもよい。例えば、観察距離Ｌは、画面高の３倍の値と推定することができる。また、眼間距離Ｓについては、インターフェース１０１から入力されなくても、人間の平均的な眼間距離である６．５ｃｍを眼間距離Ｓとして用いることとしてもよいし、３Ｄメガネの情報に基づいて眼間距離Ｓを算定（推定）することとしてもよい。
　なお、選択部１０２が３Ｄ表示用の２枚の画像を選択する方法として、３Ｄ観察（立体視）が容易となるものを選ぶほか、他の選択方法を採用してもよい。即ち、２枚の画像が間違った３Ｄ表示（例えば左眼用画像と右眼用画像とが逆となる３Ｄ表示）でなければ、３Ｄ表示用の２枚の画像をいかなる選択方法で選択してもよい。例えば、３Ｄ効果が高くかつ立体視が容易となるものを選ぶために、飛出し１°、引き込み－１°以内の視差角となる２枚の３Ｄ画像の内、最も大きな視差角となる２枚の３Ｄ画像を選択することとしてもよい。また、３Ｄ表示における空間再現率（飛出し及び引き込み距離の再現率）の高いものを選ぶこととしてもよい。なお、空間再現率とは、撮影時における被写体までの実際の距離と３Ｄ表示した際の見かけ上の被写体までの距離との関係を表す指標である。空間再現率の高い３Ｄ表示とは、観察者（ユーザ）にとって実際の撮影空間を見た感じに近く、ユーザに違和感を与えにくい表示である。また、２枚の画像を選択する方法として、調整部１０５にて視差調整等のアライメント調整（画像シフト）を行った結果として視野角を飛出し１°、引き込み－１°以内に収めることができるような２枚を選ぶこととしてもよい。
　なお、観察条件が変更されても、既に選択されていた２枚の画像が、最大視差角と最小視差角が－１°から１°の範囲内等といった所定の判断条件（上述の各選択方法と対応する条件）を満たしているような場合には、再選択を行わず処理ステップＳ１０１に戻る。
　選択部１０２により３Ｄ表示用の２枚の画像が選択された後に、調整部１０５は、その選択された２枚の画像について、被写体の表示位置の調整に係る画像処理を施す（処理ステップＳ１０３）。この調整部１０５による具体的な画像処理（調整）の内容については、後述する。
　調整部１０５により２枚の画像について画像処理（調整）が施された後に、表示部１０６は、調整された２枚の画像に基づいて３Ｄ表示を行う（処理ステップＳ１０４）。その後、再び処理ステップＳ１０１に戻る。
　［１－２－２．調整部１０５の具体的な動作］
　図６は、調整部の動作を示すフローチャートである。
　まず、調整部１０５は、選択部１０２により選択された２枚の画像が、現在選択している２枚の画像とは異なるか否か、即ち、選択された画像が変更されるか否かを、検査する（処理ステップＳ２０１）。選択された画像の変更がない場合には、アライメント調整等を省略する。
　選択された画像の変更がある場合には、調整部１０５は、観察条件（表示条件を含む）を取得する（処理ステップＳ２０２）。具体的には、調整部１０５は、記憶部１０４、表示部１０６又は選択部１０２から、表示倍率、ディスプレイの画面サイズＷ０を取得する。
　次に、調整部１０５は、選択部１０２により選択された２枚の画像についての撮影条件に係る情報及び基準位置情報を取得する（処理ステップＳ２０３）。具体的には、調整部１０５は、記憶部１０４から、ＳＢ情報１１１（カメラ間距離ＳＢ）、距離情報１１２（距離Ｒ）、画角情報１１３（カメラの焦点距離ｆ、撮像素子のセンササイズｐｗ）及び基準位置情報１１４を取得する。なお、撮影条件に係る情報及び基準位置情報１１４がユーザにより入力されることとして、調整部１０５は、これらを記憶部１０４からではなく、インターフェース１０１から取得することとしてもよい。
　それから、調整部１０５は、処理ステップＳ２０２及びＳ２０３において取得した情報に基づき、選択部１０２により選択された２枚の画像について、見易い奥行き（飛出し量）の３Ｄ画像を形成するためのアライメント調整量を算出する（処理ステップＳ２０４）。アライメント調整量の具体的な算出方法については後述する。
　アライメント調整量を算出した後に、調整部１０５は、選択部１０２により選択された２枚の画像について画像処理（アライメント調整等）を行って、その結果となる画像を表示部１０６に出力する（処理ステップＳ２０５）。具体的には、調整部１０５は、画像処理として、定められた表示倍率（図４、処理ステップＳ１０１参照）となるように画像の拡大又は縮小を行い、アライメント調整（画像シフト）を施す。なお、拡大又は縮小に際して、拡大又は縮小の中心となる位置（座標）の入力がなされている場合には、拡大又は縮小の中心点が画面中央となるように画像のトリミングも行う。
　図７は、調整部１０５による画像処理（調整）を説明するための図である。
　図７において（ａ）に示すように、ユーザが表示部１０６の画面上（タッチパネル上）をタッチすることで所定の拡大動作を行うとする。ここでは、拡大率は固定的に２倍である例を想定して説明する。インターフェース１０１からタッチした位置のＸＹ２次元座標（ＣＸ，ＣＹ）が得られ、調整部１０５は、タッチ位置（ＣＸ，ＣＹ）、２倍という表示倍率、トリミングサイズ（画像サイズの半分）を取得する。このタッチ位置（ＣＸ，ＣＹ）は、拡大する際の画像の中心となる。なお、ここではタッチ位置を拡大する画像の中心とするような一例を挙げているが、拡大や縮小の前後で画像の中心を変更しないこととしてもよい。
　調整部１０５は、図７において（ｂ）に示すように、処理ステップＳ２０４で算出したアライメント調整量ＤＬの半分だけ画像（画素データ）をシフトし、ＤＬの半分をＣＸから減算して得られた（ＣＸ－ＤＬ／２，ＣＹ）を中心としてトリミングを行う。トリミングは、画像サイズの半分（面積では１／４）の大きさとなるように行う。そして、トリミングの結果を表示倍率が２倍（縦横２倍）に拡大して得られる画像（画像処理の結果）は、図７において（ｃ）に示した画像になる。なお、図７において（ｃ）に示すように、画像処理の結果としての画像は、アライメント調整量ＤＬ分のアライメント調整（画像シフト）による黒領域（例えば画素データ値がゼロの領域）を含んだ拡大画像となる。なお、アライメント調整を水平方向（Ｘ方向）の画像シフトとして説明したが、２枚の画像から形成される３Ｄ画像としての左右の縦ずれを調整するために垂直方向（Ｙ方向）への画像シフトも併用してもよい。
　また、調整部１０５は、アライメント調整とトリミングと拡大又は縮小との他に更なる画像処理を行うこととしてもよい。例えば、記憶部１０４にカメラのヨー角、ロー角、ピッチ角や水平ずれ量などの撮影に関連する情報を格納するようにして、これらの情報を利用して、調整部１０５は撮影した被写体を３Ｄ表示において高精度に再現するための各種調整を行うこととしてもよい。また、タッチ位置を拡大（又は縮小）される際の中心とする例について説明したが、拡大又は縮小の中心を、固定値や撮影時の保存値で示される部分としてもよく、画像における特定の被写体の位置に基づいて算定すること等としてもよい。また、タッチ位置から何らかの演算により拡大又は縮小後における画像の中心等を算定することとしてもよい。
　［１－２－３．調整部１０５におけるアライメント調整量の算出］
　以下、調整部１０５におけるアライメント調整量の算出（処理ステップＳ２０４）について、詳細に説明する。
　説明の便宜上、光軸が平行な平行式２眼カメラにおけるアライメント調整量の算出方法を示し、次に、画像処理装置１００において同一被写体を３以上の視点で撮影した画像群から２枚の画像を選択して調整部１０５で行うアライメント調整量の算出方法を示す。
　図８は、平行式２眼カメラで撮影する場合に生じる視差を説明するための図である。同図に示すように、平行式２眼カメラ（２台のカメラ）の場合、被写体までの距離Ｒ、カメラの焦点距離ｆ、カメラ間距離ＳＢが既知ならば、次式によって撮影時の視差量Ｑ‘ｘを求めることができる。
　Ｑ‘ｘ＝ｆ＊ＳＢ／Ｒ　　（式１）
　図９は、平行式２眼カメラで撮影した画像についてのアライメント調整を説明するための図である。図９において（ａ）に、図８（式１）で求まった視差量と、撮影された画像をディスプレイに表示する際（観察する際）の視差角との関係を示す。図８での視差量は、撮像素子上の視差量である。このため、Ｑ‘ｘをディスプレイ上における視差量Ｑｘに変換する必要がある。ここで、ディスプレイ上では、撮像素子のセンササイズｐｗに対するディスプレイサイズＷ０の比に、ユーザが指定した画像の拡大率（表示倍率）を乗算した視差量になる。この関係により、ディスプレイ上の被写体の視差量は、次式で表現される。
　Ｑｘ＝Ｗ０／ｐｗ＊ｆ＊ＳＢ／Ｒ＊（拡大率）　　（式２）
　図９において、（ａ）で示した視差量がゼロになるように、画像を左右方向（水平方向）にシフトするアライメント調整を（ｂ）に示す。一般的な平行式２眼カメラでは、被写体の飛出しをディスプレイ上に合わせるよう調整する（飛出しをゼロにする）ことで、３Ｄ表示を見易くしている。左眼用画像及び右眼用画像のアライメント調整量ＤＬ及びＤＲは次式で表現される。
　ＤＬ＝Ｑｘ／２　　（式３）
　ＤＲ＝Ｑｘ／２　　（式４）
　なお、上述のアライメント調整の例は、一般的な調整方法の例であり、３Ｄ画像の撮影者や制作者の意図を反映するような場合におけるアライメント調整はこの限りではない。
　次に、画像処理装置１００の調整部１０５におけるアライメント調整量の算出方法を示す。説明の便宜上、光軸が平行である複数台のカメラ（平行式多眼カメラ）におけるアライメント調整量の算出方法を示す。
　図１０は、画像処理装置１００が扱うところの、同じ被写体を含む複数の画像についての撮影の様子を示す図である。同図には、同じ被写体を異なる視点から撮影する５台のカメラＣａｍ１、Ｃａｍ２、Ｃａｍ３、Ｃａｍ４及びＣａｍ５を示している。これら５台のカメラにおける視差量は、式１と同様に次式により表される。
　Ｑ‘ｘ（ＳＢ）＝ｆ＊ＳＢ／Ｒ　　（式５）
　但し、式５における変数ＳＢは次のＳＢ値（ＳＢ１、ＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５）のいずれかである。即ち、原点（例えばカメラＣａｍ１の位置）と各カメラＣａｍ１、Ｃａｍ２、Ｃａｍ３、Ｃａｍ４、Ｃａｍ５の位置との差の値であるＳＢ１、ＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５のいずれかである。
　図１１は、画像処理装置１００の調整部１０５によるアライメント調整を説明するための図である。同図は、カメラＣａｍ１及びカメラＣａｍ５によりそれぞれ撮影された２枚の画像で３Ｄ画像を形成する場合において、３Ｄ表示において特定の被写体（例えば人体）の飛出しをディスプレイ上に合わせるよう調整する（飛出し量をゼロにする）方法を示す。画像中に被写体が複数存在するような場合においては特定の被写体を決めるためにどのような方法を用いてもよい。調整部１０５は、選択部１０２によって選択された２枚の画像の撮影条件であるＳＢ情報（ＳＢ値）等に基づいて、アライメント調整量を次式により算出する。
　Ｄ（ＳＢ）＝Ｗ０／ｐｗ＊ｆ＊（ＳＢｂ－ＳＢ）／Ｒ＊（拡大率）　　（式６）
　但し、式６における変数ＳＢも次のＳＢ値（ＳＢ１、ＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５）のいずれかである。即ち、原点と各カメラＣａｍ１、Ｃａｍ２、Ｃａｍ３、Ｃａｍ４、Ｃａｍ５の位置との差の値であるＳＢ１、ＳＢ２、ＳＢ３、ＳＢ４、ＳＢ５のいずれかである。ＳＢｂは、基準位置情報１１４で示される基準位置についての原点からの相対位置で表現したＳＢ値である。Ｄ（ＳＢ）は、撮影位置ＳＢにおいて撮影された画像Ａと、仮に基準位置において撮影されたら得られるはずの画像Ｂとにより形成される３Ｄ画像において、ディスプレイ上での視差量をゼロにするために画像Ａだけにアライメント調整を施す量に相当する。これにより、各カメラで撮影された画像についてのアライメント調整量Ｄ（ＳＢ）は、他の画像とは独立して算定可能となる。
　そして図１１に示すように調整部１０５はカメラＣａｍ１で撮影された画像にはアライメント調整量Ｄ（ＳＢ１）だけアライメント調整（画像シフト）を施し、カメラＣａｍ５で撮影された画像にはアライメント調整量Ｄ（ＳＢ５）だけ画像シフトを施す。調整部１０５は、このようなアライメント調整を行うことで、選択部１０２によって選択された３Ｄ画像を形成する２枚の画像の組合せに依存することなく、いつでも被写体を略同一の位置に表示することができる。
　この調整部１０５によるアライメント調整と、一般的な平行式２眼カメラにおけるアライメント調整（図８及び図９参照）との違いは次のように説明することができる。
　一般的な平行式２眼カメラにおけるアライメント調整量の算出方法は、式２の表現を変えたものである次式のように表される。
　Ｄ‘（ＳＢ）＝Ｗ０／ｐｗ＊ｆ＊｛（ＳＢＲ＋ＳＢＬ）／２－ＳＢ｝／Ｒ＊（拡大率）　　（式７）
　但し、変数ＳＢは、左眼用画像のＳＢ値であるＳＢＬもしくは右眼用画像のＳＢ値であるＳＢＲである。また、基準位置となるＳＢｂとしては、一般的には左眼用画像及び右眼用画像の撮影位置の中心である（ＳＢＲ＋ＳＢＬ）／２を用いる。式７を用いると、左眼用画像及び右眼用画像のアライメント調整量ＤＬ及びＤＲは次式で表される。
　ＤＬ＝Ｄ（ＳＢＬ）＝Ｗ０／ｐｗ＊ｆ＊｛（ＳＢＲ＋ＳＢＬ）／２－ＳＢＬ｝／Ｒ＊（拡大率）　　（式８）
　ＤＲ＝Ｄ（ＳＢＲ）＝Ｗ０／ｐｗ＊ｆ＊｛（ＳＢＲ＋ＳＢＬ）／２－ＳＢＲ｝／Ｒ＊（拡大率）　　（式９）
　このように、式８及び式９から、一般的な平行式２眼カメラにおけるアライメント調整は、組合せ相手となる左眼用画像又は右眼用画像の撮影位置に依存してなされるものであることが分かる。
　一方、画像処理装置１００が用いる画像処理方法によれば、１枚の画像について、３Ｄ画像を構成する２枚一組の組合せ相手に依存せず、独立的に式６によりアライメント調整量を算出することができる。
　［１－３．効果等］
　以上のように、本実施の形態において、画像処理装置１００は、記憶部１０４に同一の被写体を異なる３以上の視点から撮影して得られる画像群を格納し、選択部１０２により、その画像群のうち観察条件に応じて２枚の画像を選択する。選択された２枚の画像に対して調整部１０５で必要に応じて倍率変更（拡大又は縮小）のためのトリミングを行い３Ｄ表示用の画像を形成する左眼用画像及び右眼用画像として特定し、アライメント調整を施す。この調整部１０５によるアライメント調整は、記憶部１０４に格納されたＳＢ情報１１１及び基準位置情報１１４等に基づいて、次のように行われる。即ち、左眼用画像における特定の被写体（例えば人体）の位置を、その画像の撮影位置が仮に基準位置であったとするときに得られる画像において表れるその特定の被写体の位置と同じ位置にするまで画像をシフトする調整処理を左眼用画像に施す。そして右眼用画像についても同様の調整処理を施す。これにより、観察条件に応じていずれの視点の画像が左眼用画像及び右眼用画像のそれぞれとして選択されても、画像毎に予め任意に設定した基準位置を基準として画像のシフトを行うことができるので、３Ｄ表示において特定の被写体の位置を揃えることができる。
　また、本実施の形態において、画像処理装置１００は、３Ｄ表示用の画像についての観察条件に応じて３Ｄ表示用の画像を形成するための２枚の画像の選択を行う第１選択ステップとしての処理ステップＳ１０２を行う。そして、第１選択ステップにおける選択を経て特定された左眼用画像及び右眼用画像に、それぞれ対応するアライメント調整等の調整処理を施す第１調整ステップとしての処理ステップＳ１０３を行って、３Ｄ画像を表示する。その後、画像処理装置１００は、観察条件（表示倍率）が変更されると処理ステップＳ１０１で判断すると、所定の判断条件が満たされていなければ、変更後の観察条件に応じて前記選択を行う第２選択ステップとしての処理ステップＳ１０２を行う。続いて、第２選択ステップにおける選択を経て特定された左眼用画像及び右眼用画像のうち少なくとも１枚の画像に、対応するアライメント調整等の調整処理を施す第２調整ステップとしての処理ステップＳ１０３を行って、３Ｄ画像を表示する。これにより、３Ｄ表示用の画像の観察条件の変化に応じて、左眼用画像及び右眼用画像のうち少なくとも１枚について変更がなされても、変更された画像における被写体の位置が、調整処理により基準位置で撮影した場合と同じ位置に揃えられる。このため、ユーザにとっての見易さが向上する。
　また、本実施の形態において、画像処理装置１００の選択部１０２により選択された２枚の画像それぞれがその選択前における２枚の画像のいずれかと同じであれば、調整部１０５では、処理ステップＳ２０１での判断結果としてアライメント調整等を省略する。これにより、処理効率を向上させることができる。
　また、本実施の形態において、画像処理装置１００の選択部１０２により選択された２枚の画像に対して、調整部１０５で倍率変更（拡大等）を施して得られる画像に対して基準位置を視点とした位置に被写体を移動させるようなアライメント調整を行う。これにより、画像に倍率変更処理（拡大、縮小等）を施して３Ｄ表示する場合においても、その倍率変更処理後の画像における被写体の位置を変動させることがなくなる。なお、倍率変更処理とアライメント調整（画像シフト）との相互の独立性をできるだけ高めて処理するような実装例においては、選択の前後で変更がなされなかった画像については、アライメント調整を行わないので、処理効率を向上させることができる。
　また、本実施の形態において、同一の被写体を異なる視点から撮影した画像群のうちいずれか２枚の画像の撮影位置間の所定位置を基準位置として決定する場合には、選択部１０２が選択した２枚の画像の撮影位置がその基準位置を挟む確率がある程度高まる。このため、調整部１０５でのアライメント調整の結果として左眼用画像及び右眼用画像について画像シフトで生じた欠落部分を、ある程度減少させ得るようになる。
　また、本実施の形態において、画像処理装置１００の調整部１０５により調整処理がなされた左眼用画像及び右眼用画像は、表示部１０６により表示される。これにより、ユーザは３Ｄ画像を観察でき、観察条件を変更した場合においても、３Ｄ表示において特定の被写体（例えば人体）の水平位置の変動がないため、楽に観察をすることができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
　実施の形態１では、複数枚の画像群から２枚の画像を選択する構成としたが、３枚以上の画像を表示する多視差の裸眼式３Ｄディスプレイに用いる構成であっても構わない。その場合、選択部１０２は３枚以上の画像を選択し、調整部１０５は選択された画像それぞれに対して、上記と同様のアライメント調整等を行う。また、実施の形態１で示したディスプレイ装置は、液晶ディスプレイ、有機ＥＬディスプレイ等の装置表面に画面を有するものであっても、プロジェクタのようにスクリーンに映像（画像）を投影することで画面を形成するものであってもよい。
　また、実施の形態１では、表示倍率が変更されることを契機として、複数枚の画像群から２枚の画像を再選択して、調整処理を行って３Ｄ画像を表示する例（図４）を示した。しかし、表示倍率が変更される他にも、上述した観察条件に変更があればそれを契機として再選択、調整処理等を行うこととしてもよい。
　また、実施の形態１では、被写体について複数の異なる視点から撮影する場合の各撮影位置を、図２に示すようにしたが、図１２に示す撮影位置ａ～ｅのようにしてもよい。
　図１２に示すように、原点をａの位置とすると、ａの位置は０ｃｍ、ｂの位置は０．５ｃｍ、ｃの位置は１．５ｃｍ、ｄの位置は３．５ｃｍ、ｅの位置は７．５ｃｍである。このような５つの撮影位置で撮影した５枚の画像から、３Ｄ画像を形成するための２枚を選ぶ組合せの数は、１０通りある。その１０通りの組合せでの２画像間のＳＢの値は、重複無く１０値のうちのいずれかとなる。このように、全画像数を抑えてより多くのステレオベースに対応可能とするよう撮影位置数を適切に選定することも、画像群を格納する記憶媒体の利用効率に鑑みれば有用となる。例えば、画像処理装置においては３Ｄ表示用の画像を形成する左眼用画像及び右眼用画像を特定するために２枚の画像を選択する前提として、その選択候補となる画像群を記憶部（記憶媒体）に格納しておく。この場合、その画像群のいずれか２枚の画像の組合せに係る撮影位置間の距離がその画像群における他のいずれの２枚の画像の組合せに係る撮影位置間の距離とも異なるような画像群を、記憶部に格納していれば、記憶効率がよい。
　また、実施の形態１では、ＳＢ情報は、各撮影位置を原点からの距離（相対位置）であるＳＢ値で表すこととしたが、各撮影位置を、決定した基準位置からの相対位置であるＳＢ値で表すこととしてもよい。この場合には、ＳＢ情報を記憶部１０４に記憶させれば、基準位置自体を示す情報は不要となる。即ち、式６におけるＳＢｂをゼロとして、ＳＢ情報に基づいて式６から各画像のアライメント調整量を算出することができるようになる。
　また、実施の形態１では、被写体を各撮影位置で撮影した各カメラの光軸は平行である例を用いて説明したが、必ずしも平行でなくてもよい。各カメラの光軸が平行でなく交差法でのトーイン（toe-in）撮影をした場合においては、画像の台形歪を除くための台形補正を施すことにより、光軸が平行である場合と同様に処理することができる。また、実施の形態１では、被写体を固定してカメラを移動させて撮影位置を変更する例を示したが、カメラを固定して被写体を回転や移動させて、異なる各視点から被写体を見た場合と同等の画像を得ることとしてもよい。また、複数のカメラにより撮影することとしてもよい。
　また、実施の形態１では、アライメント調整は、３Ｄ表示において特定の被写体の飛出しをディスプレイ上に合わせる（飛出し量をゼロにする）ようになされる例について説明したが、必ずしもディスプレイ上に合わせる必要がある訳ではない。特定の被写体がディスプレイから所定量だけ奥側に引っ込む位置或いは所定量だけ手前に飛び出す位置となるように調整する（アライメント調整量に一律にオフセット量を加算又は減算する）調整方法を統一的に用いることとしてもよい。
　また、実施の形態１では、画像に倍率変更処理（拡大、縮小等）を施す場合にも対応可能な例を示し、式６において拡大率の変数を含ませたが、必ずしも拡大又は縮小を行う必要はない。従って、画像の拡大及び縮小を行わないこととして、式６における拡大率を定数「１」に置き換えることとしてもよい。例えば、３Ｄ表示用の画像を形成する左眼用画像及び右眼用画像として、倍率変更処理を行わず撮影されたままの画像にアライメント調整を施して、利用してもよい。
　また、実施の形態１で説明した画像処理装置において、各機能構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、実施の形態１の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、或いは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。更に、ソフトウェア及びハードウェアの混在により実現してもよい。なお、上記実施形態に係る画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、便宜上、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
　また、実施の形態１における処理方法の実行順序は、必ずしも、実施の形態１に記載した通りの順序に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
　また、実施の形態１で示した画像処理装置１００の各機能構成要素を、分離した別個の装置内にそれぞれ設置することとしてもよい。分離した各装置内の各機能構成要素は、互いに有線又は無線で通信することにより連携して動作し、実施の形態１で示した画像処理装置１００と同様の画像処理方法が実現されるようになる。
　また、実施の形態１で説明した選択部１０２を搭載した立体表示装置、テレビ、携帯情報端末、ＰＣ、デジタルスチルカメラ、ムービー、情報記録再生装置、映像記録再生装置、映像処理装置等を実現するようにしてもよい。なお、この場合、同一被写体を複数の異なる視点から撮影することにより得られた複数枚の画像は、これらの装置に対して、外部から入力させるものであってもよい。また、実施の形態１で説明した調整部１０５を搭載した立体表示装置、テレビ、携帯情報端末、ＰＣ、デジタルスチルカメラ、ムービー、情報記録再生装置、映像記録再生装置、映像処理装置等を実現するようにしてもよい。この場合には、これらの装置に対して、３Ｄ表示用の画像を形成するための選択された２枚の画像とその撮影条件に係る情報及び基準位置情報とがこれらの装置の外部から伝達されることとしてもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
　従って、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
　本開示は、３Ｄ画像を表示する装置に適用可能である。
　１００　画像処理装置
　１０１　インターフェース
　１０２　選択部
　１０４　記憶部
　１０５　調整部
　１０６　表示部
　１１０　３Ｄ画像データ
　１１１　ＳＢ情報
　１１２　距離情報
　１１３　画角情報
　１１４　基準位置情報
　１１５　画像番号

Claims (10)

  1. 　同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理方法であって、
    　所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、
    　前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す
    　画像処理方法。
  2. 　前記画像処理方法は、
    　３Ｄ表示用の画像についての観察条件に応じて前記選択を行う第１選択ステップと、
    　前記第１選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像に、それぞれ対応する前記調整処理を施す第１調整ステップと、
    　前記観察条件が変更される際に一定条件下で当該変更後の観察条件に応じて前記選択を行う第２選択ステップと、
    　前記第２選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像に、対応する前記調整処理を施す第２調整ステップとを含む
    　請求項１記載の画像処理方法。
  3. 　前記第２調整ステップでは、前記第２選択ステップにおける前記選択を経て特定された前記第１視点画像及び前記第２視点画像のうち、当該選択の前において特定されていた前記第１視点画像及び前記第２視点画像から変更されていない画像がある場合においては、当該変更されていない画像に対しては前記調整処理を施さない
    　請求項２記載の画像処理方法。
  4. 　前記第１選択ステップ及び前記第２選択ステップにおける前記選択は、前記画像群からの２枚の画像の選択であり、
    　前記第１調整ステップにおける前記調整処理の対象となる、前記第１視点画像及び前記第２視点画像として特定された２枚の画像は、前記第１選択ステップにおける前記選択の結果としての２枚の画像それぞれに倍率変更処理を施して得られる２枚の画像であり、
    　前記第２調整ステップにおける前記調整処理の対象となる、特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像は、前記第２選択ステップにおける前記選択の結果としての２枚の画像のうちの少なくとも１枚に倍率変更処理を施して得られる少なくとも１枚の画像である
    　請求項３記載の画像処理方法。
  5. 　前記画像処理方法は、前記画像群におけるいずれか２枚の画像の撮影位置間の所定位置を、前記基準位置として決定する決定ステップを含み、
    　前記第１調整ステップ及び前記第２調整ステップにおける前記調整処理は、前記決定ステップにより決定された前記基準位置に基づいて行われる
    　請求項２記載の画像処理方法。
  6. 　前記画像処理方法は、前記第１選択ステップにおける前記選択に先行して、前記画像群、及び、当該画像群における各画像の撮影位置を示す情報を記憶媒体に記憶する記憶ステップを含み、
    　前記記憶媒体に記憶される前記画像群におけるいずれか２枚の画像の組合せに係る撮影位置間の距離は、当該画像群における他のいずれの２枚の画像の組合せに係る撮影位置間の距離とも異なる
    　請求項２記載の画像処理方法。
  7. 　前記画像処理方法は、
    　前記調整処理が施された前記第１視点画像及び前記第２視点画像を表示する表示ステップを含む
    　請求項２記載の画像処理方法。
  8. 　前記第１選択ステップ及び前記第２選択ステップにおける前記選択は、前記画像群からの２枚の画像の選択であり、
    　前記第１調整ステップにおける前記調整処理の対象となる、前記第１視点画像及び前記第２視点画像として特定された２枚の画像は、前記第１選択ステップにおける前記選択の結果としての２枚の画像であり、
    　前記第２調整ステップにおける前記調整処理の対象となる、特定された前記第１視点画像及び前記第２視点画像のうち少なくとも１枚の画像は、前記第２選択ステップにおける前記選択の結果としての２枚の画像のうちの少なくとも１枚の画像である
    　請求項２記載の画像処理方法。
  9. 　前記第１視点画像における前記被写体の位置をシフトする前記調整処理は、前記第１視点画像における前記被写体の位置を、当該第１視点画像を撮影した場合とカメラの光軸を平行にして仮に前記基準位置から当該被写体を撮影したとするときに得られる画像において現れる当該被写体の位置と、同じ位置まで移動させるべく当該第１視点画像をシフトする処理であり、
    　前記第２視点画像における前記被写体の位置をシフトする前記調整処理は、前記第２視点画像における前記被写体の位置を、当該第２視点画像を撮影した場合とカメラの光軸を平行にして仮に前記基準位置から当該被写体を撮影したとするときに得られる画像において現れる当該被写体の位置と、同じ位置まで移動させるべく当該第２視点画像をシフトする処理である
    　請求項１記載の画像処理方法。
  10. 　プロセッサ及びメモリを備え、同一の被写体を異なる３以上の視点から撮影して得られる画像群からの選択を経て特定された、３Ｄ表示用の画像を形成する第１視点画像及び第２視点画像に、画像処理を行う画像処理装置であって、
    　前記プロセッサは、前記メモリに格納された制御プログラムを実行することにより、
    　所定の基準位置及び前記第１視点画像に係る撮影位置に基づいて、前記第１視点画像における前記被写体の位置を、当該第１視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第１視点画像に対して施し、
    　前記基準位置及び前記第２視点画像に係る撮影位置に基づいて、前記第２視点画像における前記被写体の位置を、当該第２視点画像に係る撮影位置が仮に前記基準位置であったとするときに得られる画像において現れる当該被写体の位置と同じ位置にするよう画像をシフトする調整処理を当該第２視点画像に対して施す
    　画像処理装置。
PCT/JP2014/000908 2013-03-21 2014-02-21 画像処理方法及び画像処理装置 WO2014147957A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015506577A JP6016180B2 (ja) 2013-03-21 2014-02-21 画像処理方法及び画像処理装置
CN201480013667.3A CN105191300B (zh) 2013-03-21 2014-02-21 图像处理方法以及图像处理装置
US14/857,044 US9986222B2 (en) 2013-03-21 2015-09-17 Image processing method and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013057613 2013-03-21
JP2013-057613 2013-03-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/857,044 Continuation US9986222B2 (en) 2013-03-21 2015-09-17 Image processing method and image processing device

Publications (1)

Publication Number Publication Date
WO2014147957A1 true WO2014147957A1 (ja) 2014-09-25

Family

ID=51579660

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000908 WO2014147957A1 (ja) 2013-03-21 2014-02-21 画像処理方法及び画像処理装置

Country Status (4)

Country Link
US (1) US9986222B2 (ja)
JP (1) JP6016180B2 (ja)
CN (1) CN105191300B (ja)
WO (1) WO2014147957A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018088212A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
JP2020098291A (ja) * 2018-12-19 2020-06-25 カシオ計算機株式会社 表示装置、表示方法およびプログラム
CN114449250A (zh) * 2022-01-30 2022-05-06 纵深视觉科技(南京)有限责任公司 用户相对裸眼3d显示设备的观看位置的确定方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029700A (ja) * 2009-07-21 2011-02-10 Fujifilm Corp 画像再生装置及び方法
WO2012026185A1 (ja) * 2010-08-24 2012-03-01 富士フイルム株式会社 撮像装置およびその動作制御方法
JP2012235270A (ja) * 2011-04-28 2012-11-29 Sharp Corp 立体画像表示装置および立体画像表示方法
JP2012253452A (ja) * 2011-05-31 2012-12-20 Jvc Kenwood Corp ３ｄ画像撮像装置及びプログラム
JP5133472B2 (ja) * 2011-04-01 2013-01-30 パナソニック株式会社 立体映像出力装置及び立体映像出力方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269025A (ja) 1993-03-16 1994-09-22 Fujitsu Ltd 多眼式立体映像の符号化方式
JP5216640B2 (ja) 2009-03-11 2013-06-19 富士フイルム株式会社 撮像装置および方法
JP2011135246A (ja) * 2009-12-24 2011-07-07 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8502863B2 (en) 2010-03-31 2013-08-06 Fujifilm Corporation Stereoscopic imaging apparatus
JP5598425B2 (ja) * 2011-06-07 2014-10-01 コニカミノルタ株式会社 画像処理装置、そのプログラム、画像処理システム、および画像処理方法
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029700A (ja) * 2009-07-21 2011-02-10 Fujifilm Corp 画像再生装置及び方法
WO2012026185A1 (ja) * 2010-08-24 2012-03-01 富士フイルム株式会社 撮像装置およびその動作制御方法
JP5133472B2 (ja) * 2011-04-01 2013-01-30 パナソニック株式会社 立体映像出力装置及び立体映像出力方法
JP2012235270A (ja) * 2011-04-28 2012-11-29 Sharp Corp 立体画像表示装置および立体画像表示方法
JP2012253452A (ja) * 2011-05-31 2012-12-20 Jvc Kenwood Corp ３ｄ画像撮像装置及びプログラム

Also Published As

Publication number Publication date
US20160014389A1 (en) 2016-01-14
US9986222B2 (en) 2018-05-29
JPWO2014147957A1 (ja) 2017-02-16
JP6016180B2 (ja) 2016-10-26
CN105191300A (zh) 2015-12-23
CN105191300B (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
JP4657313B2 (ja) 立体画像表示装置および方法並びにプログラム
ES2676055T3 (es) Receptor de imagen eficaz para múltiples vistas
JP5133472B2 (ja) 立体映像出力装置及び立体映像出力方法
JP6002043B2 (ja) 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
JP5420075B2 (ja) 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置
WO2011086636A1 (ja) ステレオ画像用撮像装置、ステレオ画像用撮像方法、ステレオ画像表示装置、および、プログラム
JP6016180B2 (ja) 画像処理方法及び画像処理装置
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
WO2013080544A1 (ja) 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
TWI462569B (zh) 三維影像攝相機及其相關控制方法
AU2013308155B2 (en) Method for description of object points of the object space and connection for its implementation
WO2012086298A1 (ja) 撮影装置、方法及びプログラム
JP5351878B2 (ja) 立体画像表示装置および方法並びにプログラム
JP2011096263A (ja) ３次元表示装置および方法並びにプログラム
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
JP2012220603A (ja) ３ｄ映像信号撮影装置
JP2015029215A (ja) 立体画像処理装置
JP5385354B2 (ja) ３次元表示装置および方法並びにプログラム
JP2013115467A (ja) 立体撮影装置およびそれを用いた携帯端末装置
TW201317634A (zh) 攝影模組及其補償影像之方法
JP2011082649A (ja) 画像生成装置、画像生成方法、および、プログラム
Joblove Development of Tools and Workflow for “Run-and-Gun” Video Production in Stereoscopic 3D
JP2012060512A (ja) 多眼撮像装置およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480013667.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14769787

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015506577

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14769787

Country of ref document: EP

Kind code of ref document: A1