WO2013125122A1 - 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法 - Google Patents
立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法 Download PDFInfo
- Publication number
- WO2013125122A1 WO2013125122A1 PCT/JP2012/081150 JP2012081150W WO2013125122A1 WO 2013125122 A1 WO2013125122 A1 WO 2013125122A1 JP 2012081150 W JP2012081150 W JP 2012081150W WO 2013125122 A1 WO2013125122 A1 WO 2013125122A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- stereoscopic image
- enlargement
- image display
- enlarged
- display control
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Definitions
- the present invention relates to a stereoscopic image display control device, an imaging device including the same, and a stereoscopic image display control method.
- stereoscopic images 3D images
- digital cameras stereoscopic image capturing devices
- a stereoscopic image obtained by imaging with such a stereoscopic image capturing device is displayed on a display unit of the stereoscopic image capturing device or an external display device (for example, a large screen television)
- the displayed stereoscopic image is displayed. There are cases where you want to enlarge the display.
- FIG. 10 is a diagram illustrating an example of a stereoscopic image.
- a stereoscopic image 300 shown in FIG. 10 is a main image displayed at a position shifted from the main subject 200R by a parallax amount Po with respect to the right-eye image including the main subject 200R and the background 100R located behind the main subject 200R.
- the left-eye image includes a subject 200L and a background 100L displayed at a position shifted from the background 100R by a parallax amount Pb.
- FIG. 11 is an enlarged view of the stereoscopic image 300 shown in FIG.
- the parallax amount Pb and the parallax amount Po also increase according to the enlargement ratio. If the parallax amount Pb and the parallax amount Po are a certain amount, the stereoscopic image 300 can be stereoscopically viewed without placing a burden on the eyes of the observer. However, if the parallax amount Pb and the parallax amount Po are excessively large, the parallax of the main subject and the background becomes tight, and the burden on the eyes of the observer increases.
- Patent Literature 1 when it is determined whether or not the amount of parallax of a stereoscopic image is within a parallax range where stereoscopic vision is possible, and when it is determined that the amount of parallax is outside the parallax range, for example, a warning is given to the user. Or a device that adjusts the amount of parallax of a stereoscopic image.
- Patent Document 1 displays a warning when an enlargement operation is performed until the amount of parallax of a stereoscopic image becomes unsuitable for stereoscopic viewing.
- a stereoscopic image with a large amount of parallax is displayed. For this reason, a burden is placed on the eyes of the observer who sees the stereoscopic image with a large amount of parallax.
- the apparatus described in Patent Document 1 adjusts the amount of parallax when the enlargement operation is performed until the amount of parallax of the stereoscopic image becomes a size unsuitable for stereoscopic vision.
- the amount of parallax becomes too large, even if this adjustment is performed, the amount of parallax remains a large value that is not suitable for stereoscopic viewing, and in this case as well, a burden is placed on the eyes of the observer. .
- the present invention has been made in view of the above circumstances, and a stereoscopic image display control device capable of reducing a burden on an observer when enlarging a stereoscopic image, an imaging device including the same, and a stereoscopic image display control It aims to provide a method.
- a stereoscopic image display control device is a stereoscopic image display control device that causes a stereoscopic image display device to display a stereoscopic image based on a plurality of image data taken from different viewpoints, and is displayed on the stereoscopic image display device.
- An enlargement instruction receiving unit for receiving an enlargement instruction for enlarging the stereoscopic image, an enlargement display control unit for enlarging the stereoscopic image according to the enlargement instruction and displaying the enlarged image on the stereoscopic image display device, and an enlargement according to the enlargement instruction
- a parallax amount determination unit that determines whether or not the parallax amount of the magnified stereoscopic image displayed on the stereoscopic image display device when the stereoscopic image is magnified at a rate exceeds a threshold
- the magnified display control unit includes: When the enlargement instruction for enlarging the stereoscopic image at an enlargement ratio at which the parallax amount exceeds the threshold is given, an enlarged stereoscopic image to be displayed on the stereoscopic image display device after the enlargement instruction ends And the amount of parallax is to enlarge the three-dimensional image obtained by enlarging the stereoscopic image enlargement ratio when
- the enlarged stereoscopic image displayed on the stereoscopic image display device after the enlargement instruction is finished is obtained by enlarging the stereoscopic image with an enlargement ratio at which the parallax amount is equal to or less than a threshold value.
- the imaging apparatus includes the plurality of images from the stereoscopic image display control apparatus, the stereoscopic image display apparatus, an imaging unit that images a subject, and a plurality of captured image signals obtained by imaging by the imaging unit. And an image processing unit that generates data.
- the stereoscopic image display control method of the present invention is a stereoscopic image display control method for causing a stereoscopic image display device to display a stereoscopic image based on a plurality of image data photographed from different viewpoints, and displayed on the stereoscopic image display device.
- the stereoscopic image display is performed after the enlargement instruction ends.
- An enlarged three-dimensional image to be displayed on the location, the amount of parallax is to enlarge the three-dimensional image obtained by enlarging the stereoscopic image enlargement
- a stereoscopic image display control device that can reduce a burden on an observer when enlarging a stereoscopic image, an imaging device including the same, and a stereoscopic image display control method.
- the figure which shows schematic structure of the imaging device for describing one Embodiment of this invention The flowchart for demonstrating the operation
- indication of the stereo image in the digital camera 1 shown in FIG. The figure which shows the screen displayed on the stereo image display apparatus 23 at the time of the expansion instruction
- FIG. 1 is a diagram showing a schematic configuration of an electronic apparatus including a stereoscopic image display control device for explaining an embodiment of the present invention.
- electronic devices include imaging devices such as digital cameras and digital video cameras, camera-equipped mobile phones (smartphones), tablet computers, and the like.
- imaging devices such as digital cameras and digital video cameras, camera-equipped mobile phones (smartphones), tablet computers, and the like.
- camera-equipped mobile phones smarttphones
- tablet computers tablet computers, and the like.
- digital cameras will be described as examples.
- the illustrated digital camera 1 includes an imaging unit 10, a system control unit 11 mainly composed of a CPU (Central Processing Unit; computer), and a shutter button for inputting an instruction signal from a user to the system control unit 11.
- a system control unit 11 mainly composed of a CPU (Central Processing Unit; computer), and a shutter button for inputting an instruction signal from a user to the system control unit 11.
- a memory control unit 15 a main memory 16
- a digital signal processing unit 17 a compression / decompression processing unit 18
- an external memory control unit 20 to which a removable recording medium 21 is connected
- a display driver 22, a stereoscopic image display device 23, and a touch panel 19 are provided.
- the imaging unit 10 can obtain a plurality (here, two) of captured image signals captured from different viewpoints.
- the imaging unit 10 includes two imaging elements that are spaced apart from each other, and an imaging optical system that is provided in the preceding stage of each of the two imaging elements, and different viewpoints from the two imaging elements by one imaging. Two picked-up image signals photographed in (1) are obtained.
- the imaging unit 10 includes one imaging element and one imaging optical system provided in the preceding stage, and two images taken from different viewpoints from the one imaging element by performing a plurality of times of imaging while moving these. A captured image signal may be obtained.
- the configuration of the imaging unit 10 is not limited to these.
- the imaging unit 10 operates according to an instruction from the system control unit 11.
- the main memory 16 includes a RAM used as a work memory and a ROM that stores various data, and data is read, written, and erased under the control of the memory control unit 15.
- the digital signal processing unit 17 performs an interpolation operation, a gamma correction operation, an RGB / YC conversion process, and the like on the captured image signal output from the imaging unit 10 to generate captured image data.
- Two captured image data obtained by photographing from different viewpoints generated by the digital signal processing unit 17 are associated with each other and generated as stereoscopic image data.
- This stereoscopic image data is, for example, data in the MPO format, which is a standard of the Camera and Imaging Products Association (CIPA).
- the compression / decompression processing unit 18 compresses the stereoscopic image data generated by the digital signal processing unit 17 into the JPEG format or decompresses the compressed image data.
- the stereoscopic image display device 23 displays a stereoscopic image based on stereoscopic image data (two captured image data taken from different viewpoints).
- the stereoscopic image display device 23 is configured by a liquid crystal display device or the like corresponding to a time division parallax image method, a lenticular method, a parallax barrier method, or the like.
- the stereoscopic image display device 23 is driven by the display driver 22.
- the touch panel 19 is pasted on the display surface of the stereoscopic image display device 23.
- the touch panel 19 is compatible with multi-touch, and coordinate information of each contact point of two objects (for example, two fingers of the user) on the screen of the stereoscopic image display device 23, from the contact points of the two objects.
- the memory control unit 15, the digital signal processing unit 17, the compression / decompression processing unit 18, the touch panel 19, the external memory control unit 20, and the display driver 22 are connected to each other by a control bus 24 and a data bus 25. It is controlled by the command.
- stereoscopic image data is generated by the digital signal processing unit 17, and this stereoscopic image data is recorded on the recording medium 21.
- the display driver 22 causes the stereoscopic image display device 23 to display a stereoscopic image based on the stereoscopic image data in accordance with an instruction from the system control unit 11.
- the stereoscopic image displayed on the stereoscopic image display device 23 can be enlarged by operating the touch panel 19.
- the operation of the digital camera 1 when a stereoscopic image is enlarged and displayed will be described.
- FIG. 2 is a flowchart for explaining the operation at the time of a stereoscopic image enlargement operation in the digital camera 1 shown in FIG.
- FIG. 3 is a diagram showing an example of a screen displayed on the stereoscopic image display device 23 during the operation based on the flowchart shown in FIG.
- the system control unit 11 When the digital camera 1 is set to the playback mode and the user issues a playback instruction for the stereoscopic image data recorded on the recording medium 21, the system control unit 11 reads the stereoscopic image data from the recording medium 21 and reads the main memory. 16 (step S1). Then, the system control unit 11 displays a stereoscopic image based on the developed stereoscopic image data on the stereoscopic image display device 23 via the display driver 22 (step S2).
- the screen display of the stereoscopic image display device 23 at this time is, for example, as shown in FIG. 3A in FIG.
- a stereoscopic image including the subject H is displayed on the stereoscopic image display device 23.
- FIG. 3 shows a screen example when two images taken from different viewpoints constituting a stereoscopic image are displayed on the stereoscopic image display device 23 at the same time. Further, FIG. 3 shows a state when an image displayed on the stereoscopic image display device 23 is viewed through the touch panel 19.
- the user places the index finger Y1 and the thumb Y2 at arbitrary positions on the touch panel 19. Then, coordinate information on the screen indicating the contact positions of the index finger Y1 and the thumb Y2 is transmitted from the touch panel 19 to the system control unit 11.
- step S ⁇ b> 2 the system control unit 11 expands the center point of the stereoscopic image being displayed on the stereoscopic image display device 23 based on the information from the touch panel 19 (where the stereoscopic image is enlarged when enlarged). It is determined whether or not a point indicating whether or not to be designated (step S3). Specifically, when the coordinate information of two fingers is received from the touch panel 19, the system control unit 11 determines that the enlargement center point has been designated, and the coordinate information of the two fingers is not received from the touch panel 19. Determines that the enlargement center point is not designated.
- step S4 the system control unit 11 sets an enlargement center point for the stereoscopic image based on the coordinate information received from the touch panel 19 (step S4). For example, the system control unit 11 sets an intermediate point between the coordinates of two objects included in the coordinate information as an enlargement center point.
- step S4 the system control unit 11 determines whether an enlargement instruction has been given to the stereoscopic image being displayed on the stereoscopic image display device 23 based on information from the touch panel 19 (step S5). Specifically, the system control unit 11 determines that an enlargement instruction has been made when receiving the object movement information and the coordinate information of the movement destination, and receives the object movement information and the coordinate information of the movement destination. If not, it is determined that no enlargement instruction has been given.
- step S5 When the determination result in step S5 is YES, the system control unit 11 accepts an enlargement instruction from the user and receives the coordinate information of the initial position of the two fingers received after step S2 and the two fingers received after step S4. The movement amount of the two fingers is calculated from the coordinate information of the movement destination, and information on the enlargement ratio of the stereoscopic image corresponding to the movement amount is acquired (step S6). Information on the enlargement ratio corresponding to the amount of movement is stored in advance in a ROM in the main memory 16, and the system control unit 11 acquires information on the enlargement ratio corresponding to the amount of movement of the finger from this ROM. When the determination result of step S5 is NO, the system control unit 11 returns the process to step S3.
- the system control unit 11 performs the parallax of the enlarged stereoscopic image displayed on the stereoscopic image display device 23 when the stereoscopic image is enlarged at the enlargement rate acquired in step S6 around the enlargement center point set in step S4. Find the amount.
- the parallax amount of the enlarged stereoscopic image indicates a pixel shift amount between the common subjects included in each of the two images constituting the enlarged stereoscopic image (symbols Po and Pb illustrated in FIG. 11). However, since the enlarged stereoscopic image may include a plurality of subjects, in this embodiment, the representative value of the parallax amount is obtained as the parallax amount of the enlarged stereoscopic image.
- the amount of parallax of the main subject included in the enlarged stereoscopic image (for example, the largest subject among the subjects extracted from the enlarged stereoscopic image, the subject at the center of the enlarged stereoscopic image, etc.)
- the value with the largest amount of parallax is set as the amount of parallax in the enlarged stereoscopic image.
- a histogram of the parallax amount of each subject included in the enlarged stereoscopic image is created, and the parallax amount having the largest number in the histogram (peak value of the histogram) is set as the parallax amount in the enlarged stereoscopic image. 4).
- the average value of the parallax amount of each subject included in the enlarged stereoscopic image is set as the parallax amount in the enlarged stereoscopic image.
- the sign (positive / negative) of the amount of parallax is treated as opposite on the protruding side and the retracting side, the above 2.
- the largest value of the parallax amount is, for example, the absolute value of the absolute value of the parallax amount in the subject on either the projecting side or the retracting side, or the absolute value of the parallax amount in the subject including both The maximum value or the like may be used.
- the average value in this calculation method may be, for example, the average value of the parallax amount in one of the projecting side and the retracting side, or the average value of the parallax amounts in both subjects.
- the system control unit 11 determines whether or not the obtained parallax amount (absolute value ignoring the sign) exceeds a threshold (step S7).
- This threshold value is the upper limit of the amount of parallax that can provide a stereoscopic effect that does not impose a burden on the eyes of the user who observes the enlarged stereoscopic image. This threshold value is recorded in advance in the ROM in the main memory 16.
- step S7 When the determination in step S7 is NO, that is, when the parallax amount of the enlarged stereoscopic image does not exceed the threshold, the system control unit 11 enlarges the stereoscopic image with the enlargement rate acquired in step S6. It is displayed on the display device 23 (step S8). FIG. 3B of FIG. 3 shows the state at this time.
- this control is a control for translating the enlarged stereoscopic image in a direction parallel to the display screen while temporally changing the movement amount and the moving direction in the vicinity of the area where the enlarged stereoscopic image is displayed.
- the enlarged stereoscopic image displayed on the stereoscopic image display device 23 is vibrated and displayed vertically or horizontally or both within the screen as shown in FIG. 3C of FIG.
- step S10 instead of vibrating the enlarged stereoscopic image in the screen, a stereoscopic image obtained by reducing the enlarged stereoscopic image and a stereoscopic image obtained by enlarging the enlarged stereoscopic image may be alternately displayed.
- step S10 since the parallax amount of the enlarged stereoscopic image displayed on the stereoscopic image display device 23 exceeds the threshold value, the enlarged display process corresponding to the enlargement instruction is performed in consideration of the burden on the user's eyes.
- the purpose is to make the user recognize that there is nothing.
- the process performed by the digital camera 1 is recognized by the user by the display change of the enlarged stereoscopic image itself.
- the digital camera 1 displays character information such as “the enlarged display process is stopped because the parallax is too strong” on the stereoscopic image display device 23 together with the enlarged stereoscopic image. It is also possible to make the user recognize the process.
- the said threshold value is changed with a user preference or a user's age.
- a plurality of types of threshold values are stored in the main memory 16 of the digital camera 1. Then, the system control unit 11 may select and use one of the plurality of types of thresholds according to the user of the digital camera 1.
- the main memory 16 stores a plurality of types of threshold values according to the user's age range (for example, three age ranges of infants under elementary school, elementary and junior high school students, and high school students and above). Further, information related to the user (for example, age information) can be input through the operation unit 14 or the touch panel 19 of the digital camera 1. And the system control part 11 acquires the information regarding the input user, The threshold value of the kind corresponding to the age range into which the age enters from the information on the age of the user included in the information regarding the user is determined in step S7. Set as the threshold to be used.
- the user may select a threshold value according to his / her preference from a plurality of threshold values stored in advance so that the user information can be registered in association with the user information.
- the user selects his / her information from the pre-registered user information before reproducing the stereoscopic image.
- the system control unit 11 acquires this user information, and sets a threshold value corresponding to the user information as a threshold value used in the determination in step S7.
- step S11 the system control unit 11 determines whether or not the enlargement instruction has been completed.
- the system control unit 11 receives from the touch panel 19 information indicating that contact between at least one of the two objects is lost, the system control unit 11 determines that the enlargement instruction has ended.
- step S11: NO If the enlargement instruction has not ended (step S11: NO), the process of step S5 is performed.
- step S11: YES the system control unit 11 determines whether or not the process of step S10 is performed (step S12).
- FIG. 3D of FIG. 3 shows the state at this time.
- An image is displayed on the stereoscopic image display device 23.
- the system control unit 11 returns the process to step S3 after step S13.
- the enlargement ratio at which the parallax amount becomes a threshold value is 2.
- the stereoscopic image is enlarged and displayed according to the movement of the finger of the book.
- the display image is not enlarged even if an instruction for further enlargement is issued. For this reason, it is possible to prevent the user from observing an enlarged stereoscopic image having a strong stereoscopic effect, and to reduce the burden on the user's eyes.
- steps S9 and S13 an enlarged stereoscopic image obtained by enlarging the stereoscopic image at an enlargement ratio that satisfies the parallax amount ⁇ threshold value may be displayed.
- the enlargement ratio of the enlarged stereoscopic image to be displayed in steps S9 and S13 is too small, the display image changes rapidly in the vicinity of the boundary where the parallax amount exceeds the threshold value. For this reason, it is preferable that the enlargement ratio is set to a value that does not allow the user to recognize a sudden change in the display image.
- step S10 when the enlarged stereoscopic image is displayed in a vibration manner, it is preferable that the vibration direction of the enlarged stereoscopic image substantially coincides with the direction in which the user spreads the finger.
- the system control unit 11 uses the information on the initial positions of the two objects (finger) received from the touch panel 19 and the information on the position of the movement destination with respect to the initial positions of the two objects. Determine the direction of movement.
- the system control unit 11 performs control to vibrate the enlarged stereoscopic image in the determined moving direction.
- the enlarged stereoscopic image vibrates in the direction in which the user spreads the finger, and the direction in which the user spreads the finger does not match the vibration direction of the enlarged stereoscopic image (for example, orthogonal).
- the vibration direction of the enlarged stereoscopic image for example, orthogonal
- the system control unit 11 responds to the enlargement instruction while the enlargement instruction is given even if the enlargement instruction to enlarge the stereoscopic image exceeds the enlargement ratio at which the parallax amount is a threshold.
- An enlarged stereoscopic image obtained by enlarging the stereoscopic image with the enlargement ratio is displayed on the stereoscopic image display device 23.
- the system control unit 11 causes the stereoscopic image display device 23 to display an enlarged stereoscopic image obtained by enlarging the stereoscopic image at an enlargement ratio when the parallax amount is equal to or less than the threshold value.
- FIG. 4 is a flowchart for explaining a modification of the operation of the digital camera 1 shown in FIG.
- FIG. 5 is a diagram illustrating an example of a screen displayed on the stereoscopic image display device 23 during the operation based on the flowchart of the modified example illustrated in FIG. 4.
- the flowchart shown in FIG. 4 is obtained by replacing the processes after step S6 in the flowchart shown in FIG. 2 with steps S21 to S25. For this reason, the same processes as those shown in FIG.
- step S ⁇ b> 6 enlargement rate information is acquired by the system control unit 11. Thereafter, the system control unit 11 causes the stereoscopic image display device 23 to display an enlarged stereoscopic image obtained by enlarging the stereoscopic image with the acquired enlargement ratio (step S21).
- step S22 the system control unit 11 determines whether or not the enlargement instruction has been completed in the same manner as in step S11 of FIG. 2 (step S22). If the enlargement instruction has not ended, the system control unit 11 returns the process to step S5, and if the enlargement instruction has ended, performs the process of step S23.
- step S23 the system control unit 11 obtains the parallax amount of the enlarged stereoscopic image being displayed on the stereoscopic image display device 23. Then, the system control unit 11 determines whether or not the parallax amount obtained in step S23 exceeds a threshold value (step S24).
- step S25 the system control unit 11 returns the process to step S3.
- the amount of parallax may exceed the threshold enlargement ratio.
- FIG. 5B to FIG. 5C in FIG. 5 the stereoscopic image continues to be enlarged.
- step S25 of FIG. 4 the parallax amount becomes the threshold value from the enlarged stereoscopic image obtained by enlarging the enlarged stereoscopic image to be displayed on the stereoscopic image display device 23 at an enlargement ratio (A times) that the parallax amount exceeds the threshold value.
- the system control unit 11 When switching to an enlarged stereoscopic image enlarged at an enlargement ratio (B), the system control unit 11 gradually decreases the enlargement ratio from A times to B times (for example, the enlargement ratio at a predetermined change rate). It is also possible to cause the stereoscopic image display device 23 to display an enlarged stereoscopic image at each enlargement ratio in the process of reducing the enlargement ratio. By doing in this way, an image is not switched suddenly from the state of FIG. 5D of FIG. 5 to the state of FIG. 5E, but the image can be switched smoothly, and the burden on the user's eyes can be reduced.
- step S25 of FIG. 4 after displaying the enlarged stereoscopic image enlarged with the enlargement factor at which the parallax amount is a threshold value, or simultaneously with this, “the designated enlargement factor causes the parallax to be too strong, so the enlargement factor is lowered.
- Information for notifying the processing contents of the digital camera 1 such as “displaying the processed image” may be displayed on the stereoscopic image display device 23.
- an image obtained by enlarging the stereoscopic image with an enlargement ratio at which the parallax amount is smaller than the threshold value may be displayed.
- the system control unit 11 of the digital camera 1 indicates that the amount of parallax of the stereoscopic image displayed on the stereoscopic image display device 23 is less than or equal to the threshold when the enlargement center point is designated in step S3 of FIGS.
- a frame image indicating the movement range may be displayed on the stereoscopic image display device 23.
- the system control unit 11 calculates an allowable enlargement rate that is an enlargement rate at which the parallax amount becomes a threshold from the parallax amount of the stereoscopic image being displayed. Further, the system control unit 11 associates the information on the contact position of the two fingers, the movement distance of each of the two fingers in contact with the touch panel 19 and the magnification of the stereoscopic image (main memory). 16), the position after the movement of the two fingers whose magnification is the allowable magnification is obtained, and a frame image 60 connecting the coordinates indicating the position after the movement of the two fingers is generated. To do. Then, the system control unit 11 displays the frame image 60 on the stereoscopic image display device 23 as shown in FIG.
- this frame image 60 if the point where the finger is moved is within this frame, the parallax amount of the stereoscopic image displayed on the stereoscopic image display device 23 is below the threshold, and the point where the finger is moved goes out of the frame. And the information indicating that the parallax amount of the stereoscopic image displayed in an enlarged manner on the stereoscopic image display device 23 exceeds the threshold value. Since the movement amount of the finger corresponds to the enlargement ratio, this frame image 60 can be said to be information indicating an allowable enlargement ratio at which the parallax amount falls below the threshold value.
- the system control unit 11 displays, on the stereoscopic image display device 23, a frame image 60 indicating a finger movement range in which the parallax amount of the enlarged stereoscopic image is equal to or less than a threshold value when the enlargement center point of the stereoscopic image is designated. Let By doing in this way, the user can know how much enlargement operation can obtain a good stereoscopic effect, and can improve usability.
- the system control unit 11 In addition to the frame image 60, the system control unit 11 also displays a frame image 70 indicating the finger movement position at which the parallax amount of the stereoscopic image enlarged and displayed on the stereoscopic image display device 23 has a value most suitable for stereoscopic vision. May be displayed as shown in FIG.
- the parallax amount most suitable for stereoscopic viewing may be a known value that has been determined empirically, or may be an average value of the parallax amount of a stereoscopic image displayed on the stereoscopic image display device 23 and a threshold value. For example, see http: // www. 3dc. gr. jp / jp / scmt_wg_rep / 3dc_guideJ — 20100420. The amount of parallax as described in pdf can be employed.
- the system control unit 11 calculates an optimal enlargement ratio, which is an enlargement ratio at which the parallax amount is an optimum value, from the parallax amount of the stereoscopic image being displayed on the stereoscopic image display device 23. Further, the system control unit 11 obtains the position after the movement of the two fingers at which the enlargement ratio becomes the optimum enlargement ratio from the information on the contact position of the two fingers and the data in the table, and the two fingers. A frame image 70 that connects the coordinates indicating the position after the movement is generated. Then, the system control unit 11 displays the frame image 70 on the stereoscopic image display device 23 as shown in FIG.
- the frame image 70 is information indicating that the amount of parallax of the stereoscopic image enlarged and displayed on the stereoscopic image display device 23 is an optimum value if the tip of the finger is on the frame. Since the movement amount of the finger corresponds to the enlargement ratio, the frame image 70 can be said to be information indicating the optimum enlargement ratio at which the parallax amount is the optimum value. As described above, the system control unit 11 displays the frame image 70 indicating the moving position of the finger at which the parallax amount of the enlarged stereoscopic image becomes the optimum value when the enlargement center point of the stereoscopic image is designated. By displaying the information on the device 23, the user can know how much the image can be magnified to obtain the optimum stereoscopic effect, and the usability can be improved.
- FIG. 7 shows an example in which both the frame image 60 and the frame image 70 are displayed, only the frame image 70 may be displayed.
- the display range of the stereoscopic image displayed on the stereoscopic image display device 23 becomes narrow according to the enlargement instruction. For this reason, in the case of a stereoscopic image including a subject with a large amount of parallax in the peripheral portion and a small amount of parallax in the central portion, when the stereoscopic image is enlarged, the enlarged stereoscopic image displayed on the stereoscopic image display device 23 after the enlargement is displayed. After the amount of parallax of the image increases, if a certain enlargement ratio is exceeded, the range displayed on the stereoscopic image display device 23 is only the center portion of the subject, and the amount of parallax suddenly falls below the threshold value. It is done.
- the system control unit 11 instead of displaying the enlarged stereoscopic image as shown in FIG. 5E, the system control unit 11 has an enlargement ratio that is larger than the enlargement ratio at which the parallax amount is a threshold value, and the parallax amount is equal to or less than the threshold value, The enlarged stereoscopic image obtained by enlarging the stereoscopic image is displayed on the stereoscopic image display device 23.
- a stereoscopic image enlargement instruction may be performed using a cross key, a dial key, various buttons, or the like included in the operation unit 14.
- the allowable enlargement ratio may be displayed as character information instead of the frame image 60 shown in FIG.
- what is necessary is just to display an optimal expansion ratio as character information instead of the frame image 70 shown in FIG.
- a digital camera is used as an example.
- an electronic apparatus for example, 3D display
- a stereoscopic image display control device that performs control to display a stereoscopic image based on stereoscopic image data on a stereoscopic image display device. If it is a compatible television, smart phone, tabred computer, etc., the technology described in this embodiment can be applied.
- a CPU computer mounted on the electronic device performs steps of the flowcharts shown in FIGS. 2 and 4 to reduce the burden on the user who observes the stereoscopic image display device. be able to.
- the digital camera 1 shown in FIG. 1 is a stereoscopic image display device 23 in which a display destination such as a stereoscopic image is mounted.
- the display destination is, for example, an external stereoscopic image display connected to the digital camera 1. It can also be an apparatus (for example, a 3D display compatible television or the like).
- the threshold value described above may be changed according to the screen size of the display device that displays the stereoscopic image or the distance (viewing distance) between the display device and the user.
- the system control unit 11 performs control such as decreasing the threshold value as the screen size is larger, or decreasing the threshold value as the viewing distance is shorter.
- the screen size information may be acquired from the display device by the system control unit 11 or may be input from the user.
- an optimum value determined in advance for each display device may be used, or distance measuring means for obtaining a distance from the user may be provided on the display device side.
- FIG. 8 shows an appearance of a smartphone 200 that is an embodiment of the photographing apparatus of the present invention.
- a smartphone 200 shown in FIG. 8 includes a flat housing 201, and a display input in which a display panel 202 as a display unit and an operation panel 203 as an input unit are integrated on one surface of the housing 201. Part 204 is provided.
- Such a housing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
- the configuration of the housing 201 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent can be employed, or a configuration having a folding structure and a slide mechanism can be employed.
- FIG. 9 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
- the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
- a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
- the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
- the display input unit 204 displays images (still images and moving images), character information, and the like, visually transmits information to the user under the control of the main control unit 220, and detects user operations on the displayed information.
- a so-called touch panel which includes a display panel 202 and an operation panel 203.
- the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
- LCD Liquid Crystal Display
- OELD Organic Electro-Luminescence Display
- the operation panel 203 is a device that is placed so that an image displayed on the display surface of the display panel 202 is visible and detects one or more coordinates operated by a user's finger or stylus.
- a detection signal generated due to the operation is output to the main control unit 220.
- the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
- the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 204.
- the arrangement 203 covers the display panel 202 completely.
- the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
- the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
- the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
- the position detection method employed in the operation panel 203 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
- the call unit 211 includes a speaker 205 and a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220. 210 or the audio data received by the external input / output unit 213 is decoded and output from the speaker 205. Further, as shown in FIG. 8, for example, the speaker 205 can be mounted on the same surface as the display input unit 204 and the microphone 206 can be mounted on the side surface of the housing 201.
- the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
- the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and turns on when pressed with a finger or the like, and turns off when a finger is released with a restoring force such as a spring. It is a push button type switch.
- the storage unit 212 includes a control program and control data of the main control unit 220, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
- the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
- Each of the internal storage unit 217 and the external storage unit 218 constituting the storage unit 212 includes a flash memory type (hard memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
- a flash memory type hard memory type
- hard disk type hard disk type
- multimedia card micro type multimedia card micro type
- a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
- the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
- external devices for example, universal serial bus (USB), IEEE 1394, etc.
- a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark, etc.) for direct or indirect connection.
- an external device connected to the smartphone 200 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber).
- Identity Module Card / UIM (User Identity Module Card) card external audio / video equipment connected via audio / video I / O (Input / Output) terminal, external audio / video equipment connected wirelessly, yes / no
- the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200, or allows the data inside the smartphone 200 to be transmitted to the external device. Can do.
- the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 200 Detect the position consisting of longitude and altitude.
- the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
- the motion sensor unit 215 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction and acceleration of the smartphone 200 are detected. The detection result is output to the main control unit 220.
- the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
- the main control unit 220 includes a microprocessor, operates according to a control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
- the main control unit 220 includes a mobile communication control function that controls each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
- the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
- Examples of the application processing function include an infrared communication function for controlling the external input / output unit 213 to perform data communication with the opposite device, an e-mail function for transmitting / receiving e-mails, and a web browsing function for browsing web pages. .
- the main control unit 220 has an image processing function such as displaying video on the display input unit 204 based on image data (still image or moving image data) such as received data or downloaded streaming data.
- the image processing function is a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
- the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
- the main control unit 220 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
- a software key such as a scroll bar, or a window for creating an e-mail.
- the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
- the main control unit 220 detects a user operation through the operation unit 207 or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 203. Or a display image scroll request through a scroll bar.
- the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap with the display panel 202 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 202.
- a touch panel control function for controlling the sensitive area of the operation panel 203 and the display position of the software key.
- the main control unit 220 can also detect a gesture operation on the operation panel 203 and execute a preset function in accordance with the detected gesture operation.
- Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
- the camera unit 208 has the same function as the imaging unit 10.
- the camera unit 208 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
- the camera unit 208 controls the main control unit 220 to convert image data obtained by imaging into, for example, JPEG (Joint Photographic).
- the image data can be converted into compressed image data such as “coding Experts Group” and recorded in the storage unit 212 or output through the external input / output unit 213 or the wireless communication unit 210.
- the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this, and the camera unit 208 may be mounted on the back surface of the display input unit 204. Good.
- the camera unit 208 can be used for various functions of the smartphone 200.
- an image acquired by the camera unit 208 can be displayed on the display panel 202, or the image of the camera unit 208 can be used as one of operation inputs of the operation panel 203.
- the GPS receiving unit 214 detects a position
- the position can be detected with reference to an image from the camera unit 208.
- the optical axis direction of the camera unit 208 of the smartphone 200 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
- the image from the camera unit 208 can also be used in the application software.
- the position information acquired by the GPS receiver 214 to the image data of the still image or the moving image, the voice information acquired by the microphone 206 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 215 can be added and recorded in the storage unit 212, or can be output through the input / output unit 213 and the wireless communication unit 210.
- the main control unit 220 enlarges the stereoscopic image by performing the same processing illustrated in FIGS. 2 and 4 as the system control unit 11 of the digital camera 1 illustrated in FIG. 1. The burden on the observer at the time can be reduced.
- the disclosed stereoscopic image display control device is a stereoscopic image display control device that causes a stereoscopic image display device to display a stereoscopic image based on a plurality of image data taken from different viewpoints, and is displayed on the stereoscopic image display device.
- An enlargement instruction receiving unit for receiving an enlargement instruction for enlarging the stereoscopic image, an enlargement display control unit for enlarging the stereoscopic image according to the enlargement instruction and displaying the enlarged image on the stereoscopic image display device, and an enlargement according to the enlargement instruction
- a parallax amount determination unit that determines whether or not the parallax amount of the magnified stereoscopic image displayed on the stereoscopic image display device when the stereoscopic image is magnified at a rate exceeds a threshold
- the magnified display control unit includes: When the enlargement instruction for enlarging the stereoscopic image at an enlargement ratio at which the parallax amount exceeds the threshold value is given, an enlarged stereoscopic that is displayed on the stereoscopic image display device after the enlargement instruction ends An image, the parallax amount is intended to enlarge the three-dimensional image obtained by enlarging the stereoscopic image enlargement
- the enlargement display control unit is configured to display the enlargement instruction period during which the enlargement instruction period for enlarging the stereoscopic image exceeds the enlargement ratio at which the parallax amount is the threshold value.
- the enlargement process according to the above is stopped, and the stereoscopic image obtained by magnifying the stereoscopic image at an enlargement rate at which the parallax amount is the threshold value is enlarged and the stereoscopic image is enlarged and displayed at an enlargement factor at which the parallax amount is not more than the threshold value It is displayed on the stereoscopic image display device in a display form different from the display form at that time.
- the enlarged display control unit displays an enlarged stereoscopic image obtained by enlarging the stereoscopic image at an enlargement ratio at which the parallax amount becomes the threshold during the enlargement instruction period.
- the screen is vibrated and displayed, or enlarged and reduced alternately.
- the stereoscopic image display device has a touch panel provided on a screen, and the enlargement instruction receiving unit is configured to detect that two objects are in contact with the touch panel, and the two objects. Is acquired from the touch panel, and information indicating the movement destinations of the two objects is received from the touch panel, and the enlargement instruction is received based on the information. Is a method for displaying an enlarged stereoscopic image obtained by enlarging the stereoscopic image at an enlargement rate at which the parallax amount is the threshold during the enlargement instruction period by vibrating the screen of the stereoscopic image display device. The movement direction of the two objects from the point of contact is acquired from the information, and the vibration direction in the screen of the enlarged stereoscopic image is substantially matched with the movement direction. Than is.
- the enlargement display control unit is configured to issue an enlargement instruction when the enlargement instruction to enlarge the stereoscopic image exceeds the enlargement ratio at which the parallax amount is the threshold value. While the image is displayed, an enlarged stereoscopic image obtained by enlarging the stereoscopic image at an enlargement rate according to the enlargement instruction is displayed on the stereoscopic image display device, and when the enlargement instruction ends, the parallax amount becomes equal to or less than the threshold value. The stereoscopic image obtained by enlarging the stereoscopic image with the magnification rate is displayed on the stereoscopic image display device.
- the enlarged display control unit gradually reduces and displays the enlarged stereoscopic image displayed on the stereoscopic image display device when the enlargement instruction ends, and finally A stereoscopic image obtained by enlarging the stereoscopic image at an enlargement ratio at which the parallax amount is equal to or less than the threshold value is displayed on the stereoscopic image display device.
- the disclosed stereoscopic image display control device includes an observer information acquisition unit that acquires information about an observer of the stereoscopic image display device, and the threshold value according to the information of the observer acquired by the observer information acquisition unit. And a threshold value setting unit for setting.
- the disclosed stereoscopic image display control device includes a first information display control unit that causes the stereoscopic image display device to display information indicating an allowable enlargement ratio at which the parallax amount falls below the threshold value.
- the disclosed stereoscopic image display control device includes a second information display control unit that causes the stereoscopic image display device to display information indicating an optimal magnification rate at which the parallax amount is an optimal value for stereoscopic vision.
- the parallax amount of the magnified stereoscopic image includes a parallax amount of a main subject included in the magnified stereoscopic image, a maximum value among parallax amounts of a subject included in the magnified stereoscopic image, It includes one that is one of the peak value of the histogram of the parallax amount of the subject included in the enlarged stereoscopic image and the average value of the parallax amount of the subject included in the enlarged stereoscopic image.
- the disclosed imaging device includes the stereoscopic image display control device, the stereoscopic image display device, an imaging unit that captures an image of a subject, and a plurality of captured image signals obtained by imaging by the imaging unit. And an image processing unit for generating data.
- the disclosed stereoscopic image display control method is a stereoscopic image display control method for causing a stereoscopic image display device to display a stereoscopic image based on a plurality of image data photographed from different viewpoints, and is displayed on the stereoscopic image display device.
- the stereoscopic image table is displayed after the enlargement instruction ends.
- An enlarged three-dimensional image to be displayed device, the amount of parallax is to enlarge the three-dimensional image obtained by enlarging the stereoscopic image enlargement ratio when
- the present invention is effective when applied to, for example, a digital camera or a television.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
Abstract
システム制御部11は、指示に応じて立体画像を拡大して表示装置23に表示させる第一ステップと、当該指示に応じた拡大率で立体画像を拡大する場合に表示装置23に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する第二ステップとを備え、第一ステップでは、視差量が閾値を超える拡大率で立体画像を拡大する指示がなされた場合に、当該指示の終了後に表示装置23に表示させる拡大立体画像を、視差量が閾値以下となるときの拡大率で立体画像を拡大した拡大立体画像とする。
Description
本発明は、立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法に関する。
立体画像(3D画像)を表示できるテレビジョン受像機が普及し、被写体の立体画像を撮影できるデジタルカメラ(立体画像撮像装置)も普及の兆しを見せている。このような立体画像撮像装置により撮像して得られる立体画像を、その立体画像撮像装置の表示部や外部の表示装置(例えば大画面のテレビ)等に表示させる際、その表示された立体画像を拡大して表示させたい場合がある。
図10は、立体画像の一例を示す図である。図10に示す立体画像300は、主要被写体200Rと、主要被写体200Rよりも奥にある背景100Rとを含む右眼用画像と、主要被写体200Rに対して視差量Poずれた位置に表示される主要被写体200Lと、背景100Rに対して視差量Pbずれた位置に表示される背景100Lとを含む左眼用画像とによって構成されている。
図11は、図10に示した立体画像300を拡大した図である。図11に示すように、立体画像300を拡大すると、視差量Pbと視差量Poも拡大率に応じて大きくなる。この視差量Pbと視差量Poが、ある程度の大きさであれば、観察者の眼等に負担をかけることなく立体画像300を立体視させることができる。しかし、この視差量Pbと視差量Poが大きくなりすぎると、主要被写体や背景の視差がきつくなってしまい、観察者の眼等にかかる負担が大きくなってしまう。
特許文献1には、立体画像の視差量が立体視可能な視差範囲内にあるか否かを判定し、視差量が当該視差範囲外であると判定した場合に、例えば、ユーザに警告を行ったり、立体画像の視差量を調整したりする装置が記載されている。
しかし、特許文献1に記載の装置は、立体画像の視差量が立体視に適さない大きさになるまで拡大操作を行ったときに警告を表示するものであり、この警告が表示されたときには既に視差量の大きい立体画像が表示されてしまう。そのため、視差量の大きい立体画像を見た観察者の眼に負担がかかる。
また、特許文献1に記載の装置は、立体画像の視差量が立体視に適さない大きさになるまで拡大操作を行ったときに視差量の調整を行っている。しかし、視差量が大きくなりすぎた場合には、この調整が行われても、視差量は立体視に適さない大きい値のままであり、この場合も観察者の眼に負担がかかることになる。
本発明は、上記事情に鑑みてなされたものであり、立体画像を拡大する際の観察者への負担を軽減することのできる立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法を提供することを目的とする。
本発明の立体画像表示制御装置は、異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御装置であって、上記立体画像表示装置に表示された上記立体画像を拡大する拡大指示を受け付ける拡大指示受付部と、上記拡大指示に応じて上記立体画像を拡大して上記立体画像表示装置に表示させる拡大表示制御部と、上記拡大指示に応じた拡大率で上記立体画像を拡大したときに上記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定部とを備え、上記拡大表示制御部は、上記視差量が上記閾値を超える拡大率で上記立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示の終了後に上記立体画像表示装置に表示させる拡大立体画像を、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した拡大立体画像とするものである。
この構成によれば、拡大指示の終了後は、視差量が閾値以下となる拡大立体画像が立体画像表示装置に表示されることになるため、立体画像を拡大する際の観察者への負担を軽減することができる。本発明の立体画像表示制御装置は、拡大指示の終了後に立体画像表示装置に表示される拡大立体画像は、視差量が閾値以下となる拡大率で立体画像を拡大して得られるものである。つまり、拡大指示終了後に立体画像表示装置に表示される拡大立体画像は視差量自体が調整されたものではないため、この拡大立体画像と、拡大前の立体画像との相関度は高い。一方、特許文献1に記載の装置では、視差量を調整した拡大立体画像が表示されてしまうため、拡大指示終了後に表示される拡大立体画像と、拡大前の立体画像との相関度は低下する。したがって、本発明によれば、拡大指示によって立体画像表示装置に表示される拡大立体画像の品質を低下させることなく、立体画像を拡大する際の観察者への負担を軽減することができる。
本発明の撮像装置は、上記立体画像表示制御装置と、上記立体画像表示装置と、被写体を撮像する撮像部と、上記撮像部により撮像して得られる複数の撮像画像信号から、上記複数の画像データを生成する画像処理部とを備えるものである。
本発明の立体画像表示制御方法は、異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御方法であって、上記立体画像表示装置に表示された上記立体画像を拡大する拡大指示を受け付ける拡大指示受付ステップと、上記拡大指示に応じて上記立体画像を拡大して上記立体画像表示装置に表示させる拡大表示制御ステップと、上記拡大指示に応じた拡大率で上記立体画像を拡大する場合に上記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定ステップとを備え、上記拡大表示制御ステップでは、上記視差量が上記閾値を超える拡大率で上記立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示の終了後に上記立体画像表示装置に表示させる拡大立体画像を、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した拡大立体画像とするものである。
本発明によれば、立体画像を拡大する際の観察者への負担を軽減することができる立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法を提供することができる。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための立体画像表示制御装置を備える電子機器の概略構成を示す図である。電子機器としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、カメラ付携帯電話機(スマートフォン)、及びタブレット型コンピュータ等があり、ここではデジタルカメラを例にして説明する。
図示するデジタルカメラ1は、撮像部10と、CPU(中央演算処理装置;コンピュータ)を主体に構成されるシステム制御部11と、ユーザからの指示信号をシステム制御部11に入力するためのシャッタボタン等を含む操作部14と、メモリ制御部15と、メインメモリ16と、デジタル信号処理部17と、圧縮伸張処理部18と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、表示ドライバ22と、立体画像表示装置23と、タッチパネル19とを備える。
撮像部10は、異なる視点で撮影された複数(ここでは2つとする)の撮像画像信号を得ることのできるものである。
例えば、撮像部10は、離間して配置された2つの撮像素子及びこの2つの撮像素子の各々の前段に設けられる撮影光学系を備え、1回の撮影により、当該2つの撮像素子から異なる視点で撮影された2つの撮像画像信号を得る。撮像部10は、1つの撮像素子及びこの前段に設けられる1つの撮影光学系を備え、これらを移動させながら行う複数回の撮影により、当該1つの撮像素子から、異なる視点で撮影された2つの撮像画像信号を得るものであってもよい。撮像部10の構成はこれらのものに限定されない。撮像部10はシステム制御部11の指示によって動作する。
メインメモリ16は、ワークメモリとして利用されるRAMと、各種データが記憶されるROMとを含み、メモリ制御部15の制御によってデータの読み込み、書き込み、及び消去が行われる。
デジタル信号処理部17は、撮像部10から出力される撮像画像信号に対し、補間演算やガンマ補正演算,RGB/YC変換処理等を行って撮影画像データを生成する。デジタル信号処理部17によって生成された異なる視点で撮影して得られた2つの撮像画像データは、互いに関連付けられて立体画像データとして生成される。この立体画像データは、例えば、カメラ映像機器工業会(CIPA)の規格であるMPO形式のデータである。
圧縮伸張処理部18は、デジタル信号処理部17で生成された立体画像データをJPEG形式に圧縮したり圧縮画像データを伸張したりする。
立体画像表示装置23は、立体画像データ(異なる視点で撮影された2つの撮像画像データ)に基づく立体画像を表示するものである。立体画像表示装置23は、時分割視差画像方式、レンチキュラ方式、及びパララックスバリア方式等に対応した液晶表示装置等で構成される。立体画像表示装置23は、表示ドライバ22によって駆動される。
立体画像表示装置23の表示面にはタッチパネル19が貼り付けられている。タッチパネル19はマルチタッチに対応しており、立体画像表示装置23の画面における2つの物体(例えばユーザの2本の指)の各々の接触点の座標情報、当該2つの物体の当該接触点からの移動の有無の情報、当該2つの物体の移動先の座標情報等の、ユーザのタッチパネル19に対するタッチ操作に応じた情報をシステム制御部11に送信する。
メモリ制御部15、デジタル信号処理部17、圧縮伸張処理部18、タッチパネル19、外部メモリ制御部20、及び表示ドライバ22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
デジタルカメラ1では、撮像部10によって撮影が行われると、デジタル信号処理部17によって立体画像データが生成され、この立体画像データが記録媒体21に記録される。
記録媒体21に記録された立体画像データの再生指示があると、システム制御部11の指令により、表示ドライバ22が当該立体画像データに基づく立体画像を立体画像表示装置23に表示させる。デジタルカメラ1では、立体画像表示装置23に表示された立体画像を、タッチパネル19の操作によって拡大することができる。以下、立体画像を拡大表示する時のデジタルカメラ1の動作について説明する。
図2は、図1に示すデジタルカメラ1における立体画像の拡大操作時の動作を説明するためのフローチャートである。図3は、図2に示すフローチャートに基づく動作中に、立体画像表示装置23に表示される画面の一例を示す図である。
デジタルカメラ1が再生モードに設定され、記録媒体21に記録されている立体画像データの再生指示がユーザによってなされると、システム制御部11は、記録媒体21から当該立体画像データを読み込んでメインメモリ16に展開する(ステップS1)。そして、システム制御部11は、展開した立体画像データに基づく立体画像を、表示ドライバ22を介して立体画像表示装置23に表示させる(ステップS2)。
このときの立体画像表示装置23の画面表示は例えば図3のFIG3Aのようになる。FIG3Aに示す例では、立体画像表示装置23に被写体Hを含む立体画像が表示されている。図3では、立体画像を構成する異なる視点で撮影された2つの画像を立体画像表示装置23に同時に表示させたときの画面例を示している。また、図3では、立体画像表示装置23に表示される画像を、タッチパネル19を通してみたときの状態を示している。
FIG3Aに示す立体画像が表示された状態で、ユーザが人差し指Y1と親指Y2をタッチパネル19上の任意の位置に置く。すると、人差し指Y1と親指Y2の各々の接触位置を示す画面上の座標情報がタッチパネル19からシステム制御部11に送信される。
システム制御部11は、ステップS2の後、タッチパネル19からの情報に基づいて、立体画像表示装置23に表示中の立体画像に対して拡大中心点(立体画像を拡大する際にどこを中心に拡大するかを示す点)が指定されたか否かを判定する(ステップS3)。具体的には、システム制御部11は、2つの指の座標情報をタッチパネル19から受信した場合に拡大中心点が指定されたと判定し、2つの指の座標情報をタッチパネル19から受信していない場合は、拡大中心点が指定されていないと判定する。
ステップS3の判定結果がYESのとき、システム制御部11は、タッチパネル19から受信した座標情報に基づき、立体画像に対して拡大中心点を設定する(ステップS4)。例えば、システム制御部11は、座標情報に含まれる2つの物体の座標の中間点を拡大中心点に設定する。
FIG3Aに示す状態から、FIG3Bに示すように、ユーザが2つの指を互いに離す方向に移動させて拡大指示を行うと、この2つの指が夫々移動したことを示す物体移動情報と、この2つの指の各々の移動先の座標情報とがタッチパネル19からシステム制御部11に送信される。
システム制御部11は、ステップS4の後、タッチパネル19からの情報に基づき、立体画像表示装置23に表示中の立体画像に対して拡大指示がなされたか否かを判定する(ステップS5)。具体的には、システム制御部11は、上記物体移動情報と上記移動先の座標情報とを受信した場合に拡大指示がなされたと判定し、上記物体移動情報と上記移動先の座標情報とを受信していないときは拡大指示がなされていないと判定する。
ステップS5の判定結果がYESのとき、システム制御部11は、ユーザからの拡大指示を受け付け、ステップS2以降に受信した2つ指の初期位置の座標情報と、ステップS4以降に受信した2つの指の移動先の座標情報とから、2つの指の移動量を算出し、その移動量に応じた立体画像の拡大率の情報を取得する(ステップS6)。移動量に対応する拡大率の情報は、メインメモリ16内のROMに予め記憶されており、システム制御部11は、このROMから指の移動量に対応する拡大率の情報を取得する。ステップS5の判定結果がNOとき、システム制御部11はステップS3に処理を戻す。
次に、システム制御部11は、ステップS4で設定した拡大中心点を中心にステップS6で取得した拡大率で立体画像を拡大したときの、立体画像表示装置23に表示される拡大立体画像の視差量を求める。拡大立体画像の視差量とは、拡大立体画像を構成する2つの画像の各々に含まれる共通の被写体同士の画素ずれ量(図11に例示した符号Po,Pb)を示す。ただし、拡大立体画像には複数の被写体が含まれることもあるため、本実施形態では、拡大立体画像の視差量として、視差量の代表値を求めるようにしている。
拡大立体画像の視差量の算出方法としては、例えば以下の4つが挙げられる。
1.拡大立体画像に含まれる主要被写体(例えば、拡大立体画像から抽出された被写体のうちの最もサイズの大きい被写体、拡大立体画像の中心にある被写体等)の視差量を、その拡大立体画像における視差量とする。
2.拡大立体画像に含まれる各被写体の視差量のうち、最も視差量の大きい値を、その拡大立体画像における視差量とする。
3.拡大立体画像に含まれる各被写体の視差量のヒストグラムを作成し、そのヒストグラムにおいて最も数の多い視差量(ヒストグラムのピーク値)を、その拡大立体画像における視差量とする。
4.拡大立体画像に含まれる各被写体の視差量の平均値を、その拡大立体画像における視差量とする。
2.拡大立体画像に含まれる各被写体の視差量のうち、最も視差量の大きい値を、その拡大立体画像における視差量とする。
3.拡大立体画像に含まれる各被写体の視差量のヒストグラムを作成し、そのヒストグラムにおいて最も数の多い視差量(ヒストグラムのピーク値)を、その拡大立体画像における視差量とする。
4.拡大立体画像に含まれる各被写体の視差量の平均値を、その拡大立体画像における視差量とする。
例えば、拡大立体画像が図11に示すようなものであった場合、Poや{(Po+Pb)/2}等が当該拡大立体画像の視差量として求められる。
なお、立体画像に含まれる各被写体は、視差量=0の部分が立体画像表示装置23の管面上にあるように見え、視差量が大きくなるにつれ、管面から飛び出したり引っ込んだりして見える。飛び出し側と引っ込み側とで、視差量の符号(正負)が逆のもとして扱った場合、上記2.の算出方法における、最も視差量の大きい値として、例えば、飛び出し側と引っ込み側のいずれか一方の被写体における視差量の絶対値の最大値、あるいは、両方を含めた被写体における視差量の絶対値の最大値等を用いればよい。
また、上記4.の算出方法における平均値は、例えば、飛び出し側と引っ込み側の一方の被写体における視差量の平均値、あるいは、両方の被写体における視差量を絶対値で平均したもの等とすればよい。
システム制御部11は、拡大立体画像の視差量を求めると、求めた視差量(符号を無視した絶対値)が閾値を超えるか否かを判定する(ステップS7)。
この閾値は、拡大立体画像を観察するユーザの眼に負担を与えない程度の立体感を提供できる視差量の上限値である。この閾値は、メインメモリ16内のROMに予め記録されている。
ステップS7の判定がNOのとき、つまり、拡大後の立体画像の視差量が閾値を超えない場合には、システム制御部11は、ステップS6において取得した拡大率で立体画像を拡大して立体画像表示装置23に表示させる(ステップS8)。このときの状態を示したのが図3のFIG3Bである。
ステップS7の判定がYESのとき、つまり、拡大後の立体画像の視差量が閾値を超えてしまう場合には、システム制御部11は、ステップS6において取得した拡大率で立体画像を拡大させる処理は行わず(拡大指示に応じた拡大処理は停止し)、立体画像表示装置23に表示中の拡大立体画像(視差量=閾値のときの拡大率で立体画像を拡大したもの)の表示を継続させる(ステップS9)。ステップS9と同時又は直後に、システム制御部11は、拡大立体画像(視差量=閾値のときの拡大率で立体画像を拡大したもの)を、画面内で振動させて表示させる制御を行う(ステップS10)。この制御は、具体的には、拡大立体画像が表示されているエリア近傍で、移動量や移動方向を時間変動させながら、表示画面と平行な方向に拡大立体画像を平行移動させる制御である。ステップS10の処理により、立体画像表示装置23に表示される拡大立体画像は、図3のFIG3Cに示すように、画面内で上下又は左右又はその両方に振動して表示される。
なお、ステップS10では、拡大立体画像を画面内で振動させる代わりに、当該拡大立体画像を縮小した立体画像と、当該拡大立体画像を拡大した立体画像とを交互に繰り返して表示させてもよい。なお、このときの拡大立体画像の縮小率及び拡大率は、視差量=閾値となっている拡大立体画像の立体感を損なわない程度の微小な値としておく。
ステップS10の処理は、立体画像表示装置23に表示される拡大立体画像の視差量が閾値を超えてしまったため、ユーザの眼への負担を考慮して拡大指示に応じた拡大表示処理を行っていないことを、ユーザに認識させることを目的に行っている。上記の例では、拡大立体画像自体の表示変化により、デジタルカメラ1の行っている処理をユーザに認識させるものとした。これ以外にも、例えば、拡大立体画像と共に、「視差が強すぎるため、拡大表示処理を停止しています」といった文字情報を立体画像表示装置23に表示させることで、デジタルカメラ1の行っている処理をユーザに認識させることも可能である。
なお、上記閾値は、ユーザの好みやユーザの年齢によって変えられることが好ましい。例えば、デジタルカメラ1のメインメモリ16には複数種類の閾値を記憶しておく。そして、システム制御部11が、デジタルカメラ1のユーザに応じて、この複数種類の閾値からいずれかを選択して用いるようにすればよい。
より具体的に説明すると、メインメモリ16には、ユーザの年齢幅(例えば、小学生未満の幼児、小中学生、高校生以上の3つの年齢幅)に応じて複数種類の閾値を記憶しておく。更に、デジタルカメラ1の操作部14又はタッチパネル19によって、ユーザに関する情報(例えば年齢の情報)を入力できるようにしておく。そして、システム制御部11は、入力されたユーザに関する情報を取得し、ユーザに関する情報に含まれるユーザの年齢の情報から、その年齢が入る年齢幅に対応する種類の閾値を、ステップS7の判定において用いる閾値として設定する。
又は、予め記憶されている複数種類の閾値の中からユーザが好みに応じた閾値を選択して、ユーザ情報と対応付けて登録できるようにしておいてもよい。この場合は、ユーザが、立体画像の再生を行う前に、事前登録されているユーザ情報の中から自分の情報を選択する。ユーザ情報が選択されると、システム制御部11がこのユーザ情報を取得し、そのユーザ情報に対応する閾値を、ステップS7の判定において用いる閾値として設定する。
このように、複数種類の閾値を記憶しておき、ユーザに応じた閾値を用いてステップS7の判定を行うことで、ユーザの年齢やユーザの好みにあった制御が可能になる。
ステップS8とステップS10の後、システム制御部11は、拡大指示が終了したか否かを判定する(ステップS11)。システム制御部11は、2つの物体の少なくとも一方の接触がなくなったことを示す情報をタッチパネル19から受信すると、拡大指示が終了したと判定する。
拡大指示が終了していない場合(ステップS11:NO)はステップS5の処理が行われる。拡大指示が終了した場合(ステップS11:YES)、システム制御部11は、ステップS10の処理が行われているか否かを判定する(ステップS12)。
ステップS12の判定がYESであれば、システム制御部11は、視差量=閾値となる拡大率で立体画像を拡大した拡大立体画像の振動表示処理、縮小・拡大交互表示処理、又は文字情報表示処理を停止し、立体画像表示装置23には、視差量=閾値となる拡大率で立体画像を拡大した拡大立体画像を表示させる(ステップS13)。このときの状態を示したのが図3のFIG3Dである。FIG3Cの状態においてタッチパネル19から指を離した時点で、拡大表示画像の表示変化(画像の振動、画像の縮小拡大)が終了し、視差量=閾値となる拡大率で立体画像を拡大した拡大立体画像が、立体画像表示装置23に表示されることになる。
システム制御部11は、ステップS13の後はステップS3に処理を戻す。
以上のように、デジタルカメラ1によれば、2本の指をタッチパネル19に接触させた後、この2本の指を広げる方向に移動させると、視差量が閾値となる拡大率までは、2本の指の動きに応じて立体画像が拡大表示されていく。そして、視差量が閾値となる拡大率になると、それ以上の拡大指示が行われても、表示画像の拡大は行われない。このため、立体感が強くなってしまった拡大立体画像がユーザによって観察されるのを防ぐことができ、ユーザの眼への負担を軽減することができる。
また、視差量が閾値となる拡大率を超えて拡大指示を行った場合には、FIG3Cに示すように、視差量が閾値以下となる拡大率で立体画像を拡大しているときとは異なる表示形態で、拡大立体画像が立体画像表示装置23に表示される。このため、この拡大立体画像の表示形態の変化により、ユーザは、デジタルカメラ1が何らかの特別な処理を行っていることを認識することができる。したがって、この特別な処理により、ユーザが、自身の拡大操作のミスによって立体画像が拡大されなかったものと誤解してしまうのを防ぐことができる。
以上の説明では、図2のステップS9,S13において立体画像表示装置23に表示させる立体画像を、視差量=閾値となる拡大率で立体画像を拡大したものとしている。しかし、ステップS9,S13では、視差量<閾値となる拡大率で立体画像を拡大した拡大立体画像を表示させてもよい。ただし、ステップS9,S13において表示させる拡大立体画像の拡大率が小さすぎると、視差量が閾値を超える境界付近で表示画像が急激に変化してしまうことになる。そのため、この拡大率は表示画像の急激な変化をユーザに認識させない程度の値にしておくことが好ましい。
また、ステップS10において、拡大立体画像を振動表示させる場合には、拡大立体画像の振動方向を、ユーザが指を広げている方向と略一致させることが好ましい。
例えば、システム制御部11は、タッチパネル19から受信した、2つの物体(指)の初期位置の情報と、2つの物体の初期位置に対する移動先の位置の情報とから、2つの物体の画面内における移動方向を判定する。そして、システム制御部11は、ステップS10において、前記判定した移動方向に拡大立体画像を振動させる制御を行う。このようにすることで、ユーザが指を広げている方向に拡大立体画像が振動することになり、ユーザが指を広げている方向と拡大立体画像の振動方向とが一致しない(例えば直交する)場合と比較すると、違和感のない、良好な操作性を実現することができる。
次に、デジタルカメラ1の動作の変形例について説明する。この変形例では、システム制御部11が、視差量が閾値となる拡大率を超えて立体画像を拡大する拡大指示がなされた場合でも、当該拡大指示のなされている間は、当該拡大指示に応じた拡大率で立体画像を拡大した拡大立体画像を立体画像表示装置23に表示させる。そして、システム制御部11は、当該拡大指示が終了したときに、視差量が閾値以下となるときの拡大率で立体画像を拡大した拡大立体画像を立体画像表示装置23に表示させるようにしている。
図4は、図1に示したデジタルカメラ1の立体画像の拡大操作時の動作の変形例を説明するためのフローチャートである。図5は、図4に示す変形例のフローチャートに基づく動作中に、立体画像表示装置23に表示される画面の一例を示す図である。
図4に示すフローチャートは、図2に示すフローチャートのステップS6以降の処理を、ステップS21~ステップS25に置き換えたものである。このため、図2に示す処理と同じ処理には同一符号を付して説明を省略する。
図5のFIG5Aに示すように、ユーザが人差し指Y1と親指Y2をタッチパネル19に接触させた後、FIG5Bに示すように、人差し指Y1と親指Y2をそれぞれ移動させて拡大指示を行うと、図4のステップS6において、拡大率の情報がシステム制御部11により取得される。その後、システム制御部11は、取得した拡大率で立体画像を拡大した拡大立体画像を立体画像表示装置23に表示させる(ステップS21)。
次に、システム制御部11は、図2のステップS11と同様の方法で拡大指示が終了したか否かを判定する(ステップS22)。システム制御部11は、拡大指示が終了していない場合はステップS5に処理を戻し、拡大指示が終了した場合はステップS23の処理を行う。
ステップS23において、システム制御部11は、立体画像表示装置23に表示中の拡大立体画像の視差量を求める。そして、システム制御部11は、ステップS23において求めた視差量が閾値を超えているか否かを判定する(ステップS24)。
ステップS24の判定がNOであれば、システム制御部11はステップS3に処理を戻し、ステップS24の判定がYESであれば、システム制御部11は、視差量=閾値となる拡大率で立体画像を拡大した拡大立体画像を立体画像表示装置23に表示させる(ステップS25)。
例えば、図5のFIG5Cに示すように、視差量が閾値を超える拡大率で立体画像が拡大表示された後に、FIG5Dに示すように、ユーザがタッチパネル19から指を離して拡大指示を終了したとする。このとき、システム制御部11は、拡大指示が終了する直前に立体画像表示装置23に表示させていたFIG5Dに示す拡大立体画像を、視差量=閾値となる拡大率で立体画像を拡大したFIG5Eに示す拡大立体画像に切替える制御を行う。
ステップS25の後、システム制御部11はステップS3に処理を戻す。
以上のように、この変形例によれば、2本の指をタッチパネル19に接触させた後、この2本の指を広げる方向に移動させると、視差量が閾値となる拡大率を超えても、図5のFIG5B~FIG5Cに示すように、立体画像は拡大され続ける。そして、FIG5Cの状態において拡大指示を終了すると、FIG5Eに示すように、視差量=閾値となる拡大率で立体画像を拡大した拡大立体画像が立体画像表示装置23に表示される。このため、拡大指示の終了後に、立体感が強くなってしまった拡大立体画像がユーザによって観察されるのを防ぐことができ、ユーザの眼への負担を軽減することができる。
なお、図4のステップS25において、立体画像表示装置23に表示させる拡大立体画像を、視差量が閾値を超える拡大率(A倍とする)で拡大した拡大立体画像から、視差量が閾値となる拡大率(B倍とする)で拡大した拡大立体画像に切替える際に、システム制御部11は、拡大率をA倍からB倍にかけて徐々に小さくしていき(例えば拡大率を所定の変化率で変化させていき)、拡大率を小さくしていく過程での各拡大率における拡大立体画像を、立体画像表示装置23に表示させるようにしてもよい。このようにすることで、図5のFIG5Dの状態からFIG5Eの状態に急激に画像が切り替わるのではなく、スムーズに画像を切り替えることができ、ユーザの眼への負担を軽減することができる。
また、図4のステップS25において、視差量が閾値となる拡大率で拡大した拡大立体画像を表示させた後又はこれと同時に、「指示された拡大率では視差が強くなりすぎるため拡大率を低くした画像を表示しています」といったデジタルカメラ1の処理内容を通知するための情報を立体画像表示装置23に表示させてもよい。このようにすることで、ユーザが自身の拡大操作のミスによって立体画像が拡大されなかったものと誤解してしまうのを防ぐことができる。
なお、図4のフローチャートでは、ステップS25において立体画像表示装置23に表示させる拡大立体画像を、視差量=閾値となる拡大率で立体画像を拡大したものとしている。しかし、ステップS25では、視差量が閾値よりも小さくなる拡大率で立体画像を拡大したものを表示させてもよい。
デジタルカメラ1のシステム制御部11は、図2及び図4のステップS3において拡大中心点の指定がなされたときに、立体画像表示装置23に表示される立体画像の視差量が閾値以下に収まる指の移動範囲を示す枠画像を立体画像表示装置23に表示させてもよい。
タッチパネル19にユーザの2本の指が接触すると、システム制御部11は、表示中の立体画像の視差量から、視差量が閾値となる拡大率である許容拡大率を算出する。更に、システム制御部11は、2本の指の接触位置の情報と、タッチパネル19に接触している2本の指の各々の移動距離と立体画像の拡大率とを対応付けたテーブル(メインメモリ16に記憶)のデータとから、拡大率が許容拡大率になる2本の指の移動後の位置を求め、この2本の指の移動後の位置を示す座標同士を結ぶ枠画像60を生成する。そして、システム制御部11は、図6に示すように、この枠画像60を立体画像表示装置23に表示させる。
この枠画像60は、指を動かした先がこの枠内にあれば、立体画像表示装置23に拡大表示される立体画像の視差量が閾値以下になり、指を動かした先がこの枠外に出ると、立体画像表示装置23に拡大表示される立体画像の視差量が閾値を超えてしまうことを示す情報となる。指の移動量は拡大率に対応するため、この枠画像60は、視差量が閾値以下に収まる許容拡大率を示す情報ということができる。システム制御部11は、立体画像の拡大中心点の指定があった時点で、拡大後の立体画像の視差量が閾値以下になる指の移動範囲を示す枠画像60を立体画像表示装置23に表示させる。このようにすることで、ユーザは、どの程度までの拡大操作であれば良好な立体感が得られるのかを知ることができ、使い勝手を向上させることができる。
また、システム制御部11は、上記枠画像60に加えて、立体画像表示装置23に拡大表示される立体画像の視差量が立体視に最も適した値となる指の移動位置を示す枠画像70を、図7に示すように表示させてもよい。
立体視に最も適した視差量は、経験的に求めておいた既知の値としてもよいし、立体画像表示装置23に表示される立体画像の視差量と閾値との平均値としてもよい。例えば、http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdfに記載されているような視差量を採用することができる。
システム制御部11は、立体画像表示装置23に表示中の立体画像の視差量から、当該視差量が最適値となる拡大率である最適拡大率を算出する。更に、システム制御部11は、2本の指の接触位置の情報と上記テーブルのデータとから、拡大率が最適拡大率になる2本の指の移動後の位置を求め、この2本の指の移動後の位置を示す座標同士を結ぶ枠画像70を生成する。そして、システム制御部11は、図7に示すように、この枠画像70を立体画像表示装置23に表示させる。
この枠画像70は、指を動かした先がこの枠上にあれば、立体画像表示装置23に拡大表示される立体画像の視差量が最適値になることを示す情報となる。指の移動量は拡大率に対応するため、この枠画像70は、視差量が最適値になる最適拡大率を示す情報ということができる。このように、システム制御部11は、立体画像の拡大中心点の指定があった時点で、拡大後の立体画像の視差量が最適値になる指の移動位置を示す枠画像70を立体画像表示装置23に表示させることで、ユーザは、どの程度まで拡大すれば最適な立体感が得られるのかを知ることができ、使い勝手を向上させることができる。
なお、図7では、枠画像60と枠画像70の両方を表示させる例を示しているが、枠画像70のみを表示させるようにしてもよい。
立体画像表示装置23に表示される立体画像は、拡大指示に応じて、その表示範囲が狭くなっていく。このため、周辺部分は視差量が大きく
、中心部分は視差量が小さい被写体を含む立体画像の場合は、その立体画像を拡大していくと、拡大後に立体画像表示装置23に表示される拡大立体画像の視差量が増大していった後、ある程度の拡大率を越えると、立体画像表示装置23に表示される範囲が被写体の中心部分のみになり、視差量が突然閾値以下になることが考えられる。
、中心部分は視差量が小さい被写体を含む立体画像の場合は、その立体画像を拡大していくと、拡大後に立体画像表示装置23に表示される拡大立体画像の視差量が増大していった後、ある程度の拡大率を越えると、立体画像表示装置23に表示される範囲が被写体の中心部分のみになり、視差量が突然閾値以下になることが考えられる。
図4,5で説明した変形例において、例えば、図5のFIG5Cの状態(視差量が初めて閾値を超えた状態)から、ユーザが強制操作(例えばタッチパネル19に指を置き続ける、指の移動速度を速くする等)を行った場合を説明する。この場合、システム制御部11は、FIG5Eに示すような拡大立体画像を表示させる代わりに、視差量が閾値となる拡大率よりも大きい拡大率であって、視差量が閾値以下となる拡大率、で立体画像を拡大した拡大立体画像を立体画像表示装置23に表示させる。このような制御により、視差量が大きい拡大立体画像が立体画像表示装置23に長時間表示されるのを防いで、ユーザの眼への負担を軽減することができる。
なお、上述してきた実施形態では、拡大指示を行うインターフェースとしてタッチパネル19を用いた例を示したが、インターフェースはこれに限らない。例えば、操作部14に含まれる十字キー、ダイヤルキー、各種ボタン等によって、立体画像の拡大指示を行えるようにしてもよい。操作部14を用いて拡大指示を行う形態の場合は、図6に示す枠画像60の代わりに、許容拡大率を文字情報として表示させればよい。また、図7に示す枠画像70の代わりに、最適拡大率を文字情報として表示させればよい。
また、上述してきた実施形態では、デジタルカメラを例にしたが、立体画像データに基づく立体画像を立体画像表示装置に表示させる制御を行う立体画像表示制御装置を搭載する電子機器(例えば、3D表示対応のテレビジョン、スマートフォン、タブレッド型コンピュータ等)であれば、本実施形態で説明した技術を適用可能である。このような電子機器では、当該電子機器に搭載されるCPU(コンピュータ)が図2及び図4に示したフローチャートの各ステップを行うことで、立体画像表示装置を観察するユーザへの負担を軽減することができる。
また、図1に示すデジタルカメラ1は、立体画像等の表示先を内部に搭載する立体画像表示装置23としているが、この表示先を、例えば、デジタルカメラ1と接続される外部の立体画像表示装置(例えば3D表示対応のテレビジョン等)とすることもできる。
上述してきた閾値は、立体画像を表示させる表示装置の画面サイズ、又は、表示装置とユーザとの距離(視距離)に応じて変更してもよい。
例えば、画面サイズが大きいほど閾値を小さくしたり、視距離が短いほど閾値を小さくしたりする等の制御をシステム制御部11が行う。画面サイズの情報は、システム制御部11が表示装置から取得してもよいし、ユーザから入力できるようにしてもよい。視距離の情報は、表示装置毎に予め決められた最適値を用いてもよいし、表示装置側にユーザとの距離を求める測距手段を設けておいてもよい。
次に、立体画像表示制御装置を搭載する電子機器としてスマートフォンの構成について説明する。
図8は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。図8に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図9は、図8に示すスマートフォン200の構成を示すブロック図である。図9に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
図8に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体201の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部211は、スピーカ205やマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。また、図8に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
操作部207は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図8に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部212は、主制御部220の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210や外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部215は、例えば、3軸の加速度センサなどを備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部220は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部208は、撮像部10と同じ機能を有する。カメラ部208は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部208は、主制御部220の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic
coding Experts Group)などの圧縮した画像データに変換し、記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることができる。図8に示すにスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
coding Experts Group)などの圧縮した画像データに変換し、記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることができる。図8に示すにスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することや、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等などを付加して記憶部212に記録したり、入出力部213や無線通信部210を通じて出力したりすることもできる。
以上のような構成のスマートフォン200において、主制御部220が、図1に示したデジタルカメラ1のシステム制御部11と同じ図2及び図4に示した処理を行うことで、立体画像を拡大する際の観察者への負担を軽減することができる。
以上説明してきたように、本明細書には次の事項が開示されている。
開示された立体画像表示制御装置は、異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御装置であって、上記立体画像表示装置に表示された上記立体画像を拡大する拡大指示を受け付ける拡大指示受付部と、上記拡大指示に応じて上記立体画像を拡大して上記立体画像表示装置に表示させる拡大表示制御部と、上記拡大指示に応じた拡大率で上記立体画像を拡大したときに上記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定部とを備え、上記拡大表示制御部は、上記視差量が上記閾値を超える拡大率で上記立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示の終了後に上記立体画像表示装置に表示させる拡大立体画像を、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した拡大立体画像とするものである。
開示された立体画像表示制御装置は、上記拡大表示制御部は、上記視差量が上記閾値となる拡大率を超えて立体画像を拡大する上記拡大指示がなされている拡大指示期間は、その拡大指示に応じた拡大処理は停止し、上記視差量が上記閾値となる拡大率で上記立体画像を拡大した拡大立体画像を、上記視差量が上記閾値以下となる拡大率で上記立体画像を拡大表示させるときの表示形態とは異なる表示形態で上記立体画像表示装置に表示させるものである。
開示された立体画像表示制御装置は、上記拡大表示制御部は、上記拡大指示期間中、上記視差量が上記閾値となる拡大率で上記立体画像を拡大した拡大立体画像を、上記立体画像表示装置の画面内で振動させて表示させる、又は、拡大と縮小を交互に繰り返して表示させるものである。
開示された立体画像表示制御装置は、上記立体画像表示装置は画面上に設けられるタッチパネルを有し、上記拡大指示受付部は、上記タッチパネルに対して2つの物体が接触したこと、その2つの物体がその接触している点からそれぞれ移動したこと、及びその2つの物体の移動先を示す情報を上記タッチパネルから取得し、その情報に基づいて上記拡大指示を受け付けるものであり、上記拡大表示制御部は、上記拡大指示期間中、上記視差量が上記閾値となる拡大率で上記立体画像を拡大した拡大立体画像を、上記立体画像表示装置の画面内で振動させて表示させるものであり、上記2つの物体の上記接触している点からの移動方向を上記情報から取得し、上記拡大立体画像の上記画面内における振動方向をその移動方向と略一致させるものである。
開示された立体画像表示制御装置は、上記拡大表示制御部は、上記視差量が上記閾値となる拡大率を超えて立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示のなされている間は、その拡大指示に応じた拡大率で上記立体画像を拡大した拡大立体画像を上記立体画像表示装置に表示させ、その拡大指示が終了したときに、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した立体画像を上記立体画像表示装置に表示させるものである。
開示された立体画像表示制御装置は、上記拡大表示制御部は、上記拡大指示が終了したときに、上記立体画像表示装置に表示されている拡大立体画像を徐々に縮小表示させて最終的に上記視差量が上記閾値以下となる拡大率で上記立体画像を拡大した立体画像を上記立体画像表示装置に表示させるものである。
開示された立体画像表示制御装置は、上記立体画像表示装置の観察者に関する情報を取得する観察者情報取得部と、上記観察者情報取得部によって取得された上記観察者の情報に応じて上記閾値を設定する閾値設定部とを備えるものである。
開示された立体画像表示制御装置は、上記視差量が上記閾値以下に収まる許容拡大率を示す情報を上記立体画像表示装置に表示させる第一の情報表示制御部を備えるものである。
開示された立体画像表示制御装置は、上記視差量が立体視に最適な値となる最適拡大率を示す情報を上記立体画像表示装置に表示させる第二の情報表示制御部を備えるものである。
開示された立体画像表示制御装置は、上記拡大立体画像の視差量は、上記拡大立体画像に含まれる主要被写体の視差量、上記拡大立体画像に含まれる被写体の視差量のうちの最大値、上記拡大立体画像に含まれる被写体の視差量のヒストグラムのピーク値、上記拡大立体画像に含まれる被写体の視差量の平均値のいずれかであるものを含む。
開示された撮像装置は、上記立体画像表示制御装置と、上記立体画像表示装置と、被写体を撮像する撮像部と、上記撮像部により撮像して得られる複数の撮像画像信号から、上記複数の画像データを生成する画像処理部とを備えるものである。
開示された立体画像表示制御方法は、異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御方法であって、上記立体画像表示装置に表示された上記立体画像を拡大する拡大指示を受け付ける拡大指示受付ステップと、上記拡大指示に応じて上記立体画像を拡大して上記立体画像表示装置に表示させる拡大表示制御ステップと、上記拡大指示に応じた拡大率で上記立体画像を拡大する場合に上記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定ステップとを備え、上記拡大表示制御ステップでは、上記視差量が上記閾値を超える拡大率で上記立体画像を拡大する上記拡大指示がなされた場合に、その拡大指示の終了後に上記立体画像表示装置に表示させる拡大立体画像を、上記視差量が上記閾値以下となるときの拡大率で上記立体画像を拡大した拡大立体画像とするものである。
本発明は、例えば、デジタルカメラやテレビジョン等に適用して有効である。
以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、2012年2月23日出願の日本特許出願(特願2012-37646)に基づくものであり、その内容はここに取り込まれる。
本出願は、2012年2月23日出願の日本特許出願(特願2012-37646)に基づくものであり、その内容はここに取り込まれる。
11 システム制御部
23 立体画像表示装置
23 立体画像表示装置
Claims (12)
- 異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御装置であって、
前記立体画像表示装置に表示された前記立体画像を拡大する拡大指示を受け付ける拡大指示受付部と、
前記拡大指示に応じて前記立体画像を拡大して前記立体画像表示装置に表示させる拡大表示制御部と、
前記拡大指示に応じた拡大率で前記立体画像を拡大したときに前記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定部とを備え、
前記拡大表示制御部は、前記視差量が前記閾値を超える拡大率で前記立体画像を拡大する前記拡大指示がなされた場合に、当該拡大指示の終了後に前記立体画像表示装置に表示させる拡大立体画像を、前記視差量が前記閾値以下となるときの拡大率で前記立体画像を拡大した拡大立体画像とする立体画像表示制御装置。 - 請求項1記載の立体画像表示制御装置であって、
前記拡大表示制御部は、前記視差量が前記閾値となる拡大率を超えて立体画像を拡大する前記拡大指示がなされている拡大指示期間は、当該拡大指示に応じた拡大処理は停止し、前記視差量が前記閾値となる拡大率で前記立体画像を拡大した拡大立体画像を、前記視差量が前記閾値以下となる拡大率で前記立体画像を拡大表示させるときの表示形態とは異なる表示形態で前記立体画像表示装置に表示させる立体画像表示制御装置。 - 請求項2記載の立体画像表示制御装置であって、
前記拡大表示制御部は、前記拡大指示期間中、前記視差量が前記閾値となる拡大率で前記立体画像を拡大した拡大立体画像を、前記立体画像表示装置の画面内で振動させて表示させる、又は、拡大と縮小を交互に繰り返して表示させる立体画像表示制御装置。 - 請求項3記載の立体画像表示制御装置であって、
前記立体画像表示装置は画面上に設けられるタッチパネルを有し、
前記拡大指示受付部は、前記タッチパネルに対して2つの物体が接触したこと、当該2つの物体が当該接触している点からそれぞれ移動したこと、及び当該2つの物体の移動先を示す情報を前記タッチパネルから取得し、当該情報に基づいて前記拡大指示を受け付けるものであり、
前記拡大表示制御部は、前記拡大指示期間中、前記視差量が前記閾値となる拡大率で前記立体画像を拡大した拡大立体画像を、前記立体画像表示装置の画面内で振動させて表示させるものであり、前記2つの物体の前記接触している点からの移動方向を前記情報から取得し、前記拡大立体画像の前記画面内における振動方向を当該移動方向と略一致させる立体画像表示制御装置。 - 請求項1記載の立体画像表示制御装置であって、
前記拡大表示制御部は、前記視差量が前記閾値となる拡大率を超えて立体画像を拡大する前記拡大指示がなされた場合に、当該拡大指示のなされている間は、当該拡大指示に応じた拡大率で前記立体画像を拡大した拡大立体画像を前記立体画像表示装置に表示させ、当該拡大指示が終了したときに、前記視差量が前記閾値以下となるときの拡大率で前記立体画像を拡大した立体画像を前記立体画像表示装置に表示させる立体画像表示制御装置。 - 請求項5記載の立体画像表示制御装置であって、
前記拡大表示制御部は、前記拡大指示が終了したときに、前記立体画像表示装置に表示されている拡大立体画像を徐々に縮小表示させて最終的に前記視差量が前記閾値以下となる拡大率で前記立体画像を拡大した立体画像を前記立体画像表示装置に表示させる立体画像表示制御装置。 - 請求項1~6のいずれか1項記載の立体画像表示制御装置であって、
前記立体画像表示装置の観察者に関する情報を取得する観察者情報取得部と、
前記観察者情報取得部によって取得された前記観察者の情報に応じて前記閾値を設定する閾値設定部とを備える立体画像表示制御装置。 - 請求項1~7のいずれか1項記載の立体画像表示制御装置であって、
前記視差量が前記閾値以下に収まる許容拡大率を示す情報を前記立体画像表示装置に表示させる第一の情報表示制御部を備える立体画像表示制御装置。 - 請求項1~8のいずれか1項記載の立体画像表示制御装置であって、
前記視差量が立体視に最適な値となる最適拡大率を示す情報を前記立体画像表示装置に表示させる第二の情報表示制御部を備える立体画像表示制御装置。 - 請求項1~9のいずれか1項記載の立体画像表示制御装置であって、
前記拡大立体画像の視差量は、前記拡大立体画像に含まれる主要被写体の視差量、前記拡大立体画像に含まれる被写体の視差量のうちの最大値、前記拡大立体画像に含まれる被写体の視差量のヒストグラムのピーク値、前記拡大立体画像に含まれる被写体の視差量の平均値のいずれかである立体画像表示制御装置。 - 請求項1~10のいずれか1項記載の立体画像表示制御装置と、
前記立体画像表示装置と、
被写体を撮像する撮像部と、
前記撮像部により撮像して得られる複数の撮像画像信号から、前記複数の画像データを生成する画像処理部とを備える撮像装置。 - 異なる視点で撮影された複数の画像データに基づく立体画像を立体画像表示装置に表示させる立体画像表示制御方法であって、
前記立体画像表示装置に表示された前記立体画像を拡大する拡大指示を受け付ける拡大指示受付ステップと、
前記拡大指示に応じて前記立体画像を拡大して前記立体画像表示装置に表示させる拡大表示制御ステップと、
前記拡大指示に応じた拡大率で前記立体画像を拡大する場合に前記立体画像表示装置に表示される拡大立体画像の視差量が閾値を超えるか否かを判定する視差量判定ステップとを備え、
前記拡大表示制御ステップでは、前記視差量が前記閾値を超える拡大率で前記立体画像を拡大する前記拡大指示がなされた場合に、当該拡大指示の終了後に前記立体画像表示装置に表示させる拡大立体画像を、前記視差量が前記閾値以下となるときの拡大率で前記立体画像を拡大した拡大立体画像とする立体画像表示制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014500873A JP5564633B2 (ja) | 2012-02-23 | 2012-11-30 | 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法 |
CN201280070612.7A CN104137539B (zh) | 2012-02-23 | 2012-11-30 | 立体图像显示控制装置、具有该装置的摄像装置及立体图像显示控制方法 |
US14/466,298 US9270982B2 (en) | 2012-02-23 | 2014-08-22 | Stereoscopic image display control device, imaging apparatus including the same, and stereoscopic image display control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-037646 | 2012-02-23 | ||
JP2012037646 | 2012-02-23 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/466,298 Continuation US9270982B2 (en) | 2012-02-23 | 2014-08-22 | Stereoscopic image display control device, imaging apparatus including the same, and stereoscopic image display control method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013125122A1 true WO2013125122A1 (ja) | 2013-08-29 |
Family
ID=49005322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/081150 WO2013125122A1 (ja) | 2012-02-23 | 2012-11-30 | 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9270982B2 (ja) |
JP (1) | JP5564633B2 (ja) |
CN (1) | CN104137539B (ja) |
WO (1) | WO2013125122A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2016072518A1 (ja) * | 2014-11-07 | 2017-08-31 | ソニー株式会社 | 表示装置及び表示制御方法 |
JP2020202499A (ja) * | 2019-06-11 | 2020-12-17 | 国立大学法人静岡大学 | 画像観察システム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5668385B2 (ja) * | 2010-09-17 | 2015-02-12 | ソニー株式会社 | 情報処理装置、プログラムおよび情報処理方法 |
US9049423B2 (en) * | 2010-12-01 | 2015-06-02 | Qualcomm Incorporated | Zero disparity plane for feedback-based three-dimensional video |
CN104935998B (zh) * | 2015-06-01 | 2018-08-24 | 无锡天脉聚源传媒科技有限公司 | 一种台标插件显示区域的调整方法及装置 |
CN106020758B (zh) * | 2016-05-17 | 2019-12-03 | 苏州佳世达电通有限公司 | 一种荧幕拼接显示系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08317429A (ja) * | 1995-05-23 | 1996-11-29 | Matsushita Electric Ind Co Ltd | 立体電子ズーム装置及び立体画質制御装置 |
JP2004349736A (ja) * | 2003-05-08 | 2004-12-09 | Sharp Corp | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2012114920A (ja) * | 2010-11-26 | 2012-06-14 | Lg Electronics Inc | 携帯端末機及びその動作制御方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3862315B2 (ja) * | 1996-03-13 | 2006-12-27 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
US6618073B1 (en) * | 1998-11-06 | 2003-09-09 | Vtel Corporation | Apparatus and method for avoiding invalid camera positioning in a video conference |
US6864910B1 (en) * | 1999-06-30 | 2005-03-08 | Canon Kabushiki Kaisha | Optical apparatus |
EP1617684A4 (en) | 2003-04-17 | 2009-06-03 | Sharp Kk | THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME |
JP4251907B2 (ja) * | 2003-04-17 | 2009-04-08 | シャープ株式会社 | 画像データ作成装置 |
JP5345025B2 (ja) * | 2009-08-28 | 2013-11-20 | 富士フイルム株式会社 | 画像記録装置及び方法 |
EP2389004B1 (en) * | 2010-05-20 | 2013-07-24 | Sony Computer Entertainment Europe Ltd. | 3D camera and imaging method |
US8472786B2 (en) * | 2010-06-17 | 2013-06-25 | Fujifilm Corporation | Stereoscopic image display control apparatus and method of controlling operation of same |
-
2012
- 2012-11-30 CN CN201280070612.7A patent/CN104137539B/zh active Active
- 2012-11-30 WO PCT/JP2012/081150 patent/WO2013125122A1/ja active Application Filing
- 2012-11-30 JP JP2014500873A patent/JP5564633B2/ja not_active Expired - Fee Related
-
2014
- 2014-08-22 US US14/466,298 patent/US9270982B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08317429A (ja) * | 1995-05-23 | 1996-11-29 | Matsushita Electric Ind Co Ltd | 立体電子ズーム装置及び立体画質制御装置 |
JP2004349736A (ja) * | 2003-05-08 | 2004-12-09 | Sharp Corp | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2012114920A (ja) * | 2010-11-26 | 2012-06-14 | Lg Electronics Inc | 携帯端末機及びその動作制御方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2016072518A1 (ja) * | 2014-11-07 | 2017-08-31 | ソニー株式会社 | 表示装置及び表示制御方法 |
JP2020202499A (ja) * | 2019-06-11 | 2020-12-17 | 国立大学法人静岡大学 | 画像観察システム |
JP7356697B2 (ja) | 2019-06-11 | 2023-10-05 | 国立大学法人静岡大学 | 画像観察システム |
Also Published As
Publication number | Publication date |
---|---|
CN104137539A (zh) | 2014-11-05 |
JP5564633B2 (ja) | 2014-07-30 |
JPWO2013125122A1 (ja) | 2015-07-30 |
CN104137539B (zh) | 2016-07-27 |
US20140362187A1 (en) | 2014-12-11 |
US9270982B2 (en) | 2016-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9332208B2 (en) | Imaging apparatus having a projector with automatic photography activation based on superimposition | |
US10638034B2 (en) | Imaging control apparatus, imaging control method, camera system, and program | |
US9436979B2 (en) | Image processing device, imaging device, image processing method, and non-transitory computer readable medium | |
US10298828B2 (en) | Multi-imaging apparatus including internal imaging device and external imaging device, multi-imaging method, program, and recording medium | |
JP6205072B2 (ja) | 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム | |
JP5564633B2 (ja) | 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法 | |
JP5719480B2 (ja) | 画像変形装置およびその動作制御方法 | |
JP6435063B2 (ja) | 撮像制御装置、撮像制御方法、撮像システム及びプログラム | |
JP5923595B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
US20170180626A1 (en) | Live view control device, live view control method, live view system, and program | |
JP5547356B2 (ja) | 撮影装置、方法、記憶媒体及びプログラム | |
US10863095B2 (en) | Imaging apparatus, imaging method, and imaging program | |
KR101714050B1 (ko) | 휴대단말기의 데이터 표시장치 및 방법 | |
KR20180020734A (ko) | 이동단말기 및 그 제어 방법 | |
JP5832673B2 (ja) | 撮像装置およびその動作制御方法 | |
KR101324809B1 (ko) | 휴대용 단말기 및 그 제어방법 | |
JP2015192362A (ja) | 画像再生装置,画像再生方法およびその制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12868971 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014500873 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12868971 Country of ref document: EP Kind code of ref document: A1 |