WO2012133117A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2012133117A1
WO2012133117A1 PCT/JP2012/057366 JP2012057366W WO2012133117A1 WO 2012133117 A1 WO2012133117 A1 WO 2012133117A1 JP 2012057366 W JP2012057366 W JP 2012057366W WO 2012133117 A1 WO2012133117 A1 WO 2012133117A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional image
unit
phone terminal
images
Prior art date
Application number
PCT/JP2012/057366
Other languages
English (en)
French (fr)
Inventor
良和 足立
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US14/007,293 priority Critical patent/US9462259B2/en
Publication of WO2012133117A1 publication Critical patent/WO2012133117A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an electronic device that displays a three-dimensional image.
  • An apparatus that captures a three-dimensional image to be displayed on the electronic apparatus can capture an image that can be reproduced as a three-dimensional image by capturing, for example, two images at different angles by arranging a mirror or the like (Patent Document 1). 2, 3).
  • an image that can be reproduced as a three-dimensional image can be captured by arranging a plurality of imaging devices and simultaneously capturing images with each of the imaging devices (see Patent Document 4).
  • Images captured by the methods described in Patent Documents 1 to 4 can be displayed as a three-dimensional image by displaying them in an overlapping manner. However, there are cases where the obtained two images are not superimposed on the three-dimensional image expected by the user.
  • the present invention has been made in view of the above, and an object thereof is to provide an electronic apparatus capable of suitably displaying a three-dimensional image.
  • the present invention is an electronic apparatus, an operation unit, a display unit capable of displaying a three-dimensional image by overlapping a plurality of images, and a three-dimensional A storage unit that stores a plurality of pieces of image data constituting the image, and a correction value for the stereoscopic effect of the object of the three-dimensional image is determined based on the operation detected by the operation unit. And correcting the position of the object in at least one of a plurality of images constituting the three-dimensional image based on the correction value of the image, and superimposing the plurality of images including the corrected image on the display unit so that the object is tertiary And a control unit that displays the original image.
  • the three-dimensional image is composed of a plurality of objects.
  • the said control part enlarges the parallax of the target object between these several images, and suppresses the said three-dimensional effect, when enhancing the said three-dimensional effect based on the correction value of the three-dimensional effect of the said target object In this case, it is preferable to reduce the parallax of the object between the plurality of images.
  • control unit adjusts the parallax within a range in which the front-rear relationship between the plurality of objects is not reversed.
  • control unit determines a range of correction values that can be set based on a distance between the plurality of objects.
  • the image capturing unit may further include an image capturing unit that captures an image that can be displayed as a three-dimensional image, and the control unit may acquire distance information from the image capturing unit to the object when the three-dimensional image is captured by the image capturing unit. preferable.
  • the photographing unit includes two cameras separated by a predetermined interval, and the control unit analyzes the images photographed by the two cameras, and calculates the parallax between the two images photographed by the two cameras. Preferably, distance information from each of the two cameras to the object is acquired.
  • the photographing unit includes a focal position adjustment mechanism
  • the control unit analyzes focal length information acquired by moving a focal position by the focal position adjustment mechanism when photographing the image, and from the photographing unit. It is preferable to acquire distance information to the object.
  • the electronic device according to the present invention has an effect that a three-dimensional image can be suitably displayed.
  • FIG. 1 is a front view showing an appearance of an embodiment of a mobile phone terminal.
  • FIG. 2 is an explanatory diagram showing a schematic configuration of the first camera.
  • FIG. 3 is a block diagram showing a schematic configuration of functions of the mobile phone terminal shown in FIG.
  • FIG. 4 is an explanatory diagram for explaining the relationship between the mobile phone terminal and the subject.
  • FIG. 5 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal.
  • FIG. 6 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal.
  • FIG. 7 is a front view showing the appearance of another embodiment of the mobile phone terminal.
  • FIG. 8 is a block diagram showing a schematic configuration of functions of the mobile phone terminal shown in FIG. FIG.
  • FIG. 9 is an explanatory diagram for explaining the relationship between the mobile phone terminal and the subject.
  • FIG. 10 is an explanatory diagram for explaining a process of creating a three-dimensional image of the mobile phone terminal.
  • FIG. 11 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal.
  • FIG. 12 is an explanatory diagram for explaining image correction processing of the mobile phone terminal.
  • a mobile phone terminal will be described as an example of an electronic device.
  • the application target of the present invention is not limited to a mobile phone terminal, and various devices having a three-dimensional (3D) image display function, for example, PHS
  • the present invention can also be applied to (Personal Handy-phone System), PDAs, portable navigation devices, personal computers, game machines, and the like.
  • the electronic device having only a three-dimensional (3D) image display function is not limited to a portable electronic device, and can be used for various fixed devices such as a television and a monitor.
  • FIG. 1 is a front view showing an appearance of an embodiment of a mobile phone terminal.
  • the mobile phone terminal 1 has a thin plate-like housing 12.
  • the mobile phone terminal 1 includes a touch panel 2, an input unit 3 including a button 20, a button 22, and an input device 24, a receiver 7, a microphone 8, a first camera 16, and a second camera on the surface of a housing 12. 17 are arranged.
  • the touch panel 2 is arranged on the surface having the widest area of the plate-like housing 12.
  • the input unit 3 is also disposed at one end in the longitudinal direction of the surface of the housing 12 on which the touch panel 2 is disposed.
  • the input unit 3 is arranged in the order of the button 20, the input device 24, and the button 22 from one side to the other side in the short direction.
  • the receiver 7 is disposed at the other end in the longitudinal direction of the surface of the housing 12 where the touch panel 2 is disposed, that is, at the end opposite to the end where the input unit 3 is disposed. Yes.
  • the microphone 8 is disposed at one end in the longitudinal direction of the surface of the housing 12 where the touch panel 2 is disposed, that is, the end where the input unit 3 is disposed.
  • the first camera 16 and the second camera 17 are disposed on the surface opposite to the surface on which the touch panel 2 is disposed. Further, the first camera 16 and the second camera 17 are arranged at a position separated by a certain distance. In the direction shown in FIG. 1, that is, the direction in which the user looks at the mobile phone terminal 1 from the touch panel 2 side, the first camera 16 becomes the left camera and the second camera 17 becomes the right camera. In the present embodiment, the first camera 16 and the second camera 17 serve as an imaging unit.
  • the touch panel 2 displays characters, figures, images, and the like, and is performed on the touch panel 2 using a finger, a stylus, a pen (a tip of a pen, a tip of a rod-like member) or the like (hereinafter simply referred to as “finger”). Detect various actions.
  • the mobile phone terminal 1 displays a virtual keyboard on the touch panel 2 in order to accept input of characters from the user.
  • the mobile phone terminal 1 detects various operations input to the touch panel 2 with a finger in a state where the virtual keyboard is displayed on the touch panel 2, detects which key of the virtual keyboard is pressed or touched, Character input can be performed by using a key that has been detected as pressed or touched as an input key.
  • the touch panel 2 detects the input of various operations based on the displayed image and various operations performed on the touch panel 2 with a finger regardless of the input of characters, and based on the input operations.
  • Various controls are examples of various operations based on the displayed image and various operations performed on the touch panel 2 with a finger
  • the input unit 3 activates a function corresponding to the pressed button when the buttons 20 and 22 are pressed.
  • the input unit 3 also detects an operation input to the input device 24 as an operation, and performs various controls based on the input operation.
  • the input device 24 detects a direction instruction operation or a determination operation.
  • the input device 24 includes a touch pad, an optical input device, an input device having buttons on the four sides and the center, and the like.
  • the first camera 16 and the second camera 17 are photographing devices for photographing images.
  • the first camera 16 and the second camera 17 have basically the same configuration except for the arrangement position.
  • the configuration of the first camera 16 will be described as a representative.
  • the first camera 16 is a photographing device that captures an image, and includes a photographing window 52, an optical system 54, a light receiving unit 58, and a focal position adjusting mechanism 59, as shown in FIG.
  • the photographing window 52 is disposed so as to be exposed on the surface opposite to the surface on which the touch panel 2 of the housing 12 is disposed.
  • the photographing window 52 is made of a transparent member, and makes light incident from light outside the housing 12 enter (guide) the inside.
  • the optical system 54 is configured by an optical member such as a lens that guides light incident from the photographing window 52 into the housing 12 to the light receiving unit 58.
  • the optical system 54 selectively guides light incident from a predetermined angle range (imaging region) out of light incident from the imaging window 52 to the light receiving unit 58.
  • the light receiving unit 58 is a device that acquires image information of a photographing region, and includes an image pickup device (a CMOS image sensor, a CCD image sensor, or the like) in which photodiodes are arranged in a matrix on the light receiving surface. When the image is formed on the light receiving surface, the light receiving unit 58 reads the image formed by the imaging element and converts the read image into image information that is electronic data.
  • the focal position adjusting mechanism 59 adjusts the relative position of the optical system 54 and adjusts the distance of the subject (object) that forms an image on the light receiving unit 58 out of the light incident from the photographing window 52 and incident on the light receiving unit 58. . That is, the focal position adjustment mechanism 59 adjusts the focal position.
  • the focal position adjustment mechanism 59 includes a mechanism that adjusts the position of at least one lens of the optical system 54, a mechanism that adjusts the relative position of the entire optical system 54, and the like.
  • the first camera 16 is configured as described above, and guides the light of the photographing region incident from the photographing window 52 to the light receiving unit 58 by the optical system 54 and reads the light imaged by the light receiving unit 58. Acquire an image of the shooting area. Further, the first camera 16 can adjust the focal position by the focal position adjusting mechanism 59. The first camera 16 implements an autofocus function by acquiring images at each focal length while changing the focal position by the focal position adjusting mechanism 59 and determining an appropriate focal length. The first camera 16 has a zoom function in addition to these functions.
  • FIG. 3 is a block diagram showing a schematic configuration of functions of the mobile phone terminal shown in FIG.
  • the mobile phone terminal 1 includes a touch panel 2, an input unit 3, a power supply unit 5, a communication unit 6, a receiver 7, a microphone 8, a storage unit 9, a main control unit 10, A RAM (Random Access Memory) 11, a first camera 16, and a second camera 17 are included.
  • RAM Random Access Memory
  • the touch panel 2 includes a display unit 2B and a touch sensor 2A superimposed on the display unit 2B.
  • the touch sensor 2A detects various operations performed on the touch panel 2 using a finger together with the position on the touch panel 2 where the operation is performed.
  • the operations detected by the touch sensor 2 ⁇ / b> A include an operation of bringing a finger into contact with the surface of the touch panel 2, an operation of moving a finger while keeping the surface in contact with the surface of the touch panel 2, and an operation of moving the finger away from the surface of the touch panel 2. It is.
  • the touch sensor 2A may employ any detection method such as a pressure-sensitive method or an electrostatic method.
  • the display unit 2B includes, for example, a liquid crystal display (LCD, Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) panel, and the like, and displays characters, figures, images, and the like.
  • the display unit 2B can display a three-dimensional (3D) image, that is, an image that can be stereoscopically viewed by the user, by displaying a plurality of images in a superimposed manner. That is, the display unit 2B can display a three-dimensional (3D) image by overlapping and displaying a plurality of images.
  • the input unit 3 includes the buttons 20 and 22 and the input device 24 as described above.
  • the buttons 20 and 22 receive a user operation through physical input (pressing), and transmit a signal corresponding to the received operation to the main control unit 10.
  • the input device 24 also accepts a user operation and transmits a signal corresponding to the accepted operation to the main control unit 10.
  • the power supply unit 5 supplies power obtained from a storage battery or an external power supply to each functional unit of the mobile phone terminal 1 including the main control unit 10.
  • the communication unit 6 establishes a radio signal line by a CDMA system or the like with a base station via a channel assigned by the base station, and performs telephone communication and information communication with the base station.
  • the receiver 7 outputs the other party's voice, ringtone, and the like in telephone communication.
  • the microphone 8 converts the voice of the user or the like into an electrical signal.
  • the storage unit 9 is, for example, a nonvolatile memory or a magnetic storage device, and stores programs and data used for processing in the main control unit 10.
  • the storage unit 9 includes a mail program 9A for sending / receiving and browsing mail, a browser program 9B for browsing a WEB page, a camera program 9C for shooting an image with the first camera 16, and the like.
  • 3D (three-dimensional) image processing program 9D for capturing an image that can be displayed as a 3D (three-dimensional) image and displaying a 3D image, and a process that associates various conditions used when executing various programs
  • the condition table 9E and an image folder 9F in which images acquired by photographing are stored are stored.
  • the storage unit 9 also stores other programs and data such as an operating system program that realizes basic functions of the mobile phone terminal 1 and address book data in which names, telephone numbers, mail addresses, etc. are registered.
  • the storage unit 9 also stores a program for determining a control operation and processing based on an input operation input to the touch panel 2.
  • the control operations and processes include various operations and processes executed by the mobile phone terminal 1. For example, a cursor, a pointer movement, a screen display switching, a character input process, various application activation processes, and an end process are included. is there.
  • the image folder 9F stores a plurality of image data that can be displayed as a three-dimensional image by combining a plurality of images.
  • the image data that can be displayed as a three-dimensional image is associated with distance information (distance information between the subject and the shooting position) of the subject (object) included in the image.
  • the main control unit 10 is, for example, a CPU (Central Processing Unit) and comprehensively controls the operation of the mobile phone terminal 1. Specifically, the main control unit 10 executes the program stored in the storage unit 9 while referring to the data stored in the storage unit 9 as necessary, so that the touch panel 2, the input unit 3, Various processes are executed by controlling the communication unit 6, the first camera 16, the second camera 17, and the like. The main control unit 10 expands the program stored in the storage unit 9 and the data acquired / generated / processed by executing the process to the RAM 11 that provides a temporary storage area as necessary. The program executed by the main control unit 10 and the data to be referred to may be downloaded from the server device by wireless communication by the communication unit 6.
  • the program executed by the main control unit 10 and the data to be referred to may be downloaded from the server device by wireless communication by the communication unit 6.
  • the first camera 16 and the second camera 17 are imaging mechanisms for acquiring an image of an imaging region, in which an imaging window 52 for imaging an image is disposed so as to be exposed from the housing 12.
  • FIG. 4 is an explanatory diagram for explaining the relationship between the mobile phone terminal and the subject.
  • 5 and 6 are explanatory diagrams for explaining image correction processing of the mobile phone terminal.
  • the process shown in FIGS. 5 and 6 is an example of a process for correcting an image that can be displayed as a three-dimensional image taken by the mobile phone terminal 1.
  • the processing shown in FIGS. 5 and 6 is executed based on functions provided by the camera program 9C and the 3D image processing program 9D.
  • an image acquired by a function (image capturing function) provided by the camera program 9C is analyzed based on a function provided by the 3D image treatment program 9D, and based on a correction value input by the user, An image that can be displayed as a three-dimensional image is corrected.
  • Each program is processed by the main control unit 10.
  • the mobile phone terminal 1 captures an image that can be displayed as a three-dimensional image using a mountain 122, a person 124, and a tree 126 as subjects.
  • the subject mountain 122, the person 124, and the tree 126 are such that the mountain 122 is located farthest from the mobile phone terminal 1, and the person 124 is in front of the mountain 122 (on the mobile phone terminal 1 side than the mountain 122).
  • a tree 126 is in front of the person 124.
  • the first camera 16 acquires the image 62 and the second camera 17 acquires the image 64 as shown in step S ⁇ b> 1 of FIG. 5.
  • An image 62 captured by the first camera 16 is an image for the left eye, and includes a mountain 65L, a person 67L, and a tree 68L as subjects.
  • the image 64 photographed by the second camera 17 is an image for the right eye, and includes a mountain 65R, a person 67R, and a tree 68R as subjects. Note that the image 62 and the image 64 have different shooting positions, so that the positions of the subjects in the image are different.
  • the position of the tree 68L is a position at a distance A from the left end of the image.
  • the position of the tree 68R is a position B from the left end of the image.
  • the relationship between the distance A and the distance B is B ⁇ A.
  • the position of the person 67L is a position at a distance C from the left end of the image.
  • the position of the person 67R is a position at a distance D from the left end of the image.
  • the relationship between the distance C and the distance D is D ⁇ C.
  • the mobile phone terminal 1 uses the disparity between the two images, that is, the distance information (distance from the mobile phone terminal 1) of the subject included in the three-dimensional image based on the positional shift of each subject in the images 62 and 64. Depth information). Thereby, the cellular phone terminal 1 can detect the context of the subject. Note that the cellular phone terminal 1 only needs to know the context of the subject and the distance with constant accuracy, and does not need to detect the distance to the subject with high accuracy. Further, the cellular phone terminal 1 can acquire distance information from each of the first camera 16 and the second camera 17 to the subject.
  • the parallax of the tree 126 is AB and the parallax of the person 124 is CD in the three-dimensional image realized by overlapping and displaying the two images 62 and 64 in step S1. Also, the relationship between the parallax of the two subjects is (AB)> (CD), and the parallax of the tree 126 is larger than the parallax of the person 124. As a result, the tree 126 becomes a three-dimensional image that looks more stereoscopic than the person 124. That is, the tree 126 in front is displayed as a three-dimensional image having a stereoscopic effect.
  • the mobile phone terminal 1 After acquiring the image shown in step S1 of FIG. 5, the mobile phone terminal 1 corrects the acquired image based on the input operation when an operation for correcting the stereoscopic effect of the subject is input by the user. For example, when the user inputs a correction operation for emphasizing the stereoscopic effect of the person 124 in the subject, that is, a correction operation for displaying the image more stereoscopically, the mobile phone terminal 1 displays the image 62a as shown in step S2. Correction processing for moving the person 67La in the direction of the arrow 68 (right side of the screen) is performed. The mountain 65La and the tree 68La, which are other subjects of the image 62a, are not changed from the image 62.
  • the position of the person 67La is located at a distance C + ⁇ from the left end of the image.
  • the mobile phone terminal 1 moves the person 67La by ⁇ , so that the area where the person 67L is not displayed in the image 62a and the person 67La is no longer displayed in the image 62a is complemented by the image, so that the image is displayed. Can be filled.
  • the position of the person La is greatly moved for easy understanding.
  • the movement is a minute distance, and the process of complementing the image is performed, so that a sense of incongruity can be obtained.
  • the image 64 a is not changed from the image 64. That is, the mountain 65Ra, the person 67Ra, and the tree 68Ra of the image 64a remain the same as the mountain 65R, the person 67R, and the tree 68R of the image 64.
  • the parallax of the tree 126 is AB and the parallax of the person 124 is C + ⁇ -D.
  • the relationship between the parallax of the two subjects is (AB)> ((C + ⁇ ) ⁇ D), and the parallax of the tree 126 is larger than the parallax of the person 124.
  • the three-dimensional image realized by superimposing the image 62a and the image 64a and displaying the tree 126 in front of the person 124 is displayed as a three-dimensional image having a stereoscopic effect.
  • the parallax of the person 124 is increased by ⁇ .
  • a three-dimensional image in which the stereoscopic effect of the person 124 is further improved can be obtained.
  • the first camera 16 acquires the image 62 and the second camera 17 acquires the image 64 as shown in step S ⁇ b> 12 of FIG. 6.
  • the image in step S12 is the same image as the image in step S1 described above.
  • An image 62 captured by the first camera 16 is an image for the left eye, and includes a mountain 65L, a person 67L, and a tree 68L as subjects.
  • the image 64 photographed by the second camera 17 is an image for the right eye, and includes a mountain 65R, a person 67R, and a tree 68R as subjects. The distance from the left end of each subject is as described above.
  • the mobile phone terminal 1 After acquiring the image shown in step S12 of FIG. 6, the mobile phone terminal 1 corrects the acquired image based on the input operation when an operation for correcting the stereoscopic effect of the subject is input by the user. For example, when the user inputs a correction operation for suppressing the stereoscopic effect of the tree 126 in the subject, that is, a correction operation for displaying the tree 126 more flatly, the cellular phone terminal 1 displays the tree of the image 62b as shown in step S14. Correction processing for moving 68Lb in the direction of arrow 69 (left side of the screen) is performed. The mountain 65Lb and the person 67Lb, which are other subjects of the image 62b, are not changed from the image 62.
  • the position of the tree 68Lb is at a distance A- ⁇ from the left end of the image.
  • the mobile phone terminal 1 moves the tree 68Lb by ⁇ , so that the area where the tree 68L is not displayed in the image 62b but the tree 68Lb is not displayed in the image 62b is complemented by the image. Can be filled.
  • the image 64b is not changed from the image 64. That is, the mountain 65Rb, the person 67Rb, and the tree 68Rb in the image 64b remain the same as the mountain 65R, the person 67R, and the tree 68R in the image 64.
  • the parallax of the tree 126 is (A ⁇ ) ⁇ B, and the parallax of the person 124 is CD. .
  • the relationship between the parallax of the two subjects is ((A ⁇ ) ⁇ B)> (CD), and the parallax of the tree 126 is larger than the parallax of the person 124.
  • the three-dimensional image realized by superimposing the image 62b and the image 64b and displaying the tree 126 on the near side is displayed as a three-dimensional image having a stereoscopic effect.
  • the parallax of the tree 126 is reduced by ⁇ . Thereby, it can be set as the three-dimensional image in which the three-dimensional effect of the tree 126 was further suppressed.
  • the mobile phone terminal 1 can display a three-dimensional image of the stereoscopic effect desired by the user by correcting the stereoscopic effect of the subject specified by the user based on the correction value specified by the user. it can. Specifically, the mobile phone terminal 1 moves the position of the subject specified by the user in at least one of the plurality of images constituting the three-dimensional image, and the parallax (position of the position) between the plurality of images. Adjust the deviation amount. As described above, the mobile phone terminal 1 can adjust only the stereoscopic effect of the selected subject among the plurality of subjects constituting the three-dimensional image by correcting the parallax by correcting the position of only the specific subject.
  • the user can adjust the stereoscopic effect for each subject, and can display a three-dimensional image having a desired stereoscopic effect. Further, since it is possible to suppress a change in the stereoscopic effect of the subject that does not require adjustment, a three-dimensional image that is easy to view can be obtained.
  • the main control unit 10 of the mobile phone terminal 1 increases the parallax of the subject between a plurality of images and suppresses the stereoscopic effect. In this case, it is preferable to reduce the parallax of the subject between a plurality of images. Thereby, the stereoscopic effect of the subject can be adjusted appropriately.
  • the main control unit 10 adjusts the parallax, that is, the three-dimensional effect within a range in which the detected front-rear relationship between the subjects is not reversed.
  • the main control unit 10 can perform the above-described processing by acquiring distance information of each subject and storing it in the storage unit 9 and adjusting the stereoscopic effect based on the information. For this reason, it is preferable to acquire distance information of each subject and store it in the storage unit 9, but the present invention is not limited to this.
  • the distance information of the subject can be calculated every time by analyzing the image.
  • the mobile phone terminal 1 can also adjust the stereoscopic effect by adjusting the parallax without taking into account the distance information of the subject.
  • the main control unit 10 of the above embodiment sets the amount of change in parallax, that is, the correction amount to be constant at ⁇ , it is not limited to this.
  • the correction amount may be set arbitrarily by the user or may be a fixed amount (preset value). Further, the correction amount may be changed stepwise (stepwise) by repeating the correction process. In addition, even when the mobile phone terminal 1 allows the user to input the correction value as it is and the main control unit 10 determines the input value as the correction value, the user can input a certain instruction to the main control unit 10.
  • the correction value may be determined based on the operation in which is input.
  • the mobile phone terminal 1 may correct the stereoscopic effect of a plurality of subjects, respectively or in conjunction with each other.
  • one three-dimensional image is displayed with two images, but one three-dimensional image may be displayed with a larger number of images.
  • the cellular phone terminal 1 can capture a three-dimensional image composed of a plurality of pieces of image data by capturing a corresponding number of images of relative positions.
  • FIG. 7 is a front view showing the appearance of another embodiment of the mobile phone terminal.
  • FIG. 8 is a block diagram showing a schematic configuration of functions of the mobile phone terminal shown in FIG.
  • the cellular phone terminal 101 shown in FIGS. 7 and 8 is the same as the cellular phone terminal 1 shown in FIGS. 1 to 3 except that the number of cameras constituting the imaging unit is one. .
  • points peculiar to the mobile phone terminal 101 will be described mainly.
  • the cellular phone terminal 1 has a thin plate-like casing 12.
  • a touch panel 2 an input unit 3 including a button 20, a button 22, and an input device 24, a receiver 7, a microphone 8, and a camera 116 are disposed on the surface of a housing 12.
  • the camera 116 is disposed on the surface opposite to the surface on which the touch panel 2 is disposed.
  • the camera 116 is disposed at the same position as the first camera 16.
  • the mobile phone terminal 101 includes a touch panel 2, an input unit 3, a power supply unit 5, a communication unit 6, a receiver 7, a microphone 8, a storage unit 9, a main control unit 10, A RAM (Random Access Memory) 11 and a camera 116 are included.
  • RAM Random Access Memory
  • Various programs and data stored in the storage unit 9 of the mobile phone terminal 101 are basically the same, but the camera program 9C and the 3D image processing program 9D correspond to the fact that the shooting unit is only the camera 116. Then, an image that can be displayed as a three-dimensional image is captured and displayed by a process different from that of the cellular phone terminal 1.
  • FIG. 9 is an explanatory diagram for explaining the relationship between the mobile phone terminal and the subject.
  • FIG. 10 is an explanatory diagram for explaining a process of creating a three-dimensional image of the mobile phone terminal.
  • FIG. 11 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal. The processing shown in FIGS. 9 to 11 is executed based on the functions provided by the camera program 9C and the 3D image processing program 9D.
  • an image acquired by a function (image capturing function) provided by the camera program 9C is analyzed based on a function provided by the 3D image treatment program 9D, and based on a correction value input by the user, An image that can be displayed as a three-dimensional image is corrected.
  • Each program is processed by the main control unit 10.
  • the mobile phone terminal 101 captures an image that can be displayed as a three-dimensional image using a mountain 122, a person 124, and a tree 126 as subjects.
  • the mountain 122, the person 124, and the tree 126 of the subject are located at the position farthest from the mobile phone terminal 1, and the person 124 is located in front of the mountain 122 (on the mobile phone terminal 101 side than the mountain 122).
  • a tree 126 is in front of the person 124.
  • the mobile phone terminal 101 sets the parameter 150 based on the range of the distance from itself.
  • the parameter 150 is set based on the focal length (distance to the subject), and is set by the parameter P 1 , the parameter P 2 , the parameter P 3 , the parameter P 4 , and the parameter P 5 in order of increasing focal length.
  • Range closest focal distance is a parameter P 5. Note that the mountain 122 is in the range of the parameter P 1. People 124 is in the range of the parameter P 2. Tree 126 is in the range of the parameter P 4.
  • the mobile phone terminal 101 When the mobile phone terminal 101 captures the image in the positional relationship shown in FIG. 9, it acquires an image 130 as shown in FIG.
  • the image 130 includes a mountain 132, a person 134, and a tree 136 as subjects.
  • the mobile phone terminal 101 acquires an image while changing the focal position by the focal position adjustment mechanism 59 when the image 130 is captured, and calculates the focal length of each subject by analyzing the acquired image.
  • focal lengths at nine measurement regions 140 of the image 130 are calculated.
  • the cellular phone terminal 101 determines a parameter associated with the focal length of each measurement region 140 based on the focal length calculated in each measurement region 140.
  • the mobile phone terminal 101 determines a parameter to be associated with each subject based on the parameter associated with each measurement region 140 and the configuration of the subject.
  • the mobile phone terminal 101 associates the parameter P 1 with the subject mountain 132 based on the fact that the measurement area 140 in which the mountain 132 is reflected is the parameter P 1 , and the measurement in which the person 134 is reflected. region 140 (the lower left of the measurement region 140) is based on a parameter P 2, associates parameter P 2 in the person 134 subject, measuring tree 136 is reflected region 140 (the right side of the three measurement areas 140) based on but a parameter P 4, associates the parameters P 4 tree 136 of the object.
  • the cellular phone terminal 101 determines the parameters of each subject using the autofocus function using the focal position adjustment mechanism 59. Note that the position, configuration, and the like of the subject included in the image can be detected by analysis using descriptions such as image analysis, contour detection, face recognition, and pattern matching.
  • the cellular phone terminal 101 acquires an image 160 with the camera 116 as shown in step S21 of FIG.
  • the image 160 is the same image as the image 130.
  • the image 160 includes a mountain 162, a person 164, and a tree 166 as subjects.
  • the main control unit 10 of the mobile phone terminal 101 creates a right-eye image 160R and a left-eye image 160L from the captured image 160.
  • the right-eye image 160R is set as a reference image, and the same image as the image 160 is used.
  • the right-eye image 160R includes a mountain 162R, a person 164R, and a tree 166R as subjects, and the positions of the subjects are the same as those of the image 160.
  • the left-eye image 160L includes a mountain 162L, a person 164L, and a tree 166L as subjects.
  • the mobile phone terminal 101 corrects the position of each subject in the left-eye image 160L based on the parameter of the subject. Specifically, persons 164L is in distance moved corresponds to the parameter P 2 relative to the position of the person 164 in the image 160 in the direction of arrow 167 (right side in the drawing).
  • Trees 166L is in distance moved corresponds to the parameter P 4 with respect to the position of the tree 166 of the image 160 in the direction of arrow 168 (right side in the drawing).
  • the mobile phone terminal 101 the moving distance of the object parameter P 1 is set to 0.
  • the position of the peak 162L is the same position as the peak 162 of the image 160.
  • the mobile phone terminal 101 creates two parallax images, a right-eye image 160R and a left-eye image 160L, based on the image 160 and the acquired parameters.
  • the cellular phone terminal 101 can display a three-dimensional image by displaying the right-eye image 160R and the left-eye image 160L in an overlapping manner.
  • the parallax of the tree 166 is larger than the parallax of the person 164 in the three-dimensional image realized by overlapping and displaying the two images of the right-eye image 160R and the left-eye image 160L in step S22.
  • the tree 166 becomes a three-dimensional image that looks more stereoscopic than the person 164. That is, the tree 166 in front is displayed as a three-dimensional image with a stereoscopic effect.
  • the mobile phone terminal 1 After acquiring the image shown in step S22 of FIG. 11, the mobile phone terminal 1 corrects the acquired image based on the input operation when an operation for correcting the stereoscopic effect of the subject is input by the user. For example, when the user inputs a correction operation for emphasizing the stereoscopic effect of the person 164 in the subject, that is, a correction operation for more stereoscopic display, the person 164La of the left-eye image 160La is moved to an arrow as shown in step S24. Correction processing for moving in the direction 167a (right side of the screen) is performed. Specifically, the cellular phone terminal 1 adjusts parameters associated with the image of the person 164.
  • the person 164La moves to the right side of the person 164L.
  • the right-eye image 160Ra is a reference image and is not changed from the image 160. That is, the mountain 162Ra, the person 164Ra, and the tree 166Ra of the right-eye image 160a remain the same as the mountain 162, the person 164, and the tree 166 of the image 160.
  • the parallax of the tree 126 does not change and the parallax of the person 164 increases.
  • the person 164 is because it is a parameter P 3
  • three-dimensional images to be realized by displaying superimposed and right-eye image 160Ra and the left-eye image 160La is towards the tree 166 in the person 164 nearest the front of the three-dimensional effect Displayed as a 3D image.
  • the present invention is not limited to this.
  • a parameter associated with the person may be changed to a parameter associated with a farther subject.
  • the subject is not limited to a person, and the stereoscopic effect of each subject can be corrected.
  • the mobile phone terminal 1 limits the range in which the parameter can be corrected, and specifically adjusts the parameter within a range that does not reverse the context with other subjects (a range that maintains the context). Is preferred. Thereby, it is possible to adjust the stereoscopic effect while suppressing the overall balance of the image from being lost.
  • the focal length is divided into five ranges and parameters are set.
  • the number of ranges and the number of parameters for dividing the focal length are not particularly limited. By dividing into more ranges, the stereoscopic effect can be corrected in a finer range.
  • FIG. 12 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal.
  • the mobile phone terminal 101 preferably limits the correction value (correction amount) for correcting the stereoscopic effect of the subject to a certain range. By limiting the range of the correction amount, it is possible to prevent the actual sense of distance and the sense of distance (three-dimensional effect) of the three-dimensional image from being separated from each other.
  • the correction amount can be increased when the subject is far and the correction amount is limited to be small when the subject is close.
  • the correction amount is limited to be small when the subject is far and the correction amount can be increased when the subject is close.
  • more appropriate correction can be performed by setting the correction amount range according to the distance to the subject.
  • the mobile phone terminal 101 captures an image that can be displayed as a three-dimensional image using a mountain 170 and a person 172 as subjects.
  • the mountain 170 and the person 172 of the subject are located at a position where the mountain 122 is farthest from the mobile phone terminal 101, and the person 172 is in front of the mountain 170 (on the mobile phone terminal 101 side than the mountain 170).
  • the mobile phone terminal 101 sets the parameter 180 based on the range of the distance from itself.
  • the parameter 180 is set based on the focal length (distance to the subject), and the parameters p 1 , p 2 , p 3 , p 4 , p 5 , p 6 , p 6 , It is set with parameter p 7 and parameter p 8 .
  • Range closest focal distance is a parameter P 8. Note that the mountain 170 is in the range of the parameter P 1. People 172, are in the range of the parameter P 2.
  • the correction for enhancing the stereoscopic effect and the correction for suppressing the stereoscopic effect can be performed.
  • the correction for enhancing the stereoscopic effect is made up to two stages, that is, correction up to the parameter P 7, and the correction for suppressing the stereoscopic effect is made up to two stages, ie, correction up to the parameter P 3 .
  • the cellular phone terminal 1 may automatically perform correction for suppressing the stereoscopic effect for a subject close to the distance.
  • a close subject may be difficult to see because the parallax increases and the stereoscopic effect is enhanced.
  • the three-dimensional image can be suitably viewed by automatically suppressing the stereoscopic effect.
  • the focal length calculated by the autofocus function (aperture adjustment function) of the camera is used to connect the housing and the subject.
  • the present invention is not limited to this, and various functions for calculating the distance to the subject can be used.
  • various distance detecting means for calculating the distance to the object such as an infrared sensor and an ultrasonic sensor can be used.
  • a three-dimensional image is displayed by displaying a plurality of images superimposed on one display unit.
  • the present invention is not limited to this.
  • a display device that includes a display surface for the right-eye image and a display surface for the left-eye image, and display a three-dimensional image by displaying an image on each display surface.
  • a plurality of images can be stacked and displayed for vision, and a three-dimensional image can be displayed.
  • the present invention is an electronic device having a simple display panel on which a touch sensor is not superimposed as a display unit. It can also be applied to.
  • the mobile phone terminal has both a function of capturing a 3D image and a function of displaying a 3D image.
  • the present invention is not limited to this. Various applications are possible as long as the electronic device has a function of displaying the three-dimensional image of the embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 三次元画像を好適に表示することができる電子機器を提供することを課題とする。本発明に係る電子機器は、操作部と、複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、三次元画像を構成する複数の画像データを併せて記憶する記憶部と、操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも1つの画像の対象物の位置を補正し、補正した画像を含む複数の画像を表示部に重ねて対象物を三次元画像として表示させる制御部と、を有することで上記課題を解決する。

Description

電子機器
 本発明は、三次元画像の表示を行う電子機器に関する。
 近年では、三次元画像を表示させる電子機器が提案されている。この電子機器に表示させる三次元画像を撮影する装置は、例えばミラー等を配置して角度をずらした2つの画像を撮影することで、三次元画像として再生可能な画像を撮影できる(特許文献1、2、3参照)。また、複数台の撮影装置を配置して夫々の撮影装置で同時に画像を撮影することでも、三次元画像として再生可能な画像を撮影できる(特許文献4参照)。
特開2000-92517号公報 特開2000-134641号公報 特開2004-70302号公報 特開平11-341518号公報
 特許文献1から4に記載された方法で撮影した画像は、重ねて表示することで三次元画像として表示することができる。しかしながら、取得した2つの画像を重ねても利用者が期待する三次元画像とはならない場合がある。
 本発明は、上記に鑑みてなされたものであって、三次元画像を好適に表示することができる電子機器を提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明は、電子機器であって、操作部と、複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、三次元画像を構成する複数の画像データを併せて記憶する記憶部と、前記操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、前記対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも1つの画像の前記対象物の位置を補正し、補正した画像を含む複数の画像を前記表示部に重ねて前記対象物を三次元画像として表示させる制御部と、を有することを特徴とする。
 ここで、前記三次元画像は、複数の対象物で構成されることが好ましい。
 また、前記制御部は、前記対象物の立体感の補正値に基づいて、前記立体感を強調する場合は、前記複数の画像間での対象物の視差を大きくし、前記立体感を抑制する場合は、前記複数の画像間での対象物の視差を小さくすることが好ましい。
 また、前記制御部は、前記複数の対象物の間の前後関係が逆転しない範囲で前記視差を調整することが好ましい。
 また、前記制御部は、前記複数の対象物同士の距離に基づいて設定可能な補正値の範囲を決定することが好ましい。
 また、三次元画像として表示可能な画像を撮影する撮影部をさらに有し、前記制御部は、前記撮影部による三次元画像の撮影時に当該撮影部から対象物までの距離情報を取得することが好ましい。
 また、前記撮影部は、所定間隔離れた2つのカメラを有し、前記制御部は、前記2つのカメラでそれぞれ撮影した画像を解析し、前記2つのカメラでそれぞれ撮影した2つの画像の視差に基づいて当該2つのカメラの各々から前記対象物までの距離情報を取得することが好ましい。
 また、前記撮影部は、焦点位置調整機構を有し、前記制御部は、前記画像の撮影時に焦点位置調整機構で焦点位置を移動させることで取得した焦点距離情報を解析し、当該撮影部から前記対象物までの距離情報を取得することが好ましい。
 本発明にかかる電子機器は、三次元画像を好適に表示することができるという効果を奏する。
図1は、携帯電話端末の一実施形態の外観を示す正面図である。 図2は、第1カメラの概略構成を示す説明図である。 図3は、図1に示す携帯電話端末の機能の概略構成を示すブロック図である。 図4は、携帯電話端末と被写体との関係を説明するための説明図である。 図5は、携帯電話端末の画像補正処理を説明するための説明図である。 図6は、携帯電話端末の画像補正処理を説明するための説明図である。 図7は、携帯電話端末の他の実施形態の外観を示す正面図である。 図8は、図7に示す携帯電話端末の機能の概略構成を示すブロック図である。 図9は、携帯電話端末と被写体との関係を説明するための説明図である。 図10は、携帯電話端末の三次元画像の作成処理を説明するための説明図である。 図11は、携帯電話端末の画像補正処理を説明するための説明図である。 図12は、携帯電話端末の画像補正処理を説明するための説明図である。
 以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器として携帯電話端末を例として説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、三次元(3D)画像表示機能を備える各種装置、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、パーソナルコンピュータ、ゲーム機等に対しても本発明は適用できる。また、三次元(3D)画像表示機能のみを有する電子機器としては、携帯電子機器に限定されず、テレビ、モニタ等、固定型の各種装置にも用いることができる。
 図1は、携帯電話端末の一実施形態の外観を示す正面図である。携帯電話端末1は、薄板状の筐体12を有する。携帯電話端末1は、筐体12の表面に、タッチパネル2と、ボタン20、ボタン22及び入力デバイス24からなる入力部3と、レシーバ7と、マイク8と、第1カメラ16と、第2カメラ17と、が配置されている。タッチパネル2は、板状の筐体12の面積が最も広い面に配置されている。また、入力部3も、筐体12のタッチパネル2が配置されている面の、長手方向の一方の端部に配置されている。入力部3は、短手方向の一方から他方に向かって、ボタン20、入力デバイス24、ボタン22の順で配置されている。また、レシーバ7は、筐体12のタッチパネル2が配置されている面の長手方向の他方の端部、つまり、入力部3が配置されている端部とは反対側の端部に配置されている。また、マイク8は、筐体12のタッチパネル2が配置されている面の長手方向の一方の端部、つまり、入力部3が配置されている端部に配置されている。また、第1カメラ16と第2カメラ17とは、タッチパネル2が配置されている面とは反対側の面に配置されている。また、第1カメラ16と第2カメラ17とは、一定距離離間した位置に配置されている。また、図1に示す向き、つまり使用者がタッチパネル2側から携帯電話端末1を見た向きでは、第1カメラ16が左側のカメラとなり、第2カメラ17が右側のカメラとなる。本実施形態では、第1カメラ16と第2カメラ17とが撮像部となる。
 タッチパネル2は、文字、図形、画像等を表示するとともに、指、スタイラス、ペン(ペンの先端、棒状部材の先端)等(以下、単に「指」という)を用いてタッチパネル2に対して行われる各種動作を検出する。例えば、携帯電話端末1は、利用者から文字の入力を受け付けるために、タッチパネル2上に仮想キーボードを表示させる。携帯電話端末1は、タッチパネル2上に仮想キーボードを表示させた状態で、指によってタッチパネル2に入力される各種動作を検出し、仮想キーボードのどのキーが押下されたか、接触されたかを検出し、押下、接触を検出したキーを入力したキーとすることで、文字入力を行うことができる。また、タッチパネル2は、文字の入力によらず、表示させている画像と、指によってタッチパネル2に対して行われる各種動作とに基づいて、各種操作の入力を検出し、入力された操作に基づいて各種制御を行う。
 入力部3は、ボタン20、22が押下された場合に、押下されたボタンに対応する機能を起動させる。また、入力部3は、入力デバイス24に入力された動作も操作として検出し、入力された操作に基づいて各種制御を行う。例えば、入力デバイス24は、方向指示操作や決定操作を検出する。入力デバイス24は、タッチパッド、光学式入力デバイス、4方及び中央にボタンを備える入力デバイス等で構成される。
 第1カメラ16と第2カメラ17とは、画像を撮影する撮影装置である。なお、第1カメラ16と第2カメラ17とは、配置位置が異なるのみで基本的に同様の構成である。以下、代表して第1カメラ16の構成について説明する。第1カメラ16は、画像を撮影する撮影装置であり、図2に示すように、撮影窓52と光学系54と受光部58と焦点位置調整機構59とを有する。撮影窓52は、筐体12のタッチパネル2が配置されている面とは反対側の面に露出して配置されている。撮影窓52は、透明な部材で構成されており、筐体12の外部の光から入射する光を内部に入射(案内)させる。光学系54は、撮影窓52から筐体12内部に入射した光を受光部58に案内するレンズ等の光学部材で構成されている。なお、光学系54は、撮影窓52から入射した光のうち、所定の角度範囲(撮影領域)から入射した光を選択的に受光部58に案内する。受光部58は、撮影領域の画像情報を取得する装置であり、受光面にフォトダイオードをマトリックス状に配列させた撮像素子(CMOSイメージセンサ、CCDイメージセンサ等)を備える。受光部58は、受光面に画像が結像されると、撮像素子で結像された画像を読み取り、読み取った画像を電子データである画像情報に変換する。焦点位置調整機構59は、光学系54の相対位置を調整し、撮影窓52から入射し受光部58に入射される光のうち受光部58で結像する被写体(対象物)の距離を調整する。つまり、焦点位置調整機構59は、焦点位置を調整する。焦点位置調整機構59は、光学系54の少なくとも1つのレンズの位置を調整する機構、光学系54の全体の相対位置を調整する機構等で構成される。
 第1カメラ16は、以上のような構成であり、撮影窓52から入射した撮影領域の光を光学系54で受光部58に案内し、受光部58で結像された光を読み取ることで、撮影領域の画像を取得する。また、第1カメラ16は、焦点位置調整機構59で焦点位置を調整することができる。なお、第1カメラ16は、焦点位置調整機構59により焦点位置を変化させつつ各焦点距離での画像を取得し適切な焦点距離を決定することで、オートフォーカス機能を実現する。なお、第1カメラ16は、これらの機能に加え、ズーム機能も備えている。
 次に、携帯電話端末1の機能と制御部との関係を説明する。図3は、図1に示す携帯電話端末の機能の概略構成を示すブロック図である。図3に示すように携帯電話端末1は、タッチパネル2と、入力部3と、電源部5と、通信部6と、レシーバ7と、マイク8と、記憶部9と、主制御部10と、RAM(Random Access Memory)11と、第1カメラ16と、第2カメラ17と、を有する。
 タッチパネル2は、表示部2Bと、表示部2Bに重畳されたタッチセンサ2Aとを有する。タッチセンサ2Aは、指を用いてタッチパネル2に対して行われた各種動作を、動作が行われた場所のタッチパネル2上での位置とともに検出する。タッチセンサ2Aによって検出される動作には、指をタッチパネル2の表面に接触させる動作や、指をタッチパネル2の表面に接触させたまま移動させる動作や、指をタッチパネル2の表面から離す動作が含まれる。なお、タッチセンサ2Aは、感圧式、静電式等のいずれの検出方式を採用していてもよい。表示部2Bは、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro-Luminescence)パネル等で構成され、文字、図形、画像等を表示する。また、表示部2Bは、複数の画像を重ねて表示させて三次元(3D)画像、つまり利用者が立体視できる画像を表示できる。つまり、表示部2Bは、複数の画像を重ねて表示させることで三次元(3D)画像を表示できる。
 入力部3は、上述したようにボタン20、22と、入力デバイス24とを有する。ボタン20、22は、物理的な入力(押下)を通じて利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部10へ送信する。また、入力デバイス24も、利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部10へ送信する。
 電源部5は、蓄電池または外部電源から得られる電力を、主制御部10を含む携帯電話端末1の各機能部へ供給する。通信部6は、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA方式等による無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。レシーバ7は、電話通信における相手側の音声や着信音等を出力する。マイク8は、利用者等の音声を電気的な信号へ変換する。
 記憶部9は、例えば、不揮発性メモリや磁気記憶装置であり、主制御部10での処理に利用されるプログラムやデータを保存する。具体的には、記憶部9は、メールの送受信や閲覧のためのメールプログラム9Aや、WEBページの閲覧のためのブラウザプログラム9Bや、第1カメラ16で画像を撮影するためのカメラプログラム9Cや、3D(三次元)画像として表示可能な画像を撮影するためおよび3D画像を表示するための3D(三次元)画像処理プログラム9Dや、各種プログラムを実行する際に用いる各種条件を対応付けた処理条件テーブル9Eや、撮影等により取得された画像が格納された画像フォルダ9Fを記憶する。また、記憶部9には、携帯電話端末1の基本的な機能を実現するオペレーティングシステムプログラムや、氏名、電話番号、メールアドレス等が登録されたアドレス帳データ等の他のプログラムやデータも記憶される。また、記憶部9には、タッチパネル2に入力された入力操作に基づいて制御動作、処理を決定するプログラム等も記憶される。なお、制御動作、処理とは、携帯電話端末1で実行する各種動作、処理が含まれ、例えば、カーソル、ポインタの移動、画面の表示切換、文字入力処理、各種アプリケーションの起動処理、終了処理がある。画像フォルダ9Fには、複数の画像を組み合わせることで三次元画像として表示可能な画像データが複数記憶されている。また、この三次元画像として表示可能な画像データは、画像に含まれる被写体(対象物)の距離情報(被写体と撮影位置との距離情報)が対応付けられている。
 主制御部10は、例えば、CPU(Central Processing Unit)であり、携帯電話端末1の動作を統括的に制御する。具体的には、主制御部10は、記憶部9に記憶されているデータを必要に応じて参照しつつ、記憶部9に記憶されているプログラムを実行して、タッチパネル2、入力部3、通信部6、第1カメラ16、第2カメラ17等を制御することによって各種処理を実行する。主制御部10は、記憶部9に記憶されているプログラムや、処理を実行することによって取得/生成/加工されたデータを、一時的な記憶領域を提供するRAM11に必要に応じて展開する。なお、主制御部10が実行するプログラムや参照するデータは、通信部6による無線通信でサーバ装置からダウンロードすることとしてもよい。
 第1カメラ16、第2カメラ17は、それぞれ画像を撮影する撮影窓52が、筐体12から露出して配置されており、撮影領域の画像を取得する撮像機構である。
 次に、図4から図6を用いて、三次元画像として表示可能な画像の補正処理の一例について説明する。図4は、携帯電話端末と被写体との関係を説明するための説明図である。また、図5および図6は、携帯電話端末の画像補正処理を説明するための説明図である。図5および図6に示す処理は、携帯電話端末1により撮影した三次元画像で表示可能な画像を補正する処理の一例である。図5および図6に示す処理は、カメラプログラム9C、3D画像処置プログラム9Dが提供する機能に基づいて実行される。より具体的には、カメラプログラム9Cが提供する機能(画像撮影機能)により取得した画像を3D画像処置プログラム9Dが提供する機能に基づいて解析し、利用者により入力される補正値に基づいて、三次元画像として表示可能な画像を補正する。なお、各プログラムの処理は、主制御部10が行う。
 本実施形態では、図4に示すように、携帯電話端末1が山122と人物124と木126とを被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山122と人物124と木126とは、山122が携帯電話端末1から最も遠い位置にあり、山122の手前(山122よりも携帯電話端末1側)に人物124がおり、人物124の手前に木126がある。
 携帯電話端末1は、図4に示す位置関係で撮影を行うと、図5のステップS1に示すように、第1カメラ16で画像62を取得し、第2カメラ17で画像64を取得する。第1カメラ16で撮影した画像62は、左目用の画像となり、被写体として山65Lと人物67Lと木68Lとを含む。第2カメラ17で撮影した画像64は、右目用の画像となり、被写体として山65Rと人物67Rと木68Rとを含む。なお、画像62と画像64とは、撮影位置がずれているため、画像内における被写体の位置が異なる。具体的には、画像62は、木68Lの位置が画像の左端から距離Aの位置となる。これに対して、画像64は、木68Rの位置が画像の左端から距離Bの位置となる。なお距離Aと距離Bとの関係は、B<Aとなる。画像62は、人物67Lの位置が画像の左端から距離Cの位置となる。これに対して、画像64は、人物67Rの位置が画像の左端から距離Dの位置となる。なお距離Cと距離Dとの関係は、D<Cとなる。このように画像62と画像64の2つの視差のある画像を取得することで三次元画像として表示可能な画像を撮影することができる。また、携帯電話端末1は、2つの画像の視差、つまり、画像62と画像64における各被写体の位置のずれに基づいて三次元画像に含まれる被写体の距離情報(携帯電話端末1からの距離、奥行き情報)を取得する。これにより、携帯電話端末1は、被写体の前後関係を検出することができる。なお、携帯電話端末1は、被写体の前後関係や一定精度での距離がわかればよく、被写体との距離を高精度に検出しなくてもよい。また、携帯電話端末1は、第1カメラ16、第2カメラ17の各々から被写体までの距離情報を取得することができる。
 ここで、ステップS1の画像62と画像64の2つの画像を重ねて表示させることで実現する三次元画像は、木126の視差がA-Bとなり、人物124の視差がC-Dとなる。また、2つの被写体の視差の関係は、(A-B)>(C-D)となり、木126の視差が人物124の視差よりも大きくなる。これにより、木126の方が人物124より立体的に見える三次元画像となる。つまり、より手前にある木126の方が立体感のある三次元画像として表示される。
 携帯電話端末1は、図5のステップS1に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち人物124の立体感を強調する補正、つまり、より立体的に表示させる補正の操作を入力した場合、携帯電話端末1は、ステップS2に示すように、画像62aの人物67Laを矢印68方向(画面の右側)に移動させる補正処理を行う。なお、画像62aの他の被写体である山65Laと木68Laは、画像62から変化させない。これにより、画像62aは、人物67Laの位置が画像の左端から距離C+αの位置となる。なお、携帯電話端末1は、人物67Laをα分移動させることで、画像62で人物67Lが表示されていて画像62aで人物67Laが表示されなくなった領域については、画像補完することで、画像を埋めることができる。なお、図5のステップS2では、わかりやすくするために人物Laの位置を大きく移動させたが、実際の処理では、微小な距離の移動であり、画像を補完する処理を行うことで、違和感の少ない画像にすることができる。また、画像64aは、画像64から変化させない。つまり、画像64aの山65Raと人物67Raと木68Raとは、画像64の山65Rと人物67Rと木68Rと同一のままである。
 ステップS2の画像62aと画像64aの2つの画像を重ねて表示させることで実現する三次元画像は、木126の視差がA-Bとなり、人物124の視差がC+α-Dとなる。また、2つの被写体の視差の関係は、(A-B)>((C+α)-D)となり、木126の視差が人物124の視差よりも大きくなる。このように、画像62aと画像64aとを重ねて表示させて実現する三次元画像も人物124よりも手前にある木126の方が立体感のある三次元画像として表示される。また、画像62aと画像64aとを重ねて表示させて実現する三次元画像は、人物124の視差がα分大きくなっている。これにより人物124の立体感がより向上した三次元画像とすることができる。
 次に、図6を用いて、他の補正処理について説明する。携帯電話端末1は、図4に示す位置関係で撮影を行うと、図6のステップS12に示すように、第1カメラ16で画像62を取得し、第2カメラ17で画像64を取得する。なお、ステップS12の画像は、上述したステップS1の画像と同一の画像である。第1カメラ16で撮影した画像62は、左目用の画像となり、被写体として山65Lと人物67Lと木68Lとを含む。第2カメラ17で撮影した画像64は、右目用の画像となり、被写体として山65Rと人物67Rと木68Rとを含む。また、各被写体の左端からの距離は、上述したとおりである。
 携帯電話端末1は、図6のステップS12に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち木126の立体感を抑制する補正、つまりより平面的に表示させる補正の操作を入力した場合、携帯電話端末1は、ステップS14に示すように、画像62bの木68Lbを矢印69方向(画面の左側)に移動させる補正処理を行う。なお、画像62bの他の被写体である山65Lbと人物67Lbは、画像62から変化させない。これにより、画像62bは、木68Lbの位置が画像の左端から距離A-αの位置となる。なお、携帯電話端末1は、木68Lbをα分移動させることで、画像62で木68Lが表示されていて画像62bで木68Lbが表示されなくなった領域については、画像補完することで、画像を埋めることができる。また、画像64bは、画像64から変化させない。つまり、画像64bの山65Rbと人物67Rbと木68Rbとは、画像64の山65Rと人物67Rと木68Rと同一のままである。
 ステップS14の画像62bと画像64bの2つの画像を重ねて表示させることで実現する三次元画像は、木126の視差が(A-α)-Bとなり、人物124の視差がC-Dとなる。また、2つの被写体の視差の関係は、((A-α)-B)>(C-D)となり、木126の視差が人物124の視差よりも大きくなる。このように、画像62bと画像64bとを重ねて表示させて実現する三次元画像もより手前にある木126の方が立体感のある三次元画像として表示される。また、画像62bと画像64bとを重ねて表示させて実現する三次元画像は、木126の視差がα分小さくなっている。これにより木126の立体感がより抑制された三次元画像とすることができる。
 携帯電話端末1は、このように利用者が指定した被写体の立体感を利用者が指定した補正値に基づいて補正することで、利用者が所望する立体感の三次元画像を表示させることができる。具体的には、携帯電話端末1は、三次元画像を構成する複数の画像うち、少なくとも一枚の画像で、利用者が指定した被写体の位置を移動させ、複数の画像間における視差(位置のずれ量)を調整する。このように携帯電話端末1は、特定の被写体のみの位置を補正して視差を補正することで三次元画像を構成する複数の被写体のうち選択した被写体の立体感のみを調整することができる。これにより、利用者は、被写体毎に立体感を調整することができ、所望の立体感の三次元画像を表示させることが可能となる。また、調整の必要がない被写体の立体感が変化することを抑制できるため、見やすい三次元画像とすることができる。
 また、携帯電話端末1の主制御部10は、被写体の立体感の補正値に基づいて、立体感を強調する場合は、複数の画像間での被写体の視差を大きくし、立体感を抑制する場合は、複数の画像間での被写体の視差を小さくすること好ましい。これにより、対象の被写体の立体感を適切に調整することができる。
 また、主制御部10は、検出した被写体間の前後関係が逆転しない範囲で視差つまり立体感を調整することが好ましい。このように視差の調整量を制限することで、実際の画像と前後関係が逆転する画像となることを抑制し、不要な違和感を生じる三次元画像を表示させることを抑制することができる。また、主制御部10は、各被写体の距離情報を取得し記憶部9に記憶させ、その情報に基づいて立体感を調整することで、上記処理を行うことができる。このため、各被写体の距離情報を取得し記憶部9に記憶させることが好ましいが、これに限定されない。被写体の距離情報は画像を解析して毎回算出することができる。また、携帯電話端末1は、被写体の距離情報を加味せずに、視差を調整することでも立体感を調整することができる。
 なお、上記実施形態の主制御部10は、視差の変化量、つまり補正量をαで一定としたがこれに限定されない。補正量は、利用者が任意に設定可能としても、一定量(プリセット値)としてもよい。また、補正処理を繰り返すことで補正量を段階的に(ステップ状で)変化させるようにしてもよい。また、携帯電話端末1は、利用者に補正値をそのまま入力させ主制御部10が入力された値を補正値として決定するようにしても、利用者に一定の指示を入力させ主制御部10が入力された操作に基づいて補正値を決定するようにしてもよい。
 また、上記実施形態では、三次元画像を構成する複数の被写体のうち1つの被写体の立体感のみを補正する場合として説明したがこれに限定されない。携帯電話端末1は、複数の被写体の立体感をそれぞれまたは連動して補正してもよい。
 また、上記実施形態では、2枚の画像で1つの三次元画像を表示させる場合としたが、さらに多くの枚数で1つの三次元画像を表示させるようにしてもよい。この場合、携帯電話端末1は、必要な相対位置の画像を対応する枚数分撮影することで、複数枚の画像データで構成される三次元画像を撮影することができる。
 次に、図7および図8を用いて、携帯電話端末の他の実施形態について説明する。図7は、携帯電話端末の他の実施形態の外観を示す正面図である。図8は、図7に示す携帯電話端末の機能の概略構成を示すブロック図である。なお、図7および図8に示す携帯電話端末101は、撮像部を構成するカメラが1つであることを除いて他の構成は、図1から図3に示す携帯電話端末1と同様である。以下、携帯電話端末101に特有の点を重点的に説明する。
 携帯電話端末1は、薄板状の筐体12を有する。携帯電話端末1は、筐体12の表面に、タッチパネル2と、ボタン20、ボタン22及び入力デバイス24からなる入力部3と、レシーバ7と、マイク8と、カメラ116と、が配置されている。カメラ116は、タッチパネル2が配置されている面とは反対側の面に配置されている。カメラ116は、第1カメラ16と同様の位置に配置されている。図8に示すように携帯電話端末101は、タッチパネル2と、入力部3と、電源部5と、通信部6と、レシーバ7と、マイク8と、記憶部9と、主制御部10と、RAM(Random Access Memory)11と、カメラ116と、を有する。なお、携帯電話端末101の記憶部9に記憶されている各種プログラム、データは基本的に同様であるが、カメラプログラム9Cおよび3D画像処理プログラム9Dは、撮影部がカメラ116のみであることに対応して、携帯電話端末1とは異なる処理で三次元画像として表示可能な画像を撮影し、表示させる。
 図9から図11を用いて、三次元画像として表示可能な画像の撮影処理および補正処理の一例について説明する。図9は、携帯電話端末と被写体との関係を説明するための説明図である。図10は、携帯電話端末の三次元画像の作成処理を説明するための説明図である。図11は、携帯電話端末の画像補正処理を説明するための説明図である。図9から図11に示す処理は、カメラプログラム9C、3D画像処置プログラム9Dが提供する機能に基づいて実行される。より具体的には、カメラプログラム9Cが提供する機能(画像撮影機能)により取得した画像を3D画像処置プログラム9Dが提供する機能に基づいて解析し、利用者により入力される補正値に基づいて、三次元画像として表示可能な画像を補正する。なお、各プログラムの処理は、主制御部10が行う。
 本実施形態でも、図9に示すように、携帯電話端末101が山122と人物124と木126とを被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山122と人物124と木126とは、山122が携帯電話端末1から最も遠い位置にあり、山122の手前(山122よりも携帯電話端末101側)に人物124がおり、人物124の手前に木126がある。ここで、携帯電話端末101は、自身からの距離の範囲に基づいてパラメータ150を設定する。なお、パラメータ150は、焦点距離(被写体との距離)に基づいて設定され、焦点距離が遠い順に、パラメータP、パラメータP、パラメータP、パラメータP、パラメータPで設定される。焦点距離が最も近い範囲がパラメータPとなる。なお、山122は、パラメータPの範囲にある。人物124は、パラメータPの範囲にある。木126は、パラメータPの範囲にある。
 携帯電話端末101は、図9に示す位置関係で撮影を行うと、図10に示すように、画像130を取得する。画像130は、被写体として山132と人物134と木136とを含む。また、携帯電話端末101は、画像130の撮影時に焦点位置調整機構59により焦点位置を変化させつつ画像を取得し、取得した画像を解析することで、各被写体の焦点距離を算出する。なお、本実施形態では、画像130の9箇所の測定領域140での焦点距離を算出する。携帯電話端末101は、各測定領域140で算出した焦点距離に基づいて、各測定領域140の焦点距離が対応付けられたパラメータを決定する。携帯電話端末101は、各測定領域140に対応付けられたパラメータと被写体の構成とに基づいて、各被写体に対応付けるパラメータを決定する。具体的には、携帯電話端末101は、山132が映っている測定領域140がパラメータPであることに基づいて、被写体の山132にパラメータPを対応付け、人物134が映っている測定領域140(左下の測定領域140)がパラメータPであることに基づいて、被写体の人物134にパラメータPを対応付け、木136が映っている測定領域140(右側の3つの測定領域140)がパラメータPであることに基づいて、被写体の木136にパラメータPを対応付ける。このように、携帯電話端末101は、焦点位置調整機構59を用いたオートフォーカス機能を用いて、各被写体のパラメータを決定する。なお、画像に含まれる被写体の位置、構成等は画像解析、輪郭検出、顔認識、パターンマッチング等の記述を用いた解析で検出することができる。
 次に、補正処理について説明する。携帯電話端末101は、図11のステップS21に示すように、カメラ116で画像160を取得する。なお、画像160は、画像130と同様の画像である。画像160は、被写体として山162と人物164と木166とを含む。携帯電話端末101の主制御部10は、ステップS22として、撮影した画像160から右目用画像160Rと左目用画像160Lとを作成する。ここで、本実施形態では、右目用画像160Rを基準の画像とし、画像160と同一の画像とする。右目用画像160R、被写体として山162Rと人物164Rと木166Rとを含み、各被写体の位置は、画像160と同様である。左目用画像160Lは、被写体として山162Lと人物164Lと木166Lとを含む。携帯電話端末101は、左目用画像160Lの各被写体の位置を当該被写体のパラメータに基づいて補正する。具体的には、人物164Lは、画像160の人物164の位置に対して矢印167の方向(図中右側)にパラメータPに対応した距離移動している。木166Lは、画像160の木166の位置に対して矢印168の方向(図中右側)にパラメータPに対応した距離移動している。なお、携帯電話端末101は、パラメータPの被写体の移動距離を0としている。このため、山162Lの位置は、画像160の山162と同一位置である。またパラメータPからパラメータPの移動距離の設定は、P<P<P<P<Pとなる。従って、左目用画像160Lは、画像160に対して木166Lが人164Lよりも大きい距離移動している。このように、より近くにある被写体ほど移動量(つまり視差の量)を大きくすることで、より手前にある被写体がより立体的となり、肉眼で被写体を見た場合の見え方に近い三次元画像を表示することができる。
 携帯電話端末101は、画像160と取得したパラメータとに基づいて右目用画像160Rと左目用画像160Lの2つの視差のある画像を作製する。携帯電話端末101は、右目用画像160Rと左目用画像160Lとを重ねて表示することで三次元画像として表示することができる。
 ここで、ステップS22の右目用画像160Rと左目用画像160Lとの2つの画像を重ねて表示させることで実現する三次元画像は、木166の視差が人物164の視差よりも大きくなる。これにより、木166の方が人物164より立体的に見える三次元画像となる。つまり、より手前にある木166の方が立体感のある三次元画像として表示される。
 携帯電話端末1は、図11のステップS22に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち人物164の立体感を強調する補正、つまり、より立体的に表示させる補正の操作を入力した場合、ステップS24に示すように、左目用画像160Laの人物164Laを矢印167a方向(画面の右側)に移動させる補正処理を行う。具体的には、携帯電話端末1は、人物164の画像に対応付けたパラメータを調整する。具体的には人物164の画像に対応付けるパラメータを、パラメータPから、より近い位置の被写体に対応付けるパラメータPとする。これにより、人物164Laは、人物164Lよりも右側に移動する。なお、左目用画像160Laの他の被写体である山162Laと木166Laは、左目用画像160Lから変化させない。また、右目用画像160Raは、基準画像であるので画像160から変化させない。つまり、右目用画像160aの山162Raと人物164Raと木166Raとは、画像160の山162と人物164と木166と同一のままである。
 ステップS24の右目用画像160Raと左目用画像160Laの2つの画像を重ねて表示させることで実現する三次元画像は、木126の視差は変化せず、人物164の視差が大きくなる。これにより人物164の立体感がより向上した三次元画像とすることができる。また、人物164はパラメータPであるため、右目用画像160Raと左目用画像160Laとを重ねて表示させて実現する三次元画像は、人物164もより手前にある木166の方が立体感のある三次元画像として表示される。
 なお、上記実施形態では、人物の立体感を強調する場合としたがこれに限定されない。例えば人物の立体感を抑制する場合、人物に対応付けているパラメータをより遠くの被写体に対応付けるパラメータに変更すればよい。なお、被写体も人物に限定されず、各被写体の立体感を補正することができる。
 このように、1枚の画像を焦点距離(焦点距離に対応付けたパラメータ)に基づいて加工して視差のある2枚の画像を作成し、三次元画像として表示可能な画像を作成する場合でも、被写体毎に視差を調整することで上記と同様に利用者が所望する立体感の三次元画像を作成することができる。
 また、携帯電話端末1は、パラメータを補正可能な範囲を制限することで、具体的には、他の被写体との前後関係を逆転しない範囲(前後関係を維持する範囲)でパラメータを調整することが好ましい。これにより、画像の全体のバランスが崩れることを抑制しつつ、立体感を調整することができる。
 なお、上記実施形態では、焦点距離を5つの範囲に分け、パラメータを設定したが焦点距離を分ける範囲の数、パラメータの数は特に限定されない。より多くの範囲に分けることで、立体感をより細かい範囲で補正することができる。
 図12は、携帯電話端末の画像補正処理を説明するための説明図である。携帯電話端末101は、被写体の立体感を補正する補正値(補正量)を一定範囲に制限することが好ましい。補正量の範囲を制限することで、実際の距離感と三次元画像の距離感(立体感)とがかけ離れることを抑制することができる。なお、立体感を強調する補正は、被写体が遠い場合は補正量を大きくでき、被写体が近い場合は補正量を小さく制限することが好ましい。立体感を抑制する補正は、被写体が遠い場合は補正量を小さく制限し、被写体が近い場合は補正量を大きくできることが好ましい。このように、被写体との距離に応じて補正量の範囲を設定することで、より適切な補正を行うことができる。
 図12に示すように、携帯電話端末101が山170と人物172を被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山170と人物172とは、山122が携帯電話端末101から最も遠い位置にあり、山170の手前(山170よりも携帯電話端末101側)に人物172がいる。ここで、携帯電話端末101は、自身からの距離の範囲に基づいてパラメータ180を設定する。なお、パラメータ180は、焦点距離(被写体との距離)に基づいて設定され、焦点距離が遠い順に、パラメータp、パラメータp、パラメータp、パラメータp、パラメータp、パラメータp、パラメータp、パラメータpで設定される。焦点距離が最も近い範囲がパラメータPとなる。なお、山170は、パラメータPの範囲にある。人物172は、パラメータPの範囲にいる。
 このように、補正対象の被写体が人物172の場合、つまり被写体が遠い位置にいる場合は、立体感を強調する補正は可能とし、立体感を抑制する補正は不可とする。なお、立体感を強調する補正も3段階まで、つまりパラメータPとする補正までとする。
 また、補正対象の被写体がパラメータpの領域にいる人物174の場合、つまり被写体が中間領域にいる場合は、立体感を強調する補正も、立体感を抑制する補正も可能とする。なお、立体感を強調する補正は2段階まで、つまりパラメータPとする補正までとし、立体感を抑制する補正は2段階まで、つまりパラメータPとする補正までとする。
 また、補正対象の被写体がパラメータpの領域にいる人物176の場合、つまり被写体が近い位置にいる場合は、立体感を強調する補正は不可とし、立体感を抑制する補正を可能とする。なお、立体感を抑制する補正は3段階まで、つまりパラメータPとする補正までとする。
 このように、被写体の位置に応じて、補正量の範囲を制限することで、適切な補正を実行できる。
 また、携帯電話端末1は、距離が近い被写体は、自動的に立体感を抑制する補正を行うようにしてもよい。近い被写体は、視差が大きくなり立体感が強調されるため、見えにくくなる場合がある。この場合も自動的に立体感を抑制することで三次元画像を好適に見ることができる。
 また、上記実施形態では、既存の装置構成で実現可能であり、装置構成を簡単にできるため、カメラのオートフォーカス機能(絞りの調整機能)で算出した焦点距離を用いて筐体と被写体との距離を検出したがこれに限定されず、被写体との距離を算出する種々の機能を用いることができる。例えば、赤外線センサ、超音波センサ等、対象物との距離を算出する種々の距離検出手段を用いることができる。
 また、上記実施形態では、複数の画像を1つの表示部に重ねて表示させることで三次元画像を表示させたが、これに限定されない。例えば、右目用画像の表示面と左目用画像の表示面をそれぞれ備える表示装置を用いて、それぞれの表示面に画像を表示させて三次元画像を表示させる構成としてもよい。この場合も視覚に対して複数の画像を積層させて表示させることができ、三次元画像を表示することができる。
 また、上記の実施形態では、表示部としてタッチパネルを有する電子機器に本発明を適用する例について説明したが、本発明は、表示手段として、タッチセンサが重畳されていない単なる表示パネルを有する電子機器に適用することもできる。
 また、上記実施形態では、三次元画像を撮影する機能と三次元画像を表示させる機能とを両方持つ携帯電話端末として説明したが、これには限定されない。上記実施形態の三次元画像を表示させる機能を備える電子機器であれば、各種適用が可能である。
1、101 携帯電話端末
2 タッチパネル
2A タッチセンサ
2B 表示部
3 入力部
5 電源部
6 通信部
7 レシーバ
8 マイク
9 記憶部
9A メールプログラム
9B ブラウザプログラム
9C カメラプログラム
9D 3D画像処理プログラム
9E 処理条件テーブル
9F 画像フォルダ
10 主制御部
11 RAM
12 筐体
16 第1カメラ
17 第2カメラ
116 カメラ

Claims (8)

  1.  操作部と、
     複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、
     三次元画像を構成する複数の画像データを併せて記憶する記憶部と、
     前記操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、前記対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも1つの画像の前記対象物の位置を補正し、補正した画像を含む複数の画像を前記表示部に重ねて前記対象物を三次元画像として表示させる制御部と、を有することを特徴とする電子機器。
  2.  前記三次元画像は、複数の対象物で構成されることを特徴とする請求項1に記載の電子機器。
  3.  前記制御部は、前記対象物の立体感の補正値に基づいて、前記立体感を強調する場合は、前記複数の画像間での対象物の視差を大きくし、前記立体感を抑制する場合は、前記複数の画像間での対象物の視差を小さくすることを特徴とする請求項1または2に記載の電子機器。
  4.  前記制御部は、前記複数の対象物の間の前後関係が逆転しない範囲で前記視差を調整することを特徴とする請求項3に記載の電子機器。
  5.  前記制御部は、前記複数の対象物同士の距離に基づいて設定可能な補正値の範囲を決定することを特徴とする請求項1から4のいずれか一項に記載の電子機器。
  6.  三次元画像として表示可能な画像を撮影する撮影部をさらに有し、
     前記制御部は、前記撮影部による三次元画像の撮影時に当該撮影部から対象物までの距離情報を取得することを特徴とする請求項1から5のいずれか一項に記載の電子機器。
  7.  前記撮影部は、所定間隔離れた2つのカメラを有し、
     前記制御部は、前記2つのカメラでそれぞれ撮影した画像を解析し、前記2つのカメラでそれぞれ撮影した2つの画像の視差に基づいて当該2つのカメラの各々から前記対象物までの距離情報を取得することを特徴とする請求項6に記載の電子機器。
  8.  前記撮影部は、焦点位置調整機構を有し、
     前記制御部は、前記画像の撮影時に焦点位置調整機構で焦点位置を移動させることで取得した焦点距離情報を解析し、当該撮影部から前記対象物までの距離情報を取得することを特徴とする請求項6に記載の電子機器。
PCT/JP2012/057366 2011-03-25 2012-03-22 電子機器 WO2012133117A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/007,293 US9462259B2 (en) 2011-03-25 2012-03-22 Electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011068935A JP2012205148A (ja) 2011-03-25 2011-03-25 電子機器
JP2011-068935 2011-03-25

Publications (1)

Publication Number Publication Date
WO2012133117A1 true WO2012133117A1 (ja) 2012-10-04

Family

ID=46930844

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057366 WO2012133117A1 (ja) 2011-03-25 2012-03-22 電子機器

Country Status (3)

Country Link
US (1) US9462259B2 (ja)
JP (1) JP2012205148A (ja)
WO (1) WO2012133117A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10512389B2 (en) 2015-01-13 2019-12-24 Sony Corporation Image processing device, image processing method, and endoscope system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5851625B2 (ja) * 2013-03-29 2016-02-03 株式会社東芝 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
US9317730B1 (en) * 2014-01-22 2016-04-19 Cognex Corporation Tuning process for a handheld scanner
US11019323B2 (en) * 2015-02-06 2021-05-25 Tara Chand Singhal Apparatus and method for 3D like camera system in a handheld mobile wireless device
CN113906736A (zh) * 2019-06-07 2022-01-07 索尼集团公司 视频分发系统、视频分发方法和显示终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264851A (ja) * 2002-03-11 2003-09-19 Sanyo Electric Co Ltd 立体画像撮像装置
JP2004200973A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2009042082A (ja) * 2007-08-09 2009-02-26 Fujifilm Corp 三次元座標系の設定方法および装置
JP2011019084A (ja) * 2009-07-09 2011-01-27 Sony Corp 画像処理装置、画像処理方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3579585B2 (ja) 1998-05-26 2004-10-20 日本電信電話株式会社 多視点同時観察型水平配置立体画像表示システム
JP2000092517A (ja) 1998-09-08 2000-03-31 Sanyu Seni:Kk 2、3次元映像取り込み装置
JP2000134641A (ja) 1998-10-22 2000-05-12 Sanyu Seni:Kk 立体写真撮影用デジタルスチルカメラ
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004070302A (ja) 2002-06-12 2004-03-04 Eriko Shimizu 立体画面構成方式
US7636088B2 (en) 2003-04-17 2009-12-22 Sharp Kabushiki Kaisha 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
JP2004363680A (ja) 2003-06-02 2004-12-24 Pioneer Electronic Corp 表示装置及び方法
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP2009053748A (ja) * 2007-08-23 2009-03-12 Nikon Corp 画像処理装置、画像処理プログラムおよびカメラ
US8922625B2 (en) * 2009-11-19 2014-12-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20110157155A1 (en) * 2009-12-31 2011-06-30 Disney Enterprises, Inc. Layer management system for choreographing stereoscopic depth
WO2011086636A1 (ja) * 2010-01-13 2011-07-21 パナソニック株式会社 ステレオ画像用撮像装置、ステレオ画像用撮像方法、ステレオ画像表示装置、および、プログラム
WO2011086558A1 (en) * 2010-01-14 2011-07-21 Humaneyes Technologies Ltd. Lenticular image articles and method and apparatus of reducing banding artifacts in lenticular image articles
WO2011108277A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
US20110273437A1 (en) * 2010-05-04 2011-11-10 Dynamic Digital Depth Research Pty Ltd Data Dependent Method of Configuring Stereoscopic Rendering Parameters
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
WO2012101917A1 (ja) * 2011-01-26 2012-08-02 富士フイルム株式会社 画像処理装置、撮像装置、再生装置および画像処理方法
US20120200670A1 (en) * 2011-02-04 2012-08-09 Nokia Corporation Method and apparatus for a disparity limit indicator

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264851A (ja) * 2002-03-11 2003-09-19 Sanyo Electric Co Ltd 立体画像撮像装置
JP2004200973A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2009042082A (ja) * 2007-08-09 2009-02-26 Fujifilm Corp 三次元座標系の設定方法および装置
JP2011019084A (ja) * 2009-07-09 2011-01-27 Sony Corp 画像処理装置、画像処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10512389B2 (en) 2015-01-13 2019-12-24 Sony Corporation Image processing device, image processing method, and endoscope system
US10993603B2 (en) 2015-01-13 2021-05-04 Sony Corporation Image processing device, image processing method, and endoscope system

Also Published As

Publication number Publication date
JP2012205148A (ja) 2012-10-22
US20140015937A1 (en) 2014-01-16
US9462259B2 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
WO2012115253A1 (ja) 電子機器、画像表示方法及び画像表示プログラム
JP5655174B2 (ja) 画像処理装置、撮像装置および画像処理方法
KR20160046706A (ko) 이동단말기 및 그 제어방법
US9491352B2 (en) Imaging device, signal processing method, and signal processing program
WO2012133117A1 (ja) 電子機器
US9596455B2 (en) Image processing device and method, and imaging device
JP2006010489A (ja) 情報装置、情報入力方法およびプログラム
WO2014097734A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014106917A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JPWO2014045689A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
KR20160146037A (ko) 카메라의 초점을 변경하는 방법 및 장치
JP2017041887A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5542248B2 (ja) 撮像素子及び撮像装置
JP2012175694A (ja) 電子機器
JPWO2013145820A1 (ja) 撮影装置、方法、記憶媒体及びプログラム
US20110115885A1 (en) User interface for autofocus
EP3599763A2 (en) Method and apparatus for controlling image display
KR20170026002A (ko) 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
JP2016149772A (ja) 電子機器
JP5756652B2 (ja) 電子機器
JP2015138263A (ja) レンズモジュール及び撮像モジュール並びに撮像装置
JP5701124B2 (ja) 携帯電子機器
JP2012175692A (ja) 電子機器
KR101324809B1 (ko) 휴대용 단말기 및 그 제어방법
JP2014044729A (ja) 画面表示制御方法、画面表示制御方式、電子機器及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12765292

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14007293

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12765292

Country of ref document: EP

Kind code of ref document: A1