WO2012133117A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2012133117A1
WO2012133117A1 PCT/JP2012/057366 JP2012057366W WO2012133117A1 WO 2012133117 A1 WO2012133117 A1 WO 2012133117A1 JP 2012057366 W JP2012057366 W JP 2012057366W WO 2012133117 A1 WO2012133117 A1 WO 2012133117A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional image
unit
phone terminal
images
Prior art date
Application number
PCT/JP2012/057366
Other languages
English (en)
French (fr)
Inventor
良和 足立
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US14/007,293 priority Critical patent/US9462259B2/en
Publication of WO2012133117A1 publication Critical patent/WO2012133117A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an electronic device that displays a three-dimensional image.
  • An apparatus that captures a three-dimensional image to be displayed on the electronic apparatus can capture an image that can be reproduced as a three-dimensional image by capturing, for example, two images at different angles by arranging a mirror or the like (Patent Document 1). 2, 3).
  • an image that can be reproduced as a three-dimensional image can be captured by arranging a plurality of imaging devices and simultaneously capturing images with each of the imaging devices (see Patent Document 4).
  • Images captured by the methods described in Patent Documents 1 to 4 can be displayed as a three-dimensional image by displaying them in an overlapping manner. However, there are cases where the obtained two images are not superimposed on the three-dimensional image expected by the user.
  • the present invention has been made in view of the above, and an object thereof is to provide an electronic apparatus capable of suitably displaying a three-dimensional image.
  • the present invention is an electronic apparatus, an operation unit, a display unit capable of displaying a three-dimensional image by overlapping a plurality of images, and a three-dimensional A storage unit that stores a plurality of pieces of image data constituting the image, and a correction value for the stereoscopic effect of the object of the three-dimensional image is determined based on the operation detected by the operation unit. And correcting the position of the object in at least one of a plurality of images constituting the three-dimensional image based on the correction value of the image, and superimposing the plurality of images including the corrected image on the display unit so that the object is tertiary And a control unit that displays the original image.
  • the three-dimensional image is composed of a plurality of objects.
  • the said control part enlarges the parallax of the target object between these several images, and suppresses the said three-dimensional effect, when enhancing the said three-dimensional effect based on the correction value of the three-dimensional effect of the said target object In this case, it is preferable to reduce the parallax of the object between the plurality of images.
  • control unit adjusts the parallax within a range in which the front-rear relationship between the plurality of objects is not reversed.
  • control unit determines a range of correction values that can be set based on a distance between the plurality of objects.
  • the image capturing unit may further include an image capturing unit that captures an image that can be displayed as a three-dimensional image, and the control unit may acquire distance information from the image capturing unit to the object when the three-dimensional image is captured by the image capturing unit. preferable.
  • the photographing unit includes two cameras separated by a predetermined interval, and the control unit analyzes the images photographed by the two cameras, and calculates the parallax between the two images photographed by the two cameras. Preferably, distance information from each of the two cameras to the object is acquired.
  • the photographing unit includes a focal position adjustment mechanism
  • the control unit analyzes focal length information acquired by moving a focal position by the focal position adjustment mechanism when photographing the image, and from the photographing unit. It is preferable to acquire distance information to the object.
  • the electronic device according to the present invention has an effect that a three-dimensional image can be suitably displayed.
  • FIG. 1 is a front view showing an appearance of an embodiment of a mobile phone terminal.
  • FIG. 2 is an explanatory diagram showing a schematic configuration of the first camera.
  • FIG. 3 is a block diagram showing a schematic configuration of functions of the mobile phone terminal shown in FIG.
  • FIG. 4 is an explanatory diagram for explaining the relationship between the mobile phone terminal and the subject.
  • FIG. 5 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal.
  • FIG. 6 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal.
  • FIG. 7 is a front view showing the appearance of another embodiment of the mobile phone terminal.
  • FIG. 8 is a block diagram showing a schematic configuration of functions of the mobile phone terminal shown in FIG. FIG.
  • FIG. 9 is an explanatory diagram for explaining the relationship between the mobile phone terminal and the subject.
  • FIG. 10 is an explanatory diagram for explaining a process of creating a three-dimensional image of the mobile phone terminal.
  • FIG. 11 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal.
  • FIG. 12 is an explanatory diagram for explaining image correction processing of the mobile phone terminal.
  • a mobile phone terminal will be described as an example of an electronic device.
  • the application target of the present invention is not limited to a mobile phone terminal, and various devices having a three-dimensional (3D) image display function, for example, PHS
  • the present invention can also be applied to (Personal Handy-phone System), PDAs, portable navigation devices, personal computers, game machines, and the like.
  • the electronic device having only a three-dimensional (3D) image display function is not limited to a portable electronic device, and can be used for various fixed devices such as a television and a monitor.
  • FIG. 1 is a front view showing an appearance of an embodiment of a mobile phone terminal.
  • the mobile phone terminal 1 has a thin plate-like housing 12.
  • the mobile phone terminal 1 includes a touch panel 2, an input unit 3 including a button 20, a button 22, and an input device 24, a receiver 7, a microphone 8, a first camera 16, and a second camera on the surface of a housing 12. 17 are arranged.
  • the touch panel 2 is arranged on the surface having the widest area of the plate-like housing 12.
  • the input unit 3 is also disposed at one end in the longitudinal direction of the surface of the housing 12 on which the touch panel 2 is disposed.
  • the input unit 3 is arranged in the order of the button 20, the input device 24, and the button 22 from one side to the other side in the short direction.
  • the receiver 7 is disposed at the other end in the longitudinal direction of the surface of the housing 12 where the touch panel 2 is disposed, that is, at the end opposite to the end where the input unit 3 is disposed. Yes.
  • the microphone 8 is disposed at one end in the longitudinal direction of the surface of the housing 12 where the touch panel 2 is disposed, that is, the end where the input unit 3 is disposed.
  • the first camera 16 and the second camera 17 are disposed on the surface opposite to the surface on which the touch panel 2 is disposed. Further, the first camera 16 and the second camera 17 are arranged at a position separated by a certain distance. In the direction shown in FIG. 1, that is, the direction in which the user looks at the mobile phone terminal 1 from the touch panel 2 side, the first camera 16 becomes the left camera and the second camera 17 becomes the right camera. In the present embodiment, the first camera 16 and the second camera 17 serve as an imaging unit.
  • the touch panel 2 displays characters, figures, images, and the like, and is performed on the touch panel 2 using a finger, a stylus, a pen (a tip of a pen, a tip of a rod-like member) or the like (hereinafter simply referred to as “finger”). Detect various actions.
  • the mobile phone terminal 1 displays a virtual keyboard on the touch panel 2 in order to accept input of characters from the user.
  • the mobile phone terminal 1 detects various operations input to the touch panel 2 with a finger in a state where the virtual keyboard is displayed on the touch panel 2, detects which key of the virtual keyboard is pressed or touched, Character input can be performed by using a key that has been detected as pressed or touched as an input key.
  • the touch panel 2 detects the input of various operations based on the displayed image and various operations performed on the touch panel 2 with a finger regardless of the input of characters, and based on the input operations.
  • Various controls are examples of various operations based on the displayed image and various operations performed on the touch panel 2 with a finger
  • the input unit 3 activates a function corresponding to the pressed button when the buttons 20 and 22 are pressed.
  • the input unit 3 also detects an operation input to the input device 24 as an operation, and performs various controls based on the input operation.
  • the input device 24 detects a direction instruction operation or a determination operation.
  • the input device 24 includes a touch pad, an optical input device, an input device having buttons on the four sides and the center, and the like.
  • the first camera 16 and the second camera 17 are photographing devices for photographing images.
  • the first camera 16 and the second camera 17 have basically the same configuration except for the arrangement position.
  • the configuration of the first camera 16 will be described as a representative.
  • the first camera 16 is a photographing device that captures an image, and includes a photographing window 52, an optical system 54, a light receiving unit 58, and a focal position adjusting mechanism 59, as shown in FIG.
  • the photographing window 52 is disposed so as to be exposed on the surface opposite to the surface on which the touch panel 2 of the housing 12 is disposed.
  • the photographing window 52 is made of a transparent member, and makes light incident from light outside the housing 12 enter (guide) the inside.
  • the optical system 54 is configured by an optical member such as a lens that guides light incident from the photographing window 52 into the housing 12 to the light receiving unit 58.
  • the optical system 54 selectively guides light incident from a predetermined angle range (imaging region) out of light incident from the imaging window 52 to the light receiving unit 58.
  • the light receiving unit 58 is a device that acquires image information of a photographing region, and includes an image pickup device (a CMOS image sensor, a CCD image sensor, or the like) in which photodiodes are arranged in a matrix on the light receiving surface. When the image is formed on the light receiving surface, the light receiving unit 58 reads the image formed by the imaging element and converts the read image into image information that is electronic data.
  • the focal position adjusting mechanism 59 adjusts the relative position of the optical system 54 and adjusts the distance of the subject (object) that forms an image on the light receiving unit 58 out of the light incident from the photographing window 52 and incident on the light receiving unit 58. . That is, the focal position adjustment mechanism 59 adjusts the focal position.
  • the focal position adjustment mechanism 59 includes a mechanism that adjusts the position of at least one lens of the optical system 54, a mechanism that adjusts the relative position of the entire optical system 54, and the like.
  • the first camera 16 is configured as described above, and guides the light of the photographing region incident from the photographing window 52 to the light receiving unit 58 by the optical system 54 and reads the light imaged by the light receiving unit 58. Acquire an image of the shooting area. Further, the first camera 16 can adjust the focal position by the focal position adjusting mechanism 59. The first camera 16 implements an autofocus function by acquiring images at each focal length while changing the focal position by the focal position adjusting mechanism 59 and determining an appropriate focal length. The first camera 16 has a zoom function in addition to these functions.
  • FIG. 3 is a block diagram showing a schematic configuration of functions of the mobile phone terminal shown in FIG.
  • the mobile phone terminal 1 includes a touch panel 2, an input unit 3, a power supply unit 5, a communication unit 6, a receiver 7, a microphone 8, a storage unit 9, a main control unit 10, A RAM (Random Access Memory) 11, a first camera 16, and a second camera 17 are included.
  • RAM Random Access Memory
  • the touch panel 2 includes a display unit 2B and a touch sensor 2A superimposed on the display unit 2B.
  • the touch sensor 2A detects various operations performed on the touch panel 2 using a finger together with the position on the touch panel 2 where the operation is performed.
  • the operations detected by the touch sensor 2 ⁇ / b> A include an operation of bringing a finger into contact with the surface of the touch panel 2, an operation of moving a finger while keeping the surface in contact with the surface of the touch panel 2, and an operation of moving the finger away from the surface of the touch panel 2. It is.
  • the touch sensor 2A may employ any detection method such as a pressure-sensitive method or an electrostatic method.
  • the display unit 2B includes, for example, a liquid crystal display (LCD, Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) panel, and the like, and displays characters, figures, images, and the like.
  • the display unit 2B can display a three-dimensional (3D) image, that is, an image that can be stereoscopically viewed by the user, by displaying a plurality of images in a superimposed manner. That is, the display unit 2B can display a three-dimensional (3D) image by overlapping and displaying a plurality of images.
  • the input unit 3 includes the buttons 20 and 22 and the input device 24 as described above.
  • the buttons 20 and 22 receive a user operation through physical input (pressing), and transmit a signal corresponding to the received operation to the main control unit 10.
  • the input device 24 also accepts a user operation and transmits a signal corresponding to the accepted operation to the main control unit 10.
  • the power supply unit 5 supplies power obtained from a storage battery or an external power supply to each functional unit of the mobile phone terminal 1 including the main control unit 10.
  • the communication unit 6 establishes a radio signal line by a CDMA system or the like with a base station via a channel assigned by the base station, and performs telephone communication and information communication with the base station.
  • the receiver 7 outputs the other party's voice, ringtone, and the like in telephone communication.
  • the microphone 8 converts the voice of the user or the like into an electrical signal.
  • the storage unit 9 is, for example, a nonvolatile memory or a magnetic storage device, and stores programs and data used for processing in the main control unit 10.
  • the storage unit 9 includes a mail program 9A for sending / receiving and browsing mail, a browser program 9B for browsing a WEB page, a camera program 9C for shooting an image with the first camera 16, and the like.
  • 3D (three-dimensional) image processing program 9D for capturing an image that can be displayed as a 3D (three-dimensional) image and displaying a 3D image, and a process that associates various conditions used when executing various programs
  • the condition table 9E and an image folder 9F in which images acquired by photographing are stored are stored.
  • the storage unit 9 also stores other programs and data such as an operating system program that realizes basic functions of the mobile phone terminal 1 and address book data in which names, telephone numbers, mail addresses, etc. are registered.
  • the storage unit 9 also stores a program for determining a control operation and processing based on an input operation input to the touch panel 2.
  • the control operations and processes include various operations and processes executed by the mobile phone terminal 1. For example, a cursor, a pointer movement, a screen display switching, a character input process, various application activation processes, and an end process are included. is there.
  • the image folder 9F stores a plurality of image data that can be displayed as a three-dimensional image by combining a plurality of images.
  • the image data that can be displayed as a three-dimensional image is associated with distance information (distance information between the subject and the shooting position) of the subject (object) included in the image.
  • the main control unit 10 is, for example, a CPU (Central Processing Unit) and comprehensively controls the operation of the mobile phone terminal 1. Specifically, the main control unit 10 executes the program stored in the storage unit 9 while referring to the data stored in the storage unit 9 as necessary, so that the touch panel 2, the input unit 3, Various processes are executed by controlling the communication unit 6, the first camera 16, the second camera 17, and the like. The main control unit 10 expands the program stored in the storage unit 9 and the data acquired / generated / processed by executing the process to the RAM 11 that provides a temporary storage area as necessary. The program executed by the main control unit 10 and the data to be referred to may be downloaded from the server device by wireless communication by the communication unit 6.
  • the program executed by the main control unit 10 and the data to be referred to may be downloaded from the server device by wireless communication by the communication unit 6.
  • the first camera 16 and the second camera 17 are imaging mechanisms for acquiring an image of an imaging region, in which an imaging window 52 for imaging an image is disposed so as to be exposed from the housing 12.
  • FIG. 4 is an explanatory diagram for explaining the relationship between the mobile phone terminal and the subject.
  • 5 and 6 are explanatory diagrams for explaining image correction processing of the mobile phone terminal.
  • the process shown in FIGS. 5 and 6 is an example of a process for correcting an image that can be displayed as a three-dimensional image taken by the mobile phone terminal 1.
  • the processing shown in FIGS. 5 and 6 is executed based on functions provided by the camera program 9C and the 3D image processing program 9D.
  • an image acquired by a function (image capturing function) provided by the camera program 9C is analyzed based on a function provided by the 3D image treatment program 9D, and based on a correction value input by the user, An image that can be displayed as a three-dimensional image is corrected.
  • Each program is processed by the main control unit 10.
  • the mobile phone terminal 1 captures an image that can be displayed as a three-dimensional image using a mountain 122, a person 124, and a tree 126 as subjects.
  • the subject mountain 122, the person 124, and the tree 126 are such that the mountain 122 is located farthest from the mobile phone terminal 1, and the person 124 is in front of the mountain 122 (on the mobile phone terminal 1 side than the mountain 122).
  • a tree 126 is in front of the person 124.
  • the first camera 16 acquires the image 62 and the second camera 17 acquires the image 64 as shown in step S ⁇ b> 1 of FIG. 5.
  • An image 62 captured by the first camera 16 is an image for the left eye, and includes a mountain 65L, a person 67L, and a tree 68L as subjects.
  • the image 64 photographed by the second camera 17 is an image for the right eye, and includes a mountain 65R, a person 67R, and a tree 68R as subjects. Note that the image 62 and the image 64 have different shooting positions, so that the positions of the subjects in the image are different.
  • the position of the tree 68L is a position at a distance A from the left end of the image.
  • the position of the tree 68R is a position B from the left end of the image.
  • the relationship between the distance A and the distance B is B ⁇ A.
  • the position of the person 67L is a position at a distance C from the left end of the image.
  • the position of the person 67R is a position at a distance D from the left end of the image.
  • the relationship between the distance C and the distance D is D ⁇ C.
  • the mobile phone terminal 1 uses the disparity between the two images, that is, the distance information (distance from the mobile phone terminal 1) of the subject included in the three-dimensional image based on the positional shift of each subject in the images 62 and 64. Depth information). Thereby, the cellular phone terminal 1 can detect the context of the subject. Note that the cellular phone terminal 1 only needs to know the context of the subject and the distance with constant accuracy, and does not need to detect the distance to the subject with high accuracy. Further, the cellular phone terminal 1 can acquire distance information from each of the first camera 16 and the second camera 17 to the subject.
  • the parallax of the tree 126 is AB and the parallax of the person 124 is CD in the three-dimensional image realized by overlapping and displaying the two images 62 and 64 in step S1. Also, the relationship between the parallax of the two subjects is (AB)> (CD), and the parallax of the tree 126 is larger than the parallax of the person 124. As a result, the tree 126 becomes a three-dimensional image that looks more stereoscopic than the person 124. That is, the tree 126 in front is displayed as a three-dimensional image having a stereoscopic effect.
  • the mobile phone terminal 1 After acquiring the image shown in step S1 of FIG. 5, the mobile phone terminal 1 corrects the acquired image based on the input operation when an operation for correcting the stereoscopic effect of the subject is input by the user. For example, when the user inputs a correction operation for emphasizing the stereoscopic effect of the person 124 in the subject, that is, a correction operation for displaying the image more stereoscopically, the mobile phone terminal 1 displays the image 62a as shown in step S2. Correction processing for moving the person 67La in the direction of the arrow 68 (right side of the screen) is performed. The mountain 65La and the tree 68La, which are other subjects of the image 62a, are not changed from the image 62.
  • the position of the person 67La is located at a distance C + ⁇ from the left end of the image.
  • the mobile phone terminal 1 moves the person 67La by ⁇ , so that the area where the person 67L is not displayed in the image 62a and the person 67La is no longer displayed in the image 62a is complemented by the image, so that the image is displayed. Can be filled.
  • the position of the person La is greatly moved for easy understanding.
  • the movement is a minute distance, and the process of complementing the image is performed, so that a sense of incongruity can be obtained.
  • the image 64 a is not changed from the image 64. That is, the mountain 65Ra, the person 67Ra, and the tree 68Ra of the image 64a remain the same as the mountain 65R, the person 67R, and the tree 68R of the image 64.
  • the parallax of the tree 126 is AB and the parallax of the person 124 is C + ⁇ -D.
  • the relationship between the parallax of the two subjects is (AB)> ((C + ⁇ ) ⁇ D), and the parallax of the tree 126 is larger than the parallax of the person 124.
  • the three-dimensional image realized by superimposing the image 62a and the image 64a and displaying the tree 126 in front of the person 124 is displayed as a three-dimensional image having a stereoscopic effect.
  • the parallax of the person 124 is increased by ⁇ .
  • a three-dimensional image in which the stereoscopic effect of the person 124 is further improved can be obtained.
  • the first camera 16 acquires the image 62 and the second camera 17 acquires the image 64 as shown in step S ⁇ b> 12 of FIG. 6.
  • the image in step S12 is the same image as the image in step S1 described above.
  • An image 62 captured by the first camera 16 is an image for the left eye, and includes a mountain 65L, a person 67L, and a tree 68L as subjects.
  • the image 64 photographed by the second camera 17 is an image for the right eye, and includes a mountain 65R, a person 67R, and a tree 68R as subjects. The distance from the left end of each subject is as described above.
  • the mobile phone terminal 1 After acquiring the image shown in step S12 of FIG. 6, the mobile phone terminal 1 corrects the acquired image based on the input operation when an operation for correcting the stereoscopic effect of the subject is input by the user. For example, when the user inputs a correction operation for suppressing the stereoscopic effect of the tree 126 in the subject, that is, a correction operation for displaying the tree 126 more flatly, the cellular phone terminal 1 displays the tree of the image 62b as shown in step S14. Correction processing for moving 68Lb in the direction of arrow 69 (left side of the screen) is performed. The mountain 65Lb and the person 67Lb, which are other subjects of the image 62b, are not changed from the image 62.
  • the position of the tree 68Lb is at a distance A- ⁇ from the left end of the image.
  • the mobile phone terminal 1 moves the tree 68Lb by ⁇ , so that the area where the tree 68L is not displayed in the image 62b but the tree 68Lb is not displayed in the image 62b is complemented by the image. Can be filled.
  • the image 64b is not changed from the image 64. That is, the mountain 65Rb, the person 67Rb, and the tree 68Rb in the image 64b remain the same as the mountain 65R, the person 67R, and the tree 68R in the image 64.
  • the parallax of the tree 126 is (A ⁇ ) ⁇ B, and the parallax of the person 124 is CD. .
  • the relationship between the parallax of the two subjects is ((A ⁇ ) ⁇ B)> (CD), and the parallax of the tree 126 is larger than the parallax of the person 124.
  • the three-dimensional image realized by superimposing the image 62b and the image 64b and displaying the tree 126 on the near side is displayed as a three-dimensional image having a stereoscopic effect.
  • the parallax of the tree 126 is reduced by ⁇ . Thereby, it can be set as the three-dimensional image in which the three-dimensional effect of the tree 126 was further suppressed.
  • the mobile phone terminal 1 can display a three-dimensional image of the stereoscopic effect desired by the user by correcting the stereoscopic effect of the subject specified by the user based on the correction value specified by the user. it can. Specifically, the mobile phone terminal 1 moves the position of the subject specified by the user in at least one of the plurality of images constituting the three-dimensional image, and the parallax (position of the position) between the plurality of images. Adjust the deviation amount. As described above, the mobile phone terminal 1 can adjust only the stereoscopic effect of the selected subject among the plurality of subjects constituting the three-dimensional image by correcting the parallax by correcting the position of only the specific subject.
  • the user can adjust the stereoscopic effect for each subject, and can display a three-dimensional image having a desired stereoscopic effect. Further, since it is possible to suppress a change in the stereoscopic effect of the subject that does not require adjustment, a three-dimensional image that is easy to view can be obtained.
  • the main control unit 10 of the mobile phone terminal 1 increases the parallax of the subject between a plurality of images and suppresses the stereoscopic effect. In this case, it is preferable to reduce the parallax of the subject between a plurality of images. Thereby, the stereoscopic effect of the subject can be adjusted appropriately.
  • the main control unit 10 adjusts the parallax, that is, the three-dimensional effect within a range in which the detected front-rear relationship between the subjects is not reversed.
  • the main control unit 10 can perform the above-described processing by acquiring distance information of each subject and storing it in the storage unit 9 and adjusting the stereoscopic effect based on the information. For this reason, it is preferable to acquire distance information of each subject and store it in the storage unit 9, but the present invention is not limited to this.
  • the distance information of the subject can be calculated every time by analyzing the image.
  • the mobile phone terminal 1 can also adjust the stereoscopic effect by adjusting the parallax without taking into account the distance information of the subject.
  • the main control unit 10 of the above embodiment sets the amount of change in parallax, that is, the correction amount to be constant at ⁇ , it is not limited to this.
  • the correction amount may be set arbitrarily by the user or may be a fixed amount (preset value). Further, the correction amount may be changed stepwise (stepwise) by repeating the correction process. In addition, even when the mobile phone terminal 1 allows the user to input the correction value as it is and the main control unit 10 determines the input value as the correction value, the user can input a certain instruction to the main control unit 10.
  • the correction value may be determined based on the operation in which is input.
  • the mobile phone terminal 1 may correct the stereoscopic effect of a plurality of subjects, respectively or in conjunction with each other.
  • one three-dimensional image is displayed with two images, but one three-dimensional image may be displayed with a larger number of images.
  • the cellular phone terminal 1 can capture a three-dimensional image composed of a plurality of pieces of image data by capturing a corresponding number of images of relative positions.
  • FIG. 7 is a front view showing the appearance of another embodiment of the mobile phone terminal.
  • FIG. 8 is a block diagram showing a schematic configuration of functions of the mobile phone terminal shown in FIG.
  • the cellular phone terminal 101 shown in FIGS. 7 and 8 is the same as the cellular phone terminal 1 shown in FIGS. 1 to 3 except that the number of cameras constituting the imaging unit is one. .
  • points peculiar to the mobile phone terminal 101 will be described mainly.
  • the cellular phone terminal 1 has a thin plate-like casing 12.
  • a touch panel 2 an input unit 3 including a button 20, a button 22, and an input device 24, a receiver 7, a microphone 8, and a camera 116 are disposed on the surface of a housing 12.
  • the camera 116 is disposed on the surface opposite to the surface on which the touch panel 2 is disposed.
  • the camera 116 is disposed at the same position as the first camera 16.
  • the mobile phone terminal 101 includes a touch panel 2, an input unit 3, a power supply unit 5, a communication unit 6, a receiver 7, a microphone 8, a storage unit 9, a main control unit 10, A RAM (Random Access Memory) 11 and a camera 116 are included.
  • RAM Random Access Memory
  • Various programs and data stored in the storage unit 9 of the mobile phone terminal 101 are basically the same, but the camera program 9C and the 3D image processing program 9D correspond to the fact that the shooting unit is only the camera 116. Then, an image that can be displayed as a three-dimensional image is captured and displayed by a process different from that of the cellular phone terminal 1.
  • FIG. 9 is an explanatory diagram for explaining the relationship between the mobile phone terminal and the subject.
  • FIG. 10 is an explanatory diagram for explaining a process of creating a three-dimensional image of the mobile phone terminal.
  • FIG. 11 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal. The processing shown in FIGS. 9 to 11 is executed based on the functions provided by the camera program 9C and the 3D image processing program 9D.
  • an image acquired by a function (image capturing function) provided by the camera program 9C is analyzed based on a function provided by the 3D image treatment program 9D, and based on a correction value input by the user, An image that can be displayed as a three-dimensional image is corrected.
  • Each program is processed by the main control unit 10.
  • the mobile phone terminal 101 captures an image that can be displayed as a three-dimensional image using a mountain 122, a person 124, and a tree 126 as subjects.
  • the mountain 122, the person 124, and the tree 126 of the subject are located at the position farthest from the mobile phone terminal 1, and the person 124 is located in front of the mountain 122 (on the mobile phone terminal 101 side than the mountain 122).
  • a tree 126 is in front of the person 124.
  • the mobile phone terminal 101 sets the parameter 150 based on the range of the distance from itself.
  • the parameter 150 is set based on the focal length (distance to the subject), and is set by the parameter P 1 , the parameter P 2 , the parameter P 3 , the parameter P 4 , and the parameter P 5 in order of increasing focal length.
  • Range closest focal distance is a parameter P 5. Note that the mountain 122 is in the range of the parameter P 1. People 124 is in the range of the parameter P 2. Tree 126 is in the range of the parameter P 4.
  • the mobile phone terminal 101 When the mobile phone terminal 101 captures the image in the positional relationship shown in FIG. 9, it acquires an image 130 as shown in FIG.
  • the image 130 includes a mountain 132, a person 134, and a tree 136 as subjects.
  • the mobile phone terminal 101 acquires an image while changing the focal position by the focal position adjustment mechanism 59 when the image 130 is captured, and calculates the focal length of each subject by analyzing the acquired image.
  • focal lengths at nine measurement regions 140 of the image 130 are calculated.
  • the cellular phone terminal 101 determines a parameter associated with the focal length of each measurement region 140 based on the focal length calculated in each measurement region 140.
  • the mobile phone terminal 101 determines a parameter to be associated with each subject based on the parameter associated with each measurement region 140 and the configuration of the subject.
  • the mobile phone terminal 101 associates the parameter P 1 with the subject mountain 132 based on the fact that the measurement area 140 in which the mountain 132 is reflected is the parameter P 1 , and the measurement in which the person 134 is reflected. region 140 (the lower left of the measurement region 140) is based on a parameter P 2, associates parameter P 2 in the person 134 subject, measuring tree 136 is reflected region 140 (the right side of the three measurement areas 140) based on but a parameter P 4, associates the parameters P 4 tree 136 of the object.
  • the cellular phone terminal 101 determines the parameters of each subject using the autofocus function using the focal position adjustment mechanism 59. Note that the position, configuration, and the like of the subject included in the image can be detected by analysis using descriptions such as image analysis, contour detection, face recognition, and pattern matching.
  • the cellular phone terminal 101 acquires an image 160 with the camera 116 as shown in step S21 of FIG.
  • the image 160 is the same image as the image 130.
  • the image 160 includes a mountain 162, a person 164, and a tree 166 as subjects.
  • the main control unit 10 of the mobile phone terminal 101 creates a right-eye image 160R and a left-eye image 160L from the captured image 160.
  • the right-eye image 160R is set as a reference image, and the same image as the image 160 is used.
  • the right-eye image 160R includes a mountain 162R, a person 164R, and a tree 166R as subjects, and the positions of the subjects are the same as those of the image 160.
  • the left-eye image 160L includes a mountain 162L, a person 164L, and a tree 166L as subjects.
  • the mobile phone terminal 101 corrects the position of each subject in the left-eye image 160L based on the parameter of the subject. Specifically, persons 164L is in distance moved corresponds to the parameter P 2 relative to the position of the person 164 in the image 160 in the direction of arrow 167 (right side in the drawing).
  • Trees 166L is in distance moved corresponds to the parameter P 4 with respect to the position of the tree 166 of the image 160 in the direction of arrow 168 (right side in the drawing).
  • the mobile phone terminal 101 the moving distance of the object parameter P 1 is set to 0.
  • the position of the peak 162L is the same position as the peak 162 of the image 160.
  • the mobile phone terminal 101 creates two parallax images, a right-eye image 160R and a left-eye image 160L, based on the image 160 and the acquired parameters.
  • the cellular phone terminal 101 can display a three-dimensional image by displaying the right-eye image 160R and the left-eye image 160L in an overlapping manner.
  • the parallax of the tree 166 is larger than the parallax of the person 164 in the three-dimensional image realized by overlapping and displaying the two images of the right-eye image 160R and the left-eye image 160L in step S22.
  • the tree 166 becomes a three-dimensional image that looks more stereoscopic than the person 164. That is, the tree 166 in front is displayed as a three-dimensional image with a stereoscopic effect.
  • the mobile phone terminal 1 After acquiring the image shown in step S22 of FIG. 11, the mobile phone terminal 1 corrects the acquired image based on the input operation when an operation for correcting the stereoscopic effect of the subject is input by the user. For example, when the user inputs a correction operation for emphasizing the stereoscopic effect of the person 164 in the subject, that is, a correction operation for more stereoscopic display, the person 164La of the left-eye image 160La is moved to an arrow as shown in step S24. Correction processing for moving in the direction 167a (right side of the screen) is performed. Specifically, the cellular phone terminal 1 adjusts parameters associated with the image of the person 164.
  • the person 164La moves to the right side of the person 164L.
  • the right-eye image 160Ra is a reference image and is not changed from the image 160. That is, the mountain 162Ra, the person 164Ra, and the tree 166Ra of the right-eye image 160a remain the same as the mountain 162, the person 164, and the tree 166 of the image 160.
  • the parallax of the tree 126 does not change and the parallax of the person 164 increases.
  • the person 164 is because it is a parameter P 3
  • three-dimensional images to be realized by displaying superimposed and right-eye image 160Ra and the left-eye image 160La is towards the tree 166 in the person 164 nearest the front of the three-dimensional effect Displayed as a 3D image.
  • the present invention is not limited to this.
  • a parameter associated with the person may be changed to a parameter associated with a farther subject.
  • the subject is not limited to a person, and the stereoscopic effect of each subject can be corrected.
  • the mobile phone terminal 1 limits the range in which the parameter can be corrected, and specifically adjusts the parameter within a range that does not reverse the context with other subjects (a range that maintains the context). Is preferred. Thereby, it is possible to adjust the stereoscopic effect while suppressing the overall balance of the image from being lost.
  • the focal length is divided into five ranges and parameters are set.
  • the number of ranges and the number of parameters for dividing the focal length are not particularly limited. By dividing into more ranges, the stereoscopic effect can be corrected in a finer range.
  • FIG. 12 is an explanatory diagram for explaining the image correction processing of the mobile phone terminal.
  • the mobile phone terminal 101 preferably limits the correction value (correction amount) for correcting the stereoscopic effect of the subject to a certain range. By limiting the range of the correction amount, it is possible to prevent the actual sense of distance and the sense of distance (three-dimensional effect) of the three-dimensional image from being separated from each other.
  • the correction amount can be increased when the subject is far and the correction amount is limited to be small when the subject is close.
  • the correction amount is limited to be small when the subject is far and the correction amount can be increased when the subject is close.
  • more appropriate correction can be performed by setting the correction amount range according to the distance to the subject.
  • the mobile phone terminal 101 captures an image that can be displayed as a three-dimensional image using a mountain 170 and a person 172 as subjects.
  • the mountain 170 and the person 172 of the subject are located at a position where the mountain 122 is farthest from the mobile phone terminal 101, and the person 172 is in front of the mountain 170 (on the mobile phone terminal 101 side than the mountain 170).
  • the mobile phone terminal 101 sets the parameter 180 based on the range of the distance from itself.
  • the parameter 180 is set based on the focal length (distance to the subject), and the parameters p 1 , p 2 , p 3 , p 4 , p 5 , p 6 , p 6 , It is set with parameter p 7 and parameter p 8 .
  • Range closest focal distance is a parameter P 8. Note that the mountain 170 is in the range of the parameter P 1. People 172, are in the range of the parameter P 2.
  • the correction for enhancing the stereoscopic effect and the correction for suppressing the stereoscopic effect can be performed.
  • the correction for enhancing the stereoscopic effect is made up to two stages, that is, correction up to the parameter P 7, and the correction for suppressing the stereoscopic effect is made up to two stages, ie, correction up to the parameter P 3 .
  • the cellular phone terminal 1 may automatically perform correction for suppressing the stereoscopic effect for a subject close to the distance.
  • a close subject may be difficult to see because the parallax increases and the stereoscopic effect is enhanced.
  • the three-dimensional image can be suitably viewed by automatically suppressing the stereoscopic effect.
  • the focal length calculated by the autofocus function (aperture adjustment function) of the camera is used to connect the housing and the subject.
  • the present invention is not limited to this, and various functions for calculating the distance to the subject can be used.
  • various distance detecting means for calculating the distance to the object such as an infrared sensor and an ultrasonic sensor can be used.
  • a three-dimensional image is displayed by displaying a plurality of images superimposed on one display unit.
  • the present invention is not limited to this.
  • a display device that includes a display surface for the right-eye image and a display surface for the left-eye image, and display a three-dimensional image by displaying an image on each display surface.
  • a plurality of images can be stacked and displayed for vision, and a three-dimensional image can be displayed.
  • the present invention is an electronic device having a simple display panel on which a touch sensor is not superimposed as a display unit. It can also be applied to.
  • the mobile phone terminal has both a function of capturing a 3D image and a function of displaying a 3D image.
  • the present invention is not limited to this. Various applications are possible as long as the electronic device has a function of displaying the three-dimensional image of the embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　三次元画像を好適に表示することができる電子機器を提供することを課題とする。本発明に係る電子機器は、操作部と、複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、三次元画像を構成する複数の画像データを併せて記憶する記憶部と、操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも１つの画像の対象物の位置を補正し、補正した画像を含む複数の画像を表示部に重ねて対象物を三次元画像として表示させる制御部と、を有することで上記課題を解決する。

Description

電子機器
　本発明は、三次元画像の表示を行う電子機器に関する。
　近年では、三次元画像を表示させる電子機器が提案されている。この電子機器に表示させる三次元画像を撮影する装置は、例えばミラー等を配置して角度をずらした２つの画像を撮影することで、三次元画像として再生可能な画像を撮影できる（特許文献１、２、３参照）。また、複数台の撮影装置を配置して夫々の撮影装置で同時に画像を撮影することでも、三次元画像として再生可能な画像を撮影できる（特許文献４参照）。
特開２０００－９２５１７号公報 特開２０００－１３４６４１号公報 特開２００４－７０３０２号公報 特開平１１－３４１５１８号公報
　特許文献１から４に記載された方法で撮影した画像は、重ねて表示することで三次元画像として表示することができる。しかしながら、取得した２つの画像を重ねても利用者が期待する三次元画像とはならない場合がある。
　本発明は、上記に鑑みてなされたものであって、三次元画像を好適に表示することができる電子機器を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、電子機器であって、操作部と、複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、三次元画像を構成する複数の画像データを併せて記憶する記憶部と、前記操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、前記対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも１つの画像の前記対象物の位置を補正し、補正した画像を含む複数の画像を前記表示部に重ねて前記対象物を三次元画像として表示させる制御部と、を有することを特徴とする。
　ここで、前記三次元画像は、複数の対象物で構成されることが好ましい。
　また、前記制御部は、前記対象物の立体感の補正値に基づいて、前記立体感を強調する場合は、前記複数の画像間での対象物の視差を大きくし、前記立体感を抑制する場合は、前記複数の画像間での対象物の視差を小さくすることが好ましい。
　また、前記制御部は、前記複数の対象物の間の前後関係が逆転しない範囲で前記視差を調整することが好ましい。
　また、前記制御部は、前記複数の対象物同士の距離に基づいて設定可能な補正値の範囲を決定することが好ましい。
　また、三次元画像として表示可能な画像を撮影する撮影部をさらに有し、前記制御部は、前記撮影部による三次元画像の撮影時に当該撮影部から対象物までの距離情報を取得することが好ましい。
　また、前記撮影部は、所定間隔離れた２つのカメラを有し、前記制御部は、前記２つのカメラでそれぞれ撮影した画像を解析し、前記２つのカメラでそれぞれ撮影した２つの画像の視差に基づいて当該２つのカメラの各々から前記対象物までの距離情報を取得することが好ましい。
　また、前記撮影部は、焦点位置調整機構を有し、前記制御部は、前記画像の撮影時に焦点位置調整機構で焦点位置を移動させることで取得した焦点距離情報を解析し、当該撮影部から前記対象物までの距離情報を取得することが好ましい。
　本発明にかかる電子機器は、三次元画像を好適に表示することができるという効果を奏する。
図１は、携帯電話端末の一実施形態の外観を示す正面図である。 図２は、第１カメラの概略構成を示す説明図である。 図３は、図１に示す携帯電話端末の機能の概略構成を示すブロック図である。 図４は、携帯電話端末と被写体との関係を説明するための説明図である。 図５は、携帯電話端末の画像補正処理を説明するための説明図である。 図６は、携帯電話端末の画像補正処理を説明するための説明図である。 図７は、携帯電話端末の他の実施形態の外観を示す正面図である。 図８は、図７に示す携帯電話端末の機能の概略構成を示すブロック図である。 図９は、携帯電話端末と被写体との関係を説明するための説明図である。 図１０は、携帯電話端末の三次元画像の作成処理を説明するための説明図である。 図１１は、携帯電話端末の画像補正処理を説明するための説明図である。 図１２は、携帯電話端末の画像補正処理を説明するための説明図である。
　以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器として携帯電話端末を例として説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、三次元（３Ｄ）画像表示機能を備える各種装置、例えば、ＰＨＳ（Personal　Handy-phone　System）、ＰＤＡ、ポータブルナビゲーション装置、パーソナルコンピュータ、ゲーム機等に対しても本発明は適用できる。また、三次元（３Ｄ）画像表示機能のみを有する電子機器としては、携帯電子機器に限定されず、テレビ、モニタ等、固定型の各種装置にも用いることができる。
　図１は、携帯電話端末の一実施形態の外観を示す正面図である。携帯電話端末１は、薄板状の筐体１２を有する。携帯電話端末１は、筐体１２の表面に、タッチパネル２と、ボタン２０、ボタン２２及び入力デバイス２４からなる入力部３と、レシーバ７と、マイク８と、第１カメラ１６と、第２カメラ１７と、が配置されている。タッチパネル２は、板状の筐体１２の面積が最も広い面に配置されている。また、入力部３も、筐体１２のタッチパネル２が配置されている面の、長手方向の一方の端部に配置されている。入力部３は、短手方向の一方から他方に向かって、ボタン２０、入力デバイス２４、ボタン２２の順で配置されている。また、レシーバ７は、筐体１２のタッチパネル２が配置されている面の長手方向の他方の端部、つまり、入力部３が配置されている端部とは反対側の端部に配置されている。また、マイク８は、筐体１２のタッチパネル２が配置されている面の長手方向の一方の端部、つまり、入力部３が配置されている端部に配置されている。また、第１カメラ１６と第２カメラ１７とは、タッチパネル２が配置されている面とは反対側の面に配置されている。また、第１カメラ１６と第２カメラ１７とは、一定距離離間した位置に配置されている。また、図１に示す向き、つまり使用者がタッチパネル２側から携帯電話端末１を見た向きでは、第１カメラ１６が左側のカメラとなり、第２カメラ１７が右側のカメラとなる。本実施形態では、第１カメラ１６と第２カメラ１７とが撮像部となる。
　タッチパネル２は、文字、図形、画像等を表示するとともに、指、スタイラス、ペン（ペンの先端、棒状部材の先端）等（以下、単に「指」という）を用いてタッチパネル２に対して行われる各種動作を検出する。例えば、携帯電話端末１は、利用者から文字の入力を受け付けるために、タッチパネル２上に仮想キーボードを表示させる。携帯電話端末１は、タッチパネル２上に仮想キーボードを表示させた状態で、指によってタッチパネル２に入力される各種動作を検出し、仮想キーボードのどのキーが押下されたか、接触されたかを検出し、押下、接触を検出したキーを入力したキーとすることで、文字入力を行うことができる。また、タッチパネル２は、文字の入力によらず、表示させている画像と、指によってタッチパネル２に対して行われる各種動作とに基づいて、各種操作の入力を検出し、入力された操作に基づいて各種制御を行う。
　入力部３は、ボタン２０、２２が押下された場合に、押下されたボタンに対応する機能を起動させる。また、入力部３は、入力デバイス２４に入力された動作も操作として検出し、入力された操作に基づいて各種制御を行う。例えば、入力デバイス２４は、方向指示操作や決定操作を検出する。入力デバイス２４は、タッチパッド、光学式入力デバイス、４方及び中央にボタンを備える入力デバイス等で構成される。
　第１カメラ１６と第２カメラ１７とは、画像を撮影する撮影装置である。なお、第１カメラ１６と第２カメラ１７とは、配置位置が異なるのみで基本的に同様の構成である。以下、代表して第１カメラ１６の構成について説明する。第１カメラ１６は、画像を撮影する撮影装置であり、図２に示すように、撮影窓５２と光学系５４と受光部５８と焦点位置調整機構５９とを有する。撮影窓５２は、筐体１２のタッチパネル２が配置されている面とは反対側の面に露出して配置されている。撮影窓５２は、透明な部材で構成されており、筐体１２の外部の光から入射する光を内部に入射（案内）させる。光学系５４は、撮影窓５２から筐体１２内部に入射した光を受光部５８に案内するレンズ等の光学部材で構成されている。なお、光学系５４は、撮影窓５２から入射した光のうち、所定の角度範囲（撮影領域）から入射した光を選択的に受光部５８に案内する。受光部５８は、撮影領域の画像情報を取得する装置であり、受光面にフォトダイオードをマトリックス状に配列させた撮像素子（ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等）を備える。受光部５８は、受光面に画像が結像されると、撮像素子で結像された画像を読み取り、読み取った画像を電子データである画像情報に変換する。焦点位置調整機構５９は、光学系５４の相対位置を調整し、撮影窓５２から入射し受光部５８に入射される光のうち受光部５８で結像する被写体（対象物）の距離を調整する。つまり、焦点位置調整機構５９は、焦点位置を調整する。焦点位置調整機構５９は、光学系５４の少なくとも１つのレンズの位置を調整する機構、光学系５４の全体の相対位置を調整する機構等で構成される。
　第１カメラ１６は、以上のような構成であり、撮影窓５２から入射した撮影領域の光を光学系５４で受光部５８に案内し、受光部５８で結像された光を読み取ることで、撮影領域の画像を取得する。また、第１カメラ１６は、焦点位置調整機構５９で焦点位置を調整することができる。なお、第１カメラ１６は、焦点位置調整機構５９により焦点位置を変化させつつ各焦点距離での画像を取得し適切な焦点距離を決定することで、オートフォーカス機能を実現する。なお、第１カメラ１６は、これらの機能に加え、ズーム機能も備えている。
　次に、携帯電話端末１の機能と制御部との関係を説明する。図３は、図１に示す携帯電話端末の機能の概略構成を示すブロック図である。図３に示すように携帯電話端末１は、タッチパネル２と、入力部３と、電源部５と、通信部６と、レシーバ７と、マイク８と、記憶部９と、主制御部１０と、ＲＡＭ（Random　Access　Memory）１１と、第１カメラ１６と、第２カメラ１７と、を有する。
　タッチパネル２は、表示部２Ｂと、表示部２Ｂに重畳されたタッチセンサ２Ａとを有する。タッチセンサ２Ａは、指を用いてタッチパネル２に対して行われた各種動作を、動作が行われた場所のタッチパネル２上での位置とともに検出する。タッチセンサ２Ａによって検出される動作には、指をタッチパネル２の表面に接触させる動作や、指をタッチパネル２の表面に接触させたまま移動させる動作や、指をタッチパネル２の表面から離す動作が含まれる。なお、タッチセンサ２Ａは、感圧式、静電式等のいずれの検出方式を採用していてもよい。表示部２Ｂは、例えば、液晶ディスプレイ（ＬＣＤ、Liquid　Crystal　Display）や、有機ＥＬ（Organic　Electro－Luminescence）パネル等で構成され、文字、図形、画像等を表示する。また、表示部２Ｂは、複数の画像を重ねて表示させて三次元（３Ｄ）画像、つまり利用者が立体視できる画像を表示できる。つまり、表示部２Ｂは、複数の画像を重ねて表示させることで三次元（３Ｄ）画像を表示できる。
　入力部３は、上述したようにボタン２０、２２と、入力デバイス２４とを有する。ボタン２０、２２は、物理的な入力（押下）を通じて利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部１０へ送信する。また、入力デバイス２４も、利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部１０へ送信する。
　電源部５は、蓄電池または外部電源から得られる電力を、主制御部１０を含む携帯電話端末１の各機能部へ供給する。通信部６は、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ方式等による無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。レシーバ７は、電話通信における相手側の音声や着信音等を出力する。マイク８は、利用者等の音声を電気的な信号へ変換する。
　記憶部９は、例えば、不揮発性メモリや磁気記憶装置であり、主制御部１０での処理に利用されるプログラムやデータを保存する。具体的には、記憶部９は、メールの送受信や閲覧のためのメールプログラム９Ａや、ＷＥＢページの閲覧のためのブラウザプログラム９Ｂや、第１カメラ１６で画像を撮影するためのカメラプログラム９Ｃや、３Ｄ（三次元）画像として表示可能な画像を撮影するためおよび３Ｄ画像を表示するための３Ｄ（三次元）画像処理プログラム９Ｄや、各種プログラムを実行する際に用いる各種条件を対応付けた処理条件テーブル９Ｅや、撮影等により取得された画像が格納された画像フォルダ９Ｆを記憶する。また、記憶部９には、携帯電話端末１の基本的な機能を実現するオペレーティングシステムプログラムや、氏名、電話番号、メールアドレス等が登録されたアドレス帳データ等の他のプログラムやデータも記憶される。また、記憶部９には、タッチパネル２に入力された入力操作に基づいて制御動作、処理を決定するプログラム等も記憶される。なお、制御動作、処理とは、携帯電話端末１で実行する各種動作、処理が含まれ、例えば、カーソル、ポインタの移動、画面の表示切換、文字入力処理、各種アプリケーションの起動処理、終了処理がある。画像フォルダ９Ｆには、複数の画像を組み合わせることで三次元画像として表示可能な画像データが複数記憶されている。また、この三次元画像として表示可能な画像データは、画像に含まれる被写体（対象物）の距離情報（被写体と撮影位置との距離情報）が対応付けられている。
　主制御部１０は、例えば、ＣＰＵ（Central　Processing　Unit）であり、携帯電話端末１の動作を統括的に制御する。具体的には、主制御部１０は、記憶部９に記憶されているデータを必要に応じて参照しつつ、記憶部９に記憶されているプログラムを実行して、タッチパネル２、入力部３、通信部６、第１カメラ１６、第２カメラ１７等を制御することによって各種処理を実行する。主制御部１０は、記憶部９に記憶されているプログラムや、処理を実行することによって取得／生成／加工されたデータを、一時的な記憶領域を提供するＲＡＭ１１に必要に応じて展開する。なお、主制御部１０が実行するプログラムや参照するデータは、通信部６による無線通信でサーバ装置からダウンロードすることとしてもよい。
　第１カメラ１６、第２カメラ１７は、それぞれ画像を撮影する撮影窓５２が、筐体１２から露出して配置されており、撮影領域の画像を取得する撮像機構である。
　次に、図４から図６を用いて、三次元画像として表示可能な画像の補正処理の一例について説明する。図４は、携帯電話端末と被写体との関係を説明するための説明図である。また、図５および図６は、携帯電話端末の画像補正処理を説明するための説明図である。図５および図６に示す処理は、携帯電話端末１により撮影した三次元画像で表示可能な画像を補正する処理の一例である。図５および図６に示す処理は、カメラプログラム９Ｃ、３Ｄ画像処置プログラム９Ｄが提供する機能に基づいて実行される。より具体的には、カメラプログラム９Ｃが提供する機能（画像撮影機能）により取得した画像を３Ｄ画像処置プログラム９Ｄが提供する機能に基づいて解析し、利用者により入力される補正値に基づいて、三次元画像として表示可能な画像を補正する。なお、各プログラムの処理は、主制御部１０が行う。
　本実施形態では、図４に示すように、携帯電話端末１が山１２２と人物１２４と木１２６とを被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山１２２と人物１２４と木１２６とは、山１２２が携帯電話端末１から最も遠い位置にあり、山１２２の手前（山１２２よりも携帯電話端末１側）に人物１２４がおり、人物１２４の手前に木１２６がある。
　携帯電話端末１は、図４に示す位置関係で撮影を行うと、図５のステップＳ１に示すように、第１カメラ１６で画像６２を取得し、第２カメラ１７で画像６４を取得する。第１カメラ１６で撮影した画像６２は、左目用の画像となり、被写体として山６５Ｌと人物６７Ｌと木６８Ｌとを含む。第２カメラ１７で撮影した画像６４は、右目用の画像となり、被写体として山６５Ｒと人物６７Ｒと木６８Ｒとを含む。なお、画像６２と画像６４とは、撮影位置がずれているため、画像内における被写体の位置が異なる。具体的には、画像６２は、木６８Ｌの位置が画像の左端から距離Ａの位置となる。これに対して、画像６４は、木６８Ｒの位置が画像の左端から距離Ｂの位置となる。なお距離Ａと距離Ｂとの関係は、Ｂ＜Ａとなる。画像６２は、人物６７Ｌの位置が画像の左端から距離Ｃの位置となる。これに対して、画像６４は、人物６７Ｒの位置が画像の左端から距離Ｄの位置となる。なお距離Ｃと距離Ｄとの関係は、Ｄ＜Ｃとなる。このように画像６２と画像６４の２つの視差のある画像を取得することで三次元画像として表示可能な画像を撮影することができる。また、携帯電話端末１は、２つの画像の視差、つまり、画像６２と画像６４における各被写体の位置のずれに基づいて三次元画像に含まれる被写体の距離情報（携帯電話端末１からの距離、奥行き情報）を取得する。これにより、携帯電話端末１は、被写体の前後関係を検出することができる。なお、携帯電話端末１は、被写体の前後関係や一定精度での距離がわかればよく、被写体との距離を高精度に検出しなくてもよい。また、携帯電話端末１は、第１カメラ１６、第２カメラ１７の各々から被写体までの距離情報を取得することができる。
　ここで、ステップＳ１の画像６２と画像６４の２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差がＡ－Ｂとなり、人物１２４の視差がＣ－Ｄとなる。また、２つの被写体の視差の関係は、（Ａ－Ｂ）＞（Ｃ－Ｄ）となり、木１２６の視差が人物１２４の視差よりも大きくなる。これにより、木１２６の方が人物１２４より立体的に見える三次元画像となる。つまり、より手前にある木１２６の方が立体感のある三次元画像として表示される。
　携帯電話端末１は、図５のステップＳ１に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち人物１２４の立体感を強調する補正、つまり、より立体的に表示させる補正の操作を入力した場合、携帯電話端末１は、ステップＳ２に示すように、画像６２ａの人物６７Ｌａを矢印６８方向（画面の右側）に移動させる補正処理を行う。なお、画像６２ａの他の被写体である山６５Ｌａと木６８Ｌａは、画像６２から変化させない。これにより、画像６２ａは、人物６７Ｌａの位置が画像の左端から距離Ｃ＋αの位置となる。なお、携帯電話端末１は、人物６７Ｌａをα分移動させることで、画像６２で人物６７Ｌが表示されていて画像６２ａで人物６７Ｌａが表示されなくなった領域については、画像補完することで、画像を埋めることができる。なお、図５のステップＳ２では、わかりやすくするために人物Ｌａの位置を大きく移動させたが、実際の処理では、微小な距離の移動であり、画像を補完する処理を行うことで、違和感の少ない画像にすることができる。また、画像６４ａは、画像６４から変化させない。つまり、画像６４ａの山６５Ｒａと人物６７Ｒａと木６８Ｒａとは、画像６４の山６５Ｒと人物６７Ｒと木６８Ｒと同一のままである。
　ステップＳ２の画像６２ａと画像６４ａの２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差がＡ－Ｂとなり、人物１２４の視差がＣ＋α－Ｄとなる。また、２つの被写体の視差の関係は、（Ａ－Ｂ）＞（（Ｃ＋α）－Ｄ）となり、木１２６の視差が人物１２４の視差よりも大きくなる。このように、画像６２ａと画像６４ａとを重ねて表示させて実現する三次元画像も人物１２４よりも手前にある木１２６の方が立体感のある三次元画像として表示される。また、画像６２ａと画像６４ａとを重ねて表示させて実現する三次元画像は、人物１２４の視差がα分大きくなっている。これにより人物１２４の立体感がより向上した三次元画像とすることができる。
　次に、図６を用いて、他の補正処理について説明する。携帯電話端末１は、図４に示す位置関係で撮影を行うと、図６のステップＳ１２に示すように、第１カメラ１６で画像６２を取得し、第２カメラ１７で画像６４を取得する。なお、ステップＳ１２の画像は、上述したステップＳ１の画像と同一の画像である。第１カメラ１６で撮影した画像６２は、左目用の画像となり、被写体として山６５Ｌと人物６７Ｌと木６８Ｌとを含む。第２カメラ１７で撮影した画像６４は、右目用の画像となり、被写体として山６５Ｒと人物６７Ｒと木６８Ｒとを含む。また、各被写体の左端からの距離は、上述したとおりである。
　携帯電話端末１は、図６のステップＳ１２に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち木１２６の立体感を抑制する補正、つまりより平面的に表示させる補正の操作を入力した場合、携帯電話端末１は、ステップＳ１４に示すように、画像６２ｂの木６８Ｌｂを矢印６９方向（画面の左側）に移動させる補正処理を行う。なお、画像６２ｂの他の被写体である山６５Ｌｂと人物６７Ｌｂは、画像６２から変化させない。これにより、画像６２ｂは、木６８Ｌｂの位置が画像の左端から距離Ａ－αの位置となる。なお、携帯電話端末１は、木６８Ｌｂをα分移動させることで、画像６２で木６８Ｌが表示されていて画像６２ｂで木６８Ｌｂが表示されなくなった領域については、画像補完することで、画像を埋めることができる。また、画像６４ｂは、画像６４から変化させない。つまり、画像６４ｂの山６５Ｒｂと人物６７Ｒｂと木６８Ｒｂとは、画像６４の山６５Ｒと人物６７Ｒと木６８Ｒと同一のままである。
　ステップＳ１４の画像６２ｂと画像６４ｂの２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差が（Ａ－α）－Ｂとなり、人物１２４の視差がＣ－Ｄとなる。また、２つの被写体の視差の関係は、（（Ａ－α）－Ｂ）＞（Ｃ－Ｄ）となり、木１２６の視差が人物１２４の視差よりも大きくなる。このように、画像６２ｂと画像６４ｂとを重ねて表示させて実現する三次元画像もより手前にある木１２６の方が立体感のある三次元画像として表示される。また、画像６２ｂと画像６４ｂとを重ねて表示させて実現する三次元画像は、木１２６の視差がα分小さくなっている。これにより木１２６の立体感がより抑制された三次元画像とすることができる。
　携帯電話端末１は、このように利用者が指定した被写体の立体感を利用者が指定した補正値に基づいて補正することで、利用者が所望する立体感の三次元画像を表示させることができる。具体的には、携帯電話端末１は、三次元画像を構成する複数の画像うち、少なくとも一枚の画像で、利用者が指定した被写体の位置を移動させ、複数の画像間における視差（位置のずれ量）を調整する。このように携帯電話端末１は、特定の被写体のみの位置を補正して視差を補正することで三次元画像を構成する複数の被写体のうち選択した被写体の立体感のみを調整することができる。これにより、利用者は、被写体毎に立体感を調整することができ、所望の立体感の三次元画像を表示させることが可能となる。また、調整の必要がない被写体の立体感が変化することを抑制できるため、見やすい三次元画像とすることができる。
　また、携帯電話端末１の主制御部１０は、被写体の立体感の補正値に基づいて、立体感を強調する場合は、複数の画像間での被写体の視差を大きくし、立体感を抑制する場合は、複数の画像間での被写体の視差を小さくすること好ましい。これにより、対象の被写体の立体感を適切に調整することができる。
　また、主制御部１０は、検出した被写体間の前後関係が逆転しない範囲で視差つまり立体感を調整することが好ましい。このように視差の調整量を制限することで、実際の画像と前後関係が逆転する画像となることを抑制し、不要な違和感を生じる三次元画像を表示させることを抑制することができる。また、主制御部１０は、各被写体の距離情報を取得し記憶部９に記憶させ、その情報に基づいて立体感を調整することで、上記処理を行うことができる。このため、各被写体の距離情報を取得し記憶部９に記憶させることが好ましいが、これに限定されない。被写体の距離情報は画像を解析して毎回算出することができる。また、携帯電話端末１は、被写体の距離情報を加味せずに、視差を調整することでも立体感を調整することができる。
　なお、上記実施形態の主制御部１０は、視差の変化量、つまり補正量をαで一定としたがこれに限定されない。補正量は、利用者が任意に設定可能としても、一定量（プリセット値）としてもよい。また、補正処理を繰り返すことで補正量を段階的に（ステップ状で）変化させるようにしてもよい。また、携帯電話端末１は、利用者に補正値をそのまま入力させ主制御部１０が入力された値を補正値として決定するようにしても、利用者に一定の指示を入力させ主制御部１０が入力された操作に基づいて補正値を決定するようにしてもよい。
　また、上記実施形態では、三次元画像を構成する複数の被写体のうち１つの被写体の立体感のみを補正する場合として説明したがこれに限定されない。携帯電話端末１は、複数の被写体の立体感をそれぞれまたは連動して補正してもよい。
　また、上記実施形態では、２枚の画像で１つの三次元画像を表示させる場合としたが、さらに多くの枚数で１つの三次元画像を表示させるようにしてもよい。この場合、携帯電話端末１は、必要な相対位置の画像を対応する枚数分撮影することで、複数枚の画像データで構成される三次元画像を撮影することができる。
　次に、図７および図８を用いて、携帯電話端末の他の実施形態について説明する。図７は、携帯電話端末の他の実施形態の外観を示す正面図である。図８は、図７に示す携帯電話端末の機能の概略構成を示すブロック図である。なお、図７および図８に示す携帯電話端末１０１は、撮像部を構成するカメラが１つであることを除いて他の構成は、図１から図３に示す携帯電話端末１と同様である。以下、携帯電話端末１０１に特有の点を重点的に説明する。
　携帯電話端末１は、薄板状の筐体１２を有する。携帯電話端末１は、筐体１２の表面に、タッチパネル２と、ボタン２０、ボタン２２及び入力デバイス２４からなる入力部３と、レシーバ７と、マイク８と、カメラ１１６と、が配置されている。カメラ１１６は、タッチパネル２が配置されている面とは反対側の面に配置されている。カメラ１１６は、第１カメラ１６と同様の位置に配置されている。図８に示すように携帯電話端末１０１は、タッチパネル２と、入力部３と、電源部５と、通信部６と、レシーバ７と、マイク８と、記憶部９と、主制御部１０と、ＲＡＭ（Random　Access　Memory）１１と、カメラ１１６と、を有する。なお、携帯電話端末１０１の記憶部９に記憶されている各種プログラム、データは基本的に同様であるが、カメラプログラム９Ｃおよび３Ｄ画像処理プログラム９Ｄは、撮影部がカメラ１１６のみであることに対応して、携帯電話端末１とは異なる処理で三次元画像として表示可能な画像を撮影し、表示させる。
　図９から図１１を用いて、三次元画像として表示可能な画像の撮影処理および補正処理の一例について説明する。図９は、携帯電話端末と被写体との関係を説明するための説明図である。図１０は、携帯電話端末の三次元画像の作成処理を説明するための説明図である。図１１は、携帯電話端末の画像補正処理を説明するための説明図である。図９から図１１に示す処理は、カメラプログラム９Ｃ、３Ｄ画像処置プログラム９Ｄが提供する機能に基づいて実行される。より具体的には、カメラプログラム９Ｃが提供する機能（画像撮影機能）により取得した画像を３Ｄ画像処置プログラム９Ｄが提供する機能に基づいて解析し、利用者により入力される補正値に基づいて、三次元画像として表示可能な画像を補正する。なお、各プログラムの処理は、主制御部１０が行う。
　本実施形態でも、図９に示すように、携帯電話端末１０１が山１２２と人物１２４と木１２６とを被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山１２２と人物１２４と木１２６とは、山１２２が携帯電話端末１から最も遠い位置にあり、山１２２の手前（山１２２よりも携帯電話端末１０１側）に人物１２４がおり、人物１２４の手前に木１２６がある。ここで、携帯電話端末１０１は、自身からの距離の範囲に基づいてパラメータ１５０を設定する。なお、パラメータ１５０は、焦点距離（被写体との距離）に基づいて設定され、焦点距離が遠い順に、パラメータＰ１、パラメータＰ２、パラメータＰ３、パラメータＰ４、パラメータＰ５で設定される。焦点距離が最も近い範囲がパラメータＰ５となる。なお、山１２２は、パラメータＰ１の範囲にある。人物１２４は、パラメータＰ２の範囲にある。木１２６は、パラメータＰ４の範囲にある。
　携帯電話端末１０１は、図９に示す位置関係で撮影を行うと、図１０に示すように、画像１３０を取得する。画像１３０は、被写体として山１３２と人物１３４と木１３６とを含む。また、携帯電話端末１０１は、画像１３０の撮影時に焦点位置調整機構５９により焦点位置を変化させつつ画像を取得し、取得した画像を解析することで、各被写体の焦点距離を算出する。なお、本実施形態では、画像１３０の９箇所の測定領域１４０での焦点距離を算出する。携帯電話端末１０１は、各測定領域１４０で算出した焦点距離に基づいて、各測定領域１４０の焦点距離が対応付けられたパラメータを決定する。携帯電話端末１０１は、各測定領域１４０に対応付けられたパラメータと被写体の構成とに基づいて、各被写体に対応付けるパラメータを決定する。具体的には、携帯電話端末１０１は、山１３２が映っている測定領域１４０がパラメータＰ１であることに基づいて、被写体の山１３２にパラメータＰ１を対応付け、人物１３４が映っている測定領域１４０（左下の測定領域１４０）がパラメータＰ２であることに基づいて、被写体の人物１３４にパラメータＰ２を対応付け、木１３６が映っている測定領域１４０（右側の３つの測定領域１４０）がパラメータＰ４であることに基づいて、被写体の木１３６にパラメータＰ４を対応付ける。このように、携帯電話端末１０１は、焦点位置調整機構５９を用いたオートフォーカス機能を用いて、各被写体のパラメータを決定する。なお、画像に含まれる被写体の位置、構成等は画像解析、輪郭検出、顔認識、パターンマッチング等の記述を用いた解析で検出することができる。
　次に、補正処理について説明する。携帯電話端末１０１は、図１１のステップＳ２１に示すように、カメラ１１６で画像１６０を取得する。なお、画像１６０は、画像１３０と同様の画像である。画像１６０は、被写体として山１６２と人物１６４と木１６６とを含む。携帯電話端末１０１の主制御部１０は、ステップＳ２２として、撮影した画像１６０から右目用画像１６０Ｒと左目用画像１６０Ｌとを作成する。ここで、本実施形態では、右目用画像１６０Ｒを基準の画像とし、画像１６０と同一の画像とする。右目用画像１６０Ｒ、被写体として山１６２Ｒと人物１６４Ｒと木１６６Ｒとを含み、各被写体の位置は、画像１６０と同様である。左目用画像１６０Ｌは、被写体として山１６２Ｌと人物１６４Ｌと木１６６Ｌとを含む。携帯電話端末１０１は、左目用画像１６０Ｌの各被写体の位置を当該被写体のパラメータに基づいて補正する。具体的には、人物１６４Ｌは、画像１６０の人物１６４の位置に対して矢印１６７の方向（図中右側）にパラメータＰ２に対応した距離移動している。木１６６Ｌは、画像１６０の木１６６の位置に対して矢印１６８の方向（図中右側）にパラメータＰ４に対応した距離移動している。なお、携帯電話端末１０１は、パラメータＰ１の被写体の移動距離を０としている。このため、山１６２Ｌの位置は、画像１６０の山１６２と同一位置である。またパラメータＰ１からパラメータＰ５の移動距離の設定は、Ｐ１＜Ｐ２＜Ｐ３＜Ｐ４＜Ｐ５となる。従って、左目用画像１６０Ｌは、画像１６０に対して木１６６Ｌが人１６４Ｌよりも大きい距離移動している。このように、より近くにある被写体ほど移動量（つまり視差の量）を大きくすることで、より手前にある被写体がより立体的となり、肉眼で被写体を見た場合の見え方に近い三次元画像を表示することができる。
　携帯電話端末１０１は、画像１６０と取得したパラメータとに基づいて右目用画像１６０Ｒと左目用画像１６０Ｌの２つの視差のある画像を作製する。携帯電話端末１０１は、右目用画像１６０Ｒと左目用画像１６０Ｌとを重ねて表示することで三次元画像として表示することができる。
　ここで、ステップＳ２２の右目用画像１６０Ｒと左目用画像１６０Ｌとの２つの画像を重ねて表示させることで実現する三次元画像は、木１６６の視差が人物１６４の視差よりも大きくなる。これにより、木１６６の方が人物１６４より立体的に見える三次元画像となる。つまり、より手前にある木１６６の方が立体感のある三次元画像として表示される。
　携帯電話端末１は、図１１のステップＳ２２に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち人物１６４の立体感を強調する補正、つまり、より立体的に表示させる補正の操作を入力した場合、ステップＳ２４に示すように、左目用画像１６０Ｌａの人物１６４Ｌａを矢印１６７ａ方向（画面の右側）に移動させる補正処理を行う。具体的には、携帯電話端末１は、人物１６４の画像に対応付けたパラメータを調整する。具体的には人物１６４の画像に対応付けるパラメータを、パラメータＰ２から、より近い位置の被写体に対応付けるパラメータＰ３とする。これにより、人物１６４Ｌａは、人物１６４Ｌよりも右側に移動する。なお、左目用画像１６０Ｌａの他の被写体である山１６２Ｌａと木１６６Ｌａは、左目用画像１６０Ｌから変化させない。また、右目用画像１６０Ｒａは、基準画像であるので画像１６０から変化させない。つまり、右目用画像１６０ａの山１６２Ｒａと人物１６４Ｒａと木１６６Ｒａとは、画像１６０の山１６２と人物１６４と木１６６と同一のままである。
　ステップＳ２４の右目用画像１６０Ｒａと左目用画像１６０Ｌａの２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差は変化せず、人物１６４の視差が大きくなる。これにより人物１６４の立体感がより向上した三次元画像とすることができる。また、人物１６４はパラメータＰ３であるため、右目用画像１６０Ｒａと左目用画像１６０Ｌａとを重ねて表示させて実現する三次元画像は、人物１６４もより手前にある木１６６の方が立体感のある三次元画像として表示される。
　なお、上記実施形態では、人物の立体感を強調する場合としたがこれに限定されない。例えば人物の立体感を抑制する場合、人物に対応付けているパラメータをより遠くの被写体に対応付けるパラメータに変更すればよい。なお、被写体も人物に限定されず、各被写体の立体感を補正することができる。
　このように、１枚の画像を焦点距離（焦点距離に対応付けたパラメータ）に基づいて加工して視差のある２枚の画像を作成し、三次元画像として表示可能な画像を作成する場合でも、被写体毎に視差を調整することで上記と同様に利用者が所望する立体感の三次元画像を作成することができる。
　また、携帯電話端末１は、パラメータを補正可能な範囲を制限することで、具体的には、他の被写体との前後関係を逆転しない範囲（前後関係を維持する範囲）でパラメータを調整することが好ましい。これにより、画像の全体のバランスが崩れることを抑制しつつ、立体感を調整することができる。
　なお、上記実施形態では、焦点距離を５つの範囲に分け、パラメータを設定したが焦点距離を分ける範囲の数、パラメータの数は特に限定されない。より多くの範囲に分けることで、立体感をより細かい範囲で補正することができる。
　図１２は、携帯電話端末の画像補正処理を説明するための説明図である。携帯電話端末１０１は、被写体の立体感を補正する補正値（補正量）を一定範囲に制限することが好ましい。補正量の範囲を制限することで、実際の距離感と三次元画像の距離感（立体感）とがかけ離れることを抑制することができる。なお、立体感を強調する補正は、被写体が遠い場合は補正量を大きくでき、被写体が近い場合は補正量を小さく制限することが好ましい。立体感を抑制する補正は、被写体が遠い場合は補正量を小さく制限し、被写体が近い場合は補正量を大きくできることが好ましい。このように、被写体との距離に応じて補正量の範囲を設定することで、より適切な補正を行うことができる。
　図１２に示すように、携帯電話端末１０１が山１７０と人物１７２を被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山１７０と人物１７２とは、山１２２が携帯電話端末１０１から最も遠い位置にあり、山１７０の手前（山１７０よりも携帯電話端末１０１側）に人物１７２がいる。ここで、携帯電話端末１０１は、自身からの距離の範囲に基づいてパラメータ１８０を設定する。なお、パラメータ１８０は、焦点距離（被写体との距離）に基づいて設定され、焦点距離が遠い順に、パラメータｐ１、パラメータｐ２、パラメータｐ３、パラメータｐ４、パラメータｐ５、パラメータｐ６、パラメータｐ７、パラメータｐ８で設定される。焦点距離が最も近い範囲がパラメータＰ８となる。なお、山１７０は、パラメータＰ１の範囲にある。人物１７２は、パラメータＰ２の範囲にいる。
　このように、補正対象の被写体が人物１７２の場合、つまり被写体が遠い位置にいる場合は、立体感を強調する補正は可能とし、立体感を抑制する補正は不可とする。なお、立体感を強調する補正も３段階まで、つまりパラメータＰ５とする補正までとする。
　また、補正対象の被写体がパラメータｐ５の領域にいる人物１７４の場合、つまり被写体が中間領域にいる場合は、立体感を強調する補正も、立体感を抑制する補正も可能とする。なお、立体感を強調する補正は２段階まで、つまりパラメータＰ７とする補正までとし、立体感を抑制する補正は２段階まで、つまりパラメータＰ３とする補正までとする。
　また、補正対象の被写体がパラメータｐ８の領域にいる人物１７６の場合、つまり被写体が近い位置にいる場合は、立体感を強調する補正は不可とし、立体感を抑制する補正を可能とする。なお、立体感を抑制する補正は３段階まで、つまりパラメータＰ５とする補正までとする。
　このように、被写体の位置に応じて、補正量の範囲を制限することで、適切な補正を実行できる。
　また、携帯電話端末１は、距離が近い被写体は、自動的に立体感を抑制する補正を行うようにしてもよい。近い被写体は、視差が大きくなり立体感が強調されるため、見えにくくなる場合がある。この場合も自動的に立体感を抑制することで三次元画像を好適に見ることができる。
　また、上記実施形態では、既存の装置構成で実現可能であり、装置構成を簡単にできるため、カメラのオートフォーカス機能（絞りの調整機能）で算出した焦点距離を用いて筐体と被写体との距離を検出したがこれに限定されず、被写体との距離を算出する種々の機能を用いることができる。例えば、赤外線センサ、超音波センサ等、対象物との距離を算出する種々の距離検出手段を用いることができる。
　また、上記実施形態では、複数の画像を１つの表示部に重ねて表示させることで三次元画像を表示させたが、これに限定されない。例えば、右目用画像の表示面と左目用画像の表示面をそれぞれ備える表示装置を用いて、それぞれの表示面に画像を表示させて三次元画像を表示させる構成としてもよい。この場合も視覚に対して複数の画像を積層させて表示させることができ、三次元画像を表示することができる。
　また、上記の実施形態では、表示部としてタッチパネルを有する電子機器に本発明を適用する例について説明したが、本発明は、表示手段として、タッチセンサが重畳されていない単なる表示パネルを有する電子機器に適用することもできる。
　また、上記実施形態では、三次元画像を撮影する機能と三次元画像を表示させる機能とを両方持つ携帯電話端末として説明したが、これには限定されない。上記実施形態の三次元画像を表示させる機能を備える電子機器であれば、各種適用が可能である。
１、１０１　携帯電話端末
２　タッチパネル
２Ａ　タッチセンサ
２Ｂ　表示部
３　入力部
５　電源部
６　通信部
７　レシーバ
８　マイク
９　記憶部
９Ａ　メールプログラム
９Ｂ　ブラウザプログラム
９Ｃ　カメラプログラム
９Ｄ　３Ｄ画像処理プログラム
９Ｅ　処理条件テーブル
９Ｆ　画像フォルダ
１０　主制御部
１１　ＲＡＭ
１２　筐体
１６　第１カメラ
１７　第２カメラ
１１６　カメラ

Claims (8)

  1. 　操作部と、
    　複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、
    　三次元画像を構成する複数の画像データを併せて記憶する記憶部と、
    　前記操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、前記対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも１つの画像の前記対象物の位置を補正し、補正した画像を含む複数の画像を前記表示部に重ねて前記対象物を三次元画像として表示させる制御部と、を有することを特徴とする電子機器。
  2. 　前記三次元画像は、複数の対象物で構成されることを特徴とする請求項１に記載の電子機器。
  3. 　前記制御部は、前記対象物の立体感の補正値に基づいて、前記立体感を強調する場合は、前記複数の画像間での対象物の視差を大きくし、前記立体感を抑制する場合は、前記複数の画像間での対象物の視差を小さくすることを特徴とする請求項１または２に記載の電子機器。
  4. 　前記制御部は、前記複数の対象物の間の前後関係が逆転しない範囲で前記視差を調整することを特徴とする請求項３に記載の電子機器。
  5. 　前記制御部は、前記複数の対象物同士の距離に基づいて設定可能な補正値の範囲を決定することを特徴とする請求項１から４のいずれか一項に記載の電子機器。
  6. 　三次元画像として表示可能な画像を撮影する撮影部をさらに有し、
    　前記制御部は、前記撮影部による三次元画像の撮影時に当該撮影部から対象物までの距離情報を取得することを特徴とする請求項１から５のいずれか一項に記載の電子機器。
  7. 　前記撮影部は、所定間隔離れた２つのカメラを有し、
    　前記制御部は、前記２つのカメラでそれぞれ撮影した画像を解析し、前記２つのカメラでそれぞれ撮影した２つの画像の視差に基づいて当該２つのカメラの各々から前記対象物までの距離情報を取得することを特徴とする請求項６に記載の電子機器。
  8. 　前記撮影部は、焦点位置調整機構を有し、
    　前記制御部は、前記画像の撮影時に焦点位置調整機構で焦点位置を移動させることで取得した焦点距離情報を解析し、当該撮影部から前記対象物までの距離情報を取得することを特徴とする請求項６に記載の電子機器。
PCT/JP2012/057366 2011-03-25 2012-03-22 電子機器 WO2012133117A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/007,293 US9462259B2 (en) 2011-03-25 2012-03-22 Electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-068935 2011-03-25
JP2011068935A JP2012205148A (ja) 2011-03-25 2011-03-25 電子機器

Publications (1)

Publication Number Publication Date
WO2012133117A1 true WO2012133117A1 (ja) 2012-10-04

Family

ID=46930844

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057366 WO2012133117A1 (ja) 2011-03-25 2012-03-22 電子機器

Country Status (3)

Country Link
US (1) US9462259B2 (ja)
JP (1) JP2012205148A (ja)
WO (1) WO2012133117A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10512389B2 (en) 2015-01-13 2019-12-24 Sony Corporation Image processing device, image processing method, and endoscope system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5851625B2 (ja) * 2013-03-29 2016-02-03 株式会社東芝 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
US9317730B1 (en) * 2014-01-22 2016-04-19 Cognex Corporation Tuning process for a handheld scanner
US11019323B2 (en) * 2015-02-06 2021-05-25 Tara Chand Singhal Apparatus and method for 3D like camera system in a handheld mobile wireless device
CN113906736A (zh) * 2019-06-07 2022-01-07 索尼集团公司 视频分发系统、视频分发方法和显示终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264851A (ja) * 2002-03-11 2003-09-19 Sanyo Electric Co Ltd 立体画像撮像装置
JP2004200973A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2009042082A (ja) * 2007-08-09 2009-02-26 Fujifilm Corp 三次元座標系の設定方法および装置
JP2011019084A (ja) * 2009-07-09 2011-01-27 Sony Corp 画像処理装置、画像処理方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3579585B2 (ja) 1998-05-26 2004-10-20 日本電信電話株式会社 多視点同時観察型水平配置立体画像表示システム
JP2000092517A (ja) 1998-09-08 2000-03-31 Sanyu Seni:Kk ２、３次元映像取り込み装置
JP2000134641A (ja) 1998-10-22 2000-05-12 Sanyu Seni:Kk 立体写真撮影用デジタルスチルカメラ
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004070302A (ja) 2002-06-12 2004-03-04 Eriko Shimizu 立体画面構成方式
CN101841728B (zh) 2003-04-17 2012-08-08 夏普株式会社 三维图像处理装置
JP2004363680A (ja) * 2003-06-02 2004-12-24 Pioneer Electronic Corp 表示装置及び方法
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP2009053748A (ja) * 2007-08-23 2009-03-12 Nikon Corp 画像処理装置、画像処理プログラムおよびカメラ
US8922625B2 (en) * 2009-11-19 2014-12-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20110157155A1 (en) * 2009-12-31 2011-06-30 Disney Enterprises, Inc. Layer management system for choreographing stereoscopic depth
JPWO2011086636A1 (ja) * 2010-01-13 2013-05-16 パナソニック株式会社 ステレオ画像用撮像装置、ステレオ画像用撮像方法、ステレオ画像表示装置、および、プログラム
KR101758314B1 (ko) * 2010-01-14 2017-07-26 휴먼아이즈 테크놀로지즈 리미티드 3차원 디스플레이에서 물체들의 깊이 값들을 조정하기 위한 방법 및 시스템
WO2011108277A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
US20110273437A1 (en) * 2010-05-04 2011-11-10 Dynamic Digital Depth Research Pty Ltd Data Dependent Method of Configuring Stereoscopic Rendering Parameters
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
WO2012101917A1 (ja) * 2011-01-26 2012-08-02 富士フイルム株式会社 画像処理装置、撮像装置、再生装置および画像処理方法
US20120200670A1 (en) * 2011-02-04 2012-08-09 Nokia Corporation Method and apparatus for a disparity limit indicator

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264851A (ja) * 2002-03-11 2003-09-19 Sanyo Electric Co Ltd 立体画像撮像装置
JP2004200973A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2009042082A (ja) * 2007-08-09 2009-02-26 Fujifilm Corp 三次元座標系の設定方法および装置
JP2011019084A (ja) * 2009-07-09 2011-01-27 Sony Corp 画像処理装置、画像処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10512389B2 (en) 2015-01-13 2019-12-24 Sony Corporation Image processing device, image processing method, and endoscope system
US10993603B2 (en) 2015-01-13 2021-05-04 Sony Corporation Image processing device, image processing method, and endoscope system

Also Published As

Publication number Publication date
JP2012205148A (ja) 2012-10-22
US9462259B2 (en) 2016-10-04
US20140015937A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
WO2012115253A1 (ja) 電子機器、画像表示方法及び画像表示プログラム
JP5655174B2 (ja) 画像処理装置、撮像装置および画像処理方法
KR20160046706A (ko) 이동단말기 및 그 제어방법
US9491352B2 (en) Imaging device, signal processing method, and signal processing program
US9596455B2 (en) Image processing device and method, and imaging device
WO2012133117A1 (ja) 電子機器
WO2014106917A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014097734A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
KR20160146037A (ko) 카메라의 초점을 변경하는 방법 및 장치
JP5993937B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5542248B2 (ja) 撮像素子及び撮像装置
KR20160012009A (ko) 이동단말기 및 그 제어방법
JP2012175694A (ja) 電子機器
JPWO2013145820A1 (ja) 撮影装置、方法、記憶媒体及びプログラム
US20110115885A1 (en) User interface for autofocus
KR20120054746A (ko) 휴대용 단말기에서 입체 이미지를 생성하기 위한 장치 및 방법
EP3599763B1 (en) Method and apparatus for controlling image display
US20190197737A1 (en) Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses
JP5701124B2 (ja) 携帯電子機器
KR20170026002A (ko) 3차원 깊이 카메라 모듈 및 이를 구비하는 이동 단말기
JP2016149772A (ja) 電子機器
JP5756652B2 (ja) 電子機器
JP2015138263A (ja) レンズモジュール及び撮像モジュール並びに撮像装置
JP2012175692A (ja) 電子機器
KR101324809B1 (ko) 휴대용 단말기 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12765292

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14007293

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12765292

Country of ref document: EP

Kind code of ref document: A1