WO2010123011A1 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
WO2010123011A1
WO2010123011A1 PCT/JP2010/057026 JP2010057026W WO2010123011A1 WO 2010123011 A1 WO2010123011 A1 WO 2010123011A1 JP 2010057026 W JP2010057026 W JP 2010057026W WO 2010123011 A1 WO2010123011 A1 WO 2010123011A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
correction
imaging
imaging apparatus
Prior art date
Application number
PCT/JP2010/057026
Other languages
English (en)
French (fr)
Inventor
正人 張替
祐也 松原
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009101889A external-priority patent/JP2010252239A/ja
Priority claimed from JP2009101888A external-priority patent/JP2010252238A/ja
Priority claimed from JP2009101890A external-priority patent/JP5349123B2/ja
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US13/264,670 priority Critical patent/US8749647B2/en
Publication of WO2010123011A1 publication Critical patent/WO2010123011A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3254Orientation, e.g. landscape or portrait; Location or order of the image data, e.g. in memory

Definitions

  • the present invention relates to an imaging apparatus and an imaging method for imaging a subject.
  • the horizontal direction of the subject coincide with the left-right direction of the image in order to make the captured image easier to see.
  • the user needs to keep the posture of the mobile phone or the like horizontal.
  • Patent Document 1 discloses an electronic camera that can shoot a video having a set inclination angle by driving a lens barrel unit rotation mechanism provided with a photographic lens unit or the like.
  • Patent Document 1 requires a motor and gears, so there is a limit to downsizing. Therefore, it seems difficult to use this lens barrel unit rotation mechanism for a mobile phone or the like. On the other hand, it is not easy for the user to maintain the level of the mobile phone or the like manually while viewing the image of the subject displayed on the display unit.
  • an image of a subject is captured by the imaging unit of the imaging device, the posture of the imaging device is determined, and a preview image of the imaging is displayed on the display unit of the imaging device. Further, the correction is performed based on the determined posture of the original image captured from the imaging unit.
  • FIG. 1 is an external view of a mobile phone according to Embodiment 1.
  • FIG. It is a schematic functional block diagram of a mobile phone. It is a flowchart explaining imaging operation. It is a figure for demonstrating live correction mode. It is a figure for demonstrating frame correction mode.
  • FIG. 6 is a diagram for explaining a second embodiment.
  • FIG. 6 is a diagram for explaining a second embodiment. It is an external view of the mobile phone in the third embodiment.
  • It is a schematic functional block diagram of a mobile phone. It is a flowchart explaining imaging operation. It is a figure for demonstrating the horizontal correction mode. It is a figure for demonstrating the horizontal correction mode.
  • FIG. 10 is an external view of a mobile phone according to a fourth embodiment.
  • 10 is a flowchart for describing an imaging operation according to a fourth embodiment. It is a figure for demonstrating the 1st correction mode. It is a figure for demonstrating the 2nd correction mode. 10 is a flowchart for describing an imaging operation according to a fifth embodiment. It is a figure for demonstrating the correction range.
  • DESCRIPTION OF SYMBOLS 100 ... Mobile phone 102 ... 1st housing
  • Image correction unit 1160 ... Notification unit 1170 ... Operation unit 1172 ... Audio input unit 1174 ... Audio output unit 1176 ... wireless communication unit 1180 ... icon 2100 ... mobile phone 2102 ... first casing 2104 ... second casing 2106 ... casing DESCRIPTION OF SYMBOLS 110 ... Control part 2114 ... Terminal memory 2120 ... Imaging part 2130 ... Image display part 2140 ... Attitude detection part 2150 ... Image correction part 2160 ... Notification part 2170 ... Operation part 2172 ... Voice input part 2174 ... Voice output part 2176 ... Wireless communication part 2180 ... Icons 2190a, 2190b ... Original image ranges 2192a, 2192b ... Sensor images 2194a, 2194b ... Rotation correction range 2196 ... Broken line frame (corrected image)
  • An imaging apparatus is a portable terminal that is mainly held by a hand and performs imaging (photographing).
  • an electronic camera digital camera
  • a mobile phone having an imaging function a PHS, a notebook personal computer, a PDA, Music player, car navigation, PND (Personal Navigation Device), game machine, remote controller, etc.
  • a foldable mobile phone having an imaging function will be described as an example of an imaging device.
  • FIG. 1 is an external view of a mobile phone according to the first embodiment.
  • FIG. 1A is a front view of a foldable mobile phone (hereinafter simply referred to as a mobile phone 100),
  • FIG. b) is a rear view of the mobile phone 100 in an opened state.
  • FIG. 2 is a schematic functional block diagram of the mobile phone 100.
  • the mobile phone 100 includes a housing 106, an imaging unit 120, an image display unit 130, an operation unit 170, an audio input unit 172, and an audio output unit 174.
  • the housing 106 includes a first housing 102 and a second housing 104.
  • the mobile phone 100 further includes a control unit 110, a terminal memory 114, an attitude detection unit 140, an image correction unit 150, a face recognition unit 160, and a wireless communication unit 176.
  • the housing 106 constitutes the exterior of the mobile phone 100.
  • the first housing 102 and the second housing 104 are connected by a hinge, thereby having a foldable structure.
  • imaging by the imaging unit 120 is performed with the first casing 102 and the second casing 104 opened.
  • the user points the imaging unit 120 provided on the back surface of the first housing 102 toward the subject, and uses the image display unit 130 provided in the second housing 104 as an alternative to the viewfinder. I do.
  • the terminal memory 114 is composed of ROM, RAM, EEPROM, nonvolatile RAM, flash memory, HDD, and the like, and stores programs processed by the control unit 110, audio data, and the like. For example, an image captured by the imaging unit 120 can be stored.
  • the imaging unit 120 is a camera unit as hardware, and includes a lens and a light receiving element (CCD, CMOS, etc.), and a user can operate the operation unit 170 to image a subject.
  • the imaging unit 120 can also perform imaging under the control of the control unit 110.
  • the control unit 110 can perform operation control such as shutter speed, autofocus, automatic exposure, and automatic white balance of the imaging unit 120.
  • the image display unit 130 is provided in the second housing 104 and is configured by a liquid crystal display, an EL (Electro Luminescence) display, or the like, and can display an image and a setting state. With this configuration, the image display unit 130 can display a telephone number of a caller of a voice call, an operation screen of various applications, browsing of moving images, Web content, and the like. Further, the image display imaging unit 130 can perform preview display before the shutter is released and post-view display after the shutter is released as a finder of the imaging unit 120.
  • the image correction unit 150 corrects the image captured by the imaging unit 120. Further, the correction can be performed based on the posture detected by the posture detection unit 140. For example, the image data captured from the imaging unit 120 is used as an original image, rotated based on the tilt angle of the mobile phone 100 detected by the posture detection unit 140, and cut out to an image with the same aspect ratio as the image display unit 130. A corrected image enlarged according to the size of the unit 130 can be generated.
  • control unit 110 described above causes the image display unit 130 to display the corrected image that has been horizontally corrected by the image correction unit 150 as a preview image when displaying the preview image before the shutter is released.
  • live correction mode a preview image when displaying the preview image before the shutter is released.
  • frame correction mode an image acquisition frame 180 indicating the range of an image that is horizontally corrected by the image correction unit 150 after the shutter is released is displayed superimposed on the normal preview image before the shutter is released.
  • the face recognition unit 160 recognizes the face of a person included in the image captured by the imaging unit 120.
  • the face of a person recognized by the face recognition unit 160 can be taken as an object of autofocus by the control unit 110 and a person image that is automatically adjusted in focus can be captured.
  • Recognition of a person's face can be recognized based on characteristic arrangements such as eyes, nose and mouth appearing in the image. Since a known technique can be used for this method, detailed description is omitted.
  • the operation unit 170 includes a movable switch such as a keyboard, a cross key, and a joystick, and can accept a user's operation input. For example, the user can use the operation unit 170 to image a subject with the imaging unit 120.
  • a movable switch such as a keyboard, a cross key, and a joystick
  • the voice input unit 172 includes voice recognition means such as a microphone, and converts the user's voice input during a call into an electrical signal that can be processed in the mobile phone 100.
  • the voice output unit 174 is composed of a speaker, and converts the voice signal of the other party received by the mobile phone 100 into voice and outputs it.
  • the voice output unit 174 can also output a ringtone, an operation sound of the operation unit 170, an alarm sound, and the like.
  • the wireless communication unit 176 establishes wireless communication with a base station using a wireless communication method such as CDMA or WiMAX (Worldwide Interoperability for Microwave Access), and performs voice communication with a communication partner or data communication with a Web server.
  • a wireless communication method such as CDMA or WiMAX (Worldwide Interoperability for Microwave Access)
  • CDMA or WiMAX Worldwide Interoperability for Microwave Access
  • FIG. 3 is a flowchart for explaining the imaging operation
  • FIG. 4 is a diagram for explaining the live correction mode
  • FIG. 5 is a diagram for explaining the frame correction mode.
  • the user selects whether or not to perform horizontal correction when operating the imaging unit 120.
  • the horizontal correction is not performed (N in S200)
  • the normal imaging mode is set, and preview display using the original image captured from the imaging unit 120 is started (S210).
  • the user When performing horizontal correction (Y in S200), the user further selects either the live correction mode or the frame correction mode (S230).
  • the live correction mode and the frame correction mode may be configured so that the mobile phone 100 has only one of the functions, or may be selected based on a user setting.
  • FIG. 4A shows a preview display (S210) in the normal imaging mode.
  • S210 a preview display
  • S220 the acquired image becomes an image tilted in the horizontal direction.
  • the corrected image is displayed as a preview image in the live correction mode.
  • the user can acquire a horizontally corrected image as a saved image by simply releasing the shutter (S300).
  • the acquired corrected image is displayed as a post-view image on the image display unit 130 (S330). Further, when displaying the postview (S330), it is possible to select whether or not to save the displayed image (S340). When not storing (N in S340), the imaging operation from S200 is performed again. When the process proceeds to and is stored (Y in S340), the image is stored in the terminal memory 114 (S350), and the imaging operation is terminated.
  • the live correction mode it is possible to perform an imaging operation while visually recognizing the composition of the acquired corrected image as a preview image, so that it is possible to easily determine whether the image is an intended image. .
  • the user can easily obtain a horizontal image without adjusting the angle of the mobile phone 100 himself.
  • the frame correction mode will be described with reference to FIGS.
  • the posture detection unit 140 detects the tilt angle A1 (see FIG. 4A) of the mobile phone 100 (S270). Based on the inclination angle A1 and the aspect ratio of the image display unit 130, the control unit 110 calculates the range of the image to be corrected by the image correction unit 150 (S280). At this time, the image has not been corrected yet.
  • the correction itself is the same processing as in the live correction mode, and the range of the image to be corrected is the outer edge (boundary) when clipping.
  • the range of the image to be corrected is displayed as an image acquisition frame 180 superimposed on the normal preview image (S290).
  • the image acquisition frame 180 is a rectangle having sides parallel to the vertical direction, and has the same aspect ratio as the original image.
  • the control unit 110 enlarges or reduces the image acquisition frame 180 so as to fit in the image display unit 130 based on the posture detected by the posture detection unit 140.
  • the control unit 110 rotates the image acquisition frame 180 based on the tilt angle A1 detected by the posture detection unit 140.
  • the image acquisition frame 180 can be kept vertical. Even in this case, the control unit 130 enlarges or reduces the image acquisition frame 180 within a range that can be accommodated in the image display unit 130.
  • the captured image can be automatically horizontal corrected. Therefore, the user does not need to hold the mobile phone 100 in consideration of the level, and can easily image the subject at an appropriate angle.
  • FIG. 6 shows an example in which correction is performed by rotating the original image around the focus point.
  • the soccer ball has a focus point 190, and the original image is rotated around the soccer ball for correction.
  • the focus point 190 is considered to be a subject in the image (photograph), and by rotating the focus point 190 as a center, it is possible to prevent the image at that position from approaching the edge of the image. Therefore, the user can easily take an image without being aware of the adjustment of the composition of the subject.
  • the image correction unit 150 can also perform correction around the face of the person recognized by the face recognition unit 160. At this time, it is preferable to set the focus point 190 on the face of the person. As a result, it is possible to prevent the human face from approaching the edge of the screen due to the correction. Therefore, the user can easily acquire an image in which the direction of the subject is appropriately corrected without being aware of composition adjustment even when capturing a human image.
  • the image correction unit 150 uses the original image centered on the center points of the plurality of human faces. May be corrected by rotating. Thereby, even when a plurality of persons are subjects, it is possible to perform correction while keeping all the members in the image. At this time, the focus point 190 may be set to any person's face.
  • control unit 110 can perform automatic exposure (AE) and automatic white balance (AWE) based on an image within a range corrected by the image correction unit 150.
  • AE automatic exposure
  • AWE automatic white balance
  • the mobile phone 100 is illustrated as being held in the same vertical position as during a call.
  • the same correction can be performed even when the mobile phone 100 is held horizontally.
  • the posture detection unit 140 detects the inclination angle of the mobile phone 100 with respect to the vertical direction, and when the vertically long image display unit 130 is inclined by 45 ° or more with respect to the vertical direction and enters the landscape state, The display can be switched to the horizontally long state to perform horizontal correction.
  • the frame correction mode when the image display unit 130 is inclined by 45 ° or more with respect to the vertical direction, the image acquisition frame 180 can be switched to the horizontally long state and displayed.
  • the image correction unit 150 can correct not only the horizontal correction described in the above embodiment but also an image having an angle arbitrarily set by the user. Therefore, the user can set an angle such as 15 ° or 30 ° with respect to the horizontal, for example, and can easily and surely perform an effect desired by the user. Furthermore, the image correction unit 150 can also correct the perspective based on the posture detected by the posture detection unit 140, and thereby obtain a corrected image in which the distortion in the perspective direction of the original image is corrected. .
  • Embodiment 3 of the present invention will be described in detail with reference to the drawings.
  • Each member is provided with a reference numeral of the 1000th generation, but the description of the members that perform the same functions as those of the first and second embodiments will be omitted.
  • the differences between the third embodiment and the first and second embodiments will be described.
  • an image recording unit 1116 is further provided inside the mobile phone 1100.
  • the terminal memory 1114 includes a ROM, a RAM, an EEPROM, a nonvolatile RAM, a flash memory, an HDD, and the like, and stores a program processed by the control unit 1110, audio data, and the like. Further, an image recording unit 1116 is provided in the terminal memory 1114, and an image captured by the imaging unit 1120 can be stored.
  • the notification unit 1160 notifies the image correction unit 1150 that the original image is corrected in a predetermined manner.
  • the predetermined mode can be performed by displaying an icon on the image display unit 1130 or displaying a predetermined character. In addition to the notification using the image display unit 1130, it can be performed by light emission of an LED already provided in the mobile phone 1100 or lighting of a keypad in the operation unit 1170. Note that the notification may be performed in any one aspect, or may be performed by combining a plurality of aspects.
  • FIG. 10 is a flowchart for explaining the imaging operation
  • FIGS. 11 and 12 are diagrams for explaining the horizontal correction mode.
  • the control unit 1110 inquires of the user whether or not to perform imaging in the horizontal correction mode when operating the imaging unit 1120.
  • the horizontal correction mode is not selected (N in S1200)
  • the normal imaging mode is set, and preview display using the original image captured from the imaging unit 1120 is started (S1210).
  • the notification unit 1160 When the horizontal correction mode is selected in S1200 (Y in S1200), the notification unit 1160 first notifies that the current mode is the horizontal correction mode (performs horizontal correction) in a predetermined manner (S1260). Then, the control unit 1110 starts preview display using the original image taken from the imaging unit 1120 as it is with the notification (S1270).
  • the control unit 1110 acquires the image at that moment as the original image.
  • the posture detection unit 1140 detects an inclination angle A1 of the left and right direction L2 of the mobile phone 1100 with respect to the horizontal direction L1 (S1290).
  • the image correcting unit 1150 rotates the original image in the direction of the arrow so that the horizontal direction L1 of the original image matches the left-right direction L2 of the mobile phone 1100 based on the inclination angle A1.
  • Correction horizontal correction
  • the control unit 1110 displays the corrected image after correction as a postview image. In this way, the user can acquire a horizontally corrected image as a stored image by simply releasing the shutter (S1280) (S1320).
  • the user does not need to manually adjust the angle of the mobile phone 1100 while viewing the preview display, but can focus on aiming at the subject and perform imaging.
  • the mobile phone 1100 is illustrated as being held in the same vertical direction as during a call.
  • correction is performed by displaying the corrected image vertically and horizontally on the image display unit 1130. It can also be switched by the control unit 1110.
  • Switching between vertical and horizontal display can be performed based on an inclination angle of the mobile phone 1100 with respect to a predetermined direction by the attitude detection unit 1140. For example, when the mobile phone 1100 is inclined at 45 ° or more with respect to the vertical direction from the vertically long state as shown in FIG. 11, the mobile phone 1100 can be switched to the horizontally long state shown in FIG.
  • the corrected image horizontally corrected by the image display unit 1150 is displayed as a post-view image on the image display unit 1130 by the control unit 1110 (S1310).
  • the control unit 1110 inquires of the user whether or not to save the displayed image (S1320).
  • the corrected image is generated by rotating and clipping the original image, there is a difference in composition between the original image confirmed in the preview display and the corrected image acquired by correction. . For this reason, the composition of the corrected image may not be intended by the user. However, for example, when a moving subject is imaged, there is a case where the same photo opportunity has never occurred, so that it cannot be re-taken.
  • the image correction unit 1150 generates a corrected image from copy data of the original image and maintains the original data of the original image, so that both the corrected image and the original image can be compared in the postview display. .
  • the corrected image and the original image may be switched by the operation of the operation unit 1170, or both reduced images may be displayed at the same time.
  • the control unit 1110 inquires of the user whether or not both the corrected image and the original image are stored (S1330). When saving both is selected (Y in S1330), the control unit 1110 saves both the corrected image and the original image in the image recording unit 1116 (S1340), and the imaging operation ends. If it is selected to save either one (N in S1330), an inquiry is made as to whether or not only the corrected image is to be saved (S1350). When it is selected to save only the corrected image (Y in S1350), the control unit 1110 saves only the corrected image in the image recording unit 1116 (S1360), and the imaging operation ends. If it is selected not to save the corrected image (N in S1350), the control unit 1110 saves only the original image in the image recording unit 1116 (S1370), and the imaging operation ends.
  • the captured image can be automatically horizontal corrected. Therefore, the user does not need to hold the mobile phone 1100 in consideration of the level, and can easily image the subject at an appropriate angle.
  • the image correction unit 1150 can correct not only the horizontal correction described in the embodiment but also an image having an angle arbitrarily set by the user. Therefore, the user can perform the effect he desires on the image. Furthermore, the image correction unit 1150 can also correct the perspective of the image based on the posture detected by the posture detection unit 1140, and thereby obtain a corrected image in which the distortion in the perspective direction of the original image is corrected. .
  • Embodiment 4 of the present invention will be described in detail with reference to the drawings. Each member is given a reference number of the 2000th generation, but the description of those having the same functions as those of the first to third embodiments will be omitted. Hereinafter, the difference between the fourth embodiment and the first to third embodiments will be described.
  • the mobile phone 2100 further includes a notification unit 2160 inside.
  • the notification unit 2160 notifies that the correction of the original image is performed by the image correction unit 2150 in a predetermined manner.
  • the predetermined mode can be an icon display on the image display unit 2130 or a predetermined character display. In addition to the notification using the image display unit 2130, it can be performed by light emission of an LED already provided in the mobile phone 2100 or lighting of a keypad in the operation unit 2170. Note that the notification may be performed in any one aspect, or may be performed by combining a plurality of aspects.
  • FIG. 15 is a flowchart for explaining the imaging operation according to the fourth embodiment
  • FIG. 16 is a diagram for explaining the first correction mode
  • FIG. 17 is a diagram for explaining the second correction mode.
  • the control unit 2110 determines whether or not the tilt angle is equal to or greater than a predetermined value (S2240).
  • the predetermined value may be an angle set in consideration of the size of the mobile phone 2100, the size of the image display unit 2130, or the like, or an angle arbitrarily set by the user.
  • the control unit 2110 selects the first correction mode when it is determined that the inclination angle is greater than the predetermined value (Y in S2240), and selects the second correction mode when it is determined that the inclination angle is equal to or less than the predetermined value. (N of S2240).
  • the first correction mode will be described with reference to FIGS. 15 and 16.
  • the inclination angle A1 is described as the angle that the left and right direction L2 of the mobile phone 2100 has with respect to the horizontal direction L1.
  • correction horizontal correction
  • the control unit 2110 displays a preview of the corrected image corrected on the image display unit 2130 (S2260).
  • the control unit 2110 displays the corrected image as a preview image (S2260).
  • the user can check the image obtained by actually performing the horizontal correction at the stage before the shutter is released.
  • control unit 2110 can acquire the horizontally corrected image as a saved image.
  • the image display unit 2130 displays the entire cropped image on the entire surface, but the cropped image may be expanded to the same size (number of pixels) as the original image, or only the display with the trimmed small number of pixels may be displayed. You may enlarge.
  • the acquired saved image is displayed as a postview image on the image display unit 2130 (S2320).
  • the control unit 2110 inquires of the user whether or not to save the image (S2330). If it is selected not to save (N in S2330), the process proceeds to the imaging operation from S2200 again. If it is selected to save (Y in S2330), the control unit 2110 saves the saved image in the terminal memory 2114. (S2340), the imaging operation ends.
  • the first correction mode it is possible to perform an imaging operation while visually recognizing the composition of the acquired corrected image as a preview image, so it is easy to determine whether the image is the intended image before releasing the shutter. It becomes possible to do.
  • the user can easily obtain a horizontal image without adjusting the angle of the mobile phone 2100 himself.
  • FIG. 17A shows a preview display (S2290) in the second correction mode
  • FIG. 17B shows a saved image.
  • each inclination A2 is described as an angle formed by the horizontal direction L3 of the mobile phone 2100 with respect to the horizontal direction L4.
  • the control unit 2110 selects the second correction mode.
  • the notification unit 2160 notifies that correction is performed in a predetermined manner (S2280).
  • the control unit 2110 starts preview display using the original image taken from the imaging unit 2120 as it is (S2290).
  • reporting part 2160 may be performed in any one aspect, and may be performed combining several aspects. If notification is not required, it is possible to set so that notification is not performed.
  • the image correction unit 2150 actually corrects the original image (S2310).
  • the control unit 2110 displays the acquired saved image on the image display unit 2130 in a postview display (S2320). Then, the control unit 2110 inquires of the user whether or not to save in the same manner as above (S2330), and saves it in the terminal memory 2114 according to the operation (S2340).
  • control unit 2110 can select the second correction mode and use a normal preview image that does not use the corrected image, so that preview display can be performed with simpler image processing than in the first correction mode.
  • the user can take an image while keeping in mind that the horizontal correction is performed on the original image.
  • control unit 2110 can also switch to the first correction mode or the second correction mode according to a change in the tilt angle of the mobile phone 2100 even after the first correction mode or the second correction mode is selected. .
  • the captured image can be automatically horizontal corrected, but also a correction operation according to the situation can be automatically selected and performed. Therefore, the user does not need to hold the mobile phone 2100 in consideration of the level, and can perform the imaging operation while grasping the composition of the image to be captured in advance. As a result, the user can easily image the subject at an appropriate angle.
  • FIG. 18 is a flowchart for explaining an imaging operation according to the fifth embodiment
  • FIG. 19 is a diagram for explaining a correction range.
  • the same parts as those in the fourth embodiment are denoted by the same reference numerals and the description thereof is omitted.
  • the posture detection unit 2140 detects the tilt angle of the mobile phone 2100 (S2230).
  • the image correction unit 2150 calculates rotation correction ranges 2194a and 2194b based only on rotation based on the tilt angle (S2400).
  • the rotation correction ranges 2194a and 2194b are ranges in which the image correction unit 2150 rotates the original image ranges 2190a and 2190b captured from the imaging unit 2120 based on the tilt angle.
  • the imaging unit 2120 acquires an image having a size one rank larger than the size designated by the user.
  • an image is acquired with a size of VGA (640 ⁇ 480)
  • VGA 640 ⁇ 480
  • SVGA 800 ⁇ 600
  • an image having the same size as the specified size is acquired.
  • images having a size larger than the designated size are referred to as sensor images 2192a and 2192b.
  • the control unit 2110 determines whether or not the rotation correction ranges 2194a and 2194b are within the range of the sensor images 2192a and 2192b (S2410). As shown in FIG. 19A, when the rotation correction range 2194a is within the range of the sensor image 2192a, the control unit 2110 selects the second correction mode (operation for performing notification and previewing without correction). (Y in S2410).
  • the fact that the rotation correction range 2194a is within the range of the sensor image 2192a means that a correction image can be generated with the same resolution as the original image. That is, the area of the original image range 2190a and the rotation correction range 2194a with respect to the sensor image 2192 is the same.
  • the fact that the rotated rotation correction range 2194a is within the range of the sensor image 2192a also means that the inclination angle of the mobile terminal 2100 is small. Therefore, the difference in composition between the original image and the corrected image after correction is small.
  • control unit 2110 can perform the preview display with simple image processing by selecting the second correction mode described in the fourth embodiment. Also, by providing notification together with the preview display, the user can take an image while keeping in mind that the horizontal correction is performed on the original image (S2280 to S2340).
  • control unit 2110 selects the first correction mode (operation for previewing the corrected image) (S2410). N).
  • the rotation correction range 2194b does not fall within the range of the sensor image 2192b, if a correction image is generated with the rotation correction range 2194b, blanks are generated at the corners of the correction image. Therefore, the acquisition range is reduced from the rotation correction range 2194b while maintaining the aspect ratio of the image so as to be further within the range of the sensor image 2192b, and a corrected image (broken line frame 2106) is generated.
  • control unit 2110 selects the first correction mode described in the fourth embodiment.
  • the user can take an image of the corrected image 2196 that has been corrected and changed while confirming it in the preview display (S2250 to S2340).
  • the configuration of the fifth embodiment it is possible not only to automatically perform horizontal correction on a captured image, but also to automatically select and perform a correction operation according to the situation. Therefore, the user does not have to hold the mobile phone 2100 in consideration of the level, and can perform the imaging operation while grasping the state of the image to be captured in advance. As a result, the user can easily image the subject at an appropriate angle.
  • the mobile phone 2100 is illustrated as being held in the same vertical position as during a call, but correction can be similarly performed even in a state where the mobile phone 2100 is held horizontally.
  • the posture detection unit 2140 detects the tilt angle of the mobile phone 2100 with respect to the vertical direction, and the vertically long image display unit 2130 is in a landscape state with a 45 ° or more tilt with respect to the vertical direction.
  • the display can also be switched to the horizontally long state for horizontal correction.
  • the image correction unit 2150 can correct not only the horizontal correction described in the fourth and fifth embodiments but also an image having an angle arbitrarily set by the user. Therefore, the user can set an angle such as 15 ° or 30 ° with respect to the horizontal, for example, and can easily and surely perform an effect desired by the user. Furthermore, the image correction unit 2150 can also correct the perspective of the image based on the posture detected by the posture detection unit 2140, and thereby obtain a corrected image in which the distortion in the perspective direction of the original image is corrected. .
  • one aspect of the imaging apparatus includes a housing, an imaging unit that captures an image of an object, an image display unit that can display an image, and a posture detection unit that detects the posture of the housing.
  • An image correction unit that corrects the original image captured from the imaging unit based on the posture detected by the posture detection unit; and a control unit that displays the corrected image obtained by correcting the original image as a preview image on the image display unit. It is characterized by that.
  • imaging device includes a housing, an imaging unit that captures an object, an image display unit that can display an image, an orientation detection unit that detects the orientation of the housing, and an imaging unit.
  • An image correction unit that corrects the original image based on the posture detected by the posture detection unit, and an image acquisition frame that indicates a range of the original image that is corrected by the image correction unit when the preview image is displayed on the image display unit.
  • a control unit that is superimposed on the preview image and displayed on the image display unit.
  • the control unit may enlarge or reduce the image acquisition frame based on the attitude detected by the attitude detection unit.
  • the image correction unit may correct the original image so that the horizontal direction of the subject matches the horizontal direction of the imaging apparatus.
  • the image correction unit may correct the original image around the focus point.
  • the imaging apparatus may further include a face recognition unit that recognizes the face of a person who is a subject, and the image correction unit may correct the original image centering on the recognized person's face.
  • the housing may be a foldable structure having a hinge, and imaging by the imaging device may be performed with the housing open.
  • one aspect of the imaging method according to the present invention is to image a subject with an imaging device, detect the orientation of the imaging device, correct the captured original image based on the detected orientation, and correct the original image.
  • the corrected image is displayed as a preview image.
  • the acquisition frame is superimposed and displayed.
  • the imaging apparatus may further include a notification unit that performs notification in a predetermined manner, and the notification unit may notify the correction of the original image by the image correction unit in a predetermined manner when the preview image is displayed.
  • the image recording unit may store both the corrected image and the original image before correction.
  • the posture detection unit may detect an inclination angle with respect to a predetermined direction of the housing.
  • the predetermined direction may be horizontal or a set arbitrary direction.
  • the image correction unit may rotate the original image so that the horizontal direction of the subject matches the horizontal direction of the imaging device.
  • the control unit performs the first correction mode when it is determined that the detected tilt angle is greater than the predetermined value, and performs the second correction mode when it is determined that the detected tilt angle is equal to or less than the predetermined value. May be.
  • the image correction unit may rotate the original image so that the horizontal direction of the subject matches the horizontal direction of the imaging device.
  • the imaging unit can output a sensor image larger than the original image, and the control unit performs the first correction mode when determining that the correction range obtained by rotating the range of the original image does not fit in the sensor image,
  • the second correction mode may be performed when it is determined that the corrected image is within the sensor image.
  • the housing may be a foldable structure having a hinge, and imaging by the imaging device may be performed with the housing open.
  • a typical configuration of an imaging method according to the present invention is a correction in which a subject is imaged by an imaging device, the orientation of the imaging device is detected, and the captured original image is corrected based on the orientation. Either the image is displayed as a preview image before the shutter is released, or the original image is corrected based on the posture when the preview image is displayed, depending on the detected posture. It is characterized by performing.
  • the present invention can be used as an imaging apparatus and an imaging method for imaging a subject.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

 本発明の目的の一つは、簡易な装置構成で被写体を適切な角度で撮像することが可能な撮像装置および撮像方法を提供することである。 本発明の撮像装置は、筐体と、被写体を撮像する撮像部と、画像を表示可能な画像表示部と、前記筐体の姿勢を判定する姿勢判定部と、前記画像表示部に撮像のプレビュー画像が表示される際に、前記撮像部から取り込んだ原画像を前記姿勢判定部が判定した姿勢に基づいて補正する画像補正部と、を備えている。

Description

撮像装置および撮像方法
 本発明は、被写体を撮像する撮像装置および撮像方法に関するものである。
 近年のデジタルカメラや、カメラを有する携帯電話、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)等の撮像装置において、利用者は、ファインダに代えて表示部(液晶ディスプレイ等)に表示された被写体の画像(プレビュー画像)を見ながら撮像を行うことが可能となっている。
 一般的に、被写体を撮像する際に被写体の水平方向を画像の左右方向と一致させることが、撮像する画像をより見易いものとするために好適であるとされている。これを踏まえた上で上記の携帯電話等を用いた撮像を行う場合、利用者は、携帯電話等自体の姿勢を水平に保つ必要がある。
 例えば特許文献1には、撮影レンズユニット等が設けられた鏡筒ユニット回動機構を駆動することで、設定した傾斜角度を有する映像を撮影することが可能な電子カメラが開示されている。
日本国特開平10-268389号公報
 しかし、特許文献1の鏡筒ユニット回動機構はモータやギアを必要とするため小型化には制限がある。そのため、この鏡筒ユニット回動機構を携帯電話等に用いることは困難であると思われる。一方、利用者が表示部に表示される被写体の画像を見ながら手動で携帯電話等の水平を維持するのも容易ではない。
 本発明は、このような課題に鑑み、簡易な装置構成で被写体を適切な角度で撮像することが可能な撮像装置および撮像方法を提供することを目的としている。
 上記課題を解決するために、本発明にかかる撮像装置の一つの態様は、筐体と、被写体を撮像する撮像部と、画像を表示可能な画像表示部と、前記筐体の姿勢を判定する姿勢判定部と、前記画像表示部に撮像のプレビュー画像が表示される際に、前記撮像部から取り込んだ原画像を前記姿勢判定部が判定した姿勢に基づいて補正する画像補正部と、を備えることを特徴とする。
 また、本発明にかかる撮像方法の一つの態様は、撮像装置の撮像部にて被写体を撮像し、前記撮像装置の姿勢を判定し、前記撮像装置の表示部に撮像のプレビュー画像を表示する際に、前記撮像部から取り込んだ原画像を判定した前記姿勢に基づいて補正することを特徴とする。
 本発明によれば、簡易な装置構成で被写体を適切な角度で撮像することが可能な撮像装置および撮像方法を提供することができる。
本実施形態1における携帯電話の外観図である。 携帯電話の概略的な機能ブロック図である。 撮像操作を説明するフローチャートである。 ライブ補正モードを説明するための図である。 フレーム補正モードを説明するための図である。 実施形態2を説明するための図である。 実施形態2を説明するための図である。 本実施形態3における携帯電話の外観図である。 携帯電話の概略的な機能ブロック図である。 撮像操作を説明するフローチャートである。 水平補正モードを説明するための図である。 水平補正モードを説明するための図である。 実施形態4における携帯電話の外観図である。 携帯電話の概略的な機能ブロック図である。 実施形態4にかかる撮像操作を説明するフローチャートである。 第1補正モードを説明するための図である。 第2補正モードを説明するための図である。 実施形態5にかかる撮像操作を説明するフローチャートである。 補正範囲を説明するための図である。
100…携帯電話
102…第1筐体
104…第2筐体
106…筐体
110…制御部
114…端末メモリ
120…撮像部
130…画像表示部
140…姿勢検知部
150…画像補正部
160…顔認識部
170…操作部
172…音声入力部
174…音声出力部
176…無線通信部
180…画像取得枠
190…フォーカスポイント
1100…携帯電話
1102…第1筐体
1104…第2筐体
1106…筐体
1110…制御部
1114…端末メモリ
1116…画像記録部
1120…撮像部
1130…画像表示部
1140…姿勢検知部
1150…画像補正部
1160…報知部
1170…操作部
1172…音声入力部
1174…音声出力部
1176…無線通信部
1180…アイコン
2100…携帯電話
2102…第1筐体
2104…第2筐体
2106…筐体
2110…制御部
2114…端末メモリ
2120…撮像部
2130…画像表示部
2140…姿勢検知部
2150…画像補正部
2160…報知部
2170…操作部
2172…音声入力部
2174…音声出力部
2176…無線通信部
2180…アイコン
2190a、2190b…原画像の範囲
2192a、2192b…センサー画像
2194a、2194b…回転補正範囲
2196…破線枠(補正画像)
[実施形態1]
 以下に添付図面を参照しながら、本発明の好適な実施形態1について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
 本発明にかかる撮像装置は、主として手に把持して撮像(撮影)を行う携帯端末であり、例えば電子カメラ(デジタルカメラ)、撮像機能を備えた携帯電話、PHS、ノート型パーソナルコンピュータ、PDA、音楽プレイヤー、カーナビゲーション、PND(Personal Navigation Device)、ゲーム機器、リモートコントローラ等である。本実施形態1では、撮像装置として撮像機能を備えた折り畳み式携帯電話を例に挙げて説明する。
 図1は、本実施形態1における携帯電話の外観図であって、図1(a)は折り畳み式携帯電話(以下、単に携帯電話100と記す)を開いた状態での正面図、図1(b)は、携帯電話100を開いた状態での背面図である。図2は携帯電話100の概略的な機能ブロック図である。
 図1に示すように、携帯電話100は、筐体106、撮像部120、画像表示部130、操作部170、音声入力部172、音声出力部174、を備えている。また筐体106は、第1筐体102、第2筐体104、を備えている。
 また、図2に示すように、携帯電話100は内部にさらに、制御部110、端末メモリ114、姿勢検知部140、画像補正部150、顔認識部160、無線通信部176、を備えている。
 筐体106は、携帯電話100の外装を構成している。また、第1筐体102および第2筐体104はヒンジで連結されており、これによって折り畳み可能な構造となっている。
  通常、撮像部120による撮像は第1筐体102および第2筐体104を開いた状態で行う。具体的には、利用者は、第1筐体102の背面に備えられた撮像部120を被写体に向け、第2筐体104に備えられた画像表示部130をファインダの代わりとして利用して撮像を行う。
 制御部110は、中央処理装置(CPU)を含む半導体集積回路により携帯電話100全体を管理および制御する。例えば、通話機能、文字入力機能、音楽再生機能、TV視聴機能などを担うアプリケーションや、通信網を介してアプリケーション中継サーバ(図示せず)から提供されるWebブラウザやスケジュール管理などのアプリケーションを実行することが可能である。
 端末メモリ114は、ROM、RAM、EEPROM、不揮発性RAM、フラッシュメモリ、HDD等で構成され、制御部110で処理されるプログラムや音声データ等を記憶する。例えば、撮像部120により撮像された画像を保存しておくことが可能である。
 撮像部120は、ハードウェアとしてのカメラユニットであって、レンズや受光素子(CCDやCMOSなど)を備え、使用者が操作部170を操作して被写体を撮像することができる。また撮像部120は、制御部110の制御の下で撮像を行うこともできる。例えば、制御部110は、撮像部120のシャッター速度やオートフォーカス、自動露出や自動ホワイトバランスなどの動作制御を行うことができる。
 画像表示部130は、第2筐体104に設けられており、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ等で構成され、画像や設定状態を表示することができる。この構成により、画像表示部130は、音声通話の発着信相手の電話番号や、各種アプリケーションの動作画面、動画の閲覧、Webコンテンツ等を表示することができる。また、画像表示撮像部130は撮像部120のファインダとして、シャッターを切る前のプレビュー表示や、シャッターを切った後のポストビュー表示を行うことができる。
 姿勢検知部140は、筐体106の姿勢を検知する。例えば、姿勢検知部140として3軸加速度センサーを用いて筐体106の姿勢を検知することで、水平方向や垂直方向に対する携帯電話100の傾き角を検知することが可能となる。なお、本実施形態1にかかる携帯電話100は、撮像部120が第1筐体102に設けられていることから、第1筐体102の傾き角を検知することが、後述する画像の補正のために有効である。
 画像補正部150は、撮像部120によって撮像された画像を補正する。また補正は、姿勢検知部140が検知した姿勢に基づいて行うことが可能である。例えば、撮像部120から取り込んだ画像のデータを原画像として、姿勢検知部140が検知した携帯電話100の傾き角に基づいて回転させ、画像表示部130と同じ縦横比の画像に切り抜き、画像表示部130の大きさに合わせて拡大させた補正画像を生成することが可能である。
 また上述した制御部110は、後に詳述するように、シャッターを切る前のプレビュー画像を表示する際に、画像補正部150が水平補正した補正画像を画像表示部130にプレビュー画像として表示させることができる(以下、「ライブ補正モード」と記す)。またさらに、ライブ補正モードとは異なり、シャッターを切った後に画像補正部150によって水平補正される画像の範囲を示す画像取得枠180を、シャッターを切る前の通常のプレビュー画像に重畳して表示することができる(以下、「フレーム補正モード」と記す)。
 顔認識部160は、撮像部120が撮像した画像に含まれる人物の顔を認識する。例えば、顔認識部160が認識した人物の顔は、制御部110によってオートフォーカスの対象物にされ、自動的にピントが調節された人物画像を撮像することができる。人物の顔の認識は、画像中に写る目や鼻、口などの特徴的な配置に基づいて認識することができる。
  この手法については公知の技術を用いることができるため、詳細な説明は省略する。
 操作部170はキーボード、十字キー、ジョイスティック等の可動スイッチで構成され、利用者の操作入力を受け付けることができる。例えば、利用者は操作部170を利用して撮像部120による被写体の撮像を行うことが可能となる。
 音声入力部172は、マイク等の音声認識手段で構成され、通話時に入力された利用者の音声を携帯電話100内で処理可能な電気信号に変換する。
 音声出力部174は、スピーカで構成され、携帯電話100で受信した通話相手の音声信号を音声に変えて出力する。また、音声出力部174は、着信音や、操作部170の操作音、アラーム音等も出力できる。
 無線通信部176は、CDMAやWiMAX(Worldwide Interoperability for Microwave Access)等の無線通信方式にて基地局との無線通信を確立し、通信相手との音声通信やWebサーバとのデータ通信を遂行する。
 上記構成の携帯電話100の動作について説明する。図3は撮像操作を説明するフローチャート、図4はライブ補正モードを説明するための図、図5はフレーム補正モードを説明するための図である。
 まず、利用者はS200において、撮像部120を作動させる際に水平補正を行うか否かを選択する。水平補正を行わない場合(S200のN)は、通常の撮像モードとなり、撮像部120から取り込んだ原画像を用いたプレビュー表示が開始される(S210)。
 水平補正を行う場合(S200のY)、利用者は、さらにライブ補正モードとフレーム補正モードとのいずれか一方を選択する(S230)。なお、ライブ補正モードとフレーム補正モードは、当該携帯電話100がいずれか一方のみの機能を備えていてもよいし、利用者の設定に基づいて選択するように構成してもよい。
 ライブ補正モードについて図3および図4を参照しながら説明する。図4(a)は通常の撮像モードでのプレビュー表示(S210)を示したものである。このように携帯電話100が傾いていた場合のままシャッターを切ると(S220)、取得される画像は水平方向が傾いた画像となってしまう。しかし、携帯電話100の利用者がプレビュー表示を見ながら手動で携帯電話100を水平に保持することは容易ではない。
 一方、ライブ補正モードを選択した場合(S230のY)は、姿勢検知部140により、水平方向L1に対して携帯電話100の左右方向L2が有する傾き角A1を検知する(S240)。また図4(b)に示したように、画像補正部150は、この傾き角A1に基づいて、原画像の水平方向L1が携帯電話100の左右方向L2に一致するように矢印方向に回転させて補正(水平補正)する(S250)。制御部110は、補正された補正画像を画像表示部130にプレビュー表示する(S260)。
 すなわち図4(b)に示したように、ライブ補正モードでは補正後の画像をプレビュー画像として表示する。利用者は、このままシャッターを切るだけで(S300)、水平に補正された画像を保存画像として取得することができる。
 なお画像を回転させると、画像が矩形(長方形)であることから、角部に空白が生じてしまう。そこで、回転させた矩形の範囲が原画像の範囲内に収まるように切り抜きを行う。すなわち上記の補正とは、回転と切り抜きの2つの処理を含んでいる。画像表示部130には切り抜いた画像の全体を全面に表示させるが、切り抜いた画像を原画像と同じサイズ(ピクセル数)に伸張してもよく、または切り抜いた小さなピクセル数のままで表示だけを拡大してもよい。
 取得された補正画像は、画像表示部130にポストビュー画像として表示される(S330)。また、ポストビューの表示時(S330)には、表示されている画像を保存するか否かを選択することができ(S340)、保存しない場合(S340のN)は、再度S200からの撮像操作へ移行し、保存する場合(S340のY)は、画像は端末メモリ114に保存され(S350)、撮像操作は終了となる。
 このようにライブ補正モードを利用すれば、取得される補正画像の構図をプレビュー画像として視認しながら撮像操作を行うことができるため、意図する画像か否かを容易に判断することが可能となる。また利用者は、自ら携帯電話100の角度を調整することなく水平な画像を簡易に取得することが可能となる。
 フレーム補正モードについて図3および図5を参照しながら説明する。フレーム補正モードを選択した場合(S230のN)は、姿勢検知部140により携帯電話100の傾き角A1(図4(a)参照)を検知する(S270)。制御部110は、この傾き角A1と画像表示部130の縦横比に基づいて、画像補正部150によって補正される画像の範囲を計算する(S280)。このとき、まだ画像の補正は行っていない。補正自体は上記ライブ補正モードと同様の処理であり、また補整される画像の範囲とは切り抜きを行う際の外縁(境界)である。
 そして図5(a)で示すように、フレーム補正モードでは、通常のプレビュー画像に重畳して、補正される画像の範囲を画像取得枠180として表示する(S290)。画像取得枠180は鉛直方向と平行な辺を有する矩形であって、原画像と同じ縦横比を有している。制御部110は、姿勢検知部140が検知した姿勢に基づいて、画像表示部130に収まるように画像取得枠180の拡大または縮小を行う。
 また図5(b)に示すように、携帯電話100がさらに傾いた場合であっても、制御部110が姿勢検知部140の検知した傾き角A1に基づいて画像取得枠180を回転させることで、画像取得枠180は垂直を維持することが可能となる。この場合においても、制御部130は画像取得枠180を画像表示部130に収まる範囲で拡大し、または縮小して表示している。
 フレーム補正モードでは、プレビュー表示(S290)の後にシャッターが切られる(S310)と、画像取得枠180に則して原画像に対して実際に補正を行う(S320)。取得された補正画像は、図5(a)および図5(b)に示したように、画像表示部130にポストビュー画像として表示される(S330)。このとき画像表示部130には、補正後の画像を表示する。そして上記と同様に保存するか否かを問い合わせて(S340)、操作に応じて端末メモリ114に保存する(S350)。この補正によって原画像は水平な補正画像となる。
 これらのようにフレーム補正モードを利用すれば、通常のプレビュー画像に画像取得枠180を重畳して表示することで、通常の撮像モードで取得される画像とフレーム補正モードにより取得される画像の範囲とを見比べながら撮像を行うことが可能となる。したがって利用者は、補正され取得される画像が意図するものであるか容易に把握でき、また利用者が自ら携帯電話100の角度を調整することなく水平な画像を簡易に取得することが可能となる。
 上記説明した如く、本実施形態1の構成によれば、撮像した画像を自動的に水平補正することができる。したがって利用者は水平を気にして携帯電話100を構える必要がなくなり、容易に被写体を適切な角度で撮像することが可能となる。
[実施形態2]
 図6および図7を用いて画像補正部150による補正に関する実施形態2を説明する。上記実施形態1と説明の重複する部分については同一の符号を付して説明を省略する。
 上記実施形態1においては、原画像の中心で回転させて補正することを想定して説明した。しかし、回転により写したいものが画像の端に寄ってしまったり、極端な場合には画像の外に出てしまったりする場合も想定される。このため、さらに好適な画像を得るために、回転中心を考慮することも考えられる。
 図6は、フォーカスポイントを中心に原画像を回転させて補正を行う例である。図6ではサッカーボールにフォーカスポイント190があり、サッカーボールを中心に原画像を回転させて補正している。フォーカスポイント190はその画像(写真)における主題であると考えられ、フォーカスポイント190を中心に回転させることによってその位置の画像が画像の端に寄ってしまうことを防止することができる。したがって、利用者は被写体の構図の調整を意識することなく、容易に撮像を行うことが可能となる。
 またスナップ写真において人物が主題となる場合が多い。そこで人物の顔を認識することにより、その位置にフォーカスポイント190を設定することがよく行われている。
 そこで図7(a)に示すように、画像補正部150は顔認識部160が認識した人物の顔を中心に補正を行うことも可能である。このとき、あわせて人物の顔にフォーカスポイント190を設定することが好ましい。これにより人物の顔が補正により画面の端に寄ってしまうことを防止することができる。よって利用者は、人物画像を撮像する際にも構図の調整を意識することなく、適切に被写体の方向が補正された画像を容易に取得することが可能となる。
 さらに図7(b)に示すように、顔認識部160によって複数の人物の顔の同時認識を行った場合には、画像補正部150は、複数の人物の顔の中心点を中心に原画像を回転させて補正を行ってもよい。これにより、複数の人物が被写体となる場合でも全員を画像に収めたままの補正を行うことが可能となる。このときフォーカスポイント190は、いずれの人物の顔に設定されていてもよい。
 なお各補正モードに共通して、制御部110は画像補正部150により補正される範囲内の画像に基づいて自動露出(AE)と自動ホワイトバランス(AWE)を行うことが可能である。具体的には、原画像の範囲内には空が存在するが補正画像の範囲内からは空が外れている場合、空の明るさや色を省いて適正な露出を得て、またR、G、Bの各色成分のレベル変換を行うことができる。このように、補正後に実際に取得される画像の範囲内で色の様相を整えることができるため、被写体の色がより的確に表現された画像を取得することが可能となる。
 また上記実施形態1では携帯電話100を通話時と同じ縦に構えた状態で例示したが、実施形態2では、横に構えた状態でも同様に補正を行うことが可能である。例えばライブ補正モードでは、姿勢検知部140が携帯電話100の垂直方向に対する傾き角を検知し、縦長の画像表示部130が垂直方向に対して45°以上傾いて横長状態となったら、プレビュー画像の表示も横長状態に切り替えて水平補正を行うことができる。またフレーム補正モードでは、画像表示部130が垂直方向に対して45°以上傾いた場合に、画像取得枠180も横長状態に切り替えて表示することができる。
 また画像補正部150は、上記実施形態に記載した水平補正だけでなく、利用者が任意に設定した角度を有する画像に補正することも可能である。したがって利用者は、例えば水平に対して15°や30°などの角度を設定し、自分が求める演出を容易にかつ確実に画像に対して行うことができる。またさらに画像補正部150は、姿勢検知部140の検知した姿勢に基づき画像を遠近補正することもでき、これにより原画像の遠近方向の歪みが補正された補正画像を取得することが可能となる。
[実施形態3]
 図面を参照して、本発明の実施形態3について詳細に説明する。各部材は1000番代の符号が付与されているが、上記の実施形態1~2と同じ機能を果たすものについては説明を省略する。以下、実施形態3が、実施形態1~2と異なる部分について説明する。
 また図9に示すように、携帯電話1100の内部にはさらに、画像記録部1116が備えられている。
 端末メモリ1114は、ROM、RAM、EEPROM、不揮発性RAM、フラッシュメモリ、HDD等で構成され、制御部1110で処理されるプログラムや音声データ等を記憶する。また、端末メモリ1114には画像記録部1116が設けられており、撮像部1120により撮像された画像を保存しておくことが可能である。
 報知部1160は、上記画像補正部1150により原画像の補正が行われることを所定の態様で報知する。所定の態様は、画像表示部1130におけるアイコンの表示や、所定の文字の表示により行うことができる。また画像表示部1130を用いた報知以外にも、携帯電話1100に既設されているLEDの発光や、操作部1170におけるキーパッドの照明の点灯により行うこともできる。なお、報知はいずれか1つの態様で行ってもよいし、複数の態様を組み合わせて行ってもよい。
 上記構成の携帯電話1100の動作について説明する。図10は撮像操作を説明するフローチャート、図11および図12は水平補正モードを説明するための図である。
 まず、S1200において制御部1110は、撮像部1120を作動させる際に撮像を水平補正モードで行うか否かを利用者に問い合わせる。水平補正モードを選択されなかった場合(S1200のN)は、通常の撮像モードとなり、撮像部1120から取り込んだ原画像をそのまま用いたプレビュー表示を開始する(S1210)。
 プレビュー表示(S1210)の後にシャッターが切られる(S1220)と、制御部1110はその瞬間の画像を保存画像として取得し、この保存画像をポストビュー表示する(S1230)。ポストビュー表示(S1230)では、制御部1110は表示されている画像を保存するか否かを利用者に問い合わせる(S1240)。保存がキャンセルされた場合(S1240のN)は、再度S1200からの撮像操作へ移行し、保存が選択された場合(S1240のY)は、画像を画像記録部1116に保存し(S1250)、撮像操作が終了となる。
 しかし、例えば携帯電話1100が傾いていた場合に、そのままシャッターを切ると、取得される保存画像は水平方向が傾いた画像となってしまう。ところが、携帯電話1100は手に把持して利用するものであるから、利用者がプレビュー表示を見ながら手動で携帯電話1100を水平に保持することは容易ではない。そこで、本実施形態3にかかる水平補正モードでは、以下のように動作する。
 S1200において水平補正モードが選択された場合(S1200のY)は、まず報知部1160によって、水平補正モードであることを(水平補正を行うことを)所定の態様で報知する(S1260)。そして制御部1110は、報知と共に撮像部1120から取り込んだ原画像をそのまま用いたプレビュー表示を開始する(S1270)。
 所定の態様としては、例えば図11(a)に示すように、画像表示部1130におけるアイコン1180の表示により行うことができる。また図示は省略するが、プレビュー表示の妨げにならないように、画像表示部1130の端に所定の文字を表示することで報知を行ってもよい。またさらに、画像表示部1130を用いた態様の報知以外にも、携帯電話1100に既設されているLEDの発光や、操作部1170におけるキーパッドの照明の点灯により行うこともできる。これによって利用者は、原画像に対して水平補正が行われることを念頭に置きながら撮像を行うことが可能となる。
 なお、報知部1160による報知はいずれか1つの態様で行ってもよいし、複数の態様を組み合わせて行ってもよい。また報知が不要な場合は、報知を行わない設定にすることも可能である。
 水平補正モードにおいてプレビュー表示(S1270)の後にシャッターが切られると(S1280)、制御部1110はその瞬間の画像を原画像として取得する。このとき、姿勢検知部1140により、図11(a)に示すように水平方向L1に対して携帯電話1100の左右方向L2が有する傾き角A1を検知する(S1290)。
 そして図11(b)に示すように、画像補正部1150は、この傾き角A1に基づいて、原画像の水平方向L1が携帯電話1100の左右方向L2に一致するように矢印方向に回転させて補正(水平補正)する(S1300)。そしてS1310では、制御部1110が補正後の補正画像をポストビュー画像として表示する。このように利用者は、シャッターを切るだけで(S1280)、水平に補正された画像を保存画像として取得することができる(S1320)。
 このように水平補正モードを利用すれば、利用者はプレビュー表示を見ながら手動で携帯電話1100の角度を調整する必要はなく、被写体へ照準を合わせることに集中して撮像を行うことができる。
 また、図11では携帯電話1100を通話時と同じ縦に構えた状態で例示したが、図12に示すように、水平補正モードでは、補正は画像表示部1130への補正画像の縦横の表示を制御部1110により切り換えて行うことも可能である。
 縦横表示の切り換えは、姿勢検知部1140による携帯電話1100の所定の方向に対する傾き角を基準にして行うことができる。例えば、携帯電話1100が図11に示したような縦長状態から垂直方向に対して45°以上傾いた場合に、図12に示した横長状態に切り替えることができる。
 図12の横長状態での水平補正では、シャッターが切られると(S1280)、姿勢検知部1140により、水平方向L4に対して携帯電話1100の左右方向L3が有する傾き角A2を検知する(S1290)(図12(a))。画像補正部1150は、この傾き角A2に基づいて、原画像の水平方向L4が携帯電話1100の左右方向L3に一致するように矢印方向に回転させて水平補正する(S1300)(図12(b))。
 このように、携帯電話1100を構える角度の変化に伴って携帯電話1100の左右方向が変化しても、制御部1110によって適正な水平補正を行うことが可能となる。よって利用者は、状況に応じた水平な画像を簡易に取得することが可能となる。
 また、図11および図12で示した水平補正では、画像を回転させると、画像が矩形(長方形)であることから、画像表示部1130の角部に空白が生じてしまう。そこで、回転させた矩形の範囲が原画像の範囲内に収まるように切り抜きを行う。すなわち上記の補正とは、回転と切り抜きの2つの処理を含んでいる。画像表示部1130には切り抜いた画像の全体を全面に表示させるが、切り抜いた画像を原画像と同じサイズ(ピクセル数)に伸張してもよく、または切り抜いた小さなピクセル数のままで表示だけを拡大してもよい。
 画像表示部1150により水平補正された補正画像は、制御部1110によって画像表示部1130へポストビュー画像として表示する(S1310)。水平補正モードでのポストビュー表示(S1310)では、制御部1110は表示されている画像を保存するか否かを利用者に問い合わせる(S1320)。
 上述したように、補正画像は原画像に対して回転と切り抜きを行って生成されるため、プレビュー表示で確認した原画像と、補正されて取得される補正画像とでは構図に差異が表れてしまう。そのため、補正画像の構図が利用者の意図しないものとなってしまう場合がある。しかし、例えば動きのある被写体を撮像する場合では、同じシャッターチャンスは二度とないために撮り直しできない場合がある。
 そこで画像補正部1150は、補正画像を原画像のコピーデータから生成し、原画像のオリジナルデータを維持しておくことで、補正画像と原画像の両方をポストビュー表示で見比べることが可能となる。このときのポストビュー表示(S1310)は、補正画像と原画像を操作部1170の操作により切り換えて表示してもよく、縮小した両画像を同時に表示してもよい。
 さらに本実施形態3においては、画像を保存する場合(S1320のY)には、制御部1110が利用者に補正画像と原画像の両方を保存するか否かを問い合わせる(S1330)。両方保存することを選択された場合(S1330のY)は、制御部1110は補正画像と原画像の両方を画像記録部1116に保存し(S1340)、撮像操作は終了となる。また、いずれか一方を保存することを選択された場合(S1330のN)は、さらに補正画像のみ保存するか否かを問い合わせる(S1350)。補正画像のみを保存すると選択された場合(S1350のY)は、制御部1110は、補正画像のみを画像記録部1116に保存し(S1360)、撮像操作は終了となる。補正画像は保存しないと選択された場合(S1350のN)は、制御部1110は原画像のみを画像記録部1116に保存し(S1370)、撮像操作は終了となる。
 このように水平補正モードを利用すれば、水平補正された補正画像を保存できるだけでなく、補正されていない原画像も保存できる。これにより利用者は、画像を他の用途に利用する際に、同じ被写体の画像であっても、補正された画像と補正されていない画像とを好みに応じて選択して利用することが可能となる。
 上記説明した如く、本実施形態3の構成によれば、撮像した画像を自動的に水平補正することができる。したがって利用者は水平を気にして携帯電話1100を構える必要がなくなり、容易に被写体を適切な角度で撮像することが可能となる。
 また画像補正部1150は、実施例に記載した水平補正だけでなく、利用者が任意に設定した角度を有する画像に補正することも可能である。したがって利用者は、自分が求める演出を画像に対して行うことができる。またさらに画像補正部1150は、姿勢検知部1140の検知した姿勢に基づき画像を遠近補正することもでき、これにより原画像の遠近方向の歪みが補正された補正画像を取得することが可能となる。
[実施形態4]
 図面を参照して、本発明の実施形態4について詳細に説明する。各部材は2000番代の符号が付与されているが、上記の実施形態1~3と同じ機能を果たすものについては説明を省略する。以下、実施形態4が、実施形態1~3と異なる部分について説明する。
 また図14に示すように、携帯電話2100は内部にさらに、報知部2160を備えている。
 報知部2160は、上記画像補正部2150により原画像の補正が行われることを所定の態様で報知する。所定の態様は、画像表示部2130におけるアイコンの表示や、所定の文字の表示とすることができる。また画像表示部2130を用いた報知以外にも、携帯電話2100に既設されているLEDの発光や、操作部2170におけるキーパッドの照明の点灯により行うこともできる。なお、報知はいずれか1つの態様で行ってもよいし、複数の態様を組み合わせて行ってもよい。
 上記構成の携帯電話2100の動作について説明する。図15は実施形態4にかかる撮像操作を説明するフローチャート、図16は第1補正モードを説明するための図、図17は第2補正モードを説明するための図である。
 まずS2200において、制御部2110は、撮像部2120を作動させる際に水平補正を行うか否かを利用者に問い合わせる。水平補正を行わない場合(S2200のN)は、通常の撮像モードとなり撮像部2120から取り込んだ原画像をそのまま用いたプレビュー表示が開始される(S2210)。そして利用者がシャッターを切ると(S2220)、制御部2110は、その瞬間の画像を保存画像としてポストビュー表示し(S2320)、保存するか否かを利用者に問い合わせる(S2330)。保存することを選択された場合(S2330のY)、制御部2110は、端末メモリ2114に画像を記録する。保存がキャンセルされた場合には(S2330のN)、S2200に戻って撮影を継続する。
 水平補正を行うことを選択された場合(S2200のY)は、姿勢検知部2140により、当該携帯電話2100の所定の方向に対する傾き角を検知する(S2230)。所定の方向とは例えば水平方向や鉛直方向とすることができ、傾き角は、水平方向に対して携帯電話2100の左右方向が有する傾き角でもよいし、鉛直方向に対して携帯電話2100の上下方向が有する傾き角でもよい。
 次に、制御部2110は、傾き角が所定値以上か否か判定する(S2240)。なお、所定値とは、例えば携帯電話2100のサイズや画像表示部2130のサイズ等を考慮して設定した角度、または利用者が任意に設定した角度でもよい。
 そして制御部2110は、傾き角が所定値より大きいと判断した場合は第1補正モードを選択し(S2240のY)、傾き角が所定値以下であると判断した場合は第2補正モードを選択する(S2240のN)。
 第1補正モードについて図15および図16を参照しながら説明する。なお第1補正モードの説明においては、図16(a)に示すように、傾き角A1は水平方向L1に対して携帯電話2100の左右方向L2が有する角度として記載する。
 携帯電話2100が大きく傾いた状態で撮像を行うと、通常のプレビュー表示で確認した原画像と、水平補正をした補正画像とでは構図が大きく変化してしまう。したがって、実際に水平補正されて取得される画像が、利用者の意図しない構図の画像になってしまうおそれがある。
 このため、第1補正モードでは、まず、傾き角A1に基づいて、原画像の水平方向L1が携帯電話100の左右方向L2に一致するように矢印方向に回転させて補正(水平補正)する(S2250)(図16(b))。次に、制御部2110は、補正された補正画像を画像表示部2130にプレビュー表示する(S2260)。
 すなわち、図16(b)に示したように、第1補正モードでは制御部2110は補正後の画像をプレビュー画像として表示する(S2260)。これにより利用者は、実際に水平補正して取得される画像を、シャッターを切る前の段階で確認することができる。
 そして利用者がシャッターを切ることで(S2270)、制御部2110は水平補正された画像を保存画像として取得することができる。
 なお画像を回転させると、画像が矩形(長方形)であることから、角部に空白が生じてしまう。そこで、回転させた矩形の範囲が縦横比を維持したままで原画像の範囲内に収まるように切り抜きを行う。すなわち上記の補正とは、回転と切り抜きの2つの処理を含んでいる。画像表示部2130には切り抜いた画像の全体を全面に表示させるが、切り抜いた画像を原画像と同じサイズ(ピクセル数)に伸張してもよく、または切り抜いた小さなピクセル数のままで表示だけを拡大してもよい。
 取得された保存画像は、画像表示部2130にポストビュー画像として表示される(S2320)。ポストビューの表示時(S2320)に、制御部2110は画像を保存するか否かを利用者に問い合わせる(S2330)。保存しないと選択された場合(S2330のN)は、再度S2200からの撮像操作へ移行し、保存すると選択された場合(S2330のY)は、制御部2110は保存画像を端末メモリ2114に保存し(S2340)、撮像操作は終了となる。
 このように第1補正モードを利用すれば、取得される補正画像の構図をプレビュー画像として視認しながら撮像操作を行うことができるため、意図する画像か否かをシャッターを切る前に容易に判断することが可能となる。また利用者は、自ら携帯電話2100の角度を調整することなく水平な画像を簡易に取得することが可能となる。
 第2補正モードについて図15および図17を参照しながら説明する。図17(a)は第2補正モードでのプレビュー表示(S2290)を示す図、図17(b)は保存画像を示す図である。また第2補正モードの説明においては、図16(a)に示すように、傾き各A2は水平方向L4に対して携帯電話2100の左右方向L3がなす角度として記載する。
 S2240において傾き角A2が所定値より小さい場合(S2240のN)、すなわち、携帯電話2100をあまり傾けずに構えている場合は、水平補正による画像の構図の変化は小さいものとなる。この場合、制御部2110は第2補正モードを選択する。
 第2補正モードでは、まず報知部2160は、所定の態様によって補正を行うことを報知する(S2280)。そして報知と共に、制御部2110は撮像部2120から取り込んだ原画像をそのまま用いたプレビュー表示を開始する(S2290)。
 所定の態様としては、例えば図17(a)に示すように、画像表示部2130におけるアイコン2180の表示により行うことができる。また図示は省略するが、プレビュー表示の妨げにならないように、画像表示部2130の端に所定の文字を表示することで報知を行ってもよい。またさらに画像表示部2130を用いた態様の報知以外にも、携帯電話2100に既設されているLEDの発光や、操作部2170におけるキーパッドの照明の点灯により行うこともできる。
 なお、報知部2160による報知はいずれか1つの態様で行ってもよいし、複数の態様を組み合わせて行ってもよい。また報知が不要な場合は、報知を行わない設定にすることも可能である。
 第2補正モードでは、プレビュー表示(S2260)の後にシャッターが切られる(S2300)と、画像補正部2150が原画像に対して実際に補正を行う(S2310)。
 S2310では、画像補正部2150が傾き角A2に基づいて、原画像の水平方向L4が携帯電話2100の左右方向L3に一致するように矢印方向に回転させて水平補正し、保存画像として取得する(図17(b))。
 制御部2110は、取得した保存画像を画像表示部2130にポストビュー表示する(S2320)。そして制御部2110は上記と同様に保存するか否かを利用者に問い合わせて(S2330)、操作に応じて端末メモリ2114に保存する(S2340)。
 このように、携帯電話2100の傾きが小さい場合(傾き角A2)は、原画像と補正画像との構図の差異は小さいものとなる。そこで制御部2110は第2補正モードを選択し、補正した画像を使用しない通常のプレビュー画像を用いることで、第1補正モードよりも簡易な画像処理でプレビュー表示を行うことができる。
 またプレビュー表示と共に報知を行うことで、利用者は、原画像に対して水平補正が行われることを念頭に置きながら撮像を行うことが可能となる。
 なお、制御部2110は、いったん第1補正モードまたは第2補正モードを選択した後でも、携帯電話2100の傾き角の変化に応じて第1補正モードまたは第2補正モードへ切り換えることも可能である。
 上記説明した如く、本実施形態4の構成によれば、撮像した画像を自動的に水平補正することができるだけでなく、状況に応じた補正の動作を自動的に選択して行うことができる。したがって利用者は水平を気にして携帯電話2100を構える必要がなく、かつ撮像される画像の構図を事前に把握しながら撮像操作を行うことができる。これにより利用者は、容易に被写体を適切な角度で撮像することが可能となる。
[実施形態5]
 本発明の実施形態5について図18および図19を参照しながら説明する。図18は実施形態5にかかる撮像操作を説明するフローチャート、図19は補正範囲を説明する図である。なお、図18のフローチャートにあっては、上記実施形態4と説明の重複する部分については同一の符号を付して説明を省略する。
 図18のフローチャートに示すように、利用者が水平補正を行うことを選択した場合(S2200のY)は、姿勢検知部2140により携帯電話2100の傾き角を検知する(S2230)。
 次に、画像補正部2150は傾き角に基づいて回転のみによる回転補正範囲2194a、2194bを算出する(S2400)。この回転補正範囲2194a、2194bは、撮像部2120から取り込んだ原画像の範囲2190a、2190bを、画像補正部2150が傾き角に基づいて回転させた範囲である。
 ところで図19に示すように、本実施形態5において撮像部2120は、利用者によって指定されたサイズよりも1ランク大きなサイズの画像を取得する。例えばQVGA(240×320)が指定されている場合にはVGA(640×480)のサイズで画像を取得し、VGAが指定されている場合にはSVGA(800×600)で画像を取得する。もっとも、その撮像素子で取得可能な最大サイズの画像が指定されている場合には、指定されたサイズと同じサイズの画像を取得する。以下において、指定されたサイズよりも大きなサイズの画像を、センサー画像2192a、2192bと称する。
 そして制御部2110は、回転補正範囲2194a、2194bがセンサー画像2192a、2192bの範囲内か否か判定する(S2410)。図19(a)に示したように、回転補正範囲2194aがセンサー画像2192aの範囲内である場合は、制御部2110は第2補正モード(報知を行って補正せずにプレビューする動作)を選択する(S2410のY)。
 ここで、回転補正範囲2194aがセンサー画像2192aの範囲内ということは、原画像と同じ解像度で補正画像が生成できるということを意味している。つまり、センサー画像2192に対する、原画像の範囲2190aと回転補正範囲2194aの面積は同じである。また回転した回転補正範囲2194aがセンサー画像2192aの範囲内に収まるということは、携帯端末2100の傾き角が小さいということでもある。よって、原画像と補正後の補正画像の構図の差異は少ないものとなる。
 このような場合には、制御部2110は実施形態4で説明した第2補正モードを選択することで、簡易な画像処理でプレビュー表示を行うことができる。またプレビュー表示と共に報知を行うことで、利用者は、原画像に対して水平補正が行われることを念頭に置きながら撮像を行うことが可能となる(S2280~S2340)。
 一方、図19(b)に示したように、補正範囲がセンサー画像の範囲内に収まらない場合は、制御部2110は第1補正モード(補正後の画像でプレビューする動作)を選択する(S2410のN)。
 回転補正範囲2194bがセンサー画像2192bの範囲内に収まらない場合は、その回転補正範囲2194bのまま補正画像を生成すると、補正画像の角部に空白が生じてしまう。そこで、回転補正範囲2194bから、さらにセンサー画像2192bの範囲内に収まるように画像の縦横比を維持したままで取得範囲を縮小して、補正画像(破線枠2106)を生成する。
 このように、回転補正範囲2194bがセンサー画像2192bの範囲内に納まらない場合とは、原画像の範囲2190aと回転補正範囲2194aの面積に差異が表れ、その結果、原画像と補正画像の解像度に影響が現れる場合である。
 このような場合には、制御部2110は実施形態4で説明した第1補正モードを選択する。これにより利用者は、補正されて変化した補正画像2196を、プレビュー表示で確認しながら撮像を行うことが可能となる(S2250~S2340)。
 なお、制御部2110は実施形態5においても、いったん第1補正モードまたは第2補正モードを選択した後でも、携帯電話2100の傾き角の変化に応じて第1補正モードまたは第2補正モードへ切り換えることが可能である。
 上記説明した如く、本実施形態5の構成によれば、撮像した画像を自動的に水平補正することができるだけでなく、状況に応じた補正の動作を自動的に選択して行うことができる。したがって利用者は水平を気にして携帯電話2100を構える必要がなく、かつ撮像される画像の状態を事前に把握しながら撮像操作を行うことができる。これにより利用者は、容易に被写体を適切な角度で撮像することが可能となる。
 なお、上述した実施形態4および実施形態5では、携帯電話2100を通話時と同じ縦に構えた状態で例示したが、横に構えた状態でも同様に補正を行うことが可能である。例えば第1補正モードでは、姿勢検知部2140が携帯電話2100の垂直方向に対する傾き角を検知し、縦長の画像表示部2130が垂直方向に対して45°以上傾いて横長状態となったら、プレビュー画像の表示も横長状態に切り替えて水平補正を行うことができる。
 また画像補正部2150は、上記実施形態4,5に記載した水平補正だけでなく、利用者が任意に設定した角度を有する画像に補正することも可能である。したがって利用者は、例えば水平に対して15°や30°などの角度を設定し、自分が求める演出を容易にかつ確実に画像に対して行うことができる。またさらに画像補正部2150は、姿勢検知部2140の検知した姿勢に基づき画像を遠近補正することもでき、これにより原画像の遠近方向の歪みが補正された補正画像を取得することが可能となる。
 上記のように、本発明にかかる撮像装置の一つの態様は、筐体と、被写体を撮像する撮像部と、画像を表示可能な画像表示部と、筐体の姿勢を検知する姿勢検知部と、撮像部から取り込んだ原画像を姿勢検知部が検知した姿勢に基づいて補正する画像補正部と、原画像を補正した補正画像を、プレビュー画像として画像表示部に表示させる制御部と、を備えることを特徴とする。
 本発明にかかる撮像装置の他の構成は、筐体と、被写体を撮像する撮像部と、画像を表示可能な画像表示部と、筐体の姿勢を検知する姿勢検知部と、撮像部から取り込んだ原画像を姿勢検知部が検知した姿勢に基づいて補正する画像補正部と、画像表示部にプレビュー画像を表示する際に、画像補正部により補正される原画像の範囲を示す画像取得枠をプレビュー画像に重畳して画像表示部に表示させる制御部と、を備えることを特徴とする。
 制御部は、姿勢検知部が検知した姿勢に基づいて画像取得枠の拡大または縮小を行うとよい。
 姿勢検知部は、筐体の所定の方向に対する傾き角を検知するとよい。
 画像補正部は、被写体の水平方向と当該撮像装置の左右方向が一致するように原画像の補正を行ってもよい。
 画像補正部は、フォーカスポイントを中心に原画像の補正を行ってもよい。
 当該撮像装置は、被写体となる人物の顔を認識する顔認識部をさらに備え、画像補正部は、認識した人物の顔を中心に原画像の補正を行ってもよい。
 顔認識部は複数の人物の顔の同時認識が可能であり、画像補正部は、複数の人物の顔の中心点を中心に原画像の補正を行ってもよい。
 制御部は、画像補正部により補正される範囲内の画像に基づいて自動露出と自動ホワイトバランスを行うことよい。
 筐体はヒンジを有する折り畳み可能な構造であって、撮像装置による撮像は筐体を開いた状態で行ってもよい。
 また、本発明にかかる撮像方法のひとつの態様は、撮像装置にて被写体を撮像し、撮像装置の姿勢を検知し、撮像した原画像を、検知した姿勢に基づいて補正し、原画像を補正した補正画像を、プレビュー画像として表示することを特徴とする。
 撮像装置にて被写体を撮像し、撮像装置の姿勢を検知し、撮像した原画像において、検知した姿勢に基づいて補正する範囲を取得し、プレビュー画像を表示する際に、取得した範囲を示す画像取得枠を重畳して表示させることを特徴とする。
 また、本発明にかかる撮像装置のひとつの態様は、筐体と、被写体を撮像する撮像部と、画像を表示可能な画像表示部と、筐体の姿勢を検知する姿勢検知部と、撮像部が取り込んだ原画像を姿勢検知部が検知した姿勢に基づいて補正する画像補正部と、を備えることを特徴とする。
 当該撮像装置は所定の態様で報知を行う報知部をさらに備え、報知部は、原画像に対し画像補正部による補正が行われることを、プレビュー画像の表示時に所定の態様で報知するとよい。
 所定の態様は、アイコンの表示、所定の文字の表示、LEDの発光、キーパッドの照明の点灯のいずれかまたは複数を含むとよい。
 当該撮像装置は、画像を保存する画像記録部をさらに備え、画像記録部は、画像補正部により補正された補正画像を保存するとよい。
 画像記録部は、補正画像と補正前の原画像とを共に保存してもよい。
 姿勢検知部は、筐体の所定の方向に対する傾き角を検知するとよい。
 所定の方向は、水平または設定された任意の方向であるとよい。
 画像補正部は、被写体の水平方向と当該撮像装置の左右方向が一致するように原画像の回転を行うとよい。
 筐体はヒンジを有する折り畳み可能な構造であって、撮像装置による撮像は筐体を開いた状態で行うとよい。
 また、本発明にかかる撮像方法の一つの態様は、撮像装置にて被写体を撮像し、撮像装置の姿勢を検知し、撮像した原画像を検知した姿勢に基づいて補正することを特徴とする。
 また、本発明にかかる撮像装置の一つの態様は、筐体と、被写体を撮像する撮像部と、画像を表示可能な画像表示部と、筐体の姿勢を検知する姿勢検知部と、撮像部から取り込んだ原画像を姿勢検知部が検知した姿勢に基づいて補正する画像補正部と、原画像を補正した補正画像をプレビュー画像として画像表示部に表示する第1補正モードと、原画像に対し補正が行われることをプレビュー画像の表示時に報知する第2補正モードと、のいずれか一方を姿勢検知部が検知した姿勢に応じて行う制御部と、を備えることを特徴とする。
 姿勢検知部は、筐体の所定の方向に対する傾き角を検知し、制御部は、検知された傾き角に応じて第1補正モードと第2補正モードの切換を行ってもよい。
 制御部は、検知された傾き角が所定の値より大きいと判断した場合に第1補正モードを行い、検知された傾き角が所定の値以下であると判断した場合に第2補正モードを行ってもよい。
 画像補正部は、被写体の水平方向と当該撮像装置の左右方向が一致するように原画像の回転を行ってもよい。
 撮像部は、原画像より大きなセンサー画像を出力可能であって、制御部は、原画像の範囲を回転させた補正範囲がセンサー画像内に収まらないと判断した場合に第1補正モードを行い、補正画像がセンサー画像内に収まると判断した場合に第2補正モードを行ってもよい。
 筐体はヒンジを有する折り畳み可能な構造であって、撮像装置による撮像は筐体を開いた状態で行ってもよい。
 上記課題を解決するために、本発明にかかる撮像方法の代表的な構成は、撮像装置にて被写体を撮像し、撮像装置の姿勢を検知し、撮像した原画像を姿勢に基づいて補正した補正画像をプレビュー画像としてシャッターが切られる前に表示するか、原画像に対し姿勢に基づいて補正が行われることをプレビュー画像の表示時に報知するか、のいずれか一方を、検知した姿勢に応じて行うことを特徴とする。
 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
 本出願は、2009年4月20日出願の日本特許出願・出願番号2009-101888、2009年4月20日出願の日本特許出願・出願番号2009-101889、2009年4月20日出願の日本特許出願・出願番号2009-101890に基づくものであり、その内容はここに参照として取り込まれる。
 本発明は、被写体を撮像する撮像装置および撮像方法として利用することができる。

Claims (20)

  1.  筐体と、
     被写体を撮像する撮像部と、
     画像を表示可能な画像表示部と、
     前記筐体の姿勢を判定する姿勢判定部と、
     前記画像表示部に撮像のプレビュー画像が表示される際に、前記撮像部から取り込んだ原画像を前記姿勢判定部が判定した姿勢に基づいて補正する画像補正部と、
    を備えることを特徴とする撮像装置。
  2.  前記原画像を補正することで得られた補正画像を、プレビュー画像として前記画像表示部に表示させる制御部をさらに備えることを特徴とする請求項1に記載の撮像装置。
  3.  前記画像表示部にプレビュー画像が表示される際に、前記画像補正部により補正される前記原画像の範囲を示す画像取得枠を前記プレビュー画像に重畳して表示させる制御部をさらに備えることを特徴とする請求項1に記載の撮像装置。
  4.  前記制御部は、前記姿勢判定部が判定した姿勢に基づいて前記画像取得枠の拡大または縮小を行うことを特徴とする請求項3に記載の撮像装置。
  5.  前記画像補正部は、前記被写体の水平方向と当該撮像装置の左右方向とが一致するように前記原画像の補正を行うことを特徴とする請求項1に記載の撮像装置。
  6.  前記画像補正部は、フォーカスポイントを中心に前記原画像の補正を行うことを特徴とする請求項1に記載の撮像装置。
  7.  前記被写体となる人物の顔を認識する顔認識部をさらに備え、
     前記画像補正部は、前記認識した人物の顔を中心に前記原画像の補正を行うことを特徴とする請求項1に記載の撮像装置。
  8.  前記顔認識部は複数の人物の顔の同時認識が可能であり、
     前記画像補正部は、前記複数の人物の顔の中心点を中心に前記原画像の補正を行うことを特徴とする請求項7に記載の撮像装置。
  9.  前記制御部は、前記画像補正部により補正される範囲内の画像に基づいて自動露出と自動ホワイトバランスとを行うことを特徴とする請求項2に記載の撮像装置。
  10.  前記筐体はヒンジを有する折り畳み可能な構造であって、
     当該撮像装置による撮像は前記筐体を開いた状態で行われることを特徴とする請求項1に記載の撮像装置。
  11.  前記原画像を補正して得られた補正画像をプレビュー画像として前記画像表示部に表示する第1補正モードと、前記原画像に対し補正が行われることをプレビュー画像の表示時に報知する第2補正モードと、のいずれか一方を前記姿勢判定部が判定した姿勢に応じて行う制御部をさらに備えることを特徴とする請求項1に記載の撮像装置。
  12.  前記姿勢判定部は、前記筐体の所定の方向に対する傾き角を判定し、
     前記制御部は、前記姿勢判定部によって判定された前記傾き角に応じて前記第1補正モードと前記第2補正モードとの切換を行うことを特徴とする請求項11に記載の撮像装置。
  13.  前記制御部は、前記姿勢判定部によって判定された前記傾き角が所定の値より大きいと判断した場合に前記第1補正モードを行い、前記姿勢判定部によって判定された前記傾き角が所定の値以下であると判断した場合に前記第2補正モードを行うことを特徴とする請求項12に記載の撮像装置。
  14.  前記画像補正部は、前記被写体の水平方向と当該撮像装置の左右方向とが一致するように前記原画像の回転を行うことを特徴とする請求項11に記載の撮像装置。
  15.  前記撮像部は、前記原画像より大きなセンサー画像を出力可能であり、
     前記制御部は、前記原画像の範囲を回転させた補正範囲が前記センサー画像内に収まらないと判断した場合に前記第1補正モードを行い、前記補正範囲が該センサー画像内に収まると判断した場合に前記第2補正モードを行うことを特徴とする請求項14に記載の撮像装置。
  16.  所定の態様で報知を行う報知部をさらに備え、
     前記報知部は、前記原画像に対し前記画像補正部による補正が行われることを、プレビュー画像の表示時に所定の態様で報知することを特徴とする請求項1に記載の撮像装置。
  17.  前記所定の態様は、アイコンの表示、所定の文字の表示、LEDの発光、キーパッドの照明の点灯のいずれか1または複数を含むことを特徴とする請求項16に記載の撮像装置。
  18.  画像を保存する画像記録部をさらに備え、
     前記画像記録部は、前記画像補正部により補正された補正画像を保存することを特徴とする請求項1に記載の撮像装置。
  19.  前記画像記録部は、前記補正画像と補正前の前記原画像とを共に保存することを特徴とする請求項18に記載の撮像装置。
  20.  撮像装置の撮像部にて被写体を撮像し、
     前記撮像装置の姿勢を判定し、
     前記撮像装置の表示部に撮像のプレビュー画像を表示する際に、前記撮像部から取り込んだ原画像を判定した前記姿勢に基づいて補正することを特徴とする撮像方法。
PCT/JP2010/057026 2009-04-20 2010-04-20 撮像装置および撮像方法 WO2010123011A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/264,670 US8749647B2 (en) 2009-04-20 2010-04-20 Image capturing device and image capturing method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2009101889A JP2010252239A (ja) 2009-04-20 2009-04-20 撮像装置および撮像方法
JP2009101888A JP2010252238A (ja) 2009-04-20 2009-04-20 撮像装置および撮像方法
JP2009-101889 2009-04-20
JP2009-101890 2009-04-20
JP2009-101888 2009-04-20
JP2009101890A JP5349123B2 (ja) 2009-04-20 2009-04-20 撮像装置および撮像方法

Publications (1)

Publication Number Publication Date
WO2010123011A1 true WO2010123011A1 (ja) 2010-10-28

Family

ID=43011128

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057026 WO2010123011A1 (ja) 2009-04-20 2010-04-20 撮像装置および撮像方法

Country Status (2)

Country Link
US (1) US8749647B2 (ja)
WO (1) WO2010123011A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122796A1 (ja) * 2013-02-05 2014-08-14 株式会社東芝 表示処理装置、及び表示処理方法
JP2016515220A (ja) * 2013-03-08 2016-05-26 トムソン ライセンシングThomson Licensing 安定化及びリフレーミングのための方法及びシステム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908033B2 (en) * 2009-09-29 2014-12-09 Avaya Inc. Utilizing presence information for the purpose of enhanced surveillance
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
KR101995258B1 (ko) * 2012-05-14 2019-07-02 삼성전자 주식회사 카메라를 구비하는 휴대단말기의 동영상 촬영장치 및 방법
JP2014050039A (ja) * 2012-09-03 2014-03-17 Sony Corp 画像処理装置、画像処理方法及びコンピュータプログラム
KR101978214B1 (ko) * 2012-11-19 2019-05-14 엘지전자 주식회사 동영상 디스플레이 장치 및 그 방법
JP6047008B2 (ja) * 2012-12-25 2016-12-21 キヤノン株式会社 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法
US20150002688A1 (en) * 2013-06-26 2015-01-01 James A. Baldwin Automated camera adjustment
US20150244938A1 (en) * 2014-02-25 2015-08-27 Stelios Petrakis Techniques for electronically adjusting video recording orientation
CN103997519A (zh) * 2014-05-14 2014-08-20 小米科技有限责任公司 传输图像的方法及装置
CN104994273A (zh) * 2015-06-16 2015-10-21 成都西可科技有限公司 一种保持实时拍摄图像竖直的系统和方法
US9986150B2 (en) * 2015-09-30 2018-05-29 Ricoh Co., Ltd. Algorithm to estimate yaw errors in camera pose
US10104282B2 (en) * 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
CN106371691A (zh) * 2015-10-30 2017-02-01 北京智谷睿拓技术服务有限公司 调整朝向的方法、装置和电子设备
US10547790B2 (en) 2018-06-14 2020-01-28 Google Llc Camera area locking
US10970576B2 (en) * 2018-08-27 2021-04-06 Daon Holdings Limited Methods and systems for capturing image data
EP3939256A4 (en) * 2019-03-13 2024-01-10 Ringo AI, Inc. WHITE BALANCE WITH REFERENCE ILLUMINANTS
CN112565625A (zh) * 2019-09-26 2021-03-26 北京小米移动软件有限公司 视频处理方法、装置及介质
KR20210068877A (ko) * 2019-12-02 2021-06-10 삼성전자주식회사 카메라 전환에 따른 영상 보정 방법 및 장치
US11228702B1 (en) * 2021-04-23 2022-01-18 Gopro, Inc. Stabilization of face in video
WO2023282963A1 (en) * 2021-07-06 2023-01-12 Qualcomm Incorporated Enhanced object detection
US11792505B2 (en) * 2021-07-06 2023-10-17 Qualcomm Incorporated Enhanced object detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079882A (ja) * 1996-09-02 1998-03-24 Canon Inc 画像入力装置
JP2006279373A (ja) * 2005-03-29 2006-10-12 Seiko Epson Corp 画角を維持した画像の傾き補正
JP2008053833A (ja) * 2006-08-22 2008-03-06 Nec Saitama Ltd 情報処理装置、画像補正用制御プログラムおよび情報処理装置の画像補正方法
JP2008099147A (ja) * 2006-10-13 2008-04-24 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP2009033223A (ja) * 2007-07-24 2009-02-12 Fujifilm Corp 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10268389A (ja) 1997-03-27 1998-10-09 Ricoh Co Ltd 電子カメラ
US7554578B2 (en) * 2000-07-11 2009-06-30 Phase One A/S Digital camera with integrated accelerometers
GB0208654D0 (en) * 2002-04-16 2002-05-29 Koninkl Philips Electronics Nv Image processing for video or photographic equipment
WO2005117400A1 (ja) * 2004-05-31 2005-12-08 Sharp Kabushiki Kaisha 携帯通信端末
JP2005348212A (ja) 2004-06-04 2005-12-15 Casio Comput Co Ltd 撮像装置
JP2006245726A (ja) 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd デジタルカメラ
JP2007006162A (ja) 2005-06-24 2007-01-11 Sanyo Electric Co Ltd 画像処理装置
CN101674414B (zh) * 2005-09-09 2012-04-11 佳能株式会社 摄像设备
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
JP4406937B2 (ja) * 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
JP5257157B2 (ja) * 2009-03-11 2013-08-07 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5259464B2 (ja) * 2009-03-13 2013-08-07 オリンパスイメージング株式会社 撮像装置およびそのモード切換え方法
JP5359762B2 (ja) * 2009-10-15 2013-12-04 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US8687070B2 (en) * 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
JP5402612B2 (ja) * 2009-12-22 2014-01-29 ソニー株式会社 表示装置、表示方法及びプログラム
JP5570316B2 (ja) * 2010-06-17 2014-08-13 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079882A (ja) * 1996-09-02 1998-03-24 Canon Inc 画像入力装置
JP2006279373A (ja) * 2005-03-29 2006-10-12 Seiko Epson Corp 画角を維持した画像の傾き補正
JP2008053833A (ja) * 2006-08-22 2008-03-06 Nec Saitama Ltd 情報処理装置、画像補正用制御プログラムおよび情報処理装置の画像補正方法
JP2008099147A (ja) * 2006-10-13 2008-04-24 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP2009033223A (ja) * 2007-07-24 2009-02-12 Fujifilm Corp 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122796A1 (ja) * 2013-02-05 2014-08-14 株式会社東芝 表示処理装置、及び表示処理方法
JP2014153782A (ja) * 2013-02-05 2014-08-25 Toshiba Corp 表示処理装置、及び表示処理方法
JP2016515220A (ja) * 2013-03-08 2016-05-26 トムソン ライセンシングThomson Licensing 安定化及びリフレーミングのための方法及びシステム

Also Published As

Publication number Publication date
US20120033100A1 (en) 2012-02-09
US8749647B2 (en) 2014-06-10

Similar Documents

Publication Publication Date Title
WO2010123011A1 (ja) 撮像装置および撮像方法
US8976270B2 (en) Imaging device and imaging device control method capable of taking pictures rapidly with an intuitive operation
US9277124B2 (en) Imaging apparatus in which an operating mode can be changed based on a change in incline angle and/or a switch operation
US10469746B2 (en) Camera and camera control method
JP5787907B2 (ja) 自分撮り画像を撮影するための撮像装置
JP4761146B2 (ja) 撮像装置及びそのプログラム
JP4632971B2 (ja) 撮像機能を有する端末、および、プログラム
JP2006217478A (ja) 画像撮影装置及び画像撮影方法
WO2015194084A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP2004104463A (ja) 撮像装置
JP2014068081A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2005323241A (ja) 携帯電話機
JP2004159014A (ja) デジタルカメラ付き携帯通信端末
JP2014045404A (ja) 携帯端末
JP5349123B2 (ja) 撮像装置および撮像方法
WO2003098921A1 (fr) Telephone portable
CN113099113B (zh) 电子终端、拍照方法及装置、存储介质
JP6700693B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2010252238A (ja) 撮像装置および撮像方法
JP2010161704A (ja) 携帯端末、その撮影制御方法、プログラム及び記録媒体
JP2010166524A (ja) 撮像装置
JP2007233135A (ja) 撮影装置及びその操作子設定方法
JP2010252239A (ja) 撮像装置および撮像方法
JP5932862B2 (ja) デジタルカメラの撮像方法及びコンピュータが実行可能なプログラム
JP4793137B2 (ja) 撮像装置、撮像装置の画像表示方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10767068

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13264670

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10767068

Country of ref document: EP

Kind code of ref document: A1