WO2014119655A1 - 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体 - Google Patents

撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体 Download PDF

Info

Publication number
WO2014119655A1
WO2014119655A1 PCT/JP2014/052065 JP2014052065W WO2014119655A1 WO 2014119655 A1 WO2014119655 A1 WO 2014119655A1 JP 2014052065 W JP2014052065 W JP 2014052065W WO 2014119655 A1 WO2014119655 A1 WO 2014119655A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
displayed
display area
unit
Prior art date
Application number
PCT/JP2014/052065
Other languages
English (en)
French (fr)
Inventor
正吾 嶋村
健世 伊藤
真希 戸井田
憲 谷
学 市川
Original Assignee
オリンパスイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスイメージング株式会社 filed Critical オリンパスイメージング株式会社
Priority to EP14746887.0A priority Critical patent/EP2953345A4/en
Priority to CN201480006213.3A priority patent/CN104956657B/zh
Publication of WO2014119655A1 publication Critical patent/WO2014119655A1/ja
Priority to US14/802,505 priority patent/US9787906B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Definitions

  • the present invention relates to an imaging apparatus, an image processing method, an image processing program, and a recording medium that lay out a plurality of images acquired by a plurality of shootings and generate image data of a combined image as a single image.
  • a combined photograph is a composite photograph formed by laying out a plurality of photographs obtained by photographing a plurality of times. More specifically, to express emotions and imagination at the time of shooting from scenes with different photographers, images that express stereoscopic effects from different viewpoints, shot images according to the flow of time, and shot images with subject movement In addition, a combined photograph composed of a plurality of images is generated. And it tries to convey to the person who sees the feeling and imagination at the time of photography by the combined image. In order to achieve this purpose, there are scenarios in the arrangement and order of the combined photos, and the scenarios are very important in creating the viewer's emotions.
  • An imaging apparatus that acquires a combined photograph acquires, for example, a plurality of photographs constituting the combined photograph as disclosed in Patent Document 1 by one shutter operation, and a combined photograph as disclosed in Patent Document 2, for example. Are acquired by shutter operations corresponding to the respective photographs.
  • Patent Document 1 discloses a digital camera that continuously captures images of a plurality of frames and displays a list of the images of the plurality of frames.
  • Patent Document 2 discloses an imaging apparatus that combines and records an optimum image selected for each subject among a plurality of different subject images taken for the same subject.
  • JP 2007-053616 A Japanese Patent No. 4529561
  • the digital camera disclosed in Patent Document 1 is configured to display a list of a plurality of consecutively captured images in the order in which they were captured (that is, displayed as a combined photograph). The user cannot change the arrangement position of the photos constituting the combined photo.
  • one image can be selected for each subject from a plurality of images acquired for each subject.
  • the arrangement position of the selected image is determined when the image is acquired (photographed)
  • the user cannot change the arrangement position of the selected image.
  • an object of the present invention is to provide a technique for easily changing the arrangement position of images constituting a desired combined image with a simple operation.
  • a display unit having a plurality of display areas, a first reception unit that receives a shooting instruction, and a second reception unit that receives a display position change instruction designating the display area of the display unit
  • An imaging unit that captures an image of the subject and acquires an image; and when the first receiving unit receives a shooting instruction, an image displayed in one of the plurality of display regions is displayed from a live view image.
  • the image is changed to an image acquired by the imaging unit in response to the shooting instruction and the second reception unit receives the display position change instruction, the image is displayed in the display area specified by the display position change instruction.
  • a display control unit that controls the display unit and image data of a plurality of images displayed in the plurality of display areas so as to change the image to be a live view image to display the plurality of images
  • a second aspect of the present invention provides the imaging apparatus according to the first aspect, wherein the display area specified by the display position change instruction is a display area where a blank image is displayed.
  • the display area designated by the display position change instruction displays an image acquired by the imaging unit according to the photographing instruction.
  • the display control unit converts the image displayed in the display area specified by the display position change instruction into a live view image.
  • the display unit is controlled to change the image displayed in the display area in which the live view image was displayed before the change to an image acquired by the imaging unit according to the shooting instruction.
  • the fourth aspect of the present invention includes a step of displaying a live view image in at least one display area of a display unit, a step of receiving a shooting instruction, a step of acquiring an image of a subject according to the shooting instruction, A step of changing an image displayed in one display area of at least one display area from a live view image to an image acquired according to the shooting instruction, and a display position change designating the display area of the display unit
  • a step of receiving an instruction, a step of changing an image displayed in a display area designated by the display position change instruction to a live view image, and images of a plurality of images displayed in the plurality of display areas of the display unit Combining the data and generating image data of a combined image in which the plurality of images are laid out so as to be displayed on the display unit, an image processing method comprising: provide.
  • a step of displaying a live view image in at least one display region of the display unit on a computer including a display unit having a plurality of display regions, a step of receiving a photographing instruction, A step of acquiring an image of a subject according to a shooting instruction, and changing an image displayed in one display area of the at least one display area from a live view image to an image acquired according to the shooting instruction.
  • a step of receiving a display position change instruction designating a display area of the display unit, a step of changing an image displayed in the display area designated by the display position change instruction into a live view image, and the display unit A composition in which image data of a plurality of images displayed in a plurality of display areas is synthesized and the plurality of images are laid out so as to be displayed on the display unit An image processing program for executing image data of an image is provided.
  • a sixth aspect of the present invention includes a step of displaying a live view image in at least one display area of the display unit on a computer including a display unit having a plurality of display areas, a step of receiving a shooting instruction, A step of acquiring an image of a subject according to a shooting instruction, and changing an image displayed in one display area of the at least one display area from a live view image to an image acquired according to the shooting instruction.
  • a step of receiving a display position change instruction designating a display area of the display unit, a step of changing an image displayed in the display area designated by the display position change instruction into a live view image, and the display unit A combination in which image data of a plurality of images displayed in a plurality of display areas is combined and the plurality of images are laid out so as to be displayed on the display unit. It provided a computer readable recording medium recording an image processing program to be executed and step, to generate image data of the image.
  • FIG. 1 is a block diagram mainly showing an overall configuration of an electric system of a camera according to Embodiment 1 of the present invention.
  • FIG. It is a flowchart which shows the whole process of the camera which concerns on Example 1 of this invention. It is a flowchart which shows the image processing of the camera which concerns on Example 1 of this invention. It is a flowchart which shows the basic image process of the camera which concerns on Example 1 of this invention. It is a flowchart which shows the special image process of the camera which concerns on Example 1 of this invention. It is a flowchart which shows the combined image production
  • FIG. 10 is a third diagram for explaining the operation of the subject.
  • FIG. 10 is a fourth diagram for explaining the operation of the subject. It is the 1st figure for demonstrating imaging
  • FIG. 10 is still another first view for explaining the photographing operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 10 is still another second diagram for describing the photographing operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 10 is still another third view for explaining the photographing operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 11 is still another fourth view for explaining the photographing operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 12 is still another fifth diagram for describing the photographing operation of the camera according to Embodiment 1 of the present invention. It is the 1st figure for demonstrating the layout of a display area.
  • FIG. 10 is a third diagram for explaining the layout of the display area.
  • FIG. 14 is a fourth diagram for explaining the layout of the display region. It is a 5th figure for demonstrating the layout of a display area. It is a 6th figure for demonstrating the layout of a display area. It is a 7th figure for demonstrating the layout of a display area.
  • FIG. 20 is an eighth diagram for describing the layout of the display region. It is a 9th figure for demonstrating the layout of a display area. It is a 10th figure for demonstrating the layout of a display area. It is an 11th figure for demonstrating the layout of a display area.
  • FIG. 10 is a third diagram for explaining the layout of the display area.
  • FIG. 14 is a fourth diagram for explaining the layout of the display region. It is a 5th figure for demonstrating the layout of a display area. It is a 6th figure for demonstrating the layout of a display area. It is a 7th figure for demonstrating the layout of a display area.
  • FIG. 10 is still another first view for explaining the photographing operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 10 is still another second diagram for describing the photographing operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 10 is still another third view for explaining the photographing operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 11 is still another fourth view for explaining the photographing operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 12 is still another fifth diagram for describing the photographing operation of the camera according to Embodiment 1 of the present invention. It is a 1st figure for demonstrating the color change process performed in the group image processing part of the camera which concerns on Example 1 of this invention.
  • FIG. 6 is a first diagram for explaining frame image data saving and restoration operations by a camera cancel operation according to Embodiment 1 of the present invention. It is the 2nd figure for demonstrating the decompression
  • FIG. 9 is a third diagram for explaining frame image data restoration by a camera cancel operation and image restoration by a camera operation according to Embodiment 1 of the present invention.
  • FIG. 10 is another first diagram for explaining frame image data restoration by a camera cancel operation and image restoration by a camera operation according to Embodiment 1 of the present invention.
  • FIG. 6B is another second diagram for explaining the restoration of frame image data by the saving and restoration operations of the frame image data by the cancel operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 10 is another third diagram for explaining the restoration of frame image data by the saving and restoration operations of the frame image data by the cancel operation of the camera according to Embodiment 1 of the present invention. It is the 1st figure for demonstrating cancellation operation of the camera which concerns on Example 1 of this invention. It is a 2nd figure for demonstrating cancellation operation of the camera which concerns on Example 1 of this invention.
  • FIG. 10 is still another first diagram for explaining the cancel operation of the camera according to the first embodiment of the present invention.
  • FIG. 6B is still another second diagram for explaining the cancel operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 10 is still another first diagram for explaining the cancel operation of the camera according to the first embodiment of the present invention.
  • FIG. 6B is still another second diagram for explaining the cancel operation of the camera according to Embodiment 1 of the present invention.
  • FIG. 10 is still another third view for explaining the cancel operation of the camera according to Embodiment 1 of the present invention. It is the 1st figure for demonstrating the enlarged display operation in the reproduction
  • a live view image is different from an image acquired in response to an explicit shooting instruction from a user of a camera (an example of an image pickup apparatus) by a release operation or the like. It is an image to be acquired.
  • FIG. 1 is a block diagram illustrating the overall configuration of mainly the electrical system of the camera according to the present embodiment.
  • a camera 1 illustrated in FIG. 1 is an imaging device that stores or records acquired images as digital data. The user of the camera 1 can instruct acquisition of an image by a release operation using the operation unit 123 while observing a live view image displayed on the display panel 135 as a display unit. Note that the camera 1 has a function of acquiring a combined image obtained by laying out a plurality of still images or moving images in addition to a function of acquiring still images (that is, photographs) and moving images.
  • the camera 1 includes a camera body 100 and an interchangeable lens 200 including a photographing lens 201 that can be attached to and detached from the camera body 100.
  • an interchangeable lens 200 including a photographing lens 201 that can be attached to and detached from the camera body 100.
  • the configuration of the camera that can replace the photographic lens is illustrated, but the photographic lens may be fixed to the camera body.
  • the interchangeable lens 200 includes a photographing lens 201, a diaphragm 203, a driver 205, a microcomputer 207, and a flash memory 209.
  • the camera body 100 and the interchangeable lens 200 are connected via an interface (hereinafter referred to as I / F) 300.
  • the taking lens 201 is composed of one or a plurality of optical lenses for forming a subject image, and is a single focus lens or a zoom lens.
  • a diaphragm 203 is disposed behind the optical axis of the photographing lens 201.
  • the aperture 203 has a variable aperture, and restricts the amount of the subject luminous flux that passes through the photographic lens 201.
  • the taking lens 201 can be moved in the optical axis direction by a driver 205. Based on a control signal from the microcomputer 207, the focus position of the photographing lens 201 is controlled, and when the photographing lens 201 is a zoom lens, the focal length of the photographing lens 201 is also controlled.
  • the driver 205 also controls the aperture of the diaphragm 203.
  • the microcomputer 207 connected to the driver 205 is connected to the I / F 300 and the flash memory 209.
  • the microcomputer 207 operates according to a program stored in the flash memory 209.
  • the microcomputer 207 operating according to the program communicates with a microcomputer 121 in the camera body 100 described later, and controls the interchangeable lens 200 based on a control signal from the microcomputer 121.
  • the flash memory 209 stores various information such as optical characteristics and adjustment values of the interchangeable lens 200 in addition to the above-described program.
  • the I / F 300 is an interface for performing communication between the microcomputer 207 in the interchangeable lens 200 and the microcomputer 121 in the camera body 100.
  • a mechanical shutter 101 is disposed in the camera body 100 and on the optical axis of the photographing lens 201.
  • the mechanical shutter 101 controls the irradiation time of the subject light beam to the image sensor 103 to be described later by blocking the subject light beam.
  • a known focal plane shutter or the like can be adopted.
  • An imaging element 103 is disposed behind the mechanical shutter 101 and at a position where a subject image is formed by the photographing lens 201.
  • photodiodes constituting each pixel are two-dimensionally arranged in a matrix. Each photodiode generates a photoelectric conversion current corresponding to the amount of received light, and this photoelectric conversion current is accumulated in a charge by a capacitor connected to each photodiode.
  • a Bayer array RGB filter is arranged in front of each pixel.
  • the configuration of the image sensor 103 is not limited to a configuration including RGB filters arranged in a Bayer array.
  • a plurality of sensors are arranged in the thickness direction of an element such as FOVEON (registered trademark of Foveon Incorporated). It may be a configuration.
  • the image sensor 103 is connected to the analog processing unit 105.
  • the analog processing unit 105 performs waveform shaping on the photoelectric conversion signal (hereinafter referred to as an analog image signal) read from the image sensor 103 while reducing reset noise and the like, and further increases the gain so as to obtain an appropriate luminance. I do.
  • the analog processing unit 105 is connected to the A / D conversion unit 107.
  • the A / D conversion unit 107 performs analog-digital conversion on the analog image signal, and outputs the obtained digital image signal (hereinafter referred to as image data) to the bus 110 to be stored in the SDRAM 127.
  • the imaging element 103, the analog processing unit 105, and the A / D conversion unit 107 function as an imaging unit that captures an image of a subject and acquires the image.
  • raw image data before image processing by the image processing unit 109 is referred to as RAW data.
  • the image sensor 103 has a built-in electronic shutter, and when repetitive imaging is performed as in moving image imaging or live view imaging, imaging is performed using the built-in electronic shutter with the mechanical shutter 101 open.
  • the bus 110 is a transfer path for transferring various data read or generated inside the camera body 100 to the camera body 100.
  • the bus 110 includes an image processing unit 109, an AE (Auto-Exposure) processing unit 111, an AF (Auto-Focus) processing unit 113, an image compression / decompression unit 117, a communication unit 119, a micro unit.
  • a computer 121, an SDRAM (Synchronous DRAM) 127, a memory interface (hereinafter referred to as a memory I / F) 129, and a display driver 133 are connected.
  • the image processing unit 109 includes a basic image processing unit 109a that performs basic image processing, a special image processing unit 109b that applies a special effect when a mode for applying a special effect such as an art filter is set, and a combination A combined image processing unit 109c that generates image data of the image, and a subject detection unit 109d that detects the subject by analyzing the image data by pattern matching processing or the like are included.
  • the image processing unit 109 reads the image data temporarily stored in the SDRAM 127 and performs image processing on the image data.
  • the basic image processing unit 109a performs optical black (OB) subtraction processing, white balance (WB) correction, synchronization processing performed in the case of Bayer data, color reproduction processing, gamma correction processing, luminance change processing on RAW data, Edge enhancement processing, noise reduction (NR) processing, and the like are performed.
  • the special image processing unit 109b performs special image processing that gives various visual special effects to the image data processed by the basic image processing unit 109a in accordance with a set special effect (art filter) or the like. Do. For example, when the toy photo mode is set as one of the special effect (art filter) modes, a process of adding shading is performed. When the fantastic focus mode, rough monochrome mode, diorama mode, and crystal mode are set, soft focus processing, noise superimposition processing, blurring processing, and cross filter processing are performed on the image data, respectively.
  • the combined image processing unit 109c synthesizes a plurality of image data, and generates image data of a combined image that is an image in which a plurality of images corresponding to the plurality of image data are laid out in a predetermined arrangement.
  • the plurality of image data to be combined is image data processed at least by the basic image processing unit 109a.
  • the image data processed by the basic image processing unit 109a and the special image processing unit 109b Image data is synthesized.
  • the combined image processing unit 109c executes each image (hereinafter referred to as a frame image) processed by the basic image processing unit 109a and the special image processing unit 109b, which composes the combined image, before executing the process of combining the image data. ) Is corrected. Specifically, a plurality of image data processed by the basic image processing unit 109a and the special image processing unit 109b are analyzed to calculate a difference in color distribution between images, a difference in luminance average, and the like. Then, based on the calculated information, the color and brightness of each frame image constituting the combined image are corrected so that the combined image is in an optimal state. By correcting the frame image and performing adjustment processing between images, a better image can be obtained as a combined image.
  • the subject detection unit 109d performs processing for detecting a predetermined subject, for example, an animal such as a human face or a pet, by image analysis using a pattern matching technique or the like. Further, the subject detection unit 109d may perform processing for calculating the type, size, position, and the like of the detected subject. These detection results can be used for, for example, shooting mode switching, autofocusing, auto-zooming for capturing a subject image in a certain size, and the like.
  • the AE processing unit 111 measures subject brightness based on image data input via the bus 110, and outputs the measured subject brightness information to the microcomputer 121 via the bus 110.
  • the configuration in which the subject brightness is calculated based on the image data by the AE processing unit 111 is adopted.
  • the camera 1 is provided with a dedicated photometric sensor for measuring the subject brightness. A function may be realized.
  • AF processing unit 113 extracts a high-frequency component signal from the image data, and obtains a focus evaluation value by integration processing.
  • the AF processing unit 113 outputs the acquired focus target value to the microcomputer 121 via the bus 110. That is, the camera 1 focuses the photographing lens 201 by a so-called contrast method.
  • the image compression / decompression unit 117 When the image compression / decompression unit 117 records image data on the recording medium 131 connected to the memory I / F 129, the image compression / decompression unit 117 reads the image data read from the SDRAM 127 in the case of a still image, JPEG compression method, or the like. Is compressed according to various compression methods such as MPEG.
  • the microcomputer 121 creates a JPEG file, an MPO file, and an MPEG file by adding a header necessary for configuring the JPEG file, the MPO file, and the MPEG file to the JPEG image data and the MPEG image data.
  • the microcomputer 121 records the created file on the recording medium 131 via the memory I / F 129.
  • the image compression / decompression unit 117 also decompresses JPEG image data and MPEG image data for image reproduction / display. In decompression, the file recorded in the recording medium 131 is read out, decompressed by the image compression / decompression unit 117, and the decompressed image data is temporarily stored in the SDRAM 127.
  • the JPEG compression method or the MPEG compression method is adopted as the image compression method has been shown, but the compression method is not limited to this, and TIFF, H. Other compression methods such as H.264 may be used.
  • the communication unit 119 communicates with an external device in order to update or add a template stored in the flash memory 125 described later.
  • the communication unit 119 may be connected to an external device via a wired LAN or a wireless LAN, or may be connected to an external device via a USB cable or the like.
  • the microcomputer 121 functions as a control unit for the entire camera 1 and comprehensively controls various sequences of the camera.
  • an operation unit 123 and a flash memory 125 are connected to the microcomputer 121.
  • the operation unit 123 includes operation members such as a power button, a release button, a moving image button, a playback button, a menu button, a cross button, an OK button, a mode dial, and various input buttons and various input keys.
  • the state is detected, and the detection result is output to the microcomputer 121.
  • the microcomputer 121 executes various sequences according to the user's operation based on the detection result of the operation member from the operation unit 123. That is, in the camera 1, the operation unit 123 functions as a reception unit that receives various instructions (for example, a shooting instruction, a cancellation instruction, a restoration instruction, a reproduction instruction, etc.) from the user.
  • the power button is an operation member for instructing to turn on / off the power of the camera 1.
  • the camera 1 is turned on.
  • the power button is pressed again, the camera 1 is turned off.
  • the release button is connected to a first release switch that is turned on when the button is half-pressed and a second release switch that is turned on when the button is further depressed from the half-press and then fully pressed.
  • the microcomputer 121 executes a shooting preparation sequence such as an AE operation and an AF operation.
  • the second release switch is turned on, the mechanical shutter 101 or the like is controlled, image data based on the subject image is acquired from the image sensor 103 or the like, and a series of shooting sequences for recording this image data on the recording medium 131 is executed. To shoot.
  • the playback button is an operation button for setting and canceling the playback mode.
  • the playback mode is set, the image data of the captured image is read from the recording medium 131 and the image is played back and displayed on the display panel 135.
  • the menu button is an operation button for displaying a menu screen on the display panel 135.
  • Camera settings include special effects (art filter) settings.
  • special effects various special effects such as fantastic focus, pop art, toy photo, rough monochrome, and diorama can be set.
  • the setting of the combined image can be performed on the menu screen.
  • the mode dial is a dial for selecting a shooting mode.
  • the operation mode is switched between a normal mode for performing normal shooting and a combined image mode for shooting combined images. Switching between the normal mode and the combined image mode may be performed from a menu screen or the like.
  • the operation unit 123 further includes a touch input unit 124.
  • the touch input unit 124 is, for example, a touch panel sensor disposed so as to overlap the display panel 135.
  • the touch input unit 124 detects a touch operation on the display panel 135 by the user and outputs a detection result to the microcomputer 121.
  • the microcomputer 121 executes various sequences according to the user's operation based on the detection result of the touch input unit 124 from the operation unit 123.
  • the operation unit 123 may include the various buttons described above on the display panel 135. That is, instead of physically providing a button on the surface of the camera 1, a button may be displayed on the display panel 135 and an operation on the button displayed on the display panel 135 may be detected by the touch input unit 124. Instead of displaying the release button on the display panel 135, the display panel 135 may function as a release button. In that case, the release button may be half pressed when the display panel 135 is touched, and only when the release button is fully pressed when touched for a predetermined time (for example, 1 second), The touching may be regarded as a state where the release button is half pressed and a state where the release button is fully pressed.
  • a predetermined time for example, 1 second
  • the flash memory 125 is a non-volatile storage medium that stores a program for executing various sequences of the microcomputer 121.
  • the microcomputer 121 controls the entire camera based on a program stored in the flash memory 125.
  • the flash memory 125 stores various adjustment values such as a color matrix coefficient, an R gain and a B gain corresponding to the white balance mode, a gamma table, and an exposure condition determination table. Further, the flash memory 125 stores, as a template, information regarding the style of the combined image, that is, how the frame images constituting the combined image are laid out.
  • the storage medium for storing the program, adjustment value, and template is not limited to a flash memory as long as it is a nonvolatile storage medium.
  • the SDRAM 127 is an electrically rewritable volatile memory for temporary storage of image data and the like.
  • the SDRAM 127 temporarily stores the image data output from the A / D conversion unit 107 and the image data processed by the image processing unit 109, the image compression / decompression unit 117, and the like.
  • the memory I / F 129 is connected to the recording medium 131.
  • the memory I / F 129 performs control to write and read image data and data such as a header attached to the image data with respect to the recording medium 131.
  • the recording medium 131 is, for example, a recording medium such as a memory card that is detachable from the camera body 100, but is not limited thereto, and may be a non-volatile memory, a hard disk, or the like built in the camera body 100.
  • the display driver 133 is connected to the display panel 135.
  • the display driver 133 displays an image on the display panel 135 based on the image data read from the SDRAM 127 or the recording medium 131 and expanded by the image compression / decompression unit 117.
  • the display panel 135 is, for example, a liquid crystal display (LCD) provided on the back surface of the camera body 100 and displays an image.
  • LCD liquid crystal display
  • As the image display there are a REC view display for displaying the recorded image data for a short time immediately after shooting, a playback display of a still image or a moving image file recorded on the recording medium 131, and a moving image display such as a live view display. included.
  • the display panel 135 may be an organic EL or the like, and another display panel may be employed. Further, when the shooting mode is the combined image mode, the display panel 135 defines a plurality of areas (hereinafter referred to as display areas) for displaying an image. Note that the layout of the plurality of display areas is defined by the style of the combined image.
  • the microcomputer 121 initializes the camera 1 (step S1). .
  • electrical initialization such as mechanical initialization and initialization of various flags is performed.
  • an initialization target flag for example, there is a recording flag indicating whether or not a moving image is being recorded, and the recording flag is set to OFF by initialization.
  • the simple process setting is also set to off.
  • step S3 the microcomputer 121 next determines whether or not the playback button has been pressed.
  • the operation state of the playback button in the operation unit 123 is detected and determined. Further, when the playback button is displayed on the display panel 135, a signal from the touch input unit 124 is detected and determined.
  • the microcomputer 121 sets the operation mode to the playback mode and executes playback processing (step S700).
  • step S700 the process of step S3 is executed again. Details of the reproduction process will be described later with reference to FIG.
  • step S5 the microcomputer 121 determines whether the menu button has been pressed, that is, whether the menu screen has been displayed and camera settings have been made.
  • Step S5 the operation state of the menu button in the operation unit 123 is detected and determined.
  • the menu button is displayed on the display panel 135, a signal from the touch input unit 124 is detected and determined.
  • step S7 the microcomputer 121 detects a further operation on the operation unit 123 and changes the camera setting according to the detection result (step S7).
  • step S3 the process of step S3 is executed again.
  • the shooting mode includes a normal shooting mode and a combined image mode.
  • the recording modes include JPEG recording, JPEG + RAW recording, RAW recording, etc. as still image recording modes, and Motion-JPEG, H.264, etc. as moving image recording modes. H.264 etc.
  • the setting of the image finish includes setting a special effect such as an image that looks natural (Natural), a vivid image (Vivid), a calm image (Flat), and an art filter.
  • step S9 determines whether or not the moving image button has been pressed.
  • the operation state of the moving image button in the operation unit 123 is detected and determined.
  • a signal from the touch input unit 124 is detected and determined.
  • step S19 If it is determined that the moving image button has not been pressed, the microcomputer 121 executes the process of step S19. On the other hand, when the moving image button is pressed, the microcomputer 121 inverts the recording flag (step S11). That is, if the recording flag is off, it is turned on, and if it is on, it is turned off. Further, the microcomputer 121 determines whether or not an image is being recorded based on the state of the recording flag after inversion (step S13).
  • the microcomputer 121 determines that the start of moving image recording has been instructed, generates a moving image file (step S15), and prepares to record image data. Such processing is performed, for example, when the moving image button is pressed for the first time after the power is turned on. Note that after the moving image file is generated, the process of step S19 is executed.
  • step S13 If it is determined in step S13 that the recording flag is off, the microcomputer 121 determines that the end of moving image recording has been instructed, and closes the moving image file (step S17). That is, after the process of recording the number of frames in the header of the moving image file is performed to make the moving image file reproducible, the writing process is terminated. Note that after the writing to the moving image file is completed, the process of step S19 is executed.
  • step S19 the microcomputer 121 determines whether or not the shooting mode is the combined image mode and a predetermined combined image operation is performed on the operation unit 123.
  • the setting of the shooting mode stored in the SDRAM 127 and the operation state of the operation unit 123 are detected and determined.
  • step S600 When it is determined that the predetermined operation has been performed in the combined image mode, the microcomputer 121 executes combined image operation processing (step S600). When the combined image operation process is completed, the process of step S21 is executed. Details of the combined image operation processing will be described later with reference to FIG.
  • step S19 determines whether the shooting mode is not the combined image mode, or if it is determined that the predetermined combined image operation has not been performed on the operation unit 123.
  • the microcomputer 121 determines whether the release button has been pressed halfway. It is determined whether or not (step S21). Here, the transition from OFF to ON of the first release switch linked to the release button is detected and determined.
  • the release button is displayed on the display panel 135 or when the display panel 135 functions as a release button, the area where the release button is displayed or the display area where the live view image is displayed is touched A signal indicating this is detected and determined.
  • the microcomputer 121 executes an AE / AF operation (step S23).
  • the AE operation the AE processing unit 111 detects the subject brightness based on the image data acquired by the image sensor 103, and calculates the shutter speed, the aperture value, and the like at which proper exposure is performed based on the subject brightness. Is done.
  • the driver 205 moves the focus position of the photographing lens 201 via the microcomputer 207 in the interchangeable lens 200 so that the focus evaluation value acquired by the AF processing unit 113 becomes a peak value. Is done.
  • step S25 is executed.
  • various AF methods such as phase difference AF using a dedicated sensor may be used for the AF operation.
  • step S21 determines whether or not the release button is fully pressed.
  • step S27 the transition from OFF to ON of the second release switch is detected and determined.
  • Continuous shooting may be performed by continuously detecting and determining that the second release switch is on.
  • the release button is displayed on the display panel 135 or when the display panel 135 functions as a release button, an area where the release button is displayed or a display area where a live view image is displayed is displayed. A signal indicating the touch is detected and determined.
  • the microcomputer 121 When the release button is fully pressed, the microcomputer 121 performs still image shooting with the mechanical shutter (step S29).
  • the aperture 203 is controlled with the aperture value calculated in step S23, and the shutter speed of the mechanical shutter 101 is controlled with the calculated shutter speed value.
  • an image signal is read from the image sensor 103, and the RAW data processed by the analog processing unit 105 and the A / D conversion unit 107 is temporarily stored in the SDRAM 127 via the bus 110.
  • the microcomputer 121 reads out the RAW data temporarily stored in the SDRAM 127, causes the image processing unit 109 to perform image processing (step S100a), and records the processed image data and the like on the recording medium 131. Is executed (step S500). Details of the image processing and the still image recording processing will be described later with reference to FIGS. 3 to 6 and FIG. 7, respectively.
  • the microcomputer 121 determines whether or not the shooting mode is the combined image mode (step S31). Here, the determination is made based on the setting of the shooting mode stored in the SDRAM 127.
  • the microcomputer 121 executes the process of step S25.
  • the microcomputer 121 changes the live view display (step S33).
  • the display panel 135 has a plurality of display areas, and a live view image is displayed in one of the display areas by processing in step S39 described later. Has been.
  • the display driver 133 controls the display panel 135 so as to change the display area in which the live view image is displayed under the control of the microcomputer 121.
  • the image displayed in the display area where the live view image was displayed is captured in step S29 and changed to the image processed in step S100a. Further, the display area where the live view image should be displayed is switched, and the live view image is displayed in another display area. That is, in the camera 1, the microcomputer 121 and the display driver 133 function as a display control unit that controls the display panel 135. After the live view display process, the microcomputer 121 executes the process of step S25.
  • step S35 the microcomputer 121 performs an AE operation for a moving image or a live view image.
  • the AE operation is performed by the AE processing unit 111 calculating the shutter speed and ISO sensitivity of the electronic shutter of the image sensor 103 for performing live view display with appropriate exposure.
  • the microcomputer 121 performs photographing using the electronic shutter (step S37).
  • an image signal is read from the image sensor 103 using an electronic shutter, and RAW data processed by the analog processing unit 105 and the A / D conversion unit 107 is temporarily stored in the SDRAM 127 via the bus 110.
  • the microcomputer 121 reads the RAW data temporarily stored in the SDRAM 127, and causes the image processing unit 109 to perform the same image processing as that in the case of shooting with the mechanical shutter (step S100b). Further, under the control of the microcomputer 121, the image in the display area where the live view image is displayed is changed to the image data acquired in step S37 and subjected to image processing in step S100b to update the live view image.
  • the display driver 133 controls the display panel 135 (step S39).
  • the microcomputer 121 determines whether or not the moving image is being recorded (step S41). Here, the determination is made according to the state of the recording flag stored in the SDRAM 127.
  • step S25 If the recording flag is off, the microcomputer 121 executes the process of step S25. On the other hand, if the recording flag is on, the microcomputer 121 determines that the moving image is being recorded and records the moving image (step S43). That is, the image data of the live view image updated in step S39 is recorded as a frame image of the moving image file generated in step S15. Thereafter, the microcomputer 121 executes the process of step S25.
  • step S25 the microcomputer 121 determines whether or not the power is off. If the power is on, the process of step S3 is executed. If it is off, the microcomputer 121 completes the processing of the camera 1 after executing necessary termination processing.
  • a live view image is displayed as shown in FIG.
  • the frame images constituting the combined image can be easily acquired, and the image displayed in the touched display area can be changed to the frame image acquired from the live view image. That is, the operation of touching the live view image corresponds to a shooting instruction.
  • the area in which the live view image is displayed automatically switches to another display area in which the frame image is not displayed (if a pre-acquired image to be incorporated into the combined image is set, the frame image and the pre-acquired Live view image is displayed in the other display area where the selected image is not displayed), so even if the subject is moving, the next frame image can be acquired quickly without missing a photo opportunity. It is.
  • the live view image is displayed only in one display area among the plurality of display areas defined on the display panel 135, it is possible to provide an environment where the user can easily concentrate on shooting.
  • the camera 1 displays a mark (here, “LV”) indicating the live view image on the live view image, for example, as illustrated in FIG. 12, in order to identify the live view image and the frame image. It may be displayed in the displayed area. This makes it possible to easily specify the live view image even when it is difficult to distinguish between the live view image and the frame image, such as when shooting a subject that does not change with time. Further, marks (in this case, “1”, “2”, “3”, “4”) indicating the order in which the frame images are acquired may be displayed in the display area displaying the frame images. . Thereby, even if there are many display areas, the user can easily grasp the order in which the frame images are acquired.
  • LV mark
  • the camera 1 displays the frame image darker than the live view image or displays the image with lower saturation in order to distinguish between the live view image and the frame image, for example, as illustrated in FIG. May be.
  • FIG. 11 shows an example in which the user instructs photographing by a touch operation, the camera 1 operates in the same manner by operating the cross key and the release button.
  • FIG. 11 shows an example in which four display areas of 2 ⁇ 2 in the vertical and horizontal directions are defined on the display panel 135, but the layout of the display area is not limited to this. Since the layout of the display area is defined by the set style of the combined image, for example, various layouts as shown in FIGS. 14A to 14K can be selected by changing the setting of the style of the combined image. 14A to 14J are arranged such that a plurality of display areas do not overlap each other, but in FIG. 14K, a part of each display area is arranged so as to overlap another display area. When the layout of FIG. 14K is used, the image displayed in each display region is devised so that the boundary between the images cannot be seen by gradually decreasing the density toward the periphery.
  • FIG. 11 shows an example in which the live view image is displayed only in one display area among the plurality of display areas defined on the display panel 135, but the camera 1 is as shown in FIG.
  • the live view image may be displayed in a plurality or all of the display areas except the display area where the frame image is displayed.
  • the target of image processing performed after shooting with the mechanical shutter is RAW data acquired by shooting with the mechanical shutter
  • the target of image processing performed after shooting with the electronic shutter is RAW acquired with shooting with the electronic shutter. It is data.
  • the image processing mainly includes basic image processing performed by the basic image processing unit 109a, special image processing performed by the special image processing unit 109b, and combined image generation performed by the combined image processing unit 109c. It consists of processing.
  • Step S200 When the microcomputer 121 reads RAW data temporarily stored in the SDRAM 127 and instructs the image processing unit 109 to perform image processing, first, the basic image processing unit 109a executes basic image processing on the read RAW data. (Step S200).
  • the basic image processing executed by the basic image processing unit 109a is composed of seven image processing steps as shown in FIG. First, optical black (OB) subtraction is performed (step S201). In this step, the OB calculation unit in the basic image processing unit 109a subtracts the optical black value caused by the dark current of the image sensor 103 from the pixel value of each pixel constituting the image data.
  • OB optical black
  • step S203 white balance (WB) correction is performed (step S203).
  • the WB correction unit in the basic image processing unit 109a performs WB correction on the image data in accordance with the set white balance mode. Specifically, R gain and B gain corresponding to the white balance mode set by the user are read from the flash memory 125 of the camera body, and correction is performed by multiplying the image data by the values. Or, in the case of auto white balance, R gain and B gain are calculated from RAW data and corrected using these.
  • a synchronization process is performed (step S205).
  • the synchronization processing unit in the basic image processing unit 109a converts the pixel data (Bayer data) into RGB data for the image data that has undergone white balance correction. Specifically, data that does not exist in the pixel is obtained by interpolation from the periphery and converted to RGB data. Note that this step is omitted when there is a plurality of data per pixel in the RAW data, such as when a FOVEON (registered trademark of Foveon Incorporated) format is used as the image sensor 103. .
  • FOVEON registered trademark of Foveon Incorporated
  • step S207 color reproduction processing is performed (step S207).
  • the color reproduction processing unit in the basic image processing unit 109a corrects the color of the image data by performing linear conversion by multiplying the image data by a color matrix coefficient corresponding to the set white balance mode. . Since the color matrix coefficient is stored in the flash memory 125, it is read out and used.
  • a luminance change process is performed (step S209).
  • the luminance change processing unit in the basic image processing unit 109a performs gamma correction processing on the image data (RGB data). Further, color conversion from RGB data to YCbCr data is performed, and gamma correction is performed on the Y data of the converted image data. In gamma correction, the gamma table stored in the flash memory 125 is read and used.
  • edge enhancement is performed (step S211).
  • the edge enhancement processing unit in the basic image processing unit 109a extracts the edge component from the image data by a band pass filter, multiplies the coefficient according to the edge enhancement degree, and adds it to the image data. Emphasize the edges of image data.
  • NR noise removal
  • the NR unit in the basic image processing unit 109a performs processing for reducing noise by frequency-decomposing the image and performing coring processing according to the frequency.
  • the special image processing unit 109b executes special image processing on the image data processed by the basic image processing unit 109a. (Steps S101 and S300 in FIG. 3).
  • the special image processing executed by the special image processing unit 109b is mainly configured with five image processing steps performed according to the special effect setting.
  • the special image processing unit 109b makes a determination based on the state of the simple processing setting stored in the SDRAM 127. If the simple process setting is on, the special image process is terminated.
  • step S305 shading addition processing is performed on the image data (step S305).
  • the special image processing unit 109b generates a gain map (gain value is 1 or less) such that the luminance gradually decreases according to the distance from the center, and the image data is assigned to each pixel according to the gain map.
  • the shading is added to the periphery by multiplying the corresponding gain.
  • the soft focus process is performed on the image data (step S309).
  • the special image processing unit 109b generates image data obtained by performing blur processing on the entire image, and a predetermined ratio (for example, 3 :: image data of the image before blurring and image data after the blur processing). 2).
  • noise superimposition processing is performed on the image data (step S313).
  • the noise pattern created in advance by the special image processing unit 109b is added to the image data.
  • the noise pattern may be generated based on a random number or the like.
  • step S317) blur processing is performed on the image data (step S317).
  • the special image processing unit 109b gradually blurs the periphery of the image (for example, up and down, left and right, or both) around the AF target according to the distance.
  • a cross filter process is performed on the image data (step S321).
  • the special image processing unit 109b detects a bright spot in the image and processes the image data so that a cross pattern is drawn around the bright spot.
  • the combined image processing unit 109c determines whether or not the shooting mode is the combined image mode (step S103 in FIG. 3). If the shooting mode is not the combined image mode, the image processing ends.
  • the combined image processing unit 109c executes combined image generation processing using image data of a plurality of images displayed in a plurality of display areas of the display panel 135 ( Step S400 in FIG. 3).
  • the combined image generation process executed by the combined image processing unit 109c is configured mainly with five image processing steps as shown in FIG. First, it is determined whether or not simple image processing is set (step S401). In this step, the combined image processing unit 109c makes a determination based on the state of the simple process setting stored in the SDRAM 127.
  • step S403 image analysis is performed (step S403).
  • the combined image processing unit 109c calculates the color distribution and luminance distribution that each of the image data of the plurality of images displayed in the display area of the display panel 135 has. Note that image processing corresponding to the image data of the image displayed in the display area, not the image data itself (that is, the image data processed by the basic image processing unit 109a and the special image processing unit 109b) is performed. The color distribution and the luminance distribution may be calculated from the RAW data before being processed.
  • step S405 color change processing is performed so that the images of the plurality of image data constituting the combined image have substantially the same color.
  • the combined image processing unit 109c corrects the color difference Cb and the color difference Cr of each image data by offsetting them so that the peak of the color difference Cb and the color difference Cr of the plurality of image data becomes an average value thereof. For example, if the color distribution (color difference distribution) as shown in FIGS. 16A and 16D is calculated by image analysis, the distribution of the color difference Cb and the color difference Cr is offset as shown in FIGS. 16B and 16E. To do. As a result, as shown in FIGS.
  • the color changing method in the color changing process can be realized by other methods such as multiplying R and B in the RGB color space, for example, in addition to the method of changing the color difference Cb and the color difference Cr.
  • the brightness change process is performed so that the brightness of the images of the plurality of image data constituting the combined image becomes substantially the same (step S407).
  • the combined image processing unit 109c corrects each image data so that the average of the luminance distribution of each of the plurality of image data becomes the average of the luminance distribution of the entire plurality of image data. For example, if the distribution of luminance Y as shown in FIG. 17A is obtained by image analysis, the luminance is obtained by performing different gamma conversion on the RGB data of each image data as shown in FIG. 17B. The Y distribution is corrected so that the luminances of the plurality of images are substantially the same as shown in FIG. 17C.
  • the reason for correcting the luminance by the gamma conversion in the RGB color space instead of the gamma conversion for the luminance component is to prevent the image color from becoming unnatural even when the luminance is greatly changed by the correction. It is.
  • the method of changing the luminance in the luminance changing process is not limited to other methods such as changing the luminance only in a dark area such as a shade or changing the luminance only in a bright area. It can also be realized by the method.
  • a combining process for combining a plurality of image data whose colors and brightness are corrected is performed (step S409).
  • image data of a plurality of images displayed in a plurality of display areas of the display panel 135, more specifically, a plurality of image data subjected to color change processing and luminance change processing, are combined image processing.
  • the unit 109c combines and generates image data of a combined image in which the plurality of images are laid out as displayed on the display panel 135.
  • special effects such as blurring and shading that are effects that the special image processing unit 109b can apply with the art filter or the like are applied to the combined image style for the entire combined image regardless of the finish setting in the camera settings.
  • the combined image generation process is terminated (step S411).
  • the combined image processing unit 109c combines the image data of the plurality of images displayed in the plurality of display areas of the display panel 135 and displays the plurality of images. Image data of the combined image laid out as displayed on the panel 135 is generated (step S413). Thereafter, the microcomputer 121 ends the combined image generation process. Thus, the image processing in FIG. 3 ends.
  • each of a plurality of frame images that form the combined image is corrected based on a result of comparison with other frame images.
  • the image data of the combined image is generated by combining the image data of the corrected frame image. For this reason, it is possible to obtain a good image as a combined image in which the hue and brightness are balanced between the frame images as compared with a conventional camera in which the frame images are individually processed.
  • FIG. 6 shows an example in which the color change process and the brightness change process are performed on each frame image, the image processing performed based on the result of comparison with other frame images is not limited to these, and other images Processing may be performed.
  • the microcomputer 121 first determines whether or not the shooting mode is the combined image mode (step S501). In this step, the determination is made based on the shooting mode setting stored in the SDRAM 127.
  • the microcomputer 121 controls the display driver 133 so that one image of the image data shot by the mechanical shutter and processed by the image processing unit 109 is recorded on the display panel 135. It is displayed (step S515). Thereafter, the microcomputer 121 controls the memory I / F 129 to record the image data of the displayed image on the recording medium 131 (step S517), and ends the still image recording process.
  • the image data may be recorded after being compressed into the JPEG format by the image compression / decompression unit 117, or may be recorded without being compressed. Furthermore, RAW data before image processing by the image processing unit 109 may be recorded.
  • the shooting mode is the combined image mode
  • the microcomputer 121 determines whether or not the combination has been completed, that is, whether or not all the frame images constituting the combined image have been captured (step S505). Note that if a previously acquired image to be incorporated into the combined image is set, it is determined whether or not all the frame images except for the previously acquired image have been captured. This step is determined based on whether or not the number of frame images determined in accordance with the set combined image style is stored in the frame image area of the SDRAM 127. If all frame images have not been shot, the still image recording process is terminated.
  • the microcomputer 121 controls the display driver 133 to display the combined image generated by the image processing unit 109 on the display panel 135 in a rec view (step S507).
  • the microcomputer 121 monitors a cancel operation for a certain period (for example, 3 seconds) (step S509). This is to provide the user with time to determine whether or not the combined image displayed in the REC view is the desired image.
  • a combined image operation process is executed to cancel the designated image (step S600), and the still image recording process is terminated.
  • the memory I / F 129 is controlled to record the image data of the combined image generated by the image processing unit 109 on the recording medium 131 (step S511), and the still image recording process is ended. .
  • a screen for inquiring whether or not to record (whether or not to cancel) may be displayed, and cancellation or recording may be performed according to a user input.
  • the microcomputer 121 sequentially determines whether or not a shooting frame change operation, a cancel operation, a restoration operation, a temporary save operation, and a temporary save read operation have been performed (step S601, step S605, step S613, Step S619, Step S625).
  • the determination as to whether or not the shooting frame change operation in step S601 has been performed is performed based on, for example, whether or not the touch input unit 124 has detected a touch operation on a display area in which no image is displayed.
  • the microcomputer 121 detects a touch operation on a display area in which no image is displayed, the microcomputer 121 is touched by switching a display area where a live view image should be displayed as illustrated in FIG.
  • the process of displaying the live view image in the displayed area is performed (step S603).
  • Whether or not the cancel operation in step S605 has been performed is determined by, for example, performing a touch operation on a display area in which an image (frame image) based on RAW data obtained by still image shooting using a mechanical shutter is displayed by a touch input unit. This is performed depending on whether or not 124 is detected.
  • the microcomputer 121 determines whether or not the size of the touched frame image (display area) is small (step S607).
  • step S613 If it is determined that the size of the frame image is small, the process of step S613 is executed without performing a cancel process (steps S609 and S611) described later. If the size of the frame image is small, for example, if you intended to touch the live view image for shooting instructions but accidentally touched the frame image, you touched a different display area from the intended display area. Cheap. For this reason, in order to prevent the occurrence of an unintended cancellation process, such a determination process is provided.
  • whether or not the size of the frame image is small may be determined by the number of display areas or the style of the combined image. That is, for example, when the style corresponding to the layout of FIG. 14G with a large number of divisions (the number of display areas) is set, it is determined that the size of the frame image is small, and the styles corresponding to other layouts are determined. If it is set, it may be set in advance so that it is determined that the size of the frame image is large.
  • whether or not the size of the frame image is small may be determined based on whether or not the area of the touched display area is smaller than a predetermined area.
  • the size of the display panel 135 is considered. Therefore, it is preferable in that the cancel process can be avoided only when the size of the frame image is a size that can cause an unintended cancel process.
  • the microcomputer 121 performs an avoidance process for saving the image data of the frame image displayed in the touched display area (step S609).
  • a combined image storage area for display / storage composed of a frame image area and a frame image save area is secured in the SDRAM 127
  • FIGS. 20A and 20B the image data of the frame image (“frame image 2”) displayed in the touched display area is copied from the frame image area of the SDRAM 127 to the frame image save area and stored in the frame image area.
  • a process of deleting the copy source image data being performed is performed.
  • FIGS. 21A and 21B when the image data of the frame image is managed using the reference pointer, the reference pointer to the address of the image data is used instead of deleting the image data itself. You may delete the reference.
  • the microcomputer 121 changes the live view display change process as illustrated in FIG. 22, that is, the image displayed in the touched display area by switching the display area where the live view image is to be displayed. (Step S611).
  • Whether or not the restoration operation in step S613 has been performed is determined by selecting a predetermined operation (for example, a double-click operation on a display area where a live view image is displayed or a display area where a live view image is displayed). For example, a pressing operation of a delete button) is detected by the operation unit 123 or not.
  • the microcomputer 121 performs an image restoration process for restoring the image data of the frame image canceled by the cancel operation (steps S609 and S611) (step S615). Specifically, as shown in FIGS.
  • image data of a frame image (“frame image 2”) saved in the save area of the SDRAM 127 is copied to the original frame image area, Processing for deleting image data in the image saving area is performed.
  • FIGS. 21B and 21C when the image data of the frame image is managed using the reference pointer, the reference by the reference pointer to the address of the image data may be restored.
  • the microcomputer 121 displays the live view image in the live view display change process, that is, the restored frame image is displayed in the display area where the live view image is displayed and the frame image is not displayed. Processing is performed (step S617).
  • step S619 The determination as to whether or not the temporary storage operation has been performed in step S619 is performed based on whether or not the operation unit 123 has detected a predetermined operation (for example, a pressing operation of the temporary storage button).
  • the microcomputer 121 controls the memory I / F 129 to generate other image data for the frame image and the image data for the combined image stored in the combined image storage area of the SDRAM 127.
  • Data (for example, data relating to the set combined image style and data indicating the relationship between the image data of the frame image and the display area) is recorded on the recording medium 131 (step S621). Note that the processing in step S621 may be recorded in the flash memory 125 instead of the recording medium 131.
  • the microcomputer 121 performs a combined image reset process for deleting the image data stored in the combined image storage area of the SDRAM 127 and updating the display state of the display panel 135 (step S623).
  • Whether or not the temporary storage read operation in step S625 has been performed is determined based on whether or not the operation unit 123 has detected a predetermined operation (for example, pressing of the temporary storage read button).
  • the microcomputer 121 determines whether or not shooting is in progress (step S627). This is determined, for example, based on whether or not frame image data is stored in the combined image storage area of the SDRAM 127.
  • the microcomputer 121 controls the display driver 133 to select whether or not to temporarily save the image data of the frame image stored in the combined image storage area.
  • the display is displayed on the display panel 135 (step S629).
  • the microcomputer 121 controls the memory I / F 129 to record the image data of the frame image stored in the combined image storage area on the recording medium 131 (step S631). ). Note that recording may be performed in the flash memory 125 instead of the recording medium 131.
  • the microcomputer 121 reads the image data of the frame image recorded in step S621 from the recording medium 131 and develops it in the combined image storage area of the SDRAM 127 (step S633).
  • the microcomputer 121 displays the image data of the frame image stored in the combined image storage area of the SDRAM 127 in the display area of the display panel 135, and further displays the live view image in the display area where the frame image is not displayed ( Step S635).
  • the combined image operation process in FIG. 8 ends.
  • the display area where the live view image is displayed can be easily changed by a touch operation, as shown in FIG. 18, for example, from FIG. 23A to FIG. 23C.
  • frame images captured in an arbitrary order can be displayed on each of the plurality of display areas. Therefore, unlike a conventional camera in which the display area is fixed with respect to the shooting order as shown in FIG. 24, a combined image in which frame images shot in the intended order are displayed in the area intended by the user. Can be generated. Therefore, it is possible to easily generate image data of a desired combined image.
  • the camera 1 has a display area for displaying the live view image by a key operation such as a cross key. It may be changed. Also, for example, as shown in FIG. 15, when the live view image is set in all display areas except the display area where the frame image is displayed, the shooting frame (that is, the next shooting is selected with the cross key). The display area in which the frame image is displayed may be changed. As a result, even when shooting is instructed by the release button, a combined image in which frame images shot in the order intended by the user is generated in the same manner as in the case of shooting by touch operation is generated. be able to.
  • a key operation such as a cross key.
  • the camera 1 simply touches the display area where the frame image is displayed, and the frame image is canceled and changed to a live view image. For this reason, a frame image that does not like can be easily re-taken by a simple operation, so that image data of a desired combined image can be easily generated.
  • FIG. 22 shows an example in which the live view image is displayed in the touched display area in order to cancel the frame image
  • the camera 1 may display a background image in the touched display area.
  • the frame image can be canceled without changing the display area where the live view image is displayed.
  • the method of canceling the frame image is not limited to the method shown in FIG.
  • the camera 1 may cancel a frame image by a touch operation on a trash can mark displayed in each display area.
  • only one trash can mark may be displayed at the end of the display panel 135.
  • the frame image is canceled by dragging the frame image to be canceled to the trash can mark. May be.
  • the frame image selected by the cross key may be canceled by the operation on the cross key and the trash can button.
  • the microcomputer 121 controls the memory I / F 129 to read image data from the recording medium 131 and controls the display driver 133 to display on the display panel 135.
  • a list of thumbnails of images (still images and moving images) stored in the recording medium 131 is displayed (step S701), and an image selection operation by the user is monitored (step S703). If image selection is detected, it is determined whether the selected image is a moving image (step S704).
  • the microcomputer 121 reads the number of frames from the header of the moving image file (step S705), initializes the counter i (step S707), sequentially reproduces the frame image of the moving image file, The information is displayed on the display panel 135 (step S709, step S711, step S713).
  • the microcomputer 121 reads the image data of the selected image (step S717) and displays the selected image on the display panel 135 (step S719). Thereafter, the microcomputer 121 monitors various operations performed by the user during image reproduction (steps S721, S725, S729, and S733).
  • step S721 When the enlargement button is pressed and an enlargement operation is detected (step S721), the microcomputer 121 performs an enlargement display process for enlarging and displaying the image displayed on the display panel 135 (step S723).
  • FIG. 28A when the displayed image is a combined image, as shown in FIG. 28B or 28E, a display in which specific frame images constituting the combined image are displayed. By enlarging the area, the specific frame image is enlarged and displayed. As shown in FIGS. 28C and 28F, a specific frame image enlarged on the entire display panel 135 may be displayed. In this case, a combined image is configured by displaying an arrow mark on the enlarged frame image, etc. The presence of other frame images may be indicated. As shown in FIGS. 28D and 28G, the frame image may be enlarged beyond the size of the display panel 135. In this case, the range occupied by the frame image displayed on the display panel 135 in the combined image is as follows. It may be displayed together with the frame image. Further, instead of enlarging and displaying a specific frame image, as shown in FIGS. 29A and 29B, all the frame images constituting the combined image may be enlarged and displayed.
  • step S725 When an operation for changing the display position using the cross key or the like is detected during the enlarged display (step S725), the microcomputer 121 performs an enlarged position changing process (step S727). For example, if a normal image that is not a combined image is displayed, the enlarged display portion of the image is changed. Further, if a specific frame image constituting the combined image as shown in FIGS. 28D and 28G is enlarged and displayed beyond the size of the display panel 135, the enlarged display in the specific frame image is displayed. Change the part that is.
  • the microcomputer 121 displays a display frame for switching the frame image to be enlarged and displayed.
  • a change process is performed (step S731). Note that the enlarged display state of the currently displayed frame image is stored before switching the frame image. Thereby, when the currently displayed frame image is displayed again, the frame image can be enlarged and displayed in the same enlarged display state, that is, in the same state of the enlarged display portion in the frame image. Thereafter, the microcomputer 121 repeats the monitoring of the various operations described above until an instruction to end the display of the still image is given (step S733).
  • step S715 it is determined whether or not to end the reproduction process.
  • step S715 the change of the operation mode of the camera 1 from the reproduction mode to the shooting mode is detected and determined. If no change in the operation mode is detected, step S701 is executed again to display a list of thumbnails. On the other hand, when the change of the operation mode to the shooting mode is detected, the reproduction process is terminated.
  • the enlarged display during the reproduction process has been described.
  • the enlarged display may be performed during shooting or REC view display.
  • the live view image may be enlarged.
  • enlargement display or the like can be performed only for a still image, but enlargement display, enlargement position change, display frame change, or the like may be similarly performed for a moving image.
  • the operation unit 123 when the operation unit 123 receives a shooting instruction by touching a display area where a live view image is displayed, a frame image is acquired and the live view is displayed. The display area where the image is displayed automatically switches. Further, when the operation unit 123 accepts a cancel instruction by touching a display area where a frame image is displayed, the frame image is canceled and a live view image is displayed for re-shooting. Further, when generating image data of a combined image, each frame image constituting the combined image is corrected based on a comparison result with other frame images, and a good combined image is obtained.
  • the camera 1 it is possible to easily generate image data of a desired combined image by a simple operation.
  • image data of a desired combined image can be easily generated by a simple operation, it is possible to maintain a strong motivation for generating a combined image.
  • FIG. 31 is a flowchart showing the combined image operation processing of the camera according to the present embodiment.
  • FIG. 32 is a flowchart illustrating the imaging frame change process of the camera according to the present embodiment.
  • FIG. 33 is another flowchart illustrating the shooting frame change process of the camera according to the present embodiment.
  • FIG. 34 is a diagram for explaining the shooting frame change operation of the camera according to the present embodiment.
  • FIG. 35 is another diagram for explaining the shooting frame change operation of the camera according to the present embodiment.
  • processing performed by the camera according to the present embodiment will be described focusing on differences from the processing performed by the camera 1 according to the first embodiment.
  • the camera according to the present embodiment has the same physical configuration as the camera 1 according to the first embodiment illustrated in FIG.
  • the combined image operation process of the camera according to the present embodiment is started similarly to the combined image operation process of the camera 1 according to the first embodiment illustrated in FIG. The operation that caused the start to be identified.
  • the microcomputer 121 determines whether or not the photographing frame change operation, the temporary storage operation, and the temporary storage read operation are performed (Step S641, Step S619, Step S625), Unlike the camera 1 according to the first embodiment, it is not determined whether a cancel operation or a restore operation has been performed. This is because the camera according to the present embodiment does not accept the cancel operation and the restore operation. Along with this, the camera according to the present embodiment does not determine whether or not the cancel operation shown in FIG. 7 has been performed.
  • the determination of whether or not the shooting frame change operation in step S641 has been performed is not limited to, for example, a touch operation on a display area in which no image is displayed, but whether the touch input unit 124 has detected a touch operation on the display area. Depending on whether or not.
  • the microcomputer 121 detects a touch operation on the display area, the microcomputer 121 performs a shooting frame change process, that is, a process of switching the display area where the live view image should be displayed and displaying the live view image on the touched display area ( Step S800).
  • the shooting frame change operation is also an example of an operation for giving a display position change instruction.
  • step S619 to step S635 Since the subsequent processing (from step S619 to step S635) is the same as the combined image operation processing of the camera 1 according to the first embodiment shown in FIG. 8, the description thereof is omitted here.
  • the microcomputer 121 acquires coordinate data of the touch position where the touch operation is performed on the display area (step S801), and based on the coordinate data.
  • the display area where the touch operation has been performed is specified (step S802).
  • the microcomputer 121 determines whether or not the specified display area is a frame image display area (step S803).
  • the microcomputer 121 displays the frame image and the live view image interchangeably (step S804). That is, the frame image displayed in the display area where the touch operation is performed and the live view image displayed in the other display area are switched and displayed. This is performed, for example, by exchanging coordinate data indicating the display range of the frame image and coordinate data indicating the display range of the live view image.
  • step S804 ends, the shooting frame change process ends.
  • the microcomputer 121 determines whether or not the specified display area is a blank image display area (step S805).
  • the microcomputer 121 displays the blank image and the live view image in a switched manner as shown in FIG. 18, for example (step S806). That is, the blank image displayed in the display area where the touch operation is performed and the live view image displayed in the other display area are switched and displayed. This is performed, for example, by exchanging coordinate data indicating the display range of the blank image and coordinate data indicating the display range of the live view image.
  • the blank image is an image in which nothing is represented, and is, for example, an image of black color, an image of blue color, or the like.
  • the microcomputer 121 ends the shooting frame change process.
  • the user can freely change the display area in which the live view image is displayed by a touch operation.
  • the display area in which the live view image is displayed is changed by a touch operation. For example, this is performed by operating a cross button, an OK button, or the like. You may be made to be.
  • the user selects a display area for displaying the live view image by operating the cross button, and further confirms the selection by operating the OK button to thereby display a display area for displaying the live view image.
  • the display area can be changed to a desired display area.
  • the shooting frame change process shown in FIG. 32 can be replaced with the shooting frame change process shown in FIG. 33, for example.
  • the shooting frame change process shown in FIG. 33 is different from the shooting frame change process shown in FIG. 32 in the case where the specified display area is not a frame image display area and a blank image display area. .
  • the microcomputer 121 acquires coordinate data indicating the display range of the live view image when the display area is a display area of the live view image (step S807). Then, the microcomputer 121 determines whether or not the touch input unit 124 detects a touch operation on the display area, that is, whether or not the touch operation on the display area is continuously performed (step S808).
  • the microcomputer 121 stores the coordinate data of the touch position at this time. It is acquired (step S809), and based on the difference between the coordinate data and the coordinate data of the previously acquired touch position, it is determined whether or not the touch position has changed (step S810). For example, if the difference is not zero, it is determined that the touch position has changed.
  • the microcomputer 121 moves and displays the live view image according to the change in the touch position (step S811). For example, the live view image is moved and displayed in the change direction of the touch position by the change amount of the touch position. Then, the process returns to step S808. On the other hand, if there is no change in the touch position even with the finger touching the touch input unit 124, the process returns to step S808 as it is.
  • the touch input unit 124 does not detect a touch operation on the display area, that is, when it is determined that the finger is released from the touch input unit 124 and the touch operation on the display area is not continuously performed.
  • the microcomputer 121 acquires the coordinate data of the touch position where the touch operation on the display area was last performed (step S812), and specifies the display area where the touch operation was last performed based on the coordinate data. (Step S813). Then, the microcomputer 121 determines whether or not the specified display area is a frame image display area (step S814).
  • the microcomputer 121 displays the frame image and the live view image interchangeably (step S815). That is, the frame image displayed in the display area where the touch operation was last performed and the live view image displayed in the other display area are switched and displayed. Then, when this is finished, the photographing frame changing process is finished.
  • the microcomputer 121 determines whether or not the specified display area is a blank image display area (step S816).
  • the microcomputer 121 displays the blank image and the live view image interchangeably (step S817). That is, the blank image displayed in the display area where the touch operation was last performed and the live view image displayed in the other display area are switched and displayed. Then, when this is finished, the photographing frame changing process is finished.
  • the microcomputer 121 ends the shooting frame change process.
  • the user can freely change the display area in which the live view image is displayed by the touch operation also by the shooting frame changing process performed in this way.
  • the user moves a finger while touching it from the upper left display area where the live view image is displayed to the upper right display area where the blank image is displayed.
  • the live view image displayed in the upper left display area and the blank image displayed in the upper right display area can be interchanged. That is, the display area in which the live view image is displayed can be changed from the upper left display area to the upper right display area.
  • the live view image moves together with the movement of the finger.
  • the user displays a blank image from the upper left display area where the live view image is displayed via the lower left display area.
  • the live view image displayed in the upper left display area and the blank image displayed in the lower right display area can be switched. That is, the display area in which the live view image is displayed can be changed from the upper left display area to the lower right display area.
  • the live view image moves together with the movement of the finger.
  • the user moves while touching a finger from the upper right display area where the live view image is displayed to the upper left display area where the frame image is displayed.
  • the live view image displayed in the upper right display area and the frame image displayed in the upper left display area can be interchanged. That is, the display area where the live view image is displayed can be changed from the upper right display area to the upper left display area. In this case as well, while the finger is moved while being touched, the live view image moves together with the movement of the finger.
  • 34A to 34K (the same applies to FIGS. 35A to 35K described later), an image indicated as “LV” indicates a live view image, and a gray image indicates a blank image. “LV” may or may not be actually displayed as an icon for notifying the user that the image is a live view image.
  • the live view image is moved along with the movement of the finger while the user moves the finger while touching the finger on the live view image.
  • the processing during this time can be modified as shown in FIGS. 35A to 35K, for example.
  • the user can display the blank image from the upper left display area where the live view image is displayed via the lower left display area.
  • the touched display area is changed, that is, when the touched display area is changed from the upper left display area to the lower left display area.
  • the live view image displayed in the upper left display area that was touched is replaced with the blank image displayed in the lower left display area that is touched, and then the touched display area is displayed in the lower left display.
  • the live view image that was displayed in the lower left display area and the lower right display area that was touched are displayed. And a blank image that is displayed in is replaced.
  • the live view image does not move together with the movement of the finger as shown in the order of FIGS. 34A and 34E to 34G.
  • the user moves the finger from the upper right display area where the live view image is displayed to the upper left display area where the frame image is displayed while touching the finger. Is displayed at the upper right display area when the touched display area is changed, that is, when the touched display area is changed from the upper right display area to the upper left display area.
  • the live view image that has been touched and the frame image displayed in the upper left display area being touched are exchanged. Therefore, in this case, while the finger is moved while being touched, the live view image does not move together with the movement of the finger as shown in the order of FIGS. 34H to 34K.
  • the display area in which the live view image is displayed can be freely changed by a touch operation. Can be easily changed by a simple operation.
  • a digital camera has been exemplified and described as the imaging device.
  • the technology described above is not limited to a camera-dedicated device, and may be applied to a camera-equipped mobile phone (smart phone), a tablet-type device, and other portable devices.
  • the above-described embodiments are specific examples of the present invention in order to facilitate understanding of the invention, and the present invention is not limited to these embodiments.
  • the image pickup apparatus of the present invention can be variously modified and changed without departing from the concept of the present invention defined in the claims.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 カメラ1は、複数の表示領域を有する表示パネル135と、撮影指示と表示位置変更指示を受け付ける操作部123と、被写体を撮像して画像を取得する撮像部を備える。また、カメラ1は、撮影指示を受け付けると、ある表示領域に表示される画像をライブビュー画像から撮影指示に応じて取得されたコマ画像に変更し、表示領域を指定した表示位置変更指示を受け付けると、指定された表示領域に表示される画像をライブビュー画像に変更するように表示パネル135を制御する表示制御部と、複数の表示領域に表示されている複数の画像の画像データを合成し、複数の画像を表示パネル135に表示されているようにレイアウトした組み画像の画像データを生成する組み画像処理部109cを備える。

Description

撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体
 本発明は、複数回の撮影により取得した複数の画像をレイアウトして、一枚の画像としてなる組み画像の画像データを生成する撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体に関する。
 デジタルカメラやデジタルビデオカメラなどの撮像装置では、取得した画像がデジタルデータとして記憶または記録されるため、取得した画像を容易に加工することができる。
このような特徴を活かした撮像装置の用途のひとつに組み写真がある。組み写真とは、複数回の撮影により取得した複数の写真をレイアウトしてなる合成写真のことである。
 より詳しくは、撮影者が異なる場面、異なる視点による立体感を表現する画像、時間の流れに応じた撮影画像、及び、被写体の動きのある撮影画像から、撮影時の感情や想像を表現するために、複数の画像から構成される組み写真を生成する。そして、その組み画像によって撮影時の感情や想像を見る人に伝えようとする。
 この目的を達するため、組み写真の並び方や並べる順序にはシナリオがあり、そのシナリオは見る人の感情をよびおこす上でもとても重要である。
 組み写真を取得する撮像装置は、例えば、特許文献1に開示されるような組み写真を構成する複数の写真を1回のシャッタ操作で取得するものと、例えば、特許文献2に開示されるような組み写真を構成する複数の写真の各々をそれぞれに対応するシャッタ操作で取得するものと、に大別される。
 なお、特許文献1には、複数コマの画像を連続して撮影するとともに、その複数コマの画像を一覧表示するデジタルカメラが開示されている。
特許文献2には、同一被写体について複数枚ずつ撮影された複数の異なる被写体の画像のうち、被写体毎に1枚ずつ選択された最適画像を合成して記録する撮像装置が開示されている。
特開2007-053616号公報 特許第4529561号公報
 ところで、所望の組み写真を得るためには、組み写真の画像データを生成する際に、組み写真を構成する写真の配置位置を撮像装置の利用者が好みに応じて容易に変更し得ることが望ましい。
 しかしながら、上述した特許文献1から特許文献2に開示される技術では、組み写真を構成する写真の配置位置を利用者が変更することはできない。
 具体的に説明すると、特許文献1に開示されるデジタルカメラは、連続して撮影された複数の画像を撮影された順序で一覧表示する(つまり、組み写真として表示する)ように構成されているため、組み写真を構成する写真の配置位置を利用者が変更することはできない。
 また、特許文献2に開示される撮像装置では、被写体毎に取得した複数枚の画像から被写体毎に1枚の画像を選択することができる。しかしながら、選択された画像の配置位置は、その画像が取得(撮影)された時点で決定されてしまうため、選択された画像の配置位置を利用者が変更することはできない。
 なお、上述した技術的な課題は、写真(つまり、静止画像)でのみ生じるものではなく、動画像であっても生じ得る。つまり、静止画像、動画像を問わず、画像全般で生じ得る。
 以上のような実情を踏まえ、本発明は、所望の組み画像を構成する画像の配置位置を簡単な操作で容易に変更する技術を提供することを目的とする。
 本発明の第1の態様は、複数の表示領域を有する表示部と、撮影指示を受け付ける第1の受付部と、前記表示部の表示領域を指定した表示位置変更指示を受け付ける第2の受付部と、被写体を撮像して画像を取得する撮像部と、前記第1の受付部が撮影指示を受け付けると、前記複数の表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて前記撮像部により取得された画像に変更し、且つ、前記第2の受付部が前記表示位置変更指示を受け付けると、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更するように、前記表示部を制御する表示制御部と、前記複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する組み画像処理部と、を備える撮像装置を提供する。
 本発明の第2の態様は、第1の態様に記載の撮像装置において、前記表示位置変更指示により指定される表示領域は、ブランク画像が表示されている表示領域である撮像装置を提供する。
 本発明の第3の態様は、第1の態様に記載の撮像装置において、前記表示位置変更指示により指定される表示領域は、前記撮影指示に応じて前記撮像部により取得された画像が表示されている表示領域であり、前記表示制御部は、前記第2の受付部が前記表示位置変更指示を受け付けると、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更すると共に、当該変更前に前記ライブビュー画像が表示されていた表示領域に表示される画像を前記撮影指示に応じて前記撮像部により取得された画像に変更するように、前記表示部を制御する撮像装置を提供する。
 本発明の第4の態様は、表示部の少なくとも1つの表示領域にライブビュー画像を表示する工程と、撮影指示を受け付ける工程と、前記撮影指示に応じて被写体の画像を取得する工程と、前記少なくとも1つの表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、を備える画像処理方法を提供する。
 本発明の第5の態様は、複数の表示領域を有する表示部を備えたコンピュータに、前記表示部の少なくとも1つの表示領域にライブビュー画像を表示する工程と、撮影指示を受け付ける工程と、前記撮影指示に応じて被写体の画像を取得する工程と、前記少なくとも1つの表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、を実行させる画像処理プログラムを提供する。
 本発明の第6の態様は、複数の表示領域を有する表示部を備えたコンピュータに、前記表示部の少なくとも1つの表示領域にライブビュー画像を表示する工程と、撮影指示を受け付ける工程と、前記撮影指示に応じて被写体の画像を取得する工程と、前記少なくとも1つの表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、を実行させる画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供する。
 本発明によれば、所望の組み画像を構成する画像の配置位置を簡単な操作で容易に変更する技術を提供することができる。
本発明の実施例1に係るカメラの主として電気系の全体構成を示すブロック図である。 本発明の実施例1に係るカメラの処理全体を示すフローチャートである。 本発明の実施例1に係るカメラの画像処理を示すフローチャートである。 本発明の実施例1に係るカメラの基本画像処理を示すフローチャートである。 本発明の実施例1に係るカメラの特殊画像処理を示すフローチャートである。 本発明の実施例1に係るカメラの組み画像生成処理を示すフローチャートである。 本発明の実施例1に係るカメラの静止画像記録処理を示すフローチャートである。 本発明の実施例1に係るカメラの組み画像操作処理を示すフローチャートである。 本発明の実施例1に係るカメラの再生処理を示すフローチャートである。 被写体の動作を説明するための第1の図である。 被写体の動作を説明するための第2の図である。 被写体の動作を説明するための第3の図である。 被写体の動作を説明するための第4の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための第1の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための第2の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための第3の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための第4の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための第5の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための他の第1の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための他の第2の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための他の第3の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための他の第4の図である。 本発明の実施例1に係るカメラの撮影操作について説明するための他の第5の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第1の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第2の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第3の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第4の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第5の図である。 表示領域のレイアウトについて説明するための第1の図である。 表示領域のレイアウトについて説明するための第2の図である。 表示領域のレイアウトについて説明するための第3の図である。 表示領域のレイアウトについて説明するための第4の図である。 表示領域のレイアウトについて説明するための第5の図である。 表示領域のレイアウトについて説明するための第6の図である。 表示領域のレイアウトについて説明するための第7の図である。 表示領域のレイアウトについて説明するための第8の図である。 表示領域のレイアウトについて説明するための第9の図である。 表示領域のレイアウトについて説明するための第10の図である。 表示領域のレイアウトについて説明するための第11の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第1の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第2の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第3の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第4の図である。 本発明の実施例1に係るカメラの撮影操作について説明するためのさらに他の第5の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる色変更処理について説明するための第1の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる色変更処理について説明するための第2の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる色変更処理について説明するための第3の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる色変更処理について説明するための第4の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる色変更処理について説明するための第5の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる色変更処理について説明するための第6の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる輝度変更処理について説明するための第1の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる輝度変更処理について説明するための第2の図である。 本発明の実施例1に係るカメラの組み画像処理部で行われる輝度変更処理について説明するための第3の図である。 本発明の実施例1に係るカメラの撮影コマ変更操作について説明するための第1の図である。 本発明の実施例1に係るカメラの撮影コマ変更操作について説明するための第2の図である。 本発明の実施例1に係るカメラのSDRAMの表示・記録用組み画像記憶領域の構成を説明するための図である。 本発明の実施例1に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための第1の図である。 本発明の実施例1に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための第2の図である。 本発明の実施例1に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための第3の図である。 本発明の実施例1に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための他の第1の図である。 本発明の実施例1に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための他の第2の図である。 本発明の実施例1に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための他の第3の図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するための第1の図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するための第2の図である。 本発明の実施例1に係るカメラの表示領域と撮影順番との関係を示す第1の図である。 本発明の実施例1に係るカメラの表示領域と撮影順番との関係を示す第2の図である。 本発明の実施例1に係るカメラの表示領域と撮影順番との関係を示す第3の図である。 従来のカメラの表示領域と撮影順番との関係を示す図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するための他の第1の図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するための他の第2の図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するためのさらに他の第1の図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するためのさらに他の第2の図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するためのさらに他の第1の図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するためのさらに他の第2の図である。 本発明の実施例1に係るカメラのキャンセル操作について説明するためのさらに他の第3の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための第1の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための第2の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための第3の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための第4の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための第5の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための第6の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための第7の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための他の第1の図である。 本発明の実施例1に係るカメラの再生モードにおける拡大表示操作について説明するための他の第2の図である。 本発明の実施例1に係るカメラの組み画像モードにおける拡大表示操作について説明するための第1の図である。 本発明の実施例1に係るカメラの組み画像モードにおける拡大表示操作について説明するための第2の図である。 本発明の実施例1に係るカメラの組み画像モードにおける拡大表示操作について説明するための第3の図である。 本発明の実施例2に係るカメラの組み画像操作処理を示すフローチャートである。 本発明の実施例2に係るカメラの撮影コマ変更処理を示すフローチャートである。 本発明の実施例2に係るカメラの撮影コマ変更処理を示す他のフローチャートである。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第1の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第2の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第3の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第4の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第5の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第6の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第7の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第8の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第9の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第10の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための第11の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第1の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第2の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第3の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第4の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第5の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第6の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第7の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第8の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第9の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第10の図である。 本発明の実施例2に係るカメラの撮影コマ変更操作について説明するための他の第11の図である。
 以下、図面を参照しながら、本発明の各実施例について説明する。なお、本明細書において、ライブビュー画像とは、レリーズ操作などによるカメラ(撮像装置の一例)のユーザからの明示的な撮影指示に応じて取得される画像と異なり、カメラのライブビュー機能により随時取得される画像のことである。
 図1は、本実施例に係るカメラの主として電気系の全体構成を示すブロック図である。
  図1に例示されるカメラ1は、取得した画像をデジタルデータとして記憶または記録する撮像装置である。カメラ1のユーザは、表示部である表示パネル135に表示されるライブビュー画像を観察しながら、操作部123を用いたレリーズ操作により画像の取得を指示することができる。
 なお、カメラ1は、静止画像(つまり、写真)と動画像を取得する機能に加えて、複数の静止画像または動画像をレイアウトしてなる組み画像を取得する機能も備えている。
 まず、図1を参照しながら、カメラ1の構成について説明する。カメラ1は、カメラ本体100と、カメラ本体100に脱着可能な、撮影レンズ201を含む交換式レンズ200とを備えている。なお、本実施例では、撮影レンズを交換可能なカメラの構成を例示したが、撮影レンズはカメラ本体に固定されてもよい。
 交換式レンズ200は、撮影レンズ201と、絞り203と、ドライバ205と、マイクロコンピュータ207と、フラッシュメモリ209とを備えている。また、カメラ本体100と交換式レンズ200とは、インターフェース(以降、I/Fと記す)300を介して接続されている。
 撮影レンズ201は、被写体像を形成するための単数または複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。撮影レンズ201の光軸の後方には、絞り203が配置されている。絞り203は口径が可変であり、撮影レンズ201を通過する被写体光束の光量を制限する。
 また、撮影レンズ201はドライバ205によって光軸方向に移動可能である。マイクロコンピュータ207からの制御信号に基づいて、撮影レンズ201のピント位置が制御され、撮影レンズ201がズームレンズである場合には、撮影レンズ201の焦点距離も制御される。また、ドライバ205は、絞り203の口径の制御も行う。
 ドライバ205に接続されたマイクロコンピュータ207は、I/F300およびフラッシュメモリ209に接続されている。マイクロコンピュータ207は、フラッシュメモリ209に記憶されているプログラムに従って動作する。プログラムに従って動作したマイクロコンピュータ207は、後述するカメラ本体100内のマイクロコンピュータ121と通信して、マイクロコンピュータ121からの制御信号に基づいて交換式レンズ200の制御を行う。
 フラッシュメモリ209には、前述したプログラムの他に、交換式レンズ200の光学的特性や調整値等の種々の情報が記憶されている。I/F300は、交換式レンズ200内のマイクロコンピュータ207とカメラ本体100内のマイクロコンピュータ121の相互間の通信を行うためのインターフェースである。
 カメラ本体100内であって、撮影レンズ201の光軸上には、メカニカルシャッタ101が配置されている。メカニカルシャッタ101は、被写体光束を遮断することで後述する撮像素子103への被写体光束の照射時間を制御するものであり、例えば、公知のフォーカルプレーンシャッタ等が採用され得る。メカニカルシャッタ101の後方であって、撮影レンズ201によって被写体像が形成される位置には、撮像素子103が配置されている。
 撮像素子103には、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されている。各フォトダイオードは受光量に応じた光電変換電流を発生させ、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ配列のRGBフィルタが配置されている。なお、撮像素子103の構成はベイヤ配列に並べられたRGBフィルタを含む構成に限定されず、例えばFOVEON(フォベオン・インコーポレーテッドの登録商標)のような素子の厚さ方向に複数のセンサを配列した構成であってもよい。
 撮像素子103はアナログ処理部105に接続されている。アナログ処理部105は、撮像素子103から読み出した光電変換信号(以降、アナログ画像信号と記す)に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部105は、A/D変換部107に接続されている。A/D変換部107は、アナログ画像信号をアナログ-デジタル変換して、得られたデジタル画像信号(以降、画像データと記す)をバス110に出力してSDRAM127に記憶させる。即ち、カメラ1では、撮像素子103、アナログ処理部105、A/D変換部107が全体として、被写体を撮像してその画像を取得する撮像部として機能する。なお、本明細書においては、画像処理部109で画像処理される前の生の画像データをRAWデータと記す。
 撮像素子103は電子シャッタを内蔵しており、動画撮像時やライブビュー撮像時のように繰り返し撮像する際には、メカニカルシャッタ101を開放にしたままで内蔵の電子シャッタを使用し撮像する。
 バス110は、カメラ本体100の内部で読み出され若しくは生成された各種データをカメラ本体100の内部に転送するための転送路である。バス110には、前述のA/D変換部107の他、画像処理部109、AE(Auto Exposure)処理部111、AF(Auto Focus)処理部113、画像圧縮伸張部117、通信部119、マイクロコンピュータ121、SDRAM(Synchronous DRAM)127、メモリインターフェース(以降、メモリI/Fという)129、表示ドライバ133が接続されている。
 画像処理部109は、基本的な画像処理を行う基本画像処理部109aと、アートフィルタ等の特殊効果を適用するモードが設定された場合に特殊効果を施すための特殊画像処理部109bと、組み画像の画像データを生成する組み画像処理部109cと、画像データをパターンマッチング処理等により解析して被写体を検出する被写体検出部109dと、を有している。画像処理部109は、SDRAM127に一時記憶された画像データを読出し、この画像データに対して画像処理を施す。
 基本画像処理部109aは、RAWデータに対して、オプティカルブラック(OB)減算処理、ホワイトバランス(WB)補正、ベイヤデータの場合に行われる同時化処理、色再現処理、ガンマ補正処理、輝度変更処理、エッジ強調処理、ノイズリダクション(NR)処理等を行う。
 特殊画像処理部109bは、基本画像処理部109aで処理された画像データに対して、設定された特殊効果(アートフィルタ)等に応じて、種々の視覚的な特殊効果を付与する特殊画像処理を行う。例えば、特殊効果(アートフィルタ)のモードのひとつとして、トイフォトモードが設定されている場合には、シェーディングを付加する処理を行う。
  また、ファンタジックフォーカスモード、ラフモノクロームモード、ジオラマモード、クリスタルモードが設定されている場合には、それぞれ、画像データに対して、ソフトフォーカス処理、ノイズ重畳処理、ぼかし処理、クロスフィルタ処理を行う。
 組み画像処理部109cは、複数の画像データを合成して、複数の画像データに対応する複数の画像が所定の配置にレイアウトされた画像である組み画像の画像データを生成する。合成される複数の画像データは、少なくとも基本画像処理部109aで処理された画像データであり、特殊効果が設定されている場合には、基本画像処理部109a及び特殊画像処理部109bで処理された画像データが合成される。
 また、組み画像処理部109cは、画像データを合成する処理を実行する前に、組み画像を構成する、基本画像処理部109a及び特殊画像処理部109bで処理された各画像(以降、コマ画像とも記す。)を補正する。具体的には、基本画像処理部109a及び特殊画像処理部109bで処理された複数の画像データを解析して、画像間の色分布の相違や輝度平均の相違などを算出する。
 そして、算出された情報に基づいて、組み画像が最適な状態となるように、組み画像を構成する各コマ画像の色や輝度を補正する。コマ画像を補正して画像間の調整処理を行うことで、組み画像としてより良好な画像を得ることができる。
 被写体検出部109dは、パターンマッチング技術等を用いた画像解析により、所定の被写体、例えば、人の顔やペットなどの動物を検出する処理を行う。さらに、被写体検出部109dで、検出した被写体の種類、大きさ、位置などを算出する処理を行ってもよい。これらの検出結果は、例えば、撮影モードの切り換え、オートフォーカス、被写体像を一定の大きさに撮像するオートズームなどに利用され得る。
 AE処理部111は、バス110を介して入力された画像データに基づいて被写体輝度を測定し、測定した被写体輝度情報を、バス110を介してマイクロコンピュータ121に出力する。
 なお、ここでは、AE処理部111により画像データに基づいて被写体輝度を算出する構成が採用されているが、カメラ1は、被写体輝度の測定のために専用の測光センサを設けることにより、同様の機能を実現してもよい。
 AF処理部113は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得する。AF処理部113は、取得した合焦標価値をバス110を介してマイクロコンピュータ121に出力する。すなわち、カメラ1は、いわゆるコントラスト法によって撮影レンズ201のピント合わせを行う。
 画像圧縮伸張部117は、画像データをメモリI/F129に接続された記録媒体131へ記録するときに、SDRAM127から読み出した画像データを、静止画の場合にはJPEG圧縮方式等、また動画の場合にはMPEG等の各種圧縮方式に従って、圧縮する。
 マイクロコンピュータ121は、JPEG画像データやMPEG画像データに対して、JPEGファイルやMPOファイル、MPEGファイルを構成するために必要なヘッダを付加して、JPEGファイルやMPOファイル、MPEGファイルを作成する。マイクロコンピュータ121は、作成したファイルを、メモリI/F129を介して記録媒体131に記録する。
 また、画像圧縮伸張部117は、画像再生表示用にJPEG画像データやMPEG画像データの伸張も行う。伸張にあたっては、記録媒体131に記録されているファイルを読み出し、画像圧縮伸張部117において伸張処理を施した上で、伸張した画像データをSDRAM127に一時記憶する。なお、本実施例では、画像圧縮方式としては、JPEG圧縮方式やMPEG圧縮方式を採用する例を示したが、圧縮方式はこれに限らずTIFF、H.264等、他の圧縮方式でもよい。
 通信部119は、後述するフラッシュメモリ125内に記憶されているテンプレートの更新や追加のために、外部機器と通信する。通信部119は、有線LANや無線LANによって外部機器と接続されてもよく、その他、USBケーブルなどによって外部機器と接続されてもよい。
 マイクロコンピュータ121は、カメラ1全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ121には、前述のI/F300以外に、操作部123およびフラッシュメモリ125が接続されている。
 操作部123は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、OK釦、モードダイヤル等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ121に出力する。
  マイクロコンピュータ121は、操作部123からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。つまり、カメラ1では、操作部123は、ユーザからの種々の指示(例えば、撮影指示、キャンセル指示、復元指示、再生指示など)を受け付ける受付部として機能する。
 電源釦は、カメラ1の電源のオン/オフを指示するための操作部材である。電源釦が押されるとカメラ1の電源はオンとなり、再度、電源釦が押されるとカメラ1の電源はオフとなる。
 レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチにつながっている。マイクロコンピュータ121は、ファーストレリーズスイッチがオンとなると、AE動作やAF動作等の撮影準備シーケンスを実行する。
 また、セカンドレリーズスイッチがオンとなると、メカニカルシャッタ101等を制御し、撮像素子103等から被写体画像に基づく画像データを取得し、この画像データを記録媒体131に記録する一連の撮影シーケンスを実行して撮影を行う。
 再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体131から撮影した画像の画像データを読み出し、表示パネル135に画像を再生表示する。
 メニュー釦は、メニュー画面を表示パネル135に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、特殊効果(アートフィルタ)の設定がある。特殊効果としては、ファンタジックフォーカス、ポップアート、トイフォト、ラフモノクローム、ジオラマ等、種々の特殊効果が設定可能である。その他にも、組み画像の設定もメニュー画面上で行うことができる。
 モードダイヤルは、撮影モードを選択するためのダイヤルである。カメラ1では、モードダイヤルを操作することで、動作モードが、通常の撮影を行う通常モードと組み画像の撮影を行う組み画像モードとの間で切り替わる。通常モードと組み画像モードの切り替えは、メニュー画面等から行うようにしてもよい。
 操作部123は、さらに、タッチ入力部124を備えている。タッチ入力部124は、例えば、表示パネル135に重ねて配置されたタッチパネルセンサである。タッチ入力部124は、ユーザによる表示パネル135に対するタッチ操作を検出し、検知結果をマイクロコンピュータ121に出力する。マイクロコンピュータ121は、操作部123からのタッチ入力部124の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。
 なお、操作部123は、上述した各種釦を表示パネル135上に備えてもよい。すなわち、カメラ1の表面に物理的に釦を設ける代わりに、表示パネル135に釦を表示してタッチ入力部124で表示パネル135に表示された釦に対する操作を検出してもよい。
  なお、レリーズ釦を表示パネル135に表示する代わりに、表示パネル135をレリーズ釦として機能させてもよい。その場合、表示パネル135にタッチしたときをレリーズ釦が半押された状態とし、所定時間(例えば1秒)以上タッチされ続けたときをレリーズ釦が全押しとした状態のみなしても良いし、タッチしたときをレリーズ釦が半押しされた状態と全押しした状態とみなしても良い。
 フラッシュメモリ125は、マイクロコンピュータ121の各種シーケンスを実行するためのプログラムを記憶している不揮発性の記憶媒体である。マイクロコンピュータ121はフラッシュメモリ125に記憶されたプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ125は、カラーマトリックス係数、ホワイトバランスモードに応じたRゲインとBゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。さらに、フラッシュメモリ125は、組み画像のスタイル、つまり、組み画像を構成するコマ画像をどのようにレイアウトするかに関する情報等をテンプレートとして記憶している。上記プログラムや調整値、テンプレートを記憶する記憶媒体は不揮発性の記憶媒体であればフラッシュメモリに限らない。
 SDRAM127は、画像データ等の一時記憶用の、電気的書き換え可能な揮発性メモリである。このSDRAM127は、A/D変換部107から出力された画像データや、画像処理部109や画像圧縮伸張部117等において処理された画像データを一時記憶する。
 メモリI/F129は、記録媒体131に接続されている。メモリI/F129は、画像データや画像データに添付されたヘッダ等のデータを、記録媒体131に対して書き込みおよび読み出しする制御を行う。記録媒体131は、例えば、カメラ本体100に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体100に内蔵された不揮発性メモリやハードディスク等であっても良い。
 表示ドライバ133は、表示パネル135に接続されている。表示ドライバ133は、SDRAM127や記録媒体131から読み出されて、画像圧縮伸張部117によって伸張された画像データに基づいて、画像を表示パネル135に表示させる。表示パネル135は、例えば、カメラ本体100の背面に設けられた液晶ディスプレイ(LCD)であり、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体131に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示パネル135は、LCDの他に有機ELなどであってもよく、さらに他の表示パネルが採用されてもよい。
 また、表示パネル135は、撮影モードが組み画像モードの場合には、画像を表示するための複数の領域(以降、表示領域と記す。)が表示パネル135に定義される。なお、複数の表示領域のレイアウトは、組み画像のスタイルによって画定される。
 次に、図2から図9を参照しながら、以上のように構成されたカメラ1で行われる処理について説明する。なお、図2から図9のフローチャートが示すカメラの処理は、フラッシュメモリ125に記憶されているプログラムをマイクロコンピュータ121が実行することにより行われる。はじめに、図2に示されるカメラの処理全体の流れについて説明する。
 操作部123の内の電源釦が操作されてカメラ1の電源がオンになり、図2に示すカメラ1の処理が開始されると、マイクロコンピュータ121は、カメラ1を初期化する(ステップS1)。ここでは、機械的初期化と各種フラグ等の初期化等の電気的初期化が行われる。初期化対象のフラグとしては、例えば、動画を記録中か否かを示す記録中フラグなどがあり、初期化により記録中フラグはオフに設定される。また、簡易処理設定もオフに設定される。
 初期化が完了すると、次に、マイクロコンピュータ121は、再生釦が押されたか否かを判定する(ステップS3)。ここでは、操作部123内の再生釦の操作状態を検知し、判定する。また、再生釦が表示パネル135に表示されている場合には、タッチ入力部124からの信号を検知し、判定する。再生釦が押下されると、マイクロコンピュータ121は動作モードを再生モードに設定して、再生処理を実行する(ステップS700)。再生処理が完了すると、再びステップS3の処理を実行する。なお、再生処理の詳細については、図9を参照しながら後に詳述する。
 ステップS3で再生釦が押下されていないと判定されると、マイクロコンピュータ121はメニュー釦が押下されたか否か、すなわち、メニュー画面が表示されてカメラ設定が行われる状態になったか否かを判定する(ステップS5)。ここでは、操作部123内のメニュー釦の操作状態を検知し、判定する。メニュー釦が表示パネル135に表示されている場合には、タッチ入力部124からの信号を検知し、判定する。
 メニュー釦が押下されると、マイクロコンピュータ121は、操作部123に対するさらなる操作を検出して、検出結果に従ってカメラ設定を変更する(ステップS7)。カメラ設定処理が完了すると、再びステップS3の処理を実行する。
 なお、カメラ設定としては、例えば、撮影モード設定、記録モード設定、画像の仕上がり設定、組み画像のスタイルの設定、組み画像に組み込む予め取得した画像を選択する設定、コマ画像を記録するか否かの設定などがある。撮影モードには、通常の撮影モードと組み画像モードがある。
 また、記録モードには、静止画記録モードとしてJPEG記録、JPEG+RAW記録、RAW記録等があり、動画記録モードとしてMotion-JPEG、H.264等がある。さらに、画像の仕上がりの設定には、自然に見える画像にする(Natural)、鮮やかな画像にする(Vivid)、落ち着いた画像にする(Flat)、アートフィルタ等の特殊効果の設定がある。
 ステップS5でメニュー釦が押されていないと判定されると、マイクロコンピュータ121は、動画釦が押下されたか否かを判定する(ステップS9)。ここでは、操作部123内の動画釦の操作状態を検知し、判定する。動画釦が表示パネル135に表示されている場合には、タッチ入力部124からの信号を検知し、判定する。
 動画釦が押されていないと判定されると、マイクロコンピュータ121は、ステップS19の処理を実行する。一方、動画釦が押されると、マイクロコンピュータ121は、記録中フラグを反転させる(ステップS11)。つまり、記録中フラグがオフであればオンに、オンであればオフに変更する。さらに、マイクロコンピュータ121は、反転後の記録中フラグの状態に基づいて画像記録中か否かを判定する(ステップS13)。
 記録中フラグがオンと判定されると、マイクロコンピュータ121は、動画記録の開始が指示されたと判断して動画ファイルを生成し(ステップS15)、画像データを記録するための準備を整える。このような処理は、例えば、電源オン後はじめて動画釦が押下された場合などに行われる。なお、動画ファイル生成後は、ステップS19の処理が実行される。
 ステップS13で記録中フラグがオフと判定されると、マイクロコンピュータ121は、動画記録の終了が指示されたと判断して、動画ファイルを閉じる(ステップS17)。つまり、動画ファイルのヘッダにフレーム数を記録する処理等を行って動画ファイルを再生可能な状態にしてから、書き込み処理を終了する。なお、動画ファイルへの書き込み終了後は、ステップS19の処理が実行される。
 ステップS19では、マイクロコンピュータ121は、撮影モードが組み画像モードであり、且つ、操作部123に対して所定の組み画像操作が行われたか否かを判定する。ここでは、SDRAM127に記憶されている撮影モードの設定と操作部123の操作状態とを検知し、判定する。
 組み画像モードで且つ所定の操作が行われたと判定されると、マイクロコンピュータ121は、組み画像操作処理を実行する(ステップS600)。組み画像操作処理が完了すると、ステップS21の処理を実行する。なお、組み画像操作処理の詳細については、図8を参照しながら後に詳述する。
 ステップS19で撮影モードが組み画像モードでないと判定されるか、操作部123に対して所定の組み画像操作が行われていないと判定されると、マイクロコンピュータ121は、レリーズ釦が半押しされたか否かを判定する(ステップS21)。
 ここでは、レリーズ釦に連動するファーストレリーズスイッチのオフからオンへの遷移を検知し、判定する。レリーズ釦が表示パネル135に表示されている場合または表示パネル135がレリーズ釦として機能している場合には、レリーズ釦が表示されている領域またはライブビュー画像が表示されている表示領域をタッチしたことを示す信号を検出し、判定する。
 レリーズ釦が半押しされると、マイクロコンピュータ121は、AE・AF動作を実行する(ステップS23)。ここでは、AE動作は、AE処理部111が撮像素子103によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて適正露出となるシャッタ速度、絞り値等を算出することにより行われる。
 また、AF動作は、AF処理部113によって取得された合焦評価値がピーク値となるように、交換式レンズ200内のマイクロコンピュータ207を介してドライバ205が撮影レンズ201のピント位置を移動させることにより行われる。
  なお、タッチ入力部124からの信号によりAF動作が行われる場合には、タッチ位置に表示されている被写体に合焦点するように撮像レンズ201を移動させる。AE・AF動作後は、ステップS25の処理が実行される。
 AF動作は上述の所謂コントラストAF以外にも、専用のセンサを用いた位相差AF等様々なAF方式を用いても良い。
 ステップS21でレリーズ釦が半押しされていないと判定されると、マイクロコンピュータ121は、レリーズ釦が全押しされたか否かを判定する(ステップS27)。ここでは、セカンドレリーズスイッチのオフからオンへの遷移を検知し、判定する。セカンドレリーズスイッチがオンの状態であることを連続して検知して判定することで、連写撮影を行うようにしても良い。
 また、レリーズ釦が表示パネル135に表示されている場合または表示パネル135がレリーズ釦として機能している場合には、レリーズ釦が表示されている領域またはライブビュー画像が表示されている表示領域をタッチしたことを示す信号を検出し、判定する。
 レリーズ釦が全押しされると、マイクロコンピュータ121は、メカニカルシャッタによる静止画撮影を行う(ステップS29)。ここでは、ステップS23で算出された絞り値で絞り203が制御され、また算出されたシャッタ速度値でメカニカルシャッタ101のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子103から画像信号が読み出され、アナログ処理部105およびA/D変換部107によって処理されたRAWデータがバス110を介してSDRAM127に一時記憶される。
 その後、マイクロコンピュータ121は、SDRAM127に一時記憶されたRAWデータを読み出して、画像処理部109に画像処理を実行させ(ステップS100a)、処理した画像データ等を記録媒体131に記録する静止画記録処理を実行する(ステップS500)。なお、画像処理と静止画記録処理の詳細については、それぞれ、図3から図6、図7を参照しながら後に詳述する。
 静止画記録処理が完了すると、マイクロコンピュータ121は、撮影モードが組み画像モードか否かを判定する(ステップS31)。ここでは、SDRAM127に記憶されている撮影モードの設定により、判定する。
 撮影モードが組み画像モードでない場合、つまり、通常の撮影モードの場合、マイクロコンピュータ121は、ステップS25の処理を実行する。一方、撮影モードが組み画像モードの場合には、マイクロコンピュータ121は、ライブビュー表示を変更する(ステップS33)。
なお、カメラ1では、撮影モードが組み画像モードの場合には、表示パネル135が複数の表示領域を有し、後述するステップS39での処理により、そのうちの1つの表示領域にライブビュー画像が表示されている。ステップS33のライブビュー表示の変更処理では、マイクロコンピュータ121の制御の下、ライブビュー画像が表示される表示領域を変更するように、表示ドライバ133が表示パネル135を制御する。より具体的には、ライブビュー画像が表示されていた表示領域に表示される画像をステップS29で撮影しステップS100aで画像処理された画像に変更する。
 さらに、ライブビュー画像が表示されるべき表示領域を切り替えて、他の表示領域にライブビュー画像を表示させる。即ち、カメラ1では、マイクロコンピュータ121及び表示ドライバ133は、表示パネル135を制御する表示制御部として機能する。ライブビュー表示処理後、マイクロコンピュータ121は、ステップS25の処理を実行する。
 ステップS27でレリーズ釦が全押しされていないと判定されると、マイクロコンピュータ121は、動画またはライブビュー画像のために、AE動作を実行する(ステップS35)。AE動作は、適正露出でライブビュー表示を行うための撮像素子103の電子シャッタのシャッタ速度およびISO感度をAE処理部111が算出することにより行われる。AE動作後、マイクロコンピュータ121は、電子シャッタによる撮影を行う(ステップS37)。
  ここでは、電子シャッタを用いて撮像素子103から画像信号が読み出され、アナログ処理部105およびA/D変換部107によって処理されたRAWデータがバス110を介してSDRAM127に一時記憶される。
 その後、マイクロコンピュータ121は、SDRAM127に一時記憶されたRAWデータを読み出して、メカニカルシャッタによる撮影の場合と同様の画像処理を画像処理部109に実行させる(ステップS100b)。さらに、マイクロコンピュータ121の制御の下、ライブビュー画像が表示されている表示領域の画像をステップS37で取得されてステップS100bで画像処理された画像データに変更してライブビュー画像を更新するように、表示ドライバ133が表示パネル135を制御する(ステップS39)。
 ライブビュー画像を更新すると、マイクロコンピュータ121は、動画記録中か否かを判定する(ステップS41)。ここでは、SDRAM127に記憶されている記録中フラグの状態により、判定する。
 記録中フラグがオフの場合には、マイクロコンピュータ121は、ステップS25の処理を実行する。一方、記録中フラグがオンの場合には、マイクロコンピュータ121は動画記録中と判断し、動画記録する(ステップS43)。即ち、ステップS39で更新したライブビュー画像の画像データをステップS15で生成した動画ファイルのフレーム画像として記録する。
 その後、マイクロコンピュータ121は、ステップS25の処理を実行する。
 ステップS25では、マイクロコンピュータ121は、電源がオフか否かを判定する。電源がオンの場合には、ステップS3の処理を実行する。オフの場合には、マイクロコンピュータ121は必要な終了処理を実行後、カメラ1の処理を終了する。
 上述したように動作するカメラ1によれば、図10に示されるように時間の経過に従って移動している被写体を組み画像モードで撮影する場合、図11に示されるように、ライブビュー画像が表示されている表示領域をタッチするだけ、組み画像を構成するコマ画像を容易に取得し、タッチした表示領域に表示されている画像をライブビュー画像から取得したコマ画像に変更することができる。つまり、ライブビュー画像をタッチする操作は、撮影指示に相当する。
 さらに、ライブビュー画像が表示される領域が自動的に切り替わり、コマ画像が表示されていない他の表示領域(組み画像に組み込む予め取得した画像が設定されている場合には、コマ画像及び予め取得した画像が表示されていない他の表示領域)にライブビュー画像が表示されるため、被写体が動いている場合であってもシャッタチャンスを逃すことなく、素早く次のコマ画像を取得することが可能である。また、表示パネル135に定義された複数の表示領域のうちの1つの表示領域にのみライブビュー画像が表示されているため、ユーザに撮影に集中しやすい環境を提供することができる。
 また、カメラ1は、ライブビュー画像とコマ画像とを識別するために、例えば、図12に例示されるように、ライブビュー画像を示すマーク(ここでは、“LV”)をライブビュー画像が表示されている表示領域に表示してもよい。これにより、時間的に変化しない被写体を撮影する場合などライブビュー画像とコマ画像との区別が難しい場合であっても、ライブビュー画像を容易に特定することが可能となる。
 さらに、コマ画像を表示している表示領域には、コマ画像が取得された順番を示すマーク(ここでは、“1”、“2”、“3”、“4”)を表示してもよい。これにより、表示領域が多数ある場合であっても、ユーザはコマ画像を取得した順番を容易に把握することができる。
 また、カメラ1は、ライブビュー画像とコマ画像とを識別するために、例えば、図13に例示されるように、コマ画像をライブビュー画像に比べて暗く表示したり、彩度を下げて表示してもよい。
 なお、図11では、タッチ操作によりユーザが撮影を指示する例を示したが、カメラ1は、十字キーとレリーズ釦の操作によっても同様に動作する。
 また、図11では、縦横2×2の4つの表示領域が表示パネル135に定義された例を示したが、表示領域のレイアウトはこれに限らない。表示領域のレイアウトは、設定された組み画像のスタイルによって画定されるため、組み画像のスタイルの設定を変更することで、例えば、図14Aから図14Kに示すような種々のレイアウトが選択され得る。図14Aから図14Jは複数の表示領域が互いに重ならないように配置されているが、図14Kは各表示領域の一部が他の表示領域と重なって配置されている。
 図14Kのレイアウトが用いられる場合には、各表示領域に表示される画像を周辺に向かって徐々に濃度を下げて表示することで、各画像の境界が見えないように工夫されている。
 また、図11では、ライブビュー画像が表示パネル135に定義された複数の表示領域のうちの1つの表示領域にのみ表示される例を示したが、カメラ1は、図15に示されるように、コマ画像が表示されている表示領域を除く複数またはすべての表示領域にライブビュー画像を表示してもよい。すべての表示領域にライブビュー画像を表示する場合、ライブビュー画像の表示領域が切り替わる時間を考慮する必要がないため、例えば、指を滑らしながら複数の表示領域を連続的にタッチすることで、複数のコマ画像を取得することができる。このため、従来のカメラにない新たな操作感覚をユーザに提供することができる。
 次に、図3から図6を参照しながら、図2に示されるメカニカルシャッタによる撮影または電子シャッタによる撮影後に行われる画像処理について、さらに詳細に説明する。なお、メカニカルシャッタによる撮影後に行われる画像処理の対象は、メカニカルシャッタによる撮影で取得されたRAWデータであり、電子シャッタによる撮影後に行われる画像処理の対象は、電子シャッタによる撮影で取得されたRAWデータである。
 画像処理は、図3に示すように、主として、基本画像処理部109aにより行われる基本画像処理と、特殊画像処理部109bにより行われる特殊画像処理と、組み画像処理部109cにより行われる組み画像生成処理とから、構成されている。
 マイクロコンピュータ121がSDRAM127に一時記憶されたRAWデータを読み出して、画像処理部109に画像処理を指示すると、まず、基本画像処理部109aが読み出されたRAWデータに対して基本画像処理を実行する(ステップS200)。
 基本画像処理部109aが実行する基本画像処理は、図4に示すように、7つの画像処理ステップにより構成されている。最初に、オプティカルブラック(OB)減算を行う(ステップS201)。このステップでは、基本画像処理部109a内のOB演算部が、画像データを構成する各画素の画素値から、撮像素子103の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
 OB減算後、ホワイトバランス(WB)補正を行う(ステップS203)。このステップでは、基本画像処理部109a内のWB補正部が、設定されているホワイトバランスモードに応じて、画像データに対してWB補正を行う。具体的には、ユーザが設定したホワイトバランスモードに応じたRゲインとBゲインをカメラ本体のフラッシュメモリ125から読み出し、画像データにその値を乗じることで補正を行う。またはオートホワイトバランスの場合には、RAWデータからRゲインおよびBゲインを算出し、これらを用いて補正する。
 続いて、同時化処理を行う(ステップS205)。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部109a内の同時化処理部が、各画素のデータ(ベイヤデータ)をRGBデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、RGBデータに変換する。なお、このステップは、撮像素子103としてFOVEON(フォベオン・インコーポレーテッドの登録商標)形式の撮像素子を用いた場合等、RAWデータにおいて1画素あたり複数のデータを有している場合には省略される。
 同時化処理後、色再現処理を行う(ステップS207)。このステップでは、基本画像処理部109a内の色再現処理部が、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って、画像データの色を補正する。なお、カラーマトリックス係数はフラッシュメモリ125に記憶されているので、読み出して使用する。
 色再現処理後、輝度変更処理を行う(ステップS209)。このステップでは、基本画像処理部109a内の輝度変更処理部が、画像データ(RGBデータ)に対してガンマ補正処理を行う。さらに、RGBデータからYCbCrデータに色変換し、変換後の画像データのYデータに対してガンマ補正を行う。なお、ガンマ補正では、フラッシュメモリ125に記憶されているガンマテーブルを読み出して使用する。
 輝度変更処理後、エッジ強調を行う(ステップS211)。このステップでは、画像データに対して、基本画像処理部109a内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
 最後に、NR(ノイズ除去)を行う(ステップS213)。このステップでは、基本画像処理部109a内のNR部が、画像を周波数分解し、周波数に応じてコアリング処理を行うことでノイズを低減する処理を行う。
 以上の基本画像処理が完了すると、特殊効果(アートフィルタ)が設定されている場合には、基本画像処理部109aにより処理された画像データに対して、特殊画像処理部109bが特殊画像処理を実行する(図3のステップS101、ステップS300)。
 特殊画像処理部109bが実行する特殊画像処理は、図5に示すように、特殊効果の設定に応じて行われる5つの画像処理ステップを中心に構成されている。最初に、簡易画像処理が設定されているか否かを判定する(ステップS301)。このステップでは、特殊画像処理部109bが、SDRAM127に記憶されている簡易処理設定の状態により、判定する。なお、簡易処理設定がオンの場合には、特殊画像処理を終了する。
 簡易処理設定がオフの場合には、特殊効果(アートフィルタ)のモードとして、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタルが設定されているか否かを順に判定する(ステップS303、ステップS307、ステップS311、ステップS315、ステップS319)。
 トイフォトが設定されている場合には、画像データに対してシェーディング付加処理を行う(ステップS305)。このステップでは、特殊画像処理部109bが中心からの距離に応じて徐々に輝度が低下するようなゲインマップ(ゲイン値は1以下)を生成し、画像データに対してそのゲインマップに従って各画素に応じたゲインを乗じることで、周辺にシェーディングを付加する。
 ファンタジックフォーカスが設定されている場合には、画像データに対してソフトフォーカス処理を行う(ステップS309)。このステップでは、特殊画像処理部109bが画像全体にぼかし処理を施した画像データを生成し、ぼかす前の画像の画像データとぼかし処理後の画像の画像データとを所定の割合(例えば、3:2など)で合成する。
 ラフモノクロームが設定されている場合には、画像データに対してノイズ重畳処理を行う(ステップS313)。このステップでは、特殊画像処理部109bが予め作成したノイズパターンを画像データに加算する。なお、ノイズパターンは乱数等に基づいて生成してもよい。
 ジオラマが設定されている場合には、画像データに対してぼかし処理を行う(ステップS317)。このステップでは、特殊画像処理部109bがAFのターゲットを中心に画像の周辺(例えば、上下または左右、または、その両方)を距離に応じて徐々にぼかす。
 クリスタルが設定されている場合には、画像データに対してクロスフィルタ処理を行う(ステップS321)。このステップでは、特殊画像処理部109bが画像中の輝点を検出し、その輝点を中心にクロスパターンが描画されるように画像データを加工する。
 以上の特殊画像処理が完了すると、撮影モードが組み画像モードであるか否かを組み画像処理部109cが判定する(図3のステップS103)。撮影モードが組み画像モードでない場合には、画像処理を終了する。
 撮影モードが組み画像モードである場合には、組み画像処理部109cが、表示パネル135の複数の表示領域に表示されている複数の画像の画像データを用いて、組み画像生成処理を実行する(図3のステップS400)。
 組み画像処理部109cが実行する組み画像生成処理は、図6に示すように、5つの画像処理ステップを中心に構成されている。最初に、簡易画像処理が設定されているか否かを判定する(ステップS401)。このステップでは、組み画像処理部109cが、SDRAM127に記憶されている簡易処理設定の状態によって判定する。
 簡易処理設定がオフの場合には、画像解析を行う(ステップS403)。このステップでは、組み画像処理部109cが、表示パネル135の表示領域に表示されている複数の画像の画像データの各々が有する色分布と輝度分布を算出する。
 なお、表示領域に表示されている画像の画像データそのもの(つまり、基本画像処理部109a及び特殊画像処理部109bで処理された画像データ)ではなく、それらの画像データに対応する、画像処理がされる前のRAWデータから色分布と輝度分布を算出してもよい。
 画像解析後、組み画像を構成する複数の画像データの画像がほぼ同じ色となるように、色変更処理を行う(ステップS405)。このステップでは、複数の画像データの色差Cb、色差Crのピークがそれらの平均値になるように、組み画像処理部109cが各画像データの色差Cb、色差Crをオフセットして補正する。例えば、画像解析により図16A及び図16Dに示されるような色分布(色差の分布)が算出された場合であれば、図16B及び図16Eに示されるように色差Cb、色差Crの分布をオフセットする。その結果、図16C及び図16Fに示されるように、色変更処理が行われた複数の画像がほぼ同じような色を示すことになる。
 なお、色変更処理における色変更の方法は上記の色差Cbと色差Crを変更する方法以外に、例えば、RGB色空間においてRやBにゲインを乗じる等、他の方法でも実現可能である。
 さらに、色変更処理後、組み画像を構成する複数の画像データの画像の輝度がほぼ同じになるように、輝度変更処理を行う(ステップS407)。このステップでは、複数の画像データの各々の輝度分布の平均が、複数の画像データ全体の輝度分布の平均になるように、組み画像処理部109cが各画像データを補正する。例えば、画像解析により図17Aに示されるような輝度Yの分布が得られた場合であれば、図17Bに示されるように各画像データのRGBデータに対してそれぞれ異なるガンマ変換を行うことにより輝度Yの分布を補正し、図17Cに示されるように、複数の画像の輝度をほぼ同じにする。
 なお、輝度成分に対するガンマ変換ではなくRGB色空間でのガンマ変換により輝度を補正する理由は、補正により輝度が大きく変更された場合であっても、画像の色が不自然にならないようにするためである。
 なお、輝度変更処理における輝度変更の方法は、上記のガンマ変化を用いる方法以外に、例えば、日陰等の暗部領域のみ輝度を変更したり、明部領域のみ輝度を変更したりする等、他の方法でも実現可能である。
 輝度変更処理後、色と輝度が補正された複数の画像データを合成する合成処理を行う(ステップS409)。このステップでは、表示パネル135の複数の表示領域に表示されている複数の画像の画像データを、より詳細には、色変更処理及び輝度変更処理が行われた複数の画像データを、組み画像処理部109cが合成して、それらの複数の画像を表示パネル135に表示されているようにレイアウトした組み画像の画像データを生成する。
 最後に、組み画像全体に対して、特殊画像処理部109bがアートフィルタ等で適用可能な効果であるぼかし処理やシェーディング付加などの特殊効果をカメラ設定における仕上がり設定によらず、組み画像のスタイルに応じて付与し(ステップS411)、組み画像生成処理を終了する。
 一方、簡易処理設定がオンの場合には、組み画像処理部109cが表示パネル135の複数の表示領域に表示されている複数の画像の画像データそのものを合成して、それらの複数の画像を表示パネル135に表示されているようにレイアウトした組み画像の画像データを生成する(ステップS413)。
 その後、マイクロコンピュータ121は、組み画像生成処理を終了する。以上により、図3の画像処理が終了する。
 上述したように動作して組み画像を生成するカメラ1によれば、組み画像を構成する複数のコマ画像の各々が他のコマ画像と比較した結果に基づいて補正される。そして、補正されたコマ画像の画像データを合成することで組み画像の画像データが生成される。このため、コマ画像が個別に画像処理されるだけの従来のカメラに比べて、コマ画像間で色合いや明るさのバランスが取れた、組み画像として良好な画像を得ることができる。
 なお、図6では、各コマ画像に色変更処理と輝度変更処理を実行する例を示したが、他のコマ画像と比較した結果に基づいて行われる画像処理はこれらに限られず、他の画像処理が実行されてもよい。
 次に、図7を参照しながら、図2に示されるメカニカルシャッタ撮影で取得された画像データに対する画像処理後に行われる静止画記録について、さらに詳細に説明する。
 図7に示されるように、静止画記録処理が開始されると、まず、マイクロコンピュータ121が、撮影モードが組み画像モードか否かを判定する(ステップS501)。このステップでは、SDRAM127に記憶されている撮影モードの設定により、判定する。
 撮影モードが組み画像モードでない場合、マイクロコンピュータ121は、表示ドライバ133を制御して、メカニカルシャッタにより撮影されて画像処理部109で画像処理された画像データの画像1枚を表示パネル135にレックビュー表示する(ステップS515)。
 その後、マイクロコンピュータ121は、メモリI/F129を制御して、表示した画像の画像データを記録媒体131に記録させて(ステップS517)、静止画記録処理を終了する。なお、画像データは、画像圧縮伸張部117でJPEG形式に圧縮されてから記録されてもよく、また、非圧縮で記録されてもよい。さらに、画像処理部109で画像処理される前のRAWデータも記録するようにしてもよい。
 一方、撮影モードが組み画像モードである場合には、マイクロコンピュータ121が、組み画像を構成するために撮影した画像であるコマ画像(撮影画像とも記す)を記録する設定となっているか否かを判定する(ステップS503)。記録する設定となっている場合には、マイクロコンピュータ121は、メモリI/F129を制御して、画像処理部109で処理されたコマ画像を記録媒体131に記録させる(ステップS504)。
 その後、マイクロコンピュータ121は、組みが完了しているか否か、つまり、組み画像を構成するすべてのコマ画像を撮影済みか否か、を判定する(ステップS505)。
  なお、組み画像に組み込む予め取得した画像が設定されている場合には、予め取得した画像をのぞくすべてのコマ画像を撮影済みか否かを判定する。このステップは、設定された組み画像のスタイルに応じて決定される枚数のコマ画像がSDRAM127のコマ画像領域に記憶されているかにより判断する。すべてのコマ画像を撮影していない場合には、静止画記録処理を終了する。
 すべてのコマ画像を撮影済みの場合には、マイクロコンピュータ121は、表示ドライバ133を制御して、画像処理部109で生成した組み画像を表示パネル135にレックビュー表示させる(ステップS507)。
 その後、マイクロコンピュータ121は、一定期間(例えば、3秒など)、キャンセル操作を監視する(ステップS509)。これは、レックビューで表示されている組み画像が所望する画像となっているか否かを判断する時間をユーザに提供するためである。
 この一定期間中にキャンセル操作が検出された場合には、指定された画像をキャンセルするために組み画像操作処理を実行し(ステップS600)、静止画記録処理を終了する。
 キャンセル操作が検出されない場合には、メモリI/F129を制御して、画像処理部109で生成した組み画像の画像データを記録媒体131に記録させて(ステップS511)、静止画記録処理を終了する。
 なお、一定期間キャンセル操作を監視するのではなく、記録するかどうか(キャンセルするかどうか)を問い合わせる画面を表示し、ユーザの入力に応じてキャンセルまたは記録を行うようにしても良い。
 次に、図8を参照しながら、組み画像操作処理について、さらに詳細に説明する。
 図8に示されるように、組み画像操作処理が開始されると、組み画像操作処理が開始される原因となった操作が特定される。具体的には、マイクロコンピュータ121が、撮影コマ変更操作、キャンセル操作、復元操作、一時保存操作、一時保存読み込み操作が行われた否かを、順に判定する(ステップS601、ステップS605、ステップS613、ステップS619、ステップS625)。
 ステップS601の撮影コマ変更操作が行われたか否かの判定は、例えば、画像が表示されていない表示領域に対するタッチ操作をタッチ入力部124が検出したか否かによって行われる。
 マイクロコンピュータ121は、画像が表示されていない表示領域に対するタッチ操作を検出すると、図18に例示されるような、撮影コマ変更処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域にライブビュー画像を表示する処理、を行う(ステップS603)。
 ステップS605のキャンセル操作が行われたか否かの判定は、例えば、メカニカルシャッタによる静止画撮影により得られたRAWデータに基づく画像(コマ画像)が表示されている表示領域に対するタッチ操作をタッチ入力部124が検出したか否かによって行われる。そして、コマ画像が表示された表示領域に対するタッチ操作を検出すると、マイクロコンピュータ121は、タッチされたコマ画像(表示領域)のサイズが小さいか否かを判定する(ステップS607)。
 コマ画像のサイズが小さいと判定されると、後述するキャンセル処理(ステップS609、ステップS611)を行うことなく、ステップS613の処理を実行する。コマ画像のサイズが小さい場合には、例えば、撮影指示のためにライブビュー画像にタッチしたつもりが誤ってコマ画像にタッチしてしまうなど、意図した表示領域とは異なる表示領域にタッチしてしまいやすい。
 このため、意図しないキャンセル処理の発生を防止するため、このような判定処理が設けられている。
 なお、コマ画像のサイズが小さいか否かは、表示領域の数または組み画像のスタイルによって判定されてもよい。つまり、例えば、分割数(表示領域の数)が多い図14Gのレイアウトに対応するスタイルが設定されている場合には、コマ画像のサイズは小さいと判定され、それ以外のレイアウトに対応するスタイルが設定されている場合には、コマ画像のサイズは大きいと判定されるように、予め設定されていてもよい。
 また、コマ画像のサイズが小さいか否かは、タッチした表示領域の面積が所定の面積よりも小さいか否かによって判定してもよい。この場合、表示領域の数または組み画像のスタイルによって判定する場合と異なり、表示パネル135のサイズが考慮されることになる。このため、コマ画像のサイズが意図しないキャンセル処理が発生し得るようなサイズである場合にのみ、キャンセル処理を回避することができるという点で好適である。
 コマ画像のサイズが大きいと判定されると、マイクロコンピュータ121は、タッチされた表示領域に表示されているコマ画像の画像データを退避する回避処理を行う(ステップS609)。具体的には、図19に示されるように、SDRAM127にコマ画像領域とコマ画像退避領域とからなる表示・記憶用組み画像記憶領域が確保されている場合に、図20A及び図20Bに示されるように、例えば、タッチされた表示領域に表示されているコマ画像(「コマ画像2」)の画像データを、SDRAM127のコマ画像領域からコマ画像退避領域にコピーして、コマ画像領域に記憶されているコピー元の画像データを削除する処理を行う。
 または、図21A及び図21Bに示されるように、コマ画像の画像データが参照ポインタを使って管理されている場合であれば、画像データ自体を削除する代わりに画像データのアドレスへの参照ポインタによる参照を削除してもよい。
 その後、マイクロコンピュータ121は、図22に例示されるような、ライブビュー表示変更処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域に表示される画像をライブビュー画像に変更する処理、を行う(ステップS611)。
 ステップS613の復元操作が行われたか否かの判定は、所定の操作(例えば、ライブビュー画像が表示されている表示領域に対するダブルクリック操作やライブビュー画像が表示された表示領域を選択して行われる削除釦の押下操作など)を操作部123が検出したか否かによって行われる。復元操作が検出されると、マイクロコンピュータ121は、キャンセル操作(ステップS609、ステップS611)によりキャンセルされたコマ画像の画像データを復元する画像復元処理を行う(ステップS615)。具体的には、図20B及び図20Cに示されるように、例えば、SDRAM127の退避領域に退避されたコマ画像(「コマ画像2」)の画像データを元のコマ画像領域にコピーして、コマ画像退避領域の画像データを削除する処理を行う。または、図21B及び図21Cに示されるように、コマ画像の画像データが参照ポインタを使って管理されている場合であれば、画像データのアドレスへの参照ポインタによる参照を復元してもよい。
 その後、マイクロコンピュータ121は、ライブビュー表示変更処理、つまり、ライブビュー画像が表示されている表示領域に復元されたコマ画像を表示してコマ画像が表示されていない領域にライブビュー画像を表示する処理、を行う(ステップS617)。
  ステップS619の一時保存操作が行われたか否かの判定は、所定の操作(例えば、一時保存釦の押下操作など)を操作部123が検出したか否かによって行われる。一時保存操作を検出すると、マイクロコンピュータ121は、メモリI/F129を制御して、SDRAM127の組み画像記憶領域に記憶されているコマ画像の画像データと組み画像の画像データを生成するための他のデータ(例えば、設定された組み画像のスタイルに関するデータや、コマ画像の画像データと表示領域との関係を示すデータなど)とを、記録媒体131に記録する(ステップS621)。なお、ステップS621の処理は、記録媒体131の代わりにフラッシュメモリ125に記録してもよい。
 その後、マイクロコンピュータ121は、SDRAM127の組み画像記憶領域に記憶されている画像データを削除して表示パネル135の表示状態を更新する組み画像リセット処理を行う(ステップS623)。
 ステップS625の一時保存読み込み操作が行われたか否かの判定は、所定の操作(例えば、一時保存読み込み釦の押下など)を操作部123が検出したか否かによって行われる。一時保存読み込み操作を検出すると、マイクロコンピュータ121は、撮影途中であるか否かを判定する(ステップS627)。これは、例えば、SDRAM127の組み画像記憶領域にコマ画像の画像データが記憶されているか否かによって判定する。
 撮影途中であると判定されると、マイクロコンピュータ121は、表示ドライバ133を制御して、組み画像記憶領域に記憶されているコマ画像の画像データ等を一時保存するか否かを選択させるための表示を表示パネル135に表示する(ステップS629)。
  ユーザが一時保存を選択した場合には、マイクロコンピュータ121は、メモリI/F129を制御して、組み画像記憶領域に記憶されているコマ画像の画像データ等を記録媒体131に記録する(ステップS631)。なお、記録媒体131の代わりにフラッシュメモリ125に記録してもよい。
 その後、マイクロコンピュータ121は、ステップS621で記録したコマ画像の画像データ等を記録媒体131から読み込んで、SDRAM127の組み画像記憶領域に展開する(ステップS633)。マイクロコンピュータ121は、SDRAM127の組み画像記憶領域に記憶されたコマ画像の画像データを表示パネル135の表示領域に表示し、さらに、コマ画像が表示されていない表示領域にライブビュー画像を表示する(ステップS635)。以上により、図8の組み画像操作処理が終了する。
 上述したように動作するカメラ1によれば、図18に示されるように、ライブビュー画像が表示される表示領域をタッチ操作により容易に変更することができるため、例えば、図23Aから図23Cに示されるように、複数の表示領域の各々に対して、任意の順番で撮影したコマ画像を表示させることができる。このため、図24に示されるような撮影の順番に対して表示領域が確定している従来のカメラとは異なり、ユーザが意図した領域に意図した順番で撮影したコマ画像を表示した組み画像を生成することができる。したがって、所望の組み画像の画像データを容易に生成することができる。
 なお、図18では、表示パネル135に対するタッチ操作によりライブビュー画像を表示する表示領域を変更する例を示したが、カメラ1は、十字キーなどのキー操作によりライブビュー画像を表示する表示領域を変更してもよい。また、例えば、図15に示されるように、コマ画像が表示される表示領域を除くすべての表示領域にライブビュー画像が設定されている場合には、十字キーにより撮影コマ(つまり、次の撮影によりコマ画像が表示される表示領域)を変更できるようにしてもよい。これにより、レリーズ釦により撮影を指示する場合であっても、タッチ操作により撮影を指示する場合と同様に、ユーザが意図した領域に意図した順番で撮影したコマ画像を表示した組み画像を生成することができる。
 また、カメラ1は、図22に示されるように、コマ画像が表示された表示領域にタッチするだけで、そのコマ画像がキャンセルされてライブビュー画像に変更される。このため、気に入らないコマ画像を簡単な操作により容易に取りなおすことができるため、所望の組み画像の画像データを容易に生成することができる。
 なお、図22では、コマ画像をキャンセルするためにタッチされた表示領域にライブビュー画像を表示する例を示したが、カメラ1は、タッチされた表示領域に背景画像を表示してもよい。
  この場合、ライブビュー画像が表示される表示領域を変更することなく、コマ画像をキャンセルすることができる。
 また、コマ画像をキャンセルする方法は、図22に示される方法に限られない。カメラ1は、例えば、図25に示されるように、各表示領域に表示されたゴミ箱マークに対するタッチ操作によりコマ画像をキャンセルしてもよい。また、図26に示されるように、ゴミ箱マークは表示パネル135の端に1つだけ表示されていてもよく、その場合には、キャンセルするコマ画像をゴミ箱マークにドラッグする操作によりコマ画像をキャンセルしてもよい。また、図27に示されるように、表示パネル135に対する操作の代わりに、十字キーとゴミ箱釦に対する操作により、十字キーで選択したコマ画像をキャンセルしてもよい。
 次に、図9を参照しながら、図2に示される再生処理について、さらに詳細に説明する。
 図9に示されるように、再生処理が開始されると、マイクロコンピュータ121は、メモリI/F129を制御して記録媒体131から画像データを読み出して、表示ドライバ133を制御して表示パネル135に記録媒体131に記憶されている画像(静止画と動画)のサムネイルを一覧表示し(ステップS701)、ユーザによる画像選択操作を監視する(ステップS703)。
 画像選択を検出すると、選択された画像が動画か否かが判定される(ステップS704)。
 画像が動画の場合には、マイクロコンピュータ121は、動画ファイルのヘッダからフレーム数を読み込み(ステップS705)、カウンタiの初期化処理後(ステップS707)、動画ファイルのフレーム画像を順次再生して、表示パネル135に表示する(ステップS709、ステップS711、ステップS713)。
 一方、画像が静止画の場合には、マイクロコンピュータ121は、選択された画像の画像データを読み込み(ステップS717)、選択された画像を表示パネル135に表示する(ステップS719)。
 その後、マイクロコンピュータ121は、画像再生中にユーザにより行われる各種操作を監視する(ステップS721、ステップS725、ステップS729、ステップS733)。
 拡大釦が押下されて拡大操作が検出されると(ステップS721)、マイクロコンピュータ121は、表示パネル135に表示されている画像を拡大して表示する拡大表示処理を行う(ステップS723)。
 なお、図28Aに示されるように、表示されている画像が組み画像である場合には、図28Bまたは図28Eに示されるように、組み画像を構成する特定のコマ画像が表示されている表示領域を大きくすることによりその特定のコマ画像を拡大して表示する。図28C及び図28Fに示されるように、表示パネル135全体に拡大した特定のコマ画像を表示してもよく、その場合、拡大したコマ画像に矢印マークを表示する等して、組み画像を構成する他のコマ画像の存在を示してもよい。図28D及び図28Gに示されるように、表示パネル135の大きさを超えてコマ画像を拡大してもよく、その場合、表示パネル135に表示されているコマ画像が組み画像中に占める範囲を、コマ画像とともに表示してもよい。また、特定のコマ画像を拡大して表示する代わりに、図29A及び図29Bに示されるように、組み画像を構成するすべてのコマ画像を拡大して表示してもよい。
 拡大表示中に十字キーなどを用いた表示位置を変更する操作が検出されると(ステップS725)、マイクロコンピュータ121は、拡大位置変更処理を行う(ステップS727)。例えば、組み画像ではない通常の画像が表示されている場合であれば、画像中の拡大表示されている部分を変更する。また、図28D及び図28Gに示されるような組み画像を構成する特定のコマ画像が表示パネル135の大きさを超えて拡大表示されている場合であれば、その特定のコマ画像中の拡大表示されている部分を変更する。
 組み画像を拡大表示中にFn釦などの所定の釦を用いた表示すべきコマ画像を変更する操作が検出されると(ステップS729)、マイクロコンピュータ121は、拡大表示するコマ画像を切り替える表示コマ変更処理を行う(ステップS731)。
  なお、コマ画像を切り替える前に現在表示中のコマ画像の拡大表示状態を記憶する。これにより、現在表示されているコマ画像を再び表示したときに、同じ拡大表示状態、つまり、コマ画像中の拡大表示されている部分が同じ状態、でコマ画像を拡大表示することができる。
 その後、マイクロコンピュータ121は、静止画像の表示終了が指示されるまで、上述した各種操作の監視が繰り返される(ステップS733)。
 静止画像の表示終了が指示されると、再生処理を終了するか否かが判定される(ステップS715)。ここでは、例えば、カメラ1の動作モードの、再生モードから撮影モードへの変更を検出し、判定する。動作モードの変更が検出されない場合には、再びステップS701を実行してサムネイルを一覧表示する。一方、動作モードの撮影モードへの変更が検出された場合には、再生処理を終了する。
 なお、図28及び図29では、再生処理中の拡大表示について説明したが、拡大表示は撮影中やレックビュー表示中に行われてよい。例えば、図30に示されるように、組み画像モードでユーザによる拡大操作を検出した場合には、ライブビュー画像を拡大してもよい。このようにライブビュー画像を拡大して表示することで、ユーザに撮影に集中しやすい環境を提供することができる。
 また、図9では静止画像に対してのみ拡大表示等を可能にしていたが、動画像に対しても同様に拡大表示、拡大位置変更、表示コマ変更等を行うようにしてもよい。
 以上で説明したように、本実施例に係るカメラ1では、ライブビュー画像が表示された表示領域がタッチされることなどによって操作部123が撮影指示を受け付けると、コマ画像が取得され、ライブビュー画像が表示される表示領域が自動的に切り替わる。
  また、コマ画像が表示された表示領域がタッチされることなどによって操作部123がキャンセル指示を受け付けると、コマ画像がキャンセルされて、撮影のやりなおしのためにライブビュー画像が表示される。また、組み画像の画像データを生成する際に、組み画像を構成する各コマ画像が他のコマ画像との比較結果に基づいて補正されて、良好な組み画像が得られる。このため、本実施例に係るカメラ1によれば、所望の組み画像の画像データを簡単な操作で容易に生成することができる。また、所望の組み画像の画像データを簡単な操作で容易に生成することができるため、組み画像を生成する強いモチベーションをユーザに維持させることができる。
 図31は、本実施例に係るカメラの組み画像操作処理を示すフローチャートである。図32は、本実施例に係るカメラの撮影コマ変更処理を示すフローチャートである。図33は、本実施例に係るカメラの撮影コマ変更処理を示す他のフローチャートである。図34は、本実施例に係るカメラの撮影コマ変更操作について説明するための図である。図35は、本実施例に係るカメラの撮影コマ変更操作について説明するための他の図である。以下、図31から図35を参照しながら、本実施例に係るカメラで行われる処理について、実施例1に係るカメラ1で行われる処理との相違点を中心に説明する。なお、本実施例に係るカメラは、図1に例示される実施例1に係るカメラ1と同様の物理構成を有している。
 図31に示されるように、本実施例に係るカメラの組み画像操作処理が開始されると、図8に示される実施例1に係るカメラ1の組み画像操作処理と同様に、組み画像操作処理が開始される原因となった操作が特定される。但し、本実施例に係るカメラでは、マイクロコンピュータ121が、撮影コマ変更操作、一時保存操作、一時保存読み込み操作が行われた否かの判定(ステップS641、ステップS619、ステップS625)は行うものの、実施例1に係るカメラ1とは異なり、キャンセル操作、復元操作が行われたか否かの判定は行わない。これは、本実施例に係るカメラでは、キャンセル操作、復元操作の受け付けを行わないとしたことによる。
 なお、これに伴い、本実施例に係るカメラでは、図7に示されるキャンセル操作が行われたか否かの判定も行わない。
 ステップS641の撮影コマ変更操作が行われたか否かの判定は、例えば、画像が表示されていない表示領域に対するタッチ操作に限らず、単に、表示領域に対するタッチ操作をタッチ入力部124が検出したか否かによって行われる。マイクロコンピュータ121は、表示領域に対するタッチ操作を検出すると、撮影コマ変更処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域にライブビュー画像を表示する処理、を行う(ステップS800)。なお、本実施例に係るカメラにおいて、撮影コマ変更操作は、表示位置変更指示を行うための操作の一例でもある。
 以降の処理(ステップS619から、ステップS635)については、図8に示される実施例1に係るカメラ1の組み画像操作処理と同様となるので、ここでは説明を割愛する。
 次に、図32を参照しながら、図31に示される撮影コマ変更処理について、さらに詳細に説明する。
 図32に示されるように、撮影コマ変更処理が開始されると、マイクロコンピュータ121は、表示領域に対するタッチ操作が行われたタッチ位置の座標データを取得し(ステップS801)、その座標データに基づいて、タッチ操作が行われた表示領域を特定する(ステップS802)。そして、マイクロコンピュータ121は、特定された表示領域が、コマ画像の表示領域であるか否かを判定する(ステップS803)。
 特定された表示領域がコマ画像の表示領域である場合、マイクロコンピュータ121は、そのコマ画像とライブビュー画像とを入れ替えて表示する(ステップS804)。つまり、タッチ操作が行われた表示領域に表示されていたコマ画像と、他の表示領域に表示されていたライブビュー画像とを入れ替えて表示する。これは、例えば、コマ画像の表示範囲を示す座標データと、ライブビュー画像の表示範囲を示す座標データを入れ替えることによって行われる。そして、ステップS804が終了すると、撮影コマ変更処理を終了する。
 一方、特定された表示領域がコマ画像の表示領域でない場合、マイクロコンピュータ121は、特定された表示領域がブランク画像の表示領域であるか否かを判定する(ステップS805)。
 特定された表示領域がブランク画像の表示領域である場合、マイクロコンピュータ121は、例えば図18に示されるように、そのブランク画像とライブビュー画像とを入れ替えて表示する(ステップS806)。つまり、タッチ操作が行われた表示領域に表示されていたブランク画像と、他の表示領域に表示されていたライブビュー画像とを入れ替えて表示する。これは、例えば、ブランク画像の表示範囲を示す座標データと、ライブビュー画像の表示範囲を示す座標データを入れ替えることによって行われる。
 なお、ブランク画像は、何も表されていない画像であり、例えば、黒一色の画像や、青一色の画像等である。そして、ステップS806が終了すると、撮影コマ変更処理を終了する。
 一方、特定された表示領域がブランク画像の表示領域でない場合、マイクロコンピュータ121は、撮影コマ変更処理を終了する。
 このようにして行われる撮影コマ変更処理によれば、ユーザは、ライブビュー画像が表示される表示領域を、タッチ操作により、自由に変更することができる。
 なお、図32に示される撮影コマ変更処理では、ライブビュー画像が表示される表示領域の変更がタッチ操作により行われるものであったが、例えば、それが十字釦、OK釦等の操作により行われるようにしてもよい。この場合、ユーザは、十字釦の操作により、ライブビュー画像を表示させる表示領域を選択し、更に、OK釦の操作により、その選択を確定することにより、ライブビュー画像が表示される表示領域を所望の表示領域へ変更することができる。
 また、図32に示される撮影コマ変更処理は、例えば、図33に示される撮影コマ変更処理に置き換えることもできる。
 図33に示される撮影コマ変更処理は、特定された表示領域がコマ画像の表示領域ではなく且つブランク画像の表示領域でもない場合の処理が、図32に示される撮影コマ変更処理と異なっている。
 具体的には、図33に示されるように、特定された表示領域がコマ画像の表示領域ではなく(ステップS803)、且つブランク画像の表示領域でもない場合(ステップS805)、つまり、特定された表示領域がライブビュー画像の表示領域である場合にステップS807に移行する点が図32と異なり、マイクロコンピュータ121は、ライブビュー画像の表示範囲を示す座標データを取得する(ステップS807)。そして、マイクロコンピュータ121は、タッチ入力部124が表示領域に対するタッチ操作を検出したか否か、つまり、表示領域に対するタッチ操作が継続して行われているか否かを判定する(ステップS808)。
 タッチ入力部124が表示領域に対するタッチ操作を検出した場合、つまり、表示領域に対するタッチ操作が継続して行われていると判定された場合、マイクロコンピュータ121は、この時のタッチ位置の座標データを取得し(ステップS809)、その座標データと前回に取得されたタッチ位置の座標データとの差に基づいて、タッチ位置に変化が有ったか否かを判定する(ステップS810)。
  例えば、その差がゼロでなければ、タッチ位置に変化が有ったと判定される。タッチ位置に変化が有った場合、マイクロコンピュータ121は、そのタッチ位置の変化に応じて、ライブビュー画像を移動させて表示する(ステップS811)。例えば、タッチ位置の変化方向へタッチ位置の変化量分だけライブビュー画像を移動させて表示する。そして、処理がステップS808へ戻る。一方、タッチ入力部124に指はタッチしたままでもタッチ位置に変化が無かった場合、そのまま、処理がステップS808へ戻る。
 一方、タッチ入力部124が表示領域に対するタッチ操作を検出しなかった場合、つまり、タッチ入力部124から指が離されて、表示領域に対するタッチ操作が継続して行われていないと判定された場合、マイクロコンピュータ121は、表示領域に対するタッチ操作が最後に行われたタッチ位置の座標データを取得し(ステップS812)、その座標データに基づいて、最後にタッチ操作が行われた表示領域を特定する(ステップS813)。そして、マイクロコンピュータ121は、特定された表示領域が、コマ画像の表示領域であるか否かを判定する(ステップS814)。
 特定された表示領域がコマ画像の表示領域である場合、マイクロコンピュータ121は、そのコマ画像とライブビュー画像とを入れ替えて表示する(ステップS815)。つまり、最後にタッチ操作が行われた表示領域に表示されていたコマ画像と、他の表示領域に表示されていたライブビュー画像とを入れ替えて表示する。そして、これが終了すると、撮影コマ変更処理を終了する。
 一方、特定された表示領域がコマ画像の表示領域でない場合、マイクロコンピュータ121は、特定された表示領域がブランク画像の表示領域であるか否かを判定する(ステップS816)。
 特定された表示領域がブランク画像の表示領域である場合、マイクロコンピュータ121は、そのブランク画像とライブビュー画像とを入れ替えて表示する(ステップS817)。つまり、最後にタッチ操作が行われた表示領域に表示されていたブランク画像と、他の表示領域に表示されていたライブビュー画像とを入れ替えて表示する。そして、これが終了すると、撮影コマ変更処理を終了する。
 一方、特定された表示領域がブランク画像の表示領域でない場合、マイクロコンピュータ121は、撮影コマ変更処理を終了する。
 このようにして行われる撮影コマ変更処理によっても、ユーザは、ライブビュー画像が表示される表示領域を、タッチ操作により、自由に変更することができる。例えば、図34Aから図34Dの順に示されるように、ユーザは、ライブビュー画像が表示されている左上の表示領域からブランク画像が表示されている右上の表示領域まで指をタッチしたまま移動させることにより、左上の表示領域に表示されていたライブビュー画像と右上の表示領域に表示されていたブランク画像とを入れ替えることができる。つまり、ライブビュー画像が表示される表示領域を左上の表示領域から右上の表示領域へ変更することができる。
 なお、この場合、指をタッチしたまま移動させている間は、その指の移動に伴ってライブビュー画像が一緒に移動する。また、例えば、図34A、図34Eから図34Gの順に示されるように、ユーザは、ライブビュー画像が表示されている左上の表示領域から左下の表示領域を経由してブランク画像が表示されている右下の表示領域まで指をタッチしたまま移動させることにより、左上の表示領域に表示されていたライブビュー画像と右下の表示領域に表示されていたブランク画像とを入れ替えることができる。つまり、ライブビュー画像が表示される表示領域を左上の表示領域から右下の表示領域へ変更することができる。
 なお、この場合も、指をタッチしたまま移動させている間は、その指の移動に伴ってライブビュー画像が一緒に移動する。また、例えば、図34Hから図34Kの順に示されるように、ユーザは、ライブビュー画像が表示されている右上の表示領域からコマ画像が表示されている左上の表示領域まで指をタッチしたまま移動させることにより、右上の表示領域に表示されていたライブビュー画像と左上の表示領域に表示されていたコマ画像とを入れ替えることができる。つまり、ライブビュー画像が表示される表示領域を右上の表示領域から左上の表示領域へ変更することができる。
 なお、この場合も、指をタッチしたまま移動させている間は、その指の移動に伴ってライブビュー画像が一緒に移動する。なお、図34Aから図34K(後述の図35Aから図35Kも同様)において、「LV」と示されている画像はライブビュー画像を示し、灰色の画像はブランク画像を示している。「LV」は、その画像がライブビュー画像であることをユーザに知らせるためのアイコンとして実際に表示されてもいいし、表示されなくてもよい。
 なお、図33に示される撮影コマ変更処理では、このように、ユーザがライブビュー画像に指をタッチしたまま指を移動させている間には、その指の移動に伴ってライブビュー画像が一緒に移動するものであったが、この間における処理を、例えば、図35Aから図35Kに示されるように、変形することもできる。
 図35Aから図35Dの順に示されるように、ユーザが、ライブビュー画像が表示されている左上の表示領域からブランク画像が表示されている右上の表示領域まで指をタッチしたまま移動させる場合には、タッチされる表示領域が変更された時点で、つまり、タッチされる表示領域が左上の表示領域から右上の表示領域に変更された時点で、タッチされていた左上の表示領域に表示されていたライブビュー画像と、タッチされている右上の表示領域に表示されているブランク画像とが入れ替えられる。従って、この場合は、指をタッチしたまま移動させている間に、図34Aから図34Dの順に示されるように指の移動に伴って一緒にライブビュー画像が移動することはない。
 また、図35A、図35Eから図35Gの順に示されるように、ユーザが、ライブビュー画像が表示されている左上の表示領域から左下の表示領域を経由してブランク画像が表示されている右下の表示領域まで指をタッチしたまま移動させる場合にも、タッチされる表示領域が変更された時点で、つまり、タッチされる表示領域が左上の表示領域から左下の表示領域に変更された時点で、タッチされていた左上の表示領域に表示されていたライブビュー画像と、タッチされている左下の表示領域に表示されているブランク画像とが入れ替えられ、その後、タッチされる表示領域が左下の表示領域から右下の表示領域に変更された時点で、タッチされていた左下の表示領域に表示されていたライブビュー画像と、タッチされている右下の表示領域に表示されているブランク画像とが入れ替えられる。
 従って、この場合は、指をタッチしたまま移動させている間に、図34A、図34Eから図34Gの順に示されるように指の移動に伴って一緒にライブビュー画像が移動することはない。また、図35Hから図35Kの順に示されるように、ユーザが、ライブビュー画像が表示されている右上の表示領域からコマ画像が表示されている左上の表示領域まで指をタッチしたまま移動させる場合には、タッチされる表示領域が変更された時点で、つまり、タッチされる表示領域が右上の表示領域から左上の表示領域に変更された時点で、タッチされていた右上の表示領域に表示されていたライブビュー画像と、タッチされている左上の表示領域に表示されているコマ画像とが入れ替えられる。従って、この場合は、指をタッチしたまま移動させている間に、図34Hから図34Kの順に示されるように指の移動に伴って一緒にライブビュー画像が移動することはない。
 以上、本実施例に係るカメラによれば、組み画像を生成する際に、ライブビュー画像が表示される表示領域をタッチ操作により自由に変更することができるので、所望の組み画像を構成する画像の配置位置を簡単な操作で容易に変更することができる。
 なお、以上では、撮像装置としてデジタルカメラを例示して説明したが、上述した技術はカメラ専用機器に限られず、カメラ付携帯電話(スマートフォン)やタブレット型機器、その他携帯機器に適用してもよい。
  また、上述した実施例は、発明の理解を容易にするために本発明の具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。本発明の撮像装置は、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。
1 ・・・カメラ
100 ・・・カメラ本体
101 ・・・メカニカルシャッタ
103 ・・・撮像素子
105 ・・・アナログ処理部
107 ・・・A/D変換部
109 ・・・画像処理部
109a ・・・基本画像処理部
109b ・・・特殊画像処理部
109c ・・・組み画像処理部
109d ・・・被写体検出部
110 ・・・バス
111 ・・・AE処理部
113 ・・・AF処理部
117 ・・・画像圧縮伸張部
119 ・・・通信部
121、207・・・マイクロコンピュータ
123 ・・・操作部
124 ・・・タッチ入力部
125、209・・・フラッシュメモリ
127 ・・・SDRAM
129 ・・・メモリI/F
131 ・・・記録媒体
133 ・・・表示ドライバ
135 ・・・表示パネル
200 ・・・交換式レンズ
201 ・・・撮影レンズ
203 ・・・絞り
205 ・・・ドライバ
300 ・・・I/F

Claims (6)

  1.  複数の表示領域を有する表示部と、
     撮影指示を受け付ける第1の受付部と、
     前記表示部の表示領域を指定した表示位置変更指示を受け付ける第2の受付部と、
     被写体を撮像して画像を取得する撮像部と、
     前記第1の受付部が撮影指示を受け付けると、前記複数の表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて前記撮像部により取得された画像に変更し、且つ、前記第2の受付部が前記表示位置変更指示を受け付けると、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更するように、前記表示部を制御する表示制御部と、
     前記複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する画像処理部と、を備える
    ことを特徴とする撮像装置。
  2.  請求項1に記載の撮像装置において、
     前記表示位置変更指示により指定される表示領域は、ブランク画像が表示されている表示領域である
    ことを特徴とする撮像装置。
  3.  請求項1に記載の撮像装置において、
     前記表示位置変更指示により指定される表示領域は、前記撮影指示に応じて前記撮像部により取得された画像が表示されている表示領域であり、
     前記表示制御部は、前記第2の受付部が前記表示位置変更指示を受け付けると、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更すると共に、当該変更前に前記ライブビュー画像が表示されていた表示領域に表示される画像を前記撮影指示に応じて前記撮像部により取得された画像に変更するように、前記表示部を制御する
    ことを特徴とする撮像装置。
  4.  表示部の少なくとも1つの表示領域にライブビュー画像を表示する工程と、
     撮影指示を受け付ける工程と、
     前記撮影指示に応じて被写体の画像を取得する工程と、
    前記少なくとも1つの表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、
     前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、
     前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、
     前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、
    を備える
    ことを特徴とする画像処理方法。
  5.  複数の表示領域を有する表示部を備えたコンピュータに、
     前記表示部の少なくとも1つの表示領域にライブビュー画像を表示する工程と、
     撮影指示を受け付ける工程と、
     前記撮影指示に応じて被写体の画像を取得する工程と、
     前記少なくとも1つの表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、
     前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、
     前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、
     前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、
    を実行させる
    ことを特徴とする画像処理プログラム。
  6.  複数の表示領域を有する表示部を備えたコンピュータに、
     前記表示部の少なくとも1つの表示領域にライブビュー画像を表示する工程と、
     撮影指示を受け付ける工程と、
     前記撮影指示に応じて被写体の画像を取得する工程と、
     前記少なくとも1つの表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、
     前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、
     前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、
     前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、
    を実行させる画像処理プログラムを記録した
    ことを特徴とするコンピュータ読取可能な記録媒体。
     
PCT/JP2014/052065 2013-02-04 2014-01-30 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体 WO2014119655A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14746887.0A EP2953345A4 (en) 2013-02-04 2014-01-30 IMAGING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM
CN201480006213.3A CN104956657B (zh) 2013-02-04 2014-01-30 摄像装置和图像处理方法
US14/802,505 US9787906B2 (en) 2013-02-04 2015-07-17 Image pickup device, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013019174A JP2014150476A (ja) 2013-02-04 2013-02-04 撮影装置、画像処理方法、及び、画像処理プログラム
JP2013-019174 2013-02-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/802,505 Continuation US9787906B2 (en) 2013-02-04 2015-07-17 Image pickup device, image processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2014119655A1 true WO2014119655A1 (ja) 2014-08-07

Family

ID=51262366

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/052065 WO2014119655A1 (ja) 2013-02-04 2014-01-30 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体

Country Status (5)

Country Link
US (1) US9787906B2 (ja)
EP (1) EP2953345A4 (ja)
JP (1) JP2014150476A (ja)
CN (1) CN104956657B (ja)
WO (1) WO2014119655A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525287A (en) * 2014-02-19 2015-10-21 Canon Kk Display controlling apparatus and displaying method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016048831A (ja) * 2014-08-27 2016-04-07 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP2018018372A (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 バーコード読取装置、バーコード読取方法、及びプログラム
JP6957143B2 (ja) * 2016-11-14 2021-11-02 キヤノン株式会社 撮像装置及びその制御方法
JP6991733B2 (ja) * 2017-04-28 2022-01-12 キヤノン株式会社 制御装置、制御方法、及びプログラム
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
EP3930304A1 (en) 2020-06-23 2021-12-29 Canon Kabushiki Kaisha Imaging apparatus, method of controlling imaging apparatus and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053616A (ja) 2005-08-18 2007-03-01 Fujifilm Holdings Corp デジタルカメラ
JP2008258745A (ja) * 2007-04-02 2008-10-23 Nikon Corp カメラ
JP4529561B2 (ja) 2004-07-02 2010-08-25 カシオ計算機株式会社 撮像装置、画像合成方法、及び、画像合成プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4218446B2 (ja) * 2003-07-03 2009-02-04 株式会社ニコン 電子カメラ
CN1985266B (zh) * 2004-07-26 2010-05-05 奥普提克斯晶硅有限公司 全景视觉系统和方法
JP4290164B2 (ja) * 2006-01-31 2009-07-01 キヤノン株式会社 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置
JP2010049313A (ja) * 2008-08-19 2010-03-04 Sony Corp 画像処理装置、画像処理方法、プログラム
KR20100070146A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 디스플레이 방법 및 이를 이용한 촬영 장치와 디스플레이 장치
JP5267396B2 (ja) * 2009-09-16 2013-08-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5035330B2 (ja) * 2009-12-16 2012-09-26 カシオ計算機株式会社 画像処理装置及びプログラム
JP5715433B2 (ja) * 2011-02-08 2015-05-07 キヤノン株式会社 撮像装置及びアルバム作成方法、プログラム並びに記憶媒体
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4529561B2 (ja) 2004-07-02 2010-08-25 カシオ計算機株式会社 撮像装置、画像合成方法、及び、画像合成プログラム
JP2007053616A (ja) 2005-08-18 2007-03-01 Fujifilm Holdings Corp デジタルカメラ
JP2008258745A (ja) * 2007-04-02 2008-10-23 Nikon Corp カメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2953345A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525287A (en) * 2014-02-19 2015-10-21 Canon Kk Display controlling apparatus and displaying method
GB2525287B (en) * 2014-02-19 2018-02-14 Canon Kk Display controlling apparatus and displaying method

Also Published As

Publication number Publication date
CN104956657B (zh) 2018-11-16
US9787906B2 (en) 2017-10-10
JP2014150476A (ja) 2014-08-21
US20150326790A1 (en) 2015-11-12
EP2953345A1 (en) 2015-12-09
EP2953345A4 (en) 2016-11-16
CN104956657A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
WO2014119655A1 (ja) 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体
US9426372B2 (en) Imaging device and imaging method
JP2014017579A (ja) 撮影装置、画像処理方法、及び、画像処理プログラム
WO2014141771A1 (ja) 撮像装置、画像処理方法、画像処理プログラム、及び、記録媒体
US9055219B2 (en) Image editing device and image editing method
JP6137800B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP5186021B2 (ja) 撮像装置、画像処理装置、及び撮像方法
JP2006033241A (ja) 撮像装置、及び画像取得方法
US9147234B2 (en) Image editing device and image editing method
US9013593B2 (en) Image editing device and image editing method
JP2010146378A (ja) 色補正装置、カメラ、色補正方法および色補正用プログラム
US9171358B2 (en) Image editing device and image editing method
JP6765919B2 (ja) 画像処理装置、その制御方法、プログラム
JP6587455B2 (ja) 撮影装置、情報処理方法及びプログラム
JP5289354B2 (ja) 撮像装置
JP5185027B2 (ja) 画像表示装置、撮像装置、画像表示方法、および、撮像方法
JP4687619B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5878063B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP4968389B2 (ja) 撮影装置及びプログラム
JP6218865B2 (ja) 撮像装置および撮像方法
JP6263026B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5734348B2 (ja) 撮像装置
JP2013219692A (ja) 撮像装置、撮像方法および撮像プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14746887

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014746887

Country of ref document: EP