WO2015049899A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2015049899A1
WO2015049899A1 PCT/JP2014/066024 JP2014066024W WO2015049899A1 WO 2015049899 A1 WO2015049899 A1 WO 2015049899A1 JP 2014066024 W JP2014066024 W JP 2014066024W WO 2015049899 A1 WO2015049899 A1 WO 2015049899A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
main subject
area
unit
image processing
Prior art date
Application number
PCT/JP2014/066024
Other languages
English (en)
French (fr)
Inventor
浩次 酒井
Original Assignee
オリンパスイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスイメージング株式会社 filed Critical オリンパスイメージング株式会社
Priority to JP2015540405A priority Critical patent/JPWO2015049899A1/ja
Priority to CN201480053711.3A priority patent/CN105594194B/zh
Publication of WO2015049899A1 publication Critical patent/WO2015049899A1/ja
Priority to US15/064,156 priority patent/US9699389B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present invention relates to an image display device and an image display method for applying a special effect to an image.
  • Patent Document 1 a digital camera is proposed in which a special effect is applied to a specified range instead of applying a special effect by an optical filter or the like.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image display apparatus and an image display method capable of easily changing a region on which special effect image processing is performed.
  • An image display device detects a captured image of a still image or a moving image, and a touch operation on the display screen of the display unit or a gesture in the vicinity of the display screen.
  • An operation input detection unit an image position selection unit that selects a position of a part of the image displayed on the display unit, and an image area selected based on the image position selected by the image position selection unit
  • An image identification unit that recognizes an image region; and an image region change unit that changes the main subject image region in accordance with at least one of pressure, position change, direction, speed, and displacement detected by the operation input detection unit.
  • a special image processing unit that performs special effect image processing on an area excluding at least a part of the selected main subject area.
  • An image display method includes a display step of displaying a captured still image or moving image on a display unit, a touch operation on the display screen of the display unit, or a gesture in the vicinity of the display screen.
  • An operation input detection step for detecting the image a selection step for selecting a position of a part of the image displayed on the display unit, and an image area selected based on the selected image position as a main subject image area Recognizing step, changing step of changing the main subject image area according to at least one of pressure, position change, direction, speed, and displacement detected in the operation input detecting step, and the selected main subject
  • a computer-readable recording medium includes a display step of displaying a captured still image or moving image on a display unit, a touch operation on the display screen of the display unit, or the vicinity of the display screen
  • An operation input detection step for detecting a gesture at a position
  • a selection step for selecting a position of a part of the image displayed on the display unit, and an image region selected based on the selected image position as a main subject image.
  • a recognition step for recognizing the region, a changing step for changing the main subject image region in accordance with at least one of pressure, position change, direction, speed, and displacement detected in the operation input detection step, and the selection
  • a special image processing step for performing special effect image processing on an area excluding at least a part of the main subject area.
  • an image display device and an image display method capable of easily changing a region on which special effect image processing is performed.
  • FIG. 1 is a block diagram mainly showing an electrical configuration of a digital camera according to an embodiment of the present invention. It is a block diagram which shows the structure regarding provision of the special effect image process of the digital camera which concerns on one Embodiment of this invention.
  • the digital camera which concerns on one Embodiment of this invention it is a figure which shows the display state in a display part, and the operation state of a touch panel. It is a figure explaining the image processing for providing a zoom effect in the digital camera which concerns on one Embodiment of this invention.
  • It is a figure explaining the outline of the special effect image processing in the digital camera in one Embodiment of this invention.
  • This digital camera has an imaging unit, and the imaging unit converts the subject image into image data, and based on the converted image data, the subject image is displayed in live view on a display unit disposed on the back of the main body. .
  • the photographer determines the composition and the photo opportunity by observing the live view display.
  • image data is recorded on the recording medium.
  • the image data recorded on the recording medium can be reproduced and displayed on the display unit when the reproduction mode is selected.
  • the digital camera according to the present embodiment is selected based on a subject position detected by AF (Auto Focus) during live view display or playback display, or a position specified by a user using a touch panel or the like. It is possible to perform special effect image processing (also referred to as art filter processing) on the main subject area that has been set, and to change the image area by a user's touch panel operation or the like.
  • AF Auto Focus
  • special effect image processing also referred to as art filter processing
  • This digital camera includes an interchangeable lens 100 and a camera body 200 to which the interchangeable lens 100 is attached.
  • a camera of a type in which the lens barrel is fixed to the camera body may be used.
  • a photographing optical system 101 (lens 101a, lens 101b) for adjusting the focal length and adjusting the focal length and an aperture 103 for adjusting the aperture amount are arranged inside the interchangeable lens 100.
  • the photographing optical system 101 is driven by an optical system driving mechanism 107, and the diaphragm 103 is connected to be driven by a diaphragm driving mechanism 109.
  • the optical system driving mechanism 107 and the aperture driving mechanism 109 are each connected to a lens CPU 111, and the lens CPU 111 is connected to the camera body 200 via a communication contact 300.
  • the lens CPU 111 controls the interchangeable lens 100.
  • the lens CPU 111 controls the optical system driving mechanism 107 to perform focusing and zoom driving, and controls the diaphragm driving mechanism 109 to perform aperture value control.
  • a focal plane type shutter 215, an infrared cut filter / low pass filter 217, and an image sensor 221 are arranged on the photographing optical axis of the photographing optical system 101.
  • the shutter 215 is driven by a shutter drive mechanism 213 and allows a subject light beam formed by the photographing optical system 101 to pass through for a predetermined time.
  • the infrared cut filter 217 is an optical filter for removing an infrared light component from the subject light flux.
  • the image sensor 221 photoelectrically converts a subject image formed by the photographing optical system 101 into an electric signal.
  • the imaging element 221 may be a two-dimensional imaging element such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).
  • the image sensor 221 is connected to the image sensor drive circuit 223, and the image sensor drive circuit 223 reads an image signal from the image sensor 221.
  • the image sensor driving circuit 223 is connected to the preprocessing circuit 225, and the preprocessing circuit 225 performs AD conversion of the read image signal, clipping processing for pixel thinning processing for live view display, and the like. Pre-processing for image processing is performed.
  • the preprocessing circuit 225 is connected to the data bus 252.
  • the data bus 252 includes a sequence controller (hereinafter referred to as “body CPU”) 251, a subject determination circuit 255, an image processing circuit 257, a compression / decompression circuit 259, a video signal output circuit 261, and SDRAM (Synchronous Dynamic Random Access Memory).
  • a control circuit 265, an input / output circuit 271, a communication circuit 273, a recording medium control circuit 275, a flash memory control circuit 279, and a switch detection circuit 283 are connected.
  • the body CPU 251 connected to the data bus 252 controls the operation of this digital camera according to a program stored in a flash memory 281 described later.
  • a contrast AF circuit 253 is connected between the preprocessing circuit 225 and the body CPU 251 described above.
  • the contrast AF circuit 253 extracts a high frequency component based on the image signal output from the preprocessing circuit 225, and outputs contrast information based on the high frequency component to the body CPU 251.
  • the image processing circuit 257 connected to the data bus 252 performs various types of image processing such as digital amplification (digital gain adjustment processing), color correction, gamma ( ⁇ ) correction, and contrast correction of the digital image data.
  • the image processing circuit 257 performs various special effect image processing such as a zoom effect, a diorama effect, and a ripple effect, which will be described later, on an area excluding at least a part of the area recognized as the main subject image area. It also functions as a special image processing unit.
  • the image processing circuit 257 has a tracking function for the subject determined as the subject by the subject determination circuit 255. That is, each time an image signal is read from the image sensor 221, the position of the subject to be tracked is detected. Further, the image processing circuit 257 performs image processing for electronic zoom by cutting out an image.
  • the compression / decompression circuit 259 is a circuit for compressing the image data stored in the SDRAM 267 by a compression method such as JPEG or TIFF. Note that image compression is not limited to JPEG or TIFF, and other compression methods can be applied.
  • the video signal output circuit 261 is connected to the rear liquid crystal monitor 26 and the finder liquid crystal monitor 27 via the liquid crystal monitor drive circuit 263.
  • the video signal output circuit 261 is a circuit for converting the image data stored in the SDRAM 267 and the recording medium 277 into a video signal to be displayed on the rear liquid crystal monitor 26 and the finder liquid crystal monitor 27.
  • the rear liquid crystal monitor 26 is disposed on the rear surface of the camera body 200.
  • the rear liquid crystal monitor 26 is not limited to the rear surface and may be another display device as long as it can be observed by the photographer.
  • the rear liquid crystal monitor 26 functions as a display unit that displays a captured still image or moving image.
  • the in-viewfinder liquid crystal monitor 27 is disposed inside the camera body 200 and constitutes an electronic viewfinder together with the eyepiece.
  • the SDRAM 267 is connected to the data bus 252 via the SDRAM control circuit 265.
  • the SDRAM 267 is image data preprocessed by the preprocessing circuit 225, image data processed by the image processing circuit 257, or compression / decompression circuit. This is a buffer memory for temporarily storing image data compressed by H.259.
  • the input / output circuit 271 connected to the image sensor driving circuit 223 and the shutter driving mechanism 213 controls data input / output with each circuit such as the body CPU 251 via the data bus 252.
  • the communication circuit 273 connected to the lens CPU 111 via the communication contact 300 is connected to the data bus 252 and exchanges data and communicates control commands with the body CPU 251 and the like.
  • a recording medium control circuit 275 connected to the data bus 252 is connected to the recording medium 277 and controls recording of image data and the like on the recording medium 277 and reading of the image data and the like.
  • the recording medium 277 can be loaded with any rewritable recording medium such as an xD picture card (registered trademark), a compact flash (registered trademark), an SD memory card (registered trademark), or a memory stick (registered trademark). And is detachable from the camera body 200.
  • the hard disk may be configured to be connectable via a communication contact.
  • the flash memory control circuit 279 is connected to a flash memory 281.
  • the flash memory 235 stores a program for controlling the operation of the digital camera.
  • the body CPU 251 stores the program in the flash memory 281. Control the digital camera according to the program.
  • the flash memory 281 is an electrically rewritable nonvolatile memory, and may be a memory other than the flash memory as long as it is an electrically rewritable nonvolatile memory.
  • the power switch 285 for turning on / off the power of the digital camera is connected to the data bus 252 via the switch detection circuit 283.
  • various other switches 287 including a 1R switch for detecting the first stroke (half press) of the shutter release button and a 2R switch for detecting the second stroke (full press) also include a data bus via the switch detection circuit 283. 252.
  • the various switches 287 include a menu switch linked to the menu button, a playback switch linked to the playback button, and other various switches linked to other operation members.
  • a touch panel is provided on the display surface side of the rear liquid crystal monitor 26. This touch panel detects a touch position (x, y, r, ⁇ ), a touch speed (v), and an operation pressure (p) when the user touches the display surface of the rear liquid crystal monitor 26, and detects a switch.
  • the data is output to the body CPU 251 via the circuit 283.
  • the attachment / detachment detection switch 291 is disposed in the vicinity of the body mount of the camera body 200, and determines whether or not the interchangeable lens 100 is attached to the camera body 200.
  • the output of the attachment / detachment detection switch is connected to the data bus 252 via the switch detection circuit 283.
  • the reference image storage circuit 254 stores faces of persons of various ages viewed from various angles as specific subjects, plants of various types and shapes, and face images of pets such as dogs and cats. .
  • the subject determination circuit 255 compares the image data input from the preprocessing circuit 225 via the data bus 252 with the reference image stored in the reference image storage circuit 254, and the above-described specific subject is included in the captured image. Whether or not is included is determined.
  • FIG. 2 is a functional expression block diagram for realizing the processing shown in FIGS. 5 and 6 in the digital camera configured as shown in FIG. Therefore, functional parts that are not directly related to this function are omitted. Further, unless otherwise specified, these units are executed by software by the body CPU 251.
  • the touch output unit 1 outputs the detection result of the touch panel provided in the other various switches 287.
  • the output of the touch panel output unit 1 is output to the input detection unit 3.
  • the input detection unit 3 Based on the detection result from the touch panel output unit 1, the input detection unit 3 detects the position (x, y) or (r, ⁇ ) where the touch operation is performed, the touch speed (v) of the touch operation, and the operation pressure ( p) and the like are detected.
  • (x, y) is a position on the orthogonal x-axis and y-axis
  • (r, ⁇ ) is centered on a reference position in the screen. The distance r in the radial direction and the angle ⁇ with respect to the specific direction.
  • FIG. 3A (x, y) is a position on the orthogonal x-axis and y-axis, and (r, ⁇ ) is centered on a reference position in the screen. The distance r in the radial direction and the angle ⁇ with respect
  • the touch speed (v) is a moving speed when the finger F touches
  • the operation pressure (p) is a pressing force on the touch panel 287a.
  • the data is output to the main subject size detection unit 7, the main subject region update unit 9, and the special effect parameter setting unit 13.
  • the touch output unit 1 and the input detection unit function as an operation input detection unit that detects a touch operation on the display screen of the display unit.
  • the image data output unit 5 supplies image data such as image data based on the image signal from the image sensor 221 or image data recorded on the recording medium 277 and read from the recording medium control circuit 275 to the main subject size detection unit 7. Output.
  • the main subject size detection unit 7 receives outputs from the input detection unit 3 and the image data output unit 5, identifies the main subject, and detects its size. That is, the main subject is detected based on the subject determined by the subject determination circuit 255 or the detection result of the touch operation from the touch panel. When the main subject is detected, the image processing circuit 257 detects the size of the subject. The detection result of the main subject size detection unit 7 is output to the main subject region update unit 9.
  • the touch output unit 1, the main subject size detection unit 7, and the like are selected based on the image position selected by the image position selection unit and the image position selection unit for selecting the position of a part of the image displayed on the display unit. It functions as an image identification unit that recognizes an image area as a main subject image area.
  • the main subject region update unit 9 that inputs detection results from the input detection unit 3 and the main subject size detection unit 7 updates the main subject region.
  • the main subject region is updated.
  • the main subject area update unit 9 is identified by the image identification unit according to at least one of pressure, position change, direction, and velocity displacement detected by the operation input detection unit (touch output unit 1, input detection unit 3, etc.). It functions as an image area changing unit that changes the main subject area. A method of updating this area will be described later with reference to FIGS.
  • the update result of the main subject area update unit 9 is output to the main subject area frame setting unit 11.
  • the main subject region frame setting unit 11 sets the main subject region frame when displaying an image on the image display unit 17. That is, as shown in FIG. 3A, the main subject area frame setting unit 11 considers the size C of the main subject with respect to the main subject area B in the special effect processing area A. D is displayed. As described above, the main subject region frame D indicates a region including at least a part of the main subject region B by a frame display.
  • the special effect parameter setting unit 13 that inputs the detection results from the input detection unit 3 and the main subject size detection unit 7 sets parameters in the special effect image processing performed in the image processing unit 257.
  • the parameters include, for example, a zoom ratio and the number of combined images when the zoom effect is set as a special effect. Further, when a diorama effect is set as a special effect, there is a filter blur amount or the like. When the ripple effect is set as the special effect, there are amplitude equivalent distortion amount, wavelength size, and the like.
  • the parameters set by the special effect parameter setting unit 13 are output to the special effect image processing unit 15.
  • the special effect image processing unit 15 is a part of the image processing unit 257, and provides various special effects such as zoom, diorama, and ripples.
  • the zoom effect cuts out images Z0, Z1, Z2, Z3,..., Zn as zoomed images from the original image P shown in FIG. Then, as shown in FIG. 4B, interpolation processing is performed so that each image has the same size, and further, an image subjected to low-pass filter processing is generated, and the generated image is synthesized to be a combined image. S is generated.
  • This composite image S remains focused in the center, the surrounding focus is blurred, and the image is enlarged, as if it was photographed while zooming from the wide-angle side to the telephoto side during exposure. It becomes an image.
  • the original image P may be a still image, or Z1 to Zn images may be cut out sequentially from continuously shot images. In addition to the above example, it is of course possible to generate and synthesize an image obtained by zooming the optical zoom from the telephoto side to the wide angle side.
  • the image display unit 17 that receives the outputs of the special effect image processing unit 15 and the main subject area setting unit 11 performs live view display and playback display, and displays images that have undergone special effect image processing.
  • the rear liquid crystal monitor 26 plays a role.
  • the present invention is not limited to this, and a display panel such as an organic EL may be used. Further, if it is possible to select the image position, the in-finder liquid crystal monitor 27 may be used.
  • FIGS. 5 and 6 the zoom effect described with reference to FIG. 4 is set as the special effect image processing.
  • special effect image processing other than the zoom effect may be performed as the special effect image processing.
  • An image P1 in FIG. 5 is a live view image, and a main subject region is set in order to perform special effect image processing on the image P1 (images P2, P3, P4 in FIG. 5 and images in FIG. 6). P11 etc.).
  • a reproduced image read from the recording medium 277 may be used.
  • FIG. 5 shows an example of determining the center for performing special effect image processing.
  • An image P2 in FIG. 5 shows an example in which the focal point selected by the subject determination circuit 255 as the main subject and focused by the contrast AF circuit 253 is determined as the center point C1. Further, the image P3 in FIG. 5 shows an example in which the center point C2 is designated by the user touching the touch panel (see FIG. 3B).
  • the user can appropriately set the main subject area to be used for performing the special effect image processing next.
  • the example shown in the image P11 of FIG. 6 is a case where a circular range is set in advance.
  • this circular range selection when the user performs a touch operation on the screen with the finger F, the inside of a circle having a radius that is a line connecting the center point C3 and the touch point is selected as the main subject region.
  • the special effect image processing unit 15 performs zoom effect image processing on an area other than the main subject area, as shown in an image P12 in FIG.
  • the effect intensity is the default.
  • the example shown in the image P13 of FIG. 6 is a case where circular range selection is performed and effect intensity setting is performed.
  • the effect strength (the strength of special effect image processing) is the default, but there are cases where the effect strength is desired to be changed. Therefore, in this example, the special effect is obtained so as to obtain the image P14 in FIG. 6 in which the effect intensity is changed according to the touch speed v, the operation pressure p, and the like when performing the slide operation from the center to the radial direction R.
  • the image processing unit 15 gives special effects.
  • the example shown in the image P15 in FIG. 6 is a case where a linear range is set as the main subject area.
  • the images P11 and P13 in FIG. 6 are a circular range, in this example, a rectangle is selected. That is, when a touch operation is performed with the finger F, a rectangle having the touch position at the lower side (upper side) is selected as the main subject region.
  • the special effect image processing unit 15 performs zoom effect image processing on an area other than the main subject area, as shown in an image P16 in FIG.
  • the effect intensity is the default.
  • the example shown in the image P17 in FIG. 6 is a case where the straight line range is selected and the effect intensity is set.
  • the effect strength (the strength of special effect image processing) is the default.
  • the image P18 in FIG. 6 is obtained in which the effect intensity is changed in accordance with the touch speed v of the finger F, the operation pressure p, and the like when performing a slide operation from the center to the upper side or lower side direction S.
  • the special effect image processing unit 15 gives a special effect.
  • the center point C is determined first.
  • the present invention is not limited to this, and the main subject region may be determined without determining the center point.
  • the area is determined by approximating the trajectory to a circle C4.
  • parameters for special effect image processing are set according to the speed v of the slide operation, the operation pressure p, the distance from the center point C3, and the like.
  • the area of the circular C4 becomes the main subject area.
  • the special effect image processing unit 15 performs image processing of the zoom effect on the outside of the circle C4 to obtain the image P19 in FIG.
  • the effect intensity may be changed according to the slide operation speed v and the operation pressure p.
  • the center point is located at the center of the screen, but this position naturally differs depending on the in-focus position of the subject and the touch operation position of the user. May be.
  • the center point once set can be moved by a slide operation.
  • An image P20 in FIG. 6 is an example in which the circular range is moved by a sliding operation with two fingers, the finger F1 and the finger F2. This manual movement will be described later with reference to S63 and S65 of FIG. 9 and FIG.
  • mode setting is performed (S1).
  • various settings such as shooting mode and playback mode are set, and moving image shooting is switched.
  • the shape of the main subject area for example, a circle or a rectangle
  • S3 it is next determined whether or not it is a shooting mode (S3).
  • S3 it determines based on the setting in step S1.
  • step S5 live view display is performed (S5).
  • the image processing circuit 257 or the like performs image processing for live view display on the image signal from the image sensor 221 and displays the subject image as a moving image on the rear liquid crystal monitor 26 or the finder liquid crystal monitor 27.
  • special image processing is performed (S7).
  • the special effect image processing unit 15 performs the special effect image processing on the area excluding the area selected as the main subject image area. Detailed operations in this special image processing will be described later with reference to FIG.
  • step S9 determines whether 1R is on.
  • 2R determines whether the 2nd release switch (2R), which is one of the other various switches 287, is on or off.
  • 2R is turned on. If 2R is off as a result of this determination, it waits for 2R to be on.
  • step S13 if the result of determination in step S11 is that 2R is on, then shooting is performed (S13).
  • the image processing circuit 257 and the like perform image processing for recording on the image signal from the image sensor 221 and record image data on the recording medium 277.
  • an operation for moving image shooting may be performed, such as starting recording of an operation in response to a start operation of a moving image button or the like and ending recording of an operation in response to a stop operation.
  • step S15 After shooting, it is next determined whether or not it is sleep (S15). In order to prevent waste of power consumption, if a camera operation is not performed for a predetermined time, a sleep state that is a low power consumption mode is entered. In this step, it is determined whether or not the sleep state has been entered. If the result of this determination is not sleep, processing returns to step S1.
  • step S15 If the result of determination in step S15 is not sleep, it is next determined whether or not a timeout has occurred (S17). When a predetermined time elapses after entering the sleep state, the power is turned off. In this step, it is determined whether or not the predetermined time has elapsed.
  • step S17 If the result of determination in step S17 is not timeout, it is determined whether or not an interrupt has been made (S19).
  • the body CPU 251 starts up only when a predetermined operation member is operated. In this step, it is determined whether or not this interrupt operation has been performed. As a result of the determination, if there is no interrupt, the process returns to step S17, whereas if there is an interrupt, the process returns to step S1. If the result of determination in step S19 is a timeout, this operation is terminated and the power is turned off.
  • step S21 if the result of determination in this step is that there is no shooting mode, it is determined whether or not it is in playback mode (S21). Here, the determination is made based on the mode setting in step S1. If the result of this determination is not playback mode, processing returns to step S1. When there is a mode other than the shooting mode and the playback mode, it may be determined whether or not another mode is set and another mode is executed. On the other hand, if the result of determination is playback mode, playback mode is executed. This reproduction mode will be described with reference to FIG.
  • an image is selected (S31).
  • thumbnails are displayed on the rear liquid crystal monitor 26 or the like, and the user selects an image using a cross button or a touch panel as one of the other various switches 287.
  • next image playback is performed (S33).
  • the image selected in step S31 is read from the recording medium 277 and displayed on the rear liquid crystal monitor 26 or the like.
  • special image processing is performed (S35).
  • the special effect image processing unit 15 performs special effect image processing on the image read from the recording medium 277 on the area other than the area selected as the main subject image area, as in step S7. Detailed operations in this special image processing will be described later with reference to FIG.
  • step S37 it is next determined whether or not a timeout has occurred.
  • a timeout it is determined whether or not the predetermined time has elapsed. If the result of this determination is that there is no timeout, processing returns to step S31 and playback mode continues.
  • step S39 determines whether or not an interrupt has been made. If there is an interrupt as a result of this determination, the process returns to step S1. On the other hand, if the result of determination in step S39 is that there is no interrupt, it is determined whether or not power is off (S41). Here, it is determined whether or not the power switch 285 is turned off. If the result of this determination is not off, processing returns to step S31 and playback mode continues. On the other hand, if the result of determination in step S41 is that the power is off, this operation flow is terminated. In the playback mode of FIG. 8, the sleep mode may be entered in the same manner as the flow of FIG.
  • step S7 (FIG. 7) and step S35 (FIG. 8) will be described using the flowchart shown in FIG.
  • special image processing also referred to as art filter processing
  • the user sets the type of special image processing in advance on the menu screen.
  • the type of special image processing can be set in advance by associating an action at the time of touch operation, for example, an action such as multi-touch, tap, or slide, with the type of special image processing. There is no need to set it.
  • step S51 If the result of determination in step S51 is that there is a touch panel input, it is next determined whether or not an area has been set (S53). As described with reference to the image P4 in FIG. 5, the images P11, P13, P15, P17, and the like in FIG. 6, when the user performs a touch operation or a slide operation on the display screen of the image display unit 17, the main subject region is displayed. Can be set. In this step, it is determined whether or not this area setting has already been performed.
  • step S53 If the result of determination in step S53 is that area setting has not yet been performed, the main subject area is set (S55).
  • the main subject area is set according to the touch operation or the like.
  • parameter setting for special image processing is performed (S57).
  • the special effect parameter processing is performed in accordance with the type of special effect image processing set and the strength of the effect described using the image P4 in FIG. 5 and P12, P14, P16, P18, and P17 in FIG.
  • the setting unit 13 sets parameters.
  • the special effect image processing unit 15 performs special effect image processing on a region other than the main subject region in accordance with the type of special effect image processing that has been set and the set parameters.
  • step S61 display update is performed (S61).
  • an image obtained by performing special effect image processing on an area other than the main subject area in step S59 is displayed on the image display unit 17.
  • the main subject is based on the tracking result. It is determined whether or not has moved.
  • the main subject can be moved by performing two touch operations simultaneously. This manual movement of the main subject will be described with reference to FIG.
  • step S63 If the result of determination in step S63 is that the main subject has moved, the main subject region is moved (S65). Here, the main subject region update unit 9 moves the main subject region. If the result of determination in step S63 is that the main subject has not moved, the flow returns to the original flow.
  • step S63 operation analysis is performed (S63). Since the main subject area has already been set and a touch operation or a slide operation has been performed in this state, the operation such as the touch operation is analyzed. A specific example of this operation analysis will be described with reference to FIG.
  • the motion analysis is performed, it is next determined whether or not the set special effect image processing is zoom (S69). If the result of this determination is that zoom has been set, the main subject area is zoomed (S71). As described with reference to FIG. 4, the zoom effect is image processing in which the main subject is zoomed and feels like flowing. Here, the main subject area is enlarged by zooming. When this processing is performed, the process proceeds to step S57, and special effect image processing for providing a zoom effect is performed.
  • step S69 determines whether or not it is an ellipse (S73).
  • the main subject region is selected only in a circular shape, but in this flow, not only a circular shape but also an elliptical shape can be selected as the main subject region.
  • two-point touch is performed in the touch operation. In this step, determination is made based on the number of touch operation points output from the input detection unit 3.
  • step S73 If the result of determination in step S73 is an ellipse, the main subject region is ovalized based on the position on the extension of the ellipse instruction and the circle center (S75).
  • the main subject area update unit 9 ovalizes the main subject area based on the touch operation point.
  • step S73 determines whether or not to cancel (S77).
  • the cancel setting is performed by touching outside the predetermined display area of the image display unit 17 (see the detection area 2 in FIG. 10B). Therefore, in this step, determination is made based on the position of the touch operation output from the input detection unit 3.
  • the cancel setting is not limited to this method.
  • the cancel setting may be canceled by operating a release button for special effect image processing.
  • step S77 it is next determined whether or not a timeout has occurred (S79).
  • a timeout it is determined whether or not a timer for measuring the time since the camera operation has not been executed has passed for a predetermined time. If the result of this determination is that there is no timeout, the flow returns to the original flow.
  • step S81 special image processing is terminated (S81).
  • the process returns to the original flow.
  • FIG. 10A shows the division of the detection area of the touch panel on the image display unit 17.
  • the upper right corner, the lower right corner, the upper left corner, and the lower left corner on the screen are the detection areas 2, and most of the detection area 1 is the detection area 1.
  • the detection area 2 is used for canceling the special effect image processing (see S77 in FIG. 9), as shown in the lowermost part of the chart of FIG.
  • described in the uppermost row in FIG. 10A are the amount of time change at each touch position when a two-point touch operation (slide operation) is performed. Note that if the region is circular, one point is sufficient, and one of them may be determined as fixed. As can be seen from FIG. 10A, when the change amount of the touch operation point is less than X0, the main subject region is set to be circular. When the amount of change in one of the two touch operation points is X0 or more, the main subject area is set to be an ellipse. When the amount of change in both of the two touch operation points is equal to or greater than X0, the main subject area is zoomed (that is, the area range is widened or narrowed).
  • an inter-exposure zoom process (zoom effect) is performed in step S57 and subsequent steps.
  • the luminance may be changed with time in the display time, or the saturation may be changed with time.
  • the movement position X shown in the movement position column indicates the movement position of the fingers F1 and F2 (see the image P20 in FIG. 6).
  • the fingers F1 and F2 need to move in the same direction and be on the main subject area (circular portion).
  • a position X MIN and a position X MIN indicate positions on the right and left sides of the touch panel on the image display unit 17 as shown in FIG. 11B. This is to prevent the main subject area from disappearing when the fingers F1 and F2 move before both sides of the touch panel.
  • the moving position X is the center of the circle representing the main subject area, but is not limited to this and may be a specific position with respect to the moving direction of the circumference. In this case, what is necessary is just to set according to the handling of the edge part of an area
  • the main subject area can be set by a touch operation (see S53 and S57). , P13), rectangles (P15, P17 in FIG. 6), and ellipses (S73, S75). Even after the region is set, the region can be changed by further touch operation or the like (S67). Further, when the main subject moves, the main subject region is also moved in accordance with this movement (S63, S65). For this reason, when the subject moves, there is no need to reset the main subject region, which is convenient. Also, the main subject area can be manually moved (see FIG. 11). After setting the main subject area, this area can be moved according to the user's intention, which is convenient.
  • step 53 If the result of determination in step 53 (FIG. 9) is that a region has already been set, operation analysis is performed (S101). In this modification, swipe operation, rotation operation, and push-in operation are analyzed as operation analysis. This operation analysis will be described later with reference to FIGS.
  • swipe is to perform a slide operation so as to stroke the display surface of the image display unit 17. In this step, the determination is made according to the operation analysis result. If the result of this determination is a swipe, the electronic zoom magnification is enlarged in the swipe direction, and if the swipe is in the reverse direction, the electronic zoom magnification is reduced (S105). The electronic zoom process is performed by cutting out an image in the image processing circuit 257.
  • step S107 it is next determined whether or not there is continuous input.
  • the swipe operation may be performed continuously, and in this step, the determination is made based on whether or not the swipe operation continues. If the result of this determination is that there is continuous input, processing returns to step S101. On the other hand, if it is not continuous input, the process proceeds to step S57 (FIG. 9), and special effect image processing is performed.
  • step S109 it is determined whether or not rotation is in effect.
  • the rotation is to perform a touch operation so as to draw a circle on the display surface of the image display unit 17. In this step, the determination is made according to the operation analysis result. If the result of this determination is rotation, the electronic zoom image is rotated and synthesized (S111). That is, a special effect image obtained by further rotating zooming is generated by performing a process of adding and synthesizing the synthesized image with the image center as a reference. When the electronic zoom image is rotated and synthesized, the process proceeds to step S57 (FIG. 9), and special effect image processing is performed.
  • step S109 If the result of determination in step S109 is not rotation, it is determined whether or not it is pushed in (S113).
  • the pressing means that the user presses the display surface of the image display unit 17 by pressing. In this step, although the operation analysis result is followed, the state of pressing is known based on the detection result of the operation pressure p from the input detection unit 3.
  • step S115 wavefront deformation reflection processing is performed (S115).
  • the wavefront deformation reflection process is an image process that produces an effect similar to the movement of ripples generated on the water surface. If the wavefront deformation reflection process is performed or if the determination result in step S113 is not pushed in, the process proceeds to step S57 (FIG. 9), and special effect image processing is performed.
  • FIG. 13 shows an analysis when the user performs a swipe operation.
  • shown at the top of FIG. 13 indicates the amount of change in the slide operation, and V1 indicates the speed during the swipe operation (detected as the speed v in the input detection unit 3).
  • and the speed V1 as shown in FIG. 13, one of zoom, small swipe, zoom, and large swipe is set as the operation, and zoom in all directions or zoom in the swipe direction is performed as image processing.
  • the ratio is expanding.
  • the zoom change amount of the image processing is reduced, and the change amount of the slide operation
  • the zoom change direction of the image processing is set to all directions, and when the speed V1 is equal to or higher than the predetermined value V0 set in advance (1)
  • the zoom change direction of the process is the swipe direction.
  • the image processing can be changed according to the swipe operation method.
  • the rotation operation refers to an operation of sliding the finger F so as to draw a circle with the finger F placed on the main subject area.
  • a negative direction is obtained when operated clockwise
  • a positive direction is obtained when operated counterclockwise.
  • the image processing is made different for each of the two touch positions according to the direction of the position change amounts ⁇ x1 and ⁇ x2.
  • the image processing can be changed according to the rotation operation method.
  • FIG. 14 is an example rotated by two points, it is not restricted to this, A rotation operation may be sufficient as one point, and it is good also as a rotation operation more than three points. In that case, the number of image processes that can be identified is different.
  • the pressing operation is detected as the operation pressure p by the input detection unit 3 by pressing the display surface of the image display unit 17 with the finger F placed on the main subject area.
  • P1 and P2 represent respective pressures when pressed at two points
  • P0 represents a predetermined pressing force.
  • the image processing is varied depending on the combination of the two pressing forces.
  • the example shown in FIG. 15 is an example in which a pressing operation is performed at two points.
  • the pressing operation is not limited to this, and may be a pressing operation at one point, or may be a pressing operation at three or more points. In that case, the number of image processes that can be identified is different.
  • the special effect image processing is changed by a swipe, rotation, or push-in operation. Therefore, the special effect image processing can be changed quickly and easily by a simple action.
  • the motion analysis in step S67 in the embodiment of the present invention may also be performed, and the special effect image processing associated therewith may be performed.
  • step S203 If the result of determination in step S201 is that there is no touch input, it is determined whether or not there is a circle input (S203).
  • a circle input based on the detection result of the input detection unit 3 output from the touch output unit 1, as described with reference to the image P ⁇ b> 4 in FIG. 5, it is determined whether or not a slide operation that draws an enclosed locus has been performed. judge. If the result of this determination is that there is no circle input, processing returns to step S201.
  • step S203 determines whether there is a circle input. If the result of determination in step S203 is that there is a circle input, circle area setting is performed (S205).
  • the main subject region updating unit 9 sets a circular region that approximates the locus by the slide operation, as in the image P4 of FIG.
  • designated image processing is performed (S207).
  • the special effect image processing unit 15 performs image processing that produces an effect similar to that of a ripple generated on the water surface moving to an area other than the main subject area (see image P19 in FIG. 6). ).
  • the process proceeds to step S61 (FIG. 9).
  • step S211 if the result of this determination is that there is a touch input, then the main subject center is determined (S211).
  • the detected touch operation position is determined as the center point of the main subject.
  • the main subject center is determined, it is next determined whether or not the area is a “circle” (S213). Since the shape of the main subject area is set in advance, in this step, determination is made according to the set shape.
  • step S213 If the result of determination in step S213 is “circle”, it is next determined whether or not there is a touch input (S215). Here, it is determined based on the detection output from the input detection unit 3 whether or not a touch operation has been performed.
  • step S215 If the result of determination in step S215 is that there is a touch input, a circular area is set (S217).
  • An image P11 in FIG. 5 is a case where a touch operation is performed.
  • the main subject area update unit 9 sets a circle as the main subject area.
  • step S219 designated image processing is performed.
  • the special effect image processing unit 15 performs special effect image processing on an area other than the circular main subject area.
  • the example shown in the image P12 of FIG. 6 is a case where special effect image processing is performed when the effect intensity is de facto.
  • step S215 If the result of determination in step S215 is that there is no touch input, it is determined whether or not there is a slide input (S231, FIG. 17). Here, based on the detection result from the input detection unit 3, it is determined whether the user's finger has slid on the display screen of the image display unit 17 (slide operation).
  • step S231 determines whether there is a slide input. If the result of determination in step S231 is that there is a slide input, next, a circular area is set (S233).
  • the main subject area update unit 9 sets a circle as the main subject area as in an image P13 in FIG.
  • the effect intensity is changed (S235).
  • the slide operation is performed, the moving speed v and the operation pressure p are detected based on the detection result from the input detection unit 3. The effect intensity is changed using this detection result.
  • step S237 When the effect intensity is changed, designated image processing is performed (S237).
  • the special effect image processing unit 15 performs special effect image processing on an area other than the circular main subject area according to the effect intensity in step S235.
  • the example shown in the image P14 of FIG. 6 is a case where special effect image processing is performed according to the effect intensity.
  • step S241 if there is no slide input as a result of this determination, it is determined whether there is a multi-input (S241).
  • the area can be moved by sliding the main subject area together with two fingers (same speed in the same direction).
  • step S243 area movement is performed (S243).
  • the main subject region is moved based on the detection result from the input detection unit 3.
  • the example shown in the image P20 of FIG. 6 shows the movement of the main subject area.
  • step S245 designated image processing is performed.
  • special effect image processing is performed on areas other than the main subject area.
  • step S213 if the result of this determination is that the region is not “circle”, it is next determined whether or not the region is “line” (S221). Here, it is determined whether or not the main subject area is set to “line” in advance. As a result of this determination, if it is not set to “line”, the timer ends (S229). Here, if no operation is performed for a predetermined time, the flow of special image processing is terminated and the flow returns to the original flow.
  • step S221 If the result of determination in step S221 is that an area “line” has been set, it is next determined whether or not there is a touch input (S223). Here, it is determined based on the detection output from the input detection unit 3 whether or not a touch operation has been performed.
  • step S215 If the result of determination in step S215 is that there is a touch input, a line area is set (S225). An image P15 in FIG. 6 is a case where a touch operation is performed. In this step, the main subject area update unit 9 sets a rectangle as the main subject area.
  • step S227 the special effect image processing unit 15 performs special effect image processing on an area other than the main subject area in the line area (rectangular shape).
  • the example shown in the image P16 of FIG. 6 is a case where special effect image processing is performed when the effect strength is de facto.
  • step S223 If the result of determination in step S223 is that there is no touch input, it is determined whether or not there is a slide input (S251, FIG. 17). Here, based on the detection result from the input detection unit 3, it is determined whether the user's finger has slid on the display screen of the image display unit 17 (slide operation).
  • step S253 a line area is set (S253).
  • the main subject region update unit 9 sets a line region (rectangle) as the main subject region, as in an image P17 in FIG.
  • the effect intensity is changed (S255).
  • the moving speed v and the operation pressure p are detected based on the detection result from the input detection unit 3.
  • the effect intensity is changed using this detection result.
  • step S257 When the effect intensity is changed, designated image processing is performed (S257).
  • the special effect image processing unit 15 performs special effect image processing on an area other than the circular main subject area according to the effect intensity in step S255.
  • the example shown in the image P18 of FIG. 6 is a case where special effect image processing is performed according to the effect intensity.
  • the effect intensity can be changed manually (S235, S255). That is, the effect intensity can be changed based on the moving speed and the pressing force during the slide operation. For this reason, it can be set as the intensity
  • an operation input detection unit for example, touch output unit 1, input detection unit 3 that detects a touch operation on the display screen of the display unit
  • An image position selection unit for example, a touch panel or an in-focus position
  • an image identification unit for example, main subject size detection unit
  • An image area changing unit for example, main subject area updating unit 9) that changes the identified main subject area, and a special image that performs special effect image processing on an area excluding at least a part of the selected main subject area It has a processing section 15. For this reason, the area where the special effect image processing is performed can be easily changed.
  • the image region changing unit (for example, the main subject region updating unit 9) is the main subject region recognized by the image identifying unit (for example, the main subject region updating unit 9). Can be changed to the area detected by the operation input detection unit (for example, the image 20 in FIG. 6). Since the area where the special effect image processing is performed can be changed by a touch operation, a simple operation is sufficient.
  • the image region changing unit (for example, the main subject region updating unit 9) is detected by the operation input detecting unit (for example, the touch output unit 1, the input detecting unit 3).
  • the main subject image area is changed in accordance with at least one of pressure, position change, direction, speed, and displacement. Also, the effect intensity can be changed.
  • the operation input detection part (for example, touch output part 1, input detection part 3) fixes a part of image area among several operation of touch operation. An instruction and an instruction to change a part of the image area are detected.
  • the operation input detection unit (for example, the touch output unit 1 or the input detection unit 3) performs special effect image processing according to time based on a plurality of touch operations. To change.
  • the operation input detection unit (for example, the touch output unit 1 or the input detection unit 3) performs special effect image processing when a touch operation is detected at a predetermined position. (See S77 in FIG. 9 and detection area 2 in FIG. 10B). For this reason, special effect image processing can be canceled by a touch operation, and an instruction can be issued quickly.
  • an input instruction for special effect image processing is given by a touch operation on the display screen of the image display unit 17, but the present invention is not limited to this.
  • an operation input detection unit that detects a gesture in the vicinity of the screen may be provided.
  • a gesture in the vicinity of the display screen may be detected, and the main subject area may be changed to an area corresponding to the detected gesture.
  • the movement of the pointing finger of the right hand may be detected as a gesture, and may be recognized as a different operation based on the amount of change in each movement, corresponding to a finger with a small amount of movement change.
  • the gesture detection unit functions as an operation input detection unit that detects a gesture in the vicinity of the display screen of the display unit.
  • the digital camera is used as the photographing device.
  • the camera may be a digital single-lens reflex camera or a compact digital camera, such as a video camera or movie camera. It may be a camera for moving images, such as a mobile phone, a smart phone, a personal digital assistant (PDA), a personal computer (PC), a tablet computer, a game machine, or the like.
  • PDA personal digital assistant
  • PC personal computer
  • the present invention can be applied to any device for performing special effect image processing.
  • the present invention is not limited to a device for photographing, but can also be applied to a personal computer or a playback device that can store image data. In this case, special effect image processing is performed during playback (see S35 in FIG. 8). Therefore, the present invention can also be applied to playback equipment and programs.
  • control mainly described in the flowchart is often settable by a program and may be stored in a recording medium or a recording unit.
  • the recording method for the recording medium and the recording unit may be recorded at the time of product shipment, may be a distributed recording medium, or may be downloaded via the Internet.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Abstract

特殊効果画像処理を施す領域を簡単に変更することができる画像表示装置および画像表示方法を提供する。撮像した静止画または動画の画像を表示する画像表示部（１７）と、画像表示部（１７）に表示された画像の一部の位置を選択するタッチ出力部（１）と、タッチ出力部（１）によって選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する主被写体サイズ検出部（７）と、識別された主被写体領域を変更する主被写体領域更新部（９）と、選択された主被写体領域の少なくとも一部を除く領域に対して特殊効果画像処理を施す特殊効果画像処理部（１５）を有する。

Description

画像表示装置および画像表示方法
　本発明は、画像に特殊効果を施す画像表示装置および画像表示方法に関する。
　写真作品をより印象的に仕上げるために、画面周辺部の画像をぼかしたり、放射状に流したりする光学フィルタが市販されている。また、主要被写体が暗闇の中に浮き上がる効果を演出するために、主要被写体に対してスポットライトを照射する撮影技法もある。
　ただし、光学フィルタは撮影画面の中心部に主要被写体が存在することを前提にしているため、出来上がった写真は単調になりやすいという欠点がある。そこで、特許文献１では、光学フィルタ等によって特殊効果を付与する代わりに、指定した範囲に特殊効果を施すようにしたデジタルカメラが提案されている。
特開２０１３－５５６０９号公報
　上述の特許文献１では、指定した範囲について特殊効果を施すことはできるが、その範囲を変更する等、特殊効果を施す領域を変更するのが簡単ではない。
　本発明は、このような事情を鑑みてなされたものであり、特殊効果画像処理を施す領域を簡単に変更することができる画像表示装置および画像表示方法を提供することを目的とする。
　本発明の第１の態様に係る画像表示装置は、撮像した静止画または動画の画像を表示する表示部と、上記表示部の表示画面上へのタッチ操作または表示画面近傍でのジェスチャを検出する操作入力検出部と、上記表示部に表示された画像の一部の位置を選択する画像位置選択部と、上記画像位置選択部によって選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する画像識別部と、上記操作入力検出部で検出された圧力、位置変化、方向、速度、変位量の少なくとも１つに応じて上記主被写体画像領域を変更する画像領域変更部と、上記選択された主被写体領域の少なくとも一部を除く領域に対して特殊効果画像処理を施す特殊画像処理部と、を有する。
　本発明の第２の態様に係る画像表示方法は、撮像した静止画または動画の画像を表示部に表示する表示ステップと、上記表示部の表示画面上へのタッチ操作または表示画面近傍でのジェスチャを検出する操作入力検出ステップと、上記表示部に表示された画像の一部の位置を選択する選択ステップと、上記選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する認識ステップと、上記操作入力検出ステップで検出された圧力、位置変化、方向、速度、変位量の少なくとも１つに応じて上記主被写体画像領域を変更する変更ステップと、上記選択された主被写体領域の少なくとも一部を除く領域に対して特殊効果画像処理を施す特殊画像処理ステップと、を有する。
　本発明の第３の態様に係るコンピュータ読み取り可能な記録媒体は、撮像した静止画または動画の画像を表示部に表示する表示ステップと、上記表示部の表示画面上へのタッチ操作または表示画面近傍でのジェスチャを検出する操作入力検出ステップと、上記表示部に表示された画像の一部の位置を選択する選択ステップと、上記選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する認識ステップと、上記操作入力検出ステップで検出された圧力、位置変化、方向、速度、変位量の少なくとも１つに応じて上記主被写体画像領域を変更する変更ステップと、上記選択された主被写体領域の少なくとも一部を除く領域に対して特殊効果画像処理を施す特殊画像処理ステップと、をコンピュータに実行させるためのプログラムを記録する。
　本発明によれば、特殊効果画像処理を施す領域を簡単に変更することができる画像表示装置および画像表示方法を提供することができる。
本発明の一実施形態に係るデジタルカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るデジタルカメラの特殊効果画像処理の付与に関する構成を示すブロック図である。 本発明の一実施形態に係るデジタルカメラにおいて、表示部での表示状態と、タッチパネルの操作状態を示す図である。 本発明の一実施形態に係るデジタルカメラにおいて、ズームエフェクトを付与するための画像処理を説明する図である。 本発明の一実施形態におけるデジタルカメラにおける特殊効果画像処理の概略を説明する図である。 本発明の一実施形態におけるデジタルカメラにおける特殊効果画像処理の概略を説明する図である。 本発明の一実施形態におけるデジタルカメラのメイン動作を説明するフローチャートである。 本発明の一実施形態におけるデジタルカメラの再生モードの動作を説明するフローチャートである。 本発明の一実施形態におけるデジタルカメラの特殊画像処理の動作を説明するフローチャートである。 本発明の一実施形態におけるデジタルカメラにおいて、動作分析の一例を示す図表である。 本発明の一実施形態におけるデジタルカメラにおいて、手動による主被写体領域の移動動作の一例を示す図表である。 本発明の一実施形態におけるデジタルカメラの特殊画像処理の第１変形例の動作を説明するフローチャートである。 本発明の一実施形態におけるデジタルカメラにおいて、第１の変形例における動作分析の一例を示す図表である。 本発明の一実施形態におけるデジタルカメラにおいて、第１の変形例における動作分析の一例を示す図表である。 本発明の一実施形態におけるデジタルカメラにおいて、第１の変形例における動作分析の一例を示す図表である。 本発明の一実施形態におけるデジタルカメラの特殊画像処理の第２変形例の動作を説明するフローチャートである。 本発明の一実施形態におけるデジタルカメラの特殊画像処理の第２変形例の動作を説明するフローチャートである。
　以下、本発明の一実施形態としてデジタルカメラに本発明を適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
　また、本実施形態に係るデジタルカメラは、ライブビュー表示中または再生表示中に、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ：自動焦点調節）によって検出した被写体位置、またはタッチパネル等によってユーザによって指定された位置に基づいて選択された主被写体領域に対して特殊効果画像処理（アートフィルタ処理ともいう）を行うとともに、この画像領域をユーザのタッチパネル操作等によって変更することが可能である。
　次に、図１を用いて、本実施形態に係る画像表示装置の例であるデジタルカメラの主として電気的構成について説明する。このデジタルカメラは、交換レンズ１００と、この交換レンズ１００を装着するカメラ本体２００とから構成されている。なお、本実施形態のような交換レンズタイプ以外にも、レンズ鏡筒をカメラ本体に固定するタイプのカメラでも勿論かまわない。
　交換レンズ１００の内部には、焦点調節および焦点距離調節用の撮影光学系１０１（レンズ１０１ａ、レンズ１０１ｂ）と、開口量を調節するための絞り１０３が配置されている。撮影光学系１０１は光学系駆動機構１０７によって駆動され、絞り１０３は絞り駆動機構１０９によって駆動されるよう接続されている。
　光学系駆動機構１０７および絞り駆動機構１０９は、それぞれレンズＣＰＵ１１１に接続されており、このレンズＣＰＵ１１１は通信接点３００を介してカメラ本体２００に接続されている。レンズＣＰＵ１１１は交換レンズ１００内の制御を行うものであり、光学系駆動機構１０７を制御してピント合わせや、ズーム駆動を行うとともに、絞り駆動機構１０９を制御して絞り値制御を行う。
　カメラ本体２００内であって、撮影光学系１０１の撮影光軸上には、フォーカルプレーンタイプのシャッタ２１５、赤外カットフィルタ・ローパスフィルタ２１７、および撮像素子２２１が配置されている。シャッタ２１５は、シャッタ駆動機構２１３によって駆動され、所定時間の間、撮影光学系１０１によって形成される被写体光束を通過させる。
　赤外カットフィルタ２１７は、被写体光束から赤外光成分を除去するための光学フィルタである。撮像素子２２１は、撮影光学系１０１によって結像される被写体像を電気信号に光電変換する。なお、撮像素子２２１としては、ＣＣＤ（Charge Coupled Device）、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の二次元撮像素子を使用できることは言うまでもない。
　撮像素子２２１は撮像素子駆動回路２２３に接続され、この撮像素子駆動回路２２３によって、撮像素子２２１から画像信号の読出し等が行われる。撮像素子駆動回路２２３は、前処理回路２２５に接続されており、前処理回路２２５は、読み出された画像信号のＡＤ変換や、ライブビュー表示のための画素間引き処理のための切り出し処理等の画像処理のための前処理を行なう。
　前処理回路２２５は、データバス２５２に接続されている。このデータバス２５２には、シーケンスコントローラ(以下、「ボディＣＰＵ」と称す)２５１、被写体判定回路２５５、画像処理回路２５７、圧縮伸張回路２５９、ビデオ信号出力回路２６１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）制御回路２６５、入出力回路２７１、通信回路２７３、記録媒体制御回路２７５、フラッシュメモリ制御回路２７９、スイッチ検知回路２８３が接続されている。
　データバス２５２に接続されているボディＣＰＵ２５１は、後述するフラッシュメモリ２８１に記憶されているプログラムにしたがって、このデジタルカメラの動作を制御する。前述の前処理回路２２５とボディＣＰＵ２５１の間には、コントラストＡＦ回路２５３が接続されている。コントラストＡＦ回路２５３は、前処理回路２２５から出力される画像信号に基づいて高周波成分を抽出し、この高周波成分に基づくコントラスト情報をボディＣＰＵ２５１に出力する。
　データバス２５２に接続された画像処理回路２５７は、デジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、色補正、ガンマ（γ）補正、コントラスト補正等の各種の画像処理を行なう。また、この画像処理回路２５７は、主被写体画像領域と認識された領域の少なくとも一部を除く領域に対して、後述するズームエフェクト効果、ジオラマ効果、波紋効果等、種々の特殊効果画像処理を施す特殊画像処理部としての機能も果たす。また、画像処理回路２５７は、被写体判定回路２５５によって被写体と判定された被写体に対して、追尾機能を有する。すなわち、撮像素子２２１から画像信号が読み出される毎に、追尾対象となる被写体の位置を検出する。また、画像処理回路２５７は、画像の切り出しによって電子ズームのための画像処理を行う。
　圧縮伸張回路２５９はＳＤＲＡＭ２６７に記憶された画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式で圧縮するための回路である。なお、画像圧縮はＪＰＥＧやＴＩＦＦに限らず、他の圧縮方式も適用できる。
　ビデオ信号出力回路２６１は液晶モニタ駆動回路２６３を介して背面液晶モニタ２６およびファインダ内液晶モニタ２７に接続される。ビデオ信号出力回路２６１は、ＳＤＲＡＭ２６７、記録媒体２７７に記憶された画像データを、背面液晶モニタ２６およびファインダ内液晶モニタ２７に表示するためのビデオ信号に変換するための回路である。
　背面液晶モニタ２６は、カメラ本体２００の背面に配置されるが、撮影者が観察できる位置であれば、背面に限らないし、また液晶に限らず他の表示装置でも構わない。背面液晶モニタ２６は、撮像した静止画または動画の画像を表示する表示部として機能する。ファインダ内液晶モニタ２７は、カメラ本体２００の内部に配置され、接眼レンズと共に電子ファインダを構成する。
　ＳＤＲＡＭ２６７は、ＳＤＲＡＭ制御回路２６５を介してデータバス２５２に接続されており、このＳＤＲＡＭ２６７は、前処理回路２２５によって前処理された画像データ、画像処理回路２５７によって画像処理された画像データまたは圧縮伸張回路２５９によって圧縮された画像データなどを一時的に記憶するためのバッファメモリである。上述の撮像素子駆動回路２２３およびシャッタ駆動機構２１３に接続される入出力回路２７１は、データバス２５２を介してボディＣＰＵ２５１等の各回路とデータの入出力を制御する。
　レンズＣＰＵ１１１と通信接点３００を介して接続された通信回路２７３は、データバス２５２に接続され、ボディＣＰＵ２５１等とのデータのやりとりや制御命令の通信を行う。データバス２５２に接続された記録媒体制御回路２７５は、記録媒体２７７に接続され、この記録媒体２７７への画像データ等の記録及び画像データ等の読み出しの制御を行う。
　記録媒体２７７は、ｘＤピクチャーカード(登録商標)、コンパクトフラッシュ(登録商標)、ＳＤメモリカード(登録商標)またはメモリスティック(登録商標)等の書換え可能な記録媒体のいずれかが装填可能となるように構成され、カメラ本体２００に対して着脱自在となっている。その他、通信接点を介してハードディスクを接続可能に構成してもよい。
　フラッシュメモリ制御回路２７９は、フラッシュメモリ（Flash Memory）２８１に接続され、このフラッシュメモリ２３５は、デジタルカメラの動作を制御するためのプログラムが記憶されており、ボディＣＰＵ２５１はこのフラッシュメモリ２８１に記憶されたプログラムに従ってデジタルカメラの制御を行う。なお、フラッシュメモリ２８１は、電気的に書換可能な不揮発性メモリであり、電気的に書き換え可能な不揮発性メモリであれば、フラッシュメモリ以外のメモリであってもよい。
　デジタルカメラの電源のオンオフを行うためのパワースイッチ２８５は、スイッチ検知回路２８３を介してデータバス２５２に接続されている。また、シャッタレリーズ釦の第１ストローク（半押し）を検出する１Ｒスイッチや、第２ストローク（全押し）を検出する２Ｒスイッチを含むその他の各種スイッチ２８７も、スイッチ検知回路２８３を介してデータバス２５２に接続されている。また、各種スイッチ２８７としては、メニュー釦に連動するメニュースイッチ、再生釦に連動する再生スイッチ、その他の操作部材に連動するその他の各種スイッチ等を含んでいる。
　また、その他の各種スイッチとして、背面液晶モニタ２６の表示面側にタッチパネルが設けられている。このタッチパネルは、ユーザが背面液晶モニタ２６の表示面をタッチ操作すると、そのときのタッチ位置（ｘ、ｙ、ｒ、θ）、タッチ速度（ｖ）、操作圧力（ｐ）を検知し、スイッチ検知回路２８３を介して、ボディＣＰＵ２５１に出力する。
　着脱検知スイッチ２９１は、カメラ本体２００のボディマウントの近傍に配置され、カメラ本体２００に交換レンズ１００が装着されているか否かの判定を行う。着脱検知スイッチの出力は、スイッチ検知回路２８３を介してデータバス２５２に接続されている。
　参照画像記憶回路２５４には、特定被写体として様々な角度から見た様々な年齢の人物の顔、様々な種類及び形状の植物、さらには犬や猫などのペットの顔画像などが記憶されている。被写体判定回路２５５は、前処理回路２２５からデータバス２５２を介して入力した画像データと、参照画像記憶回路２５４に記憶されている参照用画像とを比較し、撮像した画像中に上述の特定被写体が含まれているか否かを判定する。
　次に、特殊画像処理に関わる部分の機能を図２ないし図４を用いて説明する。ここで図２は、図１のように構成されたデジタルカメラにおいて図５、図６で示した処理を実現する際の機能表現ブロック図である。そのため、この機能に直接的に関係しない機能部位については省略している。また、特に明記しない場合には、これらの各部は、ボディＣＰＵ２５１によってソフトウエア的に実行される。
　図２において、タッチ出力部１は、その他の各種スイッチ２８７内に設けられたタッチパネルの検知結果を出力する。このタッチパネル出力部１の出力は入力検出部３に出力される。入力検出部３は、タッチパネル出力部１からの検知結果に基づいて、タッチ操作が行われた位置（ｘ、ｙ）または（ｒ、θ）や、タッチ操作のタッチ速度（ｖ）、操作圧力（ｐ）等を検出する。ここで、（ｘ、ｙ）は、図３（ａ）に示すように、直交するｘ軸およびｙ軸上での位置であり、（ｒ、θ）は、画面中の基準位置を中心にした半径方向の距離ｒ、および特定方向に対する角度θである。また、図３（ｂ）に示すように、タッチ速度（ｖ）は、指Ｆがタッチする際の移動速度であり、操作圧力（ｐ）は、タッチパネル２８７ａに対する押圧力である。主被写体サイズ検出部７、主被写体領域更新部９、および特殊効果パラメータ設定部１３に出力する。タッチ出力部１および入力検出部は、表示部の表示画面上へのタッチ操作を検出する操作入力検出部として機能する。
　画像データ出力部５は、撮像素子２２１からの画像信号に基づく画像データ、または記録媒体２７７に記録され記録媒体制御回路２７５から読み出された画像データ等、画像データを主被写体サイズ検出部７に出力する。
　主被写体サイズ検出部７は、入力検出部３および画像データ出力部５からの出力を入力し、主被写体を識別し、また、そのサイズを検出する。すなわち、被写体判定回路２５５によって判定された被写体、またはタッチパネルからのタッチ操作の検知結果に基づいて、主被写体が検出される。また、主被写体が検出されると、画像処理回路２５７によって、その被写体のサイズが検知される。主被写体サイズ検出部７の検出結果は、主被写体領域更新部９に出力される。タッチ出力部１、主被写体サイズ検出部７等は、表示部に表示された画像の一部の位置を選択する画像位置選択部および画像位置選択部によって選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する画像識別部としての機能を果たす。
　入力検出部３と主被写体サイズ検出部７からの検出結果を入力する主被写体領域更新部９は、主被写体領域の更新を行う。被写体判定回路２５５によって被写体が認識された場合、またはタッチパネルにおけるタッチ操作で被写体が指定された後、タッチ操作等により、被写体の領域について変更されると、主被写体領域の更新を行う。主被写体領域更新部９は、操作入力検出部（タッチ出力部１、入力検出部３等）で検出された圧力、位置変化、方向、速度変位量の少なくとも１つに応じて画像識別部によって識別された主被写体領域を変更する画像領域変更部として機能する。この領域の更新の方法について、図５、図６を用いて後述する。
　主被写体領域更新部９の更新結果は主被写体領域枠設定部１１に出力される。この主被写体領域枠設定部１１は、画像表示部１７に画像を表示する際に、主被写体の領域枠を設定する。すなわち、主被写体領域枠設定部１１は、図３（ａ）に示すように、特殊効果処理領域Ａ中において、主被写体領域Ｂに対して、主被写体のサイズＣを考慮して主被写体領域枠Ｄを表示させる。このように、主被写体領域枠Ｄは、主被写体領域Ｂの少なくとも一部を含む領域を枠表示によって示す。
　入力検出部３と主被写体サイズ検出部７からの検出結果を入力する特殊効果パラメータ設定部１３は、画像処理部２５７において行う特殊効果画像処理におけるパラメータを設定する。パラメータとしては、例えば、特殊効果としてズームエフェクト効果が設定されている場合には、ズーム比、合成枚数、等がある。また、特殊効果としてジオラマ効果が設定されている場合には、フィルタぼかし量等がある。特殊効果として波紋効果が設定されている場合には、振幅相当歪み量、波長サイズ、等がある。
　特殊効果パラメータ設定部１３で設定されるパラメータは、特殊効果画像処理部１５に出力される。特殊効果画像処理部１５は、画像処理部２５７の一部であり、ズーム、ジオラマ、波紋等の種々の特殊効果を付与する。
　ズームエフェクトは、図４（ａ）に示す元画像Ｐから、ズーミングが行われた画像として、画像Ｚ０、Ｚ１、Ｚ２、Ｚ３、・・・Ｚｎを切り出す。そして、図４（ｂ）に示すように、それぞれの画像を同じ大きさとなるように補間処理を行い、更に、ローパスフィルタ処理を施した画像を生成し、この生成した画像を合成して合成画像Ｓを生成する。この合成画像Ｓは、中心部分のピントがあったままとし、周囲のピントがぼやけ、また画像が大きくなることにより、あたかも露光中に光学的に広角側から望遠側にズーミングしながら撮影したような画像となる。なお、元画像Ｐは、静止画像でもよく、また連写した画像から順次、Ｚ１～Ｚｎ画像を切り出すようにしてもよい。また、上記の例に限らず、光学ズームを望遠側から広角側へズームした画像を生成して合成することも勿論可能である。
　前述の特殊効果画像処理部１５と主被写体領域設定部１１の出力を入力する画像表示部１７は、ライブビュー表示や再生表示を行い、また特殊効果画像処理された画像の表示を行う。図１のブロック図では背面液晶モニタ２６が担うが、これに限らず、有機ＥＬ等の表示パネルでもよく、また、背面に限らず、他の場所に設けられていてもよい。また、画像位置の選択を行うことが可能であれば、ファインダ内液晶モニタ２７でもよい。
　次に、図５および図６を用いて、本実施形態における特殊効果の付与の一例について説明する。これらの図では、特殊効果画像処理として、図４を用いて説明したズームエフェクトが設定されているとして説明する。特殊効果画像処理としては、ズームエフェクト以外の特殊効果画像処理を施してもよいことは、勿論である。図５の画像Ｐ１は、ライブビュー画像であり、この画像Ｐ１に対して、特殊効果画像処理を行うために、主被写体領域を設定する（図５の画像Ｐ２、Ｐ３、Ｐ４、図６の画像Ｐ１１等参照）。なお、ライブビュー画像以外にも、記録媒体２７７から読み出した再生画像であってもよい。
　図５の画像Ｐ２および画像Ｐ３は、特殊効果画像処理を行うための中心の決定の例を示す。図５の画像Ｐ２は、被写体判定回路２５５によって主被写体として選択され、コントラストＡＦ回路２５３によって合焦した合焦点を中心点Ｃ１として決定した例を示す。また、図５の画像Ｐ３は、ユーザがタッチパネルをタッチ操作することにより（図３（ｂ）参照）、中心点Ｃ２を指定した例を示す。
　図５の画像Ｐ２、Ｐ３のように、中心が決定されると、次に、特殊効果画像処理を施すために使用する主被写体領域をユーザが適宜設定することができる。図６の画像Ｐ１１に示す例は、円形範囲が予め設定されている場合である。この円形範囲選択は、ユーザが指Ｆで画面上をタッチ操作すると、中心点Ｃ３とタッチ点を結ぶ線分を半径とする円形内が主被写体領域として選択される。主被写体領域が選択されると、特殊効果画像処理部１５は、図６の画像Ｐ１２に示すように、主被写体領域以外の領域に対してズームエフェクトの画像処理を施す。なお、エフェクト強度はデフォルトとする。
　図６の画像Ｐ１３に示す例は、円形範囲選択であって、かつエフェクト強度設定を行う場合である。図６の画像Ｐ１１、Ｐ１２に示した例は、エフェクト強度（特殊効果画像処理の強度）はデフォルトであったが、エフェクト強度を変えたい場合がある。そこで、この例では、中心から半径方向Ｒへのスライド操作を行う際のタッチ速度ｖや、操作圧力ｐ等に応じて、エフェクト強度を変化させた図６の画像Ｐ１４となるように、特殊効果画像処理部１５は特殊効果を付与する。
　図６の画像Ｐ１５に示す例は、主被写体領域として直線範囲が設定されている場合である。図６の画像Ｐ１１、Ｐ１３は円形範囲の選択であったが、この例では、矩形を選択する。すなわち、指Ｆでタッチ操作すると、そのタッチ位置を下辺（上辺）とする矩形が主被写体領域として選択される。主被写体領域が選択されると、特殊効果画像処理部１５は、図６の画像Ｐ１６に示すように、主被写体領域以外の領域に対してズームエフェクトの画像処理を施す。なお、エフェクト強度はデフォルトとする。
　図６の画像Ｐ１７に示す例は、直線範囲選択であって、かつエフェクト強度設定を行う場合である。図６の画像Ｐ１５、Ｐ１６に示した例は、エフェクト強度（特殊効果画像処理の強度）はデフォルトであった。この例では、中心から上辺または下辺方向Ｓへのスライド操作を行う際の指Ｆのタッチ速度ｖや、操作圧力ｐ等に応じて、エフェクト強度を変化させた図６の画像Ｐ１８となるように、特殊効果画像処理部１５は特殊効果を付与する。
　以上の説明は、先に中心点Ｃを決定していたが、これに限らず、中心点を決めずに主被写体領域を決定するようにしてもよい。図５の画像Ｐ４に示す例は、ユーザが囲むような軌跡を描くようにスライド操作を行うと、この軌跡を円形Ｃ４に近似してエリアを決定する。この場合、スライド操作の速度ｖ、操作圧力ｐ、中心点Ｃ３からの距離等応じて、特殊効果画像処理の際のパラメータを設定する。
　図５の画像Ｐ４のように、円形Ｃ４が決まると、この円形Ｃ４の領域が主被写体領域となる。特殊効果画像処理部１５は、円形Ｃ４の外側に対して、ズームエフェクトの画像処理を施して図６の画像Ｐ１９を得る。この場合、前述したように、スライド操作の速度ｖや操作圧力ｐに応じてエフェクト強度を変化させればよい。
　前述の画像Ｐ１～Ｐ１９の例は、いずれも中心点は、画面の中央に位置していたが、この位置は、当然、被写体の合焦位置や、またユーザのタッチ操作位置に応じて、異なっても良い。また、一旦、設定した中心点はスライド操作により移動可能である。図６の画像Ｐ２０は、指Ｆ１および指Ｆ２の２本指によるスライド操作で円形範囲を移動させる例である。この手動操作による移動については、図９のＳ６３、Ｓ６５、および図１１を用いて後述する。
　次に、本実施形態における動作について、図７ないし図９に示すフローチャートを用いて説明する。これらのフローチャート（後述する図１２、図１６、図１７に示すフローチャートも含む）は、フラッシュメモリ２８１に記憶されているプログラムに従って、ボディＣＰＵ２５１がカメラ本体内の各部を制御して実行する。
　図７に示すフローがスタートすると、まず、モード設定を行う（Ｓ１）。ここでは、撮影モードや再生モード等の設定を行い、また動画撮影の切り換え等、種々の設定を行う。さらに、主被写体領域の形状（例えば、円形や矩形）等も設定可能である。モード設定を行うと、次に、撮影モードか否かの判定を行う（Ｓ３）。ここでは、ステップＳ１における設定に基づいて判定する。
　ステップＳ３における判定の結果、撮影モードであった場合には、ライブビュー表示を行う（Ｓ５）。ここでは、撮像素子２２１からの画像信号に対して、画像処理回路２５７等がライブビュー表示用の画像処理を行い、背面液晶モニタ２６やファインダ内液晶モニタ２７に被写体像を動画で表示する。
　ライブビュー表示を行うと、次に、特殊画像処理を行う（Ｓ７）。ここでは、図５および図６を用いて説明したように、主被写体画像領域として選択された領域を除く領域に対して、特殊効果画像処理部１５が特殊効果画像処理を施す。この特殊画像処理における詳しい動作については、図９を用いて後述する。
　特殊画像処理を行うと、次に、１Ｒがオンかオフかを判定する（Ｓ９）。ここでは、その他の各種スイッチ２８７の内の１つである１ｓｔレリーズスイッチ（１Ｒ）がオンかオフかを判定する。レリーズ釦が半押しされると、１Ｒがオンとなる。この判定の結果、１Ｒがオフの場合には、ステップＳ５に戻る。
　一方、ステップＳ９における判定の結果、１Ｒがオンの場合には、次に、２Ｒがオンかオフかを判定する（Ｓ１１）。ここでは、その他の各種スイッチ２８７の内の１つである２ｎｄレリーズスイッチ（２Ｒ）がオンかオフかを判定する。レリーズ釦が半押しからさらに押されて全押し状態となると、２Ｒがオンとなる。この判定の結果、２Ｒがオフの場合には、２Ｒがオンとなるのを待つ。
　一方、ステップＳ１１における判定の結果、２Ｒがオンの場合には、次に、撮影を行う（Ｓ１３）。ここでは、撮像素子２２１からの画像信号に対して、画像処理回路２５７等が記録用の画像処理を行い、記録媒体２７７に画像データの記録を行う。なお、動画撮影モードの場合には、動画釦等の開始操作に応じて動作の記録を開始し、停止操作に応じて動作の記録を終了する等、動画撮影のための操作に従えばよい。
　撮影を行うと、次に、スリープか否かを判定する（Ｓ１５）。消費電力の浪費を防止するために、所定時間の間、カメラ操作が行われないと、低消費電力モードであるスリープ状態に入る。このステップでは、スリープ状態になったか否かを判定する。この判定の結果、スリープでなければ、ステップＳ１に戻る。
　ステップＳ１５における判定の結果、スリープでなければ、次に、タイムアウトか否かを判定する（Ｓ１７）。スリープ状態に入ってから更に所定時間が経過すると、電源オフとする。このステップでは、この所定時間が経過したか否かを判定する。
　ステップＳ１７における判定の結果、タイムアウトでなければ、割り込みがなされたか否かを判定する（Ｓ１９）。スリープ状態に入った場合には、所定の操作部材が操作された場合のみ、ボディＣＰＵ２５１が立ち上がり動作を開始する。このステップでは、この割り込み操作がなされたか否かを判定する。この判定の結果、割り込みが無い場合には、ステップＳ１７に戻り、一方、割り込みが有った場合には、ステップＳ１に戻る。また、ステップＳ１９における判定の結果、タイムアウトの場合には、この動作を終了し、電源をオフとする。
　ステップＳ３に戻り、このステップにおける判定の結果、撮影モードでなかった場合には、再生モードか否かを判定する（Ｓ２１）。ここでは、ステップＳ１におけるモード設定に基づいて判定する。この判定の結果、再生モードでない場合には、ステップＳ１に戻る。なお、撮影モードおよび再生モード以外のモードがある場合には、他のモードの設定の有無を判断し、他のモードを実行するようにしてもよい。一方、判定の結果、再生モードの場合には、再生モードを実行する。この再生モードについては、図８を用いて説明する。
　図８に示す再生モードに入ると、まず、画像選択を行う（Ｓ３１）。ここでは、背面液晶モニタ２６等にサムネイル表示を行い、その他の各種スイッチ２８７の内の１つである十字釦、またはタッチパネル等により、ユーザが画像を選択する。画像選択を行うと、次に画像再生を行う（Ｓ３３）。ここでは、ステップＳ３１において選択された画像を記録媒体２７７から読み出し、背面液晶モニタ２６等に表示する。
　画像再生を行うと、特殊画像処理を行う（Ｓ３５）。ここでは、記録媒体２７７から読み出した画像に対して、ステップＳ７と同様に、主被写体画像領域として選択された領域を除く領域に対して、特殊効果画像処理部１５が特殊効果画像処理を施す。この特殊画像処理における詳しい動作については、図９を用いて後述する。
　特殊画像処理を行うと、次に、タイムアウトか否かを判定する（Ｓ３７）。再生表示中に最後の操作を行ってから所定時間が経過すると、電源オフとする。このステップでは、この所定時間が経過したか否かを判定する。この判定の結果、タイムアウトでなければ、ステップＳ３１に戻り、再生モードを続行する。
　一方、ステップＳ３７における判定の結果、タイムアウトでなければ、割り込みがなされたか否かを判定する（Ｓ３９）。この判定の結果、割り込みが有った場合には、ステップＳ１に戻る。一方、ステップＳ３９の判定の結果、割り込みが無い場合には、パワーオフか否かを判定する（Ｓ４１）。ここでは、パワースイッチ２８５がオフにされたか否かを判定する。この判定の結果、オフでなければ、ステップＳ３１に戻り、再生モードを続行する。一方、ステップＳ４１の判定の結果、パワーオフであった場合には、この動作フローを終了する。なお、図８の再生モードにおいても、図７のフローと同様にスリープ状態に入るようにしても良い。
　次に、図９に示すフローチャートを用いて、ステップＳ７（図７）とステップＳ３５（図８）における特殊画像処理の詳しい動作について説明する。ズームエフェクト、ジオラマ、波紋等の特殊画像処理（アートフィルタ処理ともいう）にあたって、ユーザは予め特殊画像処理の種類を、メニュー画面において設定しておく。なお、特殊画像処理の種類は、メニュー画面において設定する以外にも、タッチ操作の際のアクション、例えば、マルチタッチ、タップ、スライド等のアクションと、特殊画像処理の種類を関連付けておけば、予め設定しておく必要はない。
　特殊画像処理のフローに入ると、まず、タッチパネル入力があるか否かを判定する（Ｓ５１）。ここでは、タッチ出力部１から出力され、入力検出部３の検出結果に基づいてタッチ入力があるか否かを判定する。この判定の結果、タッチパネル入力がない場合には、元のフローに戻る。
　ステップＳ５１における判定の結果、タッチパネル入力が有った場合には、次に、領域設定済みか否かの判定を行う（Ｓ５３）。図５の画像Ｐ４、図６の画像Ｐ１１、Ｐ１３、Ｐ１５、Ｐ１７等を用いて説明したように、ユーザが画像表示部１７の表示画面上でタッチ操作やスライド操作を行うと、主被写体領域を設定することができる。このステップでは、既にこの領域設定が行われているか否かを判定する。
　ステップＳ５３における判定の結果、領域設定が未だ行われていない場合には、主被写体領域の設定を行う（Ｓ５５）。ここでは、図５の画像Ｐ４、図６の画像Ｐ１１、Ｐ１３、Ｐ１５、Ｐ１７を用いて説明したように、タッチ操作等に応じて主被写体領域の設定を行う。
　主被写体領域の設定を設定すると、次に、特殊画像処理のためのパラメータ設定を行う（Ｓ５７）。ここでは、設定されている特殊効果画像処理の種類、および図５の画像Ｐ４、図６のＰ１２、Ｐ１４、Ｐ１６、Ｐ１８、Ｐ１７を用いて説明したエフェクトの強さ等に応じて、特殊効果パラメータ設定部１３がパラメータの設定を行う。
　特殊画像処理のパラメータ設定を行うと、次に、指定画像処理を行う（Ｓ５９）。ここでは、設定されている特殊効果画像処理の種類および設定されたパラメータに従って、特殊効果画像処理部１５が、主被写体領域以外の領域に対して特殊効果画像処理を施す。
　指定画像処理を行うと、次に、表示更新を行う（Ｓ６１）。ここでは、ステップＳ５９において主被写体領域以外の領域に対して特殊効果画像処理を行った画像を、画像表示部１７に表示する。
　表示更新を行うと、次に、主被写体が移動したか否かの判定を行う（Ｓ６３）。前述したように、画像処理部２５７は被写体の追尾機能を有していることから、ステップＳ５５において設定された主被写体領域の主被写体に対して追尾を行い、この追尾結果に基づいて、主被写体が移動したか否かの判定を行う。また、図６の画像Ｐ２０を用いて説明したように、本実施形態においては、タッチ操作を２点同時に行うことにより、主被写体の移動を行うことができる。この手動による主被写体の移動については、図１１を用いて説明する。
　ステップＳ６３における判定の結果、主被写体が移動した場合には、主被写体領域の移動を行う（Ｓ６５）ここでは、主被写体領域更新部９が主被写体領域の移動を行う。また、ステップＳ６３における判定の結果、主被写体が移動していない場合には、元のフローに戻る。
　ステップＳ５３に戻り、判定の結果、領域が設定済みの場合には、動作分析を行う（Ｓ６３）。主被写体領域が既に設定されており、この状態でタッチ操作やスライド操作がなされたことから、このタッチ操作等の動作を分析する。この動作分析の具体例については、図１０を用いて説明する。
　動作分析を行うと、次に、設定されている特殊効果画像処理がズームか否かを判定する（Ｓ６９）。この判定の結果、ズームが設定されている場合には、主被写体領域をズームする（Ｓ７１）。ズームエフェクトは、図４を用いて説明したように、主被写体がズーミングされ、流れたような感じになるような画像処理である。ここでは、主被写体領域をズーミングによって拡大する。この処理を行うと、ステップＳ５７に進み、ズームエフェクトを与える特殊効果画像処理を行う。
　一方、ステップＳ６９における判定の結果、ズームでなかった場合には、楕円か否かの判定を行う（Ｓ７３）。図５および図６を用いた説明では、主被写体領域の選択に当たっては、円形のみであったが、本フローにおいては、主被写体領域として円形のみならず、楕円形も選択可能としている。楕円形の選択にあたっては、タッチ操作において、２点タッチを行うので、このステップでは、入力検出部３から出力されるタッチ操作点の数に基づいて判定する。
　ステップＳ７３における判定の結果、楕円であった場合には、楕円指示と円中心との延長上の位置を基準に主被写体領域を楕円化する（Ｓ７５）。ここでは、主被写体領域更新部９がタッチ操作点に基づいて、主被写体領域を楕円化する。この処理を行うと、ステップＳ５７に進み、楕円化した主被写体領域に基づいて指定画像処理を行う。
　一方、ステップＳ７３における判定の結果、楕円でない場合には、キャンセルか否かの判定を行う（Ｓ７７）。キャンセル設定としては、例えば、画像表示部１７の所定表示領域外をタッチ操作する等により行う（図１０（ｂ）の検出領域２参照）。そこで、このステップでは、入力検出部３から出力されるタッチ操作の位置に基づいて判定する。なお、キャンセル設定は、この方法に限らず、例えば、特殊効果画像処理の解除釦等の操作によってキャンセルするようにしてもよい。
　ステップＳ７７における判定の結果、キャンセルでない場合には、次に、タイムアウトか否かを判定する（Ｓ７９）。ここでは、カメラ操作が実行されなくってからの時間を計時するタイマが、所定時間、経過したか否かを判定する。この判定の結果、タイムアウトでなかった場合には、元のフローに戻る。
　一方、ステップＳ７９における判定の結果タイムアウトでない場合、またはステップＳ７７における判定の結果、キャンセルであった場合には、特殊画像処理を終了する（Ｓ８１）。特殊画像処理を終了すると、元のフローに戻る。
　次に、図１０を用いて、ステップＳ６７における動作分析の一例について説明する。図１０（ａ）は、画像表示部１７上におけるタッチパネルの検出領域の区分を示す。この検出領域は、図１０（ｂ）に示すように、画面上の右上隅、右下隅、左上隅、左下隅が検出領域２であり、中央部分を含む大部分が検出領域１である。検出領域２は、図１０（ａ）の図表の最下段に示すように、特殊効果画像処理のキャンセルのために使用される（図９のＳ７７参照）。
　また、図１０（ａ）の最上段に記載の｜Δｘ１｜および｜Δｘ２｜は、２点タッチ操作（スライド操作）された場合において、それぞれのタッチ位置における時間変化量である。なお、領域が円形の場合には１点でよいことから、一方は固定と判断すればよい。図１０（ａ）から分かるように、タッチ操作点の変化量がＸ０未満の場合には、主被写体領域は円形に設定される。また、２点のタッチ操作点のうちの一方の変化量がＸ０以上有る場合には、主被写体領域は楕円に設定される。また、２点のタッチ操作点の両方の変化量がＸ０以上有る場合には、主被写体領域がズームされる（すなわち、領域の範囲が広くなる、または狭くなる）。
　また、本フローにおいては、図１０（ａ）に表示されている特殊画像処理としては、ステップＳ５７以下において、露光間ズーム処理（ズームエフェクト）が施される。なお、表示時間で輝度を時間とともに変更したり、彩度を時間とともに変更したりしてもよい。
　次に、図１１を用いて、ステップＳ６５における手動操作による主被写体領域の移動について説明する。図１１（ａ）において、移動位置の欄に示す移動位置Ｘは、指Ｆ１、Ｆ２（図６の画像Ｐ２０参照）の移動位置を示す。ここでは、指Ｆ１、Ｆ２は同一方向に移動しており、かつ主被写体領域（円形部分）にのっていることが必要である。また、図１１（ａ）において、位置ＸＭＩＮと位置ＸＭＩＮは、図１１（ｂ）に示すように、画像表示部１７上におけるタッチパネルの右側と左側近傍位置を示す。指Ｆ１、Ｆ２がタッチパネルの両側より先に動いた場合に、主被写体領域が消失してしまうのを防止するためである。
　なお、移動位置Ｘは主被写体領域を表わす円形の中心とするが、これに限らず、円周の移動方向に対する特定位置でもよい。この場合、領域の端部の扱いに合わせて設定すればよい。また、図１１では、Ｘ方向の動きについてのみ表わしたが、Ｙ方向についても同様の処理を行えばよい。
　このように、特殊画像処理のフローにおいては、タッチ操作により主被写体領域を設定することができ（Ｓ５３、Ｓ５７参照）、この領域はタッチ操作等により種々の領域（例えば、円形（図６のＰ１１、Ｐ１３）、矩形（図６のＰ１５、Ｐ１７）、楕円（Ｓ７３、Ｓ７５））が可能である。また、領域設定後であっても、更にタッチ操作等することにより、領域を変更することが可能である（Ｓ６７）。さらに、主被写体が移動すると、この移動に応じて主被写体領域も移動するようにしている（Ｓ６３、Ｓ６５）。このため、被写体が移動した場合に、主被写体領域を再設定する必要がなく、便利である。また、手動で主被写体領域の移動を行うこともできる（図１１参照）。主被写体領域設定後に、この領域をユーザの意図に応じて移動させることができ、便利である。
　次に、図１２に示すフローチャートを用いて、特殊画像処理の第１変形例について説明する。この第１変形例では、タッチ操作として、スワイプ操作、回転操作、押し込み操作を可能としている。
　この第１変形例に示すフローは、図９においてステップＳ６７～Ｓ７５を、図１０に置き換えたものであり、他のステップは同様であることから、省略してある。ステップ５３（図９）における判定の結果、領域が設定済みの場合には、動作分析を行う（Ｓ１０１）。この変形例においては、動作分析としてスワイプ動作、回転動作、押し込み動作について分析する。この動作分析については、図１３ないし図１５を用いて後述する。
　動作分析を行うと、次に、スワイプか否かを判定する（Ｓ１０３）。スワイプは、画像表示部１７の表示面上をなでるようにスライド操作を行うことである。このステップでは、動作分析結果に従って判定する。この判定の結果、スワイプであった場合には、スワイプ方向に電子ズーム倍率を拡大し、逆方向にスワイプの場合には、電子ズーム倍率を縮小する（Ｓ１０５）。なお、電子ズーム処理は画像処理回路２５７における画像の切り出しによって行う。
　ステップＳ１０５における処理を行うと、次に、連続入力があるか否かを判定する（Ｓ１０７）。スワイプ操作が連続的に行われることがあり、このステップでは、スワイプ操作が続いているか否かに基づいて判定する。この判定の結果、連続入力が有る場合には、ステップＳ１０１に戻る。一方、連続入力でない場合には、ステップＳ５７（図９）に進み、特殊効果画像処理を行う。
　ステップＳ１０３における判定の結果、スワイプでない場合には、回転か否かを判定する（Ｓ１０９）。回転は、画像表示部１７の表示面上で円形を描くようにタッチ操作を行うことである。このステップでは、動作分析結果に従って判定する。この判定の結果、回転であった場合には、電子ズーム画像を回転合成する（Ｓ１１１）。すなわち、合成した画像を、画像中心を基準に回転させて加算合成する処理を行うことで、ズーミングに更に回転を加えた特殊効果画像を生成する。電子ズーム画像を回転合成すると、ステップＳ５７（図９）に進み、特殊効果画像処理を行う。
　ステップＳ１０９における判定の結果、回転でない場合には、押し込みか否かの判定を行う（Ｓ１１３）。押し込みは、画像表示部１７の表示面上をユーザが押し込みにより押圧することをいう。このステップでは、動作分析結果に従うが、押圧の状態は、入力検出部３からの操作圧力ｐの検出結果に基づいて分かる。
　ステップＳ１１３における判定の結果、押し込みであった場合には、波面変形反射処理を行う（Ｓ１１５）。波面変形反射処理（波紋処理）は、あたかも水面に生じた波紋が移動していくのと類似の効果を生ずる画像処理である。波面変形反射処理を行うと、またはステップＳ１１３における判定結果が押し込み出なかった場合には、ステップＳ５７（図９）に進み、特殊効果画像処理を行う。
　次に、図１３ないし図１５を用いて、動作分析の例について説明する。図１３は、ユーザによってスワイプ操作がなされた場合の分析である。図１３の最上段に記載の｜Δｘ１｜は、スライド操作の変化量を示し、Ｖ１はスワイプ操作の際の速度を示している（入力検出部３において速度ｖとして検出）。｜Δｘ１｜と速度Ｖ１に応じて、図１３に示すように、動作としては、ズーム、スワイプ小、ズーム、スワイプ大のいずれかが設定され、画像処理として、全方向にズームまたはスワイプ方向のズーム比を拡大している。具体的には、スライド操作の変化量｜Δｘ１｜が予め設定された所定値よりも小さい場合（０）は画像処理のズーム変化量を小さくし、スライド操作の変化量｜Δｘ１｜が予め設定された所定値よりも大きい場合（１）は画像処理のズーム変化量を大きくする。また、速度Ｖ１が予め設定された所定値Ｖ０未満の場合（０）は、画像処理のズーム変化方向を全方向とし、速度Ｖ１が予め設定された所定値Ｖ０以上の場合（１）は、画像処理のズーム変化方向をスワイプされた方向とする。このように、スワイプの操作方法に応じて、画像処理の変更を行うことができる。
　次に、図１４を用いて、回転操作がなされた場合の分析について説明する。回転操作は、主被写体領域に指Ｆを載せた状態で、円を描くように指Ｆを摺動させる操作をいう。図１１（ｂ）に示すように、時計方向に操作するとマイナス方向であり、また反時計方向に操作するとプラス方向とする。２点のタッチ位置のそれぞれについて位置変化量Δｘ１、Δｘ２の方向に応じて、図１１（ａ）に示すように、画像処理を異ならせる。このように、回転操作方法に応じて、画像処理の変更を行うことができる。なお、図１４に示す例は、２点で回転操作された例であるが、これに限らず１点で回転操作でもよく、また３点以上の回転操作としてもよい。その場合には、識別できる画像処理数が異なる。
　次に、図１５を用いて、押し込み操作がなされた場合の分析について説明する。押し込み操作は、主被写体領域に指Ｆを載せた状態で、画像表示部１７の表示面を押圧操作することで、入力検出部３によって操作圧力ｐとして検出される。図１５において、Ｐ１、Ｐ２は、２点で押圧した場合のそれぞれの圧力を表し、またＰ０は所定の押圧力を示す。図１５に示すように、２点の押圧力の組合せにより、画像処理を異ならせている。なお、図１５に示す例は、２点で押圧操作された例であるが、これに限らず１点で押圧操作でもよく、また３点以上の押圧操作としてもよい。その場合には、識別できる画像処理数が異なる。
　このように、本発明の一実施形態の特殊画像処理の第１変形例においては、スワイプ、回転、押し込み操作によって、特殊効果画像処理を変更するようにしている。このため、簡単なアクションによって、迅速かつ簡単に特殊効果画像処理を変更することができる。なお、本発明の一実施形態におけるステップＳ６７における動作分析も併せて行い、それに伴う特殊効果画像処理を行うようにしてもよい。
　次に、図１６及び図１７を用いて、本発明の一実施形態の特殊画像処理の第２変形例について説明する。本変形例は、エフェクト強度をマニュアル指定することを可能としている。本変形例は、本発明の一実施形態に関する図９のフローチャートのステップＳ５１～Ｓ５９の処理を図１５、図１６のフローチャートのステップＳ２０１～Ｓ２５７に置き換えるだけである。
　図１６に示す特殊画像処理のフローに入ると、まず、タッチ入力が有るか否かを判定する（Ｓ２０１）。ここでは、タッチ出力部１から出力され、入力検出部３の検出結果に基づいて、図５の画像Ｐ３を用いて説明したような、１点をタッチするタッチ操作がなされたか否かを判定する。
　ステップＳ２０１における判定の結果、タッチ入力がない場合には、円入力が有るか否かを判定する（Ｓ２０３）。ここでは、タッチ出力部１から出力され、入力検出部３の検出結果に基づいて、図５の画像Ｐ４を用いて説明したように、囲った軌跡を描くようなスライド操作がなされたか否かを判定する。この判定の結果、円入力がない場合には、ステップＳ２０１に戻る。
　ステップＳ２０３における判定の結果、円入力が有った場合には、円領域設定を行う（Ｓ２０５）。ここでは、主被写体領域更新部９が、図５の画像Ｐ４のように、スライド操作による軌跡に近似した円領域を設定する。
　円領域の設定を行うと、次に指定画像処理（波紋）を行う（Ｓ２０７）。ここでは、特殊効果画像処理部１５が、主被写体領域以外の領域に対して、あたかも水面に生じた波紋が移動していくのと類似の効果を生ずる画像処理を施す（図６の画像Ｐ１９参照）。指定画像処理を行うと、ステップＳ６１（図９）に進む。
　ステップＳ２０１に戻り、この判定の結果、タッチ入力が有る場合には、次に、主被写体中心の決定を行う（Ｓ２１１）。ここでは、図５の画像Ｐ３に示すように、検出されたタッチ操作位置を主被写体の中心点と決定する。
　主被写体中心を決定すると、次に、領域は「円」か否かを判定する（Ｓ２１３）。主被写体領域の形状は予め設定されているので、このステップでは、設定されている形状に応じて判定する。
　ステップＳ２１３における判定の結果、領域が「円」であった場合には、次にタッチ入力が有るか否かを判定する（Ｓ２１５）。ここでは、入力検出部３からの検出出力に基づいてタッチ操作がなされたか否かを判定する。
　ステップＳ２１５における判定の結果、タッチ入力が有る場合には、円領域の設定を行う（Ｓ２１７）。図５の画像Ｐ１１は、タッチ操作がなされた場合である。このステップでは、主被写体領域更新部９が主被写体領域として円形を設定する。
　円形領域の設定を行うと、次に指定画像処理を行う（Ｓ２１９）。ここでは、特殊効果画像処理部１５が、円形の主被写体領域以外の領域に対して、特殊効果画像処理を施す。図６の画像Ｐ１２に示す例は、エフェクト強度がデファクトの場合における特殊効果画像処理がなされた場合である。ステップＳ２１９における指定画像処理を行うと、ステップＳ６１（図９）に進む。
　ステップＳ２１５における判定の結果、タッチ入力が無い場合には、スライド入力が有るか否かを判定する（Ｓ２３１、図１７）。ここでは、入力検出部３からの検出結果に基づいて、ユーザの指が画像表示部１７の表示画面上を摺動したか（スライド操作か）を判定する。
　ステップＳ２３１における判定の結果、スライド入力が有った場合には、次に、円領域の設定を行う（Ｓ２３３）。スライド操作がなされた場合は、例えば、図６の画像Ｐ１３のように、主被写体領域更新部９が主被写体領域として円形を設定する。
　円領域が設定されると、次にエフェクト強度の変更を行う（Ｓ２３５）。スライド操作がなされると、入力検出部３からの検出結果に基づいて、移動速度ｖや操作圧力ｐを検出する。この検出結果を用いて、エフェクト強度を変更する。
　エフェクト強度を変更すると、指定画像処理を行う（Ｓ２３７）。ここでは、特殊効果画像処理部１５が、円形の主被写体領域以外の領域に対して、ステップＳ２３５におけるエフェクト強度に応じて、特殊効果画像処理を施す。図６の画像Ｐ１４に示す例は、エフェクト強度に応じて特殊効果画像処理がなされた場合である。ステップＳ２３７における指定画像処理を行うと、ステップＳ６１（図９）に進む。
　ステップＳ２３１に戻り、この判定の結果、スライド入力がない場合には、マルチ入力が有るか否かを判定する（Ｓ２４１）。本変形例においては、２本指で主被写体領域を一緒に（同じ方向に同じ速度）スライド操作すると、領域の移動を行うことができる。ここでは、入力検出部３からの検出結果に基づいて、マルチ入力か否かを判定する。この判定の結果、マルチ入力でない場合には、ステップＳ２１５（図１６）に進む。
　ステップＳ２４１における判定の結果、マルチ入力で有る場合には、領域移動を行う（Ｓ２４３）。ここでは、入力検出部３からの検出結果に基づいて、主被写体領域を移動させる。図６の画像Ｐ２０に示す例は、主被写体領域の移動を示す。
　領域移動を行うと、次に、指定画像処理を行う（Ｓ２４５）。ここでは、主被写体領域を移動させた後に、主被写体領域以外の領域に対して、特殊効果画像処理を施す。ステップＳ２４５における指定画像処理を行うと、ステップＳ６１（図９）に進む。
　ステップＳ２１３（図１６）に戻り、この判定の結果、領域「円」でない場合には、次に、領域「線」であるか否かの判定を行う（Ｓ２２１）。ここでは、主被写体領域が予め「線」に設定されているか否かを判定する。この判定の結果、「線」に設定されていない場合には、タイマで終了する（Ｓ２２９）。ここでは、所定の時間、何ら操作がなされないと、特殊画像処理のフローを終了し、元のフローに戻る。
　ステップＳ２２１における判定の結果、領域「線」が設定されている場合には、次に、タッチ入力有りか否かを判定する（Ｓ２２３）。ここでは、入力検出部３からの検出出力に基づいてタッチ操作がなされたか否かを判定する。
　ステップＳ２１５における判定の結果、タッチ入力が有る場合には、線領域の設定を行う（Ｓ２２５）。図６の画像Ｐ１５は、タッチ操作がなされた場合である。このステップでは、主被写体領域更新部９が主被写体領域として矩形を設定する。
　線領域の設定を行うと、次に指定画像処理を行う（Ｓ２２７）。ここでは、特殊効果画像処理部１５が、線領域（矩形状）の主被写体領域以外の領域に対して、特殊効果画像処理を施す。図６の画像Ｐ１６に示す例は、エフェクト強度がデファクトの場合における特殊効果画像処理がなされた場合である。ステップＳ２２７における指定画像処理を行うと、ステップＳ６１（図９）に進む。
　ステップＳ２２３における判定の結果、タッチ入力が無い場合には、スライド入力が有るか否かを判定する（Ｓ２５１、図１７）。ここでは、入力検出部３からの検出結果に基づいて、ユーザの指が画像表示部１７の表示画面上を摺動したか（スライド操作か）を判定する。
　ステップＳ２５１における判定の結果、スライド入力が有った場合には、次に、線領域の設定を行う（Ｓ２５３）。スライド操作がなされた場合は、例えば、図６の画像Ｐ１７のように、主被写体領域更新部９が主被写体領域として線領域（矩形）を設定する。
　線領域が設定されると、次にエフェクト強度の変更を行う（Ｓ２５５）。スライド操作がなされると、入力検出部３からの検出結果に基づいて、移動速度ｖや操作圧力ｐを検出する。この検出結果を用いて、エフェクト強度を変更する。
　エフェクト強度を変更すると、指定画像処理を行う（Ｓ２５７）。ここでは、特殊効果画像処理部１５が、円形の主被写体領域以外の領域に対して、ステップＳ２５５におけるエフェクト強度に応じて、特殊効果画像処理を施す。図６の画像Ｐ１８に示す例は、エフェクト強度に応じて特殊効果画像処理がなされた場合である。ステップＳ２５７における指定画像処理を行うと、ステップＳ６１（図９）に進む。
　このように、本発明の一実施形態の特殊画像処理の第２変形例においては、エフェクト強度を手動操作で変更できるようにしている（Ｓ２３５、Ｓ２５５）。すなわち、スライド操作時の移動速度や押圧力に基づいて、エフェクト強度を変更できる。このため、ユーザの意図に従った特殊効果の強度とすることができる。
　以上説明したように、本発明の一実施形態や変形例においては、表示部の表示画面上へのタッチ操作を検出する操作入力検出部（例えば、タッチ出力部１、入力検出部３）と、画像表示部１７に表示された画像の一部の位置を選択する画像位置選択部（例えば、タッチパネルや合焦位置）と、画像位置選択部によって選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する画像識別部（例えば、主被写体サイズ検出部７）と、操作入力検出部で検出された圧力、位置変化、方向、速度、変位量の少なくとも１つに応じて、識別された主被写体領域を変更する画像領域変更部（例えば、主被写体領域更新部９）と、選択された主被写体領域の少なくとも一部を除く領域に対して特殊効果画像処理を施す特殊画像処理部１５を有している。このため、特殊効果画像処理を施す領域を簡単に変更することができる。
　また、本発明の一実施形態や変形例においては、画像領域変更部（例えば、主被写体領域更新部９）は、画像識別部（例えば、主被写体領域更新部９）によって認識された主被写体領域を操作入力検出部で検出された領域に変更することができる（例えば、図６の画像２０等）。タッチ操作により、特殊効果画像処理を施す領域を変更することができることから、簡単な操作で済む。
　また、本発明の一実施形態や変形例においては、画像領域変更部（例えば、主被写体領域更新部９）は、操作入力検出部（例えば、タッチ出力部１、入力検出部３）で検出された圧力、位置変化、方向、速度、変位量の少なくとも１つに応じて主被写体画像領域を変更する。また、エフェクト強度を変更することができる。
　また、本発明の一実施形態や変形例においては、操作入力検出部（例えば、タッチ出力部１、入力検出部３）は、タッチ操作の複数の操作のうち、画像領域の一部を固定する指示と、画像領域の一部を変更する指示をそれぞれ検出する。
　また、本発明の一実施形態や変形例においては、操作入力検出部（例えば、タッチ出力部１、入力検出部３）は、タッチ操作の複数の操作に基づき、特殊効果画像処理を時間に応じて変化させている。
　また、本発明の一実施形態や変形例においては、操作入力検出部（例えば、タッチ出力部１、入力検出部３）は、タッチ操作が所定の位置で検出された場合に、特殊効果画像処理をキャンセルしている（図９のＳ７７、図１０（ｂ）の検出領域２参照）。このため、タッチ操作で特殊効果画像処理をキャンセルすることができ、迅速に指示を出すことができる。
　なお、本発明の一実施形態や変形例においては、画像表示部１７の表示画面上へのタッチ操作によって特殊効果画像処理のための入力指示を行っていたが、これに限らず、例えば、表示画面近傍でのジェスチャを検出する操作入力検出部を備えるようにしても勿論かまわない。例えば、表示画面近傍でのジェスチャを検出し、主被写体領域を検出されたジェスチャに応じた領域に変更するようにしてもよい。また、他の例として、ジェスチャとして右手のひと指し指の動きを検出し、それぞれの動きの変化量に基づいて異なる操作として認識するようにしてもよく、動きの変化量が小さい指に対応する主被写体画像領域については領域を変更せず固定のままとし、動きの変化量が大きい指に対応する主被写体画像領域については動きに対応した位置に領域を変更して、ジェスチャに応じて主被写体画像領域の変化を異ならせてもよい。この場合、円形の領域は楕円に変化することになる。この場合、ジェスチャ検出部は、表示部の表示画面近傍でのジェスチャを検出する操作入力検出部として機能する。
　また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、特殊効果画像処理を行うための機器であれば、本発明を適用することができる。
　また、本発明は撮影のための機器に限らず、画像データ記憶可能なパーソナルコンピュータや再生装置等にも適用できる。この場合には、再生時に、特殊効果画像処理を施すようにする（図８のＳ３５参照）。したがって、再生用機器やまたプログラムにも本発明を適用することができる。
　また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
　また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
　本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (7)

  1. 　撮像した静止画または動画の画像を表示する表示部と、
    　上記表示部の表示画面上へのタッチ操作または表示画面近傍でのジェスチャを検出する操作入力検出部と、
    　上記表示部に表示された画像の一部の位置を選択する画像位置選択部と、
    　上記画像位置選択部によって選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する画像識別部と、
    　上記操作入力検出部で検出された圧力、位置変化、方向、速度、変位量の少なくとも１つに応じて上記主被写体画像領域を変更する画像領域変更部と、
    　上記選択された主被写体領域の少なくとも一部を除く領域に対して特殊効果画像処理を施す特殊画像処理部と、
    　を有することを特徴とする画像表示装置。
  2. 　上記画像領域変更部は、上記画像識別部によって認識された主被写体領域を上記操作入力検出部で検出された領域に変更することを特徴とする請求項１に記載の画像表示装置。
  3. 　上記操作入力検出部は、上記タッチ操作またはジェスチャの複数の操作のうち、上記画像領域の一部を固定する指示と、上記画像領域の一部を変更する指示をそれぞれ検出することを特徴とする請求項２に記載の画像表示装置。
  4. 　上記操作入力検出部は、上記タッチ操作またはジェスチャの複数の操作に基づき、上記特殊効果画像処理を時間に応じて変化させることを特徴とする請求項２に記載の画像表示装置。
  5. 　上記操作入力検出部は、上記タッチ操作またはジェスチャが所定の位置で検出された場合に、上記特殊効果画像処理をキャンセルすることを特徴とする請求項２に記載の画像表示装置。
  6. 　撮像した静止画または動画の画像を表示部に表示する表示ステップと、
    　上記表示部の表示画面上へのタッチ操作または表示画面近傍でのジェスチャを検出する操作入力検出ステップと、
    　上記表示部に表示された画像の一部の位置を選択する選択ステップと、
    　上記選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する認識ステップと、
    　上記操作入力検出ステップで検出された圧力、位置変化、方向、速度、変位量の少なくとも１つに応じて上記主被写体画像領域を変更する変更ステップと、
    　上記選択された主被写体領域の少なくとも一部を除く領域に対して特殊効果画像処理を施す特殊画像処理ステップと、
    　を有することを特徴とする画像表示方法。
  7. 　撮像した静止画または動画の画像を表示部に表示する表示ステップと、
    　上記表示部に表示された画像の一部の位置を選択する選択ステップと、
    　上記選択された画像位置に基づいて選択された画像領域を主被写体画像領域として認識する認識ステップと、
    　上記識別された主被写体領域を変更する変更ステップと、
    　上記選択された主被写体領域の少なくとも一部を除く領域に対して特殊効果画像処理を施す特殊画像処理ステップと、
    　を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2014/066024 2013-10-01 2014-06-17 画像表示装置および画像表示方法 WO2015049899A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015540405A JPWO2015049899A1 (ja) 2013-10-01 2014-06-17 画像表示装置および画像表示方法
CN201480053711.3A CN105594194B (zh) 2013-10-01 2014-06-17 图像显示装置和图像显示方法
US15/064,156 US9699389B2 (en) 2013-10-01 2016-03-08 Image displaying apparatus and image displaying method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-206230 2013-10-01
JP2013206230 2013-10-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/064,156 Continuation US9699389B2 (en) 2013-10-01 2016-03-08 Image displaying apparatus and image displaying method

Publications (1)

Publication Number Publication Date
WO2015049899A1 true WO2015049899A1 (ja) 2015-04-09

Family

ID=52778496

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/066024 WO2015049899A1 (ja) 2013-10-01 2014-06-17 画像表示装置および画像表示方法

Country Status (4)

Country Link
US (1) US9699389B2 (ja)
JP (1) JPWO2015049899A1 (ja)
CN (1) CN105594194B (ja)
WO (1) WO2015049899A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935787A (zh) * 2015-05-29 2015-09-23 努比亚技术有限公司 图像处理方法及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3008890A4 (en) * 2013-06-13 2016-05-04 Corephotonics Ltd ZOOM OF A DIGITAL CAMERA WITH DUAL IRIS
CN104796594B (zh) * 2014-01-16 2020-01-14 中兴通讯股份有限公司 一种预览界面特殊效果即时呈现方法及终端设备
CN106303493B (zh) * 2015-05-27 2018-06-29 深圳超多维光电子有限公司 图像处理方法及装置
KR20170029978A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
US11003348B2 (en) * 2015-10-13 2021-05-11 Carl Zeiss Vision International Gmbh Arrangement for determining the pupil center
CN106385591B (zh) * 2016-10-17 2020-05-15 腾讯科技（上海）有限公司 视频处理方法及视频处理装置
CN106789576A (zh) * 2016-12-23 2017-05-31 上海青声网络科技有限公司 一种图像生成方法及装置
JP7009096B2 (ja) * 2017-07-06 2022-01-25 キヤノン株式会社 電子機器およびその制御方法
WO2019071442A1 (zh) * 2017-10-10 2019-04-18 深圳传音通讯有限公司 一种变焦控制方法、装置及拍摄终端
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP6975842B2 (ja) * 2018-03-19 2021-12-01 富士フイルム株式会社 撮像装置、露光間ズーム撮影方法、プログラム及び記録媒体
US10902277B2 (en) * 2018-09-10 2021-01-26 Microsoft Technology Licensing, Llc Multi-region detection for images
CN114125567B (zh) * 2020-08-27 2022-12-13 荣耀终端有限公司 图像处理方法及相关装置
CN114666513B (zh) * 2022-03-01 2024-02-02 维沃移动通信有限公司 图像处理方法及装置
CN114785969A (zh) * 2022-05-30 2022-07-22 维沃移动通信有限公司 拍摄方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135376A (ja) * 2009-12-24 2011-07-07 Samsung Yokohama Research Institute Co Ltd 撮像装置及び画像処理方法
JP2012169723A (ja) * 2011-02-10 2012-09-06 Panasonic Corp 表示装置及びコンピュータプログラム
JP2013135398A (ja) * 2011-12-27 2013-07-08 Olympus Imaging Corp 画像合成装置
JP2013183244A (ja) * 2012-03-01 2013-09-12 Panasonic Corp 撮像装置及び携帯電話端末装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
JP3861641B2 (ja) * 2001-09-17 2006-12-20 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
WO2006059504A1 (ja) * 2004-11-30 2006-06-08 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置、画像処理プログラムおよび画像ファイルフォーマット
EP1871093A4 (en) * 2005-03-15 2009-09-02 Omron Tateisi Electronics Co IMAGE PROCESSOR, IMAGE PROCESSING METHOD AND SYSTEM, PROGRAM, AND RECORDING MEDIUM
KR20090066368A (ko) * 2007-12-20 2009-06-24 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
JP5110379B2 (ja) * 2008-04-17 2012-12-26 カシオ計算機株式会社 画像再生装置、画像再生方法、及びプログラム
KR101467293B1 (ko) * 2008-04-22 2014-12-02 삼성전자주식회사 촬영될 영상에 관련된 메뉴를 표시하는 ｕｉ 제공방법 및이를 적용한 촬영장치
JP5161690B2 (ja) * 2008-07-31 2013-03-13 キヤノン株式会社 情報処理装置及びその制御方法
KR20100058280A (ko) * 2008-11-24 2010-06-03 삼성전자주식회사 휴대 단말기를 이용한 영상 촬영 방법 및 장치
JP5326802B2 (ja) * 2009-05-19 2013-10-30 ソニー株式会社 情報処理装置、画像拡大縮小方法及びそのプログラム
CN102542610B (zh) * 2010-12-30 2014-04-16 福建星网视易信息系统有限公司 一种基于OpenGL ES的图像特效实现方法
KR101794000B1 (ko) * 2011-06-13 2017-11-06 삼성전자주식회사 터치 스크린을 구비하는 기기에서 스크롤 장치 및 방법
JP2013055609A (ja) * 2011-09-06 2013-03-21 Olympus Imaging Corp デジタルカメラ
JP5899745B2 (ja) * 2011-09-26 2016-04-06 カシオ計算機株式会社 画像処理装置、画像処理方法、及び、プログラム
KR20160023298A (ko) * 2014-08-22 2016-03-03 삼성전자주식회사 전자 장치 및 전자 장치의 입력 인터페이스 제공 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135376A (ja) * 2009-12-24 2011-07-07 Samsung Yokohama Research Institute Co Ltd 撮像装置及び画像処理方法
JP2012169723A (ja) * 2011-02-10 2012-09-06 Panasonic Corp 表示装置及びコンピュータプログラム
JP2013135398A (ja) * 2011-12-27 2013-07-08 Olympus Imaging Corp 画像合成装置
JP2013183244A (ja) * 2012-03-01 2013-09-12 Panasonic Corp 撮像装置及び携帯電話端末装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935787A (zh) * 2015-05-29 2015-09-23 努比亚技术有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
JPWO2015049899A1 (ja) 2017-03-09
US9699389B2 (en) 2017-07-04
US20160191819A1 (en) 2016-06-30
CN105594194B (zh) 2019-08-30
CN105594194A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
WO2015049899A1 (ja) 画像表示装置および画像表示方法
EP1981261B1 (en) Imaging device, display control method, and program
WO2017045558A1 (zh) 景深调节方法、装置及终端
US8988535B2 (en) Photographing control method and apparatus according to motion of digital photographing apparatus
JP2008009263A (ja) 撮像装置及びそのプログラム
JP2007019685A (ja) 撮像装置、制御方法、およびプログラム
JP2010182023A (ja) 携帯機器および操作制御方法
JP2011120143A (ja) 撮像装置および撮像方法
JP2004040712A (ja) 撮像装置
JP2013009189A (ja) 撮影装置および撮像方法
JP2011223294A (ja) 撮像装置
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
JP2008051938A (ja) カメラシステム及び合焦動作時の表示制御方法
JP4788172B2 (ja) 撮像装置及びプログラム
US10634976B2 (en) Imaging device
JP2010226185A (ja) 撮像装置および撮像装置の制御方法
JP2006128793A (ja) 撮像装置、及びその制御方法
JP2013210572A (ja) 撮像装置および撮像装置の制御プログラム
CN114830628A (zh) 影像制作方法
JP2010288171A (ja) 撮影装置および撮影方法
KR20100098122A (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP4810440B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2001211354A (ja) 電子カメラ
JP2011155692A (ja) 撮像装置及びそのプログラム
CN113873160B (zh) 图像处理方法、装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14851206

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015540405

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14851206

Country of ref document: EP

Kind code of ref document: A1