WO2016063736A1 - 操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法 - Google Patents

操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法 Download PDF

Info

Publication number
WO2016063736A1
WO2016063736A1 PCT/JP2015/078531 JP2015078531W WO2016063736A1 WO 2016063736 A1 WO2016063736 A1 WO 2016063736A1 JP 2015078531 W JP2015078531 W JP 2015078531W WO 2016063736 A1 WO2016063736 A1 WO 2016063736A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch panel
unit
touch
detection
detected
Prior art date
Application number
PCT/JP2015/078531
Other languages
English (en)
French (fr)
Inventor
明 鵜川
礼佑 長田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201580057158.5A priority Critical patent/CN107077285A/zh
Priority to JP2016555170A priority patent/JP6307626B2/ja
Publication of WO2016063736A1 publication Critical patent/WO2016063736A1/ja
Priority to US15/178,383 priority patent/US10152218B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0443Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single layer of sensing electrodes

Definitions

  • the present invention relates to an operation device, an information processing device including the operation device, and an operation reception method for the information processing device.
  • the touch panel detects the position of a finger or the like in the detection plane of the touch panel, for example, as a pressing operation.
  • An operation device having a touch panel determines a slide operation or the like based on a change with time of a position detected by the touch panel, and outputs the determination result.
  • An operation device using such a touch panel is provided in a mobile terminal device such as a smartphone or a mobile device such as a digital camera.
  • Japanese Patent Application Laid-Open No. 2006-252141 discloses an information input system that displays a character or a figure whose line thickness is changed according to the handwriting input when a user performs handwriting input on a resistive touch panel. Is disclosed.
  • Japanese Patent Application Laid-Open No. 2006-252141 discloses a technique for converting and displaying an input locus on a touch panel into a cursive script.
  • the moving speed of the pressing position on the touch panel of the user is calculated based on the pressing position on the touch panel detected every predetermined time.
  • the input trajectory is converted into a cursive script.
  • the operation using the touch panel may become more important in the future. For example, it is considered that an operation device that can detect more types of operations using a touch panel is required. For example, if the height of the finger from the detection plane of the touch panel can be detected, the types of operations that can be detected are greater than when only the position of the finger within the detection plane can be detected. If the operation information including the temporal change in height from the detection plane of the touch panel can be detected, the types of operations that can be further detected are increased.
  • a mobile terminal device such as a smartphone that supports various operations, a digital camera, or the like can be provided.
  • the user's finger or the like must be in accurate contact with the touch panel.
  • an operation device that detects a momentary movement such as a light touch by a user is used, a quick touch operation can be performed.
  • An object of the present invention is to provide an operation device, an information processing device including the operation device, and an operation reception method for the information processing device, which have many types of operations that can be detected.
  • the operating device detects a contact position where an external object is in contact, outputs a result of the detection, and the object based on the detection result output by the touch panel.
  • the touch panel is divided by a straight line based on the trajectory detected from the start position where the touch panel starts to touch the end position where the object leaves the touch panel and the trajectory detected by the detection section
  • a drawing determination unit that determines whether or not a drawing operation has been performed.
  • an information processing apparatus including an operating device includes a plurality of the operating device, a display unit that displays an image provided so as to overlap the touch panel, and a plurality of the drawing determination units.
  • An image processing unit that trims a region corresponding to the closed region from the image to generate trimmed image data.
  • an operation reception method is an operation reception method for an information processing apparatus having an operation device including a touch panel that detects a contact position where an external object is in contact and outputs a result of the detection. And, based on the detection result output by the touch panel, detecting a trajectory from a start position at which the object starts to contact the touch panel to an end position at which the object is separated from the touch panel; Determining whether or not a drawing operation for dividing the touch panel by a straight line has been performed based on a trajectory.
  • the operating device has a detection plane, and includes a height of the detected point with respect to the detection plane and an in-plane position that is a position of the detected point projected on the detection plane.
  • an information processing apparatus including an operation device includes the operation device described above and an image processing unit that performs processing on image data based on the operation information.
  • the operation reception method includes a detection plane, the height of the detected point with respect to the detection plane, and an in-plane position that is a position of the detected point projected on the detection plane.
  • An operation receiving method for an information processing apparatus having an operation device having a touch panel for detecting a touch position the method comprising: obtaining a height of a detected point with respect to a detection plane of the touch panel; and Detecting an in-plane position that is a position of a detection point; obtaining operation information including a change in the height of the detected point and the in-plane position with time; and outputting the operation information. Including.
  • an operation device an information processing device including the operation device, and an operation reception method for the information processing device, which have many types of operations that can be detected.
  • FIG. 1 is a block diagram illustrating an outline of a functional configuration example of the mobile device according to the first embodiment.
  • FIG. 2 is a flowchart illustrating an outline of processing executed by the mobile device according to the first embodiment.
  • FIG. 3 is a schematic diagram for explaining a situation in which a user photographs a subject using a mobile device.
  • FIG. 4 is a diagram illustrating an example of a live view image displayed on the display unit of the mobile device under the situation of FIG.
  • FIG. 5A is a flowchart illustrating an outline of an example of the touch determination process.
  • FIG. 5B is a flowchart illustrating an outline of an example of the touch determination process.
  • FIG. 6 is a diagram schematically illustrating an example of a touch operation on the touch panel.
  • FIG. 7 is a diagram schematically illustrating an example of the drawing operation.
  • FIG. 8 is a diagram schematically illustrating an example of a slide operation on the touch panel.
  • FIG. 9 is a diagram schematically illustrating an example of the first line drawing operation on the touch panel.
  • FIG. 10 is a diagram schematically illustrating an example of the second line drawing operation on the touch panel.
  • FIG. 11 is a diagram schematically illustrating an example of a change in touch width in a slide operation.
  • FIG. 12 is a diagram schematically illustrating an example of a change in touch width in the first line drawing operation.
  • FIG. 13 is a diagram schematically illustrating an example of a change in touch width in the second line drawing operation.
  • FIG. 14 is a diagram illustrating an example of a touch width on the touch panel.
  • FIG. 15 is a diagram illustrating another example of the touch width on the touch panel.
  • FIG. 16 is a diagram schematically illustrating an example of an image displayed on the display unit.
  • FIG. 17 is a diagram schematically illustrating an example of an image displayed on the display unit.
  • FIG. 18 is a diagram schematically illustrating an example of a closed region formed by a drawing operation.
  • FIG. 19A is a flowchart illustrating an outline of an example of a touch determination process executed by the mobile device according to the second embodiment.
  • FIG. 19B is a flowchart illustrating an outline of an example of touch determination processing executed by the mobile device according to the second embodiment.
  • FIG. 19A is a flowchart illustrating an outline of an example of a touch determination process executed by the mobile device according to the second embodiment.
  • FIG. 19B is a flowchart illustrating an outline of an example of touch determination processing executed by the mobile device according to the second embodiment.
  • FIG. 20 is a schematic diagram for explaining a method of calculating the touch width predicted at the screen edge of the display area in the display unit calculated by the line drawing determination unit.
  • FIG. 21A is a flowchart illustrating an outline of an example of touch determination processing executed by the mobile device according to the third embodiment.
  • FIG. 21B is a flowchart illustrating an outline of an example of touch determination processing executed by the mobile device according to the third embodiment.
  • FIG. 22 is a schematic diagram for explaining the outline of the determination method determined by the line drawing determination unit.
  • FIG. 23 is a block diagram illustrating an outline of a functional configuration example of the mobile device according to the fourth embodiment.
  • FIG. 24 is a schematic diagram illustrating an outline of a configuration example of a touch panel according to the fourth embodiment.
  • FIG. 25 is a schematic diagram illustrating an outline of a configuration example of a touch panel according to the fourth embodiment.
  • FIG. 26A is a flowchart illustrating an overview of an example of touch determination processing executed by the mobile device according to the fourth embodiment.
  • FIG. 26B is a flowchart illustrating an outline of an example of touch determination processing executed by the mobile device according to the fourth embodiment.
  • FIG. 27 is a schematic diagram for explaining the outline of the determination method determined by the line drawing determination unit.
  • FIG. 28 is a block diagram illustrating an outline of a functional configuration example of the mobile device according to the fifth embodiment.
  • FIG. 29 is a diagram schematically illustrating an example of the first operation on the touch panel.
  • FIG. 30 is a diagram schematically illustrating an example of the second operation on the touch panel.
  • FIG. 31 is a schematic diagram showing an example of the relationship between the detected amount of movement of the in-plane position and the magnitude of the capacitance with respect to time in a touch operation.
  • FIG. 32 is a schematic diagram illustrating an example of the relationship between the detected amount of movement of the in-plane position and the magnitude of the capacitance with respect to time in a slide operation.
  • FIG. 33 is a schematic diagram illustrating an example of the relationship between the detected amount of movement of the in-plane position and the magnitude of the capacitance with respect to time in the first operation.
  • FIG. 34 is a schematic diagram illustrating an example of the relationship between the detected amount of movement of the in-plane position and the magnitude of the capacitance with respect to time in the second operation.
  • FIG. 35 is a flowchart illustrating an outline of an example of the portable device control process according to the fifth embodiment.
  • FIG. 36 is a flowchart illustrating an overview of an example of a shooting mode process according to the fifth embodiment.
  • FIG. 37 is a flowchart illustrating an outline of an example of an operation determination process according to the fifth embodiment.
  • FIG. 38 is a diagram illustrating an example of an image that is a target of image processing according to the first operation.
  • FIG. 39 is a diagram for explaining an example of the first operation by the user.
  • FIG. 40 is a diagram illustrating a display when image processing according to the first operation is performed on an image.
  • FIG. 41 is a diagram illustrating an example of an image to be subjected to image processing according to the second operation.
  • FIG. 42 is a diagram illustrating an example of a display when the image processing according to the second operation is performed on the image.
  • FIG. 43 is a diagram illustrating another example of the display when the image processing according to the second operation is performed on the image.
  • FIG. 44 is a flowchart showing an outline of an example of a playback mode process according to the fifth embodiment.
  • FIG. 1 is a block diagram showing a functional configuration of a portable device according to the first embodiment of the present invention.
  • a portable device 1 shown in FIG. 1 includes an imaging unit 2, a display unit 3, a touch panel 4, an operation unit 5, a recording unit 6, a control unit 7, and a clock 8.
  • the imaging unit 2 images a subject and generates image data of the subject.
  • the imaging unit 2 includes a plurality of lenses, shutters, diaphragms, CCD (Charge-Coupled Device) image sensors or CMOS (Complementary Metal-Oxide Semiconductor) image sensors, and analog image data generated by the imaging devices as digital images. It includes an A / D conversion circuit that converts data, a drive unit that drives the focus lens, and the like.
  • the imaging unit 2 forms a subject image on the imaging surface of the image sensor with an optical system, and generates image data based on the subject image.
  • the imaging unit 2 may have a mechanism for detecting the distance to the subject.
  • the image sensor may include a phase difference detection pixel that detects a subject distance based on the phase difference.
  • the imaging unit 2 images a subject under the control of the control unit 7 and outputs image data of the subject to the control unit 7.
  • the display unit 3 displays an image corresponding to the image data under the control of the control unit 7.
  • the display unit 3 includes a display panel made of liquid crystal or organic EL (Electro Luminescence), a display drive circuit, and the like.
  • the live view image display etc. which sequentially display the live view image corresponding to the image data which 2 produces
  • the display unit 3 appropriately displays operation information of the mobile device 1 and information related to photographing.
  • the touch panel 4 is provided on the display screen of the display unit 3 so as to detect a contact position (coordinate information) where an external object is in contact.
  • the touch panel 4 outputs coordinate information based on the detection result.
  • any method among a resistive film method, a capacitance method, an optical method, and the like may be used.
  • the touch panel 4 outputs coordinate information of an area including a position where the object is in contact.
  • the touch panel 4 outputs coordinate information on the surface of the touch panel 4 at least at two places.
  • the touch panel 4 detects a plurality of peripheral coordinate information in addition to the coordinate information corresponding to the position where the object touches, and outputs the coordinate information.
  • the operation unit 5 receives input of various operations related to the mobile device 1.
  • the operation unit 5 receives an instruction input by the user, and transmits the instruction to the control unit 7 as an operation signal.
  • the operation unit 5 includes, for example, a power switch, a release switch, a mode switch, and the like.
  • the recording unit 6 records image data generated by the imaging unit 2, various programs for operating the mobile device 1, various data and parameters used during the execution of the program, and the like.
  • the recording unit 6 is configured using a recording medium such as a flash memory, an SDRAM (Synchronous Dynamic Random Access Memory), and a memory card.
  • the control unit 7 includes an integrated circuit such as a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array).
  • the control unit 7 may be configured by one integrated circuit or the like, or may be configured by combining a plurality of integrated circuits. The operation of the control unit 7 is performed, for example, according to a program recorded in the recording area of the recording unit 6 and various circuits.
  • the control unit 7 comprehensively controls each unit of the mobile device 1.
  • the control unit 7 includes a detection unit 71, a drawing determination unit 72, a closed region determination unit 73, an image processing unit 74, an imaging control unit 75, and a display control unit 76.
  • the detection unit 71 moves the object (touch) away from the touch panel 4 from the direction of movement of the object (touch) with respect to the touch panel 4 and the contact position (start position) where the object contacts.
  • the trajectory up to the end position is detected.
  • the detection unit 71 detects the movement from one end side to the other end side between the end portions in the display area of the display unit 3 with respect to the object, and detects the behavior of the object at the end position where the object is away from the touch panel 4. .
  • the behavior of the object is detected as a change in area or width where the object contacts the touch panel 4.
  • the line drawing determination unit 72 performs a line drawing operation for dividing the screen in the display area of the display unit 3 based on the object movement locus detected by the detection unit 71 every time the detection unit 71 detects the object movement locus. Determine whether it was done. Specifically, the line drawing determination unit 72 determines whether or not a line drawing operation has been performed based on the movement trajectory of the object detected by the detection unit 71 and changes in the area and width in which the object contacts the touch panel 4. .
  • the closed region determination unit 73 determines whether or not a closed region is formed in the display region of the display unit 3 based on a plurality of determination results by the line drawing determination unit 72.
  • the closed region is a closed region formed in the display region of the display unit 3 by a plurality of drawing operations.
  • the image processing unit 74 performs white balance correction, gamma correction, shading, noise removal, brightness and saturation adjustment, and the like on the image data.
  • the image processing unit 74 also performs image processing for changing the expression of the image, such as color enhancement, black and white, reduction in peripheral light amount, color development, and contrast enhancement. Further, when the closed region determination unit 73 determines that the closed region has been formed, the image processing unit 74 trims the region corresponding to the closed region from the image displayed on the display unit 3 to generate trimmed image data.
  • the imaging control unit 75 controls the operation of the imaging unit 2. Further, when the closed region determination unit 73 determines that the closed region has been formed, the imaging control unit 75 causes the imaging unit 2 to perform shooting.
  • the display control unit 76 controls the display mode of the display unit 3.
  • the display control unit 76 causes the display unit 3 to display an image corresponding to the image data generated by the imaging unit 2 and subjected to image processing by the image processing unit 74.
  • the display control unit 76 causes the display unit 3 to display a menu indicating the operation procedure.
  • the display control unit 76 causes the display unit 3 to display the trajectory of the object depicted by the drawing operation.
  • the clock 8 transmits time information to the control unit 7 as a signal. This time information is used for recording the time when the image is acquired. This time information may be used to take a timing when measuring a change with time of a signal detected from the touch panel 4.
  • FIG. 2 is a flowchart showing an outline of processing executed by the mobile device 1.
  • step S101 the display control unit 76 causes the display unit 3 to display a live view image corresponding to the live view image data continuously generated by the imaging unit 2.
  • FIG. 3 is a schematic diagram illustrating a situation where the user captures an image of the subject P1 using the portable device 1.
  • FIG. 4 is a diagram illustrating an example of a live view image displayed on the display unit 3 of the mobile device 1 under the situation of FIG. As shown in FIGS. 3 and 4, the user determines the composition for the subject P1 (dog) while viewing the live view image LV1 displayed on the display unit 3 of the mobile device 1. In this case, the display control unit 76 superimposes and displays the operation icon A1 and the operation icon A2 that receive instructions for various operations of the mobile device 1 on the live view image LV1.
  • step S102 it is determined whether or not the detection unit 71 has detected a touch on the touch panel 4.
  • step S102: Yes the process proceeds to step S103.
  • step S ⁇ b> 103 the mobile device 1 executes a touch determination process that accepts an operation corresponding to the touch. Details of the touch determination process will be described later. After step S103, the process proceeds to step S104.
  • step S102 when the detection unit 71 has not detected a touch on the touch panel 4 (step S102: No), the process proceeds to step S104.
  • step S104 it is determined whether or not there has been a shooting instruction from the operation unit 5. If there is a shooting instruction from the operation unit 5 (step S104: Yes), the process proceeds to step S105.
  • step S105 the imaging control unit 75 causes the imaging unit 2 to perform imaging. After step S105, the process proceeds to step S106.
  • step S104 when there is no photographing instruction from the operation unit 5 (step S104: No), the process proceeds to step S106.
  • step S106 it is determined whether or not there is an instruction from the operation unit 5 to end the shooting. If there is an end instruction (step S106: Yes), this process ends. On the other hand, when there is no end instruction (step S106: No), the process returns to step S101.
  • 5A and 5B are flowcharts showing an overview of the touch determination process.
  • step S201 the detection unit 71 detects the touch width and the touch position from the touch start position to the touch end position based on the position signal input from the touch panel 4.
  • the touch start position is a position where a user's finger as an example of an object first touches the touch panel 4.
  • the touch end position is a position where the user's finger is separated from the touch panel 4.
  • the detection unit 71 detects the moving direction of the touch position with respect to the touch panel 4 and the locus from the touch start position to the touch end position.
  • step S203 the detection unit 71 detects a change in the touch width from the touch start position to the touch end position based on the detection results in step S201 and step S202.
  • step S204 the drawing determination unit 72 determines whether the touch start position and the touch end position on the touch panel 4 are the same position based on the detection result detected by the detection unit 71.
  • step S204: Yes the process proceeds to step S205.
  • step S205 the line drawing determination unit 72 determines that the detected operation is a touch operation.
  • FIG. 6 is a diagram schematically showing a touch operation on the touch panel 4.
  • the touch operation is an operation in which the user moves the detected body F, for example, a finger, vertically to the detection plane 4 ⁇ / b> S of the touch panel 4 and then moves the detected body vertically away from the detection plane.
  • the direction in which the detection target is brought close to or away from the detection object may not be strictly vertical. How much inclination is allowed is appropriately adjusted by setting parameters.
  • step S206 it is determined whether or not there is an icon for instructing the operation of the mobile device 1 on the live view image corresponding to the touch position detected by the detection unit 71. If there is an icon for instructing operation of the mobile device 1 (step S206: Yes), the process proceeds to step S207.
  • step S207 the imaging control unit 75 executes processing corresponding to the icon. For example, the imaging control unit 75 changes the aperture value of the imaging unit 2 when an icon for receiving an instruction signal for changing the aperture value of the imaging unit 2 is touched. After step S207, the process returns to the main routine of FIG.
  • step S206 when it is determined that there is no icon for instructing the operation of the mobile device 1 on the live view image corresponding to the touch position (step S206: No), the process returns to the main routine of FIG.
  • Step S204 when it is determined that the touch start position and the touch end position are not the same position (Step S204: No), the process proceeds to Step S208.
  • step S208 the line drawing determination unit 72 determines whether or not the touch position has moved from the touch start position toward the screen edge based on the detection results detected by the detection unit 71 in steps S201 to S203. Specifically, for example, as illustrated in FIG. 7, when the user moves the touch position to the screen end in the diagonally downward direction of the display unit 3, the line drawing determination unit 72 directs the user toward the screen end of the touch panel 4. It is determined that the finger has been moved. When it is determined that the user has moved the touch position toward the screen edge of the touch panel 4 (step S208: Yes), the process proceeds to step S209. On the other hand, when it is determined that the user does not move the finger toward the screen edge of the touch panel 4 (step S208: No), the process returns to the main routine of FIG.
  • step S209 the drawing determination unit 72 determines whether or not the touch start position is the screen edge of the display area in the display unit 3 based on the detection results detected by the detection unit 71 in steps S201 to S203.
  • the screen edge does not need to be the edge of the display area in the display unit 3, but includes the vicinity of the edge of the display area.
  • the line drawing determination unit 72 divides the display area in the display unit 3 at a predetermined interval, and determines a divided area including the screen edge in the display area as the screen edge. For example, when the vertical and horizontal directions of the display area in the display unit 3 are each divided into five, the divided areas positioned at the top, bottom, left, and right edges are determined as screen edges.
  • the screen end of the display unit 3 means the end of the touch panel 4 provided on the display unit 3.
  • step S ⁇ b> 210 the line drawing determination unit 72 determines whether or not the touch width has increased with time during movement from the touch start position to the touch end position based on the detection result detected by the detection unit 71. .
  • the touch width increases with time (step S210: Yes)
  • the process proceeds to step S211.
  • step S211 the line drawing determination unit 72 determines that the movement from the touch start position toward the touch end position is a line drawing operation.
  • the drawing operation is an operation of dividing the display area of the display unit 3 into a plurality of screens. That is, the drawing operation is an operation for dividing the detection area of the touch panel 4.
  • FIG. 8 is a diagram schematically showing a slide operation on the touch panel 4.
  • FIG. 9 is a diagram schematically illustrating an example of a drawing operation on the touch panel 4.
  • the user When performing a slide operation on the touch panel 4, as shown in FIG. 8, the user first surely presses the detection target F that is a finger to a desired position on the detection plane 4 ⁇ / b> S of the touch panel 4 (FIG. 8). (A) ⁇ FIG. 8B). In this state, the user moves the finger to another position (FIG. 8 (b) ⁇ FIG. 8 (c) ⁇ FIG. 8 (d)).
  • the detected object F moves substantially perpendicular to the detection plane 4S. However, this vertical need not be exact.
  • the user presses the finger securely at the same position on the touch panel 4.
  • the touch width increases from the touch width B to the touch width C at the same position.
  • the slide operation shown in FIG. 8 it is important that the user surely moves from a desired position to another position. Therefore, as shown in FIGS. 11, 14, and 15, the user surely presses the finger at the touch start position on the touch panel 4 (touch width B in FIG. 14 ⁇ touch width C in FIG. 15), and touch starts.
  • the touch width from the position to the touch end position is substantially constant (FIG. 11).
  • first line drawing operation a line drawing operation
  • the user first selects a desired surface on the detection plane 4S of the touch panel 4.
  • the detected object F which is a finger
  • the detected object F is lightly applied to the position (FIG. 9 (a) ⁇ FIG. 9 (b)).
  • the user instantaneously moves the finger to another position (FIG. 9B ⁇ FIG. 9C ⁇ FIG. 9D).
  • the user needs only to be able to detect the movement of the finger on the touch panel 4 even if the finger is slightly away from the touch panel 4.
  • the touch width decreases with time toward the edge of the display area in the display unit 3 (touch width C ⁇ touch width B).
  • second line drawing operation When another line drawing operation (hereinafter referred to as “second line drawing operation”) is performed on the touch panel 4, as shown in FIG. 10, the user firstly selects a desired position on the detection plane 4 ⁇ / b> S of the touch panel 4. Lightly touch the detected object F, which is a finger (FIG. 10 (a) ⁇ FIG. 10 (b)). In this state, the user instantaneously moves the finger to another position (FIG. 10 (b) ⁇ FIG. 10 (c) ⁇ FIG. 10 (d)).
  • the second line drawing operation shown in FIG. 10 is performed, the user can detect the movement of the finger even if the finger starts touching at a position slightly away from the desired position.
  • the second line drawing operation is performed with the touch width gradually increasing from one screen end of the display unit 3 toward the other screen end and then toward the other screen end.
  • the touch width gradually decreases (touch width B ⁇ touch width C ⁇ touch width B). More specifically, in the second line drawing operation, the touch width at the touch start position gradually increases with the movement on the display area in the display unit 3, and then toward the end of the display area in the display unit 3. Gradually becomes smaller.
  • the line drawing determination unit 72 changes the touch width from the touch start position to the touch end position based on the detection result of the detection unit 71 or the touch start position or the touch end position in the display area of the display unit 3. Based on this, it is determined whether the touch operation by the user is a slide operation or a line drawing operation. Specifically, the line drawing determination unit 72 determines that the drawing operation is a line drawing operation when it is determined that the touch width has increased with time during movement from the touch start position to the touch end position. On the other hand, when it is determined that the touch width has not increased with time during the movement from the touch start position to the touch end position, the line drawing determination unit 72 determines that the operation is a slide operation.
  • step S212 the display control unit 76 draws and displays a straight line connecting the touch start position and the touch end position to the screen end of the display unit 3 based on the detection result of the detection unit 71. Specifically, as illustrated in FIGS. 16 and 17, the display control unit 76 draws and displays a straight line A ⁇ b> 10 connecting the touch start position and the touch end position to the screen end of the display unit 3. That is, when an operation as shown in FIG. 16 is performed, a display as shown in FIG. 17 is displayed. Thereby, the user can intuitively grasp the locus of the touch position by the drawing operation. In FIG.
  • the display control unit 76 displays a straight line connecting the touch start position and the touch end position on the display unit 3.
  • the display control unit 76 is formed at the end of the display area of the display unit 3.
  • the image corresponding to the closed region R1 to be performed may be hidden (for example, displayed in black).
  • step S213 the closed region determination unit 73 determines whether or not a closed region has been formed on the display region of the display unit 3 by a plurality of drawing operations by the user. For example, in the case illustrated in FIG. 18, the closed region determination unit 73 determines that the closed region R ⁇ b> 10 has been formed on the display region of the display unit 3 by a plurality of drawing operations by the user.
  • step S213: Yes the process proceeds to step S214.
  • the imaging control unit 75 causes the imaging unit 2 to perform imaging.
  • step S215 the image processing unit 74 performs a trimming process on the captured image corresponding to the captured image data generated by the imaging unit 2 to cut out the closed region R10 formed by the drawing operation by the user. In this way, the image processing unit 74 generates trimmed image data. Thereby, the user can obtain an image of only a desired region.
  • step S215 the process returns to the main routine of FIG.
  • step S213 If it is determined in step S213 that a closed region is not formed (step S213: No), the process returns to the main routine of FIG.
  • step S210 when the drawing determination unit 72 determines that the touch width has not increased with time when moving from the touch start position to the touch end position (step S210: No), the process proceeds to step S216.
  • step S216 the drawing determination unit 72 determines that the operation on the touch panel 4 is a slide operation. After step S216, the process returns to the main routine of FIG.
  • step S209 when it is determined that the touch start position is not the screen edge of the display area in the display unit 3 (step S209: No), the process proceeds to step S217.
  • step S ⁇ b> 217 the line drawing determination unit 72 determines whether the touch end position is the screen edge of the display unit 3 based on the detection result detected by the detection unit 71.
  • step S217: Yes the process proceeds to step S218.
  • step S217 determines whether the touch end position is the screen edge of the display unit 3 based on the detection result detected by the detection unit 71.
  • step S217: Yes the process proceeds to step S218.
  • step S217: No the process proceeds to step S219.
  • step S218 the line drawing determination unit 72 determines whether or not the touch width has decreased over time.
  • step S2118: Yes the process proceeds to step S211. That is, it is determined that the drawing operation has been performed.
  • step S218: No the process proceeds to step S219.
  • step S219 the drawing determination unit 72 determines that the operation on the touch panel 4 is a slide operation. After step S219, the process returns to the main routine of FIG.
  • the detection unit 71 detects the behavior of the touch at the end position where the touch is released from the touch panel 4, and whether or not the line drawing determination unit 72 has performed a line drawing operation based on the direction, locus, and behavior of the touch. Determine.
  • the line drawing determination unit 72 determines that a line drawing operation has been performed. Therefore, according to the present embodiment, the drawing operation is reliably discriminated from the conventional flick operation and slide operation. In this way, a drawing operation that is a new touch operation can be provided.
  • the drawing operation is a quick touch operation, unlike a slide operation that is performed carefully.
  • the imaging control unit 75 when the closed region determination unit 73 determines that a closed region is formed, the imaging control unit 75 causes the imaging unit 2 to perform shooting.
  • a new release operation can be provided.
  • the image processing unit 74 generates trimming image data for an image corresponding to the image data captured by the imaging unit 2 . Further, for example, when the closed region determination unit 73 determines that a closed region is formed in the display region of the display unit 3, the image processing unit 74 generates trimmed image data for the live view image corresponding to the closed region. Also good.
  • the second embodiment has the same configuration as the portable device 1 according to the first embodiment described above, and the touch determination process is different. For this reason, below, the touch determination process which the portable apparatus 1 which concerns on 2nd Embodiment performs is demonstrated.
  • symbol is attached
  • FIG. 19A and FIG. 19B are flowcharts illustrating an overview of touch determination processing executed by the mobile device 1 according to the second embodiment.
  • Steps S301 to S308 correspond to Steps S201 to S208 described with reference to FIGS. 5A and 5B, respectively.
  • step S309 the detection unit 71 calculates a predicted touch width at the screen edge of the display area in the display unit 3.
  • step S310 the line drawing determination unit 72 determines whether or not the predicted touch width at the screen edge is equal to or smaller than a predetermined value. If the predicted touch width is equal to or smaller than the predetermined value (step S310: Yes), the process proceeds to step S311. In step S311, the line drawing determination unit 72 determines that the operation on the touch panel 4 is a line drawing operation.
  • FIG. 20 is a schematic diagram for explaining a method of calculating the touch width predicted at the screen edge of the display area in the display unit 3 calculated by the detection unit 71.
  • the horizontal axis indicates the position (coordinates) in the display area of the display unit 3
  • the vertical axis indicates the touch width.
  • a solid line L1a indicates a change in the touch width in the slide operation
  • a one-dot chain line L1b indicates a change in the touch width in the first line drawing operation
  • a broken line L1c indicates a change in the touch width in the second line drawing operation.
  • the touch end time in the slide operation will be described as touch end time A
  • the touch end time in the first line drawing operation or the second line drawing operation will be described as touch end time B.
  • the length of the display area of the display unit 3 is L.
  • the line drawing determination unit 72 determines whether or not the touch width predicted at the screen edge is equal to or smaller than a predetermined value, and when the predicted touch width is equal to or smaller than a predetermined value, It is determined as a drawing operation. On the other hand, when the predicted touch width is not less than or equal to a predetermined value set in advance, the drawing determination unit 72 determines that the operation is a slide operation.
  • Steps S312 to S316 correspond to steps S212 to S216 described with reference to FIG. 5B, respectively.
  • the drawing operation can be reliably determined from the conventional flick operation or slide operation.
  • a drawing operation which is a quick touch operation called a drawing operation can be provided.
  • the third embodiment has the same configuration as the portable device 1 according to the first embodiment described above, and the touch determination process is different. For this reason, below, the touch determination process which the portable apparatus 1 which concerns on 3rd Embodiment performs is demonstrated.
  • symbol is attached
  • FIG. 21A and FIG. 21B are flowcharts illustrating an overview of touch determination processing executed by the mobile device 1 according to the third embodiment.
  • step S401 the detection unit 71 detects the touch position and the touch start time when the touch on the touch panel 4 is started based on the position signal input from the touch panel 4.
  • step S ⁇ b> 402 the detection unit 71 detects a touch end position and a touch end time when the touch on the touch panel 4 ends.
  • step S403 the detection unit 71 calculates an intermediate time between the touch start time and the touch end time based on the touch start time and the touch end time detected in steps S401 and S402.
  • Steps S404 to S408 correspond to Steps S204 to S208 described with reference to FIGS. 5A and 5B, respectively.
  • step S409 the detection unit 71 detects the touch position at the intermediate touch time calculated in step S403.
  • step S410 the line drawing determination unit 72 determines the touch position calculated by the detection unit 71 in step S409, an intermediate time between the touch start time and the touch end time, the touch position at the end of the touch, and the touch end. Based on the time of the time, the moving speed in the second half of the touch is calculated.
  • step S411 the drawing determination unit 72 determines whether or not the moving speed in the second half of the touch is equal to or higher than a predetermined value. When the moving speed is equal to or higher than the predetermined value (step S411: Yes), the process proceeds to step S412. On the other hand, when the moving speed is not equal to or higher than the predetermined value (step S411: No), the process proceeds to step S417.
  • FIG. 22 is a schematic diagram for explaining an outline of a determination method determined by the line drawing determination unit 72.
  • the horizontal axis indicates time
  • the vertical axis indicates the position from one end to the other end of the display area of the display unit 3.
  • the curve L2a shows a change in the movement speed in the slide operation
  • the curve L2b shows a change in the touch movement speed in the first line drawing operation
  • the curve L2c shows a change in the touch movement speed in the second line drawing operation.
  • the change in the touch position in the longitudinal direction in the display area of the display unit 3 will be described as an example.
  • a curve L2a in FIG. 22 when performing a slide operation, the user moves his / her finger from the touch start position to the touch end position at a substantially constant speed.
  • a curve L2b in FIG. 22 when the user performs the first drawing operation, the user quickly moves the finger after determining the position of the drawing operation and the touch direction to some extent.
  • a curve L2c in FIG. 22 when the user performs the second drawing operation, the user instantaneously determines the starting position and the touch direction of the drawing operation and moves them rapidly.
  • the line drawing determination unit 72 determines that the operation is a line drawing operation when the moving speed in the latter half of the touch is equal to or greater than a predetermined value based on the calculation result calculated in step S410. On the other hand, the drawing determination unit 72 determines that the operation is a slide operation when the movement speed in the latter half of the touch is not equal to or greater than a predetermined value.
  • Steps S412 to S417 correspond to Steps S211 to S216 described with reference to FIGS. 5A and 5B, respectively.
  • the drawing determination unit 72 determines that a drawing operation has been performed. Accordingly, the drawing operation can be reliably discriminated from the conventional flick operation or slide operation. In this way, a drawing operation that is a new touch operation can be provided.
  • a fourth embodiment will be described.
  • the fourth embodiment is different in the configuration and touch determination processing of the mobile device 1 and the touch panel 4 according to the first embodiment.
  • the configuration of the mobile device and the touch determination process according to the fourth embodiment will be described.
  • symbol is attached
  • FIG. 23 is a block diagram illustrating a functional configuration of a mobile device according to the fourth embodiment.
  • a mobile device 1a illustrated in FIG. 23 includes a touch panel 4a instead of the touch panel 4 of the mobile device 1 according to the first embodiment described above.
  • the touch panel 4a is a capacitive touch panel.
  • FIG. 24 is a schematic diagram showing a schematic configuration of the touch panel 4a according to the present embodiment.
  • the touch panel 4 a includes a front panel 41, a drive unit 42, a drive electrode 43, a reception electrode 44, and a detection unit 45.
  • the front panel 41 is made of transparent glass or PET (Polyethylene Terephthalate) having a predetermined thickness and formed in a rectangular shape when seen in a plan view. That is, the front panel 41 includes a dielectric.
  • PET Polyethylene Terephthalate
  • the driving unit 42 outputs a driving pulse (for example, an applied voltage of 5 V) to the driving electrode 43 to form a capacitance between the driving electrode 43 and the receiving electrode 44.
  • a driving pulse for example, an applied voltage of 5 V
  • the driving electrode 43 and the receiving electrode 44 are transparent electrodes formed of a material such as ITO (Indium Tin Oxide).
  • the drive electrode 43 and the reception electrode 44 are provided on the lower surface of the front panel 41 in a matrix shape alternately at a pitch of 5 mm, for example, in the longitudinal direction and the lateral direction.
  • the detection unit 45 includes a capacitance sensor.
  • an electric field from the drive electrode 43 to the reception electrode 44 is generated in the front panel 41.
  • an electric signal is output from the receiving electrode 44 to the detection unit 45.
  • an electric field is also generated in the front panel 41 from the drive electrode 43 toward the finger.
  • the electric field from the drive electrode 43 to the reception electrode 44 is weakened, and the number of charges moving along the electric field is reduced.
  • the magnitude of the electrical signal output from the receiving electrode 44 is reduced.
  • the electric field between the drive electrode 43 and the reception electrode 44 changes depending on whether or not the finger touches the touch panel 4, and electrical signals having different magnitudes are detected by the detection unit 45. Therefore, based on the magnitude of the electrical signal detected by the detection unit 45, it can be determined whether or not the finger is in contact with the touch panel 4.
  • the touch panel 4a of this embodiment can detect a change in the electric field between the drive electrode 43 and the reception electrode 44 even when the finger and the front panel 41 are separated.
  • the distance between the finger and the drive electrode 43 increases, the number of charges traveling from the drive electrode 43 to the finger decreases, and the number of charges traveling from the drive electrode 43 to the reception electrode 44 increases.
  • the magnitude of the electrical signal output from the receiving electrode 44 increases. Therefore, based on the magnitude of the electrical signal output from the receiving electrode 44, it can be determined how high the finger is with respect to the touch panel 4. That is, as shown in FIG. 24, when the user's hand O3 approaches the electric field E1, a minute change amount of the capacitance formed between the drive electrode 43 and the reception electrode 44 can be detected.
  • the detection unit 45 is disclosed in, for example, US Pat. No. 7,148,704.
  • the detection unit 45 can detect a minute change in the capacitance formed between the drive electrode 43 and the reception electrode 44 even before the user's hand O3 touches the front panel 41. Can be detected.
  • the detection unit 45 includes a case where the hand O3 is located at a distance h1 (eg, 0.5 cm) and a case where the hand O3 is located at a distance h2 (eg, 1 cm). Can be distinguished. That is, even when the finger moves a minute distance without touching the touch panel 4a, the detection unit 45 detects a change in the capacitance formed between the drive electrode 43 and the reception electrode 44. can do.
  • the touch panel 4 detects an operation with a finger, but is not limited to a finger, and may be a pen or the like. Those for inputting to the touch panel 4a, such as a finger or a pen, are collectively referred to as a detection target.
  • the position of the detected object is referred to as a detected point.
  • the position of a point obtained by projecting the detected point on the detection plane (hereinafter referred to as an in-plane position) can be specified. Further, according to the touch panel 4a according to the present embodiment, the height of the detected point from the detection plane can be specified.
  • the touch panel 4 a having the above configuration is provided on the display screen of the display unit 3.
  • the touch panel 4a detects the contact position of an external object or the presence position of an object near the surface. In this way, the touch panel 4a receives a user operation.
  • the touch panel 4a is based on the information displayed on the display unit 3, and the capacitance generated by the change in the electric field formed around the display screen before the user touches the screen of the touch panel 4a. Detect changes.
  • steps S501 to S507 correspond to steps S201 to S207 described with reference to FIGS. 5A and 5B, respectively.
  • step S508 the line drawing determination unit 72 determines whether or not the touch position has moved from one screen end to the other screen end in the display area of the display unit 3 based on the position signal acquired from the touch panel 4a.
  • step S508: Yes the touch position moves from one screen end to the other screen end
  • step S509 the touch position has not moved from one screen end to the other screen end
  • step S508: No the process returns to the main routine of FIG.
  • step S509 the drawing determination unit 72 determines whether there has been a change in capacitance at the other screen end in the display area of the display unit 3 based on the position signal input from the touch panel 4a. If there is a change in capacitance (step S509: Yes), the process proceeds to step S510. In step S510, the line drawing determination unit 72 determines that the line drawing operation has been performed. On the other hand, when the capacitance has not changed (step S509: No), the process proceeds to step S515.
  • FIG. 27 is a schematic diagram for explaining an outline of the determination method determined by the drawing determination unit 72.
  • the horizontal axis indicates the position from one screen edge to the other screen edge in the display area of the display unit 3, and the vertical axis indicates the detected capacitance.
  • a solid line L3a indicates a change in capacitance in the sliding operation, and a broken line L3b indicates a change in capacitance in the first drawing operation or the second drawing operation.
  • the movement of the touch position with respect to the longitudinal direction in the display area of the display unit 3 will be described as an example.
  • the line drawing determination unit 72 performs the same determination when the touch position moves to a diagonal line in the display area of the display unit 3.
  • a solid line L3a in FIG. 27 when performing a slide operation, the user moves the finger from the touch start position to a desired position, and moves the finger away from the touch panel 4a from the touch end position. Accordingly, the capacitance does not change at the screen edge in the display area of the display unit 3.
  • a broken line L3b when the user performs the first drawing operation or the second drawing operation, the user moves his / her finger from the touch start position to a desired position and starts from the touch end position. A finger is separated from the touch panel 4a.
  • the capacitance changes at the screen edge in the display area of the display unit 3.
  • the touch panel 4 a detects the capacitance of 0.2 pF at the screen edge in the display area of the display unit 3.
  • the line drawing determination unit 72 determines whether or not there is a change in capacitance at the other screen end in the display area of the display unit 3 based on the position signal input from the touch panel 4a. When there is a change in capacitance, the drawing determination unit 72 determines that the detected operation is the first drawing operation or the second drawing operation. On the other hand, when there is no change in capacitance, the drawing determination unit 72 determines that the detection operation is a slide operation.
  • Steps S510 to S515 correspond to Steps S211 to S216 described with reference to FIGS. 5A and 5B, respectively.
  • the drawing determination unit 72 draws the line drawing. It is determined that an operation has been performed. As a result, the drawing operation can be reliably discriminated from the conventional flick operation or slide operation. In this way, a drawing operation that is a new touch operation can be provided.
  • mobile terminals that are used by holding with one hand are required to operate lightly and quickly without affecting the stability and stability.
  • the present invention satisfies such a need. Specifically, in the present invention, since the input is completed with a momentary light movement of the fingertip, the operation intended by the user can be acquired with certainty.
  • a fifth embodiment will be described.
  • a configuration of a portable device 1c including the operation device for the portable terminal according to the present embodiment will be described with reference to FIG.
  • symbol is attached
  • FIG. 28 is a block diagram illustrating an outline of the mobile device 1c according to the present embodiment.
  • the mobile device 1 c includes an imaging unit 2, a display unit 3, a touch panel 4 a, an operation unit 5, a recording unit 6, a control unit 7, and a clock 8.
  • the imaging unit 2, the display unit 3, the operation unit 5, the recording unit 6, and the clock 8 are respectively the imaging unit 2, the display unit 3, the operation unit 5, and the recording according to the first embodiment. This is the same as the part 6 and the timepiece 8.
  • the touch panel 4a according to the present embodiment is the same as the touch panel 4a according to the fourth embodiment.
  • the control unit 7 includes an image processing unit 74, an imaging control unit 75, a display control unit 76, and an operation determination unit 77, as shown in FIG.
  • the image processing unit 74, the imaging control unit 75, and the display control unit 76 are the same as those in the first embodiment.
  • the operation determination unit 77 includes a position detection unit 771, a direction determination unit 772, a height determination unit 773, an inclination determination unit 774, a speed determination unit 775, and a frequency determination unit 776.
  • the position detection unit 771 detects the height of the detected point with respect to the detection plane of the touch panel 4.
  • the position detection unit 771 detects an in-plane position that is a position when the detected point is projected onto the detection plane.
  • the position detection unit 771 can determine the touch operation, the slide operation, the first operation, and the second operation from the height and the in-plane position as described later.
  • the direction determination unit 772 determines the direction in which the detected point moves based on information on the temporal change between the height of the detected point with respect to the touch panel 4 and the in-plane position.
  • the direction determination unit 772 acquires the direction of the slide operation, the direction of the first operation, and the direction of the second operation.
  • the height determination unit 773 determines the height of the detected point with respect to the touch panel 4.
  • the height of the point to be detected takes a value that decreases as the capacitance detected from the touch panel 4 increases, for example.
  • the height determination unit 773 the height of the detected point in the touch operation, the height of the detected point in the slide operation, the height of the detected point in the first operation, and the height of the detected point in the second operation Is acquired.
  • the inclination determination unit 774 determines an inclination formed by a line segment drawn by a set of positions of detected points represented by a height and an in-plane position with a change with time and a detection plane.
  • the inclination determination unit 774 acquires the inclination of the first operation and the inclination of the second operation.
  • the speed determination unit 775 determines the detected point, that is, the speed of the finger at the time of operation based on the temporal change between the height of the detected point and the in-plane position.
  • the speed determination unit 775 acquires the touch operation speed, the slide operation speed, the first operation speed, and the second operation speed.
  • the number-of-times determination unit 776 determines the number of times the movement of the detected point accompanying the change with time, that is, the number of times the finger has been repeatedly moved.
  • the number of times of the second operation is acquired by the number of times determination unit 776.
  • the control unit 7 performs image processing according to the information on the position, direction, height, inclination, speed, and number of times.
  • FIG. 29 is a diagram for describing a first operation that is an example of an operation by a user.
  • the first operation after the user presses the detection object F perpendicularly to the detection plane 4S, the user moves the detection object from the position pressed against the detection plane 4S in an oblique direction.
  • this is an operation of gradually separating the detected object from the detection plane 4S.
  • FIG. 30 is a diagram for explaining a second operation that is an example of an operation by the user. As shown in FIG. 30, the second operation is an operation in which the user repeats the first operation at the same position on the detection plane 4S.
  • the second operation may be further classified as another operation according to the height difference of the orbit of the detected object.
  • FIG. 30 shows a second operation of moving the detected object largely in the vicinity of the touch panel 4a like the movement O1 of the detected object, and a second operation of moving the detected object small in the vicinity of the touch panel 4a like the movement O2 of the detected object. Operation.
  • FIG. 31 is a diagram for explaining a change in the capacitance detected in the touch operation and the amount of movement of the in-plane position.
  • FIG. 32 is a diagram for explaining changes in the capacitance detected in the slide operation and the amount of movement of the in-plane position.
  • FIG. 33 is a diagram for explaining a change in the capacitance detected in the first operation and the amount of movement of the in-plane position.
  • FIG. 34 is a diagram for explaining a change in the capacitance detected in the second operation and the amount of movement of the in-plane position.
  • Each figure is divided into an upper figure and a lower figure.
  • the upper diagram and the lower diagram show the corresponding times by connecting the passage of time with a one-dot chain line.
  • the upper diagram represents time on the horizontal axis and the amount of movement of the in-plane position on the vertical axis.
  • the movement amount indicates the movement amount from the in-plane position detected first.
  • the lower figure represents time on the horizontal axis, and the magnitude
  • the values of 1.0 pF and 0.2 pF shown on the vertical axis in the figure below are examples.
  • a 1.0 pF capacitance is detected.
  • the touch panel 4a cannot correctly detect a capacitance of 0.2 pF or less due to, for example, noise.
  • the dotted line portions in the graphs of FIGS. 31 to 34 indicate changes in the detected capacitance and the amount of movement of the in-plane position if a capacitance of 0.2 pF or less can be correctly detected.
  • the movement amount and capacitance of the in-plane position detected by the touch operation will be described with reference to FIG.
  • the detected point first moves vertically so as to approach one point in the detection plane, and then moves away from this one point vertically.
  • the detection result of such a touch operation is as shown in FIG. That is, in the upper diagram of FIG. 31, the amount of movement of the in-plane position of the detected point does not change with time.
  • the capacitance decreases after increasing at the same time interval as the upper diagram.
  • the movement amount and capacitance of the in-plane position detected by the slide operation will be described with reference to FIG.
  • a detection target such as a finger slides within the detection plane.
  • the detection result of such a slide operation is as shown in FIG. That is, in the upper diagram of FIG. 32, the amount of movement of the in-plane position of the detected point increases with time. That is, the position in the plane changes.
  • the magnitude of the capacitance takes a constant value in the time zone in which the amount of movement of the position of the detected point in the plane changes in the upper diagram.
  • the amount of movement of the in-plane position and the capacitance detected by the first operation will be described with reference to FIG.
  • the detection object moves in an oblique direction with respect to the detection plane.
  • the detection result of such a first operation is as shown in FIG. That is, in the upper diagram of FIG. 33, the amount of movement of the in-plane position of the detected object increases with time. That is, the position in the plane changes.
  • the magnitude of the capacitance decreases in the time zone in which the position of the detected point in the plane changes in the upper diagram.
  • the detected object repeats the first operation.
  • the detection result of such a second operation is as shown in FIG. That is, the amount of movement of the in-plane position repeats the change of the in-plane position similar to the first operation. Further, the electrostatic capacitance repeats the change of the electrostatic capacitance as in the first operation.
  • the solid line G1 in FIG. 34 corresponds to the second operation of moving the detected object largely in the vicinity of the touch panel 4a, as in the second operation indicated by the trajectory O1 in FIG.
  • a broken line G2 in FIG. 34 corresponds to a second operation for moving the detected object small like the second operation indicated by the trajectory O2 in FIG.
  • Each second operation indicated by the solid line G1 and the broken line G2 can be determined as a separate operation based on a signal output from the touch panel 4a.
  • FIG. 31 showing the touch operation and FIG. 32 showing the slide operation are compared.
  • the amount of movement of the detected position in the plane does not change with time.
  • the amount of movement of the detected position in the plane changes.
  • the lower diagram of FIG. 31 and the lower diagram of FIG. 32 show the same change in that the capacitance increases or decreases.
  • the touch operation and the slide operation can be determined as separate operations based on the signal related to the movement amount of the in-plane position output from the touch panel 4a.
  • FIG. 32 showing the slide operation and FIG. 33 showing the first operation are compared.
  • the upper diagram of FIG. 32 showing the slide operation and the upper diagram of FIG. 33 show similar changes in that the amount of movement of the detected position in the plane changes with time.
  • the magnitude of the capacitance is kept constant as shown below.
  • the slide operation and the first operation represent different changes in capacitance.
  • the slide operation and the first operation can be determined as separate operations based on the signal related to the capacitance output from the touch panel 4a.
  • FIG. 31 representing the touch operation and FIG. 33 representing the first operation are compared.
  • the amount of movement of the detected position in the plane does not change with time.
  • the amount of movement of the detected in-plane position changes.
  • the upper diagram of FIG. 31 and the lower diagram of FIG. 33 show the same change in that the capacitance increases or decreases.
  • FIG. 31 representing the touch operation and FIG. 33 representing the first operation can be discriminated as different operations based on the signal relating to the movement amount of the in-plane position output from the touch panel 4a.
  • FIG. 33 is compared with FIG.
  • Each diagram shown in FIG. 34 represents that the signal detected in the first operation is repeatedly detected.
  • the touch panel 4a can be determined as an operation different from the touch operation, the slide operation, the first operation, and the second operation.
  • FIG. 35 is a flowchart illustrating an example of the operation of the mobile device control process according to the present embodiment.
  • the portable device 1c starts a portable device control process when the power is turned on, for example.
  • step S601 the control unit 7 determines whether or not the shooting mode is selected. When the shooting mode is selected, the process proceeds to step S602. In step S602, the control unit 7 performs a shooting mode process described later. Thereafter, the process proceeds to step S604.
  • step S601 When it is determined in step S601 that the shooting mode is not selected, the process proceeds to step S603.
  • step S603 the control unit 7 performs a playback mode process described later. Thereafter, the process proceeds to step S604.
  • step S604 the control unit 7 determines whether to end the mobile device control process. When the portable device control process is not terminated, the process returns to step S601. When the portable device control process ends, the portable device control process ends.
  • step S ⁇ b> 701 the control unit 7 causes the imaging unit 2 to perform imaging and obtains through image data.
  • the control unit 7 causes the display unit 3 to display the through image acquired by the imaging unit 2.
  • step S702 the control unit 7 determines whether or not a photographing operation has been performed based on a signal output from the operation unit 5 including the release switch. If there is a shooting operation, the process proceeds to step S703. For example, when the release switch is pressed, the process proceeds to step S703.
  • step S703 the control unit 7 causes the imaging unit 2 to perform a shooting operation and acquires image data. The image data acquired by the shooting operation is recorded in the recording unit 6 after image processing.
  • step S704 the control unit 7 causes the display unit 3 to display an image based on the image data acquired by the imaging unit 2 for a predetermined time (rec view display). Thereafter, the shooting mode process ends, and the process returns to the portable device control process.
  • step S702 If it is determined in step S702 that there is no shooting operation, the process proceeds to step S705.
  • the control unit 7 performs an operation determination process. With reference to FIG. 37, the operation
  • step S801 the control unit 7 acquires the position in the plane and the size of the capacitance from the touch panel 4a and records them in the recording unit 6. Thereafter, the process proceeds to step S802.
  • step S ⁇ b> 802 the control unit 7 acquires, from the recording unit 6, the temporal change in the in-plane position and the capacitance obtained in the previous process.
  • step S803 the control unit 7 determines whether or not the operation on the touch panel 4a includes the first operation. When the operation on the touch panel 4a includes the first operation, the process proceeds to step S804. In step S804, the control unit 7 determines whether or not the operation on the touch panel 4a is an operation for repeating the first operation. When the operation on the touch panel 4a is not an operation for repeating the first operation, the process proceeds to step S805.
  • step S805 the control unit 7 determines that the operation on the touch panel 4a is the first operation. Thereafter, the process proceeds to step S806.
  • step S806 the control unit 7 detects the position where the first operation is detected based on the change in the detected position in the plane with respect to time and the change in the capacitance at these positions. , The inclination of the first operation, and the speed of the first operation.
  • the position of the first operation is, for example, an in-plane position detected first before the movement.
  • the direction of the first operation is a direction in which the detected in-plane position moves, for example.
  • the inclination of the first operation is obtained, for example, by dividing the height change by the change in the in-plane position.
  • the speed of the first operation is determined by, for example, the length of the line segment drawn by the movement of the detected point obtained from the detected in-plane position and height in the first operation. It is obtained by dividing by the travel time traveled above.
  • step S804 When it is determined in step S804 that the operation on the touch panel 4a is an operation for repeating the first operation, the process proceeds to step S807.
  • step S807 the control unit 7 determines that the operation on the touch panel 4a is the second operation.
  • step S808 the position where the second operation is detected, the direction of the second operation, the second operation based on the change in the detected position in the plane with respect to time and the capacitance at these positions. , The speed of the second operation, the height of the detected point at the position where the second operation is detected, and the number of times of the second operation are determined and acquired.
  • step S808 the operation determination process ends, and the process returns to the shooting mode process.
  • step S803 When it is determined in step S803 that the operation on the touch panel 4a does not include the first operation, the process proceeds to step S809.
  • step S809 the control unit 7 determines whether or not the operation on the touch panel 4a is a slide operation. When the operation on the touch panel 4a is not a slide operation, the process proceeds to step S810.
  • step S810 the control unit 7 determines that the operation on the touch panel 4a is a touch operation.
  • step S811 the control unit 7 acquires the position where the touch operation is detected and the speed of the touch operation based on the detected in-plane position and the capacitance.
  • the speed of the touch operation is a speed when the detected point is moved away from the touch panel 4a. That is, the speed of the touch operation is a value obtained by, for example, dividing the distance traveled by the detected point from the lowest detected point height to the highest detected point height by the moving time. Note that the speed of the touch operation may be a speed when the detected object is brought close to the detection plane.
  • step S809 When it is determined in step S809 that the operation on the touch panel 4a is a slide operation, the process proceeds to step S812.
  • step S812 the control unit 7 determines that the operation on the touch panel 4a is a slide operation.
  • step S813 the control unit 7 acquires the detected position related to the slide operation, the direction of the slide operation, and the speed of the slide operation based on the detected in-plane position and the change in capacitance. .
  • the speed of the slide operation is a value obtained by, for example, dividing the length of a line segment drawn by the movement of the detected point that has slid on the detection plane by the movement time of the slide operation.
  • step S706 the control unit 7 determines whether or not the operation on the touch panel 4a is a touch operation.
  • the process proceeds to step S703 described above. That is, the control unit 7 determines that a touch release operation has been performed, and performs a shooting operation. In the touch release operation, an autofocus operation is performed so as to focus on the subject corresponding to the touched position. After focusing, the portable device 1c performs shooting.
  • step S706 when it is determined that the operation on the touch panel 4a is not a touch operation, the process proceeds to step S707.
  • step S707 the control unit 7 determines whether or not the operation on the touch panel 4a is a slide operation. When the operation on the touch panel 4a is a slide operation, the process proceeds to step S708.
  • step S ⁇ b> 708 the control unit 7 slide-displays a menu displaying operation procedures and the like on the display unit 3. The slide display is displayed on the display unit 3 so that, for example, when a slide operation is performed on the touch panel from right to left, the menu display appears while sliding from right to left. Thereafter, the shooting mode process ends, and the process returns to the portable device control process.
  • step S707 When it is determined in step S707 that the operation on the touch panel 4a is not a slide operation, the process proceeds to step S709.
  • step S709 the control unit 7 determines whether or not the operation on the touch panel 4a is the first operation. When the operation on the touch panel 4a is the first operation, the process proceeds to step S710.
  • step S710 the control unit 7 performs image processing according to the position of the detected point related to the first operation, the direction of the detected point related to the first operation, and the inclination of the detected point related to the first operation. I do. Thereafter, the operation determination process ends, and the process returns to the shooting mode process.
  • FIG. 38 shows an example of an image that is a target of image processing according to the first operation. This image processing is performed on the image data acquired for the through image. Note that, here, an example in which image processing is performed on a through image displayed on the display unit 3 will be described. However, image processing performed by the first operation may be an image displayed in a REC view, a reproduced image, or the like. It may be performed on other images.
  • FIG. 39 is a diagram for explaining an example of the first operation by the user.
  • the user performs the first operation on the touch panel 4a with the right hand while holding the portable device 1c with the left hand.
  • a case is shown in which the user touches the touch panel 4a near the center of the screen and performs a first operation such as releasing the finger from the touch panel while moving the finger in the right direction.
  • FIG. 40 shows an example of an image processing result when image processing corresponding to this operation is performed on the image when the first operation shown in FIG. 39 is performed.
  • the portable device 1c applies the gradation of the brightness difference according to the inclination of the first operation from the start point of the first operation in the touch panel 4a to the image data for the through image in the direction of the first operation.
  • the brightness of the through image decreases as it proceeds in the first operation direction.
  • this image processing is an example, and other image processing such as various filter processing may be associated with the first operation.
  • step S711 the control unit 7 determines whether or not the operation on the touch panel 4a is the second operation. When the operation on the touch panel 4a is the second operation, the process proceeds to step S712. In step S712, the control unit 7 performs image processing according to the position at which the second operation is detected, the height of the detection target at the position at which the second operation is detected, and the number of times of the second operation. After step S712, the operation determination process ends, and the process returns to the shooting mode process. Further, when it is determined in step S711 that the operation on the touch panel 4a is not the second operation, the operation determination process ends, and the process returns to the shooting mode process.
  • FIG. 41 shows an example of the display on the display unit 3 of the through image.
  • the image processing is performed on the image data acquired for the through image.
  • the portable device 1c may perform this image processing during another operation for displaying an image on the display unit 3.
  • the mobile device 1c may perform the image processing when the REC view is displayed.
  • the portable device 1c decreases the brightness of the image data as the number of second operations increases. In addition, the portable device 1c decreases the brightness of the image data as the height of the detected point during the second operation is lower than the detection plane.
  • the brightness of the image data is determined according to a set value obtained by multiplying, for example, the number of times of the second operation and a value related to the height of the detected point at the time of the second operation.
  • FIG. 42 is an example of an image processing result when the position where the height of the detected point is the lowest in the second operation is the face portion of the through image.
  • FIG. 42 shows an example of the image processing result when the set value is small.
  • the control unit 7 performs image processing on the live view image data so that the brightness of the in-plane position of the face where the second operation shown in FIG. 42 is detected becomes low.
  • FIG. 43 is an example of image processing when the set value is large.
  • the control unit 7 lowers the brightness of the face portion selected by the second operation.
  • the face part shown in FIG. 43 is displayed darker than the face part shown in FIG. Note that this image processing is an example, and other image processing may be associated with the second operation.
  • step S ⁇ b> 901 the control unit 7 causes the display unit 3 to display a list of thumbnail images based on the image data recorded in the recording unit 6. Thereafter, processing proceeds to step S902.
  • step S902 the control unit 7 determines whether or not a thumbnail image has been selected from the thumbnail images displayed as a list on the display unit 3. If no thumbnail image is selected, the process proceeds to step S915.
  • the thumbnail image is selected by, for example, a touch operation on the touch panel 4a.
  • step S903 the control unit 7 causes the display unit 3 to display an enlarged image selected by the operation.
  • step S904 the control unit 7 performs the touch determination process described above. Thereafter, the process proceeds to step S905.
  • step S905 the control unit 7 determines whether or not there is an operation on the touch panel 4a based on a signal output from the touch panel 4a. When there is no operation on the touch panel 4a, the process returns to step S904. On the other hand, when there is an operation on the touch panel 4a, the process proceeds to step S906.
  • step S906 the control unit 7 determines whether or not the operation is a touch operation. When the operation is a touch operation, the process proceeds to step S907.
  • step S907 the control unit 7 enlarges and displays the image displayed on the display unit 3 so that the enlargement rate of the image increases as the speed of the touch operation increases, with the position in the plane of the touch operation as the center. Thereafter, processing proceeds to step S914.
  • step S906 When it is determined in step S906 that the operation on the touch panel 4a is not a touch operation, the process proceeds to step S908.
  • step S908 the control unit 7 determines whether or not the operation on the touch panel 4a is a slide operation. When the operation on the touch panel 4a is a slide operation, the process proceeds to step S909.
  • step S909 the control unit 7 moves the image displayed on the display unit 3 so that the image moves faster in the direction of the slide operation as the speed of the slide operation increases.
  • the control unit 7 may display another image after moving the image displayed on the display unit 3 according to the slide operation. Thereafter, processing proceeds to step S914.
  • step S908 If it is determined in step S908 that the operation on the touch panel 4a is not a slide operation, the process proceeds to step S910.
  • step S910 the control unit 7 determines whether or not the operation on the touch panel 4a is the first operation. When the operation on the touch panel 4a is the first operation, the process proceeds to step S911.
  • step S911 the control unit 7 performs image processing corresponding to the position where the first operation is detected, the direction of the first operation, and the inclination of the first operation on the image displayed on the display unit 3. Do it. Since this image processing is the same as that described with reference to FIGS. 38 to 40, description thereof is omitted. Thereafter, processing proceeds to step S914.
  • step S910 When it is determined in step S910 that the operation on the touch panel 4a is not the first operation, the process proceeds to step S912.
  • step S912 the control unit 7 determines whether or not the operation on the touch panel 4a is the second operation. When the operation on the touch panel 4a is the second operation, the process proceeds to step S913.
  • step S913 the control unit 7 displays image processing corresponding to the position where the second operation is detected, the height of the detected point at the position where the second operation is detected, and the number of times of the second operation. This is performed on the image displayed in the section 3. Since this image processing is the same as that described with reference to FIGS. 41 to 43, description thereof is omitted. Thereafter, processing proceeds to step S914.
  • step S912 when it is determined that the operation on the touch panel 4a is not the second operation, that is, it is determined that the operation is not any of the touch operation, the slide operation, the first operation, and the second operation. If so, the process proceeds to step S914.
  • step S914 the control unit 7 determines whether or not to return the process to step S904. If it is determined to return the process, the process returns to step S904. For example, when the detected point is detected following the detected point determined to be the first operation, for example, from the user's operation, the control unit 7 returns the process to the touch determination process in step S904 again. It is determined whether or not there has been an operation performed continuously with this operation.
  • step S914 when it is determined not to return the process to step S904, the process proceeds to step S915.
  • step S915 the control unit 7 determines whether or not to end the playback mode process. When the reproduction mode process is not terminated, the process returns to step S901. On the other hand, when the reproduction mode process is terminated, the reproduction mode process is terminated, and the process returns to the portable device control process. For example, when an icon indicating “return” displayed on the display unit 3 is touched, this process ends, and the process returns to the mobile device control process.
  • the touch panel 4a detects the height of the detected point from the detection plane and the position in the plane.
  • the operation determination unit 77 outputs operation information including changes with time based on the detected height and the in-plane position.
  • the touch panel 4a and the operation determination unit 77 function as an operation device that outputs operation information utilizing the height of the detected point.
  • the touch panel 4a and the operation determination unit 77 function as an operation device that outputs operation information utilizing the height of the detected point.
  • a touch operation and a slide operation detected by a conventional touch panel but also a first operation and a second operation can be detected.
  • information such as the velocity in the height direction and the inclination in the height direction can also be acquired. Since this operation device can determine an operation utilizing the height of the detected point, it can determine more operations and output operation information.
  • the portable device 1c makes a time lapse between the height of the detected point viewed from the detection plane of the touch panel 4a and the in-plane position of the detected point in the detection plane of the touch panel 4a. Operation information including changes is acquired, and processing corresponding to the operation information is performed. Therefore, this portable device 1c can perform processing according to more types of operations than when using the operation information acquired by the conventional touch panel.
  • the operation information acquired from the above-described operation device can also be used for an image processing device that performs image processing according to the operation information. Further, this operation information may be used for other devices.
  • the technology according to the present invention is not limited to being applied to a portable device such as a digital camera.
  • a portable device such as a digital camera.
  • the present invention can be applied to an electronic device such as a digital video camera, a mobile phone having an imaging function, a smartphone, or a tablet-type mobile device. Further, these devices do not necessarily need to include an imaging function. It can also be used for devices that process images acquired from the outside.
  • the present technology can be applied to an apparatus that displays an electronic book. For example, the present technology can be used when a necessary part of an electronic book is cut out or underlined.
  • the present technology can also be used as a new input method to various handy terminals, such as cutting out an important part or applying a straight arrow or gaze.
  • the present technology is not limited to portable devices but can be used for stationary devices and the like. It can also be used in industrial equipment, microscope systems, medical equipment, etc. for observation and inspection. Further, application of the present technology is not limited to operations on images.
  • the present technology can be used for an operation device including a touch panel in various information processing devices.
  • the present technology may be used for a control panel for controlling operations of various devices.
  • the present technology can also be applied to an industrial robot controller, an input panel of an automatic teller machine, and the like.
  • the present technology can be used for operation devices of various information processing apparatuses. In any of the operation devices, for example, a drawing operation, a first operation, a second operation, and the like can be associated with various functions.
  • the program executed by the portable device according to the present invention is file data in an installable format or executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk), USB medium. And recorded on a computer-readable recording medium such as a flash memory.
  • the program to be executed by the portable device according to the present invention may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Furthermore, the program to be executed by the mobile device according to the present invention may be provided or distributed via a network such as the Internet.
  • the present invention can include various embodiments not described herein, and various design changes and the like can be made within the scope of the technical idea specified by the claims. Is possible.

Abstract

 操作装置は、外部の物体が接触した接触位置を検出し、この検出の結果を出力するタッチパネル(4)と、前記タッチパネルが出力した前記検出の結果に基づいて、前記物体が前記タッチパネルに接触し始めた開始位置から前記物体が前記タッチパネルから離れた終了位置までの軌跡を検出する検出部(71)と、前記検出部が検出した前記軌跡に基づいて、前記タッチパネルを直線によって分割する線引き操作が行われたか否かを判定する線引き判定部(72)とを含む。

Description

操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法
 本発明は、操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法に関する。
 一般に、タッチパネルは、タッチパネルの検出平面内での指等の位置を、例えば押圧操作として検出する。タッチパネルを有する操作装置は、タッチパネルが検出した位置の経時変化に基づいて、スライド操作等を判定し、この判定結果を出力する。このようなタッチパネルを用いた操作装置は、スマートフォン等の携帯端末装置、又はデジタルカメラ等の携帯機器に設けられている。例えば日本国特開2006-252141号公報には、ユーザが抵抗膜式タッチパネルに手書き入力を行うと、この手書き入力に応じて、線の太さを変更させた文字又は図形を表示する情報入力システムが開示されている。
 すなわち、日本国特開2006-252141号公報には、タッチパネル上の入力軌跡を毛筆書体に変換して表示する技術が開示されている。この技術では、所定時間毎に検出されるタッチパネル上の押圧位置に基づいて、ユーザのタッチパネル上における押圧位置の移動速度が算出される。この移動速度に応じて描写パターンの大きさが変更されることによって、入力軌跡が毛筆書体に変換される。
 タッチパネルによる操作は今後より重要になる可能性がある。例えば、タッチパネルを用いてより多くの種類の操作を検出できる操作装置が求められると考えられる。例えば、タッチパネルの検出平面からの指の高さを検出できれば、検出平面内の指の位置しか検出できない場合と比較して、検出できる操作の種類は多くなる。タッチパネルの検出平面からの高さの経時変化を含む操作情報を検出できれば、さらに検出できる操作の種類は多くなる。このような多くの操作を取得できる操作装置を備えることで、多様な操作に対応したスマートフォン等の携帯端末装置、又はデジタルカメラ等が提供され得る。
 また、上述した日本国特開2006-252141号公報に係る技術では、ユーザの指などがタッチパネルに対して正確に接触していなければならない。ユーザが軽くタッチするなど瞬間的な動作が検知される操作装置が用いられると、敏速なタッチ操作が行われ得る。
 本発明は、検出できる操作の種類が多い、操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法を提供することを目的とする。
 本発明の一態様によれば、操作装置は、外部の物体が接触した接触位置を検出し、この検出の結果を出力するタッチパネルと、前記タッチパネルが出力した前記検出の結果に基づいて、前記物体が前記タッチパネルに接触し始めた開始位置から前記物体が前記タッチパネルから離れた終了位置までの軌跡を検出する検出部と、前記検出部が検出した前記軌跡に基づいて、前記タッチパネルを直線によって分割する線引き操作が行われたか否かを判定する線引き判定部とを備える。
 本発明の一態様によれば、操作装置を備える情報処理装置は、上記の操作装置と、前記タッチパネルが重畳するように設けられている、画像を表示する表示部と、前記線引き判定部による複数回の判定結果に基づいて、前記表示部の表示領域において閉領域が形成されたか否かを判定する閉領域判定部と、前記閉領域判定部によって前記閉領域が形成されたと判定した場合、前記閉領域に対応する領域を前記画像からトリミングしてトリミング画像データを生成する画像処理部とを備える。
 本発明の一態様によれば、操作受付方法は、外部の物体が接触した接触位置を検出してこの検出の結果を出力するタッチパネルを備えた操作装置を有する情報処理装置のための操作受付方法であって、前記タッチパネルが出力した前記検出の結果に基づいて、前記物体が前記タッチパネルに接触し始めた開始位置から前記物体が前記タッチパネルから離れた終了位置までの軌跡を検出することと、前記軌跡に基づいて、前記タッチパネルを直線によって分割する線引き操作が行われたか否かを判定することとを含む。
 本発明の一態様によれば、操作装置は、検出平面を有し、前記検出平面に対する被検出点の高さと、前記検出平面に投影された前記被検出点の位置である平面内位置とを検出するタッチパネルと、前記被検出点の前記高さ及び前記平面内位置の経時変化を含む操作情報を出力する操作判定部とを備える。
 本発明の一態様によれば、操作装置を備える情報処理装置は、上記の操作装置と、前記操作情報に基づいて画像データに対して処理を行う画像処理部とを備える。
 本発明の一態様によれば、操作受付方法は、検出平面を有し、前記検出平面に対する被検出点の高さと、前記検出平面に投影された前記被検出点の位置である平面内位置とを検出するタッチパネルを備えた操作装置を有する情報処理装置のための操作受付方法であって、タッチパネルの検出平面に対する被検出点の高さを取得することと、前記検出平面に投影された前記被検出点の位置である平面内位置を検出することと、前記被検出点の前記高さ及び前記平面内位置の経時変化を含む操作情報を取得することと、前記操作情報を出力することとを含む。
 本発明によれば、検出できる操作の種類が多い、操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法を提供できる。
図1は、第1の実施形態に係る携帯機器の機能構成例の概要を示すブロック図である。 図2は、第1の実施形態に係る携帯機器が実行する処理の概要を示すフローチャートである。 図3は、ユーザが携帯機器を用いて被写体を撮影する状況を説明するための模式図である。 図4は、図3の状況下で携帯機器の表示部が表示するライブビュー画像の一例を示す図である。 図5Aは、タッチ判定処理の一例の概要を示すフローチャートである。 図5Bは、タッチ判定処理の一例の概要を示すフローチャートである。 図6は、タッチパネルに対するタッチ操作の一例を模式的に示す図である。 図7は、線引き操作の一例を模式的に示す図である。 図8は、タッチパネルに対するスライド操作の一例を模式的に示す図である。 図9は、タッチパネルに対する第1の線引き操作の一例を模式的に示す図である。 図10は、タッチパネルに対する第2の線引き操作の一例を模式的に示す図である。 図11は、スライド操作におけるタッチ幅の変化の一例を模式的に示す図である。 図12は、第1の線引き操作におけるタッチ幅の変化の一例を模式的に示す図である。 図13は、第2の線引き操作におけるタッチ幅の変化の一例を模式的に示す図である。 図14は、タッチパネルに対するタッチ幅の一例を示す図である。 図15は、タッチパネルに対するタッチ幅の別の一例を示す図である。 図16は、表示部が表示する画像の一例を模式的に示す図である。 図17は、表示部が表示する画像の一例を模式的に示す図である。 図18は、線引き操作によって形成された閉領域の一例を模式的に示す図である。 図19Aは、第2の実施形態に係る携帯機器が実行するタッチ判定処理の一例の概要を示すフローチャートである。 図19Bは、第2の実施形態に係る携帯機器が実行するタッチ判定処理の一例の概要を示すフローチャートである。 図20は、線引き判定部が算出する表示部における表示領域の画面端において予測されるタッチ幅の算出方法を説明するための模式図である。 図21Aは、第3の実施形態に係る携帯機器が実行するタッチ判定処理の一例の概要を示すフローチャートである。 図21Bは、第3の実施形態に係る携帯機器が実行するタッチ判定処理の一例の概要を示すフローチャートである。 図22は、線引き判定部が判定する判定方法の概要を説明するための模式図である。 図23は、第4の実施形態に係る携帯機器の機能構成例の概要を示すブロック図である。 図24は、第4の実施形態に係るタッチパネルの構成例の概要を示す模式図である。 図25は、第4の実施形態に係るタッチパネルの構成例の概要を示す模式図である。 図26Aは、第4の実施形態に係る携帯機器が実行するタッチ判定処理の一例の概要を示すフローチャートである。 図26Bは、第4の実施形態に係る携帯機器が実行するタッチ判定処理の一例の概要を示すフローチャートである。 図27は、線引き判定部が判定する判定方法の概要を説明するための模式図である。 図28は、第5の実施形態に係る携帯機器の機能構成例の概要を示すブロック図である。 図29は、タッチパネルに対する第1の操作の一例を模式的に示す図である。 図30は、タッチパネルに対する第2の操作の一例を模式的に示す図である。 図31は、タッチ操作における、時間経過に対する検出された平面内位置の移動量及び静電容量の大きさの関係の一例を示す模式図である。 図32は、スライド操作における、時間経過に対する検出された平面内位置の移動量及び静電容量の大きさの関係の一例を示す模式図である。 図33は、第1の操作における、時間経過に対する検出された平面内位置の移動量及び静電容量の大きさの関係の一例を示す模式図である。 図34は、第2の操作における、時間経過に対する検出された平面内位置の移動量及び静電容量の大きさの関係の一例を示す模式図である。 図35は、第5の実施形態に係る携帯機器制御処理の一例の概要を示すフローチャートである。 図36は、第5の実施形態に係る撮影モード処理の一例の概要を示すフローチャートである。 図37は、第5の実施形態に係る操作判定処理の一例の概要を示すフローチャートである。 図38は、第1の操作に応じた画像処理の対象である画像の一例を示す図である。 図39は、ユーザによる第1の操作の一例を説明するための図である。 図40は、第1の操作に応じた画像処理が画像に対して行われたときの表示を示す図である。 図41は、第2の操作に応じた画像処理の対象である画像の一例を示す図である。 図42は、第2の操作に応じた画像処理が画像に対して行われたときの表示の一例を示す図である。 図43は、第2の操作に応じた画像処理が画像に対して行われたときの表示の別例を示す図である。 図44は、第5の実施形態に係る再生モード処理の一例の概要を示すフローチャートである。
 以下、図面を参照して、本発明のいくつかの実施形態を説明する。なお、以下の実施形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。すなわち、本発明は、各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。
 [第1の実施形態]
 〈携帯機器の構成〉
 図1は、本発明の第1の実施形態に係る携帯機器の機能構成を示すブロック図である。図1に示す携帯機器1は、撮像部2と、表示部3と、タッチパネル4と、操作部5と、記録部6と、制御部7と、時計8とを備える。
 撮像部2は、被写体を撮像し、この被写体の画像データを生成する。撮像部2は、複数のレンズ、シャッタ、絞り、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子、及び撮像素子が生成したアナログの画像データをデジタルの画像データに変換を行うA/D変換回路、フォーカスレンズを駆動させる駆動部等を含む。撮像部2は、光学系によって撮像素子の撮像面に被写体像を形成し、当該被写体像に基づく画像データを生成する。また、撮像部2は、被写体との距離を検出する機構を有してもよい。例えば、撮像素子は位相差によって被写体距離を検出する位相差検出画素を含んでもよい。撮像部2は、制御部7の制御の下、被写体を撮像し、この被写体の画像データを制御部7へ出力する。
 表示部3は、制御部7の制御の下、画像データに対応する画像を表示する。表示部3は、液晶又は有機EL(Electro Luminescence)等からなる表示パネル及び表示駆動回路等を含む。表示部3における画像の表示には、撮像直後の画像データを所定時間(例えば3秒間)だけ表示する確認表示、記録部6が記録する画像データに対応する再生画像を表示する再生表示、撮像部2が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー画像表示等が含まれる。また、表示部3は、携帯機器1の操作情報及び撮影に関する情報等を適宜表示する。
 タッチパネル4は、表示部3の表示画面上に重ねて設けられ、外部の物体が接触した接触位置(座標情報)を検出する。タッチパネル4は、この検出結果に基づいた座標情報を出力する。タッチパネル4の方式としては、抵抗膜方式、静電容量方式、光学方式等のうちいずれの方式が用いられてもよい。タッチパネル4は、物体が接触した位置を含む領域の座標情報を出力する。例えば、タッチパネル4は、少なくとも2箇所以上のタッチパネル4の表面の座標情報を出力する。具体的には、タッチパネル4は、物体が接触した位置に対応する座標情報以外に、周辺の複数の座標情報を検出し、これらの座標情報を出力する。
 操作部5は、携帯機器1に関する各種の操作の入力を受け付ける。操作部5は、ユーザによって入力された指示を受け取り、その指示を操作信号として制御部7へと伝達する。操作部5は、例えば電源スイッチ、レリーズスイッチ、モード切替スイッチ等を含む。
 記録部6は、撮像部2が生成した画像データ、携帯機器1を動作させるための各種プログラム、プログラムの実行中に使用される各種データ及びパラメータ等を記録する。記録部6は、Flashメモリ、SDRAM(Synchronous Dynamic Random Access Memory)及びメモリカード等の記録媒体を用いて構成される。
 制御部7は、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、又はFPGA(Field Programmable Gate Array)等の集積回路を含む。制御部7は、1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。制御部7の動作は、例えば記録部6や各種回路の記録領域に記録されたプログラムに従って行われる。制御部7は、携帯機器1の各部を統括的に制御する。制御部7は、検出部71と、線引き判定部72と、閉領域判定部73と、画像処理部74と、撮像制御部75と、表示制御部76とを有する。
 検出部71は、タッチパネル4が出力した検出結果に基づいて、タッチパネル4に対する物体(タッチ)の移動の方向と、物体が接触した接触位置(開始位置)から物体(タッチ)がタッチパネル4から離れた終了位置までの軌跡とを検出する。また、検出部71は、物体に対する表示部3の表示領域における端部間の一端側から他端側への移動を検出するとともに、物体がタッチパネル4から離れた終了位置における物体の挙動を検出する。ここで、物体の挙動は、物体がタッチパネル4に接触する面積や幅の変化として検出される。
 線引き判定部72は、検出部71が物体の移動の軌跡を検出する毎に、検出部71が検出した物体の移動の軌跡に基づいて、表示部3の表示領域において画面を分割する線引き操作が行われたか否かを判定する。具体的には、線引き判定部72は、検出部71が検出した物体の移動の軌跡及び物体がタッチパネル4に接触する面積や幅の変化に基づいて、線引き操作が行われたか否かを判定する。
 閉領域判定部73は、線引き判定部72による複数回の判定結果に基づいて、表示部3の表示領域において閉領域が形成されたか否かを判定する。ここで、閉領域とは、複数の線引き操作によって表示部3の表示領域において形成された閉じた領域である。
 画像処理部74は、画像データに対し、ホワイトバランス補正、ガンマ補正、シェーディング、ノイズ除去、明度及び彩度の調整等を行う。また、画像処理部74は、色の強調、白黒化、周辺光量の低下、発色及びコントラストの強調等といった、画像の表現を変更する画像処理も行う。さらに、画像処理部74は、閉領域判定部73によって閉領域が形成されたと判定された場合、閉領域に対応する領域を表示部3が表示する画像からトリミングしてトリミング画像データを生成する。
 撮像制御部75は、撮像部2の動作を制御する。また、撮像制御部75は、閉領域判定部73によって閉領域が形成されたと判定された場合、撮像部2に撮影を実行させる。
 表示制御部76は、表示部3の表示態様を制御する。また、表示制御部76は、撮像部2が生成した画像データであって、画像処理部74により画像処理を施された画像データに対応する画像を表示部3に表示させる。また、表示制御部76は、操作手順を示すメニューを表示部3に表示させる。さらに、表示制御部76は、線引き操作によって描写された物体の軌跡を表示部3に表示させる。
 時計8は、時間情報を信号として制御部7に伝達する。この時間情報は、画像が取得された時刻の記録等に用いられる。この時間情報は、タッチパネル4から検出される信号の経時変化を計測する際のタイミングをとるために用いられてもよい。
 〈携帯機器の処理〉
 以上の構成を有する携帯機器1が実行する処理について説明する。図2は、携帯機器1が実行する処理の概要を示すフローチャートである。
 ステップS101において、表示制御部76は、撮像部2が連続的に生成したライブビュー画像データに対応するライブビュー画像を表示部3に表示させる。図3は、ユーザが携帯機器1を用いて被写体P1を撮影する状況を示す模式図である。図4は、図3の状況下で携帯機器1の表示部3が表示するライブビュー画像の一例を示す図である。図3及び図4に示すように、ユーザは、携帯機器1の表示部3が表示するライブビュー画像LV1を見ながら、被写体P1(犬)に対する構図を決定する。この場合、表示制御部76は、携帯機器1の各種操作の指示を受け付ける操作アイコンA1及び操作アイコンA2をライブビュー画像LV1上に重畳して表示させる。
 ステップS102において、検出部71がタッチパネル4に対するタッチを検出したか否かが判定される。検出部71がタッチパネル4に対するタッチを検出した場合(ステップS102:Yes)、処理はステップS103に進む。ステップS103において、携帯機器1は、タッチに応じた操作を受け付けるタッチ判定処理を実行する。なお、タッチ判定処理の詳細は後述する。ステップS103の後、処理はステップS104へ移行する。
 ステップS102において、検出部71がタッチパネル4に対するタッチを検出していない場合(ステップS102:No)、処理はステップS104へ移行する。
 ステップS104において、操作部5から撮影指示があったか否かが判定される。操作部5から撮影指示があった場合(ステップS104:Yes)、処理はステップS105に進む。ステップS105において、撮像制御部75は、撮像部2に撮影を実行させる。ステップS105の後、処理はステップS106へ移行する。
 ステップS104において、操作部5から撮影指示がない場合(ステップS104:No)、処理はステップS106へ移行する。
 ステップS106において、操作部5から撮影を終了する旨の指示があったか否かが判定される。終了指示があった場合(ステップS106:Yes)、本処理は終了する。一方、終了指示がない場合(ステップS106:No)、処理はステップS101へ戻る。
 〈タッチ判定処理〉
 次に、上述したステップS103のタッチ判定処理について説明する。図5A及び図5Bは、タッチ判定処理の概要を示すフローチャートである。
 ステップS201において、検出部71は、タッチパネル4から入力される位置信号に基づいて、タッチ開始位置からタッチ終了位置までのタッチ幅とタッチ位置とを検出する。ここで、タッチ開始位置は、物体の一例としてのユーザの指がタッチパネル4に最初に触れた位置である。タッチ終了位置は、ユーザの指がタッチパネル4から離間した位置である。ステップS202において、検出部71は、タッチパネル4に対するタッチ位置の移動方向とタッチ開始位置からタッチ終了位置までの軌跡を検出する。
 ステップS203において、検出部71は、ステップS201及びステップS202の検出結果に基づいて、タッチ開始位置からタッチ終了位置までのタッチ幅の変化を検出する。
 ステップS204において、線引き判定部72は、検出部71が検出した検出結果に基づいて、タッチパネル4に対するタッチ開始位置とタッチ終了位置とが同じ位置であるか否かを判定する。タッチ開始位置とタッチ終了位置とが同じ位置である場合(ステップS204:Yes)、処理はステップS205に進む。ステップS205において、線引き判定部72は、検出された操作はタッチ操作であると判定する。
 図6は、タッチパネル4に対するタッチ操作を模式的に示す図である。タッチ操作は、図6に示すように、ユーザがタッチパネル4の検出平面4Sに対して例えば指である被検出体Fを垂直に近づけた後、被検出体を検出平面から垂直に離す操作である。なお、被検出体を近づけたり離したりする方向は厳密に垂直でなくともよい。どの程度の傾きを許容するかは、設定パラメータによって適宜に調整される。
 ステップS206において、検出部71が検出したタッチ位置に対応するライブビュー画像上に、携帯機器1の操作を指示するアイコンがあるか否かが判定される。携帯機器1の操作を指示するアイコンがある場合(ステップS206:Yes)、処理はステップS207に進む。ステップS207において、撮像制御部75は、アイコンに応じた処理を実行する。例えば、撮像制御部75は、撮像部2の絞り値を変更する指示信号の入力を受け付けるアイコンがタッチされた場合、撮像部2の絞り値を変更する。ステップS207の後、処理は、図2のメインルーチンへ戻る。
 ステップS206において、タッチ位置に対応するライブビュー画像上に携帯機器1の操作を指示するアイコンがないと判定された場合(ステップS206:No)、処理は図2のメインルーチンへ戻る。
 ステップS204において、タッチ開始位置とタッチ終了位置とが同じ位置でないと判定された場合(ステップS204:No)、処理はステップS208へ移行する。
 ステップS208において、線引き判定部72は、検出部71がステップS201乃至S203で検出した検出結果に基づいて、タッチ位置がタッチ開始位置から画面端へ向けて移動したか否かを判定する。具体的には、例えば図7に示すように、ユーザがタッチ位置を表示部3の斜め下方向の画面端へ移動させているとき、線引き判定部72は、ユーザがタッチパネル4の画面端に向けて指を移動させたと判定する。ユーザがタッチ位置をタッチパネル4の画面端に向けて移動させたと判定された場合(ステップS208:Yes)、処理はステップS209へ移行する。一方、ユーザがタッチ位置をタッチパネル4の画面端に向けて指を移動させていないと判定された場合(ステップS208:No)、処理は図2のメインルーチンへ戻る。
 ステップS209において、線引き判定部72は、検出部71がステップS201乃至S203で検出した検出結果に基づいて、タッチ開始位置が表示部3における表示領域の画面端であるか否かを判定する。ここで、画面端とは、表示部3における表示領域の縁である必要はなく、表示領域の縁の近傍を含む。具体的には、線引き判定部72は、表示部3における表示領域を所定の間隔で分割し、表示領域における画面端が含まれる分割領域を画面端として判定する。例えば表示部3における表示領域の縦及び横をそれぞれ5分割した場合、上下左右の端に位置する分割領域を画面端として判定する。なお、表示部3の画面端は、表示部3上に設けられたタッチパネル4の端部を意味することになる。タッチ開始位置が表示部3における表示領域の画面端であると判定された場合(ステップS209:Yes)、処理はステップS210へ移行する。
 ステップS210において、線引き判定部72は、検出部71が検出した検出結果に基づいて、タッチ開始位置からタッチ終了位置に向けての移動時に、タッチ幅が経時的に大きくなったか否かを判定する。タッチ幅が経時的に大きくなった場合(ステップS210:Yes)、処理はステップS211に進む。ステップS211において、線引き判定部72は、タッチ開始位置からタッチ終了位置に向けての移動が線引き操作であると判定する。ここで線引き操作とは、表示部3の表示領域を複数の画面に分割する操作である。すなわち、線引き操作とは、タッチパネル4の検出領域を分割する操作である。
 図8は、タッチパネル4に対するスライド操作を模式的に示す図である。図9は、タッチパネル4に対する線引き操作の一例を模式的に示す図である。図10は、タッチパネル4に対する線引き操作の別の一例を模式的に示す図である。図11、図12及び図13は、それぞれ図8、図9及び図10に示す各操作によるタッチ幅の変化を模式的に示す図である。
 タッチパネル4に対してスライド操作を行う場合、図8に示すように、ユーザは、まず、タッチパネル4の検出平面4S上の所望の位置に指である被検出体Fを確実に押し当てる(図8(a)→図8(b))。この状態で、ユーザは、指を別の位置へ移動させる(図8(b)→図8(c)→図8(d))。被検出体Fを検出平面4Sに近づけるときと、被検出体Fを検出平面4Sから遠ざけるときとでは、被検出体Fは検出平面4Sに対してほぼ垂直に移動する。ただし、この垂直は厳密でなくともよい。このとき、図14及び図15に示すように、ユーザは、タッチパネル4の同じ位置で指を確実に押しつける。このため、タッチ幅は、同じ位置でタッチ幅Bからタッチ幅Cへと大きくなる。図8に示すスライド操作を行う場合、ユーザは、所望の位置から別の位置へ確実に移動させたかが重要になるので、タッチ位置を意識して操作する必要がある。このため、図11、図14及び図15に示すように、ユーザは、タッチパネル4に対するタッチ開始位置で指を確実に押しつけるとともに(図14のタッチ幅B→図15のタッチ幅C)、タッチ開始位置からタッチ終了位置までのタッチ幅がほぼ一定となる(図11)。
 これに対して、タッチパネル4に対して線引き操作(以下、「第1の線引き操作」という)を行う場合、図9に示すように、ユーザは、まず、タッチパネル4の検出平面4S上の所望の位置に指である被検出体Fを軽く当てる(図9(a)→図9(b))。この状態で、ユーザは、指を別の位置へ瞬時に移動させる(図9(b)→図9(c)→図9(d))。図9に示す第1の線引き操作を行う場合、ユーザは、指がタッチパネル4から多少離れても、指の移動をタッチパネル4に検出させることができればよいので、タッチ開始時の指先への注意が一瞬でよく、携帯機器1の把持又はタッチ時の揺れ等に対する不必要な配慮を軽減できる。このため、図12に示すように、第1の線引き操作は、タッチ幅が表示部3における表示領域の端部に向けて経時的に小さくなる(タッチ幅C→タッチ幅B)。
 また、タッチパネル4に対して別の線引き操作(以下、「第2の線引き操作」という)を行う場合、図10に示すように、ユーザは、まず、タッチパネル4の検出平面4S上の所望の位置に指である被検出体Fを軽く当てる(図10(a)→図10(b))。この状態で、ユーザは、指を別の位置へ瞬時に移動させる(図10(b)→図10(c)→図10(d))。図10に示す第2の線引き操作を行う場合、ユーザは、指が所望の位置から多少離れた位置でタッチを開始しても、指の移動を検出できればよいので、タッチ開始時の指先への注意が一瞬でよく、携帯機器1の把持又はタッチ時の揺れ等に対する不必要な配慮を軽減できる。このため、図13に示すように、第2の線引き操作は、表示部3の一方の画面端から他方の画面端に向けてタッチ幅が徐々に大きくなった後、他方の画面端に向けてタッチ幅が徐々に小さくなる(タッチ幅B→タッチ幅C→タッチ幅B)。より具体的には、第2の線引き操作は、タッチ開始位置のタッチ幅が表示部3における表示領域上の移動に伴って徐々に大きくなった後に、表示部3における表示領域の端部に向けて徐々に小さくなる。
 このように、線引き判定部72は、検出部71の検出結果に基づいて、タッチ開始位置からタッチ終了位置までのタッチ幅の変化、又は表示部3の表示領域におけるタッチ開始位置又はタッチ終了位置に基づいて、ユーザによるタッチ操作がスライド操作であるか線引き操作であるかを判定する。具体的には、線引き判定部72は、タッチ開始位置からタッチ終了位置に向けての移動時にタッチ幅が経時的に大きくなったと判定した場合、線引き操作であると判定する。一方、線引き判定部72は、タッチ開始位置からタッチ終了位置に向けての移動時にタッチ幅が経時的に大きくなっていないと判定した場合、スライド操作と判定する。
 図5Bに戻り、ステップS212以降の説明を続ける。ステップS212において、表示制御部76は、検出部71の検出結果に基づいて、タッチ開始位置とタッチ終了位置とを結ぶ直線を表示部3の画面端まで描写して表示させる。具体的には、図16及び図17に示すように、表示制御部76は、タッチ開始位置とタッチ終了位置とを結ぶ直線A10を表示部3の画面端まで描写して表示させる。すなわち、図16に示すような操作が行われたときに図17に示すような表示がされる。これにより、ユーザは、線引き操作によるタッチ位置の軌跡を直感的に把握することができる。なお、図17においては、表示制御部76は、タッチ開始位置とタッチ終了位置とを結ぶ直線を表示部3に表示させているが、例えば、直線と表示部3の表示領域における端部で形成される閉領域R1に対応する画像を非表示(例えば黒で表示)にしてもよい。
 ステップS213において、閉領域判定部73は、ユーザによる複数回の線引き操作によって表示部3の表示領域上に、閉領域が形成されたか否かを判定する。例えば、図18に示す場合、閉領域判定部73は、ユーザによる複数回の線引き操作によって、表示部3の表示領域上に閉領域R10が形成されたと判定する。閉領域が形成された場合(ステップS213:Yes)、処理はステップS214に進む。ステップS214において、撮像制御部75は、撮像部2に撮影を実行させる。
 ステップS215において、画像処理部74は、撮像部2が生成した撮影画像データに対応する撮影画像に対して、ユーザによる線引き操作によって形成された閉領域R10を切り取るトリミング処理を行う。このようにして、画像処理部74は、トリミング画像データを生成する。これにより、ユーザは、所望の領域のみの画像を得ることができる。ステップS215の後、処理は図2のメインルーチンへ戻る。
 ステップS213において、閉領域が形成されていないと判定された場合(ステップS213:No)、処理は図2のメインルーチンへ戻る。
 ステップS210において、線引き判定部72がタッチ開始位置からタッチ終了位置に向けての移動時にタッチ幅が経時的に大きくなっていないと判定した場合(ステップS210:No)、処理はステップS216に進む。ステップS216において、線引き判定部72は、タッチパネル4に対する操作がスライド操作であると判定する。ステップS216の後、処理は図2のメインルーチンへ戻る。
 ステップS209において、タッチ開始位置が表示部3における表示領域の画面端でないと判定された場合(ステップS209:No)、処理はステップS217へ移行する。ステップS217において、線引き判定部72は、検出部71が検出した検出結果に基づいて、タッチ終了位置が表示部3の画面端であるか否かを判定する。タッチ終了位置が表示部3の画面端である場合(ステップS217:Yes)、処理はステップS218へ移行する。一方、タッチ終了位置が表示部3の画面端でない場合(ステップS217:No)、処理はステップS219へ移行する。
 ステップS218において、線引き判定部72は、タッチ幅が経時的に小さくなったか否かを判定する。タッチ幅が経時的に小さくなった場合(ステップS218:Yes)、処理はステップS211へ移行する。すなわち、線引き操作が行われたと判定される。一方、タッチ幅が経時的に小さくなっていない場合(ステップS218:No)、処理はステップS219へ移行する。
 ステップS219において、線引き判定部72は、タッチパネル4に対する操作がスライド操作であると判定する。ステップS219の後、処理は図2のメインルーチンへ戻る。
 本実施形態では、検出部71がタッチパネル4からタッチが離れた終了位置におけるタッチの挙動を検出し、線引き判定部72がタッチの方向、軌跡及び挙動に基づいて、線引き操作が行われたか否かを判定する。また、検出部71によって検出されたタッチ幅が開始位置から終了位置に向けて徐々に小さくなる場合、線引き判定部72は、線引き操作が行われたと判定する。したがって、本実施形態によれば、線引き操作は、従来のフリック操作及びスライド操作とは確実に判別される。このように、新たなタッチ操作である線引き操作が提供され得る。線引き操作は、じっくりと行われるスライド操作などと異なり、敏速なタッチ操作である。
 また、本実施形態では、複数の線引き操作によって閉領域が形成された場合、この閉領域に対応する領域を切り出したトリミング画像データを生成される。このように、本実施形態によれば、新たな操作方法が提供され得る。
 また、本実施形態では、閉領域判定部73によって閉領域が形成されたと判定された場合、撮像制御部75が撮像部2に撮影を実行させる。このように、本実施形態によれば、新たなレリーズ操作が提供され得る。
 なお、本実施形態では、画像処理部74が撮像部2によって撮像された画像データに対応する画像についてトリミング画像データを生成する例を示した。さらに、例えば閉領域判定部73によって表示部3の表示領域において閉領域が形成されたと判定された場合、画像処理部74は、この閉領域に対応するライブビュー画像についてトリミング画像データを生成してもよい。
 [第2の実施形態]
 第2の実施形態について説明する。第2の実施形態は、上述した第1の実施形態に係る携帯機器1と同様の構成を有し、タッチ判定処理が異なる。このため、以下においては、第2の実施形態に係る携帯機器1が実行するタッチ判定処理について説明する。なお、上述した第1の実施形態に係る携帯機器1と同一の構成には同一の符号を付して説明を省略する。
 〈タッチ判定処理〉
 図19A及び図19Bは、第2の実施形態に係る携帯機器1が実行するタッチ判定処理の概要を示すフローチャートである。
 ステップS301乃至ステップS308は、図5A及び図5Bを参照して説明したステップS201乃至ステップS208にそれぞれ対応する。
 ステップS309において、検出部71は、表示部3における表示領域の画面端において予測されるタッチ幅を算出する。
 続いて、ステップS310において、線引き判定部72は、予測される画面端におけるタッチ幅が所定値以下であるか否かを判定する。予測されるタッチ幅が所定値以下である場合(ステップS310:Yes)、処理はステップS311に進む。ステップS311において、線引き判定部72は、タッチパネル4に対する操作は線引き操作であると判定する。
 ここで、検出部71が表示部3における表示領域の画面端において予測されるタッチ幅を算出する際の算出方法について説明する。図20は、検出部71が算出する表示部3における表示領域の画面端において予測されるタッチ幅の算出方法を説明するための模式図である。図20において、横軸は表示部3の表示領域における位置(座標)を示し、縦軸はタッチ幅を示す。また、実線L1aはスライド操作におけるタッチ幅の変化を示し、一点鎖線L1bは第1の線引き操作におけるタッチ幅の変化を示し、破線L1cは第2の線引き操作におけるタッチ幅の変化を示す。スライド操作におけるタッチ終了時間をタッチ終了時間A、第1の線引き操作又は第2の線引き操作におけるタッチ終了時間をタッチ終了時間Bとして説明する。なお、図20において、表示部3の表示領域の長さをLとする。
 図20に示すように、ユーザは、スライド操作を行う場合、指をタッチした位置から所望の位置へ向けて移動させるので、意識して操作する。これに対して、ユーザは、線引き操作を行う場合、表示部3の表示領域における一方の画面端から他方の画面端に向けて鋏で切る感覚で操作するので、厳密な位置を意識しない。このため、一点鎖線L1b及び破線L1cに示すように、タッチ終了時においてタッチパネル4から徐々に離れていく(タッチ幅が徐々に小さくなる)ことが考えられる。
 そこで、検出部71は、タッチ開始時のタッチ幅及びタッチ終了時のタッチ幅に基づいて、ユーザの操作の意図を推定する。すなわち、検出部71は、タッチ幅が幅Cであった位置Pcと、タッチ幅がタッチ幅Bとなるタッチ終了の位置Pdとに基づいて、表示領域の端部におけるタッチ幅Eを推定する。具体的には、タッチ幅をC、Bとし、タッチ幅がCであった位置をPc、タッチ幅がBとなる位置をPdとし、表示部3の長手方向の長さをLとした場合、検出部71は、以下の式(1)によって、タッチ幅Eを算出する。
  E=C-((C-B)×(L-Pc)/(Pd-Pc))     (1)
 このように、線引き判定部72は、画面端において予測されるタッチ幅が予め設定した所定値以下であるか否かを判定し、予測されるタッチ幅が予め設定した所定値以下である場合、線引き操作と判定する。一方、線引き判定部72は、予測されるタッチ幅が予め設定した所定値以下でない場合、スライド操作と判定する。
 図19Bに戻り、ステップS312以降の説明を続ける。ステップS312乃至ステップS316は、図5Bを参照して説明したステップS212乃至ステップS216にそれぞれ対応する。
 本実施形態では、検出部71によって検出された表示部3の画面端で予測されるタッチ幅が所定値以下である場合、線引き操作が行われたと判定される。したがって、本実施形態では、線引き操作が、従来のフリック操作又はスライド操作から確実に判別され得る。このように、線引き操作という敏速なタッチ操作である線引き操作が提供され得る。
 [第3の実施形態]
 次に、本発明の第3の実施形態について説明する。第3の実施形態は、上述した第1の実施形態に係る携帯機器1と同様の構成を有し、タッチ判定処理が異なる。このため、以下においては、第3の実施形態に係る携帯機器1が実行するタッチ判定処理について説明する。なお、上述した第1の実施形態に係る携帯機器1と同一の構成には同一の符号を付して説明を省略する。
 〈タッチ判定処理〉
 図21A及び図21Bは、第3の実施形態に係る携帯機器1が実行するタッチ判定処理の概要を示すフローチャートである。
 ステップS401において、検出部71は、タッチパネル4から入力される位置信号に基づいて、タッチパネル4に対するタッチ開始時のタッチ位置及びタッチ開始時間を検出する。ステップS402において、検出部71は、タッチパネル4に対するタッチ終了時のタッチ終了位置及びタッチ終了時間を検出する。
 ステップS403において、検出部71は、ステップS401及びステップS402で検出したタッチ開始時間とタッチ終了時間とに基づいて、タッチ開始時間とタッチ終了時間の中間の時間を算出する。
 ステップS404乃至ステップS408は、図5A及び図5Bを参照して説明したステップS204乃至ステップS208にそれぞれ対応する。
 ステップS409において、検出部71は、ステップS403で算出したタッチ中間の時間におけるタッチ位置を検出する。
 続いて、ステップS410において、線引き判定部72は、検出部71がステップS409で算出したタッチ位置と、タッチ開始時間とタッチ終了時間との中間の時間と、タッチ終了時のタッチ位置と、タッチ終了時の時間とに基づいて、タッチ後半の移動速度を算出する。ステップS411において、線引き判定部72は、タッチ後半の移動速度が所定値以上であるか否かを判定する。移動速度が所定値以上である場合(ステップS411:Yes)、処理はステップS412へ移行する。一方、移動速度が所定値以上でない場合(ステップS411:No)、処理はステップS417へ移行する。
 ここで、線引き判定部72が判定する判定方法について説明する。図22は、線引き判定部72が判定する判定方法の概要を説明するための模式図である。図22において、横軸は時間を示し、縦軸は表示部3の表示領域の一端から他端までの位置を示す。また、曲線L2aがスライド操作における移動速度の変化を示し、曲線L2bが第1の線引き操作におけるタッチの移動速度の変化を示し、曲線L2cが第2の線引き操作におけるタッチの移動速度の変化を示す。なお、図22では、表示部3の表示領域における長手方向におけるタッチ位置の変化を例に挙げて説明する。
 図22の曲線L2aに示すように、ユーザは、スライド操作を行う場合、タッチ開始位置からタッチ終了位置までほぼ一定の速度で指を移動させる。これに対して、図22の曲線L2bに示すように、ユーザは、第1の線引き操作を行う場合、ある程度、線引き操作の位置とタッチ方向とを定めてから急速に指を移動させる。あるいは、図22の曲線L2cに示すように、ユーザは、第2の線引き操作を行う場合、瞬時に線引き操作の開始位置とタッチ方向とを定めて急速に動かす。このため、線引き判定部72は、ステップS410で算出した算出結果に基づいて、タッチ後半の移動速度が所定値以上である場合、操作は線引き操作であると判定する。一方、線引き判定部72は、タッチ後半の移動速度が所定値以上でない場合、操作はスライド操作であると判定する。
 ステップS412乃至ステップS417は、図5A及び図5Bを参照して説明したステップS211乃至ステップS216にそれぞれ対応する。
 本実施形態によれば、検出部71によって検出されたタッチパネル4上におけるタッチの移動速度が所定値以上である場合、線引き判定部72が線引き操作が行われたと判定する。したがって、線引き操作は、従来のフリック操作又はスライド操作から確実に判別され得る。このように、新たなタッチ操作である線引き操作が提供され得る。
 [第4の実施形態]
 第4の実施形態について説明する。第4の実施形態は、第1の実施形態に係る携帯機器1とタッチパネル4の構成及びタッチ判定処理が異なる。第4の実施形態に係る携帯機器の構成及びタッチ判定処理について説明する。なお、上述した第1の実施形態に係る携帯機器1と同一の構成には同一の符号を付して説明を省略する。
 〈携帯機器の構成〉
 図23は、第4の実施形態に係る携帯機器の機能構成を示すブロック図である。図23に示す携帯機器1aは、上述した第1の実施形態に係る携帯機器1のタッチパネル4に換えてタッチパネル4aを備える。このタッチパネル4aは、静電容量方式のタッチパネルである。
 図24は、本実施形態に係るタッチパネル4aの概略構成を示す模式図である。すタッチパネル4aは、フロントパネル41と、駆動部42と、駆動電極43と、受信電極44と、検出部45とを有する。
 フロントパネル41は、所定の厚みを有し、平面的に見て矩形状に形成された透明なガラス又はPET(Polyethylene Terephthalate)で構成される。すなわち、フロントパネル41は、誘電体を含む。
 駆動部42は、駆動電極43に駆動パルス(例えば印加電圧5V)を出力し、駆動電極43と受信電極44との間で静電容量を形成させる。
 駆動電極43及び受信電極44は、ITO(Indium Tin Oxide)等の素材で形成されている透明電極である。駆動電極43及び受信電極44は、フロントパネル41の下面に、例えば5mmピッチで交互にマトリックス状に長手方向及び短手方向にそれぞれ設けられている。検出部45は、静電容量センサを含む。
 このタッチパネル4aでは、駆動部42から駆動電極43へ例えば一定の大きさの電気信号が入力されると、フロントパネル41内では、駆動電極43から受信電極44へ向かう電場が発生する。このとき、この電場に沿って電荷が移動するので、受信電極44から検出部45へと電気信号が出力される。ここで、例えば図25に示すように、ユーザの手O3の指がフロントパネル41に接触すると、フロントパネル41内では、駆動電極43から指へ向かっても電場が発生する。一方で、駆動電極43から指へ向かって電場が発生すると、駆動電極43から受信電極44へ向かう電場が弱まり、この電場に沿って移動する電荷の数が少なくなる。その結果、受信電極44から出力される電気信号の大きさが小さくなる。このように、タッチパネル4への指の接触の有無に応じて、駆動電極43と受信電極44との間の電場が変化し、大きさが異なる電気信号が検出部45で検出される。そのため、検出部45で検出される電気信号の大きさに基づいて、タッチパネル4に指が接触しているか否かが判定され得る。
 さらに、本実施形態のタッチパネル4aは、指とフロントパネル41とが離れているときでも、駆動電極43と受信電極44との間の電場の変化を検出することができる。ここで、指と駆動電極43との距離が遠くなるほど、駆動電極43から指へ向かう電荷の数が少なくなり、駆動電極43から受信電極44へ向かう電荷の数が多くなる。その結果、受信電極44から出力される電気信号の大きさが大きくなる。したがって、受信電極44から出力される電気信号の大きさに基づいて、指がタッチパネル4に対してどの程度の高さの位置にあるかが判定され得る。すなわち、図24に示すように、ユーザの手O3が電界E1に接近することにより、駆動電極43と受信電極44との間で形成された静電容量の微細な変化量が検出され得る。この検出部45は、例えば米国特許7148704号明細書に開示されている。
 なお、例えばユーザの手O3がフロントパネル41に接触(タッチ)したとき、変化量として1pF程度の値が検出される。この技術を用いることにより、検出部45は、ユーザの手O3がフロントパネル41に触れる前であっても、駆動電極43と受信電極44との間で形成された静電容量の微細な変化を検出することができる。具体的には、検出部45は、図24に示すように、距離h1(例えば0.5cm)の位置に手O3があるときと、距離h2(例えば1cm)の位置に手O3があるときとを区別することができる。すなわち、タッチパネル4aに触れていない状態で指が微小な距離を移動する場合であっても、検出部45は、駆動電極43と受信電極44との間に形成された静電容量の変化を検出することができる。
 本実施形態では、タッチパネル4に指による操作を検出させているが、指に限らず例えばペン等でもよい。これら指又はペン等、タッチパネル4aへ入力するためのものを被検出体と総称する。以降の説明では、被検出体の位置を被検出点という。このように、本実施形態に係るタッチパネル4aによれば、被検出点を検出平面に投影した点の位置(以下、平面内位置と称する)が特定され得る。また、本実施形態に係るタッチパネル4aによれば、被検出点の検出平面からの高さが特定され得る。
 以上の構成を有するタッチパネル4aは、表示部3の表示画面上に設けられている。タッチパネル4aは、外部の物体の接触位置又は表面付近の物体の存在位置を検出する。このようにして、タッチパネル4aは、ユーザの操作を受け付ける。具体的には、タッチパネル4aは、表示部3で表示される情報に基づいて、ユーザがタッチパネル4aの画面に触れる前から表示画面の周辺に形成された電界が変化することで生じる静電容量の変化を検出する。
 〈タッチ判定処理〉
 携帯機器1aが実行するタッチ判定処理について説明する。図26A及び図26Bは、携帯機器1aが実行するタッチ判定処理の概要を示すフローチャートである。
 図26A及び図26Bにおいて、ステップS501乃至ステップS507は、図5A及び図5Bを参照して説明したステップS201乃至ステップS207にそれぞれ対応する。
 ステップS508において、線引き判定部72は、タッチパネル4aから取得した位置信号に基づいて、タッチ位置が表示部3の表示領域における一方の画面端から他方の画面端へ移動したか否かを判定する。タッチ位置が一方の画面端から他方の画面端へ移動した場合(ステップS508:Yes)、処理はステップS509へ移行する。一方、タッチ位置が一方の画面端から他方の画面端へ移動していない場合(ステップS508:No)、処理は図2のメインルーチンへ戻る。
 ステップS509において、線引き判定部72は、タッチパネル4aから入力される位置信号に基づいて、表示部3の表示領域における他方の画面端において静電容量の変化があったか否かを判定する。静電容量の変化があった場合(ステップS509:Yes)、処理はステップS510に進む。ステップS510において、線引き判定部72は、線引き操作と判定する。一方、静電容量の変化がなかった場合(ステップS509:No)、処理はステップS515へ移行する。
 ここで、線引き判定部72が判定する判定方法について説明する。図27は、線引き判定部72が判定する判定方法の概要を説明するための模式図である。図27において、横軸が表示部3の表示領域における一方の画面端から他方の画面端までの位置を示し、縦軸が検出される静電容量を示す。また、実線L3aがスライド操作における静電容量の変化を示し、破線L3bが第1の線引き操作又は第2の線引き操作における静電容量の変化を示す。なお、図27において、表示部3の表示領域における長手方向に対するタッチ位置の移動を例に挙げて説明する。もちろん、線引き判定部72は、表示部3の表示領域において対角線にタッチ位置が移動する際も同様の判定を行う。
 図27の実線L3aに示すように、ユーザは、スライド操作を行う場合、タッチ開始位置から所望の位置へ向けて指を移動させ、タッチ終了位置から指をタッチパネル4aから離間させる。したがって、表示部3の表示領域における画面端において静電容量が変化しない。これに対して、破線L3bに示すように、ユーザは、第1の線引き操作又は第2の線引き操作を行う場合、タッチ開始位置から所望の位置へ向けて指を移動させて、タッチ終了位置から指をタッチパネル4aから離間させる。このとき、空中において表示部3の表示領域における画面端まで指は移動するので、表示部3の表示領域における画面端において静電容量が変化する。具体的には、タッチパネル4aは、表示部3の表示領域における画面端において、静電容量を0.2pFを検出する。
 線引き判定部72は、タッチパネル4aから入力される位置信号に基づいて、表示部3の表示領域における他方の画面端において静電容量の変化があったか否かを判定する。静電容量の変化があった場合、線引き判定部72は、検出された操作は第1の線引き操作又は第2の線引き操作であると判定する。一方、静電容量の変化がなかった場合、線引き判定部72は、検出操作はスライド操作であると判定する。
 ステップS510乃至ステップS515は、図5A及び図5Bを参照して説明したステップS211乃至ステップS216にそれぞれ対応する。
 本実施形態によれば、検出部71がタッチの移動に伴って表示部3の表示領域における一端から他端に向けて静電容量が徐々に小さくなったと検出した場合、線引き判定部72は線引き操作が行われたと判定する。その結果、線引き操作は従来のフリック操作又はスライド操作から確実に判別され得る。このように、新たなタッチ操作である線引き操作が提供され得る。
 また、片手で把持して利用する携帯端末においては、軽快、迅速な把持や安定性に影響を与えないような操作が求められている。本発明は、このような要求を満たすものである。具体的には、本発明では、指先の瞬間的な軽い動作で入力が済むので、ユーザの意図した操作が確実に取得され得る。
 [第5の実施形態]
 第5の実施形態について説明する。本実施形態に係る携帯端末のための操作装置を備える携帯機器1cの構成について、図28を参照して説明する。なお、上述した第1の実施形態に係る携帯機器1と同一の構成には同一の符号を付して説明を省略する。
 〈携帯機器の構成〉
 図28は、本実施形態に係る携帯機器1cの概略を示すブロック図である。図28に示すように、携帯機器1cは、撮像部2と、表示部3と、タッチパネル4aと、操作部5と、記録部6と、制御部7と、時計8とを有する。撮像部2と、表示部3と、操作部5と、記録部6と、時計8とは、それぞれ、第1の実施形態に係る撮像部2と、表示部3と、操作部5と、記録部6と、時計8と同様である。本実施形態に係るタッチパネル4aは、第4の実施形態に係るタッチパネル4aと同様である。
 本実施形態に係る制御部7は、図28に示すように、画像処理部74と、撮像制御部75と、表示制御部76と、操作判定部77とを有する。画像処理部74と、撮像制御部75と、表示制御部76とは、それぞれ第1の実施形態の場合と同様である。
 操作判定部77は、位置検出部771と、方向判定部772と、高さ判定部773と、傾き判定部774と、速度判定部775と、回数判定部776とを有する。
 位置検出部771は、タッチパネル4の検出平面に対する被検出点の高さを検出する。また、位置検出部771は、被検出点を検出平面に投影した際の位置である平面内位置を検出する。位置検出部771は、高さと平面内位置とから、タッチ操作、スライド操作、第1の操作、及び第2の操作を後述するように判定することができる。
 方向判定部772は、タッチパネル4に対する被検出点の高さと平面内位置との経時変化の情報に基づいて、被検出点が移動する方向を判定する。方向判定部772によって、スライド操作の方向、第1の操作の方向、及び第2の操作の方向が取得される。
 高さ判定部773は、タッチパネル4に対する被検出点の高さを判定する。被検出点の高さは、例えばタッチパネル4から検出された静電容量の大きさが大きくなるほど、小さくなる値をとる。高さ判定部773によって、タッチ操作における被検出点の高さ、スライド操作における被検出点の高さ、第1の操作における被検出点の高さ、及び第2の操作における被検出点の高さが取得される。
 傾き判定部774は、経時変化に伴って高さと平面内位置とから表される被検出点の位置の集合により描かれる線分と、検出平面とがなす傾きを判定する。傾き判定部774によって、第1の操作の傾き及び第2の操作の傾きが取得される。
 速度判定部775は、被検出点の高さと平面内位置との経時変化に基づいて、被検出点、すなわち操作時の指の速度を判定する。速度判定部775によって、タッチ操作の速度、スライド操作の速度、第1の操作の速度、及び第2の操作の速度が取得される。
 回数判定部776は、経時変化に伴う被検出点の移動、すなわち指の移動が繰り返された回数を判定する。回数判定部776によって、第2の操作の回数が取得される。制御部7は、これら位置、方向、高さ、傾き、速度及び回数の情報に応じて画像処理を行う。
 本実施形態では、タッチ操作やスライド操作に加えて第1の操作や第2の操作を検出することができる。図29は、ユーザによる操作の一例である第1の操作について説明するための図である。図29に示すように、第1の操作は、ユーザが被検出体Fを検出平面4Sに対し垂直に押し付けた後、検出平面4Sに対して被検出体を押し付けられた位置から斜め方向へ動かしながら、被検出体を検出平面4Sから徐々に離していく操作である。
 図30は、ユーザによる操作の一例である第2の操作について説明するための図である。図30に示すように、第2の操作とは、ユーザが検出平面4S上の同じ位置で第1の操作を繰り返す操作である。
 第2の操作は、被検出体の軌道の高低差に応じてさらに別操作として分類されてもよい。図30は、被検出体の動きO1のようにタッチパネル4a付近で被検出体を大きく動かす第2の操作と、被検出体の動きO2のようにタッチパネル4a付近で被検出体を小さく動かす第2の操作とを示す。
 図31乃至図34を参照して、タッチパネル4aで検出された平面内位置及び静電容量と、タッチ操作、スライド操作、第1の操作、及び第2の操作との対応関係を概略的に説明する。図31は、タッチ操作において検出される静電容量と平面内位置の移動量との変化を説明するための図である。図32は、スライド操作において検出される静電容量と平面内位置の移動量との変化を説明するための図である。図33は、第1の操作において検出される静電容量と平面内位置の移動量との変化を説明するための図である。図34は、第2の操作において検出される静電容量と平面内位置の移動量との変化を説明するための図である。各図は上図と下図とに分かれる。上図と下図とは、時間経過を一点鎖線で結んで対応する時間を示している。上図は、時間を横軸で表し、平面内位置の移動量を縦軸で表す。移動量は、最初に検出された平面内位置からの移動量を示す。また、下図は、時間を横軸で表し、タッチパネル4a内で検出された静電容量の大きさを縦軸で表す。この静電容量の大きさが大きいほど、検出平面からの被検出体の高さは低くなる。なお、下図における縦軸に示した1.0pF及び0.2pFという値は一例である。例えば本実施形態のタッチパネル4aでは、被検出点が被検出面に接しているとき、1.0pFの静電容量が検出される。また、このタッチパネル4aは、例えばノイズ等の影響によって、0.2pF以下の静電容量を正しく検出できないものとする。図31乃至図34のグラフの点線部分は、0.2pF以下の静電容量を正しく検出できたとしたならば、検出される静電容量及び平面内位置の移動量の変化を示す。
 タッチ操作で検出される平面内位置の移動量と静電容量とについて図31を参照しながら説明する。タッチ操作では、被検出点は、まず検出平面内の一点へ垂直に近づき、次にこの一点から垂直に離れていくように移動する。このようなタッチ操作の検出結果は図31に示すようになる。すなわち図31の上図では、時間経過に対して、被検出点の平面内位置の移動量は変化していない。一方、図31の下図では、上図と同じ時間間隔において、静電容量の大きさは増加後に減少している。このような平面内位置の移動量と静電容量とが検出された場合、その結果からタッチ操作が行われたことが判別され得る。
 スライド操作で検出される平面内位置の移動量と静電容量とについて図32を参照しながら説明する。スライド操作では、指等である被検出体は、検出平面内をスライドする。このようなスライド操作の検出結果は図32に示すようになる。すなわち図32の上図では、時間経過に対して、被検出点の平面内位置の移動量は増加していく。すなわち平面内位置は変化している。一方、図32の下図では、上図で被検出点の平面内位置の移動量の変化があった時間帯において、静電容量の大きさは、一定値をとる。このような平面内位置の移動量と静電容量とが検出された場合、その結果からスライド操作が行われたことが判別され得る。
 第1の操作で検出される平面内位置の移動量と静電容量とについて図33を参照しながら説明する。第1の操作では、被検出体は、検出平面に対して斜め方向に移動する。このような第1の操作の検出結果は図33に示すようになる。すなわち図33の上図では、時間経過に対して、被検出体の平面内位置の移動量は増加していく。すなわち平面内位置が変化している。一方、図33の下図では、上図で被検出点の平面内位置の変化があった時間帯において、静電容量の大きさは減少している。このような平面内位置の移動量と静電容量とが検出された場合、その結果から第1の操作が行われたことが判別され得る。
 第2の操作で検出される平面内位置の移動量と静電容量とについて図34を参照しながら説明する。第2の操作では、被検出体は、第1の操作を繰り返す。このような第2の操作の検出結果は図34に示すようになる。すなわち平面内位置の移動量は、第1の操作と同様の平面内位置の変化を繰り返す。また、静電容量は、第1の操作と同様の静電容量の変化を繰り返す。このような平面内位置の移動量と静電容量とが検出された場合、その結果から第2の操作が行われたことが判別され得る。
 なお、図34の実線G1は、図30に軌道O1で示す第2の操作のように、タッチパネル4a付近で被検出体を大きく動かす第2の操作に対応している。図34の破線G2は、図30に軌道O2で示す第2の操作のように、被検出体を小さく動かす第2の操作に対応している。実線G1及び破線G2が示すそれぞれの第2の操作は、タッチパネル4aから出力される信号に基づいて、別操作として判別することができる。
 次に、タッチ操作を表す図31と、スライド操作を表す図32とを比較する。図31の上図では、時間経過に対して、検出される平面内位置の移動量は変わらない。一方、図32の上図では、検出された平面内位置の移動量が変化している。また、図31の下図と、図32の下図とは、静電容量の大きさが増減する点において、同じような変化を示している。このように、タッチ操作とスライド操作とは、タッチパネル4aから出力される平面内位置の移動量に係る信号に基づいて別操作として判別され得る。
 次に、スライド操作を表す図32と、第1の操作を表す図33とを比較する。スライド操作を示す図32の上図と、図33の上図とは、時間経過に対して、検出される平面内位置の移動量が変化している点において同じような変化を示す。しかしながら、図32では、平面内位置の移動量が変化するとき、下図のように静電容量の大きさは一定値を保っている。一方、図33では、平面内位置の移動量が変化するとき、下図のように静電容量の大きさは山なりに増減する。このように、スライド操作と第1の操作とは静電容量について異なる変化を表す。このように、スライド操作と第1の操作とは、タッチパネル4aから出力される静電容量に係る信号に基づいて別操作として判別され得る。
 次に、タッチ操作を表す図31と第1の操作を表す図33とを比較する。図31の上図では、時間経過に対して、検出される平面内位置の移動量は変わらない。一方、図33の上図では、検出される平面内位置の移動量が変化する。また、図31の上図と図33の下図とは、静電容量の大きさが増減する点において同じような変化を示している。以上により、タッチ操作を表す図31と第1の操作を表す図33とは、タッチパネル4aから出力される平面内位置の移動量に係る信号に基づいて別操作として判別され得る。
 最後に、図33と図34とを比較する。図34が示す各図は、第1の操作において検出された信号が繰り返し検出されたことを表している。以上により、タッチパネル4aは、タッチ操作、スライド操作、第1の操作、及び第2の操作とは別の操作としてそれぞれ判別され得る。
 〈携帯機器の処理〉
 図35を参照して、携帯機器1cが実行する携帯機器制御処理について説明する。図35は、本実施形態に係る携帯機器制御処理の動作の一例を示すフローチャートである。携帯機器1cは、例えば電源が入れられたときに携帯機器制御処理を開始する。
 ステップS601において、制御部7は、撮影モードが選択されているか否かを判定する。撮影モードが選択されているとき、処理はステップS602に進む。ステップS602において、制御部7は、後述する撮影モード処理を行う。その後、処理はステップS604に進む。
 ステップS601において、撮影モードが選択されていないと判定されたとき、処理はステップS603に進む。ステップS603において、制御部7は、後述する再生モード処理を行う。その後、処理はステップS604に進む。
 ステップS604において、制御部7は、携帯機器制御処理を終了するか否かを判定する。携帯機器制御処理を終了しないとき、処理はステップS601に戻る。携帯機器制御処理を終了するとき、携帯機器制御処理は終了する。
 図36を参照して、撮影モード処理に係る動作について説明する。ステップS701において、制御部7は、撮像部2に撮像を行わせて、スルー画用画像データを取得する。制御部7は、撮像部2により取得されたスルー画を表示部3に表示させる。
 ステップS702において、制御部7は、レリーズスイッチを含む操作部5から出力された信号に基づいて、撮影操作があったか否かを判定する。撮影操作があったとき、処理はステップS703に進む。例えばレリーズスイッチが押圧されたとき、処理はステップS703に進む。ステップS703において、制御部7は、撮像部2に撮影動作を行わせて、画像データを取得する。撮影動作により取得された画像データは、画像処理がなされた後に記録部6に記録される。
 ステップS704において、制御部7は、撮像部2により取得された画像データに基づく画像を所定時間の間、表示部3に表示させる(レックビュー表示)。その後、撮影モード処理は終了し、処理は携帯機器制御処理に戻る。
 ステップS702において、撮影操作がなかったと判定されたとき、処理はステップS705に進む。ステップS705において、制御部7は、操作判定処理を行う。図37を参照して、操作判定処理に係る動作について説明する。
 ステップS801において、制御部7は、平面内位置及び静電容量の大きさを、タッチパネル4aから取得して、記録部6に記録する。その後、処理がステップS802に進む。
 ステップS802において、制御部7は、以前の処理で取得した平面内位置及び静電容量の大きさの経時変化を記録部6から取得する。
 ステップS803において、制御部7は、タッチパネル4aへの操作が第1の操作を含むか否かを判定する。タッチパネル4aへの操作が第1の操作を含むとき、処理はステップS804に進む。ステップS804において、制御部7は、タッチパネル4aへの操作が第1の操作を繰り返す操作であったか否かを判定する。タッチパネル4aへの操作が第1の操作を繰り返す操作ではなかったとき、処理はステップS805に進む。
 ステップS805において、制御部7は、タッチパネル4aへの操作は、第1の操作であると判定する。その後、処理はステップS806に進む。ステップS806において、制御部7は、時間経過に対する、検出された平面内位置の変化と、これら位置における静電容量の変化とに基づいて、第1の操作が検出された位置、第1の操作の方向、第1の操作の傾き、及び第1の操作の速度を取得する。第1の操作の位置は、例えば移動前の最初に検出された平面内位置である。第1の操作の方向は、例えば検出された平面内位置が移動する方向である。第1の操作の傾きは、例えば高さ変化を平面内位置の変化で除算して得られる。また、第1の操作の速度は、例えば第1の操作における検出された平面内位置と高さとから求められる被検出点の移動によって描かれた線分の長さを被検出体がこの線分上を移動した移動時間で除算して得られる。ステップS806の処理の後、操作判定処理は終了し、処理は撮影モード処理に戻る。
 ステップS804において、タッチパネル4aへの操作が第1の操作を繰り返す操作であったと判定されたとき、処理はステップS807に進む。ステップS807において、制御部7は、タッチパネル4aへの操作は、第2の操作であると判定する。ステップS808において、時間経過に対する、検出された平面内位置の変化と、これら位置における静電容量とに基づいて、第2の操作が検出された位置、第2の操作の方向、第2の操作の傾き、第2の操作の速度、第2の操作が検出された位置における被検出点の高さ、及び第2の操作の回数を判定しそれぞれ取得する。第2の操作が検出された位置、第2の操作の方向、第2の操作の傾き、第2の操作の速度、及び第2の操作が検出された位置における被検出点の高さについては、第1の操作の場合と同様である。第2の操作の回数は、繰り返し回数をカウントすることで取得される。ステップS808の処理の後、操作判定処理は終了し、処理は撮影モード処理に戻る。
 ステップS803において、タッチパネル4aへの操作が第1の操作を含まないと判定されたとき、処理はステップS809に進む。ステップS809において、制御部7は、タッチパネル4aへの操作がスライド操作であるか否かを判定する。タッチパネル4aへの操作がスライド操作ではなかったとき、処理はステップS810に進む。
 ステップS810において、制御部7は、タッチパネル4aへの操作は、タッチ操作であると判定する。ステップS811において、制御部7は、検出された平面内位置と静電容量とに基づいて、タッチ操作が検出された位置と、タッチ操作の速度とを取得する。タッチ操作の速度は、被検出点をタッチパネル4aから離すときの速度である。すなわち、タッチ操作の速度は、例えば最も低い被検出点の高さから最も高い被検出点の高さまでの被検出点が移動した距離を、移動時間で除算して得られた値である。なお、タッチ操作の速度は、被検出体を検出平面に近づけるときの速度でもよい。その後、操作判定処理は終了し、処理は撮影モード処理に戻る。
 ステップS809において、タッチパネル4aへの操作がスライド操作であったと判定されたとき、処理はステップS812に進む。ステップS812において、制御部7は、タッチパネル4aへの操作は、スライド操作であると判定する。ステップS813において、制御部7は、検出された平面内位置と静電容量の変化とに基づいて、スライド操作に係る検出された位置と、スライド操作の方向と、スライド操作の速度とを取得する。スライド操作の速度は、例えば検出平面をスライドした被検出点の移動によって描かれた線分の長さを、スライド操作の移動時間で除算して得られた値である。その後、操作判定処理は終了し、処理は撮影モード処理に戻る。
 図36に戻って説明を続ける。ステップS705の操作判定処理の後、処理はステップS706に進む。ステップS706において、制御部7は、タッチパネル4aへの操作が、タッチ操作であったか否かを判定する。タッチパネル4aへの操作がタッチ操作であったとき、処理は前述したステップS703に進む。すなわち、制御部7は、タッチレリーズ操作が行われたと判定し、撮影動作を実施する。タッチレリーズ操作では、タッチ操作された位置に対応する被写体に合焦するようにオートフォーカス動作が行われる。合焦後、携帯機器1cは撮影を行う。
 ステップS706において、タッチパネル4aへの操作がタッチ操作ではなかったと判定されたとき、処理はステップS707に進む。ステップS707において、制御部7は、タッチパネル4aへの操作がスライド操作であったか否かを判定する。タッチパネル4aへの操作がスライド操作であったとき、処理はステップS708に進む。ステップS708において、制御部7は、操作手順等を表示したメニューを表示部3にスライド表示する。スライド表示は、例えばタッチパネル上を右から左へとスライド操作されたとき、メニュー表示が右から左へとスライドしながら現れるように表示部3に表示される。その後、撮影モード処理は終了し、処理は携帯機器制御処理に戻る。
 ステップS707において、タッチパネル4aへの操作がスライド操作ではなかったと判定されたとき、処理はステップS709に進む。ステップS709において、制御部7は、タッチパネル4aへの操作が第1の操作であったか否かを判定する。タッチパネル4aへの操作が第1の操作であったとき、処理はステップS710に進む。ステップS710において、制御部7は、第1の操作に係る被検出点の位置、第1の操作に係る被検出点の方向、及び第1の操作に係る被検出点の傾きに応じた画像処理を行う。その後、操作判定処理は終了し、処理は撮影モード処理に戻る。
 第1の操作に係る被検出点の位置、第1の操作に係る被検出点の方向、及び第1の操作に係る被検出点の傾きに応じた画像処理の一例について説明する。図38は、第1の操作に応じた画像処理の対象である画像の一例を示す。この画像処理は、スルー画用に取得した画像データに対してなされる。なお、ここでは、表示部3に表示されるスルー画に対して画像処理を行う例を示すが、第1の操作によって行われる画像処理は、レックビュー表示された画像や、再生された画像等、他の画像に対して行われてもよい。
 図39は、ユーザによる第1の操作の一例を説明するための図である。図39に示すように、ユーザは、左手で携帯機器1cを把持しながら、右手でタッチパネル4aに第1の操作を行う。この例では、ユーザは、画面中央付近でタッチパネル4aに触れ、指を右方向に移動させながらタッチパネルから指を離すような第1の操作を行う場合を示す。
 図40は、図39に示した第1の操作が行われたときに、この操作に応じた画像処理が画像に対して行われたときの画像処理結果の一例を示す。携帯機器1cは、タッチパネル4a内の第1の操作の始点から、第1の操作の方向へ、第1の操作の傾きに応じた明度差のグラデーションをスルー画用の画像データに適用する。この画像処理の結果、スルー画は、第1の操作の方向へ進むほど明度が低くなる。なお、この画像処理は一例であって、各種フィルター処理等他の画像処理を第1の操作に対応させてもよい。
 図36に戻って説明を続ける。ステップS709において、タッチパネル4aへの操作が第1の操作でなかったと判定されたとき、処理はステップS711に進む。ステップS711において、制御部7は、タッチパネル4aへの操作が第2の操作であったか否かを判定する。タッチパネル4aへの操作が第2の操作であったとき、処理はステップS712に進む。ステップS712において、制御部7は、第2の操作が検出された位置、第2の操作が検出された位置における被検出体の高さ、第2の操作の回数に応じた画像処理を行う。ステップS712の後、操作判定処理は終了し、処理は撮影モード処理に戻る。また、ステップS711において、タッチパネル4aへの操作が第2の操作ではなかったと判定されたとき、操作判定処理は終了し、処理は撮影モード処理に戻る。
 第2の操作が検出された位置、第2の操作が検出された位置における被検出点の高さ、第2の操作の回数に応じた画像処理の一例について説明する。図41は、スルー画の表示部3への表示の一例を示す。画像処理は、スルー画用に取得した画像データに対してなされる。なお、携帯機器1cは、この画像処理を表示部3に画像を表示する別の動作時に行ってもよい。例えば、携帯機器1cは、レックビュー表示時に当該画像処理を行ってもよい。
 携帯機器1cは、第2の操作の回数が多いほど画像データの明度を下げる。また、携帯機器1cは、第2の操作時の被検出点の高さが検出平面に対して低いほど画像データの明度を下げる。画像データの明度は、例えば第2の操作の回数と第2の操作時の被検出点の高さに係る値とを乗じて得られた設定値に応じて定まる。図42は、第2の操作において被検出点の高さが最も低い位置がスルー画の顔部であった場合の画像処理結果の一例である。図42は、上記の設定値が小さい場合の画像処理結果の一例を示す。制御部7は、図42に示す第2の操作が検出された顔部の平面内位置の明度が低くなるように、スルー画用画像データに対して画像処理を行う。
 図43は、設定値が大きい場合の画像処理の一例である。制御部7は、設定値が大きい場合、第2の操作により選択された顔部の明度をより低くする。図43に示す顔部は、図42に示す顔部に比べてより暗く表示されている。なお、この画像処理は一例であって、他の画像処理を第2の操作に対応させてもよい。
 次に、図44を参照して、再生モード処理に係る動作について説明する。ステップS901において、制御部7は、記録部6に記録されている画像データに基づくサムネイル画像を表示部3に一覧表示させる。その後、処理はステップS902に進む。
 ステップS902において、制御部7は、表示部3に一覧表示されたサムネイル画像から、サムネイル画像が選択されたか否かを判定する。サムネイル画像が選択されなかったとき、処理はステップS915に進む。ここで、サムネイル画像は、例えばタッチパネル4aへのタッチ操作により選択される。
 ステップS902において、サムネイル画像が選択されたと判定されたとき、処理はステップS903に進む。ステップS903において、制御部7は、操作により選択された画像を表示部3に拡大表示させる。ステップS904において、制御部7は、前述したタッチ判定処理を行う。その後、処理はステップS905に進む。
 ステップS905において、制御部7は、タッチパネル4aから出力された信号に基づいて、タッチパネル4aへ操作があったか否かを判定する。タッチパネル4aへ操作がなかったとき、処理はステップS904に戻る。一方、タッチパネル4aへ操作があったととき、処理はステップS906に進む。
 ステップS906において、制御部7は、操作がタッチ操作であったか否かを判定する。操作がタッチ操作であったとき、処理はステップS907に進む。ステップS907において、制御部7は、タッチ操作の平面内位置を中心として、タッチ操作の速度が大きいほどに画像の拡大率が高くなるように、表示部3に表示された画像を拡大表示する。その後、処理はステップS914に進む。
 ステップS906において、タッチパネル4aへの操作がタッチ操作ではなかったと判定されたとき、処理はステップS908に進む。ステップS908において、制御部7は、タッチパネル4aへの操作がスライド操作であったか否かを判定する。タッチパネル4aへの操作がスライド操作であったとき、処理はステップS909に進む。
 ステップS909において、制御部7は、表示部3に表示されている画像を、スライド操作の方向へ、スライド操作の速度が大きいほど速く移動するように画像を移動させる。あるいは、制御部7は、表示部3に表示されている画像を、スライド操作に応じて移動させた後、別画像を表示させてもよい。その後、処理はステップS914に進む。
 ステップS908において、タッチパネル4aへの操作がスライド操作ではなかったと判定されたとき、処理はステップS910に進む。ステップS910において、制御部7は、タッチパネル4aへの操作が第1の操作であったか否かを判定する。タッチパネル4aへの操作が第1の操作であったとき、処理はステップS911に進む。
 ステップS911において、制御部7は、第1の操作が検出された位置、第1の操作の方向、及び第1の操作の傾きに応じた画像処理を表示部3に表示されている画像に対して行う。この画像処理は、図38乃至図40で説明したものと同様の処理であるので、説明を省略する。その後、処理はステップS914に進む。
 ステップS910において、タッチパネル4aへの操作が第1の操作ではなかったと判定されたとき、処理はステップS912に進む。ステップS912において、制御部7は、タッチパネル4aへの操作が第2の操作であったか否かを判定する。タッチパネル4aへの操作が第2の操作であったとき、処理はステップS913に進む。
 ステップS913において、制御部7は、第2の操作が検出された位置、第2の操作が検出された位置における被検出点の高さ、及び第2の操作の回数に応じた画像処理を表示部3に表示されている画像に対して行う。この画像処理は、図41乃至図43で説明したものと同様の処理であるので、説明を省略する。その後、処理はステップS914に進む。
 ステップS912において、タッチパネル4aへの操作が第2の操作ではなかったと判定されたとき、すなわち、上記操作がタッチ操作、スライド操作、第1の操作又は第2の操作のいずれの操作でもなかったと判定されたとき、処理はステップS914に進む。
 ステップS914において、制御部7は、処理をステップS904に戻すか否かを判定する。処理を戻すと判定されたとき、処理はステップS904に戻る。例えば制御部7は、ユーザによる操作から例えば第1の操作と判定した被検出点に続けて被検出点が検出されていた場合、処理を再びステップS904のタッチ判定処理に戻して、この第1の操作と連続して行われた操作があったか否かを判定する。
 ステップS914において、処理をステップS904に戻さないと判定されたとき、処理はステップS915に進む。ステップS915において、制御部7は、再生モード処理を終了させるか否かを判定する。再生モード処理を終了させないとき、処理はステップS901に戻る。一方、再生モード処理を終了させるとき、再生モード処理は終了し、処理は携帯機器制御処理に戻る。例えば表示部3に表示された「戻る」を示すアイコンがタッチされたとき、本処理は終了し、処理は携帯機器制御処理に戻る。
 以上、本実施形態の携帯機器1cでは、タッチパネル4aは、被検出点の検出平面からの高さと平面内位置とを検出する。操作判定部77は、検出された高さと平面内位置とに基づいて、それらの経時変化を含む操作情報を出力する。このようにタッチパネル4a及び操作判定部77は、被検出点の高さを活用した操作情報を出力する操作装置として機能する。本実施形態では、従来のタッチパネルで検出されるタッチ操作やスライド操作のみならず、第1の操作や第2の操作も検出され得る。さらに、高さ方向の速度や高さ方向の傾きといった情報も取得され得る。この操作装置は、被検出点の高さを活用した操作を判定できるので、より多くの操作を判定し、操作情報を出力することができる。
 上記の操作装置を備える本実施形態の携帯機器1cは、操作装置から、タッチパネル4aの検出平面からみた被検出点の高さと、タッチパネル4aの検出平面内の被検出点の平面内位置との経時変化を含む操作情報を取得し、操作情報に対応した処理を行う。したがって、この携帯機器1cは、従来のタッチパネルによって取得された操作情報を用いる場合よりも、より多くの種類の操作に応じた処理を行うことができる。
 また、上記の操作装置から取得した操作情報は、操作情報に応じて画像処理を行う画像処理装置にも利用され得る。また、この操作情報は、その他の装置に利用されてもよい。
 [その他の実施の形態]
 本発明に係る技術は、デジタルカメラ等の携帯機器に適用されるに限らない。例えば、デジタル一眼レフカメラ、アクセサリ等を装着可能なデジタルカメラの他、デジタルビデオカメラ、撮像機能を有する携帯電話、スマートフォン又はタブレット型携帯機器等の電子機器にも適用され得る。また、これらの機器は必ずしも撮像機能を含んでいる必要もない。外部から取得した画像等の処理を行う機器にも用いられ得る。例えば電子書籍を表示する装置にも本技術は適用され得る。例えば、電子書籍の必要部分を切り出したり、アンダーラインを引いたりするような場合に、本技術は用いられ得る。また、プレゼン用に用いられる機器において、重要部位を切り出したり、直線的な矢印や注視を当てたり等、種々のハンディターミナルへの新しい入力方法としても本技術は用いられ得る。また、本技術は携帯できる機器に限らず、据え置き型の機器等にも用いられ得る。観察や検査を行う産業用機器、顕微鏡システム、医療用の機器等への活用も可能である。また、本技術の適用は、画像に対する操作に限定されるものでもない。本技術は、各種情報処理装置においてタッチパネルが含まれる操作装置に用いられ得る。例えば、本技術は、各種機器の動作を制御するためのコントロールパネルにも用いられ得る。例えば、本技術は、産業用ロボットのコントローラや、現金自動預入支払機の入力パネル等にも適用され得る。このように、本技術は、種々の情報処理装置の操作装置に用いられ得る。いずれの操作装置においても、例えば線引き操作、第1の操作、第2の操作などが、種々の機能と関連付けられ得る。
 また、本発明に係る携帯機器に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
 また、本発明に係る携帯機器に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成されてもよい。さらに、本発明に係る携帯機器に実行させるプログラムをインターネット等のネットワーク経由で提供又は配布されるように構成されてもよい。
 なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示したが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
 このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

Claims (18)

  1.  外部の物体が接触した接触位置を検出し、この検出の結果を出力するタッチパネルと、
     前記タッチパネルが出力した前記検出の結果に基づいて、前記物体が前記タッチパネルに接触し始めた開始位置から前記物体が前記タッチパネルから離れた終了位置までの軌跡を検出する検出部と、
     前記検出部が検出した前記軌跡に基づいて、前記タッチパネルを直線によって分割する線引き操作が行われたか否かを判定する線引き判定部と
     を備える操作装置。
  2.  前記検出部は、前記タッチパネルが出力した前記検出の結果に基づいて、前記終了位置における前記物体が前記タッチパネルに接触する面積又は幅の変化を検出可能であり、
     前記線引き判定部は、前記軌跡及び前記面積又は幅の変化に基づいて、前記線引き操作が行われたか否かを判定する、
     請求項1に記載の操作装置。
  3.  前記線引き判定部は、前記検出部によって前記物体が前記タッチパネルにおいて一端側から他端側へ移動したと検出された場合、前記線引き操作が行われたと判定する、請求項1に記載の操作装置。
  4.  前記検出部は、前記タッチパネルが出力した前記検出の結果に基づいて、前記物体が接触した幅を検出可能であり、
     前記線引き判定部は、前記検出部が検出した前記幅が前記開始位置から前記終了位置に向けて徐々に小さくなる場合、前記線引き操作が行われたと判定する、
     請求項1に記載の操作装置。
  5.  前記検出部は、前記タッチパネルが出力した前記検出の結果に基づいて、前記物体が前記タッチパネルの端部で予測される前記物体の幅を検出可能であり、
     前記線引き判定部は、前記予測される前記幅が所定値以下である場合、前記線引き操作が行われたと判定する、
     請求項1に記載の操作装置。
  6.  前記検出部は、前記タッチパネルが出力した前記検出の結果に基づいて、前記タッチパネル上における前記物体の移動速度を検出可能であり、
     前記線引き判定部は、前記移動速度が所定値以上である場合、前記線引き操作が行われたと判定する、
     請求項1に記載の操作装置。
  7.  前記タッチパネルは、静電容量方式であり、
     前記検出部は、前記タッチパネルが検出した静電容量の変化を検出可能であり、
     前記線引き判定部は、前記検出部によって検出された前記静電容量が前記物体の移動に伴って前記タッチパネルにおける一端から他端に向けて徐々に小さくなった場合、前記線引き操作が行われたと判定する、
     請求項1に記載の操作装置。
  8.  請求項1に記載の操作装置と、
     前記タッチパネルが重畳するように設けられている、画像を表示する表示部と、
     前記線引き判定部による複数回の判定結果に基づいて、前記表示部の表示領域において閉領域が形成されたか否かを判定する閉領域判定部と、
     前記閉領域判定部によって前記閉領域が形成されたと判定された場合、前記閉領域に対応する領域を前記画像からトリミングしてトリミング画像データを生成する画像処理部と
     を備える情報処理装置。
  9.  被写体を撮像し、当該被写体の画像データを生成する撮像部と、
     前記撮像部の撮影動作を制御する撮像制御部と、
     前記撮像部が生成した前記画像データに対応する画像を前記表示部に表示させる表示制御部と、
     をさらに備え、
     前記撮像制御部は、前記閉領域判定部によって前記閉領域が形成されたと判定された場合、前記撮像部に撮影を実行させ、
     前記画像処理部は、前記撮像部が生成した前記画像データに対応する画像内の前記閉領域をトリミングしてトリミング画像データを生成する、
     請求項8に記載の情報処理装置。
  10.  前記表示制御部は、前記線引き操作によって描写された前記軌跡を前記表示部に表示させる請求項9に記載の情報処理装置。
  11.  外部の物体が接触した接触位置を検出してこの検出の結果を出力するタッチパネルを備えた操作装置を有する情報処理装置のための操作受付方法であって、
     前記タッチパネルが出力した前記検出の結果に基づいて、前記物体が前記タッチパネルに接触し始めた開始位置から前記物体が前記タッチパネルから離れた終了位置までの軌跡を検出することと、
     前記軌跡に基づいて、前記タッチパネルを直線によって分割する線引き操作が行われたか否かを判定することと
     を含む操作受付方法。
  12.  検出平面を有し、前記検出平面に対する被検出点の高さと、前記検出平面に投影された前記被検出点の位置である平面内位置とを検出するタッチパネルと、
     前記被検出点の前記高さ及び前記平面内位置の経時変化を含む操作情報を出力する操作判定部と
     を備える操作装置。
  13.  前記操作判定部は、
      前記被検出点の前記平面内位置の前記経時変化に基づいて、前記被検出点が移動する方向を判定する方向判定部と、
      前記経時変化に伴って前記高さ及び前記平面内位置によって表される前記被検出点により描かれる線分と前記検出平面とがなす傾きを判定する傾き判定部と
     を有し、
     前記操作判定部は、前記被検出点が移動する前記方向が一方向であり、かつ、前記傾きが0°より大きい第1の操作を検出し、前記第1の操作が検出された際には前記方向及び前記傾きを含む前記操作情報を出力する、
     請求項12に記載の操作装置。
  14.  前記操作判定部は、前記第1の操作の繰り返し回数を判定する回数判定部をさらに有し、
     前記操作判定部は、前記第1の操作が複数回繰り返される第2の操作を検出し、前記第2の操作が検出された際には前記回数をさらに含む前記操作情報を出力する、
     請求項13に記載の操作装置。
  15.  前記操作判定部は、前記被検出点の前記高さ及び前記平面内位置の前記経時変化に基づいて、前記被検出点の移動の速度を算出する速度判定部をさらに有し、
     前記操作判定部は、前記被検出点の前記速度の情報を含む前記操作情報を出力する、
     請求項12に記載の操作装置。
  16.  請求項12に記載の操作装置と、
     前記操作情報に基づいて画像データに対して処理を行う画像処理部と
     を備える情報処理装置。
  17.  前記画像データに基づいて画像を表示する表示部をさらに備え、
     前記操作判定部は、前記被検出点の前記高さの前記経時変化に基づいて、前記被検出点の高さ方向の移動の速度である高さ速度を算出する高さ速度判定部をさらに有し、
     前記操作判定部は、前記高さ速度の情報をさらに含む前記操作情報を出力し、
     前記画像処理部は、前記高さ速度が大きいほど、前記画像の拡大率が高くなるように前記画像を拡大する
     請求項16に記載の情報処理装置。
  18.  検出平面を有し、前記検出平面に対する被検出点の高さと、前記検出平面に投影された前記被検出点の位置である平面内位置とを検出するタッチパネルを備えた操作装置を有する情報処理装置のための操作受付方法であって、
     タッチパネルの検出平面に対する被検出点の高さを取得することと、
     前記検出平面に投影された前記被検出点の位置である平面内位置を検出することと、
     前記被検出点の前記高さ及び前記平面内位置の経時変化を含む操作情報を取得することと、
     前記操作情報を出力することと
     を含む操作受付方法。
PCT/JP2015/078531 2014-10-21 2015-10-07 操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法 WO2016063736A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580057158.5A CN107077285A (zh) 2014-10-21 2015-10-07 操作装置、具有操作装置的信息处理装置以及用于信息处理装置的操作受理方法
JP2016555170A JP6307626B2 (ja) 2014-10-21 2015-10-07 操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法
US15/178,383 US10152218B2 (en) 2014-10-21 2016-06-09 Operation device, information processing apparatus comprising operation device, and operation receiving method for information processing apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014214787 2014-10-21
JP2014-214787 2014-10-21
JP2014-223453 2014-10-31
JP2014223453 2014-10-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/178,383 Continuation US10152218B2 (en) 2014-10-21 2016-06-09 Operation device, information processing apparatus comprising operation device, and operation receiving method for information processing apparatus

Publications (1)

Publication Number Publication Date
WO2016063736A1 true WO2016063736A1 (ja) 2016-04-28

Family

ID=55760780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/078531 WO2016063736A1 (ja) 2014-10-21 2015-10-07 操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法

Country Status (4)

Country Link
US (1) US10152218B2 (ja)
JP (1) JP6307626B2 (ja)
CN (1) CN107077285A (ja)
WO (1) WO2016063736A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202432A (zh) * 2016-07-12 2016-12-07 无锡天脉聚源传媒科技有限公司 一种移动终端界面的调整方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146428B2 (en) 2011-04-21 2018-12-04 Inpris Innovative Products From Israel Ltd Device, system, and methods for entering commands or characters using a touch screen
US20170090600A1 (en) * 2015-09-25 2017-03-30 Inpris Innovative Products Ltd Identifying pressure intensity as a pressure gesture in a pressure-sensor-less touch screen
US9811926B2 (en) * 2016-01-21 2017-11-07 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Touch screen gesture for perfect simple line drawings
KR20180091207A (ko) * 2017-02-06 2018-08-16 삼성전자주식회사 터치 입력 처리 방법 및 이를 지원하는 전자 장치
US11449167B2 (en) 2017-06-26 2022-09-20 Inpris Innovative Products Fromisrael, Ltd Systems using dual touch and sound control, and methods thereof
KR102527080B1 (ko) * 2018-08-01 2023-05-02 삼성전자주식회사 입력 이벤트를 처리하기 위한 전자 장치 및 그의 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061299A (ja) * 2008-09-02 2010-03-18 Sony Corp 情報入力装置、情報入力方法、情報入出力装置および情報入力プログラム
JP2011134271A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
JP2012070310A (ja) * 2010-09-27 2012-04-05 Fujifilm Corp 画像編集装置及びその画像編集方法並びにそのプログラム
WO2013161162A1 (ja) * 2012-04-27 2013-10-31 パナソニック株式会社 入力装置、入力支援方法及びプログラム
JP2014153850A (ja) * 2013-02-07 2014-08-25 Toshiba Corp 電子機器、制御方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1708672B (zh) 2002-10-31 2010-05-12 量研科技股份有限公司 电荷转移电容位置传感器
JP4119436B2 (ja) 2005-03-10 2008-07-16 株式会社コナミデジタルエンタテインメント 情報入力変換プログラム及び情報入力変換装置
JP5907738B2 (ja) * 2012-01-23 2016-04-26 オリンパス株式会社 撮像装置、表示方法、プログラム
JP5840302B2 (ja) * 2012-10-15 2016-01-06 シャープ株式会社 タッチパネル付き表示装置およびプログラム
US20140218313A1 (en) 2013-02-07 2014-08-07 Kabushiki Kaisha Toshiba Electronic apparatus, control method and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061299A (ja) * 2008-09-02 2010-03-18 Sony Corp 情報入力装置、情報入力方法、情報入出力装置および情報入力プログラム
JP2011134271A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
JP2012070310A (ja) * 2010-09-27 2012-04-05 Fujifilm Corp 画像編集装置及びその画像編集方法並びにそのプログラム
WO2013161162A1 (ja) * 2012-04-27 2013-10-31 パナソニック株式会社 入力装置、入力支援方法及びプログラム
JP2014153850A (ja) * 2013-02-07 2014-08-25 Toshiba Corp 電子機器、制御方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202432A (zh) * 2016-07-12 2016-12-07 无锡天脉聚源传媒科技有限公司 一种移动终端界面的调整方法和装置

Also Published As

Publication number Publication date
US10152218B2 (en) 2018-12-11
CN107077285A (zh) 2017-08-18
JPWO2016063736A1 (ja) 2017-06-15
US20160291833A1 (en) 2016-10-06
JP6307626B2 (ja) 2018-04-04

Similar Documents

Publication Publication Date Title
JP6307626B2 (ja) 操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法
US10205869B2 (en) Video processing apparatus, control method, and recording medium
EP2574041B1 (en) Image capturing apparatus and control method thereof
US9280223B2 (en) Imaging apparatus and continuous shooting imaging methods using a continuous touch user input
US20210287343A1 (en) Electronic apparatus, control method, and non-transitory computer readable medium
JP6083987B2 (ja) 撮像装置、その制御方法及びプログラム
US10560625B2 (en) Image shooting apparatus for setting image shooting condition easily and method thereof
US9832361B2 (en) Imaging apparatus capable of accurately focusing an object intended by a user and method of controlling imaging apparatus
US20190011805A1 (en) Electronic apparatus and method for controlling same
JP2016114668A (ja) 撮像装置および制御方法とプログラム
JP5709816B2 (ja) 撮像装置、その制御方法、および制御プログラム、並びに記録媒体
US9535604B2 (en) Display device, method for controlling display, and recording medium
JP6302215B2 (ja) 撮像装置
US20190116318A1 (en) Electronic apparatus and method for controlling the same
WO2017018043A1 (ja) 電子機器、電子機器の動作方法及び制御プログラム
JP2013058861A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
WO2014141612A1 (ja) 撮像装置
US20160057359A1 (en) Image generating apparatus, image generating method and computer readable recording medium for recording program for generating new image from images related to reference image
JP5880459B2 (ja) 電子機器、表示制御方法及びプログラム
US10924680B2 (en) Image capture control apparatus and method of controlling the same
US11012629B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
JP2014048775A (ja) 注視位置特定装置、および注視位置特定プログラム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2021005168A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP5967172B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15851869

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016555170

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15851869

Country of ref document: EP

Kind code of ref document: A1