WO2020059528A1 - タッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラム - Google Patents

タッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラム Download PDF

Info

Publication number
WO2020059528A1
WO2020059528A1 PCT/JP2019/035057 JP2019035057W WO2020059528A1 WO 2020059528 A1 WO2020059528 A1 WO 2020059528A1 JP 2019035057 W JP2019035057 W JP 2019035057W WO 2020059528 A1 WO2020059528 A1 WO 2020059528A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch panel
pinch
panel display
image
object area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/035057
Other languages
English (en)
French (fr)
Inventor
喬俊 狩野
和幸 板垣
誠 大関
林　伸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020548321A priority Critical patent/JP7349441B2/ja
Priority to CN201980061151.9A priority patent/CN112740163B/zh
Publication of WO2020059528A1 publication Critical patent/WO2020059528A1/ja
Priority to US17/203,046 priority patent/US11416133B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G06F3/04146—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position using pressure sensitive conductive elements delivering a boolean signal and located between crossing sensing lines, e.g. located between X and Y sensing line layers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a device with a touch panel display, a control method therefor, and a program, and more particularly to a technique for performing desired processing on an image by intuitive operation.
  • a touch panel display in which a touch panel for detecting an input by a contact operation is arranged on a display has become widespread, and is used in mobile devices such as smartphones.
  • Patent Literature 1 discloses a technique of picking up and saving an arbitrary object corresponding to a first multi-touch input among displayed objects, and calling up the stored object in response to a second multi-touch input. Have been.
  • Patent Document 2 discloses a technique for correcting the position of a selected area in an image by dragging the selected area.
  • Non-Patent Document 1 discloses a technique for automatically determining and cutting out the area of an object.
  • Patent No. 5731979 US Patent No. 9575641
  • the objects that can be picked up are limited to those already recognized as objects from the system, and objects that are not recognized as objects cannot be picked up.
  • Patent Literature 2 has a number of steps for a user to select a desired area, and cannot perform a simple operation.
  • Non-Patent Document 1 Furthermore, in the technique of Non-Patent Document 1, it is necessary to specify a rectangular range for specifying a seed point, and a simple operation cannot be realized.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a device with a touch panel display that performs desired processing on an object in an image with a simple operation, a control method thereof, and a program. I do.
  • one mode of a device with a touch panel display includes a touch panel display, an image display unit that displays an image on the touch panel display, a pinch-in operation recognition unit that recognizes a user's pinch-in operation on the touch panel display, and a pinch-in operation.
  • a contact area recognizing unit that recognizes a contact area in contact with the touch panel display by an operation, and an object area occupied by an object including at least a part of the contact area with respect to the image based on the contact area recognized by the contact area recognizing unit.
  • An object area determining unit an operation transition recognizing unit that recognizes a transition from the pinch-in operation to an operation other than the pinch-in operation, and an operation display unit that is displayed on the touch panel display when it recognizes that the operation has transitioned to an operation other than the pinch-in operation.
  • An output action unit for performing actions on the object area to an image, a touch panel display with a device equipped with.
  • an object area occupied by an object including at least a part of the contact area with respect to the image is determined, and when the operation transits from the pinch-in operation to an operation other than the pinch-in operation, the touch panel Since the action relating to the object area is performed on the image displayed on the display, desired processing can be performed on the object in the image by a simple operation.
  • the operation other than the pinch-in operation is at least one of a pinch-out operation, an operation of making contact with the touch panel display non-contact, a drag operation, and an operation of making the pressing force on the touch panel display stronger than the pressing force in the pinch-in operation. Is preferred.
  • a desired process can be performed on the object in the image by a series of operations from the pinch-in operation.
  • the action relating to the object area is at least one of an action of copying or moving the object area, an action of recording the object area in the memory, an action of changing the orientation of the object area, and an action of enlarging or reducing the object area. Is preferred. Thereby, appropriate processing can be performed on the object in the image.
  • the image is preferably a captured image obtained by the image sensor. According to this aspect, it is possible to perform a desired process on an object in the image even for an image for which the object area has not been extracted.
  • one aspect of a method of controlling a device with a touch panel display includes an image display step of displaying an image on the touch panel display, a pinch-in operation recognition step of recognizing a user's pinch-in operation on the touch panel display, and a pinch-in operation.
  • An area determination step an operation transition recognition step of recognizing that a transition has been made from the pinch-in operation to an operation other than the pinch-in operation, and an image displayed on the touch panel display when recognizing that a transition has been made to an operation other than the pinch-in operation
  • desired processing can be performed on an object in an image by a simple operation.
  • a program for causing a computer to execute the control method of the device with a touch panel display is also included in the present embodiment.
  • desired processing can be performed on an object in an image by a simple operation.
  • FIG. 1 is a front perspective view of the tablet PC.
  • FIG. 2 is a rear perspective view of the tablet PC.
  • FIG. 3 is a block diagram illustrating a system configuration of the tablet PC.
  • FIG. 4 is a block diagram illustrating a system configuration of the touch panel display control unit.
  • FIG. 5 is a diagram for explaining a contact area.
  • FIG. 6 is a flowchart illustrating a control method of the tablet PC.
  • FIG. 7 is a diagram illustrating an example in which an image is displayed on the touch panel display.
  • FIG. 8 is a diagram illustrating a pinch-in operation with respect to the touch panel display.
  • FIG. 9 is a diagram for explaining a transition from the pinch-in operation to an operation other than the pinch-in operation and an action related to the object area.
  • FIG. 9 is a diagram for explaining a transition from the pinch-in operation to an operation other than the pinch-in operation and an action related to the object area.
  • FIG. 10 is a diagram illustrating an image displayed on the touch panel display at the time when a series of operations is completed.
  • FIG. 11 is a diagram for describing copying of an object between different images.
  • FIG. 12 is a diagram illustrating an image displayed on the touch panel display when a series of operations is completed.
  • FIG. 13 is a diagram for describing copying of an object.
  • FIG. 14 is a diagram illustrating an image displayed on the touch panel display when a series of operations is completed.
  • FIG. 15 is a diagram for explaining the rotation of the object.
  • FIG. 16 is a diagram illustrating an image displayed on the touch panel display when a series of operations is completed.
  • FIG. 17 is a diagram for explaining enlargement of an object.
  • FIG. 18 is a diagram illustrating an image displayed on the touch panel display when a series of operations is completed.
  • FIG. 1 is a front perspective view of a tablet computer terminal 10 (hereinafter, referred to as a tablet PC 10; PC is an abbreviation for Personal Computer) which is an example of a device with a touch panel display according to the present embodiment, and FIG. It is.
  • the tablet PC 10 includes a flat casing 12 having a rectangular outline.
  • the housing 12 includes a touch panel display 14, operation buttons 16, a speaker 18, a built-in camera 20, and an external connection terminal 24.
  • FIG. 3 is a block diagram showing a system configuration of the tablet PC 10.
  • the tablet PC 10 includes a CPU (Central Processing Unit) 30 that controls the overall operation of the tablet PC 10.
  • the CPU 30 communicates with the main memory 34, the non-volatile memory 36, the mobile communication unit 38, the wireless LAN (Local Area Network) communication unit 40, the short-range wireless communication unit 42, and the wired communication via the system bus 32.
  • the unit 44, the key input unit 50, the audio processing unit 52, the imaging control unit 54, and the touch panel display control unit 60 are connected.
  • the CPU 30 reads an OS (Operating System) stored in the non-volatile memory 36, an application program operating on the OS, fixed data, and the like, expands the data in the main memory 34, and executes the operation program. It functions as a control unit that controls the entire operation.
  • OS Operating System
  • the main memory 34 is constituted by, for example, a RAM (Random Access Memory) and functions as a work memory of the CPU 30.
  • the non-volatile memory 36 is formed of, for example, a flash EEPROM (Electrically Erasable Programmable Read Only Memory), and stores an OS, application programs, and various standard data.
  • the nonvolatile memory 36 functions as a storage unit of the tablet PC 10 and stores various data.
  • the mobile communication unit 38 communicates with the nearest wireless base station (not shown) via the antenna 38A by the fourth generation mobile communication system (4G: 4th @ Generation) or the 5th generation mobile communication system (5G: 5th @ Generation). Send and receive data.
  • fourth generation mobile communication system 4G: 4th @ Generation
  • 5th generation mobile communication system 5G: 5th @ Generation
  • the wireless LAN communication unit 40 communicates with an external device capable of wireless LAN access point or wireless LAN communication via an antenna 40A, for example, IEEE (Institute of Electrical and Electronics Electronics) 802.11a / b / g / n standard.
  • IEEE Institute of Electrical and Electronics Electronics 802.11a / b / g / n standard.
  • the wireless LAN communication according to the wireless LAN communication standards such as the above is performed.
  • the short-range wireless communication unit 42 communicates with another Bluetooth (registered trademark) standard device in a class 2 (within a radius of about 10 m), for example, via the antenna 42A.
  • the wired communication unit 44 performs communication according to a predetermined communication standard with an external device connected via a cable (not shown) via the external connection terminal 24.
  • the key input unit 50 is configured by a drive circuit that drives the plurality of operation buttons 16.
  • the audio processing unit 52 converts digital audio data supplied via the system bus 32 into an analog signal.
  • the analog audio signal is reproduced and output from the speaker 18.
  • the imaging control unit 54 digitizes an analog image signal output from the built-in camera 20 including the imaging lens 20A and the imaging device 20B, performs necessary signal processing, and outputs the digital image signal.
  • the touch panel display 14 includes a display section 14A such as a color LCD (Liquid Crystal Display) panel for displaying images and the like, a touch panel section 14B such as a transparent electrode arranged on the front surface of the color LCD panel and receiving a touch input, and a touch panel section 14B. And a pressing force sensor 14C for detecting the pressing force at the contact position of the contact.
  • a display section 14A such as a color LCD (Liquid Crystal Display) panel for displaying images and the like
  • a touch panel section 14B such as a transparent electrode arranged on the front surface of the color LCD panel and receiving a touch input
  • a touch panel section 14B for detecting the pressing force at the contact position of the contact.
  • the touch panel unit 14B is made of, for example, glass or plastic, and has a light-transmitting substrate body, a light-transmitting position detection electrode provided in a planar shape on the substrate body, and a light-transmitting position detection electrode.
  • 4 is a capacitive touch panel including an insulating layer provided.
  • the touch panel unit 14B is arranged on the front surface of the display unit 14A, and generates and outputs two-dimensional position coordinate information corresponding to a user's touch operation.
  • the touch panel display control unit 60 controls the touch panel display 14.
  • Touch panel display control section 60 associates the coordinates of the image displayed on display section 14A with the coordinates of a touch operation on touch panel section 14B.
  • FIG. 4 is a block diagram showing a system configuration of the touch panel display control unit 60.
  • the touch panel display control unit 60 includes a display control unit 62, an input recognition unit 68, and an image processing unit 76.
  • the display control unit 62 displays various information on the display unit 14A based on a command from the CPU 30.
  • the display control section 62 includes an image display section 64.
  • the image display unit 64 displays various images on the display unit 14A based on a command from the CPU 30.
  • the image display unit 64 causes the display unit 14A to display a captured image captured by the built-in camera 20, for example. Further, the image display unit 64 displays the image read from the nonvolatile memory 36 on the display unit 14A. Further, the image display unit 64 causes the display unit 14A to display an image acquired via the mobile communication unit 38, the wireless LAN communication unit 40, the short-range wireless communication unit 42, and the wired communication unit 44.
  • the input recognition unit 68 obtains two-dimensional position coordinate information corresponding to a user's touch operation from the touch panel unit 14B and recognizes a user's input operation.
  • the input recognition unit 68 includes a pinch-in motion recognition unit 70, a contact area recognition unit 72, and a motion transition recognition unit 74.
  • the pinch-in operation recognition unit 70 recognizes a user's pinch-in operation on the touch panel unit 14B.
  • the pinch-in operation is an operation in which, for example, a finger is brought into contact with two positions on the touch panel unit 14B, and the contact position is reduced so as to reduce the distance between the two points.
  • the contact area recognition unit 72 recognizes a contact area where, for example, a finger has touched the touch panel unit 14B in the pinch-in operation.
  • FIG. 5 is a diagram for explaining a contact area.
  • the right index finger is moved on the touch panel display 14 from the state in which the right index finger is brought into contact with the start point PS1 located on the touch panel display 14 and the right thumb is brought into contact with the start point PS2 located on the touch panel display 14 to the end point PE1.
  • the pinch-in operation is performed by moving the right thumb on the touch panel display 14 to the end point PE2.
  • the contact area refers to an area A1 in which the right index finger is in contact with the touch panel display 14 from the start point PS1 to the end point PE1, and an area A2 in which the right thumb is in contact with the touch panel display 14 from the start point PS2 to the end point PE2.
  • the area A1 includes a start point PS1 and an end point PE1
  • the area A2 includes a start point PS2 and an end point PE2.
  • the contact area refers to an area in contact with the touch panel display 14 in the pinch-in operation.
  • the operation transition recognition unit 74 recognizes that the operation has transitioned from the pinch-in operation to an operation other than the pinch-in operation.
  • Operations other than the pinch-in operation include, for example, a pinch-out operation, a drag operation, a rotation operation, a non-contact operation, and the like.
  • the pinch-out operation is an operation in which, for example, a finger is brought into contact with two positions on the touch panel unit 14B, and the contact position is increased so as to increase the distance between the two points.
  • the drag operation is an operation of moving the contact position of the touch panel unit 14B, and here includes an operation of moving the contact position while keeping the distance between the two points constant from the state of the pinch-in operation (pinch-in state).
  • the rotation operation is an operation of rotating (twisting) a finger from a pinch-in state to rotate a relative positional relationship between two contact positions.
  • the non-contact operation is an operation of making the contact with the touch panel unit 14B non-contact.
  • the operation other than the pinch-in operation may be a pressing operation in which the pressing force on the touch panel unit 14B is relatively larger than the pressing force in the pinch-in operation.
  • the image processing unit 76 performs processing on the input image.
  • the image processing unit 76 includes an object area determination unit 78 and an output action unit 80.
  • the object area determination unit 78 determines an object area occupied by an object including at least a part of the contact area with respect to the image displayed on the display unit 14A based on the contact area recognized by the contact area recognition unit 72.
  • the output action unit 80 performs an action related to the object area on the image displayed on the display unit 14A when a transition from the pinch-in operation to an operation other than the pinch-in operation is performed.
  • the display on the display unit 14A and the touch operation on the touch panel unit 14B will be simply referred to as the display on the touch panel display 14 and the operation on the touch panel display 14.
  • FIG. 6 is a flowchart illustrating a control method of the tablet PC 10.
  • the control method of the tablet PC 10 includes an image display step (step S1), a pinch-in motion recognition step (step S2), a contact area recognition step (step S3), and an object area determination step (step S4). ), An action transition recognition step (step S5), and an output action step (step S6).
  • step S1 the image display unit 64 displays an image on the touch panel display 14.
  • the user can display a desired image on the touch panel display 14 by performing a touch operation on the touch panel display 14.
  • the image display unit 64 displays, for example, an image read from the nonvolatile memory 36.
  • the image displayed here is one of a captured image captured using the image sensor, an image not created by a computer, and an image that has not been segmented.
  • step S2 the pinch-in operation recognizing unit 70 recognizes the user's pinch-in operation on the touch panel display 14. The user performs a pinch-in operation so that at least a part of an object desired to perform a desired process among the objects included in the image displayed on the touch panel display 14 is a contact area.
  • the pinch-in operation recognizing unit 70 recognizes the pinch-in operation, the process proceeds to step S3.
  • step S3 the contact area recognizing unit 72 recognizes a contact area in contact with the touch panel display 14 by a pinch-in operation.
  • step S4 the object area determining unit 78 determines the object area selected by the user. Specifically, an object area occupied by an object including at least a part of the contact area with respect to the image displayed on touch panel display 14 is determined based on the contact area recognized in step S3.
  • the object area determination unit 78 first performs a segmentation process on the image displayed on the touch panel display 14 to extract a plurality of object areas from the image.
  • the region extraction processing includes binarization (multi-value conversion) based on a pixel value distribution, graph cut for segmentation from connection between adjacent pixels, and a region expansion method (Region Growing) for extracting a region of a pixel satisfying a condition while expanding the region. ), And region extraction using a convolutional neural network (Convolutional Neural Network), but the present invention is not limited to these, and other known methods may be used.
  • the object area determination unit 78 compares the position coordinate information of the contact area with the position coordinate information of the plurality of object areas, and searches for an object area including at least a part of the contact area.
  • the object area determination unit 78 searches for an object area including at least a part of the contact area by performing an area extraction process by a graph cut or an area expansion method using the contact area as a seed point (foreground seed, foreground label). You may.
  • the object area determination unit 78 determines that object area as the object area selected by the user. Further, when there are a plurality of object regions including at least a part of the contact region, the object region including the largest number of the contact regions may be determined as the object region selected by the user, or two contact regions (see FIG. 5). The object area including both the indicated areas A1 and A2) may be determined as the object area selected by the user.
  • step S5 the operation transition recognition unit 74 recognizes that a transition has been made from the pinch-in operation to an operation other than the pinch-in operation.
  • the user can perform desired processing on the selected object by shifting the touch operation on the touch panel display 14 from the pinch-in operation to an operation other than the pinch-in operation.
  • the process proceeds to step S6.
  • step S6 the output action unit 80 performs an action related to the object area determined in step S4 on the image displayed on the touch panel display 14, which is assigned to an operation other than the pinch-in operation in step S5.
  • FIG. 7 is a diagram illustrating an example in which the image G1 is displayed on the touch panel display 14.
  • the image G1 is a captured image in which insects and trees are shown.
  • the image G1 is an image on which no segmentation has been performed in the image.
  • FIG. 8 is a diagram for explaining a pinch-in operation with respect to the touch panel display 14. As shown in FIG. 8, the pinch-in operation is performed using, for example, two fingers. In the example illustrated in FIG. 8, the user performs the pinch-in operation near the region of the image G1 where the insect is captured. More specifically, the user performs the pinch-in operation so that at least a part of the insect becomes the contact area.
  • the object area determination unit 78 performs a segmentation process on the image G1 to extract an insect object area and a tree object area from the image G1. Further, the object area determining unit 78 determines an object area occupied by an object including at least a part of the contact area from the insect object area and the tree object area. In this example, the object area determination unit 78 determines the insect object area OB1A.
  • FIG. 9 is a diagram for explaining a transition from a pinch-in operation to an operation other than the pinch-in operation and an action relating to an object area.
  • the user makes a transition from the pinch-in operation to the drag operation while keeping the finger in the pinch-in state.
  • the output action unit 80 sets an object which is a copy area of the insect object area OB1A and a color transparent copy area at the touch position of the finger on the touch panel display 14.
  • the area OB1B is displayed.
  • the user makes a transition from the drag operation to the pinch-out operation at the position where the insect is to be copied.
  • the output action unit 80 copies the object area OB1C, which is a copy area of the insect object area OB1A, to the position where the pinch-out operation was performed.
  • the position where the pinch-out operation has been performed is, for example, the center position of the two contact points at the starting point of the pinch-out operation. Further, the position where the pinch-out operation is performed may be the center position of the two contact positions at the end point of the pinch-out operation.
  • FIG. 10 is a diagram showing an image G2 displayed on the touch panel display 14 at the time when this series of operations is completed.
  • the image G2 is an image in which insects are copied and increased from the image G1 shown in FIG.
  • an object in an image can be copied to a different position in the same image by a simple operation of the user. That is, the user can extract a desired object area by performing a pinch-in operation so as to touch at least a part of an object to be copied. Further, the object can be copied to a desired position in the same image simply by performing the drag operation and the pinch-out operation continuously from the pinch-in operation.
  • an intuitive operation can be performed on an image for which an object area has not been extracted yet without forcing the user to perform an extra action such as performing a button operation by releasing a finger from the touch panel display.
  • the operation allows the user to copy the object.
  • an example in which an object in an image is copied to a different position in the same image has been described, but an object in the image may be moved to a different position in the same image.
  • the original position of the moved object area may be interpolated using surrounding pixel values.
  • FIG. 11 is a diagram for describing copying of an object between different images.
  • the image display unit 64 displays the image G1 and the image G3 on the touch panel display 14 side by side.
  • the image G1 is a captured image of an insect and a tree
  • the image G3 is an image of a tree.
  • the object area determining unit 78 sets the object area occupied by the object including at least a part of the contact area as the insect area, as in the case of the copy in the same image.
  • the object area OB1A is determined.
  • the output action unit 80 An object area OB1D, which is a copy area of the insect object area OB1A and which is a transparent copy area, is displayed.
  • the drag operation here is performed from the position where the image G1 is displayed to the position where the image G3 is displayed. Further, as shown in FIG. 11, the user makes a transition to the pinch-out operation at the position of the image G3 where the object area of the insect is to be copied.
  • the output action unit 80 copies the object area OB1E, which is a copy area of the insect object area OB1A, to the position where the pinch-out operation was performed.
  • FIG. 12 is a diagram showing a display on the touch panel display 14 at the time when this series of operations is completed. As shown in FIG. 12, on the touch panel display 14, an image G1 and an image G4 are displayed side by side.
  • the image G4 is an image in which insects are copied and increased from the image G3 shown in FIG.
  • an object in an image can be copied to a desired position in a different image by a simple operation of the user.
  • Objects may be moved instead of copied.
  • the object area of the tree may be selected by the pinch-in operation, and the object area of the tree may be copied or moved.
  • FIG. 13 is a diagram for describing copying of an object different from the case shown in FIG.
  • the image display unit 64 displays the image G1 and the image G5 on the touch panel display 14 side by side.
  • the image G1 is a captured image of an insect and a tree
  • the image G3 is an image of an animal.
  • the user performs a pinch-in operation.
  • the user performs a pinch-in operation in the vicinity of a region where the tree of the image G1 is captured. More specifically, the user performs the pinch-in operation so that at least a part of the tree becomes the contact area.
  • the object area determination unit 78 determines the tree object area OB2A as an object area occupied by an object including at least a part of the contact area.
  • the output action unit 80 displays a copy area of the tree object area OB2A, which is a transparent area of the color, at the contact position of the finger on the touch panel display 14. You may.
  • the output action unit 80 copies the object area OB2B, which is a copy area of the tree object area OB2A, to the position where the pinch-out operation was performed.
  • FIG. 14 is a diagram showing a display on the touch panel display 14 at the time when this series of operations is completed. As shown in FIG. 14, on the touch panel display 14, an image G1 and an image G6 are displayed side by side.
  • the image G6 is an image in which trees are copied and increased from the image G5 shown in FIG.
  • the tree is copied for each insect, but only the tree object may be copied while distinguishing the insect object from the tree object.
  • the user can select a desired object area from among a plurality of objects included in the image by making the contact areas of the pinch-in operation different.
  • the tablet PC 10 can change the direction of a desired object.
  • FIG. 15 is a diagram for explaining the rotation of the object.
  • the output action unit 80 At the touch position of the finger on the touch panel display 14, an object area OB1B, which is a copy area of the extracted object area OB1A, which is a color-transparent copy area, is displayed.
  • the output action unit 80 changes and displays the direction of the object area OB1B in accordance with the rotation amount of the relative positional relationship between the two contact positions. Therefore, the user can rotate (change the direction) the extracted object by performing the rotation operation.
  • the output action unit 80 copies the object area OB1B whose orientation has been changed to the position where the pinch-out operation was performed, in accordance with the transition to the pinch-out operation.
  • FIG. 16 is a diagram showing an image G7 displayed on the touch panel display 14 at the time when this series of operations is completed.
  • the image G7 is an image obtained by copying and increasing the insects whose orientation has been changed from the image G1 shown in FIG.
  • the transition is made in the order of the drag operation, the rotation operation, and the pinch-out operation, but the same result can be obtained by making the transition in the order of the rotation operation, the drag operation, and the pinch-out operation.
  • the drag operation and the pinch-out operation are not essential for the rotation operation. For example, by performing a rotation operation after a pinch-in operation and then transiting to a non-contact operation, the orientation of the determined object area can be changed at the original position, and the object whose orientation has been changed can be placed at the original position It is.
  • the tablet PC 10 can also enlarge or reduce a desired object.
  • FIG. 17 is a diagram for explaining enlargement of an object.
  • the output action unit 80 arranges the object area OB1F obtained by enlarging the extracted object area OB1A on the touch panel display 14.
  • the pinch-out operation is assigned to the output action for enlarging
  • the output action to be arranged is performed by a non-contact operation.
  • the assignment of actions and actions is not limited to this.
  • the enlargement ratio may be changed depending on the size of the contact area of the pinch-out operation (the distance between the start point and the end point of the pinch-in operation).
  • FIG. 18 is a diagram showing an image G8 displayed on the touch panel display 14 at the time when this series of operations is completed.
  • the image G8 is an image obtained by enlarging the insect from the image G1 shown in FIG.
  • the user can change the size of the desired object.
  • the output action unit 80 displays on the touch panel display 14 an object area obtained by reducing the extracted object area.
  • the reduction ratio may be changed by the number of times of pressing or the pressing time.
  • the tablet PC 10 can also store a desired object in the nonvolatile memory 36.
  • the image of the object region extracted by making a transition to the non-contact operation is stored.
  • the operation for storage is not limited to the non-contact operation, and may be a pinch-out operation, a pressing operation, or the like.
  • an edited image of the extracted object area may be stored, such as “extraction ⁇ rotation ⁇ save” or “extraction ⁇ enlargement ⁇ save”.
  • the image of the object area stored in the non-volatile memory 36 can be read out as appropriate and displayed on the touch panel display 14.
  • a tablet computer terminal has been described as an example of a device with a touch panel display.
  • the present invention can be applied to a mobile communication terminal such as a smartphone, a mobile phone, a PHS (Personal Handyphone System), a notebook personal computer, and the like. .
  • the above-described method for controlling a device with a touch panel display is configured as a program for causing a computer to realize each step, and stores a non-temporary recording medium such as a CD-ROM (Compact Disk-Read Only Memory) storing the program. It is also possible to configure.
  • a non-temporary recording medium such as a CD-ROM (Compact Disk-Read Only Memory) storing the program. It is also possible to configure.
  • the hardware structure of the processing unit (processing unit) that executes various processes of the touch panel display control unit 60 is the following various processors.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, a GPU (Graphics Processing Unit), a processor specialized in image processing, Dedicated to execute specific processing such as Programmable Logic Device (PLD), which is a processor whose circuit configuration can be changed after manufacturing FPGA (Field Programmable Gate Array), etc., and ASIC (Application Specific Integrated Circuit).
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a CPU). (Combination of GPUs). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a server and a client, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form using a processor that realizes the functions of the entire system including a plurality of processing units with one integrated circuit (IC) chip is used.
  • IC integrated circuit
  • the various processing units are configured using one or more various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • Tablet computer terminal (tablet PC) 12 ... housing 14 ... touch panel display 14A ... display section 14B ... touch panel section 14C ... pressing force sensor 16 ... operation button 18 ... speaker 20 ... built-in camera 20A ... imaging lens 20B ... imaging element 24 ... external connection terminal 32 ... system bus 34 ... Main memory 36 ... Non-volatile memory 38 ... Mobile communication unit 38A ... Antenna 40 ... Wireless LAN communication unit 40A ... Antenna 42 ... Near field communication unit 42A ... Antenna 44 ... Wired communication unit 50 ... Key input unit 52 ...
  • Sound processing unit 54 imaging control unit 60 touch panel display control unit 62 display control unit 64 image display unit 68 input recognition unit 70 pinch-in operation recognition unit 72 contact area recognition unit 74 operation transition recognition unit 76 image processing unit 78 ... Object area determining section 80.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

簡便な操作で画像内のオブジェクトに対して所望の処理を行うタッチパネルディスプレイ付きデバイス、及びその制御方法、並びにプログラムを提供する。ピンチイン動作の接触領域に基づいて、画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定し、ピンチイン動作からピンチイン動作以外の動作に遷移した場合に、タッチパネルディスプレイに表示された画像に対してオブジェクト領域に関するアクションを行う。

Description

タッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラム
　本発明はタッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラムに係り、特に画像に対して直観的動作で所望の処理を行う技術に関する。
　近年、ディスプレイ上に接触動作による入力を検出するためのタッチパネルを配置したタッチパネルディスプレイが普及しており、スマートフォン等のモバイル機器に使用されている。
　タッチパネルディスプレイを用いた機器では、ユーザによるタッチパネルからの入力によってディスプレイに表示された画像に変更を加えることが行われている。
　例えば、特許文献１には、表示されたオブジェクトのうち第１マルチタッチ入力に対応した任意のオブジェクトをピックアップして保存し、保存されたオブジェクトを第２マルチタッチ入力に対応して呼び出す技術が開示されている。
　また、特許文献２には、選択した領域をドラッグすることで選択した領域の画像内の位置を修正する技術が開示されている。
　さらに、非特許文献１には、オブジェクトの領域を自動で判別して切り取りを行う技術が開示されている。
特許第５７３１９７９号 米国特許第９５７５６４１号明細書
ペイント 3D（Microsoft Corporation）Magic Select（マジック選択）＜ＵＲＬ：https://www.microsoft.com/ja-jp/p/%E3%83%9A%E3%82%A4%E3%83%B3%E3%83%88-3d/9nblggh5fv99?activetab=pivot%3aoverviewtab＞
　特許文献１に記載の技術では、ピックアップできるオブジェクトは既にシステムからオブジェクトとして認識されているものに限定されており、オブジェクトとして認識されていないものをピックアップすることはできない。
　また、特許文献２に記載の技術では、ユーザが所望の領域を選択するためには数多くのステップを有し、簡便な操作を実現できていない。
　さらに、非特許文献１の技術では、シード点特定のための矩形範囲指定が必要であり、簡便な操作を実現できていない。
　本発明はこのような事情に鑑みてなされたもので、簡便な操作で画像内のオブジェクトに対して所望の処理を行うタッチパネルディスプレイ付きデバイス、及びその制御方法、並びにプログラムを提供することを目的とする。
　上記目的を達成するためにタッチパネルディスプレイ付きデバイスの一の態様は、タッチパネルディスプレイと、タッチパネルディスプレイに画像を表示させる画像表示部と、タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識部と、ピンチイン動作によってタッチパネルディスプレイと接触した接触領域を認識する接触領域認識部と、接触領域認識部が認識した接触領域に基づいて、画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定部と、ピンチイン動作からピンチイン動作以外の動作に遷移したことを認識する動作遷移認識部と、ピンチイン動作以外の動作に遷移したと認識した場合に、タッチパネルディスプレイに表示された画像に対してオブジェクト領域に関するアクションを行う出力アクション部と、を備えたタッチパネルディスプレイ付きデバイスである。
　本態様によれば、ピンチイン動作の接触領域に基づいて、画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定し、ピンチイン動作からピンチイン動作以外の動作に遷移した場合に、タッチパネルディスプレイに表示された画像に対してオブジェクト領域に関するアクションを行うようにしたので、簡便な操作で画像内のオブジェクトに対して所望の処理を行うことができる。
　ピンチイン動作以外の動作はピンチアウト動作、タッチパネルディスプレイとの接触を非接触にする動作、ドラッグ動作、及びタッチパネルディスプレイに対する押圧力をピンチイン動作における押圧力より強くする動作のうちの少なくとも１つであることが好ましい。これにより、ピンチイン動作から一連の動作で画像内のオブジェクトに対して所望の処理を行うことができる。
　オブジェクト領域に関するアクションは、オブジェクト領域をコピー又は移動するアクション、オブジェクト領域をメモリに記録させるアクション、オブジェクト領域の向きを変更するアクション、及びオブジェクト領域を拡大又は縮小させるアクションのうちの少なくとも１つであることが好ましい。これにより、画像内のオブジェクトに対して適切な処理を行うことができる。
　画像は撮像素子により得られた撮像画像であることが好ましい。本態様によれば、オブジェクト領域抽出がなされていない画像に対しても、画像内のオブジェクトに対して所望の処理を行うことができる。
　上記目的を達成するためにタッチパネルディスプレイ付きデバイスの制御方法の一の態様は、タッチパネルディスプレイに画像を表示させる画像表示工程と、タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識工程と、ピンチイン動作によってタッチパネルディスプレイと接触した接触領域を認識する接触領域認識工程と、接触領域認識工程が認識した接触領域に基づいて、画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定工程と、ピンチイン動作からピンチイン動作以外の動作に遷移したことを認識する動作遷移認識工程と、ピンチイン動作以外の動作に遷移したと認識した場合に、タッチパネルディスプレイに表示された画像に対してオブジェクト領域に関するアクションを行う出力アクション工程と、を備えたタッチパネルディスプレイ付きデバイスの制御方法である。
　本態様によれば、簡便な操作で画像内のオブジェクトに対して所望の処理を行うことができる。上記のタッチパネルディスプレイ付きデバイスの制御方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
　本発明によれば、簡便な操作で画像内のオブジェクトに対して所望の処理を行うことができる。
図１は、タブレットＰＣの正面斜視図である。 図２は、タブレットＰＣの背面斜視図である。 図３は、タブレットＰＣのシステム構成を示すブロック図である。 図４は、タッチパネルディスプレイ制御部のシステム構成を示すブロック図である。 図５は、接触領域を説明するための図である。 図６は、タブレットＰＣの制御方法を示すフローチャートである。 図７は、タッチパネルディスプレイに画像が表示された例を示す図である。 図８は、タッチパネルディスプレイに対するピンチイン動作を説明するための図である。 図９は、ピンチイン動作からピンチイン動作以外の動作への遷移とオブジェクト領域に関するアクションを説明するための図である。 図１０は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。 図１１は、異なる画像間でのオブジェクトのコピーについて説明するための図である。 図１２は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。 図１３は、オブジェクトのコピーについて説明するための図である。 図１４は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。 図１５は、オブジェクトの回転について説明するための図である。 図１６は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。 図１７は、オブジェクトの拡大について説明するための図である。 図１８は、一連の動作を終了した時点におけるタッチパネルディスプレイに表示された画像を示す図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　＜タッチパネルディスプレイ付きデバイス＞
　図１は、本実施形態に係るタッチパネルディスプレイ付きデバイスの一例であるタブレット型コンピュータ端末１０（以下、タブレットＰＣ１０と呼ぶ。ＰＣはPersonal Computerの略）の正面斜視図であり、図２は背面斜視図である。図１及び図２に示すように、タブレットＰＣ１０は、矩形の輪郭を有する平板状の筐体１２を備えている。筐体１２は、タッチパネルディスプレイ１４と、操作ボタン１６と、スピーカ１８と、内蔵カメラ２０と、外部接続端子２４と、を備えて構成される。
　図３は、タブレットＰＣ１０のシステム構成を示すブロック図である。図３に示すように、タブレットＰＣ１０は、タブレットＰＣ１０の全体の動作を制御するＣＰＵ（Central Processing Unit）３０を備えている。ＣＰＵ３０には、システムバス３２を介して、メインメモリ３４と、不揮発性メモリ３６と、モバイル通信部３８と、無線ＬＡＮ（Local Area Network）通信部４０と、近距離無線通信部４２と、有線通信部４４と、キー入力部５０と、音声処理部５２と、撮像制御部５４と、タッチパネルディスプレイ制御部６０と、が接続されている。
　ＣＰＵ３０は、不揮発性メモリ３６に記憶されたＯＳ（Operating System）、及びＯＳ上で動作するアプリケーションプログラム、及び定型データ等を読み出し、メインメモリ３４に展開して動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。
　メインメモリ３４は、例えば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３０のワークメモリとして機能する。
　不揮発性メモリ３６は、例えば、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）で構成され、ＯＳ、アプリケーションプログラム、及び各種定型データを記憶する。また、不揮発性メモリ３６は、タブレットＰＣ１０の記憶部として機能し、各種データを記憶する。
　モバイル通信部３８は、第４世代移動通信システム（４Ｇ：4th Generation）又は第５世代移動通信システム（５Ｇ：5th Generation）によって、アンテナ３８Ａを介して不図示の最寄りの無線基地局との間でデータの送受信を行う。
　無線ＬＡＮ通信部４０は、アンテナ４０Ａを介して、無線ＬＡＮアクセスポイント又は無線ＬＡＮ通信が可能な外部機器との間で例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇ／ｎ規格等の無線ＬＡＮ通信規格に従った無線ＬＡＮ通信を行う。
　近距離無線通信部４２は、アンテナ４２Ａを介して、例えばクラス２（半径約１０ｍ以内）の範囲にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器との間で通信を行う。
　有線通信部４４は、外部接続端子２４を介して不図示のケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。
　キー入力部５０は、複数の操作ボタン１６を駆動する駆動回路で構成される。
　音声処理部５２は、システムバス３２を介して与えられるデジタル音声データをアナログ化する。アナログ化された音声信号は、スピーカ１８から再生出力される。
　撮像制御部５４は、撮像レンズ２０Ａ及び撮像素子２０Ｂを備えた内蔵カメラ２０から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
　タッチパネルディスプレイ１４は、画像等を表示するカラーＬＣＤ（Liquid Crystal Display）パネル等のディスプレイ部１４Ａと、カラーＬＣＤパネルの前面に配置され、タッチ入力を受け付ける透明電極等のタッチパネル部１４Ｂと、タッチパネル部１４Ｂの接触位置の押圧力を検知する押圧力センサ１４Ｃと、を備えている。
　タッチパネル部１４Ｂは、例えばガラス又はプラスティック等からなり、光透過性を有する基板本体と、基板本体の上に面状に設けられ、光透過性を有する位置検出用電極と、位置検出用電極上に設けられた絶縁層とを有する静電容量式タッチパネルである。タッチパネル部１４Ｂは、ディスプレイ部１４Ａの前面に配置されており、ユーザのタッチ操作に対応した２次元の位置座標情報を生成して出力する。
　タッチパネルディスプレイ制御部６０は、タッチパネルディスプレイ１４を制御する。タッチパネルディスプレイ制御部６０は、ディスプレイ部１４Ａに表示した画像の座標とタッチパネル部１４Ｂにおいてタッチ操作された座標とを対応付ける。
　図４は、タッチパネルディスプレイ制御部６０のシステム構成を示すブロック図である。図４に示すように、タッチパネルディスプレイ制御部６０は、表示制御部６２と、入力認識部６８と、画像処理部７６と、を備えている。
　表示制御部６２は、ＣＰＵ３０からの指令に基づいて、ディスプレイ部１４Ａに各種情報を表示させる。表示制御部６２は、画像表示部６４を備えている。
　画像表示部６４は、ＣＰＵ３０からの指令に基づいて、ディスプレイ部１４Ａに各種画像を表示させる。画像表示部６４は、例えば内蔵カメラ２０によって撮像された撮像画像をディスプレイ部１４Ａに表示させる。また、画像表示部６４は、不揮発性メモリ３６から読み出した画像をディスプレイ部１４Ａに表示させる。さらに、画像表示部６４は、モバイル通信部３８、無線ＬＡＮ通信部４０、近距離無線通信部４２、及び有線通信部４４を介して取得した画像をディスプレイ部１４Ａに表示させる。
　入力認識部６８は、タッチパネル部１４Ｂからユーザのタッチ操作に対応した２次元の位置座標情報を取得してユーザの入力動作を認識する。入力認識部６８は、ピンチイン動作認識部７０と、接触領域認識部７２と、動作遷移認識部７４と、を備えている。
　ピンチイン動作認識部７０は、タッチパネル部１４Ｂに対するユーザのピンチイン動作を認識する。ピンチイン動作とは、タッチパネル部１４Ｂの２箇所の位置に例えば指を接触させた状態で、２点間の距離を縮小するように接触位置を近づける動作である。
　接触領域認識部７２は、ピンチイン動作において例えば指がタッチパネル部１４Ｂと接触した接触領域を認識する。
　図５は、接触領域を説明するための図である。タッチパネルディスプレイ１４上の位置である始点ＰＳ１に右手人差し指を接触させ、かつタッチパネルディスプレイ１４上の位置である始点ＰＳ２に右手親指を接触させた状態から、右手人差し指を終点ＰＥ１までタッチパネルディスプレイ１４上で移動させ、かつ右手親指を終点ＰＥ２までタッチパネルディスプレイ１４上で移動させて、ピンチイン動作を行ったものとする。この場合において接触領域とは、始点ＰＳ１から終点ＰＥ１まで右手人差し指がタッチパネルディスプレイ１４に接触していた領域Ａ１、及び始点ＰＳ２から終点ＰＥ２まで右手親指がタッチパネルディスプレイ１４に接触していた領域Ａ２を指す。領域Ａ１は始点ＰＳ１及び終点ＰＥ１を含み、領域Ａ２は始点ＰＳ２及び終点ＰＥ２を含む。このように、接触領域とは、ピンチイン動作においてタッチパネルディスプレイ１４と接触した領域を指す。
　図４の説明に戻り、動作遷移認識部７４は、ピンチイン動作からピンチイン動作以外の動作に遷移したことを認識する。ピンチイン動作以外の動作は、例えば、ピンチアウト動作、ドラッグ動作、回転動作、非接触動作等である。
　ピンチアウト動作とは、タッチパネル部１４Ｂの２箇所の位置に例えば指を接触させた状態で、２点間の距離を拡大するように接触位置を遠ざける動作である。ドラッグ動作とは、タッチパネル部１４Ｂの接触位置を移動させる動作であり、ここではピンチイン動作した状態（ピンチイン状態）から２点間の距離を一定としたまま接触位置を移動させる動作を含む。
　回転動作とは、ピンチイン状態から指を回転させて（捻って）２点の接触位置の相対的な位置関係を回転させる動作である。非接触動作とは、タッチパネル部１４Ｂとの接触を非接触にする動作である。
　また、ピンチイン動作以外の動作は、タッチパネル部１４Ｂに対する押圧力をピンチイン動作における押圧力より相対的に大きくする押し込み動作であってもよい。
　画像処理部７６は、入力された画像に対して処理を行う。画像処理部７６は、オブジェクト領域決定部７８と、出力アクション部８０と、を備えている。
　オブジェクト領域決定部７８は、接触領域認識部７２が認識した接触領域に基づいて、ディスプレイ部１４Ａに表示された画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定する。
　出力アクション部８０は、ピンチイン動作からピンチイン動作以外の動作に遷移した場合に、ディスプレイ部１４Ａに表示された画像に対してオブジェクト領域に関するアクションを行う。
　以下の説明において、ディスプレイ部１４Ａの表示、及びタッチパネル部１４Ｂに対するタッチ操作を、単にタッチパネルディスプレイ１４の表示、及びタッチパネルディスプレイ１４に対する操作と表記する。
　＜タッチパネルディスプレイ付きデバイスの制御方法＞
　タブレットＰＣ１０は、ユーザの操作により画像内のオブジェクトについて所望の処理を行うことができる。図６は、タブレットＰＣ１０の制御方法を示すフローチャートである。図６に示すように、タブレットＰＣ１０の制御方法は、画像表示工程（ステップＳ１）と、ピンチイン動作認識工程（ステップＳ２）と、接触領域認識工程（ステップＳ３）と、オブジェクト領域決定工程（ステップＳ４）と、動作遷移認識工程（ステップＳ５）と、出力アクション工程（ステップＳ６）と、を含んでいる。
　ステップＳ１では、画像表示部６４は、画像をタッチパネルディスプレイ１４に表示させる。ユーザはタッチパネルディスプレイ１４をタッチ操作することで、所望の画像をタッチパネルディスプレイ１４に表示させることができる。本実施形態では、画像表示部６４は、例えば不揮発性メモリ３６から読み出した画像を表示させる。ここで表示される画像は、撮像素子を用いて撮像された撮像画像、コンピュータで作成したものではない画像、及びセグメンテーションされていない画像のいずれかである。
　ステップＳ２では、ピンチイン動作認識部７０は、タッチパネルディスプレイ１４に対するユーザのピンチイン動作を認識する。ユーザは、タッチパネルディスプレイ１４に表示された画像に含まれるオブジェクトのうち、所望の処理を行いたいオブジェクトの少なくとも一部が接触領域となるようにピンチイン動作を行う。ピンチイン動作認識部７０がピンチイン動作を認識した場合は、ステップＳ３へ移行する。
　ステップＳ３では、接触領域認識部７２は、ピンチイン動作によってタッチパネルディスプレイ１４と接触した接触領域を認識する。
　ステップＳ４では、オブジェクト領域決定部７８は、ユーザが選択したオブジェクト領域を決定する。具体的には、ステップＳ３で認識した接触領域に基づいて、タッチパネルディスプレイ１４に表示された画像に対して接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定する。
　このために、オブジェクト領域決定部７８は、最初に、タッチパネルディスプレイ１４に表示された画像についてセグメンテーション処理を行い、画像から複数のオブジェクト領域を抽出する。領域抽出処理には、画素値分布に基づいた二値化（多値化）、隣接画素間の繋がりからセグメンテーションするグラフカット、条件を満たす画素の領域を拡張しながら抽出する領域拡張法（Region Growing）、及び畳み込みニューラルネットワーク（Convolutional Neural Network）を用いた領域抽出等が考えられるが、これらに限定されるものではなく、他の公知の手法を用いてもよい。
　次に、オブジェクト領域決定部７８は、接触領域の位置座標情報と複数のオブジェクト領域の位置座標情報とを比較し、接触領域の少なくとも一部を含むオブジェクト領域を探索する。
　オブジェクト領域決定部７８は、接触領域をシード点（前景シード、前景ラベル）として用いてグラフカットや領域拡張法による領域抽出処理を行うことで、接触領域の少なくとも一部を含むオブジェクト領域を探索してもよい。
　接触領域の少なくとも一部を含むオブジェクト領域が１つのみの場合は、オブジェクト領域決定部７８は、そのオブジェクト領域をユーザが選択したオブジェクト領域として決定する。また、接触領域の少なくとも一部を含むオブジェクト領域が複数存在する場合は、接触領域を最も多く含むオブジェクト領域をユーザが選択したオブジェクト領域として決定してもよいし、２つの接触領域（図５に示した領域Ａ１及び領域Ａ２）の両方を含むオブジェクト領域をユーザが選択したオブジェクト領域として決定してもよい。
　ステップＳ５では、動作遷移認識部７４は、ピンチイン動作からピンチイン動作以外の動作に遷移したことを認識する。ユーザは、タッチパネルディスプレイ１４に対するタッチ操作を、ピンチイン動作からピンチイン動作以外の動作に遷移させることで、選択したオブジェクトに対して所望の処理を施すことができる。動作遷移認識部７４がピンチイン動作以外の動作に遷移したと認識すると、ステップＳ６に移行する。
　ステップＳ６では、出力アクション部８０は、タッチパネルディスプレイ１４に表示された画像に対してステップＳ４で決定したオブジェクト領域に関するアクションであって、ステップＳ５によるピンチイン動作以外の動作に割り当てられたアクションを行う。
　このように、本実施形態によれば、ユーザの簡便な操作で画像内のオブジェクトについてオブジェクト領域に関する所望のアクションを行うことができる。以下においては、「ピンチイン動作以外の動作」と「オブジェクト領域に関するアクション」の詳細について説明する。
　〔同一画像内へのコピー・移動〕
　図７は、タッチパネルディスプレイ１４に画像Ｇ１が表示された例を示す図である。画像Ｇ１は、昆虫と樹木が写った撮像画像である。画像Ｇ１は、画像内のセグメンテーションが行われていない画像である。
　図８は、タッチパネルディスプレイ１４に対するピンチイン動作を説明するための図である。図８に示すように、ピンチイン動作は例えば２本の指を用いて行う。図８に示す例では、ユーザは画像Ｇ１の昆虫が写った領域の付近についてピンチイン動作を行っている。より詳細には、ユーザは、昆虫の少なくとも一部が接触領域となるようにピンチイン動作を行っている。
　このピンチイン動作に対して、オブジェクト領域決定部７８は、画像Ｇ１についてセグメンテーション処理を行い、画像Ｇ１から昆虫のオブジェクト領域及び樹木のオブジェクト領域を抽出する。さらに、オブジェクト領域決定部７８は、昆虫のオブジェクト領域及び樹木のオブジェクト領域から、接触領域の少なくとも一部を含むオブジェクトが占めるオブジェクト領域を決定する。この例では、オブジェクト領域決定部７８は、昆虫のオブジェクト領域ＯＢ１Ａを決定する。
　図９は、ピンチイン動作からピンチイン動作以外の動作への遷移とオブジェクト領域に関するアクションを説明するための図である。図９に示す例では、ユーザは、ピンチイン動作から指をピンチイン状態としたままドラッグ動作に遷移させている。
　このドラッグ動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４の指の接触位置に、昆虫のオブジェクト領域ＯＢ１Ａのコピー領域であって、色が透過したコピー領域であるオブジェクト領域ＯＢ１Ｂを表示させる。
　さらに、図９に示す例では、ユーザは、昆虫をコピーしたい位置においてドラッグ動作からピンチアウト動作に遷移させている。
　このピンチアウト動作への遷移に応じた出力アクションとして、出力アクション部８０は、昆虫のオブジェクト領域ＯＢ１Ａのコピー領域であるオブジェクト領域ＯＢ１Ｃを、ピンチアウト動作を行った位置にコピーする。ピンチアウト動作を行った位置とは、例えばピンチアウト動作の始点の２点の接触位置の中心位置である。また、ピンチアウト動作を行った位置は、ピンチアウト動作の終点の２点の接触位置の中心位置であってもよい。
　図１０は、この一連の動作を終了した時点におけるタッチパネルディスプレイ１４に表示された画像Ｇ２を示す図である。画像Ｇ２は、図７に示した画像Ｇ１から、昆虫がコピーされて増加した画像となっている。
　以上のように、本実施形態によれば、ユーザの簡便な操作で画像内のオブジェクトを同一画像内の異なる位置にコピーすることができる。即ち、ユーザは、コピーしたいオブジェクトの少なくとも一部を接触するようにピンチイン動作を行うことで、所望のオブジェクト領域を抽出することができる。また、ピンチイン動作から連続的にドラッグ動作及びピンチアウト動作を行うだけで、同一画像内の所望の位置にオブジェクトをコピーすることができる。
　従来は、オブジェクト領域の抽出には多くのステップが必要であり、ユーザにとって操作が煩雑であった。例えば、非特許文献１のソフトウェアにおいては、シード点のユーザによる設定、オブジェクト領域決定ステップのユーザによる開始、決定されたオブジェクト領域のユーザによる選択という、独立した３動作が少なくとも必要であった。しかしながら、本実施形態では、ピンチイン動作が、従来の技術における上記の３動作を１動作で代替することを可能としており、必要とされるユーザ動作の直観化に寄与している。
　このように、本実施形態では、指をタッチパネルディスプレイから離してボタンの操作を行う等の余分なアクションをユーザに強いることなく、未だオブジェクト領域抽出がなされていない画像に対しても、直観的な操作によりユーザがオブジェクトのコピーを行うことができる。
　なお、本実施形態では、画像内のオブジェクトを同一画像内の異なる位置にコピーする例を説明したが、画像内のオブジェクトを同一画像内の異なる位置に移動させてもよい。この場合、移動したオブジェクト領域の元の位置を、周囲の画素値を用いて補間してもよい。
　〔異なる画像間でのコピー・移動〕
　画像内のオブジェクトは、異なる画像にコピー又は移動することも可能である。
　図１１は、異なる画像間でのオブジェクトのコピーについて説明するための図である。図１１に示す例では、画像表示部６４は、タッチパネルディスプレイ１４に画像Ｇ１及び画像Ｇ３を並べて表示させている。画像Ｇ１は、昆虫と樹木が写った撮像画像であり、画像Ｇ３は樹木が写った画像である。
　図１１に示すように、ユーザがピンチイン動作を行うと、同一画像内のコピーの場合と同様に、オブジェクト領域決定部７８は、接触領域の少なくとも一部を含むオブジェクトが占めるオブジェクト領域として、昆虫のオブジェクト領域ＯＢ１Ａを決定する。
　また、図１１に示すように、ユーザがピンチイン動作からドラッグ動作に遷移させると、このドラッグ動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４の指の接触位置に、昆虫のオブジェクト領域ＯＢ１Ａのコピー領域であって、色が透過したコピー領域であるオブジェクト領域ＯＢ１Ｄを表示させる。
　ここでのドラッグ動作は、画像Ｇ１が表示された位置から画像Ｇ３が表示された位置まで跨いで行われている。さらに、ユーザは、図１１に示すように、昆虫のオブジェクト領域をコピーしたい画像Ｇ３の位置においてピンチアウト動作に遷移させる。
　このピンチアウト動作への遷移に応じた出力アクションとして、出力アクション部８０は、昆虫のオブジェクト領域ＯＢ１Ａのコピー領域であるオブジェクト領域ＯＢ１Ｅを、ピンチアウト動作を行った位置にコピーする。
　図１２は、この一連の動作を終了した時点におけるタッチパネルディスプレイ１４の表示を示す図である。図１２に示すように、タッチパネルディスプレイ１４には、画像Ｇ１と画像Ｇ４が並べて表示されている。画像Ｇ４は、図１１に示した画像Ｇ３から、昆虫がコピーされて増加した画像となっている。
　以上のように、ユーザの簡便な操作で画像内のオブジェクトを異なる画像の所望の位置にコピーすることができる。オブジェクトはコピーではなく移動させてもよい。
　ここまでは、画像Ｇ１の昆虫のオブジェクト領域をコピーする例を説明したが、ピンチイン動作によって樹木のオブジェクト領域を選択し、樹木のオブジェクト領域をコピー又は移動することも当然可能である。
　図１３は、図１１に示す場合とは異なるオブジェクトのコピーについて説明するための図である。図１３に示す例では、画像表示部６４は、タッチパネルディスプレイ１４に画像Ｇ１及び画像Ｇ５を並べて表示させている。画像Ｇ１は、昆虫と樹木が写った撮像画像であり、画像Ｇ３は動物が写った画像である。
　図１３に示すように、まず、ユーザがピンチイン動作を行う。図１３に示す例では、ユーザは画像Ｇ１の樹木が写った領域の付近についてピンチイン動作を行っている。より詳細には、ユーザは、樹木の少なくとも一部が接触領域となるようにピンチイン動作を行っている。
　オブジェクト領域決定部７８は、接触領域の少なくとも一部を含むオブジェクトが占めるオブジェクト領域として、樹木のオブジェクト領域ＯＢ２Ａを決定する。
　また、ユーザは、図１３に示すように、ピンチイン動作からドラッグ動作に遷移させる。このドラッグ動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４の指の接触位置に、樹木のオブジェクト領域ＯＢ２Ａのコピー領域であって、色が透過したコピー領域を表示させてもよい。
　さらに、ユーザは、樹木のオブジェクト領域をコピーしたい画像Ｇ５の位置においてピンチアウト動作に遷移させている。このドラッグ動作及びピンチアウト動作への遷移に応じた出力アクションとして、出力アクション部８０は、樹木のオブジェクト領域ＯＢ２Ａのコピー領域であるオブジェクト領域ＯＢ２Ｂを、ピンチアウト動作を行った位置にコピーする。
　図１４は、この一連の動作を終了した時点におけるタッチパネルディスプレイ１４の表示を示す図である。図１４に示すように、タッチパネルディスプレイ１４には、画像Ｇ１と画像Ｇ６が並べて表示されている。画像Ｇ６は、図１３に示した画像Ｇ５から、樹木がコピーされて増加した画像となっている。
　ここでは、樹木は昆虫ごとコピーされているが、昆虫のオブジェクトと樹木のオブジェクトを区別して樹木のオブジェクトのみコピーしてもよい。
　このように、ユーザはピンチイン動作の接触領域を異ならせることで、画像に含まれる複数のオブジェクトのうち所望のオブジェクト領域を選択することができる。
　異なる画像間に限られず、同一画像内で樹木のオブジェクト領域をコピー又は移動することも当然可能である。
　〔回転〕
　タブレットＰＣ１０は、所望のオブジェクトの向きを変更することが可能である。図１５は、オブジェクトの回転について説明するための図である。
　図７に示した画像Ｇ１についてユーザがピンチイン動作を行って、その後ドラッグ動作に遷移させると、図１５に示すように、このドラッグ動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４の指の接触位置に、抽出したオブジェクト領域ＯＢ１Ａのコピー領域であって、色が透過したコピー領域であるオブジェクト領域ＯＢ１Ｂを表示する。
　その後、ユーザは、ピンチイン状態から回転動作に遷移させる。この回転動作への遷移に応じた出力アクションとして、出力アクション部８０は、２点の接触位置の相対的な位置関係の回転量に応じて、オブジェクト領域ＯＢ１Ｂの向きを変更して表示する。したがって、ユーザは回転動作を行うことで、抽出したオブジェクトを回転（向きを変更）させることができる。
　その後、ユーザがピンチアウト動作を行うと、出力アクション部８０は、このピンチアウト動作への遷移に応じて、向きが変更されたオブジェクト領域ＯＢ１Ｂを、ピンチアウト動作を行った位置にコピーする。
　図１６は、この一連の動作を終了した時点におけるタッチパネルディスプレイ１４に表示された画像Ｇ７を示す図である。画像Ｇ７は、図７に示した画像Ｇ１から、向きが変更された昆虫がコピーされて増加した画像となっている。
　ここではピンチイン動作後に、ドラッグ動作、回転動作、及びピンチアウト動作の順に遷移させているが、回転動作、ドラッグ動作、及びピンチアウト動作の順に遷移させても同様の結果を得ることができる。また、回転動作にドラッグ動作及びピンチアウト動作は必須ではない。例えば、ピンチイン動作後に回転動作を行い、その後非接触動作に遷移させることで、決定したオブジェクト領域について元の位置で向きを変更し、向きを変更したオブジェクトをその元の位置に配置することも可能である。
　〔拡大／縮小〕
　タブレットＰＣ１０は、所望のオブジェクトの拡大又は縮小を行うことも可能である。図１７は、オブジェクトの拡大について説明するための図である。
　図７に示した画像Ｇ１についてユーザがピンチイン動作を行い、指とタッチパネルディスプレイ１４との接触状態を維持したまま、ピンチアウト動作に遷移させると、図１７に示すように、このピンチアウト動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４に、抽出したオブジェクト領域ＯＢ１Ａを拡大したオブジェクト領域ＯＢ１Ｆを配置する。
　この場合、ピンチアウト動作を拡大する出力アクションに割り当てているため、配置する出力アクションは、非接触動作で行う。ただし、動作とアクションの割り当てはこれに限定されるものではない。
　ピンチアウト動作の接触領域の大きさ（ピンチイン動作の始点と終点との間の距離）によって拡大率を変更してもよい。
　図１８は、この一連の動作が終了した時点におけるタッチパネルディスプレイ１４に表示された画像Ｇ８を示す図である。画像Ｇ８は、図７に示した画像Ｇ１から、昆虫が拡大された画像となっている。このように、ユーザは所望のオブジェクトのサイズを変更することができる。
　また、オブジェクトのサイズを縮小する場合は、押し込み動作によって行う。即ち、タッチパネルディスプレイ１４に表示された画像に対してユーザがピンチイン動作を行って、その後、ピンチイン状態で指とタッチパネルディスプレイ１４との接触状態を維持したまま、押し込み動作に遷移させると、この押し込み動作への遷移に応じた出力アクションとして、出力アクション部８０は、タッチパネルディスプレイ１４に、抽出したオブジェクト領域を縮小したオブジェクト領域を表示する。
　この場合、押し込み回数、あるいは押し込み時間で縮小率を変更してもよい。
　〔保存〕
　タブレットＰＣ１０は、所望のオブジェクトを不揮発性メモリ３６に保存することもできる。
　例えば、ピンチイン動作の後、非接触動作に遷移させることで抽出したオブジェクト領域の画像を保存する。保存のための動作は、非接触動作に限定されるものではなく、ピンチアウト動作、押し込み動作等であってもよい。
　また、上記の例と組み合わせることで、「抽出→回転→保存」、「抽出→拡大→保存」のように、抽出したオブジェクト領域に対して編集を加えた画像を保存してもよい。
　不揮発性メモリ３６に保存したオブジェクト領域の画像は、適宜読み出してタッチパネルディスプレイ１４に表示させることができる。
　＜その他＞
　どの「ピンチイン動作以外の動作」をどの「オブジェクト領域に関するアクション」に割り当てるかは、上記の例に限定されず、適宜決めればよい。１回のピンチイン動作というユーザの簡便な操作でオブジェクトを指定することができる点が重要である。
　ここではタッチパネルディスプレイ付きデバイスの一例としてタブレット型コンピュータ端末について説明したが、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、ノート型のパーソナルコンピュータ等に適用することも可能である。
　上記のタッチパネルディスプレイ付きデバイスの制御方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
　ここまで説明した実施形態において、タッチパネルディスプレイ制御部６０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…タブレット型コンピュータ端末（タブレットＰＣ）
１２…筐体
１４…タッチパネルディスプレイ
１４Ａ…ディスプレイ部
１４Ｂ…タッチパネル部
１４Ｃ…押圧力センサ
１６…操作ボタン
１８…スピーカ
２０…内蔵カメラ
２０Ａ…撮像レンズ
２０Ｂ…撮像素子
２４…外部接続端子
３２…システムバス
３４…メインメモリ
３６…不揮発性メモリ
３８…モバイル通信部
３８Ａ…アンテナ
４０…無線ＬＡＮ通信部
４０Ａ…アンテナ
４２…近距離無線通信部
４２Ａ…アンテナ
４４…有線通信部
５０…キー入力部
５２…音声処理部
５４…撮像制御部
６０…タッチパネルディスプレイ制御部
６２…表示制御部
６４…画像表示部
６８…入力認識部
７０…ピンチイン動作認識部
７２…接触領域認識部
７４…動作遷移認識部
７６…画像処理部
７８…オブジェクト領域決定部
８０…出力アクション部
Ｓ１～Ｓ６…タブレットＰＣの制御方法の各ステップ

Claims (13)

  1. 　タッチパネルディスプレイと、
    　前記タッチパネルディスプレイに画像を表示させる画像表示部と、
    　前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識部と、
    　前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識部と、
    　前記接触領域認識部が認識した接触領域に基づいて、前記画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定部と、
    　前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識部と、
    　前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された画像に対して前記オブジェクト領域に関するアクションを行う出力アクション部と、
    　を備えたタッチパネルディスプレイ付きデバイス。
  2. 　前記ピンチイン動作以外の動作はピンチアウト動作である請求項１に記載のタッチパネルディスプレイ付きデバイス。
  3. 　前記ピンチイン動作以外の動作は前記タッチパネルディスプレイとの接触を非接触にする動作である請求項１又は２に記載のタッチパネルディスプレイ付きデバイス。
  4. 　前記ピンチイン動作以外の動作はドラッグ動作である請求項１から３のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
  5. 　前記ピンチイン動作以外の動作は前記タッチパネルディスプレイに対する押圧力を前記ピンチイン動作における押圧力より強くする動作である請求項１から４のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
  6. 　前記オブジェクト領域に関するアクションは、前記オブジェクト領域をコピー又は移動するアクションである請求項１から５のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
  7. 　前記オブジェクト領域に関するアクションは、前記オブジェクト領域をメモリに記録させるアクションである請求項１から５のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
  8. 　前記オブジェクト領域に関するアクションは、前記オブジェクト領域の向きを変更するアクションである請求項１から５のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
  9. 　前記オブジェクト領域に関するアクションは、前記オブジェクト領域を拡大又は縮小させるアクションである請求項１から５のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
  10. 　前記画像は撮像素子により得られた撮像画像である請求項１から９のいずれか１項に記載のタッチパネルディスプレイ付きデバイス。
  11. 　タッチパネルディスプレイに画像を表示させる画像表示工程と、
    　前記タッチパネルディスプレイに対するユーザのピンチイン動作を認識するピンチイン動作認識工程と、
    　前記ピンチイン動作によって前記タッチパネルディスプレイと接触した接触領域を認識する接触領域認識工程と、
    　前記接触領域認識工程が認識した接触領域に基づいて、前記画像に対して前記接触領域を少なくとも一部含むオブジェクトが占めるオブジェクト領域を決定するオブジェクト領域決定工程と、
    　前記ピンチイン動作から前記ピンチイン動作以外の動作に遷移したことを認識する動作遷移認識工程と、
    　前記ピンチイン動作以外の動作に遷移したと認識した場合に、前記タッチパネルディスプレイに表示された画像に対して前記オブジェクト領域に関するアクションを行う出力アクション工程と、
    　を備えたタッチパネルディスプレイ付きデバイスの制御方法。
  12. 　請求項１１に記載のタッチパネルディスプレイ付きデバイスの制御方法をコンピュータに実行させるためのプログラム。
  13. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１２に記載のプログラムをコンピュータに実行させる記録媒体。
PCT/JP2019/035057 2018-09-19 2019-09-05 タッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラム Ceased WO2020059528A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020548321A JP7349441B2 (ja) 2018-09-19 2019-09-05 タッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラム
CN201980061151.9A CN112740163B (zh) 2018-09-19 2019-09-05 带触摸屏显示器的器件及其控制方法
US17/203,046 US11416133B2 (en) 2018-09-19 2021-03-16 Device with touch panel display, control method of device with touch panel display, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-175097 2018-09-19
JP2018175097 2018-09-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/203,046 Continuation US11416133B2 (en) 2018-09-19 2021-03-16 Device with touch panel display, control method of device with touch panel display, and program

Publications (1)

Publication Number Publication Date
WO2020059528A1 true WO2020059528A1 (ja) 2020-03-26

Family

ID=69887263

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035057 Ceased WO2020059528A1 (ja) 2018-09-19 2019-09-05 タッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11416133B2 (ja)
JP (1) JP7349441B2 (ja)
CN (1) CN112740163B (ja)
WO (1) WO2020059528A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI849948B (zh) * 2023-06-02 2024-07-21 大陸商北京集創北方科技股份有限公司 觸摸區域劃分方法、電子晶片及資訊處理裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140300A (ja) * 2008-12-12 2010-06-24 Sharp Corp 表示装置、制御方法、制御プログラムおよび記録媒体
JP2012505466A (ja) * 2008-10-13 2012-03-01 サムスン エレクトロニクス カンパニー リミテッド タッチスクリーンを利用したオブジェクト管理方法及び装置
JP2014134867A (ja) * 2013-01-08 2014-07-24 Sharp Corp 情報処理端末
JP2016001509A (ja) * 2015-09-24 2016-01-07 京セラ株式会社 電子機器、制御方法および制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382919B2 (en) * 2006-06-22 2008-06-03 Xerox Corporation System and method for editing image data
CN102239470B (zh) * 2008-12-04 2018-03-16 三菱电机株式会社 显示输入装置及导航装置
JP5666239B2 (ja) * 2010-10-15 2015-02-12 シャープ株式会社 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
US9575641B2 (en) * 2012-03-20 2017-02-21 Adobe Systems Incorporated Content aware image editing
CN104737104B (zh) * 2012-10-19 2017-12-19 三菱电机株式会社 信息处理装置、信息终端、信息处理系统及校准方法
JP6019074B2 (ja) * 2014-09-16 2016-11-02 京セラドキュメントソリューションズ株式会社 電子機器、及び、タッチパネルの操作方法
DK201870349A1 (en) * 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012505466A (ja) * 2008-10-13 2012-03-01 サムスン エレクトロニクス カンパニー リミテッド タッチスクリーンを利用したオブジェクト管理方法及び装置
JP2010140300A (ja) * 2008-12-12 2010-06-24 Sharp Corp 表示装置、制御方法、制御プログラムおよび記録媒体
JP2014134867A (ja) * 2013-01-08 2014-07-24 Sharp Corp 情報処理端末
JP2016001509A (ja) * 2015-09-24 2016-01-07 京セラ株式会社 電子機器、制御方法および制御プログラム

Also Published As

Publication number Publication date
CN112740163A (zh) 2021-04-30
US20210200428A1 (en) 2021-07-01
JP7349441B2 (ja) 2023-09-22
US11416133B2 (en) 2022-08-16
CN112740163B (zh) 2025-11-14
JPWO2020059528A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
US12333137B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
KR102285699B1 (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
CN107659722B (zh) 一种图像选择方法及移动终端
CN107613203B (zh) 一种图像处理方法及移动终端
WO2019185003A1 (zh) 一种显示控制方法及设备
CN109003224B (zh) 基于人脸的形变图像生成方法和装置
CN107172346A (zh) 一种虚化方法及移动终端
KR20160049455A (ko) 스크롤바를 이용한 이미지 디스플레이 방법 및 이를 위한 장치
KR20140100547A (ko) 모바일 장치상의 풀 3d 상호작용
JP2015114997A (ja) 図面作成プログラム、図面作成方法及び情報処理装置
JP2010102395A (ja) 画像処理装置、画像処理方法およびプログラム
CN106528080B (zh) 一种移动终端的应用图标的放置方法和移动终端
CN106919318A (zh) 一种图片处理的方法及终端
CN106598623A (zh) 一种图片组合模板的生成方法及移动终端
CN106126108A (zh) 一种缩略图的生成方法及移动终端
CN107492067A (zh) 一种图像美化方法及移动终端
CN106354373A (zh) 一种图标移动方法及移动终端
JP7732283B2 (ja) 表示装置、表示システム、表示制御方法、及びプログラム
CN105242853A (zh) 一种对焦方法及电子设备
JP7349441B2 (ja) タッチパネルディスプレイ付きデバイス及びその制御方法、並びにプログラム
CN106453886A (zh) 一种移动终端的拍照方法及移动终端
US11983877B2 (en) Image processing device, image processing method, program, and portable terminal device
CN106791775A (zh) 一种图像处理方法和移动终端
CN106406717A (zh) 一种屏幕调整方法及装置
JP7608874B2 (ja) 表示装置、表示方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19863509

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548321

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 201980061151.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19863509

Country of ref document: EP

Kind code of ref document: A1