WO2022030221A1 - プログラムおよび電子デバイス - Google Patents

プログラムおよび電子デバイス Download PDF

Info

Publication number
WO2022030221A1
WO2022030221A1 PCT/JP2021/026769 JP2021026769W WO2022030221A1 WO 2022030221 A1 WO2022030221 A1 WO 2022030221A1 JP 2021026769 W JP2021026769 W JP 2021026769W WO 2022030221 A1 WO2022030221 A1 WO 2022030221A1
Authority
WO
WIPO (PCT)
Prior art keywords
type
action
gesture
display
assigned
Prior art date
Application number
PCT/JP2021/026769
Other languages
English (en)
French (fr)
Inventor
諒一 佐藤
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2022030221A1 publication Critical patent/WO2022030221A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Definitions

  • the technical fields disclosed herein relate to programs and electronic devices that accept gesture-based input operations based on output signals from motion sensors.
  • Patent Document 1 is an information processing apparatus including three types of input means, a mouse, a touch panel, and a motion sensor, which detects a change in the input means and displays an object according to a display mode according to the changed input means.
  • the technology for displaying is disclosed.
  • a display mode for one object is assigned to each input means, and when the input operation is performed by the motion sensor, the display mode is different from the input operation by the other input means. It displays an object, but there is no detailed disclosure of the operation after an input operation. Therefore, there is room for improvement in the operation after detecting the gesture, which is an input operation by the motion sensor.
  • This specification discloses a technique for improving user-friendliness in a program and an electronic device that accepts an input operation by a gesture based on an output signal from a motion sensor.
  • a program made for the purpose of solving this problem is a program that can be executed by a computer of an electronic device including a motion sensor and a display, and is specific to the computer based on the output result from the motion sensor.
  • a detection process for detecting a gesture is executed and the computer detects the specific gesture by the detection process
  • the object of the specific object is one of the objects displayed on the display.
  • the type acquisition process for acquiring the type and the operation corresponding to the specific gesture are assigned to each type of object that can be displayed on the display, and are assigned to the type of the object acquired in the type acquisition process. It is characterized in that an operation specifying process for specifying an operation and an operation executing process for executing an operation specified in the operation specifying process for the specific object are executed.
  • the electronic device By executing the programs disclosed herein, if the electronic device detects a particular gesture, it will acquire one type of object displayed on the display and each type of object will have a particular gesture. Performs the action assigned to. Therefore, since different operations are executed depending on the type of the object according to the detection of one gesture, the usability of the input by the gesture is improved.
  • a technology for improving user-friendliness is realized in a program and an electronic device that accepts an input operation by a gesture based on an output signal from a motion sensor.
  • the electronic device 1 of the present embodiment includes a controller 10 including a CPU 11 and a memory 12. Further, the electronic device 1 includes a user interface (hereinafter referred to as "user IF") 13, a communication interface (hereinafter referred to as "communication IF") 14, and a millimeter-wave radar 15, which are controllers 10. Is electrically connected to.
  • the electronic device 1 is, for example, a device capable of executing various applications for printing on the printer 3.
  • the controller 10 in FIG. 1 is a general term for hardware and software used for controlling the electronic device 1, and does not necessarily represent a single hardware actually existing in the electronic device 1. ..
  • the CPU 11 executes various processes according to the program read from the memory 12 and based on the user's operation.
  • the CPU 11 is an example of a computer.
  • the memory 12 includes, for example, a ROM, a RAM, an HDD, and a flash memory, and stores various programs and data.
  • the user IF 13 is a touch panel that includes a display screen 131 that is hardware having a display function, and further has an operation reception function.
  • the display screen 131 is an example of a display.
  • the user IF 13 of the electronic device 1 of the present embodiment can detect the contact or pressing of a fingertip or the like, and can acquire the position of the contact or pressing.
  • the user IF 13 may include a combination of a display or the like for displaying information and a keyboard, a mouse, or the like for accepting an input operation by the user.
  • the communication IF 14 includes hardware for communicating with an external device such as a printer 3.
  • the communication method of the communication IF14 is Wi-Fi (registered trademark), Bluetooth (registered trademark), USB and the like. Further, the electronic device 1 may be compatible with a plurality of communication methods as the communication IF 14.
  • the millimeter wave radar 15 includes hardware that sends out an electromagnetic wave, receives the reflected wave, and outputs a waveform signal based on the received reflected wave.
  • the millimeter wave radar 15 is an example of a motion sensor.
  • the millimeter-wave radar 15 transmits, for example, an electromagnetic wave having a wavelength in millimeters or a unit smaller than millimeters and having a frequency of around 60 GHz, which is a frequency modulation signal, and receives an overlap of reflected waves.
  • the millimeter wave radar 15 outputs a waveform signal based on the received reflected wave, and the electronic device 1 of the present embodiment uses the waveform signal to, for example, determine the position and movement of an object in the vicinity of the electronic device 1 in millimeters. It can be detected in units.
  • OS21 is a multitasking OS capable of processing a plurality of tasks in parallel by managing and switching a plurality of tasks.
  • OS an operating system
  • OS21 is a multitasking OS capable of processing a plurality of tasks in parallel by managing and switching a plurality of tasks.
  • iOS registered trademark
  • Android registered trademark
  • Windows registered trademark
  • macOS registered trademark
  • macOS registered trademark
  • Android registered trademark
  • Windows registered trademark
  • macOS registered trademark
  • Linux registered trademark
  • Linux registered trademark
  • the label creation application 22 of this embodiment is an application for creating various labels using the printer 3, detects a user's gesture based on the waveform signal output by the millimeter wave radar 15, and uses the detection result as the detection result. It is an application that causes the electronic device 1 to execute the corresponding operation.
  • the label creation application 22 is an example of a program.
  • the label creation application 22 of this embodiment may be a program that can be independently executed based on a user's execution instruction, or may be a program that is called and executed from that program while another program is being executed.
  • the label creation application 22 of this embodiment can display an image including various objects such as texts, symbols, and photographs as image data to be printed by the printer 3 on the display screen 131, and can be displayed on each object being displayed. Accepts user editing instructions.
  • the label creation application 22 of the present embodiment receives a user's instruction by an operation by contacting the user IF13 such as a tap, or an operation by a gesture without contacting the user IF13.
  • the label creation application 22 of this embodiment can acquire the gesture information detected by the millimeter wave radar 15 via the OS 21.
  • the printer 3 of this embodiment has at least a printing function and a communication function, and performs an operation corresponding to a command received from an electronic device 1 or the like.
  • the printer 3 of this embodiment is, for example, a so-called label printer equipped with a thermal transfer type print head, accommodating a label paper wound in a roll shape, and printing while unwinding the label paper.
  • the printer 3 prints an image on a contained label paper and conveys the label paper based on a print command received from, for example, an electronic device 1, and causes the printed portion to protrude to the outside of the machine. Create a label with.
  • the label creation process is executed by the CPU 11 of the electronic device 1 when the start instruction of the label creation application 22 is received.
  • the following processing and each processing step in the flowchart basically indicate the processing of the CPU 11 according to the instructions described in each program.
  • the processing by the CPU 11 also includes hardware control using the API of the OS 21 of the electronic device 1. In this specification, the operation of the program will be described by omitting the description of the OS 21.
  • the CPU 11 first causes the user IF 13 to display the top screen (S101).
  • the top screen includes, for example, a button for accepting the display of a title, a top image, a usage example of a label and a creation method, and a button for accepting the display of a template.
  • the user can obtain various information by, for example, changing the display contents by operating the user IF13.
  • the CPU 11 determines whether or not the template selection has been accepted (S102).
  • the label creation application 22 of this embodiment has a plurality of templates including samples such as character strings, symbols, code images, and frame images as template image data for label creation, and the template is selected and selected. Accepts template editing. For example, when the CPU 11 accepts a tap on a button that accepts a template display on the top screen, it displays various templates, and further accepts a template selection by tapping one of the displayed templates.
  • the CPU 11 When it is determined that the template selection is not accepted (S102: NO), the CPU 11 performs various operations according to the user's operation and waits until the template selection is accepted. When the instruction to end the label creation process is received, the CPU 11 ends the label creation process.
  • FIG. 3 shows an example of the appearance of the electronic device 1 in the state where the edit screen is displayed.
  • FIG. 3 is an example of displaying the edit screen 50 of the label creation application 22, and is a diagram showing a surface of the electronic device 1 including the display screen 131 of the user IF 13.
  • the display screen 131 is arranged in the center of one surface of the housing of the electronic device 1 and occupies almost all of this surface.
  • the millimeter-wave radar 15 of the present embodiment has the same surface as the display screen 131, is provided on the outer housing surface of the display screen 131, and can detect the movement of an object near the display screen 131.
  • the template image 51 included in the editing screen 50 of the example shown in FIG. 3 is an image including a text object 511, a symbol object 512, and a photographic object 513.
  • the photographic object 513 is an example of an image object.
  • the contained objects may be different.
  • the image to be edited is not limited to the template, and may be, for example, an image previously saved by the label creation application 22.
  • the label creation application 22 accepts the selection of the object to be edited among the various objects included in the displayed template image 51, and accepts the editing of the selected object.
  • the user can easily create a desired label by, for example, changing the character string of the selected template to a desired character string and printing it.
  • the state shown in FIG. 3 displayed in S105 is a state in which the template image 51 including a plurality of objects is only displayed, and the selection of individual objects to be edited is not accepted.
  • the allocation information is information that stores the relationship between the type of gesture and the action assigned according to the gesture.
  • the allocation information depends on the selected state of the object.
  • the CPU 11 acquires the allocation information in the unselected state in which the object is not selected.
  • FIG. 4 shows an example of allocation information.
  • flicks of up, down, left, and right are illustrated as the types of gestures.
  • a flick is a gesture that quickly shakes your fingertips, moving from bottom to top is an up flick, moving from top to bottom is a down flick, moving from right to left is a left flick, and moving from left to right is a right flick. That is.
  • FIG. 4 illustrates four types of object selection states: an unselected state, a text object being selected, a symbol object being selected, and a photo object being selected.
  • the display magnification is changed for the up and down flicks, and the scroll is associated with the left and right flicks.
  • the CPU 11 acquires the flick direction and the operation information corresponding to each as the allocation information stored in association with the state in which the object is not selected.
  • the type of gesture and the selected state of the object are not limited to those shown in FIG. 4, and may be other than these.
  • the type of gesture may be any distinguishable one based on the waveform signal output by the millimeter wave radar 15, and may further include push, pull, and roll, for example.
  • the assignment information may store further corresponding actions for each type of gesture.
  • the operation corresponding to each gesture is not limited to that shown in FIG.
  • the up and down flicks in the unselected state may be a change of the template image 51.
  • the left and right flicks in each state may be cancellation (Undo) of the previous operation, redoing the cancellation (Redo), or may be an operation other than the operation for the object such as saving or printing.
  • the CPU 11 determines whether or not the object selection has been accepted (S111). When, for example, the CPU 11 accepts a tap on one of the objects included in the displayed template image 51, the CPU 11 determines that the object has been selected. When it is determined that the object selection has been accepted (S111: YES), the CPU 11 acquires the information of the selected object type (S112).
  • the types of objects include, for example, the text object, the symbol object, and the photo object described above.
  • the selected object is an example of a specific object, and S112 is an example of a type acquisition process.
  • the CPU 11 causes the user IF 13 to display an edit screen for accepting the edit of the selected object (S113). Since the content of editing accepted for an object differs depending on the type of object, the editing screen of the object differs depending on the type of object.
  • the text editing screen 60 includes a keyboard for accepting text changes, a font setting button 61 for accepting font changes, and a completion button 62 for completing text editing.
  • the CPU 11 causes the user IF 13 to display the symbol edit screen 70, for example, as shown in FIG. 6 (A).
  • the label creation application 22 classifies a large number of symbols into categories and stores them, and the user can select a favorite symbol and print it on the label. For example, in FIG. 6A, various symbols included in the pictogram category are displayed.
  • the symbol editing screen 70 includes various symbols in the same category, a category change button 71 for changing the category of the symbol to be displayed, and a completion button 72 for completing the symbol editing.
  • the CPU 11 causes the user IF 13 to display the photo edit screen 80, for example, as shown in FIG.
  • the photo editing screen 80 includes a button for accepting adjustments such as trimming and rotation, a bar for accepting size changes, a halftone change button 81 for accepting halftone change instructions, and a completion button 82 for completing photo editing. , Is included.
  • the CPU 11 acquires the allocation information corresponding to the selected object type (S114). As shown in FIG. 4, the allocation information is set for each type of object. In S114, the CPU 11 changes the allocation information used in the subsequent processing to the one corresponding to the selected object.
  • the CPU 11 determines whether or not the gesture is detected (S121). For example, after S106, the CPU 11 instructs the OS 21 to drive the millimeter-wave radar 15 of the electronic device 1, and acquires gesture information via the OS 21.
  • the label creation application 22 of this embodiment detects a user's gesture performed near the display screen 131 based on the waveform signal which is the output result from the millimeter wave radar 15.
  • the label creation application 22 may detect the gesture by acquiring the waveform signal from the OS 21 and analyzing it, or may detect the gesture by acquiring the gesture information as the analysis result of the waveform signal from the OS 21. May be.
  • the label creation application 22 may acquire the waveform signal at an arbitrary timing or periodically and analyze the waveform signal by itself to acquire the presence / absence of gestures and detailed information thereof.
  • the OS 21 may analyze the waveform signal of the millimeter wave radar 15 and issue an event when the gesture is detected, and the label creation application 22 may detect the gesture by the event.
  • the detailed information of the gesture may be included in the event, or may be obtained by the label creation application 22 inquiring the OS 21 after the event is issued.
  • the detailed information of the gesture includes information on the position, type, and direction of the gesture.
  • the CPU 11 determines whether or not the object is selected (S122). When it is determined that the object is not selected (S122: NO), the CPU 11 acquires the information on the position of the gesture (S123). S123 is an example of the position acquisition process. The CPU 11 acquires the position of the gesture based on the detailed information of the gesture.
  • the CPU 11 determines whether or not the position of the gesture is near one of the objects of the template image 51 displayed on the display screen 131 (S124). Specifically, the CPU 11 determines whether or not the position of the fingertip or the like is above one object in the template image 51 and within a predetermined distance range.
  • the upper part of the object is a columnar range extending from the area of the object in the direction orthogonal to the display screen 131. The upper part is not limited to the columnar range, and may be, for example, a shape that expands as the distance from the screen increases.
  • the CPU 11 acquires the information of the type of the object (S125).
  • An object having a close gesture position is an example of a specific object, and S125 is an example of a type acquisition process.
  • the object in this case is not limited to each object included in the template image to be edited, and for example, various objects such as a print setting button 53, a print button 54, and a save button 55 included in the edit screen 50 shown in FIG. 3 are used. It may be a button of.
  • the CPU 11 acquires the allocation information corresponding to the type of the object (S126).
  • the CPU 11 determines the detailed information of the detected gesture. Based on, the type of gesture is acquired (S127).
  • the type of gesture is, for example, one of the above-mentioned up / down / left / right flicks.
  • the type of gesture acquired is an example of a specific gesture, and S127 is an example of a detection process.
  • the CPU 11 specifies the operation corresponding to the acquired gesture type (S128).
  • S128 is an example of the operation specifying process.
  • the CPU 11 specifies the corresponding operation based on the allocation information acquired in any one of S106, S114, and S126 and the type of gesture acquired in S127.
  • the acquired allocation information is information corresponding to a specific object or information corresponding to an object unselected state.
  • the CPU 11 executes the specified operation (S129).
  • S129 is an example of an operation execution process.
  • FIG. 4 shows.
  • the label creation application 22 of this embodiment detects a gesture with the text object selected, that is, with the text editing screen 60 shown in FIG. 5A displayed, FIG. 4 shows.
  • the CPU 11 flicks up to increase the font size, flicks down to decrease the font size, flicks left to change the font type (normal ⁇ bold ⁇ italic), and flicks right to change the font type. Accepts (reverse order of left flick).
  • the label creation application 22 when changing the font size or font type, the user operates the font setting button 61 in FIG. 5A to display the font setting screen shown in FIG. 5B. After that, it was necessary to perform operations in the font setting screen. On the other hand, in this embodiment, since the font setting can be instructed by the gesture without displaying the font setting screen of FIG. 5B, it is possible to reduce the trouble of changing the font attribute of the user.
  • the label creation application 22 is not limited to the size and type of the font, and may accept changes in font decoration such as inversion, underline, strikethrough, character enclosure, and fill.
  • the label creation application 22 of the present embodiment detects a gesture with the symbol object selected, that is, with the symbol editing screen shown in FIG. 6A displayed, the example of FIG. 4 As shown in the assignment information of, it accepts instructions to change symbols and categories. Specifically, the CPU 11 flicks up to change a symbol in the same category (next symbol), flicks down to change a symbol in the same category (previous symbol), flicks left to change a category (from top to bottom), and right. Accept category changes (from bottom to top) by flicking.
  • the label creation application 22 of the present embodiment detects a gesture with the photo object selected, that is, with the photo editing screen shown in FIG. 7 displayed, the assignment information of the example of FIG. 4 is displayed.
  • the instruction to change the halftone is accepted.
  • the CPU 11 accepts a halftone change (for example, contrast up / down) between an up flick and a down flick.
  • the user when it is desired to adjust the color tone such as the contrast of the image, the user operates the halftone change button 81 in FIG. 7, displays the image adjustment screen, and operates in the screen. I had to do it.
  • the color tone of the image can be adjusted without displaying the image adjustment screen, so that the user's labor can be reduced.
  • the corresponding operation is not assigned to the left flick and the right flick when the photo object is selected. That is, when the CPU 11 determines that the specific object is a photographic object and the type of gesture acquired in S127 is a left flick or a right flick, the CPU 11 does not specify the corresponding operation in S128 and skips S129.
  • the label creation application 22 of this embodiment also includes an assignment that skips an operation depending on the combination of a specific object and a specific gesture.
  • the types of objects are not limited to the text objects, symbol objects, and photo objects mentioned above.
  • the label creation application 22 assigns an action of changing the size of the label in the length direction to the gesture by flicking left and right, corresponding to the label object. By doing so, it is possible to reduce the trouble of changing the length of the label.
  • the label creation application 22 assigns, for example, the action of changing the content of the cut option corresponding to the cut option object to the gesture by flicking up and down. By doing so, the trouble of changing the cut option can be reduced.
  • the content of the cut option includes, for example, selection of full cut or half cut when cut is turned on, and selection of presence / absence of feed after cutting.
  • the CPU 11 determines whether or not the completion instruction has been accepted (S131).
  • the edit screens of various objects include the completion buttons 62, 72, and 82, and the completion instruction is an instruction received by operating these completion buttons. If no object is selected, the CPU 11 does not accept the completion instruction.
  • the CPU 11 deselects the object (S132). That is, the CPU 11 assumes that the object is not selected, returns to S105, and causes the user IF 13 to display the edit screen 50 (see FIG. 3).
  • the CPU 11 determines whether or not the end instruction of the label creation application 22 has been accepted (S141). When it is determined that the end instruction has been accepted (S141: YES), the CPU 11 ends the label creation process.
  • the CPU 11 executes an operation corresponding to the received instruction (S143). For example, when the CPU 11 receives an operation on the print setting button 53, the print button 54, the save button 55, or the like on the edit screen 50 shown in FIG. 3, the CPU 11 executes an operation corresponding to the received instruction. For example, when a print execution instruction is received by operating the print button 54, the CPU 11 generates a print command and transmits the generated print command to the printer 3.
  • the CPU 11 may accept, for example, a user's setting for the allocation information shown in FIG. That is, the assignment between the gesture and the action may be a predetermined relationship in the label creation application 22, or may be specified by the user.
  • the CPU 11 displays, for example, a list of the operations that can be assigned, accepts the selection of the operation, and sets it in the allocation information.
  • S143 in this case is an example of the allocation process.
  • the CPU 11 After S143, or when it is determined that other instructions are not accepted (S142: NO), the CPU 11 returns to S111 and accepts various instructions such as object selection and gestures. As other instructions, the CPU 11 may accept an instruction to return to the top screen or an instruction to reselect the template. In that case, the CPU 11 returns to S101 or S102 to continue the process.
  • the electronic device 1 when the electronic device 1 detects a specific gesture as an input operation, the type of the object is according to the specific gesture. Identify and execute the operation assigned to each. That is, the operation after detecting a specific gesture is not fixed to one operation, and different operations are executed depending on the type of the object according to the detection of one gesture. This improves the usability of gesture input.
  • the selected object is targeted for the action by the gesture, or when the gesture is detected on the object, the object is targeted for the action by the gesture, so that the usability of the gesture is further improved. .. Further, in this embodiment, since there is a corresponding operation even if the object is not selected, the opportunity to use the gesture increases, and the usability of the gesture is further improved. In other words, there are multiple types of gestures, and by assigning actions to each type of gesture, there are a wide variety of actions by gestures, and the usability of gestures is further improved.
  • the printer connected to the electronic device 1 is not limited to a label printer, and may be an inkjet printer or a laser printer. That is, the printing method of the printer 3 is not limited to the thermal transfer method, and may be, for example, a thermal method, an inkjet method, or an electrophotographic method. Further, the print medium used in the printer 3 is not limited to label paper, and may be, for example, simple roll paper or cut paper.
  • the label creation application 22 acquires a gesture based on the waveform signal output from the millimeter wave radar 15, but the present invention is not limited to this.
  • the configuration for acquiring gesture information is not limited to the millimeter wave radar 15, and a camera, an infrared sensor, an optical sensor, or the like may be used, or a combination of a plurality of configurations may be used for acquisition.
  • the gesture including the type information may be detected.
  • the upper flick may be detected by analyzing the top, bottom, left, and right after detecting the flick by the output signal from the millimeter wave radar 15, or from the output signal from the millimeter wave radar 15. The upper flick may be detected immediately.
  • the specific object is determined based on the position of the gesture, but it is not necessary to specify the object based on the position of the gesture. That is, if the object is not selected, it may be in the unselected state. Also, for example, even if an object is selected, if the detected gesture position is not above the selected object, it is not the selected object but the position corresponding to the gesture position.
  • the object may be a specific object.
  • the gesture is detected when the image to be edited such as a template is selected and the edit screen is displayed.
  • the electronic device 1 detects the gesture regardless of the display state of the edit screen. May be good.
  • the electronic device 1 may periodically acquire the position of the fingertip.
  • the user IF 13 does not have to be the touch panel.
  • the user IF 13 may be, for example, a combination of a display and an input device such as a keyboard and a mouse. In that case, the millimeter wave radar 15 may be provided around the display. Even in this way, the user can move the cursor by the input device to operate the object and also perform the operation by the gesture.
  • the movement of the user's fingertip is detected as a gesture, but the detection target is not limited to the fingertip. In other words, it is not necessary to judge whether it is a fingertip or not.
  • the direction of the flick may be detected by moving the tip of the touch pen.
  • the plurality of processes in any plurality of steps can be arbitrarily changed in the execution order or executed in parallel as long as the processing contents do not conflict with each other.
  • the process disclosed in the embodiment may be executed by a single CPU, a plurality of CPUs, hardware such as an ASIC, or a combination thereof. Further, the process disclosed in the embodiment can be realized in various aspects such as a recording medium or a method in which a program for executing the process is recorded.

Abstract

モーションセンサからの出力信号に基づいてジェスチャによる入力操作を受け付けるプログラムおよび電子デバイスにおいて、ユーザの使い勝手を向上させる技術を提供すること。ミリ波レーダ１５と表示画面１３１とを備える電子デバイス１は、ラベル作成アプリ２２を実行することにより、ミリ波レーダ１５からの出力結果に基づいて、特定のジェスチャを検知し、さらに、特定のジェスチャが検知された場合、表示画面１３１に表示されているオブジェクトのうちの１つである特定オブジェクトについてオブジェクトの種類を取得し、取得したオブジェクトの種類に割り当てられた動作を特定し、特定された動作を実行する。表示画面１３１に表示可能なオブジェクトの種類ごとに、特定のジェスチャに応じた動作が割り当てられている。

Description

プログラムおよび電子デバイス
　本明細書に開示される技術分野は、モーションセンサからの出力信号に基づいてジェスチャによる入力操作を受け付けるプログラムおよび電子デバイスに関する。
　モーションセンサを備える電子デバイスが実用化されており、モーションセンサからの出力信号に基づく入力操作を受け付ける技術が知られている。例えば特許文献１には、マウス、タッチパネル、モーションセンサ、の３種類の入力手段を備える情報処理装置であって、入力手段の変更を検知し、変更後の入力手段に応じた表示態様によって、オブジェクトを表示する技術が開示されている。
国際公開第２０１５／０２９２２２号
　特許文献１に開示されている技術では、入力手段ごとに１つのオブジェクトに対する表示態様が割り当てられており、モーションセンサによる入力操作であった場合に、他の入力手段による入力操作と異なる表示態様によってオブジェクトを表示するものであるが、入力操作があった後の動作についての詳細な開示は無い。そのため、モーションセンサによる入力操作であるジェスチャを検知した後の動作については改善の余地がある。
　本明細書は、モーションセンサからの出力信号に基づいてジェスチャによる入力操作を受け付けるプログラムおよび電子デバイスにおいて、ユーザの使い勝手を向上させる技術を開示する。
　この課題の解決を目的としてなされたプログラムは、モーションセンサと表示器とを備える電子デバイスのコンピュータによって実行可能なプログラムであって、前記コンピュータに、前記モーションセンサからの出力結果に基づいて、特定のジェスチャを検知する検知処理を実行させ、さらに前記コンピュータに、前記検知処理によって前記特定のジェスチャが検知された場合、前記表示器に表示されているオブジェクトのうちの１つである特定オブジェクトについてオブジェクトの種類を取得する種類取得処理と、前記表示器に表示可能なオブジェクトの種類ごとに前記特定のジェスチャに応じた動作が割り当てられており、前記種類取得処理にて取得した前記オブジェクトの種類に割り当てられた動作を特定する動作特定処理と、前記特定オブジェクトについて前記動作特定処理にて特定された動作を実行する動作実行処理と、を実行させる、ことを特徴としている。
　本明細書に開示されるプログラムを実行することで、電子デバイスは、特定のジェスチャを検知した場合、表示器に表示されているオブジェクトの１つの種類を取得し、オブジェクトの種類ごとに特定のジェスチャに割り当てられた動作を実行する。従って、１つのジェスチャを検知したことに応じて、オブジェクトの種類によって異なる動作が実行されるので、ジェスチャによる入力の使い勝手が向上する。
　上記プログラムの機能を実現する電子デバイス、プログラムの機能を実現するための制御方法、プログラムを格納するコンピュータにて読取可能な記憶媒体も、新規で有用である。
　本明細書に開示される技術によれば、モーションセンサからの出力信号に基づいてジェスチャによる入力操作を受け付けるプログラムおよび電子デバイスにおいて、ユーザの使い勝手を向上させる技術が実現される。
実施の形態にかかる電子デバイスの概略構成図である。 ラベル作成処理の手順を示すフローチャートである。 編集画面の例を示す説明図である。 割り当て情報の例を示す説明図である。 テキストオブジェクトの編集画面の例を示す説明図である。 シンボルオブジェクトの編集画面の例を示す説明図である。 写真オブジェクトの編集画面の例を示す説明図である。
　以下、電子デバイスに組み込まれたプログラムを具体化した実施の形態について、添付図面を参照しつつ詳細に説明する。本形態は、スマートフォンなどの表示画面を備える電子デバイスに組み込まれたアプリケーションプログラム（以下、「アプリ」とする）を開示するものである。
　本形態の電子デバイス１は、図１に示すように、ＣＰＵ１１と、メモリ１２と、を含むコントローラ１０を備える。さらに、電子デバイス１は、ユーザインタフェース（以下、「ユーザＩＦ」とする）１３と、通信インタフェース（以下、「通信ＩＦ」とする）１４と、ミリ波レーダ１５と、を備え、これらがコントローラ１０に電気的に接続されている。電子デバイス１は、例えば、プリンタ３に印刷させるための各種のアプリを実行可能な装置である。なお、図１中のコントローラ１０は、電子デバイス１の制御に利用されるハードウェアやソフトウェアを纏めた総称であって、実際に電子デバイス１に存在する単一のハードウェアを表すとは限らない。
　ＣＰＵ１１は、メモリ１２から読み出したプログラムに従って、また、ユーザの操作に基づいて、各種の処理を実行する。ＣＰＵ１１は、コンピュータの一例である。メモリ１２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリ、を含み、各種のプログラムやデータを記憶する。
　ユーザＩＦ１３は、表示機能を備えるハードウェアである表示画面１３１を含み、さらに、操作受付機能を備えるタッチパネルである。表示画面１３１は、表示器の一例である。本形態の電子デバイス１のユーザＩＦ１３は、指先などの接触や押圧を検知可能であり、その接触や押圧の位置を取得できる。なお、ユーザＩＦ１３は、情報を表示するディスプレイ等と、ユーザによる入力操作を受け付けるキーボードやマウス等と、の組み合わせを含んでいても良い。
　通信ＩＦ１４は、プリンタ３等の外部装置との通信を行うためのハードウェアを含む。通信ＩＦ１４の通信方式は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ等である。また、電子デバイス１は、通信ＩＦ１４として、複数の通信方式に対応可能であっても良い。
　ミリ波レーダ１５は、電磁波を送出してその反射波を受信し、受信した反射波に基づいて波形信号を出力するハードウェアを含む。ミリ波レーダ１５は、モーションセンサの一例である。ミリ波レーダ１５は、例えば、波長がミリメートル単位あるいはミリメートルより小さい単位であって、周波数が６０ＧＨｚ前後の周波数変調信号である電磁波を送出し、反射波の重ね合わせを受信する。ミリ波レーダ１５が、受信した反射波に基づく波形信号を出力することで、本形態の電子デバイス１は、その波形信号に基づいて、例えば、電子デバイス１の近辺の物体の位置や動きをミリメートル単位で検出できる。
　本形態の電子デバイス１のメモリ１２には、図１に示すように、オペレーティングシステム（以下、「ＯＳ」とする）２１と、ラベル作成アプリ２２と、が組み込まれている。ＯＳ２１は、複数のタスクを管理して切り換えることにより複数のタスクを並行して処理できるマルチタスクＯＳであり、例えば、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、ｍａｃＯＳ（登録商標）、Ｌｉｎｕｘ（登録商標）のいずれかである。
　本形態のラベル作成アプリ２２は、プリンタ３を使用して各種のラベルを作成するためのアプリであり、ミリ波レーダ１５の出力する波形信号に基づいてユーザのジェスチャを検知し、その検知結果に対応する動作を電子デバイス１に実行させるアプリである。ラベル作成アプリ２２は、プログラムの一例である。なお、本形態のラベル作成アプリ２２は、ユーザの実行指示に基づいて独立して実行可能なプログラムでも良いし、他のプログラムの実行中にそのプログラムから呼び出されて実行されるプログラムでも良い。
　本形態のラベル作成アプリ２２は、プリンタ３に印刷させる印刷対象の画像データとして、テキスト、シンボル、写真等の各種のオブジェクトを含む画像を表示画面１３１に表示可能であり、表示中の各オブジェクトへのユーザの編集指示を受け付ける。本形態のラベル作成アプリ２２は、タップ等のユーザＩＦ１３への接触による操作、ユーザＩＦ１３に非接触でのジェスチャによる操作、によってユーザの指示を受け付ける。なお、本形態のラベル作成アプリ２２は、ミリ波レーダ１５によって検知されたジェスチャの情報を、ＯＳ２１を介して取得できる。
　本形態のプリンタ３は、少なくとも印刷機能と通信機能とを有し、電子デバイス１等から受信したコマンドに対応する動作を行う。本形態のプリンタ３は、例えば、熱転写方式の印刷ヘッドを備え、ロール状に巻き取られたラベル紙を収容し、ラベル紙を巻き出しつつ印刷を行う、いわゆるラベルプリンタである。プリンタ３は、例えば、電子デバイス１等から受信した印刷コマンドに基づいて、収容されているラベル紙への画像の印刷とラベル紙の搬送とを行い、印刷済みの部分を機外へ突出させることでラベルを作成する。
　続いて、本形態のラベル作成アプリ２２を利用してプリンタ３にラベルを作成させるためのラベル作成処理の手順について、図２のフローチャートを参照して説明する。ラベル作成処理は、ラベル作成アプリ２２の起動指示を受け付けたことを契機に、電子デバイス１のＣＰＵ１１にて実行される。なお、以下の処理およびフローチャートの各処理ステップは、基本的に、各プログラムに記述された命令に従ったＣＰＵ１１の処理を示す。ＣＰＵ１１による処理は、電子デバイス１のＯＳ２１のＡＰＩを用いたハードウェア制御も含む。本明細書では、ＯＳ２１の記載を省略してプログラムの動作を説明する。
　ラベル作成処理では、ＣＰＵ１１は、まず、ユーザＩＦ１３にトップ画面を表示させる（Ｓ１０１）。トップ画面には、例えば、タイトル、トップ画像、ラベルの使用例や作成方法の表示を受け付けるボタン、テンプレートの表示を受け付けるボタン、が含まれる。ユーザは、ユーザＩＦ１３への操作によって、例えば、表示内容を変更させて、各種の情報を得ることができる。
　ＣＰＵ１１は、テンプレートの選択を受け付けたか否かを判断する（Ｓ１０２）。本形態のラベル作成アプリ２２は、ラベル作成用のひな形の画像データとして、文字列、シンボル、コード画像、枠画像などのサンプルを含む複数のテンプレートを有し、テンプレートの選択と、選択されたテンプレートの編集と、を受け付ける。ＣＰＵ１１は、例えば、トップ画面にてテンプレートの表示を受け付けるボタンへのタップを受け付けた場合に、各種のテンプレートを表示させ、さらに、表示中のテンプレートの１つへのタップによってテンプレートの選択を受け付ける。
　テンプレートの選択を受け付けていないと判断した場合（Ｓ１０２：ＮＯ）、ＣＰＵ１１は、ユーザの操作に従って、各種の動作を行い、テンプレートの選択を受け付けるまで待機する。なお、ラベル作成処理の終了指示を受け付けた場合には、ＣＰＵ１１は、ラベル作成処理を終了する。
　テンプレートの選択を受け付けたと判断した場合（Ｓ１０２：ＹＥＳ）、ＣＰＵ１１は、選択されたテンプレートの編集を受け付ける編集画面を、ユーザＩＦ１３の表示画面１３１に表示させる（Ｓ１０５）。編集画面が表示されている状態の電子デバイス１の外観の例を図３に示す。図３は、ラベル作成アプリ２２の編集画面５０を表示している例であり、電子デバイス１のうち、ユーザＩＦ１３の表示画面１３１を含む面を示す図である。図３に示すように、表示画面１３１は、電子デバイス１の筐体の一面の中央に配置され、この面のほぼ全てを占めている。本形態のミリ波レーダ１５は、表示画面１３１と同じ面であって、表示画面１３１の外部の筐体表面に設けられ、表示画面１３１の近くの物体の動きを検出できる。
　なお、図３に示す編集画面５０には、テンプレート画像５１の他、印刷設定ボタン５３、印刷ボタン５４、保存ボタン５５など、各種のボタンが表示されている。ＣＰＵ１１は、表示中の各ボタンへのタップを検知した場合、そのボタンへの操作を受け付けたと判断する。また、図３に示す例の編集画面５０に含まれるテンプレート画像５１は、テキストオブジェクト５１１と、シンボルオブジェクト５１２と、写真オブジェクト５１３とを含む画像である。写真オブジェクト５１３は、イメージオブジェクトの一例である。選択されたテンプレートによって、含まれるオブジェクトは異なっていても良い。なお、編集対象の画像は、テンプレートに限らず、例えば、ラベル作成アプリ２２にて以前に保存された画像であっても良い。
　ラベル作成アプリ２２は、表示中のテンプレート画像５１に含まれる各種のオブジェクトのうち、編集対象とするオブジェクトの選択を受け付け、選択されたオブジェクトの編集を受け付ける。ユーザは、例えば、選択したテンプレートの文字列を希望の文字列に変更して印刷させることで、容易に希望のラベルを作成できる。Ｓ１０５にて表示させた図３に示す状態は、複数のオブジェクトを含むテンプレート画像５１を表示させただけであり、編集対象としての個別のオブジェクトの選択を受け付けていない状態である。
　そして、ＣＰＵ１１は、未選択状態に対応する割り当て情報を取得する（Ｓ１０６）。割り当て情報は、ジェスチャの種類とそのジェスチャに応じて割り当てられている動作との関係を記憶する情報である。割り当て情報は、オブジェクトの選択状態によって異なる。Ｓ１０６では、ＣＰＵ１１は、オブジェクトが選択されていない状態である未選択状態の割り当て情報を取得する。
　割り当て情報の例を図４に示す。オブジェクトとジェスチャにはそれぞれ複数の種類があり、割り当て情報では、オブジェクトの種類と、ジェスチャの種類と、の組み合わせごとに動作が割り当てられている。図４では、ジェスチャの種類として、上下左右のフリックを例示している。フリックは、指先を素早く振るジェスチャであり、下から上への移動を上フリック、上から下への移動を下フリック、右から左への移動を左フリック、左から右への移動を右フリックという。また、図４では、オブジェクトの選択状態として、未選択状態、テキストオブジェクト選択中、シンボルオブジェクト選択中、写真オブジェクト選択中、の４種類について例示している。
　図４に示すように、例えば、オブジェクト未選択の状態に対しては、上下のフリックに対して表示倍率の変更が、左右のフリックに対してスクロールが、それぞれ対応付けられている。Ｓ１０６では、ＣＰＵ１１は、オブジェクト未選択の状態に関連付けて記憶されている割り当て情報として、フリックの方向とそれぞれに対応する動作の情報とを取得する。
　なお、ジェスチャの種類、オブジェクトの選択状態、のいずれについても、図４に示したものに限るものではなく、これら以外にさらにあっても良い。ジェスチャの種類はミリ波レーダ１５の出力する波形信号に基づいて区別可能なものであれば良く、例えば、プッシュ、プル、ロールがさらにあっても良い。ジェスチャの種類がさらにあれば、割り当て情報には、ジェスチャの種類ごとにさらに対応する動作が記憶されているとよい。また、各ジェスチャに対応する動作も、図４に示したものに限るものではない。例えば、未選択状態の上下のフリックは、テンプレート画像５１の変更であっても良い。また、各状態の左右のフリックは、前の動作の取り消し（Ｕｎｄｏ）、取り消しのやり直し（Ｒｅｄｏ）であっても良いし、保存や印刷等のオブジェクトに対する動作以外の動作があっても良い。
　そして、ＣＰＵ１１は、オブジェクトの選択を受け付けたか否かを判断する（Ｓ１１１）。ＣＰＵ１１は、例えば、表示中のテンプレート画像５１に含まれるオブジェクトの１つへのタップを受け付けた場合、そのオブジェクトが選択されたと判断する。オブジェクトの選択を受け付けたと判断した場合（Ｓ１１１：ＹＥＳ）、ＣＰＵ１１は、選択されたオブジェクトの種類の情報を取得する（Ｓ１１２）。オブジェクトの種類には、例えば、前述したテキストオブジェクト、シンボルオブジェクト、写真オブジェクトがある。選択されたオブジェクトは、特定オブジェクトの一例であり、Ｓ１１２は、種類取得処理の一例である。
　さらに、ＣＰＵ１１は、選択されたオブジェクトの編集を受け付ける編集画面をユーザＩＦ１３に表示させる（Ｓ１１３）。オブジェクトに対して受け付ける編集の内容は、オブジェクトの種類ごとに異なるため、オブジェクトの編集画面は、オブジェクトの種類ごとに異なる。
　例えば、図３の編集画面５０にてテキストオブジェクト５１１が選択された場合、ＣＰＵ１１は、ユーザＩＦ１３に、例えば、図５（Ａ）に示すように、テキスト編集画面６０を表示させる。テキスト編集画面６０には、テキストの変更を受け付けるキーボードと、フォントの変更を受け付けるフォント設定ボタン６１と、テキストの編集を完了する完了ボタン６２と、が含まれる。
　また例えば、図３の編集画面５０にてシンボルオブジェクト５１２が選択された場合、ＣＰＵ１１は、ユーザＩＦ１３に、例えば、図６（Ａ）に示すように、シンボル編集画面７０を表示させる。ラベル作成アプリ２２は、多数のシンボルをカテゴリに分類して記憶しており、ユーザは、好みのシンボルを選択してラベルに印刷させることができる。例えば、図６（Ａ）では、絵文字のカテゴリに含まれる各種のシンボルが表示されている。シンボル編集画面７０には、同一カテゴリ内の各種のシンボルと、表示させるシンボルのカテゴリを変更するカテゴリ変更ボタン７１と、シンボルの編集を完了する完了ボタン７２と、が含まれる。
　また例えば、図３の編集画面５０にて写真オブジェクト５１３が選択された場合、ＣＰＵ１１は、ユーザＩＦ１３に、例えば、図７に示すように、写真編集画面８０を表示させる。写真編集画面８０には、トリミング、回転などの調整を受け付けるボタンやサイズの変更を受け付けるバーの他、ハーフトーンの変更指示を受け付けるハーフトーン変更ボタン８１と、写真の編集を完了する完了ボタン８２と、が含まれる。
　そして、ＣＰＵ１１は、選択されたオブジェクトの種類に対応する割り当て情報を取得する（Ｓ１１４）。割り当て情報は、図４に示したように、オブジェクトの種類ごとに設定されている。Ｓ１１４では、ＣＰＵ１１は、以後の処理で利用する割り当て情報を、選択されたオブジェクトに対応するものに変更する。
　オブジェクトの選択を受け付けていないと判断した場合（Ｓ１１１：ＮＯ）、ＣＰＵ１１は、ジェスチャを検知したか否かを判断する（Ｓ１２１）。例えばＳ１０６の後、ＣＰＵ１１は、ＯＳ２１に電子デバイス１のミリ波レーダ１５の駆動を指示し、ＯＳ２１を介してジェスチャの情報を取得する。
　本形態のラベル作成アプリ２２は、ミリ波レーダ１５からの出力結果である波形信号に基づいて、表示画面１３１の近くで行われるユーザのジェスチャを検知する。ラベル作成アプリ２２は、例えば、波形信号をＯＳ２１から取得して解析することでジェスチャを検知しても良いし、波形信号の解析結果としてのジェスチャの情報をＯＳ２１から取得することでジェスチャを検知しても良い。
　すなわち、ラベル作成アプリ２２は、任意のタイミングあるいは定期的に波形信号を取得して、自身で波形信号を解析することでジェスチャの有無やその詳細情報を取得しても良い。あるいは、ＯＳ２１が、ミリ波レーダ１５の波形信号を解析して、ジェスチャを検出した場合にイベントを発行し、ラベル作成アプリ２２は、そのイベントによってジェスチャを検知しても良い。この場合、ジェスチャの詳細情報は、イベントに含まれていても良いし、イベントが発行された後、ラベル作成アプリ２２がＯＳ２１に問い合わせることで取得できても良い。なお、ジェスチャの詳細情報は、ジェスチャの位置、種類、方向、の情報を含む。
　ジェスチャを検知したと判断した場合（Ｓ１２１：ＹＥＳ）、ＣＰＵ１１は、オブジェクトが選択されているか否かを判断する（Ｓ１２２）。オブジェクトが選択されていないと判断した場合（Ｓ１２２：ＮＯ）、ＣＰＵ１１は、ジェスチャの位置の情報を取得する（Ｓ１２３）。Ｓ１２３は、位置取得処理の一例である。ＣＰＵ１１は、ジェスチャの詳細情報に基づいて、ジェスチャの位置を取得する。
　そして、ＣＰＵ１１は、ジェスチャの位置が表示画面１３１に表示中のテンプレート画像５１のうちの１つのオブジェクトの近くであるか否かを判断する（Ｓ１２４）。具体的には、ＣＰＵ１１は、指先などの位置が、テンプレート画像５１のうちの１つのオブジェクトの上方であって所定の距離範囲内にあるか否かを判断する。オブジェクトの上方とは、オブジェクトの領域から表示画面１３１に対して直交する方向へ延びる柱状の範囲である。なお、上方は、柱状の範囲に限らず、例えば、画面から離れるにつれて広がる形状であっても良い。
　ジェスチャの位置が１つのオブジェクトの近くであると判断した場合（Ｓ１２４：ＹＥＳ）、ＣＰＵ１１は、そのオブジェクトの種類の情報を取得する（Ｓ１２５）。ジェスチャの位置が近いオブジェクトは、特定オブジェクトの一例であり、Ｓ１２５は、種類取得処理の一例である。なお、この場合のオブジェクトは、編集対象のテンプレート画像に含まれる各オブジェクトに限らず、例えば、図３に示した編集画面５０に含まれる印刷設定ボタン５３、印刷ボタン５４、保存ボタン５５など、各種のボタンであっても良い。そして、ＣＰＵ１１は、そのオブジェクトの種類に対応する割り当て情報を取得する（Ｓ１２６）。
　オブジェクトが選択されていると判断した場合（Ｓ１２２：ＹＥＳ）、または、１つのオブジェクトの近くではないと判断した場合（Ｓ１２４：ＮＯ）、または、Ｓ１２６の後、ＣＰＵ１１は、検知したジェスチャの詳細情報に基づいて、ジェスチャの種類を取得する（Ｓ１２７）。ジェスチャの種類は、例えば、前述した上下左右のフリックのいずれかである。取得されるジェスチャの種類は、特定のジェスチャの一例であり、Ｓ１２７は、検知処理の一例である。
　そして、ＣＰＵ１１は、取得したジェスチャの種類に対応する動作を特定する（Ｓ１２８）。Ｓ１２８は、動作特定処理の一例である。ＣＰＵ１１は、Ｓ１０６、Ｓ１１４、Ｓ１２６のいずれかにて取得した割り当て情報とＳ１２７にて取得したジェスチャの種類とに基づいて、対応する動作を特定する。取得している割り当て情報は、特定オブジェクトに対応する情報、または、オブジェクト未選択状態に対応する情報である。そして、ＣＰＵ１１は、特定した動作を実行する（Ｓ１２９）。Ｓ１２９は、動作実行処理の一例である。
　例えば、本形態のラベル作成アプリ２２は、テキストオブジェクトが選択された状態で、つまり、図５（Ａ）に示したテキスト編集画面６０を表示させた状態で、ジェスチャを検知した場合、図４の例の割り当て情報に示したように、フォントのサイズやフォントの種類等のフォントの属性の変更の指示を受け付ける。具体的には、ＣＰＵ１１は、上フリックでフォントサイズのアップ、下フリックでフォントサイズのダウン、左フリックでフォントの種類の変更（ノーマル→ボールド→イタリックの順）、右フリックでフォントの種類の変更（左フリックの逆順）を受け付ける。
　従来のラベル作成アプリでは、フォントサイズやフォントの種類を変更する場合、ユーザは、図５（Ａ）中のフォント設定ボタン６１を操作して、図５（Ｂ）に示すフォント設定画面を表示させてから、フォント設定画面中で操作を行う必要があった。これに対し、本形態では、図５（Ｂ）のフォント設定画面を表示させることなく、ジェスチャによってフォントの設定を指示できることから、ユーザのフォントの属性の変更の手間を軽減できる。なお、テキストオブジェクトに対応する動作としては、ラベル作成アプリ２２は、フォントのサイズや種類に限らず、反転、下線、取消線、文字囲、塗りつぶし等のフォントの飾りの変更を受け付けても良い。
　また例えば、本形態のラベル作成アプリ２２は、シンボルオブジェクトが選択された状態で、つまり、図６（Ａ）に示すシンボル編集画面を表示させた状態で、ジェスチャを検知した場合、図４の例の割り当て情報に示したように、シンボルの変更やカテゴリの変更の指示を受け付ける。具体的には、ＣＰＵ１１は、上フリックで同一カテゴリ内のシンボル変更（次のシンボル）、下フリックで同一カテゴリ内のシンボル変更（前のシンボル）、左フリックでカテゴリ変更（上から下）、右フリックでカテゴリ変更（下から上）を受け付ける。
　従来のラベル作成アプリでは、異なるカテゴリのシンボルを選択する場合、ユーザは、図６（Ａ）中のカテゴリ変更ボタン７１を操作して、図６（Ｂ）に示すカテゴリ選択画面を表示させてから、カテゴリを選ぶ必要があった。これに対し、本形態では、図６（Ｂ）のカテゴリ選択画面を表示させることなく、異なるカテゴリのシンボルを選択できることから、ユーザのシンボルの変更の手間を軽減できる。
　また例えば、本形態のラベル作成アプリ２２は、写真オブジェクトが選択された状態で、つまり、図７に示す写真編集画面を表示させた状態で、ジェスチャを検知した場合、図４の例の割り当て情報に示したように、ハーフトーンの変更の指示を受け付ける。具体的には、ＣＰＵ１１は、上フリックと下フリックとでハーフトーンの変更（例えば、コントラストのアップとダウン）を受け付ける。
　従来のラベル作成アプリでは、画像のコントラストなどの色調の調整を行いたい場合、ユーザは、図７中のハーフトーン変更ボタン８１を操作して、画像調整画面を表示させ、その画面中で操作を行う必要があった。これに対し、本形態では、画像調整画面を表示させることなく、イメージの色調の調整を行うことができることから、ユーザの手間を軽減できる。
　なお、本形態では、写真オブジェクトが選択された状態での左フリックと右フリックには、対応する動作が割り当てられていない。つまり、ＣＰＵ１１は、特定オブジェクトが写真オブジェクトであって、Ｓ１２７にて取得したジェスチャの種類が左フリックまたは右フリックであると判断した場合、Ｓ１２８では対応動作を特定せず、Ｓ１２９をスキップする。本形態のラベル作成アプリ２２は、特定オブジェクトと特定のジェスチャとの組み合わせによっては、動作をスキップする割り当ても含めている。
　また、オブジェクトの種類は、前述したテキストオブジェクト、シンボルオブジェクト、写真オブジェクトに限らない。例えば、ラベルの全体を示すラベルオブジェクト、ラベルのカットオプションを示すカットオプションオブジェクト、があっても良い。ラベル作成アプリ２２は、例えば、ラベルオブジェクトに対応して、ラベルの長さ方向のサイズを変更する動作を、左右のフリックによるジェスチャに割り当てる。このようにすれば、ラベルの長さの変更の手間を軽減できる。
　また、ラベル作成アプリ２２は、例えば、カットオプションオブジェクトに対応して、カットオプションの内容を変更する動作を、上下のフリックによるジェスチャに割り当てる。このようにすれば、カットオプションの変更の手間を軽減できる。なお、カットオプションの内容には、カットのオンオフの選択の他、例えば、カットをオンとした場合のフルカットまたはハーフカットの選択、カット後のフィードの有無の選択が含まれる。
　ジェスチャを検知していないと判断した場合（Ｓ１２１：ＮＯ）、ＣＰＵ１１は、完了指示を受け付けたか否かを判断する（Ｓ１３１）。各種のオブジェクトの編集画面には、前述したように、完了ボタン６２、７２、８２が含まれ、完了指示は、これらの完了ボタンへの操作によって受け付ける指示である。なお、オブジェクトが選択されていない場合には、ＣＰＵ１１は、完了指示を受け付けない。完了指示を受け付けたと判断した場合（Ｓ１３１：ＹＥＳ）、ＣＰＵ１１は、オブジェクトの選択を解除する（Ｓ１３２）。つまり、ＣＰＵ１１は、オブジェクトが選択されていない状態とし、Ｓ１０５に戻って、編集画面５０（図３参照）をユーザＩＦ１３に表示させる。
　完了指示を受け付けていないと判断した場合（Ｓ１３１：ＮＯ）、ＣＰＵ１１は、ラベル作成アプリ２２の終了指示を受け付けたか否かを判断する（Ｓ１４１）。終了指示を受け付けたと判断した場合（Ｓ１４１：ＹＥＳ）、ＣＰＵ１１は、ラベル作成処理を終了する。
　終了指示を受け付けていないと判断した場合（Ｓ１４１：ＮＯ）、他の指示を受け付けたか否かを判断する（Ｓ１４２）。他の指示を受け付けたと判断した場合（Ｓ１４２：ＹＥＳ）、ＣＰＵ１１は、受け付けた指示に対応する動作を実行する（Ｓ１４３）。ＣＰＵ１１は、例えば、図３に示した編集画面５０にて、印刷設定ボタン５３、印刷ボタン５４、保存ボタン５５などへの操作を受け付けた場合、受け付けた指示に対応する動作を実行する。例えば、印刷ボタン５４への操作によって印刷の実行指示を受け付けた場合、ＣＰＵ１１は、印刷コマンドを生成して、生成した印刷コマンドをプリンタ３に送信する。
　ＣＰＵ１１は、他の動作として、例えば、図４に示した割り当て情報へのユーザによる設定を受け付けても良い。つまり、ジェスチャと動作との割り当ては、ラベル作成アプリ２２にて予め決めた関係であっても良いし、ユーザによる指定を受け付けても良い。例えば、Ｓ１４２にて割り当て設定の指示を受け付けた場合、Ｓ１４３にて、ＣＰＵ１１は、例えば、割り当て可能な動作の一覧を表示させ、動作の選択を受け付けて、割り当て情報に設定する。この場合のＳ１４３は、割当処理の一例である。ユーザによる動作の割り当てを受け付けることで、ユーザの使用状況に応じた動作とすることができ、ユーザの使い勝手が良い。
　Ｓ１４３の後、または、他の指示を受け付けていないと判断した場合（Ｓ１４２：ＮＯ）、ＣＰＵ１１は、Ｓ１１１に戻って、オブジェクトの選択やジェスチャなど、各種の指示を受け付ける。なお、ＣＰＵ１１は、他の指示として、トップ画面に戻る指示や、テンプレートの再選択の指示を受け付けてもよく、その場合、Ｓ１０１やＳ１０２に戻ってさらに処理を続行する。
　以上、詳細に説明したように、本明細書に記載のラベル作成アプリ２２によれば、電子デバイス１は、入力操作として特定のジェスチャを検知した場合、その特定のジェスチャに応じて、オブジェクトの種類ごとに割り当てられた動作を特定して実行する。つまり、特定のジェスチャを検知した後の動作が１つの動作に固定されず、１つのジェスチャを検知したことに応じて、オブジェクトの種類によって異なる動作が実行される。これにより、ジェスチャによる入力の使い勝手が向上する。
　さらに、本形態では、選択されたオブジェクトをジェスチャによる動作の対象とする、あるいは、オブジェクトの上でジェスチャを検知した場合、そのオブジェクトをジェスチャによる動作の対象とするので、ジェスチャの使い勝手がさらに向上する。さらに、本形態では、オブジェクトが未選択でも対応する動作があるので、ジェスチャを使う機会が増え、ジェスチャの使い勝手がさらに向上する。つまり、ジェスチャに複数の種類があり、ジェスチャの種類ごとに動作が割り当てられることで、ジェスチャによる動作の種類が豊富であって、ジェスチャの使い勝手がさらに向上する。
　なお、本実施の形態は単なる例示にすぎず、本発明を何ら限定するものではない。したがって本発明は当然に、その要旨を逸脱しない範囲内で種々の改良、変形が可能である。例えば、電子デバイス１に接続されるプリンタは、ラベルプリンタに限らず、インクジェットプリンタやレーザプリンタであっても良い。つまり、プリンタ３の印刷方式は、熱転写方式に限らず、例えば、感熱方式、インクジェット方式、電子写真方式でもよい。また、プリンタ３にて使用される印刷媒体は、ラベル紙に限らず、例えば、単なるロール紙やカット紙でもよい。
　また、例えば、本形態では、ミリ波レーダ１５から出力される波形信号に基づいて、ラベル作成アプリ２２がジェスチャを取得するとしたが、これに限らない。例えば、ミリ波レーダ１５から出力される波形信号をＯＳ２１から取得して、取得した波形信号に基づいてジェスチャを検知する、別のプログラムが有っても良い。また、ジェスチャの情報を取得するための構成は、ミリ波レーダ１５に限らず、カメラ、赤外線センサ、光センサ等を用いても良いし、複数の構成の組み合わせによって取得してもよい。
　また、例えば、本形態では、ジェスチャを検知したと判断した後、そのジェスチャの種類を取得するとしたが、種類の情報を含めたジェスチャを検知できても良い。例えば、上フリックを検知する場合、ミリ波レーダ１５からの出力信号によってフリックを検知した後、上下左右を解析することで上フリックを検知してもよいし、ミリ波レーダ１５からの出力信号から直ちに上フリックを検知してもよい。
　また、本形態では、オブジェクトが選択されていない場合に、ジェスチャの位置に基づいて特定オブジェクトを決定するとしたが、ジェスチャの位置によるオブジェクトの特定はしなくても良い。つまり、オブジェクトが選択されていない場合は、未選択状態とするとしても良い。また、例えば、オブジェクトが選択されている場合であっても、検知したジェスチャの位置が選択されたオブジェクトの上方ではない場合には、選択されたオブジェクトではなく、ジェスチャの位置に対応する位置にあるオブジェクトを特定オブジェクトとしても良い。
　また、本形態では、テンプレートなどの編集対象の画像が選択され、編集画面を表示中の場合にジェスチャを検知するとしたが、電子デバイス１は、編集画面の表示状態に関わらずジェスチャを検知してもよい。例えば、ラベル作成アプリ２２の実行中、電子デバイス１は、定期的に指先の位置を取得してもよい。
　また、本形態ではタッチパネルを備える電子デバイス１について説明したが、ユーザＩＦ１３は、タッチパネルではなくても良い。ユーザＩＦ１３は、例えば、ディスプレイとキーボード、マウス等の入力装置との組み合わせであっても良い。その場合、ミリ波レーダ１５は、ディスプレイの周囲に設けられるとよい。このようにしても、ユーザは、入力装置によってカーソルを移動させてオブジェクトへの操作を行うとともに、ジェスチャによる動作も行わせることができる。
　また、本形態では、ジェスチャとしてユーザの指先の動きを検出するとしたが、検出対象は指先に限らない。つまり、指先か否かの判断は、しなくても良い。例えば、タッチペンのペン先の移動によってフリックの方向を検知しても良い。
　また、実施の形態に開示されている任意のフローチャートにおいて、任意の複数のステップにおける複数の処理は、処理内容に矛盾が生じない範囲で、任意に実行順序を変更できる、または並列に実行できる。
　また、実施の形態に開示されている処理は、単一のＣＰＵ、複数のＣＰＵ、ＡＳＩＣなどのハードウェア、またはそれらの組合せで実行されてもよい。また、実施の形態に開示されている処理は、その処理を実行するためのプログラムを記録した記録媒体、または方法等の種々の態様で実現することができる。
　１　電子デバイス
　３　プリンタ
　１１　ＣＰＵ
　１３　ユーザＩＦ
　１５　ミリ波レーダ

Claims (14)

  1. 　モーションセンサと表示器とを備える電子デバイスのコンピュータによって実行可能なプログラムであって、
    　前記コンピュータに、
    　　前記モーションセンサからの出力結果に基づいて、特定のジェスチャを検知する検知処理を実行させ、
    　さらに前記コンピュータに、前記検知処理によって前記特定のジェスチャが検知された場合、
    　　前記表示器に表示されているオブジェクトのうちの１つである特定オブジェクトについてオブジェクトの種類を取得する種類取得処理と、
    　　前記表示器に表示可能なオブジェクトの種類ごとに前記特定のジェスチャに応じた動作が割り当てられており、前記種類取得処理にて取得した前記オブジェクトの種類に割り当てられた動作を特定する動作特定処理と、
    　　前記特定オブジェクトについて前記動作特定処理にて特定された動作を実行する動作実行処理と、
    　　を実行させる、
    　ことを特徴とするプログラム。
  2. 請求項１に記載するプログラムにおいて、
    　前記種類取得処理では、
    　　前記表示器に表示されているオブジェクトのうち選択されているオブジェクトを前記特定オブジェクトとして、前記特定オブジェクトの種類を取得する、
    　ことを特徴とするプログラム。
  3. 請求項２に記載するプログラムにおいて、
    　さらに前記コンピュータに、前記検知処理によって前記特定のジェスチャが検知された場合、
    　　オブジェクトが選択されておらず、前記種類取得処理にてオブジェクトの種類が取得されなかった場合に、あらかじめ割り当てられた所定の動作を実行させる、
    　ことを特徴とするプログラム。
  4. 請求項１に記載するプログラムにおいて、
    　さらに前記コンピュータに、
    　　前記検知処理にて前記特定のジェスチャを検知した場合、検知した前記特定のジェスチャの位置を取得する位置取得処理を実行させ、
    　前記種類取得処理では、
    　　前記表示器に表示されているオブジェクトのうち前記表示器の画面と直交する方向に前記位置取得処理によって取得された前記ジェスチャの位置があるオブジェクトを前記特定オブジェクトとして、前記特定オブジェクトの種類を取得する、
    　ことを特徴とするプログラム。
  5. 請求項１から請求項４のいずれか１つに記載するプログラムにおいて、
    　前記検知処理では、
    　　前記モーションセンサからの出力結果に基づいて検知可能なジェスチャには複数の種類があり、検知可能な前記複数の種類のジェスチャのうちの１つを、前記特定のジェスチャとして検知し、
    　前記動作特定処理では、
    　　前記表示器に表示可能なオブジェクトの種類と、前記検知処理にて検知可能なジェスチャの種類と、の組み合わせごとに動作が割り当てられており、前記種類取得処理にて取得した前記特定オブジェクトの種類と、前記検知処理にて検知された前記特定のジェスチャと、の組み合わせに割り当てられた動作を特定する
    　ことを特徴とするプログラム。
  6. 請求項５に記載するプログラムにおいて、
    　前記動作特定処理では、
    　　前記表示器に表示可能なオブジェクトの種類と、前記検知処理にて検知可能なジェスチャの種類と、の組み合わせには、動作が割り当てられていない組み合わせが含まれ、前記種類取得処理にて取得した前記特定オブジェクトの種類と、前記検知処理にて検知された前記特定のジェスチャと、の組み合わせに動作が割り当てられている場合、その割り当てられた動作を特定し、前記特定された動作が前記動作実行処理において実行され、前記種類取得処理にて取得した前記特定オブジェクトの種類と、前記検知処理にて検知された前記特定のジェスチャと、の組み合わせに動作が割り当てられていない場合、動作が特定されず、前記動作実行処理における前記特定オブジェクトについての動作がスキップされる、
    　ことを特徴とするプログラム。
  7. 請求項１から請求項６のいずれか１つに記載するプログラムにおいて、
    　さらに前記コンピュータに、
    　　前記電子デバイスのユーザインタフェースを介して、前記表示器に表示可能なオブジェクトの種類の選択と、複数ある動作の中から１つの動作の選択と、を受け付け、選択されたオブジェクトの種類と選択された動作とを関連付けて記憶することで、前記特定のジェスチャに応じた動作として、選択されたオブジェクトの種類に選択された動作を割り当てる割当処理を実行させる、
    　ことを特徴とするプログラム。
  8. 請求項１から請求項７のいずれか１つに記載するプログラムにおいて、
    　前記表示器に表示可能なオブジェクトの種類には、テキストを表示するテキストオブジェクトが含まれ、
    　前記テキストオブジェクトには、前記テキストのフォントの属性を変更する動作が割り当てられる、
    　ことを特徴とするプログラム。
  9. 請求項１から請求項８のいずれか１つに記載するプログラムにおいて、
    　前記表示器に表示可能なオブジェクトの種類には、あらかじめ登録された複数のシンボルのうち選択された１つを表示するシンボルオブジェクトが含まれ、
    　前記シンボルオブジェクトには、表示されるシンボルを変更する動作が割り当てられる、
    　ことを特徴とするプログラム。
  10. 請求項１から請求項９のいずれか１つに記載するプログラムにおいて、
    　前記表示器に表示可能なオブジェクトの種類には、イメージを表示するイメージオブジェクトが含まれ、
    　前記イメージオブジェクトには、前記イメージの色調を変更する動作が割り当てられる、
    　ことを特徴とするプログラム。
  11. 請求項１から請求項１０のいずれか１つに記載するプログラムにおいて、
    　前記表示器に表示可能なオブジェクトの種類には、ラベルを表示するラベルオブジェクトが含まれ、
    　前記ラベルオブジェクトには、前記ラベルの長さ方向のサイズを変更する動作が割り当てられる、
    　ことを特徴とするプログラム。
  12. 請求項１から請求項１１のいずれか１つに記載するプログラムにおいて、
    　前記表示器に表示可能なオブジェクトの種類には、ラベルのカットオプションを表示するカットオプションオブジェクトが含まれ、
    　前記カットオプションオブジェクトには、前記カットオプションの内容を変更する動作が割り当てられる、
    　ことを特徴とするプログラム。
  13. 請求項１から請求項１２のいずれか１つに記載するプログラムにおいて、
    　前記モーションセンサは、波長がミリメートル単位あるいはミリメートルよりも小さい単位の電磁波を受信し、受信した電磁波に基づく波形信号を出力するセンサであり、
    　前記検知処理では、
    　　前記モーションセンサから出力される前記波形信号に基づいて、前記特定のジェスチャを検知する、
    　ことを特徴とするプログラム。
  14. 　モーションセンサと、
    　表示器と、
    　コンピュータと、
    を備え、
    　前記コンピュータは、
    　　前記モーションセンサからの出力結果に基づいて、特定のジェスチャを検知する検知処理を実行し、
    　さらに前記コンピュータは、前記検知処理によって前記特定のジェスチャが検知された場合、
    　　前記表示器に表示されているオブジェクトのうちの１つである特定オブジェクトについてオブジェクトの種類を取得する種類取得処理と、
    　　前記表示器に表示可能なオブジェクトの種類ごとに前記特定のジェスチャに応じた動作が割り当てられており、前記種類取得処理にて取得した前記オブジェクトの種類に割り当てられた動作を特定する動作特定処理と、
    　　前記特定オブジェクトについて前記動作特定処理にて特定された動作を実行する動作実行処理と、
    　　を実行する、
    　ことを特徴とする電子デバイス。
PCT/JP2021/026769 2020-08-07 2021-07-16 プログラムおよび電子デバイス WO2022030221A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020134648A JP2022030551A (ja) 2020-08-07 2020-08-07 プログラムおよび電子デバイス
JP2020-134648 2020-08-07

Publications (1)

Publication Number Publication Date
WO2022030221A1 true WO2022030221A1 (ja) 2022-02-10

Family

ID=80117269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026769 WO2022030221A1 (ja) 2020-08-07 2021-07-16 プログラムおよび電子デバイス

Country Status (2)

Country Link
JP (1) JP2022030551A (ja)
WO (1) WO2022030221A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009525538A (ja) * 2006-01-30 2009-07-09 アップル インコーポレイテッド マルチポイント感知装置を用いたジェスチャリング
JP2014002678A (ja) * 2012-06-20 2014-01-09 Celsys:Kk オブジェクト表示方法、プログラム、及び装置
JP2015035103A (ja) * 2013-08-08 2015-02-19 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2016219017A (ja) * 2015-05-25 2016-12-22 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP2018171441A (ja) * 2017-03-31 2018-11-08 大日本印刷株式会社 コンピュータプログラム、表示装置、表示システム及び表示方法
US20200026360A1 (en) * 2018-07-19 2020-01-23 Infineon Technologies Ag Gesture Detection System and Method Using Radar Sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009525538A (ja) * 2006-01-30 2009-07-09 アップル インコーポレイテッド マルチポイント感知装置を用いたジェスチャリング
JP2014002678A (ja) * 2012-06-20 2014-01-09 Celsys:Kk オブジェクト表示方法、プログラム、及び装置
JP2015035103A (ja) * 2013-08-08 2015-02-19 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2016219017A (ja) * 2015-05-25 2016-12-22 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP2018171441A (ja) * 2017-03-31 2018-11-08 大日本印刷株式会社 コンピュータプログラム、表示装置、表示システム及び表示方法
US20200026360A1 (en) * 2018-07-19 2020-01-23 Infineon Technologies Ag Gesture Detection System and Method Using Radar Sensors

Also Published As

Publication number Publication date
JP2022030551A (ja) 2022-02-18

Similar Documents

Publication Publication Date Title
KR920001696B1 (ko) 멀티윈도우표시제어장치를 갖추고 있는 데이터처리장치
US20140223366A1 (en) Information processing apparatus, image processing apparatus, computer readable medium, and information processing method
JP4966533B2 (ja) 印刷システム、印刷方法、印刷プログラムおよび記録媒体
US20140325526A1 (en) Information processing system, information processing method, and recording medium storing information processing program
EP2816416B1 (en) Display device, image forming apparatus, and computer-readable recording medium storing display control program
JP6053291B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
US10684772B2 (en) Document viewing apparatus and program
US20150058798A1 (en) Image processing apparatus, image processing method, and storage medium
US20050254092A1 (en) Method for printing image in voluntary template paper, print management apparatus and print system using the same
US9565324B2 (en) Apparatus, non-transitory computer readable medium, and method
WO2022030221A1 (ja) プログラムおよび電子デバイス
US9389811B2 (en) Image processing apparatus, image processing method, and recording medium
JP2019160102A (ja) 情報表示装置及びプログラム
US10691293B2 (en) Display device and computer-readable non-transitory recording medium with display control program stored thereon
US20160227057A1 (en) Methods for Optimizing Display Space of a User Interface of an Imaging Apparatus
JP2016221940A5 (ja)
US10334125B2 (en) Image forming apparatus with projector to display an image to be printed and related method
US20160224214A1 (en) Methods for Optimizing Display Space of a User Interface of an Imaging Apparatus
JP2017215857A (ja) 表示装置、表示方法およびプログラム
JP2014068152A (ja) 画像処理装置、画像処理方法及びプログラム
CN106558148A (zh) 画面转移控制方法以及画面转移控制装置
WO2021192841A1 (ja) プログラムおよび電子デバイス
JP2021157707A (ja) プログラムおよび電子デバイス
US11537337B2 (en) Image forming apparatus, storage medium storing program for controlling image forming apparatus, and method for controlling image forming apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21852766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21852766

Country of ref document: EP

Kind code of ref document: A1