WO2015141328A1 - 情報処理装置、制御方法、およびプログラム - Google Patents

情報処理装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2015141328A1
WO2015141328A1 PCT/JP2015/053564 JP2015053564W WO2015141328A1 WO 2015141328 A1 WO2015141328 A1 WO 2015141328A1 JP 2015053564 W JP2015053564 W JP 2015053564W WO 2015141328 A1 WO2015141328 A1 WO 2015141328A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
arm
information processing
processing apparatus
unit
Prior art date
Application number
PCT/JP2015/053564
Other languages
English (en)
French (fr)
Inventor
宏之 水沼
祐平 滝
翼 塚原
山野　郁男
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580012548.0A priority Critical patent/CN106068488A/zh
Priority to US15/119,054 priority patent/US10345761B2/en
Priority to KR1020167021035A priority patent/KR102269526B1/ko
Priority to JP2016508591A priority patent/JPWO2015141328A1/ja
Priority to EP15765782.6A priority patent/EP3121687A4/en
Publication of WO2015141328A1 publication Critical patent/WO2015141328A1/ja
Priority to US16/410,469 priority patent/US10466654B2/en
Priority to US16/587,375 priority patent/US10996635B2/en
Priority to US17/243,027 priority patent/US11340560B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G—PHYSICS
    • G04—HOROLOGY
    • G04B—MECHANICALLY-DRIVEN CLOCKS OR WATCHES; MECHANICAL PARTS OF CLOCKS OR WATCHES IN GENERAL; TIME PIECES USING THE POSITION OF THE SUN, MOON OR STARS
    • G04B37/00—Cases
    • G04B37/14—Suspending devices, supports or stands for time-pieces insofar as they form part of the case
    • G04B37/1486—Arrangements for fixing to a bracelet
    • G—PHYSICS
    • G04—HOROLOGY
    • G04B—MECHANICALLY-DRIVEN CLOCKS OR WATCHES; MECHANICAL PARTS OF CLOCKS OR WATCHES IN GENERAL; TIME PIECES USING THE POSITION OF THE SUN, MOON OR STARS
    • G04B47/00—Time-pieces combined with other articles which do not interfere with the running or the time-keeping of the time-piece
    • G04B47/06—Time-pieces combined with other articles which do not interfere with the running or the time-keeping of the time-piece with attached measuring instruments, e.g. pedometer, barometer, thermometer or compass
    • G—PHYSICS
    • G04—HOROLOGY
    • G04D—APPARATUS OR TOOLS SPECIALLY DESIGNED FOR MAKING OR MAINTAINING CLOCKS OR WATCHES
    • G04D99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G17/00—Structural details; Housings
    • G04G17/08—Housings
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/04—Input or output devices integrated in time-pieces using radio waves
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/06—Input or output devices integrated in time-pieces using voice
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/08—Touch switches specially adapted for time-pieces
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G9/00—Visual time or date indication means
    • G04G9/0064—Visual time or date indication means in which functions not related to time can be displayed
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G99/00—Subject matter not provided for in other groups of this subclass
    • G04G99/006—Electronic time-pieces using a microcomputer, e.g. for multi-function clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys

Definitions

  • the present disclosure relates to an information processing device, a control method, and a program.
  • Operation input to the wristwatch terminal is mainly performed from a touch panel provided on the terminal.
  • Patent Document 1 discloses a technique that allows a gesture such as “gripping” or “releasing” to be recognized and input as a command when the wristwatch terminal is worn on the wrist. ing.
  • the wristwatch type terminal is small, it may be difficult to input operations from the touch panel. Moreover, since the wristwatch-type terminal is worn on the arm, the touch panel operation has become unstable compared to a smartphone that can be held by hand.
  • the wristwatch-type terminal since the wristwatch-type terminal is worn on the arm, the other arm must be used for touch panel operation, and both arms are required for touch panel operation. Therefore, the wristwatch type terminal could not be operated in a situation where the other arm was occupied.
  • a command is input with a gesture such as “gripping” or “releasing”.
  • a gesture such as “gripping” or “releasing”.
  • the state of the arm wearing the wristwatch terminal is different, but intuitively according to such a difference in state If the operation input can be performed, the convenience of the wristwatch terminal is further improved.
  • the detection value of a motion sensor or the like used for recognizing the state of the arm differs depending on whether the wristwatch terminal is worn on the right arm or the left arm of the user. It was not considered which arm it was worn on.
  • the present disclosure proposes an information processing apparatus, a control method, and a program that can recognize the state of the arm after determining whether the information processing apparatus is worn on the left or right arm.
  • the information processing apparatus is provided based on the determination unit that determines whether the user is worn on the right arm or the left arm, the recognition unit that recognizes the arm state, and the recognized arm state.
  • a control unit that performs predetermined control on a device to be processed, and the recognition unit switches setting of a parameter used when recognizing the arm state according to a determination result by the determination unit Propose the device.
  • a control method includes recognizing and performing predetermined control on a device provided in the information processing apparatus based on the recognized state of the arm.
  • information processing is performed based on the determination unit that determines whether the computer is worn on the right arm or the left arm of the user, the recognition unit that recognizes the state of the arm, and the recognized state of the arm. And a control unit that performs predetermined control on a device provided in the apparatus, and the recognition unit sets parameters used when recognizing the arm state according to a determination result by the determination unit. Suggest a program to switch.
  • FIG. 6 is a diagram for explaining states 1 to 3;
  • FIG. 6 is a state transition diagram showing transitions of state 1 to state 3.
  • FIG. 6 is a diagram showing a control list of each device in state 1 to state 3;
  • FIG. 10 is a diagram showing another control list of each device in state 1 to state 3; It is a figure explaining the state 1, the state 2, and the state 4.
  • FIG. FIG. 6 is a diagram for explaining states 1 to 3;
  • FIG. 6 is a state transition diagram showing transitions of state 1 to state 3.
  • FIG. 6 is a diagram showing a control list of each device in state 1 to state 3;
  • FIG. 10 is a diagram showing another control list of each device in state 1 to state 3; It is a figure explaining the state 1, the state 2, and the state 4.
  • FIG. 6 is a state transition diagram showing transitions of state 1, state 2, and state 4; It is a figure which shows the control list of each device in the state 1, the state 2, and the state 4. It is a figure which shows the other control list of each device in the state 1, the state 2, and the state 4.
  • FIG. It is a figure explaining the example of rotation of an arm. It is a figure explaining the state 1, the state 2, and the state 5.
  • FIG. It is a figure which shows an example of the display screen of the information processing apparatus by a comparative example. It is a figure which shows an example of the display screen at the time of left arm mounting
  • FIG. 6 is a state transition diagram showing transitions of state 1, state 2, and state 6; It is a figure which shows the control list of each device in the state 1, the state 2, and the state 6. FIG. It is a figure which shows the other control list of each device in the state 1, the state 2, and the state 6.
  • FIG. 6 is a state transition diagram showing transitions of state 1, state 2, and state 6; It is a figure which shows the control list of each device in the state 1, the state 2, and the state 6.
  • FIG. It is a figure which shows the other control list of each device in the state 1, the state 2, and the state 6.
  • FIG. 1 is a diagram illustrating an external configuration of the information processing apparatus
  • FIG. 2 is a diagram illustrating a mounting state of the information processing apparatus.
  • the information processing apparatus 10 is a wearable terminal worn on a user's arm 200 or wrist, and is also called a wristwatch / bracelet type terminal.
  • the user can immediately confirm and operate the information displayed on the display screen without taking the information processing apparatus 10 out of a bag or pocket.
  • the information processing apparatus 10 has a touch panel display (hereinafter also referred to as a touch panel) 12 having functions of a display unit and an operation unit, speakers 15a and 15b, and microphones (hereinafter also referred to as microphones) 16a and 16b on the outer peripheral surface. And are provided.
  • a touch panel display hereinafter also referred to as a touch panel
  • microphones hereinafter also referred to as microphones
  • the touch panel 12 is provided, for example, in a part of the entire circumference of the information processing apparatus 10 so that the user can easily perform a touch operation.
  • the present invention is not limited to this, and the touch panel 12 may be provided all around the information processing apparatus 10.
  • the function of the display unit of the touch panel 12 is realized by, for example, a liquid crystal display or an organic EL display, and displays characters, images, and other information on the display screen. Display of characters, images, and other information is controlled by the device control unit 112 of the main control unit 11 described later.
  • the function of the operation unit of the touch panel 12 is realized, for example, by an operation surface that is superimposed on the display screen and detects a contact position by the user, and the operation surface is a curved surface along the outer peripheral direction of the user's arm.
  • the operation surface may include a plurality of portions having different curvatures.
  • the touch panel 12 has a narrow curved surface along the arm 200 as shown in FIG.
  • the user performs a touch operation on an operation surface provided to be superimposed on the display screen while viewing the display screen on the touch panel 12 of the information processing apparatus 10 worn on the arm 200.
  • the speakers 15a and 15b have an audio output function. As shown in FIGS. 1 and 2, the speakers 15a and 15b are provided on the outer peripheral surface of the information processing apparatus 10 on the front side speaker provided in the vicinity of the touch panel 12 and on the opposite half circumference side. This is realized by the rear side speaker.
  • the microphones 16a and 16b have a sound collecting function. As shown in FIGS. 1 and 2, the microphones 16a and 16b are provided on the outer peripheral surface of the information processing apparatus 10 on the front side microphone provided in the vicinity of the touch panel 12 and on the opposite half circumference side. Realized by a backside microphone.
  • the number and positions of the speakers 15a and 15b and the microphones 16a and 16b shown in FIGS. 1 and 2 are merely examples, and the present embodiment is not limited to this. You may provide along an edge part.
  • the state of the arm 200 on which the information processing apparatus 10 is worn differs. Accordingly, if the operation input can be performed intuitively, the convenience of the information processing apparatus 10 is further improved.
  • the detection value of the motion sensor or the like used for recognizing the state (movement) of the arm 200 differs depending on whether the information processing apparatus 10 is worn on the right arm or the left arm of the user.
  • the arm state is recognized after determining whether the information processing apparatus 10 is worn on the left or right arm, and each device of the information processing apparatus 10 is controlled based on the recognized arm state.
  • An information processing apparatus 10 that can be used is proposed.
  • FIG. 3 is a block diagram illustrating a basic configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a main control unit 11, a touch panel display 12, a motion sensor 13, a storage unit 14, a speaker 15, a microphone 16, and a communication unit 17.
  • the main control unit 11 is configured by, for example, a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit. To control.
  • a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit. To control.
  • the main control unit 11 functions as the determination unit 110, the recognition unit 111, and the device control unit 112.
  • the determination unit 110 determines whether the information processing apparatus 10 is worn on the user's right arm or left arm. Specifically, for example, the determination unit 110 can determine whether the information processing apparatus 10 is worn on the right arm or the left arm of the user based on the detection value output from the motion sensor 13.
  • FIG. 4 is a diagram for explaining determination of left and right arms when using an acceleration sensor.
  • an acceleration sensor is used as an example of the motion sensor 13 provided in the information processing apparatus 10.
  • the direction of the acceleration sensor is X when the right arm is worn while the information processing apparatus 10 is worn on the wrist so that the display screen is in a normal position with respect to the wearer and the arm is lowered. It is installed so that the acceleration in the axial direction is negative and the acceleration in the X-axis direction is positive when the left arm is worn.
  • the determination unit 110 determines that the right arm is attached when the acceleration in the X-axis direction is negative based on the detection value of the acceleration sensor in a state where the arm is lowered.
  • the acceleration in the X-axis direction is positive, it can be determined that the left arm is attached.
  • the determination unit 110 outputs the determination result to the recognition unit 111.
  • the determination unit 110 can automatically determine the left and right arms based on the detection value from the motion sensor 13 and can also determine the left and right arms by machine learning or user input. For example, when the direction of the acceleration sensor is not known, the determination unit 110 samples the detection value continuously output from the motion sensor 13 (acceleration sensor as an example), extracts a pattern, and extracts teacher data (right arm / left arm). Machine learning is performed by matching with a movement (state) pattern to determine whether the arm is worn on the left or right. In addition, when the information indicating whether the user has worn on the left or right arm from the touch panel 12 or voice input from the microphone 16, the determination unit 110 is worn on either the left or right arm according to the input information. Judgment is made.
  • the recognition unit 111 has a function of recognizing the state of the arm 200 to which the information processing apparatus 10 is attached. Specifically, for example, the recognition unit 111 can recognize the state (movement) of the arm based on the detection value output from the motion sensor 13. In addition, the recognition unit 111 recognizes the state of the arm more accurately even when the movement is complicated by switching the parameter setting used when recognizing the state of the arm according to the determination result of the determination unit 110. can do. For example, the recognition unit 111 is attached to either the left or right arm because the detection value output from the acceleration sensor, which is an example of the motion sensor 13, differs depending on whether the information processing apparatus 10 is worn on the left or right arm.
  • the state of the arm can be recognized more accurately by switching between the positive and negative parameters according to whether or not it is.
  • the variation of the arm state recognized by the recognition unit 111 will be specifically described in “3. Device control example according to the state” described later. Further, the recognition unit 111 sends the recognition result to the device control unit 112.
  • the device control unit 112 has a function of performing predetermined control on various devices provided in the information processing apparatus 10 based on the arm state recognized by the recognition unit 111. For example, the device control unit 112 performs ON / OFF of various devices such as the display unit, the operation unit, the motion sensor 13, the speaker 15, and the microphone 16 of the touch panel 12, changes in settings, and the like. As will be described later in “3. Example of device control according to state”, the purpose of use of the information processing apparatus 10, which is a wristwatch type terminal having various functions, based on the arm state recognized by the recognition unit 111. Since (user context) is estimated, the device control unit 112 performs device control according to the estimated purpose of use. Specifically, the device control unit 112, for example, turns on a device necessary for the estimated usage purpose, changes the setting of the performance rate of the output / input device according to necessity, or turns off an unnecessary device. To do.
  • the user can execute device control corresponding to the purpose of use by merely moving the arm 200 without performing another operation input from the touch panel 12. That is, by using the information processing apparatus 10 to recognize a different arm movement according to the purpose of use such as viewing a display screen, making a call, or taking a picture, and recognizing the movement as a gesture command, ON / OFF of various devices can be automatically controlled only by movement.
  • the touch panel display 12 has functions of a display unit and an operation unit (for example, a touch sensor).
  • the motion sensor 13 is a sensor that detects the state (movement) of the arm 200 to which the information processing apparatus 10 is attached.
  • the motion sensor 13 is a device that detects a spatial movement or angle, such as an acceleration sensor, a gyro sensor, or a geomagnetic sensor. It is realized by.
  • the motion sensor 13 may be a combination of a plurality of types of sensors.
  • the information processing apparatus 10 is held at the ear as in a state 3 to be described later with reference to FIG.
  • the information processing apparatus 10 In order to recognize the state by the proximity sensor, the information processing apparatus 10 must be as close as possible to the ear. However, such a movement is unnatural and places a physical burden on the user. Therefore, in this embodiment, by recognizing the state of the arm using a motion sensor, the state can be recognized with natural movement without taking an unreasonable posture.
  • the communication unit 17 has a function of connecting to an external device and transmitting / receiving data.
  • the communication unit 17 may be connected to a smartphone possessed by the user to transmit / receive data, or may be connected to a predetermined server via a network to transmit / receive data. Further, the communication unit 17 may transmit and receive audio signals via a mobile phone network or the Internet network.
  • the storage unit 14 stores programs for the main control unit 11 to execute various processes. For example, the storage unit 14 stores data related to predetermined control contents for various devices performed by the device control unit 112 according to the recognized state.
  • the speaker 15 has a function of outputting sound (audio signal). For example, the speaker 15 notifies the user by an alarm or the like, or outputs a received voice during a call.
  • the microphone 16 has a function of inputting sound (audio signal). For example, the microphone 16 accepts voice input by the user or picks up the user's speech during a call.
  • FIG. 5 is a diagram for explaining the states 1 to 3.
  • State 1 shown on the left in FIG. 5 shows a state where the arm (hand) to which the information processing apparatus 10 is attached is lowered
  • state 2 shown in the center of FIG. 5 shows a state where the arm (hand) is held at the lower front of the body.
  • state 3 is a state where arm (hand) is held at the ear (back side speaker 15b and back side microphone 16b (inside wrist)) Is a state where a phone call is being taken.
  • the recognition unit 111 of the information processing apparatus 10 can recognize such states 1 to 3 based on detection values from the motion sensor 13 provided in the information processing apparatus 10.
  • FIG. 6 is a state transition diagram showing the transition from state 1 to state 3.
  • state 1 (D1) in which the arm is lowered to the state 2 (D2) in which the arm is raised and the state 3 (D3) in which the arm is held at the ear from the state 1 (D1) in which the arm is lowered.
  • state 2 (D2) where the arm is raised to state 3 (D3) where the arm is held at the ear the state can be changed.
  • the recognition unit 111 of the information processing apparatus 10 recognizes the current state based on the detection value from the motion sensor 13 and outputs the recognition result to the device control unit 112. Further, since the states 1 to 3 can be transitioned as shown in FIG. 6, the recognition unit 111 recognizes the current state in real time based on the detection value continuously output from the motion sensor 13. be able to.
  • the device control unit 112 performs predetermined control on each device.
  • the device control unit 112 saves power consumption by turning off device functions that are not expected to be used in each state, and the device functions that are expected to be used are changed to separate ON operations (eg, from the touch panel 12). By turning it on even if there is no typical operation), the necessary device functions can be exhibited when necessary.
  • FIG. 7 is a diagram showing a control list of each device in the state 1 to the state 3.
  • a “touch sensor” corresponding to an operation unit included in the touch panel 12, an “acceleration sensor” and a “gyro sensor” that realizes the motion sensor 13, and a display unit included in the touch panel 12.
  • a “back speaker” corresponding to the speaker 15b, a “front speaker” corresponding to the speaker 15a, and a “microphone” corresponding to the microphones 16a and 16b are included.
  • the display is controlled to be OFF. Or it is controlled to a simple display such as only a clock. Further, since it is assumed that the user is not browsing, the refresh rate (screen update frequency) is controlled to be low. In this way, power consumption of the display when not in use is saved.
  • state 1 can be said to be a standby state for call notification or mail notification, it is necessary to notify the user when a call or mail is received, so at least one of the front speaker 15a and the back speaker 15b is controlled to be ON. Is done.
  • the output is controlled to be high (sound is loud).
  • the call notification and the mail notification may be performed by vibration. In this case, all the speakers are controlled to be OFF, and a vibration unit (not shown) is controlled to be ON. Further, in state 1, since the use of the microphone is not assumed, it is controlled to be OFF.
  • the touch sensor is controlled to be ON.
  • the control of the motion sensor 13 is the same as in the state 1, and when a plurality of sensors are included, one sensor is turned on and the other sensor is turned off.
  • the sampling rate is further controlled to save power consumption.
  • the sampling rate may be low as long as a change from state 2 to state 1 or state 3 can be detected.
  • state 2 since the display is assumed to be browsed, the display is controlled to be ON. Further, since it is assumed that the user is browsing, the refresh rate (screen update frequency) is controlled to be high. On the display, for example, a mail sender name, a mail title, or a caller name, a calling number, etc. are displayed.
  • the front speaker 15a is controlled to be ON, and the output is controlled to be high (sound is loud). Thereby, even when the information processing apparatus 10 is away from the ear of the state 3, the user can continue the call.
  • the use of a microphone is assumed, so in state 2, it is controlled to ON.
  • the microphone is controlled to be ON.
  • the sensitivity of the microphone is controlled to be high.
  • the touch operation is not performed, so that the touch sensor is controlled to be OFF as in the state 1.
  • the control of the motion sensor 13 is the same as in the state 1, and when a plurality of sensors are included, one sensor is turned on and the other sensor is turned off. For sensors that are turned on, the sampling rate is further controlled to save power consumption.
  • the sampling rate may be low as long as a change from state 3 to state 1 or state 2 can be detected.
  • the display is controlled to be OFF as in state 1. Or it is controlled to a simple display such as only a clock. Further, since it is assumed that the user is not browsing, the refresh rate (screen update frequency) is controlled to be low.
  • the transition from state 2 to state 3 is a gesture in response to a call
  • the back speaker 15b located inside the wrist facing the face side is controlled to be ON, and the output is low because it is close to the ear ( (Sound is low) is controlled.
  • the device control unit 112 performs control so that the received voice is output from the back speaker 15b.
  • the operation necessary for making a call, which is changed from state 2 to state 3 is simultaneously recognized as a gesture command for responding to the call, so that the user can start the call without performing a touch operation or the like. Can do.
  • state 3 which is a state of answering a call
  • the microphone is controlled to be ON and the sensitivity is controlled to be low because the distance from the face is short.
  • the device control unit 112 controls the user's uttered voice collected by the microphone to be transmitted to the information processing terminal of the communication partner via the communication unit 17.
  • the device control in the state 1 to the state 3 has been described. If the user confirms the display and transitions to state 1 after lowering his / her arm after receiving a call notification and transitioning to state 2, it is recognized as a gesture command indicating that the user does not respond to the call. In this case, for example, the device control unit 112 sends a message such as “I can't answer the phone now” to the information processing terminal of the other party, and ends the communication.
  • the device control unit 112 increases the sensitivity of the microphone so that the user's uttered voice can be picked up even if the user is away from the face.
  • the device control unit 112 controls the display to be turned off again and reduces the speaker output.
  • the user simply performs an action according to the user context, and the control of each device is optimized, and other operations (for example, a screen tap operation, a hardware key operation, etc.) are performed. )
  • the action according to the user context is, for example, an operation of viewing the touch panel 12 for confirmation when there is a call / mail notification, or an operation of holding the information processing apparatus 10 at the ear when making a call.
  • FIG. 7 is an example, and the present embodiment is not limited to this.
  • the number of motion sensors may be one and the number of speakers may be one.
  • device control according to each state is performed as shown in FIG. 8, for example.
  • FIG. 8 is a diagram showing another control list of each device in the state 1 to the state 3.
  • the installation position of the speaker when there is one speaker is not particularly limited.
  • FIG. 9 is a diagram illustrating state 1, state 2, and state 4.
  • the state 1 shown on the left in FIG. 9 and the state 2 shown in the center of FIG. 9 are the same as the state 1 and the state 2 described with reference to FIG.
  • State 4 shown on the right side of FIG. 9 shows a state where the arm is rotated in a state where the arm (hand) is held at the lower front of the body (a state where the arm is raised to view the display screen of the information processing apparatus 10).
  • the recognition unit 111 of the information processing apparatus 10 can recognize such state 1, state 2, and state 4 based on the detection value from the motion sensor 13 provided in the information processing apparatus 10.
  • FIG. 10 is a state transition diagram showing transitions of state 1, state 2, and state 4. As shown in FIG. 10, from the state 1 (D1) where the arm is lowered to the state 2 (D2) where the arm is raised to the front of the body, and from the state 2 (D2) where the arm is raised to the front of the body, The state 4 (D4) in which the arm is rotated can transition to each other.
  • control is performed so that the screen transition of the touch panel 12 is performed in accordance with the rotation state of the arm (rotation toward the front or back).
  • FIG. 11 is a diagram showing a control list of each device in state 1, state 2, and state 4. Since the control of each device in the state 1 has been described above with reference to FIG. 7, the description thereof is omitted here.
  • the control for the motion sensor is different from the example shown in FIG.
  • the detection level of the motion sensor is increased at the time of transition to state 2.
  • the gyro sensor may be controlled to ON while the sampling rate of the acceleration sensor is set low.
  • the control for other devices in the state 2 is the same as the example shown in FIG.
  • state 4 the arm rotation operation (rotation toward the front or back) is accepted as a “return” or “forward” operation, and the device control unit 112 returns to the previous screen, or next Control the display to go to the next screen.
  • control in state 2 is maintained for devices other than the display (specifically, touch sensors, motion sensors, speakers, and microphones).
  • the user can perform screen transition of the display only by rotating the arm on which the information processing apparatus 10 is mounted without performing an operation input from the touch panel.
  • FIG. 11 is an example, and the present embodiment is not limited to this.
  • the number of motion sensors may be one and the number of speakers may be one.
  • device control corresponding to each state is performed as shown in FIG. 12, for example.
  • FIG. 12 is a diagram illustrating another control list of each device in the state 1, the state 2, and the state 4.
  • the arm rotation operation (rotation toward the front or back) is accepted as a “return” or “advance” operation, and the device control unit 112
  • the display is controlled to return to the previous screen or to advance to the next screen.
  • Control in state 2 is maintained for devices other than the display (specifically, touch sensors, motion sensors, speakers, and microphones).
  • FIG. 13 is a diagram illustrating an example of arm rotation. As shown in FIG. 13, the operation of moving the arm largely toward the front or back is the rotation of the arm in the state 4 shown on the right in FIG. 9, and the device control unit 112 performs screen transition.
  • the action of twisting the arm can also be recognized by the recognition unit 111.
  • the device control unit 112 can realize volume control by controlling the output of the speaker in accordance with, for example, the twisting direction and degree of the arm. For example, in the case of transition from the state 3 to the state 2, since the user checks the display while continuing the call, the output of the speaker is controlled to be high. ) Is supposed to be adjusted.
  • FIG. 14 is a diagram illustrating state 1, state 2, and state 5. State 1 shown on the left in FIG. 14 and state 2 shown in the center of FIG. 14 are the same as states 1 and 2 described with reference to FIG. 5, and both have the information processing device 10 mounted on the left arm. .
  • the state 5 shown on the right in FIG. 14 is a state where the information processing apparatus 10 is attached to the right arm and the right arm is held at the lower front of the body (the right arm for viewing the display screen of the information processing apparatus 10). Is shown).
  • the left or right arm is to be worn with the information processing apparatus 10 differs depending on the person, but considering the operation from the touch panel 12, for example, the information processing apparatus 10 is worn on the arm opposite to the dominant hand and the touch panel 12 is operated with the dominant hand. It is assumed that
  • FIG. 15 is a diagram illustrating an example of a display screen of the information processing apparatus 100 according to the comparative example.
  • the information processing apparatus 100 that is a wristwatch type terminal is attached to the left arm and operated with the right hand
  • the command system is displayed on the left of the screen
  • the area of the touch panel is small (along the arm). Therefore, the screen is hidden by the right hand that is being operated and cannot be seen.
  • FIG. 16 is a diagram showing an example of a display screen when the left arm is worn according to the present embodiment.
  • the information processing apparatus 10 which is a wristwatch type terminal is worn on the left arm (state 2 shown in FIG. 14)
  • the command system is displayed on the right of the screen (touch panel 12).
  • FIG. 17 is a diagram showing an example of a display screen when the right arm is worn according to the present embodiment.
  • the command system is displayed on the left of the screen (touch panel 12).
  • the convenience of the information processing apparatus 10 can be further improved by switching the display contents depending on which arm is worn on the left or right.
  • the device control that varies depending on whether the arm is worn on the left or right arm in the state 2 is not limited to the above-described control on the display. For example, you may switch control with respect to a touch sensor by right and left.
  • FIGS. 1-10 a specific description will be given with reference to FIGS.
  • FIG. 18 is a diagram illustrating a detectable region of the touch sensor.
  • the information processing apparatus 10 may have a configuration in which the touch sensor operable area 20 is also outside the area of the touch panel display 12 on which a screen such as a map is displayed. In this case, the user can perform a zoom operation on a screen such as a map using outside the screen area. That is, the main control unit 11 of the information processing apparatus 10 provides touch detection areas on the left and right sides of the screen area, and assigns an operation on this area to a zoom operation on the screen.
  • the information processing apparatus 10 which is a wristwatch type terminal has a small screen area in consideration of portability when worn on an arm, it is not suitable for an operation with multiple fingers such as pinch-in / out.
  • a method for realizing a zoom operation with command buttons as shown in FIG. since a problem arises in that a part of the display screen is hidden by the command button, an operation method more suitable for a zoom operation can be provided by providing touch detection areas on the left and right of the screen area. For example, the user can zoom in / out by dragging up and down outside the screen area.
  • the right or left touch detection area outside the screen area is assigned to the zoom operation according to whether the information processing apparatus 10 is worn on the left or right arm.
  • FIG. 19 is a diagram for explaining the allocation of the zoom operation area when the left arm is worn according to the present embodiment.
  • the right screen area outside 22 is an area for detecting a zoom operation.
  • the touch sensor is controlled so as to be assigned to. Accordingly, it is possible to avoid hiding the screen with the hand being operated when the user touches outside the left screen area with the right hand.
  • FIG. 20 is a diagram showing an example of a display screen when the right arm is worn according to the present embodiment.
  • the left screen area outside 24 is an area for detecting a zoom operation.
  • the touch sensor is controlled so as to be assigned to. Accordingly, it is possible to avoid hiding the screen with the hand being operated when the user touches outside the right screen area with the left hand.
  • the convenience of the information processing apparatus 10 can be further improved by switching the detection area of a specific operation depending on which arm is worn on the left or right.
  • the information processing apparatus 10 according to the present embodiment may assign the off-screen area opposite to the outside of the screen area assigned to the zoom operation to a predetermined operation with a relatively low operation frequency (less than the zoom operation).
  • the device control unit 112 of the information processing apparatus 10 may perform control so as to allocate an off-screen area opposite to the outside of the screen area allocated to the zoom operation to the screen rotation operation.
  • the screen can be rotated clockwise / counterclockwise by dragging up and down outside the screen area. In this way, by assigning detection of operations with relatively high operation frequency to the area outside the screen that can be operated without hiding the screen and assigning detection of operations with relatively low operation frequency to the opposite side, It is possible to provide a simple operation.
  • the camera photoelectrically converts the lens system composed of the imaging lens, aperture, zoom lens, focus lens, etc., the drive system that causes the lens system to perform focus operation and zoom operation, and the imaging light obtained by the lens system.
  • a solid-state image sensor array that generates an image signal is included.
  • the solid-state imaging device array may be realized by a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array, for example.
  • the camera according to the present embodiment can capture still images / moving images.
  • the installation position of the imaging lens is not particularly illustrated, for example, on the outer peripheral surface of the information processing apparatus 10, it is provided between the speaker 15a and the microphone 16a, and the information processing apparatus 10 is attached to the arm 200 as shown in FIG.
  • the little finger side outside of the arm
  • the user raises the arm on which the information processing apparatus 10 is worn to the front of the body and points the outside of the arm (the little finger side) toward the subject. Hold (with the imaging lens facing the subject).
  • the recognition unit 111 of the information processing apparatus 10 can recognize such a state 6 based on a detection value from the motion sensor 13 provided in the information processing apparatus 10.
  • FIG. 22 is a state transition diagram showing transitions of state 1, state 2, and state 6. As shown in FIG. 22, arm 1 is lowered from state 1 (D1), arm 2 is raised 2 (D2), arm 1 is lowered 1 (D1), camera 6 is held (D6), From the state 2 (D2) where the camera is raised to the state 6 (D6) where the camera is held, transition can be made.
  • the recognition unit 111 of the information processing apparatus 10 recognizes the current state based on the detection value from the motion sensor 13 and outputs the recognition result to the device control unit 112. Further, since the state 1, the state 2, and the state 6 can transition as shown in FIG. 22, the recognition unit 111 determines the current state in real time based on the detection value continuously output from the motion sensor 13. Can be recognized.
  • the device control unit 112 performs predetermined control on each device.
  • the device control unit 112 saves power consumption by turning off device functions that are not expected to be used in each state, and the device functions that are expected to be used are changed to separate ON operations (eg, from the touch panel 12). By turning it on even if there is no typical operation), the necessary device functions can be exhibited when necessary.
  • FIG. 23 is a diagram showing a control list of each device in state 1, state 2, and state 6. As shown in FIG. 23, a camera is newly added to the device to be controlled.
  • the gyro sensor is controlled to be ON.
  • the acceleration sensor sampling rate may be set high while the gyro sensor remains OFF.
  • the camera is controlled to be ON (the camera is activated).
  • the sensitivity is set to be high by controlling it to ON during moving image shooting.
  • the microphone is controlled to be OFF. Note that switching between still image shooting and moving image shooting may be performed in accordance with recognition of an operation such as further shaking the arm in state 6.
  • FIG. 23 The device control shown in FIG. 23 is an example, and the present embodiment is not limited to this.
  • the number of motion sensors may be one and the number of speakers may be one.
  • device control according to each state is performed as shown in FIG. 24, for example.
  • FIG. 24 is a diagram illustrating another control list of each device in the state 1, the state 2, and the state 6.
  • the camera is controlled to be turned on (the camera is activated).
  • the sensitivity is set to be high by controlling it to ON when shooting a moving image.
  • the microphone is controlled to be OFF.
  • the sampling rate is set high in order to accurately detect more complex movement (transition to State 6 where the camera is held).
  • the information processing apparatus 10 for a wristwatch-type terminal recognizes the arm state after determining which arm is worn on the left and right, and based on the recognized arm state. Thus, each device of the information processing apparatus 10 can be controlled.
  • the information processing apparatus 10 since a wristwatch type terminal can only have a small battery and it is necessary to always save power consumption, the information processing apparatus 10 according to the present embodiment is unnecessary according to the user context according to the recognized arm state. Since the devices are controlled to be OFF, power consumption can be saved.
  • a computer program for causing hardware such as a CPU, a ROM, and a RAM built in the information processing apparatus 10 described above to exhibit the functions of the information processing apparatus 10.
  • a computer-readable storage medium storing the computer program is also provided.
  • any combination of transitions from state 1 to state 6 described above may be used.
  • the relationship between each state and device control is an example, and the device control unit 112 according to the present embodiment allows a user context (viewing a display, making a phone call, mailing, music, etc.) associated with a recognized state. Any control can be used as long as it satisfies listening requirements.
  • the device control corresponding to the operation of rotating the arm shown in the state 4 in FIG. 9 and the operation of twisting the arm shown in the lower part of FIG. 13 is the screen transition described above (return to the previous screen / proceed to the next screen). And is not limited to volume control. For example, control to transition to a home screen, call of a Notification screen, activation of a specific application (camera, telephone, map (navigation)), display of a communication history (phone, mail, SNS) may be performed.
  • the determination unit 110 determines the orientation of the touch panel 12 (screen) of the information processing apparatus 10 based on the detection value of the motion sensor, That is, it is also possible to determine up and down. Thereby, the device control unit 112 can display the display screen in the forward direction when the display is ON-controlled. Moreover, the arm state can be recognized more accurately by switching the parameters used in the state recognition by the recognition unit 111 in accordance with the up / down determination.
  • the technology of left / right determination, parameter change, and device control according to the present disclosure can be applied to a glasses-type HMD (an example of the information processing apparatus 10) having a display unit corresponding to either the left or right lens portion.
  • a glasses-type HMD an example of the information processing apparatus 10 having a display unit corresponding to either the left or right lens portion.
  • the setting of parameters used when recognizing the gesture is switched.
  • the display content of the display unit corresponding to the lens portion is controlled (for example, on which side the command system is displayed on the left or right side, etc.) control).
  • this technique can also take the following structures.
  • a determination unit that determines whether the user's right arm or left arm is worn;
  • a recognition unit that recognizes the state of the arm;
  • a control unit that performs predetermined control on a device provided in the information processing apparatus based on the recognized arm state;
  • the recognition unit switches setting of a parameter used when recognizing the arm state according to a determination result by the determination unit.
  • the information processing apparatus is a wristwatch type device.
  • the control unit controls each device in accordance with a user context corresponding to the recognized arm state.
  • the determination unit determines whether the information processing apparatus is attached to a right arm or a left arm based on a value acquired by a motion sensor that detects a movement of an arm.
  • the information processing apparatus according to any one of claims.
  • the determination unit determines whether the information processing apparatus is attached to a right arm or a left arm by machine learning using a value acquired by a motion sensor that detects arm movement.
  • the information processing apparatus according to any one of 3).
  • the information processing apparatus according to any one of (1) to (6), wherein the recognition unit switches between positive and negative of the parameter according to a determination result by the determination unit.
  • a device provided in the information processing apparatus is at least one of a display unit, an operation unit, a motion sensor, a speaker, a microphone, and an imaging unit. apparatus.
  • (9) Determining whether it is worn on the user's right arm or left arm, According to the determination result, switching the parameter setting used when recognizing the arm state, recognizing the arm state, Performing predetermined control on a device provided in the information processing apparatus based on the recognized state of the arm, Including a control method.
  • (10) Computer A determination unit that determines whether the user's right arm or left arm is worn; A recognition unit that recognizes the state of the arm; A control unit that performs predetermined control on a device provided in the information processing apparatus based on the recognized arm state; Function as The recognizing unit switches a parameter setting used when recognizing the arm state according to a determination result by the determining unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】情報処理装置が左右いずれの腕に装着されているかを判断した上で腕の状態を認識することが可能な情報処理装置、制御方法、およびプログラムを提供する。 【解決手段】ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、腕の状態を認識する認識部と、認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、を備え、前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、情報処理装置。

Description

情報処理装置、制御方法、およびプログラム
　本開示は、情報処理装置、制御方法、およびプログラムに関する。
　昨今、腕時計のように腕に装着する形態のモバイル端末（以下、「腕輪型端末」とも称する）が普及しつつある。
　腕時計端末に対する操作入力は、主に端末上に設けられたタッチパネルから行われる。また、腕時計端末に関し、例えば下記特許文献１では、腕時計端末が手首に装着されている際に、「握る」や「放す」等のジェスチャを認識してコマンドとして入力することができる技術が開示されている。
特開２００２－３５８１４９号公報
　しかしながら、腕時計型端末が小さいために、タッチパネルからの操作入力が困難な場合があった。また、腕時計型端末は腕に装着されるので、手で把持できるスマートフォンに比べてタッチパネル操作が不安定になっていた。
　さらに、腕時計型端末は腕に装着されるので、タッチパネル操作をする際にはもう一方の腕を使わざるをえなくなり、タッチパネル操作に両腕が必要になる。したがって、もう一方の腕がふさがっている状況では、腕時計型端末の操作ができなかった。
　また、上記従来技術では、「握る」や「放す」等のジェスチャでコマンドを入力することについて開示されているが、いずれも操作目的（利用目的）と連動する腕の状態を認識することについては言及されていない。例えば、腕時計端末を用いて表示画面を見たり、通話を行ったり、撮影を行ったりする際、腕時計端末を装着した腕の状態がそれぞれ異なるが、このような状態の違いに応じて直感的に操作入力を行うことができれば、腕時計端末の利便性がさらに向上する。また、このような腕の状態を認識するために用いられるモーションセンサ等の検出値は、腕時計端末がユーザの右腕または左腕のいずれに装着されているかによって異なるが、従来技術では、腕時計端末が左右いずれの腕に装着されているかは考慮されていなかった。
　そこで、本開示では、情報処理装置が左右いずれの腕に装着されているかを判断した上で腕の状態を認識することが可能な情報処理装置、制御方法、およびプログラムを提案する。
　本開示によれば、ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、腕の状態を認識する認識部と、認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、を備え、前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、情報処理装置を提案する。
　本開示によれば、ユーザの右腕または左腕のいずれに装着されているかを判断することと、判断結果に応じて、腕の状態を認識する際に用いるパラメータの設定を切り替えて、腕の状態を認識することと、認識された前記腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行うこと、を含む、制御方法を提案する。
　本開示によれば、コンピュータを、ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、腕の状態を認識する認識部と、認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、として機能させ、前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、プログラムを提案する。
　以上説明したように本開示によれば、情報処理装置が左右いずれの腕に装着されているかを判断した上で腕の状態を認識することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
情報処理装置の外観構成を示す図である。 情報処理装置の装着状態を説明する図である。 本実施形態による情報処理装置の基本構成を示すブロック図である。 加速度センサを用いた場合の左右の腕の判断について説明する図である。 状態１～状態３について説明する図である。 状態１～状態３の遷移を示す状態遷移図である。 状態１～状態３における各デバイスの制御一覧を示す図である。 状態１～状態３における各デバイスの他の制御一覧を示す図である。 状態１、状態２、状態４について説明する図である。 状態１、状態２、状態４の遷移を示す状態遷移図である。 状態１、状態２、状態４における各デバイスの制御一覧を示す図である。 状態１、状態２、状態４における各デバイスの他の制御一覧を示す図である。 腕の回転例について説明する図である。 状態１、状態２、状態５について説明する図である。 比較例による情報処理装置の表示画面の一例を示す図である。 本実施形態による左腕装着時における表示画面の一例を示す図である。 本実施形態による右腕装着時における表示画面の一例を示す図である。 タッチセンサの検出可能領域について説明する図である。 本実施形態による左腕装着時におけるズーム操作領域の割り当てについて説明する図である。 本実施形態による右腕装着時における表示画面の一例を示す図である。 状態１、状態２、状態６について説明する図である。 状態１、状態２、状態６の遷移を示す状態遷移図である。 状態１、状態２、状態６における各デバイスの制御一覧を示す図である。 状態１、状態２、状態６における各デバイスの他の制御一覧を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理装置の概要
　２．基本構成
　３．状態に応じたデバイス制御例
　　３－１．状態１、状態２、状態３におけるデバイス制御例
　　３－２．状態１、状態２、状態４におけるデバイス制御例
　　３－３．右腕装着時（状態５）のデバイス制御例
　　３－４．状態６におけるデバイス制御例
　４．まとめ
　　＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
　まず、本開示の一実施形態による情報処理装置の概要について図１および図２を参照して説明する。図１は、情報処理装置の外観構成を示す図であって、図２は、情報処理装置の装着状態を説明する図である。
　図１および図２に示すように、本実施形態による情報処理装置１０は、ユーザの腕２００や手首に装着されるウェアラブル端末であって、腕時計／腕輪型端末とも称される。このような情報処理装置１０において、ユーザは、情報処理装置１０をカバンやポケットから取り出す行為をせずに、表示画面に表示された情報の確認や操作を即座に行うことが出来る。
　また、情報処理装置１０は、外周面に、表示部及び操作部の機能を有するタッチパネルディスプレイ（以下、タッチパネルとも称する）１２と、スピーカ１５ａ、１５ｂと、マイクロフォン（以下、マイクとも称する）１６ａ、１６ｂと、が設けられる。
　タッチパネル１２は、ユーザがタッチ操作しやすいように、例えば情報処理装置１０の全周のうちの一部の領域に設けられている。ただし、これに限定されず、タッチパネル１２は、情報処理装置１０の全周に設けられても良い。
　タッチパネル１２の表示部の機能は、例えば液晶ディスプレイや有機ＥＬディスプレイ等により実現され、表示画面に文字、画像その他の情報を表示する。文字、画像、その他の情報の表示は、後述する主制御部１１のデバイス制御部１１２によって制御される。
　また、タッチパネル１２の操作部の機能は、例えば表示画面に重畳され、ユーザによる接触位置を検知する操作面により実現され、操作面は、ユーザの腕の外周方向に沿った曲面となっている。また、操作面は、曲率が異なる複数の部分を含んでもよい。
　腕時計型端末の情報処理装置１０において様々な機能を実現するためには、タッチパネル１２の面積を大きくすることが望ましいが、ユーザの腕の上下にはみ出すような大きなタッチパネルを配置すると、腕時計型端末の装着性や操作性が低下する。このため、タッチパネル１２は、図２に示すように、腕２００に沿うような形で幅の狭い曲面となっている。
　ユーザは、図２に示すように、腕２００に装着した情報処理装置１０のタッチパネル１２による表示画面を見ながら、表示画面に重畳して設けられた操作面にタッチ操作を行う。
　スピーカ１５ａ、１５ｂは、音声出力機能を有し、図１および図２に示すように、情報処理装置１０の外周面において、タッチパネル１２の近傍に設けられる表側スピーカと、対向する半周側とに設けられる裏側スピーカとにより実現される。
　マイク１６ａ、１６ｂは、収音機能を有し、図１および図２に示すように、情報処理装置１０の外周面において、タッチパネル１２の近傍に設けられる表側マイクと、対向する半周側とに設けられる裏側マイクとにより実現される。
　なお、図１、図２に示すスピーカ１５ａ、１５ｂと、マイク１６ａ、１６ｂとの設置個数および位置は一例であって、本実施形態はこれに限定されず、例えばアレイスピーカ、アレイマイクを腕輪の端部に沿って設けてもよい。
　　（背景）
　ここで、図２に示すように、一方の腕２００に装着された情報処理装置１０のタッチパネル１２から操作入力を行う際は、もう一方の腕を使うため、両腕を使用する必要があった。したがって、腕の動きを検知することによるジェスチャ入力が可能となれば、情報処理装置１０を装着した片方の腕２００を動かすだけで操作入力を行うことができ、情報処理装置１０の利便性が向上する。
　また、情報処理装置１０を用いて表示画面を見たり、通話を行ったり、撮影を行ったりする際、情報処理装置１０を装着した腕２００の状態がそれぞれ異なるが、このような状態の違いに応じて直感的に操作入力を行うことができれば、情報処理装置１０の利便性がさらに向上する。
　さらに、このような腕２００の状態（動き）を認識するために用いられるモーションセンサ等の検出値は、情報処理装置１０がユーザの右腕または左腕のいずれに装着されているかによって異なる。
　そこで、本実施形態では、情報処理装置１０が左右いずれの腕に装着されているかを判断した上で腕の状態を認識し、認識した腕の状態に基づいて情報処理装置１０の各デバイスを制御することが可能になる情報処理装置１０を提案する。
　以上、本開示の一実施形態による情報処理装置１０の概要について説明した。続いて、本開示による情報処理装置１０の基本構成について図３を参照して説明する。
　　＜＜２．基本構成＞＞
　図３は、本実施形態による情報処理装置１０の基本構成を示すブロック図である。図１０に示すように、情報処理装置１０は、主制御部１１、タッチパネルディスプレイ１２、モーションセンサ１３、記憶部１４、スピーカ１５、マイク１６、および通信部１７を有する。
　　（主制御部）
　主制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、情報処理装置１０の各構成を制御する。
　また、本実施形態による主制御部１１は、判断部１１０、認識部１１１、およびデバイス制御部１１２として機能する。判断部１１０は、情報処理装置１０が、ユーザの右腕または左腕のいずれに装着されているかを判断する。具体的には、例えば判断部１１０は、モーションセンサ１３から出力された検出値に基づいて、情報処理装置１０が、ユーザの右腕または左腕のいずれに装着されているかを判断することができる。
　ここで、図４を参照して判断部１１０による左右の腕の判断について説明する。図４は、加速度センサを用いた場合の左右の腕の判断について説明する図である。ここでは、情報処理装置１０に設けられるモーションセンサ１３の一例として加速度センサが用いられる。加速度センサの向きは、例えば図４に示すように、装着者に対して表示画面が正位置になるよう情報処理装置１０が手首に装着され、さらに腕を下げた状態において、右腕装着時はＸ軸方向の加速度が負に、左腕装着時はＸ軸方向の加速度が正になるよう設置される。
　かかる加速度センサの向きが既知である場合、判断部１１０は、腕を下げた状態における加速度センサの検出値に基づき、Ｘ軸方向の加速度が負の場合は右腕に装着されていると判断し、Ｘ軸方向の加速度が正の場合は左腕に装着されていると判断することができる。
　判断部１１０は、判断結果を認識部１１１に出力する。なお判断部１１０は、モーションセンサ１３からの検出値に基づいて自動的に左右の腕を判断する他、機械学習またはユーザ入力により左右の腕を判断することも可能である。例えば、加速度センサの向きが既知でない場合、判断部１１０は、モーションセンサ１３（一例として加速度センサ）から継続的に出力される検出値をサンプリングしてパターンを抽出し、教師データ（右腕・左腕の動き（状態）のパターン）とマッチングして機械学習を行い、左右いずれの腕に装着されているか判断する。また、判断部１１０は、ユーザがタッチパネル１２から左右いずれの腕に装着したかを示す情報を入力、またはマイク１６から音声入力した場合、当該入力された情報にしたがって、左右いずれの腕に装着されているか判断する。
　認識部１１１は、情報処理装置１０が装着された腕２００の状態を認識する機能を有する。具体的には、例えば認識部１１１は、モーションセンサ１３から出力された検出値に基づいて、腕の状態（動き）を認識することができる。また、認識部１１１は、腕の状態を認識する際に用いるパラメータの設定を、判断部１１０による判断結果に応じて切り替えることで、複雑な動きであっても、より正確に腕の状態を認識することができる。例えば認識部１１１は、情報処理装置１０が左右いずれの腕に装着されているかによって、モーションセンサ１３の一例である加速度センサから出力される検出値の正負が異なるので、左右いずれの腕に装着されているかに応じてパラメータの正負を切り替えることで、より正確に腕の状態を認識することができる。なお認識部１１１により認識される腕の状態のバリエーションに関しては、後述する「３．状態に応じたデバイス制御例」において具体的に説明する。また、認識部１１１は、認識結果をデバイス制御部１１２に送出する。
　デバイス制御部１１２は、認識部１１１により認識された腕の状態に基づいて、情報処理装置１０に設けられた各種デバイスに対して所定の制御を行う機能を有する。例えばデバイス制御部１１２は、タッチパネル１２の表示部、操作部、モーションセンサ１３、スピーカ１５、およびマイク１６といった各種デバイスのＯＮ／ＯＦＦや、設定の変更等を行う。後述する「３．状態に応じたデバイス制御例」で説明するように、認識部１１１により認識される腕の状態に基づいて、多種の機能を有する腕時計型端末である情報処理装置１０の利用目的（ユーザコンテキスト）が推定されるので、デバイス制御部１１２は、推定される利用目的に応じたデバイス制御を行う。具体的には、デバイス制御部１１２は、例えば推定された利用目的に必要なデバイスをＯＮしたり、要否に応じて出力／入力デバイスの性能レートの設定を変更したり、不要なデバイスをＯＦＦしたりする。
　これにより、タッチパネル１２から改めて操作入力を行うことなく、ユーザは腕２００を動かすだけで、利用目的に応じたデバイス制御を実行させることができる。すなわち、情報処理装置１０を用いて表示画面を見る、通話する、撮影する、といった利用目的に応じて異なる腕の動きを認識し、当該動きをジェスチャコマンドとして認識することで、ユーザによるより自然な動きのみで、自動的に各種デバイスのＯＮ／ＯＦＦが制御され得る。
　　（タッチパネルディスプレイ）
　タッチパネルディスプレイ１２は、上述したように、表示部および操作部（例えばタッチセンサ）の機能を有する。
　　（モーションセンサ）
　モーションセンサ１３は、情報処理装置１０が装着された腕２００の状態（動き）を検知するセンサであって、例えば加速度センサ、ジャイロセンサ、または地磁気センサ等の空間的な動きや角度を検出するデバイスにより実現される。また、モーションセンサ１３は、複数種類のセンサが組み合わせられたものであってもよい。
　なおスマートフォンのように近接センサで自身の物理的な状態を判別する方法を腕時計端末に用いた場合、例えば図５を参照して後述する状態３のように、情報処理装置１０を耳元に構えた状態を近接センサで認識するためには、情報処理装置１０を耳元に極力近づけなければならない。しかし、このような動きは不自然であって、ユーザへの身体的な負担がかかる。そこで本実施形態では、モーションセンサを用いて腕の状態を認識することで、無理な体勢を取ることなく自然な動きで状態が認識され得る。
　　（通信部）
　通信部１７は、外部装置と接続し、データの送受信を行う機能を有する。例えば通信部１７は、ユーザが所持するスマートフォンと接続してデータの送受信を行ってもよいし、ネットワークを介して所定のサーバと接続してデータの送受信を行ってもよい。また、通信部１７は、携帯電話網またはインターネット網を介して、音声信号の送受信を行ってもよい。
　　（記憶部）
　記憶部１４は、主制御部１１が各種処理を実行するためのプログラム等を記憶する。例えば、記憶部１４は、デバイス制御部１１２が、認識された状態に応じて行う各種デバイスに対する所定の制御内容に関するデータを格納する。
　　（スピーカ）
　スピーカ１５は、音声（オーディオ信号）を出力する機能を有する。例えば、スピーカ１５は、アラーム等によりユーザへの通知を行ったり、通話中は受話音声を出力したりする。
　　（マイク）
　マイク１６は、音声（オーディオ信号）を入力する機能を有する。例えば、マイク１６は、ユーザによる音声入力を受付けたり、通話中はユーザの発話音声を収音したりする。
　以上、本実施形態による情報処理装置１０の構成について詳細に説明した。続いて、情報処理装置１０による、状態に応じたデバイス制御例について、複数の具体例を挙げて説明する。
　　＜＜３．状態に応じたデバイス制御例＞＞
　　＜３－１．状態１、状態２、状態３におけるデバイス制御例＞
　まず、状態１～状態３におけるデバイス制御例について、図５～図８を参照して説明する。図５は、状態１～状態３について説明する図である。図５左に示す状態１は、情報処理装置１０が装着された腕（手）を下げた状態を示し、図５中央に示す状態２は、腕（手）を身体の前面下部に構えた状態（情報処理装置１０の表示画面を閲覧するために腕を上げた状態）を示し、状態３は、腕（手）を耳元に構えた状態（裏側スピーカ１５ｂと裏側マイク１６ｂ（手首内側）を顔の付近に持っていき通話を行っている状態）を示す。
　情報処理装置１０の認識部１１１は、このような状態１～状態３を、情報処理装置１０に設けられたモーションセンサ１３からの検出値に基づいて認識することが可能である。
　図６は、状態１～状態３の遷移を示す状態遷移図である。図６に示すように、腕を下げた状態１（Ｄ１）から腕を上げた状態２（Ｄ２）と、腕を下げた状態１（Ｄ１）から腕を耳元に構えた状態３（Ｄ３）と、腕を上げた状態２（Ｄ２）から腕を耳元に構えた状態３（Ｄ３）は、互いに遷移可能である。
　情報処理装置１０の認識部１１１は、モーションセンサ１３からの検出値に基づいて、現在の状態を認識し、認識結果をデバイス制御部１１２に出力する。また、状態１～状態３は、図６に示すように遷移可能であるので、認識部１１１は、モーションセンサ１３から継続的に出力される検出値に基づいて、現在の状態をリアルタイムで認識することができる。
　そして、認識された状態に応じて、デバイス制御部１１２は、各デバイスに対して所定の制御を行う。デバイス制御部１１２は、各状態において利用が想定されないデバイスの機能をＯＦＦすることで消費電力を節約し、また、利用が想定されるデバイスの機能を、別途のＯＮ操作（例えばタッチパネル１２からの明示的な操作）がなくともＯＮにすることで、必要な時に必要なデバイスの機能を発揮させることができる。
　ここで、各状態に応じたデバイス制御例について図７を参照して説明する。図７は、状態１～状態３における各デバイスの制御一覧を示す図である。ここでは、各デバイスの例として、タッチパネル１２に含まれる操作部に相当する「タッチセンサ」と、モーションセンサ１３を実現する「加速度センサ」および「ジャイロセンサ」と、タッチパネル１２に含まれる表示部に相当する「ディスプレイ」と、が挙げられる。さらに、スピーカ１５ｂに相当する「裏側スピーカ」と、スピーカ１５ａに相当する「表側スピーカ」と、マイク１６ａ、１６ｂに相当する「マイク」と、が含まれる。
　（３－１－１．状態１におけるデバイス制御）
　図７に示すように、例えば腕を下げた状態１ではタッチ操作が行われることがないと想定されるのでタッチセンサがＯＦＦに制御される。また、モーションセンサ１３が複数のセンサ（例えば加速度センサおよびジャイロセンサ）を含む場合、一方のセンサがＯＮにされ、他方のセンサがＯＦＦにされる。ＯＮにされたセンサに対しては、さらにサンプリングレートを低く制御することで、消費電力を節約することができる。サンプリングレートの低さは、状態１から状態２、または状態３への変化が検知できる程度であればよい。なお、図７に示す例では、ジャイロセンサの方が、消費電力が大きいため、ジャイロセンサをＯＦＦにして加速度センサをＯＮにしているが、本実施形態はこれに限定されず、逆の制御であってもよい。
　また、状態１では、ディスプレイが閲覧されることがないと想定されるのでディスプレイがＯＦＦに制御される。若しくは、時計のみなどの簡易表示に制御される。また、ユーザは閲覧していないと想定されるので、リフレッシュレート（画面の更新頻度）が低く制御される。このように、利用されていない場合のディスプレイの消費電力が節約される。
　また、状態１は、通話通知やメール通知の待機状態とも言えるので、通話やメールを受信した際にユーザに通知する必要があるため、表側スピーカ１５ａまたは裏側スピーカ１５ｂの少なくともいずれかがＯＮに制御される。また、ユーザへの通知を目的とするので、出力が高く（音声が大きく）制御される。なお、通話通知やメール通知は振動によって行われてもよく、その場合はいずれのスピーカもＯＦＦに制御され、振動部（不図示）がＯＮに制御される。また、状態１はマイクの利用は想定されないので、ＯＦＦに制御される。
　（３－１－２．状態２におけるデバイス制御）
　続いて、上記状態１において通話やメールの通知があると、ユーザは腕を身体の前方に上げて情報処理装置１０の表示画面を自身に向けて閲覧できる状態２に構える。このとき、認識部１１１は、状態１から状態２の遷移を認識し、認識結果をデバイス制御部１１２に出力する。デバイス制御部１１２は、状態２に遷移したことに応じて、各デバイスに対して所定の制御を行う。
　具体的には、図７に示すように、腕を身体の前に挙げた状態２では、タッチ操作が行われることが想定されるので、タッチセンサがＯＮに制御される。また、モーションセンサ１３の制御は、状態１と同様であって、複数のセンサを含む場合は一方のセンサがＯＮにされ、他方のセンサがＯＦＦにされる。ＯＮにされたセンサに対しては、さらにサンプリングレートを低く制御することで消費電力を節約する。サンプリングレートの低さは、状態２から状態１、または状態３への変化が検知できる程度であればよい。
　また、状態２では、ディスプレイが閲覧されると想定されるのでディスプレイがＯＮに制御される。また、ユーザが閲覧していると想定されるので、リフレッシュレート（画面の更新頻度）が高く制御される。ディスプレイには、例えばメール送信者名、メールタイトル、または通話発信者名、発信番号等が表示される。
　また、状態２は、状態３から遷移して通話が継続中である場合も想定されるので、表側スピーカ１５ａがＯＮに制御され、出力が高く（音声が大きく）制御される。これにより情報処理装置１０が状態３の耳元から離れた場合にもユーザは通話を継続することができる。
　また、通話が継続中である場合はマイクの利用も想定されるので、状態２では、ＯＮに制御される。若しくは、ディスプレイでメール送信者または通話発信者を確認したユーザが音声入力により応答する場合も想定されるので、状態２においてマイクはＯＮに制御される。この際、マイクはユーザの顔から離れた距離にあるので、マイクの感度は高く制御される。
　（３－１－３．状態３におけるデバイス制御）
　次に、上記状態２において通話の発信者を確認し、当該通話に応答する場合、そのまま腕を上げて、手首内側を顔の付近に持っていき、手を耳元に構える状態３（図５参照）に遷移する。このとき、認識部１１１は、状態２から状態３の遷移を認識し、認識結果をデバイス制御部１１２に出力する。デバイス制御部１１２は、状態３に遷移したことに応じて、各デバイスに対して所定の制御を行う。
　具体的には、図７に示すように、手を耳元に構えた状態３では、タッチ操作が行われることがないと想定されるので、状態１と同様にタッチセンサがＯＦＦに制御される。また、モーションセンサ１３の制御は、状態１と同様であって、複数のセンサを含む場合は一方のセンサがＯＮにされ、他方のセンサがＯＦＦにされる。ＯＮにされたセンサに対しては、さらにサンプリングレートを低く制御することで消費電力を節約する。サンプリングレートの低さは、状態３から状態１、または状態２への変化が検知できる程度であればよい。
　また、状態３では、ディスプレイが閲覧されることがないと想定されるので、状態１と同様にディスプレイがＯＦＦに制御される。若しくは、時計のみなどの簡易表示に制御される。また、ユーザは閲覧していないと想定されるので、リフレッシュレート（画面の更新頻度）が低く制御される。
　また、状態２から状態３への遷移は、通話に応答したジェスチャであるので、顔側に向けられた手首内側に位置する裏側スピーカ１５ｂがＯＮに制御され、耳に近いために出力が低く（音声が小さく）制御される。また、デバイス制御部１１２は、受話音声を裏側スピーカ１５ｂから出力するよう制御する。これにより、状態２から状態３に遷移させるという、通話を行うために必要な動作が、通話に応答するジェスチャコマンドとして同時に認識されるので、ユーザはタッチ操作等を行うことなく通話を開始することができる。
　また、通話に応答した状態である状態３では、マイクがＯＮに制御され、顔との距離が近いために感度は低く制御される。デバイス制御部１１２は、マイクで収音したユーザの発話音声を、通信部１７を介して通話相手の情報処理端末に送信するよう制御する。
　以上、状態１～状態３のデバイス制御について説明した。なお、通話通知があって状態２に遷移した後、ユーザがディスプレイを確認し、腕を下げて状態１に遷移した場合、ユーザが通話に応答しないというジェスチャコマンドとして認識される。この場合、デバイス制御部１１２は、例えば「ただいま電話に出ることはできません」といったメッセージを通話相手の情報処理端末に対して流し、通信を終了する。
　また、状態３に遷移して通話に応答した後、通話中に状態２に遷移した場合、ユーザが通話を継続しながらディスプレイを確認したいことが想定されるので、デバイス制御部１１２は、スピーカ出力を大きくすると共に、ディスプレイおよびタッチセンサをＯＮに制御する。また、デバイス制御部１１２は、マイクの感度を上げて、顔から離れていてもユーザの発話音声を収音できるようにする。
　ディスプレイの情報を確認し終えて、ユーザが手を耳元に構える状態３に戻ると、デバイス制御部１１２は、再度ディスプレイをＯＦＦに制御し、また、スピーカ出力を小さくする。
　そして、状態３から状態１に遷移すると、通話終了のジェスチャコマンドと認識し、デバイス制御部１１２は、通話を終了するよう制御する。
　このように、本実施形態によれば、ユーザはユーザコンテキストに応じた行動を実行するだけで、各デバイスの制御が最適化され、他の操作（例えば画面のタップ操作、ハードウェアキーの操作等）をする必要がなく、操作性・利便性が向上する。ユーザコンテキストに応じた行動とは、例えば通話／メール通知があった場合に確認のためにタッチパネル１２を見る動作や、通話したい際に情報処理装置１０を耳元に構える動作等である。
　なお、図７に示すデバイス制御は一例であって、本実施形態はこれに限定されず、例えばモーションセンサが１つであって、また、スピーカが１つであってもよい。この場合、各状態に応じたデバイス制御は例えば図８に示す通り行われる。図８は、状態１～状態３における各デバイスの他の制御一覧を示す図である。
　図８では、モーションセンサが１つの場合、状態１～状態３の全てにおいて、ＯＮに制御され、また、サンプリングレートは低く設定される。
　また、スピーカが１つの場合、状態１においてはＯＮに制御され、また、出力が高く設定される。状態２においてはＯＦＦに制御される。状態３においてはＯＮに制御され、また、出力が低く設定される。スピーカが１つの場合におけるスピーカの設置位置については特に限定しない。
　　＜３－２．状態１、状態２、状態４におけるデバイス制御例＞
　次に、状態２における他のジェスチャ入力について図９～図１２を参照して説明する。図９は、状態１、状態２、状態４について説明する図である。図９左に示す状態１と、図９中央に示す状態２は、図５を参照して説明した状態１および状態２と同様である。
　図９右に示す状態４は、腕（手）を身体の前面下部に構えた状態（情報処理装置１０の表示画面を閲覧するために腕を上げた状態）で腕を回転する状態を示す。
　情報処理装置１０の認識部１１１は、このような状態１、状態２、状態４を、情報処理装置１０に設けられたモーションセンサ１３からの検出値に基づいて認識することが可能である。
　図１０は、状態１、状態２、状態４の遷移を示す状態遷移図である。図１０に示すように、腕を下げた状態１（Ｄ１）から身体の前面に腕を上げた状態２（Ｄ２）と、身体の前面に腕を上げた状態２（Ｄ２）から身体の前面で腕を回転させる状態４（Ｄ４）は、互いに遷移可能である。
　状態４は状態２から遷移するため、状態２でユーザが情報処理装置１０の表示画面を閲覧している際に、次の画面や前の画面を閲覧したいというユーザコンテキストが発生した際のアクションであると想定される。そこで、本実施形態では、腕の回転状態（手前または奥への回転）に応じて、タッチパネル１２の画面遷移を行うよう制御する。
　図１１は、状態１、状態２、状態４における各デバイスの制御一覧を示す図である。状態１における各デバイスの制御は、図７を参照して上述したので、ここでの説明は省略する。
　状態２における各デバイスの制御のうち、モーションセンサに対する制御は図７に示す例と異なり、サンプリングデータが高く設定される。本実施形態では、状態２から状態４に遷移する可能性があり、腕の回転といった複雑な動きを正確に検知する必要があるので、状態２に遷移した時点でモーションセンサの検知レベルが上げられる。なお、この場合、加速度センサのサンプリングレートは低く設定したままで、ジャイロセンサをＯＮに制御してもよい。また、状態２における他のデバイスに対する制御は、図７に示す例と同様である。
　状態４では、図１１に示すように、腕の回転動作（手前または奥への回転）が「戻る」または「進む」動作として受け付けられ、デバイス制御部１１２は、直前の画面に戻る、または次の画面に進むようディプレイを制御する。なお、ディスプレイ以外のデバイス（具体的にはタッチセンサ、モーションセンサ、スピーカ、マイク）に対しては状態２における制御が維持される。
　このように、本実施形態によれば、ユーザはタッチパネルからの操作入力を行うことなく、情報処理装置１０が装着された腕を回転するだけでディスプレイの画面遷移を行うことが可能である。
　（補足１）
　なお、図１１に示すデバイス制御は一例であって、本実施形態はこれに限定されず、例えばモーションセンサが１つであって、また、スピーカが１つであってもよい。この場合、各状態に応じたデバイス制御は例えば図１２に示す通り行われる。図１２は、状態１、状態２、状態４における各デバイスの他の制御一覧を示す図である。
　図１２に示すように、状態４では、図１１に示す場合と同様に、腕の回転動作（手前または奥への回転）が「戻る」または「進む」動作として受け付けられ、デバイス制御部１１２は、直前の画面に戻る、または次の画面に進むようディプレイを制御する。また、ディスプレイ以外のデバイス（具体的にはタッチセンサ、モーションセンサ、スピーカ、マイク）に対しては状態２における制御が維持される。
　（補足２）
　また、腕の回転に応じて異なるユーザコンテキストが認識されてもよい。以下、図１３を参照して説明する。
　図１３は、腕の回転例について説明する図である。図１３上に示すように、腕を大きく手前または奥に移動させる動作は、図９右に示す状態４における腕の回転であって、デバイス制御部１１２は画面遷移を行う。
　一方、図１３下に示すように、腕（手首）をねじる動作も認識部１１１により認識され得る。この場合、デバイス制御部１１２は、例えば腕の捻じり方向および度合いに応じてスピーカの出力を制御することで、ボリュームコントロールを実現できる。例えば状態３から状態２に遷移した場合、ユーザは通話を継続しながらディスプレイを確認しているためスピーカの出力が高く制御されるが、時間や場所に応じて当該スピーカの出力（音量の大きさ）を調整したい場合が想定されるためである。
　　＜３－３．右腕装着時（状態５）のデバイス制御例＞
　続いて、装着された腕の左右に応じたデバイス制御例について、図１４～図２０を参照して説明する。図１４は、状態１、状態２、状態５について説明する図である。図１４左に示す状態１と、図１４中央に示す状態２は、図５を参照して説明した状態１および状態２と同様であって、いずれも左腕に情報処理装置１０が装着されている。
　一方、図１４右に示す状態５は、右腕に情報処理装置１０が装着された状態であって、右腕を身体の前面下部に構えた状態（情報処理装置１０の表示画面を閲覧するために右腕を上げた状態）を示す。
　左右いずれの腕に情報処理装置１０を装着するかは人によって異なるが、例えばタッチパネル１２からの操作を考慮すると、利き手と反対の腕に情報処理装置１０を装着し、利き手でタッチパネル１２の操作をすることが想定される。
　この場合、例えば右利きの人が左腕に情報処理装置１０を装着し、図１４に示す状態２において右手でタッチパネル１２を操作する場合、装着された腕を考慮しない従来の表示制御では以下のような問題が生じる。
　図１５は、比較例による情報処理装置１００の表示画面の一例を示す図である。図１５に示すように、腕時計型端末である情報処理装置１００を左腕に装着して右手で操作する際、コマンド系が画面の左に表示されていると、タッチパネルの面積が小さい（腕に沿うような形で幅の狭い曲面となっている）ために、操作している右手で画面が隠れて見えなくなってしまう。
　そこで、本実施形態では、情報処理装置１０が左右いずれの腕に装着されたかに応じて（状態２／状態５）、ディスプレイに対する制御を異ならせることが可能である。以下、図１６および図１７を参照して具体的に説明する。
　図１６は、本実施形態による左腕装着時における表示画面の一例を示す図である。図１６に示すように、腕時計型端末である情報処理装置１０が左腕に装着していると判断された場合（図１４に示す状態２）、コマンド系を画面（タッチパネル１２）の右に表示するよう制御することで、ユーザが右手でコマンド系をタッチする際に操作している手で画面を隠してしまうことを回避することができる。
　図１７は、本実施形態による右腕装着時における表示画面の一例を示す図である。図１７に示すように、腕時計型端末である情報処理装置１０が右腕に装着していると判断された場合（図１４に示す状態５）、コマンド系を画面（タッチパネル１２）の左に表示するよう制御することで、ユーザが左手でコマンド系をタッチする際に操作している手で画面を隠してしまうことを回避することができる。
　以上説明したように、本実施形態では、左右いずれの腕に装着されているかに応じて表示内容の切り替えを行うことで、情報処理装置１０の利便性をさらに向上させることができる。なお、状態２において左右いずれの腕に装着されているかに応じて異ならせるデバイス制御は、上述したディスプレイに対する制御に限定されない。例えば、タッチセンサに対する制御を左右で切り替えてもよい。以下、図１８～図２０を参照して具体的に説明する。
　（タッチセンサの左右切替制御）
　図１８は、タッチセンサの検出可能領域について説明する図である。図１８に示すように、本実施形態による情報処理装置１０は、地図等の画面が表示されるタッチパネルディスプレイ１２の領域外もタッチセンサの操作可能領域２０とする構成であってもよい。この場合、ユーザは、画面領域外を使って地図等の画面に対するズーム操作を行うことができる。すなわち、情報処理装置１０の主制御部１１は、画面領域の左右にタッチ検出領域を設け、この領域に対する操作を画面のズームの操作に割り当てる。
　ここで、腕時計型端末である情報処理装置１０は、腕への装着による携帯性を考慮して画面領域が小さいため、ピンチイン・アウトのような複数指による操作には不向きであるので、図１６に示すようなコマンドボタンによりズーム操作を実現する方法が適する。しかし、コマンドボタンにより表示画面の一部が隠れてしまうといった問題も生じるので、画面領域の左右にタッチ検出領域を設けることで、さらにズーム操作に適した操作方法を提供することができる。例えば画面領域外を上下にドラッグすることで、ズームイン／アウトを行うことができる。
　この時、図１５に示す比較例を用いて説明した上記操作の場合と同様に、操作する手が画面と重なる問題を回避する必要がある。そこで、本実施形態では、情報処理装置１０が左右いずれの腕に装着されているかに応じて、画面領域外の左右いずれのタッチ検出領域にズーム操作に割り当てるかを制御する。以下、図１９および図２０を参照して具体的に説明する。
　図１９は、本実施形態による左腕装着時におけるズーム操作領域の割り当てについて説明する図である。図１９に示すように、腕時計型端末である情報処理装置１０が左腕に装着していると判断された場合（図１４に示す状態２）、右側画面領域外２２を、ズーム操作を検出する領域に割り当てるようタッチセンサを制御する。これにより、ユーザが右手で左側画面領域外をタッチする際に操作している手で画面を隠してしまうことを回避することができる。
　図２０は、本実施形態による右腕装着時における表示画面の一例を示す図である。図２０に示すように、腕時計型端末である情報処理装置１０が右腕に装着していると判断された場合（図１４に示す状態５）、左側画面領域外２４を、ズーム操作を検出する領域に割り当てるようタッチセンサを制御する。これにより、ユーザが左手で右側画面領域外をタッチする際に操作している手で画面を隠してしまうことを回避することができる。
　以上説明したように、本実施形態では、左右いずれの腕に装着されているかに応じて特定の操作の検出領域を切り替えることで、情報処理装置１０の利便性をさらに向上させることができる。なお、本実施形態による情報処理装置１０は、ズーム操作に割り当てた画面領域外と反対側の画面外領域を、操作頻度が相対的に（ズーム操作より）低い所定の操作に割り当ててもよい。
　例えば情報処理装置１０のデバイス制御部１１２は、ズーム操作に割り当てた画面領域外と反対側の画面外領域を、画面の回転操作に割り当てるよう制御してもよい。例えば画面領域外を上下にドラッグすることで、時計回り／反時計回りに画面を回転させることができる。このように、画面を隠さずに操作できる側の画面外領域に、操作頻度が相対的に高い操作の検出を割当て、逆側に操作頻度が相対的に低い操作の検出を割り当てることで、快適な操作を提供することが可能である。
　　＜３－４．状態６におけるデバイス制御例＞
　次に、情報処理装置１０がカメラ機能を有している場合に、カメラを構えた状態６におけるデバイス制御例について図２１～図２４を参照して説明する。本実施形態による情報処理装置１０の構成は、図１～図３に示す例に限定されず、例えば撮像部（以下、カメラと称す）をさらに有する場合も想定される。
　カメラは、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。本実施形態によるカメラは静止画／動画の撮像が可能である。
　撮像レンズの設置位置は特に図示しないが、例えば情報処理装置１０の外周面において、スピーカ１５ａとマイク１６ａとの間に設けられ、図２に示すように腕２００に情報処理装置１０が装着された際に小指側（腕の外側）が撮像方向とされてもよい。この場合、カメラを利用する際は、ユーザは図２１の状態６で示すように、情報処理装置１０が装着された腕を身体の前に上げて、腕の外側（小指側）を被写体に向けて（撮像レンズを被写体に向けて）構える。
　情報処理装置１０の認識部１１１は、このような状態６を、情報処理装置１０に設けられたモーションセンサ１３からの検出値に基づいて認識することが可能である。
　図２２は、状態１、状態２、状態６の遷移を示す状態遷移図である。図２２に示すように、腕を下げた状態１（Ｄ１）から腕を上げた状態２（Ｄ２）と、腕を下げた状態１（Ｄ１）からカメラを構えた状態６（Ｄ６）と、腕を上げた状態２（Ｄ２）からカメラを構えた状態６（Ｄ６）は、互いに遷移可能である。
　情報処理装置１０の認識部１１１は、モーションセンサ１３からの検出値に基づいて、現在の状態を認識し、認識結果をデバイス制御部１１２に出力する。また、状態１、状態２、状態６は、図２２に示すように遷移可能であるので、認識部１１１は、モーションセンサ１３から継続的に出力される検出値に基づいて、現在の状態をリアルタイムで認識することができる。
　そして、認識された状態に応じて、デバイス制御部１１２は、各デバイスに対して所定の制御を行う。デバイス制御部１１２は、各状態において利用が想定されないデバイスの機能をＯＦＦすることで消費電力を節約し、また、利用が想定されるデバイスの機能を、別途のＯＮ操作（例えばタッチパネル１２からの明示的な操作）がなくともＯＮにすることで、必要な時に必要なデバイスの機能を発揮させることができる。
　図２３は、状態１、状態２、状態６における各デバイスの制御一覧を示す図である。図２３に示すように、制御対象のデバイスには、新たにカメラが追加される。
　図２３に示すように、腕を下げた状態１では、カメラの利用は想定されないのでカメラはＯＦＦに制御される。
　また、腕を身体の前で水平にする状態２では、ディスプレイの閲覧が行われるので、カメラの利用は想定されず、ＯＦＦに制御される。また、モーションセンサに対しては、ジャイロセンサがＯＮに制御される。本実施形態では、状態２から状態６に遷移する可能性があり、カメラを構えるといった複雑な動きを正確に検知する必要があるので、状態２に遷移した時点でモーションセンサの検知レベルが上げられる。なお、この場合、ジャイロセンサはＯＦＦのままで、加速度センサのサンプリングレートを高く設定してもよい。
　カメラを構えた状態３では、カメラの利用が想定されるのでカメラがＯＮに制御される（カメラが起動される）。また、マイクに対しては、動画撮影時にはＯＮに制御して感度を高く設定する。一方、静止画撮影時にはマイクによる収音は不要なので、マイクはＯＦＦに制御される。なお静止画撮影および動画撮影の切り替えは、状態６においてさらに腕を振るといった動作の認識に応じて行われてもよい。
　また、状態３では、タッチセンサ、ディスプレイ、スピーカ（裏側スピーカ、表側スピーカ）の利用は想定されないのでＯＦＦに制御される。
　（補足）
　図２３に示すデバイス制御は一例であって、本実施形態はこれに限定されず、例えばモーションセンサが１つであって、また、スピーカが１つであってもよい。この場合、各状態に応じたデバイス制御は例えば図２４に示す通り行われる。図２４は、状態１、状態２、状態６における各デバイスの他の制御一覧を示す図である。
　図２４に示す状態６では、図２３に示す場合と同様に、カメラの利用が想定されるのでカメラがＯＮに制御される（カメラが起動される）。また、マイクに対しても同様に、動画撮影時にはＯＮに制御して感度を高く設定する。一方、静止画撮影時にはマイクによる収音は不要なので、マイクはＯＦＦに制御される。
　また、モーションセンサが１つのため、状態２では、より複雑な動き（カメラを構えるという状態６への遷移）を正確に検知するために、サンプリングレートが高く設定される。
　　＜＜５．まとめ＞＞
　以上説明したように、本開示の実施形態による腕時計型端末の情報処理装置１０は、左右いずれの腕に装着されているかを判断した上で腕の状態を認識し、認識した腕の状態に基づいて情報処理装置１０の各デバイスを制御することができる。
　また、腕時計型端末では小型のバッテリーしか搭載することができず、消費電力を常にセーブする必要があるところ、本実施形態による情報処理装置１０は、認識した腕の状態に応じたユーザコンテキストに従って不要なデバイスをＯＦＦに制御するので、消費電力を節約することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、上述した状態１～状態６のうち、どの組み合わせの遷移であってもよい。また、各状態とデバイス制御の関係は一例であって、本実施形態によるデバイス制御部１１２は、認識された状態に対応付けられるユーザコンテキスト（ディスプレイを見る、電話をする、メールをする、音楽を聴く等）を満足させる制御であればよい。
　また、図９の状態４で示す腕を回転する動作、また、図１３下に示す腕を捻る動作に応じたデバイス制御は、上述した画面遷移（直前の画面に戻る／次の画面に進む）やボリュームコントロールに限定されない。例えば、ホーム画面への遷移、Notification画面の呼び出し、特定アプリケーションの起動（カメラ、電話、地図（ナビゲーション））、通信履歴の表示（電話、メール、ＳＮＳ）等の制御であってもよい。
　また、判断部１１０は、情報処理装置１０が左右いずれの腕に装着されているかを判断することに加えて、モーションセンサの検出値に基づき、情報処理装置１０のタッチパネル１２（画面）の向き、すなわち上下を判断することも可能である。これにより、デバイス制御部１１２は、ディプレイをＯＮ制御する際に表示画面を正方向で表示することが可能である。また、上下判断に応じて認識部１１１による状態認識の際に用いるパラメータを切り替えることで、腕の状態をより正確に認識することができる。
　また、本開示による左右判定、パラメータ変更、およびデバイス制御の技術は、左右いずれかのレンズ部分に相当する表示部を有するメガネ型ＨＭＤ（情報処理装置１０の一例）にも応用可能である。例えば、左右いずれの眼前にメガネ型ＨＭＤが装着されているかを判断した上で、ジェスチャを認識する際に用いるパラメータの設定が切り替えられる。また、左右いずれの眼前にメガネ型ＨＭＤが装着されているかを判断した上で、レンズ部分に相当する表示部の表示内容が制御される（例えばコマンド系を左右いずれの側に表示させるか等の制御）。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、
　腕の状態を認識する認識部と、
　認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、
を備え、
　前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、情報処理装置。
（２）
　前記情報処理装置は、腕時計型デバイスである、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、認識された腕の状態に対応するユーザコンテキストに応じて各デバイスの制御を行う、前記（１）または（２）に記載の情報処理装置。
（４）
　前記判断部は、腕の動きを検出するモーションセンサにより取得された値に基づいて、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記判断部は、腕の動きを検出するモーションセンサにより取得された値を用いた機械学習により、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（６）
　前記判断部は、ユーザ入力に基づいて、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（７）
　前記認識部は、前記判断部による判断結果に応じて、前記パラメータの正負を切り替える、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　情報処理装置に設けられるデバイスは、表示部、操作部、モーションセンサ、スピーカ、マイクロフォン、および撮像部の少なくともいずれかである、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　ユーザの右腕または左腕のいずれに装着されているかを判断することと、
　判断結果に応じて、腕の状態を認識する際に用いるパラメータの設定を切り替えて、腕の状態を認識することと、
　認識された前記腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行うこと、
を含む、制御方法。
（１０）
　コンピュータを、
　ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、
　腕の状態を認識する認識部と、
　認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、
として機能させ、
　前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、プログラム。
　１０　　情報処理装置
　１１　　主制御部
　１１０　　判断部
　１１１　　認識部
　１１２　　デバイス制御部
　１２　　タッチパネルディスプレイ
　１３　　モーションセンサ
　１４　　記憶部
　１５、１５ａ、１５ｂ　　スピーカ
　１６、１６ａ、１６ｂ　　マイクロフォン
　１７　　通信部

Claims (10)

  1. 　ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、
    　腕の状態を認識する認識部と、
    　認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、
    を備え、
    　前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、情報処理装置。
  2. 　前記情報処理装置は、腕時計型デバイスである、請求項１に記載の情報処理装置。
  3. 　前記制御部は、認識された腕の状態に対応するユーザコンテキストに応じて各デバイスの制御を行う、請求項１に記載の情報処理装置。
  4. 　前記判断部は、腕の動きを検出するモーションセンサにより取得された値に基づいて、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、請求項１に記載の情報処理装置。
  5. 　前記判断部は、腕の動きを検出するモーションセンサにより取得された値を用いた機械学習により、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、請求項１に記載の情報処理装置。
  6. 　前記判断部は、ユーザ入力に基づいて、前記情報処理装置が右腕または左腕のいずれに装着されているかを判断する、請求項１に記載の情報処理装置。
  7. 　前記認識部は、前記判断部による判断結果に応じて、前記パラメータの正負を切り替える、請求項１に記載の情報処理装置。
  8. 　情報処理装置に設けられるデバイスは、表示部、操作部、モーションセンサ、スピーカ、マイクロフォン、および撮像部の少なくともいずれかである、請求項１に記載の情報処理装置。
  9. 　ユーザの右腕または左腕のいずれに装着されているかを判断することと、
    　判断結果に応じて、腕の状態を認識する際に用いるパラメータの設定を切り替えて、腕の状態を認識することと、
    　認識された前記腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行うこと、
    を含む、制御方法。
  10. 　コンピュータを、
    　ユーザの右腕または左腕のいずれに装着されているかを判断する判断部と、
    　腕の状態を認識する認識部と、
    　認識された腕の状態に基づいて、情報処理装置に設けられるデバイスに対して所定の制御を行う制御部と、
    として機能させ、
    　前記認識部は、前記判断部による判断結果に応じて、前記腕の状態を認識する際に用いるパラメータの設定を切り替える、プログラム。
     
PCT/JP2015/053564 2014-03-18 2015-02-09 情報処理装置、制御方法、およびプログラム WO2015141328A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201580012548.0A CN106068488A (zh) 2014-03-18 2015-02-09 信息处理设备、控制方法及程序
US15/119,054 US10345761B2 (en) 2014-03-18 2015-02-09 Information processing apparatus, control method, and program
KR1020167021035A KR102269526B1 (ko) 2014-03-18 2015-02-09 정보 처리 장치 및 제어 방법
JP2016508591A JPWO2015141328A1 (ja) 2014-03-18 2015-02-09 情報処理装置、制御方法、およびプログラム
EP15765782.6A EP3121687A4 (en) 2014-03-18 2015-02-09 Information processing device, control method, and program
US16/410,469 US10466654B2 (en) 2014-03-18 2019-05-13 Information processing apparatus, control method, and program
US16/587,375 US10996635B2 (en) 2014-03-18 2019-09-30 Information processing apparatus, control method, and program
US17/243,027 US11340560B2 (en) 2014-03-18 2021-04-28 Information processing apparatus, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014055052 2014-03-18
JP2014-055052 2014-03-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/119,054 A-371-Of-International US10345761B2 (en) 2014-03-18 2015-02-09 Information processing apparatus, control method, and program
US16/410,469 Continuation US10466654B2 (en) 2014-03-18 2019-05-13 Information processing apparatus, control method, and program

Publications (1)

Publication Number Publication Date
WO2015141328A1 true WO2015141328A1 (ja) 2015-09-24

Family

ID=54144308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/053564 WO2015141328A1 (ja) 2014-03-18 2015-02-09 情報処理装置、制御方法、およびプログラム

Country Status (6)

Country Link
US (4) US10345761B2 (ja)
EP (1) EP3121687A4 (ja)
JP (1) JPWO2015141328A1 (ja)
KR (1) KR102269526B1 (ja)
CN (1) CN106068488A (ja)
WO (1) WO2015141328A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955479A (zh) * 2016-04-29 2016-09-21 联想(北京)有限公司 一种信息处理方法及穿戴式设备
CN106020445A (zh) * 2016-05-05 2016-10-12 广东小天才科技有限公司 一种自动识别左右手佩戴的方法及穿戴设备
JP2016181047A (ja) * 2015-03-23 2016-10-13 カシオ計算機株式会社 情報出力装置、情報出力方法及びプログラム
CN106686566A (zh) * 2015-11-06 2017-05-17 巨擘科技股份有限公司 腕表、穿戴装置、紧急求救方法以及快速拨话方法
JP2017091117A (ja) * 2015-11-06 2017-05-25 富士通株式会社 電子機器及び表示制御プログラム
WO2018159200A1 (ja) * 2017-03-01 2018-09-07 株式会社メガチップス 動作解析装置、情報受付システムおよび入力受付方法
JP2019175159A (ja) * 2018-03-28 2019-10-10 カシオ計算機株式会社 電子機器、音声入力感度制御方法、及び音声入力感度制御プログラム
JP2021508886A (ja) * 2017-12-29 2021-03-11 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オブジェクトの動きを予測する方法、運動モデルを調整する方法、所定量を導出する方法、及び仮想現実ビューを生成する方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244856B1 (ko) * 2014-04-22 2021-04-27 삼성전자 주식회사 웨어러블 장치와의 사용자 인터랙션을 제공하는 방법 및 이를 수행하는 웨어러블 장치
EP3667437A1 (en) * 2014-09-04 2020-06-17 Sony Corporation Apparatus and method for displaying information, program, and communication system
KR102273591B1 (ko) * 2014-09-29 2021-07-06 현대엠엔소프트 주식회사 네비게이션 정보를 표시하는 웨어러블 단말기 및 네비게이션 장치 및 그 표시 방법
KR20160121318A (ko) * 2015-04-10 2016-10-19 삼성전자주식회사 전자 장치 및 전자 장치의 사용자 인터페이스 제공 방법
CN114253405A (zh) * 2020-09-22 2022-03-29 Oppo（重庆）智能科技有限公司 佩戴检测方法、装置、可穿戴设备及存储介质
JP2022153776A (ja) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 装着型画像表示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061176A (ja) * 2011-09-12 2013-04-04 Seiko Epson Corp 腕装着型の電子機器およびその制御方法
EP2698686A2 (en) * 2012-07-27 2014-02-19 LG Electronics Inc. Wrist-wearable terminal and control method thereof

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358149A (ja) 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
JP3471775B2 (ja) 2001-08-27 2003-12-02 ヤマハメタニクス株式会社 マイクホルダ
JP2009147761A (ja) * 2007-12-14 2009-07-02 Sony Ericsson Mobilecommunications Japan Inc 携帯端末
US8781791B2 (en) * 2010-09-30 2014-07-15 Fitbit, Inc. Touchscreen with dynamically-defined areas having different scanning modes
US9002420B2 (en) * 2011-01-19 2015-04-07 Ram Pattikonda Watch having an interface to a mobile communications device
US9367085B2 (en) * 2012-01-26 2016-06-14 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof taking into account which limb possesses the electronic device
US8947382B2 (en) * 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
US9229838B2 (en) * 2012-07-09 2016-01-05 International Business Machines Corporation Modeling and evaluating application performance in a new environment
KR102087137B1 (ko) * 2013-03-15 2020-03-10 엘지전자 주식회사 제어 장치 및 그것의 제어 방법
KR102043145B1 (ko) * 2012-07-27 2019-11-11 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20140337621A1 (en) * 2013-05-07 2014-11-13 Serguei Nakhimov Wearable communication device, security complex and user interface
US9606721B2 (en) * 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
CN103442129A (zh) * 2013-08-09 2013-12-11 宇龙计算机通信科技(深圳)有限公司 智能手表与移动终端的交互方法及系统
US10146416B2 (en) * 2014-01-29 2018-12-04 Ingenious.Ventures, LLC Systems and methods for sensory interface
WO2015116196A1 (en) * 2014-01-31 2015-08-06 Bodhi Technology Ventures Llc Automatic orientation of a device
WO2015122879A1 (en) * 2014-02-11 2015-08-20 Bodhi Technology Ventures Llc Detecting the limb wearing a wearable electronic device
US20160034980A1 (en) * 2014-07-31 2016-02-04 iCracked Inc. Method and system to evaluate the condition of client equipment and accurately assess the price and extent of repairs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013061176A (ja) * 2011-09-12 2013-04-04 Seiko Epson Corp 腕装着型の電子機器およびその制御方法
EP2698686A2 (en) * 2012-07-27 2014-02-19 LG Electronics Inc. Wrist-wearable terminal and control method thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROYUKI MANO: "Action Classification and Video Retrieval in a Ubiquitous home using Ubiquitous Sensors and Wearable Sensors", IEICE TECHNICAL REPORT, vol. 106, no. 608, 12 March 2007 (2007-03-12), pages 65 - 70, XP008184387 *
See also references of EP3121687A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181047A (ja) * 2015-03-23 2016-10-13 カシオ計算機株式会社 情報出力装置、情報出力方法及びプログラム
US10219128B2 (en) 2015-11-06 2019-02-26 Princo Corp. Wristwatch, wearable device, emergency help seeking method, and speed dial method
CN106686566A (zh) * 2015-11-06 2017-05-17 巨擘科技股份有限公司 腕表、穿戴装置、紧急求救方法以及快速拨话方法
JP2017091117A (ja) * 2015-11-06 2017-05-25 富士通株式会社 電子機器及び表示制御プログラム
JP2017090430A (ja) * 2015-11-06 2017-05-25 巨擘科技股▲ふん▼有限公司 腕時計、ウェアラブル装置、緊急救出要請方法及び迅速ダイヤル方法
CN105955479A (zh) * 2016-04-29 2016-09-21 联想(北京)有限公司 一种信息处理方法及穿戴式设备
CN105955479B (zh) * 2016-04-29 2019-11-26 联想(北京)有限公司 一种信息处理方法及穿戴式设备
CN106020445A (zh) * 2016-05-05 2016-10-12 广东小天才科技有限公司 一种自动识别左右手佩戴的方法及穿戴设备
WO2018159200A1 (ja) * 2017-03-01 2018-09-07 株式会社メガチップス 動作解析装置、情報受付システムおよび入力受付方法
JP2018147031A (ja) * 2017-03-01 2018-09-20 株式会社メガチップス 動作解析装置、情報受付システムおよび入力受付方法
JP2021508886A (ja) * 2017-12-29 2021-03-11 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オブジェクトの動きを予測する方法、運動モデルを調整する方法、所定量を導出する方法、及び仮想現実ビューを生成する方法
JP7162063B2 (ja) 2017-12-29 2022-10-27 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オブジェクトの動きを予測する方法、運動モデルを調整する方法、所定量を導出する方法、及び仮想現実ビューを生成する方法
JP2019175159A (ja) * 2018-03-28 2019-10-10 カシオ計算機株式会社 電子機器、音声入力感度制御方法、及び音声入力感度制御プログラム
US11145310B2 (en) 2018-03-28 2021-10-12 Casio Computer Co., Ltd. Electronic device, voice input sensitivity control method, and storage medium storing voice input sensitivity control program
JP7468737B2 (ja) 2018-03-28 2024-04-16 カシオ計算機株式会社 電子機器、音声入力感度制御方法、及び音声入力感度制御プログラム

Also Published As

Publication number Publication date
US10466654B2 (en) 2019-11-05
US11340560B2 (en) 2022-05-24
US20170052512A1 (en) 2017-02-23
US10996635B2 (en) 2021-05-04
KR102269526B1 (ko) 2021-06-25
JPWO2015141328A1 (ja) 2017-04-06
EP3121687A1 (en) 2017-01-25
KR20160133414A (ko) 2016-11-22
CN106068488A (zh) 2016-11-02
US10345761B2 (en) 2019-07-09
US20200026245A1 (en) 2020-01-23
US20190265654A1 (en) 2019-08-29
EP3121687A4 (en) 2017-11-01
US20210247723A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
US11340560B2 (en) Information processing apparatus, control method, and program
US20150187357A1 (en) Natural input based virtual ui system for mobile devices
EP2860951A1 (en) Communication service operating method and electronic device supporting the same
US10606374B2 (en) Watch-type mobile terminal
TWI590640B (zh) 通話方法及其電子裝置
KR20150045257A (ko) 웨어러블 디바이스 및 그 제어 방법
JP2016139947A (ja) 携帯端末
CN108391007A (zh) 一种应用程序的音量设置方法及移动终端
JP2008141688A (ja) 携帯端末機器
JP5929698B2 (ja) 通信システムおよびプログラム
JP6587918B2 (ja) 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
JP6591167B2 (ja) 電子機器
EP3862853A1 (en) Touch operation locking method and electronic device
JP2019118134A (ja) 情報処理装置、通信制御方法およびコンピュータプログラム
JP6897693B2 (ja) 携帯情報端末、携帯情報端末制御方法、プログラム
CN111124240B (zh) 一种控制方法及可穿戴设备
WO2010004669A1 (ja) 携帯端末
JP2016192136A (ja) 表示制御装置
CN114385286A (zh) 消息显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15765782

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016508591

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167021035

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15119054

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015765782

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015765782

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE