WO2011040165A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2011040165A1
WO2011040165A1 PCT/JP2010/064770 JP2010064770W WO2011040165A1 WO 2011040165 A1 WO2011040165 A1 WO 2011040165A1 JP 2010064770 W JP2010064770 W JP 2010064770W WO 2011040165 A1 WO2011040165 A1 WO 2011040165A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
finger
movement
display panel
hand
Prior art date
Application number
PCT/JP2010/064770
Other languages
English (en)
French (fr)
Inventor
山田 英樹
良徳 大橋
明彦 木下
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BR112012006663A priority Critical patent/BR112012006663A2/pt
Priority to US13/497,984 priority patent/US10042386B2/en
Priority to RU2012111262/08A priority patent/RU2012111262A/ru
Priority to CN201080054318.8A priority patent/CN102640102B/zh
Priority to EP10820285.4A priority patent/EP2469386B1/en
Publication of WO2011040165A1 publication Critical patent/WO2011040165A1/ja
Priority to US16/025,690 priority patent/US10936011B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4852End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • GUI graphical user interface
  • the user generally performs operation input on the touch panel by holding the device with a dominant hand and holding the device with a hand other than the dominant hand and using the dominant hand.
  • the GUI for example, it is easy to operate with one hand but difficult to operate with the other hand, or easy to operate with both hands but difficult to operate with one hand, etc.
  • the operability may be different. For this reason, the operability of the information processing apparatus may be deteriorated.
  • an operation state may be set in advance, and the GUI configuration may be changed according to the setting.
  • the operation state is different for each user, and even when the same user uses both one-handed operation and two-handed operation. Therefore, the setting must be changed every time the operation state is changed, and a complicated setting operation is imposed on the user.
  • the present invention is intended to provide an information processing apparatus, an information processing method, and a program that can easily and accurately determine the operation state of the user's own apparatus.
  • a display panel a detection unit that detects a finger moved on the display panel, a predetermined movement direction is designated, the designated movement direction, and the display panel according to the designation
  • An information processing apparatus includes a determination unit that determines an operation state of the own apparatus based on a difference in a moving direction of a finger moved in step (b).
  • the operation state of the own device is determined based on the difference between the designated moving direction and the moving direction of the finger moved on the display panel according to the designation.
  • a difference depending on the finger used for the operation is likely to occur between the designated moving direction and the finger moving direction due to the structure of the hand.
  • a difference according to the finger used for the operation hardly occurs between the designated moving direction and the moving direction of the finger. For this reason, it is possible to easily and accurately determine the operation state of the own apparatus based on the difference in the moving direction.
  • the determination unit specifies a plurality of different movement directions, and determines an operation state of the device based on a difference between each specified movement direction and each movement direction of a finger moved on the display panel according to the specification. May be.
  • the determination unit may specify a plurality of movement directions orthogonal to each other.
  • the information processing apparatus may further include a display control unit that controls display on the display panel in accordance with the determination result of the operation state.
  • the determination unit includes an operation state in which the own device is held by one hand and operated by one hand, and an operation state in which the own device is held by one hand and operated by the other hand. It may be determined.
  • the determination unit may determine an operation state in which the device is held by the left hand and operated by the left hand, and an operation state in which the device is held by the right hand and operated by the right hand.
  • the determination unit may determine the moving direction of the finger based on the coordinate difference between the moving start point and the moving end point of the finger moved on the display panel according to the designation.
  • the predetermined moving direction may be specified as any one of an upward direction, a downward direction, a left direction, and a right direction with respect to the display panel.
  • the determination unit may specify the moving direction with respect to the display panel, and obtain the moving direction of the finger from the moving locus of the finger continuously detected on the display panel according to the specification.
  • the determination unit specifies two or more points that can specify the movement direction with respect to the display panel, and the movement coordinates of the finger that are discretely detected between one point and the other point on the display panel according to the specification The moving direction of the finger may be obtained from
  • the information processing apparatus is a portable information processing apparatus such as a personal digital assistant (PDA) or a mobile phone, and may be a remote controller for operating an electronic device.
  • PDA personal digital assistant
  • the information processing apparatus designates a predetermined movement direction, and based on the designated movement direction and the movement direction of the finger moved on the display panel according to the designation, An information processing method for determining an operation state of the own apparatus is provided.
  • a program for causing a computer to execute the information processing method is provided.
  • the program may be provided using a computer-readable recording medium or may be provided via communication means.
  • an information processing apparatus an information processing method, and a program capable of easily and accurately determining the operation state of the user's own apparatus.
  • the remote controller 100 according to an embodiment of the present invention will be described.
  • the present invention is not limited to the remote controller 100 and can be similarly applied to a portable information processing apparatus such as a personal digital assistant (PDA) and a mobile phone equipped with the touch panel display 101.
  • PDA personal digital assistant
  • FIG. 1 is a diagram showing a remote controller system including a remote controller 100 according to an embodiment of the present invention.
  • the remote controller system includes a remote controller 100 equipped with a touch panel display 101 and a television 10 operated through the remote controller 100.
  • the television 10 is an example of an electronic device operated through the remote controller 100.
  • wired communication or wireless communication is performed at least from the remote controller 100 to the TV 10.
  • Communication between the remote controller 100 and the television 10 may be performed directly or indirectly via a network or the like (not shown).
  • the remote controller 100 displays an operation icon or the like for operating the television 10 on the touch panel display 101.
  • an operation input such as icon selection is performed
  • the remote controller 100 transmits a predetermined operation command C to the television 10 according to the operation input.
  • the television 10 receives the operation command C and performs a predetermined operation A according to the operation command C.
  • the user usually holds the remote controller 100 with a dominant hand and operates the touch panel display 101 with a dominant hand, or holds the remote controller 100 with a hand different from the dominant hand and operates the touch panel display 101 with a dominant hand. Then, the remote controller 100 determines the operation state of the remote controller 100 at a predetermined time, and changes the display of the GUI such as an operation icon.
  • the remote controller 100 When determining the operation state, the remote controller 100 designates a predetermined movement direction Dd, and detects the movement direction Da of the finger P moved on the touch panel display 101 according to the designation. Then, the remote controller 100 determines the operation state of the own device based on the difference ⁇ between the designated movement direction Dd and the detected movement direction Da.
  • the remote controller 100 is held with the right hand and the touch panel display 101 is operated with the thumb P of the right hand will be described.
  • the thumb movement direction Da is inclined to the upper right due to the structure of the right hand. End up. Therefore, the movement direction Da of the finger P moved according to the designation is detected, and the operation state of the remote controller 100 can be determined based on the difference ⁇ between the designated movement direction Dd and the detected movement direction Da.
  • FIG. 2 is a block diagram showing a main functional configuration of the remote controller 100 according to the embodiment of the present invention.
  • the remote controller 100 includes a touch panel display 101, a control unit 103, a memory 105, and a communication unit 107.
  • the touch panel display 101 has a configuration in which a touch panel 101b (detection unit) is stacked on a display panel 101a.
  • a liquid crystal display (LCD) or the like is used as the display panel 101a.
  • As the touch panel 101b a resistive film type, capacitance type, ultrasonic type, infrared type panel or the like is used.
  • the touch panel 101b detects the contact state of the finger P with respect to the panel surface. In other embodiments, the proximity state of the finger P may be detected instead of or in addition to the contact state.
  • the touch panel 101b supplies a contact signal to the control unit 103 when the finger P touches the touch panel 101b, and supplies a release signal to the control unit 103 when the finger P leaves the touch panel 101b.
  • the touch panel 101b supplies a coordinate signal corresponding to the contact position to the control unit 103 while the finger P is in contact with the touch panel 101b.
  • the coordinate signal represents the XY coordinates of the contact position with respect to the touch panel 101b.
  • the horizontal direction of the touch panel 101b is defined as the X direction (left direction is ⁇ , right direction is +), and the vertical direction is defined as the Y direction (upward direction is + and downward direction is ⁇ ).
  • the control unit 103 includes a CPU, a RAM, a ROM, and the like.
  • the CPU uses the RAM as a working memory, executes a program stored in the ROM, and controls each unit of the remote controller 100.
  • the program functions as a determination unit that determines the operation state of the remote controller 100 and a display control unit that controls display on the display panel 101a.
  • the memory 105 is a nonvolatile memory such as an EEPROM and stores icon data, command information, and the like.
  • the communication unit 107 transmits a predetermined operation command C to the television 10 in response to an operation input by the user.
  • the control unit 103 decodes the coordinate signal supplied from the touch panel 101b to generate coordinate data, and controls each unit of the remote controller 100 based on the coordinate data and the contact / release signal.
  • the control unit 103 reads command information corresponding to the operation input from the memory 105 and supplies the command information to the communication unit 107 in response to the operation input by the user.
  • the communication unit 107 transmits a predetermined operation command C to the television 10 based on the command information.
  • the control unit 103 reads the icon data stored in the memory 105, generates display data for the GUI screen, and supplies the display data to the display panel 101a.
  • the display panel 101a displays a GUI screen based on the display data.
  • the control unit 103 generates display data for the GUI screen so that the shape and arrangement of the icons are changed according to the operation state of the remote controller 100.
  • control unit 103 generates a message Msg that designates a predetermined moving direction Dd at a predetermined time point and notifies the user of the message Msg.
  • the message Msg may be notified visually using the display panel 101a or may be notified audibly using a speaker (not shown).
  • the moving direction Dd is designated as one of the upward direction, the downward direction, the left direction, and the right direction with respect to the touch panel 101b, for example.
  • the movement direction Dd is designated as the movement direction with respect to the touch panel 101b. In this case, for example, a message Msg “Please move your finger straight up along the display screen” is notified.
  • the movement direction Dd may be specified as two or more points that can specify the movement direction with respect to the touch panel 101b.
  • the message Msg “Please indicate with your finger the point located directly above the point at the upper end of the display screen after pointing an arbitrary point with the finger at the lower end of the display screen” is notified. .
  • the control unit 103 determines the operation state of the remote controller 100 based on the difference ⁇ between the designated moving direction Dd and the moving direction Da of the finger P moved on the touch panel 101b according to the designation. Then, the control unit 103 determines the operation state of the remote controller 100 based on the difference ⁇ between the designated movement direction Dd and the detected movement direction Da.
  • the moving direction Da of the finger P is obtained from the moving locus of the finger P continuously detected on the touch panel 101b according to the drag operation or the flick operation.
  • the drag operation is an operation of moving the finger P while the finger P is in contact with the touch panel 101b
  • the flick operation is an operation of flipping the touch panel 101b with the finger P in an arbitrary direction.
  • the movement direction Da of the finger P is obtained from the coordinate difference between the coordinate data (movement start point) at the time of detection of the contact signal and the coordinate data (movement end point) immediately before detection of the release signal.
  • the moving direction Da of the finger P is detected as a finger P discretely detected between one point and the other point on the touch panel 101b according to the pointing operation. It is obtained from the moving coordinates.
  • the pointing operation is an operation of pointing an arbitrary point on the touch panel 101b with the finger P.
  • the movement direction Da of the finger P is obtained from the coordinate difference between the coordinate data (movement start point) at the point of detection of pointing with respect to one point and the coordinate data (movement end point) of the point of detection with respect to the other point.
  • FIG. 3 is a flowchart showing the operation of the remote controller 100.
  • FIG. 4 is a diagram for explaining the operation of the remote controller 100.
  • FIG. 5 is a diagram illustrating a change in the configuration of the GUI according to the operation state.
  • the control unit 103 starts an operation state determination process when a predetermined point of time arrives (step S101).
  • the predetermined time point may be a predetermined operation input time or a predetermined processing time such as when the remote controller 100 is activated.
  • the control unit 103 notifies the user of a message Msg designating a predetermined movement direction Dd (S103). For example, in FIG. 4, a message Msg “Please move your finger straight up along the display screen” is displayed (state ST4a).
  • the remote controller 100 detects the operation input (S105). For example, in FIG. 4, the user tries to move the thumb P of the right hand straight upward on the touch panel 101b (touch panel display 101). However, due to the structure of the right hand, the finger P slightly tilts to the upper right. (State ST4b).
  • the control unit 103 obtains the movement direction Da of the finger P based on the coordinate difference between the movement start point M0 and the movement end point M1 of the finger P (S107).
  • the control unit 103 determines the operation state of the remote controller 100 based on the difference ⁇ between the designated movement direction Dd and the detected movement direction Da (S109).
  • As an operation state a state in which an operation is performed with one hand and a state in which an operation is performed with both hands are determined, and a state in which an operation is performed with a left hand and a state in which an operation is performed with a right hand are determined.
  • the control unit 103 changes the configuration of the GUI according to the determination result (S111).
  • FIG. 5 shows an example of changing the configuration of the GUI according to the operation state.
  • State ST5a is an example of change during a right-hand operation
  • state ST5b is an example of change during a two-hand operation.
  • the channel switching button and the volume adjustment button are moved.
  • the icon to be moved may be an icon with a high operation frequency.
  • the size of at least a part of the icons may be enlarged as compared with the two-handed operation.
  • FIG. 6 is a diagram illustrating a movement state of the finger P according to the operation state.
  • FIGS. 7A to 7C are diagrams showing the movement direction Da of the finger P detected during a right hand operation, a left hand operation, and a two-hand operation.
  • FIG. 8 is a flowchart illustrating an example of the operation state determination process.
  • the remote controller 100 when operating both hands, the remote controller 100 is held by one hand (for example, the left hand) and the index finger P or the like of the other hand (for example, the right hand) is touch panel 101b (touch panel display 101). Moved on.
  • the finger P of the other hand is freely moved on the touch panel 101b regardless of the left hand holding the remote controller 100. Therefore, when the user moves the index finger P in the direction of the straight line, the index finger P is easily moved to draw a straight line.
  • the coordinate difference ⁇ X in the X direction is not shown between the start point M0 and the end point M1 of the moving operation, but a slight coordinate difference ⁇ X can usually occur.
  • FIG. 7A shows the moving direction Da of the finger P detected during the right hand operation.
  • the movement direction Da is inclined to the right (state ST7Aa), and when the downward movement operation is designated, the movement direction Da is easily inclined to the left. (State ST7Ab).
  • the movement direction Da is inclined downward (state ST7Ac), and when the rightward movement operation is designated, the movement direction Da is easily inclined upward ( State ST7Ad).
  • FIG. 7B shows the moving direction Da of the finger P detected during left-hand operation.
  • the movement direction Da is inclined to the left (state ST7Ba), and when the downward movement operation is designated, the movement direction Da is easily inclined to the right. (State ST7Bb).
  • the movement direction Da is inclined upward (state ST7Bc), and when the rightward movement operation is designated, the movement direction Da is easily inclined downward ( State ST7Bd).
  • FIG. 7C shows the moving direction Da of the finger P detected when operating with both hands.
  • the finger is usually moved in the designated direction, so that the movement direction Da is difficult to tilt in a specific direction (states ST7Ca to ST7Cd).
  • FIG. 8 shows an example of the operation state determination process.
  • the control unit 103 first prompts the user to perform an upward movement operation on the touch panel 101b (step S201).
  • the control unit 103 determines whether the absolute value
  • step S203 determines whether the absolute value
  • a second threshold value ⁇ th2 ⁇ first threshold value ⁇ th1
  • the control unit 103 determines whether the coordinate difference ⁇ X is a positive value (S209). Then, the control unit 103 determines that the operation is a right hand operation when the coordinate difference ⁇ X is a positive value (S211), and determines that the operation is a left hand operation when the coordinate value ⁇ X is a negative value (S213).
  • step S207 when it is determined in step S207 that the absolute value
  • the control unit 103 determines whether the absolute value
  • the control unit 103 determines whether the coordinate difference ⁇ Y is a positive value (S219). Then, the control unit 103 determines that the operation is a right hand operation when the coordinate difference ⁇ Y is a positive value (S221), and determines that the operation is a left hand operation when the coordinate value ⁇ Y is a negative value (S223).
  • step S217 when it is determined in step S217 that the absolute value
  • the control unit 103 determines whether both the coordinate differences ⁇ X and ⁇ Y in the X direction and the Y direction are positive values (S225). Then, the control unit 103 determines that the right-hand operation is performed when the determination condition is satisfied (S227).
  • the control unit 103 determines whether both the coordinate differences ⁇ X and ⁇ Y in the X direction and the Y direction are negative values (S229). Then, the control unit 103 determines that the left-hand operation is performed when the determination condition is satisfied (S231), and determines that the determination is impossible when the determination condition is not satisfied (S233).
  • the two-hand operation is determined using the first threshold value ⁇ th1 in the process of step S203.
  • the determination condition in step S229 is not satisfied, it may be determined that the operation is a two-handed operation instead of determining that the determination is impossible.
  • step S215 it is determined whether the absolute value
  • the operation state is determined using the determination result during the upward and rightward moving operations.
  • the determination result of the moving operation in any direction such as upward and downward, upward and leftward, and leftward and rightward may be used.
  • a difference ⁇ between the movement directions Dd and Da is likely to occur due to the aspect ratio of the touch panel 101b, so that the operation state is determined with high accuracy. be able to.
  • the operation state is determined by combining the determination results at the time of the upward and rightward moving operations in the processing after step S225.
  • the determination is made when the determination condition is not satisfied in the processing of step S217. You may judge it impossible.
  • the same threshold value ⁇ th2 is used as the threshold value for the upward movement operation and the threshold value for the rightward movement operation, but different threshold values such as ⁇ th2 and ⁇ th2 ′ may be used.
  • the remote controller 100 based on the difference ⁇ between the designated moving direction Dd and the moving direction Da of the finger P moved on the display panel 101a according to the designation.
  • the operation state of the remote controller 100 is determined.
  • a difference ⁇ corresponding to the finger P used for the operation occurs between the designated moving direction Dd and the moving direction Da of the finger P due to the structure of the hand. It becomes easy.
  • a difference ⁇ corresponding to the finger P used for the operation hardly occurs between the designated moving direction Dd and the moving direction Da of the finger P. For this reason, the operation state of the remote controller 100 can be easily and accurately determined based on the difference ⁇ between the movement directions Dd and Da.
  • the operation state of the remote controller 100 can be determined on the basis of the difference ⁇ (angle difference) between the designated moving direction Dd along the diagonal line and the detected moving direction Da.
  • the case where the moving direction Da of the finger P in contact with the touch panel 101b is detected has been described.
  • the moving direction Da of the finger in proximity to the touch panel 101 may be detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザーによる自装置の操作状態を容易かつ正確に判定可能な、情報処理装置、情報処理方法およびプログラムを提供する。 【解決手段】表示パネル101aと、表示パネル上で移動される指Pを検出するタッチパネル101bと、所定の移動方向Ddを指定し、指定した移動方向Ddと、指定に従って表示パネル上で移動される指の移動方向Daの差異Δに基づいて、自装置の操作状態を判定する制御部103と、を備える。これにより、自装置を片手で操作している場合には、指定した移動方向と指の移動方向には、手の構造に起因して、操作に用いる指に応じた差異が生じ易くなる。一方、自装置を両手で操作している場合には、指定した移動方向と指の移動方向には、操作に用いる指に応じた差異が生じ難くなる。このため、移動方向の差異に基づいて、自装置の操作状態を判定することができる。

Description

情報処理装置、情報処理方法およびプログラム
 本発明は、情報処理装置、情報処理方法およびプログラムに関する。
 近年、タッチパネルディスプレイを搭載した携帯型の情報処理装置が普及しつつある。ユーザーは、タッチパネルディスプレイに表示されるグラフィカル・ユーザー・インターフェイス(GUI)を通じて、所定の操作入力を行う。
 ユーザーは、一般的に、利き手に装置を把持して利き手により、または利き手と異なる手に装置を把持して利き手により、タッチパネルに対して操作入力を行う。ここで、GUIの構成に応じては、例えば、一方の手により操作し易いが他方の手により操作し難い、または両手により操作し易いが片手により操作し難い等、操作状態に応じてタッチパネルの操作性が異なる場合がある。このため、情報処理装置の操作性が低下してしまう場合があった。
 一方、従来の情報処理装置では、操作状態を予め設定しておき、設定に応じてGUIの構成を変更する場合がある。しかし、操作状態は、ユーザー毎に異なるし、片手操作と両手操作を併用する場合には、同一ユーザーでも異なってしまう。よって、操作状態を変更するたびに設定を変更せざるを得ず、ユーザーに煩雑な設定操作を課すことになってしまう。
 そこで、本発明は、ユーザーによる自装置の操作状態を容易かつ正確に判定可能な、情報処理装置、情報処理方法およびプログラムを提供しようとするものである。
 本発明の第1の実施形態によれば、表示パネルと、表示パネル上で移動される指を検出する検出部と、所定の移動方向を指定し、指定した移動方向と、指定に従って表示パネル上で移動される指の移動方向の差異に基づいて、自装置の操作状態を判定する判定部とを備える、情報処理装置が提供される。
 かかる構成によれば、指定した移動方向と、指定に従って表示パネル上で移動される指の移動方向の差異に基づいて、自装置の操作状態が判定される。自装置を片手で操作している場合には、指定した移動方向と指の移動方向には、手の構造に起因して、操作に用いる指に応じた差異が生じ易くなる。一方、自装置を両手で操作している場合には、指定した移動方向と指の移動方向には、操作に用いる指に応じた差異が生じ難くなる。このため、移動方向の差異に基づいて、自装置の操作状態を容易かつ正確に判定することができる。
 上記判定部は、互いに異なる複数の移動方向を指定し、指定した各移動方向と、指定に従って表示パネル上で移動される指の各移動方向の差異に基づいて、自装置の操作状態を判定してもよい。ここで、判定部は、互いに直交する複数の移動方向を指定してもよい。
 また、上記情報処理装置は、操作状態の判定結果に応じて、表示パネルの表示を制御する表示制御部をさらに備えてもよい。
 また、上記判定部は、自装置を一方の手に把持して一方の手により操作している操作状態と、自装置を一方の手に把持して他方の手により操作している操作状態を判別してもよい。ここで、上記判定部は、自装置を左手に把持して左手により操作している操作状態と、自装置を右手に把持して右手により操作している操作状態を判別してもよい。
 また、上記判定部は、指定に従って表示パネル上で移動される指の移動始点と移動終点の座標差に基づいて、指の移動方向を求めてもよい。
 上記所定の移動方向は、表示パネルに対する上方向、下方向、左方向、右方向のいずれかの方向として指定されてもよい。
 ここで、上記判定部は、表示パネルに対する移動方向を指定し、指定に従って表示パネル上で連続的に検出される指の移動軌跡から指の移動方向を求めてもよい。また、上記判定部は、表示パネルに対する移動方向を特定可能な2以上の点を指定し、指定に従って表示パネル上で一方の点と他方の点の間で離散的に検出される指の移動座標から指の移動方向を求めてもよい。
 また、上記情報処理装置は、携帯情報端末(PDA)、携帯電話等、携帯型の情報処理装置であり、特に、電子機器を操作するリモートコントローラでもよい。
 また、本発明の第2の実施形態によれば、情報処理装置によって、所定の移動方向を指定し、指定した移動方向と、指定に従って表示パネル上で移動される指の移動方向に基づいて、自装置の操作状態を判定する、情報処理方法が提供される。
 また、本発明の第3の実施形態によれば、上記情報処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段を介して提供されてもよい。
 本発明によれば、ユーザーによる自装置の操作状態を容易かつ正確に判定可能な、情報処理装置、情報処理方法およびプログラムを提供することができる。
本発明の一実施形態に係るリモートコントローラを含むリモートコントローラシステムを示す図である。 本発明の一実施形態に係るリモートコントローラの主要な機能構成を示すブロック図である。 リモートコントローラの動作を示すフロー図である。 リモートコントローラの動作を説明するための図である。 操作状態に応じたGUIの構成の変更例を示す図である。 操作状態に応じた指の移動状態を示す図である。 右手操作時に検出される指の移動方向を示す図である。 左手操作時に検出される指の移動方向を示す図である。 両手操作時に検出される指の移動方向を示す図である。 操作状態の判定処理の一例を示すフロー図である。
 以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 以下では、本発明の一実施形態に係るリモートコントローラ100について説明する。ただし、本発明は、リモートコントローラ100に限らず、タッチパネルディスプレイ101を搭載した携帯情報端末(PDA)、携帯電話等、携帯型の情報処理装置にも同様に適用することができる。
[1.リモートコントローラシステムの構成]
 図1は、本発明の一実施形態に係るリモートコントローラ100を含むリモートコントローラシステムを示す図である。図1に示すように、リモートコントローラシステムは、タッチパネルディスプレイ101を搭載したリモートコントローラ100、およびリモートコントローラ100を通じて操作されるテレビ10を含む。なお、テレビ10は、リモートコントローラ100を通じて操作される電子機器の一例である。
 リモートコントローラシステムでは、少なくともリモートコントローラ100からテレビ10の方向に有線通信または無線通信が行われる。リモートコントローラ100-テレビ10間の通信は、直接的に行われてもよく、不図示のネットワーク等を介して間接的に行われてもよい。
 リモートコントローラ100は、テレビ10を操作するための操作用アイコン等をタッチパネルディスプレイ101に表示する。アイコン選択等の操作入力が行われると、リモートコントローラ100は、操作入力に応じて所定の操作コマンドCをテレビ10に送信する。テレビ10は、操作コマンドCを受信し、操作コマンドCに応じて所定の動作Aを行う。
 ユーザーは、通常、利き手によりリモートコントローラ100を把持して利き手によりタッチパネルディスプレイ101を操作し、または利き手と異なる手によりリモートコントローラ100を把持して利き手によりタッチパネルディスプレイ101を操作する。そして、リモートコントローラ100は、所定の時点でリモートコントローラ100の操作状態を判定し、操作用アイコン等、GUIの表示を変更する。
 操作状態の判定に際して、リモートコントローラ100は、所定の移動方向Ddを指定し、指定に従ってタッチパネルディスプレイ101上で移動される指Pの移動方向Daを検出する。そして、リモートコントローラ100は、指定した移動方向Ddと、検出した移動方向Daの差異Δに基づいて、自装置の操作状態を判定する。
 ここで、右手によりリモートコントローラ100を把持して右手の親指Pによりタッチパネルディスプレイ101を操作する場合について説明する。この場合、タッチパネルディスプレイ101上で(パネル面に平行して)親指Pを真直ぐ上方向Ddに移動させようとしても、右手の構造に起因して、親指の移動方向Daが右上方向に傾斜してしまう。よって、指定に従って移動される指Pの移動方向Daを検出し、指定した移動方向Ddと検出した移動方向Daの差異Δに基づいて、リモートコントローラ100の操作状態を判定することができる。
[2.リモートコントローラ100の構成]
 図2は、本発明の実施形態に係るリモートコントローラ100の主要な機能構成を示すブロック図である。図2に示すように、リモートコントローラ100は、タッチパネルディスプレイ101、制御部103、メモリ105、通信部107を含む。
 タッチパネルディスプレイ101は、表示パネル101aにタッチパネル101b(検出部)が積層された構成を有する。表示パネル101aとしては、液晶ディスプレイ(LCD)等が利用される。タッチパネル101bとしては、抵抗膜方式、静電容量方式、超音波方式、赤外線方式等のパネルが利用される。
 タッチパネル101bは、パネル面に対する指Pの接触状態を検出する。なお、他の実施形態では、接触状態に代えてまたは接触状態に加えて、指Pの近接状態を検出してもよい。タッチパネル101bは、タッチパネル101bに指Pが接触した時点で接触信号を制御部103に供給し、タッチパネル101bから指Pが離れた時点で解除信号を制御部103に供給する。
 また、タッチパネル101bは、タッチパネル101bに指Pが接触している間、接触位置に対応した座標信号を制御部103に供給する。ここで、座標信号は、タッチパネル101bに対する接触位置のX-Y座標を表している。なお、以下の説明では、タッチパネル101bの左右方向をX方向(左方向を-、右方向を+)、上下方向をY方向(上方向を+、下方向を-)として定義する。
 制御部103は、CPU、RAM、ROM等を含み、CPUは、RAMを作業メモリとして用いて、ROMに格納されているプログラムを実行し、リモートコントローラ100の各部を制御する。プログラムは、リモートコントローラ100の操作状態を判定する判定部、および表示パネル101aの表示を制御する表示制御部として機能する。
 メモリ105は、EEPROM等の不揮発性メモリであり、アイコンデータ、コマンド情報等を格納している。通信部107は、ユーザーによる操作入力に応じて、所定の操作コマンドCをテレビ10に送信する。
 制御部103は、タッチパネル101bから供給された座標信号をデコードして座標データを生成し、座標データおよび接触/解除信号に基づいて、リモートコントローラ100の各部を制御する。制御部103は、ユーザーによる操作入力に応じて、操作入力に応じたコマンド情報をメモリ105から読み出し、通信部107に供給する。通信部107は、コマンド情報に基づいて、所定の操作コマンドCをテレビ10に送信する。
 制御部103は、メモリ105に記憶されているアイコンデータを読出してGUI画面の表示データを生成し、表示データを表示パネル101aに供給する。表示パネル101aは、表示データに基づいてGUI画面を表示する。制御部103は、後述するように、リモートコントローラ100の操作状態に応じてアイコンの形状・配置等が変更されるように、GUI画面の表示データを生成する。
 制御部103は、後述するように、所定の時点で所定の移動方向Ddを指定するメッセージMsgを生成し、ユーザーに通知する。なお、メッセージMsgは、表示パネル101aを用いて視覚的に通知されてもよく、不図示のスピーカを用いて聴覚的に通知されてもよい。
 移動方向Ddは、例えば、タッチパネル101bに対して上方向、下方向、左方向、右方向のいずれかとして指定される。移動方向Ddは、タッチパネル101bに対する移動方向として指定される。この場合、例えば「表示画面に沿って指を真直ぐ上方向に移動して下さい。」というメッセージMsgが通知される。
 また、移動方向Ddは、タッチパネル101bに対する移動方向を特定可能な2以上の点として指定されてもよい。この場合、例えば「表示画面の下端で任意の点を指で指示した後に、表示画面の上端でその点の真直ぐ上に位置する点を指で指示して下さい。」というメッセージMsgが通知される。
 制御部103は、指定した移動方向Ddと、指定に従ってタッチパネル101b上で移動される指Pの移動方向Daの差異Δに基づいて、リモートコントローラ100の操作状態を判定する。そして、制御部103は、指定した移動方向Ddと検出した移動方向Daの差異Δに基づいて、リモートコントローラ100の操作状態を判定する。
 移動方向を指定する場合、指Pの移動方向Daは、ドラッグ操作またはフリック動作に応じて、タッチパネル101b上で連続的に検出される指Pの移動軌跡から求められる。なお、ドラッグ動作とは、タッチパネル101bに指Pを接触させた状態で指Pを移動させる動作であり、フリック動作とは、タッチパネル101bを指Pで任意の方向に弾くような動作である。この場合、指Pの移動方向Daは、接触信号の検出時点の座標データ(移動始点)と、解除信号の検出直前の座標データ(移動終点)の座標差から求められる。
 一方、移動方向を特定可能な点を指定する場合、指Pの移動方向Daは、ポインティング動作に応じて、タッチパネル101b上で一方の点と他方の点の間で離散的に検出される指Pの移動座標から求められる。ポインティング動作とは、タッチパネル101bの任意の点を指Pにより指示する動作である。この場合、指Pの移動方向Daは、一方の点に対するポインティングの検出時点の座標データ(移動始点)と、他方の点に対するポインティングの検出時点の座標データ(移動終点)の座標差から求められる。
 [3.リモートコントローラ100の動作]
 以下では、図3~図5を参照しながら、リモートコントローラ100の動作について説明する。図3は、リモートコントローラ100の動作を示すフロー図である。図4は、リモートコントローラ100の動作を説明するための図である。図5は、操作状態に応じたGUIの構成の変更を示す図である。
 図3に示すように、制御部103は、所定の時点が到来すると、操作状態の判定処理を開始する(ステップS101)。所定の時点は、所定の操作入力の時点でもよく、リモートコントローラ100の起動時等、所定の処理時点でもよい。
 判定処理を開始すると、制御部103は、所定の移動方向Ddを指定するメッセージMsgをユーザーに通知する(S103)。例えば図4では、「表示画面に沿って指を真直ぐ上方向に移動して下さい。」というメッセージMsgが表示されている(状態ST4a)。
 メッセージMsgが表示され、メッセージMsgに応じた操作入力が行われると、リモートコントローラ100は、操作入力を検出する(S105)。例えば図4では、ユーザーは、タッチパネル101b(タッチパネルディスプレイ101)上で右手の親指Pを真直ぐ上方向に移動しようとするが、右手の構造に起因して、指Pが僅かに右上方向に傾斜して移動されている(状態ST4b)。
 操作入力が検出されると、制御部103は、指Pの移動始点M0と移動終点M1の座標差に基づいて、指Pの移動方向Daを求める(S107)。移動方向Daを求めると、制御部103は、指定した移動方向Ddと検出した移動方向Daの差異Δに基づいて、リモートコントローラ100の操作状態を判定する(S109)。操作状態としては、片手により操作している状態と、両手により操作している状態が判別され、さらに、左手により操作している状態と右手により操作している状態が判別される。ここで、操作状態を判定できた場合に、制御部103は、判定結果に応じてGUIの構成を変更する(S111)。
 図5には、操作状態に応じたGUIの構成の変更例が示されている。状態ST5aが右手操作時の変更例であり、状態ST5bが両手操作時の変更例である。
 右手操作時には、右手の親指Pによる操作性を向上させるために、少なくとも一部のアイコンがタッチパネル101bの右下側に移動される(状態ST5a)。図5では、チャンネル切替ボタンおよび音量調節ボタンが移動されている。ここで、移動されるアイコンは、操作頻度の高いアイコンでもよい。また、片手操作時の操作性を向上させるために、両手操作時に比して、少なくとも一部のアイコンのサイズが拡大されてもよい。
 一方、両手操作時には、両手操作時の操作性を向上させるために、片手操作時に比して、多くのアイコンがタッチパネル101bに表示される(状態ST5b)。図5では、状態ST5aの場合に比して、多くのアイコンが表示されている。また、片手操作時に比して、少なくとも一部のアイコンのサイズが縮小されてもよい。
 [4.操作状態の判定処理]
 以下では、図6~図8を参照しながら、操作状態の判定処理について説明する。図6は、操作状態に応じた指Pの移動状態を示す図である。図7A~7Cは、右手操作時、左手操作時、両手操作時に検出される指Pの移動方向Daを示す図である。図8は、操作状態の判定処理の一例を示すフロー図である。
 図6の状態ST6aに示すように、右手操作時には、リモートコントローラ100が右手に把持され、右手の親指Pの付け根部がリモートコントローラ100の右下に位置する。タッチパネル101b上で親指Pを移動させると、親指Pが付け根部を軸として動作することになる。よって、ユーザーが直線方向を意図して親指Pを移動させても、親指Pが付け根部を軸として円弧を描くように移動し易くなる。なお、左手操作時の移動状態も右手操作時の移動状態と同様に説明することができる。
 一方、図6の状態ST6bに示すように、両手操作時には、リモートコントローラ100が一方の手(例えば左手)により把持され、他方の手(例えば右手)の人差し指P等がタッチパネル101b(タッチパネルディスプレイ101)上で移動される。ここで、他方の手の指Pは、リモートコントローラ100を把持している左手に関係せずに、タッチパネル101b上で自由に移動される。よって、ユーザーが直線方向を意図して人指し指Pを移動させると、人指し指Pが直線を描くように移動し易くなる。なお、図6では、移動操作の始点M0と終点M1でX方向の座標差ΔXが示されていないが、通常、僅かな座標差ΔXが生じうる。
 図7Aには、右手操作時に検出される指Pの移動方向Daが示されている。この場合、上方向の移動操作を指定した場合には、移動方向Daが右方向に傾き(状態ST7Aa)、下方向の移動操作を指定した場合には、移動方向Daが左方向に傾き易くなる(状態ST7Ab)。また、左方向の移動操作を指定した場合には、移動方向Daが下方向に傾き(状態ST7Ac)、右方向の移動操作を指定した場合には、移動方向Daが上方向に傾き易くなる(状態ST7Ad)。
 図7Bには、左手操作時に検出される指Pの移動方向Daが示されている。この場合、上方向の移動操作を指定した場合には、移動方向Daが左方向に傾き(状態ST7Ba)、下方向の移動操作を指定した場合には、移動方向Daが右方向に傾き易くなる(状態ST7Bb)。また、左方向の移動操作を指定した場合には、移動方向Daが上方向に傾き(状態ST7Bc)、右方向の移動操作を指定した場合には、移動方向Daが下方向に傾き易くなる(状態ST7Bd)。
 図7Cには、両手操作時に検出される指Pの移動方向Daが示されている。この場合、上下左右いずれの方向の移動操作Ddを指定した場合でも、通常、指が指定した方向に移動されるので、移動方向Daが特定の方向に傾き難くなる(状態ST7Ca~ST7Cd)。
 図8には、操作状態の判定処理の一例が示されている。図8に示す判定処理では、制御部103は、まず、タッチパネル101bに対して上方向の移動操作をユーザーに促す(ステップS201)。
 制御部103は、上方向の移動操作の始点M0と終点M1のX方向の座標差ΔX(終点座標-始点座標)の絶対値|ΔX|が第1の閾値未満Δth1であるかを判定する(S203)。そして、判定条件に該当すれば、制御部103は、両手操作であると判断する(S205)。
 ステップS203の判定条件に該当しなければ、制御部103は、絶対値|ΔX|が第2の閾値Δth2(≧第1の閾値Δth1)以上であるかを判定する(S207)。ここで、閾値Δth2を用いて絶対値|ΔX|を判定することで、操作状態の誤判定が防止される。
 そして、判定条件に該当すれば、制御部103は、座標差ΔXが正値であるかを判定する(S209)。そして、制御部103は、座標差ΔXが正値である場合に右手操作であると判断し(S211)、座標値ΔXが負値である場合に左手操作であると判断する(S213)。
 一方、ステップS207の処理で、絶対値|ΔX|が閾値Δth2未満であると判定された場合に、制御部103は、タッチパネル101bに対して右方向の移動操作をユーザーに促す(S215)。
 制御部103は、右方向の移動操作の始点座標M0と終点座標M1のY方向の座標差ΔY(終点座標-始点座標)の絶対値|ΔY|が第2の閾値Δth2以上であるかを判定する(S217)。ここでも、閾値Δth2を用いて絶対値|ΔY|を判定することで、操作状態の誤判定が防止される。
 そして、判定条件に該当すれば、制御部103は、座標差ΔYが正値であるかを判定する(S219)。そして、制御部103は、座標差ΔYが正値である場合に右手操作であると判断し(S221)、座標値ΔYが負値である場合に左手操作であると判断する(S223)。
 一方、ステップS217の処理で、絶対値|ΔY|が閾値Δth2未満であると判定された場合に、制御部103は、上方向および右方向の移動操作時の判定結果を組合せて操作状態を判定する。これにより、絶対値|ΔX|、|ΔY|が小さい場合でも、互いに異なる方向の移動操作時の判定結果を用いて操作状態を判定することができる。
 制御部103は、X方向およびY方向の座標差ΔX、ΔYの両方が正値であるかを判定する(S225)。そして、制御部103は、判定条件に該当する場合に右手操作であると判断する(S227)。
 一方、判定条件に該当しない場合、制御部103は、X方向およびY方向の座標差ΔX、ΔYの両方が負値であるかを判定する(S229)。そして、制御部103は、判定条件に該当する場合に左手操作であると判断し(S231)、判定条件に該当しない場合に判定不能であると判断する(S233)。
 なお、上記例では、ステップS203の処理で第1の閾値Δth1を用いて両手操作を判定している。しかし、ステップS229の判定条件に該当しない場合に、判定不能であると判断する代わりに、両手操作であると判断してもよい。また、ステップS215の後に右方向の移動操作時のY方向の座標差ΔYの絶対値|ΔY|が閾値Δth1未満であるかを判定し、判定条件に該当する場合に、両手操作であると判断してもよい。
 また、上記例では、上方向および右方向の移動操作時の判定結果を用いて操作状態を判定している。しかし、互いに異なる方向の移動操作であれば、例えば、上方向と下方向、上方向と左方向、左方向と右方向等、いずれの方向の移動操作の判定結果を用いてもよい。ただし、互いに直交する方向の移動操作の判定結果を用いた場合には、タッチパネル101bのアスペクト比に起因して、移動方向Dd、Daの差異Δが生じ易いので、操作状態を高い精度で判定することができる。
 また、上記例では、ステップS225以降の処理で、上方向および右方向の移動操作時の判定結果を組合せて操作状態を判定しているが、ステップS217の処理で判定条件に該当しない場合に判定不能と判断してもよい。
 また、上記例では、上方向の移動操作時の閾値と右方向の移動操作時の閾値として、同一の閾値Δth2を用いているが、例えばΔth2とΔth2´等、異なる閾値を用いてもよい。
 [5.まとめ]
 以上説明したように、本発明の一実施形態に係るリモートコントローラ100によれば、指定した移動方向Ddと、指定に従って表示パネル101a上で移動される指Pの移動方向Daの差異Δに基づいて、リモートコントローラ100の操作状態が判定される。リモートコントローラ100を片手で操作している場合には、指定した移動方向Ddと指Pの移動方向Daには、手の構造に起因して、操作に用いられる指Pに応じた差異Δが生じ易くなる。一方、リモートコントローラ100を両手で操作している場合には、指定した移動方向Ddと指Pの移動方向Daには、操作に用いられる指Pに応じた差異Δが生じ難くなる。このため、移動方向Dd、Daの差異Δに基づいて、リモートコントローラ100の操作状態を容易かつ正確に判定することができる。
 以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
 例えば、上記実施形態では、タッチパネル101bに対して上下左右の移動方向Ddが指定される場合について説明した。しかし、例えば、タッチパネル101bの対角線に沿って斜めの移動方向Ddが指定されてもよい。この場合、指定した対角線沿いの移動方向Ddと、検出した移動方向Daの差異Δ(角度差)に基づいて、リモートコントローラ100の操作状態を判定することができる。
 また、上記実施形態では、タッチパネル101bに接触する指Pの移動方向Daを検出する場合について説明した。しかし、タッチパネル101に近接する指の移動方向Daを検出してもよい。
  100  リモートコントローラ
  101  タッチパネルディスプレイ
  101a  表示パネル
  101b  タッチパネル
  103  制御部
  105  メモリ
  107  通信部

Claims (14)

  1.  表示パネルと、
     前記表示パネル上で移動される指を検出する検出部と、
     所定の移動方向を指定し、前記指定した移動方向と、前記指定に従って前記表示パネル上で移動される指の移動方向の差異に基づいて、自装置の操作状態を判定する判定部と、
     を備える、情報処理装置。
  2.  前記判定部は、互いに異なる複数の移動方向を指定し、前記指定した各移動方向と、前記指定に従って前記表示パネル上で移動される指の各移動方向の差異に基づいて、自装置の操作状態を判定する、請求項1に記載の情報処理装置。
  3.  前記判定部は、互いに直交する複数の移動方向を指定する、請求項2に記載の情報処理装置。
  4.  操作状態の判定結果に応じて、前記表示パネルの表示を制御する表示制御部をさらに備える、請求項1に記載の情報処理装置。
  5.  前記判定部は、自装置を一方の手に把持して一方の手により操作している操作状態と、自装置を一方の手に把持して他方の手により操作している操作状態を判別する、請求項1に記載の情報処理装置。
  6.  前記判定部は、自装置を左手に把持して左手により操作している操作状態と、自装置を右手に把持して右手により操作している操作状態を判別する、請求項5に記載の情報処理装置。
  7.  前記判定部は、前記指定に従って前記表示パネル上で移動される指の移動始点と移動終点の座標差に基づいて、前記指の移動方向を求める、請求項1に記載の情報処理装置。
  8.  前記所定の移動方向は、前記表示パネルに対する上方向、下方向、左方向、右方向のいずれかの方向として指定される、請求項1に記載の情報処理装置。
  9.  前記判定部は、前記表示パネルに対する移動方向を指定し、前記指定に従って前記表示パネル上で連続的に検出される指の移動軌跡から前記指の移動方向を求める、請求項8に記載の情報処理装置。
  10.  前記判定部は、前記表示パネルに対する移動方向を特定可能な2以上の点を指定し、前記指定に従って前記表示パネル上で一方の点と他方の点の間で離散的に検出される指の移動座標から前記指の移動方向を求める、請求項8に記載の情報処理装置。
  11.  片手により操作可能な装置である、請求項1に記載の情報処理装置。
  12.  電子機器を操作するリモートコントローラである、請求項11に記載の情報処理装置。
  13.  情報処理装置によって、
     所定の移動方向を指定し、
     前記指定した移動方向と、前記指定に従って表示パネル上で移動される指の移動方向に基づいて、自装置の操作状態を判定する、情報処理方法。
  14.  情報処理装置によって、
     所定の移動方向を指定し、
     前記指定した移動方向と、前記指定に従って表示パネル上で移動される指の移動方向に基づいて、自装置の操作状態を判定する、情報処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2010/064770 2009-10-01 2010-08-31 情報処理装置、情報処理方法およびプログラム WO2011040165A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
BR112012006663A BR112012006663A2 (pt) 2009-10-01 2010-08-31 aparelho de processamento de informação, método de processamento de informação e programa
US13/497,984 US10042386B2 (en) 2009-10-01 2010-08-31 Information processing apparatus, information processing method, and program
RU2012111262/08A RU2012111262A (ru) 2009-10-01 2010-08-31 Устройство обработки информации, способ обработки информации и программа
CN201080054318.8A CN102640102B (zh) 2009-10-01 2010-08-31 信息处理装置、信息处理方法
EP10820285.4A EP2469386B1 (en) 2009-10-01 2010-08-31 Information processing device, information processing method and program
US16/025,690 US10936011B2 (en) 2009-10-01 2018-07-02 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-229481 2009-10-01
JP2009229481A JP5458783B2 (ja) 2009-10-01 2009-10-01 情報処理装置、情報処理方法およびプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/497,984 A-371-Of-International US10042386B2 (en) 2009-10-01 2010-08-31 Information processing apparatus, information processing method, and program
US16/025,690 Continuation US10936011B2 (en) 2009-10-01 2018-07-02 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2011040165A1 true WO2011040165A1 (ja) 2011-04-07

Family

ID=43825996

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/064770 WO2011040165A1 (ja) 2009-10-01 2010-08-31 情報処理装置、情報処理方法およびプログラム

Country Status (7)

Country Link
US (2) US10042386B2 (ja)
EP (1) EP2469386B1 (ja)
JP (1) JP5458783B2 (ja)
CN (1) CN102640102B (ja)
BR (1) BR112012006663A2 (ja)
RU (1) RU2012111262A (ja)
WO (1) WO2011040165A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970442A (zh) * 2012-12-06 2013-03-13 江苏诚迈科技有限公司 一种在智能触屏手机上处理来电的方法
EP2541385A3 (en) * 2011-06-29 2014-02-19 Sony Corporation Information processing apparatus, information processing method, program and remote control system

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5370144B2 (ja) * 2009-12-28 2013-12-18 ソニー株式会社 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム
KR101824388B1 (ko) * 2011-06-10 2018-02-01 삼성전자주식회사 사용자의 신체특성을 고려한 동적 사용자 인터페이스 제공 장치 및 방법
JP5875337B2 (ja) * 2011-11-16 2016-03-02 クラリオン株式会社 入力装置
JP5855481B2 (ja) * 2012-02-07 2016-02-09 シャープ株式会社 情報処理装置、その制御方法およびその制御プログラム
TWM450762U (zh) * 2012-04-23 2013-04-11 shun-fu Luo 全新的一筆畫操作控制之裝置
TWM448713U (zh) * 2012-11-12 2013-03-11 shun-fu Luo 軌跡輸入及辨識操作控制之裝置
JP6319298B2 (ja) * 2013-03-27 2018-05-09 日本電気株式会社 情報端末、表示制御方法及びそのプログラム
JP6253284B2 (ja) * 2013-07-09 2017-12-27 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
CN104641341B (zh) 2013-08-20 2018-08-21 华为技术有限公司 一种手持设备和在手持设备上实现输入区位置调整的方法
US9229612B2 (en) 2013-08-27 2016-01-05 Industrial Technology Research Institute Electronic device, controlling method for screen, and program storage medium thereof
KR102282498B1 (ko) * 2014-05-19 2021-07-27 삼성전자주식회사 디스플레이를 이용한 입력 처리 방법 및 장치
US9760758B2 (en) * 2015-12-30 2017-09-12 Synaptics Incorporated Determining which hand is being used to operate a device using a fingerprint sensor
CN108594995A (zh) * 2018-04-13 2018-09-28 广东小天才科技有限公司 一种基于手势识别的电子设备操作方法及电子设备
JP7353491B2 (ja) * 2020-06-15 2023-09-29 三菱電機株式会社 表示制御装置および表示制御方法
US11513604B2 (en) 2020-06-17 2022-11-29 Motorola Mobility Llc Selectable response options displayed based-on device grip position
US20230221838A1 (en) * 2022-01-13 2023-07-13 Motorola Mobility Llc Configuring An External Presentation Device Based On User Handedness
US11726734B2 (en) 2022-01-13 2023-08-15 Motorola Mobility Llc Configuring an external presentation device based on an impairment of a user

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110286A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
JP2009163278A (ja) * 2007-12-21 2009-07-23 Toshiba Corp 携帯型機器

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069346A (ja) * 1996-08-28 1998-03-10 Alps Electric Co Ltd 座標入力装置およびその制御方法
JPH10232735A (ja) * 1997-02-18 1998-09-02 Sharp Corp 情報機器の入力装置
JP2000347800A (ja) * 1999-06-03 2000-12-15 Alps Electric Co Ltd ポインティングカーソルの校正装置及びポインティングカーソルの校正方法
US6714221B1 (en) * 2000-08-03 2004-03-30 Apple Computer, Inc. Depicting and setting scroll amount
JP4096164B2 (ja) * 2002-06-10 2008-06-04 日本電気株式会社 ポインティングデバイスのセットアップ方法と該方法を記録した記録媒体および携帯端末
US20040204129A1 (en) * 2002-08-14 2004-10-14 Payne David M. Touch-sensitive user interface
JP2004252715A (ja) * 2003-02-20 2004-09-09 Dainippon Printing Co Ltd 画像出力装置、プログラム、記録媒体、画面表示方法
US7565623B2 (en) 2004-04-30 2009-07-21 Microsoft Corporation System and method for selecting a view mode and setting
KR100608576B1 (ko) * 2004-11-19 2006-08-03 삼성전자주식회사 휴대 단말기 제어 장치 및 방법
JP3833228B2 (ja) * 2004-12-01 2006-10-11 任天堂株式会社 ゲーム装置およびゲームプログラム
US7932895B2 (en) * 2005-05-24 2011-04-26 Nokia Corporation Control of an electronic device using a gesture as an input
WO2006126310A1 (ja) * 2005-05-27 2006-11-30 Sharp Kabushiki Kaisha 表示装置
US7480870B2 (en) * 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP2007264808A (ja) * 2006-03-27 2007-10-11 Nikon Corp 表示入力装置及び撮像装置
KR20070113025A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
JP4699955B2 (ja) * 2006-07-21 2011-06-15 シャープ株式会社 情報処理装置
US20080055263A1 (en) * 2006-09-06 2008-03-06 Lemay Stephen O Incoming Telephone Call Management for a Portable Multifunction Device
US7941760B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Soft keyboard display for a portable multifunction device
RU63947U1 (ru) 2006-12-20 2007-06-10 Государственное образовательное учреждение высшего профессионального образования "Пермский государственный университет" Универсальное информационное устройство
US7872652B2 (en) * 2007-01-07 2011-01-18 Apple Inc. Application programming interfaces for synchronization
US7903115B2 (en) * 2007-01-07 2011-03-08 Apple Inc. Animations
JPWO2009031214A1 (ja) * 2007-09-05 2010-12-09 パナソニック株式会社 携帯端末装置、及び表示制御方法
US20090109183A1 (en) * 2007-10-30 2009-04-30 Bose Corporation Remote Control of a Display
JP2009140368A (ja) * 2007-12-07 2009-06-25 Sony Corp 入力装置、表示装置、入力方法、表示方法及びプログラム
US8395584B2 (en) * 2007-12-31 2013-03-12 Sony Corporation Mobile terminals including multiple user interfaces on different faces thereof configured to be used in tandem and related methods of operation
JP2009169820A (ja) * 2008-01-18 2009-07-30 Panasonic Corp 携帯端末
US9152309B1 (en) * 2008-03-28 2015-10-06 Google Inc. Touch screen locking and unlocking
JP4533943B2 (ja) * 2008-04-28 2010-09-01 株式会社東芝 情報処理装置、表示制御方法およびプログラム
JP5045559B2 (ja) * 2008-06-02 2012-10-10 富士通モバイルコミュニケーションズ株式会社 携帯端末
GB2462579A (en) * 2008-06-10 2010-02-17 Sony Service Ct Touch screen display including proximity sensor
JP4632102B2 (ja) * 2008-07-17 2011-02-16 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
EP3654141A1 (en) * 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
CN101770299B (zh) * 2008-12-26 2013-11-06 深圳富泰宏精密工业有限公司 导航键功能实现系统及方法
US8451238B2 (en) * 2009-09-02 2013-05-28 Amazon Technologies, Inc. Touch-screen user interface
US8531515B2 (en) * 2009-09-29 2013-09-10 Olympus Imaging Corp. Imaging apparatus
JP5370144B2 (ja) * 2009-12-28 2013-12-18 ソニー株式会社 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム
US20110231796A1 (en) * 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
US8810509B2 (en) * 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
US8933910B2 (en) * 2010-06-16 2015-01-13 Panasonic Intellectual Property Corporation Of America Information input apparatus, information input method, and program
US8698764B1 (en) * 2010-06-30 2014-04-15 Amazon Technologies, Inc. Dorsal touch input
KR20120040617A (ko) * 2010-10-19 2012-04-27 최재숙 방향성 센서와 무방향성 센서를 겸비한 포인팅 장치 및 포인팅 데이터 입력 방법
WO2012176371A1 (ja) * 2011-06-24 2012-12-27 株式会社村田製作所 携帯機器
JP5790203B2 (ja) * 2011-06-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および遠隔操作システム
US20130067366A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Establishing content navigation direction based on directional user gestures
JP2013117885A (ja) * 2011-12-02 2013-06-13 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
KR20140062233A (ko) * 2012-11-14 2014-05-23 삼성전자주식회사 휴대 단말기의 바로가기 잠금 해제 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110286A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
JP2009163278A (ja) * 2007-12-21 2009-07-23 Toshiba Corp 携帯型機器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2541385A3 (en) * 2011-06-29 2014-02-19 Sony Corporation Information processing apparatus, information processing method, program and remote control system
CN102880405B (zh) * 2011-06-29 2017-11-03 索尼公司 信息处理装置以及信息处理方法
CN102970442A (zh) * 2012-12-06 2013-03-13 江苏诚迈科技有限公司 一种在智能触屏手机上处理来电的方法

Also Published As

Publication number Publication date
CN102640102B (zh) 2016-08-03
EP2469386A1 (en) 2012-06-27
RU2012111262A (ru) 2013-10-27
CN102640102A (zh) 2012-08-15
JP5458783B2 (ja) 2014-04-02
US10042386B2 (en) 2018-08-07
JP2011076521A (ja) 2011-04-14
EP2469386B1 (en) 2019-03-20
US20180314294A1 (en) 2018-11-01
US10936011B2 (en) 2021-03-02
BR112012006663A2 (pt) 2016-05-03
EP2469386A4 (en) 2014-03-05
US20120176336A1 (en) 2012-07-12

Similar Documents

Publication Publication Date Title
JP5458783B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5790203B2 (ja) 情報処理装置、情報処理方法、プログラム、および遠隔操作システム
JP6618122B2 (ja) 入力装置およびタッチパネルの制御方法
US9733752B2 (en) Mobile terminal and control method thereof
KR20170062954A (ko) 사용자 단말장치 및 디스플레이 방법
JP6157885B2 (ja) 携帯端末装置の表示制御方法
JP2012190318A (ja) 電子機器
KR20130005733A (ko) 터치 내비게이션 기능을 운용하는 방법 및 이를 지원하는 모바일 단말기
JP6508122B2 (ja) 操作入力装置、携帯端末及び操作入力方法
KR20140047515A (ko) 데이터 입력을 위한 전자 장치 및 그 운용 방법
US9244564B2 (en) Information processing apparatus touch panel display and control method therefor
JP2011065252A (ja) 入力表示ボード兼テーブル
JP6235349B2 (ja) タッチ操作機能付表示装置
JP2010198290A (ja) 入力装置、ポインタの表示位置調整方法およびプログラム
JP2009098990A (ja) 表示装置
JP2015176311A (ja) 端末及び制御方法
WO2013080425A1 (ja) 入力装置、情報端末、入力制御方法、および入力制御プログラム
KR20140079959A (ko) 제어영역을 이용한 터치스크린 제어방법 및 이를 이용한 단말
JP5965001B2 (ja) 電子機器
US20070042805A1 (en) Communications device comprising a touch-sensitive display unit and an actuating element for selecting highlighted characters
JP2018032428A (ja) タッチ操作機能付表示装置およびタッチ入力の識別方法
JP2015207310A (ja) 電子機器、位置指定方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080054318.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10820285

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010820285

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012111262

Country of ref document: RU

Ref document number: 13497984

Country of ref document: US

Ref document number: 2676/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012006663

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012006663

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120323