WO2014010458A1 - 操作処理装置および操作処理方法、並びにプログラム - Google Patents

操作処理装置および操作処理方法、並びにプログラム Download PDF

Info

Publication number
WO2014010458A1
WO2014010458A1 PCT/JP2013/068081 JP2013068081W WO2014010458A1 WO 2014010458 A1 WO2014010458 A1 WO 2014010458A1 JP 2013068081 W JP2013068081 W JP 2013068081W WO 2014010458 A1 WO2014010458 A1 WO 2014010458A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
unit
display unit
input unit
display
Prior art date
Application number
PCT/JP2013/068081
Other languages
English (en)
French (fr)
Inventor
宏之 水沼
野田　卓郎
山野　郁男
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/409,620 priority Critical patent/US9891729B2/en
Priority to JP2014524747A priority patent/JPWO2014010458A1/ja
Publication of WO2014010458A1 publication Critical patent/WO2014010458A1/ja
Priority to US15/866,519 priority patent/US10248234B2/en
Priority to US16/286,332 priority patent/US10860121B2/en
Priority to US17/093,819 priority patent/US11487368B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and particularly relates to an information processing device, an information processing method, and a program that can provide a user interface that is easier to use.
  • a device having a display unit such as a liquid crystal panel and an input unit such as a touch sensor has been widespread, such as a notebook personal computer.
  • a notebook personal computer is configured such that the relative angle between the display unit and the input unit is in a range from 0 ° to 180 ° (a range from 30 ° to 180 ° such as 120 ° in actual use).
  • the user interface can be operated without a sense of incongruity by adopting a user interface in which the input direction to the input unit is the same as the output direction in which the display changes on the display unit It can be performed.
  • the applicant of the present application has proposed a foldable electronic device having a hinge portion that can make the relative angle between the display portion and the input portion 180 ° or more (see, for example, Patent Document 1). ).
  • the present disclosure has been made in view of such a situation, and is intended to provide a user interface that is easier to use.
  • An operation processing device acquires an input direction acquisition that acquires information indicating an input direction according to the direction generated in response to an operation that instructs a direction performed on an input unit to which an operation is input
  • An output direction indicating unit that indicates a direction in which an image of the display unit is changed in response to an operation on the input unit, a display unit that displays an image, the input unit, and the display
  • a determining unit that determines an orientation of the output direction with respect to the input direction according to a relative positional relationship with the unit.
  • An operation processing method or program acquires information indicating an input direction according to the direction generated in response to an operation instructing a direction performed on an input unit to which an operation is input,
  • the display unit that displays the image is instructed in an output direction that is a direction to change the image of the display unit in response to an operation on the input unit, and the relative positional relationship between the input unit and the display unit , Determining an orientation of the output direction with respect to the input direction.
  • a display that displays an image obtained by acquiring information indicating an input direction according to the direction that is generated in response to an operation that instructs a direction performed on an input unit to which the operation is input
  • An output direction that is a direction in which the display of the image on the display unit is changed in response to an operation on the input unit is instructed to the unit. Then, the direction of the output direction with respect to the input direction is determined according to the relative positional relationship between the input unit and the display unit.
  • a user interface that is easier to use can be provided.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a perspective view showing a configuration example of a first embodiment of an information processing apparatus to which the present technology is applied.
  • the touch operation terminal 11 includes a first housing 12, a second housing 13, a hinge unit 14, an input unit 15, and a display unit 16.
  • the input unit 15 is disposed on one side surface of the first housing 12, and the display unit 16 is disposed on one side surface of the second housing 13.
  • the first casing 12 and the second casing 13 are connected to each other via a hinge section 14 so that the input section 15 and the display section 16 face each other in a closed state.
  • the positional relationship can be relatively changed around 14.
  • the relative angle ⁇ formed between the surface of the input unit 15 of the first housing 12 and the surface of the display unit 16 of the second housing 13 is 0 around the hinge unit 14. It is comprised so that it can change in the range from (degree) to 360 degrees. That is, the hinge unit 14 has a first range in a range from an angle (0 °) at which the input unit 15 and the display unit 16 face each other to an angle (360 °) at which the input unit 15 and the display unit 16 face each other.
  • the housing 12 and the second housing 13 are connected so as to be openable and closable.
  • the touch operation terminal 11 has the surface of the input unit 15 of the first housing 12 and the surface of the display unit 16 of the second housing 13 as shown by the relative angle ⁇ ′ in FIG. It is configured to be able to open at 180 ° or more.
  • the input unit 15 detects the movement of the user's finger using, for example, a change in pressure applied by the user's finger to the surface or a change in static electricity caused by the contact (or proximity) of the user's finger to the surface. .
  • a swipe operation for example, when the user performs an operation (hereinafter referred to as a swipe operation as appropriate) to move in any direction while touching the surface of the input unit 15 with a finger, the input unit 15 moves the user's finger. And the operation information indicating the input direction according to the direction in which the finger moves is acquired.
  • the display unit 16 includes, for example, a liquid crystal panel, an organic EL (Electro Luminescence) panel, and the like, and is an image in which display content is configured by a picture, a photograph, a figure, a character, a GUI (Graphical User Interface), or the like. Display the display screen. Then, the display unit 16 scrolls and displays the display screen or moves a pointer or cursor displayed on the display screen along the output direction corresponding to the user's swipe operation on the input unit 15. To change the display on the display screen.
  • the touch operation terminal 11 is configured as described above, and the user uses the touch operation terminal 11 by adjusting the first casing 12 and the second casing 13 to have a desired relative angle ⁇ . Can do.
  • the touch operation terminal 11 performs an operation process in response to the swipe operation based on the operation information acquired by the input unit 15, and the display screen of the display unit 16.
  • the display of is controlled. For example, when the user performs a swipe operation to move a finger in the horizontal direction, the touch operation terminal 11 performs an operation process so that the display screen of the display unit 16 scrolls in the horizontal direction.
  • the touch operation terminal 11 performs a process of switching the output direction with respect to the input direction according to the relative angle ⁇ between the first casing 12 and the second casing 13.
  • the direction along the hinge part 14 is a horizontal direction.
  • the direction orthogonal to the horizontal direction and orthogonal to the normal line direction ⁇ of the input unit 15, and on the surface of the display unit 16, orthogonal to the horizontal direction and of the display unit 16 The direction perpendicular to the normal direction ⁇ is taken as the vertical direction. That is, as shown in FIG. 2, the vertical direction is a straight line when the relative angle ⁇ is 180 °, and is bent according to the relative angle ⁇ when the relative angle ⁇ is other than 180 °.
  • a predetermined range of the relative angle ⁇ is set for performing the process with the output direction with respect to the input direction as the same direction for the swipe operation in the vertical direction.
  • the touch operation terminal 11 can switch the output direction relative to the input direction depending on whether or not the relative angle ⁇ is within a predetermined range. That is, the touch operation terminal 11 sets the output direction with respect to the input direction to the same direction when the relative angle ⁇ is within the predetermined range, and sets the output direction with respect to the input direction to the reverse direction when the relative angle ⁇ is not within the predetermined range.
  • the predetermined range is set in advance, for example, by evaluating at the development stage whether the user can perform a swipe operation without a sense of incongruity.
  • the touch operation terminal 11 is set to 0 ° to 180 ° as a predetermined range. Accordingly, when the relative angle ⁇ is in the range of 0 ° or more and 180 ° or less (0 ° ⁇ ⁇ ⁇ 180 °), the touch operation terminal 11 outputs the output direction relative to the input direction with respect to the vertical swipe operation. The operation process is performed so that is in the same direction. On the other hand, when the relative angle ⁇ is in the range of greater than 180 ° and less than or equal to 360 ° (180 ° ⁇ ⁇ 360 °), the touch operation terminal 11 outputs the output direction relative to the input direction with respect to the vertical swipe operation. The operation process is performed so that is in the reverse direction.
  • the input direction and the output direction are not switched regardless of the change in the relative angle ⁇ with respect to the horizontal direction (that is, if the input direction is the right direction, the output direction is always the right direction).
  • the operation process is performed as follows. Further, the swipe operation in the vertical direction includes not only the finger movement that completely coincides with the vertical direction but also the finger movement in the oblique direction including the vertical component.
  • FIG. 3A shows the touch operation terminal 11 having a relative angle ⁇ of 90 °
  • FIG. 3B shows the touch operation terminal 11 having a relative angle ⁇ of 180 °
  • Yes. 3C shows the touch operation terminal 11 having a relative angle ⁇ of 270 °
  • FIG. 3D shows the touch operation terminal 11 having a relative angle ⁇ of 360 °. Has been.
  • the touch operation terminal 11 when the relative angle ⁇ between the input unit 15 and the display unit 16 is 270 °, the touch operation terminal 11 causes the output direction OUT to be opposite to the input direction IN.
  • the operation process is performed.
  • FIG. 3D when the relative angle ⁇ between the input unit 15 and the display unit 16 is 360 °, that is, when the display unit 16 is arranged on the back side of the input unit 15, the touch operation terminal 11 is operated so that the output direction OUT is opposite to the input direction IN (here, as described with reference to FIG. 2, the reverse direction in the coordinate system in which the vertical direction is bent according to the relative angle ⁇ ). Process.
  • the touch operation terminal 11 performs an operation process of switching the output direction with respect to the input direction between the same direction and the reverse direction depending on whether or not the relative angle ⁇ is in the range from 0 ° to 180 °.
  • FIG. 4 is a block diagram illustrating a functional configuration example of the operation processing unit of the touch operation terminal 11.
  • the operation processing unit 21 includes an input direction acquisition unit 22, a relative angle detection unit 23, an output direction determination unit 24, and a display instruction unit 25.
  • the operation processing unit 21 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory (for example, EEPROM) built in the touch operation terminal 11. (Electronically Erasable and Programmable Read Only Memory)) and the like, and the function of each unit is realized by the CPU reading and executing the program stored in the ROM or nonvolatile memory into the RAM.
  • the input direction acquisition unit 22 is connected to the input unit 15.
  • operation information is supplied from the input unit 15, and based on the operation information, the input direction by the user's swipe operation is acquired. .
  • the relative angle detection unit 23 is connected to an angle sensor (not shown) attached to the hinge unit 14 and detects the relative angle ⁇ between the first casing 12 and the second casing 13. .
  • the output direction determination unit 24 determines the direction of the output direction with respect to the input direction (same direction or reverse direction) based on the relative angle ⁇ detected by the relative angle detection unit 23. To do. That is, the output direction determination unit 24 performs a process of switching the direction of the output direction with respect to the input direction according to whether or not the relative angle ⁇ is within a predetermined range. For example, as described above, when the relative angle ⁇ is within a predetermined range (for example, 0 ° ⁇ ⁇ ⁇ 180 °), the output direction determination unit 24 sets the output direction to the same direction as the input direction. decide. On the other hand, when the relative angle ⁇ is not within the predetermined range, the output direction determination unit 24 determines that the output direction is opposite to the input direction.
  • a predetermined range for example, 0 ° ⁇ ⁇ 180 °
  • the display instruction unit 25 is connected to the display unit 16 and is a control signal that instructs display of the display screen so that the display on the display screen of the display unit 16 changes in the output direction determined by the output direction determination unit 24. Is supplied to the display unit 16. Accordingly, in the display unit 16, for example, the direction in which the display screen scrolls is the same as the input direction, depending on whether or not the relative angle ⁇ is within a predetermined range (for example, 0 ° ⁇ ⁇ ⁇ 180 °). Switch to either of the opposite directions.
  • the operation processing unit 21 is configured as described above, and the output direction with respect to the input direction acquired by the input direction acquisition unit 22 is determined according to the relative angle ⁇ detected by the relative angle detection unit 23, and the output direction A display instruction is given to the display unit 16 so as to be.
  • FIG. 5 is a flowchart for explaining the operation process executed by the operation processing unit 21.
  • the input unit 15 stands by in a state where a touch operation by the user can be detected, and the process is started when it is detected that a swipe operation has been performed by the user.
  • the input unit 15 supplies the operation information acquired in response to the swipe operation by the user to the input direction acquisition unit 22, and the input direction acquisition unit 22 acquires the input direction from the operation information and determines the output direction.
  • the unit 24 To the unit 24.
  • step S ⁇ b> 12 the relative angle detection unit 23 is based on a signal output from an angle sensor (not shown) attached to the hinge unit 14, and the first casing 12 and the second casing 13. Is detected and supplied to the output direction determination unit 24.
  • step S13 the output direction determination unit 24 determines whether or not the relative angle ⁇ detected by the relative angle detection unit 23 in step S12 is within a predetermined range.
  • step S13 If it is determined in step S13 that the relative angle ⁇ is within the predetermined range, the process proceeds to step S14, and the output direction determination unit 24 outputs the input direction acquired by the input direction acquisition unit 22 in step S11. The direction is determined to be the same direction, and the display instruction unit 25 is notified.
  • step S13 determines that the relative angle ⁇ is not within the predetermined range. If it is determined in step S13 that the relative angle ⁇ is not within the predetermined range, the process proceeds to step S15.
  • step S15 the output direction determination unit 24 determines that the output direction is opposite to the input direction acquired by the input direction acquisition unit 22 in step S11, and notifies the display instruction unit 25 of it.
  • step S14 or S15 the process proceeds to step S16, and the display instruction unit 25 changes the display screen so that the display on the display screen of the display unit 16 changes in the output direction determined by the output direction determination unit 24.
  • a control signal for instructing display is supplied to the display unit 16. Then, after the process of step S16, the operation process ends.
  • the touch operation terminal 11 determines the direction of the output direction with respect to the input direction according to the relative angle ⁇ , and switches the output direction, so that a user interface that does not feel uncomfortable when operated by the user is easier to use. Can be provided.
  • touch operation terminal 11 may display an icon or indicator on the display unit 16 so as to present to the user that the direction of the output direction with respect to the input direction has been switched. Further, the mechanism of the hinge unit 14 may cause the user to sense that the direction of the output direction is switched with respect to the input direction.
  • the touch operation terminal 11 can apply the same operation process to a zoom operation by detecting a plurality of touches.
  • the relative angle ⁇ between the input unit 15 and the display unit 16 may be changed by a mechanical structure other than the hinge unit 14.
  • the operation processing may be performed by detecting the twist of the input unit 15 and the display unit 16.
  • a rotation direction can be applied to the input direction and the output direction.
  • the touch operation terminal 11 turns the output direction to the right when the relative angle ⁇ is within a predetermined range, and turns the output direction to the left when the relative angle ⁇ is not within the predetermined range. It can be a rotation.
  • the touch operation terminal 11 inputs a rotation direction by detecting touches at a plurality of points, detects a touch at one point, and rotates by detecting rotation of a finger touching the one point. You can enter the direction.
  • the angle of the predetermined range for switching the output direction with respect to the input direction is not limited to 180 °, and is set to an appropriate angle depending on the application program executed on the touch operation terminal 11 and the structure of the touch operation terminal 11. coming out. Furthermore, the angle within the predetermined range may be different between the operation of opening and closing the input unit 15 and the display unit 16.
  • the touch operation terminal 11 can adopt a configuration in which the input unit 15 and the display unit 16 are independent in addition to the configuration in which the input unit 15 and the display unit 16 are connected via the hinge unit 14.
  • the input unit 15 and the display unit 16 can each be provided with an acceleration sensor or the like to detect their relative postures and switch the output direction with respect to the input direction.
  • the input unit 15 is not limited to a device having a touch sensor, and for example, various input devices such as buttons, dials, and wheels, that is, an input device that can indicate a direction is adopted. be able to.
  • the display unit 16 displays the swipe operation input amount on the input unit 15 according to the magnitude of the relative angle ⁇ (that is, the amount of movement of the finger while the user is touching).
  • the amount of change that changes the display on the screen can be adjusted. For example, when the relative angle ⁇ is large, the touch operation terminal 11 increases the scrolling speed of the display screen with respect to the input amount of the swipe operation, and when the relative angle ⁇ is small, the touch screen 11 scrolls the display screen with respect to the input amount of the swipe operation.
  • the operation process is performed so as to reduce the noise.
  • the touch operation terminal 11 can perform an operation process so as to adjust the speed at which the cursor moves on the display screen with respect to the input amount of the swipe operation according to the magnitude of the relative angle ⁇ .
  • the touch operation terminal 11 can adjust the scrolling speed of the display screen or the moving speed of the cursor displayed on the display screen according to the positional relationship between the user and the display unit 16.
  • FIG. 6A shows a state where the user faces the display unit 16 facing the front
  • FIG. 6B shows a state where the user leans and faces the display unit 16. The state is shown.
  • the touch operation terminal 11 includes, for example, an imaging device (not shown), and can detect the relative angle between the user's eyes E and the display unit 16 from an image captured by the imaging device.
  • an imaging device not shown
  • the relative angle between the user's eyes E and the display unit 16 is detected as 90 °, and the touch operation is performed.
  • the terminal 11 scrolls the display screen of the display unit 16 at a predetermined scroll speed V in the output direction described above.
  • the touch operation terminal 11 can scroll the display screen of the display unit 16 at the scroll speed V ′ adjusted according to the angle ⁇ with respect to the scroll speed V.
  • the touch operation terminal 11 can adjust the scroll speed of the display screen of the display unit 16 with respect to the input amount of the swipe operation on the input unit 15 according to the angle ⁇ , thereby providing a user interface that is easier to operate. Can be provided.
  • the touch operation terminal 11 may adjust the moving speed of the cursor displayed on the display unit 16 with respect to the input amount of the swipe operation on the input unit 15 according to the angle ⁇ .
  • the touch operation terminal 11 is not limited to the configuration having the hinge portion 14 as shown in FIG.
  • the touch operation terminal 11 has a configuration that can be flexibly bent at an arbitrary position and can change the relative angle ⁇ between the input unit 15 and the display unit 16 at an arbitrary position. Can be adopted.
  • FIG. 7 is a perspective view showing a configuration example of the second embodiment of the touch operation terminal to which the present technology is applied.
  • 7A shows the front side of the touch operation terminal 51
  • FIG. 7B shows the back side of the touch operation terminal 51.
  • the touch operation terminal 51 is generally composed of a soft and flexible thin main body 52, a display unit 53 is arranged on the front side of the main unit 52, and an input unit 54 is arranged on the back side of the main unit 52. Has been configured. That is, the display unit 53 and the input unit 54 are arranged so as to face opposite sides.
  • the input direction and the output direction are reversed as in the state where the relative angle ⁇ shown in D of FIG. 3 is 360 °.
  • the display unit 53 is a flexible display, and similarly to the display unit 16 of FIG. 1, the display screen is controlled in the output direction in which the direction with respect to the input direction is switched according to the relative angle ⁇ .
  • the input unit 54 is a flexible touch panel, and acquires operation information indicating an input direction in response to a user's swipe operation, like the input unit 15 of FIG.
  • the touch operation terminal 51 incorporates an operation processing unit 21 (FIG. 2) mounted on a flexible substrate in the main body 52.
  • the touch operation terminal 51 can be flexibly bent at an arbitrary position so that a part of the input unit 54 faces in the direction (front side) toward the display unit 53. That is, when the touch operation terminal 51 is bent, the relative angle between the display unit 53 and the input unit 54 is changed, and the relative angle can be detected by the relative angle detection unit 23 of the operation processing unit 21.
  • the relative angle detection unit 23 detects that the relative angle is such that a part of the input unit 54 faces in the direction in which the display unit 53 faces, a part of the input unit 54 is detected. An image is displayed on (a part facing the front side of the page in FIG. 8).
  • a part of the input unit 54 can input a swipe operation by the user.
  • the output direction with respect to the input direction is switched between a swipe operation for a part of the input unit 54 facing the front side and a swipe operation for a part of the input unit 54 facing the back side. That is, according to the relative angle detected by the relative angle detection unit 23, the operation process is performed on the part of the input unit 54 that is determined to face the front side so that the input direction and the output direction are the same direction. .
  • the touch operation terminal 51 by bending the touch operation terminal 51 in this way, a part of the input unit 54 faces the front side, so that the area of the back part of the touch operation terminal 51, that is, the area of the input unit 54 facing the back side is Narrow.
  • the touch operation terminal 51 is bent in the opposite direction to that of FIG. 8, that is, when a part of the display unit 53 faces in the direction (back side) toward the input unit 54.
  • the user interface displayed when the display unit 53 and the input unit 54 are bent can be changed.
  • the touch operation terminal 51 operates the display screen displayed on the display unit 53 on a part of the input unit 54 facing the front side by bending the display unit 53 and the input unit 54.
  • the menu screen 55 used for performing the operation can be displayed.
  • the menu screen 55 displays one or more GUIs (Graphical User Interface).
  • the touch operation terminal 51 detects that the terminal is bent, the menu screen 55 is displayed. Furthermore, the touch operation terminal 51 can detect a position to be bent, change the size of the menu screen 55 according to the position, and change the number of GUIs displayed on the menu screen 55. That is, if a part of the input unit 54 facing the front side is increased by bending the touch operation terminal 51, the menu screen 55 is displayed in a large size, and many GUIs are displayed on the menu screen 55.
  • the touch operation terminal 51 in addition to switching the output direction with respect to the input direction according to the angle at which the display unit 53 and the input unit 54 are bent, the output amount (for example, scroll speed) with respect to the input amount may be adjusted. Furthermore, the touch operation terminal 51 can be folded into three or four in addition to the two folded as shown in FIGS. 8 and 9, and the operation process may be different depending on each folding method. .
  • a semi-transparent member can be used as the display unit 53 and the input unit 54, and the display unit 53 can be visually recognized through the input unit 54 by bending. Good.
  • the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
  • the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
  • the program is installed in a general-purpose computer capable of recording from a program recording medium on which the program is recorded.
  • FIG. 10 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU 102 In the computer 101, a CPU 102, a ROM 103, a RAM 104, and an EEPROM 105 are connected to each other via a bus 106. Also, an input / output interface 107 is connected to the bus 106, and external devices such as the input unit 15 and the display unit 16 of FIG. 1 are connected to the input / output interface 107.
  • the CPU 102 loads a program stored in, for example, the ROM 103 or the EEPROM 105 to the RAM 104 via the bus 106 and executes the program, thereby performing the above-described series of processing.
  • the program executed by the computer is stored in advance in the ROM 103 or the EEPROM 105, and is provided via, for example, a recording medium (not shown) or various communication networks, and can be installed in the EEPROM 105.
  • this technique can also take the following structures.
  • An input direction acquisition unit that acquires information indicating an input direction according to the direction generated in response to an operation for instructing a direction performed on an input unit to which an operation is input;
  • An output direction instruction unit for instructing an output direction that is a direction in which an image of the display unit is changed in response to an operation on the input unit with respect to a display unit that displays an image;
  • An operation processing apparatus comprising: a determining unit that determines an orientation of the output direction with respect to the input direction according to a relative positional relationship between the input unit and the display unit.
  • connection part for connecting the input part and the display part to be openable and closable;
  • the operation processing apparatus wherein the determination unit determines a direction of the output direction with respect to the input direction according to a relative angle between the input unit and the display unit with the connection unit as a center.
  • the connection unit connects the input unit and the display unit so that the input unit and the display unit can be opened and closed in a range from an angle at which the input unit and the display unit face each other to an angle at which the input unit and the display unit face opposite sides.
  • the operation processing apparatus according to (1) or (2) above.
  • the output amount along the output direction with respect to the input amount along the input direction is adjusted.
  • any one of (1) to (3) The operation processing device described. (5)
  • the output amount along the output direction with respect to the input amount along the input direction is adjusted according to the relative positional relationship between the user who inputs to the input unit and the display unit.
  • (1) to (4) The operation processing apparatus according to any of the above.
  • the input unit and the display unit are configured to have flexibility that can be flexibly bent at an arbitrary position, and are arranged to face opposite sides. Any one of (1) to (5) The operation processing device according to 1. (7) When the input unit and the display unit are bent so that a part of the input unit faces in the direction of the display unit, the input unit and the display unit are part of the input unit facing the same direction as the display unit.
  • the operation processing apparatus according to any one of (1) to (6), wherein an image is displayed.
  • An image serving as an interface for performing an operation on the image displayed on the display unit is displayed on a part of the input unit facing the same direction as the display unit.
  • (1) to (7) The operation processing device according to any one of the above. (9) Depending on the position where the input unit and the display unit are bent, the content of the interface of the operation screen, which is an image displayed on a part of the input unit, changes to any one of (1) to (8) above The operation processing device described.
  • 11 touch operation terminal 12 first housing, 13 second housing, 14 hinge unit, 15 input unit, 16 display unit, 21 operation processing unit, 22 input direction acquisition unit, 23 relative angle detection unit, 24 output Direction determination unit, 25 display instruction unit, 51 touch operation terminal, 52 main body, 53 display unit, 54 input unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　本開示は、より使い易いユーザインタフェースを提供することができるようにする操作処理装置および操作処理方法、並びにプログラムに関する。 タッチ操作端末は、操作が入力される入力部、および、画面を表示する表示部がヒンジ部により開閉可能に接続されて構成される。そして、入力部に対して行われるスワイプ操作により示された方向を示す入力方向が取得されると、入力部と表示部との相対的な位置関係が検出されて、その相対的な位置関係に従って、入力方向に対する出力方向の向きが決定され、その出力方向に従って表示部の画面の表示がスクロールされる。本技術は、例えば、タッチパネルを備える端末に適用できる。

Description

操作処理装置および操作処理方法、並びにプログラム
　本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、より使い易いユーザインタフェースを提供することができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
　従来、ノート型のパーソナルコンピュータのように、液晶パネルなどの表示部およびタッチセンサなどの入力部を有する装置が普及している。通常、ノート型のパーソナルコンピュータは、表示部と入力部とのなす相対角度は０°から１８０°までの範囲（実際の使用時には１２０°など３０°から１８０°までの範囲）となるように構成されている。そのため、ユーザが入力部に対してタッチ操作を行う場合、入力部に対する入力方向と、表示部において表示が変化する出力方向とが同方向となるユーザインタフェースを採用することで、ユーザは違和感なく操作を行うことができる。
　ところで、本願出願人は、表示部と入力部とのなす相対角度が１８０°以上とすることが可能なヒンジ部を備えた折畳型の電子機器を提案している（例えば、特許文献１参照）。
　このような電子機器において、入力方向と出力方向とが同方向となるユーザインタフェースを用いた場合、相対位置が１８０°から３６０°までの範囲（特に、３６０°近辺）では、ユーザが、入力方向に対する出力方向が逆方向であると感じることがある。なお、表示部および入力部の相対角度が３６０°で固定されている装置、即ち、表示部の背面側に入力部が存在するような装置では、入力方向と出力方向とが同方向となるユーザインタフェースが用いられている。
特開２０１２－０５７６６２号公報
　上述したように、単に、入力方向と出力方向とが同方向となるユーザインタフェースを用いた場合、ユーザが、入力方向に対する出力方向が逆方向であると感じてしまい、違和感なく操作を行うことが難しいことがあった。従って、このような違和感のないように操作を行うことが可能な、より使い易いユーザインタフェースが求められている。
　本開示は、このような状況に鑑みてなされたものであり、より使い易いユーザインタフェースを提供することができるようにするものである。
　本開示の一側面の操作処理装置は、操作が入力される入力部に対して行われる方向を指示する操作に応じて生成される前記方向に従った入力方向を示す情報を取得する入力方向取得部と、画像を表示する表示部に対して、前記入力部に対する操作に応答して前記表示部の画像を変化させる方向である出力方向を指示する出力方向指示部と、前記入力部と前記表示部との相対的な位置関係に従って、前記入力方向に対する前記出力方向の向きを決定する決定部とを備える。
　本開示の一側面の操作処理方法またはプログラムは、操作が入力される入力部に対して行われる方向を指示する操作に応じて生成される前記方向に従った入力方向を示す情報を取得し、画像を表示する表示部に対して、前記入力部に対する操作に応答して前記表示部の画像を変化させる方向である出力方向を指示し、前記入力部と前記表示部との相対的な位置関係に従って、前記入力方向に対する前記出力方向の向きを決定するステップを含む。
　本開示の一側面においては、操作が入力される入力部に対して行われる方向を指示する操作に応じて生成される前記方向に従った入力方向を示す情報が取得され、画像を表示する表示部に対して、入力部に対する操作に応答して表示部の画像の表示を変化させる方向である出力方向が指示される。そして、入力部と表示部との相対的な位置関係に従って、入力方向に対する出力方向の向きが決定される。
　本開示の一側面によれば、より使い易いユーザインタフェースを提供することができる。
本技術を適用したタッチ操作端末の第１の実施の形態の構成例を示す斜視図である。 ヒンジ部を有するタッチ操作端末における水平方向および垂直方向を説明する図である。 入力方向と出力方向との関係を説明する図である。 タッチ操作端末の操作処理部の機能的な構成例を示すブロック図である。 操作処理を説明するフローチャートである。 ユーザとの位置関係に従ったスクロール速度の調整について説明する図である。 本技術を適用したタッチ操作端末の第２の実施の形態の構成例を示す斜視図である。 タッチ操作端末が折り曲げられた状態を示す図である。 タッチ操作端末が折り曲げられることにより表示されるメニュー画面を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　図１は、本技術を適用した情報処理装置の第１の実施の形態の構成例を示す斜視図である。
　図１において、タッチ操作端末１１は、第１の筐体１２、第２の筐体１３、ヒンジ部１４、入力部１５、および表示部１６を備えて構成されている。
　第１の筐体１２の一方の側面には入力部１５が配置されており、第２の筐体１３の一方の側面には表示部１６が配置されている。そして、第１の筐体１２および第２の筐体１３は、閉じられた状態で入力部１５および表示部１６が向かい合うように、ヒンジ部１４を介して開閉可能に接続されており、ヒンジ部１４を中心として相対的に位置関係を変化させることができる。
　例えば、タッチ操作端末１１は、第１の筐体１２の入力部１５の表面と、第２の筐体１３の表示部１６の表面とのなす相対角度θが、ヒンジ部１４を中心として、０°から３６０°までの範囲で変化することができるように構成されている。即ち、ヒンジ部１４は、入力部１５および表示部１６が互いに向かい合う角度（０°）から、入力部１５および表示部１６が互いに反対側を向く角度（３６０°）までの範囲で、第１の筐体１２および第２の筐体１３を開閉可能に接続する。これにより、タッチ操作端末１１は、図１において相対角度θ’で示されるように、第１の筐体１２の入力部１５の表面と、第２の筐体１３の表示部１６の表面とが１８０°以上に開くことが可能となるように構成されている。
　入力部１５は、例えば、ユーザの指が表面にかける圧力の変化や、ユーザの指が表面に接触（または近接）することによる静電気の変化などを利用して、ユーザの指の動きを検知する。例えば、入力部１５は、ユーザが入力部１５の表面に指をタッチしたまま任意の方向へ移動させて方向を指示する操作（以下適宜、スワイプ操作と称する）を行うと、ユーザの指の動きを検知し、指が移動する方向に従った入力方向を示す操作情報を取得する。
　表示部１６は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどを有して構成され、絵や写真、図形、文字、GUI（Graphical User Interface）などにより表示内容が構成された画像である表示画面を表示する。そして、表示部１６は、入力部１５に対するユーザのスワイプ操作に応じた出力方向に沿って、例えば、表示画面をスクロールして表示したり、表示画面に表示されるポインタやカーソルなどを移動させたりして、表示画面の表示を変化させる。
　このようにタッチ操作端末１１は構成されており、ユーザは、第１の筐体１２および第２の筐体１３が所望の相対角度θとなるように調整してタッチ操作端末１１を使用することができる。また、ユーザが入力部１５に対するスワイプ操作を行うと、タッチ操作端末１１では、入力部１５が取得する操作情報に基づいて、そのスワイプ操作に応答する操作処理が行われ、表示部１６の表示画面の表示が制御される。例えば、ユーザが水平方向へ指を移動させるスワイプ操作を行うと、タッチ操作端末１１では、表示部１６の表示画面が水平方向へスクロールするように操作処理が行われる。
　そして、タッチ操作端末１１は、垂直方向に対するスワイプ操作における操作処理では、第１の筐体１２および第２の筐体１３の相対角度θに従って、入力方向に対する出力方向を切り替える処理を行う。
　例えば、図２に示すように、ヒンジ部１４を有するタッチ操作端末１１において、ヒンジ部１４に沿った方向を水平方向とする。また、入力部１５の表面において、水平方向と直交し、かつ、入力部１５の法線方向αと直交する方向と、表示部１６の表面において、水平方向と直交し、かつ、表示部１６の法線方向βと直交する方向とを垂直方向とする。即ち、垂直方向は、図２に示すように、相対角度θが１８０°であるときは一直線となり、相対角度θが１８０°以外であるときは、相対角度θに従って屈曲するものとする。
　また、タッチ操作端末１１には、垂直方向のスワイプ操作に対して、入力方向に対する出力方向を同方向として処理を行う相対角度θの所定範囲が設定されている。そして、タッチ操作端末１１は、相対角度θが所定範囲内であるか否かによって、入力方向に対する出力方向を切り替えることができる。つまり、タッチ操作端末１１は、相対角度θが所定範囲内であれば入力方向に対する出力方向を同方向とし、相対角度θが所定範囲内でなければ入力方向に対する出力方向を逆方向とする。なお、この所定範囲は、例えば、ユーザが違和感なくスワイプ操作を行うことができるかを開発段階で評価することにより予め設定される。
　具体的には、タッチ操作端末１１には、所定範囲として０°から１８０°までが設定される。従って、タッチ操作端末１１は、相対角度θが０°以上で１８０°以下の範囲（０°≦θ≦１８０°）である場合には、垂直方向のスワイプ操作に対して、入力方向に対する出力方向が同方向となるように操作処理を行う。一方、タッチ操作端末１１は、相対角度θが１８０°より大きく３６０°以下の範囲（１８０°＜θ≦３６０°）である場合には、垂直方向のスワイプ操作に対して、入力方向に対する出力方向が逆方向となるように操作処理を行う。
　なお、タッチ操作端末１１では、水平方向に対しては相対角度θの変化に拘らず、入力方向と出力方向とが切り替わることがない（即ち、入力方向が右方向なら、出力方向は常に右方向となる）ように操作処理を行う。また、垂直方向へのスワイプ操作とは、垂直方向に完全に一致する指の動きだけではなく、垂直方向の成分を含む斜め方向への指の動きを含むものとする。
　次に、図３を参照して、入力部１５に対する入力方向と、表示部１６における出力方向との関係について説明する。
　図３のＡには、相対角度θが９０°とされたタッチ操作端末１１が示されており、図３のＢには、相対角度θが１８０°とされたタッチ操作端末１１が示されている。また、図３のＣには、相対角度θが２７０°とされたタッチ操作端末１１が示されており、図３のＤには、相対角度θが３６０°とされたタッチ操作端末１１が示されている。
　図３のＡに示すように、入力部１５および表示部１６の相対角度θが９０°である場合、タッチ操作端末１１は、入力方向ＩＮに対して出力方向ＯＵＴが同方向となるように操作処理を行う。また、図３のＢに示すように、入力部１５および表示部１６の相対角度θが１８０°である場合、タッチ操作端末１１は、入力方向ＩＮに対して出力方向ＯＵＴが同方向となるように操作処理を行う。
　一方、図３のＣに示すように、入力部１５および表示部１６の相対角度θが２７０°である場合、タッチ操作端末１１は、入力方向ＩＮに対して出力方向ＯＵＴが逆方向となるように操作処理を行う。また、図３のＤに示すように、入力部１５および表示部１６の相対角度θが３６０°である場合、即ち、入力部１５の背面側に表示部１６が配置される場合、タッチ操作端末１１は、入力方向ＩＮに対して出力方向ＯＵＴが逆方向（ここでは、図２を参照して説明したように、相対角度θに従って垂直方向が屈曲する座標系において逆方向）となるように操作処理を行う。
　このように、タッチ操作端末１１は、相対角度θが０°から１８０°までの範囲であるか否かによって、入力方向に対する出力方向を、同方向と逆方向とで切り替える操作処理を行う。
　次に、図４は、タッチ操作端末１１の操作処理部の機能的な構成例を示すブロック図である。
　図４に示すように、操作処理部２１は、入力方向取得部２２、相対角度検出部２３、出力方向決定部２４、および表示指示部２５を備えて構成される。なお、操作処理部２１は、具体的には、タッチ操作端末１１に内蔵されるCPU（Central Processing Unit）や、ROM（Read Only Memory）、RAM（Random Access Memory）、不揮発性メモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory））などにより構成され、CPUがROMまたは不揮発性メモリに記憶されているプログラムをRAMに読み出して実行することによって各部の機能が実現される。
　入力方向取得部２２は、入力部１５に接続されており、ユーザがスワイプ操作を行うと入力部１５から操作情報が供給され、その操作情報に基づいて、ユーザのスワイプ操作による入力方向を取得する。
　相対角度検出部２３は、ヒンジ部１４に対して取り付けられている角度センサ（図示せず）に接続されており、第１の筐体１２および第２の筐体１３の相対角度θを検出する。
　出力方向決定部２４は、入力方向取得部２２が入力方向を取得すると、相対角度検出部２３が検出した相対角度θに基づいて、入力方向に対する出力方向の向き（同方向または逆方向）を決定する。即ち、出力方向決定部２４は、相対角度θが所定範囲内であるか否かに従って、入力方向に対する出力方向の向きを切り替える処理を行う。例えば、出力方向決定部２４は、上述したように、相対角度θが所定範囲内（例えば、０°≦θ≦１８０°）である場合には、入力方向に対して出力方向を同方向にすると決定する。一方、出力方向決定部２４は、相対角度θが所定範囲内でない場合には、入力方向に対して出力方向を逆方向にすると決定する。
　表示指示部２５は、表示部１６に接続されており、出力方向決定部２４により決定された出力方向で表示部１６の表示画面における表示が変化するように、表示画面の表示を指示する制御信号を表示部１６に対して供給する。従って、表示部１６では、相対角度θが所定範囲内（例えば、０°≦θ≦１８０°）であるか否かによって、例えば、表示画面がスクロールする方向が、入力方向に対して同方向および逆方向のいずれかに切り替えられる。
　以上のように操作処理部２１は構成されており、相対角度検出部２３により検出された相対角度θに従って、入力方向取得部２２により取得された入力方向に対する出力方向が決定され、その出力方向となるように表示部１６に対する表示の指示が行われる。
　次に、図５は、操作処理部２１が実行する操作処理を説明するフローチャートである。
　例えば、入力部１５は、ユーザによるタッチ操作を検知することができる状態で待機しており、ユーザによりスワイプ操作が行われたことを検知すると処理が開始される。ステップＳ１１において、入力部１５は、ユーザによるスワイプ操作に応じて取得した操作情報を入力方向取得部２２に供給し、入力方向取得部２２は、その操作情報から入力方向を取得して出力方向決定部２４に供給する。
　ステップＳ１２において、相対角度検出部２３は、ヒンジ部１４に対して取り付けられている角度センサ（図示せず）から出力される信号に基づいて、第１の筐体１２および第２の筐体１３の相対角度θを検出して出力方向決定部２４に供給する。
　ステップＳ１３において、出力方向決定部２４は、ステップＳ１２で相対角度検出部２３が検出した相対角度θが、所定範囲内であるか否かを判定する。
　ステップＳ１３において、相対角度θが所定範囲内であると判定された場合、処理はステップＳ１４に進み、出力方向決定部２４は、ステップＳ１１で入力方向取得部２２が取得した入力方向に対して出力方向を同方向にすると決定して表示指示部２５に通知する。
　一方、ステップＳ１３において、相対角度θが所定範囲内でないと判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、出力方向決定部２４は、ステップＳ１１で入力方向取得部２２が取得した入力方向に対して出力方向を逆方向にすると決定して表示指示部２５に通知する。
　ステップＳ１４またはＳ１５の処理後、処理はステップＳ１６に進み、表示指示部２５は、出力方向決定部２４により決定された出力方向で表示部１６の表示画面における表示が変化するように、表示画面の表示を指示する制御信号を表示部１６に対して供給する。そして、ステップＳ１６の処理後、操作処理は終了する。
　以上のように、タッチ操作端末１１は、相対角度θに従って、入力方向に対する出力方向の向きを決定して、出力方向を切り替えることにより、ユーザが操作する際に違和感のない、より使い易いユーザインタフェースを提供することができる。
　なお、タッチ操作端末１１では、入力方向に対する出力方向の向きが切り替わったことをユーザに提示するようなアイコンやインジケータを表示部１６に表示してもよい。また、ヒンジ部１４の機構的に、入力方向に対する出力方向の向きが切り替わったことをユーザに感知させるようにしてもよい。
　また、タッチ操作端末１１は、スワイプ操作の他、複数点のタッチを検出することによるズーム操作に対しても同様の操作処理を適用することができる。また、ヒンジ部１４以外の機械的な構造によって、入力部１５および表示部１６の相対角度θが変わるようにしてもよい。さらに、入力部１５および表示部１６のねじれを検出して操作処理を行ってもよい。
　なお、入力方向および出力方向には、直線的な方向だけでなく、回転方向を適用することができる。例えば、タッチ操作端末１１は、入力方向が右回転であった場合、相対角度θが所定範囲内であるには出力方向を右回転とし、相対角度θが所定範囲内でないには出力方向を左回転とすることができる。なお、タッチ操作端末１１は、複数点のタッチを検出することにより回転方向を入力したり、１点のタッチを検出して、その１点をタッチしている指の回転を検出することにより回転方向を入力したりすることができる。
　また、入力方向に対する出力方向を切り替える所定範囲の角度は１８０°に限定されるものではなく、タッチ操作端末１１で実行されるアプリケーションプログラムや、タッチ操作端末１１の構造によって適切な角度に設定することが出る。さらに、入力部１５および表示部１６を開く操作と閉じる操作とで、所定範囲の角度が異なるようにしてもよい。
　さらに、タッチ操作端末１１は、入力部１５および表示部１６がヒンジ部１４を介して接続される構成の他、入力部１５および表示部１６が独立した構成を採用することができる。この場合、入力部１５および表示部１６が、それぞれ加速度センサなどを備えることにより互いの相対的な姿勢を検知して、入力方向に対する出力方向を切り替えるようにすることができる。
　また、入力部１５は、タッチセンサを備えたデバイスに限定されることはなく、例えば、ボタンや、ダイヤル、ホイールなどの各種の入力デバイス、即ち、方向を指示することができる入力デバイスを採用することができる。
　なお、タッチ操作端末１１では、相対角度θの大きさに従って、入力部１５に対するスワイプ操作の入力量（即ち、ユーザがタッチしたまま指を移動させた移動量）に対して、表示部１６の表示画面の表示を変化させる変化量を調整することができる。例えば、タッチ操作端末１１は、相対角度θが大きいときには、スワイプ操作の入力量に対する表示画面のスクロールの速度を増加させ、相対角度θが小さいときには、スワイプ操作の入力量に対する表示画面のスクロールの速度を低減させるように操作処理を行う。同様に、タッチ操作端末１１は、相対角度θの大きさに従って、スワイプ操作の入力量に対する表示画面においてカーソルが移動する速度を調整するように操作処理を行うことができる。
　さらに、タッチ操作端末１１は、ユーザと表示部１６との位置関係に従って、表示画面のスクロールの速度を調整したり、表示画面に表示されるカーソルが移動する速度を調整したりすることができる。
　図６を参照して、ユーザと表示部１６との位置関係に従って、表示部１６における表示画面のスクロールの速度を調整する処理について説明する。
　図６のＡには、表示部１６に対してユーザが正面を向いて対向している状態が示されており、図６のＢには、表示部１６に対してユーザが傾いて対向している状態が示されている。
　タッチ操作端末１１は、例えば、図示しない撮像装置を備えており、その撮像装置により撮像された画像からユーザの目Ｅと表示部１６との相対角度を検出することができる。そして、表示部１６に対してユーザが正面を向いて対向している状態（図６のＡ）では、ユーザの目Ｅと表示部１６との相対角度は９０°であると検出され、タッチ操作端末１１は、表示部１６の表示画面を所定のスクロール速度Ｖで、上述した出力方向へスクロールする。
　一方、表示部１６に対してユーザが傾いて対向している状態（図６のＢ）では、ユーザの目Ｅと表示部１６との相対角度は角度φであると検出される。このとき、スクロール速度Ｖで表示画面をスクロールすると、ユーザから見て垂直方向にスクロールする速度はＶ×Ｓｉｎφとなる。即ち、表示部１６に対してユーザが傾いて対向していることにより、表示部１６に対してユーザが正面を向いて対向している状態におけるスクロール速度Ｖよりも、垂直方向にスクロールする速度が低下して見えることになる。
　そこで、タッチ操作端末１１は、スクロール速度が低下した分を補正するために、補正後のスクロール速度Ｖ’をＶ’＝Ｖ×（１／Ｓｉｎφ）とする。これにより、ユーザから見て垂直方向にスクロールする速度がスクロール速度Ｖ（＝Ｖ×Ｓｉｎφ×（１／Ｓｉｎφ））となる。このように、タッチ操作端末１１は、表示部１６の表示画面を、スクロール速度Ｖに対して角度φに応じて調整されたスクロール速度Ｖ’でスクロールすることができる。
　このように、タッチ操作端末１１は、角度φに従って、入力部１５に対するスワイプ操作の入力量に対する表示部１６の表示画面のスクロール速度を調整することができ、これにより、より操作しやすいユーザインタフェースを提供することができる。
　また、タッチ操作端末１１は、角度φに従って、入力部１５に対するスワイプ操作の入力量に対する表示部１６に表示されるカーソルの移動スピードを調整してもよい。
　なお、タッチ操作端末１１は、図１に示したようなヒンジ部１４を有する構成に限られるものではない。例えば、タッチ操作端末１１としては、任意の箇所で柔軟に折り曲げることが可能なフレキシブル性を備えて任意の箇所で入力部１５と表示部１６との相対角度θを変更することが可能な構成を採用することができる。
　次に、図７は、本技術を適用したタッチ操作端末の第２の実施の形態の構成例を示す斜視図である。図７のＡには、タッチ操作端末５１の表面側が示されており、図７のＢには、タッチ操作端末５１の裏面側が示されている。
　タッチ操作端末５１は、全体的に、柔軟で可撓を有した薄い本体５２により構成されており、本体５２の表面側に表示部５３が配置され、本体５２の裏面側に入力部５４が配置されて構成されている。即ち、表示部５３および入力部５４は、互いに反対側を向くように配置されている。
　タッチ操作端末５１における操作処理では、図３のＤに示した相対角度θが３６０°とされた状態と同様に、入力方向と出力方向が逆方向とされる。
　表示部５３は、フレキシブルディスプレイであり、図１の表示部１６と同様に、相対角度θに応じて入力方向に対する向きが切り替えられる出力方向で表示画面の表示が制御される。入力部５４は、フレキシブルタッチパネルであり、図１の入力部１５と同様に、ユーザのスワイプ操作に応じて入力方向を示す操作情報を取得する。なお、図示しないが、タッチ操作端末５１は、フレキシブル基板により実装される操作処理部２１（図２）を本体５２に内蔵している。
　図８に示すように、タッチ操作端末５１は任意の箇所で柔軟に折り曲げられることによって、表示部５３の向く方向（表面側）に入力部５４の一部が向く状態とすることができる。即ち、タッチ操作端末５１は、折り曲げることにより、表示部５３と入力部５４との相対角度が変更され、その相対角度が、操作処理部２１の相対角度検出部２３により検出可能とされている。そして、タッチ操作端末５１では、相対角度検出部２３が、表示部５３の向く方向に入力部５４の一部が向く状態となるような相対角度であることを検出すると、入力部５４の一部（図８において紙面の表側を向く一部）には、画像が表示される。また、この入力部５４の一部は、ユーザによるスワイプ操作を入力することができる。
　このとき、表面側を向く入力部５４の一部に対するスワイプ操作と、裏面側を向く入力部５４の一部に対するスワイプ操作とで、それぞれ入力方向に対する出力方向が切り替えられる。即ち、相対角度検出部２３が検出する相対角度に従って、表面側を向いていると判断された入力部５４の一部では、入力方向と出力方向とが同方向となるように操作処理が行われる。
　また、このようにタッチ操作端末５１を折り曲げることによって、入力部５４の一部が表面側を向くことによって、タッチ操作端末５１の背面部分の面積、即ち、裏面側を向く入力部５４の面積は狭くなる。なお、タッチ操作端末５１を、図８とは逆方向に折り曲げた状態、即ち、入力部５４の向く方向（裏面側）に表示部５３の一部が向く状態としたときにも同様である。
　さらに、タッチ操作端末５１では、表示部５３および入力部５４を折り曲げた際に表示されるユーザインタフェースを変更することができる。
　即ち、図９に示すように、タッチ操作端末５１は、表示部５３および入力部５４を折り曲げることにより表面側を向く入力部５４の一部に、表示部５３に表示されている表示画面に対する操作を行うのに用いるメニュー画面５５を表示することができる。メニュー画面５５には、１または複数のGUI（Graphical User Interface）が表示される。
　このように、タッチ操作端末５１では、折り曲げられたことを検出すると、メニュー画面５５が表示される。さらに、タッチ操作端末５１では、折り曲げられる位置を検出して、その位置に応じてメニュー画面５５の大きさを変更するとともに、メニュー画面５５に表示されるGUIの数を変更することができる。つまり、タッチ操作端末５１を折り曲げることにより表面側を向く入力部５４の一部が大きくなれば、メニュー画面５５が大きく表示され、メニュー画面５５には多くのGUIが表示される。
　また、タッチ操作端末５１では、表示部５３および入力部５４を折り曲げる角度に応じて、入力方向に対する出力方向を切り替える他、入力量に対する出力量（例えば、スクロール速度）を調整してもよい。さらに、タッチ操作端末５１は、図８および図９に示したような二つ折りの他、三つ折りまたは四つ折りにすることができ、それぞれの折り方に応じて操作処理が異なるようにしてもよい。
　また、タッチ操作端末５１では、表示部５３および入力部５４として半透明の部材を採用することができ、折り曲げることによって、入力部５４を透かして表示部５３を視認することができるようにしてもよい。
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
　また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０１において、CPU１０２，ROM１０３，RAM１０４，EEPROM１０５がバス１０６を介して、互いに接続されている。また、バス１０６には、入出力インタフェース１０７が接続されており、入出力インタフェース１０７に外部の装置、例えば、図１の入力部１５および表示部１６が接続されている。
　このように構成されるコンピュータ１０１では、CPU１０２が、例えば、ROM１０３またはEEPROM１０５に記憶されているプログラムを、バス１０６を介して、RAM１０４にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０２）が実行するプログラムは、ROM１０３またはEEPROM１０５に予め記憶されている他、例えば、図示しない記録媒体や各種の通信ネットワークなどを介して提供され、EEPROM１０５にインストールすることができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　操作が入力される入力部に対して行われる方向を指示する操作に応じて生成される前記方向に従った入力方向を示す情報を取得する入力方向取得部と、
　画像を表示する表示部に対して、前記入力部に対する操作に応答して前記表示部の画像を変化させる方向である出力方向を指示する出力方向指示部と、
　前記入力部と前記表示部との相対的な位置関係に従って、前記入力方向に対する前記出力方向の向きを決定する決定部と
　を備える操作処理装置。
（２）
　前記入力部および前記表示部を開閉可能に接続する接続部をさらに備え、
　前記決定部は、前記接続部を中心とした前記入力部および前記表示部の相対的な角度に従って、前記入力方向に対する前記出力方向の向きを決定する
　上記（１）に記載の操作処理装置。
（３）
　前記接続部は、前記入力部および前記表示部が互いに向かい合う角度から、前記入力部および前記表示部が互いに反対側を向く角度までの範囲で、前記入力部および前記表示部を開閉可能に接続する
　上記（１）または（２）に記載の操作処理装置。
（４）
　前記入力部と前記表示部との相対的な位置関係に従って、前記入力方向に沿った入力量に対する前記出力方向に沿った出力量が調整される
　上記（１）から（３）までのいずれかに記載の操作処理装置。
（５）
　前記入力部に対する入力を行うユーザと前記表示部との相対的な位置関係に従って、前記入力方向に沿った入力量に対する前記出力方向に沿った出力量が調整される
　上記（１）から（４）までのいずれかに記載の操作処理装置。
（６）
　前記入力部および前記表示部は、任意の箇所で柔軟に折り曲げることが可能なフレキシブル性を備えて構成され、互いに反対側を向くように配置される
　上記（１）から（５）までのいずれかに記載の操作処理装置。
（７）
　前記入力部および前記表示部が折り曲げられることによって、前記表示部の向く方向に前記入力部の一部が向く状態である場合には、前記表示部と同方向を向く前記入力部の一部に画像が表示される
　上記（１）から（６）までのいずれかに記載の操作処理装置。
（８）
　前記表示部と同方向を向く前記入力部の一部には、前記表示部に表示されている画像に対する操作を行う際のインタフェースとなる画像が表示される
　上記（１）から（７）までのいずれかに記載の操作処理装置。
（９）
　前記入力部および前記表示部が折り曲げられる位置に応じて、前記入力部の一部に表示される画像である操作画面のインタフェースの内容が変化する
　上記（１）から（８）までのいずれかに記載の操作処理装置。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　タッチ操作端末，　１２　第１の筐体，　１３　第２の筐体，　１４　ヒンジ部，　１５　入力部，　１６　表示部，　２１　操作処理部，　２２　入力方向取得部，　２３　相対角度検出部，　２４　出力方向決定部，　２５　表示指示部，　５１　タッチ操作端末，　５２　本体，　５３　表示部，　５４　入力部

Claims (11)

  1. 　操作が入力される入力部に対して行われる方向を指示する操作に応じて生成される前記方向に従った入力方向を示す情報を取得する入力方向取得部と、
    　画像を表示する表示部に対して、前記入力部に対する操作に応答して前記表示部の画像を変化させる方向である出力方向を指示する出力方向指示部と、
    　前記入力部と前記表示部との相対的な位置関係に従って、前記入力方向に対する前記出力方向の向きを決定する決定部と
    　を備える操作処理装置。
  2. 　前記入力部および前記表示部を開閉可能に接続する接続部をさらに備え、
    　前記決定部は、前記接続部を中心とした前記入力部および前記表示部の相対的な角度に従って、前記入力方向に対する前記出力方向の向きを決定する
    　請求項１に記載の操作処理装置。
  3. 　前記接続部は、前記入力部および前記表示部が互いに向かい合う角度から、前記入力部および前記表示部が互いに反対側を向く角度までの範囲で、前記入力部および前記表示部を開閉可能に接続する
    　請求項２に記載の操作処理装置。
  4. 　前記入力部と前記表示部との相対的な位置関係に従って、前記入力方向に沿った入力量に対する前記出力方向に沿った出力量が調整される
    　請求項１に記載の操作処理装置。
  5. 　前記入力部に対する入力を行うユーザと前記表示部との相対的な位置関係に従って、前記入力方向に沿った入力量に対する前記出力方向に沿った出力量が調整される
    　請求項１に記載の操作処理装置。
  6. 　前記入力部および前記表示部は、任意の箇所で柔軟に折り曲げることが可能なフレキシブル性を備えて構成され、互いに反対側を向くように配置される
    　請求項１に記載の操作処理装置。
  7. 　前記入力部および前記表示部が折り曲げられることによって、前記表示部の向く方向に前記入力部の一部が向く状態である場合には、前記表示部と同方向を向く前記入力部の一部に画像が表示される
    　請求項６に記載の操作処理装置。
  8. 　前記表示部と同方向を向く前記入力部の一部には、前記表示部に表示されている画像に対する操作を行う際のインタフェースとなる画像が表示される
    　請求項７に記載の操作処理装置。
  9. 　前記入力部および前記表示部が折り曲げられる位置に応じて、前記入力部の一部に表示される画像である操作画面のインタフェースの内容が変化する
    　請求項８に記載の操作処理装置。
  10. 　操作が入力される入力部に対して行われる方向を指示する操作に応じて生成される前記方向に従った入力方向を示す情報を取得し、
    　画像を表示する表示部に対して、前記入力部に対する操作に応答して前記表示部の画像を変化させる方向である出力方向を指示し、
    　前記入力部と前記表示部との相対的な位置関係に従って、前記入力方向に対する前記出力方向の向きを決定する
    　ステップを含む操作処理方法。
  11. 　操作が入力される入力部に対して行われる方向を指示する操作に応じて生成される前記方向に従った入力方向を示す情報を取得し、
    　画像を表示する表示部に対して、前記入力部に対する操作に応答して前記表示部の画像を変化させる方向である出力方向を指示し、
    　前記入力部と前記表示部との相対的な位置関係に従って、前記入力方向に対する前記出力方向の向きを決定する
    　ステップを含む操作処理をコンピュータに実行させるプログラム。
PCT/JP2013/068081 2012-07-10 2013-07-02 操作処理装置および操作処理方法、並びにプログラム WO2014010458A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/409,620 US9891729B2 (en) 2012-07-10 2013-07-02 Operation processing device and method for user interface
JP2014524747A JPWO2014010458A1 (ja) 2012-07-10 2013-07-02 操作処理装置および操作処理方法、並びにプログラム
US15/866,519 US10248234B2 (en) 2012-07-10 2018-01-10 Operation processing device and operation processing method for displaying image based on orientation of output direction
US16/286,332 US10860121B2 (en) 2012-07-10 2019-02-26 Information processing appartus and method for controlling a display unit based on relative relationship between an input unit and the display unit
US17/093,819 US11487368B2 (en) 2012-07-10 2020-11-10 Operation processing device and operation processing method for controlling display unit based on change in output direction of display unit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-154229 2012-07-10
JP2012154229 2012-07-10

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/409,620 A-371-Of-International US9891729B2 (en) 2012-07-10 2013-07-02 Operation processing device and method for user interface
US15/866,519 Continuation US10248234B2 (en) 2012-07-10 2018-01-10 Operation processing device and operation processing method for displaying image based on orientation of output direction

Publications (1)

Publication Number Publication Date
WO2014010458A1 true WO2014010458A1 (ja) 2014-01-16

Family

ID=49915921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068081 WO2014010458A1 (ja) 2012-07-10 2013-07-02 操作処理装置および操作処理方法、並びにプログラム

Country Status (3)

Country Link
US (4) US9891729B2 (ja)
JP (1) JPWO2014010458A1 (ja)
WO (1) WO2014010458A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2899623A3 (en) * 2014-01-28 2015-08-26 Sony Corporation Information processing apparatus, information processing method, and program
JP2015228022A (ja) * 2014-05-06 2015-12-17 株式会社半導体エネルギー研究所 電子装置
WO2018150757A1 (ja) 2017-02-17 2018-08-23 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101569776B1 (ko) * 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
EP3734405B1 (en) 2011-02-10 2024-08-14 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
WO2014010458A1 (ja) * 2012-07-10 2014-01-16 ソニー株式会社 操作処理装置および操作処理方法、並びにプログラム
KR102097361B1 (ko) * 2013-02-01 2020-04-07 삼성디스플레이 주식회사 가요성 디스플레이 장치를 구비한 모바일 기기 및 이의 동작 방법
KR102082781B1 (ko) * 2013-04-01 2020-03-02 삼성디스플레이 주식회사 폴더블 디스플레이 장치 및 이의 제어 방법 및 장치.
US10248224B2 (en) 2016-10-25 2019-04-02 Microsoft Technology Licensing, Llc Input based on interactions with a physical hinge

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194667A (ja) * 1995-01-20 1996-07-30 Matsushita Electric Ind Co Ltd 情報処理装置
JP2002278515A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像表示装置
JP2003058316A (ja) * 2001-08-21 2003-02-28 Sharp Corp 携帯端末
JP2009031368A (ja) * 2007-07-24 2009-02-12 Nec Corp 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
JP2010135967A (ja) * 2008-12-03 2010-06-17 Casio Hitachi Mobile Communications Co Ltd 携帯端末装置、及びプログラム
JP2012057662A (ja) 2010-09-06 2012-03-22 Sony Corp 電子機器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0454120A3 (en) * 1990-04-27 1992-12-30 Kabushiki Kaisha Toshiba Portable computer comprising keyboard and coordinate input tablet
US5268817A (en) * 1990-04-27 1993-12-07 Kabushiki Kaisha Toshiba Portable computer with keyboard and having display with coordinate input tablet rotatably mounted to face either toward or away from keyboard when closed over keyboard
JPH0822343A (ja) * 1994-07-07 1996-01-23 Olympus Optical Co Ltd 情報処理装置
JP3648476B2 (ja) * 2001-11-30 2005-05-18 株式会社東芝 携帯情報機器
US6865075B2 (en) * 2002-06-27 2005-03-08 Intel Corporation Transformable computing apparatus
US7126588B2 (en) * 2002-06-27 2006-10-24 Intel Corporation Multiple mode display apparatus
JP4025712B2 (ja) * 2003-11-04 2007-12-26 Ｎｅｃパーソナルプロダクツ株式会社 情報処理装置、コンピュータ、情報処理装置の動作方法
US8194001B2 (en) * 2009-03-27 2012-06-05 Microsoft Corporation Mobile computer device display postures
US7864517B2 (en) * 2009-03-30 2011-01-04 Microsoft Corporation Mobile computer device binding feedback
US20100321275A1 (en) * 2009-06-18 2010-12-23 Microsoft Corporation Multiple display computing device with position-based operating modes
JP2011146915A (ja) * 2010-01-14 2011-07-28 Sony Corp 情報処理装置、開閉角度検出方法及び開閉角度検出プログラム
US9134807B2 (en) * 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
WO2014010458A1 (ja) * 2012-07-10 2014-01-16 ソニー株式会社 操作処理装置および操作処理方法、並びにプログラム
KR102009926B1 (ko) * 2012-08-08 2019-10-21 삼성전자주식회사 전자 장치 및 그 제어 방법
JP5979539B2 (ja) * 2012-09-07 2016-08-24 パナソニックＩｐマネジメント株式会社 電子機器
KR20140046327A (ko) * 2012-10-10 2014-04-18 삼성전자주식회사 멀티 디스플레이 장치, 입력 펜, 멀티 디스플레이 장치의 제어 방법 및 멀티 디스플레이 시스템
US9727134B2 (en) * 2013-10-29 2017-08-08 Dell Products, Lp System and method for display power management for dual screen display device
US9524139B2 (en) * 2013-10-29 2016-12-20 Dell Products, Lp System and method for positioning an application window based on usage context for dual screen display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194667A (ja) * 1995-01-20 1996-07-30 Matsushita Electric Ind Co Ltd 情報処理装置
JP2002278515A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像表示装置
JP2003058316A (ja) * 2001-08-21 2003-02-28 Sharp Corp 携帯端末
JP2009031368A (ja) * 2007-07-24 2009-02-12 Nec Corp 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
JP2010135967A (ja) * 2008-12-03 2010-06-17 Casio Hitachi Mobile Communications Co Ltd 携帯端末装置、及びプログラム
JP2012057662A (ja) 2010-09-06 2012-03-22 Sony Corp 電子機器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2899623A3 (en) * 2014-01-28 2015-08-26 Sony Corporation Information processing apparatus, information processing method, and program
JP2015228022A (ja) * 2014-05-06 2015-12-17 株式会社半導体エネルギー研究所 電子装置
US10606379B2 (en) 2014-05-06 2020-03-31 Semiconductor Energy Laboratory Co., Ltd. Electronic device
US11216106B2 (en) 2014-05-06 2022-01-04 Semiconductor Energy Laboratory Co., Ltd. Electronic device
US11740728B2 (en) 2014-05-06 2023-08-29 Semiconductor Energy Laboratory Co., Ltd. Electronic device
WO2018150757A1 (ja) 2017-02-17 2018-08-23 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
US11054941B2 (en) 2017-02-17 2021-07-06 Sony Corporation Information processing system, information processing method, and program for correcting operation direction and operation amount

Also Published As

Publication number Publication date
US9891729B2 (en) 2018-02-13
US11487368B2 (en) 2022-11-01
US20210055812A1 (en) 2021-02-25
US20190196616A1 (en) 2019-06-27
US20150277600A1 (en) 2015-10-01
US10248234B2 (en) 2019-04-02
US10860121B2 (en) 2020-12-08
JPWO2014010458A1 (ja) 2016-06-23
US20180129318A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
WO2014010458A1 (ja) 操作処理装置および操作処理方法、並びにプログラム
EP4131909A1 (en) Mobile terminal for displaying image and control method therefor
JP6789634B2 (ja) 表示装置
US10289258B2 (en) Foldable portable device including different folded states
JP5557316B2 (ja) 情報処理装置、情報生成方法及びプログラム
US9128665B2 (en) Information processing device and program
EP3011425B1 (en) Portable device and method for controlling the same
CN106919329B (zh) 一种触摸屏输入方法及电子设备
EP2433203B1 (en) Hand-held device with two-finger touch triggered selection and transformation of active elements
JP4956644B2 (ja) 電子機器、及び入力制御方法
US20170345397A1 (en) Information processing device and image display method
US20120249445A1 (en) Electronic device
US20150002433A1 (en) Method and apparatus for performing a zooming action
WO2012111230A1 (ja) 情報処理端末およびその制御方法
JP2022070081A (ja) 情報処理装置、及び制御方法
JP2016151801A (ja) 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
TW201741814A (zh) 視窗控制方法及行動終端
JP6246882B1 (ja) 情報処理装置、画像表示方法、及び画像表示プログラム
US20150123916A1 (en) Portable terminal device, method for operating portable terminal device, and program for operating portable terminal device
JP5822666B2 (ja) 情報表示システム
US20120245741A1 (en) Information processing apparatus, information processing method, recording medium, and program
JP2013246658A (ja) 表示制御装置および表示制御方法
JP2012108963A (ja) 電子機器、及び入力制御方法
JP7317907B2 (ja) 情報処理装置、及び制御方法
JP7333364B2 (ja) 情報処理装置、及び制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13816033

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014524747

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14409620

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013816033

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE