WO2013046987A1 - 情報処理端末および情報処理方法 - Google Patents

情報処理端末および情報処理方法 Download PDF

Info

Publication number
WO2013046987A1
WO2013046987A1 PCT/JP2012/070827 JP2012070827W WO2013046987A1 WO 2013046987 A1 WO2013046987 A1 WO 2013046987A1 JP 2012070827 W JP2012070827 W JP 2012070827W WO 2013046987 A1 WO2013046987 A1 WO 2013046987A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
content
display unit
information processing
unit
Prior art date
Application number
PCT/JP2012/070827
Other languages
English (en)
French (fr)
Inventor
一峰 周
雅樹 宮原
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2013046987A1 publication Critical patent/WO2013046987A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored

Definitions

  • the present invention relates to an information processing terminal and an information processing method.
  • Patent Document 1 discloses that various methods for displaying on two screens can be set in accordance with a user operation.
  • a display unit having a touch panel function is often used as a display unit of an information processing terminal.
  • the user can virtually operate the content displayed on the display unit by touching the display unit of such an information processing terminal with a finger.
  • operations flick operations and drag operations are known.
  • Flick operation is an operation to quickly slide a finger touching the display unit in one direction.
  • the information processing terminal is an electronic book
  • a page displayed on the display unit can be switched to the next page so as to turn a book page by a flick operation.
  • the drag operation is an operation of moving slowly while touching the touch panel with a finger.
  • the character displayed on the display unit can be moved with the movement of the finger by a drag operation.
  • One of the objects of the present invention is an information processing terminal and information that enable operations such as flicking or dragging over two screens without changing the display method for the content displayed on the two screens. It is to provide a processing method.
  • An information processing terminal displays using two display units, a first display unit and a second display unit having a touch panel function, and a first display unit and a second display unit.
  • a control unit that displays the content on one of the two display units when there is an operation of continuously touching the content to be crossed over the center line of the content It is.
  • An information processing method is an information processing method using an information processing terminal having two display units and a control unit having a touch panel function, and displays the information using the two display units. It is determined whether or not there is an operation that continuously touches the content so that it crosses the center line of the content. The content is displayed on any one of the display units.
  • FIG. 1 is a block diagram illustrating a configuration example of an information processing terminal according to the present embodiment.
  • FIG. 2A is an external view showing an example of an information processing terminal according to the present embodiment.
  • FIG. 2B is an external view showing an example of the information processing terminal of the present embodiment.
  • FIG. 2C is an external view showing an example of the information processing terminal of the present embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example of the control unit illustrated in FIG.
  • FIG. 4 is a diagram showing an example of xy coordinates in the display unit shown in FIG.
  • FIG. 5 is a diagram for explaining the normal mode in the case of two-screen display.
  • FIG. 6 is a diagram for explaining the normal mode in the case of single screen display.
  • FIG. 1 is a block diagram illustrating a configuration example of an information processing terminal according to the present embodiment.
  • FIG. 2A is an external view showing an example of an information processing terminal according to the present embodiment.
  • FIG. 2B is an external view showing an example
  • FIG. 7 is a flowchart showing an operation procedure of the information processing terminal according to the present embodiment.
  • FIG. 8A is a diagram for explaining the determination method in step 213 shown in FIG.
  • FIG. 8B is a diagram for explaining the determination method in step 214 shown in FIG.
  • FIG. 9A is a diagram for explaining a method of detecting a multi-touch operation over two screens.
  • FIG. 9B is a diagram for explaining a method of detecting a multi-touch operation over two screens.
  • FIG. 9C is a diagram for explaining a method for detecting a multi-touch operation over two screens.
  • FIG. 1 is a block diagram illustrating a configuration example of the information processing terminal according to the present embodiment.
  • 2A to 2C are external views showing an example of the information processing terminal according to the present embodiment.
  • FIG. 3 is a block diagram showing a configuration example of the control unit shown in FIG.
  • the information processing terminal 10 includes a display unit 13 and a display unit 15, a storage unit 12, a communication unit 14, a power supply control unit 16, an operation unit 18, and an attitude detection unit. 19 and a control unit 17.
  • a display unit 13 As illustrated in FIG. 1, the information processing terminal 10 according to the present embodiment includes a display unit 13 and a display unit 15, a storage unit 12, a communication unit 14, a power supply control unit 16, an operation unit 18, and an attitude detection unit. 19 and a control unit 17.
  • FIGS. 2A to 2C the two possible postures of the information processing terminal 10 will be described with reference to FIGS. 2A to 2C.
  • the information processing terminal 10 includes two housings 33 and 35.
  • the housing 33 is provided with the display unit 13 and the housing 35 is provided with the display unit 15.
  • the housing 33 and the housing 35 are connected by a hinge 37. The user can close and close the housing 33 and the housing 35 with the hinge 37 as a rotation axis, or can open the housing 33 away from the housing 35.
  • FIG. 2A shows a state where the display unit 13 and the display unit 15 are arranged side by side. And holding the housing 35 with the right hand, the information processing terminal 10 stands on the desk. Even when the information processing terminal 10 is rotated 180 degrees with respect to the posture shown in FIG. 2A, that is, when the display unit 15 is on the left and the display unit 13 is on the right, the information processing terminal 10 It operates in the same way as when used in the 2A posture.
  • FIG. 2A two screens of the display unit 13 and the display unit 15 function as one screen, and one content is enlarged and displayed. In the state shown in FIG. 2A, the user can enjoy the content on a large screen.
  • FIG. 2B shows a state in which the display unit 13 and the display unit 15 are arranged vertically, for example, so that the surface of the housing 35 where the display unit 15 is not provided is in contact with the upper surface of the desk.
  • the processing terminal 10 is placed on the desk.
  • the housing 33 is either perpendicular to the top surface of the desk or slightly inclined in the direction opposite to the direction facing the user with respect to the vertical direction.
  • the content is displayed on the display unit 13 and nothing is displayed on the display unit 15.
  • the display unit 13 faces the user, and the surface of the display unit 13 is substantially perpendicular to the direction of the user's line of sight, so that the user can easily see the content displayed on the display unit 13.
  • the user tries to look at the display unit 15, the user has to look down, and even if content is displayed on the display unit 15, the user is hard to see.
  • FIG. 2C shows a state where the housing 33 is placed on the desk and the housing 35 is erected, contrary to the state of FIG. 2B.
  • the display unit 15 faces the user, and the surface of the display unit 15 is substantially perpendicular to the direction of the user's line of sight, so that the user can easily see the content displayed on the display unit 15.
  • the posture shown in FIG. 2A resembles the shape of a book opened, it is hereinafter referred to as “book style”.
  • the posture shown in FIG. 2B and FIG. 2C is similar to a shape in which a lid is put up by placing a notebook PC (Personal Computer) with a display on the lid on a desk. , Referred to as “PC style”.
  • PC Personal Computer
  • each of the storage unit 12, the communication unit 14, the power supply control unit 16, the operation unit 18, the posture detection unit 19, and the control unit 17 may be provided in any of the housing 33 and the housing 35.
  • Each of the display unit 13 and the display unit 15 has a configuration in which a touch panel (not shown) is stacked on a display device (not shown).
  • the display device is a liquid crystal display.
  • the touch panel transmits coordinate information, which is information on the xy coordinates (x, y) of the part touched by the user's finger, to the control unit 17.
  • An example of the xy coordinates in the display range of the display units 13 and 15 is shown in FIG.
  • the xy coordinates are referred to as physical coordinates.
  • the physical coordinates are defined in each of the display unit 13 and the display unit 15, and the origins are also different as shown in FIG. In the example shown in FIG. 4, the maximum value in the x-axis direction is set to w and the maximum value in the y-axis direction is set to h in the display ranges of the display units 13 and 15.
  • the operation unit 18 is a configuration for a user to input an instruction, and includes a power button (not shown) and a display mode switching button (not shown) connected to the control unit 17.
  • the display mode switching button selects one of the three display modes, ie, two screens of the display unit 13 and the display unit 15, one screen of the display unit 13, and one screen of the display unit 15 as a screen for displaying content. This is an instruction input means for the user to specify.
  • the screen on which the content is displayed is set as a default screen. In the present embodiment, it is assumed that the default screen is the display unit 13.
  • the power supply control unit 16 monitors the voltage value of a battery (not shown) as an internal power supply and whether or not an AC adapter that converts an alternating current supplied from the outside into a direct current is attached to the apparatus.
  • the power supply control unit 16 notifies the control unit 17 of information on whether or not the AC adapter is attached and the voltage value of the battery.
  • the posture detection unit 19 is, for example, an acceleration sensor.
  • the posture detection unit 19 transmits a detection signal indicating the posture of the information processing terminal 10 with respect to the reference direction to the control unit 17 with the gravity direction as the reference direction.
  • the posture detection unit 19 outputs a first detection signal to the control unit 17 when the terminal posture is the book style shown in FIG. 2A, and the terminal posture is the PC style shown in FIG. 2B. It is assumed that the second detection signal is output to the control unit 17 and the third detection signal is output to the control unit 17 when the terminal posture is the PC style shown in FIG.
  • the communication unit 14 receives data from the website via the network.
  • the network is assumed to be the Internet, and the communication standard of communication processing performed by the communication unit 14 is assumed to be TCP (Transmission Control Protocol) / IP (Internet Protocol). There may be.
  • the storage unit 12 stores a browser software program for displaying a web page received via the network and an application software program (hereinafter referred to as a moving image reproduction application) for reproducing moving image content.
  • a moving image reproduction application is, for example, a FLASH (registered trademark) player.
  • control unit 17 will be described in detail with reference to FIG.
  • control unit 17 includes a determination unit 51 that determines a display method based on a user operation, and an image processing unit 53 that reproduces moving image content.
  • the determination unit 51 includes a CPU (Central Processing Unit) 151 that executes processing according to a program, and a memory 152 that stores the program.
  • the image processing unit 53 has a hardware codec function that performs decompression processing on compressed data of moving image content.
  • the control unit 17 When the instruction to connect to the network is input, the control unit 17 reads the browser software program from the storage unit 12 into the image processing unit 53 and causes the image processing unit 53 to execute the browser software program. Then, when an instruction to access the video sharing site on the network is input, the control unit 17 acquires the web page data from the video sharing site, and normally converts the web page according to the program included in the data. Display in mode or full screen mode.
  • the normal mode is a display mode in which an image of content included in a web page is displayed on a part of the entire screen
  • the full screen mode is a display mode in which an image of content is displayed on the entire screen. Details of the normal mode and the full screen mode will be described later.
  • control unit 17 reads the moving image reproduction application from the storage unit 12 into the image processing unit 53, and Make the video playback process executable.
  • the control unit 17 receives the compressed data of the moving image content from the moving image sharing site via the network and the communication unit 14, the image processing unit 53 sequentially expands the received compressed data, and the expanded moving image content Is reproduced using one or both of the display unit 13 and the display unit 15 in accordance with an instruction from the determination unit 51.
  • the determination unit 51 gives priority to the one-screen display when determining that the remaining amount is low from the voltage value of the battery when power is not supplied from the outside during the reproduction of the moving image content. This is because the power consumption is larger when displaying two screens than when displaying one screen.
  • the determination unit 51 When there is a drag or flick operation by the user in the normal mode, the determination unit 51 refers to the coordinate information received from the display unit 13 and the display unit 15, and the center line of the content on which the drag or flick operation is displayed on the screen It is judged whether it is what straddles. As a result of the determination, if there is a drag or flick operation straddling the center line of the content, the fact that the drag or flick operation has occurred is recorded in the storage unit 12. Thereafter, when an instruction to switch from the normal mode to the full screen mode is input for the moving image content, the determination unit 51 determines whether the moving image content has been dragged or flicked depending on whether or not the storage unit 12 has recorded it. It is determined whether the display screen is one screen or two screens.
  • the determination unit 51 determines whether or not the user has attempted to perform a drag or flick operation near the center of the video content while the video content is displayed on two screens, and the drag or flick operation is performed. When it is detected that the user has tried to break, the moving image content display method is switched from two screens to one screen. The determination unit 51 determines whether or not there is a multi-touch operation straddling the connection part of the two display units 13 and 15 in a state where the moving image content is displayed on the two screens, and straddles the two display units 13 and 15. When a multi-touch operation is detected, the moving image content display method is switched from two screens to one screen.
  • the determination unit 51 when the determination unit 51 receives the first detection signal from the posture detection unit 19 during the reproduction of the moving image content, the determination unit 51 instructs the image processing unit 53 to display on the two screens of the display unit 13 and the display unit 15. Further, when the determination unit 51 receives the second detection signal from the posture detection unit 19, the determination unit 51 instructs the image processing unit 53 to display on the display unit 13. When the determination unit 51 receives the third detection signal from the posture detection unit 19, the display unit 13 displays The image processing unit 53 is instructed to display on the unit 15. However, even if the determination unit 51 receives the first detection signal from the posture detection unit 19 and determines that one screen should be displayed according to another parameter for determining the display method, the determination unit 51 displays that it is displayed on the default screen. The image processing unit 53 is instructed.
  • the hardware codec that performs the decompression process on the compressed data of the moving image content has been described as being provided in the image processing unit 53.
  • the compressed data is decompressed.
  • a software codec that stores a software program for storing the program in the storage unit 12 in advance and causes the CPU 151 to execute the program may be applied.
  • FIG. 5 is a diagram showing a normal mode in the case of two-screen display
  • FIG. 6 is a diagram showing a normal mode in the case of one-screen display.
  • FIG. 5 illustrates a web page acquired by the control unit 17 from the video sharing site when the user inputs an instruction to access the video sharing site on the network by operating the information processing terminal 10 during the two-screen display. Is displayed on the display unit 13 and the display unit 15.
  • the title of the web page and the image of the content are displayed across two screens.
  • the image of the content is displayed so as to straddle the connecting portion between the display unit 13 and the display unit 15 including the hinge 37, and part of the entire screen when the two display units 13 and 15 are used as one screen. It is displayed.
  • a center line 71 shown in FIG. 5 is a line that equally divides the content into two left and right when the content is viewed normally.
  • the two screens change to the full screen mode shown in FIG. 2A.
  • the full screen mode as shown in FIG. 2A, content is displayed on the entire screen when the two display units 13 and 15 are used as one screen.
  • FIG. 6 shows a state in which a web page is acquired from the network in the same way as in FIG. 5 and the control unit 17 displays the web page acquired from the video sharing site on the display unit 13 when displaying one screen.
  • the title of the web page and the image of the content are displayed on one screen.
  • the content image is displayed on a part of the entire screen of the display unit 13.
  • a center line 71 shown in FIG. 6 is a line that equally divides the content into two on the left and right when the content is viewed normally.
  • FIG. 7 is a flowchart showing an operation procedure of the information processing terminal according to the present embodiment.
  • the control unit 17 acquires a web page from the video sharing site, and the display unit 13 and the display unit 15 according to the current display mode setting state.
  • the web page is displayed on one of them, or on the display unit 13 and the display unit 15.
  • a web page including an image of moving image content is displayed in the normal mode.
  • the control unit 17 records that the drag or flick operation has been performed in the storage unit 12 (step 201).
  • the control unit 17 displays the moving image content in the full screen mode (step 202).
  • the control unit 17 checks whether or not the operation of drag (displayed as D in FIG. 7) or flick (displayed as F in FIG. 7) is recorded in the storage unit 12 (step 203).
  • the control unit 17 determines whether or not the posture is PC style (step 204). When the posture is PC style, the control unit 17 displays the moving image content on the screen that is easy for the user to see according to the detection signal from the posture detection unit 19 (step 206). If it is determined in step 204 that the posture is not PC style, the control unit 17 displays the moving image content on the default screen (step 205).
  • the reason why the video content is displayed on one screen when there is a drag or flick operation across the center line of the video content in the normal mode will be described.
  • the user performs an operation that continuously touches the center line of the video content, so it is possible to perform the operation even after switching the video content display to the full screen mode.
  • the connection between the two display units 13 and 15 matches the center line of the video content, making it impossible to perform operations performed in the normal mode. Because it will end up.
  • the control unit 17 checks whether or not the AC adapter is attached (step 207). When the AC adapter is not attached, the control unit 17 determines whether or not the remaining battery level is sufficient from the voltage value of the battery (step 208). If the remaining battery level is low, the control unit 17 determines whether or not the posture is PC style (step 209). When the posture is the PC style, the control unit 17 displays the moving image content on the screen that is easy for the user to see according to the detection signal from the posture detection unit 19 (step 211). If it is determined in step 209 that the posture is not PC style, the control unit 17 displays the moving image content on the default screen (step 210).
  • the control unit 17 displays the moving image content on two screens (step 212). Thereafter, the control unit 17 determines whether there is a drag or flick operation near the center of the moving image content (step 213), and determines whether there is a multi-touch operation over two screens (step 214). .
  • FIG. 8A is a diagram for explaining the determination method in step 213, and FIG. 8B is a diagram for explaining the determination method in step 214.
  • the range indicated by the broken line 75 in FIG. 8A is a predetermined range centering on the connection portion of the display unit 13 and the display unit 15.
  • the coordinates of the range indicated by the broken line 75 are registered in the memory 152 in advance.
  • step 213 when the control unit 17 detects an operation that touches the range surrounded by the broken line 75, the control unit 17 recognizes that the user tried to perform a drag or flick operation with the vicinity of the center of the moving image content as the starting point of the contact point. .
  • the broken line 75 shown in FIG. 8A is merely an example of the detection range of the drag operation and the flick operation near the center of the moving image content, and the detection range may be different from the range shown in the figure.
  • the contact points 77a and 77b shown in FIG. 8B are an example of a part touched by the user's finger.
  • the contact point 77 a is detected by the display unit 13, and the contact point 77 b is detected by the display unit 15.
  • the control unit 17 receives the coordinate information of the contact point 77 a from the display unit 13 and receives the coordinate information of the contact point 77 b from the display unit 15, the control unit 17 causes the user to straddle the two display units 13 and 15. To recognize that a multi-touch operation has been performed.
  • control unit 17 displays two display screens. An alarm message to the effect that the screen is changed to one screen is displayed using the display unit 13, the display unit 15, or both (step 215), and the process proceeds to step 204. If it is determined in steps 213 and 214 that the target operation is not detected, the control unit 17 keeps the display screen as two screens.
  • control part 17 displays the message which inquires a user whether a display screen may be changed from 2 screens to 1 screen, The display screen may be selected according to a user instruction.
  • the determination unit 51 When either one of the display unit 13 and the display unit 15 is operated, as described with reference to FIG. 4, the determination unit 51 normally uses the xy coordinates of the operated display unit. Detecting contact points. In this case, when a multi-touch operation is performed on the operating display unit, the determination unit 51 can specify two contact points on the same xy coordinate.
  • contact point detection is enabled only in one of the two display units 13 and 15 in a state where content is displayed by operating two screens. For example, when only the default screen is valid, even if the contact point on the display unit 13 of the default screen is detected, the contact point on the display unit 15 is not detected.
  • the determination unit 51 defines virtual coordinates obtained by combining the xy coordinates of the two display units 13 and 15, and the display unit 13. By detecting the contact point with physical coordinates and detecting the contact point on the display unit 15 with virtual coordinates, it is possible to detect a multi-touch operation straddling the two display units 13 and 15.
  • 9A to 9C are diagrams for explaining a detection method of a multi-touch operation extending over two screens. 9A to 9C, it is assumed that the user touches the contact points 77a and 77b shown in FIG. 8B.
  • the contact point 77b is located at (x1, y1) in physical coordinates on the display unit 13.
  • the contact point 77a is located at (x2, y2) in physical coordinates on the display unit 15.
  • the physical coordinates of (x1, y1) in FIG. 9A and (x2, y2) in FIG. 9B are different.
  • FIG. 9C shows virtual coordinates in which the display ranges of the display unit 13 and the display unit 15 are expressed as one xy coordinate with the origin of the display unit 13 as a reference.
  • the determination unit 51 defines physical coordinates and virtual coordinates of the display unit 13 when both the display units 13 and 15 are operated.
  • the determination unit 51 recognizes that the contact point 77b detected by the display unit 13 is located at the coordinates (x1, y1) illustrated in FIG. 9A.
  • the determination unit 51 receives the coordinate (x2, y2) information from the display unit 15 as the coordinate information of the contact point 77a
  • the determination unit 51 converts the coordinate (x2 + w, y2) illustrated in FIG. 9C.
  • the determination unit 51 recognizes that the contact point 77a is detected by the display unit 15 because the x coordinate of the contact point 77a is larger than w.
  • the determination unit 51 recognizes that the contact point 77b is detected on the display unit 13 and recognizes that the contact point 77a is detected on the display unit 15, thereby determining that there has been a multi-touch operation straddling the two display units 13 and 15. To do.
  • the content display method is performed on one screen instead of two screens. Therefore, in the single screen display, the user can perform operations such as flicking and dragging near the center of the content. For the content displayed on the two screens, an operation corresponding to the operation over the two screens can be executed on the one screen without the user changing the display method.
  • the content to be displayed is a moving image, but the content is not limited to a moving image.
  • operations corresponding to operations such as flicking or dragging over two screens can be performed on content displayed on two screens.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 本発明の情報処理端末は、タッチパネル機能を備えた第1の表示部(13)および第2の表示部(15)と、第1の表示部(13)および第2の表示部(15)の2つの表示部を使用して表示させているコンテンツに対して、コンテンツの中心線を跨ぐように連続的に触れる操作があると、2つの表示部(13,15)のうち、いずれか一方の表示部にコンテンツを表示させる制御部(17)とを有する。

Description

情報処理端末および情報処理方法
 本発明は、情報処理端末および情報処理方法に関する。
 2つの表示部を備えた画像表示装置の一例が特許文献1に開示されている。特許文献1には、ユーザの操作にしたがって、2つの画面に表示させる方法を様々に設定できることが開示されている。
 近年、情報処理端末の表示部に、タッチパネル機能を備えた表示部が用いられることが多くなった。ユーザは、このような情報処理端末の表示部を指で触れることで、表示部に表示されたコンテンツに対して仮想的に操作することができるようになった。操作の例として、フリック操作やドラッグ操作が知られている。
 フリック操作とは、表示部に触れている指を、一方向に素早くスライドさせる操作である。例えば、情報処理端末が電子ブックである場合、フリック操作によって、本のページをめくるように、表示部に表示されるページを次のページに切り替えることができる。
 ドラッグ操作とは、タッチパネルに指を触れさせたまま、ゆっくりと移動させる操作である。例えば、ドラッグ操作によって、表示部に表示されているキャラクタを、指の移動に伴って移動させることができる。
特開平9-26562号公報
 特許文献1に開示された装置において、2つの画面を1画面としてコンテンツを表示した状態で、ユーザが中央付近をフリックやドラッグの操作を行う際、次のような問題が起こることがあった。
 特許文献1に開示された装置のように、2つの画面がそれぞれ異なる筺体に設けられていると、ユーザが一方の画面と他方の画面を跨ぐようにフリック操作やドラッグ操作する場合、筺体の継ぎ目が邪魔になって操作できないという問題があった。
 本発明の目的の一つは、2画面に表示されたコンテンツに対して、ユーザが表示方法を変更しなくても、2画面に跨るフリックまたはドラッグ等の操作を可能にした情報処理端末および情報処理方法を提供することである。
 本発明の一側面の情報処理端末は、タッチパネル機能を備えた第1の表示部および第2の表示部と、第1の表示部および第2の表示部の2つの表示部を使用して表示させているコンテンツに対して、コンテンツの中心線を跨ぐように連続的に触れる操作があると、2つの表示部のうち、いずれか一方の表示部にコンテンツを表示させる制御部と、を有する構成である。
 また、本発明の一側面の情報処理方法は、タッチパネル機能を備えた2つの表示部および制御部を有する情報処理端末による情報処理方法であって、2つの表示部を使用して表示させているコンテンツに対して、コンテンツの中心線を跨ぐように連続的に触れる操作があるか否かを判定し、判定の結果、コンテンツの中心線を跨ぐように連続的に触れる操作があると、2つの表示部のうち、いずれか一方の表示部にコンテンツを表示させるものである。
図1は本実施形態の情報処理端末の一構成例を示すブロック図である。 図2Aは本実施形態の情報処理端末の一例を示す外観図である。 図2Bは本実施形態の情報処理端末の一例を示す外観図である。 図2Cは本実施形態の情報処理端末の一例を示す外観図である。 図3は図1に示した制御部の一構成例を示すブロック図である。 図4は図1に示した表示部におけるxy座標の一例を示す図である。 図5は2画面表示の場合の通常モードを説明するための図である。 図6は1画面表示の場合の通常モードを説明するための図である。 図7は本実施形態の情報処理端末の動作手順を示すフローチャートである。 図8Aは図7に示すステップ213の判定方法を説明するための図である。 図8Bは図7に示すステップ214の判定方法を説明するための図である。 図9Aは2画面に跨るマルチタッチ操作の検出方法を説明するための図である。 図9Bは2画面に跨るマルチタッチ操作の検出方法を説明するための図である。 図9Cは2画面に跨るマルチタッチ操作の検出方法を説明するための図である。
 本実施形態の情報処理端末の構成を説明する。
 図1は本実施形態の情報処理端末の一構成例を示すブロック図である。図2A~図2Cは本実施形態の情報処理端末の一例を示す外観図である。図3は図1に示す制御部の一構成例を示すブロック図である。
 図1に示すように、本実施形態の情報処理端末10は、表示部13および表示部15と、記憶部12と、通信部14と、電源制御部16と、操作部18と、姿勢検出部19と、制御部17とを有する。図1に示す構成を詳しく説明する前に、情報処理端末10が取り得る2通りの姿勢について、図2A~図2Cを参照して説明する。
 図2Aに示すように、情報処理端末10は2つの筺体33、35からなり、筺体33に表示部13が設けられ、筺体35に表示部15が設けられている。筺体33と筺体35はヒンジ37で接続されている。ユーザは、ヒンジ37を回転軸にして、筺体33と筺体35とを重ね合わせて閉じたり、筺体33を筺体35から離して開いたりすることができる。
 図2Aは、表示部13および表示部15が横に並んだ状態であり、例えば、筺体33および筺体35の短辺側の一部が机の上面に接するように、ユーザが、左手で筺体33を保持し、右手で筺体35を保持して、情報処理端末10を机の上に立てた状態である。図2Aに示す姿勢に対し情報処理端末10を180度回転させて使用した場合、つまり表示部15が左、表示部13が右に位置している場合であっても、情報処理端末10は図2Aの姿勢で使用したときと同様に動作する。
 図2Aでは、表示部13および表示部15の2画面が1つの画面として機能し、1つのコンテンツが拡大表示されている。図2Aに示す状態であれば、ユーザは、コンテンツを大きな画面で楽しむことができる。
 図2Bは、表示部13および表示部15が縦に並んだ状態、例えば、筺体35の2つの面のうち、表示部15が設けられていない方の面が机の上面に接するように、情報処理端末10が机の上に置かれた状態である。そして、筺体33は机の上面に対して垂直か、または、垂直方向に対して、ユーザの面する方向と反対方向に少し傾いている。図2Bでは、表示部13にコンテンツが表示され、表示部15には何も表示されていない。図2Bに示す状態では、表示部13がユーザに面しており、表示部13の表面がユーザの視線の方向とほぼ垂直になるので、ユーザは表示部13に表示されるコンテンツが見やすくなる。一方、ユーザは、表示部15を見ようとすると、見下ろすようにしなければならず、表示部15にコンテンツが表示されても、かえって見づらくなってしまう。
 図2Cは、図2Bの状態とは反対に、筺体33を机の上に載せ、筺体35を立てた状態である。図2Cに示す状態では、表示部15がユーザに面しており、表示部15の表面がユーザの視線の方向とほぼ垂直になるので、ユーザは表示部15に表示されるコンテンツが見やすくなる。
 図2Aに示す姿勢は、本を開いて立てた形に似ていることから、以下では、「ブックスタイル」と称する。一方、図2Bおよび図2Cに示す姿勢は、蓋部に表示部が設けられたノート型PC(Personal Computer)を机の上に載せて蓋部を立てた形に似ていることから、以下では、「PCスタイル」と称する。なお、記憶部12、通信部14、電源制御部16、操作部18、姿勢検出部19および制御部17のそれぞれは、筺体33および筺体35のうち、いずれに設けられていてもよい。
 次に、図1を参照して情報処理端末10の構成を詳しく説明する。
 表示部13および表示部15のそれぞれは、表示デバイス(不図示)の上にタッチパネル(不図示)が積層された構成である。表示デバイスは液晶ディスプレイである。タッチパネルは、ユーザの指が接触した部位のxy座標(x、y)の情報である座標情報を制御部17に送信する。表示部13、15の表示範囲におけるxy座標の一例を図4に示す。このxy座標を物理座標と称する。物理座標は、表示部13および表示部15のそれぞれに定義されており、図4に示すように、原点もそれぞれ異なる。図4に示す例では、表示部13、15のそれぞれの表示範囲において、x軸方向の最大値をwとし、y軸方向の最大値をhとしている。
 操作部18は、ユーザが指示を入力するための構成であり、制御部17と接続された、電源ボタン(不図示)および表示モード切替ボタン(不図示)を有する。表示モード切替ボタンは、コンテンツを表示させる画面を、表示部13および表示部15の2画面、表示部13の1画面、および表示部15の一画面の3つの表示モードのうち、いずれを選択するかをユーザが指定するための指示入力手段である。この表示モード切替ボタンによる指定がない場合には、コンテンツが表示される画面は、デフォルト画面に設定される。本実施形態では、デフォルト画面が表示部13であるものとする。
 電源制御部16は、内部電源としての電池(不図示)の電圧値と、外部から供給される交流を直流に変換するACアダプタが自装置に装着されているか否かを監視する。電源制御部16は、ACアダプタが装着されているか否かの情報と電池の電圧値を制御部17に通知する。
 姿勢検出部19は、例えば、加速度センサである。姿勢検出部19は、重力方向を基準方向として、基準方向に対する、情報処理端末10の姿勢を示す検知信号を制御部17に送信する。本実施形態では、姿勢検出部19は、端末の姿勢が図2Aに示したブックスタイルの場合に第1検知信号を制御部17に出力し、端末の姿勢が図2Bに示したPCスタイルの場合に第2検知信号を制御部17に出力し、端末の姿勢が図2Cに示したPCスタイルの場合に第3検知信号を制御部17に出力するものとする。
 通信部14は、ネットワークを介してウェブサイトからデータを受信する。本実施形態では、ネットワークはインターネットであるものとし、通信部14が行う通信処理の通信規格がTCP(Transmission Control Protocol)/IP(Internet Protocol)の場合であるものとするが、他の通信規格であってもよい。
 記憶部12には、ネットワークを介して受信するウェブページを表示するためのブラウザソフトウェアプログラムと、動画コンテンツを再生するためのアプリケーションソフトウェアプログラム(以下では、動画再生アプリケーションと称する)とが格納されている。動画再生アプリケーションは、例えば、FLASH(登録商標)プレーヤである。
 続いて、図3を参照して制御部17について詳しく説明する。
 図3に示すように、制御部17は、ユーザの操作に基づいて表示方法を決定する判定部51と、動画コンテンツを再生する画像処理部53とを有する。
 判定部51は、プログラムにしたがって処理を実行するCPU(Central Processing Unit)151と、プログラムを記憶するメモリ152とを有する。画像処理部53は、動画コンテンツの圧縮データに対して伸張処理を行うハードウェアコーデックの機能を有する。
 制御部17は、ネットワークに接続する旨の指示が入力されると、ブラウザソフトウェアプログラムを記憶部12から画像処理部53に読み込み、画像処理部53にブラウザソフトウェアプログラムを実行させる。そして、制御部17は、ネットワーク上の動画共有サイトにアクセスする旨の指示が入力されると、動画共有サイトからウェブページのデータを取得し、そのデータに含まれるプログラムにしたがって、ウェブページを通常モードまたはフルスクリーンモードで表示する。通常モードは、ウェブページに含まれるコンテンツの画像が画面全体の一部に表示される表示モードであり、フルスクリーンモードは、コンテンツの画像が画面全体に表示される表示モードである。通常モードおよびフルスクリーンモードについての詳細は後述する。
 また、制御部17は、ネットワーク上の動画共有サイトに公開されている動画コンテンツをダウンロードする指示が入力されると、動画再生アプリケーションを記憶部12から画像処理部53に読み込み、画像処理部53に動画再生処理を実行可能にさせる。そして、制御部17が動画共有サイトからネットワークおよび通信部14を介して動画コンテンツの圧縮データを受信すると、画像処理部53は、受信する圧縮データを順次、伸張処理し、伸張処理後の動画コンテンツを、判定部51の指示にしたがって、表示部13および表示部15のいずれか一方、または両方を使って再生する。
 判定部51は、動画コンテンツ再生の際、外部から電源が供給されていない場合、電池の電圧値から残量が少ないと判定すると、1画面表示を優先させる。これは、2画面表示させる場合、1画面表示の場合よりも電力消費量が大きいからである。
 判定部51は、通常モードでユーザによるドラッグまたはフリックの操作があると、表示部13および表示部15から受信する座標情報を参照し、ドラッグまたはフリックの操作が画面に表示されたコンテンツの中心線を跨ぐものであるか否かを判定する。判定の結果、コンテンツの中心線を跨ぐドラッグまたはフリックの操作があると、ドラッグまたはフリックの操作があったことを記憶部12に記録する。その後、動画コンテンツについて通常モードからフルスクリーンモードへの切り替えの指示が入力されると、判定部51は、ドラッグまたはフリックがあったことが記憶部12に記録されているか否かによって、動画コンテンツの表示画面を1画面および2画面のいずれにするかを判定する。
 また、判定部51は、動画コンテンツを2画面に表示させた状態で、ユーザが動画コンテンツの中央付近でドラッグまたはフリックの操作を行おうとしたか否かを判定し、ドラッグまたはフリックの操作が行われようとしたことを検出すると、動画コンテンツの表示方法を2画面から1画面に切り替える。判定部51は、動画コンテンツを2画面に表示させた状態で、2つの表示部13、15の接続部を跨ぐマルチタッチ操作があるか否かを判定し、2つの表示部13、15に跨るマルチタッチ操作を検出すると、動画コンテンツの表示方法を2画面から1画面に切り替える。
 また、判定部51は、動画コンテンツ再生の際、姿勢検出部19から第1検知信号を受信すると、表示部13および表示部15の2画面で表示する旨を画像処理部53に指示する。また、判定部51は、姿勢検出部19から第2検知信号を受信すると、表示部13に表示する旨を画像処理部53に指示し、姿勢検出部19から第3検知信号を受信すると、表示部15に表示する旨を画像処理部53に指示する。ただし、判定部51は、姿勢検出部19から第1検知信号を受信しても、表示方法を決定するための他のパラメータにしたがって1画面表示すべきと判定すると、デフォルト画面で表示する旨を画像処理部53に指示する。
 なお、本実施形態では、動画コンテンツの圧縮データに対して伸張処理を行うハードウェアコーデックが画像処理部53に設けられている場合で説明したが、ハードウェアコーデックの代わりに、圧縮データを伸張するためのソフトウェアプログラムを予め記憶部12に格納し、そのプログラムをCPU151に実行させるソフトウェアコーデックを適用してもよい。
 動画コンテンツの表示方法として、2画面と1画面の2通りの表示モードについて説明したが、これらの表示モードのそれぞれにおける通常モードとフルスクリーンモードについて説明する。
 図5は2画面表示の場合の通常モードを示す図であり、図6は1画面表示の場合の通常モードを示す図である。
 図5は、2画面表示の際に、ユーザが情報処理端末10を操作してネットワーク上の動画共有サイトにアクセスする旨の指示を入力したとき、制御部17が動画共有サイトから取得したウェブページを表示部13および表示部15に表示させた状態を示す。図5では、ウェブページの表題とコンテンツの画像が2画面に跨って表示されている。コンテンツの画像は、ヒンジ37を含む、表示部13と表示部15の接続部を跨ぐように表示され、2つの表示部13、15を1画面として使用される場合の画面全体のうち一部に表示されている。図5に示す中心線71は、コンテンツを正常に見たときにコンテンツを左右に2つに均等に分割する線である。
 図5に示す状態から、ユーザが表示部15に表示されている拡大ボタン61に触れることで拡大指示を入力すると、2画面は、図2Aに示したフルスクリーンモードに変化する。フルスクリーンモードでは、図2Aに示すように、2つの表示部13、15が1画面として使用する場合の画面全体にコンテンツが表示される。
 続いて、1画面の場合の通常モードとフルスクリーンモードを説明する。
 図6は、1画面表示の際に、図5の場合と同様にしてウェブページをネットワークから取得し、制御部17が動画共有サイトから取得したウェブページを表示部13に表示させた状態を示す。図6では、ウェブページの表題とコンテンツの画像が1画面に表示されている。コンテンツの画像は、表示部13の画面全体のうち一部に表示されている。図6に示す中心線71は、コンテンツを正常に見たときにコンテンツを左右に2つに均等に分割する線である。
 図6に示す状態から、ユーザが表示部13に表示されている拡大ボタン61に触れることで拡大指示を入力すると、画面は図2Bに示したフルスクリーンモードに変化する。フルスクリーンモードでは、図2Bに示すように、表示部13の画面全体にコンテンツが表示される。なお、図5および図6において、ユーザが再生ボタン63に触れると再生の指示が入力され、動画コンテンツが再生される。
 次に、本実施形態の情報処理端末10の動作を説明する。図7は本実施形態の情報処理端末の動作手順を示すフローチャートである。
 制御部17は、ネットワーク上の動画共有サイトにアクセスする旨の指示が入力されると、動画共有サイトからウェブページを取得し、現在の表示モードの設定状態にしたがって、表示部13および表示部15のうち、いずれか一方、または、表示部13および表示部15にウェブページを表示させる。ここでは、通常モードで、動画コンテンツの画像を含むウェブページが表示されている。
 続いて、コンテンツの中心線を跨ぐドラッグまたはフリックの操作があると、制御部17は、ドラッグまたはフリックの操作があったことを記憶部12に記録する(ステップ201)。ユーザが動画コンテンツの表示モードを通常モードからフルスクリーンモードに変更する旨の指示を入力すると、制御部17は、動画コンテンツをフルスクリーンモードで表示する(ステップ202)。その後、制御部17は、ドラッグ(図7ではDと表示)またはフリック(図7ではFと表示)の操作があったことが記憶部12に記録されているか否かを調べる(ステップ203)。
 ドラッグまたはフリックの操作があったことが記録されている場合、制御部17は、姿勢がPCスタイルであるか否かを判定する(ステップ204)。姿勢がPCスタイルである場合、制御部17は、姿勢検出部19からの検知信号にしたがって、ユーザの見やすい方の画面に動画コンテンツを表示させる(ステップ206)。ステップ204の判定で姿勢がPCスタイルでない場合、制御部17は、デフォルト画面に動画コンテンツを表示させる(ステップ205)。
 ここで、通常モードで動画コンテンツの中心線を跨ぐようにドラッグまたはフリックの操作があると、動画コンテンツを1画面で表示させる理由を説明する。通常モードの際に、ユーザは動画コンテンツの中心線を跨いで連続的に触れる操作を行っていることから、動画コンテンツの表示をフルスクリーンモードに切り替えた後も、その操作を行うことが考えられる。しかし、2画面で動画コンテンツをフルスクリーンモードで表示してしまうと、2つの表示部13、15の接続部が動画コンテンツの中心線に一致してしまい、通常モードで行っていた操作ができなくなってしまうからである。
 一方、ステップ203の判定でドラッグまたはフリックの操作があったことが記録されていない場合、制御部17は、ACアダプタが装着されているか否かを調べる(ステップ207)。ACアダプタが装着されていない場合、制御部17は、電池の電圧値から電池残量が充分あるか否かを判定する(ステップ208)。電池残量が少ない場合、制御部17は、姿勢がPCスタイルであるか否かを判定する(ステップ209)。姿勢がPCスタイルである場合、制御部17は、姿勢検出部19からの検知信号にしたがって、ユーザの見やすい方の画面に動画コンテンツを表示させる(ステップ211)。ステップ209の判定で姿勢がPCスタイルでない場合、制御部17は、デフォルト画面に動画コンテンツを表示させる(ステップ210)。
 ステップ207の判定でACアダプタが装着されている場合とステップ208の判定で電池残量が充分ある場合のいずれの場合も、制御部17は、動画コンテンツを2画面で表示させる(ステップ212)。その後、制御部17は、動画コンテンツの中央付近でドラッグまたはフリックの操作があるか否かを判定し(ステップ213)、2画面に跨るマルチタッチ操作があるか否かを判定する(ステップ214)。
 ここで、ステップ213およびステップ214の判定方法について、図8Aおよび図8Bを参照して説明する。図8Aはステップ213の判定方法を説明するための図であり、図8Bはステップ214の判定方法を説明するための図である。
 図8Aに示す破線75で示す範囲は、表示部13および表示部15の接続部を中心にして予め決められた範囲である。破線75で示す範囲の座標が予めメモリ152に登録されている。ステップ213において、制御部17は、破線75で囲まれる範囲に触れる操作を検出すると、ユーザが動画コンテンツの中央近くを接触点の起点にして、ドラッグまたはフリックの操作を行おうとしたものと認識する。
 なお、図8Aに示す破線75は、動画コンテンツの中央付近におけるドラッグ操作およびフリック操作の検出範囲の一例に過ぎず、検出範囲は図に示す範囲と異なるものであってもよい。
 図8Bに示す接触点77a、77bは、ユーザの指が接触した部位の一例である。接触点77aは表示部13で検出され、接触点77bは表示部15で検出される。ステップ214において、制御部17は、表示部13から接触点77aの座標情報を受信し、表示部15から接触点77bの座標情報を受信すると、ユーザが2つの表示部13、15を跨ぐようにしてマルチタッチ操作を行ったものと認識する。
 図7に示したステップ213および214の判定で、動画コンテンツの中央付近におけるドラッグまたはフリックの操作、および2画面に跨るマルチタッチ操作のいずれかを検出すると、制御部17は、表示画面を2画面から1画面に変更する旨のアラームメッセージを、表示部13もしくは表示部15、またはその両方を使って表示し(ステップ215)、ステップ204に進む。ステップ213および214の判定で、制御部17は、対象となる操作を検出しなければ、表示画面を2画面のままにする。
 なお、ステップ215の処理がアラームメッセージをユーザに通知する場合で説明したが、制御部17は、表示画面を2画面から1画面に変更してよいか否かをユーザに問い合わせるメッセージを表示し、ユーザの指示にしたがって表示画面を選択するようにしてもよい。
 次に、ステップ214における、判定部51のマルチタッチ検出方法を詳しく説明する。
 はじめに、1画面におけるマルチタッチ操作の検出方法を説明する。表示部13および表示部15のうち、いずれか一方を動作させている場合、図4を参照して説明したように、判定部51は、通常、動作させている方の表示部のxy座標で、接触点を検出する。この場合、動作している表示部でマルチタッチ操作が行われると、判定部51は、同一のxy座標上の2つの接触点を特定することができる。
 しかし、2画面を動作させてコンテンツを表示している状態では、2つの表示部13、15のうち、いずれか一方の表示部でしか、接触点検出を有効にしていないケースがある。例えば、デフォルト画面だけが有効になっている場合、デフォルト画面の表示部13における接触点が検出されても、表示部15における接触点が検出されないことになる。
 そこで、本実施形態では、2つの表示部13、15の両方を動作させている場合、判定部51は、2つの表示部13、15のxy座標を合わせた仮想座標を定義し、表示部13での接触点の検出を物理座標で行い、表示部15での接触点の検出を仮想座標で行うことで、2つの表示部13、15を跨ぐマルチタッチ操作を検出可能にしている。
 図9A~図9Cは2画面に跨るマルチタッチ操作の検出方法を説明するための図である。図9A~図9Cでは、図8Bに示した接触点77a、77bにユーザが触れた場合とする。
 図9Aに示すように、接触点77bは表示部13における物理座標で(x1,y1)に位置している。図9Bに示すように、接触点77aは表示部15における物理座標で(x2,y2)に位置している。図9Aの(x1,y1)と図9Bの(x2,y2)とは物理座標が異なっている。図9Cは表示部13の原点を基準にして、表示部13および表示部15のそれぞれの表示範囲を1つのxy座標に表した仮想座標を示す。
 判定部51は、2つの表示部13、15の両方を動作させる状態にすると、表示部13の物理座標と仮想座標を定義する。判定部51は、表示部13で検出された接触点77bが図9Aに示す座標(x1,y1)に位置していることを認識する。続いて、判定部51は、接触点77aの座標情報として座標(x2、y2)の情報を表示部15から受け取ると、図9Cに示す座標(x2+w、y2)に変換する。判定部51は、接触点77aのx座標がwよりも大きいことから、接触点77aが表示部15で検出されたことを認識する。判定部51は、表示部13で接触点77bが検出され、表示部15で接触点77aが検出されたことを認識することで、2つの表示部13、15を跨ぐマルチタッチ操作があったと判断する。
 本実施形態によれば、2つの画面に跨る操作を検出すると、コンテンツの表示方法を、2画面ではなく、1画面で行うようにしている。そのため、1画面表示において、ユーザはコンテンツ中央付近でフリックおよびドラッグ等の操作を行うことが可能となる。2画面に表示されたコンテンツに対して、2画面に跨る操作に相当する操作を、ユーザが表示方法を変更しなくても、1画面で実行することができる。
 なお、上述の実施形態では、Flash形式のストリーミング再生の場合で説明したが、動画再生用のアプリケーションソフトウェアにも、本発明を適用することが可能である。
 また、上述の実施形態では、表示対象のコンテンツが動画の場合で説明したが、コンテンツは動画の場合に限らない。
 本発明の効果の一例として、2画面に表示されたコンテンツに対して、2画面に跨るフリックまたはドラッグ等の操作に相当する操作を行うことができる。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 なお、この出願は、2011年9月26日に出願された日本出願の特願2011-208962の内容が全て取り込まれており、この日本出願を基礎として優先権を主張するものである。
 10  情報処理端末
 13、15  表示部
 17  制御部
 19  姿勢検出部

Claims (6)

  1.  タッチパネル機能を備えた第1の表示部および第2の表示部と、
     前記第1の表示部および第2の表示部の2つの表示部を使用して表示させているコンテンツに対して、該コンテンツの中心線を跨ぐように連続的に触れる操作があると、前記コンテンツを前記2つの表示部のうち、いずれか一方の表示部に表示させる制御部と、
    を有する情報処理端末。
  2.  請求項1記載の情報処理端末において、
     前記制御部は、
     前記コンテンツの中心線を跨ぐように連続的に触れる操作があるか否かの判定を、
     前記2つの表示部を使用して前記コンテンツを表示させる前であって、前記2つの表示部を1画面として使用する場合に該1画面の一部に前記コンテンツを表示させ、または、前記2つの表示部のうち、いずれか一方の表示部の画面の一部に前記コンテンツを表示させる第1の表示モードにおいて行う、情報処理端末。
  3.  請求項1または2記載の情報処理端末において、
     前記制御部は、
     前記2つの表示部を1画面として使用する場合に該1画面の全体に前記コンテンツを表示させる第2の表示モードにおいて、
     前記コンテンツの中心線を跨ぐように連続的に触れる操作があるか否かの判定を、前記2つの表示部の接続部を中心にして所定の範囲に触れる操作があるか否かで判定で行う、情報処理端末。
  4.  請求項3記載の情報処理端末において、
     前記制御部は、
     前記2つの表示部を用いて前記第2の表示モードで前記コンテンツを表示させている場合に、前記2つの表示部の接続部を跨ぐマルチタッチ操作があると、前記コンテンツの表示を前記2つの表示部のうち、いずれか一方の表示部に切り替える、情報処理端末。
  5.  請求項1から4のいずれか1項記載の情報処理端末において、
     前記制御部は、
     前記第1の表示部における表示範囲を2次元座標とする物理座標と、該第1の表示部の該物理座標を原点とし、該第1の表示部の該物理座標および前記第2の表示部の表示範囲を合わせた2次元座標である仮想座標とを予め定義し、
     前記第1の表示部で検出された接触点を該第1の表示部の物理座標に変換し、前記第2の表示部で検出された接触点を前記仮想座標に変換することで、前記2つの表示部の接続部を跨ぐマルチタッチ操作があるか否かを検出する、情報処理端末。
  6.  タッチパネル機能を備えた2つの表示部および制御部を有する情報処理端末による情報処理方法であって、
     前記2つの表示部を使用して表示させているコンテンツに対して、該コンテンツの中心線を跨ぐように連続的に触れる操作があるか否かを判定し、
     判定の結果、前記コンテンツの中心線を跨ぐように連続的に触れる操作があると、該コンテンツを前記2つの表示部のうち、いずれか一方の表示部に表示させる、情報処理方法。
PCT/JP2012/070827 2011-09-26 2012-08-16 情報処理端末および情報処理方法 WO2013046987A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011208962 2011-09-26
JP2011-208962 2011-09-26

Publications (1)

Publication Number Publication Date
WO2013046987A1 true WO2013046987A1 (ja) 2013-04-04

Family

ID=47995038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/070827 WO2013046987A1 (ja) 2011-09-26 2012-08-16 情報処理端末および情報処理方法

Country Status (2)

Country Link
JP (1) JPWO2013046987A1 (ja)
WO (1) WO2013046987A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820557A (zh) * 2015-05-06 2015-08-05 魅族科技(中国)有限公司 一种分屏方法及移动终端
WO2019069474A1 (ja) * 2017-10-04 2019-04-11 株式会社Nttドコモ 表示装置
WO2019080511A1 (zh) * 2017-10-23 2019-05-02 华为技术有限公司 一种多任务管理方法及终端设备
WO2020105134A1 (ja) * 2018-11-21 2020-05-28 株式会社Fuji 部品実装装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251465A (ja) * 2005-03-11 2006-09-21 Fujitsu Ltd マルチディスプレイにおけるウインドウの表示制御装置
WO2010001699A1 (ja) * 2008-06-30 2010-01-07 日本電気株式会社 情報処理装置、表示制御方法、及び記録媒体
JP2010211407A (ja) * 2009-03-09 2010-09-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2010250465A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2011047338A1 (en) * 2009-10-15 2011-04-21 Qualcomm Incorporated Method, system, and computer program product combining gestural input from multiple touch screens into one gestural input
WO2011052299A1 (ja) * 2009-10-28 2011-05-05 日本電気株式会社 携帯情報端末

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251465A (ja) * 2005-03-11 2006-09-21 Fujitsu Ltd マルチディスプレイにおけるウインドウの表示制御装置
WO2010001699A1 (ja) * 2008-06-30 2010-01-07 日本電気株式会社 情報処理装置、表示制御方法、及び記録媒体
JP2010211407A (ja) * 2009-03-09 2010-09-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2010250465A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2011047338A1 (en) * 2009-10-15 2011-04-21 Qualcomm Incorporated Method, system, and computer program product combining gestural input from multiple touch screens into one gestural input
WO2011052299A1 (ja) * 2009-10-28 2011-05-05 日本電気株式会社 携帯情報端末

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820557A (zh) * 2015-05-06 2015-08-05 魅族科技(中国)有限公司 一种分屏方法及移动终端
CN104820557B (zh) * 2015-05-06 2018-09-11 魅族科技(中国)有限公司 一种分屏方法及移动终端
WO2019069474A1 (ja) * 2017-10-04 2019-04-11 株式会社Nttドコモ 表示装置
JP2019067308A (ja) * 2017-10-04 2019-04-25 株式会社Nttドコモ 表示装置
WO2019080511A1 (zh) * 2017-10-23 2019-05-02 华为技术有限公司 一种多任务管理方法及终端设备
WO2020105134A1 (ja) * 2018-11-21 2020-05-28 株式会社Fuji 部品実装装置

Also Published As

Publication number Publication date
JPWO2013046987A1 (ja) 2015-03-26

Similar Documents

Publication Publication Date Title
KR102097496B1 (ko) 폴더블 이동 단말기 및 그 제어 방법
JP5944150B2 (ja) 携帯情報端末、携帯情報端末を制御するためのプログラムおよび遠隔教育方法
US9323351B2 (en) Information processing apparatus, information processing method and program
JP5802249B2 (ja) 表示装置、ソース機器、及び表示システム
US20140115537A1 (en) Method for providing gui using motion and display apparatus applying the same
EP2402842A1 (en) Electronic device comprising a tilt sensor for adjusting display orientation, and computer-implemented control method therefor
JP6319298B2 (ja) 情報端末、表示制御方法及びそのプログラム
CN110515580B (zh) 一种显示控制方法、装置及终端
JP2014132427A (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2009099074A1 (ja) コンテンツ表示方法、コンテンツ表示プログラム、およびコンテンツ表示装置
US20120084730A1 (en) Electronic apparatus, icon display method, and program for electronic apparatus
WO2013046987A1 (ja) 情報処理端末および情報処理方法
JP5965127B2 (ja) 携帯端末機の電子ブック検索装置及び方法
JP2013109421A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2010103956A (ja) 携帯電話
JP5197834B1 (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
US11768651B2 (en) Information processing device and control method
JP2012190081A (ja) 電子機器、オブジェクトの表示方法及びオブジェクトの表示プログラム。
US20140075391A1 (en) Display control device, display control system, storing medium, and display method
WO2013046986A1 (ja) 情報処理端末および情報処理方法
JP2005339051A (ja) 制御システム、そのプログラマブル表示器、遠隔モニタ装置、プログラム
US11972710B2 (en) Information processing device and control method for foldable displays
WO2013145485A1 (ja) 情報処理装置
US11747865B2 (en) Information processing device and control method
US11769433B2 (en) Information processing device and control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12835941

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013536063

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12835941

Country of ref document: EP

Kind code of ref document: A1