WO2010007813A1 - 携帯型画像表示装置、その制御方法及び情報記憶媒体 - Google Patents

携帯型画像表示装置、その制御方法及び情報記憶媒体 Download PDF

Info

Publication number
WO2010007813A1
WO2010007813A1 PCT/JP2009/056004 JP2009056004W WO2010007813A1 WO 2010007813 A1 WO2010007813 A1 WO 2010007813A1 JP 2009056004 W JP2009056004 W JP 2009056004W WO 2010007813 A1 WO2010007813 A1 WO 2010007813A1
Authority
WO
WIPO (PCT)
Prior art keywords
display screen
user
image
state
display device
Prior art date
Application number
PCT/JP2009/056004
Other languages
English (en)
French (fr)
Inventor
平田 真一
洋 大澤
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008184858A external-priority patent/JP5205157B2/ja
Priority claimed from JP2008184859A external-priority patent/JP2010026064A/ja
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to US13/003,751 priority Critical patent/US8854320B2/en
Publication of WO2010007813A1 publication Critical patent/WO2010007813A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0339Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a portable image display device carried by a user, a control method thereof, and an information storage medium.
  • the portable image display apparatus as described above includes a user interface that allows a user to easily perform various operation inputs.
  • the present inventors consider providing display screens on both the front and back sides of the portable image display device so that information can be presented to the user by various methods. is doing. In this case, when the user holds the portable image display device by hand and browses both display screens, it is expected that the user will handle the display in various ways. Therefore, it is necessary to display an image on the display screen in consideration of how the user handles the portable image display device.
  • the present invention has been made in view of the above circumstances, and one of its purposes is to provide a portable image display device that allows a user to easily perform various operation inputs, a control method thereof, and an information storage medium. There is to do.
  • Another object of the present invention is to provide a portable image display capable of displaying an image on the display screen in a manner corresponding to how the user handles the portable image display device when the display screen is provided on both the front and back surfaces.
  • An apparatus, a control method thereof, and an information storage medium are provided.
  • a portable image display device is provided along each of a substantially rectangular display screen and at least two sides constituting the outer periphery of the display screen, and the position touched by a user's finger, respectively.
  • the display image control means changes an image displayed on the display screen according to a combination of movements of a plurality of finger positions detected by the plurality of touch sensors. It is good as well.
  • the display image control means changes an image displayed on the display screen in accordance with a combination of movement directions of a plurality of finger positions detected by the plurality of touch sensors. It is also possible to make it.
  • the portable image display device includes a substantially rectangular flat plate-shaped housing, the display screen is provided on a surface of the housing, and each of the plurality of touch sensors is provided on a side surface of the housing. It may be provided.
  • a control method for a portable image display device which is provided along each of a substantially rectangular display screen and at least two sides constituting the outer periphery of the display screen. And a plurality of touch sensors for detecting positions touched by the portable image display device, according to a combination of positions of a plurality of fingers detected by each of the plurality of touch sensors, And a step of changing an image displayed on the display screen.
  • An information storage medium is provided along each of a substantially rectangular display screen and at least two sides constituting the outer periphery of the display screen.
  • a program for causing a computer to function as a portable image display device including a plurality of touch sensors to detect, according to a combination of a plurality of finger positions detected by each of the plurality of touch sensors,
  • a computer-readable information storage medium storing a program for causing the computer to function as display image control means for changing an image displayed on a display screen.
  • a portable image display device includes a first display screen provided on a surface of a flat housing, and a surface of the housing opposite to the first display screen.
  • a second display screen provided, a first state in which the first display screen is directed to the user, and a state specifying means for specifying a second state in which the second display screen is directed to the user, and the first state
  • display image control means for changing an image to be displayed on a display screen directed to the user in accordance with a change in attitude of the housing when the transition from one of the second states to the other occurs. It is characterized by.
  • the display image control means changes the orientation of the image displayed on the display screen directed to the user in the state after the transition with respect to the housing in accordance with the aspect of the posture change. It is also possible to make it.
  • the display image control unit may change the rotation axis of the rotation after the transition according to the direction of the rotation axis of the rotation with respect to the casing when the transition occurs.
  • the orientation of the image displayed on the display screen directed to the user in the state with respect to the housing may be changed.
  • the display image control means may display an image to be displayed on a display screen directed to the user in the state before the transition according to the posture change mode when the transition occurs. It may be changed.
  • the casing is a substantially rectangular flat plate, and a plurality of touch sensors for detecting positions touched by a user's finger are provided on the side of the casing. It is good to be.
  • a control method for a portable image display device comprising: a first display screen provided on a surface of a flat housing; and a side opposite to the first display screen of the housing.
  • a second display screen provided on the surface of the portable image display device, wherein the first display screen is directed to the user, and the second display screen is directed to the user.
  • On the display screen directed to the user in accordance with the step of identifying each of the second states to be performed and the manner of the posture change of the housing when the transition from one of the first state and the second state to the other occurs And a step of changing an image to be displayed.
  • An information storage medium is provided on a first display screen provided on a surface of a flat housing and on a surface of the housing opposite to the first display screen.
  • a second display screen for causing a computer to function as a portable image display device, wherein the first display screen is directed to the user, and the second display screen is directed to the user.
  • State specifying means for specifying each of the second states to be displayed, and a display directed to the user in accordance with a change in posture of the housing when a transition from one of the first state and the second state occurs to the other
  • a computer-readable information storage medium storing a program for causing the computer to function as display image control means for changing an image displayed on a screen.
  • FIG. 1 is a perspective view showing an outer appearance of a surface side of a portable image display device according to an embodiment of the present invention. It is a perspective view which shows the external appearance of the back surface side of the portable image display apparatus which concerns on embodiment of this invention. It is a block diagram which shows the internal structure of the portable image display apparatus which concerns on embodiment of this invention. It is a functional block diagram which shows the function example of the portable image display apparatus which concerns on 1st Embodiment. It is explanatory drawing which shows an example of operation with respect to the touch sensor by a user. It is explanatory drawing which shows another example of operation with respect to the touch sensor by a user. It is explanatory drawing which shows another example of operation with respect to the touch sensor by a user.
  • FIG. 1A and 1B are perspective views showing the appearance of the portable image display device 1 according to the first embodiment of the present invention, and FIG. 1A shows the portable image display device 1 as viewed from the front (front) side. FIG. 1B shows a state where the same portable image display device 1 is viewed from the back side.
  • the casing 10 of the portable image display device 1 has a substantially rectangular flat plate shape as a whole, and the first display screen 12a is on the front surface and the second display is on the back surface. Each screen 12b is provided. Each of these display screens has a substantially rectangular shape, and is arranged so as to occupy most of the front surface or the back surface of the housing 10.
  • the first display screen 12a and the second display screen 12b may be various devices capable of displaying images, such as a liquid crystal display panel and an organic EL display panel.
  • a touch panel capable of detecting a position touched by a user's finger or the like may be placed on these display screens.
  • each touch sensor is provided along each of the four sides constituting the outer periphery of the display screen.
  • These touch sensors are arranged on each of the four side surfaces of the housing 10 and each have a linear detection region.
  • each touch sensor is arranged on one side of the outer periphery of the first display screen 12a arranged on the front surface of the housing 10 and the second display screen 12b arranged on the back surface. It will be arranged along both sides of the outer periphery of the.
  • the first touch sensor 14a and the third touch sensor 14c are displayed on the side surfaces along the long side direction (left-right direction) of the first display screen 12a and the second display screen 12b.
  • a second touch sensor 14b and a fourth touch sensor 14d are arranged on the side surfaces along the short side direction (vertical direction) of the screen 12a and the second display screen 12b, respectively.
  • touch sensors are used to detect a position touched by a finger of a user who uses the portable image display device 1.
  • Each touch sensor may be of various types such as a capacitance type, a pressure sensitive type, and an optical type.
  • Each touch sensor may detect not only the position touched by the user's finger but also the strength with which the user's finger presses the touch sensor, for example, by detecting the contact area or pressure of the finger.
  • the portable image display device 1 operates the position of the user's finger in the direction along the outer periphery of the first display screen 12a or the second display screen 12b. It can be accepted as input.
  • the first far infrared sensor 16a is provided on the surface of the housing 10 adjacent to the first display screen 12a. Furthermore, a second far-infrared sensor 16b is provided on the rear surface of the housing 10 adjacent to the second display screen 12b. These far infrared sensors detect far infrared rays emitted from a heat source. Thereby, the portable image display device 1 can detect whether or not there is a user in front of each far-infrared sensor.
  • the portable image display device 1 may include various devices that can detect the position of the user, such as a CCD camera, for example, instead of or in addition to the far-infrared sensor.
  • an acceleration sensor 18 and a gyro sensor 20 are disposed inside the housing 10 of the portable image display device 1.
  • the acceleration sensor 18 is a three-axis acceleration sensor, and detects acceleration generated in the directions of three reference axes (X axis, Y axis, and Z axis) set with respect to the housing 10.
  • the three reference axes are substantially orthogonal to each other
  • the X axis is the long side direction of the rectangle on the surface of the housing 10
  • the Y axis is the short side direction of the rectangle
  • the Z axis is the thickness direction of the housing 10. It is assumed that it is set.
  • the acceleration sensor 18 detects the acceleration generated in each reference axis due to gravity
  • the portable image display device 1 can detect its own posture (that is, the inclination of the housing 10 with respect to the vertical direction in which gravity acts). it can.
  • the gyro sensor 20 detects the angular velocity of rotation around the gyro reference axis (here, the Z axis), and outputs an electrical signal corresponding to the detected angular velocity.
  • the gyro sensor 20 may be a piezoelectric vibration gyro.
  • the portable image display device 1 includes various operation members for receiving user operation inputs, such as buttons and switches, in addition to the touch sensor. 10 may be provided on the front surface, back surface, side surface, or the like.
  • FIG. 2 is a configuration block diagram showing the internal configuration of the portable image display device 1.
  • the portable image display device 1 includes a control unit 30, a storage unit 32, and an image processing unit 34.
  • the control unit 30 is a CPU or the like, for example, and executes various types of information processing according to programs stored in the storage unit 32.
  • the storage unit 32 is, for example, a memory element such as a RAM or a ROM, a disk device, and the like, and stores a program executed by the control unit 30 and various data.
  • the storage unit 32 also functions as a work memory for the control unit 30.
  • the image processing unit 34 includes, for example, a GPU and a frame buffer memory, and draws an image to be displayed on each of the first display screen 12a and the second display screen 12b in accordance with an instruction output from the control unit 30.
  • the image processing unit 34 includes two frame buffer memories corresponding to the first display screen 12a and the second display screen 12b, respectively, and the GPU performs the two processing at predetermined intervals according to an instruction from the control unit 30. Write an image to each of the two frame buffer memories. The images written in these frame buffer memories are converted into video signals at a predetermined timing and displayed on the corresponding display screens.
  • control unit 30 executes various processes based on the detection results of the touch sensors 14a to 14d, the far-infrared sensors 16a and 16b, the acceleration sensor 18, and the gyro sensor 20, respectively.
  • control unit 30 determines the content of the instruction operation by the user based on the detection result of the position of the user's finger by the touch sensors 14a to 14d, executes the process according to the instruction operation, and displays the processing result. It is displayed on the display screen and presented to the user.
  • the display screen viewed by the user may be the first display screen 12a or the second display screen 12b depending on circumstances. Therefore, the portable image display device 1 specifies a display screen (hereinafter referred to as a main display screen) that is assumed to be browsed mainly by the user, and displays an image to be mainly displayed on the main display screen. Further, on the display screen opposite to the main display screen (hereinafter referred to as the sub display screen), auxiliary information related to the image displayed on the main display screen may be displayed or displayed on the main display screen. Another image generated by a program different from the program that generates the image to be displayed may be displayed. Further, the image may not be displayed on the sub display screen until the sub display screen is switched to the main display screen by a user operation or the like.
  • first display screen 12a and the second display screen 12b is the main display screen is detected by the first far-infrared sensor 16a and the second far-infrared sensor 16b, for example.
  • Switching may be performed according to information indicating which side is present, the posture of the housing 10 detected by the acceleration sensor 18, and the like. Or it is good also as switching according to a user's explicit instruction
  • the control unit 30 executes a process of changing an image displayed on the main display screen according to a combination of a plurality of positions of the user's finger detected by the touch sensors 14a to 14d.
  • the portable image display device 1 functionally includes a detection position / information acquisition unit 40, an operation type determination unit 42, and a display image control processing unit 44 as shown in FIG. And. These functions are realized when the control unit 30 executes a program stored in the storage unit 32.
  • This program may be provided by being stored in various computer-readable information storage media such as an optical disk and a memory card, or may be provided via a communication network such as the Internet.
  • the detection position / information acquisition unit 40 detects coordinate values output by the touch sensors 14a to 14d by detecting the position of the user's finger.
  • the touch sensor 14a to 14d when each of the touch sensors 14a to 14d detects a position touched by the user's finger, the touch sensor 14a to 14d outputs a coordinate value indicating the position every predetermined time.
  • the coordinate value output by each touch sensor is assumed to be a one-dimensional value indicating the position in the linear detection region.
  • the detection position / information acquisition unit 40 acquires coordinate values output by each of the four touch sensors at predetermined time intervals. Accordingly, a maximum of four coordinate value sequences indicating the movement (time change) of the position of the user's finger can be obtained corresponding to the four touch sensors.
  • the detection position / information acquisition unit 40 may acquire not only the coordinate value indicating the detection position but also the pressure value indicating the strength with which the user presses the position. In this case, the detection position / information acquisition unit 40 may adopt only the coordinate value whose pressure value is equal to or greater than a predetermined threshold as the coordinate value indicating the position where the user's finger is in contact.
  • the operation type determination unit 42 determines the type of operation performed by the user based on a plurality of coordinate value sequences indicating the movement of the user's finger position acquired by the detected position / information acquisition unit 40. For example, for each of the four touch sensors, the operation type determination unit 42 first determines whether or not the user's finger keeps touching over a predetermined period and whether or not the user's finger has moved a predetermined amount or more within that period. When there are a plurality of touch sensors that are determined to move the user's finger by a predetermined amount or more, the combination of these touch sensors and the direction of movement of the user's finger (that is, whether the coordinate value has increased in the coordinate value sequence) Or the type of operation has been reduced). Thus, the operation type can be determined according to the combination of the movements (moving directions in this case) of the positions of the user's fingers detected by the plurality of touch sensors.
  • the display image control processing unit 44 changes the image displayed on the main display screen according to the operation type determined by the operation type determination unit 42. Specifically, for example, image processing for enlarging or reducing an image displayed on the screen or scrolling (translating) in the horizontal and vertical directions is executed.
  • the first display screen 12a is a main display screen, and each touch sensor actually arranged on the side surface of the casing 10 along the four sides constituting the outer periphery thereof is displayed as a first display. These are schematically shown side by side on each side of the screen 12a. In addition, the movement of the user's finger is indicated by an arrow on each touch sensor.
  • FIG. 4 shows an example in which the control unit 30 scrolls the image displayed on the first display screen 12a in the left-right direction in accordance with a user operation.
  • both the first touch sensor 14a and the third touch sensor 14c arranged along the left-right direction of the display screen are in the left direction (that is, the X-axis negative direction) toward the display screen.
  • the movement of the finger is detected.
  • the control unit 30 executes a process of scrolling the image displayed on the first display screen 12a in the same left direction as the direction in which the user's finger moves.
  • the control unit 30 displays the first display screen 12a. Scroll the image displayed at to the right.
  • FIG. 5 shows an example in which the image displayed on the first display screen 12a is scrolled up and down.
  • the second touch sensor 14b and the fourth touch sensor 14d arranged along the vertical direction of the display screen cause the user's finger to move upward (Y-axis positive direction) toward the display screen.
  • the control unit 30 scrolls the image displayed on the first display screen 12a upward. Further, when the movement of the user's finger in the downward direction (Y-axis negative direction) is detected, the control unit 30 scrolls the display image downward.
  • FIG. 6 shows an example where the user instructs to reduce the image.
  • the first touch sensor 14a detects the movement of the user's finger in the positive X-axis direction
  • the second touch sensor 14b detects the movement of the user's finger in the negative Y-axis direction. That is, the two touch sensors adjacent to each other detect the movement of the user's finger in a direction approaching the other touch sensor.
  • the control unit 30 executes a process for reducing the image displayed on the first display screen 12a.
  • the control unit 30 displays the image displayed on the first display screen 12a. Execute the enlargement process.
  • FIG. 7 shows an example of such an image enlargement instruction by the user.
  • the fourth touch sensor 14d detects the movement of the user's finger in the Y-axis positive direction, and the first touch sensor 14a moves in the X-axis positive direction. It shows an example in which the movement of the user's finger is detected.
  • the control unit 30 performs a process of enlarging the image displayed on the first display screen 12a. Execute.
  • FIG. 8 and 9 show an example of the movement of the user's finger when a rotation instruction is given.
  • the first touch sensor 14a and the third touch sensor 14c facing each other detect movements of the user's fingers in opposite directions. That is, the first touch sensor 14a detects the movement of the user's finger in the X-axis positive direction and the third touch sensor 14c detects the X-axis negative direction.
  • the control unit 30 performs a process of rotating the image displayed on the first display screen 12a counterclockwise.
  • the first touch sensor 14a detects the movement of the user's finger in the negative X-axis direction and the third touch sensor 14c in the positive X-axis direction
  • the display image is rotated clockwise. To perform the process.
  • FIG. 9 shows an example in which the second touch sensor 14b and the fourth touch sensor 14d, which are also opposed to each other, detect movements of the user's fingers in opposite directions.
  • the second touch sensor 14b detects the movement of the user's finger in the positive Y-axis direction and the fourth touch sensor 14d in the negative Y-axis direction, and the control unit 30 displays the display image accordingly. Rotate counterclockwise. If the second touch sensor 14b detects the movement of the user's finger in the negative Y-axis direction and the fourth touch sensor 14d detects the positive direction of the Y-axis, the control unit 30 conversely rotates the display image clockwise. .
  • the control unit 30 performs the same processing when the second display screen 12b is selected as the main display screen. By executing, the user can perform an operation input that changes the image displayed on the display screen. However, in this case, the control unit 30 determines whether each touch sensor is selected depending on which display screen is selected as the main display screen and in what orientation the image is displayed with respect to the main display screen. Assume that the correspondence relationship between the moving direction of the finger position to be detected and the scroll direction and rotation direction of the image is changed. Accordingly, the image can be changed in accordance with the direction in which the user moves the finger.
  • the control unit 30 may change the image displayed on the first display screen 12a according to not only the moving direction of the user's finger detected by each touch sensor but also the moving amount. Good.
  • the scroll amount and scroll speed, the enlargement / reduction ratio, the enlargement / reduction speed, the rotation amount and the rotation speed when changing the image may be changed according to the amount of movement of the user's finger.
  • the control unit 30 scrolls, enlarges / reduces, or rotates the entire image displayed on the main display screen. By executing a process that moves, enlarges, reduces, or rotates a part of an image or an operation target object arranged in the image according to the movement of the user's finger, The image displayed on the main display screen may be changed.
  • control unit 30 may, for example, In response to an operation in which the user simply touches the finger, various processes for changing the display image may be executed.
  • each of the touch sensors 14a to 14d detects only one position touched by the user's finger.
  • the present invention is not limited to this, and each of the touch sensors 14a to 14d may be capable of multipoint detection for detecting the positions of the plurality of fingers when the plurality of fingers touch at the same time.
  • the control unit 30 may change the image displayed on the main display screen according to the combination of the positions of a plurality of fingers detected by one touch sensor.
  • the detection position / information acquisition unit 40 acquires a plurality of coordinate values output by the touch sensor. And using information such as the distance between the acquired coordinate values (that is, the order of the positions in the detection area indicated by each coordinate value) and the position of the finger detected last time, Each of the acquired plurality of coordinate values is associated with a coordinate value estimated to indicate a position touched by the same finger of the user among the coordinate values output by the touch sensor last time. Accordingly, the detection position / information acquisition unit 40 can acquire a plurality of coordinate value sequences indicating the movement of each of a plurality of fingers of the user based on the output of one touch sensor.
  • the operation type determination unit 42 allows the user to Determine the type of operation to be performed.
  • FIG. 10 shows an example of the movement of the user's finger detected by such a multi-point detection type touch sensor.
  • the first touch sensor 14a detects the movement of the user's two fingers approaching each other.
  • the display image control processing unit 44 executes a process of reducing the display image.
  • the display image control processing unit 44 executes a process of enlarging the display image.
  • the 1st touch sensor 14a but another three touch sensors are good also as a display image being reduced or expanded by detecting the motion of the same user's finger
  • the touch sensor is a multi-point detection type as described above, a plurality of coordinate value sequences in which the position does not change and a coordinate value sequence in which the position changes with time are mixed for the output from each touch sensor.
  • a coordinate value sequence may be acquired.
  • the operation type determination unit 42 determines that the coordinate value sequence whose position does not change is a position where the user's hand is touching by gripping the housing 10, and such coordinates
  • the value sequence may be excluded from the operation type determination target. In this way, even when the touch sensor detects a finger or palm contact not intended by the user, only the operation of moving the finger on the touch sensor by the user is illustrated in FIGS. 4 to 9. It is possible to specify user operations on the plurality of touch sensors.
  • control unit 30 may execute various processes according to the detected position of the user's finger.
  • the control unit 30 performs the same processing as in the examples of FIGS. 4 and 5 in which the display image is scrolled up, down, left, and right when the movement of the user's finger is detected by any one touch sensor. May be executed.
  • the control unit 30 may execute various processes even when it is detected by a single touch sensor that the user's finger has simply touched a predetermined position.
  • the portable image display device 1 includes a camera device
  • control is performed when it is detected that the user has pressed a position where a shutter is provided in a general camera with a pressure exceeding a predetermined strength.
  • the unit 30 may execute image capturing processing by the camera device.
  • the touch sensors 14a to 14d are multi-point detection type sensors, and the detection position / information acquisition unit 40 can output a plurality of coordinate value sequences for each touch sensor.
  • the operation type determination unit 42 executes a low-pass filter process that passes only frequency components having a frequency equal to or lower than a predetermined cutoff frequency (for example, about 5 Hz) for each coordinate value sequence. As a result, a relatively high frequency signal component caused by camera shake or the like is removed from the coordinate value sequence indicating the detection position of the user's finger.
  • a predetermined cutoff frequency for example, about 5 Hz
  • the operation type determination unit 42 rearranges the plurality of coordinate value sequences, each of which has been subjected to the low-pass filter processing, in accordance with a predetermined criterion.
  • the order of this rearrangement is such that the higher the order of the coordinate values, the higher the possibility is that the user obtained a finger touching the touch sensor with the intention of performing some operation input.
  • the operation type determination unit 42 calculates the index value of each coordinate value sequence according to the conditions listed below, and rearranges the coordinate value sequence in the order of the calculated index value.
  • the index value is calculated to be higher for a coordinate value string having a higher pressure value detected when each coordinate value constituting the coordinate value string is detected.
  • an index value is calculated to be high for a coordinate value sequence in which the detection positions indicated by the coordinate value sequence are stably present at relatively the same position or are stably changing in one direction. . That is, a coordinate value sequence whose position has changed extremely greatly in a short time, and a coordinate value sequence whose position change direction repeatedly changes in a short time may have occurred due to erroneous detection, etc. The index value is calculated low.
  • an index value of a coordinate value sequence (that is, a coordinate value sequence that is independent from the others) in which no detection position by another coordinate value sequence exists in the vicinity of the detection position indicated by the coordinate value sequence is calculated to be high.
  • the index value of such a coordinate value sequence can be lowered.
  • the number of coordinate values constituting each coordinate value sequence may be used for calculating the index value.
  • the operation type determination unit 42 evaluates each coordinate value sequence in accordance with the rearranged order, and determines whether each coordinate value sequence corresponds to a predetermined operation pattern, whereby the operation type by the user is determined. Judgment is made. By doing so, it is possible to determine the operation type by preferentially using a coordinate value sequence assumed to be obtained by the user intentionally touching the touch sensor with a finger as a determination target. At this time, a priority order may be determined in advance for the operation type to be determined. That is, the portable image display device 1 stores in advance a table in which the priority order is associated with each of a plurality of operation patterns to be determined.
  • each coordinate value sequence corresponding to the operation pattern is determined in the order in which the above-described rearrangement is performed for each coordinate value sequence.
  • the order of this operation pattern the operation by the movement of two or more fingers of the user, the operation by the movement of one finger, the operation by which one finger touches a predetermined position in descending order of priority. An order in which one finger moves away from a predetermined position is exemplified.
  • the operation pattern that is initially determined to have the corresponding coordinate value sequence is the operation input actually performed by the user. In this way, it is possible to determine an operation with a low possibility of erroneous detection as a user operation with priority.
  • priority orders between these types of operation patterns may be determined. Further, the priority order may be changed according to the contents of the process being executed by the application program.
  • the operation type determination unit 42 determines whether or not each coordinate value sequence corresponds to a predetermined operation pattern, it is determined that the detected position changes by an amount exceeding a given play amount. You may add to the determination conditions of whether it corresponds to a pattern. In this way, when the user's finger slightly touches the touch sensor against the user's intention, it is determined that the user has performed an operation of moving the finger in a predetermined direction on the touch sensor. Can be avoided.
  • the play amount may be a different value for each type of the plurality of operation patterns. For example, the play amount may be changed between an operation pattern for touch sensors separated from each other as illustrated in FIG. 5 and an operation pattern for touch sensors adjacent to each other as illustrated in FIG.
  • the image displayed on the display screen changes according to the combination of finger positions detected by each of the plurality of touch sensors provided along the outer periphery of the display screen. To do.
  • the user can easily and intuitively input an operation on the image displayed on the display screen by touching the position on the plurality of touch sensors corresponding to the display screen with a finger. It can be performed.
  • the portable image display device 1 receives various types of operation inputs by the user. Can be accepted.
  • the plurality of touch sensors are provided along the outer periphery of the display screen, when the user touches and operates these touch sensors with a finger, the display screen is not hidden with the finger. It is possible to make it difficult to impair the viewability.
  • FIG. 11 shows a cross-sectional shape of the portable image display device having the concave side surface as described above.
  • the portable image display device shown in this figure has the same structure as the portable image display device shown in FIGS. 1A and 1B except that the side surface is formed in a concave shape. A screen and a touch sensor are arranged. Further, FIG.
  • FIG 11 shows a state in which the portable image display device 1 is cut along a plane perpendicular to each display screen and passing through the first touch sensor 14a and the third touch sensor 14c. If the touch sensor is arranged along the bottom surface of the recess in this way, as shown in the figure, when the user intentionally touches the touch sensor, the finger can be brought into contact with the touch sensor, It is possible to prevent the user's finger or palm from touching the touch sensor unintentionally at a place where the user simply holds the casing.
  • each touch sensor is provided on the side surface of the housing 10.
  • the touch sensor may be provided adjacent to each side constituting the outer periphery of the display screen on the same surface as each display screen of the housing.
  • the touch sensor does not necessarily need to be provided along all four sides constituting the outer periphery of the rectangle. For example, if two touch sensors are provided along each of at least two sides such as one long side and one short side, control is performed according to the combination of the positions of the user's fingers detected by each of these touch sensors. By changing the image displayed on the display screen by the unit 30, the user can intuitively perform various operations such as enlargement and reduction on the display screen.
  • the hardware configuration of the portable image display device according to the second embodiment is the same as the hardware configuration of the portable image display device according to the first embodiment shown in FIGS. 1A, 1B and 2. . Therefore, the detailed description is abbreviate
  • the control unit 30 executes various processes based on the detection results of the touch sensors 14a to 14d, the far-infrared sensors 16a and 16b, the acceleration sensor 18, and the gyro sensor 20, and the results. Is displayed on the first display screen 12a or the second display screen 12b.
  • the control unit 30 may execute a plurality of programs and display two types of images generated by the respective programs on the first display screen 12a and the second display screen 12b.
  • the main image and the sub image generated by one program may be displayed on the first display screen 12a and the second display screen 12b.
  • the user flips the casing 10 of the portable image display device 1 to view the first display screen 12a in some cases, and to view the portable image display while viewing the second display screen 12b in other cases. Device 1 is used.
  • the control unit 30 includes a state in which the first display screen 12a is directed to the user (hereinafter referred to as the first state) and a state in which the second display screen 12b is directed to the user (hereinafter referred to as the second state). Identify each one. And the process which changes the image displayed on the display screen directed to a user according to the aspect of the attitude
  • the portable image display device 1 functionally includes a state specifying unit 50 and a display image control processing unit 52 as shown in FIG.
  • the display image control processing unit 52 functionally includes a posture change specifying unit 52a and an image direction changing unit 52b. These functions are realized when the control unit 30 executes a program stored in the storage unit 32.
  • This program may be provided by being stored in various computer-readable information storage media such as an optical disk and a memory card, or may be provided via a communication network such as the Internet.
  • the state specifying unit 50 specifies the first state and the second state based on the detection result by each sensor.
  • the state specifying unit 50 specifies the first state and the second state according to the detection results of the first far infrared sensor 16a and the second far infrared sensor 16b. That is, when the first far-infrared sensor 16a detects the presence of the user, the first display screen 12a disposed on the same surface of the casing 10 as the first far-infrared sensor 16a is directed to the user. If the second far-infrared sensor 16b detects the presence of the user, it is determined that the second display screen 12b is in the second state directed to the user.
  • the display image control processing unit 52 is one or both of the first display screen 12a and the second display screen 12b depending on the posture change state of the housing 10 when the state transition specified by the state specifying unit 50 occurs. Control to change the image displayed on the screen.
  • the posture change identifying unit 52a first identifies the posture change mode of the housing 10 when a transition from one of the first state and the second state to the other occurs. That is, it is specified which one of the predetermined first pattern and the second pattern is a process of changing the posture of the housing 10 when transitioning from one state to the other state. .
  • the posture change identifying unit 52a identifies the direction of the rotation axis of the rotation with respect to the housing 10 when the housing 10 rotates and a transition from one state to the other occurs. For example, when the user who has browsed the first display screen 12a until then tries to browse the second display screen 12b on the opposite side, the user moves the casing 10 of the portable image display device 1 in either direction. It will rotate more than degrees.
  • the state specifying unit 50 specifies that the state transition from the first state to the second state occurs.
  • the acceleration sensor 18 detects the posture of the housing 10 in the process of the rotation, and based on the detection result, the posture change specifying unit 52a corresponds to either the first pattern or the second pattern. To identify.
  • the posture change specifying unit 52a determines that the rotation corresponds to the first pattern and the rotation has the X axis as the rotation axis. Is determined to fall under the second pattern.
  • FIG. 13A and FIG. 13B are diagrams showing such changes in postures of the first pattern and the second pattern.
  • the first display screen 12a is directed to the user (first A state in which the second display screen 12b transitions from a state) to a state directed to the user (second state).
  • FIG. 13A shows an example of the first pattern, in which the housing 10 rotates about the Y axis.
  • FIG. 13B shows an example of the second pattern, in which the housing 10 is rotated around the X axis.
  • the housing 10 rotates 180 degrees
  • the positive and negative directions of the Y axis and the Z axis are reversed, but the positive and negative directions of the X axis do not change.
  • the posture change specifying unit 52a can determine such a difference in posture change according to the acceleration values in the X-axis direction and the Y-axis direction detected by the acceleration sensor 18 in the state transition process. That is, when the housing 10 rotates with the Y axis as a rotation axis, an acceleration whose absolute value is close to or higher than the gravitational acceleration G is detected in the X axis direction during the rotation. On the other hand, no great acceleration is detected in the Y-axis direction. Conversely, when the housing 10 rotates about the X axis as a rotation axis, a relatively large acceleration is detected in the Y axis direction and only a relatively small acceleration is detected in the X axis direction during the rotation. Therefore, for example, by determining the smaller one of the absolute maximum acceleration values detected in the X-axis direction and the Y-axis direction during the state transition as the rotation axis, the housing 10 The mode of posture change can be specified.
  • the housing 10 when the user changes the posture of the housing 10, the housing 10 is not necessarily exactly rotated about one of the X axis and the Y axis.
  • the axis having the smaller maximum value may be regarded as the rotation axis by comparing the magnitudes of the absolute values of the acceleration of the X axis and the Y axis.
  • the image direction changing unit 52b corresponds to the posture change state at the time of the state transition specified by the posture change specifying unit 52a, and the image displayed on the display screen directed to the user in the state after the transition is displayed on the housing 10 Change direction. That is, when the state specifying unit 50 specifies the state transition from the first state to the second state, the image direction changing unit 52b displays the orientation of the image displayed on the second display screen 12b after the transition to the second state. Are changed according to whether the posture change process is determined to be the first pattern or the second pattern by the posture change specifying unit 52a.
  • the second state is entered. After the transition, it is estimated that the user sees the image displayed on the second display screen 12b in the same direction. Therefore, when the state transition is performed according to the first pattern (that is, when the user rotates the housing 10 about the Y axis as the rotation axis), the image direction changing unit 52b displays the second display screen 12b. On the other hand, the image is displayed in such a direction that the Y-axis positive direction is on the upper side and the X-axis negative direction is on the right side.
  • the state transition is performed according to the second pattern (that is, when the user rotates the housing 10 around the X axis as the rotation axis)
  • the Y axis negative direction with respect to the second display screen 12b.
  • the image is displayed in such an orientation that is on the upper side and the positive X-axis direction is on the right side. This is realized by inverting the direction of the image upside down in the case of the first pattern.
  • FIG. 14 is an explanatory diagram showing the relationship between the transition between the states and the orientation of the display image.
  • the portable image display device 1 causes the Y-axis positive direction to be on the upper side and the Y-axis negative direction to be on the upper side in each of the first state and the second state. It is possible to display an image in two different orientations. Therefore, in the example of this figure, the state in which the image is displayed in the first state and with the Y-axis positive direction facing upward as viewed from the user is represented as a state 1a. In addition, a state in which an image is displayed in a direction in which the negative Y-axis direction is an upper side when viewed from the user is expressed as a 2a state.
  • the state in which the image is displayed with the Y-axis positive direction facing upward as viewed from the user is the state 2a, and the image is displayed with the Y-axis negative direction facing upward.
  • 2b states respectively.
  • broken arrows in each display screen in the figure indicate which direction of the image is changed so that the upper side of the image is changed by the image direction changing unit 52b.
  • the portable image display device 1 shifts to the 2a state. Conversely, if there is a change in posture of the second pattern, the state shifts to the 2b state. Further, when there is a change in the posture of the first pattern in the 1b state, the portable image display device 1 shifts to the 2b state, and when there is a change in the posture of the second pattern, the portable image display device 1 shifts to the 2a state. Further, similarly, from the respective states of the 2a state and the 2b state, the state of the first pattern or the second pattern is changed to either the 1a state or the 1b state, and the image direction changing unit is changed accordingly.
  • the orientation of the image displayed on the display screen directed to the user after the state transition is the orientation of the image displayed on the display screen directed to the user before the state transition, and the case 10 of the case 10 at the time of the state transition. It is determined according to the mode of posture change.
  • the portable image display device 1 allows the first display screen 12 a and the second display screen 12 b regardless of the orientation of the housing 10. In both cases, an image can be displayed so as to face the user in the same direction.
  • the image direction changing unit 52b may invert the orientation of the image displayed on the first display screen 12a (or the second display screen 12b).
  • Such a change in posture can be detected using the gyro sensor 20.
  • the user selects whether to display an image in the 1a state or the 1b state at a timing such as when the portable image display device 1 starts to be used.
  • the portable image display device 1 can be controlled by executing the control to change the orientation of the image with respect to the housing 10 as described above according to the change in the posture of the housing 10.
  • the image can be displayed in the same direction as the first selected direction.
  • the display image control processing unit 52 may change the content of the image to be displayed according to the posture change mode at the time of state transition, not limited to the orientation of the image. Further, the image displayed on the display screen directed to the user in the state before the transition may be changed when the transition occurs in accordance with the posture change mode at the time of the state transition.
  • the display image control processing unit 52 changes an image displayed on both the first display screen 12a and the second display screen 12b when a state transition occurs will be described.
  • similar processing may be performed in the reverse case.
  • the display image control processing unit 52 specifies that the housing 10 has started rotating using the detection result of the acceleration sensor 18 before the state transition is completed. When the rotation continues, it is predicted which of the first pattern and the second pattern described above causes the state transition. Specifically, for example, the display image control processing unit 52 rotates about the Y axis as the rotation axis when the absolute value of the output of the acceleration sensor 18 in the X axis direction exceeds a predetermined value. Predict that a pattern state transition may occur. Further, when the absolute value of the output of the acceleration sensor 18 with respect to the Y-axis direction exceeds a predetermined value, rotation about the X-axis is occurring, and there is a possibility that the state transition of the second pattern may occur. Predict.
  • the display image control processing unit 52 changes the image displayed on the first display screen 12a to scroll in a predetermined direction according to the prediction result.
  • the scroll direction in this case changes according to the predicted posture change mode.
  • the display image control processing unit 52 may change the image displayed on the display screen according to not only the direction of the rotation axis but also the rotation direction around the rotation axis. For example, the display image control processing unit 52 may change the scroll direction of the image depending on which direction of rotation occurs.
  • the display image control processing unit 52 scrolls the image displayed on the first display screen 12a in the X-axis positive direction as the acceleration in the X-axis negative direction increases. Further, the image displayed on the second display screen 12b is also gradually scrolled from the outside of the screen in the negative direction of the X axis (that is, in the direction opposite to the scroll direction of the image displayed on the first display screen 12a).
  • Control is performed so that an image is displayed around the center of the screen when the transition to the two states is completed and the acceleration in the X-axis direction returns to a predetermined value or less.
  • the casing 10 rotates clockwise with the Y axis as the rotation axis when viewed in the Y axis positive direction
  • the image displayed on the first display screen 12a is scrolled in the X axis negative direction
  • the image displayed on the second display screen 12b is scrolled in the X axis positive direction.
  • the casing 10 rotates clockwise as viewed in the X-axis positive direction with the X axis as the rotation axis
  • the image displayed on the first display screen 12a is scrolled in the Y-axis positive direction
  • the image displayed on the second display screen 12b is scrolled in the negative Y-axis direction.
  • Such a change in the display image provides a visual effect as if the image is continuously moving from the first display screen 12a to the second display screen 12b as viewed from the user.
  • the orientation of the image displayed on the second display screen 12b may be changed according to the orientation of the rotation axis of the housing 10 in the same manner as in the above-described example.
  • whether or not to execute such a process of changing an image at the time of state transition may be determined according to the type of image displayed on each display screen. For example, when an image generated by the same program is displayed on each of the first display screen 12a and the second display screen 12b, control to change the image at the time of state transition is executed, and vice versa.
  • the orientation of the image displayed on the display screen directed to the user after the state transition is simply set as described above. It is good also as changing according to the aspect of attitude
  • the display image control processing unit 52 may not only scroll the image displayed on each display screen but also change the image so as to cause various visual effects in accordance with the state transition.
  • the display image control processing unit 52 reduces the image displayed on the display screen directed to the user before the state transition together with the state transition, while the image displayed on the display screen directed to the user after the state transition is a predetermined image.
  • Image display control may be executed starting from the size of the image and enlarging with the state transition.
  • the image displayed on the display screen directed to the user changes according to the posture change mode of the housing 10 at the time of the state transition.
  • an image can be presented to the user in a manner corresponding to how the user handles the portable image display device 1.
  • the orientation of the image displayed on the display screen directed to the user after the state transition with respect to the housing 10 changes according to the posture change mode of the housing 10 at the time of the state transition. Even if the orientation of the portable image display device 1 is changed in a different manner, the images displayed on both the first display screen 12a and the second display screen 12b can be viewed in the same orientation.
  • the embodiments of the present invention are not limited to those described above.
  • the first state and the second state are specified using the detection result of the far-infrared sensor.
  • the state specifying unit 50 is not limited to this, and the detection result of other sensors is used. May be used to identify these states.
  • the state specifying unit 50 may specify the first state and the second state according to the detection result of the acceleration sensor 18. In this case, for example, it is assumed that the user views the display screen from above in a substantially vertical direction. That is, when the acceleration sensor 18 detects that gravitational acceleration is generated in the negative direction of the Z axis, it is determined that the first display screen 12a provided in the positive direction of the Z axis is directed toward the user.
  • the first state and the second state can be specified without a device such as a far infrared sensor that can directly detect the user.
  • the posture change specifying unit 52a can detect the posture of the housing 10 such as the gyro sensor 20. You may identify the aspect of the attitude

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

 ユーザが容易に多様な操作入力を行うことのできる携帯型画像表示装置を提供する。  略矩形の表示画面と、表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、を備え、複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、表示画面に表示する画像を変化させる携帯型画像表示装置である。

Description

携帯型画像表示装置、その制御方法及び情報記憶媒体
 本発明は、ユーザが携帯して使用する携帯型画像表示装置、その制御方法及び情報記憶媒体に関する。
 近年、携帯型ゲーム機、携帯電話、携帯情報端末(PDA)など、ユーザが携帯して使用でき、ユーザに各種の情報を提示する表示画面を備えた各種の画像表示装置が登場している(例えば特許文献1参照)。このような携帯型画像表示装置は、ユーザの操作入力に応じて各種の情報処理を実行して、その結果を表示画面に表示する。
米国特許出願公開第2007/0202956号明細書
 上述したような携帯型画像表示装置は、ユーザが多様な操作入力を容易に行うことのできるユーザインタフェースを備えることが望ましい。
 また、上述したような携帯型画像表示装置において、多様な方法でユーザに情報を提示できるようにするため、本願発明者らは、携帯型画像表示装置の表裏両面に表示画面を設けることを検討している。この場合、ユーザが携帯型画像表示装置を手で持って、両方の表示画面を閲覧する際には、様々な取り扱い方をすることが予想される。そのため、このようなユーザによる携帯型画像表示装置の取り扱い方を考慮して、表示画面に画像を表示する必要がある。
 本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザが容易に多様な操作入力を行うことのできる携帯型画像表示装置、その制御方法及び情報記憶媒体を提供することにある。
 また、本発明の別の目的は、表裏両面に表示画面を備える場合に、ユーザによる携帯型画像表示装置の取り扱い方に応じた態様で、表示画面に画像を表示することのできる携帯型画像表示装置、その制御方法及び情報記憶媒体を提供することにある。
 本発明の一態様に係る携帯型画像表示装置は、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させる表示画像制御手段と、を含むことを特徴とする。
 また、上記携帯型画像表示装置において、前記表示画像制御手段は、前記複数のタッチセンサにより検知される複数の指の位置それぞれの動きの組み合わせに応じて、前記表示画面に表示する画像を変化させることとしてもよい。
 また、上記携帯型画像表示装置において、前記表示画像制御手段は、前記複数のタッチセンサにより検知される複数の指の位置それぞれの動く向きの組み合わせに応じて、前記表示画面に表示する画像を変化させることとしてもよい。
 また、前記携帯型画像表示装置は、略矩形の平板状の筐体を備え、前記表示画面は、前記筐体の表面に設けられ、前記複数のタッチセンサのそれぞれは、前記筐体の側面に設けられることとしてもよい。
 また、本発明の一態様に係る携帯型画像表示装置の制御方法は、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、を備える携帯型画像表示装置の制御方法であって、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させるステップ、を含むことを特徴とする。
 また、本発明の一態様に係る情報記憶媒体は、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、を備える携帯型画像表示装置としてコンピュータを機能させるためのプログラムであって、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させる表示画像制御手段、として前記コンピュータを機能させるためのプログラムを格納した、コンピュータ読み取り可能な情報記憶媒体である。
 また、本発明の別の態様に係る携帯型画像表示装置は、平板状の筐体の表面に設けられた第1表示画面と、前記筐体の前記第1表示画面とは反対側の面に設けられた第2表示画面と、前記第1表示画面がユーザに向けられる第1状態、及び前記第2表示画面がユーザに向けられる第2状態をそれぞれ特定する状態特定手段と、前記第1状態及び前記第2状態の一方から他方への遷移が生じる際の前記筐体の姿勢変化の態様に応じて、ユーザに向けられる表示画面に表示する画像を変化させる表示画像制御手段と、を含むことを特徴とする。
 また、上記携帯型画像表示装置において、前記表示画像制御手段は、前記姿勢変化の態様に応じて、前記遷移後の状態においてユーザに向けられる表示画面に表示する画像の前記筐体に対する向きを変化させることとしてもよい。
 さらに、上記携帯型画像表示装置において、前記表示画像制御手段は、前記筐体が回転して前記遷移が生じる際の、当該回転の回転軸の前記筐体に対する向きに応じて、当該遷移後の状態においてユーザに向けられる表示画面に表示する画像の前記筐体に対する向きを変化させることとしてもよい。
 また、上記携帯型画像表示装置において、前記表示画像制御手段は、前記姿勢変化の態様に応じて、前記遷移前の状態においてユーザに向けられる表示画面に表示する画像を、当該遷移が生じる際に変化させることとしてもよい。
 また、上記携帯型画像表示装置において、前記筐体は、略矩形の平板状であって、前記筐体の側面には、それぞれユーザの指が触れた位置を検知する複数のタッチセンサが設けられていることとしてもよい。
 また、本発明の別の態様に係る携帯型画像表示装置の制御方法は、平板状の筐体の表面に設けられた第1表示画面と、前記筐体の前記第1表示画面とは反対側の面に設けられた第2表示画面と、を備える携帯型画像表示装置の制御方法であって、前記第1表示画面がユーザに向けられる第1状態、及び前記第2表示画面がユーザに向けられる第2状態をそれぞれ特定するステップと、前記第1状態及び前記第2状態の一方から他方への遷移が生じる際の前記筐体の姿勢変化の態様に応じて、ユーザに向けられる表示画面に表示する画像を変化させるステップと、を含むことを特徴とする。
 また、本発明の別の態様に係る情報記憶媒体は、平板状の筐体の表面に設けられた第1表示画面と、前記筐体の前記第1表示画面とは反対側の面に設けられた第2表示画面と、を備える携帯型画像表示装置としてコンピュータを機能させるためのプログラムであって、前記第1表示画面がユーザに向けられる第1状態、及び前記第2表示画面がユーザに向けられる第2状態をそれぞれ特定する状態特定手段、及び前記第1状態及び前記第2状態の一方から他方への遷移が生じる際の前記筐体の姿勢変化の態様に応じて、ユーザに向けられる表示画面に表示する画像を変化させる表示画像制御手段、として前記コンピュータを機能させるためのプログラムを格納した、コンピュータ読み取り可能な情報記憶媒体である。
本発明の実施の形態に係る携帯型画像表示装置の表面側の外観を示す斜視図である。 本発明の実施の形態に係る携帯型画像表示装置の裏面側の外観を示す斜視図である。 本発明の実施の形態に係る携帯型画像表示装置の内部構成を示すブロック図である。 第1実施形態に係る携帯型画像表示装置の機能例を示す機能ブロック図である。 ユーザによるタッチセンサに対する操作の一例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 本発明の実施の形態に係る他の携帯型画像表示装置の断面形状を示す図である。 第2実施形態に係る携帯型画像表示装置の機能例を示す機能ブロック図である。 状態遷移の際の姿勢変化の態様の一例を示す説明図である。 状態遷移の際の姿勢変化の態様の別の例を示す説明図である。 各状態間の遷移と、表示画像の向きとの間の関係を示す説明図である。
 以下、本発明の実施の形態について、図面に基づき詳細に説明する。
[第1実施形態]
 図1A及び図1Bは、本発明の第1の実施形態に係る携帯型画像表示装置1の外観を示す斜視図であって、図1Aは携帯型画像表示装置1を表面(正面)側から見た様子を、図1Bは同じ携帯型画像表示装置1を裏面側から見た様子を、それぞれ示している。
 これらの図に示されるように、携帯型画像表示装置1の筐体10は、全体として略矩形の平板状の形状をしており、その表面に第1表示画面12aが、裏面に第2表示画面12bが、それぞれ設けられている。これらの表示画面は、いずれも略矩形の形状をしており、筐体10の表面又は裏面の大部分を占めるように配置されている。第1表示画面12a及び第2表示画面12bは、例えば液晶表示パネルや有機EL表示パネル等、画像の表示が可能な各種のデバイスであってよい。また、これらの表示画面に対して、ユーザの指などが触れた位置を検知可能なタッチパネルが重ねて配置されることとしてもよい。
 さらに、本実施形態に係る携帯型画像表示装置1では、表示画面の外周を構成する4辺のそれぞれに沿って、4つのタッチセンサが設けられている。これらのタッチセンサは筐体10の四方の側面それぞれに配置されており、それぞれ直線状の検知領域を備えている。このように筐体10の側面に配置されることで、各タッチセンサは、筐体10の表面に配置された第1表示画面12aの外周の一辺、及び裏面に配置された第2表示画面12bの外周の一辺、の双方に沿って配置されることとなる。
 具体的に、本実施形態では、第1表示画面12a及び第2表示画面12bの長辺方向(左右方向)に沿った側面に、第1タッチセンサ14a及び第3タッチセンサ14cが、第1表示画面12a及び第2表示画面12bの短辺方向(上下方向)に沿った側面に、第2タッチセンサ14b及び第4タッチセンサ14dが、それぞれ配置されている。
 これらのタッチセンサは、携帯型画像表示装置1を使用するユーザの指が触れた位置を検知するために用いられる。各タッチセンサは、例えば静電容量式や感圧式、光学式など各種の方式のものであってよい。また、各タッチセンサは、ユーザの指が触れた位置だけでなく、例えば指の接触面積や圧力などを検知することによって、ユーザの指がタッチセンサを押さえる強さを検知することとしてもよい。これらのタッチセンサがユーザの指の位置を検知することによって、携帯型画像表示装置1は、第1表示画面12aや第2表示画面12bの外周に沿った方向のユーザの指の位置を、操作入力として受け付けることができる。
 また、筐体10表面には、第1表示画面12aに隣接して第1遠赤外線センサ16aが設けられている。さらに、筐体10裏面には、第2表示画面12bに隣接して第2遠赤外線センサ16bが設けられている。これらの遠赤外線センサは、熱源から放射される遠赤外線を検知する。これによって、携帯型画像表示装置1は、各遠赤外線センサの前方にユーザがいるか否かを検知することができる。なお、携帯型画像表示装置1は、遠赤外線センサに代えて、またはこれに加えて、例えばCCDカメラなど、ユーザの位置を検知可能な各種のデバイスを備えることとしてもよい。
 また、携帯型画像表示装置1の筐体10の内部には、加速度センサ18及びジャイロセンサ20が配置されている。加速度センサ18は3軸加速度センサであって、筐体10に対して設定された3つの基準軸(X軸、Y軸及びZ軸)それぞれの方向に生じる加速度を検知する。ここで、3つの基準軸は互いに略直交しており、X軸は筐体10表面の矩形の長辺方向、Y軸は矩形の短辺方向、Z軸は筐体10の厚さ方向にそれぞれ設定されているものとする。重力によって各基準軸に生じる加速度を加速度センサ18が検知することによって、携帯型画像表示装置1は、自分自身の姿勢(すなわち、重力が働く鉛直方向に対する筐体10の傾き)を検知することができる。
 ジャイロセンサ20は、ジャイロ基準軸(ここではZ軸)を中心とした回転の角速度を検知し、当該検知した角速度に応じた電気信号を出力する。例えばジャイロセンサ20は圧電振動型ジャイロなどであってよい。ジャイロセンサ20によって検知される角速度を積分することで、携帯型画像表示装置1はZ軸を基準とした筐体10の回転角を算出することができる。
 なお、図1A及び図1Bには示されていないが、携帯型画像表示装置1は、タッチセンサ以外にも、例えばボタンやスイッチなど、ユーザの操作入力を受け付けるための各種の操作部材を筐体10の表面や裏面、側面などに備えることとしてもよい。
 図2は、携帯型画像表示装置1の内部構成を示す構成ブロック図である。同図に示されるように、携帯型画像表示装置1は、制御部30と、記憶部32と、画像処理部34と、を含んで構成されている。制御部30は、例えばCPU等であって、記憶部32に格納されているプログラムに従って、各種の情報処理を実行する。記憶部32は、例えばRAMやROM等のメモリ素子や、ディスクデバイスなどであって、制御部30によって実行されるプログラムや各種のデータを格納する。また、記憶部32は、制御部30のワークメモリとしても機能する。
 画像処理部34は、例えばGPUとフレームバッファメモリとを含んで構成され、制御部30が出力する指示に従って、第1表示画面12a及び第2表示画面12bのそれぞれに表示する画像を描画する。具体例として、画像処理部34は第1表示画面12a及び第2表示画面12bのそれぞれに対応した2つのフレームバッファメモリを備え、GPUは、制御部30からの指示に従って、所定時間おきにこれら2つのフレームバッファメモリのそれぞれに対して画像を書き込む。そして、これらのフレームバッファメモリに書き込まれた画像が、所定のタイミングでビデオ信号に変換されて、それぞれ対応する表示画面に表示される。
 本実施形態では、制御部30は、タッチセンサ14a~14d、遠赤外線センサ16a及び16b、加速度センサ18、並びにジャイロセンサ20のそれぞれによる検知結果などに基づいて、各種の処理を実行する。特に、制御部30は、タッチセンサ14a~14dによるユーザの指の位置の検知結果に基づいて、ユーザによる指示操作の内容を判断して、当該指示操作に応じた処理を実行し、処理結果を表示画面に表示してユーザに提示する。
 ここで、ユーザが閲覧する表示画面は、場合によって、第1表示画面12aになったり第2表示画面12bになったりする。そこで、携帯型画像表示装置1は、ユーザが主に閲覧していると想定される表示画面(以下、主表示画面という)を特定し、この主表示画面に主として表示すべき画像を表示する。また、主表示画面と反対側の表示画面(以下、副表示画面という)には、主表示画面に表示する画像と関連する補助的な情報を表示してもよいし、あるいは主表示画面に表示する画像を生成するプログラムとは別のプログラムよって生成される、他の画像を表示してもよい。また、副表示画面には、ユーザの操作などによって当該副表示画面が主表示画面に切り替わるまで画像を表示しないこととしてもよい。
 なお、第1表示画面12a及び第2表示画面12bのどちらを主表示画面とするかは、例えば、第1遠赤外線センサ16a及び第2遠赤外線センサ16bにより検知される、ユーザが筐体10のどちら側に存在するかを示す情報や、加速度センサ18により検知される筐体10の姿勢などに応じて切り替えられることとしてもよい。あるいは、ユーザの明示の指示操作に応じて切り替えられることとしてもよい。
 以下、本実施形態において、各タッチセンサの検知結果に応じて制御部30が実行する処理の具体例について、説明する。本実施形態では、制御部30は、タッチセンサ14a~14dにより検知されるユーザの指の複数の位置の組み合わせに応じて、主表示画面に表示する画像を変化させる処理を実行する。このような処理を実行するため、携帯型画像表示装置1は、機能的に、図3に示すように、検知位置・情報取得部40と、操作種別判定部42と、表示画像制御処理部44と、を含んでいる。これらの機能は、制御部30が記憶部32に格納されたプログラムを実行することにより実現される。このプログラムは、例えば光ディスクやメモリカード等のコンピュータ読み取り可能な各種の情報記憶媒体に格納されて提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。
 検知位置・情報取得部40は、タッチセンサ14a~14dがユーザの指の位置を検知して出力する座標値を取得する。本実施形態において、タッチセンサ14a~14dのそれぞれは、ユーザの指が触れた位置を検知した場合に、その位置を示す座標値を所定時間おきに出力する。なお、ここでは各タッチセンサが出力する座標値は、直線状の検知領域内の位置を示す一次元の値であることとする。検知位置・情報取得部40は、4つのタッチセンサのそれぞれが出力する座標値を所定時間おきに取得する。これによって、4つのタッチセンサに対応して、ユーザの指の位置の動き(時間変化)を示す最大で4個の座標値列が得られる。また、検知位置・情報取得部40は、検知位置を示す座標値だけでなく、その位置をユーザが押さえる強さを示す圧力値を取得してもよい。この場合、検知位置・情報取得部40は、この圧力値が所定の閾値以上となっている座標値だけを、ユーザの指が接触している位置を示す座標値として採用することとしてもよい。
 操作種別判定部42は、検知位置・情報取得部40が取得したユーザの指の位置の動きを示す複数の座標値列に基づいて、ユーザが実行する操作の種別を判定する。例えば操作種別判定部42は、まず4つのタッチセンサのそれぞれについて、予め定められた期間にわたってユーザの指が触れ続け、かつその期間内にユーザの指が所定量以上動いたか否かを判定する。そして、ユーザの指が所定量以上動いたと判定されるタッチセンサが複数ある場合に、これらタッチセンサの組み合わせと、ユーザの指の動きの方向(すなわち、座標値列内において座標値が増大したか、あるいは減少したか)とに基づいて、ユーザによる操作の種別を判定する。これにより、複数のタッチセンサが検知するユーザの指の位置それぞれの動き(ここでは動く向き)の組み合わせに応じて、操作種別の判定を行うことができる。
 表示画像制御処理部44は、操作種別判定部42によって判定される操作種別に応じて、主表示画面に表示する画像を変化させる。具体的には、例えば画面に表示されている画像を拡大又は縮小したり、左右上下の方向にスクロール(平行移動)させたりする画像処理を実行する。
 以下、ユーザ操作の種別に応じた画像の変化の具体例について、図4から図9までの各図に基づいて説明する。なお、これらの図においては、第1表示画面12aを主表示画面とし、その外周を構成する4辺に沿って実際には筐体10の側面に配置されている各タッチセンサを、第1表示画面12aの各辺に並べて模式的に表している。また、ユーザの指の動きを各タッチセンサ上の矢印で示している。
 図4は、ユーザの操作に応じて制御部30が第1表示画面12aに表示されている画像を左右方向にスクロールさせる場合の例について、示している。この図の例では、表示画面の左右方向に沿って配置された第1タッチセンサ14a及び第3タッチセンサ14cの双方が、表示画面に向かって左方向(すなわち、X軸負方向)にユーザの指が動く動きを検知している。この場合、制御部30は、第1表示画面12aに表示されている画像を、ユーザの指の動く方向と同じ左方向に向けてスクロールさせる処理を実行する。逆に第1タッチセンサ14a及び第3タッチセンサ14cが、表示画面に向かって右方向(X軸正方向)へのユーザの指の動きを検知した場合、制御部30は、第1表示画面12aに表示されている画像を右方向に向けてスクロールさせる。
 図5は、第1表示画面12aに表示されている画像を上下方向にスクロールさせる場合の例について、示している。この図に示されるように、表示画面の上下方向に沿って配置された第2タッチセンサ14b及び第4タッチセンサ14dにより、表示画面に向かって上方向(Y軸正方向)へのユーザの指の動きが検知された場合、制御部30は、第1表示画面12aに表示されている画像を上方向に向けてスクロールさせる。また、下方向(Y軸負方向)へのユーザの指の動きが検知された場合、制御部30は、表示画像を下方向に向けてスクロールさせる。
 図6は、ユーザが画像の縮小を指示する場合の例について、示している。この図の例では、第1タッチセンサ14aがX軸正方向へのユーザの指の動きを、第2タッチセンサ14bがY軸負方向へのユーザの指の動きを、それぞれ検知している。すなわち、互いに隣接する2つのタッチセンサ同士が、いずれも他方のタッチセンサに近づく向きのユーザの指の動きを検知していることになる。この場合、制御部30は、第1表示画面12aに表示された画像を縮小する処理を実行する。同様に、第2タッチセンサ14bがY軸正方向、第3タッチセンサ14cがX軸正方向へのユーザの指の動きをそれぞれ検知した場合や、第3タッチセンサ14cがX軸負方向、第4タッチセンサ14dがY軸正方向へのユーザの指の動きをそれぞれ検知した場合、また第4タッチセンサ14dがY軸負方向、第1タッチセンサ14aがX軸負方向へのユーザの指の動きをそれぞれ検知した場合にも、同様に、画像の縮小処理を実行することとしてもよい。
 逆に、隣接する2つのタッチセンサのそれぞれが、いずれも他方のタッチセンサから離れる向きのユーザの指の動きを検知した場合、制御部30は、第1表示画面12aに表示されている画像を拡大する処理を実行する。図7は、ユーザによるこのような画像拡大の指示の一例として、第4タッチセンサ14dがY軸正方向へのユーザの指の動きを検知するとともに、第1タッチセンサ14aがX軸正方向へのユーザの指の動きを検知している場合の例について示している。このように、前述した画像の縮小の指示と逆方向へのユーザの指の動きの組み合わせが検知された場合に、制御部30は第1表示画面12aに表示されている画像を拡大する処理を実行する。
 図8及び図9は、回転の指示を行う際のユーザの指の動きの一例を示している。図8の例では、互いに対向する第1タッチセンサ14a及び第3タッチセンサ14cが、互いに逆向きのユーザの指の動きを検知している。すなわち、第1タッチセンサ14aはX軸正方向、第3タッチセンサ14cはX軸負方向へのユーザの指の動きを検知している。これに応じて、制御部30は、第1表示画面12aに表示されている画像を反時計回りに回転させる処理を行う。また、これとは逆に、第1タッチセンサ14aがX軸負方向、第3タッチセンサ14cがX軸正方向へのユーザの指の動きを検知した場合には、表示画像を時計回りに回転させる処理を行う。
 また、図9は、やはり互いに対向する第2タッチセンサ14b及び第4タッチセンサ14dが、互いに逆向きのユーザの指の動きを検知している例を示している。この図の例では、第2タッチセンサ14bはY軸正方向、第4タッチセンサ14dはY軸負方向へのユーザの指の動きを検知しており、これに応じて制御部30は表示画像を反時計回りに回転させる。また、第2タッチセンサ14bがY軸負方向、第4タッチセンサ14dがY軸正方向へのユーザの指の動きを検知した場合、制御部30は、逆に表示画像を時計回りに回転させる。
 なお、以上の例においては、第1表示画面12aが主表示画面であると仮定したが、第2表示画面12bが主表示画面として選択されているときにも、制御部30が同様の処理を実行することにより、ユーザは表示画面に表示されている画像を変化させる操作入力を行うことができる。ただし、この場合、制御部30は、どちらの表示画面が主表示画面として選択されているか、また主表示画面に対してどのような向きで画像が表示されているかに応じて、各タッチセンサが検出する指の位置の動く向きと、画像のスクロール方向や回転方向との対応関係を変化させることとする。これにより、ユーザが指を動かした方向に合わせて、画像を変化させることができる。
 また、以上の例において、制御部30は、各タッチセンサにより検知されるユーザの指の動く向きだけでなく、その移動量に応じて、第1表示画面12aに表示する画像を変化させてもよい。例えば、ユーザの指が動いた量に応じて、画像を変化させる際におけるスクロール量やスクロール速度、拡大率・縮小率や拡大縮小の速度、回転量や回転速度などを変化させてもよい。さらに、以上の例においては、制御部30は主表示画面に表示されている画像の全体をスクロールしたり、拡大・縮小したり、回転したりすることとしたが、これに限らず、表示されている画像の一部や、画像内に配置された操作対象のオブジェクトなどを、ユーザの指の動きに応じて移動させたり、拡大・縮小したり、回転したりする処理を実行することにより、主表示画面に表示する画像を変化させてもよい。
 また、これまでの説明では、複数の指の位置それぞれの動きの組み合わせに応じて表示画像を変化させる例について説明したが、これに限らず、制御部30は、例えば予め定められた複数の位置に対してユーザが単に指を触れる操作に応じて、表示画像を変化させる各種の処理を実行してもよい。
 さらに、これまでの説明では、タッチセンサ14a~14dは、いずれもユーザの指が触れる位置を1箇所だけ検知することとしている。しかしながら、これに限らず、タッチセンサ14a~14dのそれぞれは、同時期に複数の指が触れる場合に、これら複数の指それぞれの位置を検知する多点検知が可能なものであってもよい。この場合、制御部30は、一つのタッチセンサが検知する複数の指の位置の組み合わせに応じて、主表示画面に表示する画像を変化させることとしてもよい。
 具体的に、一つのタッチセンサによって複数の指の位置が検知される場合、検知位置・情報取得部40は、当該タッチセンサが出力する複数の座標値を取得する。そして、取得した複数の座標値の間の大小(すなわち、それぞれの座標値が示す検知領域内の位置の順序)や、前回検知された指の位置との間の距離などの情報を用いて、取得した複数の座標値のそれぞれを、前回タッチセンサが出力した座標値のうち、ユーザの同じ指が触れた位置を示すと推定される座標値と関連づける。これによって、検知位置・情報取得部40は、一つのタッチセンサの出力に基づいて、ユーザの複数の指のそれぞれについて、その動きを示す複数の座標値列を取得できる。この複数の座標値列を、前述した例において複数のタッチセンサそれぞれが出力する座標値に基づいて取得された複数の座標値列と同じように用いることによって、操作種別判定部42は、ユーザが実行する操作の種別を判定する。
 図10は、このような多点検知型のタッチセンサにより検知されるユーザの指の動きの一例を示している。この図の例では、第1タッチセンサ14aが、ユーザの2本の指が互いに近づく動きを検知している。この場合、図6の例と同様に、表示画像制御処理部44は、表示画像を縮小する処理を実行する。また、逆に2本の指が互いに離れる動きを検知した場合には、表示画像制御処理部44は、表示画像を拡大する処理を実行する。なお、第1タッチセンサ14aに限らず、他の3つのタッチセンサが同様のユーザの指の動きを検知することにより、表示画像が縮小又は拡大されることとしてもよい。
 なお、このようにタッチセンサが多点検知型の場合、各タッチセンサからの出力に対して、位置の変化しない座標値列と、位置が時間とともに変化する座標値列と、が混在する複数の座標値列が取得される場合がある。このような場合、操作種別判定部42は、位置の変化しない座標値列を、ユーザが筐体10を把持することによってユーザの手が触れている位置であると判定して、このような座標値列を操作種別判定の対象から除外することとしてもよい。こうすれば、タッチセンサがユーザの意図しない指や手のひらの接触を検知してしまっている場合にも、ユーザがタッチセンサ上で指を動かす操作だけを対象として、図4から図9までで例示したような複数のタッチセンサに対するユーザの操作を特定することができる。
 また、制御部30は、1つのタッチセンサがユーザの1本の指の動きを検知しただけの場合にも、当該検知されたユーザの指の位置に応じて各種の処理を実行することとしてもよい。例えば制御部30は、前述した表示画像を上下左右のいずれかにスクロールさせる図4や図5の例と同様の処理を、いずれか一つのタッチセンサによりユーザの指の動きが検知される場合に実行してもよい。また、制御部30は、1つのタッチセンサによりユーザの指が単に予め定められた位置に接触したことが検知された場合にも、各種の処理を実行してよい。一例として、携帯型画像表示装置1がカメラデバイスを備えている場合、一般的なカメラにおいてシャッターが設けられる位置をユーザが所定の強さを超える圧力で押さえたことが検知されたときに、制御部30は、このカメラデバイスによる画像の撮像処理を実行してもよい。
 ここで、ユーザによる実際の指の動きを判別するために、検知位置・情報取得部40が出力する複数の座標値列に対して操作種別判定部42が実行する処理の例について、説明する。なお、以下の例では、タッチセンサ14a~14dは多点検知型のセンサであって、検知位置・情報取得部40は、各タッチセンサについて複数の座標値列を出力可能であることとする。
 まず、操作種別判定部42は、各座標値列に対して、所定のカットオフ周波数(例えば5Hz程度)以下の周波数成分だけを通過させるローパスフィルタ処理を実行する。これにより、ユーザの指の検知位置を示す座標値列から、手ぶれなどによって生じる比較的高い周波数の信号成分が除去される。
 続いて操作種別判定部42は、それぞれローパスフィルタ処理がなされた複数の座標値列を、所定の基準に従って並べ替える。この並べ替えの順序は、ユーザが何らかの操作入力を行う意図でタッチセンサに指を触れたことによって得られた可能性が高い座標値ほど、順位が高くなるような順序である。具体的に、例えば操作種別判定部42は、以下に列挙するような条件に従って各座標値列の指標値を算出し、この算出された指標値の順に座標値列を並べ替える。一例として、この指標値は、座標値列を構成する各座標値を検知したときに併せて検知された圧力値が高い座標値列ほど、高く算出されることとする。これにより、ユーザの指が意図せずタッチセンサに触れてしまうことによって得られる座標値列の順位は低くなる。また、座標値列によって示される検知位置が比較的同じ位置に安定して存在している、または一方向に向けて安定的に変化している座標値列については、指標値が高く算出される。すなわち、短時間に極端に大きく位置が変化している座標値列や、位置の変化する方向が短時間に繰り返し変化している座標値列は、誤検出などによって生じた可能性があるので、指標値が低く算出される。また、当該座標値列によって示される検知位置の近傍に、他の座標値列による検知位置が存在しない座標値列(すなわち、他から独立した座標値列)の指標値を、高く算出する。こうすれば、複数の座標値列によって示される検知位置が比較的狭い範囲に密接している場合、このような座標値列はユーザが携帯型画像表示装置1を把持することによって得られるものと想定されるので、このような座標値列の指標値を低くすることができる。また、各座標値列を構成する座標値の数(すなわち、ユーザの指の接触が継続している期間)を、指標値の算出に用いてもよい。
 さらに、操作種別判定部42は、この並べ替えられた順序に従って各座標値列を評価して、各座標値列が所定の操作パターンに該当するか否かを判別することによって、ユーザによる操作種別の判定を行う。こうすれば、ユーザが意図的にタッチセンサに指を触れたことによって得られたと想定される座標値列を優先的に判定対象として、操作種別の判定を行うことができる。このとき、判定の対象となる操作種別にも、予め優先順位が定められていることとしてもよい。すなわち、携帯型画像表示装置1は、判別対象となる複数の操作パターンのそれぞれに対して、優先順位を関連付けたテーブルを予め記憶しておく。そして、複数の操作パターンのそれぞれについて、優先順位の高い操作パターンから順に、当該操作パターンに該当する座標値列があるか否かを判定する。さらに、この各座標値列が当該操作パターンに該当するか否かの判定を、各座標値列について前述した並べ替えを行った順序で行うこととする。この操作パターンの順序の具体例としては、優先順位の高いものから順に、ユーザの2本以上の指の動きによる操作、1本の指の動きによる操作、1本の指が所定位置に触れる操作、1本の指が所定位置から離れる操作、といった順序が挙げられる。そして、この順序で操作種別の判定を行った結果、最初に該当する座標値列が存在すると判定された操作パターンを、ユーザが実際に行った操作入力であると判定する。こうすれば、より誤検出のおそれが低い操作を優先してユーザの操作として判定することができる。また、2本以上の指の動きによる操作や1本の指の動きによる操作などがそれぞれ複数種類ある場合、これら複数種類の操作パターンの間の優先順位も定められていることとしてもよい。また、この優先順位は、アプリケーションプログラムによって実行中の処理の内容に応じて変化することとしてもよい。こうすれば、実行中の処理の内容(状態)によって、ユーザが実行する可能性が低いと思われる操作や、誤判定してしまうことを避けたい操作(処理内容を最終的に決定するための操作など)の優先順位を低くすることができる。
 なお、各座標値列が所定の操作パターンに該当するか否かの判定を操作種別判定部42が行う際には、検知位置が所与の遊び量を超える量だけ変化することを、当該操作パターンに該当するか否かの判定条件に加えてもよい。こうすれば、ユーザの意図に反してわずかにユーザの指がタッチセンサに触れてしまった場合などに、ユーザがタッチセンサ上で所定の向きに指を動かす操作を行ったと判定してしまうことを避けることができる。なお、この遊び量は、複数の操作パターンの種別ごとに、互いに異なる値であってもよい。例えば図5に例示するような互いに離れたタッチセンサに対する操作パターンと、図6に例示するような互いに隣接するタッチセンサに対する操作パターンとでは、遊び量を変化させてもよい。
 以上説明した本実施の形態によれば、表示画面の外周に沿って設けられた複数のタッチセンサのそれぞれにより検知される指の位置の組み合わせに応じて、当該表示画面に表示される画像が変化する。これにより、ユーザは、表示画面に対応する複数のタッチセンサ上の位置を指で触ることで、表示画面に表示された画像に対して、容易に、かつ直感的に理解しやすい態様で操作入力を行うことができる。また、複数のタッチセンサにより複数の指の位置を検知し、その組み合わせに応じて画像を変化させることによって、本実施形態に係る携帯型画像表示装置1は、ユーザによる多様な種別の操作入力を受け付けることができる。さらに、複数のタッチセンサは表示画面の外周に沿って設けられているので、ユーザがこれらのタッチセンサを指で触って操作する際に、表示画面が指で隠れてしまうことがなく、画面の閲覧性を損ねにくくすることができる。
 なお、本発明の実施の形態は以上説明したものに限られない。
 例えば、携帯型画像表示装置1の筐体10の各側面にタッチセンサを設ける場合、筐体の側面を、表示画面が設けられた表面及び当該側面の双方に平行な方向から見て凹状になるように形成して、タッチセンサをこの凹部の底面に沿って直線状に配置することとしてもよい。図11は、このように側面が凹状に形成された携帯型画像表示装置の断面形状を示している。なお、この図に示される携帯型画像表示装置は、側面が凹状に形成されているほかは、図1A及び図1Bに示す携帯型画像表示装置と同様の構造をしており、同様に各表示画面やタッチセンサが配置されていることとしている。また、この図11においては、各表示画面に垂直で、第1タッチセンサ14a及び第3タッチセンサ14cを通る平面で携帯型画像表示装置1を切った様子が示されている。このようにタッチセンサを凹部の底面に沿って配置すれば、同図に示されるように、ユーザが意図的にタッチセンサに触れようとしたときにはタッチセンサに指を接触させることができ、一方でユーザが単に筐体を把持している箇所では、意図せずにユーザの指や手のひらがタッチセンサに触れてしまわないようにすることができる。
 また、以上説明した例においては、各タッチセンサを筐体10の側面に設けることとしている。しかしながら、タッチセンサは、筐体の各表示画面と同じ面上において、当該表示画面の外周を構成する各辺に隣接して設けられてもよい。また、タッチセンサは必ずしも矩形の外周を構成する4辺全てに沿って設けられていなくともよい。例えば一方の長辺と一方の短辺など、少なくとも2辺のそれぞれに沿って2つのタッチセンサが設けられていれば、これらタッチセンサのそれぞれが検知するユーザの指の位置の組み合わせに応じて制御部30が表示画面に表示する画像を変化させることにより、ユーザは表示画面に対する拡大や縮小などの各種の操作を直感的に行うことができる。
[第2実施形態]
 次に、本発明の第2の実施の形態に係る携帯型画像表示装置について、説明する。なお、この第2実施形態に係る携帯型画像表示装置のハードウェア構成は、図1A、図1B及び図2に示される第1実施形態に係る携帯型画像表示装置のハードウェア構成と同様である。したがって、その詳細な説明は省略し、第1実施形態と同様の構成要素については、同一の参照符号を用いて参照する。
 本実施形態では、制御部30は、タッチセンサ14a~14d、遠赤外線センサ16a及び16b、加速度センサ18、並びにジャイロセンサ20のそれぞれによる検知結果などに基づいて、各種の処理を実行し、その結果を第1表示画面12a又は第2表示画面12bに表示する。例えば制御部30は、複数のプログラムを実行し、これらのプログラムそれぞれによって生成される2種類の画像を、第1表示画面12a及び第2表示画面12bに表示してもよい。あるいは、一つのプログラムによって生成される主画像と副画像とを、第1表示画面12a及び第2表示画面12bに表示してもよい。ユーザは、場合によって携帯型画像表示装置1の筐体10を反転させることによって、あるときは第1表示画面12aを閲覧し、また別のときには第2表示画面12bを閲覧しながら携帯型画像表示装置1を使用する。
 以下、本実施形態において、制御部30が実行する処理の具体例について、説明する。本実施形態では、制御部30は、第1表示画面12aがユーザに向けられる状態(以下、第1状態という)及び第2表示画面12bがユーザに向けられる状態(以下、第2状態という)のそれぞれを特定する。そして、この2つの状態間の遷移が生じる際の筐体10の姿勢変化の態様に応じて、ユーザに向けられる表示画面に表示する画像を変化させる処理を実行する。このような処理を実行するため、携帯型画像表示装置1は、機能的に、図12に示すように、状態特定部50と、表示画像制御処理部52と、を含んでいる。また、本実施形態では、表示画像制御処理部52は、機能的に、姿勢変化特定部52aと、画像方向変更部52bと、を含んでいる。これらの機能は、制御部30が記憶部32に格納されたプログラムを実行することにより実現される。このプログラムは、例えば光ディスクやメモリカード等のコンピュータ読み取り可能な各種の情報記憶媒体に格納されて提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。
 状態特定部50は、各センサによる検知結果などに基づいて、第1状態、及び第2状態をそれぞれ特定する。具体例として、状態特定部50は、第1遠赤外線センサ16a及び第2遠赤外線センサ16bの検知結果に応じて、第1状態及び第2状態を特定する。すなわち、第1遠赤外線センサ16aがユーザの存在を検知している場合には、当該第1遠赤外線センサ16aと同じ筐体10の面に配置された第1表示画面12aがユーザに向けられる第1状態にあると判定し、第2遠赤外線センサ16bがユーザの存在を検知している場合には、第2表示画面12bがユーザに向けられる第2状態にあると判定する。
 表示画像制御処理部52は、状態特定部50によって特定される状態の遷移が生じる際の筐体10の姿勢変化の態様に応じて、第1表示画面12a及び第2表示画面12bの一方又は両方に表示する画像を変化させる制御を行う。
 具体的に、まず姿勢変化特定部52aは、第1状態及び第2状態の一方から他方への遷移が生じる際の筐体10の姿勢変化の態様を特定する。すなわち、一方の状態から他方の状態へと遷移する際の筐体10の姿勢の変化の過程が、予め定められた第1のパターン及び第2のパターンのうち、どちらに該当するのかを特定する。
 一例として、姿勢変化特定部52aは、筐体10が回転して一方の状態から他方の状態への遷移が生じる際の、当該回転の回転軸の筐体10に対する向きを特定する。例えばそれまで第1表示画面12aを閲覧していたユーザが、反対側の第2表示画面12bを閲覧しようとした場合、ユーザは携帯型画像表示装置1の筐体10をいずれかの向きに90度以上回転させることになる。このとき、状態特定部50は、第1状態から第2状態への状態の遷移が生じることを特定する。加速度センサ18は、当該回転が行われる過程における筐体10の姿勢を検知し、この検知結果に基づいて姿勢変化特定部52aは姿勢変化の過程が第1及び第2のパターンのいずれに該当するかを特定する。例えば姿勢変化特定部52aは、筐体10の回転がY軸を回転軸とするものである場合には、第1のパターンに該当すると判定し、X軸を回転軸とする回転である場合には、第2のパターンに該当すると判定する。
 図13A及び図13Bは、このような第1のパターン及び第2のパターンの姿勢変化の様子を示す図であり、どちらの図も、第1表示画面12aがユーザに向けられた状態(第1状態)から第2表示画面12bがユーザに向けられた状態(第2状態)へと遷移する過程を示している。図13Aは第1のパターンの例を示しており、Y軸を中心として筐体10が回転している。その結果、筐体10が180度回転すると、筐体10に対して設定されたX軸及びZ軸の正負方向は反転するが、Y軸の正負方向は変化しない。また、図13Bは第2のパターンの例を示しており、X軸を中心として筐体10が回転している。その結果、筐体10が180度回転すると、Y軸及びZ軸の正負方向は反転するが、X軸の正負方向は変化しない。
 姿勢変化特定部52aは、このような姿勢変化の違いを、状態遷移の過程において加速度センサ18が検知する、X軸方向及びY軸方向のそれぞれに対する加速度の値に応じて判別することができる。すなわち、Y軸を回転軸として筐体10が回転する場合、回転の途中で、X軸方向については、その絶対値が重力加速度Gに近いか、またはそれ以上の加速度が検知される。一方で、Y軸方向については、それほど大きな加速度は検知されない。逆に、X軸を回転軸として筐体10が回転する場合、回転の途中で、Y軸方向については比較的大きな加速度が検知され、X軸方向については比較的小さな加速度しか検知されない。そこで、例えば状態遷移の間においてX軸方向及びY軸方向のそれぞれについて検出される加速度の絶対値の最大値のうち、いずれか小さな方の軸を回転軸として判定することにより、筐体10の姿勢変化の態様を特定できる。
 なお、ユーザが筐体10の姿勢を変化させる場合、必ずしも厳密にX軸又はY軸の一方の軸を中心として筐体10を回転させるわけではない。だが、この場合にも、同様にX軸及びY軸それぞれの加速度の絶対値の最大値の大小を比較することによって、より最大値が小さな方の軸を回転軸とみなすこととしてもよい。
 画像方向変更部52bは、姿勢変化特定部52aによって特定された状態遷移の際の姿勢変化の態様に応じて、当該遷移後の状態においてユーザに向けられる表示画面に表示する画像の筐体10に対する向きを変化させる。すなわち、状態特定部50によって第1状態から第2状態への状態の遷移が特定される場合、画像方向変更部52bは、第2状態への遷移後に第2表示画面12bに表示する画像の向きを、姿勢変化特定部52aにより姿勢変化の過程が第1のパターンと判定されたか、あるいは第2のパターンと判定されたかに応じて、変化させる。
 具体例として、第1表示画面12aに対して、ユーザから見てY軸正方向が上側になり、X軸正方向が右側になるような向きで画像が表示されていた場合、第2状態への遷移後も、ユーザは同じ向きのまま第2表示画面12bに表示される画像を見ると推定される。そこで、画像方向変更部52bは、第1のパターンにより状態遷移が行われた場合(すなわち、ユーザがY軸を回転軸として筐体10を回転させた場合)には、第2表示画面12bに対して、Y軸正方向が上側になり、X軸負方向が右側になるような向きで画像を表示することとする。一方、第2のパターンにより状態遷移が行われた場合(すなわち、ユーザがX軸を回転軸として筐体10を回転させた場合)には、第2表示画面12bに対して、Y軸負方向が上側になり、X軸正方向が右側になるような向きで画像を表示する。これは、第1のパターンのときと画像の向きを上下反転させることによって実現される。
 図14は、このような状態間の遷移と、表示画像の向きとの間の関係を示す説明図である。なお、上述したような画像の向きの制御により、携帯型画像表示装置1は、第1状態及び第2状態のそれぞれにおいて、Y軸正方向が上側になる向きと、Y軸負方向が上側になる向きと、の2種類の向きで画像を表示させることがありうる。そこで、この図の例においては、第1状態で、かつY軸正方向がユーザから見て上側になる向きで画像を表示する状態を1a状態と表記している。また、Y軸負方向がユーザから見て上側になる向きで画像を表示する状態を2a状態と表記している。さらに、第2状態においても同様に、Y軸正方向がユーザから見て上側になる向きで画像を表示する状態を2a状態と、またY軸負方向が上側になる向きで画像を表示する状態を2b状態と、それぞれ表記する。なお、図中における各表示画面内の破線の矢印は、画像方向変更部52bにより、画像の上側がどちらになるように画像の向きが変更されるかを示している。
 この図14に示されるように、1a状態において第1のパターンの姿勢変化があった場合、携帯型画像表示装置1は2a状態に移行する。逆に第2のパターンの姿勢変化があった場合、2b状態に移行する。また、1b状態において第1のパターンの姿勢変化があった場合、携帯型画像表示装置1は2b状態に移行し、第2のパターンの姿勢変化があった場合には、2a状態に移行する。さらに、同様に2a状態及び2b状態のそれぞれの状態からも、第1のパターン又は第2のパターンの姿勢変化によって、1a状態又は1b状態のいずれかに移行し、これに応じて画像方向変更部52bは、第1表示画面12aに表示する画像の向きを変化させる。このように、状態遷移後にユーザに向けられる表示画面に表示する画像の向きは、状態遷移前においてユーザに向けられる表示画面に表示されていた画像の向きと、状態遷移の際の筐体10の姿勢変化の態様と、に応じて決定される。このように表示画像の筐体10に対する向きを変化させることによって、携帯型画像表示装置1は、どのように筐体10の向きが変化しても、第1表示画面12a及び第2表示画面12bの双方においてユーザに対して同じ向きになるように画像を表示することができる。
 なお、図14に示されるように、第1状態(又は第2状態)を保ったまま、Z軸を回転軸として筐体10を180度回転させる第3のパターンの姿勢変化があった場合にも、画像方向変更部52bは、第1表示画面12a(又は第2表示画面12b)に表示する画像の向きを、上下反転させることとしてもよい。このような姿勢変化は、ジャイロセンサ20を用いて検知することができる。なお、この場合には、例えばユーザは携帯型画像表示装置1の使用開始時などのタイミングで、1a状態及び1b状態のどちらの向きで画像を表示させるか選択することとする。このような選択がなされた後は、筐体10の姿勢変化に応じて以上説明したような筐体10に対する画像の向きを変化させる制御を実行することで、携帯型画像表示装置1は、ユーザから見て最初に選択された向きと同じ向きで画像を表示することができる。
 これまでの説明では、状態遷移の際の姿勢変化の態様に応じて、状態遷移後においてユーザに向けられる表示画面に表示する画像の向きを変化させることとしている。しかし、表示画像制御処理部52は、画像の向きに限らず、状態遷移の際の姿勢変化の態様に応じて、表示する画像の内容を変化させてもよい。また、状態遷移の際の姿勢変化の態様に応じて、遷移前の状態においてユーザに向けられる表示画面に表示する画像を、当該遷移が生じる際に変化させてもよい。以下では、状態遷移が生じる際に、表示画像制御処理部52が、第1表示画面12a及び第2表示画面12bの双方に表示する画像を変化させるパターンの一例について、説明する。なお、ここでは第1状態から第2状態への遷移が生じる場合を例として説明するが、逆の場合にも同様の処理を行ってもよい。
 この例では、表示画像制御処理部52は、状態遷移が完了するより前に、加速度センサ18の検知結果を用いて、筐体10が回転を開始したことを特定する。そして、その回転が継続した場合に、前述した第1のパターン及び第2のパターンのどちらのパターンによる状態遷移が生じるかを予測する。具体的に、例えば表示画像制御処理部52は、X軸方向に対する加速度センサ18の出力の絶対値が所定値を超えた段階で、Y軸を回転軸とした回転が生じており、第1のパターンの状態遷移が生じる可能性があると予測する。また、Y軸方向に対する加速度センサ18の出力の絶対値が所定値を超えた段階で、X軸を回転軸とした回転が生じており、第2のパターンの状態遷移が生じる可能性があると予測する。
 表示画像制御処理部52は、この予測結果に応じて、第1表示画面12aに表示する画像を、所定方向に向けてスクロールするよう変化させる。この場合のスクロール方向は、予測された姿勢変化の態様に応じて変化する。さらに、表示画像制御処理部52は、回転軸の向きだけでなく、当該回転軸を中心とした回転の向きに応じて、表示画面に表示する画像を変化させてもよい。例えば表示画像制御処理部52は、どちらの向きの回転が生じているかに応じて、画像のスクロール方向を変化させてもよい。
 具体例として、図13Aに示すように、Y軸を回転軸としてY軸正方向に向かって見て反時計回りに筐体10が回転する場合、X軸の負方向に重力による加速度が生じていることが検知される。そこで、表示画像制御処理部52は、このX軸負方向に対する加速度が大きくなるにつれて、第1表示画面12aに表示している画像をX軸正方向にスクロールさせる。さらに、第2表示画面12bに表示する画像も、画面外からX軸負方向(すなわち、第1表示画面12aに表示する画像のスクロール方向と逆方向)に徐々にスクロールさせて、最終的に第2状態へと遷移が完了し、X軸方向の加速度が所定値以下に戻った時点で画面中央を中心として画像が表示されるよう制御する。逆に、Y軸を回転軸としてY軸正方向に向かって見て時計回りに筐体10が回転する場合には、第1表示画面12aに表示する画像をX軸負方向にスクロールさせるとともに、第2表示画面12bに表示する画像をX軸正方向にスクロールさせる。また、図13Bに示すように、X軸を回転軸としてX軸正方向に向かって見て反時計回りに筐体10が回転する場合、この回転に伴って第1表示画面12aに表示する画像をY軸負方向に向けてスクロールさせるとともに、第2表示画面12bに表示する画像をY軸正方向に向けてスクロールさせることにより、最終的に状態遷移完了後に第2表示画面12bの画面中央に画像が表示されるよう制御する。逆に、X軸を回転軸としてX軸正方向に向かって見て時計回りに筐体10が回転する場合、第1表示画面12aに表示する画像をY軸正方向に向けてスクロールさせるとともに、第2表示画面12bに表示する画像をY軸負方向に向けてスクロールさせる。このような表示画像の変化によって、ユーザから見て、第1表示画面12aから第2表示画面12bへと連続的に画像が移動しているかのような視覚効果が得られる。このような制御を行う場合も、前述した例と同様にして、第2表示画面12bに表示する画像の向きは、筐体10の回転軸の向きに応じて変化させてよい。
 なお、状態遷移の際にこのような画像を変化させる処理を実行するか否かは、各表示画面に表示する画像の種類に応じて決定されてもよい。例えば第1表示画面12a及び第2表示画面12bのそれぞれに対して、同じプログラムによって生成される画像が表示される場合には、状態遷移の際に画像を変化させる制御を実行することとし、逆に各表示画面に対して互いに異なるプログラムによって生成される画像が表示される場合には、単に状態遷移後にユーザに向けられる表示画面に表示する画像の向きを、前述したように状態遷移の際の姿勢変化の態様に応じて変化させることとしてもよい。また、表示画像制御処理部52は、各表示画面に表示する画像をスクロールさせるだけでなく、状態遷移に伴って各種の視覚効果を生じさせるよう画像を変化させてもよい。例えば表示画像制御処理部52は、状態遷移前にユーザに向けられる表示画面に表示する画像を、状態遷移ととともに縮小させ、一方で状態遷移後にユーザに向けられる表示画面に表示する画像を、所定の大きさから開始して状態遷移とともに拡大させるような画像の表示制御を実行してもよい。
 以上説明した本実施の形態によれば、ユーザに向けられる表示画面に表示される画像が、その状態遷移の際の筐体10の姿勢変化の態様に応じて変化する。これにより、ユーザの携帯型画像表示装置1の取り扱い方に応じた態様で、ユーザに対して画像を提示することができる。具体的に、例えば状態遷移後にユーザに向けられる表示画面に表示される画像の筐体10に対する向きが、状態遷移時の筐体10の姿勢変化の態様に応じて変化することによって、ユーザは、携帯型画像表示装置1の向きを異なる態様で変化させても、第1表示画面12a及び第2表示画面12bの双方に表示される画像を、同じ向きで閲覧することが可能となる。
 なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明においては、遠赤外線センサの検知結果を用いて第1状態及び第2状態を特定することとしたが、これに限らず、状態特定部50は、その他のセンサによる検知結果などを用いてこれらの状態を特定してもよい。具体例として、状態特定部50は、加速度センサ18の検知結果に応じて、第1状態及び第2状態を特定してもよい。この場合、例えばユーザは上方から略鉛直方向に向けて表示画面を見ると想定する。すなわち、Z軸負方向に重力加速度が生じていることを加速度センサ18が検知する場合、Z軸正方向に設けられた第1表示画面12aがユーザに向けられていると判定し、逆にZ軸正方向に重力加速度が生じている場合には、Z軸負方向に設けられた第2表示画面12bがユーザに向けられていると判定する。これにより、遠赤外線センサ等のユーザを直接検知可能なデバイスがなくとも、第1状態及び第2状態を特定できる。
 また、これまでの説明では、加速度センサ18の出力だけにより姿勢変化の態様を特定する例について説明したが、例えば姿勢変化特定部52aは、ジャイロセンサ20など、筐体10の姿勢を検知可能なその他のデバイスが出力する検知結果を用いて、筐体10の姿勢変化の態様を特定してもよい。この場合、単なる回転軸に対する回転だけでなく、さらに複雑な姿勢変化の過程を経て状態遷移が生じる場合にも、携帯型画像表示装置1はその姿勢変化の態様を特定することができる。

Claims (13)

  1.  略矩形の表示画面と、
     前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、
     前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させる表示画像制御手段と、
     を含むことを特徴とする携帯型画像表示装置。
  2.  請求の範囲第1項記載の携帯型画像表示装置において、
     前記表示画像制御手段は、前記複数のタッチセンサにより検知される複数の指の位置それぞれの動きの組み合わせに応じて、前記表示画面に表示する画像を変化させる
     ことを特徴とする携帯型画像表示装置。
  3.  請求の範囲第2項記載の携帯型画像表示装置において、
     前記表示画像制御手段は、前記複数のタッチセンサにより検知される複数の指の位置それぞれの動く向きの組み合わせに応じて、前記表示画面に表示する画像を変化させる
     ことを特徴とする携帯型画像表示装置。
  4.  請求の範囲第1項記載の携帯型画像表示装置において、
     前記携帯型画像表示装置は、略矩形の平板状の筐体を備え、
     前記表示画面は、前記筐体の表面に設けられ、
     前記複数のタッチセンサのそれぞれは、前記筐体の側面に設けられる
     ことを特徴とする携帯型画像表示装置。
  5.  略矩形の表示画面と、
     前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、
     を備える携帯型画像表示装置の制御方法であって、
     前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させるステップ、
     を含むことを特徴とする携帯型画像表示装置の制御方法。
  6.  略矩形の表示画面と、
     前記表示画面の外周を構成する少なくとも2つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、
     を備える携帯型画像表示装置としてコンピュータを機能させるためのプログラムであって、
     前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させる表示画像制御手段、
     として前記コンピュータを機能させるためのプログラムを格納した、コンピュータ読み取り可能な情報記憶媒体。
  7.  平板状の筐体の表面に設けられた第1表示画面と、
     前記筐体の前記第1表示画面とは反対側の面に設けられた第2表示画面と、
     前記第1表示画面がユーザに向けられる第1状態、及び前記第2表示画面がユーザに向けられる第2状態をそれぞれ特定する状態特定手段と、
     前記第1状態及び前記第2状態の一方から他方への遷移が生じる際の前記筐体の姿勢変化の態様に応じて、ユーザに向けられる表示画面に表示する画像を変化させる表示画像制御手段と、
     を含むことを特徴とする携帯型画像表示装置。
  8.  請求の範囲第7項記載の携帯型画像表示装置において、
     前記表示画像制御手段は、前記姿勢変化の態様に応じて、前記遷移後の状態においてユーザに向けられる表示画面に表示する画像の前記筐体に対する向きを変化させる
     ことを特徴とする携帯型画像表示装置。
  9.  請求の範囲第8項記載の携帯型画像表示装置において、
     前記表示画像制御手段は、前記筐体が回転して前記遷移が生じる際の、当該回転の回転軸の前記筐体に対する向きに応じて、当該遷移後の状態においてユーザに向けられる表示画面に表示する画像の前記筐体に対する向きを変化させる
     ことを特徴とする携帯型画像表示装置。
  10.  請求の範囲第7項記載の携帯型画像表示装置において、
     前記表示画像制御手段は、前記姿勢変化の態様に応じて、前記遷移前の状態においてユーザに向けられる表示画面に表示する画像を、当該遷移が生じる際に変化させる
     ことを特徴とする携帯型画像表示装置。
  11.  請求の範囲第7項記載の携帯型画像表示装置において、
     前記筐体は、略矩形の平板状であって、
     前記筐体の側面には、それぞれユーザの指が触れた位置を検知する複数のタッチセンサが設けられている
     ことを特徴とする携帯型画像表示装置。
  12.  平板状の筐体の表面に設けられた第1表示画面と、
     前記筐体の前記第1表示画面とは反対側の面に設けられた第2表示画面と、
     を備える携帯型画像表示装置の制御方法であって、
     前記第1表示画面がユーザに向けられる第1状態、及び前記第2表示画面がユーザに向けられる第2状態をそれぞれ特定するステップと、
     前記第1状態及び前記第2状態の一方から他方への遷移が生じる際の前記筐体の姿勢変化の態様に応じて、ユーザに向けられる表示画面に表示する画像を変化させるステップと、
     を含むことを特徴とする携帯型画像表示装置の制御方法。
  13.  平板状の筐体の表面に設けられた第1表示画面と、
     前記筐体の前記第1表示画面とは反対側の面に設けられた第2表示画面と、
     を備える携帯型画像表示装置としてコンピュータを機能させるためのプログラムであって、
     前記第1表示画面がユーザに向けられる第1状態、及び前記第2表示画面がユーザに向けられる第2状態をそれぞれ特定する状態特定手段、及び
     前記第1状態及び前記第2状態の一方から他方への遷移が生じる際の前記筐体の姿勢変化の態様に応じて、ユーザに向けられる表示画面に表示する画像を変化させる表示画像制御手段、
     として前記コンピュータを機能させるためのプログラムを格納した、コンピュータ読み取り可能な情報記憶媒体。
PCT/JP2009/056004 2008-07-16 2009-03-25 携帯型画像表示装置、その制御方法及び情報記憶媒体 WO2010007813A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/003,751 US8854320B2 (en) 2008-07-16 2009-03-25 Mobile type image display device, method for controlling the same and information memory medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008-184858 2008-07-16
JP2008-184859 2008-07-16
JP2008184858A JP5205157B2 (ja) 2008-07-16 2008-07-16 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
JP2008184859A JP2010026064A (ja) 2008-07-16 2008-07-16 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体

Publications (1)

Publication Number Publication Date
WO2010007813A1 true WO2010007813A1 (ja) 2010-01-21

Family

ID=41550222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/056004 WO2010007813A1 (ja) 2008-07-16 2009-03-25 携帯型画像表示装置、その制御方法及び情報記憶媒体

Country Status (2)

Country Link
US (1) US8854320B2 (ja)
WO (1) WO2010007813A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048717A (ja) * 2009-08-28 2011-03-10 Shin Etsu Polymer Co Ltd 可変抵抗デバイスを備えた電子機器およびコンピュータプログラム
US20120218207A1 (en) * 2011-02-24 2012-08-30 Kyocera Corporation Electronic device, operation control method, and storage medium storing operation control program
JP2012194811A (ja) * 2011-03-16 2012-10-11 Kyocera Corp 電子機器
US20130154950A1 (en) * 2011-12-15 2013-06-20 David Kvasnica Apparatus and method pertaining to display orientation
WO2013094429A1 (ja) * 2011-12-19 2013-06-27 ソニー株式会社 携帯機器、情報処理方法、およびプログラム
WO2014087758A1 (ja) 2012-12-06 2014-06-12 日本電気硝子株式会社 表示装置
CN109307978A (zh) * 2017-07-28 2019-02-05 神讯电脑(昆山)有限公司 便携式摄像机检测柜

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262557A (ja) * 2009-05-11 2010-11-18 Sony Corp 情報処理装置および方法
DE102010019841A1 (de) 2010-05-07 2011-11-10 Ident Technology Ag Leiterplatte für Display und Anzeigemodul mit Display und Leiterplatte
TW201220152A (en) * 2010-11-11 2012-05-16 Wistron Corp Touch control device and touch control method with multi-touch function
CN103098108B (zh) 2010-11-25 2017-09-08 松下电器(美国)知识产权公司 通信设备
US11064910B2 (en) 2010-12-08 2021-07-20 Activbody, Inc. Physical activity monitoring system
US8786547B2 (en) * 2010-12-23 2014-07-22 Microsoft Corporation Effects of gravity on gestures
US9214128B2 (en) 2011-08-10 2015-12-15 Panasonic Intellectual Property Corporation Of America Information display device
JP5801656B2 (ja) * 2011-09-01 2015-10-28 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP5999374B2 (ja) * 2011-09-05 2016-09-28 日本電気株式会社 携帯端末装置、携帯端末制御方法及びプログラム
EP2605113B1 (en) * 2011-12-15 2017-05-03 BlackBerry Limited Apparatus pertaining to display orientation
CN104054049B (zh) * 2012-01-06 2018-04-13 英特尔公司 用于复制源数据从而实现对源数据的并行处理的方法和系统
DE102012203440A1 (de) * 2012-03-05 2013-09-05 Robert Bosch Gmbh Infrarotsensor mit Beschleunigungssensor und Verfahren zum Betreiben eines Infrarotsensors
US10102345B2 (en) 2012-06-19 2018-10-16 Activbody, Inc. Personal wellness management platform
US9230064B2 (en) 2012-06-19 2016-01-05 EZ as a Drink Productions, Inc. Personal wellness device
US10133849B2 (en) 2012-06-19 2018-11-20 Activbody, Inc. Merchandizing, socializing, and/or gaming via a personal wellness device and/or a personal wellness platform
US20140078086A1 (en) * 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
JP6175750B2 (ja) * 2012-09-21 2017-08-09 カシオ計算機株式会社 状態特定装置、状態特定方法及びプログラム
US20140118250A1 (en) * 2012-10-25 2014-05-01 University Of Seoul Industry Cooperation Foundation Pointing position determination
EP2730983A1 (fr) * 2012-11-13 2014-05-14 ETA SA Manufacture Horlogère Suisse Mode d'activation d'une montre électronique
KR101424742B1 (ko) * 2012-12-06 2014-08-01 한국기술교육대학교 산학협력단 모바일 단말기의 터치 입력장치와 그 방법
KR102044157B1 (ko) * 2013-02-06 2019-11-14 삼성디스플레이 주식회사 전자 기기, 이의 동작 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 매체
US10025459B2 (en) * 2013-03-14 2018-07-17 Airwatch Llc Gesture-based workflow progression
WO2014155747A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
TWI509479B (zh) * 2013-05-02 2015-11-21 Pegatron Corp 觸控式電子裝置及其觸控模組
US9229476B2 (en) * 2013-05-08 2016-01-05 EZ as a Drink Productions, Inc. Personal handheld electronic device with a touchscreen on a peripheral surface
JP2015005182A (ja) * 2013-06-21 2015-01-08 カシオ計算機株式会社 入力装置、入力方法及びプログラム並びに電子機器
US9262064B2 (en) 2013-07-09 2016-02-16 EZ as a Drink Productions, Inc. Handheld computing platform with integrated pressure sensor and associated methods of use
KR102189451B1 (ko) * 2013-12-27 2020-12-14 삼성디스플레이 주식회사 전자 기기
US20160328077A1 (en) * 2014-01-31 2016-11-10 Hewlett-Packard Development Company, L.P. Touch sensor
KR102181887B1 (ko) 2014-02-11 2020-11-24 삼성디스플레이 주식회사 휴대 단말기
US10124246B2 (en) 2014-04-21 2018-11-13 Activbody, Inc. Pressure sensitive peripheral devices, and associated methods of use
JP6050282B2 (ja) * 2014-06-09 2016-12-21 富士フイルム株式会社 電子機器
JP6092157B2 (ja) * 2014-06-09 2017-03-08 富士フイルム株式会社 電子機器、電子機器の表示制御方法、及び電子機器の表示制御プログラム
US20160034171A1 (en) * 2014-08-04 2016-02-04 Flextronics Ap, Llc Multi-touch gesture recognition using multiple single-touch touch pads
EP3201751A1 (en) * 2014-09-30 2017-08-09 PCMS Holdings, Inc. Mobile device and method for interpreting gestures without obstructing the screen
US9681765B2 (en) * 2014-09-30 2017-06-20 Pamela Ann Cignarella Interactive children's table dishes
CN105045395A (zh) * 2015-08-28 2015-11-11 京东方科技集团股份有限公司 一种显示装置及画面显示方法
DE202016101134U1 (de) * 2016-03-02 2017-06-06 Thomas Haug Schutz-/Bedienungsaufnahme
JP6885401B2 (ja) * 2016-05-19 2021-06-16 ソニーグループ株式会社 表示モジュール
US11126258B2 (en) 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290585A (ja) * 2000-01-31 2001-10-19 Canon Inc 位置情報処理装置及びその方法及びそのプログラム、操作装置及びその方法及びそのプログラム
JP2002354311A (ja) * 2001-05-28 2002-12-06 Fuji Photo Film Co Ltd 携帯型電子機器
JP2005322087A (ja) * 2004-05-10 2005-11-17 Sharp Corp 表示装置
WO2006096501A1 (en) * 2005-03-04 2006-09-14 Apple Computer, Inc. Hand held electronic device with multiple touch sensing devices
JP2007114584A (ja) * 2005-10-21 2007-05-10 National Institute Of Information & Communication Technology 両面表示型情報処理装置、及び両面表示プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335557A (en) * 1991-11-26 1994-08-09 Taizo Yasutake Touch sensitive input control device
US6297838B1 (en) * 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
JP2000293120A (ja) 1999-04-01 2000-10-20 Hitachi Ltd ディスプレイ装置
US7138983B2 (en) 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
JP2003186426A (ja) 2001-12-14 2003-07-04 Minolta Co Ltd 表裏両面で表示を行う表示装置
JP2003216300A (ja) 2002-01-17 2003-07-31 Seiko Epson Corp 表示装置、表示装置の制御方法、プログラムおよび記録媒体
JP2003296015A (ja) * 2002-01-30 2003-10-17 Casio Comput Co Ltd 電子機器
ATE557337T1 (de) * 2002-02-06 2012-05-15 Soundtouch Ltd Touch pad
JP2004206206A (ja) 2002-12-24 2004-07-22 Casio Comput Co Ltd 入力装置及び電子装置
JP2004213451A (ja) 2003-01-07 2004-07-29 Matsushita Electric Ind Co Ltd 情報処理装置およびフレーム
JP2004213558A (ja) 2003-01-08 2004-07-29 Seiko Epson Corp 表示装置
US8373660B2 (en) * 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
KR101187477B1 (ko) 2003-09-26 2012-10-02 소니 컴퓨터 엔터테인먼트 인코포레이티드 휴대형 전자장치
JP4771655B2 (ja) 2003-11-25 2011-09-14 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 携帯電子機器、情報処理方法、並びに、プログラムおよび記録媒体
JP2005316656A (ja) 2004-04-28 2005-11-10 Toshiba Corp 情報処理装置および表示制御方法
JP4752209B2 (ja) 2004-07-26 2011-08-17 富士ゼロックス株式会社 表示記録媒体
JP4429124B2 (ja) 2004-09-13 2010-03-10 富士通コンポーネント株式会社 タッチ入力機能付き表示装置
JP5319867B2 (ja) 2005-09-28 2013-10-16 Kddi株式会社 情報端末装置
US20070188450A1 (en) 2006-02-14 2007-08-16 International Business Machines Corporation Method and system for a reversible display interface mechanism
JP4412348B2 (ja) 2007-04-27 2010-02-10 ソニー株式会社 情報処理装置及び情報処理方法
JP2009099067A (ja) 2007-10-18 2009-05-07 Sharp Corp 携帯型電子機器、および携帯型電子機器の操作制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290585A (ja) * 2000-01-31 2001-10-19 Canon Inc 位置情報処理装置及びその方法及びそのプログラム、操作装置及びその方法及びそのプログラム
JP2002354311A (ja) * 2001-05-28 2002-12-06 Fuji Photo Film Co Ltd 携帯型電子機器
JP2005322087A (ja) * 2004-05-10 2005-11-17 Sharp Corp 表示装置
WO2006096501A1 (en) * 2005-03-04 2006-09-14 Apple Computer, Inc. Hand held electronic device with multiple touch sensing devices
JP2007114584A (ja) * 2005-10-21 2007-05-10 National Institute Of Information & Communication Technology 両面表示型情報処理装置、及び両面表示プログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048717A (ja) * 2009-08-28 2011-03-10 Shin Etsu Polymer Co Ltd 可変抵抗デバイスを備えた電子機器およびコンピュータプログラム
US20120218207A1 (en) * 2011-02-24 2012-08-30 Kyocera Corporation Electronic device, operation control method, and storage medium storing operation control program
JP2012194811A (ja) * 2011-03-16 2012-10-11 Kyocera Corp 電子機器
US20130154950A1 (en) * 2011-12-15 2013-06-20 David Kvasnica Apparatus and method pertaining to display orientation
US9990119B2 (en) * 2011-12-15 2018-06-05 Blackberry Limited Apparatus and method pertaining to display orientation
WO2013094429A1 (ja) * 2011-12-19 2013-06-27 ソニー株式会社 携帯機器、情報処理方法、およびプログラム
JP2013128195A (ja) * 2011-12-19 2013-06-27 Sony Corp 携帯機器、情報処理方法、およびプログラム
CN104160691A (zh) * 2011-12-19 2014-11-19 索尼公司 便携式设备,信息处理方法和程序
US9350912B2 (en) 2011-12-19 2016-05-24 Sony Corporation Portable device, information processing method, and program
US9998649B2 (en) 2011-12-19 2018-06-12 Sony Corporation Portable device, information processing method, and program
WO2014087758A1 (ja) 2012-12-06 2014-06-12 日本電気硝子株式会社 表示装置
CN109307978A (zh) * 2017-07-28 2019-02-05 神讯电脑(昆山)有限公司 便携式摄像机检测柜

Also Published As

Publication number Publication date
US20110187660A1 (en) 2011-08-04
US8854320B2 (en) 2014-10-07

Similar Documents

Publication Publication Date Title
WO2010007813A1 (ja) 携帯型画像表示装置、その制御方法及び情報記憶媒体
JP5205157B2 (ja) 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
US10318017B2 (en) Viewing images with tilt control on a hand-held device
US10031586B2 (en) Motion-based gestures for a computing device
US10095316B2 (en) Scrolling and zooming of a portable device display with device motion
JP5529700B2 (ja) 情報処理装置、その制御方法、及びプログラム
JP2010026064A (ja) 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
US9423876B2 (en) Omni-spatial gesture input
JP5793426B2 (ja) グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
US20140375574A1 (en) Portable device and control method thereof
JP5846857B2 (ja) 携帯情報端末および電子コンテンツ表示方法
US20110316888A1 (en) Mobile device user interface combining input from motion sensors and other controls
US20120284668A1 (en) Systems and methods for interface management
US20160328077A1 (en) Touch sensor
JP6188377B2 (ja) 表示制御装置、その制御方法、および制御プログラム
JP2019096182A (ja) 電子装置、表示方法、およびプログラム
JP5756682B2 (ja) 情報処理装置
KR101231105B1 (ko) 휴대기기의 ui를 위한 모션 센서 제어 시스템 및 그 방법
TWI534653B (zh) 輸入裝置及其切換輸入方式的方法
JP5841023B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2016015078A (ja) 表示制御装置、表示制御方法、及び、プログラム
Hachet et al. 3DOF elastic control on mobile devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09797741

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13003751

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09797741

Country of ref document: EP

Kind code of ref document: A1