WO2021199282A1 - 情報処理端末、プログラム、および方法 - Google Patents

情報処理端末、プログラム、および方法 Download PDF

Info

Publication number
WO2021199282A1
WO2021199282A1 PCT/JP2020/014812 JP2020014812W WO2021199282A1 WO 2021199282 A1 WO2021199282 A1 WO 2021199282A1 JP 2020014812 W JP2020014812 W JP 2020014812W WO 2021199282 A1 WO2021199282 A1 WO 2021199282A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing terminal
display
bending
unit
Prior art date
Application number
PCT/JP2020/014812
Other languages
English (en)
French (fr)
Inventor
健司 徳武
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/801,795 priority Critical patent/US11917095B2/en
Priority to PCT/JP2020/014812 priority patent/WO2021199282A1/ja
Priority to CN202080098968.6A priority patent/CN115335797A/zh
Publication of WO2021199282A1 publication Critical patent/WO2021199282A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0241—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call
    • H04M1/0243—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call using the relative angle between housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0247—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings comprising more than two body parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42—Graphical user interfaces

Definitions

  • This disclosure relates to information processing terminals, programs, and methods.
  • the number of information processing terminals such as smartphones and smart watches that can fold the display part is increasing.
  • the foldable terminal employs a flexible display having flexibility in the display, and the user can bend the display at a desired position depending on the application to be displayed on the display and the usage pattern thereof.
  • the usage pattern is, for example, to improve visibility or reduce eye fatigue by folding the display into a dogleg shape, folding the display in the center like a book, and so on. Is.
  • the folding position is a predetermined position, a technique for controlling the display mode of the foldable display device has been proposed.
  • acceleration sensors and gyro sensors that detect the tilt and rotation direction of the terminal include sensors that are generated by bending the display in order to detect the tilt and rotation direction based on the part that physically contains the sensor. It is not possible to detect the tilt or rotation direction of the missing part. Therefore, the display divided by folding may be displayed upside down, turned off, or displayed unintentionally by the user.
  • the present disclosure proposes an information processing terminal, a program, and a method capable of correctly displaying the display of the divided display even when the display is bent.
  • the information processing terminal is an information processing terminal capable of bending the display unit, and includes an information processing unit, a sensor unit that detects the tilt and rotation direction of the information processing terminal, and detects the amount of bending of the information processing terminal.
  • An information processing terminal provided with a screen control unit that divides the display of the display unit based on the bending position with respect to the terminal and controls the divided display based on the tilt, rotation direction, bending position, and bending amount. Provided.
  • the information processing terminal capable of bending the display unit detects the inclination and rotation direction of the information processing terminal, detects the amount of bending with respect to the information processing terminal, and is based on the bending position with respect to the information processing terminal.
  • a program is provided that divides the display of the display unit and executes a process of controlling the divided display based on the tilt, the rotation direction, the bending position, and the bending amount.
  • the information processing terminal capable of bending the display unit detects the tilt and rotation direction of the information processing terminal, detects the amount of bending with respect to the information processing terminal, and is based on the bending position with respect to the information processing terminal.
  • a method of dividing the display of the display unit and performing a process of controlling the divided display based on the tilt, rotation direction, bending position, and bending amount is provided.
  • FIG. 1 is a diagram showing an example of an information processing terminal 100 according to the present embodiment.
  • the information processing terminal 100 is a foldable terminal such as a smartphone, a tablet PC (Personal Computer), or a smart watch whose display portion can be folded.
  • the display of the information processing terminal 100 is a flexible display and can be bent at a predetermined position or an arbitrary position. In the example of FIG.
  • the display unit 120 is vertically bent so as to be divided into upper and lower parts of the display units 120-1 and 120-2 (hereinafter, the display units 120-1 and 120-2 are collectively referred to as "display units 120-1 and 120-2". Display unit 120 "). Further, the display units 120-1 and 120-2 may display one screen in total, or may display different screens in each (so-called multi-window display).
  • the information processing terminal 100 can be bent not only vertically but also horizontally or diagonally. Further, the parts other than the display unit 120 of the information processing terminal 100 may be physically separated when the display unit 120 is bent (in this case, the bent position is limited to a predetermined position to be physically separated). Will be).
  • FIG. 2 is a diagram showing another example of the information processing terminal 100 according to the present embodiment.
  • the display unit 120 is laterally bent so as to be divided into two left and right parts of the display units 120-1 and 120-2.
  • the information processing terminal 100 can be folded not only in a valley fold as shown in FIGS. 1 and 2 but also in a mountain fold. Further, the information processing terminal 100 can be bent at a plurality of bending positions so that the display unit 120 has three or more.
  • FIG. 3 is a diagram showing still another example of the information processing terminal 100 according to the present embodiment.
  • the display unit 120 is bent in a bellows shape so as to be divided into four display units 120-1 to 120-4.
  • the information processing terminal 100 can be completely bent so that it can be closed and folded at the bent position (for example, the display units 120-2 and 120-3 are attached to each other).
  • FIG. 4 is a block diagram showing a functional configuration example of the information processing terminal 100 according to the present embodiment.
  • the information processing terminal 100 according to the present embodiment includes a storage unit 110, a display unit 120, a sensor unit 130, a screen control unit 140, an estimation unit 150, and a control unit 200.
  • the storage unit 110 is a storage area for temporarily or permanently storing various programs and data.
  • the storage unit 110 may store programs and data for the information processing terminal 100 to execute various functions.
  • the storage unit 110 may store a program for executing various applications, management data for managing various settings, and the like.
  • the above is only an example, and the type of data stored in the storage unit 110 is not particularly limited.
  • the display unit 120 displays various visual information based on the control by the control unit 200.
  • the display unit 120 may display, for example, an image or characters related to the application.
  • the display unit 120 according to the present embodiment can use various display devices such as a liquid crystal display (LCD: Liquid Crystal Display) device and an OLED (Organic Light Emitting Display) display device.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Display
  • at least a part of the display unit 120 is a flexible display having flexibility, and can be bent at a predetermined position or an arbitrary position.
  • the sensor unit 130 measures the acceleration (speed per unit time), angular velocity (change amount of angle per unit time), bending position, and bending amount of the information processing terminal 100.
  • the sensor unit 130 is divided into, for example, an acceleration sensor, a gyro sensor, a piezoelectric film sensor, and the like, depending on the object to be measured. For example, as shown in FIG. 3, when there are three bendable positions, the bending position and the bending amount can be measured by arranging the piezoelectric film sensors at each position.
  • FIG. 5 is a diagram showing an example of acceleration and angular velocity measured by the information processing terminal 100 according to the present embodiment.
  • Sensor unit 130 as shown in FIG. 5, to measure x, y, z-axis (three axial) directions of the acceleration (a x, a y, a z) a. Further, since the sensor unit 130 captures gravity as an acceleration in the direction of gravity, it is possible to detect the inclination of the information processing terminal 100.
  • the sensor unit 130 measures the angular velocity ( ⁇ x , ⁇ y , ⁇ z ) when each of the x, y, and z axes is the center. As a result, the sensor unit 130 can detect the rotation direction of the information processing terminal 100. In the example of FIG. 5, since the sensor unit 130 detects the rotation of 90 ° in the x direction and the direction of gravity in the minus direction of the z axis, it is determined that the information processing terminal 100 is horizontal. Can be done.
  • FIG. 6 is a diagram showing an example of a bending position and a bending amount measured by the information processing terminal 100 according to the present embodiment.
  • FIG. 6 shows the information processing terminal 100 viewed from the side. In the example of FIG. 6, it is shown that the portion of the information processing terminal 100 including the display unit 120-1 is bent 90 ° from the unfolded state (the state of the broken line).
  • the sensor unit 130 can measure the bending position fp and the bending amount r f by the pressure applied to the display unit 120.
  • the bending amount r f is, for example, an angle, and in the example of FIG. 6, it is + 90 °. Since the bending amount r f represents the bending direction, it can be expressed by a plus or minus frequency. For example, when it is bent 90 ° to the opposite side of the example of FIG. 6, the bending amount r f can be expressed as ⁇ 90 °.
  • the screen control unit 140 divides the display of the display unit 120 based on the bent position of the information processing terminal 100. Further, the screen control unit 140 controls the divided display of the display unit 120 based on the tilt, the rotation direction, the bending position, and the bending amount of the information processing terminal 100.
  • the control of the divided display is, for example, the orientation of the divided display and the lighting and extinguishing of the divided display.
  • the display units 120-1 and 120-2 are bent so as to be closed, and the inclination of the display unit 120-1 is equal to or higher than a predetermined threshold value (for example, 45 ° from the vertical direction). If it is presumed that the display unit 120-1 faces downward so as to be almost invisible to the user, the screen control unit 140 turns off the display of the display unit 120-1 in order to save power. Even in this case, since the display unit 120-2 is visible to the user, it may remain lit. However, even in the same bent state, when the information processing terminal 100 is used upright like a book, both the display units 120-1 and 120-2 can be seen by the user. Both parts may remain lit.
  • a predetermined threshold value for example, 45 ° from the vertical direction
  • the screen control unit 140 rotates the display by 90 ° or 180 ° when the rotation direction of the display unit 120 is equal to or greater than a predetermined threshold value.
  • the screen control unit 140 performs such control for each divided display of the display unit 120.
  • the screen control unit 140 can control the divided display so as to display the information processing terminal 100 in a multi-window with the bending position as a boundary. Further, the screen control unit 140 can control the display contents of the divided display based on the size and orientation of each area of the divided display.
  • the display unit 120 in the foreground requires relatively operations such as a soft touch keyboard, mail, and an icon list. It is possible to display the application to be processed. On the other hand, on the display unit 120 at the back from the user's point of view, it is possible to display an application such as a moving image playback application for which visibility is desired to be improved rather than operation.
  • an application that requires a larger display area such as a video playback application
  • the display of the larger area with the display of the larger area as the main display.
  • an application that requires a small display area such as a notification area such as an email or an operation area such as a music application.
  • the estimation unit 150 is provided by the sensor unit 130 of the information processing terminal 100 based on the inclination, rotation direction, bending position, and bending amount of the information processing terminal 100 detected by the sensor unit 130. Inclination (corresponding to "second tilt”) and rotation direction (corresponding to “second rotation direction”) of the part (corresponding to "second part”) other than the specified part (corresponding to "first part”) Equivalent) is estimated.
  • FIG. 7 is a diagram showing an example of acceleration and angular velocity measured by the information processing terminal 100 at the time of bending according to the present embodiment.
  • the sensor unit 130 of the information processing terminal 100 is provided, for example, on the upper part of the information processing terminal 100. Therefore, as shown in FIG. 7, the acceleration and rotation speed of the information processing terminal 100 are measured with the portion provided with the sensor unit 130 as the base point bp. In this case, the sensor unit 130 can detect the inclination and the rotation direction of the display unit 120-1 of the portion including the base point bp, but cannot detect the inclination and the rotation direction of the display unit 120-2.
  • the screen control unit 140 cannot recognize that the information processing terminal 100 is bent, and can only perform the same control as when the information processing terminal 100 is not bent with respect to the display of the display unit 120-2. Therefore, the estimation unit 150 estimates the inclination and the rotation direction of the portion not provided with the sensor unit 130.
  • control unit 200 is a processing unit that controls the entire information processing terminal 100, and controls each configuration included in the information processing terminal 100. Details of the functions of the control unit 200 according to this embodiment will be described later.
  • the functional configuration example of the information processing terminal 100 according to the present embodiment has been described above.
  • the above-mentioned functional configuration described with reference to FIG. 4 is merely an example, and the functional configuration of the information processing terminal 100 according to the present embodiment is not limited to such an example.
  • the functional configuration of the information processing terminal 100 according to the present embodiment can be flexibly modified according to specifications and operations.
  • each component is controlled from a storage medium such as a ROM (Read Only Memory) or a RAM (Random Access Memory) that stores a control program in which a computing device such as a CPU describes a processing procedure for realizing these functions. It may be performed by reading a program, interpreting the program, and executing the program. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • a storage medium such as a ROM (Read Only Memory) or a RAM (Random Access Memory) that stores a control program in which a computing device such as a CPU describes a processing procedure for realizing these functions. It may be performed by reading a program, interpreting the program, and executing the program. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • An example of the hardware configuration of the information processing terminal 100 will be described later.
  • the control unit 200 of the information processing terminal 100 measures the acceleration, angular velocity, bending position, and bending amount of the information processing terminal 100 by the sensor unit 130, and controls the display of the display unit 120 using these measured values.
  • the conventional screen display will be described.
  • FIG. 8 is a diagram showing an example of a conventional screen display of the information processing terminal 100 according to the present embodiment.
  • the left side of FIG. 8 shows that the application X is displayed in the upper window of the multi-window (broken line portion) of the display unit 120, and the application Y is displayed in the lower window. Further, it is assumed that the base point bp, which is a portion provided with the sensor unit 130, is located above the information processing terminal 100.
  • the right side of FIG. 8 shows a state in which the upper part of the information processing terminal 100 is bent back.
  • the base point bp is also moved, and in the example on the right side of FIG. 8, the base point bp is substantially upside down.
  • the sensor unit 130 detects from the measured acceleration and angular velocity that the information processing terminal 100 is in a state of being substantially upside down. Therefore, the screen control unit 140 rotates the display of the display unit 120 by 180 °.
  • the application Y of the portion including the display unit 120-1 can be displayed in the correct direction, but the application X of the display unit 120-2 is displayed upside down. Since each display of the divided display units 120 is controlled based on the acceleration and the angular velocity measured by the base point bp in this way, the display unit 120 including the base point bp depends on the bending state of the information processing terminal 100. Display other than -1 may not be performed correctly.
  • the sensor unit 130 can measure the bending position and the bending amount by the pressure applied to the display unit 120. Therefore, the estimation unit 150 estimates the inclination and the rotation direction of the portion not including the base point bp based on the inclination, the rotation direction, the bending position, and the bending amount of the information processing terminal 100 measured by the sensor unit 130. Can be done.
  • FIG. 9 is a diagram showing an example of estimating the inclination and the rotation direction at the time of bending according to the present embodiment.
  • the portion of the information processing terminal 100 including the display unit 120-1 is bent 90 ° from the unfolded state (broken line state).
  • the estimating unit 150 can tilt r 1 of the portion including the display unit 120-1, and estimates the rotation direction of the information processing terminal 100 with respect to the gravity direction detected by the sensor unit 130.
  • the estimation unit 150 estimates the inclination r 2 of the portion including the display unit 120-2 by subtracting the bending amount r f from the inclination r 1. be able to.
  • the screen control unit 140 can control the display of the display unit 120-2 by regarding the bending position fp as the upward direction. can.
  • the estimation unit 150 tilts the portion that cannot be detected by the sensor unit 130 due to the information processing terminal 100 being bent, based on the tilt, rotation direction, bending position, and bending amount of the information processing terminal 100. And the direction of rotation can be estimated.
  • the estimation unit 150 can estimate the inclination and the rotation direction of the portion including each of the divided display units 120 even if there are a plurality of bending positions.
  • FIG. 10 is a diagram showing an application example of estimating the inclination and the rotation direction at the time of bending according to the present embodiment.
  • FIG. 10 shows an example in which the information processing terminal 100 is bent at a plurality of positions and wrapped around an arm to be used as a wristwatch.
  • the display unit 120 is divided into six units 120-1 to 120-6, and the clock is displayed on the display unit 120 (display unit 120-3 in the example of FIG. 10) facing upward. It is controlled by the screen control unit 140 so as to be performed.
  • Such control can also be performed by estimating the inclination and rotation direction of the portion not including the base point bp based on the inclination, rotation direction, bending position, and bending amount of the information processing terminal 100.
  • the bending amount r f1 of the portion including the display unit 120-1 can be measured by the sensor unit 130, and is, for example, 90 °.
  • the bending amount r f2 of the portion including the display unit 120-2 can also be measured by the sensor unit 130.
  • the estimation unit 150 is the portion including the display unit 120-3.
  • the inclination it is not necessary to limit the inclination to 90 ° from the vertical direction to presume that it is facing upward. For example, if the inclination is within a predetermined range of 80 ° to 100 ° from the vertical direction, it can be estimated that the inclination is upward.
  • FIG. 11 is a flowchart showing the flow of the control process of the divided display based on the bending position and the amount according to the present embodiment. This process starts when the information processing terminal 100 detects the tilt and the rotation direction, and controls the display of the display unit 120 based on the detected tilt and the rotation direction.
  • the sensor unit 130 of the information processing terminal 100 measures acceleration and angular velocity, and detects the inclination and rotation direction of the information processing terminal 100 (step S101).
  • the sensor unit 130 detects the bending position and the bending amount with respect to the information processing terminal 100 (step S102).
  • step S103: No the screen control unit 140 of the information processing terminal 100 is based on the inclination and the rotation direction detected by the sensor unit 130.
  • the display orientation of the display unit 120, lighting and extinguishing, and display contents are controlled (step S104). After step S104, this process ends (strictly speaking, the process is repeated from step S101).
  • step S103 when the bending position of the information processing terminal 100 is detected (step S103: Yes), the estimation unit 150 of the information processing terminal 100 detects the inclination, rotation direction, and bending of the information processing terminal 100, which is detected by the sensor unit 130. Based on the position and the bending amount, the inclination and the rotation direction of the portion including the display unit 120 divided by the bending position are estimated (step S105).
  • the screen control unit 140 controls the display orientation, lighting and extinguishing, and display contents of the divided display unit 120 based on the inclination and rotation direction estimated by the estimation unit 150 (step S106). ..
  • step S107 If there is a further bending position (step S107: Yes), the inclination and rotation direction of the portion including the divided display unit 120 that has not been estimated yet are estimated (step S105), and the number of bending positions is divided into steps S105 to step S105. The process of S107 is repeated.
  • step S107 When there is no more bending position (step S107: No), this process ends (strictly speaking, the process is repeated from step S101).
  • FIG. 12 is a block diagram showing a hardware configuration example of the information processing terminal 100 according to the embodiment of the present disclosure.
  • the information processing terminal 100 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879. It has a storage 880, a drive 881, a connection port 882, and a communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Further, components other than the components shown here may be further included.
  • the processor 871 functions as, for example, an arithmetic processing unit or a control device, and controls all or a part of the operation of each component based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable recording medium 901. ..
  • the processor 871 may be composed of a plurality of processors.
  • the ROM 872 is a means for storing a program read into the processor 871 and data used for calculation.
  • the RAM 873 temporarily or permanently stores, for example, a program read into the processor 871 and various parameters that change as appropriate when the program is executed.
  • the processors 871, ROM 872, and RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to the external bus 876, which has a relatively low data transmission speed, via, for example, the bridge 875.
  • the external bus 876 is connected to various components via the interface 877.
  • Input device 8708 For the input device 878, for example, a mouse, a keyboard, a touch panel, buttons, switches, levers, and the like are used. Further, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 878 includes a voice input device such as a microphone and a sensor device such as an acceleration sensor and a gyro sensor.
  • the output device 879 provides the user with acquired information such as a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, an audio output device such as a speaker or headphones, a printer, a mobile phone, or a facsimile. It is a device that can notify visually or audibly. Further, the output device 879 according to the present disclosure includes various vibration devices capable of outputting a tactile stimulus.
  • the storage 880 is a device for storing various types of data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD media, a Blu-ray (registered trademark) media, an HD DVD media, various semiconductor storage media, and the like.
  • the removable recording medium 901 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), a RS-232C port, or an optical audio terminal.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), a RS-232C port, or an optical audio terminal.
  • the externally connected device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication device 883 is a communication device for connecting to a network, and is, for example, a communication card for wired or wireless LAN, Bluetooth (registered trademark), or WUSB (Wireless USB), a router for optical communication, and ADSL (Asymmetric Digital). A router for Subscriber Line), a modem for various communications, and the like.
  • the information processing terminal (100) is an information processing terminal capable of bending the display unit (120), and detects the inclination and rotation direction of the display unit (120) and the information processing terminal (100). Then, the display of the display unit (120) is divided based on the sensor unit (130) that detects the bending amount with respect to the information processing terminal (100) and the bending position with respect to the information processing terminal (100), and the tilt, rotation direction, and so on. It includes a screen control unit (140) that controls the divided display based on the bending position and the bending amount.
  • the present technology can also have the following configurations.
  • An information processing terminal whose display unit can be bent. With the display unit Detecting the tilt and rotation direction of the information processing terminal, A sensor unit that detects the amount of bending of the information processing terminal, and The display of the display unit is divided based on the bending position with respect to the information processing terminal.
  • An information processing terminal including a screen control unit that controls the divided display based on the inclination, the rotation direction, the bending position, and the bending amount.
  • the portion provided with the sensor portion is defined as the first portion, and the portion other than the first portion is defined as the second portion.
  • an estimation unit that estimates the second inclination and the second rotation direction of the second portion based on the bending amount.
  • the screen control unit Control the divided display of the first portion based on the tilt and the direction of rotation.
  • the screen control unit controls the divided display so as to display a multi-window with the bent position as a boundary.
  • the screen control unit according to any one of (1) to (5) above, which controls the display content of the divided display based on the size of each area of the divided display.
  • Information processing terminal (7) The information processing terminal according to any one of (1) to (6) above, wherein the information processing terminal is physically separated at the bent position.
  • the sensor unit further detects the bent position, and the sensor unit further detects the bent position.
  • the information processing terminal according to any one of (1) to (7) above, wherein the screen control unit divides the display of the display unit into three or more based on the plurality of bent positions.
  • Information processing terminal 110 Storage unit 120 Display unit 130 Sensor unit 140 Screen control unit 150 Estimate unit 200 Control unit

Abstract

ディスプレイを折り曲げた場合であっても、分割されたディスプレイの表示を正しく表示することができる情報処理端末が求められている。そこで、表示部を折り曲げ可能な情報処理端末であって、表示部と、情報処理端末の傾きおよび回転方向を検出し、情報処理端末に対する折り曲げ量を検出するセンサ部と、情報処理端末に対する折り曲げ位置に基づいて、表示部の表示を分割し、傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、分割された表示を制御する画面制御部とを備えた、情報処理端末を提案する。

Description

情報処理端末、プログラム、および方法
　本開示は、情報処理端末、プログラム、および方法に関する。
　ディスプレイ部分を折り畳み可能なスマートフォンやスマートウォッチなどの情報処理端末（いわゆる、フォルダブル端末）が増えてきている。フォルダブル端末は、ディスプレイに柔軟性を備えたフレキシブルディスプレイを採用し、ディスプレイに表示するアプリケーションやその使用形態などによってユーザが好きな位置でディスプレイを折り曲げて使用することができる。当該使用形態とは、例えば、視認性を高めたり、目が疲れにくくしたりするために、ディスプレイをくの字に折り曲げ立てて使用する、ディスプレイを本のように中央で折り曲げて使用する、などである。また、折り曲げ位置は所定の位置であるが、折り畳み型の表示装置の表示態様を制御する技術が提案されている。
米国特許出願公開第２０１２／０１３９８１５号明細書
　しかしながら、端末の傾きや回転方向を検出する加速度センサやジャイロセンサは、物理的にセンサが含まれる部分を基準に傾きや回転方向を検出するため、ディスプレイを折り曲げたことによって生じる、センサが含まれない部分の傾きや回転方向を検出することができない。そのため、折り曲げたことにより分割されたディスプレイの表示が、例えば、上下逆さまに表示されたり、消灯してしまったり、ユーザの意図しない表示になってしまうことがある。
　そこで、本開示では、ディスプレイを折り曲げた場合であっても、分割されたディスプレイの表示を正しく表示することができる情報処理端末、プログラム、および方法を提案する。
　本開示によれば、表示部を折り曲げ可能な情報処理端末であって、表示部と、情報処理端末の傾きおよび回転方向を検出し、情報処理端末に対する折り曲げ量を検出するセンサ部と、情報処理端末に対する折り曲げ位置に基づいて、表示部の表示を分割し、傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、分割された表示を制御する画面制御部とを備えた、情報処理端末が提供される。
　また、本開示によれば、表示部を折り曲げ可能な情報処理端末に、情報処理端末の傾きおよび回転方向を検出し、情報処理端末に対する折り曲げ量を検出し、情報処理端末に対する折り曲げ位置に基づいて、表示部の表示を分割し、傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、分割された表示を制御する処理を実行させる、プログラムが提供される。
　また、本開示によれば、表示部を折り曲げ可能な情報処理端末が、情報処理端末の傾きおよび回転方向を検出し、情報処理端末に対する折り曲げ量を検出し、情報処理端末に対する折り曲げ位置に基づいて、表示部の表示を分割し、傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、分割された表示を制御する処理を実行する、方法が提供される。
本実施形態に係る情報処理端末１００の一例を示す図である。 同実施形態に係る情報処理端末１００の別例を示す図である。 同実施形態に係る情報処理端末１００のさらに別例を示す図である。 同実施形態に係る情報処理端末１００の機能構成例を示すブロック図である。 同実施形態に係る情報処理端末１００で測定される加速度および角速度の一例を示す図である。 同実施形態に係る情報処理端末１００で測定される折り曲げ位置および折り曲げ量の一例を示す図である。 同実施形態に係る折り曲げ時の情報処理端末１００で測定される加速度および角速度の一例を示す図である。 同実施形態に係る情報処理端末１００の従来の画面表示の一例を示す図である。 同実施形態に係る折り曲げ時の傾きと回転方向の推定の一例を示す図である。 同実施形態に係る折り曲げ時の傾きと回転方向の推定の応用例を示す図である。 同実施形態に係る折り曲げ位置および量に基づく分割表示の制御処理の流れを示すフローチャートである。 同実施形態に係る情報処理端末１００のハードウェア構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、本明細書および図面において、実質的に同一の部位には、同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．機能構成例
　　１．２．機能の詳細
　　１．３．機能の流れ
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．機能構成例＞＞
　まず、本実施形態に係る情報処理端末１００について説明する。図１は、本実施形態に係る情報処理端末１００の一例を示す図である。情報処理端末１００は、ディスプレイ部分を折り畳み可能なスマートフォンやタブレットＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートウォッチなどのフォルダブル端末である。図１に示すように、情報処理端末１００のディスプレイは、フレキシブルディスプレイであり、所定の位置、または任意の位置で折り曲げることができる。図１の例では、表示部１２０が、表示部１２０－１および１２０－２の上下２つに分かれるように縦に折り曲げられている（以下、表示部１２０－１および１２０－２をまとめて「表示部１２０」という場合がある）。また、表示部１２０－１および１２０－２は、各々で合わせて１つの画面を表示してもよいし、各々で別々の画面を表示してもよい（いわゆる、マルチウインドウ表示）。なお、情報処理端末１００は、縦のみならず、横や斜めに折り曲げることもできる。また、情報処理端末１００の表示部１２０以外の部分は、表示部１２０が折り曲げられた際、物理的に分離してもよい（この場合は、折り曲げ位置は物理的に分離する所定の位置に限定される）。
　図２は、本実施形態に係る情報処理端末１００の別例を示す図である。図２の例では、表示部１２０が、表示部１２０－１および１２０－２の左右２つに分かれるように横に折り曲げられている。また、情報処理端末１００は、図１や図２に示すような谷折りのみならず、山折りにすることもできる。また、情報処理端末１００の折り曲げ位置を複数にして表示部１２０が３つ以上になるように折り曲げることもできる。
　図３は、本実施形態に係る情報処理端末１００のさらに別例を示す図である。図３の例では、表示部１２０が、表示部１２０－１～１２０－４の４つに分かれるように蛇腹状に折り曲げられている。なお、情報処理端末１００は、図示していないが、折り曲げ位置で閉じて折り畳めるように（例えば、表示部１２０－２および１２０－３がくっつくように）完全に折り曲げることができる。
　図４は、本実施形態に係る情報処理端末１００の機能構成例を示すブロック図である。図４に示すように、本実施形態に係る情報処理端末１００は、記憶部１１０、表示部１２０、センサ部１３０、画面制御部１４０、推定部１５０、制御部２００を備える。
　（記憶部１１０）
　本実施形態に係る記憶部１１０は、各種プログラムやデータを一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１１０には、情報処理端末１００が各種機能を実行するためのプログラムやデータが記憶されてもよい。具体的な一例として、記憶部１１０には、各種アプリケーションを実行するためのプログラムや、各種設定などを管理するための管理データなどが記憶されてよい。もちろん、上記はあくまで一例であり、記憶部１１０に記憶されるデータの種別は特に限定されない。
　（表示部１２０）
　本実施形態に係る表示部１２０は、制御部２００による制御に基づいて各種の視覚情報を表示する。表示部１２０は、例えば、アプリケーションに係る画像や文字などを表示してよい。このために、本実施形態に係る表示部１２０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイ装置など、各種のディスプレイ装置を用いることができる。また、表示部１２０の少なくとも一部は、柔軟性を備えたフレキシブルディスプレイであり、所定の位置、または任意の位置で折り曲げることができる。
　（センサ部１３０）
　本実施形態に係るセンサ部１３０は、情報処理端末１００の加速度（単位時間当たりの速度）、角速度（単位時間当たりの角度の変化量）、折り曲げ位置、および折り曲げ量を測定する。なお、センサ部１３０は、測定する対象によって、例えば、加速度センサ、ジャイロセンサ、圧電フィルムセンサなどにわかれる。例えば、図３のように、折り曲げ可能な位置が３箇所ある場合には、それぞれの位置に圧電フィルムセンサを配置することで、折り曲げ位置、および折り曲げ量を測定することができる。
　図５は、本実施形態に係る情報処理端末１００で測定される加速度および角速度の一例を示す図である。センサ部１３０は、図５に示すように、ｘ、ｙ、ｚ軸（３軸）方向それぞれの加速度（ａｘ，ａｙ，ａｚ）を測定する。また、センサ部１３０は、重力を重力方向の加速度として捉えるため、これにより、情報処理端末１００の傾きを検出することができる。
　また、センサ部１３０は、図５に示すように、ｘ、ｙ、ｚ軸それぞれを中心とした場合の角速度（ωｘ，ωｙ，ωｚ）を測定する。これにより、センサ部１３０は、情報処理端末１００の回転方向を検出することができる。図５の例では、センサ部１３０は、ｘ方向に９０°の回転、およびｚ軸のちょうどマイナス方向に重力方向を検出しているため、情報処理端末１００が水平になっていると判断することができる。
　図６は、本実施形態に係る情報処理端末１００で測定される折り曲げ位置および折り曲げ量の一例を示す図である。図６は、真横から見た情報処理端末１００を示している。図６の例では、情報処理端末１００の表示部１２０－１を含む部分を折り曲げていない状態（破線の状態）から、９０°折り曲げたことを示している。センサ部１３０は、表示部１２０にかかる圧力により、折り曲げ位置ｆｐおよび折り曲げ量ｒｆを測定することができる。折り曲げ量ｒｆは、例えば、角度であり、図６の例では、＋９０°となる。なお、折り曲げ量ｒｆは、折り曲げ方向を表すため、プラスまたはマイナスの度数で表現することができる。例えば、図６の例とは反対側に９０°折り曲げられた場合は、折り曲げ量ｒｆを－９０°と表現することができる。
　（画面制御部１４０）
　図４の説明に戻り、本実施形態に係る画面制御部１４０は、情報処理端末１００の折り曲げ位置に基づいて、表示部１２０の表示を分割する。また、画面制御部１４０は、情報処理端末１００の傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、表示部１２０の分割された表示を制御する。ここで、分割された表示の制御とは、例えば、分割された表示の向きや、分割された表示の点灯および消灯である。
　具体的には、例えば、図１の右側の状態から、表示部１２０－１および１２０－２を閉じるように折り曲げ、表示部１２０－１の傾きが所定の閾値以上（例えば、垂直方向から４５°以上）あり、表示部１２０－１はユーザからほとんど見えないほど下向きであると推定される場合、画面制御部１４０は、省電力のため、表示部１２０－１の表示を消灯する。この場合であっても、表示部１２０－２はユーザから見える状態であるため、点灯したままであってよい。しかしながら、同じような折り曲げ状態であっても、情報処理端末１００を本のように立てて用いる場合は、ユーザからは表示部１２０－１および１２０－２のどちらも見える状態であるため、両表示部とも点灯したままであってよい。
　また、画面制御部１４０は、表示部１２０の回転方向が所定の閾値以上ある場合、表示を９０°または１８０°回転させる。画面制御部１４０は、このような制御を、表示部１２０の分割された表示ごとに行う。
　また、画面制御部１４０は、情報処理端末１００の折り曲げ位置を境界としてマルチウインドウ表示するように、分割された表示を制御することができる。また、画面制御部１４０は、分割された表示の各々の領域の大きさや向きに基づいて、分割された表示の表示内容を制御することができる。
　具体的には、例えば、情報処理端末１００をラップトップ型に折り曲げた場合（図１の右側など）、手前の表示部１２０にはソフトタッチキーボードやメール、アイコン一覧など、比較的操作を必要とするアプリケーションなどを表示することができる。一方、ユーザ目線にある奥の表示部１２０には、動画再生アプリケーションなど、操作よりも視認性を高めたいようなアプリケーションを表示することができる。
　また、領域の大きい方の表示をメイン表示として、領域の大きい方の表示に、動画再生アプリケーションなど、表示領域をより要するアプリケーションを表示することができる。一方、領域の小さい方の表示には、メールなどの通知領域や、ミュージックアプリケーションなどの操作領域など、表示領域が小さくて済むアプリケーションなどを表示することができる。
　（推定部１５０）
　本実施形態に係る推定部１５０は、センサ部１３０によって検出される、情報処理端末１００の傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、情報処理端末１００のうちのセンサ部１３０が備えられた部分（「第１の部分」に相当）以外の部分（「第２の部分」に相当）の傾き（「第２の傾き」に相当）および回転方向（「第２の回転方向」に相当）を推定する。
　図７は、本実施形態に係る折り曲げ時の情報処理端末１００で測定される加速度および角速度の一例を示す図である。情報処理端末１００のセンサ部１３０は、例えば、情報処理端末１００の上部に備えられる。そのため、図７に示すように、センサ部１３０が備えられた部分を基点ｂｐとして、情報処理端末１００の加速度や回転速度が測定される。この場合、センサ部１３０は、基点ｂｐを含む部分の表示部１２０－１の傾きや回転方向を検出することはできるが、表示部１２０－２の傾きや回転方向を検出することはできない。そのため、画面制御部１４０は、情報処理端末１００が折り曲げられていることを認識できず、表示部１２０－２の表示に対して折り曲げられていない場合と同一の制御しかできない。そのため、推定部１５０は、センサ部１３０が備えられていない部分の傾きおよび回転方向を推定する。
　（制御部２００）
　図４の説明に戻り、本実施形態に係る制御部２００は、情報処理端末１００全体を司る処理部であり、情報処理端末１００が備える各構成を制御する。本実施形態に係る制御部２００が有する機能の詳細については後述される。
　以上、本実施形態に係る情報処理端末１００の機能構成例について説明した。なお、図４を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理端末１００の機能構成は係る例に限定されない。本実施形態に係る情報処理端末１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　また、各構成要素の機能を、ＣＰＵなどの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読み出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜利用する構成を変更することが可能である。また情報処理端末１００のハードウェア構成の一例については後述される。
　＜＜１．２．機能の詳細＞＞
　次に、本実施形態に係る情報処理端末１００が有する機能について詳細に説明する。情報処理端末１００の制御部２００は、情報処理端末１００の加速度、角速度、折り曲げ位置、および折り曲げ量をセンサ部１３０によって測定し、これらの測定値を用いて、表示部１２０の表示を制御する。まず、従来の画面表示について説明する。
　図８は、本実施形態に係る情報処理端末１００の従来の画面表示の一例を示す図である。図８の左側は、表示部１２０のマルチウインドウ（破線部）の上のウインドウにアプリケーションＸを、下のウインドウにアプリケーションＹをそれぞれ表示しているところを示している。また、センサ部１３０の備えられた部分である基点ｂｐは、情報処理端末１００の上部にあるとする。
　図８の右側は、情報処理端末１００の上部を背面に折り曲げた状態を示している。情報処理端末１００の上部を折り曲げることにより、基点ｂｐも移動し、図８の右側の例では、基点ｂｐは、ほぼ上下逆さの状態になっている。この場合、センサ部１３０は、測定された加速度や角速度から、情報処理端末１００がほぼ上下逆さの状態になったことを検出する。そのため、画面制御部１４０は表示部１２０の表示を１８０°回転させる。
　そうすると図８の右側に示すように、表示部１２０－１を含む部分のアプリケーションＹは正しい方向で表示させることができるが、表示部１２０－２のアプリケーションＸは、上下逆に表示されてしまう。このように、分割された表示部１２０の各々の表示は、基点ｂｐによって測定される加速度や角速度に基づいて制御されるため、情報処理端末１００の折り曲げの状態によって、基点ｂｐを含む表示部１２０－１以外の表示が正しく行われない場合がある。
　一方、上述したように、センサ部１３０は、表示部１２０にかかる圧力により、折り曲げ位置および折り曲げ量を測定することができる。そのため、推定部１５０は、センサ部１３０によって測定される、情報処理端末１００の傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、基点ｂｐを含まない部分の傾きおよび回転方向を推定することができる。
　図９は、本実施形態に係る折り曲げ時の傾きと回転方向の推定の一例を示す図である。図９の右側の例では、情報処理端末１００の表示部１２０－１を含む部分を折り曲げていない状態（破線の状態）から、９０°折り曲げたとする。この折り曲げ量ｒｆ＝９０°は、センサ部１３０によって測定することができる。
　また、推定部１５０は、表示部１２０－１を含む部分の傾きｒ１を、センサ部１３０によって検出される重力方向に対する情報処理端末１００の回転方向によって推定することができる。図９の右側の例では、折り曲げ位置ｆｐはｘ軸方向に折り曲げられているため、推定部１５０は、センサ部１３０によって検出されたｘ軸方向の回転方向から、ｒ１＝１３５°と推定することができる。なお、当該推定がｘ、ｙ、ｚの３軸のどの方向の回転方向に基づくかは、折り曲げ位置ｆｐがどの方向に折り曲げられているかによる。
　表示部１２０－１を含む部分の傾きｒ１がわかれば、推定部１５０は、傾きｒ１から折り曲げ量ｒｆをマイナスすることにより、表示部１２０－２を含む部分の傾きｒ２を推定することができる。表示部１２０－２を含む部分の傾きｒ２は、仮想基点ｂｐ´の傾きであり、図９の右側の例では、ｒ２＝ｒ１－ｒｆ＝１３５°－９０°＝４５°となる。そのため、表示部１２０－２を含む部分は、回転方向ｘ軸方向に４５°傾いていることを推定することができる。
　そして、画面制御部１４０は、表示部１２０－２を含む部分はｘ軸方向に４５°傾いているため、折り曲げ位置ｆｐを上方向とみなして、表示部１２０－２の表示を制御することができる。
　以上説明したように、推定部１５０は、情報処理端末１００の傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、情報処理端末１００が折り曲げられたことによりセンサ部１３０では検出できない部分の傾きおよび回転方向を推定することができる。このような方法により、推定部１５０は、折り曲げ位置が複数存在しても、分割された各表示部１２０を含む部分の傾きおよび回転方向を推定することができる。
　図１０は、本実施形態に係る折り曲げ時の傾きと回転方向の推定の応用例を示す図である。図１０は、情報処理端末１００を複数の位置で折り曲げて腕に巻いて腕時計として使用する場合の例である。この場合、表示部１２０は表示部１２０－１～１２０－６の６つに分割されるが、上方向を向いている表示部１２０（図１０の例では表示部１２０－３）に時計が表示されるように画面制御部１４０によって制御される。
　このような制御も、情報処理端末１００の傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、基点ｂｐを含まない部分の傾きおよび回転方向を推定することにより行うことができる。
　具体的には、表示部１２０－１を含む部分の傾きｒ１は、センサ部１３０によって検出することができ、推定部１５０は、センサ部１３０によって検出されたｘ軸方向の回転方向から、ｒ１＝２２５°と推定することができる。そして、表示部１２０－１を含む部分の折り曲げ量ｒｆ１は、センサ部１３０によって測定することができ、例えば、９０°であったとする。そうすると、推定部１５０は、表示部１２０－２を含む部分の傾きｒ２を、ｒ２＝ｒ１－ｒｆ１＝２２５°－９０°＝１３５°となる。
　そして、表示部１２０－２を含む部分の折り曲げ量ｒｆ２も、センサ部１３０によって測定することができ、例えば、４５°であったとすると、推定部１５０は、表示部１２０－３を含む部分の傾きｒ３を、ｒ３＝ｒ２－ｒｆ２＝１３５°－４５°＝９０°と推定することができる。表示部１２０－３を含む部分の傾きｒ３は、垂直方向から９０°なので、ちょうど水平、すなわち、表示部１２０－３が上方向を向いていると推定することができる。これにより、画面制御部１４０は、上方向を向いている表示部１２０－３に時計が表示されるように制御することができる。なお、上方向を向いていると推定するのは、傾きが垂直方向から９０°に限定する必要はない。例えば、傾きが垂直方向から８０°～１００°などと所定の範囲内であれば、上方向を向いていると推定することができる。
　＜＜１．３．機能の流れ＞＞
　次に、図１１を用いて、本実施形態に係る折り曲げ位置および量に基づく分割表示の制御処理について説明する。図１１は、本実施形態に係る折り曲げ位置および量に基づく分割表示の制御処理の流れを示すフローチャートである。本処理は、情報処理端末１００が傾きや回転方向を検出したことから始まり、検出された傾きや回転方向に基づいて、表示部１２０の表示を制御するものである。
　図１１に示すように、まず、情報処理端末１００のセンサ部１３０は、加速度および角速度を測定し、情報処理端末１００の傾きおよび回転方向を検出する（ステップＳ１０１）。
　次に、センサ部１３０は、情報処理端末１００に対する折り曲げ位置、および折り曲げ量を検出する（ステップＳ１０２）。情報処理端末１００が折り曲げられておらず、折り曲げ位置が検出されない場合（ステップＳ１０３：Ｎｏ）、情報処理端末１００の画面制御部１４０は、センサ部１３０によって検出された傾きおよび回転方向に基づいて、表示部１２０の表示の向きや、点灯および消灯、ならびに表示内容を制御する（ステップＳ１０４）。ステップＳ１０４の後、本処理は終了する（厳密には、ステップＳ１０１から処理が繰り返される）。
　一方、情報処理端末１００の折り曲げ位置が検出された場合（ステップＳ１０３：Ｙｅｓ）、情報処理端末１００の推定部１５０は、センサ部１３０によって検出される、情報処理端末１００の傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、折り曲げ位置によって分割された表示部１２０を含む部分の傾きおよび回転方向を推定する（ステップＳ１０５）。
　次に、画面制御部１４０は、推定部１５０によって推定された傾きおよび回転方向に基づいて、分割された表示部１２０の表示の向きや、点灯および消灯、ならびに表示内容を制御する（ステップＳ１０６）。
　さらに折り曲げ位置がある場合（ステップＳ１０７：Ｙｅｓ）、まだ推定していない分割された表示部１２０を含む部分の傾きおよび回転方向を推定し（ステップＳ１０５）、折り曲げ位置の数分、ステップＳ１０５～ステップＳ１０７の処理を繰り返す。
　折り曲げ位置がもう無い場合（ステップＳ１０７：Ｎｏ）、本処理は終了する（厳密には、ステップＳ１０１から処理が繰り返される）。
　＜２．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理端末１００のハードウェア構成例について説明する。図１２は、本開示の一実施形態に係る情報処理端末１００のハードウェア構成例を示すブロック図である。図１２を参照すると、情報処理端末１００は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置または制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、またはリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般またはその一部を制御する。プロセッサ８７１は、当然ながら複数のプロセッサで構成されてもよい。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータなどを格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータなどが一時的または永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、およびレバーなどが用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置や、加速度センサおよびジャイロセンサなどのセンサ装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、または有機ＥＬなどのディスプレイ装置、スピーカ、ヘッドホンなどのオーディオ出力装置、プリンタ、携帯電話、またはファクシミリなど、取得した情報を利用者に対して視覚的または聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどが用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９０１に記録された情報を読み出し、またはリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディアなどである。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、または電子機器などであってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、または光オーディオ端子などのような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、またはＩＣレコーダなどである。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線または無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または各種通信用のモデムなどである。
　＜３．まとめ＞
　以上説明したように、情報処理端末（１００）は、表示部（１２０）を折り曲げ可能な情報処理端末であって、表示部（１２０）と、情報処理端末（１００）の傾きおよび回転方向を検出し、情報処理端末（１００）に対する折り曲げ量を検出するセンサ部（１３０）と、情報処理端末（１００）に対する折り曲げ位置に基づいて、表示部（１２０）の表示を分割し、傾き、回転方向、折り曲げ位置、および折り曲げ量に基づいて、分割された表示を制御する画面制御部（１４０）とを備える。
　これにより、情報処理端末（１００）のディスプレイを折り曲げた場合であっても、分割されたディスプレイの表示を正しく表示することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）表示部を折り曲げ可能な情報処理端末であって、
　前記表示部と、
　前記情報処理端末の傾きおよび回転方向を検出し、
　前記情報処理端末に対する折り曲げ量を検出するセンサ部と、
　前記情報処理端末に対する折り曲げ位置に基づいて、前記表示部の表示を分割し、
　前記傾き、前記回転方向、前記折り曲げ位置、および前記折り曲げ量に基づいて、前記分割された表示を制御する画面制御部と
　を備えた、情報処理端末。
（２）前記画面制御部は、前記分割された表示の制御として、前記分割された表示の向きを制御する、前記（１）に記載の情報処理端末。
（３）前記画面制御部は、前記分割された表示の制御として、前記分割された表示の点灯および消灯を制御する、前記（１）または（２）に記載の情報処理端末。
（４）前記情報処理端末のうち、前記センサ部が備えられた部分を第１の部分、前記第１の部分以外の部分を第２の部分として、前記傾き、前記回転方向、前記折り曲げ位置、および前記折り曲げ量に基づいて、前記第２の部分の第２の傾きおよび第２の回転方向を推定する推定部をさらに備え、
　前記画面制御部は、
　前記傾きおよび前記回転方向に基づいて、前記第１の部分の前記分割された表示を制御し、
　前記第２の傾きおよび前記第２の回転方向に基づいて、前記第２の部分の前記分割された表示を制御する、前記前記（１）～（３）のいずれかに記載の情報処理端末。
（５）前記画面制御部は、前記折り曲げ位置を境界としてマルチウインドウ表示するように、前記分割された表示を制御する、前記（１）～（４）のいずれかに記載の情報処理端末。
（６）前記画面制御部は、前記分割された表示の各々の領域の大きさに基づいて、前記分割された表示の表示内容を制御する、前記（１）～（５）のいずれかに記載の情報処理端末。
（７）前記情報処理端末は、前記折り曲げ位置で物理的に分離する、前記（１）～（６）のいずれかに記載の情報処理端末。
（８）前記センサ部はさらに、前記折り曲げ位置を検出し、
　前記画面制御部は、複数の前記折り曲げ位置に基づいて、前記表示部の表示を３つ以上に分割する、前記（１）～（７）のいずれかに記載の情報処理端末。
（９）表示部を折り曲げ可能な情報処理端末に、
　前記情報処理端末の傾きおよび回転方向を検出し、
　前記情報処理端末に対する折り曲げ量を検出し、
　前記情報処理端末に対する折り曲げ位置に基づいて、前記表示部の表示を分割し、
　前記傾き、前記回転方向、前記折り曲げ位置、および前記折り曲げ量に基づいて、前記分割された表示を制御する
　処理を実行させる、プログラム。
（１０）表示部を折り曲げ可能な情報処理端末が、
　前記情報処理端末の傾きおよび回転方向を検出し、
　前記情報処理端末に対する折り曲げ量を検出し、
　前記情報処理端末に対する折り曲げ位置に基づいて、前記表示部の表示を分割し、
　前記傾き、前記回転方向、前記折り曲げ位置、および前記折り曲げ量に基づいて、前記分割された表示を制御する
　処理を実行する、方法。
　１００　　情報処理端末
　１１０　記憶部
　１２０　表示部
　１３０　センサ部
　１４０　画面制御部
　１５０　推定部
　２００　制御部

Claims (10)

  1. 　表示部を折り曲げ可能な情報処理端末であって、
    　前記表示部と、
    　前記情報処理端末の傾きおよび回転方向を検出し、
    　前記情報処理端末に対する折り曲げ量を検出するセンサ部と、
    　前記情報処理端末に対する折り曲げ位置に基づいて、前記表示部の表示を分割し、
    　前記傾き、前記回転方向、前記折り曲げ位置、および前記折り曲げ量に基づいて、前記分割された表示を制御する画面制御部と
    　を備えた、情報処理端末。
  2. 　前記画面制御部は、前記分割された表示の制御として、前記分割された表示の向きを制御する、請求項１に記載の情報処理端末。
  3. 　前記画面制御部は、前記分割された表示の制御として、前記分割された表示の点灯および消灯を制御する、請求項１に記載の情報処理端末。
  4. 　前記情報処理端末のうち、前記センサ部が備えられた部分を第１の部分、前記第１の部分以外の部分を第２の部分として、前記傾き、前記回転方向、前記折り曲げ位置、および前記折り曲げ量に基づいて、前記第２の部分の第２の傾きおよび第２の回転方向を推定する推定部をさらに備え、
    　前記画面制御部は、
    　前記傾きおよび前記回転方向に基づいて、前記第１の部分の前記分割された表示を制御し、
    　前記第２の傾きおよび前記第２の回転方向に基づいて、前記第２の部分の前記分割された表示を制御する、請求項１に記載の情報処理端末。
  5. 　前記画面制御部は、前記折り曲げ位置を境界としてマルチウインドウ表示するように、前記分割された表示を制御する、請求項１に記載の情報処理端末。
  6. 　前記画面制御部は、前記分割された表示の各々の領域の大きさに基づいて、前記分割された表示の表示内容を制御する、請求項１に記載の情報処理端末。
  7. 　前記情報処理端末は、前記折り曲げ位置で物理的に分離する、請求項１に記載の情報処理端末。
  8. 　前記センサ部はさらに、前記折り曲げ位置を検出し、
    　前記画面制御部は、複数の前記折り曲げ位置に基づいて、前記表示部の表示を３つ以上に分割する、請求項１に記載の情報処理端末。
  9. 　表示部を折り曲げ可能な情報処理端末に、
    　前記情報処理端末の傾きおよび回転方向を検出し、
    　前記情報処理端末に対する折り曲げ量を検出し、
    　前記情報処理端末に対する折り曲げ位置に基づいて、前記表示部の表示を分割し、
    　前記傾き、前記回転方向、前記折り曲げ位置、および前記折り曲げ量に基づいて、前記分割された表示を制御する
    　処理を実行させる、プログラム。
  10. 　表示部を折り曲げ可能な情報処理端末が、
    　前記情報処理端末の傾きおよび回転方向を検出し、
    　前記情報処理端末に対する折り曲げ量を検出し、
    　前記情報処理端末に対する折り曲げ位置に基づいて、前記表示部の表示を分割し、
    　前記傾き、前記回転方向、前記折り曲げ位置、および前記折り曲げ量に基づいて、前記分割された表示を制御する
    　処理を実行する、方法。
PCT/JP2020/014812 2020-03-31 2020-03-31 情報処理端末、プログラム、および方法 WO2021199282A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/801,795 US11917095B2 (en) 2020-03-31 2020-03-31 Information processing terminal, program, and method
PCT/JP2020/014812 WO2021199282A1 (ja) 2020-03-31 2020-03-31 情報処理端末、プログラム、および方法
CN202080098968.6A CN115335797A (zh) 2020-03-31 2020-03-31 信息处理终端、程序和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014812 WO2021199282A1 (ja) 2020-03-31 2020-03-31 情報処理端末、プログラム、および方法

Publications (1)

Publication Number Publication Date
WO2021199282A1 true WO2021199282A1 (ja) 2021-10-07

Family

ID=77930140

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014812 WO2021199282A1 (ja) 2020-03-31 2020-03-31 情報処理端末、プログラム、および方法

Country Status (3)

Country Link
US (1) US11917095B2 (ja)
CN (1) CN115335797A (ja)
WO (1) WO2021199282A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012502369A (ja) * 2008-09-08 2012-01-26 クゥアルコム・インコーポレイテッド マルチパネル電子デバイス
JP2013105312A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報処理装置、制御方法およびプログラム
US8988381B1 (en) * 2014-02-14 2015-03-24 Lg Electronics Inc. Mobile terminal and method for controlling the same
JP2018037079A (ja) * 2016-08-26 2018-03-08 株式会社半導体エネルギー研究所 情報処理装置、表示方法、入出力方法、サーバシステム、コンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803816B2 (en) * 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
US8928552B2 (en) 2010-12-01 2015-01-06 Sony Corporation Personal digital assistant, and display control method and display control program thereof
KR101632008B1 (ko) * 2014-04-30 2016-07-01 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101779012B1 (ko) * 2014-08-15 2017-09-18 주식회사 가난한동지들 힌지 작동시 유연성있는 표시장치의 탄성력을 이용해 끝단의 섭동이 가능한 플렉시블 표시장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012502369A (ja) * 2008-09-08 2012-01-26 クゥアルコム・インコーポレイテッド マルチパネル電子デバイス
JP2013105312A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報処理装置、制御方法およびプログラム
US8988381B1 (en) * 2014-02-14 2015-03-24 Lg Electronics Inc. Mobile terminal and method for controlling the same
JP2018037079A (ja) * 2016-08-26 2018-03-08 株式会社半導体エネルギー研究所 情報処理装置、表示方法、入出力方法、サーバシステム、コンピュータプログラム

Also Published As

Publication number Publication date
US20230079316A1 (en) 2023-03-16
CN115335797A (zh) 2022-11-11
US11917095B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
US20220121326A1 (en) Simulating physical materials and light interaction in a user interface of a resource-constrained device
US11693496B2 (en) Display method and device
US9019312B2 (en) Display orientation control method and electronic device
US9477268B2 (en) Mobile computer device binding feedback
EP2243063B1 (en) Motion compensation for screens
WO2018212919A1 (en) Configuration of primary and secondary displays
EP2214088A2 (en) Information processing
JP5927872B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9141133B2 (en) Information processing apparatus and display screen operating method for scrolling
JP2007164071A (ja) 情報処理装置および動作速度制御方法
JP4937385B2 (ja) 情報処理装置および表示領域の配置方法
US10809807B2 (en) Information processing apparatus and associated methodology for performing functions based on gestures
JP5197834B1 (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
WO2021199282A1 (ja) 情報処理端末、プログラム、および方法
US7321977B2 (en) Information processing apparatus and method
JPWO2013046987A1 (ja) 情報処理端末および情報処理方法
CN112513803A (zh) 在多个输出屏幕的环境中控制虚拟输入界面的显示的电子设备及其操作方法
JP2012160911A (ja) 電子機器、電子機器の制御方法
EP4083751B1 (en) Information processing device, program, and method
EP3139260A1 (en) Electronic device and method for controlling the same
WO2020133395A1 (zh) 一种显示方法、存储介质及电子设备
JP2013030026A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
US7881162B2 (en) Information processing apparatus and reading control method
JP2013114698A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2012073962A (ja) 電子機器、オブジェクトの表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928281

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20928281

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP