WO2022059386A1 - 操作領域を移動する情報処理装置 - Google Patents

操作領域を移動する情報処理装置 Download PDF

Info

Publication number
WO2022059386A1
WO2022059386A1 PCT/JP2021/029504 JP2021029504W WO2022059386A1 WO 2022059386 A1 WO2022059386 A1 WO 2022059386A1 JP 2021029504 W JP2021029504 W JP 2021029504W WO 2022059386 A1 WO2022059386 A1 WO 2022059386A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation area
area
information processing
control unit
processing apparatus
Prior art date
Application number
PCT/JP2021/029504
Other languages
English (en)
French (fr)
Inventor
宏昭 足立
成治 村松
直樹 岩田
憲司 横山
和輝 上妻
敏之 木村
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21869073.3A priority Critical patent/EP4195010A4/en
Priority to US18/044,575 priority patent/US20230376195A1/en
Publication of WO2022059386A1 publication Critical patent/WO2022059386A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • a process of displaying an operation area having a predetermined shape in an end area of a display screen and moving to a central area of the display screen by a first operation preset as a predetermined operation for the operation area is provided.
  • the information processing apparatus displays an operation area having a predetermined shape in an end area of the display screen, and the display screen is subjected to a first operation preset as a predetermined operation for the operation area.
  • Information processing methods are provided, including performing a process of moving to a central region.
  • the information processing apparatus is made to display an operation area having a predetermined shape in an end area of the display screen, and the display screen is displayed by a first operation preset as a predetermined operation for the operation area.
  • An information processing program is provided that executes a process of moving to a central area.
  • Patent Document 1 discloses a technique for controlling the position of a controller displayed on a screen based on the position of a user's finger detected by a sensor provided on the back surface of the device.
  • Patent Document 1 it is necessary for the device to separately provide a sensor for detecting a finger. Further, with the technology disclosed in Patent Document 1, there are cases where the operation cannot be optimized in a small device such as a smartphone that is used with one hand.
  • FIG. 1 is a diagram showing an example of an external configuration of the information processing apparatus 10 of the present disclosure.
  • the front surface of the information processing apparatus 10 is shown on the left side of FIG. 1. Further, on the right side of FIG. 1, the back surface of the information processing apparatus 10 is shown.
  • the information processing device 10 is, for example, a smartphone (mobile terminal). Further, the information processing device 10 may be a tablet terminal.
  • the information processing device 10 includes a display unit 150.
  • the display unit 150 covers the sensor unit 110, which will be described later. With such a configuration, the information processing apparatus 10 can detect the finger of the user who is in contact with the display unit 150.
  • the display unit 150 may cover a part or all of the information processing device 10.
  • FIG. 2 is a diagram showing an example of a display screen of the information processing apparatus 10 of the present disclosure.
  • the information processing apparatus 10 can control the contents of the display screen based on the user input.
  • the information processing apparatus 10 can use a so-called GUI (Graphical User Interface) to display execution information related to the function execution of an application on the display unit 150.
  • the execution information is visual information such as an icon for causing an application to execute a predetermined process, a result of the application executing a predetermined process, and the like.
  • the execution information is an application launcher.
  • the execution information AR 11 is displayed on the display unit 150.
  • the icon of the application may be referred to as an application.
  • the information processing apparatus 10 can display an operation area having a predetermined shape on the display unit 150 in the end area of the display screen by using the GUI.
  • the operation area is, for example, display information for displaying execution information recommended to the user.
  • it is display information called side sense (registered trademark). This allows the user to call the app launcher.
  • the operation area SB11 is displayed in the end area TR11.
  • FIG. 2 shows a case where the operation area SB 11 is displayed in the central portion of the end area TR11, but the position where the operation area SB 11 is displayed is not particularly limited.
  • the operation area SB 11 may be displayed in the upper portion or the lower portion of the end region TR11.
  • FIG. 2 shows a case where the operation area SB 11 is displayed on the left side of the display screen, it may be displayed on the right side. In this case, the operation area SB 11 is displayed in the right end area of the display screen.
  • the display mode (for example, size, shape, color) of the operation area SB11 is not particularly limited.
  • the display mode of the operation area SB11 can be changed by setting from the default time.
  • the transparency of the operation area SB11 may be increased so that the operation area SB11 becomes almost invisible.
  • FIG. 3 is a diagram for explaining an example of the functional configuration of the information processing apparatus 10 according to the present embodiment.
  • the information processing device 10 is an information processing device including a sensor unit 110, an input unit 120, a storage unit 130, a control unit 140, a display unit 150, a specific unit 160, and a communication unit 170.
  • the sensor unit 110 has a function of detecting the contact of the user's finger with the information processing device 10.
  • the sensor unit 110 can detect the position of the user's finger in contact with the front surface of the information processing device 10.
  • the sensor unit 110 is realized by, for example, a capacitance type touch sensor or a pressure sensitive type touch sensor.
  • the sensor unit 110 may detect the position of the operating finger that executed the trigger operation on the display unit 150.
  • the trigger operation includes an operation on the operation area.
  • the trigger operation is specifically, tap, double tap, push, long press drag, up slide, down slide and the like.
  • the slide may be an operation of tracing with a finger.
  • the long press drag may be a long tap.
  • the operation finger is a finger among the fingers of a plurality of users holding the information processing apparatus 10, for example, a finger that executes an operation on the display unit 150 in order to operate the operation area.
  • the input unit 120 has a function of collecting sensor information related to user behavior using various sensors.
  • the input unit 120 includes, for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a vibration sensor, a GNSS (Global Navigation Satellite System) signal receiving device, and the like.
  • an acceleration sensor for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a vibration sensor, a GNSS (Global Navigation Satellite System) signal receiving device, and the like.
  • GNSS Global Navigation Satellite System
  • the storage unit 130 is a storage area for temporarily or permanently storing various programs and data.
  • the storage unit 130 may store programs and data for the information processing apparatus 10 to execute various functions.
  • the storage unit 130 may store a program for executing various applications, management data for managing various settings, and the like.
  • the above is only an example, and the type of data stored in the storage unit 130 is not particularly limited.
  • Control unit 140 The control unit 140 according to the present embodiment controls each configuration included in the information processing apparatus 10. Further, the control unit 140 determines whether or not an operation has been performed on the operation area based on the detection position of the operation finger on the display unit 150. For example, when the detection position of the operation finger is within the range of the operation area, the control unit 140 determines that the operation has been performed on the operation area.
  • the range of the operation area is, for example, a display range in which the operation area is displayed.
  • different processes executed by the control unit 140 are assigned to each operation for the operation area. For example, when it is detected that the first operation has been performed, the control unit 140 executes a process of moving the operation area. For example, as a first operation, when a long-press drag operation is assigned (set) in advance, the control unit 140 executes a process of moving the operation area when the user long-presses and drags the operation area. The time for long-pressing the long-pressed drag is not particularly limited. At this time, the control unit 140 executes a process of moving the operation area so as to follow the detection position of the operation finger on the display unit 150, for example.
  • the control unit 140 executes a process of changing the shape of the operation area. Then, when the operation area moves or positions a region other than the end region (hereinafter, appropriately referred to as a “central region”), the control unit 140 executes a process of changing the shape of the operation region. For example, the control unit 140 executes a process of changing a bar-shaped operation area in the end region and a circular shape in the center region. When the operation area moves in the end area, the control unit 140 may execute a process of moving the operation area without changing the shape of the operation area. For example, the control unit 140 may execute a process of moving the end region up and down while keeping the bar shape.
  • the control unit 140 allows the user to freely move the bar-shaped operation area as if it were raised. Execute the process to be controlled. Then, the control unit 140 executes a process of changing the shape of the operation area into a circle when the user drags the finger to the central area without releasing the finger.
  • the operation area changed into a circle may be referred to as a float icon. Then, when the user moves the operation area from the predetermined coordinates on the display screen to the end area side, the control unit 140 executes a process of changing the operation area into a bar shape again.
  • the control unit 140 executes a process of displaying execution information related to the execution of the function of the application.
  • the execution information displayed by the second operation is hereinafter appropriately referred to as a "side sense menu".
  • the side sense menu displays, for example, a recommended application estimated from the usage status of the user in the information processing apparatus 10. This allows the user to launch the application displayed in the side sense menu. The user can also turn on / off the functions of the application displayed in the side sense menu. The application displayed in the side sense menu may be selected by the user.
  • the control unit 140 executes a process of displaying a side sense menu when the user double taps the operation area.
  • the control unit 140 executes a process of displaying the side sense menu at a position corresponding to the position of the operation area. That is, the control unit 140 executes a process of determining an area for displaying the side sense menu based on the position information of the operation area.
  • the control unit 140 may execute a process of controlling to close the side sense menu by, for example, double-tapping the operation area again or tapping an area other than the display area of the side sense menu. ..
  • FIG. 4 is a diagram showing an example of the side sense menu of the present disclosure.
  • the control unit 140 when the control unit 140 detects a double tap on the operation area SB11, the control unit 140 executes a process of displaying the execution information AR21 which is a side sense menu. At this time, the control unit 140 executes, for example, a process of displaying the execution information AR 21 at a position within a predetermined range from the operation area SB 11.
  • the execution information AR21 is not limited to the execution information related to the function execution of the application, and may include any information.
  • the execution information AR 21 may include setting information for setting a side sense menu and display information for displaying a multi-window menu described later.
  • the display mode of the execution information AR21 is not particularly limited. Further, the type, number, display order, and the like of the applications included in the execution information AR21 are not particularly limited.
  • the control unit 140 executes a process of displaying execution information related to the execution of the function of the application.
  • the execution information displayed by the third operation is hereinafter appropriately referred to as a "multi-window menu".
  • the multi-window menu for example, divides the display screen and displays a plurality of applications at the same time. For example, a multi-window menu displays a pair of frequently used applications as a shortcut. This allows the user to operate a plurality of applications at the same time.
  • the control unit 140 executes a process of displaying a multi-window menu when the user slides the operation area up.
  • the control unit 140 executes a process of displaying the multi-window menu at a position corresponding to the position of the operation area. That is, the control unit 140 executes a process of determining an area for displaying the multi-window menu based on the position information of the operation area.
  • the control unit 140 may execute a process of displaying the multi-window menu by tapping the display information for displaying the multi-window menu in the side sense menu, for example.
  • the control unit 140 may execute a process of controlling to close the multi-window menu by, for example, double-tapping the operation area again or tapping an area other than the display area of the multi-window menu. ..
  • FIG. 5 is a diagram showing an example of the multi-window menu of the present disclosure.
  • the control unit 140 detects the upper slide with respect to the operation area SB11, the control unit 140 executes a process of displaying the execution information AR31 which is a multi-window menu.
  • the control unit 140 executes, for example, a process of displaying the execution information AR 31 at a position within a predetermined range from the operation area SB 11.
  • the execution information AR 31 is not limited to the execution information related to the function execution of the application, and may include any information.
  • the execution information AR31 may include setting information of the multi-window menu.
  • the display mode of the execution information AR31 is not particularly limited.
  • the type, number, display order, and the like of the applications included in the execution information AR31 are not particularly limited.
  • the execution information AR31 includes a display area MR11 for displaying a plurality of applications at the same time.
  • the display area MR11 is display information for selecting two applications to be displayed on the upper side and the lower side.
  • FIG. 5 shows a case where two applications are selected, the present invention is not limited to this example, and three or more applications may be selected. For example, by tapping the application displayed in the multi-window menu, the control unit 140 determines a plurality of applications to be displayed at the same time.
  • FIG. 5 first shows a case where an application to be displayed on the upper side is selected.
  • the control unit 140 taps the application displayed in the multi-window menu
  • the control unit 140 determines the application displayed on the upper side.
  • the icon of the determined application is displayed in the display area MR12.
  • the process transitions to the selection of the application to be displayed on the lower side.
  • the control unit 140 taps the application displayed on the multi-window menu
  • the control unit 140 determines the application displayed on the lower side.
  • the icon of the determined application is displayed in the display area MR13. This allows the user to set up a pair of applications that can be viewed and operated at the same time.
  • the control unit 140 executes a process of returning to the previous display screen.
  • a fourth operation for example, when the operation of the lower slide is assigned in advance, the control unit 140 executes a process of returning to the previous display screen when the user slides down the operation area.
  • the control unit 140 executes a process of closing the side sense menu or the multi-window menu.
  • the display unit 150 displays various visual information based on the control by the control unit 140.
  • the display unit 150 is a touch panel having a function of displaying execution information related to the function execution of the application on the display screen.
  • the display unit 150 may display, for example, an image, characters, or the like related to the application.
  • the display unit 150 includes various display devices such as a liquid crystal display (LCD: Liquid Crystal Display) device and an OLED (Organic Light Emitting Display) display device. Further, the display unit 150 can superimpose and display the UI of the operation area on a layer higher than the screen of the displayed application or execution information.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Display
  • the specifying unit 160 has a function of specifying a predetermined application based on a predetermined standard.
  • the predetermined criteria are, for example, the current time, the current location, the frequency of use of various applications, and the like.
  • the specific unit 160 may specify, for example, an application that is frequently used as compared with other applications among various applications stored in the storage unit 130.
  • the identification unit 160 may specify an application by using a model constructed by machine learning the operation of the information processing apparatus 10 by the user or a predetermined standard.
  • the machine learning may be machine learning using a neural network such as deep learning.
  • the constructed model may be stored in the storage unit 130.
  • the specifying unit 160 may specify the application by using the information obtained by machine learning from the data related to the terminal use of a plurality of users received from another device via the network 20 described later. Execution information related to the application can be displayed to the user by the display unit 150 controlled by the control unit 140.
  • the displayed application can be specified by the specific unit 160 based on a predetermined standard.
  • the control unit 140 executes a process of displaying a plurality of applications specified by the specific unit 160 on the display unit 150.
  • the control unit 140 may execute, for example, in the display unit 150, a process of displaying a frequently used application at a higher position on the display screen than other applications.
  • the communication unit 170 has a function of executing communication with other devices via the network 20 described later.
  • the communication unit 170 may receive, for example, information obtained by machine learning from the data related to the terminal use of the plurality of users described above from another device.
  • the network 20 has a function of connecting each configuration provided in the information processing system.
  • the network 20 may include a public line network such as the Internet, a telephone line network, a satellite communication network, and various LANs (Local Area Network) including Ethernet (registered trademark), WAN (Wide Area Network), and the like. Further, the network 20 may include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network). Further, the network 20 may include a wireless communication network such as Wi-Fi (registered trademark) and Bluetooth (registered trademark).
  • the functional configuration example of the information processing apparatus 10 according to the present embodiment has been described above.
  • the above functional configuration described with reference to FIG. 3 is merely an example, and the functional configuration of the information processing apparatus 10 according to the present embodiment is not limited to such an example.
  • the information processing apparatus 10 does not necessarily have all of the configurations shown in FIG.
  • the storage unit 130 and the specific unit 160 can be provided in another device different from the information processing device 10.
  • the functional configuration of the information processing apparatus 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • each component is stored in a ROM (Read Only Memory), a RAM (Random Access Memory), etc., which stores a control program in which an arithmetic unit such as a CPU (Central Processing Unit) describes a processing procedure for realizing these functions. This may be performed by reading the control program from the storage medium of the above, interpreting the program, and executing the program. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of implementing the present embodiment. An example of the hardware configuration of the information processing apparatus 10 will be described later.
  • FIG. 6 is a diagram showing an example of an operation related to the movement of the operation area according to the present embodiment.
  • the operation area SB11 having a bar-shaped shape is displayed on the display unit 150 in FIG. 6A. Further, the display unit 150 in FIG. 6A displays the detection position TS11 of the operating finger.
  • the control unit 140 executes a process of moving the operation area SB11.
  • FIG. 6B when the finger is dragged to the left side, the control unit 140 executes a process of moving to the left side based on the detection position TS11 of the operation finger.
  • the control unit 140 executes a process of changing the shape of the operation area SB 11 from a bar shape to a circular shape.
  • the control unit 140 places the operating area SB 11 at a position where the operating finger is separated, and ends the movement process. As a result, the user can place the operation area SB 11 at a free position on the display screen.
  • control unit 140 executes a process of maintaining operability regardless of the position of the operation area SB 11 on the display screen. For example, the control unit 140 executes a process of controlling the operation area SB11 so that the operation area can be operated in the same manner while maintaining the operability regardless of whether the operation area SB11 is located in the end area or the center area. Specifically, the control unit 140 executes a process of controlling the same trigger operation (for example, the first operation to the fourth operation) so that the same operation is performed. Further, the control unit 140 executes a process of maintaining operability regardless of the shape of the operation area SB11.
  • control unit 140 executes a process of controlling the operation area SB11 so that the operation area can be operated in the same manner while maintaining the operability regardless of whether the operation area SB11 has a bar shape or a circular shape. In this way, even if the shape of the operation area SB 11 changes, the control unit 140 executes a process of controlling the operation of the operation area after the change so that the same operation can be performed by the operation of the operation area before the change. ..
  • FIG. 7 is a diagram showing an example of a display mode of the operation area according to the present embodiment.
  • the shape is circular.
  • the left side of FIG. 7 shows a display mode of the operation area SB 11 in a state where the movement process is not performed. For example, in FIG. 6D, the movement process is completed.
  • the right side of FIG. 7 shows the display state of the operation area SB11 in the state where the movement process is being performed.
  • the operation area SB11 shown on the right side of FIG. 7 is displayed in a more conspicuous manner than the operation area SB11 shown on the left side of FIG. 7.
  • the control unit 140 may execute a process of displaying in a specific mode different from the case where the operation area SB11 is not moved. For example, the control unit 140 may execute a process of displaying the operation area SB 11 in a larger size than in the case where the move process is not performed. Further, for example, the control unit 140 may execute a process of displaying the operation area SB 11 with a higher color depth and brightness than in the case where the movement process is not performed.
  • FIG. 8 is a diagram showing an example of a display mode of the operation area according to the present embodiment.
  • the shape is circular.
  • FIG. 8 shows a case where the operation area SB11 is superimposed on the application icon AA11 included in the execution information AR11.
  • the user places the operation area SB11 directly above the icon AA11.
  • the control unit 140 executes a process of displaying the operation area SB 11 on a layer higher than other display information on the display screen such as the displayed application and execution information.
  • the control unit 140 executes the process with priority given to the operation on the operation area SB11 because the operation area SB11 is on the upper layer. do.
  • the control unit 140 executes the process as an operation on the operation area SB11. ..
  • FIG. 8 shows the operation finger detection position TS21 when the user operates the overlapping range of the area between the operation area SB11 and the icon AA11.
  • the control unit 140 executes a process corresponding to the operated display information.
  • the control unit 140 may execute a process of displaying the operation area SB 11 in a specific mode in order to ensure the visibility of the operation area SB 11. good.
  • the control unit 140 may execute a process of displaying the operation area SB 11 in a conspicuous manner such as increasing the size of the operation area SB 11 as compared with the case where the operation area SB 11 does not overlap with other display information.
  • the control unit 140 may execute a process of displaying the operation area SB 11 with a higher color depth and brightness than in the case where the operation area SB 11 does not overlap with other display information. In this way, the control unit 140 may execute a process for controlling the float icon so that it is not buried.
  • the operation area SB11 Invalidation 1
  • the information processing apparatus 10 may have a function of invalidating the operation area SB 11.
  • the control unit 140 may execute a process of invalidating the operation area SB11, for example, when a specific application is started. Further, when the operation area SB11 is invalidated, the control unit 140 executes a process of not displaying the operation area SB11.
  • the application to be invalidated may be preset by default or may be selected by the user. As a result, when the operation area SB11 is invalidated, the user can operate other facial expression information superimposed by the operation area SB11.
  • control unit 140 executes a process of not displaying the operation area SB11 until a predetermined condition is satisfied when the blacklist target is activated with the application targeted for invalidation as the blacklist target.
  • condition until the predetermined condition is satisfied is, for example, until the activation of the blacklist target is completed, or until the predetermined time elapses.
  • An example of a blacklist target is, for example, a camera application, a communication setting application, a screen saver, or the like.
  • the control unit 140 enables the operation area SB 11 and executes a process of displaying the operation area SB 11. At this time, the control unit 140 executes a process of displaying the operation area SB11 at a position on the display screen immediately before the operation area SB11 is turned off.
  • the operation area SB11 can be disabled even when the specific application is not started.
  • the control unit 140 may execute a process of invalidating the operation area SB11 for a predetermined time by operating the area other than the operation area SB11 on the display screen. Further, when the operation area SB11 is invalidated, the control unit 140 executes a process of not displaying the operation area SB11.
  • a specific description will be given with reference to FIG.
  • the operation area SB11 is superimposed and displayed on the icon AA11 which is other display information on the display screen.
  • the control unit 140 may execute a process of invalidating the operation area SB11 for a predetermined time.
  • the user can operate the icon A11.
  • the control unit 140 may accept an operation on the icon A11 and execute a process based on the operation on the icon A11 while the operation area SB11 is invalidated.
  • control unit 140 executes a process of displaying the operation area SB 11 after a predetermined time for invalidation has elapsed. Specifically, the control unit 140 enables the operation area SB 11 and executes a process of displaying the operation area SB 11. At this time, the control unit 140 executes a process of displaying the operation area SB11 at a position on the display screen immediately before the operation area SB11 is turned off. Further, the control unit 140 may execute a process of displaying the operation area SB 11 in a specific mode when the operation area SB 11 is displayed again. For example, when the operation area SB 11 is displayed again, the control unit 140 may execute a process of controlling the operation area SB 11 so as to be displayed in a conspicuous manner for a predetermined time. This makes it possible to make the position of the operation area SB 11 easy to understand.
  • control unit 140 also invalidates the operation area SB11 and determines a predetermined value, for example, when a new screen is opened, immediately after the screen transitions, or immediately after the application is started.
  • a process of displaying the operation area SB11 in a specific mode may be executed until a predetermined time elapses.
  • the control unit 140 can perform a process of erasing the operation area SB 11 for a moment and immediately immediately after that, displaying it in a manner that makes it stand out for a moment.
  • the range of the operation area SB11 for determining whether or not the operation has been performed on the operation area SB11 is, for example, the case where the operation area SB11 is displayed. Not limited to examples.
  • the range of the operation area SB11 may be, for example, a range within a square area circumscribing the operation area SB11.
  • the control unit 140 determines whether or not an operation has been performed on the operation area SB11 based on whether or not the detection position of the operation finger is within the square area circumscribing the operation area SB11. ..
  • the range of the operation area SB11 may be, for example, a range within a circular area whose radius is separated from the center of the operation area SB11 by a predetermined distance.
  • the range of the operation area SB11 may be, for example, a range within the area of the bar having a thickness several times larger than the thickness of the operation area SB11.
  • the detection range of the operation area SB 11 may be larger than the actually displayed display range.
  • the detection range may be displayed on the screen for a predetermined period in a display mode distinguishable from the operation area SB11.
  • the distinguishable display mode is to display the detection range in light white.
  • the control unit 140 when the shape of the operation area SB11 changes, a process for maintaining the operability of the operation on the operation area SB11 after the change and the operation on the operation area SB11 before the change is executed.
  • the operability may be changed.
  • the control unit 140 when the operation area SB11 has a circular shape, the control unit 140 has a shorter vertical length of the operation area SB11 than when the operation area SB11 has a bar shape, so that the control unit 140 triggers in the vertical direction.
  • the threshold value of the trigger related to the operation may be reduced. Thereby, for example, the user can perform the trigger operation of the vertical slide with respect to the operation area SB11 with a short slide. In this way, the control unit 140 operates before and after the shape of the operation area SB11 by changing the threshold value of the trigger related to the trigger operation in each direction, for example, according to the shape of the operation area SB11. You may execute the process of changing the sex.
  • the control unit 140 may specify the top, bottom, left, and right of the display screen by using, for example, an acceleration sensor.
  • the display mode of the operation area SB11 has been shown to be changeable by setting from the default time, but the present invention is not limited to this example.
  • the display mode of the operation area SB11 can be changed by setting only the operation area SB11 for the end area, and the operation area SB11 for the central area cannot be changed from the default time. There may be. Further, for example, in the operation area SB11 for the central area, only the size cannot be changed from the default time, and other display modes may be changeable.
  • FIG. 9 is a diagram for explaining an example of a processing flow in the information processing apparatus 10 according to the present embodiment.
  • step S101 it is determined whether or not the sensor unit 110 has detected the trigger operation on the display screen of the display unit 150 (step S101).
  • step S101; NO the process returns to step S101.
  • step S101; YES the control unit 140 moves to the operation area based on the detection position of the operation finger on the display unit 150.
  • step S102 it is determined whether or not the operation has been performed.
  • step S102 the control unit 140 determines that no operation has been performed on the operation area
  • step S102 the control unit 140 responds to each operation (for example, the first operation to the fourth operation) on the operation area.
  • the process is executed (step S103).
  • FIG. 10 is a diagram for explaining an example of the flow of the operation area movement processing according to the present embodiment.
  • the control unit 140 determines whether or not a predetermined condition relating to the first operation for executing the movement process of the operation area is satisfied (step S201).
  • the control unit 140 determines that the predetermined condition related to the first operation is not satisfied (step S201; NO)
  • the control unit 140 ends the information processing.
  • the control unit 140 determines that the predetermined condition relating to the first operation is satisfied (step S201; YES)
  • the control unit 140 moves the operation area to a position corresponding to the detection position of the operation finger on the display unit 150 and displays it. (Step S202). Further, the control unit 140 determines whether or not the operation area is located in the central area of the display unit 150 (step S203).
  • control unit 140 stores, for example, in advance as data which range the central region, which is an region other than the end region, is on the display screen, and the detection position of the operating finger on the display unit 150. Determines if is located in the central region.
  • control unit 140 determines that the operation area is not located in the central area (step S203; NO)
  • the control unit 140 returns to step S203.
  • control unit 140 executes a process of changing the shape of the operation area and displaying it (step S204).
  • control unit 140 determines whether or not the operation area is separated based on the detection position of the operation finger on the display unit 150 (step S205). When the control unit 140 determines that the operation area is not separated (step S205; NO), the control unit 140 returns to step S205. Further, when it is determined that the operation area is separated (step S205; YES), the control unit 140 executes a process of displaying the operation area in an manner corresponding to the position where the operation area is separated (step S206).
  • FIG. 11 is a block diagram showing a hardware configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing unit 10 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879. It has a storage 880, a drive 881, a connection port 882, and a communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Further, components other than the components shown here may be further included.
  • the processor 871 functions as, for example, an arithmetic processing unit or a control device, and controls all or a part of the operation of each component based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable recording medium 901. ..
  • the ROM 872 is a means for storing programs read into the processor 871 and data used for operations.
  • the RAM 873 temporarily or permanently stores, for example, a program read by the processor 871 and various parameters that change as appropriate when the program is executed.
  • the processors 871, ROM 872, and RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to the external bus 876, which has a relatively low data transmission speed, via, for example, the bridge 875.
  • the external bus 876 is connected to various components via the interface 877.
  • Input device 8708 For the input device 878, for example, a mouse, a keyboard, a touch panel, buttons, switches, levers, and the like are used. Further, as the input device 878, a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 878 includes a voice input device such as a microphone.
  • the output device 879 for example, a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, a facsimile, or the like, provides the user with the acquired information. It is a device capable of visually or audibly notifying. Further, the output device 879 according to the present disclosure includes various vibration devices capable of outputting tactile stimuli.
  • the storage 880 is a device for storing various types of data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information on the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD media, a Blu-ray (registered trademark) media, an HD DVD media, various semiconductor storage media, and the like.
  • the removable recording medium 901 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal General Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal.
  • an external connection device 902 such as a USB (Universal General Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal.
  • the externally connected device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication device 883 is a communication device for connecting to a network, and is, for example, a communication card for wired or wireless LAN, Wireless (registered trademark), or WUSB (Wireless USB), a router for optical communication, and ADSL (Asymmetric Digital). A router for Subscriber Line), a modem for various communications, and the like.
  • the information processing apparatus 10 has a function of executing a process of moving to the center area of the display screen by operating the operation area displayed in the edge area of the display screen. Have. According to such a function, it is possible to promote further improvement of usability.
  • An operation area with a predetermined shape is displayed in the edge area of the display screen, and An information processing apparatus including a control unit that executes a process of moving to the central area of the display screen by a first operation preset as a predetermined operation for the operation area.
  • the control unit When moving to the central area of the display screen, a process of changing the shape of the operation area is executed.
  • the control unit In the operation for the operation area after the shape has changed, a process for maintaining the operability of the operation for the operation area before the change is executed.
  • the information processing device according to (2) above.
  • the operation area before the change has a bar shape and has a bar shape.
  • the operation area after the change has a circular shape.
  • the control unit By the second operation preset as the predetermined operation, the process of displaying the execution information related to the function execution of the application is executed on the display screen.
  • the control unit A process of determining an area for displaying the execution information based on the position information of the operation area when the second operation is performed is executed.
  • the execution information includes at least one icon relating to the application specified based on a predetermined criterion.
  • the control unit To cause the application to execute a predetermined process based on the operation on the icon.
  • the control unit When the operation area is superimposed on other display information on the display screen, a process based on the operation on the operation area is executed.
  • the information processing apparatus according to any one of (1) to (7).
  • the control unit When an area other than the operation area is operated on the display screen, a process of not displaying the operation area is executed until a predetermined time elapses.
  • the information processing apparatus according to any one of (1) to (8).
  • the control unit When displaying the operation area after the lapse of the predetermined time, a process of displaying the operation area in a specific mode is executed until the predetermined time elapses.
  • (11) Has a touch panel, The information processing apparatus according to any one of (1) to (10).
  • Information processing device 20
  • Network 110 Sensor unit 120
  • Input unit 130 Storage unit 140
  • Control unit 150 Display unit 160 Specific unit 170 Communication unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

更なるユーザビリティの向上を促進する。情報処理装置（１０）は、表示画面の端部領域に所定の形状の操作領域を表示し、操作領域に対する所定の操作として予め設定された第１操作によって表示画面の中央領域に移動する処理を実行する制御部（１４０）を備える。

Description

[規則37.2に基づきISAが決定した発明の名称]　操作領域を移動する情報処理装置
　本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　近年、タッチパネルを有する装置において、ユーザの指による操作を支援する技術が開発されている。
米国特許出願公開第２０１３／００９３６８０号明細書
　しかしながら、従来の技術では、更なるユーザビリティの向上を促進する余地があった。
　そこで、本開示では、更なるユーザビリティの向上を促進することが可能な、新規かつ改良された情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　本開示によれば、表示画面の端部領域に所定の形状の操作領域を表示し、前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行する制御部を備えた、情報処理装置が提供される。
　また、本開示によれば、情報処理装置が、表示画面の端部領域に所定の形状の操作領域を表示し、前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行すること、を含む、情報処理方法が提供される。
　また、本開示によれば、情報処理装置に、表示画面の端部領域に所定の形状の操作領域を表示させ、前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行させる、情報処理プログラムが提供される。
本開示の情報処理装置１０の外観構成の一例を示す図である。 同実施形態に係る情報処理装置１０の表示画面の一例を示す図である。 同実施形態に係る情報処理装置１０の機能構成の一例を説明するための図である。 同実施形態に係るサイドセンスメニューの一例を示す図である。 同実施形態に係るマルチウィンドウメニューの一例を示す図である。 同実施形態に係る操作領域の移動に係る操作の一例を説明するための図である。 同実施形態に係る操作領域の表示態様の一例を説明するための図である。 同実施形態に係る操作領域の表示態様の一例を説明するための図である。 同実施形態に係る情報処理装置１０における処理の流れの一例を説明するための図である。 同実施形態に係る操作領域の移動処理の一例を説明するための図である。 本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．はじめに
　　１．２．外観構成例
　　１．３．機能構成例
　　１．４．機能の詳細
　２．実施形態の変形例
　３．動作の流れの一例
　４．ハードウェア構成例
　５．まとめ
　＜１．実施形態＞
　＜＜１．１．はじめに＞＞
　近年、タッチパネルを有する装置において、ユーザの指による操作を支援する技術が開発されている。例えば特許文献１には、装置の裏面に備えられたセンサが検出したユーザの指の位置に基づいて、画面上に表示するコントローラの位置を制御する技術が開示されている。
　しかしながら、特許文献１で開示されている技術では、装置が指を検出するためのセンサを別途備える必要がある。また、特許文献１で開示されている技術では、スマートフォンのような片手で使用する小型の装置においては、操作を最適化できない場合がある。
　そこで、本開示では、更なるユーザビリティの向上を促進することが可能な、新規かつ改良された情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　＜＜１．２．外観構成例＞＞
　図１は、本開示の情報処理装置１０の外観構成の一例を示す図である。図１左側には、情報処理装置１０の前面が示されている。また、図１右側には、情報処理装置１０の背面が示されている。情報処理装置１０は、例えばスマートフォン（モバイル端末）である。また、情報処理装置１０は、タブレット端末であり得る。
　情報処理装置１０は、表示部１５０を備える。表示部１５０は、後述するセンサ部１１０に覆いかぶさっている。係る構成により、情報処理装置１０は、表示部１５０に接触しているユーザの指を検出することができる。なお、表示部１５０は、情報処理装置１０の一部又は全部に覆いかぶさっていてもよい。
　図２は、本開示の情報処理装置１０の表示画面の一例を示す図である。情報処理装置１０は、ユーザ入力に基づいて表示画面の内容を制御することができる。例えば、情報処理装置１０は、所謂ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を利用し、アプリケーションの機能実行に係る実行情報を表示部１５０に表示することができる。ここで、実行情報とは、例えばアプリケーションに所定の処理を実行させるためのアイコンや、アプリケーションに所定の処理を実行された結果、等の視覚情報である。例えば、実行情報は、アプリランチャーである。図２では、実行情報ＡＲ１１を表示部１５０に表示している。なお、以下、アプリケーションのアイコンを、アプリケーションと呼ぶ場合がある。
　また、情報処理装置１０は、ＧＵＩを利用し、表示画面の端部領域に所定の形状の操作領域を表示部１５０に表示することができる。ここで、操作領域とは、例えば、ユーザにお勧めの実行情報を表示するための表示情報である。例えば、サイドセンス（登録商標）と呼ばれる表示情報である。これにより、ユーザは、アプリランチャーを呼び出すことができる。図２では、端部領域ＴＲ１１に操作領域ＳＢ１１を表示している。図２では、操作領域ＳＢ１１が端部領域ＴＲ１１の中心部分に表示される場合を示すが、操作領域ＳＢ１１が表示される位置は特に限定されない。例えば、操作領域ＳＢ１１は、端部領域ＴＲ１１の上部分や下部分に表示されてもよい。また、図２では、操作領域ＳＢ１１が表示画面の左側に表示される場合を示すが、右側に表示されてもよい。この場合、操作領域ＳＢ１１は、表示画面の右側の端部領域に表示される。
　また、操作領域ＳＢ１１の表示態様（例えば、サイズ、形状、色）は特に限定されない。例えば、操作領域ＳＢ１１の表示態様は、デフォルト時より設定で変更可能である。具体的な例を挙げると、操作領域ＳＢ１１の透明度を上げて、操作領域ＳＢ１１がほとんど見えなくなるくらい薄くしてもよい。また、操作領域ＳＢ１１の表示態様は所定の操作によって変化するものとする。また、操作領域ＳＢ１１は所定の操作によって表示画面上を移動するものとする。
　＜＜１．３．機能構成例＞＞
　次に、本実施形態に係る情報処理装置１０の機能構成の一例を説明する。図３は、本実施形態に係る情報処理装置１０の機能構成の一例を説明するための図である。図３に示すように、情報処理装置１０は、センサ部１１０、入力部１２０、記憶部１３０、制御部１４０、表示部１５０、特定部１６０、及び通信部１７０、を備える情報処理装置である。
（センサ部１１０）
　本実施形態に係るセンサ部１１０は、ユーザの指の情報処理装置１０への接触を検出する機能を有する。ここで、センサ部１１０は、情報処理装置１０の前面に接触しているユーザの指の位置を検出することが可能である。なお、センサ部１１０は、例えば静電容量方式のタッチセンサ又は感圧方式のタッチセンサにより実現される。
　また、センサ部１１０は、表示部１５０に対してトリガ操作を実行した操作指の位置を検出してもよい。ここで、トリガ操作とは、操作領域に対する操作を含む。また、トリガ操作とは、具体的には、タップ、ダブルタップ、押し込み、長押しドラッグ、上スライド、下スライド等である。なお、スライドは、指でなぞる操作であってもよい。また、長押しドラッグは、ロングタップであってもよい。また、操作指とは、情報処理装置１０を把持している複数のユーザの指のうち、例えば、操作領域を操作するために、表示部１５０に対する操作を実行する指である。
（入力部１２０）
　本実施形態に係る入力部１２０は、ユーザの行動に係るセンサ情報を、各種センサを用いて収集する機能を有する。入力部１２０は、例えば加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）信号受信装置等を備える。
（記憶部１３０）
　本実施形態に係る記憶部１３０は、各種プログラムやデータを一時的又は恒常的に記憶するための記憶領域である。例えば、記憶部１３０には、情報処理装置１０が各種機能を実行するためのプログラムやデータが記憶されてもよい。具体的な一例として、記憶部１３０には、各種アプリケーションを実行するためのプログラムや、各種設定等を管理するための管理データ等が記憶されてよい。もちろん、上記はあくまで一例であり、記憶部１３０に記憶されるデータの種別は特に限定されない。
（制御部１４０）
　本実施形態に係る制御部１４０は、情報処理装置１０が備える各構成を制御する。また、制御部１４０は、表示部１５０における操作指の検出位置に基づいて、操作領域に対して操作が行われたか否かを判定する。例えば、制御部１４０は、操作指の検出位置が操作領域の範囲内である場合には、操作領域に対して操作が行われたものと判定する。なお、操作領域の範囲内とは、例えば、操作領域が表示される表示範囲である。
　ここで、操作領域に対する各操作に対して、制御部１４０が実行する異なる処理が割り当てられている。例えば、第１操作が行われたことを検出すると、制御部１４０は、操作領域を移動する処理を実行する。例えば、第１操作として、長押しドラッグの操作が予めアサイン（設定）されている場合には、制御部１４０は、ユーザが操作領域を長押しドラッグすると、操作領域を移動する処理を実行する。なお、長押しドラッグの長押しに係る時間は特に限定されない。この際、制御部１４０は、例えば、表示部１５０における操作指の検出位置に応じて追従するように、操作領域を移動する処理を実行する。
　また、制御部１４０は、操作領域の移動処理が実行されると、操作領域の形状を変化させる処理を実行する。そして、制御部１４０は、操作領域が端部領域以外の領域（以下、適宜、「中央領域」とする。）を移動又は位置する際は、操作領域の形状を変化させる処理を実行する。例えば、制御部１４０は、端部領域ではバー状の形状の操作領域を、中央領域では円状に変化させる処理を実行する。なお、制御部１４０は、操作領域が端部領域を移動する際は、操作領域の形状を変化させずに移動する処理を実行してもよい。例えば、制御部１４０は、バー状のまま端部領域を上下に移動する処理を実行してもよい。
　このように、ユーザの操作領域に対する長押しドラッグの長押しに係る時間が所定の閾値を超えると、制御部１４０は、ユーザがバー状の形状の操作領域を浮き上がった感じで自由に動かせるように制御する処理を実行する。そして、制御部１４０は、ユーザが指を離さずに中央領域にドラッグすると、操作領域の形状を円状に変化させる処理を実行する。なお、以下、円状に変化した操作領域を、フロートアイコンと呼ぶ場合がある。そして、制御部１４０は、ユーザが表示画面上の所定の座標より端部領域側に操作領域を移動させると、バー状の形状に再度変化させる処理を実行する。
　また、例えば、第２操作が行われたことを検出すると、制御部１４０は、アプリケーションの機能実行に係る実行情報を表示する処理を実行する。なお、第２操作によって表示される実行情報を、以下、適宜、「サイドセンスメニュー」と呼ぶ。サイドセンスメニューは、例えば、情報処理装置１０におけるユーザの使用状況等から推測されるお勧めのアプリケーションを表示する。これにより、ユーザは、サイドセンスメニューに表示されたアプリケーションを起動することができる。また、ユーザは、サイドセンスメニューに表示されたアプリケーションの機能をオン／オフすることもできる。なお、サイドセンスメニューに表示されるアプリケーションは、ユーザが選択してもよい。
　第２操作として、例えば、ダブルタップの操作が予めアサインされている場合には、制御部１４０は、ユーザが操作領域をダブルタップすると、サイドセンスメニューを表示する処理を実行する。この際、制御部１４０は、操作領域の位置に応じた位置にサイドセンスメニューを表示する処理を実行する。すなわち、制御部１４０は、操作領域の位置情報に基づいてサイドセンスメニューを表示する領域を決定する処理を実行する。また、制御部１４０は、例えば、操作領域を再度ダブルタップする、又は、サイドセンスメニューの表示領域以外の領域をタップすることで、サイドセンスメニューを閉じるように制御する処理を実行してもよい。
　図４は、本開示のサイドセンスメニューの一例を示す図である。図４では、制御部１４０は、操作領域ＳＢ１１に対するダブルタップを検出すると、サイドセンスメニューである実行情報ＡＲ２１を表示する処理を実行する。この際、制御部１４０は、例えば、実行情報ＡＲ２１を操作領域ＳＢ１１から所定の範囲内の位置に表示する処理を実行する。なお、実行情報ＡＲ２１は、アプリケーションの機能実行に係る実行情報に限らず、どのような情報を含んでもよい。例えば、実行情報ＡＲ２１は、サイドセンスメニューを設定するための設定情報や、後述するマルチウィンドウメニューを表示するための表示情報を含んでもよい。また、実行情報ＡＲ２１の表示態様は特に限定されない。また、実行情報ＡＲ２１に含まれるアプリケーションの種別や数や表示順等も特に限定されない。
　また、例えば、第３操作が行われたことを検出すると、制御部１４０は、アプリケーションの機能実行に係る実行情報を表示する処理を実行する。なお、第３操作によって表示される実行情報を、以下、適宜、「マルチウィンドウメニュー」と呼ぶ。マルチウィンドウメニューは、例えば、表示画面を分割して複数のアプリケーションを同時に表示する。例えば、マルチウィンドウメニューは、ユーザがよく使うアプリケーションのペアをショートカットにして表示する。これにより、ユーザは、複数のアプリケーションを同時に操作することができる。
　第３操作として、例えば、上スライドの操作が予めアサインされている場合には、制御部１４０は、ユーザが操作領域を上スライドすると、マルチウィンドウメニューを表示する処理を実行する。この際、制御部１４０は、操作領域の位置に応じた位置にマルチウィンドウメニューを表示する処理を実行する。すなわち、制御部１４０は、操作領域の位置情報に基づいてマルチウィンドウメニューを表示する領域を決定する処理を実行する。また、制御部１４０は、例えば、サイドセンスメニューの、マルチウィンドウメニューを表示するための表示情報をタップすることにより、マルチウィンドウメニューを表示する処理を実行してもよい。また、制御部１４０は、例えば、操作領域を再度ダブルタップする、又は、マルチウィンドウメニューの表示領域以外の領域をタップすることで、マルチウィンドウメニューを閉じるように制御する処理を実行してもよい。
　図５は、本開示のマルチウィンドウメニューの一例を示す図である。図５では、制御部１４０は、操作領域ＳＢ１１に対する上スライドを検出すると、マルチウィンドウメニューである実行情報ＡＲ３１を表示する処理を実行する。この際、制御部１４０は、例えば、実行情報ＡＲ３１を操作領域ＳＢ１１から所定の範囲内の位置に表示する処理を実行する。なお、実行情報ＡＲ３１は、アプリケーションの機能実行に係る実行情報に限らず、どのような情報を含んでもよい。例えば、実行情報ＡＲ３１は、マルチウィンドウメニューの設定情報を含んでもよい。また、実行情報ＡＲ３１の表示態様は特に限定されない。また、実行情報ＡＲ３１に含まれるアプリケーションの種別や数や表示順等も特に限定されない。
　また、実行情報ＡＲ３１は、複数のアプリケーションを同時に表示する表示領域ＭＲ１１を含む。表示領域ＭＲ１１は、上側と下側とに表示する２つのアプリケーションを選択するための表示情報である。なお、図５では、２つのアプリケーションを選択する場合を示すが、この例に限らず、３つ以上のアプリケーションを選択できてもよい。例えば、マルチウィンドウメニューに表示されたアプリケーションをタップすることにより、制御部１４０は、同時に表示する複数のアプリケーションを決定する。
　図５は、まず、上側に表示するアプリケーションを選択する場合を示す。制御部１４０は、マルチウィンドウメニューに表示されたアプリケーションをタップすると、上側に表示されるアプリケーションを決定する。そして、図示されていないが、表示領域ＭＲ１２に決定したアプリケーションのアイコンを表示する。また、図示されていないが、上側に表示されるアプリケーションが決定されると、下側に表示するアプリケーションの選択に遷移する。そして、制御部１４０は、マルチウィンドウメニューに表示されたアプリケーションをタップすると、下側に表示されるアプリケーションを決定する。そして、図示されていないが、表示領域ＭＲ１３に決定したアプリケーションのアイコンを表示する。これにより、ユーザは、同時に表示して操作可能な複数のアプリケーションのペアを設定することができる。
　また、例えば、第４操作が行われたことを検出すると、制御部１４０は、一つ前の表示画面に戻る処理を実行する。第４操作として、例えば、下スライドの操作が予めアサインされている場合には、制御部１４０は、ユーザが操作領域を下スライドすると、一つ前の表示画面に戻る処理を実行する。例えば、制御部１４０は、サイドセンスメニューやマルチウィンドウメニューを閉じる処理を実行する。
（表示部１５０）
　本実施形態に係る表示部１５０は、制御部１４０による制御に基づいて各種の視覚情報を表示する。例えば、表示部１５０は、アプリケーションの機能実行に係る実行情報を、表示画面上に表示する機能を有するタッチパネルである。また、表示部１５０は、例えば、アプリケーションに係る画像や文字等を表示してよい。このために、表示部１５０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイ装置等、各種のディスプレイ装置を備える。また、表示部１５０は、表示しているアプリケーションや実行情報の画面よりも上位のレイヤに、操作領域のＵＩを重畳表示させることもできる。
（特定部１６０）
　本実施形態に係る特定部１６０は、所定の基準に基づいて、所定のアプリケーションを特定する機能を有する。ここで、所定の基準とは、例えば現時刻、現在地、種々のアプリケーションの使用頻度等である。特定部１６０は、例えば記憶部１３０が記憶している種々のアプリケーションのうち、他のアプリケーションと比較して使用頻度の高いアプリケーションを特定してもよい。
　特定部１６０は、ユーザによる情報処理装置１０に対する操作、又は所定の基準を、機械学習することにより構築されるモデルを用いて、アプリケーションを特定してもよい。当該機械学習は、例えばディープラーニング等のニューラルネットワークを用いた機械学習でもよい。なお、構築されたモデルは、記憶部１３０に記憶されてもよい。
　また、特定部１６０は、後述するネットワーク２０を介して他の装置から受信した、複数のユーザの端末使用に係るデータから機械学習により求められた情報を用いて、アプリケーションを特定してもよい。当該アプリケーションに係る実行情報は、制御部１４０が制御する表示部１５０により、ユーザに対し表示され得る。
　ここで、表示されるアプリケーションは、所定の基準に基づいて特定部１６０により特定され得る。制御部１４０は、特定部１６０が特定した複数のアプリケーションを表示部１５０に表示する処理を実行する。ここで、制御部１４０は、例えば表示部１５０において、使用頻度がより高いアプリケーションを、他のアプリケーションよりも、表示画面において高い位置に表示する処理を実行してもよい。
（通信部１７０）
　本実施形態に係る通信部１７０は、後述するネットワーク２０を介して他の装置との間の通信を実行する機能を有する。通信部１７０は、例えば他の装置から、上述した複数のユーザの端末使用に係るデータから機械学習により求められた情報を受信してもよい。
（ネットワーク２０）
　本実施形態に係るネットワーク２０は、情報処理システムが備える各構成を接続する機能を有する。ネットワーク２０は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等を含んでもよい。また、ネットワーク２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。また、ネットワーク２０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等無線通信網を含んでもよい。
　以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、図３を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。例えば、情報処理装置１０は、必ずしも図３に示す構成のすべてを備えなくてもよい。例えば、記憶部１３０及び特定部１６０は、情報処理装置１０とは異なる別の装置に備えることも可能である。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶媒体から制御プログラムを読み出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜利用する構成を変更することが可能である。また情報処理装置１０のハードウェア構成の一例については、後述される。
　＜＜１．４．機能の詳細＞＞
　次に、本実施形態に係る制御部１４０の動作について具体例を挙げながら詳細に説明する。
　図６は、本実施形態に係る操作領域の移動に係る操作の一例を示す図である。図６（Ａ）における表示部１５０には、形状がバー状の操作領域ＳＢ１１が表示されている。また、図６（Ａ）における表示部１５０には、操作指の検出位置ＴＳ１１が表示されている。図６（Ａ）において、操作指により、操作領域ＳＢ１１に対して長押しドラッグが実行されると、制御部１４０は、操作領域ＳＢ１１を移動する処理を実行する。図６（Ｂ）に示すように、操作指により左側へドラッグすると、制御部１４０は、操作指の検出位置ＴＳ１１に基づいて、左側へ移動する処理を実行する。
　図６（Ｃ）に示すように、移動処理が実行されて表示部１５０の中央領域に入ると、制御部１４０は、操作領域ＳＢ１１の形状をバー状から円状に変化させる処理を実行する。図６（Ｄ）に示すように、操作指を表示部１５０から離すと、制御部１４０は、操作指が離れた位置に操作領域ＳＢ１１を置いて、移動処理を終了する。これにより、ユーザは、表示画面上の自由な位置に操作領域ＳＢ１１を置くことができる。
　また、制御部１４０は、操作領域ＳＢ１１が表示画面上のどの位置にあっても、操作性を保持する処理を実行する。制御部１４０は、例えば、操作領域ＳＢ１１が端部領域に位置する場合でも、中央領域に位置する場合でも、操作性を保持して同一に操作領域を操作できるように制御する処理を実行する。具体的には、制御部１４０は、同一のトリガ操作（例えば、第１操作乃至第４操作）で同一の操作が行われるように制御する処理を実行する。また、制御部１４０は、操作領域ＳＢ１１の形状がどの形状であっても、操作性を保持する処理を実行する。制御部１４０は、例えば、操作領域ＳＢ１１の形状がバー状であっても円状であっても、操作性を保持して同一に操作領域を操作できるように制御する処理を実行する。このように、制御部１４０は、操作領域ＳＢ１１の形状が変化した場合でも、変化後の操作領域に対する操作において、変化前の操作領域に対する操作で同一の操作を行えるように制御する処理を実行する。
　図７は、本実施形態に係る操作領域の表示態様の一例を示す図である。図７では、操作領域ＳＢ１１が表示部１５０の中央領域に位置するため、形状が円状である。図７左側は、移動処理が行われていない状態の操作領域ＳＢ１１の表示態様を示す。例えば、図６（Ｄ）において移動処理が終了した状態である。図７右側は、移動処理が行われている状態の操作領域ＳＢ１１の表示状態を示す。図７右側に示す操作領域ＳＢ１１は、図７左側に示す操作領域ＳＢ１１よりも目立つ態様で表示されている。
　このように、制御部１４０は、操作領域ＳＢ１１の移動処理が行われている場合、操作領域ＳＢ１１の移動処理が行われていない場合と異なる特定の態様で表示する処理を実行してもよい。例えば、制御部１４０は、移動処理が行われていない場合と比べて操作領域ＳＢ１１のサイズを大きくして表示する処理を実行してもよい。また、例えば、制御部１４０は、移動処理が行われていない場合と比べて操作領域ＳＢ１１の色の濃さや明るさを高くして表示する処理を実行してもよい。
　図８は、本実施形態に係る操作領域の表示態様の一例を示す図である。図８では、操作領域ＳＢ１１が表示部１５０の中央領域に位置するため、形状が円状である。図８は、操作領域ＳＢ１１が、実行情報ＡＲ１１に含まれるアプリケーションのアイコンＡＡ１１に重畳している場合を示す。例えば、ユーザが操作領域ＳＢ１１をアイコンＡＡ１１の真上に置いた場合である。制御部１４０は、例えば表示しているアプリケーションや実行情報等の表示画面上の他の表示情報よりも上位のレイヤに操作領域ＳＢ１１を表示する処理を実行する。
　このため、制御部１４０は、操作領域ＳＢ１１が表示画面上の他の表示情報に重畳する場合には、操作領域ＳＢ１１が上位のレイヤにあるため、操作領域ＳＢ１１に対する操作を優先して処理を実行する。例えば、操作領域ＳＢ１１がアイコンＡＡ１１に重畳する場合において、ユーザが操作領域ＳＢ１１とアイコンＡＡ１１との領域の重畳範囲を操作した場合には、制御部１４０は、操作領域ＳＢ１１に対する操作として処理を実行する。なお、図８には、ユーザが操作領域ＳＢ１１とアイコンＡＡ１１との領域の重畳範囲を操作した場合の、操作指の検出位置ＴＳ２１が表示されている。また、ユーザが操作領域ＳＢ１１とアイコンＡＡ１１との重畳範囲外を操作した場合には、制御部１４０は、操作した表示情報に対応する処理を実行する。
　また、制御部１４０は、操作領域ＳＢ１１が他の表示情報と重畳する場合には、操作領域ＳＢ１１の視認性を確保するために、操作領域ＳＢ１１を特定の態様で表示する処理を実行してもよい。例えば、制御部１４０は、操作領域ＳＢ１１が他の表示情報と重畳しない場合と比べて操作領域ＳＢ１１のサイズを大きくする等の目立つ態様で表示する処理を実行してもよい。また、例えば、制御部１４０は、操作領域ＳＢ１１が他の表示情報と重畳しない場合と比べて操作領域ＳＢ１１の色の濃さや明るさを高くして表示する処理を実行してもよい。このように、制御部１４０は、フロートアイコンが埋没しないように制御するための処理を実行してもよい。
　＜２．実施形態の変形例＞
　以上、本開示の実施形態について説明した。続いて、本開示の実施形態の変形例を説明する。なお、以下に説明する変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
（無効化１）
　上記実施形態では、操作領域ＳＢ１１が他の表示情報よりも上位のレイヤに置かれる場合を示した。上記実施形態では、操作領域ＳＢ１１が他の表示情報に重畳する場合、重畳された他の表示情報を操作できない場合がある。ここで、上記実施形態において、情報処理装置１０は、操作領域ＳＢ１１を無効にする機能を有してもよい。制御部１４０は、例えば特定のアプリケーションの起動時等操作領域ＳＢ１１を無効化する処理を実行してもよい。また、制御部１４０は、操作領域ＳＢ１１が無効化された場合、操作領域ＳＢ１１を表示しない処理を実行する。また、無効化の対象となるアプリケーションは、デフォルトで予め設定されてもよいし、ユーザによって選択されてもよい。これにより、ユーザは、操作領域ＳＢ１１が無効化された場合、操作領域ＳＢ１１によって重畳されていた他の表情情報を操作することができる。
　また、制御部１４０は、無効化の対象となったアプリケーションをブラックリスト対象として、ブラックリスト対象が起動すると、所定の条件を満たすまで、操作領域ＳＢ１１を表示しない処理を実行する。なお、所定の条件を満たすまでとは、例えば、ブラックリスト対象の起動が終了するまで、若しくは、所定の時間が経過するまで、等である。なお、ブラックリスト対象の一例としては、例えば、カメラアプリ、通信セッティングアプリ、スクリーンセーバ等が挙げられる。また、制御部１４０は、所定の条件を満たすと、操作領域ＳＢ１１を有効にするとともに、操作領域ＳＢ１１を表示する処理を実行する。この際、制御部１４０は、表示画面上の、操作領域ＳＢ１１を消した直前の位置に操作領域ＳＢ１１を表示する処理を実行する。
（無効化２）
　上記実施形態において、特定のアプリケーションの起動時以外にも、操作領域ＳＢ１１を無効にすることができる。例えば、制御部１４０は、表示画面上で、操作領域ＳＢ１１の領域以外を操作することで、所定の時間、操作領域ＳＢ１１を無効化する処理を実行してもよい。また、制御部１４０は、操作領域ＳＢ１１が無効化された場合、操作領域ＳＢ１１を表示しない処理を実行する。以下、図８を用いて具体的に説明する。
　図８では、操作領域ＳＢ１１が表示画面上の他の表示情報であるアイコンＡＡ１１に重畳して表示されている。制御部１４０は、ユーザが例えば表示画面の中心等の操作領域ＳＢ１１の領域以外を操作すると、操作領域ＳＢ１１を所定の時間、無効化する処理を実行してもよい。これにより、ユーザは、アイコンＡ１１の操作を行うことができる。制御部１４０は、操作領域ＳＢ１１が無効化されている間、アイコンＡ１１に対する操作を受け付けて、アイコンＡ１１に対する操作に基づく処理を実行してもよい。
　また、制御部１４０は、無効化の所定の時間が経過すると、操作領域ＳＢ１１を表示する処理を実行する。具体的には、制御部１４０は、操作領域ＳＢ１１を有効にするとともに、操作領域ＳＢ１１を表示する処理を実行する。この際、制御部１４０は、表示画面上の、操作領域ＳＢ１１を消した直前の位置に操作領域ＳＢ１１を表示する処理を実行する。また、制御部１４０は、操作領域ＳＢ１１を再度表示する際に、操作領域ＳＢ１１を特定の態様で表示する処理を実行してもよい。例えば、制御部１４０は、操作領域ＳＢ１１を再度表示する際に、所定の時間、目立つ態様で表示されるように制御する処理を実行してもよい。これにより、操作領域ＳＢ１１の位置を分かり易くすることができる。
　また、制御部１４０は、上記以外にも、例えば、新しい画面を開いた際や、画面が遷移した直後や、アプリケーションを起動した直後にも、同様に、操作領域ＳＢ１１を無効化して、所定の時間が経過後、操作領域ＳＢ１１を再度表示する際に、所定の時間が経過するまで、操作領域ＳＢ１１を特定の態様で表示する処理を実行してもよい。このように、制御部１４０は、操作領域ＳＢ１１を一瞬消して、その直後、一瞬目立たせる態様で表示する処理を行うことができる。
（操作領域の範囲）
　上記実施形態では、操作領域ＳＢ１１に対して操作が行われたか否かを判定する操作領域ＳＢ１１の範囲内とは、例えば、操作領域ＳＢ１１が表示された表示範囲である場合を示したが、この例に限られない。操作領域ＳＢ１１が円状の場合には、操作領域ＳＢ１１の範囲内とは、例えば、操作領域ＳＢ１１に外接する正方形の領域内の範囲であってもよい。この場合、制御部１４０は、操作指の検出位置が、操作領域ＳＢ１１に外接する正方形の領域内にあるか否かに基づいて、操作領域ＳＢ１１に対して操作が行われたか否かを判定する。また、操作領域ＳＢ１１が円状の場合には、操作領域ＳＢ１１の範囲内とは、例えば、操作領域ＳＢ１１の中心から半径が所定の距離離れた円形の領域内の範囲であってもよい。また、操作領域ＳＢ１１がバー状の場合には、操作領域ＳＢ１１の範囲内とは、例えば、操作領域ＳＢ１１の太さよりも数倍の太さのバーの領域内の範囲であってもよい。このように、操作領域ＳＢ１１の検出範囲は、実際に表示された表示範囲よりも大きくてもよい。なお、操作領域ＳＢ１１の検出範囲を、操作領域ＳＢ１１の表示範囲よりも大きくする場合には、ユーザが検出範囲を視認できるように、例えば、ユーザが操作領域ＳＢ１１に対して操作が行った直後の所定期間、操作領域ＳＢ１１とは区別可能な表示態様で検出範囲を画面上に表示してもよい。例えば、区別可能な表示態様とは、薄い白色で検出範囲を表示する等である。
（操作性の保持）
　上記実施形態では、操作領域ＳＢ１１の形状が変化する場合において、変化後の操作領域ＳＢ１１に対する操作と、変化前の操作領域ＳＢ１１に対する操作との操作性を保持する処理を実行する場合を示したが、この例に限らず、操作性を変更してもよい。例えば、制御部１４０は、操作領域ＳＢ１１の形状が円状の場合には、操作領域ＳＢ１１の形状がバー状の場合よりも、操作領域ＳＢ１１の縦方向の長さが短いため、縦方向のトリガ操作に係るトリガの閾値を小さくしてもよい。これにより、ユーザは、例えば、操作領域ＳＢ１１に対する上下スライドのトリガ操作を短いスライドで行うことができる。このように、制御部１４０は、例えば、操作領域ＳＢ１１の形状に応じて、各方向のトリガ操作に係るトリガの閾値を変更することで、操作領域ＳＢ１１の形状の変化前と変化後とで操作性を変更する処理を実行してもよい。
（上下左右の特定）
　上記実施形態において、操作領域ＳＢ１１が表示画面の中央領域に位置する場合、操作領域ＳＢ１１が端部領域に位置する場合と異なり、ユーザが上下左右のトリガ操作を適切に行えない場合がある。具体的な例を挙げると、ユーザが操作領域ＳＢ１１を上スライドしたとしても、情報処理装置１０が傾いている場合には、正確な上ではなく、斜め上にスライドしていることもあり得る。制御部１４０は、例えば加速度センサを用いて、表示画面の上下左右を特定してもよい。
（設定変更）
　上記実施形態では、操作領域ＳＢ１１の表示態様は、デフォルト時より設定で変更可能である場合を示したが、この例に限られない。例えば、上記実施形態において、操作領域ＳＢ１１の表示態様をデフォルト時より設定で変更可能なのは、端部領域用の操作領域ＳＢ１１のみとして、中央領域用の操作領域ＳＢ１１は、デフォルト時より変更不可能であってもよい。また、例えば、中央領域用の操作領域ＳＢ１１において、デフォルト時より変更不可能なのは、サイズのみで、他の表示態様は、変更可能であってもよい。
　＜３．動作の流れの一例＞
　次に、本実施形態に係る情報処理装置１０の動作の流れの一例を説明する。図９は、本実施形態に係る情報処理装置１０における処理の流れの一例を説明するための図である。
　図９を参照すると、まず、センサ部１１０が表示部１５０の表示画面におけるトリガ操作を検出したか否かを判定する（ステップＳ１０１）。センサ部１１０が表示部１５０の表示画面におけるトリガ操作を検出していないと判定した場合（ステップＳ１０１；ＮＯ）、ステップＳ１０１へ復帰する。また、センサ部１１０が表示部１５０の表示画面におけるトリガ操作を検出したと判定した場合（ステップＳ１０１；ＹＥＳ）、制御部１４０は、表示部１５０における操作指の検出位置に基づいて、操作領域に対して操作が行われたか否かを判定する（ステップＳ１０２）。制御部１４０が操作領域に対して操作が行われていないと判定した場合（ステップＳ１０２；ＮＯ）、ステップＳ１０１へ復帰する。また、制御部１４０が操作領域に対して操作が行われたと判定した場合（ステップＳ１０２；ＹＥＳ）、制御部１４０は、操作領域に対する各操作（例えば、第１操作乃至第４操作）に応じた処理を実行する（ステップＳ１０３）。
　次に、本実施形態に係る操作領域の移動処理の流れの一例を説明する。図１０は、本実施形態に係る操作領域の移動処理の流れの一例を説明するための図である。
　図１０を参照すると、まず、制御部１４０は、操作領域の移動処理を実行するための第１操作に係る所定の条件を満たすか否かを判定する（ステップＳ２０１）。制御部１４０は、第１操作に係る所定の条件を満たさないと判定した場合（ステップＳ２０１；ＮＯ）、情報処理を終了する。また、制御部１４０は、第１操作に係る所定の条件を満たすと判定した場合（ステップＳ２０１；ＹＥＳ）、表示部１５０における操作指の検出位置に応じた位置に、操作領域を移動して表示する処理を実行する（ステップＳ２０２）。また、制御部１４０は、操作領域が表示部１５０の中央領域に位置するか否かを判定する（ステップＳ２０３）。具体的には、制御部１４０は、例えば、端部領域以外の領域である中央領域が表示画面上、どの範囲であるかを予めデータとして記憶しておき、表示部１５０における操作指の検出位置が中央領域に位置するかを判定する。制御部１４０は、操作領域が中央領域に位置しないと判定した場合（ステップＳ２０３；ＮＯ）、ステップＳ２０３へ復帰する。また、制御部１４０は、操作領域が中央領域に位置すると判定した場合（ステップＳ２０３；ＹＥＳ）、操作領域の形状を変化させて表示する処理を実行する（ステップＳ２０４）。
　そして、制御部１４０は、表示部１５０における操作指の検出位置に基づいて、操作領域を離したか否かを判定する（ステップＳ２０５）。制御部１４０は、操作領域を離していないと判定した場合（ステップＳ２０５；ＮＯ）、ステップＳ２０５へ復帰する。また、制御部１４０は、操作領域を離したと判定した場合（ステップＳ２０５；ＹＥＳ）、操作領域を離した位置に応じた態様で操作領域を表示する処理を実行する（ステップＳ２０６）。
　＜４．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１１は、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１１を参照すると、情報処理装置１０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。また、入力装置８７８には、マイクロホン等の音声入力装置が含まれる。
（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
　リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜５．まとめ＞
　以上説明したように、本開示の一実施形態に係る情報処理装置１０は、表示画面の端部領域に表示された操作領域に対する操作によって、表示画面の中央領域に移動する処理を実行する機能を有する。係る機能によれば、更なるユーザビリティの向上を促進することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　表示画面の端部領域に所定の形状の操作領域を表示し、
　前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行する制御部
　を備えた、情報処理装置。
（２）
　前記制御部は、
　前記表示画面の中央領域に移動する場合には、前記操作領域の形状を変化させる処理を実行する、
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、
　前記形状が変化後の操作領域に対する操作において、変化前の操作領域に対する操作の操作性を保持する処理を実行する、
　前記（２）に記載の情報処理装置。
（４）
　前記変化前の操作領域は、バー状の形状であり、
　前記変化後の操作領域は、円状の形状である、
　前記（３）に記載の情報処理装置。
（５）
　前記制御部は、
　前記所定の操作として予め設定された第２操作によって前記表示画面においてアプリケーションの機能実行に係る実行情報を表示する処理を実行する、
　前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
　前記制御部は、
　前記第２操作が行われた際の前記操作領域の位置情報に基づいて前記実行情報を表示する領域を決定する処理を実行する、
　前記（５）に記載の情報処理装置。
（７）
　前記実行情報は、所定の基準に基づいて特定された少なくとも１の前記アプリケーションに係るアイコンを含み、
　前記制御部は、
　前記アイコンに対する操作に基づいて、前記アプリケーションに所定の処理を実行させる、
　前記（５）又は（６）に記載の情報処理装置。
（８）
　前記制御部は、
　前記操作領域が前記表示画面における他の表示情報に重畳する場合、当該操作領域に対する操作に基づく処理を実行する、
　前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
　前記制御部は、
　前記表示画面において前記操作領域の領域以外が操作された場合、所定の時間が経過するまで当該操作領域を表示しない処理を実行する、
　前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記制御部は、
　前記所定の時間の経過後に前記操作領域を表示させる際、所定の時間が経過するまで当該操作領域を特定の態様で表示する処理を実行する、
　前記（９）に記載の情報処理装置。
（１１）
　タッチパネルを有する、
　前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）
　モバイル端末である、
　前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
　情報処理装置が、
　表示画面の端部領域に所定の形状の操作領域を表示し、
　前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行すること、
　を含む、
　情報処理方法。
（１４）
　情報処理装置に、
　表示画面の端部領域に所定の形状の操作領域を表示させ、
　前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行させる、
　情報処理プログラム。
　１０　情報処理装置
　２０　ネットワーク
　１１０　センサ部
　１２０　入力部
　１３０　記憶部
　１４０　制御部
　１５０　表示部
　１６０　特定部
　１７０　通信部

Claims (14)

  1. 　表示画面の端部領域に所定の形状の操作領域を表示し、
    　前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行する制御部
    　を備えた、情報処理装置。
  2. 　前記制御部は、
    　前記表示画面の中央領域に移動する場合には、前記操作領域の形状を変化させる処理を実行する、
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　前記形状が変化後の操作領域に対する操作において、変化前の操作領域に対する操作の操作性を保持する処理を実行する、
    　請求項２に記載の情報処理装置。
  4. 　前記変化前の操作領域は、バー状の形状であり、
    　前記変化後の操作領域は、円状の形状である、
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、
    　前記所定の操作として予め設定された第２操作によって前記表示画面においてアプリケーションの機能実行に係る実行情報を表示する処理を実行する、
    　請求項１に記載の情報処理装置。
  6. 　前記制御部は、
    　前記第２操作が行われた際の前記操作領域の位置情報に基づいて前記実行情報を表示する領域を決定する処理を実行する、
    　請求項５に記載の情報処理装置。
  7. 　前記実行情報は、所定の基準に基づいて特定された少なくとも１の前記アプリケーションに係るアイコンを含み、
    　前記制御部は、
    　前記アイコンに対する操作に基づいて、前記アプリケーションに所定の処理を実行させる、
    　請求項５に記載の情報処理装置。
  8. 　前記制御部は、
    　前記操作領域が前記表示画面における他の表示情報に重畳する場合、当該操作領域に対する操作に基づく処理を実行する、
    　請求項１に記載の情報処理装置。
  9. 　前記制御部は、
    　前記表示画面において前記操作領域の領域以外が操作された場合、所定の時間が経過するまで当該操作領域を表示しない処理を実行する、
    　請求項１に記載の情報処理装置。
  10. 　前記制御部は、
    　前記所定の時間の経過後に前記操作領域を表示させる際、所定の時間が経過するまで当該操作領域を特定の態様で表示する処理を実行する、
    　請求項９に記載の情報処理装置。
  11. 　タッチパネルを有する、
    　請求項１に記載の情報処理装置。
  12. 　モバイル端末である、
    　請求項１に記載の情報処理装置。
  13. 　情報処理装置が、
    　表示画面の端部領域に所定の形状の操作領域を表示し、
    　前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行すること、
    　を含む、
    　情報処理方法。
  14. 　情報処理装置に、
    　表示画面の端部領域に所定の形状の操作領域を表示させ、
    　前記操作領域に対する所定の操作として予め設定された第１操作によって前記表示画面の中央領域に移動する処理を実行させる、
    　情報処理プログラム。
PCT/JP2021/029504 2020-09-16 2021-08-10 操作領域を移動する情報処理装置 WO2022059386A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21869073.3A EP4195010A4 (en) 2020-09-16 2021-08-10 INFORMATION PROCESSING DEVICE THAT MOVES A REGION OF OPERATION
US18/044,575 US20230376195A1 (en) 2020-09-16 2021-08-10 Information processing device, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-155832 2020-09-16
JP2020155832A JP2022049572A (ja) 2020-09-16 2020-09-16 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2022059386A1 true WO2022059386A1 (ja) 2022-03-24

Family

ID=80776862

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029504 WO2022059386A1 (ja) 2020-09-16 2021-08-10 操作領域を移動する情報処理装置

Country Status (4)

Country Link
US (1) US20230376195A1 (ja)
EP (1) EP4195010A4 (ja)
JP (1) JP2022049572A (ja)
WO (1) WO2022059386A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130093680A1 (en) 2011-10-17 2013-04-18 Sony Mobile Communications Japan, Inc. Information processing device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874485A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 图标显示方法、装置及终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130093680A1 (en) 2011-10-17 2013-04-18 Sony Mobile Communications Japan, Inc. Information processing device

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "[HUAWEI Smartphones] [EMUI 9.0] How to Customize the Navigation Bar", 23 February 2019 (2019-02-23), XP055913432, Retrieved from the Internet <URL: https://solodc2017.com/huawei-mate-10/emui9/2-system-navigation> *
ANONYMOUS: "10 Settings and Convenience Functions You'll Want to Know to Handle the HUAWEI P40 lite 5G", 19 June 2020 (2020-06-19), XP055913437, Retrieved from the Internet <URL:https://mobareco.jp/a195778/> *
ANONYMOUS: "Approaches to Use and Recommended Settings for AssistiveTouch "Custom Actions", Which Enable Customization of iPhone Operations", 14 August 2020 (2020-08-14), XP055913433, Retrieved from the Internet <URL: https://appllio.com/ios-assistive-touch-custom-action-iphone-ipad-13642> *
ANONYMOUS: "The Long Press Did It! How to Get Rid of Buttons That Won't Go Away - Floating Buttons", 12 June 2020 (2020-06-12), XP055913427, Retrieved from the Internet <URL:https://chiilabo.com/2020/06/long-touch-floating-button-delete/> *
See also references of EP4195010A4
ちいラボ 大津のスマホ教室・パソコン教室: "The Long Press Did It! How to Get Rid of Buttons That Won't Go Away - Floating Buttons", YOUTUBE, XP055913429, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=FAH15pfN4MI> *

Also Published As

Publication number Publication date
EP4195010A4 (en) 2024-01-17
US20230376195A1 (en) 2023-11-23
JP2022049572A (ja) 2022-03-29
EP4195010A1 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
JP7407851B2 (ja) ユーザインタフェース間をナビゲートし、制御オブジェクトと対話するためのデバイス、方法及びグラフィカルユーザインタフェース
JP6833245B2 (ja) ユーザインタフェース間をナビゲートし、制御オブジェクトと対話するためのデバイス、方法及びグラフィカルユーザインタフェース
US11221698B2 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
US11323559B2 (en) Displaying and updating a set of application views
US10606469B2 (en) Device, method, and graphical user interface for managing multiple display windows
JP5905417B2 (ja) 携帯端末および表示制御方法
AU2021202302B2 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
WO2010095255A1 (ja) 情報処理装置、表示制御方法および表示制御プログラム
TW201407457A (zh) 使用者終端裝置及其控制方法
US10019148B2 (en) Method and apparatus for controlling virtual screen
US20200379632A1 (en) User interface for managing input techniques
JP7342937B2 (ja) 情報処理装置及び情報処理方法
US11914857B1 (en) Methods and graphical user interfaces for pointing and editing on computing devices with touch-sensitive displays
WO2022059386A1 (ja) 操作領域を移動する情報処理装置
KR20100107611A (ko) 단말 제어 장치 및 방법
US20230367468A1 (en) Information processing device, information processing method, and information processing program
US20170228148A1 (en) Method of operating interface of touchscreen with single finger
US20230124559A1 (en) Information processing apparatus, program, and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869073

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021869073

Country of ref document: EP

Effective date: 20230306

NENP Non-entry into the national phase

Ref country code: DE