WO2020170453A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020170453A1
WO2020170453A1 PCT/JP2019/006909 JP2019006909W WO2020170453A1 WO 2020170453 A1 WO2020170453 A1 WO 2020170453A1 JP 2019006909 W JP2019006909 W JP 2019006909W WO 2020170453 A1 WO2020170453 A1 WO 2020170453A1
Authority
WO
WIPO (PCT)
Prior art keywords
icon
extended
display
information processing
control unit
Prior art date
Application number
PCT/JP2019/006909
Other languages
English (en)
French (fr)
Inventor
研冴 田倉
元樹 佐々木
久美子 塚原
西尾 郁彦
孝民 薛
翔 小林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to PCT/JP2019/006909 priority Critical patent/WO2020170453A1/ja
Priority to EP19915748.8A priority patent/EP3929714A4/en
Priority to CN201980092167.6A priority patent/CN113439255A/zh
Priority to US17/430,974 priority patent/US20220134226A1/en
Publication of WO2020170453A1 publication Critical patent/WO2020170453A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses a technique of synthesizing an image of a user who plays a game application on a game screen and distributing the image.
  • a control unit that controls function expansion for an external application
  • the control unit causes an expansion menu icon whose display position is adjustable to be superimposed on a display window of the external application, and the expansion menu.
  • the display position of the extension menu is controlled according to the display position of the icon, and the extension function icon related to the extension function selected on the extension menu is displayed on the display window so that the display position is adjustable, and the extension is displayed.
  • an information processing device that controls the display position of a sub-icon associated with the extended function icon according to the display position of the function icon.
  • the processor includes controlling extension of a function for an external application, and the controlling includes displaying an extended menu icon whose display position is adjustable on a display window of the external application in a superimposed manner.
  • the display position of the extended menu can be controlled according to the display position of the extended menu icon, and the display position of the extended function icon related to the extended function selected on the extended menu can be adjusted on the display window.
  • a display position of a sub-icon associated with the extended function icon is controlled according to a display position of the extended function icon.
  • the information processing method is further provided.
  • the computer includes a control unit that controls function expansion for an external application, and the control unit superimposes and displays an extended menu icon whose display position is adjustable on a display window of the external application.
  • the display position of the extended menu is controlled according to the display position of the extended menu icon, and the extended position of the extended function icon relating to the extended function selected on the extended menu is superimposed on the display window in an adjustable manner.
  • a program for displaying and controlling the display position of a sub-icon accompanying the extended function icon according to the display position of the extended function icon to function as an information processing device is provided.
  • FIG. 3 is a block diagram showing a functional configuration example of an information processing device according to an embodiment of the present disclosure. It is a figure for demonstrating cooperation of the extended application and external application which concern on the same embodiment. It is a figure for demonstrating the extended menu display according to the display position of the extended menu icon which concerns on the same embodiment. It is a figure for demonstrating the extended menu display according to the display position of the extended menu icon which concerns on the same embodiment. It is a figure for demonstrating the display control of the extended menu icon MI based on non-operation time which concerns on the same embodiment. It is a figure for demonstrating the recording function which concerns on the same embodiment. It is a figure for demonstrating the recording function which concerns on the same embodiment. It is a figure for demonstrating the recording function which concerns on the same embodiment. It is a figure for demonstrating the recording function which concerns on the same embodiment. It is a figure showing an example of hardware constitutions of an information processor concerning one embodiment of this indication.
  • Embodiment> ⁇ 1.1.
  • the information processing device 10 includes a control unit 140 that controls function expansion for an external application.
  • the control unit 140 causes an extended menu icon whose display position is adjustable to be displayed in a superimposed manner on a display window of an external application, and displays the extended menu icon according to the display position of the extended menu icon. Controlling the display position is one of the features.
  • control unit 140 displays the extended function icon related to the extended function selected on the extended menu in the display window so that the display position is adjustable, and the extended function icon is displayed.
  • the display position of the sub-icon associated with the extended function icon is controlled according to the display position of.
  • the information processing device 10 may be a smartphone, a tablet, a PC (Personal Computer) or the like that can execute various applications.
  • FIG. 1 is a block diagram showing a functional configuration example of the information processing device 10 according to the present embodiment.
  • the information processing device 10 according to the present embodiment includes an operation unit 110, a voice input unit 120, a photographing unit 130, a control unit 140, a voice output unit 150, and a display unit 160.
  • the operation unit 110 detects various operations performed by a user, such as operations on applications. To this end, the operation unit 110 according to this embodiment includes, for example, a touch panel, buttons, a keyboard, a mouse, and the like. The operation unit 110 according to the present embodiment inputs information regarding the detected user operation to the control unit 140.
  • the voice input unit 120 collects a voice or the like uttered by the user under the control of the control unit 140. Therefore, the voice input unit 120 according to the present embodiment includes a microphone and the like.
  • the image capturing unit 130 captures a moving image under the control of the control unit 140.
  • the image capturing section 130 may capture, for example, a face of a user who operates the information processing apparatus 10.
  • the image capturing unit 130 according to the present embodiment includes an image sensor.
  • a smartphone which is an example of the information processing device 10, includes an in-camera for photographing a user's face or the like on the display unit 160 side and a main camera for photographing a landscape or the like on the back side of the display unit 160. In the form, as an example, shooting with an in-camera is controlled.
  • Control unit 140 The control unit 140 according to the present embodiment controls each component included in the information processing device 10.
  • the control unit 140 according to the present embodiment has one of the features that it controls the function expansion for an external application. The details of the function of the control unit 140 according to this embodiment will be described later.
  • the voice output unit 150 outputs various voices.
  • the voice output unit 150 according to the present embodiment outputs a voice according to the situation of the application under the control of the control unit 140, for example.
  • the audio output unit 150 according to the present embodiment includes a speaker and an amplifier.
  • Display 160 The display unit 160 according to the present embodiment displays various visual information under the control of the control unit 140.
  • the display unit 160 according to the present embodiment may display, for example, an image or characters related to the application.
  • the display unit 160 according to the present embodiment includes various display devices.
  • the functional configuration example of the information processing device 10 according to the present embodiment has been described above.
  • the configuration described above with reference to FIG. 1 is merely an example, and the functional configuration of the information processing device 10 according to the present embodiment is not limited to this example.
  • the functional configuration of the information processing device 10 according to the present embodiment can be flexibly modified according to specifications and operation.
  • control unit 140 of the information processing apparatus 10 is to control an extended application for giving an extended function to various external applications.
  • the external application may include, for example, a game application or the like.
  • the control unit 140 according to the present embodiment can give an extended function such as a recording function to an external game application created by another company by linking the extended application with each other.
  • the external application according to the present embodiment is a game application
  • the external application according to the present embodiment is not limited to the example.
  • the external application according to the present embodiment may be, for example, a drawing application, various editing applications, or an application for viewing a moving image or music.
  • the external application according to the present embodiment is not limited to the application created by another company, and may be the application created by the company. According to the extended application according to the present embodiment, it is possible to easily add an extended function to an existing application regardless of its creator without editing the source code.
  • FIG. 2 is a diagram for explaining the cooperation between the extended application and the external application according to this embodiment.
  • the extended application and the external application according to the present embodiment function by being installed in the information processing device 10.
  • FIG. 2 On the left side of FIG. 2, a home screen of an OS (Operating System) displayed on the display unit 160 of the information processing device 10 is shown.
  • OS Operating System
  • the control unit 140 activates the extended application and causes the display unit 160 to display the activation screen of the extended application, as shown in the center of the figure.
  • the startup screen displays icons Ig and Ih related to installed external applications that can be linked, and icons Ii to Ik related to uninstalled external applications recommended to the user. ing.
  • the control unit 140 can automatically generate a list of applications such as the ones exemplified based on the installed external applications and recommendation information. Further, the external application displayed on the startup screen may be arbitrarily added by the user.
  • the control unit 140 activates the external application corresponding to the icon as shown on the right side of the drawing, and the display window of the application is displayed on the display unit 160. Is displayed.
  • FIG. 2 shows an example of the case where the user selects the icon Ig related to the race game on the start screen.
  • the control unit 140 causes the extended menu icon MI to be superimposed and displayed on the display window.
  • the extended menu icon MI may be an icon for calling a menu of extended functions given to an external application.
  • the user may be able to move the extended menu icon MI to an arbitrary position on the display window by dragging the extended menu icon MI, for example.
  • the case where the user starts the external application that works together via the start screen of the extended application has been described as an example, but the user directly selects the icon related to the target external application on the home screen, for example. By doing so, the application may be activated in a state of being linked with the extended application.
  • the control unit 140 controls the display position of the extended menu according to the display position of the extended menu icon MI on the display window.
  • the control unit 140 may control the display position of the extended menu based on, for example, the display position of the extended menu icon MI and the aspect ratio of the display window.
  • 3A and 3B are diagrams for explaining the extended menu display according to the display position of the extended menu icon according to the present embodiment.
  • external applications include those that operate by holding the information processing device 10 vertically, those that operate by holding it horizontally, and those that rotate the screen according to the attitude of the information processing device 10. Therefore, the control unit 140 according to the present embodiment can display the extended menu at a position where it is easier to operate by detecting the aspect ratio of the display window of the external application.
  • the display unit 160 displays a display window suitable for operation in a situation where the information processing apparatus 10 is held vertically.
  • the control unit 140 places the display position of the extended menu icon MI in either the upper or lower region of the display window.
  • the extended menu M may be displayed in a superimposed manner.
  • the extended menu icon MI is located in the upper area of the display window.
  • the control unit 140 may display the extended menu M in the upper area of the display window in the same manner as the display position of the extended menu icon MI.
  • the extended menu icon MI is located in the lower area of the display window.
  • the control unit 140 may superimpose and display the extended menu M in the lower area of the display window, similarly to the display position of the extended menu icon MI.
  • the display unit 160 displays a display window suitable for operation in a situation where the information processing apparatus 10 is held horizontally.
  • the control unit 140 expands the display window to either the left side area or the right side area of the display window including the display position of the extension menu icon MI.
  • the menu M may be displayed in a superimposed manner.
  • the extended menu icon MI is located in the left area of the display window.
  • the control unit 140 may display the extended menu M in the left side area of the display window in the same manner as the display position of the extended menu icon MI.
  • the extended menu icon MI is located in the right area of the display window.
  • the control unit 140 may display the extended menu M in the right side area of the display window in the same manner as the display position of the extended menu icon MI.
  • the display control of the extended menu M according to the display position of the extended menu icon MI according to the present embodiment has been described above.
  • the user who has operated the extended menu icon MI can continuously select an arbitrary extended function in the same area, and an extended menu display that is easier to operate can be realized.
  • the extended menu M is displayed in the same area as the display position of the extended menu icon MI that is moved to a position where the user is not disturbed, and thus the extended menu M is externally It is possible to effectively reduce the possibility that the important visual information output by will be hidden.
  • FIGS. 3A and 3B an example is shown in which a game mode setting, a focus setting, a search function, a screenshot function, and a recording function are provided as extended functions.
  • the above-mentioned game mode setting may be, for example, an extended function capable of setting modes such as power saving priority and performance priority for each external application.
  • the focus setting described above may be, for example, an extended function that allows the user to perform various settings for focusing on an external application.
  • the user may be able to set, for example, RAM release, navigation bar lock, non-display of notification by another application such as a message application, and OFF of the automatic brightness adjustment function of the display unit 160.
  • the game mode setting and the focus setting may be saved even after the external application is terminated, and the setting contents may be automatically reflected at the next startup.
  • the above search function may be an extended function that allows the user to perform various information searches on the display window of the external application without separately starting the browser application. With this function, for example, it is possible to play a game while referring to the capture information on the display window.
  • the screenshot function above may be an extended function that can save the play status of an external application as a still image.
  • the above recording function may be an extended function capable of saving the play status of the external application as a moving image. Details of the recording function according to this embodiment will be described later.
  • the extended menu M and the extended function according to this embodiment has been described above. It should be noted that the above-described extended function is used by the user depending on the situation, and normally, it is not assumed that the operation is performed frequently. Therefore, it is desirable that the extended menu icon MI for calling the extended menu M as described above is displayed so as not to disturb the play of the external application as much as possible when the user does not perform an operation.
  • control unit 140 controls the display position and the display mode of the extended menu icon MI so that the extended menu icon MI becomes less noticeable when the user does not operate the extended menu icon MI for a predetermined time or longer. Good.
  • FIG. 4 is a diagram for explaining display control of the extended menu icon MI based on the non-operation time according to the present embodiment.
  • the extended menu icon MI is arranged in the lower right corner of the display window. In this way, when the extended menu icon MI is left in the peripheral area in the display window for a predetermined time or longer, the control unit 140 displays at least a part of the extended menu icon MI as shown on the right side of the drawing. The extended menu icon MI may be moved to a position hidden outside the window.
  • control unit 140 may control the display mode so that the extended menu icon MI becomes less noticeable, in addition to the above-described control of the display position.
  • control unit 140 may control the superimposed display so that the enhancement degree of the extended menu icon MI is lowered when the extended menu icon MI is left for more than a predetermined time.
  • the control unit 140 may gray out or semi-transparent the extended menu icon MI, for example.
  • the extended menu icon MI is automatically moved to a position that does not hinder the play, and the emphasis degree is lowered. It becomes possible for the user to concentrate on the play of the external application.
  • the control unit 140 does not need to change the display position or control the display mode as described above.
  • the recording function which is one of the extended functions according to this embodiment, will be described in detail.
  • the user can record the play status of any external application using the extended application according to the present embodiment and save it as a moving image.
  • the control unit 140 according to the present embodiment may superimpose the image captured by the capturing unit 130 on the display window and record the superimposed image together with the play status of the external application.
  • 5 to 7 are diagrams for explaining the recording function according to the present embodiment.
  • the control unit 140 displays the extended function icon EI relating to the recording function and a plurality of accompanying sub-icons SI on the display window of the external application, as shown in FIG. Overlay display.
  • control unit 140 may superimpose and display a preview of the image captured by the image capturing unit 130 as the extended function icon EI, as illustrated. According to such control, the user can check the image of himself/herself before the recording is started, and it is possible to prepare for dressing.
  • sub-icon SI1 may be an icon for the user to instruct the end of the recording function.
  • the control unit 140 may perform control such that the extended function icon EI and all the sub-icons SI are hidden and the extended menu icon MI is displayed again.
  • the sub-icon SI2 may be an icon for the user to instruct a recording mode associated with recording of an external application.
  • the control unit 140 can dynamically control the recording mode based on the user's operation on the sub-icon SI2.
  • the control unit 140 may dynamically switch the presence/absence of the recording, for example, based on the operation on the sub-icon SI2.
  • the sub-icon SI3 may be an icon for the user to instruct the start and end of shooting by the shooting unit 130.
  • the control unit 140 can dynamically control the photographing by the photographing unit 130 and the superimposed display of the photographed images based on the user's operation on the sub-icon SI3.
  • the icon SI3 for starting and ending the shooting separately from the icon for starting and ending the recording function, the user can check the image of himself/herself before the recording is started, and the appearance can be improved. It becomes possible to make preparations such as preparation.
  • the sub-icon SI4 may be an icon for the user to instruct the start and end of the recording function.
  • the control unit 140 may control the start or end of the recording function based on the user's operation on the sub icon SI4.
  • the play situation can be recorded after the user flexibly and dynamically setting the superimposition of the captured image and the recording mode.
  • the display position of the extended function icon EI according to the present embodiment may be arbitrarily adjusted like the extended menu icon MI.
  • the control unit 140 according to the present embodiment controls the display position of the sub icon SI according to the display position of the extended function icon EI.
  • control unit 140 may display the sub-icon SI around the extended function icon so as to fit inside the display window according to the display position of the extended function icon EI.
  • the extended function icon EI is arranged in the upper left corner of the display window.
  • the control unit 140 may display the sub icons SI1 to SI4 on the right side and the lower side of the extended function icon EI.
  • the extended function icon EI is arranged in the upper right corner of the display window.
  • the control unit 140 may display the sub icons SI1 to SI4 on the left side and the lower side of the extended function icon EI.
  • the extended function icon EI is arranged in the lower left corner on the display window.
  • the control unit 140 may display the sub icons SI1 to SI4 on the upper side and the right side of the extended function icon EI.
  • the extended function icon EI is arranged in the lower right corner of the display window.
  • the control unit 140 may display the sub icons SI1 to SI4 on the upper side and the left side of the extended function icon EI.
  • FIG. 5 shows a display example of the sub-icons SI1 to SI4 when the extended function icon EI is arranged at any of the four corners on the display window.
  • the display of the sub-icons SI1 to SI4 as described above is not limited to the case where the extended function icon EI is at the four corners on the display window, and is expanded when the display window is divided into four columns and two columns.
  • the function icon EI It is controlled according to the area in which the function icon EI is arranged. For example, in the case shown in FIG. 5, in the state where the extended function icon EI is arranged in the upper left area of the display window, the sub icons SI1 to SI4 are displayed on the right side and the lower side of the extended function icon EI, and the user can see the extended function icon EI. When the extended function icon EI is moved to the upper right area of the display window by dragging the EI, the sub icons SI1 to SI4 are displayed on the left side and the lower side of the extended function icon EI.
  • the control unit 140 can display the sub icons SI1 to SI4 again after the drag operation for movement is completed and the user releases the finger from the display unit 160 provided as, for example, a touch panel.
  • the control unit 140 can start the recording function based on the user's operation on the sub icon SI4.
  • the control unit 140 may hide the sub-icons SI1 to SI4 and add a visual effect indicating that recording is being performed to the extended function icon EI, as shown in FIG.
  • the image such as the face of the user shot by the shooting unit 130 is superposed and displayed as the extended function icon EI as shown in FIG.
  • the extended function icon EI may be movable to any position even after the recording is started.
  • the user can move the extended function icon EI to an unobtrusive position by performing a drag operation or the like based on the situation of the external application.
  • the movement of the extended function icon EI as described above may be automatically performed by the control unit 140.
  • the control unit 140 analyzes the image related to the external application, so that the extended function icon EI is displayed, for example, in an area with less movement on the screen or an area where a UI such as a button for the user to operate is not displayed. May be moved automatically. Further, the control unit 140 may move the extended function icon EI to an optimal display position according to the game situation, for example, by learning a moving operation by the user.
  • the control unit 140 may also perform the above-described automatic position control for the extended menu icon MI.
  • the settings related to recording and superimposing display of captured images may be changed each time even after the start of recording.
  • the control unit 140 When the extended function icon EI is selected by the user's pressing after the start of recording, the control unit 140 again displays the sub-icon SI on the display window as shown in FIG. 7, and the user can perform various settings. State. At this time, the control unit 140 may change the display related to the sub-icon SI4 to a visual effect instructing the end of recording. The user can instruct the end of recording by pressing the sub icon SI4. The sub-icon SI may be hidden again when the user presses the extended function icon EI again. Even when the sub icon SI is displayed together with the extended function icon E1, the extended function icon EI is being moved to an arbitrary position on the display window by dragging the extended function icon EI. May hide the sub-icon SI and display only the extended function icon EI.
  • the user may switch between shooting of an image by the shooting unit 130 and presence/absence of superimposed display of the shot image by pressing the sub-icon SI3, for example.
  • the extended application according to the present embodiment it is possible to dynamically change the presence/absence of superimposed display of captured images according to the situation even after the start of recording.
  • FIG. 7 shows an example in which the display of the sub-icon SI2 changes depending on the mode each time the button is pressed.
  • the sub icon SI2a indicates a mode in which recording is not performed.
  • the sub icon SI2b indicates a mode in which only the voice output by the external application is recorded.
  • the sub-icon SI2c indicates a mode for recording the voice output by the external application and the voice uttered by the user.
  • the sub-icon SI2d indicates a mode in which only the voice uttered by the user is recorded.
  • the recording mode according to the present embodiment may include the presence or absence of recording and the recording mode.
  • the control unit 140 controls the change of the mode selected by the user operation on the sub-icon SI2 as described above, and controls the recording according to each mode. According to such control, the presence/absence of recording and the selection of voice to be recorded can be dynamically performed according to the situation, and more flexible moving image creation can be realized.
  • the control unit 140 superimposes a plurality of further icons for designating the recording mode on the periphery of the sub icon SI2. It may be displayed.
  • the recording function according to the present embodiment can perform various settings other than the superimposition display and recording of captured images.
  • the control unit 140 according to the present embodiment may control the disclosure of the recorded image to the external service.
  • the sub-icon SI5 may be an icon for the user to instruct the disclosure of the recorded moving image to the external service.
  • the control unit 140 can also dynamically control the disclosure of the moving image to various external services based on the user's operation on the sub-icon SI5.
  • the user may be able to preset the external service to be published, or may select the external service to be published arbitrarily by operating the sub-icon SI5. According to this, it becomes possible to deliver the recorded moving image in real time through one or more external services together with recording the play situation.
  • the image captured by the image capturing unit 130 is superimposed and displayed on the display window and the recording is performed together with the play situation is described as an example, but the image to be superimposed and displayed is not limited to the image captured by the image capturing unit 130. ..
  • the control unit 140 may acquire, for example, a moving image related to the play situation of another user who is playing the game or an image of another user who is playing the game via the network, and display the image in a superimposed manner. Further, the control unit 140 may superimpose and display an animated avatar or the like instead of the captured image of the user.
  • the image to be superimposed and displayed on the display window may be arbitrarily set by the user.
  • the sub-icon SI2 related to the superimposed display may be an icon for the user to instruct the presence or absence of the superimposed display of various acquired images and the type of the image to be superimposed displayed.
  • FIG. 8 is a block diagram showing a hardware configuration example of the information processing device 10 according to an embodiment of the present disclosure.
  • the information processing device 10 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device. It has an 879, a storage 880, a drive 881, a connection port 882, and a communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the components shown here.
  • the processor 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation of each component or a part thereof based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable recording medium 901. ..
  • the ROM 872 is means for storing programs read by the processor 871 and data used for calculation.
  • the RAM 873 temporarily or permanently stores, for example, a program read by the processor 871 and various parameters that appropriately change when the program is executed.
  • the processor 871, the ROM 872, and the RAM 873 are mutually connected, for example, via a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to the external bus 876, which has a relatively low data transmission rate, via the bridge 875, for example.
  • the external bus 876 is connected to various components via the interface 877.
  • Input device 8708 As the input device 878, for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter, remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is, for example, a display device such as a CRT (Cathode Ray Tube), LCD, or an organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile, and the acquired information to the user. It is a device capable of visually or audibly notifying. Further, the output device 879 according to the present disclosure includes various vibrating devices capable of outputting tactile stimuli.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device is used.
  • the drive 881 is a device for reading information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writing information on the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, various semiconductor storage media, or the like.
  • the removable recording medium 901 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, or the like.
  • connection port 882 is, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or a port for connecting an external connection device 902 such as an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication device 883 is a communication device for connecting to a network, and includes, for example, a wired or wireless LAN, a Bluetooth (registered trademark) or a communication card for WUSB (Wireless USB), a router for optical communication, and an ADSL (Asymmetrical Digital). It is a router for Subscriber Line) or a modem for various communications.
  • the information processing device 10 includes the control unit 140 that controls the function expansion for the external application.
  • the control unit 140 causes an extended menu icon whose display position is adjustable to be displayed in a superimposed manner on a display window of an external application, and displays the extended menu icon according to the display position of the extended menu icon. Controlling the display position is one of the features.
  • the control unit 140 displays the extended function icon related to the extended function selected on the extended menu in the display window so that the display position is adjustable, and the extended function icon is displayed.
  • One of the features is that the display position of the sub-icon associated with the extended function icon is controlled according to the display position of. With such a configuration, it is possible to add an extended function that enables more intuitive operation without hindering the behavior of the external application.
  • the effects described in the present specification are merely explanatory or exemplifying ones, and are not limiting. That is, the technique according to the present disclosure can exert other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.
  • a control unit that controls function expansion for external applications Equipped with The control unit superimposes and displays an extended menu icon whose display position is adjustable on the display window of the external application, and controls the display position of the extended menu according to the display position of the extended menu icon, An extended function icon relating to the extended function selected on the extended menu is displayed on the display window so that the display position is adjustable, and a sub-icon attached to the extended function icon according to the display position of the extended function icon.
  • Control the display position of Information processing device.
  • the control unit controls the display position of the previous extended menu based on the display position of the extended menu icon and the aspect ratio of the display window, The information processing device according to (1) above.
  • the control unit When the side in the height direction of the display window is longer than the side in the width direction, the control unit extends the extension to either the upper region or the lower region of the display window including the display position of the extended menu icon. Overlay the menu, If the width direction side of the display window is longer than the height direction side, the extended menu is displayed in a superposed manner on either the left side region or the right side region of the display window including the display position of the extended menu icon, The information processing device according to (2). (4) The control unit displays the sub-icon around the extended function icon so as to fit inside the display window according to the display position of the extended function icon, The information processing apparatus according to any one of (1) to (3) above.
  • the extended function icon includes an icon related to a recording function for recording the play status of the external application, The information processing device according to (4).
  • the sub-icon includes an icon for a user to instruct the start and end of the recording function, The control unit controls start or end of the recording function based on a user operation on the icon.
  • the information processing device according to (5) above.
  • the control unit controls superimposition display of the acquired image on the display window, and records the superimposed display image together with a play situation of the external application, The information processing apparatus according to (5) or (6) above.
  • the sub-icon includes an icon for a user to instruct whether to display the acquired image in a superimposed manner, The control unit dynamically switches presence/absence of superimposed display of the acquired image based on a user operation on the icon.
  • the information processing device according to (7). The acquired image is an image taken by a terminal displaying the display window, The information processing device according to (7) or (8).
  • the control unit displays a preview of the captured image as the extended function icon in a superimposed manner.
  • the sub-icon includes an icon for a user to instruct start and end of shooting by the terminal, The control unit dynamically controls photographing by the terminal and superimposition display of the photographed image based on a user operation on the icon.
  • the information processing apparatus includes an icon for a user to instruct a recording mode accompanying recording of the external application, The control unit dynamically controls the recording mode based on a user operation on the icon.
  • the information processing apparatus according to any one of (5) to (11) above.
  • the recording mode includes the recording mode, The mode includes a mode of recording only a voice output by the external application, a mode of recording a voice output by the external application and a voice uttered by a user,
  • the information processing device according to (12).
  • the sub-icon includes an icon for a user to instruct that a recorded video be published to an external service, The control unit dynamically controls publication of the moving image to the external service based on a user operation on the icon.
  • the information processing apparatus according to any one of (5) to (13) above.
  • the control unit causes the extended menu to be at a position where at least a part of the extended menu icon is hidden outside the display window. Move the icon, The information processing apparatus according to any one of (1) to (14) above.
  • the control unit controls the superimposed display so that the degree of emphasis of the extended menu icon decreases.
  • the information processing apparatus according to any one of (1) to (15) above.
  • the external application is a game application, The information processing apparatus according to any one of (1) to (16) above.
  • the processor controls extensions to external applications, Including, The controlling is to display an extended menu icon whose display position is adjustable on the display window of the external application in a superimposed manner, and control the display position of the extended menu according to the display position of the extended menu icon, An extended function icon relating to the extended function selected on the extended menu is displayed on the display window so that the display position is adjustable, and a sub-icon attached to the extended function icon according to the display position of the extended function icon. Controlling the display position of Further including, Information processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】、外部アプリケーションの挙動を妨げることなく、より直感的な操作が可能な拡張機能を付与する。 【解決手段】外部アプリケーションに対する機能拡張を制御する制御部、を備え、前記制御部は、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御し、前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御する、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 近年、エンターテイメント性の高い種々のアプリケーションが開発されている。また、上記のようなアプリケーションと連携し拡張機能を付与することで、各種の付加価値を創出する技術も提案されている。例えば、特許文献1には、ゲームアプリケーションをプレイするユーザの画像をゲーム画面上に合成し配信を行う技術が開示されている。
特開2017-188833号公報
 このように、外部アプリケーションに対し拡張機能を付与する場合、当該外部アプリケーションの本来の挙動やユーザによるアプリケーションの操作を妨げないよう連携することが重要となる。
 本開示によれば、外部アプリケーションに対する機能拡張を制御する制御部、を備え、前記制御部は、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御し、前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御する、情報処理装置が提供される。
 また、本開示によれば、プロセッサが、外部アプリケーションに対する機能拡張を制御すること、を含み、前記制御することは、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御することと、前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御することと、をさらに含む、情報処理方法が提供される。
 また、本開示によれば、コンピュータを、外部アプリケーションに対する機能拡張を制御する制御部、を備え、前記制御部は、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御し、前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御する、情報処理装置、として機能させるためのプログラムが提供される。
本開示の一実施形態に係る情報処理装置の機能構成例を示すブロック図である。 同実施形態に係る拡張アプリケーションと外部アプリケーションの連携について説明するための図である。 同実施形態に係る拡張メニューアイコンの表示位置に応じた拡張メニュー表示について説明するための図である。 同実施形態に係る拡張メニューアイコンの表示位置に応じた拡張メニュー表示について説明するための図である。 同実施形態に係る非操作時間に基づく拡張メニューアイコンMIの表示制御について説明するための図である。 同実施形態に係る録画機能について説明するための図である。 同実施形態に係る録画機能について説明するための図である。 同実施形態に係る録画機能について説明するための図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成例を示す図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.実施形態
  1.1.機能構成例
  1.2.機能の詳細
 2.ハードウェア構成例
 3.まとめ
 <1.実施形態>
 <<1.1.機能構成例>>
 まず、本開示の一実施形態に係る情報処理装置10の機能構成例について述べる。上述したように、近年においては、エンターテイメント性を高い種々のアプリケーションが開発されている。上記のようなアプリケーションには、例えば、ゲームアプリケーションなどが挙げられる。ユーザは、例えば、スマートフォンなどの端末を用いて各種のゲームアプリケーションを気軽にプレイすることが可能となっている。
 また、近年においては、ゲームアプリケーションをプレイするのみにとどまらず、自身がプレイするゲームアプリケーションのプレイ状況を他者に共有することが流行している。ユーザは、例えば、ゲームアプリケーションのプレイ状況を録画した画面に自身の顔画像などを合成した動画を知人に送信したり、動画配信サービスなどを通じて不特定多数の視聴者に配信することが可能である。このような動画の共有によれば、視聴者がゲームアプリケーションのプレイ状況と共に配信者のリアクションを楽しむことなどができ、複数人の間でゲーム体験を共有することが可能となる。
 ここで、上記のような動画を作成しようとする場合、一般には、ゲームアプリケーションのプレイ状況を録画した後、同時に撮影した自身の画像を合成する編集作業が必要となる。しかし、このような編集作業には、時間と労力に加え動画編集に係る知識などが求められる。
 一方、上記のような配信者の負担を軽減するために、例えば、特許文献1に記載されるように、ゲームアプリケーションと連携することで、配信者の画像を合成したプレイ動画を自動で生成する技術も存在する。係る技術によれば、動画編集に係る知識を有しない配信者であっても、手軽にゲームアプリケーションのプレイ動画を作成し、配信などを行うことが可能となる。
 しかし、上記のような技術を用いて、外部アプリケーションに対し拡張機能を付与する場合、当該外部アプリケーションの本来の挙動やユーザによる外部アプリケーションの操作を妨げないよう連携することが重要である。また、ユーザがより直感的に操作可能であり、外部アプリケーションの状況に応じて柔軟に拡張機能の制御を行えることが望ましい。
 本開示に係る技術思想は上記の点に着目して発想されたものであり、外部アプリケーションの挙動を妨げることなく、より直感的な操作が可能な拡張機能を付与することを可能とする。このために、本開示の一実施形態に係る情報処理装置10は、外部アプリケーションに対する機能拡張を制御する制御部140を備える。また、本開示の一実施形態に係る制御部140は、外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、当該拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御すること、を特徴の一つとする。さらには、本開示の一実施形態に係る制御部140は、上記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを上記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、拡張機能アイコンの表示位置に応じて当該拡張機能アイコンに付随するサブアイコンの表示位置を制御すること、を特徴の一つとする。
 以下、上記の特徴を有する本実施形態に係る情報処理装置10の機能構成例について詳細に説明する。本実施形態に係る情報処理装置10は、各種のアプリケーションを実行可能なスマートフォン、タブレット、PC(Personal Computer)などであってよい。
 図1は、本実施形態に係る情報処理装置10の機能構成例を示すブロック図である。図1に示すように、本実施形態に係る情報処理装置10は、操作部110、音声入力部120、撮影部130、制御部140、音声出力部150、表示部160を備える。
 (操作部110)
 本実施形態に係る操作部110は、アプリケーションに対する操作など、ユーザによる各種の操作を検出する。このために、本実施形態に係る操作部110は、例えば、タッチパネル、ボタン、キーボード、マウスなどを備える。本実施形態に係る操作部110は、検出したユーザの操作に係る情報を制御部140に入力する。
 (音声入力部120)
 本実施形態に係る音声入力部120は、制御部140による制御に基づいてユーザが発する音声などを収集する。このために、本実施形態に係る音声入力部120は、マイクロフォンなどを備える。
 (撮影部130)
 本実施形態に係る撮影部130は、制御部140による制御に基づいて動画の撮影を行う。撮影部130は、例えば、情報処理装置10を操作するユーザの顔などを撮影してよい。このために、本実施形態に係る撮影部130は、撮像素子を備える。情報処理装置10の一例であるスマートフォンは、表示部160側にユーザの顔などを撮影するためのインカメラを、表示部160の背面側に風景などを撮影するためのメインカメラを備え、本実施形態では、一例としてインカメラでの撮影を制御する。 
 (制御部140)
 本実施形態に係る制御部140は、情報処理装置10が備える各構成を制御する。また本実施形態に係る制御部140は、外部アプリケーションに対する機能拡張を制御すること、を特徴の一つとする。本実施形態に係る制御部140が有する機能の詳細については、別途後述する。
 (音声出力部150)
 本実施形態に係る音声出力部150は、各種の音声を出力する。本実施形態に係る音声出力部150は、例えば、制御部140による制御に基づいてアプリケーションの状況に応じた音声を出力する。このために、本実施形態に係る音声出力部150は、スピーカやアンプを備える。
 (表示部160)
 本実施形態に係る表示部160は、制御部140による制御に基づいて各種の視覚情報を表示する。本実施形態に係る表示部160は、例えば、アプリケーションに係る画像や文字などを表示してよい。このために、本実施形態に係る表示部160は、各種のディスプレイ装置を備える。
 以上、本実施形態に係る情報処理装置10の機能構成例について述べた。なお、図1を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置10の機能構成は係る例に限定されない。本実施形態に係る情報処理装置10の機能構成は、仕様や運用に応じて柔軟に変形可能である。
 <<1.2.機能の詳細>>
 続いて、本実施形態に係る情報処理装置10が有する機能について詳細に説明する。本実施形態に係る情報処理装置10の制御部140は、各種の外部アプリケーションに対し拡張機能を付与するための拡張アプリケーションを制御することを特徴の一つとする。上記の外部アプリケーションには、例えば、ゲームアプリケーションなどが含まれてよい。本実施形態に係る制御部140は、上記拡張アプリケーションを連携させることで、例えば、他社が作成した外部のゲームアプリケーションに対し録画機能などの拡張機能を付与することが可能である。
 なお、以下においては、本実施形態に係る外部アプリケーションがゲームアプリケーションである場合を主な例として説明を行うが、本実施形態に係る外部アプリケーションは係る例に限定されない。本実施形態に係る外部アプリケーションは、例えば、描画アプリケーションや各種の編集アプリケーション、動画や楽曲などを視聴するためのアプリケーションであってもよい。
 また、本実施形態に係る外部アプリケーションは、他社が作成したアプリケーションに限定されず、自社が作成したアプリケーションであってもよい。本実施形態に係る拡張アプリケーションによれば、作成元を問わず既存のアプリケーションに対し、ソースコードの編集などを行わずに手軽に拡張機能を付与することが可能である。
 図2は、本実施形態に係る拡張アプリケーションと外部アプリケーションの連携について説明するための図である。本実施形態に係る拡張アプリケーションおよび外部アプリケーションは、情報処理装置10にインストールされることにより機能する。
 図2の左側には、情報処理装置10の表示部160に表示されるOS(Operating System)のホーム画面が示されている。ここで、ユーザが、拡張アプリケーションに係るアイコンIaを選択した場合、制御部140は、拡張アプリケーションを起動し、図中央に示すように、表示部160に拡張アプリケーションの起動画面を表示させる。
 図2に示す一例の場合、上記起動画面には、連携が可能なインストール済みの外部アプリケーションに係るアイコンIgおよびIh、また、ユーザにお薦めする未インストールの外部アプリケーションに係るアイコンIi~Ikが表示されている。制御部140は、インストールされている外部アプリケーションやリコメンド情報などに基づいて例示するようなアプリケーションのリストを自動で生成することができる。また、起動画面に表示させる外部アプリケーションは、ユーザが任意に追加可能であってよもよい。
 ここで、ユーザが目的の外部アプリケーションに係るアイコンを選択した場合、制御部140は、図中右側に示すように、当該アイコンに対応する外部アプリケーションを起動し、表示部160に当該アプリケーションの表示ウィンドウを表示させる。図2には、ユーザが上記起動画面において、レースゲームに係るアイコンIgを選択した場合の一例が示されている。
 また、この際、制御部140は、上記表示ウィンドウ上に、拡張メニューアイコンMIを重畳表示させる。拡張メニューアイコンMIは、外部アプリケーションに付与する拡張機能のメニューを呼び出すためのアイコンであってよい。また、ユーザは、例えば、拡張メニューアイコンMIをドラッグすることで、拡張メニューアイコンMIを表示ウィンドウ上の任意の位置に移動させることができてよい。拡張メニューアイコンMIを外部アプリケーションの画面表示状況に応じて適宜移動させることで、外部アプリケーションが表示する各種の視覚情報の表示や、外部アプリケーションに対するユーザの操作を妨げることを回避することが可能である。
 なお、上記では、ユーザが拡張アプリケーションの起動画面を介して連携する外部アプリケーションを起動させる場合を例に述べたが、ユーザは、例えば、ホーム画面において、目的の外部アプリケーションに係るアイコンを直接選択することで、拡張アプリケーションと連携させた状態で当該アプリケーションを起動できてもよい。
 次に、本実施形態に係る拡張メニューの表示制御について述べる。上述したように、ユーザは、外部アプリケーションの表示ウィンドウ上に重畳表示される拡張メニューアイコンMIを選択することで、拡張機能メニューを呼び出すことができる。この際、本実施形態に係る制御部140は、表示ウィンドウ上における拡張メニューアイコンMIの表示位置に応じて、拡張メニューの表示位置を制御する。
 本実施形態に係る制御部140は、例えば、拡張メニューアイコンMIの表示位置と表示ウィンドウの縦横比とに基づいて、拡張メニューの表示位置を制御してもよい。図3Aおよび図3Bは、本実施形態に係る拡張メニューアイコンの表示位置に応じた拡張メニュー表示について説明するための図である。
 一般に、外部アプリケーションには、情報処理装置10を縦持ちして操作するもの、横持ちして操作するもの、また、情報処理装置10の姿勢に応じて画面を回転させるものがある。このため、本実施形態に係る制御部140は、外部アプリケーションの表示ウィンドウの縦横比を検出することで、より操作がしやすい位置に拡張メニューを表示させることができる。
 例えば、図3Aに示す一例の場合、表示部160には、情報処理装置10を縦持ちした状況での操作に適した表示ウィンドウが表示されている。このように、表示ウィンドウの高さ方向の辺が幅方向の辺よりも長い場合、制御部140は、拡張メニューアイコンMIの表示位置が含まれる表示ウィンドウの上側領域または下側領域のいずれかに拡張メニューMを重畳表示させてよい。
 例えば、図3Aの上段に示す一例の場合、拡張メニューアイコンMIは、表示ウィンドウの上側領域に位置している。ここで、拡張メニューアイコンMIが選択された場合、制御部140は、拡張メニューアイコンMIの表示位置と同様に、表示ウィンドウの上側領域に拡張メニューMを重畳表示させてよい。
 一方、図3Aの下段に示す一例の場合、拡張メニューアイコンMIは、表示ウィンドウの下側領域に位置している。ここで、拡張メニューアイコンMIが選択された場合、制御部140は、拡張メニューアイコンMIの表示位置と同様に、表示ウィンドウの下側領域に拡張メニューMを重畳表示させてよい。
 また、例えば、図3Bに示す一例の場合、表示部160には、情報処理装置10を横持ちした状況での操作に適した表示ウィンドウが表示されている。このように、表示ウィンドウの幅方向の辺が高さ方向の辺よりも長い場合、制御部140は、拡張メニューアイコンMIの表示位置が含まれる表示ウィンドウの左側領域または右側領域のいずれかに拡張メニューMを重畳表示させてよい。
 例えば、図3Bの上段に示す一例の場合、拡張メニューアイコンMIは、表示ウィンドウの左側領域に位置している。ここで、拡張メニューアイコンMIが選択された場合、制御部140は、拡張メニューアイコンMIの表示位置と同様に、表示ウィンドウの左側領域に拡張メニューMを重畳表示させてよい。
 一方、図3Bの下段に示す一例の場合、拡張メニューアイコンMIは、表示ウィンドウの右側領域に位置している。ここで、拡張メニューアイコンMIが選択された場合、制御部140は、拡張メニューアイコンMIの表示位置と同様に、表示ウィンドウの右側領域に拡張メニューMを重畳表示させてよい。
 以上、本実施形態に係る拡張メニューアイコンMIの表示位置に応じた拡張メニューMの表示制御について説明した。上記のような表示制御によれば、拡張メニューアイコンMIに対する操作を行ったユーザが同一の領域において続けて任意の拡張機能を選択することができ、より操作が行いやすい拡張メニュー表示を実現することができる。また、上記のような表示制御によれば、ユーザが邪魔にならない位置に移動させた拡張メニューアイコンMIの表示位置と同一の領域に拡張メニューMが表示されることにより、拡張メニューMが外部アプリケーションが出力する重要な視覚情報を隠してしまう可能性を効果的に低減することが可能である。
 なお、図3Aおよび図3Bに示す一例においては、拡張機能として、ゲームモード設定、フォーカス設定、検索機能、スクリーンショット機能、および録画機能が提供される場合の一例が示されている。
 上記のゲームモード設定は、例えば、省電力優先やパフォーマンス優先などのモードを外部アプリケーションごとに設定可能な拡張機能であってよい。
 また、上記のフォーカス設定は、例えば、ユーザが外部アプリケーションにより集中するための各種の設定を行うことが可能な拡張機能であってよい。ユーザは、例えば、RAMのリリース、ナビゲーションバーのロック、メッセージアプリケーションなどの他のアプリケーションによる通知の非表示、表示部160の自動明るさ調整機能のオフなどが設定できてもよい。ゲームモード設定やフォーカス設定は、外部アプリケーションの終了後にも保存され、次回の起動時に自動で設定内容が反映されてもよい。
 また、上記の検索機能は、ユーザがブラウザアプリケーションを別途起動させることなく、外部アプリケーションの表示ウィンドウ上で各種の情報検索を行うことが可能な拡張機能であってよい。当該機能によれば、例えば、表示ウィンドウ上で攻略情報を参照しながらゲームを行うことなどが可能となる。
 また、上記のスクリーンショット機能は、外部アプリケーションのプレイ状況を静止画として保存することが可能な拡張機能であってよい。また、上記の録画機能は、外部アプリケーションのプレイ状況を動画として保存することが可能な拡張機能であってよい。本実施形態に係る録画機能の詳細については、別途後述する。
 以上、本実施形態に係る拡張メニューMおよび拡張機能の一例について説明した。なお、上記のような拡張機能は、ユーザが状況に応じて利用するものであり、通常頻繁に操作を行うことは想定されない。このため、上記のような拡張メニューMを呼び出すための拡張メニューアイコンMIは、ユーザによる操作が行われない場合、外部アプリケーションのプレイを可能な限り妨げないように表示されることが望ましい。
 このため、本実施形態に係る制御部140は、拡張メニューアイコンMIに対するユーザの操作が所定時間以上行われていない場合、より目立たなくなるよう拡張メニューアイコンMIの表示位置や表示態様を制御してもよい。
 図4は、本実施形態に係る非操作時間に基づく拡張メニューアイコンMIの表示制御について説明するための図である。図4の左側に示す一例、拡張メニューアイコンMIが表示ウィンドウ上の右下隅に配置されている。このように、拡張メニューアイコンMIが表示ウィンドウ内の辺縁領域において所定時間を超えて放置された場合、制御部140は、図中右側に示すように、拡張メニューアイコンMIの少なくとも一部が表示ウィンドウの外側に隠れる位置に拡張メニューアイコンMIを移動させてもよい。
 また、本実施形態に係る制御部140は、上記の表示位置の制御に加え、拡張メニューアイコンMIがより目立たなくなるよう表示態様を制御してもよい。例えば、制御部140は、拡張メニューアイコンMIが所定時間を超えて放置された場合、拡張メニューアイコンMIの強調度が低下するように重畳表示を制御してもよい。制御部140は、例えば、拡張メニューアイコンMIをグレーアウトさせたり、半透明化させてもよい。
 上記のような制御によれば、長時間、拡張機能に対する操作が行われていない場合に、拡張メニューアイコンMIを、よりプレイの妨げとならない位置に自動で移動させ、また強調度を下げることで、ユーザが外部アプリケーションのプレイに集中することが可能となる。
 なお、拡張メニューアイコンMIが表示ウィンドウ内の中央領域に配置されている場合には、ユーザが拡張機能に対する操作を今後行う可能性が高いことが想定される。このため、拡張メニューアイコンMIが中央領域に配置されている場合には、制御部140は、上記のような表示位置の変更や表示態様の制御を行わなくてもよい。
 次に、本実施形態に係る拡張機能の一つである録画機能について詳細に説明する。ユーザは、本実施形態に係る拡張アプリケーションを用いて任意の外部アプリケーションのプレイ状況を録画し、動画として保存することができる。この際、本実施形態に係る制御部140は、撮影部130が撮影した画像を表示ウィンドウ上に重畳表示させ、当該重畳表示された画像を外部アプリケーションのプレイ状況と共に録画してもよい。
 図5~図7は、本実施形態に係る録画機能について説明するための図である。拡張メニューM上において録画機能が選択された場合、制御部140は、図5に示すように、録画機能に係る拡張機能アイコンEIと、付随する複数のサブアイコンSIを外部アプリケーションの表示ウィンドウ上に重畳表示させる。
 この際、本実施形態に係る制御部140は、図示するように、撮影部130により撮影された画像のプレビューを拡張機能アイコンEIとして重畳表示させてもよい。係る制御によれば、録画が開始される前にユーザが自身の画像を確認することができ、身なりを整えるなどの準備を行うことが可能となる。
 なお、サブアイコンSI1は、録画機能の終了をユーザが指示するためのアイコンであってよい。サブアイコンSI1が選択された場合、制御部140は、拡張機能アイコンEIおよびすべてのサブアイコンSIを非表示とし、拡張メニューアイコンMIが再び重畳表示されるよう制御を行ってよい。
 また、サブアイコンSI2は、外部アプリケーションの録画に伴う録音の態様をユーザが指示するためのアイコンであってよい。本実施形態に係る制御部140は、サブアイコンSI2に対するユーザの操作に基づいて、上記録音の態様を動的に制御することができる。制御部140は、例えば、サブアイコンSI2に対する操作に基づいて、上記録音の有無などを動的に切り替えられてよい。
 また、サブアイコンSI3は、撮影部130による撮影の開始および終了をユーザが指示するためのアイコンであってよい。本実施形態に係る制御部140は、サブアイコンSI3に対するユーザの操作に基づいて、撮影部130による撮影、および撮影された画像の重畳表示を動的に制御することができる。録画機能の開始および終了のためのアイコンとは別にこの撮影の開始および終了のためのアイコンSI3を設けることにより、録画が開始される前にユーザが自身の画像を確認することができ、身なりを整えるなどの準備を行うことが可能となる。
 また、サブアイコンSI4は、録画機能の開始および終了をユーザが指示するためのアイコンであってよい。本実施形態に係る制御部140は、サブアイコンSI4に対するユーザの操作に基づいて録画機能の開始または終了を制御してよい。
 以上、本実施形態に係るサブアイコンSIの一例について述べた。このように、本実施形態に係る拡張アプリケーションによれば、撮影した画像の重畳や録音の態様などをユーザが柔軟かつ動的に設定したうえで、プレイ状況の録画を行うことが可能である。
 なお、本実施形態に係る拡張機能アイコンEIは、拡張メニューアイコンMIと同様に任意に表示位置の調整が行えてよい。この際、本実施形態に係る制御部140は、拡張機能アイコンEIの表示位置に応じてサブアイコンSIの表示位置を制御する。
 より具体的には、本実施形態に係る制御部140は、拡張機能アイコンEIの表示位置に応じて、表示ウィンドウの内側に収まるようにサブアイコンSIを拡張機能アイコンの周囲に表示させてよい。
 例えば、図5の上段左側に示す一例の場合、拡張機能アイコンEIは、表示ウィンドウ上の左上隅に配置されている。この場合、制御部140は、サブアイコンSI1~SI4を拡張機能アイコンEIの右側および下側に表示させてよい。
 また、例えば、図5の上段右側に示す一例の場合、拡張機能アイコンEIは、表示ウィンドウ上の右上隅に配置されている。この場合、制御部140は、サブアイコンSI1~SI4を拡張機能アイコンEIの左側および下側に表示させてよい。
 また、例えば、図5の下段左側に示す一例の場合、拡張機能アイコンEIは、表示ウィンドウ上の左下隅に配置されている。この場合、制御部140は、サブアイコンSI1~SI4を拡張機能アイコンEIの上側および右側に表示させてよい。
 また、例えば、図5の下段右側に示す一例の場合、拡張機能アイコンEIは、表示ウィンドウ上の右下隅に配置されている。この場合、制御部140は、サブアイコンSI1~SI4を拡張機能アイコンEIの上側および左側に表示させてよい。なお、図5では、拡張機能アイコンEIが表示ウィンドウ上の四隅のいずれかに配置される際のサブアイコンSI1~SI4の表示例を示した。一方、上記のようなサブアイコンSI1~SI4の表示は、拡張機能アイコンEIが表示ウィンドウ上の四隅にある場合に限定されず、表示ウィンドウを縦二列横二列に四分割した場合に、拡張機能アイコンEIが配置される領域に応じて制御される。例えば、図5に示す場合、表示ウィンドウの左上領域に拡張機能アイコンEIが配置されている状態では、サブアイコンSI1~SI4は拡張機能アイコンEIの右側および下側に表示され、ユーザが拡張機能アイコンEIをドラッグすることで、拡張機能アイコンEIが表示ウィンドウの右上領域に移動した場合には、サブアイコンSI1~SI4は拡張機能アイコンEIの左側および下側に表示される。
 上記のような制御によれば、拡張機能アイコンEIに付随させてサブアイコンSIを移動させる場合に、サブアイコンが表示ウィンドウの外側に隠れてしまい、一部の機能が使用できなくなる事態を回避することができる。なお、拡張機能アイコンEIをドラッグすることで、拡張機能アイコンEIを表示ウィンドウ上の任意の位置に移動させている最中は、サブアイコンSI1~SI4を非表示とし、拡張機能アイコンEIのみが表示された状態としてもよい。これにより、画面上に表示される情報量が少なくなり、ユーザがアイコン移動に専念しやすくなる。この場合、制御部140は、移動のためのドラッグ操作が終わり、ユーザが例えばタッチパネルとして具備される表示部160から指を離した後は、再び、サブアイコンSI1~SI4を表示することができる。
 続いて、録画の開始後における制御について説明する。上述したように、本実施形態に係る制御部140は、サブアイコンSI4に対するユーザの操作に基づいて録画機能を開始することができる。この際、制御部140は、図6に示すように、サブアイコンSI1~SI4を非表示とし、また録画が行われていることを示す視覚効果を拡張機能アイコンEIに付与してもよい。係る制御によれば、サブアイコンSIなどの不要な情報が共に録画されることを回避することができる。また、サブアイコンSI3に対する操作により撮影が開始されている状態であれば、図6に示すように撮影部130により撮影されたユーザの顔などの画像が拡張機能アイコンEIとして重畳表示させた状態となり、外部アプリケーションのプレイ中のユーザの表情を録画することができる。
 また、録画が開始された後であっても、拡張機能アイコンEIは任意の位置に移動可能であってよい。例えば、ユーザは、外部アプリケーションの状況に基づいてドラッグ操作などを行うことにより、邪魔にならない位置に拡張機能アイコンEIを移動させることができる。
 なお、上記のような拡張機能アイコンEIの移動は、制御部140により自動で行われてもよい。制御部140は、外部アプリケーションに係る画像を解析することで、例えば、画面上の動きがより少ない領域や、ユーザが操作を行うためのボタンなどのUIが表示されていない領域に拡張機能アイコンEIを自動で移動させてもよい。また、制御部140は、例えば、ユーザによる移動操作を学習することで、ゲームの状況に応じた最適な表示位置に拡張機能アイコンEIを移動させてもよい。制御部140は、拡張メニューアイコンMIについても上記のような自動位置制御を行ってもよい。
 また、録音や撮影画像の重畳表示に係る設定は、録画の開始後においても都度変更が可能であってよい。
 制御部140は、録画の開始後にユーザの押下により拡張機能アイコンEIが選択された場合、図7に示すように、再度サブアイコンSIを表示ウィンドウ上に重畳表示させ、ユーザが各種の設定を行える状態とする。この際、制御部140は、サブアイコンSI4に係る表示を録画の終了を指示する視覚効果に変更してもよい。ユーザは、サブアイコンSI4を押下することで、録画の終了を指示することが可能である。なお、ユーザが拡張機能アイコンEIを再び押下するとサブアイコンSIを再度非表示とすることができてよい。また、拡張機能アイコンE1と共にサブアイコンSIが表示されている状態であっても、拡張機能アイコンEIをドラッグすることで、拡張機能アイコンEIを表示ウィンドウ上の任意の位置に移動させている最中は、サブアイコンSIを非表示とし、拡張機能アイコンEIのみが表示された状態としてもよい。
 また、ユーザは、例えば、サブアイコンSI3を押下することで、撮影部130による画像の撮影と、撮影画像の重畳表示の有無を切り替えられてよい。本実施形態に係る拡張アプリケーションによれば、録画開始後においても状況に応じて撮影画像の重畳表示の有無を動的に変更することが可能である。
 また、同様に、ユーザは、例えば、サブアイコンSI2を押下することで、録音の態様を切り替えられてよい。図7には、押下するごとに、サブアイコンSI2の表示がモードに応じて変化する場合の一例が示されている。
 例えば、サブアイコンSI2aは、録音を行わないモードを示している。また、サブアイコンSI2bは、外部アプリケーションが出力する音声のみを録音するモードを示している。また、サブアイコンSI2cは、外部アプリケーションにより出力される音声およびユーザが発する音声を録音するモードを示している。また、サブアイコンSI2dは、ユーザが発する音声のみを録音するモードを示している。このように、本実施形態に係る録音の態様は、録音の有無や録音のモードを含んでよい。
 本実施形態に係る制御部140は、サブアイコンSI2に対するユーザ操作により選択された上記のようなモードの変更を制御し、各モードに応じた録音の制御を行う。係る制御によれば、状況に応じて録音の有無や録音する音声の選択を動的に行うことができ、より柔軟な動画作成を実現することが可能となる。
 なお、図7では、押下ごとにサブアイコンSI2の状態が変化する場合を例に述べたが、制御部140は、録音のモードを指定するための複数のさらなるアイコンをサブアイコンSI2の周囲に重畳表示させるなどしてもよい。
 以上、本実施形態に係る録画開始後の動的な設定変更について説明した。本実施形態に係る拡張アプリケーションが有する上記の機能によれば、外部アプリケーションのプレイ状況などに応じて、記録する内容を動的かつ柔軟に変更することができ、ユーザの意図をより反映した動画作成を実現することが可能となる。
 なお、上記で述べた録画機能の設定はあくまで一例である。本実施形態に係る録画機能は、撮影画像の重畳表示や録音以外にも様々な設定を行うことが可能である。例えば、本実施形態に係る制御部140は、録画された画像の外部サービスへの公開を制御してもよい。
 図7に示す一例において、サブアイコンSI5は、録画された動画の外部サービスへの公開をユーザが指示するためのアイコンであってよい。本実施形態に係る制御部140は、サブアイコンSI5に対するユーザの操作に基づいて各種の外部サービスに対する動画の公開を動的に制御することも可能である。
 この場合、ユーザは公開先となる外部サービスを予め設定できてもよいし、サブアイコンSI5を操作することなどにより、公開先となる外部サービスを任意に選択できてもよい。これによれば、プレイ状況の録画と共に、録画した動画を1つ以上の外部サービスを通じてリアルタイムに配信することが可能となる。
 また、上記では、撮影部130が撮影した画像を表示ウィンドウ上に重畳表示させ、プレイ状況と共に録画を行う場合を例に述べたが、重畳表示する画像は撮影部130が撮影した画像に限定されない。
 制御部140は、例えば、ネットワークを介して共にゲームを行っている他のユーザのプレイ状況に係る動画や他のユーザを撮影した画像を取得し、当該画像を重畳表示させてもよい。また、制御部140は、ユーザの撮影画像に代えてアニメーションによるアバターなどを重畳表示させてもよい。
 このように、表示ウィンドウ上に重畳表示させる画像は、ユーザが任意に設定できてもよい。この場合、重畳表示に係るサブアイコンSI2は、取得された各種の画像の重畳表示の有無や、重畳表示させる画像の種別をユーザが指示するためのアイコンであってよい。
 <2.ハードウェア構成例>
 次に、本開示の一実施形態に係る情報処理装置10のハードウェア構成例について説明する。図8は、本開示の一実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。図8に示すように、情報処理装置10は、例えば、プロセッサ871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インタフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
 (プロセッサ871)
 プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
 (ROM872、RAM873)
 ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
 (ホストバス874、ブリッジ875、外部バス876、インタフェース877)
 プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インタフェース877を介して種々の構成要素と接続される。
 (入力装置878)
 入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
 (出力装置879)
 出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
 (ストレージ880)
 ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
 (ドライブ881)
 ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
 (リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
 (接続ポート882)
 接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
 (外部接続機器902)
 外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
 (通信装置883)
 通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
 <3.まとめ>
 以上説明したように、本開示の一実施形態に係る情報処理装置10は、外部アプリケーションに対する機能拡張を制御する制御部140を備える。また、本開示の一実施形態に係る制御部140は、外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、当該拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御すること、を特徴の一つとする。さらには、本開示の一実施形態に係る制御部140は、上記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを上記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、拡張機能アイコンの表示位置に応じて当該拡張機能アイコンに付随するサブアイコンの表示位置を制御すること、を特徴の一つとする。係る構成によれば、外部アプリケーションの挙動を妨げることなく、より直感的な操作が可能な拡張機能を付与することを可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な非一過性の記録媒体も提供され得る。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 外部アプリケーションに対する機能拡張を制御する制御部、
 を備え、
 前記制御部は、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御し、
 前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御する、
情報処理装置。
(2)
 前記制御部は、前記拡張メニューアイコンの表示位置と前記表示ウィンドウの縦横比とに基づいて、前拡張メニューの表示位置を制御する、
前記(1)に記載の情報処理装置。
(3)
 前記制御部は、前記表示ウィンドウの高さ方向の辺が幅方向の辺よりも長い場合、前記拡張メニューアイコンの表示位置が含まれる前記表示ウィンドウの上側領域または下側領域のいずれかに前記拡張メニューを重畳表示させ、
 前記表示ウィンドウの幅方向の辺が高さ方向の辺よりも長い場合、前記拡張メニューアイコンの表示位置が含まれる前記表示ウィンドウの左側領域または右側領域のいずれかに前記拡張メニューを重畳表示させる、
前記(2)に記載の情報処理装置。
(4)
 前記制御部は、前記拡張機能アイコンの表示位置に応じて、前記表示ウィンドウの内側に収まるように前記サブアイコンを前記拡張機能アイコンの周囲に表示させる、
前記(1)~(3)のいずれかに記載の情報処理装置。
(5)
 前記拡張機能アイコンは、前記外部アプリケーションのプレイ状況を録画する録画機能に係るアイコンを含む、
前記(4)に記載の情報処理装置。
(6)
 前記サブアイコンは、前記録画機能の開始および終了をユーザが指示するためのアイコンを含み、
 前記制御部は、当該アイコンに対するユーザの操作に基づいて前記録画機能の開始または終了を制御する、
前記(5)に記載の情報処理装置。
(7)
 前記制御部は、取得された画像の前記表示ウィンドウへの重畳表示を制御し、当該重畳表示された画像を前記外部アプリケーションのプレイ状況と共に録画する、
前記(5)または(6)に記載の情報処理装置。
(8)
 前記サブアイコンは、前記取得された画像の重畳表示の有無をユーザが指示するためのアイコンを含み、
 前記制御部は、当該アイコンに対するユーザの操作に基づいて前記取得された画像の重畳表示の有無を動的に切り替える、
前記(7)に記載の情報処理装置。
(9)
 前記取得された画像は、前記表示ウィンドウを表示する端末により撮影された画像である、
前記(7)または(8)に記載の情報処理装置。
(10)
 前記制御部は、前記撮影された画像のプレビューを前記拡張機能アイコンとして重畳表示させる、
前記(9)に記載の情報処理装置。
(11)
 前記サブアイコンは、前記端末による撮影の開始および終了をユーザが指示するためのアイコンを含み、
 前記制御部は、当該アイコンに対するユーザの操作に基づいて前記端末による撮影、および前記撮影された画像の重畳表示を動的に制御する、
前記(9)または(10)に記載の情報処理装置。
(12)
 前記サブアイコンは、前記外部アプリケーションの録画に伴う録音の態様をユーザが指示するためのアイコンを含み、
 前記制御部は、当該アイコンに対するユーザの操作に基づいて前記録音の態様を動的に制御する、
前記(5)~(11)のいずれかに記載の情報処理装置。
(13)
 前記録音の態様は、前記録音のモードを含み、
 前記モードは、前記外部アプリケーションにより出力される音声のみを録音するモード、前記外部アプリケーションにより出力される音声およびユーザが発する音声を録音するモードを含む、
前記(12)に記載の情報処理装置。
(14)
 前記サブアイコンは、録画された動画の外部サービスへの公開をユーザが指示するためのアイコンを含み、
 前記制御部は、当該アイコンに対するユーザの操作に基づいて前記外部サービスに対する前記動画の公開を動的に制御する、
前記(5)~(13)のいずれかに記載の情報処理装置。
(15)
 前記制御部は、前記拡張メニューアイコンが前記表示ウィンドウ内の辺縁領域において所定時間を超えて放置された場合、前記拡張メニューアイコンの少なくとも一部が前記表示ウィンドウの外側に隠れる位置に前記拡張メニューアイコンを移動させる、
前記(1)~(14)のいずれかに記載の情報処理装置。
(16)
 前記制御部は、前記拡張メニューアイコンが所定時間を超えて放置された場合、前記拡張メニューアイコンの強調度が低下するよう重畳表示を制御する、
前記(1)~(15)のいずれかに記載の情報処理装置。
(17)
 前記外部アプリケーションは、ゲームアプリケーションである、
前記(1)~(16)のいずれかに記載の情報処理装置。
(18)
 プロセッサが、外部アプリケーションに対する機能拡張を制御すること、
 を含み、
 前記制御することは、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御することと、
 前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御することと、
 をさらに含む、
情報処理方法。
(19)
 コンピュータを、
 外部アプリケーションに対する機能拡張を制御する制御部、
 を備え、
 前記制御部は、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御し、
 前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御する、
 情報処理装置、
として機能させるためのプログラム。
 10   情報処理装置
 110  操作部
 120  音声入力部
 130  撮影部
 140  制御部
 150  音声出力部
 160  表示部

Claims (19)

  1.  外部アプリケーションに対する機能拡張を制御する制御部、
     を備え、
     前記制御部は、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御し、
     前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御する、
    情報処理装置。
  2.  前記制御部は、前記拡張メニューアイコンの表示位置と前記表示ウィンドウの縦横比とに基づいて、前拡張メニューの表示位置を制御する、
    請求項1に記載の情報処理装置。
  3.  前記制御部は、前記表示ウィンドウの高さ方向の辺が幅方向の辺よりも長い場合、前記拡張メニューアイコンの表示位置が含まれる前記表示ウィンドウの上側領域または下側領域のいずれかに前記拡張メニューを重畳表示させ、
     前記表示ウィンドウの幅方向の辺が高さ方向の辺よりも長い場合、前記拡張メニューアイコンの表示位置が含まれる前記表示ウィンドウの左側領域または右側領域のいずれかに前記拡張メニューを重畳表示させる、
    請求項2に記載の情報処理装置。
  4.  前記制御部は、前記拡張機能アイコンの表示位置に応じて、前記表示ウィンドウの内側に収まるように前記サブアイコンを前記拡張機能アイコンの周囲に表示させる、
    請求項1に記載の情報処理装置。
  5.  前記拡張機能アイコンは、前記外部アプリケーションのプレイ状況を録画する録画機能に係るアイコンを含む、
    請求項4に記載の情報処理装置。
  6.  前記サブアイコンは、前記録画機能の開始および終了をユーザが指示するためのアイコンを含み、
     前記制御部は、当該アイコンに対するユーザの操作に基づいて前記録画機能の開始または終了を制御する、
    請求項5に記載の情報処理装置。
  7.  前記制御部は、取得された画像の前記表示ウィンドウへの重畳表示を制御し、当該重畳表示された画像を前記外部アプリケーションのプレイ状況と共に録画する、
    請求項5に記載の情報処理装置。
  8.  前記サブアイコンは、前記取得された画像の重畳表示の有無をユーザが指示するためのアイコンを含み、
     前記制御部は、当該アイコンに対するユーザの操作に基づいて前記取得された画像の重畳表示の有無を動的に切り替える、
    請求項7に記載の情報処理装置。
  9.  前記取得された画像は、前記表示ウィンドウを表示する端末により撮影された画像である、
    請求項7に記載の情報処理装置。
  10.  前記制御部は、前記撮影された画像のプレビューを前記拡張機能アイコンとして重畳表示させる、
    請求項9に記載の情報処理装置。
  11.  前記サブアイコンは、前記端末による撮影の開始および終了をユーザが指示するためのアイコンを含み、
     前記制御部は、当該アイコンに対するユーザの操作に基づいて前記端末による撮影、および前記撮影された画像の重畳表示を動的に制御する、
    請求項9に記載の情報処理装置。
  12.  前記サブアイコンは、前記外部アプリケーションの録画に伴う録音の態様をユーザが指示するためのアイコンを含み、
     前記制御部は、当該アイコンに対するユーザの操作に基づいて前記録音の態様を動的に制御する、
    請求項5に記載の情報処理装置。
  13.  前記録音の態様は、前記録音のモードを含み、
     前記モードは、前記外部アプリケーションにより出力される音声のみを録音するモード、前記外部アプリケーションにより出力される音声およびユーザが発する音声を録音するモードを含む、
    請求項12に記載の情報処理装置。
  14.  前記サブアイコンは、録画された動画の外部サービスへの公開をユーザが指示するためのアイコンを含み、
     前記制御部は、当該アイコンに対するユーザの操作に基づいて前記外部サービスに対する前記動画の公開を動的に制御する、
    請求項5に記載の情報処理装置。
  15.  前記制御部は、前記拡張メニューアイコンが前記表示ウィンドウ内の辺縁領域において所定時間を超えて放置された場合、前記拡張メニューアイコンの少なくとも一部が前記表示ウィンドウの外側に隠れる位置に前記拡張メニューアイコンを移動させる、
    請求項1に記載の情報処理装置。
  16.  前記制御部は、前記拡張メニューアイコンが所定時間を超えて放置された場合、前記拡張メニューアイコンの強調度が低下するよう重畳表示を制御する、
    請求項1に記載の情報処理装置。
  17.  前記外部アプリケーションは、ゲームアプリケーションである、
    請求項1に記載の情報処理装置。
  18.  プロセッサが、外部アプリケーションに対する機能拡張を制御すること、
     を含み、
     前記制御することは、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御することと、
     前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御することと、
     をさらに含む、
    情報処理方法。
  19.  コンピュータを、
     外部アプリケーションに対する機能拡張を制御する制御部、
     を備え、
     前記制御部は、前記外部アプリケーションの表示ウィンドウ上に表示位置が調整可能な拡張メニューアイコンを重畳表示させ、前記拡張メニューアイコンの表示位置に応じて、拡張メニューの表示位置を制御し、
     前記拡張メニュー上で選択された拡張機能に係る拡張機能アイコンを前記表示ウィンドウ上に表示位置が調整可能に重畳表示させ、前記拡張機能アイコンの表示位置に応じて前記拡張機能アイコンに付随するサブアイコンの表示位置を制御する、
     情報処理装置、
    として機能させるためのプログラム。
PCT/JP2019/006909 2019-02-22 2019-02-22 情報処理装置、情報処理方法、およびプログラム WO2020170453A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/006909 WO2020170453A1 (ja) 2019-02-22 2019-02-22 情報処理装置、情報処理方法、およびプログラム
EP19915748.8A EP3929714A4 (en) 2019-02-22 2019-02-22 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN201980092167.6A CN113439255A (zh) 2019-02-22 2019-02-22 信息处理装置、信息处理方法及程序
US17/430,974 US20220134226A1 (en) 2019-02-22 2019-02-22 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/006909 WO2020170453A1 (ja) 2019-02-22 2019-02-22 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020170453A1 true WO2020170453A1 (ja) 2020-08-27

Family

ID=72144083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006909 WO2020170453A1 (ja) 2019-02-22 2019-02-22 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20220134226A1 (ja)
EP (1) EP3929714A4 (ja)
CN (1) CN113439255A (ja)
WO (1) WO2020170453A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038895A (ja) * 2002-06-28 2004-02-05 Clarion Co Ltd 表示制御装置
JP2013045190A (ja) * 2011-08-23 2013-03-04 Alpine Electronics Inc 多機能情報端末およびその操作方法
WO2014068806A1 (ja) * 2012-11-05 2014-05-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
JP2017191589A (ja) * 2016-04-15 2017-10-19 ネイバー コーポレーションNAVER Corporation アプリケーション制作装置及びその方法、アプリケーション駆動装置、並びにコンピュータプログラム
JP2018113514A (ja) * 2017-01-06 2018-07-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびアプリケーション画像配信方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5308509B2 (ja) * 2011-04-15 2013-10-09 シャープ株式会社 メニュー画面の表示制御方法
US9250768B2 (en) * 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
KR102138505B1 (ko) * 2013-07-10 2020-07-28 엘지전자 주식회사 이동단말기 및 그 제어방법
EP3021204B1 (en) * 2013-07-12 2022-03-02 Sony Group Corporation Information processing device, information processing method, and computer program
US9207835B1 (en) * 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
JP6137068B2 (ja) * 2014-06-24 2017-05-31 コニカミノルタ株式会社 情報処理装置、同装置におけるロック中画面の表示制御方法及び表示制御プログラム
US10310705B2 (en) * 2014-12-05 2019-06-04 Entit Software Llc Menu display control
JP6747835B2 (ja) * 2016-03-22 2020-08-26 トヨタ自動車株式会社 画像表示装置
KR20180019392A (ko) * 2016-08-16 2018-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038895A (ja) * 2002-06-28 2004-02-05 Clarion Co Ltd 表示制御装置
JP2013045190A (ja) * 2011-08-23 2013-03-04 Alpine Electronics Inc 多機能情報端末およびその操作方法
WO2014068806A1 (ja) * 2012-11-05 2014-05-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
JP2017191589A (ja) * 2016-04-15 2017-10-19 ネイバー コーポレーションNAVER Corporation アプリケーション制作装置及びその方法、アプリケーション駆動装置、並びにコンピュータプログラム
JP2018113514A (ja) * 2017-01-06 2018-07-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびアプリケーション画像配信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3929714A4 *

Also Published As

Publication number Publication date
EP3929714A4 (en) 2022-03-02
CN113439255A (zh) 2021-09-24
US20220134226A1 (en) 2022-05-05
EP3929714A1 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
WO2021135655A1 (zh) 生成多媒体资源的方法及设备
WO2016124095A1 (zh) 生成视频的方法、装置及终端
US20100210312A1 (en) Method and system for controlling dual- processing of screen data in mobile terminal having projector function
WO2020170453A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2010009459A (ja) メニュー画面表示方法およびメニュー画面表示装置
KR20100028344A (ko) 휴대단말의 영상 편집 방법 및 장치
JP5489617B2 (ja) 表示システム
JP2019120976A (ja) システム
JP5742354B2 (ja) コンテンツ再生装置及びコンテンツ再生方法、並びにコンピュータ・プログラム
JP6700775B2 (ja) 電子機器及びその制御方法
CN112261481A (zh) 互动视频的创建方法、装置、设备及可读存储介质
JP4572615B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
US10972811B2 (en) Image processing device and image processing method
JP2014132461A (ja) 電子装置でコンテンツを制御する装置及びその方法
JP6082896B1 (ja) 画像編集装置、及び画像編集方法
KR102138835B1 (ko) 정보 노출 방지 영상 제공 장치 및 방법
WO2021044601A1 (ja) アプリケーション拡張プログラム、情報処理装置、および方法
CN113766275A (zh) 视频剪辑方法、装置、终端及存储介质
JP2013098658A (ja) コンテンツ管理装置、記録装置、操作装置、コンテンツ管理システムおよびそれらの制御方法
WO2022209395A1 (ja) 情報処理装置、情報処理方法、プログラム
CN113261302B (zh) 电子装置
WO2022234699A1 (ja) 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム
US20210266455A1 (en) Image capture control system, method and computer program product
JP7132478B2 (ja) ウェブ会議システム、その制御方法およびプログラム
JP5818634B2 (ja) コンテンツ管理装置、記録装置、操作装置、コンテンツ管理システムおよびそれらの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915748

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019915748

Country of ref document: EP

Effective date: 20210922

NENP Non-entry into the national phase

Ref country code: JP