WO2018154942A1 - 表示制御装置、方法及びプログラム - Google Patents

表示制御装置、方法及びプログラム Download PDF

Info

Publication number
WO2018154942A1
WO2018154942A1 PCT/JP2017/045630 JP2017045630W WO2018154942A1 WO 2018154942 A1 WO2018154942 A1 WO 2018154942A1 JP 2017045630 W JP2017045630 W JP 2017045630W WO 2018154942 A1 WO2018154942 A1 WO 2018154942A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
information
user
content
information processing
Prior art date
Application number
PCT/JP2017/045630
Other languages
English (en)
French (fr)
Inventor
計人 椋
一真 高橋
修 櫻井
聰 赤川
真一 入矢
誠 今村
悟郎 高木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112017007121.6T priority Critical patent/DE112017007121T5/de
Priority to CN201780086699.XA priority patent/CN110291498A/zh
Priority to US16/486,021 priority patent/US20200050345A1/en
Publication of WO2018154942A1 publication Critical patent/WO2018154942A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/66—Projection screens or combiners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • This technology relates to an information processing apparatus, method, and program.
  • Patent Document 1 discloses a projector including a camera.
  • paragraph 0096 of Patent Document 1 describes that a user performs a hand gesture on a table on which an image is projected, and inputs by gesture recognition.
  • Patent Document 2 discloses a technique related to virtual sound localization in paragraphs 0048 to 0064.
  • Information devices such as personal computers (hereinafter sometimes referred to as PCs) and smartphones are usually provided with display devices (for example, liquid crystal screens) optimized for information display.
  • display devices for example, liquid crystal screens
  • an object of the present technology is to provide a user interface that can efficiently access information presented in the past.
  • an information processing apparatus including a detection unit, a control unit, and an output unit.
  • the detection unit detects a user's behavior.
  • the controller determines the current interest of the user according to the detected behavior, and sequentially generates display information including content corresponding to the determined interest.
  • the output unit outputs the generated display information.
  • the control unit displays the display information based on the user's past content of interest and the current content of interest output by the output unit in response to the determined change in the target of interest. Optimize aspects.
  • the user simply takes some action (behavior including speech, finger tap, etc.), and the corresponding keyword is selected and one of the information presented in the past is selected. Since the optimized display screen is generated, a user interface capable of efficiently accessing information presented in the past is provided.
  • control unit determines that the content output in the past by the output unit is the current interest based on the behavior of the user, the control unit outputs the content in the past determined as the current interest.
  • the display information may be included in the display information to optimize the display mode of the display information.
  • the content based on the detected user's behavior is the information on which the user is centered Can be extracted.
  • the output unit may generate the display information so that display elements respectively corresponding to contents output in the past by the output unit are connected and output in a line in the output order.
  • the control unit may optimize the display mode of the display information by narrowing down the content output in the past that has been determined to be the current object of interest.
  • the control unit may generate the display information such that a display element corresponding to content output in the past that has been determined as a current object of interest comes to the center of the user's viewpoint.
  • the layout of the display elements in the GUI can be optimized sequentially.
  • the control unit displays the content belonging to a layer in common with the content output in the past determined to be the current interest, together with the content output in the past determined to be the current interest. May be included.
  • the layout of display elements in the GUI can be further optimized.
  • the control unit may generate the display information indicating that a plurality of contents belong to a common layer by a visual effect and / or a common frame.
  • the layout of display elements in the GUI can be further optimized.
  • the detection unit may input the user's voice.
  • the control unit may determine the current object of interest by analyzing the user's voice input by the detection unit.
  • an efficient user interface can be realized without burdening the user.
  • a detection step for detecting user behavior Determining the current interest of the user according to the detected behavior; A step of sequentially generating display information including content corresponding to the determined object of interest. A step of outputting the generated display information.
  • the display mode of the display information is optimized based on the user's past content of interest and the current content of interest output by the output unit according to the determined change of interest Step to do.
  • a detection step for detecting user behavior Determining the current interest of the user according to the detected behavior; A step of sequentially generating display information including content corresponding to the determined object of interest. A step of outputting the generated display information.
  • the display mode of the display information is optimized based on the user's past content of interest and the current content of interest output by the output unit according to the determined change of interest Step to do.
  • FIG. 1 It is a figure showing an example of an internal configuration of an information processor concerning one embodiment of this art. It is a figure which shows the external appearance structural example 1 of the information processing apparatus which concerns on the said embodiment. It is a figure which shows the hardware structural example 2 of the information processing apparatus which concerns on the said embodiment. It is a figure which shows the hardware structural example 2 of the information processing apparatus which concerns on the said embodiment. It is a figure which shows the hardware structural example 3 of the information processing apparatus which concerns on the said embodiment. It is a figure which shows the hardware structural example 3 of the information processing apparatus which concerns on the said embodiment. It is a figure which shows the software structural example of the information processing apparatus which concerns on the said embodiment. It is a figure which shows the GUI component of the information processing apparatus which concerns on the said embodiment.
  • FIG. 1 shows a hardware configuration example of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 1 illustrated in FIG. 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, and a RAM via a bus 14, similar to a general-purpose computer.
  • (Random Access Memory: random access memory) 13 may be connected to form a processing control unit.
  • the CPU 11 also has a function of sequentially generating display information (for example, the entire screen to be projected).
  • the processing control unit composed of various hardware connected to the bus 14 is further connected to the image sensor 15, the microphone 16, the projector 17, the speaker 18, the communication unit 19 and the bus 14 so as to be able to communicate with each other.
  • the image sensor 15 has an imaging function, and the microphone 16 has a voice input function.
  • the image sensor 15 and the microphone 16 constitute a detection unit 20.
  • the image sensor 15 also senses environments (obstacles and colors on the table) other than the user's behavior.
  • the detection unit 20 detects a user's behavior.
  • the projector 17 has a function of projecting a display image, and the speaker 18 has a sound output function.
  • the projector 17 and the speaker 18 constitute an output unit 21.
  • the communication unit 19 is an input / output interface that communicates with an external device. It may be regarded as belonging to both the detection unit 20 and the output unit 21.
  • FIG. 2 shows an external configuration example of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes an image sensor 15, a microphone 16, a projector 17, a speaker 18, and the like all in one package in a cylindrical casing.
  • the information processing apparatus 1 is suspended from the ceiling and installed so as to project a display screen onto the table 200.
  • the upper surface of the table 200 is used as the display surface 201.
  • FIG. 3 and FIG. 4 show a hardware configuration example of the information processing apparatus 1 different from FIG.
  • the image sensor 15, the microphone 16, the projector 17, and the speaker 18 of the information processing apparatus 1 are separated into physically different devices.
  • the projector 17 projects a GUI on the display surface 201.
  • the user points, taps, or speaks the displayed display element while looking at the GUI.
  • These behaviors such as the user's line of sight, hand movement, and speech are sensed by the image sensor 15 and the microphone 16.
  • the response to the user behavior input by the detection unit 20 is performed by the GUI displayed by the projector 17 and the sound output by the speaker 18.
  • FIG. 4 shows a usage scene in which the user operates while holding his / her smart device 22.
  • the information processing apparatus 1 changes the output destination to the private smart device 22 when outputting information (such as password input or execution of payment) that can be easily seen by a third party.
  • the information processing apparatus 1 when there is a real object on the display surface 201 on which an image is projected, the information processing apparatus 1 avoids the GUI projected by the projector 17 from overlapping with the real object. Control is performed so that objects (objects other than planes such as tables and walls) are expanded in an open space where no objects are placed. As shown in the figure, real objects (objects such as apples, coffee cups, magazines, planes such as tables and walls) are recognized by the image sensor 15. The image sensor 15 also recognizes open spaces (planar empty areas such as tables and walls).
  • FIG. 5 and 6 show another hardware configuration example of the information processing apparatus 1 and its usage scene example.
  • a person (user) in the figure wears the neck-type information processing apparatus 1.
  • the user operates the GUI that the information processing apparatus 1 projects onto the wall.
  • This wall is not only a display device, nor is it supposed to display a GUI there.
  • the hardware configuration of the present embodiment an integrated neck hanging type as shown in FIGS. 5 and 6, a plane such as a window or wall that is not intended to display such a GUI.
  • the user can use the information processing apparatus as an interface for performing input / output.
  • the GUI is similar to a coffee cup or magazine placed on a table. Therefore, it is determined that the space is not suitable for the projection, and the GUI is projected at a place where the depression is avoided.
  • the image sensor 15 recognizes the indentation and the like, and the CPU 11 controls the configuration of the projection image.
  • FIG. 7 shows an example of the software configuration of the information processing apparatus 1.
  • the ROM 12 stores image processing SW11, speech recognition SW12, natural language analysis SW13, interactive UI core SW14, graphical user interface SW15, and sound image localization / sound output SW16 as shown in FIG.
  • the CPU 11 reads out these, loads them in the RAM 13 and loads them, thereby providing the functions of this embodiment as described below and executing the processing.
  • the image processing SW 11 has a function of determining the center of the user's viewpoint based on the photographed image of the image sensor 15, determining an area without an obstacle on the display surface 201, and determining a location indicated by the user. provide.
  • Voice recognition SW 12 is software for recognizing a user's voice collected by microphone 16.
  • the natural language analysis SW 13 is software that analyzes recognized speech as a natural language and converts it into text data or character string data that can be handled by the information processing apparatus 1.
  • the interactive UI core 14 provides a function of integrating an agent's remarks and other peripheral information and establishing an agent that presents information to the user so as to interact with the user.
  • agent such an agent is referred to as a “user agent”.
  • the graphical user interface SW15 provides a function for visually presenting information by a user agent efficiently and user-friendlyly.
  • the output of the graphical user interface SW15 is performed by a process in which a display screen is generated by the CPU 11 and the display screen is projected from the projector 17.
  • the graphical user interface provided by the graphical user interface SW15 is simply referred to as “GUI”.
  • the sound image localization / sound output SW 16 provides a function of outputting the output of the user agent from the speaker 18 by sound.
  • the sound image localization / sound output SW 16 also performs sound image localization so that the user can perceive sound as if sound is output from a display element representing a user agent in the GUI.
  • the technique described in Patent Document 2 may be used.
  • the software group having the interactive UI core SW 14 as shown in FIG. 7 as the core executes predetermined information processing using the hardware resources as shown in FIG. Form features are provided and processing is performed.
  • the above-described software configuration is merely an example, and the interactive UI core SW 14 and the graphical user interface SW 15 may be configured as an integrated software. Also, some software may be provided from an external cloud as SaaS.
  • FIG. 8 shows GUI parts provided by the information processing apparatus 1.
  • the provided GUI component is “agent objects, nodes, connections, data (document information), data (heading information) as“ basic objects (FIGS. 8A, 8B, 8C) ”.
  • And “variable value adjustment objects” include a V-shaped controller and a dial-type controller.
  • a “nodal point” represented by a dot appears in all GUI components and indicates to the user that one unit of information is there.
  • “Connection” is a straight line connecting two “nodal points”, and indicates that the information pointed to by “nodal points” is connected.
  • the “agent icon” is expressed as an icon in which a plurality of irregular closed curves are irregularly or regularly swiveled around the “node”.
  • the agent icon is the starting point and starting point of the GUI provided by the information processing apparatus 1. Note that a plurality of irregular closed curves around the nodal point at the center of the agent icon are displayed with an animation such as turning around the nodal point during input or output of information.
  • Data (document information)” and “data (heading information)” as basic objects are display frameworks of data presented to the user. In that respect, the two are the same, but the document information presents mainly data consisting mainly of characters, and the heading information presents photographs and images as icons.
  • the “V-shaped controller” is a GUI component whose amount is adjusted by the user moving the bar in the indicator left and right.
  • the “dial-type controller” is a GUI component whose amount is adjusted by rotating the dial left and right by the user.
  • GUI As described above, in the GUI of this embodiment, there are various types of information to be presented to the user, and the GUI components are displayed according to the types. Users can be made aware of the difference.
  • FIG. 9 shows a situation where real objects (objects such as apples, coffee cups, magazines) are placed on the display surface 201.
  • the GUI shown a history of user operations as will be described later
  • the CPU 11 may adjust the displayed GUI component, or the display frame and character font used in the GUI component, according to the size or shape of the empty area.
  • the CPU 11 may further adjust the color of the GUI representing the history of user operations.
  • the display color is adjusted according to the color of the display surface 201 captured by the image sensor 15. In this case, if a black table is in the background and the background color is black, the display is performed with a white frame and white characters.
  • display color adjustment is performed based on a real object imaged by the image sensor 15. In this case, when a red apple is recognized, it is avoided to display the GUI in a color close to red or green.
  • the CPU 11 re-adjusts the arrangement of the GUI components according to the position of the real object after the movement.
  • the CPU 11 recognizes the position of the user's eyes based on the captured image of the image sensor 15. Alternatively, estimate. For example, when only the hand is imaged, the face position is estimated from the hand position. Then, the CPU 11 adjusts the arrangement of the GUI so that the real object does not enter between the recognized or estimated eye position and the displayed GUI. For example, when it is recognized that there is a tall object such as a vase, the GUI is displayed in front of the vase.
  • FIG. 10 is a flowchart showing a procedure of basic processing of the present embodiment.
  • 11 to 13 are examples of GUIs in the basic processing of the information processing apparatus 1 according to the present embodiment.
  • CPU 11 first displays an agent icon (ST11).
  • the agent icon (FIG. 8A) is the starting point of the GUI.
  • the sound output of the interactive user interface is also localized so that it can be heard from the agent icon.
  • the GUI on which the agent icon is displayed is shown in FIG.
  • the user's behavior here includes user's utterances and actions. There may be multiple users.
  • FIG. 11 shows an example in which the user utters “Get ####”.
  • the information processing apparatus 1 is registered in advance with information such as each user's face and voiceprint, and can detect a behavior for each user.
  • the information processing apparatus 1 may determine the user based on the position where the user is seated.
  • the CPU 11 selects a keyword according to the user's behavior (ST13).
  • the keyword is determined based on, for example, words included in the utterance.
  • the CPU 11 searches for new information or extracts past information based on the selected keyword (ST14). Based on the keyword, the CPU 11 determines whether to search for new information or to extract past information.
  • FIGS. 9 and FIGS. 11 to 13 show conceptual display screens instead of optimized display screens.
  • the CPU 11 When the screen as shown in FIG. 12 is output, the CPU 11 generates an optimized display screen based on the searched information / extracted information (ST15). At the same time, the CPU 11 may generate an output sound. Next, the CPU 11 outputs the generated display screen together with sound (ST16). As a result of these processes, a display screen as shown in FIG.
  • the user interface returns a response to the user input.
  • ST12 to ST16 are repeated once again, and a display screen as shown in FIG. 13 is output.
  • FIG. 1 The outline of the basic processing of the information processing apparatus 1 will be described again with reference to FIGS. 3, 9, and 11 to 13.
  • FIG. 1 The outline of the basic processing of the information processing apparatus 1 will be described again with reference to FIGS. 3, 9, and 11 to 13.
  • the interactive user interface provided by the present embodiment includes a spoken language (input by the microphone 16) emitted by the user, a spoken language response from the system (output by the speaker 18), a projector, 17 by an image projected on a common space such as a table or a wall surface by the user 17, user's viewpoint position information (input by the image sensor 15), and user's finger operation information (input by the image sensor 15) To establish.
  • the projector 17 does not project all of the information collected by the CPU 11 or generated information (for example, as shown in FIG. 9).
  • agent icon corresponding to the icon of the user agent is displayed by a user start command, and stays on the shared display surface during a series of dialogue times (FIG. 11).
  • the reply from the agent is transmitted in the form of voice only, text only, or voice and text depending on the user's request.
  • the agent icon disappears.
  • connection line extends from the center of the agent icon, and main answer information is displayed starting from a node located at the end of the agent icon (FIG. 12, FIG. 13). This connection is called a main line or a procedure line.
  • connection line extends from the same nodal point as the main response information, and the derived item is displayed starting from the end node.
  • This connection is called a branch line or a related line.
  • the information (main answer information) that is a response directly returned by the user interface is called “current content of interest” (see FIGS. 12 and 13).
  • the related information and the derived information are displayed by being connected with a branch line or a related line. As shown in FIG. 13, information far from the “content of current interest” that is focused information is faded out or an icon. Displayed with visual effects such as conversion and size reduction. Alternatively, the display is omitted.
  • FIG. 14 is a flowchart showing the procedure of the optimization process.
  • 15 to 18 are examples of screens showing the effect of the optimization process.
  • the display screen optimization process shown in FIG. 14 is executed in ST15 in the basic process flow. Therefore, the optimization process of the display screen is sequentially executed according to the input such as the user behavior.
  • the CPU 11 determines whether or not the focus has moved (ST151). In the case of Yes, the CPU 11 places “the content of current interest” at the center of the user's viewpoint (ST152).
  • the center of the user's viewpoint is a point determined to be the center of the user's viewpoint based on information input by the image sensor 15.
  • FIG. 15 shows an example of the center of the user's viewpoint.
  • data (document information) has a focus and is arranged so as to be at the center of the user's viewpoint.
  • the CPU 11 determines the arrangement of each GUI component in this way and generates a display screen.
  • GUI parts corresponding to information groups that do not correspond to the focused information gradually move and animate while maintaining the connected state by connection.
  • FIG. 16 shows a display example when the “content of current interest” has been changed from the state of FIG. 15, that is, the focus has moved.
  • the new information is arranged at the center of the user's viewpoint.
  • Information presented in the past connected by the main line or the procedure line moves to an open space or an open area on the display surface 201 (FIG. 14, ST153).
  • the CPU 11 obscure information far from the “content of current interest” (ST154).
  • the distant information is defined as, for example, information connected from two or more nodes from “content that is a current object of interest”.
  • FIG. 13 shows an example of ST144. Two nodes are separated from the “content of current interest”, and information connected by branch lines or related lines is displayed in a faded manner so as not to stand out. Note that the mode of displaying inconspicuously includes visual effects such as fade-out, transparency, and size reduction, and also includes non-display.
  • the “content of current interest” moves in place so that the indicator is not easily seen by the user's fingertip (FIG. 18).
  • the CPU 11 changes the position of the focused information when the focused content is changed from the display content to the operation means, Optimize the display screen. Thereby, a user's eyes can always be induced
  • FIG. 19 shows an example of a display screen in which the dial type controller is displayed as focused information. Also shown is the user stretching his finger to manipulate it.
  • FIG. 20 shows an example of a display screen including a modified GUI component.
  • the lever of the dial-type controller is extended, and the controller can be controlled only by covering the finger on the lever.
  • the CPU 11 of this embodiment improves usability by performing such optimization of the display screen.
  • FIG. 21 shows a simplified data structure of information presented in the past.
  • the entire data (information I) shown in the figure is stored in the RAM 13.
  • the information I (x) shown in FIG. 21 is merely a pointer to a search result to an external search engine, a photo database, a storage in the information processing apparatus 1, and the like (where x is a node ID).
  • Information I (x) holds the node ID and the node ID of the other connected node. Further, the information I (x) may hold a search result when an external search engine, a photo database, a storage in the information processing apparatus 1 or the like is searched in the past.
  • the search result may be partial.
  • Information I (x) also holds information on the corresponding GUI component.
  • the information I (x) is a pointer to a search result of a search engine on the external Internet, the information corresponds to “document information” and is “data (document information)” shown in FIG. Information that the GUI component is used is held.
  • Information I (x) holds an icon if necessary. For example, when the information I (x) is a pointer to the search result of the photo storage, the information I (x) holds some of the search results picked up by the CPU 11 and iconified at a low resolution.
  • the CPU 11 manages the information I with the data structure as shown in FIG. 21, the information shown in FIG. 9 is based on the information necessary for connecting the nodes and the information of the display element (GUI component) corresponding to the information.
  • GUI component display element
  • Information I (x) holds a keyword for tagging the information.
  • An example of the keyword is a search keyword used when the search result is presented.
  • a specific place or a specific thing (for example, “food”) is automatically set by the CPU 11 as a keyword.
  • the keyword selected by the CPU 11 is set as a keyword for tagging this information I (x).
  • the CPU 11 can call up the information I (x) using a keyword that tags the information I (x).
  • the process of actually extracting information that the user is centering on the topic, that is, focused information using keywords will be described below with reference to FIG.
  • FIG. 22 is a flowchart showing the procedure of the “past information extraction” process in ST14 of FIG.
  • the CPU 11 tries to determine whether the current object of interest is content that has been output in the past (ST141) based on the input user behavior (in ST12 of FIG. 10). . This determination is made by, for example, determining whether or not a word that indicates the past in terms of time, such as “before” or “before”, is included in the utterance. In addition, when there is an input operation of clicking the presented information with the fingertip of the user, the current object of interest may be interpreted as content output in the past.
  • the CPU 11 interprets that the user's behavior indicates a new information search, and performs the new information search process. Execute (ST147).
  • a website and other databases are searched based on the keywords extracted in ST13.
  • the CPU 11 determines a plurality of previously presented keywords based on the keywords extracted in ST13 and the user's behavior.
  • the content corresponding to the current object of interest is searched from the information I (x) (ST143).
  • the entire information I, that is, all presented information is set as a search target in ST143.
  • the CPU 11 extracts the information I (x) searched in ST143 (ST144).
  • the CPU 11 shifts the focus to the extracted information I (x) (ST146), but in this embodiment, before that, performs a process of narrowing down the search target pointed to by the information I (x) (ST145).
  • the information I (x) itself is a pointer to a search result including one or more keywords to be tagged.
  • the information I (x) is a website search
  • the keyword to be tagged can be a keyword input as a search query to the search engine.
  • narrowing down ST145 when returning from a certain information A to another information B that has been presented, a keyword that tags information passed through to the information A and the information B is used. The method of narrowing down is used.
  • the CPU 11 manages each information I (x) with a keyword for tagging.
  • a search keyword that is input as a search query to the search engine when searching for new information in ST147 of FIG. 22 may be used.
  • the CPU 11 may use a word obtained by generalizing or abstracting such a search keyword as a keyword for tagging. For example, in the context of consulting a user agent for lunch at a travel destination, when there is an utterance such as “Soba” or “Udon”, the keyword to tag information I (Soba) In addition, the word “food” that generalizes soba is set.
  • “udon” and “food” are set as keywords for tagging information I (udon).
  • the CPU 11 can extract a plurality of information I (x) using the keyword “food”.
  • a group of a plurality of pieces of information extracted with the same keyword is called a “layer” in this embodiment.
  • the information processing apparatus 1 uses a layer of information extracted with a generalized keyword.
  • the information processing apparatus 1 generates a display screen as shown in FIG. 23 according to the user's behavior.
  • a user agent icon UAI is first presented, and information I (1) is presented by the user talking to it, for example. In this state, for example, information I (11) is presented by further talking.
  • the CPU 11 when the CPU 11 optimizes and displays the information I (1), the CPU 11 also searches for information related to the information I (1), for example, the information I (12) and the information I (13) in the background. And hold.
  • the conceptual diagram shown in FIG. 24 shows a state in which the information I (12) and the information I (13) are held in a state where the optimized display is performed on the information I (11).
  • information I (12), information I (13), information I (14), and information I (15) are displayed in an optimized display state for information I (11). The state of being held is shown.
  • the CPU 11 When searching for new information in ST147, the CPU 11 stores and manages the information I (x) in the RAM 13 or the like as a pointer to the searched information, and a tag is used for the management.
  • the CPU 11 manages information I having a common keyword to be tagged so that it can be arranged in the same layer.
  • the user agent icon UAI, information I (1), and information I (11) are managed so as to belong to the same layer L1.
  • Information I (12) and information I (13) are managed so as to belong to the same layer L2.
  • Information I (14) and information I (15) are managed so as to belong to the same layer L2.
  • the information connected by the knot line between the user agent icon UAI and the focused information is managed so as to belong to the “main layer”. Is done. For example, in FIG. 25, when the focus is on the information I (11), the user agent icon UAI, information I (1), and information I (11) belong to the main layer.
  • a display screen that is optimized to present information that belongs to the same layer with a common visual effect or to be presented surrounded by a common frame is generated.
  • the visual effect includes, for example, color, transmittance, bolding, and the like.
  • Examples of the common frame include those shown in FIGS. Note that the frame common to the visual effect may be applied simultaneously.
  • the user can easily notice the movement of the focus across the layers, and when returning to the past information, it becomes easy to know which information has returned. That is, usability is improved.
  • a derived item information presented in the layers L2 and L3 is referred to as a derived item.
  • the derived items are not displayed or semi-transparently displayed in proportion to the depth degree after being held away from the second layer and the third layer in the depth direction according to the degree of association.
  • the third layer and the second layer may be intentionally displayed in an unreadable state so that the user can recognize only the presence.
  • the information obtained from the outside or the like and the display elements (GUI elements) corresponding to the information are not obstructed by the relationship between the user's line-of-sight direction and the finger position.
  • the display position and layout are dynamically changed sequentially.
  • the display screen is optimized sequentially.
  • FIG. 26 to FIG. 30 show transition examples of user interfaces presented by the information processing apparatus 1.
  • a user agent provided by the information processing apparatus 1 according to an embodiment will be described.
  • the information processing apparatus 1 selects a noun appearing in the user's utterance as a keyword used for tagging. Further, the information processing apparatus 1 interprets it as a command for the user agent based on the voice inflection and the content of the utterance. Further, the information processing apparatus 1 holds a word containing a positive word such as “I want to see”, “I want to go”, or “I'm interested” in the agent as user thought information.
  • Words such as “Onigashima” and “Place” here are extracted as keywords.
  • the user B's utterance here is recognized as a command to the agent by the CPU 11 based on voice inflection and utterance content.
  • Agent response Information on “Onigashima” is issued. -On the table: A map of “Onigashima” and related photos are displayed. (Fig. 27) -User A utterance: It is quite far away. How do you get from Tokyo?
  • the information processing apparatus 1 recognizes that the temporal condition of “sakino” exists in the user's utterance, and based on the keyword “photo” and the temporal condition of “sakino”, FIG.
  • the related photograph group indicated by 27 is extracted. Further, the information processing apparatus 1 optimizes the presented information to narrow down by using the keyword “food” from the extracted related photograph group, and configures the display screen (FIG. 30).
  • the operation screen is temporarily sent to the registered personal terminal screen for operation, and after completion of the operation, the history is recorded. Is displayed on the original shared display screen.
  • This configuration can protect personal information even when operating in a public environment.
  • confidentiality can be ensured by using both the shared display surface and the private display surface, such as provisional movement on the personal terminal screen and relay operation.
  • FIG. 31 there is shown a hardware configuration example of an information processing apparatus 1 and a usage scene example thereof as still another modification of the above embodiment.
  • a GUI is displayed to the passenger seat user in consideration of safety in a car. That is, the GUI is a user agent GUI corresponding to the passenger on the passenger seat.
  • a GUI display surface 201 is a surface having a curvature called a windshield of a car.
  • An area where the projector 17 can project display information is referred to as a “displayable area”.
  • the displayable area may include not only the windshield but also a non-transparent area such as a dashboard.
  • the CPU 11 divides the inside of the displayable area into a “display appropriate area” and a “display inappropriate area” based on the image captured by the image sensor 15. Then, the GUI is displayed only in the “display appropriate area”.
  • the CPU 11 determines an area where contrast is difficult to obtain, such as when the sun is shining or the front scenery is too bright, as a “unsuitable display area”.
  • an area where contrast is easy to take is determined as a “display appropriate region”, for example, when sunlight is relaxed due to shadows from an exterior building or the like, or because the brightness of the front scenery through the windshield is sufficiently low.
  • the “displayable area” may be not only the windshield but also the dashboard in front of the passenger seat, and the CPU 11 displays “appropriate display” on the dashboard in front of the passenger seat when there is no obstruction such as sunlight shining.
  • the area is determined to be “region”.
  • the present invention is not limited to this configuration, and a dedicated sensor may be disposed inside or outside the vehicle.
  • the configuration in which a dedicated solar radiation status sensor is added can improve the accuracy in determining brightness and color.
  • the image sensor 15 senses the position of the face of the person in the passenger seat.
  • the CPU 11 adjusts the display position (mainly height) of the GUI to the eye level of the passenger seat person based on the position of the face of the passenger seat person imaged by the image sensor 15.
  • the camera 11 senses a region where the background is relatively unchanged by using an internal camera or an external camera of the vehicle, such as the image sensor 15 or the sunshine condition sensor, and the CPU 11 has a viewpoint position of the user sitting in the passenger seat inside the region.
  • the area within the “displayable area” specified based on the visibility from the user may be determined as the “appropriate display area”.
  • search results are not held sequentially in time series, but the search result data are connected to each other by knot points and connections, and further, by search context (search branch), by information theme , Etc., and keep as a history with a layer structure.
  • search context search branch
  • information theme Etc.
  • this makes it easy to recognize a search path that is currently of interest even in a space that is not optimized for information search.
  • the user since the operation procedure specific to each service can be performed on behalf of the user, the user can concentrate on expressing the request and confirming / using the result, so that a plurality of services can be used in a single procedure.
  • an interface that can maintain a user's consideration route and can always return to an optimal branch point is provided by a 3D layered screening technique. Confirmation can be assisted efficiently.
  • the most important items are always displayed in front of the user's eyes according to the place of use by maintaining and tracing the procedure line so that the field of view including the GUI and fingertips is not disturbed when inputting a finger Adjust the layout. Therefore, the visibility is optimized according to the place and the situation.
  • this technique can also take the following structures.
  • a control unit that determines the current interest of the user according to the detected behavior, and sequentially generates display information including content corresponding to the determined interest;
  • An output unit for outputting the generated display information,
  • the control unit displays the display information based on the user's past content of interest and the current content of interest output by the output unit according to the determined change in the target of interest.
  • An information processing apparatus that optimizes aspects.
  • An information processing apparatus that includes the displayed content in the display information and optimizes the display mode of the display information.
  • the output unit generates the display information so that display elements respectively corresponding to contents output in the past by the output unit are connected in a line in the output order and output.
  • the information processing apparatus according to (2) or (3), The said control part optimizes the display mode of the said display information by narrowing down to the content output to the past determined that it is the now interested object.
  • Information processing apparatus (5) The information processing apparatus according to any one of (2) to (4), The information processing apparatus, wherein the control unit generates the display information so that a display element corresponding to content output in the past that has been determined to be a current object of interest comes to the center of the user's viewpoint.
  • the information processing apparatus displays content belonging to a layer in common with content output in the past determined to be the current interest, together with the content output in the past determined to be the current interest. Information processing equipment to be included.
  • the information processing apparatus according to (6), The control unit generates the display information indicating that a plurality of contents belong to a common layer by a visual effect and / or a common frame.
  • the detection unit inputs the user's voice, The control unit determines a current object of interest by analyzing the user's voice input by the detection unit.
  • a detection step for detecting user behavior Determining a current interest of the user according to the detected behavior; Sequentially generating display information including content corresponding to the determined interest of interest; Outputting the generated display information; The display mode of the display information is optimized based on the content of the user's past interest of interest and the content of the current interest of interest output by the output unit according to the determined change in the interest of interest.
  • An information processing method comprising steps.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

過去に提示された情報に効率的にアクセスできるユーザインターフェイスを提供する。 検出部と制御部と出力部を具備する情報処理装置である。上記検出部は、ユーザの挙動を検出する。上記制御部は、上記検出された挙動に応じて上記ユーザの現在の関心対象を判別し、当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成する。上記出力部は、上記生成された表示情報を出力する。上記制御部は、上記判別された関心対象の変化に応じて、上記出力部により出力された上記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、上記表示情報の表示態様を最適化する。

Description

表示制御装置、方法及びプログラム
　本技術は、情報処理装置、方法及びプログラムに関する。
　特許文献１にはカメラを備えるプロジェクタが開示されている。例えば、特許文献１の段落００９６には、画像が投影されたテーブル上でユーザがハンドジェスチャーを行い、ジェスチャー認識により入力を行うことが記載されている。他方で、特許文献２には、段落００４８ないし００６４に仮想的な音像定位に関する技術が開示されている。
特開２０１３－２５７６８６号公報 特開２０１１－１８８２８７号公報
　パーソナルコンピュータ（以下、ＰＣと表記する場合がある）やスマートフォンなどの情報機器には、情報表示に最適化された表示デバイス（例えば、液晶画面など）が設けられているのが普通である。しかしながら、近年では、なんらかの情報表示がなされることが意図されていない平面や空間、例えば、テーブル（特許文献１参照）や壁を、情報の表示面として利用することが考えられている。
　このようにユーザに情報を視覚的に伝達する物理的なインターフェイスが最適化されたものでない場合、過去のあるポイントにおいて提示された情報を、提示されたポイントに戻って取り出すことが効率的に行いにくいという問題点がある。
　以上のような事情に鑑み、本技術の目的は、過去に提示された情報に効率的にアクセスできるユーザインターフェイスを提供することにある。
　上記目的を達成する本技術の一側面は、検出部と制御部と出力部を具備する情報処理装置である。
　上記検出部は、ユーザの挙動を検出する。
　上記制御部は、上記検出された挙動に応じて上記ユーザの現在の関心対象を判別し、当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成する。
　上記出力部は、上記生成された表示情報を出力する。
　上記制御部は、上記判別された関心対象の変化に応じて、上記出力部により出力された上記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、上記表示情報の表示態様を最適化する。
　上記情報処理装置によれば、ユーザが何かアクション（発話、指によるタップなどを含む挙動）を起こすだけで、それに応じたキーワードが選択され、過去に提示された情報の中から一つを選んで最適化された表示画面を生成するので、過去に提示された情報に効率的にアクセスできるユーザインターフェイスが提供される。
　上記制御部は、上記ユーザの挙動に基づいて、上記出力部により過去に出力されたコンテンツが現在の関心対象であると判別された場合、現在の関心対象であると判別された過去に出力されたコンテンツを上記表示情報に含め、当該表示情報の表示態様を最適化してもよい。
　この場合、ユーザの挙動が過去に出力されたコンテンツを指し示す場合（例えば、「さっき」のような発話）、検出された当該ユーザの挙動に基づくコンテンツを、ユーザが話題の中心にしている情報として抽出することができる。
　上記出力部は、上記出力部により過去に出力されたコンテンツにそれぞれ対応する表示エレメントを、出力された順にラインで繋がって出力されるように上記表示情報を生成してもよい。
　複数の過去に出力されたコンテンツの先後関係をライン（線）で繋ぐことで、目に見える形で示すことができる。
　上記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツに絞込みを行うことにより上記表示情報の表示態様を最適化してもよい。
　ユーザが現在関心を持っている対象に絞込みを行うことにより、より最適化された提示が可能になる。
　上記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツに対応する表示エレメントが上記ユーザの視点の中心に来るように上記表示情報を生成してもよい。
　この場合、ＧＵＩにおける表示エレメントのレイアウトを逐次最適化することができる。
　上記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツと共通するレイヤーに属するコンテンツを、現在の関心対象であると判別された過去に出力されたコンテンツと共に上記表示情報に含めてもよい。
　ＧＵＩにおける表示エレメントのレイアウトをさらに最適化することができる。
　上記制御部は、複数のコンテンツが共通するレイヤーに属することを、視覚効果及び／又は共通の枠により示す上記表示情報を生成してもよい。
　ＧＵＩにおける表示エレメントのレイアウトをさらに最適化することができる。
　上記検出部は、上記ユーザの音声を入力してもよい。また、この場合、上記制御部は、上記検出部により入力された上記ユーザの音声を解析することによって、現在の関心対象を判別してもよい。
　ユーザの（又はユーザ同士の）発話という自然な入力方法を提供することにより、ユーザに負担をかけず効率的なユーザインターフェイスを実現することができる。
　上記目的を達成する本技術の別の一側面は、次のステップを有する情報処理方法である。
・ユーザの挙動を検出する検出ステップ。
・上記検出された挙動に応じて上記ユーザの現在の関心対象を判別するステップ。
・当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成するステップ。
・上記生成された表示情報を出力するステップ。
・上記判別された関心対象の変化に応じて、上記出力部により出力された上記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、上記表示情報の表示態様を最適化するステップ。
　上記情報処理方法によっても、上記情報処理装置と同等の効果が得られる。
　上記目的を達成する本技術の別の一側面は、情報処理装置に、次のステップを実行察せるプログラムである。
・ユーザの挙動を検出する検出ステップ。
・上記検出された挙動に応じて上記ユーザの現在の関心対象を判別するステップ。
・当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成するステップ。
・上記生成された表示情報を出力するステップ。
・上記判別された関心対象の変化に応じて、上記出力部により出力された上記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、上記表示情報の表示態様を最適化するステップ。
　上記情報処理方法によっても、上記情報処理装置と同等の効果が得られる。
　以上のように、本技術によれば、過去に提示された情報に効率的にアクセスできるユーザインターフェイスを提供することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理装置の内部構成例を示す図である。 上記実施形態に係る情報処理装置の外観構成例１を示す図である。 上記実施形態に係る情報処理装置のハードウェア構成例２を示す図である。 上記実施形態に係る情報処理装置のハードウェア構成例２を示す図である。 上記実施形態に係る情報処理装置のハードウェア構成例３を示す図である。 上記実施形態に係る情報処理装置のハードウェア構成例３を示す図である。 上記実施形態に係る情報処理装置のソフトウェア構成例を示す図である。 上記実施形態に係る情報処理装置のＧＵＩ部品を示す図である。 上記実施形態に係る情報処理装置のＧＵＩの構成を説明するための図である。 上記実施形態に係る情報処理装置の基本処理を示すフローチャートである。 上記実施形態に係る情報処理装置の基本処理におけるＧＵＩの一例である。 上記実施形態に係る情報処理装置の基本処理におけるＧＵＩの一例である。 上記実施形態に係る情報処理装置の基本処理におけるＧＵＩの一例である。 図１０のＳＴ１５の、表示画面の最適化処理を示すフローチャートである。 上記実施形態に係る情報処理装置の表示画面の最適化処理に関する図である。 上記実施形態に係る情報処理装置の表示画面の最適化処理に関する図である。 上記実施形態に係る情報処理装置の表示画面の最適化処理に関する図である。 上記実施形態に係る情報処理装置の表示画面の最適化処理に関する図である。 上記実施形態に係る情報処理装置の表示画面の最適化処理に関する図である。 上記実施形態に係る情報処理装置の表示画面の最適化処理に関する図である。 上記実施形態において過去に提示した情報のデータ構造を簡略化して示す図である。 図１０のＳＴ１４の、過去の情報抽出する処理の手順を示すフローチャートである。 上記実施形態における情報のレイヤーの概念図である。 上記実施形態における情報のレイヤーの概念図である。 上記実施形態における情報のレイヤーの概念図である。 上記実施形態により提示されるユーザインターフェイスの遷移例である。 上記実施形態により提示されるユーザインターフェイスの遷移例である。 上記実施形態により提示されるユーザインターフェイスの遷移例である。 上記実施形態により提示されるユーザインターフェイスの遷移例である。 上記実施形態により提示されるユーザインターフェイスの遷移例である。 上記実施形態のさらに異なる変形例としての情報処理装置１のハードウェア構成例とその利用シーン例を示す図である。
　以下、本技術の実施形態を示し、図面を参照しながら説明する。
　説明は以下の順番で行うものとする。
・情報処理装置のハードウェア構成
・情報処理装置のソフトウェア構成
・ＧＵＩ部品の説明
・ＧＵＩと基本処理の説明
・現在の関心対象であるコンテンツの説明
・表示画面の最適化
・情報の管理方法の説明
・過去に提示された情報にアクセスする際に実行される処理とＧＵＩの動き
・キーワードが共通する情報によるレイヤー化
・実施例シナリオ
・変形実施例
（１－１．情報処理装置のハードウェア構成）
　図１に本実施形態に係る情報処理装置のハードウェア構成例を示す。
　図示の情報処理装置１は、汎用のコンピュータと同様に、ハードウェアは、バス１４を介してＣＰＵ（Central Processing Unit: 中央演算装置）１１、ＲＯＭ（Read Only Memory: 読み出し専用記憶装置）１２、ＲＡＭ（Random Access Memory: ランダムアクセスメモリ）１３が接続されて処理制御部を構成してもよい。ＣＰＵ１１は表示情報（例えばプロジェクションする画面全体）を逐次生成する機能も備える。
　バス１４に接続された各種ハードウェアにより構成される処理制御部はさらに、イメージセンサ１５、マイク１６、プロジェクタ１７、スピーカ１８、通信部１９とバス１４で相互に情報通信可能に接続する。
　イメージセンサ１５は撮像機能を備え、マイク１６は音声入力機能を備える。イメージセンサ１５とマイク１６で検出部２０が構成される。イメージセンサ１５は、ユーザの挙動以外の環境（テーブル上の障害物や色）等もセンシングする。検出部２０はユーザの挙動を検出する。
　プロジェクタ１７は表示画像を投影する機能を備え、スピーカ１８は音声出力機能を備える。プロジェクタ１７とスピーカ１８で出力部２１が構成される。
　通信部１９は、外部機器と通信を行う入出力インターフェイスである。検出部２０と出力部２１の両方に属すると捉えてもよい。
　図２に本実施形態に係る情報処理装置１の外観構成例を示す。図示の例で、情報処理装置１はイメージセンサ１５やマイク１６、プロジェクタ１７、スピーカ１８などがすべて円筒形の筐体の中にワンパッケージにまとめられている。
　図２中、情報処理装置１は天井から吊り下げられ、テーブル２００に対して表示画面を投影可能に設置されている。本例では、テーブル２００の上面を表示面２０１としている。
　図３と図４に、図２とは異なる情報処理装置１のハードウェア構成例を示す。図示の例で、情報処理装置１のイメージセンサ１５やマイク１６、プロジェクタ１７、スピーカ１８は、物理的に異なるデバイスにセパレートされている。
　図３において、プロジェクタ１７は表示面２０１上にＧＵＩを投影する。ユーザはＧＵＩを見ながら、表示されている表示エレメントを指差したりタップしたり、発話したりする。これら、ユーザの視線や手の動き、発話といった挙動は、イメージセンサ１５とマイク１６によりセンシングされる。これら検出部２０により入力されたユーザの挙動に対するレスポンスが、プロジェクタ１７により表示されるＧＵＩとスピーカ１８により出力される音声により行われる。
　一部の表示出力や音声出力については、外部装置によりなされてもよい。図４には、ユーザが自分のスマートデバイス２２を持ちながら操作している利用シーンが示されている。情報処理装置１は、第三者に見られることがはばかられるような情報（パスワード入力や、代金決済の実行など）を出力する際は、プライベートなスマートデバイス２２に出力先を変更する。
　図３と図４に示すように、画像を投影する表示面２０１上に実オブジェクトがある場合、情報処理装置１は、プロジェクタ１７の投影するＧＵＩが、実オブジェクトに重複しないように避けながら、実オブジェクト（テーブルや壁などの平面を除く物体）が置かれていないような開いたスペースに展開されるように制御する。図示のように、実オブジェクト（りんご、コーヒーカップ、雑誌等の物体、テーブルや壁などの平面）は、イメージセンサ１５で認識する。イメージセンサ１５は開いたスペース（テーブルや壁などの平面の空き領域）も認識する。
　図５と図６に、もう一つ異なる情報処理装置１のハードウェア構成例とその利用シーン例を示す。図中の人物（ユーザ）は、首掛け（ネックホルダ）式の情報処理装置１を装着している。当該ユーザは、情報処理装置１が壁に投影するＧＵＩを操作する。この壁は表示装置ではないばかりか、そこにＧＵＩが表示されることが想定されたものでもない。
　本実施形態のハードウェア構成を、図５、図６に示すような一体型の首掛け式とすることで、そのようなＧＵＩが表示されることが意図されていない窓や壁のような平面もユーザが情報処理装置を操作し入出力を行うためのインターフェイスとして利用することが可能になる。
　なお、図５と図６に示すように、壁のような立面型の表示面２０１において、窓のようなくぼみがある場合、テーブルに置かれたコーヒーカップや雑誌などと同じように、ＧＵＩの投影されるスペースとしては適さないと判断され、くぼみを避けた箇所にＧＵＩが投影される。くぼみ等の認識はイメージセンサ１５が行い、投影画像の構成などの制御はＣＰＵ１１が行う。
（１－２．情報処理装置のソフトウェア構成）
　次に、情報処理装置１のソフトウェア構成について説明する。図７に情報処理装置１のソフトウェア構成の一例を示す。
　ＲＯＭ１２には、図７に示すような、画像処理ＳＷ１１、音声認識ＳＷ１２、自然言語解析ＳＷ１３、対話型ＵＩコアＳＷ１４、グラフィカル・ユーザ・インターフェイスＳＷ１５、音像定位・音声出力ＳＷ１６が記憶されている。ＣＰＵ１１がこれらを読み出し、ＲＡＭ１３に展開しロードすることで、以下に述べるような本実施形態の機能が提供され、処理が実行される。
　画像処理ＳＷ１１は、イメージセンサ１５の撮影画像に基づいて、ユーザの視点中心を割り出したり、表示面２０１上にある障害物のないエリアを割り出したり、ユーザが指し示している場所を割り出したりする機能を提供する。
　音声認識ＳＷ１２は、マイク１６が集音したユーザの音声を認識するソフトウェアである。自然言語解析ＳＷ１３は、認識された音声を自然言語として解析して、情報処理装置１が扱えるテキストデータや文字列データなどに変換するソフトウェアである。
　対話型ＵＩコア１４は、ユーザの発言や他の周辺情報を統合し、ユーザと対話するように情報をユーザに対して提示するエージェントを成立させる機能を提供する。以下、このようなエージェントを、「ユーザエージェント」と呼ぶ。
　グラフィカル・ユーザ・インターフェイスＳＷ１５は、ユーザエージェントによる情報提示を効率的に、ユーザフレンドリーに視覚的に提示する機能を提供する。グラフィカル・ユーザ・インターフェイスＳＷ１５の出力は、ＣＰＵ１１により表示画面が生成され、同表示画面がプロジェクタ１７から投影されるというプロセスで行われる。なお、以下では、グラフィカル・ユーザ・インターフェイスＳＷ１５が提供するグラフィカル・ユーザ・インターフェイスを単に「ＧＵＩ」と表記する。
　音像定位・音声出力ＳＷ１６は、ユーザエージェントの出力を音声でスピーカ１８から出力する機能を提供する。音像定位・音声出力ＳＷ１６はまた、その際、ＧＵＩにおけるユーザエージェントを表現する表示エレメントから音声が出力されているように、ユーザが感知しうるように、音像定位を行う。具体的には例えば、特許文献２に記載の技術を用いてもよい。
　図７に示したような対話型ＵＩコアＳＷ１４を中核としたソフトウェア群が、図１に示したようなハードウェアリソースを用いて所定の情報処理を実行することで、以下に述べるような本実施形態の機能が提供され、処理が実行される。
　なお、上述のソフトウェア構成は一例に過ぎず、対話型ＵＩコアＳＷ１４とグラフィカル・ユーザ・インターフェイスＳＷ１５が一体のソフトウェアとして構成されていてもよい。また、一部のソフトウェアがＳａａＳとして外部のクラウドから提供されてもよい。
（１－３．ＧＵＩ部品の説明）
　次に、プロジェクタ１７により投影されるＧＵＩにおいて用いられるＧＵＩ部品について図８を参照しながら説明する。
　図８に情報処理装置１が提供するＧＵＩ部品を示す。図示のように、提供されるＧＵＩ部品は、「基本オブジェクト（図８（ａ），（ｂ），（ｃ））として、エージェントアイコン、結節点、結線、データ（書類情報）、データ（見出し情報）を含み、「可変値調整オブジェクト」（図８（ｄ））として、Ｖ字型コントローラ、ダイヤル型コントローラを含む。
　図８（ｂ）を参照する。ドットで表現される「結節点」は、すべてのＧＵＩ部品に現れ、一単位の情報がそこにあることをユーザに示す。「結線」は「結節点」２つをつなぐ直線であり、「結節点」にポイントされる情報同士がつながることを示す。
　図８（ａ）を参照する。「エージェントアイコン」は、「結節点」を中心に、複数の不定形の閉曲線が不規則又は規則的に旋回するアイコンとして表現される。エージェントアイコンは情報処理装置１が提供するＧＵＩの出発点、起点となる。なお、エージェントアイコンの中心の結節点の周りの複数の不規則な閉曲線は、情報の入力中や出力中において、結節点を中心に周回するなどのアニメーションを伴って表示される。
　図８（ｃ）を参照する。基本オブジェクトとしての「データ（書類情報）」と「データ（見出し情報）」は、ユーザに提示するデータの表示枠組みである。その点で二つは同じであるが、書類情報は主に文字が主体のデータを提示し、見出し情報は写真や画像などをアイコン化して提示する。
　図８（ｄ）を参照する。「Ｖ字型コントローラ」はインジケータ内の棒をユーザが左右に動かすことで、量が調節されるようなＧＵＩ部品である。「ダイヤル型コントローラ」はダイヤルをユーザが左右に回転することで、量が調節されるようなＧＵＩ部品である。
　以上に述べたように、本実施形態のＧＵＩでは、ユーザに提示する情報に種々の種類があり、種類に応じて異なるＧＵＩ部品で提示する。ユーザに種類の違いに気づかせることができる。
（１－４．ＧＵＩと基本処理の説明）
　上述のＧＵＩ部品は、図９に示すように結線により各結節点が結ばれ、デイジーチェーン状に連なる。ただし、図９に示した全体が示されることは、特殊な状況を除いて、ない。図９には、表示面２０１上に実オブジェクト（りんご、コーヒーカップ、雑誌等の物体）が置かれている状況も図示されている。図９に示されているように、ＧＵＩ（後述するように、ユーザ操作の履歴を示している）は、実オブジェクトを避けて開いたスペースに展開される。図９に示すように、ＣＰＵ１１は、空き領域のサイズか形状に応じて、表示されるＧＵＩ部品、ないし、ＧＵＩ部品中に使用される表示枠や文字フォントを調整してもよい。
　ＣＰＵ１１はさらに、ユーザ操作の履歴を表すＧＵＩの色の調整をしてもよい。例えば、イメージセンサ１５により撮像されている表示面２０１の色に応じて表示色の調整をする。この場合、黒いテーブルが背景にあり、背景色が黒色ならば、表示は白枠、白文字で行う。その他には、例えば、イメージセンサ１５により撮像されている実オブジェクトに基づいて表示色調整を行う。この場合、赤いりんごを認識している場合、赤に近い色や緑でＧＵＩを表示することを避ける。
　イメージセンサ１５がＧＵＩの表示中に実オブジェクトが動いたことを撮像した場合、移動後の実オブジェクトの位置に応じて各ＧＵＩ部品の配置を、ＣＰＵ１１が再調整する。
　ＣＰＵ１１はイメージセンサ１５の撮影画像に基づいてユーザの目の位置を認識する。あるいは、推定する。例えば、手しか撮像されていないときは手の位置から顔の位置を推定する。そして、ＣＰＵ１１は、認識又は推定した目の位置と、表示するＧＵＩとの間に、実オブジェクトが入らないように、ＧＵＩの配置を調整する。例えば、花瓶などの丈の高い物体があることが認識される場合は、当該花瓶よりも手前にＧＵＩの表示をする。
　図９に全体像を示したＧＵＩが生成される基本処理について、図１０～図１３を参照しながら説明する。図１０は、本実施形態の基本処理の手順を示すフローチャートである。図１１～図１３は本実施形態に係る情報処理装置１の基本処理におけるＧＵＩの一例である。
　ＣＰＵ１１は、まずエージェントアイコンを表示する（ＳＴ１１）。エージェントアイコン（図８（ａ））はＧＵＩの出発点となる。また、この対話型ユーザインターフェイスの音声出力も、エージェントアイコンから聞こえてくるように、音像定位される。エージェントアイコンが表示されたＧＵＩが図１１に示されている。
　次に、検出部２０によりＣＰＵ１１へユーザの挙動が検出される（ＳＴ１２）。ここでいうユーザの挙動には、ユーザの発話や所作を含む。ユーザは複数の場合もある。図１１にはユーザが「Ｇｅｔ＃＃＃＃」と発話した例が示されている。情報処理装置１は、各ユーザの顔や声紋などの情報をあらかじめ登録されており、ユーザごとに挙動を検出することができる。情報処理装置１はユーザの着座している位置によりユーザを判別してもよい。
　次に、ＣＰＵ１１は、ユーザの挙動に応じてキーワードを選択する（ＳＴ１３）。キーワードは、例えば、発話中に含まれる言葉に基づいて決定される。
　次に、ＣＰＵ１１は、選択されたキーワードに基づいて、新規情報を検索するか、又は、過去の情報を抽出する（ＳＴ１４）。新規情報を検索することと、過去の情報を抽出することのどちらを選択するかは、キーワードに基づいてＣＰＵ１１が判断する。
　ＳＴ１３とＳＴ１４の詳細については後述する。ここでは、新規情報が検索されることとする。その場合、図１１から図１２のように遷移する。なお、図９、図１１から図１３においては、最適化された表示画面ではなく、概念的な表示画面を示している。
　図１２のような画面が出力されるとき、ＣＰＵ１１は、検索された情報／抽出された情報に基づいて、最適化した表示画面を生成する（ＳＴ１５）。ＣＰＵ１１はこれと同時に出力音声も生成してもよい。次に、ＣＰＵ１１は、生成した表示画面を音声と共に出力する（ＳＴ１６）。これらの処理の結果として、図１２のような表示画面がプロジェクタ１７から出力される。
　ＳＴ１２からＳＴ１６は、ユーザの入力に対してユーザインターフェイスがレスポンスを返すという流れになっている。ユーザがさらに発話（例えば、Ｓｅａｒｃｈ＃＃＃＃）すると、もう一度ＳＴ１２からＳＴ１６が繰り返され、図１３のような表示画面が出力される。
　図３、図９、図１１～図１３を参照しながら、情報処理装置１の基本処理の概要を再度説明する。
　図３に示すように、本実施形態により提供される対話型ユーザインターフェイスは、ユーザの発する音声言語（マイク１６が入力）と、それに対するシステムからの音声言語反応（スピーカ１８が出力）と、プロジェクタ１７によってテーブル上や壁面などの共用スペース上に投影された画像と、ユーザの視点位置情報（イメージセンサ１５が入力）と、ユーザの手指操作情報（イメージセンサ１５が入力）と、の相互関係によって成立する。なお、プロジェクタ１７は、ＣＰＵ１１により収集される情報や生成される情報のすべて（例えば図９に示すようなもの）を投影するわけではない。
□ユーザの開始命令により、ユーザエージェントのアイコンに相当するエージェントアイコンが表示され、一連の対話時間中、共有表示面上に滞在し続ける（図１１）。エージェントからの返事は、ユーザの要望に応じて、音声のみ、文字のみ、あるいは音声と文字、の各形式で伝えられる。対話が完了し、ユーザが終了命令を発するとエージェントアイコンは消える。
□エージェントアイコンが表示されている状態で、ユーザが特定の要求を発すると、エージェントアイコン中央から結線が伸び、その終端部に位置する結節点を起点に主要回答情報が表示される（図１２、図１３）。この結線を本線または手順線と呼ぶ。
□主要回答情報の項目に派生項目が存在する場合、主要回答情報と同じ結節点から別の結線が伸び（複数可）、終端部の結節点を起点に派生項目が表示される。この結線を支線又は関連線と呼ぶ。この支線、関連線は、図１２や図１３に示されている。
（１－５．現在の関心対象であるコンテンツの説明）
　図１２や図１３に示すように、本実施形態に係る情報処理装置１が提供するＧＵＩにおいては、ユーザの入力に対して、ユーザインターフェイスが直接返すレスポンスとなる情報（主要回答情報）と、当該情報に関連したり派生したりして生成される情報を、ＣＰＵ１１は保持し、また、出力部２１から出力する。
　このユーザインターフェイスが直接返すレスポンスとなる情報（主要回答情報）を「現在の関心対象であるコンテンツ」と呼ぶ（図１２、図１３参照）。関連情報や派生情報は支線又は関連線で結ばれて表示されるが、図１３に示すように、フォーカスされている情報である「現在の関心対象であるコンテンツ」から遠い情報は、フェイドアウトやアイコン化、サイズの縮小などの視覚効果を伴って表示される。あるいは、表示が省略される。
（１－６．表示画面の最適化）
　次に、ＳＴ１４にて、ＣＰＵ１１が実行する表示画面の最適化処理について、図１４～図１８を参照しながら説明する。図１４は、最適化処理の手順を示すフローチャートである。図１５～図１８は、最適化処理の効果を示す画面例である。
　図１４に示す表示画面の最適化処理は、基本処理の流れにおいてはＳＴ１５で実行される。したがって、表示画面の最適化処理は、ユーザの挙動などの入力に応じて、逐次実行される。
　ＣＰＵ１１はフォーカスが移動したか否かを判断する（ＳＴ１５１）。Ｙｅｓの場合、ＣＰＵ１１は、「現在の関心対象であるコンテンツ」をユーザの視点の中心に置く（ＳＴ１５２）。ここで、ユーザの視点の中心とは、イメージセンサ１５により入力される情報に基づいて、ユーザの視点の中心であると判断される点である。
　図１５にユーザの視点の中心の一例を示す。図示の例では、データ（書類情報）にフォーカスがあり、これがユーザの視点の中心に来るように配置されている。ＣＰＵ１１は、このように各ＧＵＩ部品の配置を決定し、表示画面を生成する。
　なお、フォーカスされている情報に該当しない情報群に対応するＧＵＩ部品は、それぞれ結線による連結状態を保ちつつ、徐々に移動・アニメーションする。
　図１６に、図１５の状態から「現在の関心対象であるコンテンツ」が変更された、つまり、フォーカスが移動した場合の表示例を示す。図示のように、新しい情報が検索ないし呼び出された場合、ユーザの視点の中心には、当該新しい情報が配置される。本線又は手順線で結ばれた過去に提示された情報は、表示面２０１上の開いたスペース、開いたエリアに移動する（図１４，ＳＴ１５３）。
　次に、ＣＰＵ１１は、「現在の関心対象であるコンテンツ」から遠い情報を目立たなくする（ＳＴ１５４）。遠い情報とは、例えば、「現在の関心対象であるコンテンツ」から２つ以上のノードを経由して結ばれている情報などというように定められる。
　図１３にＳＴ１４４の一例が示されている。「現在の関心対象であるコンテンツ」からノード２つ分はなれており、且つ、支線又は関連線で結ばれている情報は、目立たないようフェイドアウトして表示されている。なお、目立たないように表示することの態様には、フェイドアウト、透過、サイズの縮小などの視覚効果を含み、非表示にすることも含む。
　図１７を参照すると、「現在の関心対象であるコンテンツ」に、ユーザの手が伸びているところが示されている。このように、ユーザの挙動に変化があると、イメージセンサ１５がそれを検知し、ＣＰＵ１１に入力する。この挙動は新たな情報処理装置１（ユーザインターフェイス）への入力に当たるため、図１０や図１４の基本処理が繰り返される。
　この場合、ユーザの指先によってインジケータが見えにくくならないよう、「現在の関心対象であるコンテンツ」が場所を移動する（図１８）。ＣＰＵ１１は、このように、フォーカスされている情報自体に代わりがない場合でも、フォーカスされる内容が表示内容から操作手段に変わったような場合には、フォーカスされている情報の位置を変更し、表示画面を最適化する。これにより、ユーザの目線を常に誘導することができる。
　次に、図１９と図２０を参照しながら、表示画面の最適化のもう一つの太陽について説明する。図１９には、ダイヤル型コントローラがフォーカスされている情報として表示されている表示画面例が示されている。また、ユーザがこれを操作しようと指を伸ばしているところが示されている。
　このようなケースに、ＣＰＵ１１は、イメージセンサ１５から入力された撮影画像を分析し、ユーザの手がＧＵＩ部品の一部に覆いかぶさっていることを検知すると、ＧＵＩ部品の一部ないし全部を変形する。
　図２０に変形されたＧＵＩ部品を含む表示画面例を示す。図示の例では、ダイヤル型コントローラのレバーが伸び、これの上に指を覆いかぶせるだけでコントローラが制御できるように構成される。本実施形態のＣＰＵ１１は、このような表示画面の最適化を行うことによってユーザビリティを高める。
（１－７．情報の管理方法）
　次に、ＣＰＵ１１が過去に提示した情報（図８で示したようなＧＵＩ部品により示される）を管理する方法について図２１の概念図を用いて説明する。図２１は過去に提示した情報のデータ構造を簡略化して示すものである。図示のデータ全体（情報Ｉ）は、ＲＡＭ１３に記憶されている。
　図２１に示す情報Ｉ（ｘ）は、それぞれが、外部の検索エンジン、写真データベース、情報処理装置１内のストレージなどへの検索結果へのポインタにすぎない（ただし、ｘはノードＩＤ）。
　情報Ｉ（ｘ）は、ノードＩＤ、連結している他のノードのノードＩＤを保持する。また、情報Ｉ（ｘ）は、過去に外部の検索エンジン、写真データベース、情報処理装置１内のストレージなどを検索した場合、その検索結果を保持してもよい。検索結果は一部でもよい。
　情報Ｉ（ｘ）は、対応するＧＵＩ部品の情報も保持する。例えば、その情報Ｉ（ｘ）が外部のインターネット上の検索エンジンの検索結果へのポインタである場合、その情報は「書類情報」に該当し、図８で示した「データ（書類情報）」のＧＵＩ部品を用いるという情報が保持される。
　情報Ｉ（ｘ）は、必要であればアイコンを保持する。例えば、情報Ｉ（ｘ）が写真ストレージの検索結果へのポインタである場合、その検索結果のいくつかをＣＰＵ１１がピックアップして低解像度でアイコン化したものを、情報Ｉ（ｘ）が保持する。
　ＣＰＵ１１は、図２１に示すようなデータ構造で情報Ｉを管理しているため、ノードの連結に必要な情報や、情報が対応する表示エレメント（ＧＵＩ部品）の情報に基づいて、図９に示したようなドットとラインで連結されたＧＵＩを構成することができる。
　情報Ｉ（ｘ）は、当該情報をタグ付けするキーワードを保持する。キーワードは複数でもよい。キーワードの一例としては、この検索結果が提示されたときに使用された検索キーワードがある。特定の場所や、特定の事物（例えば「食べ物」など）がキーワードとして、ＣＰＵ１１により自動的に設定される。例えば、図１０のＳＴ１３において、ＣＰＵ１１により選択されたキーワードが、この情報Ｉ（ｘ）をタグ付けするキーワードとして設定される。
　したがって、ＣＰＵ１１は、情報Ｉ（ｘ）をタグ付けするキーワードを使って、情報Ｉ（ｘ）を呼び出すことができる。実際に、キーワードを用いて、ユーザが話題の中心にしている情報、つまり、フォーカスされている情報を抽出する処理について、以下、図２２を参照しながら説明する。
（１－８．過去に提示された情報にアクセスする際に実行される処理とＧＵＩの動き）
　図２２は、図１０のＳＴ１４における「過去の情報抽出」する処理の手順を示すフローチャートである。
　図２２に示すように、ＣＰＵ１１は、（図１０のＳＴ１２で）入力されたユーザの挙動に基づいて、現在の関心対象が、過去に出力されたコンテンツであるかを判別しようとする（ＳＴ１４１）。この判別は、例えば、「さっき」や「前に」などといった時間的に過去を指し示すような単語が発話の中に含まれるか否かを判定することで行う。その他に、提示されている情報をユーザの指先でクリックするという入力動作があると、現在の関心対象が、過去に出力されたコンテンツであると解釈してもよい。
　ＣＰＵ１１は、ＳＴ１４１で現在の関心対象が過去に出力されたものでないと判断された場合（ＳＴ１４２，Ｎｏ）、当該ユーザの挙動が新規情報検索を指示するものと解釈し、新規情報検索の処理を実行する（ＳＴ１４７）。
　新規情報検索の処理としては、ＳＴ１３で抽出したキーワードに基づいて、ウェブサイトやその他のデータベース（写真ストレージやユーザの健康状態を記録したライフログなどを含む）を検索する。
　ＣＰＵ１１は、ＳＴ１４１で現在の関心対象が過去に出力されたものであると判断された場合（ＳＴ１４２，Ｙｅｓ）、ＳＴ１３で抽出したキーワードと、ユーザの挙動に基づいて、過去に提示された複数の情報Ｉ（ｘ）の中から、現在の関心対象に該当するコンテンツを検索する（ＳＴ１４３）。本実施形態では、「過去に提示された複数の情報Ｉ（ｘ）」の一例として、情報Ｉ全体、つまり、提示済みのすべての情報をＳＴ１４３における検索対象とする。
　続いて、ＣＰＵ１１は、ＳＴ１４３で検索された情報Ｉ（ｘ）を抽出する（ＳＴ１４４）。ＣＰＵ１１は抽出した情報Ｉ（ｘ）にフォーカスを移す（ＳＴ１４６）が、本実施形態ではその前に、情報Ｉ（ｘ）がポイントする検索対象を絞り込む処理を行う（ＳＴ１４５）。
　図２１を参照しながら述べたように、情報Ｉ（ｘ）それ自体は、１又は複数のタグ付けするキーワードを含む、検索結果へのポインタである。例えば、情報Ｉ（ｘ）がウェブサイトの検索であるような場合、検索結果が１億個あるような場合も考えられる。ユーザに提示する情報が多すぎるので、ある程度の絞込みが行われる。
　なお、情報Ｉ（ｘ）がウェブサイトの検索であるような場合、タグ付けするキーワードは検索エンジンへの検索クエリとして入力するキーワードとすることができる。
　ＳＴ１４５の絞込みの具体的な態様として、本実施形態においては、ある情報Ａから提示済みの別の情報Ｂに戻る場合、情報Ａと情報Ｂに至るまでに経由した情報をタグ付けするキーワードを用いて絞込みする方法が用いられる。
　以上のように、図２２に沿った処理が行われることで、既に提示した情報へのアクセスが容易なユーザインターフェイスが提供される。また、ＣＰＵ１１が既に提示した情報にフォーカスを戻す際、絞込みを行う。これにより、情報の最適化がなされる。
（１－９．キーワードが共通する情報によるレイヤー化）
　図２１に示したように、ＣＰＵ１１は、各情報Ｉ（ｘ）をタグ付けするキーワードで管理する。このタグ付けするキーワードは、図２２のＳＴ１４７の新規情報検索の際に、検索エンジンへの検索クエリとして入力される検索キーワードが用いられてもよい。
　その他にもＣＰＵ１１は、そのような検索キーワードを汎化ないし抽象化した単語を、タグ付けするキーワードとして用いてもよい。例えば、旅先での昼食をユーザエージェントに相談しているような文脈で、「そば」や「うどん」などの発話があったとき、情報Ｉ（そば）をタグ付けするキーワードに、「そば」に加えて、そばを汎化した単語「食べ物」が設定される。
　同様に、情報Ｉ（うどん）をタグ付けするキーワードとして「うどん」と「食べ物」が設定される。そのようにすると、ＣＰＵ１１は「食べ物」というキーワードで複数の情報Ｉ（ｘ）を抽出可能になる。同じキーワードで抽出される複数の情報のまとまりを、本実施形態では「レイヤー」と呼ぶ。本実施形態に係る情報処理装置１は、特に、汎化されたキーワードで抽出される情報のレイヤーを利用する。
　図２３～図２５のレイヤーの概念図を参照しながら説明する。情報処理装置１は、ユーザの挙動に応じて図２３に示すような表示画面を生成する。ユーザエージェントアイコンＵＡＩがまず提示され、それにユーザが例えば話しかけることにより情報Ｉ（１）が提示される。その状態で例えば、さらに話しかけることにより情報Ｉ（１１）が提示される。
　本実施形態において、ＣＰＵ１１は、情報Ｉ（１）を最適化して表示する際に、情報Ｉ（１）に関係する情報、例えば、情報Ｉ（１２）や情報Ｉ（１３）もバックグラウンドで検索して保持する。図２４に示す概念図では、情報Ｉ（１１）に対して最適化表示がなされている状態において、情報Ｉ（１２）と情報Ｉ（１３）が保持されている様子を示す。図２５に示す概念図では、情報Ｉ（１１）に対して最適化表示がなされている状態において、情報Ｉ（１２）、情報Ｉ（１３）、情報Ｉ（１４）、情報Ｉ（１５）が保持されている様子を示す。
　ＣＰＵ１１はＳＴ１４７で新規情報を検索した際、検索した情報へのポインタとして情報Ｉ（ｘ）をＲＡＭ１３などに記憶して管理するが、その管理においてはタグが用いられる。ＣＰＵ１１は、タグ付けされるキーワードが共通する情報Ｉを同一のレイヤーに配置可能に管理する。
　図２４、図２５においては、ユーザエージェントアイコンＵＡＩと情報Ｉ（１）と情報Ｉ（１１）が同一のレイヤーＬ１に属するように管理される。情報Ｉ（１２）と情報Ｉ（１３）が同一のレイヤーＬ２に属するように管理される。情報Ｉ（１４）と情報Ｉ（１５）が同一のレイヤーＬ２に属するように管理される。
　限定するものではないが、本実施形態においては、ユーザエージェントアイコンＵＡＩから、フォーカスされている情報までの間に介在して、結節線で接続される情報が、「メインレイヤー」に属するように管理される。例えば、図２５において、フォーカスが情報Ｉ（１１）にあたっている場合、ユーザエージェントアイコンＵＡＩ、情報Ｉ（１）、情報Ｉ（１１）がメインレイヤーに属する。
　一方でそれ以外の情報は、サブレイヤーに属するものとして管理される。また、フォーカスが移動すると、メインレイヤーに属する情報群の入れ替えが行われる。
　さらに本実施形態においては、同じレイヤーに属する情報に対して、共通する視覚効果を施して提示する、又は、共通の枠で囲って提示するという最適化がなされた表示画面が生成される。視覚効果とは、例えば、色、透過率、太字化などが含まれる。共通の枠は、例えば図２３ないし図２５に示しているものが挙げられる。なお、視覚効果と共通の枠は、同時に適用されてもよい。
　以上に述べたような構成によれば、ユーザはレイヤーをまたいだフォーカスの移動に気づきやすくなり、過去の情報に戻ったような場合にどの情報に戻ったのかがわかりやすくなる。つまり、使いやすさが向上する。
□また、図２５において、レイヤーＬ２やＬ３に提示される情報を派生項目と呼ぶ。本実施形態において、派生項目については、関連度に応じて、第２レイヤー、第３レイヤーと奥行方向に遠ざけて保持したうえで非表示あるいは奥行度に比例して半透過させて表示する。
　これにより、各レイヤーの表示強度差によってユーザの思考を明瞭にすることができる。なお、第３レイヤー、第２レイヤーは意図的に判読不可な状態で表示することで、存在だけをユーザに認識させてもよい。
　さらに本実施形態において、外部等から取得し、提示する情報や、それに対応する表示エレメント（ＧＵＩ要素）は、常にユーザの視線方向と手指位置の関係からして視界が遮られることのないように、表示位置とレイアウトを動的に逐次変更される。こ表示画面の最適化は逐次行われる。
（２．実施例シナリオ）
　図２６ないし図３０に情報処理装置１により提示されるユーザインターフェイスの遷移例を示す。以下、実施例により情報処理装置１が提供するユーザエージェントについて説明する。
　本実施例において、情報処理装置１は、ユーザの発話に登場する名詞をタグ付けに用いるキーワードとして選択する。また、情報処理装置１は、発話における声の抑揚や発話内容に基づいてユーザエージェントに対する命令と解釈する。また、情報処理装置１は、「見たい」「行きたい」「気になる」などの肯定的な言葉が含まれた文言をユーザの思考情報としてエージェントに保持する。
　状況は、ユーザＡとユーザＢの２名がテーブル席で雑談しており、エージェントも活動しているというものである。この状況下で、以下のような２名のユーザと会話が、情報処理装置１が提供するエージェントを交えてなされる。（図２６）
・ユーザＡ発話：（雑誌の写真を見て） これ「鬼ヶ島」だって。「鬼ヶ島」って本当にあるんだね。
・ユーザＢ発話：聞いたことがあるよ。でも、場所はどの辺りだっけ？
　ここでの「鬼ヶ島」「場所」といった文言は、キーワードとして抽出される。
　ここでのユーザＢの発話は、声の抑揚や発話内容に基づいて、ＣＰＵ１１によりエージェントへの命令として認識される。
・エージェント応答： 「鬼ヶ島」の情報を出します。
・テーブル上： 「鬼ヶ島」の地図と関連写真群が表示される。（図２７）
・ユーザＡ発話： かなり遠いね。東京からはどうやって行くの？
・エージェント応答： 行き方情報を出します。
・テーブル上： 現在地から「鬼ヶ島」までの行き方情報が表示される。（図２８）
・ユーザＡ発話： 飛行機乗り継ぎで片道5時間か。普通の週末では行けないね。
・ユーザＢ発話： 夏休みに行くなら良いかもね。８月なら休みある？
・エージェント応答： ８月11日から15日まで休みがありますよ。
・テーブル上： ８月のカレンダーが表示される。（図２９）
・ユーザＢ発話： 現地３日なら悪くないね。考えておこう。
・ユーザＡ発話： まだ少し先の話だね。それよりその島で何か美味いもの食べたいね。
・ユーザＢ発話： さっきの情報に食べ物系の写真ってあったかな？
・エージェント応答： さきほどの「鬼ヶ島」関連写真を出します。
・テーブル上： 「鬼ヶ島」の関連写真群が再表示される。今度は「食べ物」に絞られている。（図３０）
　ここで、情報処理装置１は、ユーザの発話の中に「さっきの」という時間的条件が存在することを認識し、「写真」というキーワードと「さっきの」という時間的条件に基づいて、図２７で示した関連写真群を抽出する。さらに情報処理装置１は、抽出した関連写真群の中から、「食べ物」というキーワードで絞込みを行うという提示する情報の最適化を行い、表示画面（図３０）を構成する。
（３．変形実施例）
　上述の実施形態は、種々の変形実施が可能である。例えば、情報処理装置１の出力部２１の出力先の一部を変更することが可能である。例えば、図４に示したように、金銭決済処理など個人情報処理を要する操作段階では、一時的に当該操作関連要素のみを、ユーザの所有するスマートフォンなどプライベートなスマートデバイス２２の私有表示面に表示して、ユーザに操作を促し、当該操作段階の完了後は元の共有表示面上に表示場所を戻し、個人情報処理履歴を付記したうえで、以後の操作を続行する。
　すなわち、金銭決済処理、個人情報入力など、機密性の高い操作段階に於いては、一時的に操作画面を登録された個人端末画面上に送付して操作させ、当該操作の完了後、その履歴を元の共有表示面に表示する。
　この構成によれば、公共環境での操作時にも個人情報を保護することができる。金銭決済処理、個人情報入力などの操作時は、個人端末画面上に暫定移動してリレー操作させるという、共有表示面と私有表示面の併用をすることで機密保持を保証することができる。
　上述の実施形態では、テーブルや壁を表示面２０１に設定した実施例を示した。しかしながら、本開示の思想がこれらに限定されないことの例を示すことを意図して、以下、自動車の車内で本開示の思想を適用した実施形態を示す。
　図３１を参照すると、上記実施形態のさらに異なる変形例としての情報処理装置１のハードウェア構成例とその利用シーン例が示されている。同図は、自動車の車内において、安全面に配慮して助手席ユーザにＧＵＩを表示させている。つまり、当該ＧＵＩは助手席ユーザに対応するユーザエージェントのＧＵＩである。
　同図中、ＧＵＩの表示面２０１は、車のフロントガラスという曲率を持った面である。プロジェクタ１７が表示情報をプロジェクションできる領域を「表示可能領域」と呼ぶ。表示可能領域には、フロントガラスのみならず、ダッシュボードなど透明でない領域を含んでもよい。
　この利用シーン特有の課題として、強い日差しの場合、あるいはフロントガラス越しの前方風景が白色の雪景色など明るすぎる場合に、ＧＵＩをプロジェクション投影しても視認性がよくないという点が挙げられる。
　そこで、ＣＰＵ１１は、イメージセンサ１５が撮像する画像に基づいて、上記表示可能領域の内側を「表示適切領域」と「表示不適切領域」に分割する。そして、このうちの「表示適切領域」にのみＧＵＩを表示する。
　ＣＰＵ１１は、日射が照り付けていたり、前方風景が明るすぎたりするなど、コントラストが取りづらいエリアを「表示不適切領域」として判定する。他方、外観建物などによる陰などによって日光が緩和されていたり、あるいはフロントガラス越しの前方風景の明度が充分低かったりすることなどによってコントラストがとりやすいエリアを「表示適切領域」として判定する。
　なお、「表示可能領域」はフロントガラスのみならず、助手席手前のダッシュボードでもよく、ＣＰＵ１１は、日射が照りつけるなどの阻害事情がない場合には、助手席手前のダッシュボード上を「表示適切領域」とする判定を行う。
　表示面２０１の明度や色彩のセンシングはイメージセンサ１５が行うが、この構成に限定されず、車両の内部もしくは外部に専用のセンサを配置してもよい。車両の内部カメラであるイメージセンサ１５が日射状況センサも兼ねる構成に比して、専用の日射状況センサを追加する構成は、明度や色彩の判定において、より精度を向上させることができる。
　この変形例においては、ＧＵＩの配置についても、次に述べる制御を行ってもよい。イメージセンサ１５は、助手席の人の顔の位置をセンシングする。ＣＰＵ１１は、イメージセンサ１５が撮像した助手席の人の顔の位置に基づいて、ＧＵＩの表示位置（主に高さ）を助手席の人の目の高さに調整する。
　また、イメージセンサ１５や上記日照状況センサなど、車両の内部カメラや外部カメラを用いて、背景が比較的変わらない領域をセンシングし、ＣＰＵ１１がその領域の内側で、助手席に座るユーザの視点位置からの見易さに基づいて特定された「表示可能領域」内の領域を、「表示適切領域」として判定してもよい。
（４．まとめ）
　上述の実施形態や実施例においては、検索結果を時系列でシーケンシャルに保持するのではなく、各検索結果データ同士を結節点と結線で繋ぎ、さらに検索コンテキスト別（検索の分岐）、情報テーマ別、などに分類しながら、レイヤー構造を持った履歴として保持する。ユーザにはその時点で注目するテーマのレイヤーのみを見せ、結節点の移動と結線の描画アニメーションで現在注目すべき地点に誘目する。
　上記実施形態、実施例は、これにより、情報検索に最適化されていない空間においても、現在関心のある検索経路を認識することが容易になる。さらに、検索途中で過去の分岐点に戻ったり、過去分岐点から考察視点を変えて再検索したりすることなどが、（複雑なコマンドやＧＵＩを用いることなく）エージェントとの自然な対話を通じて行えるようになる。
　また、上記実施形態によれば、各種サービス固有の操作手続を代行し、ユーザは要望の表明と、結果の確認・利用に専念することができるため、複数サービスを単一の手順で利用できる。
　また、上記実施形態によれば、膨大な関連情報のうち、常にその時点で最重要のものだけに注目させることができるようになるため、ユーザの思考負荷を最小化できる。
　また、上記実施形態によれば、３Ｄレイヤー化したスクリーニング手法により、ユーザの考察経路を保持し、必要に応じ、常に最適な分岐点に戻ることが可能なインターフェイスが提供され、ユーザの再考、比較、確認を効率的に補助することができる。
　また、上記実施形態によれば、手順ラインの保持とトレースにより、利用場所に合わせ、常にユーザの眼前に最重要項目を表示し、さらに手指入力時にＧＵＩと指先を含む視野が妨げられないよう動的にレイアウト調整する。したがって、場所と状況に合わせ視認性が最適化される。
＜付記＞
　なお、本技術は以下のような構成もとることができる。
（１）
　ユーザの挙動を検出する検出部と、
　前記検出された挙動に応じて前記ユーザの現在の関心対象を判別し、当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成する制御部と、
　前記生成された表示情報を出力する出力部と、を具備し、
　前記制御部は、前記判別された関心対象の変化に応じて、前記出力部により出力された前記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、前記表示情報の表示態様を最適化する
　情報処理装置。
（２）
　前記（１）に記載の情報処理装置であって、
　前記制御部は、前記ユーザの挙動に基づいて、前記出力部により過去に出力されたコンテンツが現在の関心対象であると判別された場合、現在の関心対象であると判別された過去に出力されたコンテンツを前記表示情報に含め、当該表示情報の表示態様を最適化する
　情報処理装置。
（３）
　前記（２）に記載の情報処理装置であって、
　前記出力部は、前記出力部により過去に出力されたコンテンツにそれぞれ対応する表示エレメントを、出力された順にラインで繋がって出力されるように前記表示情報を生成する
　情報処理装置。
（４）
　前記（２）又は（３）に記載の情報処理装置であって、
　前記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツに絞込みを行うことにより前記表示情報の表示態様を最適化する
　情報処理装置。
（５）
　前記（２）から（４）のいずれかに記載の情報処理装置であって、
　前記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツに対応する表示エレメントが前記ユーザの視点の中心に来るように前記表示情報を生成する
　情報処理装置。
（６）
　前記（２）から（５）のいずれかに記載の情報処理装置であって、
　前記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツと共通するレイヤーに属するコンテンツを、現在の関心対象であると判別された過去に出力されたコンテンツと共に前記表示情報に含める
　情報処理装置。
（７）
　前記（６）に記載の情報処理装置であって、
　前記制御部は、複数のコンテンツが共通するレイヤーに属することを、視覚効果及び／又は共通の枠により示す前記表示情報を生成する
　情報処理装置。
（８）
　前記（１）から（７）のいずれかに記載の情報処理装置であって、
　前記検出部は、前記ユーザの音声を入力し、
　前記制御部は、前記検出部により入力された前記ユーザの音声を解析することによって、現在の関心対象を判別する
　情報処理装置。
（９）
　ユーザの挙動を検出する検出ステップと、
　前記検出された挙動に応じて前記ユーザの現在の関心対象を判別するステップと、
　当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成するステップと、
　前記生成された表示情報を出力するステップと、
　前記判別された関心対象の変化に応じて、前記出力部により出力された前記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、前記表示情報の表示態様を最適化するステップ
　を有する
　情報処理方法。
（１０）
　情報処理装置に、
　ユーザの挙動を検出する検出ステップと、
　前記検出された挙動に応じて前記ユーザの現在の関心対象を判別するステップと、
　当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成するステップと、
　前記生成された表示情報を出力するステップと、
　前記判別された関心対象の変化に応じて、前記出力部により出力された前記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、前記表示情報の表示態様を最適化するステップ
　を実行させるプログラム。
　１…情報処理装置
　１１…ＣＰＵ
　１２…ＲＯＭ
　１３…ＲＡＭ
　１４…バス
　１５…イメージセンサ
　１６…マイク
　１７…プロジェクタ
　１８…スピーカ
　１９…通信部
　２０…検出部
　２１…出力部
　２２…スマートデバイス
　２００…テーブル
　２０１…表示面

Claims (10)

  1. 　ユーザの挙動を検出する検出部と、
    　前記検出された挙動に応じて前記ユーザの現在の関心対象を判別し、当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成する制御部と、
    　前記生成された表示情報を出力する出力部と、を具備し、
    　前記制御部は、前記判別された関心対象の変化に応じて、前記出力部により出力された前記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、前記表示情報の表示態様を最適化する
    　情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、前記ユーザの挙動に基づいて、前記出力部により過去に出力されたコンテンツが現在の関心対象であると判別された場合、現在の関心対象であると判別された過去に出力されたコンテンツを前記表示情報に含め、当該表示情報の表示態様を最適化する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記出力部は、前記出力部により過去に出力されたコンテンツにそれぞれ対応する表示エレメントを、出力された順にラインで繋がって出力されるように前記表示情報を生成する
    　情報処理装置。
  4. 　請求項２に記載の情報処理装置であって、
    　前記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツに絞込みを行うことにより前記表示情報の表示態様を最適化する
    　情報処理装置。
  5. 　請求項２に記載の情報処理装置であって、
    　前記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツに対応する表示エレメントが前記ユーザの視点の中心に来るように前記表示情報を生成する
    　情報処理装置。
  6. 　請求項２に記載の情報処理装置であって、
    　前記制御部は、現在の関心対象であると判別された過去に出力されたコンテンツと共通するレイヤーに属するコンテンツを、現在の関心対象であると判別された過去に出力されたコンテンツと共に前記表示情報に含める
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記制御部は、複数のコンテンツが共通するレイヤーに属することを、視覚効果及び／又は共通の枠により示す前記表示情報を生成する
    　情報処理装置。
  8. 　請求項１に記載の情報処理装置であって、
    　前記検出部は、前記ユーザの音声を入力し、
    　前記制御部は、前記検出部により入力された前記ユーザの音声を解析することによって、現在の関心対象を判別する
    　情報処理装置。
  9. 　ユーザの挙動を検出する検出ステップと、
    　前記検出された挙動に応じて前記ユーザの現在の関心対象を判別するステップと、
    　当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成するステップと、
    　前記生成された表示情報を出力するステップと、
    　前記判別された関心対象の変化に応じて、前記出力部により出力された前記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、前記表示情報の表示態様を最適化するステップ
    　を有する
    　情報処理方法。
  10. 　情報処理装置に、
    　ユーザの挙動を検出する検出ステップと、
    　前記検出された挙動に応じて前記ユーザの現在の関心対象を判別するステップと、
    　当該判別された関心対象に対応するコンテンツを含む表示情報を逐次生成するステップと、
    　前記生成された表示情報を出力するステップと、
    　前記判別された関心対象の変化に応じて、前記出力部により出力された前記ユーザの過去の関心対象のコンテンツと現在の関心対象のコンテンツとを基に、前記表示情報の表示態様を最適化するステップ
    　を実行させるプログラム。
PCT/JP2017/045630 2017-02-24 2017-12-20 表示制御装置、方法及びプログラム WO2018154942A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112017007121.6T DE112017007121T5 (de) 2017-02-24 2017-12-20 Bildschirmsteuergerät, Verfahren und Programm
CN201780086699.XA CN110291498A (zh) 2017-02-24 2017-12-20 显示控制装置、方法及程序
US16/486,021 US20200050345A1 (en) 2017-02-24 2017-12-20 Display control apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017034175 2017-02-24
JP2017-034175 2017-02-24

Publications (1)

Publication Number Publication Date
WO2018154942A1 true WO2018154942A1 (ja) 2018-08-30

Family

ID=63252551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045630 WO2018154942A1 (ja) 2017-02-24 2017-12-20 表示制御装置、方法及びプログラム

Country Status (4)

Country Link
US (1) US20200050345A1 (ja)
CN (1) CN110291498A (ja)
DE (1) DE112017007121T5 (ja)
WO (1) WO2018154942A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111016820A (zh) * 2018-10-09 2020-04-17 本田技研工业株式会社 智能体系统、智能体控制方法及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018003014T5 (de) * 2017-06-16 2020-03-05 Honda Motor Co., Ltd. Erfahrung-bereitstellungssystem, erfahrung-bereitstellungsverfahren und erfahrung-bereitstellungsprogramm
US11543857B2 (en) * 2018-12-29 2023-01-03 Intel Corporation Display adjustment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022779A (ja) * 1999-07-09 2001-01-26 Nissan Motor Co Ltd 対話型情報検索装置、コンピュータを用いた対話型情報検索方法及び対話型情報検索処理を行うプログラムを記録したコンピュータ読取り可能な媒体
JP2006228134A (ja) * 2005-02-21 2006-08-31 Brother Ind Ltd コンテンツ出力システムおよびプログラム
JP2008084110A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 情報表示装置、情報表示方法及び情報表示プログラム
JP2009294790A (ja) * 2008-06-03 2009-12-17 Denso Corp 自動車用情報提供システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201407256A (zh) * 2012-08-08 2014-02-16 Phansco Corp 可攜式互動型投影顯示系統及其電子裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022779A (ja) * 1999-07-09 2001-01-26 Nissan Motor Co Ltd 対話型情報検索装置、コンピュータを用いた対話型情報検索方法及び対話型情報検索処理を行うプログラムを記録したコンピュータ読取り可能な媒体
JP2006228134A (ja) * 2005-02-21 2006-08-31 Brother Ind Ltd コンテンツ出力システムおよびプログラム
JP2008084110A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 情報表示装置、情報表示方法及び情報表示プログラム
JP2009294790A (ja) * 2008-06-03 2009-12-17 Denso Corp 自動車用情報提供システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111016820A (zh) * 2018-10-09 2020-04-17 本田技研工业株式会社 智能体系统、智能体控制方法及存储介质

Also Published As

Publication number Publication date
CN110291498A (zh) 2019-09-27
US20200050345A1 (en) 2020-02-13
DE112017007121T5 (de) 2019-11-14

Similar Documents

Publication Publication Date Title
KR102419513B1 (ko) 캡처된 이미지들과 관련된 메타 데이터 저장
KR102670848B1 (ko) 증강 현실 의인화 시스템
US11908187B2 (en) Systems, methods, and apparatus for providing image shortcuts for an assistant application
US20200310601A1 (en) Dynamic media selection menu
WO2021158692A1 (en) Using text for avatar animation
WO2020205435A1 (en) Semantic texture mapping system
US20160170710A1 (en) Method and apparatus for processing voice input
US11392213B2 (en) Selective detection of visual cues for automated assistants
US11769500B2 (en) Augmented reality-based translation of speech in association with travel
US20200412864A1 (en) Modular camera interface
US20210200426A1 (en) Expressive user icons in a map-based messaging system interface
US11513655B2 (en) Simplified user interface generation
WO2018154942A1 (ja) 表示制御装置、方法及びプログラム
US11663723B2 (en) Image segmentation system
US20230401795A1 (en) Extended reality based digital assistant interactions
WO2021202386A1 (en) Interactive messging stickers
KR20210149120A (ko) 위치 기반 증강-현실 시스템
CN110543290B (zh) 多模态响应
US20220374465A1 (en) Icon based tagging
US20220358283A1 (en) Computer implemented cognitive functioning system
US20230409174A1 (en) Home automation device control and designation
WO2023239663A1 (en) Extended reality based digital assistant interactions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898055

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17898055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP