TW201531917A - 控制裝置、控制方法及電腦程式 - Google Patents

控制裝置、控制方法及電腦程式 Download PDF

Info

Publication number
TW201531917A
TW201531917A TW103130314A TW103130314A TW201531917A TW 201531917 A TW201531917 A TW 201531917A TW 103130314 A TW103130314 A TW 103130314A TW 103130314 A TW103130314 A TW 103130314A TW 201531917 A TW201531917 A TW 201531917A
Authority
TW
Taiwan
Prior art keywords
processing system
menu
information processing
user
explanatory diagram
Prior art date
Application number
TW103130314A
Other languages
English (en)
Inventor
Tetsuo Ikeda
Takayuki Sakamoto
Tomohiro Ishii
Atsushi Izumihara
Masayuki Yamada
Yohei Fukuma
Yuzuru Kimura
Yasushi Okumura
Takashi Shibuya
Katsuya Hyodo
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201531917A publication Critical patent/TW201531917A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Projection Apparatus (AREA)
  • Digital Computer Display Output (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)
  • Stored Programmes (AREA)
  • Light Sources And Details Of Projection-Printing Devices (AREA)

Abstract

提供一種：能夠以可因應於欲將資訊作顯示之環境以及所顯示之資訊的狀況而更加適當且更有效率地來顯示資訊的方式而進行控制的資訊處理系統。 提供一種控制裝置，其係具備有：產生部，係當藉由檢測部所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸入部而使其進行被與該條件附加有對應之輸出的前述控制資訊。

Description

控制裝置、控制方法及電腦程式
本發明，係有關於控制裝置、控制方法及電腦程式。
智慧型手機或平板終端等之藉由對於觸控面板所進行之操作來顯示各種資訊的裝置，係廣泛地普及。針對平板終端，係成為亦對於畫面尺寸之大型化有所要求，並且也逐漸成為對於讓複數之使用者同時進行操作一般的使用方法有所考慮。又，作為顯示資訊之裝置，從先前技術起，係使用有投影機。
關於將資訊有效率地作顯示的技術，從先前技術起便提案有多數的技術，例如，在下述專利文獻1中，係提案有當進行資訊顯示時，使複數之視窗同時作顯示的方法。具體而言，係藉由在第1以及第2視窗之相互重複的部分處，使位在後方之視窗的顯示資訊相較於前面之視窗的顯示資訊而作更淡的顯示，來成為能夠對於兩視窗之顯示資訊作視覺辨認。
〔先前技術文獻〕 〔專利文獻〕
[專利文獻1]日本特開平8-123652號公報
當想要讓此種智慧型手機或平板終端、投影機等的裝置顯示資訊時，欲將資訊作顯示之環境和所顯示之資訊的狀況，係並非會恆常為一定。有鑑於上述事態，係要求能夠以可因應於欲將資訊作顯示之環境以及所顯示之資訊的狀況而更加適當且更有效率地來顯示資訊的方式而進行控制。
因此，在本發明中，係提供一種新穎且有所改良的控制裝置、控制方法以及電腦程式，其係能夠以可因應於欲將資訊作顯示之環境以及所顯示之資訊的狀況而更加適當且更有效率地來顯示資訊的方式而進行控制。
若依據本發明，則係提供一種控制裝置，其係具備有：產生部，係當藉由檢測部所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸出部而使其進行被與該條件附加有對應之輸出的前述控制資訊。
若依據本發明，則係提供一種控制方法，其係包含有：當所檢測出的顯示面上之狀態滿足特定之條件 的情況時，產生用以控制輸出部而使其進行被與該條件附加有對應之輸出的前述控制資訊之步驟。
若依據本發明，則係提供一種電腦程式，其係使電腦實行下述步驟：當所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸出部而使其進行被與該條件附加有對應之輸出的前述控制資訊之步驟。
如同以上所說明一般，若依據本發明，則係提供一種新穎且有所改良的控制裝置、控制方法以及電腦程式，其係能夠以可因應於欲將資訊作顯示之環境以及所顯示之資訊的狀況而更加適當且更有效率地來顯示資訊的方式而進行控制。
另外，上述之效果係並非為限定性的效果，亦能夠與上述之效果一同地，或者是代替上述之效果，而發揮在本說明書中所揭示之任意之效果或者是能夠由本說明書所掌握到之其他的效果。
100‧‧‧資訊處理系統
110‧‧‧輸入部
120‧‧‧控制部
130‧‧‧輸出部
[圖1]係為對於本發明之其中一種實施形態的資訊處理系統之構成例作展示之說明圖。
[圖2]係為對於本發明之其中一種實施形態的資訊處理系統之構成例作展示之說明圖。
[圖3]係為對於本發明之其中一種實施形態的資訊處理系統之構成例作展示之說明圖。
[圖4]係為對於本發明之其中一種實施形態的資訊處理系統之構成例作展示之說明圖。
[圖5]係為對於本發明之其中一種實施形態的資訊處理系統之功能構成例作展示之說明圖。
[圖6]係為對於本發明之其中一種實施形態的資訊處理系統100之操作狀況之例作展示之說明圖。
[圖7]係為對於應用程式之GUI之例作展示的說明圖。
[圖8]係為對於應用程式之GUI之例作展示的說明圖。
[圖9]係為對於應用程式之GUI之例作展示的說明圖。
[圖10]係為對於應用程式之GUI之例作展示的說明圖。
[圖11]係為對於應用程式之GUI之例作展示的說明圖。
[圖12]係為對於應用程式之GUI之例作展示的說明圖。
[圖13]係為對於應用程式之GUI之例作展示的說明圖。
[圖14]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖15]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖16]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖17]係為對於應用程式之GUI之例作展示的說明圖。
[圖18]係為對於應用程式之GUI之例作展示的說明圖。
[圖19]係為對於應用程式之GUI之例作展示的說明圖。
[圖20]係為對於應用程式之GUI之例作展示的說明圖。
[圖21]係為對於應用程式之GUI之例作展示的說明圖。
[圖22]係為對於應用程式之GUI之例作展示的說明圖。
[圖23]係為對於應用程式之GUI之例作展示的說明圖。
[圖24]係為對於應用程式之GUI之例作展示的說明圖。
[圖25]係為對於應用程式之GUI之例作展示的說明圖。
[圖26]係為對於應用程式之GUI之例作展示的說明圖。
[圖27]係為對於應用程式之GUI之例作展示的說明圖。
[圖28]係為對於資訊處理系統100d中之選單顯示控制例作展示之說明圖。
[圖29]係為對於資訊處理系統100d中之選單顯示控制例作展示之說明圖。
[圖30]係為對於資訊處理系統100c中之選單顯示控制例作展示之說明圖。
[圖31]係為對於資訊處理系統100a中之選單顯示控制例作展示之說明圖。
[圖32]係為對於與本發明之其中一種實施形態的資訊處理系統100協同動作之攜帶終端之動作例作展示的流程圖。
[圖33]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖34]係為對於應用程式之GUI之例作展示的說明圖。
[圖35]係為對於應用程式之GUI之例作展示的說明圖。
[圖36]係為對於應用程式之GUI之例作展示的說明圖。
[圖37]係為對於應用程式之GUI之例作展示的說明圖。
[圖38]係為對於本發明之其中一種實施形態的資訊 處理系統100之使用例作展示的流程圖。
[圖39]係為對於應用程式之GUI之例作展示的說明圖。
[圖40]係為對於應用程式之GUI之例作展示的說明圖。
[圖41]係為對於應用程式之GUI之例作展示的說明圖。
[圖42]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖43]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖44]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖45]係為對於應用程式之GUI之例作展示的說明圖。
[圖46]係為對於應用程式之GUI之例作展示的說明圖。
[圖47]係為對於應用程式之GUI之例作展示的說明圖。
[圖48]係為對於應用程式之GUI之例作展示的說明圖。
[圖49]係為對於應用程式之GUI之例作展示的說明圖。
[圖50]係為對於應用程式之GUI之例作展示的說明 圖。
[圖51]係為對於應用程式之GUI之例作展示的說明圖。
[圖52]係為對於應用程式之GUI之例作展示的說明圖。
[圖53]係為對於應用程式之GUI之例作展示的說明圖。
[圖54]係為對於應用程式之GUI之例作展示的說明圖。
[圖55]係為對於應用程式之GUI之例作展示的說明圖。
[圖56]係為對於應用程式之GUI之例作展示的說明圖。
[圖57]係為對於應用程式之GUI之例作展示的說明圖。
[圖58]係為對於應用程式之GUI之例作展示的說明圖。
[圖59]係為對於應用程式之GUI之例作展示的說明圖。
[圖60]係為對於應用程式之GUI之例作展示的說明圖。
[圖61]係為對於應用程式之GUI之例作展示的說明圖。
[圖62]係為對於應用程式之GUI之例作展示的說明 圖。
[圖63]係為對於應用程式之GUI之例作展示的說明圖。
[圖64]係為對於應用程式之GUI之例作展示的說明圖。
[圖65]係為對於應用程式之GUI之例作展示的說明圖。
[圖66]係為對於應用程式之GUI之例作展示的說明圖。
[圖67]係為對於應用程式之GUI之例作展示的說明圖。
[圖68]係為對於應用程式之GUI之例作展示的說明圖。
[圖69]係為對於應用程式之GUI之例作展示的說明圖。
[圖70]係為對於應用程式之GUI之例作展示的說明圖。
[圖71]係為對於應用程式之GUI之例作展示的說明圖。
[圖72]係為對於應用程式之GUI之例作展示的說明圖。
[圖73]係為對於應用程式之GUI之例作展示的說明圖。
[圖74]用以針對關於具體例1之使用者介面作說明 的說明圖。
[圖75]用以針對關於具體例1之使用者介面作說明的說明圖。
[圖76]用以針對關於具體例1之使用者介面作說明的說明圖。
[圖77]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖78]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖79]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖80]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖81]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖82]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖83]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖84]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖85]用以針對關於具體例2之使用者介面作說明的說明圖。
[圖86]用以針對關於具體例3之使用者介面作說明 的說明圖。
[圖87]用以針對關於具體例3之使用者介面作說明的說明圖。
[圖88]用以針對關於具體例3之使用者介面作說明的說明圖。
[圖89]用以針對關於具體例3之使用者介面作說明的說明圖。
[圖90]用以針對關於具體例3之使用者介面作說明的說明圖。
[圖91]用以針對關於具體例3之使用者介面作說明的說明圖。
[圖92]用以針對關於具體例3之使用者介面作說明的說明圖。
[圖93]用以針對關於具體例3之使用者介面作說明的說明圖。
[圖94]用以針對關於具體例4之使用者介面作說明的說明圖。
[圖95]用以針對關於具體例5之使用者介面作說明的說明圖。
[圖96]用以針對關於具體例5之使用者介面作說明的說明圖。
[圖97]用以針對關於具體例5之使用者介面作說明的說明圖。
[圖98]用以針對關於具體例6之使用者介面作說明 的說明圖。
[圖99]用以針對關於具體例6之使用者介面作說明的說明圖。
[圖100]用以針對關於具體例7之使用者介面作說明的說明圖。
[圖101]用以針對關於具體例7之使用者介面作說明的說明圖。
[圖102]用以針對關於具體例7之使用者介面作說明的說明圖。
[圖103]用以針對關於具體例7之使用者介面作說明的說明圖。
[圖104]用以針對關於具體例8之使用者介面作說明的說明圖。
[圖105]用以針對關於具體例8之使用者介面作說明的說明圖。
[圖106]用以針對關於具體例8之使用者介面作說明的說明圖。
[圖107]用以針對關於具體例8之使用者介面作說明的說明圖。
[圖108]用以針對關於具體例8之使用者介面作說明的說明圖。
[圖109]用以針對關於具體例8之使用者介面作說明的說明圖。
[圖110]用以針對關於具體例8之使用者介面作說明 的說明圖。
[圖111]用以針對關於具體例9之使用者介面作說明的說明圖。
[圖112]用以針對關於具體例9之使用者介面作說明的說明圖。
[圖113]用以針對關於具體例9之使用者介面作說明的說明圖。
[圖114]用以針對關於具體例9之使用者介面作說明的說明圖。
[圖115]用以針對關於具體例10之使用者介面作說明的說明圖。
[圖116]用以針對關於具體例10之使用者介面作說明的說明圖。
[圖117]用以針對關於具體例10之使用者介面作說明的說明圖。
[圖118]用以針對關於具體例11之使用者介面作說明的說明圖。
[圖119]用以針對關於具體例12之使用者介面作說明的說明圖。
[圖120]用以針對關於具體例12之使用者介面作說明的說明圖。
[圖121]用以針對關於具體例12之使用者介面作說明的說明圖。
[圖122]用以針對關於具體例12之使用者介面作說 明的說明圖。
[圖123]用以針對關於具體例12之使用者介面作說明的說明圖。
[圖124]用以針對關於具體例13之使用者介面作說明的說明圖。
[圖125]用以針對關於具體例13之使用者介面作說明的說明圖。
[圖126]用以針對關於具體例13之使用者介面作說明的說明圖。
[圖127]用以針對關於具體例13之使用者介面作說明的說明圖。
[圖128]係為對於紙牌輔助應用程式之具體例作展示的說明圖。
[圖129]係為對於對話輔助應用程式之具體例作展示的說明圖。
[圖130]係為對於投影面追隨應用程式之具體例作展示的說明圖。
[圖131]係為對於投影面追隨應用程式之具體例作展示的說明圖。
[圖132]係為對於投影面追隨應用程式之具體例作展示的說明圖。
[圖133]係為對於投影面追隨應用程式之具體例作展示的說明圖。
[圖134]係為對於用餐輔助應用程式之具體例作展示 的說明圖。
[圖135]係為對於用餐輔助應用程式之其他具體例作展示的說明圖。
[圖136]係為對於移動特效應用程式之具體例作展示的說明圖。
[圖137]係為對於移動特效應用程式之具體例作展示的說明圖。
[圖138]係為對於便當製作支援應用程式之具體例作展示的說明圖。
[圖139]係為對於由日常輔助應用程式所進行之使用者輔助的具體例作展示的說明圖。
[圖140]係為對於由日常輔助應用程式所進行之使用者輔助的具體例作展示的說明圖。
[圖141]係為對於由日常輔助應用程式所進行之使用者輔助的具體例作展示的說明圖。
[圖142]係為對於由日常輔助應用程式所進行之使用者輔助的具體例作展示的說明圖。
[圖143]係為對於由日常輔助應用程式所進行之使用者輔助的具體例作展示的說明圖。
[圖144]係為對於餐桌演出應用程式之具體例作展示的說明圖。
[圖145]係為對於料理推薦應用程式之具體例作展示的說明圖。
[圖146]係為對於餐皿特效應用程式之具體例作展示 的說明圖。
[圖147]係為對於房間間協同動作應用程式之具體例作展示的說明圖。
[圖148]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖149]係為對於照明映射之例作展示的說明圖。
[圖150]係為對於環境映射之例作展示的說明圖。
[圖151]係為對於將照明映射和環境映射之間附加有對應之例作展示的說明圖。
[圖152]係為對於應用程式照明對應表之例作展示的說明圖。
[圖153]係為對於照明映射以及環境映射之值之例作展示的說明圖。
[圖154]係為對於照明映射以及環境映射之值之例作展示的說明圖。
[圖155]係為對於將外光狀況反映在環境映射中的情況之例作展示的說明圖。
[圖156]係為對於照明映射以及環境映射之值之例作展示的說明圖。
[圖157]係為針對應用程式之具體例作說明的說明圖。
[圖158]係為針對應用程式之具體例作說明的說明圖。
[圖159]係為針對應用程式之具體例作說明的說明 圖。
[圖160]係為針對應用程式之具體例作說明的說明圖。
[圖161]係為針對應用程式之具體例作說明的說明圖。
[圖162]係為針對應用程式之具體例作說明的說明圖。
[圖163]係為對於GUI之例作展示的說明圖。
[圖164]係為對於GUI之例作展示的說明圖。
[圖165]係為對於GUI之例作展示的說明圖。
[圖166]係為對於GUI之例作展示的說明圖。
[圖167]係為對於GUI之例作展示的說明圖。
[圖168]係為對於GUI之例作展示的說明圖。
[圖169]係為對於GUI之例作展示的說明圖。
[圖170]係為對於GUI之例作展示的說明圖。
[圖171]係為對於GUI之例作展示的說明圖。
[圖172]係為對於GUI之例作展示的說明圖。
[圖173]係為對於GUI之例作展示的說明圖。
[圖174]係為對於GUI之例作展示的說明圖。
[圖175]係為對於GUI之例作展示的說明圖。
[圖176]係為對於GUI之例作展示的說明圖。
[圖177]係為對於GUI之例作展示的說明圖。
[圖178]係為對於GUI之例作展示的說明圖。
[圖179]係為對於GUI之例作展示的說明圖。
[圖180]係為對於GUI之例作展示的說明圖。
[圖181]係為對於GUI之例作展示的說明圖。
[圖182]係為對於GUI之例作展示的說明圖。
[圖183]係為對於GUI之例作展示的說明圖。
[圖184]係為對於GUI之例作展示的說明圖。
[圖185]係為對於要使其觸發之功能的可視性之例作展示的說明圖。
[圖186]係為對於GUI之例作展示的說明圖。
[圖187]係為對於觸發器(trigger)之組合之例作展示的說明圖。
[圖188]係為對於GUI之例作展示的說明圖。
[圖189]係為對於GUI之例作展示的說明圖。
[圖190]係為對於視窗之模式以及操作方法之例作展示的說明圖。
[圖191]係為對於視窗之模式以及操作方法之例作展示的說明圖。
[圖192]係為對於視窗之模式以及操作方法之例作展示的說明圖。
[圖193]係為對於視窗之模式以及操作方法之例作展示的說明圖。
[圖194]係為對於視窗之操作例作展示的說明圖。
[圖195]係為針對使用者之操作作展示的說明圖。
[圖196]係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。
[圖197]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖198]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖199]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖200]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖201]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖202]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖203]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖204]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖205]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖206]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖207]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖208]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖209]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖210]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖211]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖212]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖213]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖214]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖215]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖216]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖217]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖218]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖219]係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。
[圖220]係為對於當視窗被放置在投影面上之實際的物體所干涉的情況時之顯示控制例作展示的說明圖。
[圖221]係為對於資訊之顯示例作展示的說明圖。
[圖222]係為對於GUI之例作展示的說明圖。
[圖223]係為對於GUI之例作展示的說明圖。
[圖224]係為對於GUI之例作展示的說明圖。
[圖225]係為對於GUI之例作展示的說明圖。
[圖226]係為對於GUI之例作展示的說明圖。
[圖227]係為對於GUI之例作展示的說明圖。
[圖228]係為對於GUI之例作展示的說明圖。
[圖229]係為對於GUI之例作展示的說明圖。
[圖230]用以針對使用者介面之概要作說明的說明圖。
[圖231]用以針對使用者介面之概要作說明的說明圖。
[圖232]用以針對使用者位置推測功能之其中一例作說明的說明圖。
[圖233]用以針對使用者位置推測功能之其中一例作說明的說明圖。
[圖234]用以針對使用者位置推測功能之其中一例作說明的說明圖。
[圖235]用以針對使用者位置推測功能之其中一例作說明的說明圖。
[圖236]用以針對使用者位置推測功能之其中一例作說明的說明圖。
[圖237]用以針對使用者位置推測功能之其中一例作 說明的說明圖。
[圖238]用以針對使用者介面之其中一例作說明的說明圖。
[圖239]用以針對使用者介面之其中一例作說明的說明圖。
[圖240]用以針對使用者介面之其中一例作說明的說明圖。
[圖241]用以針對使用者介面之其中一例作說明的說明圖。
[圖242]用以針對使用者介面之其中一例作說明的說明圖。
[圖243]用以針對使用者介面之其中一例作說明的說明圖。
[圖244]用以針對使用者介面之其中一例作說明的說明圖。
[圖245]用以針對使用者介面之其中一例作說明的說明圖。
[圖246]用以針對使用者介面之其中一例作說明的說明圖。
[圖247]用以針對使用者介面之其中一例作說明的說明圖。
[圖248]用以針對使用者介面之其中一例作說明的說明圖。
[圖249]用以針對使用者介面之其中一例作說明的說 明圖。
[圖250]用以針對使用者介面之其中一例作說明的說明圖。
[圖251]用以針對使用者介面之其中一例作說明的說明圖。
[圖252]用以針對使用者介面之其中一例作說明的說明圖。
[圖253]用以針對使用者介面之其中一例作說明的說明圖。
[圖254]用以針對使用者介面之其中一例作說明的說明圖。
[圖255]用以針對使用者介面之其中一例作說明的說明圖。
[圖256]用以針對使用者介面之其中一例作說明的說明圖。
[圖257]用以針對使用者介面之其中一例作說明的說明圖。
[圖258]用以針對使用者介面之其中一例作說明的說明圖。
[圖259]用以針對使用者介面之其中一例作說明的說明圖。
[圖260]用以針對使用者介面之其中一例作說明的說明圖。
[圖261]用以針對使用者介面之其中一例作說明的說 明圖。
[圖262]用以針對使用者介面之其中一例作說明的說明圖。
[圖263]用以針對使用者介面之其中一例作說明的說明圖。
[圖264]用以針對使用者介面之其中一例作說明的說明圖。
[圖265]用以針對使用者介面之其中一例作說明的說明圖。
[圖266]對於在資訊處理系統中所實行的顯示控制處理之流程的其中一例作展示之流程圖。
[圖267]用以針對使用者介面之概要作說明的說明圖。
[圖268]對於資訊處理系統之邏輯性的構成之其中一例作展示之區塊圖。
[圖269]用以對於實際物件辨識功能之其中一例作說明的說明圖。
[圖270]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖271]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖272]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖273]用以對於顯示區域決定處理之其中一例作說 明的說明圖。
[圖274]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖275]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖276]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖277]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖278]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖279]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖280]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖281]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖282]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖283]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖284]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖285]用以對於顯示區域決定處理之其中一例作說 明的說明圖。
[圖286]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖287]用以對於顯示區域決定處理之其中一例作說明的說明圖。
[圖288]對於在資訊處理系統中所實行的顯示控制處理之流程的其中一例作展示之流程圖。
[圖289]對於在資訊處理系統中所實行的顯示區域決定處理之流程的其中一例作展示之流程圖。
[圖290]對於在資訊處理系統中所實行的顯示區域決定處理之流程的其中一例作展示之流程圖。
[圖291]對於資訊處理系統之邏輯性的構成之其中一例作展示之區塊圖。
[圖292]用以針對投影倍率之算出處理作說明的說明圖。
[圖293]用以針對使用者介面之其中一例作說明的說明圖。
[圖294]用以針對使用者介面之其中一例作說明的說明圖。
[圖295]用以針對使用者介面之其中一例作說明的說明圖。
[圖296]用以針對使用者介面之其中一例作說明的說明圖。
[圖297]用以針對使用者介面之其中一例作說明的說 明圖。
[圖298]對於在資訊處理系統中所實行的顯示控制處理之流程的其中一例作展示之流程圖。
[圖299]用以針對使用者介面之其中一例作說明的說明圖。
[圖300]用以針對使用者介面之其中一例作說明的說明圖。
[圖301]用以針對使用者介面之其中一例作說明的說明圖。
[圖302]用以針對使用者介面之其中一例作說明的說明圖。
[圖303]用以針對使用者介面之其中一例作說明的說明圖。
[圖304]用以針對使用者介面之其中一例作說明的說明圖。
[圖305]用以針對使用者介面之其中一例作說明的說明圖。
[圖306]用以針對使用者介面之其中一例作說明的說明圖。
[圖307]用以針對使用者介面之其中一例作說明的說明圖。
[圖308]用以針對使用者介面之其中一例作說明的說明圖。
[圖309]用以針對使用者介面之其中一例作說明的說 明圖。
[圖310]用以針對使用者介面之其中一例作說明的說明圖。
[圖311]用以針對使用者介面之其中一例作說明的說明圖。
[圖312]用以針對使用者介面之其中一例作說明的說明圖。
[圖313]用以針對使用者介面之其中一例作說明的說明圖。
[圖314]用以針對使用者介面之其中一例作說明的說明圖。
[圖315]用以針對使用者介面之其中一例作說明的說明圖。
[圖316]對於在資訊處理系統中所實行的顯示控制處理之流程的其中一例作展示之流程圖。
[圖317]對於在資訊處理系統中所實行的顯示控制處理之流程的其中一例作展示之流程圖。
[圖318]對於硬體構成例作展示的說明圖。
以下，參考所添附之圖面，針對本發明之合適之實施形態作詳細說明。另外，在本說明書以及圖面中，針對實質性具有相同之功能構成的構成要素，係藉由附加相同之元件符號而省略重複之說明。
另外，係依照以下之順序而進行說明。
〈1.本發明之其中一種實施形態〉
〔1.1.系統構成例〕
〔1.2.功能構成例〕
〔1.3.顯示控制例〕
〈2.使用者介面之具體例〉
〈3.硬體構成例〉
〈4.總結〉
〈1.本發明之其中一種實施形態〉 〔1.1.系統構成例〕
首先，參考圖面，針對本發明之其中一種實施形態的資訊處理系統之構成例作說明。圖1，係為對於本發明之其中一種實施形態的資訊處理系統之構成例作展示之說明圖。以下，使用圖1，針對本發明之其中一種實施形態的資訊處理系統之構成例作說明。
如圖1中所示一般，本發明之其中一種實施形態的資訊處理系統100a，係包含有輸入部110a、和輸出部130a，而構成之。圖1中所示之本發明之其中一種實施形態之資訊處理系統100a，係為在桌140a之頂面上顯示資訊，並讓使用資訊處理系統100a之使用者對於顯示在桌140a上之資訊而進行操作的系統。將圖1中所示一般之在桌140a之頂面上顯示資訊的方式，亦稱作「投影型」。
輸入部110a，係為將使用資訊處理系統100a之使用者的操作內容或者是放置在桌140a上之物體的形狀和模樣等作輸入之裝置。在圖1所示之例中，輸入部110a，係在桌140a之上方，以例如從天花板而吊下的狀態來設置。亦即是，輸入部110a，係與成為被顯示有資訊之對象的桌140a相互分離地來設置。作為輸入部110a，例如係可使用藉由1個的鏡頭來對於桌140a進行攝像之攝像機或是藉由2個的鏡頭來對於桌140a進行攝像而能夠記錄深度方向之資訊的立體攝像機、用以對於使用資訊處理系統100a之使用者所發出的語音和資訊處理系統100a所被放置之環境的環境音進行收音之麥克風等。
作為輸入部110a，當使用藉由1個的鏡頭來對於桌140a進行攝像之攝像機的情況時，資訊處理系統100a，係能夠藉由對於以該攝像機所攝像了的畫像進行解析，來將被放置在桌140a上之物體檢測出來。又，當作為輸入部110a而使用立體攝像機的情況時，在該立體攝像機中，例如係可使用可視光攝像機或紅外線攝像機等。藉由作為輸入部110a而使用立體攝像機，輸入部110a係成為能夠取得深度資訊。輸入部110a，係藉由取得深度資訊，而使資訊處理系統100a成為例如能夠進行被放置在桌140a之上的手或物體之檢測。又，輸入部110a，係藉由取得深度資訊，而使資訊處理系統100a成為能夠進行使用者的手之對於桌140a之接觸、接近的檢測以及手 之從桌140a的脫離之檢測。另外，在以下之說明中，係亦將使用者對於資訊之顯示面而以手等之操作體來作了接觸或者是接近的情形，單純總稱為「接觸」。
又，當作為輸入部110a而使用麥克風的情況時，該麥克風係可使用用以對於特定之方向的聲音進行收音之麥克風陣列。當作為輸入部110a而使用麥克風陣列的情況時，資訊處理系統100a，係亦可將麥克風陣列之收音方向調整至任意之方向。
以下，主要係針對從藉由輸入部110a所攝像了的畫像來檢測出使用者之操作的情況來進行說明，但是本發明係並不被限定於此例。使用者之操作，係亦可藉由將使用者之手指等的接觸檢測出來之觸控面板來進行檢測。又，作為輸入部110a所能夠取得之使用者操作，除此之外，係亦可包含有例如對於資訊之顯示面所進行的觸控筆操作、對於攝像機所進行之手勢操作等。
輸出部130a，係為因應於藉由輸入部110a所輸入之使用資訊處理系統100a之使用者的操作內容、輸出部130a所正在輸出之資訊的內容、放置在桌140a上之物體的形狀和模樣等的資訊，而在桌140a上顯示資訊或者是輸出聲音的裝置。作為輸出部130a，例如係使用投影機或揚聲器等。在圖1所示之例中，輸出部130a，係在桌140a之上方，以例如從天花板而吊下的狀態來設置。當輸出部130a為藉由投影機來構成的情況時，輸出部130a，係對於桌140a之頂面投影資訊。當輸出部130a 為藉由揚聲器來構成的情況時，輸出部130a，係基於聲音訊號來輸出聲音。當輸出部130a為藉由揚聲器來構成的情況時，揚聲器之數量係可為1個，亦可為複數。當輸出部130a為藉由複數之揚聲器來構成的情況時，資訊處理系統100a，係亦可對於輸出聲音之揚聲器作限定，或者是對於輸出聲音之方向進行調整。
又，當資訊處理系統100a乃身為圖1中所示一般之投影型的情況時，在輸出部130a，係亦可包含有照明機器。當在輸出部130a中包含有照明機器的情況時，資訊處理系統100a，係亦可基於藉由輸入部110a所輸入了的資訊之內容，來對於照明機器之點燈、熄燈等的狀態作控制。
使用資訊處理系統100a之使用者，係能夠對於輸出部130a所顯示在桌140a上之資訊，來將手指等放置在桌140a上並進行操作。又，使用資訊處理系統100a之使用者，係能夠藉由將物體放置在桌140a上並使輸入部110a辨識出來，而實行關連於該被辨識出之物體的各種操作。
另外，在圖1中雖並未圖示，但是在資訊處理系統100a處，係亦可連接有其他之裝置。例如，在資訊處理系統100a處，係亦可連接用以照亮桌140a之照明機器。藉由在資訊處理系統100a處連接用以照亮桌140a之照明機器，資訊處理系統100a，係成為能夠因應於資訊之顯示面的狀態來對於照明機器之點燈狀態作控制。
在本發明中，資訊處理系統之形態係並不被限定於圖1中所示者。圖2~圖4，係為對於本發明之其中一種實施形態的資訊處理系統之又另外一種形態之例作展示之說明圖。
圖2中所示者，係為對於本發明之其中一種實施形態的資訊處理系統100b之構成例作展示之說明圖，並為構成為藉由使輸出部130a從桌140b之下方來照射資訊而在桌140b之表面上顯示資訊者。。亦即是，在圖2中所示之資訊處理系統100b處，資訊之顯示面係成為桌140b之頂面。桌140b之面，係藉由玻璃板或透明塑膠板等之透明的材質而形成。將圖2中所示一般之使輸出部130a從桌140b之下方來照射資訊並在桌140b之頂面上顯示資訊的方式，亦稱作「背面投影型」。在圖2所示之例中，雖係針對在桌140b之表面上設置有輸入部110b的構成而作了展示，但是，係亦能夠與圖1中所示之資訊處理系統100a相同的，將輸入部110b，在桌140b之下方而與桌140b相互分離地作設置。
圖3中所示者，係為對於本發明之其中一種實施形態的資訊處理系統100c之構成例作展示之說明圖。在圖3中，係對於在桌上放置有觸控面板式之顯示器的狀態作展示。在如此這般之觸控面板式之顯示器的情況時，輸入部110c以及輸出部130c，係可作為觸控面板式之顯示器來構成。亦即是，在圖3中所示之資訊處理系統100c處，資訊之顯示面係成為觸控面板式之顯示器。在 圖3中所示之資訊處理系統100c處，與圖1中所示之資訊處理系統100a相同的，亦可在觸控面板式之顯示器的上方，設置用以檢測出使用者之位置的攝像機。
圖4中所示者，係為對於本發明之其中一種實施形態的資訊處理系統100d之構成例作展示之說明圖。在圖4中，係對於在桌上放置有平面面板式之顯示器的狀態作展示。亦即是，在圖4中所示之資訊處理系統100d處，資訊之顯示面係成為平面面板式之顯示器。在如此這般之平面面板式之顯示器的情況時，輸入部110d以及輸出部130d，係可作為平面面板式之顯示器來構成。在此圖4中所示之平面面板式之顯示器處，係亦可設置有觸控面板。
另外，在以下之說明中，係以如同圖1中所示一般之在桌140a之上方設置有輸入部110a以及輸出部130a的資訊處理系統100a之構成、亦即是與資訊之顯示面相互分離地而設置輸入部110a以及輸出部130a之構成為例，來進行說明。在以下之說明中，係亦將資訊處理系統100a、輸入部110a、輸出部130a，單純稱作資訊處理系統100、輸入部110、輸出部130來作說明。
〔1.2.功能構成例〕
接著，針對本發明之其中一種實施形態的資訊處理系統之功能構成例作說明。圖5，係為對於本發明之其中一種實施形態的資訊處理系統之功能構成例作展示之說明 圖。以下，使用圖5，針對本發明之其中一種實施形態的資訊處理系統之功能構成例作說明。
如圖5中所示一般，本發明之其中一種實施形態的資訊處理系統100，係包含有輸入部110、和控制部120、和輸出部130，而構成之。
輸入部110，係將使用資訊處理系統100之使用者的對於資訊處理系統100所進行之操作內容或者是被放置在輸出部130所將資訊作輸出之面(例如圖1中所示之桌140a)上之物體的形狀和模樣等作輸入。在使用資訊處理系統100之使用者的對於資訊處理系統100所進行之操作內容中，係包含有對於資訊處理系統100所輸出至資訊之顯示面上的GUI而進行之操作內容。輸入部110所輸入了的對於資訊處理系統100所進行之操作內容和物體之形狀、模樣等的資訊，係被送至控制部120處。
輸入部110，當資訊處理系統100乃身為投影型的情況時，例如係可藉由以1個鏡頭所構成之攝像機、以2個鏡頭所構成之立體攝像機、麥克風等，來構成之。
控制部120，係實行資訊處理系統100之各部的控制。例如，控制部120，係使用輸入部110所輸入了的資訊，來產生從輸出部130所輸出之資訊。如圖5中所示一般，控制部120，係包含有檢測部121、和輸出控制部122，而構成之。檢測部121，係實行將使用資訊處理系統100之使用者的對於資訊處理系統100所進行之操作內容、輸出部130所正在輸出之資訊的內容、被放置在輸 出部130所將資訊作輸出之面(例如圖1中所示之桌140a)上之物體的形狀和模樣等檢測出來之處理。檢測部121所檢測出的內容，係被送至輸出控制部122處。輸出控制部122，係實行基於檢測部121所檢測出的內容來產生從輸出部130所輸出之資訊的控制。輸出控制部122所產生的資訊，係被送至輸出部130處。
例如當資訊處理系統100乃身為圖1中所示之投影型的情況時，藉由以使資訊之顯示面的座標和使用者之手等的對於操作體之顯示面的接觸座標會相互一致的方式而進行預先校正，檢測部121，係成為能夠檢測出使用者之手等的操作體是與GUI之何者的部份作了接觸。
控制部120，例如係亦可藉由CPU(Central Processing Unit：中央演算處理裝置)等來構成之。當控制部120為藉由CPU等之裝置來構成的情況時，該裝置係可藉由電子電路來構成。
又，在圖5中雖並未圖示，但是，控制部120，係亦可具備有用以在其與其他裝置之間進行無線通訊之通訊功能和對於被連接在資訊處理系統100處之其他的裝置(例如照明機器)之動作進行控制之功能。
輸出部130，係為因應於藉由輸入部110所輸入之使用資訊處理系統100之使用者的操作內容、輸出部130所正在輸出之資訊的內容、或者是放置在輸出部130所輸出資訊之面(例如圖1中所示之桌140a)上之物體的形狀和模樣等的資訊，而輸出資訊。輸出部130，係基 於輸出控制部122所產生的資訊而輸出資訊。在輸出部130所輸出之資訊中，係包含有被顯示在資訊之顯示面上的資訊或從揚聲器(未圖示)等所輸出之聲音等。
圖5中所示之資訊處理系統100，係可作為單獨之裝置來構成，亦能夠將一部分或者是全部藉由相異之裝置來構成。例如，在圖5所示之資訊處理系統100的功能構成例中，控制部120，係亦可為在藉由網路等而與輸入部110以及輸出部130作了連接的伺服器等之裝置中所具備者。當控制部120為被伺服器等之裝置所具備的情況時，從輸入部110而來之資訊係透過網路等而被送訊至該伺服器等之裝置處，控制部120係對於從輸入部110而來之資訊而進行處理，並從該伺服器等之裝置而將用以讓輸出部130進行輸出之資訊透過網路等來送至輸出部130處。
以上，係使用圖5而針對本發明之其中一種實施形態的資訊處理系統100之功能構成例作了說明。接著，針對由本發明之其中一種實施形態的資訊處理系統100所進行之資訊的顯示控制例作說明。
〔1.3.顯示控制例〕
圖6，係為對於本發明之其中一種實施形態的資訊處理系統100之操作狀況之例作展示之說明圖。如圖6中所示一般，本發明之其中一種實施形態的資訊處理系統100，係為以能夠讓複數之使用者在例如被顯示於桌140a 處之相同的畫面上而實行相互獨立之應用程式的方式所構成之系統。圖6中所示之應用程式的GUI(Graphical User Interface)，係由輸出控制部122所產生，並由輸出部130所輸出。圖6中所示之元件符號1100，係為用以操作應用程式之選單鍵。
本發明之其中一種實施形態的資訊處理系統100，係藉由輸入部110，而取得使用者之對於輸出部130所輸出至資訊的顯示面上的應用程式之GUI而進行之操作內容。資訊處理系統100，係藉由讓使用者對於該顯示面而以手等之操作體來進行接觸或者是使作了接觸之該操作體在顯示面上進行移動，而接收輸出部130所輸出至資訊的顯示面上的應用程式之GUI之操作。
圖7以及圖8，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示之應用程式的GUI之例作展示之說明圖。圖7，係為以應用程式之視窗的角隅(在圖7之例中，係為左隅)作為中心而以扇形來將按鍵作了配置的GUI之例。圖8，係為沿著應用程式之視窗的其中一邊(在圖8之例中，係為下邊)而將按鍵作了配置的GUI之例。圖7中所示之元件符號1100，係為用以操作應用程式之選單鍵。又，圖7中所示之元件符號1110，係為當使用者對於元件符號1100所代表之選單鍵作了接觸時而會被顯示、或者是從最初即會被顯示的用以操作應用程式之選單鍵群。同樣的，圖8中所示之元件符號1100'，係為用以操作應用程式之選單鍵。又，圖8中 所示之元件符號1110'，係為當使用者對於元件符號1100'所代表之選單鍵作了接觸時而會被顯示、或者是從最初即會被顯示的用以操作應用程式之選單鍵群。
在使用者以手指等來對於選單鍵群1110中之任意之選單鍵作了接觸的狀態下，若是使用者將該手指等在資訊之顯示面上而沿著選單鍵群1110之排列來作移動，則資訊處理系統100，係將選單鍵群1110以追隨於該使用者之操作而以選單鍵1100作為中心來旋轉的方式而作顯示。
圖9以及圖10，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示之應用程式的GUI之例作展示之說明圖，並為對於被顯示有複數之視窗的狀態作展示的說明圖。在圖9以及圖10中，係展示被顯示有全體選單和局部選單的情況時之模樣，該全體選單，係身為用以讓使用者啟動資訊處理系統100所實行之應用程式的選單，該局部選單，係身為用以讓使用者對於所啟動了的應用程式進行操作之選單。在圖9中，係展示有將全體選單以及局部選單藉由以扇形來作顯示之按鍵形式而作顯示的例子，在圖10中，係展示有將全體選單以及局部選單以工具條形式來作顯示的例子。另外，在圖9中，全體選單係為選單鍵1100a以及選單鍵群1110a，局部選單係為選單鍵1100b以及選單鍵群1110b。又，在圖10中，全體選單係為選單鍵1100'以及選單鍵群1110'。
圖11~圖13，係為對於本發明之其中一種實 施形態的資訊處理系統100所顯示之應用程式的GUI之例作展示之說明圖。圖11之元件符號A，係為用以啟動攝像機應用程式的按鍵圖符1101之例，元件符號B，係為用以將資訊處理系統100所管理的資料讀入之按鍵圖符1101之例，元件符號C，係為代表資料夾之按鍵圖符1101之例。若是使用者選擇圖11之元件符號B所代表的用以將資訊處理系統100所管理的資料讀入之按鍵圖符1101，則資訊處理系統100，係將該資料讀入，並實行與該資料之種類相對應的動作。若是該資料係為畫像資料，則資訊處理系統100，係將該畫像資料從輸出部130而輸出。若是該資料係為樂曲資料，則資訊處理系統100，係將該樂曲資料從輸出部130而再生。
圖12，係為對於當資訊處理系統100之使用者選擇了圖11之元件符號A所代表的用以啟動攝像機應用程式的按鍵圖符1101時的顯示例作展示之說明圖。又，圖13，係為對於當資訊處理系統100之使用者選擇了選單鍵1100時的顯示例作展示之說明圖。在圖13所示之例中，若是選單鍵1100被使用者所選擇，則係顯示用以實行隸屬於選單鍵1100之功能的選單鍵群1110。
本發明之其中一種實施形態之資訊處理系統100，當想要輸出此種GUI的情況時，起因於其他之視窗的位置，或者是起因於資訊之顯示面的狀態、例如圖1中所示之被放置在桌140a上之物體的狀態，若是藉由預先所設定之初期狀態來顯示選單，則有可能會發生各種的問 題。例如，若是視窗之位置超出至顯示區域之外，則會出現無法被選擇的選單。又，起因於被其他之視窗所覆蓋並隱藏一事，會有若是使用者並不進行將視窗移動至最前面之操作則會出現無法被選擇的選單之情況。又，如同圖6一般，本發明之其中一種實施形態之資訊處理系統100，由於使用者係能夠從各種方向來對於選單進行操作，因此，依存於使用者之位置或方向，會有使用者與選單間之距離變遠而導致使用者難以進行觸碰的情況。又，當如同圖1一般而從輸出部130a來在桌140a上顯示資訊的情況時，若是選單重疊於物體所被放置在桌140a上之場所，則會變得無法對於選單進行操作。
因此，本發明之其中一種實施形態的資訊處理系統100，係檢測出其他之視窗的位置和資訊之顯示面的狀態，並基於該檢測結果來對於選單之位置作控制。具體而言，本發明之其中一種實施形態的資訊處理系統100，例如係檢測出被放置在圖1中所示之桌140a或圖2中所示之桌140b上的物體之狀態，並基於該檢測結果來對於選單之位置作控制。藉由檢測出資訊之顯示面的狀態並基於該檢測結果來對於選單之位置作控制，本發明之其中一種實施形態的資訊處理系統100，係成為能夠因應於欲將資訊作顯示之環境，來適當且有效率地顯示資訊。以下，針對由本發明之其中一種實施形態的資訊處理系統100所進行之選單之位置之控制方法作說明。
圖14~圖16，係為對於本發明之其中一種實 施形態的資訊處理系統100之動作例作展示的流程圖。圖14~圖16中所示者，係為當檢測出其他之視窗的位置和資訊之顯示面的狀態，並基於該檢測結果來對於選單之位置作控制時的資訊處理系統100之動作例。以下，使用圖14~圖16，針對本發明之其中一種實施形態的資訊處理系統100之動作例作說明。
資訊處理系統100之使用者，若是實行用以顯示選單之特定的操作，則資訊處理系統100，係將顯示該選單之選單移動目標，設定於現在的選單位置處(步驟S1001)。步驟S1001之處理，例如係由輸出控制部122來實行。接著，資訊處理系統100，係判斷因應於使用者之操作所顯示的視窗之狀態，是否與選單位置有所關連(步驟S1002)。此判斷，例如係由檢測部121來實行。具體而言，在步驟S1002中，資訊處理系統100，係實行對於視窗是否有被最大化一事的判定，若是視窗有被最大化，則判定視窗之狀態乃是與選單位置有所關連。另外，所謂視窗被最大化，係指將視窗以能夠藉由輸出部130所顯示之最大的範圍來作了顯示。
在步驟S1002之判斷的結果中，若是因應於使用者之操作所顯示的視窗之狀態，乃是與選單位置有所關連(步驟S1002，Yes)，亦即是視窗乃被作了最大化，則接下來，資訊處理系統100係因應於視窗之狀態，來實行對於在步驟S1001中所設定了的選單位置施加偏位之處理(步驟S1003)。亦即是，資訊處理系統100，係 對於在步驟S1001中所設定了的選單位置，而賦予會使選單位置以特定量來靠向視窗之內側的偏位。步驟S1003之處理，例如係由輸出控制部122來實行。
圖17，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示的說明圖，並為對於資訊處理系統100所顯示之應用程式的視窗為被作了最大化的狀態作展示者。具體而言，由於係身為使視窗作了最大化的狀態，因此，在步驟S1003中，如同圖17中所示一般，係藉由資訊處理系統100，來實行使選單鍵1100之位置朝向視窗之內側來作特定量之移動的處理。另一方面，在步驟S1002之判斷的結果中，若是因應於使用者之操作所顯示的視窗之狀態，並非為與選單位置有所關連(步驟S1002，No)，亦即是視窗並未被作最大化，則資訊處理系統100，係跳過步驟S1003之處理。
接著，資訊處理系統100，係判斷在步驟S1001中所設定的選單移動目標，是否位於畫面之內部、亦即是是否位於能夠藉由輸出部130而顯示的畫面之內部(步驟S1004)。此判斷，例如係由檢測部121來實行。
圖18，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示的說明圖，並為針對選單是否位在畫面內部一事作展示的說明圖。在圖18中，以虛線所示之圓，係為當選單鍵1100之選單移動目標為位在畫面外 部、亦即是位在能夠藉由輸出部130所顯示的畫面之外部的情況時之選單移動目標之例，以實線所示之圓，係為當選單鍵1100之選單移動目標為位在畫面內部、亦即是位在能夠藉由輸出部130所顯示的畫面之內部的情況時之選單移動目標之例。
若是在步驟S1001中所設定的選單移動目標乃是位在畫面內部(步驟S1004，Yes)，則接下來，資訊處理系統100，係判斷在步驟S1001中所設定了的選單移動目標是否會被資訊處理系統100所顯示之其他的視窗所覆蓋(步驟S1005)。此判斷，例如係由檢測部121來實行。
圖19，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示的說明圖，並為針對選單鍵1100是否身為被資訊處理系統100所顯示之其他的視窗而覆蓋的狀態一事來作展示之說明圖。在圖19中，以虛線所示之圓，係為當選單鍵1100為被其他的視窗所覆蓋的情況時之選單移動目標之例，以實線所示之圓，係為當選單鍵1100並未被其他之視窗所覆蓋的情況時之選單移動目標之例。
若是在步驟S1001中所設定的選單移動目標並未被資訊處理系統100所顯示之其他的視窗所覆蓋(步驟S1005，Yes)，則接下來，資訊處理系統100，係判斷在步驟S1001中所設定了的選單移動目標是否因應於使用 者之位置或使用者之操作方向而位於適當的位置(步驟S1006)。具體而言，資訊處理系統100，係對於在步驟S1001中所設定了的選單移動目標與使用者之位置或者是使用者之操作方向作比較，並判斷在步驟S1001中所設定了的選單移動目標是否因應於使用者之位置或使用者之操作方向而位於適當的位置。此判斷，例如係由檢測部121來實行。
圖20，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示的說明圖，並為針對在步驟S1001中所設定了的選單移動目標是否因應於使用者之位置或使用者之操作方向而位於適當的位置一事作展示的說明圖。在圖20中，以虛線所示之圓，係為由於選單鍵1100之移動目標距離使用者之位置而為遠，因此選單鍵1100之移動目標係並非因應於使用者之位置或使用者之操作方向(從畫面下而朝上之方向)而位於適當的位置的情況之例，以實線所示之圓，係為由於選單鍵1100之移動目標距離使用者之位置而為近，因此選單鍵1100之移動目標係因應於使用者之位置或使用者之操作方向(從畫面下而朝上之方向)而位於適當的位置的情況之例。
若是在步驟S1006中之判斷的結果，於步驟S1001中所設定的選單移動目標係因應於使用者之位置或使用者之操作方向而位於適當的位置(步驟S1006，Yes)，則接下來，資訊處理系統100，係判斷在步驟 S1001中所設定了的選單移動目標，是否有與被放置在資訊處理系統100所顯示之資訊的顯示面上之物體相互干涉(步驟S1007)。此判斷，例如係由檢測部121來實行。作為資訊處理系統100所顯示的資訊之顯示面，例如，係可列舉出在圖1中所示之桌140a之頂面。所謂選單移動目標為與物體相互干涉，於此係指選單移動目標為與物體之至少一部分相互重疊。
圖21，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示的說明圖，並為針對在步驟S1001中所設定了的選單鍵1100移動目標是否與被放置在資訊之顯示面上的物體1200相互干涉一事作展示的說明圖。在圖21中，以虛線所示之圓，係為當選單鍵1100之移動目標為與被放置在資訊之顯示面上的物體1200相互干涉的情況之例，以實線所示之圓，係為當選單鍵1100之移動目標並未與被放置在資訊之顯示面上的物體1200相互干涉的情況之例。另外，檢測部121，當如同以虛線所示之圓一般，選單鍵1100之移動目標為與被放置在資訊之顯示面上的物體1200相互重疊的情況時，係可構成為將其一律判斷為有所干涉，亦可構成為就算是當選單鍵1100之移動目標為與被放置在資訊之顯示面上的物體1200相互重疊的情況時，若是該選單鍵1100之移動目標為位置在物體1200之平面上，則判斷為選單移動目標係並未與被放置在資訊之顯示面上的物體相互干涉。
當於步驟S1001中所設定的選單移動目標並未與被放置在資訊之顯示面上之物體相互干涉的情況時(步驟S1007，Yes)，資訊處理系統100，係將由使用者所叫出之選單移動至在步驟S1001中所設定了的選單移動目標處(步驟S1008)。步驟S1008之處理，例如係由輸出控制部122來實行。
另一方面，當在上述步驟S1004~S1007之判斷中，至少其中一者並未滿足條件的情況時(步驟S1004~S1007，No)，則接下來，資訊處理系統100，係判斷是否對於全部的選單移動目標作了調查(步驟S1009)。關於是否對於全部的選單移動目標作了調查一事的判斷，例如係由檢測部121來實行。
在上述步驟S1009之判斷的結果中，若是並未對於全部的選單移動目標作了調查(步驟S1009，No)，則資訊處理系統100，係針對其他的選單移動目標而實行上述步驟S1004~S1007之判斷。首先，資訊處理系統100，係判斷是否取得有使用者之位置(步驟S1010)。關於是否取得有使用者之位置一事的判斷，例如係由檢測部121來實行。具體而言，在步驟S1010中，例如係藉由以攝像機所進行之使用者之身體、臉孔、頭部等的辨識或者是以麥克風所進行之聲音之方向之辨識等，來判斷是否取得有使用者之位置。
在上述步驟S1010之判斷的結果中，若是取得有使用者之位置(步驟S1010，Yes)，則接下來，資 訊處理系統100，係將選單移動目標設定在最為接近使用者位置並且尚未調查的位置處(步驟S1011)。步驟S1011之處理，例如係由輸出控制部122來實行。之後，若是將選單移動目標設定在最為接近使用者位置之尚未調查的位置處，則接下來，資訊處理系統100，係再度實行上述之步驟S1004~S1007之判斷。當選單為圖7中所示一般之按鍵型的情況時，選單移動目標係被設定在視窗之4個角中的最為接近使用者位置之未調查的位置處。又，當選單為圖8中所示一般之工具條型的情況時，選單移動目標係被設定在視窗之4個邊中的最為接近使用者位置之未調查的位置處。
圖22，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。在圖22中，以實線所示之圓，係對於在步驟S1001之處理中所設定的選單鍵1100之移動目標(初期選單位置)的例子作展示，以虛線所示之圓，係對於選單鍵1100之移動目標的候補之例作展示。於圖22所示之例中，最為接近使用者之位置者，係為視窗之左下角，第2接近者，係為視窗之右下角，(除了初期選單位置以外之)第3接近者，係為視窗之右上角。故而，在圖22所示之例中，首先，資訊處理系統100，係作為最為接近使用者位置之未調查的位置，而在最為接近使用者之位置的視窗之左下角處，設定選單鍵1100之移動目標。
另一方面，在上述步驟S1010之判斷的結果中，若是並未取得有使用者之位置(步驟S1010，No)，則接下來，資訊處理系統100，係判斷是否能夠在資訊之顯示面上而辨識出使用者所經常使用的物體(步驟S1012)。在資訊之顯示面上的使用者所經常使用之物體的辨識，例如係由檢測部121來實行。使用者所經常使用之物體，例如係可為行動電話、智慧型手機、平板終端、鑰匙、書本、報紙、雜誌、餐具、玩具等，不論是何種物體均可。又，資訊處理系統100，係亦可預先辨識出被放置在資訊之顯示面上的物體，並在準備顯示選單的時間點處，對於被放置在資訊之顯示面上的物體和預先所辨識出的物體進行比較，藉由此來判斷出是否存在有使用者所經常使用之物體。
資訊處理系統100，係可藉由將以輸入部110所取得之資訊預先作保持，來將被放置在資訊之顯示面上的物體之履歷作儲存。另外，當然的，被放置在資訊之顯示面上的物體之履歷，係亦可構成為儲存在藉由網路等而與資訊處理系統100作連接的其他之裝置中。
資訊處理系統100，針對被放置在資訊之顯示面上的物體是否為使用者所經常使用之物體一事所進行的判斷，例如係可藉由判斷該物體是否超過特定之頻度地而被放置在資訊之顯示面上一事來進行之，又，例如亦可藉由判斷該物體是否身為被使用者所登記為經常使用之物體一事來進行之。
在上述步驟S1012之判斷的結果中，若是能夠在資訊之顯示面上辨識出使用者所經常使用的物體(步驟S1012，Yes)，則接下來，資訊處理系統100，係將選單移動目標設定在最為接近使用者所經常使用的物體之位置並且尚未調查的位置處(步驟S1013)。步驟S1013之處理，例如係由輸出控制部122來實行。
圖23，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。在圖23中，以實線所示之圓，係對於在步驟S1001之處理中所設定的選單鍵1100之移動目標(初期選單位置)的例子作展示，以虛線所示之圓，係對於選單鍵1100之移動目標的候補之例作展示。於圖23所示之例中，最為接近使用者所經常使用之物體之位置者，係為視窗之左下角，第2接近者，係為視窗之右下角，(除了初期選單位置以外之)第3接近者，係為視窗之右上角。故而，在圖23所示之例中，首先，資訊處理系統100，係作為最為接近使用者所經常使用之物體的位置之未調查的位置，而在最為接近使用者所經常使用之物體之位置的視窗之左下角處，設定選單鍵1100之移動目標。
另一方面，在上述步驟S1012之判斷的結果中，若是並未在資訊之顯示面上辨識出使用者所經常使用的物體(步驟S1012，No)，則接下來，資訊處理系統100，係判斷是否能夠利用使用者之操作履歷來決定選單 移動目標(步驟S1014)。關於是否能夠利用使用者之操作履歷來決定選單移動目標一事的判斷，例如係由檢測部121來實行。資訊處理系統100，係可藉由將以輸入部110所取得之使用者操作之資訊預先作保持，來將使用者之操作履歷作儲存。另外，當然的，使用者之操作履歷，係亦可構成為儲存在藉由網路等而與資訊處理系統100作連接的其他之裝置中。
在上述步驟S1014之判斷的結果中，若是能夠利用使用者之操作履歷來決定選單移動目標(步驟S1014，Yes)，則接下來，資訊處理系統100，係將選單移動目標設定在使用者所經常進行操作之位置並且尚未調查的位置處(步驟S1015)。步驟S1015之處理，例如係由輸出控制部122來實行。
圖24，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。在圖24中，以實線所示之圓，係對於在步驟S1001之處理中所設定的選單鍵1100之移動目標(初期選單位置)的例子作展示，以虛線所示之圓，係對於選單鍵1100之移動目標的候補之例作展示。於圖24所示之例中，使用者所經常進行操作之位置，係為視窗之右下角，第2經常進行操作之位置，係為視窗之左下角，(除了初期選單位置以外之)第3經常進行操作之位置，係為視窗之右上角。故而，在圖24所示之例中，首先，資訊處理系統100，係作為使用者所經常 進行操作之位置且為未調查的位置，而在視窗之右下角處，設定選單鍵1100之移動目標。
另一方面，在上述步驟S1014之判斷的結果中，若是能夠利用使用者之操作履歷來決定選單移動目標(步驟S1014，No)，則接下來，資訊處理系統100，係將選單移動目標設定在最為接近原本之選單位置的尚未調查之位置處(步驟S1016)。步驟S1016之處理，例如係由輸出控制部122來實行。
圖25，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。在圖25中，以實線所示之圓，係對於在步驟S1001之處理中所設定的選單鍵1100之移動目標(初期選單位置)的例子作展示，以虛線所示之圓，係對於選單移動目標的候補之例作展示。於圖25所示之例中，最為接近初期選單位置者，係為視窗之左下角，第2接近者，係為視窗之左上角，第3接近者，係為視窗之右下角。故而，在圖25所示之例中，首先，資訊處理系統100，係作為最為接近原本之選單位置之未調查的位置，而在視窗之右下角處，設定選單鍵1100之移動目標。
在上述步驟S1009之判斷的結果中，若是已對於全部的選單移動目標作了調查(步驟S1009，Yes)，則接下來，資訊處理系統100，係判斷在資訊處理系統100所顯示的視窗內之任意的位置處是否存在有選 單所能夠移動之位置(步驟S1017)。步驟S1017之處理，例如係由檢測部121來實行。
在上述步驟S1017之判斷的結果中，若是在視窗內之任意的位置處存在有選單所能夠移動之位置(步驟S1017，Yes)，則資訊處理系統100，係將選單移動目標設定在並未於上述之處理中而滿足條件的位置並最為接近初期位置並且為被顯示在畫面上之視窗內之任意的位置處(步驟S1018)。步驟S1018之處理，例如係由輸出控制部122來實行。
圖26，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。在圖26中所示之例，係為當視窗之四角隅均不適於作為選單移動目標的情況時之選單鍵1100之移動目標的設定例。亦即是，在圖26中，係對於視窗之左上角以及左下角為超出至畫面之外，而右上角係與被放置在資訊之顯示面上的物體相互干涉，並且右下角係被其他視窗所覆蓋的狀態作展示。於此種情況中，資訊處理系統100，係作為選單鍵1100之移動目標，而決定最為接近初期位置(於圖26之例中，係為視窗之左下角)並且位於被顯示在畫面上之視窗內的某一位置，並在該位置處設定選單鍵1100之移動目標。
另一方面，在上述步驟S1017之判斷的結果中，若是在視窗內之任意的位置處並不存在有選單所能夠移動之位置(步驟S1017，No)，則接下來，資訊處理系 統100，係判斷在畫面內是否僅有1個視窗(步驟S1019)。步驟S1019之處理，例如係由檢測部121來實行。
在上述步驟S1019之判斷的結果中，若是在畫面內係僅存在有1個視窗(步驟S1019，Yes)，則由於係並不會有與其他視窗之選單相互混淆之虞，因此，資訊處理系統100，係將選單移動目標設定在身為並未滿足上述處理之條件的位置並與初期位置最為接近並且為被顯示在畫面上之視窗外的任意之位置處(步驟S1020)。步驟S1020之處理，例如係由輸出控制部122來實行。另一方面，在上述步驟S1019之判斷的結果中，若是在畫面內係存在有複數之視窗，則資訊處理系統100，係並不變更選單移動目標地而直接使處理結束。
圖27，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。在圖27中所示之例，係為當資訊處理系統100所顯示之視窗全部與物體1220重疊並且在畫面上僅顯示有1個視窗的情況時之選單鍵1100之移動目標的設定例。若是在資訊處理系統100所顯示之視窗中的任意之位置處均不存在有選單所能夠移動之位置，並且係藉由資訊處理系統100而僅在畫面上顯示有1個的視窗，則資訊處理系統100，係作為選單鍵1100之移動目標，而決定最為接近初期位置(於圖27之例中，係為視窗之左下角)並且位於被顯示在畫面上之視窗外的 位置，並在該位置處設定選單鍵1100之移動目標。
藉由上述之一連串的處理之實行，資訊處理系統100，係成為除了圖6一般之形態以外亦能夠進行將選單之位置移動至適當之位置處的控制。圖28，係為對於在畫面為與地面相互垂直一般之資訊處理系統100d中的選單顯示控制例作展示之說明圖。在圖28中，係針對雖係於畫面上顯示有4個視窗，但是，係藉由上述之一連串的處理之實行，而以不論是在何者的視窗處均不會使視窗所附帶之選單條相互重疊的方式來作了顯示的狀態作展示。
圖29，係與圖28相同，為對於在畫面為與地面相互垂直一般之資訊處理系統100d中的選單顯示控制例作展示之說明圖。在圖29中，係針對雖係於畫面上顯示有4個視窗，但是，係藉由上述之一連串的處理之實行，而以不論是在何者的視窗處均不會使視窗所附帶之選單工具條相互重疊的方式來作了顯示的狀態作展示。
圖30，係為對於將顯示器放置在桌上而進行操作一般之資訊處理系統100c中的選單顯示控制例作展示之說明圖。於圖30中所示者，係為實行有若是針對某一使用者(設為使用者X)所進行了操作之視窗，而位在該使用者X之對面處的使用者(設為使用者Y)想要進行操作並將手伸出，則係以能夠讓該使用者Y易於進行操作的方式來自動性地將選單鍵1100移動至接近使用者Y之位置處的顯示控制時之例。藉由在資訊處理系統100c 處，設置能夠檢測出使用者之位置的攝像機、麥克風或其他之感測裝置，資訊處理系統100c，係能夠檢測出使用者相對於畫面而言而存在於何者之位置處以及使用者是想要從何者之方向來進行操作。故而，藉由上述之一連串的處理之實行，資訊處理系統100c，係能夠實行以能夠讓使用者Y易於進行操作的方式來自動性地將選單鍵1100移動至接近使用者Y之位置處的顯示控制。
圖31，係為對於將選單或視窗投影在桌上並對於該投影了的選單或視窗而進行操作一般之資訊處理系統100a中的選單顯示控制例作展示之說明圖。圖31，係為對於在餐桌上而利用有資訊處理系統100a的情況作例示者。在餐桌一般之容易被放置有物品的場所，選單被投影至實際物體上的情況係會有增加的可能性，而會成為容易發生使用者無法直接對選單進行接觸或者是對於使用者而言觸碰選單一事會導致心理上的大幅負擔的情況。例如，在圖31中，係對於在資訊處理系統100a所顯示資訊的面上為被放置有蛋糕1201和咖啡1202的狀態作展示。
使用者，若是將餐桌上之被投影有選單的實際物體移動至並未被投影有選單的場所處，則使用者係能夠對於被投影之選單進行操作。又，使用者，若是進行將視窗移動至並不會使選單被投影至實際物體上一般的位置處之操作，則使用者係能夠對於被投影之選單進行操作。但是，若是強迫使用者進行此些之操作，則使用者之負擔係為大。
因此，資訊處理系統100a，係藉由上述之一連串的處理之實行，來如同圖31一般地，以不會與餐桌上之實際物體(蛋糕1201和咖啡1202)之位置相互重疊的方式，來使選單鍵1100之顯示位置自動改變。藉由以不會與餐桌上之實際物體之位置相互重疊的方式來使選單鍵1100之顯示位置自動改變，資訊處理系統100a，係能夠減輕使用者之操作負擔。
本發明之其中一種實施形態的資訊處理系統100，係藉由實行上述之一連串的處理，而檢測出其他之視窗的位置，和資訊之顯示面的狀態、例如被放置在圖1中所示之桌140a上的物體之狀態，並能夠基於該檢測結果，來進行將選單之位置移動至適當的位置處之控制。
本發明之其中一種實施形態的資訊處理系統100，係藉由實行上述之一連串的處理，而能夠讓使用者並不進行移動視窗的位置或者是移動被放置在資訊之顯示面上的實際物體之步驟地，來對於選單進行操作。故而，本發明之其中一種實施形態的資訊處理系統100，係藉由實行上述之一連串的處理，而將使用者之直到進行目的之操作為止所需的步驟數以及時間縮短。
又，本發明之其中一種實施形態的資訊處理系統100，係藉由實行上述之一連串的處理，而能夠在存在有視窗會頻繁地被移動至畫面外的可能性之具備能夠從全方位來進行操作的視窗之GUI中，減輕使用者之對於被趕出之畫面外的視窗所進行之操作程序。藉由減輕使用 者之對於被趕出之畫面外的視窗所進行之操作程序，本發明之其中一種實施形態的資訊處理系統100，係成為能夠對於畫面作廣範圍的使用。
又，本發明之其中一種實施形態的資訊處理系統100，就算是當使用者讓複數之視窗顯示在畫面上的情況時，亦能夠藉由以恆常能夠看到選單的方式來對於選單之顯示位置作控制，來發揮讓使用者能夠容易地特定出目的之應用程式的效果。
又，本發明之其中一種實施形態的資訊處理系統100，當身為如同圖1中所示一般之將畫面作投影的情況時，係成為不會使操作被實際物體所阻礙。故而，本發明之其中一種實施形態的資訊處理系統100，係能夠讓使用者並不需要為了進行操作而移動實際物體或移動視窗的位置或者是注意不要將實際物體放置在投影場所處，而能夠發揮減輕使用者之負擔的效果。
本發明之其中一種實施形態之資訊處理系統100，當採用例如在圖1中所示一般之將資訊對於桌進行投影並讓使用者對於該資訊而進行操作一般的形態時，資訊處理系統100，係成為能夠在桌上而進行與智慧型手機等之攜帶終端間的協同動作。例如，藉由讓使用者將智慧型手機等之攜帶終端放置在桌上，並使輸入部110辨識出該攜帶終端，本發明之其中一種實施形態之資訊處理系統100，係辨識出該攜帶終端並成為能夠進行與所辨識出之攜帶終端間的協同動作。
但是，若是複數之使用者持有完全相同之攜帶終端，並將該些相同之攜帶終端同時地或者是各別地放置在桌上，而使資訊處理系統100進行辨識，則資訊處理系統100，係會成為無法判斷出應該要與何者的攜帶終端進行協同動作。
因此，在本發明之其中一種實施形態中，係針對就算是在複數之使用者持有完全相同之攜帶終端，並將相同之攜帶終端同時地或者是各別地放置在桌上的情況時，亦能夠容易地特定出應進行協同動作之攜帶終端的資訊處理系統100，來進行說明。
本發明之其中一種實施形態之資訊處理系統100，係令檢測部121，使用畫像辨識技術來進行應協同動作之攜帶終端的辨識，並且檢測出所辨識出之攜帶終端的位置、姿勢或者是與輸入部110間之距離。故而，本發明之其中一種實施形態的資訊處理系統100，係具備有為了辨識出攜帶終端所必要的特徵量資料。又，想要讓資訊處理系統100辨識出來之攜帶終端，係具備有被資訊處理系統100所發現之畫像資料。
關於資訊處理系統100和攜帶終端之間的協同動作，係可考慮有以下之各種的手法。例如，係存在有讓攜帶終端之所有者分別選擇喜愛的畫像，並預先使資訊處理系統100辨識出該畫像之方法。在辨識出畫像之後，攜帶終端之所有者，係在自身所持有之攜帶終端處顯示該預先被辨識出來的畫像，並使資訊處理系統100辨識出 來，藉由此，係成為能夠進行資訊處理系統100和攜帶終端之間的協同動作。
又，係存在有讓攜帶終端之所有者預先將包含有用以讓資訊處理系統100進行辨識之畫像資料的辨識專用之應用程式安裝至攜帶終端中的方法。藉由預先讓資訊處理系統100具備在該應用程式中所包含的畫像資料之特徵量資料，係能夠對於在資訊處理系統100處之檢測處理的負載作抑制。
又，係存在有將鎖定畫面或首頁畫面等之攜帶終端之系統所產生的畫面作為辨識對象之畫像而使資訊處理系統100辨識出來之方法。為了讓資訊處理系統100辨識出攜帶終端之系統所產生的畫面，係可經由專用之應用程式來進行，亦可讓使用者自身將畫面作擷取，並讓資訊處理系統100辨識出所擷取的畫像。
圖32以及圖33，係為對於本發明之其中一種實施形態的資訊處理系統100以及與資訊處理系統100協同動作之攜帶終端之動作例作展示的流程圖。圖32中所示者，係為與資訊處理系統100協同動作之攜帶終端的動作例，圖33中所示者，係為資訊處理系統100之動作例。另外，在進行圖32以及圖33中所示之動作之前，假設攜帶終端係為已預先將任意之畫像登記在資訊處理系統100中者。以下，使用圖32以及圖33，針對本發明之其中一種實施形態的資訊處理系統100以及與資訊處理系統100協同動作之攜帶終端之動作例作說明。
與資訊處理系統100協同動作之攜帶終端，係因應於使用者之特定的操作，而顯示用以讓資訊處理系統100辨識出來之辨識用畫面(步驟S1101)。又，資訊處理系統100，係因應於使用者之特定的操作，而移行至辨識出攜帶終端之模式(以下，亦稱作「辨識模式)」(步驟S1111)。
使用者，係將在上述步驟S1101中而顯示有用以讓資訊處理系統100辨識出來之辨識用畫面的攜帶終端，放置在用以使資訊處理系統100進行辨識之可辨識區域內(步驟S1102)。資訊處理系統100，係可將此可辨識區域設定在任意之區域處。例如，當身為對於桌而投影資訊之系統的情況時，係可將對於該桌而投影資訊之區域全體作為可辨識區域，或者是亦可將特定之一部分的區域作為可辨識區域。當將特定之一部分的區域設定為可辨識區域的情況時，資訊處理系統100，係亦可從輸出部130來輸出用以得知該區域乃身為可辨識區域的顯示。
又，資訊處理系統100，若是在上述之步驟S1111中而移行至辨識模式，則接下來，係對於被登記在資訊處理系統100中之辨識畫像進行檢索(步驟S1112)。此辨識畫像之檢索處理，例如係由檢測部121來實行。資訊處理系統100，係可當顯示有畫像辨識用畫面之攜帶終端被放置在可辨識區域處時，而開始此步驟S1112之檢索處理，或者是亦可在將攜帶終端放置在可辨識區域處之前便開始。
若是開始上述步驟S1112之檢索處理，則資訊處理系統100，係判斷是否藉由上述步驟S1112之檢索處理而發現到有被作登記的畫像(步驟S1113)。此判斷處理，例如係由檢測部121來實行。之後，在步驟S1113之判斷處理的結果中，若是並未發現到有被作登記之畫像(步驟S1113，No)，則接下來，資訊處理系統100，係判斷是否從開始檢索起而經過了一定的時間(步驟S1114)。此判斷處理，例如係由檢測部121來實行。在步驟S1114之判斷處理的結果中，若是就算經過了一定之時間，也並未發現到有被作登記之畫像(步驟S1114，Yes)，則資訊處理系統100係結束處理，並從辨識模式而脫離。另一方面，在步驟S1114之判斷處理的結果中，若是並未經過一定之時間(步驟S1114，No)，則係再度實行步驟S1112之檢索處理。
在上述步驟S1113之判斷處理的結果中，若是發現到有被作登記之畫像(步驟S1113，Yes)，則接下來，資訊處理系統100，係顯示代表發現了有被作登記之畫像一事的特效(步驟S1115)。步驟S1115之顯示處理，例如係由輸出控制部122來實行。代表發現了有被作登記之畫像一事的特效，係不論是何種特效均可，但是，若是列舉出其中一例，則資訊處理系統100，例如，係亦可進行以攜帶終端所被放置之場所作為中心而使波紋擴廣一般的顯示。代表發現了有被作登記之畫像一事的特效，由於若是與攜帶終端所正在顯示之畫像相互重疊，則會對 於在資訊處理系統100處之辨識處理造成影響，因此，資訊處理系統100，係以將代表發現了有被作登記之畫像一事的特效以不會與攜帶終端相互重疊的方式來進行輸出為理想。
圖34，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。於圖34中所示者，係為資訊處理系統100所顯示之代表發現了有被作登記之畫像一事的特效之例。若是顯示有畫像辨識用畫面之攜帶終端1300被放置在可辨識區域處，並且檢測部121係辨識出該攜帶終端1300所正在顯示之畫像乃身為被登記在資訊處理系統100中之畫像，則資訊處理系統100，係亦可進行以攜帶終端1300所被放置之場所作為中心而使以元件符號1301所標示之波紋擴廣一般的顯示。
另外，當資訊處理系統100正在對於攜帶終端之畫像進行辨識時，若是攜帶終端之顯示器的亮度過亮或者是過暗，則會對於資訊處理系統100處之辨識造成影響。當資訊處理系統100乃身為辨識模式的情況時，例如攜帶終端之使用者，係亦可藉由對於攜帶終端之顯示器的亮度進行調整，來使資訊處理系統100容易對於畫像作辨識。
在上述步驟S1115中，若是顯示代表發現到有被作登記之畫像一事的特效，則接下來，資訊處理系統100，係判斷現在在資訊處理系統100處所實行中之應用 程式是否為需要持續對於畫像進行辨識之應用程式(步驟S1116)。此判斷處理，例如係由檢測部121來實行。關於有必要持續對於畫像進行辨識之應用程式，例如係可列舉出有必要追隨於所辨識出之畫像來持續顯示資訊的應用程式。
在上述步驟S1116之判斷的結果中，若是現在在資訊處理系統100處所實行中之應用程式並非為需要持續對於畫像進行辨識之應用程式(步驟S1116，No)，則由於攜帶終端係並不需要持續放置在可辨識區域處，因此，接下來，資訊處理系統100，係顯示促使將已辨識出的攜帶終端從可辨識區域而退出的資訊(步驟S1117)。步驟S1115之顯示處理，例如係由輸出控制部122來實行。促使將攜帶終端退出之資訊，不論是何種資訊均可。但是，促使將攜帶終端退出之資訊，由於若是與攜帶終端所正在顯示之畫像相互重疊，則會對於在資訊處理系統100處之辨識處理造成影響，因此，資訊處理系統100，係以將促使將攜帶終端退出之資訊以不會與攜帶終端相互重疊的方式來進行輸出為理想。
圖35，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。於圖35中所示者，係為在辨識出了攜帶終端所顯示之畫像之後，資訊處理系統100所顯示的資訊之例。若是現在在資訊處理系統100處所實行中之應用程式並非為需要持續對於畫像進行辨識之應用 程式，則資訊處理系統100，係顯示例如圖35之以元件符號1302所標示一般之促使將攜帶終端1300退出的資訊。資訊處理系統100，係藉由顯示如同圖35中所示一般之資訊，而能夠讓攜帶終端1300之使用者察覺到有需要將攜帶終端1300從可辨識區域而退出。促使將攜帶終端退出之資訊，若是與攜帶終端所正在顯示之畫像相互重疊，則會對於在資訊處理系統100處之辨識處理造成影響。故而，資訊處理系統100，較理想，係如圖35中所示一般，將促使將攜帶終端退出之資訊以不會與攜帶終端相互重疊的方式來進行輸出。
資訊處理系統100，當在上述之步驟S1117中而顯示了資訊之後，係判斷被登記在資訊處理系統100中之畫像是否從畫面內(可辨識區域內)而消失(步驟S1118)。此判斷處理，例如係由檢測部121來實行。在步驟S1118之判斷處理的結果中，若是被登記在資訊處理系統100中之畫像並未從畫面內(可辨識區域內)而消失(步驟S1118，No)，則資訊處理系統100，係持續顯示在步驟S1117中所顯示了的資訊。另一方面，若是在圖32之步驟S1103中，攜帶終端被使用者從可辨識區域而退出，被登記在資訊處理系統100中之畫像為從畫面內(可辨識區域內)而消失(步驟S1118，Yes)，則資訊處理系統100係停止畫像辨識處理(步驟S1119)。
另一方面，在上述步驟S1116之判斷的結果中，若是現在實行中之應用程式係為需要持續對於畫像進 行辨識之應用程式(步驟S1116，Yes)，則資訊處理系統100，係跳過上述步驟S1117~S1119的處理。
若是在上述之步驟S1119中而停止畫像辨識處理，則接下來，資訊處理系統100，係將在上述步驟S1113中所發現到的畫像之ID作記錄(步驟S1120)。此步驟S1120之處理，例如係由檢測部121來實行。之後，資訊處理系統100，係進行畫像之ID的匹配，並開始與顯示有該畫像之攜帶終端間的通訊處理(步驟S1121)。資訊處理系統100和攜帶終端之間的通訊，例如係藉由網際網路、Wi-Fi、Bluetooth(登記商標)等來進行。又，資訊處理系統100，係對於在上述步驟S1113中所發現到的畫像之位置、姿勢、大小作記錄(步驟S1122)。此步驟S1122之處理，例如係由檢測部121來實行。
之後，資訊處理系統100，係利用在上述步驟S1113中所發現到的畫像之位置、姿勢、大小的資訊，來對於資訊之顯示面而進行代表其與攜帶終端間之連接狀態的顯示(步驟S1123)。此步驟S1123之顯示處理，例如係由輸出控制部122來實行。以下，將在此步驟S1123中所進行之代表與攜帶終端間之連接狀態的顯示，亦稱作「連接記號」。資訊處理系統100，作為連接記號，例如，係亦可顯示與辨識出之攜帶終端所顯示的辨識用畫面相同之畫像。作為連接記號，藉由顯示與辨識出之攜帶終端所顯示的辨識用畫面相同之畫像，資訊處理系統100，係成為能夠讓使用者容易地掌握到何者之連接記號係與何 者之攜帶終端相互對應。
圖36，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。於圖36中所示者，係為資訊處理系統100將連接記號顯示在顯示面上的狀態之例。圖36之元件符號1303，係為連接記號之例，而代表資訊處理系統100係與在圖34、35中所示之攜帶終端1300之間成為連接狀態。本發明之其中一種實施形態之資訊處理系統100，係藉由將此種連接記號對於顯示面作顯示，而能夠進行與使用者所持有之攜帶終端之間的協同動作，並將連接記號作為資料之交換的介面來顯示在畫面上而對於使用者作提示。如同後述一般，圖36中所示之連接記號1303，係可作為用以從攜帶終端而取出資料或者是將資料複製至攜帶終端中的介面來使用。
又，連接記號1303，係如同圖36中所示一般，將被顯示在攜帶終端之顯示器上的畫像，基於辨識出該畫像時之位置、姿勢、大小來顯示在顯示面上。故而，連接記號1303，係成為在自己將該攜帶終端作了放置的使用者之手邊，而以使用者容易進行接觸的方向來作顯示，而能夠發揮在複數使用者或複數終端中之機器協同動作的便利性。
資訊處理系統100和攜帶終端之間的連接狀態，係能夠藉由使用者之主動性的連接解除操作來解除，亦可構成為若是在一定時間之中而並未對於攜帶終端或連 接記號進行操作則自動性地解除。若是資訊處理系統100和攜帶終端之間的連接狀態被解除，則資訊處理系統100，係亦可將在上述步驟S1123中所顯示了的連接記號消去。資訊處理系統100，係可藉由將在上述步驟S1123中所顯示了的連接記號消去，來對於使用者提示連接狀態係已結束。
藉由實行上述之一連串的處理來將連接記號顯示在資訊之顯示面上，本發明之其中一種實施形態之資訊處理系統100，係能夠對於使用者而提供各種的體驗。以下，針對資訊處理系統100之能夠藉由連接記號之顯示所對於使用者作提供的體驗之例作說明。
資訊處理系統100，係藉由對於資訊之顯示面的連接記號之顯示，而成為能夠進行被保存在攜帶終端中之畫像資料的共有。圖37，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖37中所示者，係為在藉由連接記號之顯示來將被保存在攜帶終端中之畫像資料作共有時的資訊處理系統100所實行之應用程式的GUI之例。
在圖37中，係對於藉由資訊處理系統100而將連接記號1303、1304顯示在資訊之顯示面上的狀態作展示。例如，若是使用者對於特定之選單鍵進行操作，並實行用以將照片作共有之應用程式，則資訊處理系統100，係如圖37中所示一般，從與連接記號1303、1304 相對應之攜帶終端的畫像資料夾等而取得畫像資料，並在該連接記號1303、1304之周圍顯示從畫像資料夾所取得的畫像。被顯示在連接記號1303、1304之周圍的畫像，係以能夠由使用者來進行拖曳操作的方式而被顯示。資訊處理系統100，係藉由輸出代表對於資訊處理系統100之複製的圖符或其他資訊，並讓使用者將所顯示了的畫像資料拖曳至該資訊處，而成為能夠以簡單的使用者操作來將保持於攜帶終端中之畫像資料複製至資訊處理系統100處。
又，在如同圖37中所示一般之將連接記號1303、1304顯示在資訊之顯示面上的狀態下，例如係亦可藉由讓使用者將保存在對應於連接記號1303之攜帶終端中的畫像資料拖曳至連接記號1304處，而成為能夠透過資訊處理系統100來進行攜帶終端間之畫像資料的複製。故而，資訊處理系統100，係成為能夠藉由簡單的使用者操作來將保持於攜帶終端中之畫像資料複製至其他的攜帶終端處。
在資訊處理裝置100藉由實行上述之一連串的處理來將連接記號作了顯示後，使用者係能夠自由地帶著攜帶終端而走動。故而，係亦成為能夠實現例如若是藉由與資訊處理系統100作了協同動作之攜帶終端來攝像照片則會將該攝像了的照片顯示在資訊處理系統100上一般之應用程式。圖38，係為對於資訊處理系統100之使用例作展示之說明圖，並為對於使用者利用與資訊處理系統 100作了協同動作之攜帶終端來攝像照片的模樣作展示者。若是使用者利用與資訊處理系統100作了協同動作之攜帶終端來攝像照片，則資訊處理系統100，係亦能夠實現例如將藉由該攜帶終端所攝像了的照片顯示在連接記號1303之周圍一般的應用程式。資訊處理系統100，當將藉由攜帶終端所攝像了的照片顯示在連接記號1303之周圍時，係亦能夠附加有例如使該照片從連接記號1303中而出現一般的特效。資訊處理系統100，藉由將以攜帶終端所攝像了的照片附加有此種特效地而作顯示，係能夠對於該照片乃是藉由何者之攜帶終端所攝像的照片一事作明示。
資訊處理系統100，係藉由對於資訊之顯示面的連接記號之顯示，而成為能夠進行被保存在攜帶終端中之樂曲資料的共有。圖39，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖39中所示者，係為在藉由連接記號之顯示來將被保存在攜帶終端中之樂曲資料作共有時的資訊處理系統100所實行之應用程式的GUI之例。
在圖39中，係對於藉由資訊處理系統100而將連接記號1303、1304作了顯示的狀態作展示。例如，若是使用者對於特定之選單鍵進行操作，並實行用以將樂曲資料作共有之應用程式，則資訊處理系統100，係如圖39中所示一般，從與連接記號1303、1304相對應之攜帶 終端的音樂資料夾等而取得樂曲資料，並在該連接記號1303、1304之周圍顯示從音樂資料夾所取得的樂曲資料之封面畫像。被顯示在連接記號1303、1304之周圍的封面畫像，係以能夠由使用者來進行拖曳操作的方式而被顯示。資訊處理系統100，係藉由輸出代表對於資訊處理系統100之複製的圖符或其他資訊，並讓使用者將所顯示了的封面畫像拖曳至該資訊處，而成為能夠以簡單的使用者操作來將保持於攜帶終端中之樂曲資料複製至資訊處理系統100處。
又，在如同圖39中所示一般之將連接記號1303、1304作顯示的狀態下，例如係亦可藉由讓使用者將保存在對應於連接記號1303之攜帶終端中的樂曲資料之封面畫像拖曳至連接記號1304處，而成為能夠透過資訊處理系統100來進行攜帶終端間之樂曲資料的複製。故而，資訊處理系統100，係成為能夠藉由簡單的使用者操作來將保持於攜帶終端中之樂曲資料複製至其他的攜帶終端處。
又，在圖39中，係對於資訊處理系統100顯示有用以播放樂曲資料之介面的狀態作展示。藉由讓使用者將封面畫像拖曳至用以進行樂曲資料之播放之介面處，資訊處理系統100，係能夠實行將對應於封面畫像之樂曲資料作播放或者是作成播放清單之處理。
資訊處理系統100，除了畫像資料或樂曲資料以外，亦能夠將各種之資料與和資訊處理系統100作了協 同動作的攜帶終端作共有。資訊處理系統100，例如針對在與資訊處理系統100作了協同動作的攜帶終端處所顯示的網站或者是瀏覽器的書籤，係亦能夠與上述之GUI相同地來作共有。又，為了將在資訊處理系統100處所顯示的網站接續顯示於與資訊處理系統100作了協同動作的攜帶終端處，資訊處理系統100，係亦可提供將資訊處理系統100所實行之瀏覽器的特定之選單鍵拖曳至連接記號處之類的操作。
資訊處理系統100，係藉由對於資訊之顯示面的連接記號之顯示，而成為能夠進行被保存在攜帶終端中之聯絡人資料的共有。圖40，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖40中所示者，係為在藉由連接記號之顯示來將被保存在攜帶終端中之聯絡人資料作共有時的資訊處理系統100所實行之應用程式的GUI之例。
在圖40中，係對於藉由資訊處理系統100而將連接記號1303、1304顯示在資訊之顯示面上的狀態作展示。例如，若是使用者對於特定之選單鍵進行操作，並實行用以將聯絡人資料作共有之應用程式，則資訊處理系統100，係如圖40中所示一般，從與被顯示在資訊之顯示面上的連接記號1303、1304相對應之攜帶終端而取得聯絡人資料，並在該連接記號1303、1304之周圍顯示代表從攜帶終端所取得的聯絡人資料之畫像。被顯示在連接 記號1303、1304之周圍的畫像，係以能夠由使用者來進行拖曳操作的方式而被顯示。資訊處理系統100，係藉由輸出代表對於資訊處理系統100之複製的圖符或其他資訊，並讓使用者將所顯示了的畫像拖曳至該資訊處，而成為能夠以簡單的使用者操作來將保持於攜帶終端中之聯絡人資料複製至資訊處理系統100處。
又，資訊處理系統100，在如同圖40中所示一般之將連接記號1303、1304顯示在資訊之顯示面上的狀態下，例如係亦可藉由讓使用者將保存在對應於連接記號1303之攜帶終端中的聯絡人資料拖曳至連接記號1304處，而成為能夠透過資訊處理系統100來進行攜帶終端間之聯絡人資料的複製。故而，資訊處理系統100，係成為能夠藉由簡單的使用者操作來將保持於攜帶終端中之聯絡人資料複製至其他的攜帶終端處。
與資訊處理系統100進行協同動作之攜帶終端，係能夠藉由各種之應用程式的安裝，而追加新的功能。資訊處理系統100，係亦能夠藉由以上述之處理來顯示連接記號，而實現例如在攜帶終端之間而進行應用程式之授受一般的GUI。
圖41，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖41中所示者，係為在藉由連接記號之顯示來將被保存在攜帶終端中之應用程式作顯示時的資訊處理系統100所實行之應用程式的GUI之 例。
在圖41中，係對於藉由資訊處理系統100而將連接記號1303、1304顯示在資訊之顯示面上的狀態作展示。例如，若是使用者對於特定之選單鍵進行操作，並實行用以將被安裝在攜帶終端中之應用程式的一覽作顯示之應用程式，則資訊處理系統100，係如圖41中所示一般，從與連接記號1303、1304相對應之攜帶終端而取得被安裝在攜帶終端中之應用程式的資訊，並在連接記號1303、1304之周圍顯示圖符或其他資訊。在圖41中，係對於雖然在對應於連接記號1303之攜帶終端中係安裝有複數之應用程式，但是在對應於連接記號1304之攜帶終端中係完全未被安裝有應用程式的狀態作展示。於此，對應於連接記號1304之攜帶終端的使用者，若是從被安裝在對應於連接記號1303之攜帶終端處的應用程式中而發現喜歡的應用程式，則係將該應用程式之圖符拖曳至連接記號1304處。藉由此拖曳操作，在對應於連接記號1304之攜帶終端處，係自動進行有該應用程式之下載以及安裝處理。
本發明之其中一種實施形態之資訊處理系統100，係藉由辨識出攜帶終端所顯示了的畫像，而成為就算是並不在攜帶終端處啟動專用之應用程式，也能夠取得攜帶終端之位置、姿勢、大小等，並進而與攜帶終端協同動作而進行通訊。
本發明之其中一種實施形態的資訊處理系統 100，係在進行與攜帶終端間之機器協同動作之前，先在攜帶終端處顯示任意之畫像，並預先將該所顯示了的畫像作登記。本發明之其中一種實施形態之資訊處理系統100，係藉由經過此種畫像之登記處理，而能夠對於使用者賦予畫像之選擇的樂趣。又，本發明之其中一種實施形態之資訊處理系統100，若是結束了攜帶終端所顯示了的畫像之辨識，則係可藉由將該畫像作為連接記號而持續顯示在畫面上，來讓使用者容易地辨識出其為哪個使用者的連接記號。
本發明之其中一種實施形態的資訊處理系統100，由於係在進行與攜帶終端間之機器協同動作之前，先在攜帶終端處顯示任意之畫像，並預先將該所顯示了的畫像作登記，因此，就算是當存在有複數之完全相同的機種之攜帶終端的情況時，也能夠藉由辨識用之畫像的分別使用，來進行攜帶終端之唯一性的辨識。另外，像是複數之使用者分別持有相同之機種並且各使用者係偶然地選擇了相同的畫像作為辨識用畫像的情況，係並非絕對不會發生。因此，本發明之其中一種實施形態的資訊處理系統100，係亦可構成為若是不先在攜帶終端而將所選擇了的辨識用畫像對於資訊處理系統100進行登記，則便無法進行與攜帶終端間之協同動作。藉由在攜帶終端而將所選擇了的辨識用畫像對於資訊處理系統100進行登記，資訊處理系統100，係能夠對於攜帶終端所選擇了的畫像是否有所重複一事進行判斷。
另外，當將完全相同之畫像選擇為辨識用畫像的情況時，在複數之使用者分別持有相同之機種的情況時，係會造成問題，另外，就算是相異的機種，若是外觀相似，則如果將完全相同之畫像選擇為辨識用畫像，也同樣會造成問題。故而，資訊處理系統100，係亦可對於想要進行協同動作之攜帶終端，而以針對全部之攜帶終端而均會成為唯一性的方式來使該些選擇辨識用畫像，並登記在資訊處理系統100中。
本發明之其中一種實施形態的資訊處理系統100，例如係如同圖6中所示一般，能夠接收由複數之使用者所進行的從各種方向而來之選單的操作。但是，若是複數之使用者對於1個的選單而進行操作，則當某人正在使用的期間中，其他使用者係並無法使用該選單。又，為了成為能夠接收由複數之使用者所進行的從各種方向而來之選單的操作，選單之自訂(customize)係變得困難。亦即是，某一使用者為了自身的方便使用所進行了自訂的選單，對於其他使用者而言，係並非絕對會成為容易使用。
起因於接收由複數之使用者所進行的從各種方向而來之選單的操作一事，當被顯示有複數之視窗的狀態時，使用者係容易變得難以判斷由自身所叫出的視窗是哪一個視窗。又，若是從1個的選單來啟動應用程式，則在應用程式之啟動時，係需要使每一個使用者分別進行登錄(log in)，若是使用者的數量越增加，則會變得越繁雜。
因此，本發明之其中一種實施形態的資訊處理系統100，係以能夠謀求當接收由複數之使用者所進行的從各種方向而來之選單的操作時之操作性以及便利性之提昇的方式，來構成為如同以下所說明一般地而接收由使用者所進行的操作。
針對在謀求當接收由複數之使用者所進行的從各種方向而來之選單的操作時之操作性以及便利性之提昇的情況下之資訊處理系統100之動作例作說明。圖42，係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。圖42中所示者，係為當使用者對於圖6等中所示之選單鍵1100或者是選單鍵群1110而進行了拖曳操作時之本發明之其中一種實施形態的資訊處理系統100之動作例。以下，使用圖42，針對本發明之其中一種實施形態的資訊處理系統100之動作例作說明。
以下，係亦有將對於選單鍵1100或者是選單鍵群1110所進行的拖曳操作單純稱為(對於選單所進行之)拖曳操作的情況。
資訊處理系統100，若是檢測出使用者係對於藉由資訊處理系統100所顯示的選單而進行有拖曳操作(步驟S1201)，則係判斷該拖曳操作是否為以1個點來按壓選單並且藉由另外1個點來對於該選單進行拖曳(步驟S1202)。上述步驟S1201、S1202之處理，例如係由檢測部121來實行。
在上述步驟S1202之判斷的結果中，若是身為以1個點來按壓選單並且藉由另外1個點來對於該選單進行拖曳之操作(步驟S1202，Yes)，則資訊處理系統100，係作成該正被進行拖曳之選單的複製(步驟S1203)。步驟S1203之選單的複製之作成，例如係由輸出控制部122來實行。
圖45，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖45中所示者，係為上述步驟S1203之選單的複製之作成之例。例如，假設如圖45中所示一般，使用者係藉由左手之食指來從被顯示在資訊之顯示面上的選單鍵群1110之中而按下1個的選單鍵(B)，並藉由右手之食指來對於相同的選單鍵(B)來進行了拖曳操作。資訊處理系統100，係因應於此種使用者之操作，而實行作成該選單鍵(B)之複製的選單鍵1111之處理。
另一方面，在上述步驟S1202之判斷的結果中，若是並非為以1個點來按壓選單並且藉由另外1個點來對於該選單進行拖曳之操作(步驟S1202，No)，則接下來，資訊處理系統100，係判斷在上述步驟S1201中所檢測出之拖曳操作，是否為以2個點來按壓選單並藉由另1個點來對於該選單進行拖曳(步驟S1204)。步驟S1204之處理，例如係由檢測部121來實行。
在上述步驟S1204之判斷的結果中，若是身 為以2個點來按壓選單並且藉由另外1個點來對於該選單進行拖曳之操作(步驟S1204，Yes)，則接下來，資訊處理系統100，係判斷該選單是否為代表資料夾之資料夾選單(步驟S1205)。步驟S1205之處理，例如係由檢測部121來實行。在步驟S1205之判斷的結果中，若是正被拖曳之選單係並非為資料夾選單(步驟S1205，No)，則資訊處理系統100，係與以1個點來按壓選單並且藉由另外1個點來對於該選單進行拖曳之操作的情況時相同地，作成該正被進行拖曳之選單的複製(步驟S1203)。另一方面，在步驟S1205之判斷的結果中，若是正被拖曳之選單係為資料夾選單(步驟S1205，Yes)，則資訊處理系統100，係作成該選單(資料夾選單)之捷徑(步驟S1206)。步驟S1206之選單的捷徑之作成，例如係由輸出控制部122來實行。所謂捷徑，假設係為作為對於其他選單之參照而起作用的並不具備實體之選單。
圖46，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖46中所示者，係為上述步驟S1206之選單的捷徑之作成例。例如，假設如圖46中所示一般，使用者係藉由左手之食指以及中指之2點來從選單鍵群1110之中而按下1個的選單鍵(B)，並藉由右手之食指來對於相同的選單鍵(B)來進行了拖曳操作。資訊處理系統100，係因應於此種使用者之操作，而實行作成該選單鍵(B)之捷徑鍵1112之處理。
資訊處理系統100，係亦可將圖45中所示之選單鍵(B)的複製之選單鍵1111、和圖46中所示之捷徑鍵1112，以相異之外觀來作成之。在本實施形態中，選單鍵1111係為單純之圓，捷徑鍵1112係為雙重之圓。當然，複製之選單鍵1111和捷徑鍵1112之形狀，係並不被限定於上述之例，資訊處理系統100，不僅是藉由形狀之相異，而亦能夠藉由顏色之差異來使外觀成為相異。
針對選單之複製的作成和選單之捷徑的作成間之差異作說明。資訊處理系統100，當基於使用者之操作而作成選單之複製的情況時，就算是在其中一者之選單(例如複製源頭之選單)中被追加有其他的選單，在另外一方之選單(例如複製目標之選單)處也不會被追加該新追加之選單。另一方面，資訊處理系統100，當基於使用者之操作而作成選單之捷徑的情況時，若是在其中一者之選單(例如捷徑源頭之選單)中被追加有其他的選單，則在另外一方之選單(例如捷徑目標之選單)處，也會被追加有該新追加之選單。
圖47以及圖48，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖，並為基於使用者之操作而作成了選單之複製的情況時之GUI之例。在如同圖47一般地基於使用者之操作而作成了選單之後，就算是如同圖48一般地而在其中一方之選單中被追加有新的選單(G)，在另外一方之選單處，也不會被追加該選 單(G)。
圖49以及圖50，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖，並為基於使用者之操作而作成了選單之捷徑的情況時之GUI之例。另外，在圖49以及圖50中，在藉由虛線而如同圖49一般地基於使用者之操作而作成了選單之捷徑之後，若是如同圖50一般地而在其中一方之選單中追加新的選單(G)，則在另外一方之選單處，也會被追加有該新的選單(G)。
另一方面，在上述步驟S1204之判斷的結果中，若是並非為以2個點來按壓選單並且藉由另外1個點來對於該選單進行拖曳之操作(步驟S1204，No)，則接下來，資訊處理系統100，係判斷選單之排列和選單之拖曳方向間所成的角度，是否為規定值以上之角度(步驟S1207)。步驟S1207之處理，例如係由檢測部121來實行。
在上述步驟S1207之判斷的結果中，若是選單之排列和選單之拖曳方向間所成的角度為規定值以上(步驟S1207，Yes)，則接下來，資訊處理系統100，係判斷該正被作拖曳之選單是否為能夠從選單鍵群而分離之選單(步驟S1208)。步驟S1208之處理，例如係由檢測部121來實行。在步驟S1208之判斷的結果中，若是正被作拖曳之選單並非為能夠從選單鍵群而分離之選單(步驟 S1208，No)，則資訊處理系統100，係作成該正被作拖曳之選單的複製(步驟S1203)。另一方面，在步驟S1208之判斷的結果中，若是正被作拖曳之選單係為能夠分離之選單(步驟S1208，Yes)，則資訊處理系統100，係將該選單從選單鍵群而分離(步驟S1209)。步驟S1209之從選單鍵群而將選單分離之分離處理，例如係由輸出控制部122來實行。
圖51，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖51中所示者，係為由使用者所進行之選單之拖曳操作的其中一例。元件符號1401，係代表被配置為圓弧狀之選單鍵群1110的動徑方向，元件符號1402，係代表藉由使用者而使選單鍵被作拖曳之方向，元件符號1403，係代表被配置為圓弧狀之選單鍵群1110的圓周方向。若是以元件符號1402所示之藉由使用者而使選單鍵被作了拖曳之方向、和選單之並排，此兩者間所成之角度為規定值以上，並且該選單鍵為能夠從選單鍵群1110而分離者，則資訊處理系統100，係將該正被作拖曳之選單鍵從選單鍵群1110而分離。
圖52，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖52中所示者，係為由使用者所進行之選單之拖曳操作的其中一例。若是使用者以手指而從選單鍵群1110之中接觸1個的選單鍵，並對於 該選單鍵而實行拖曳操作，則資訊處理系統100，係將該正被作拖曳之選單鍵從選單鍵群1110而分離，並使其獨立為選單鍵1111。
另一方面，在上述步驟S1207之判斷的結果中，若是選單之排列和選單之拖曳方向間所成的角度並非為規定值以上(步驟S1207，No)，則資訊處理系統100，係將使用者之拖曳操作判斷為通常之舉動(步驟S1210)。此步驟S1210之處理，例如係由輸出控制部122來實行。所謂通常的舉動，例如，係為選單鍵1100追隨於使用者之操作而進行移動，或者是選單鍵群1110追隨於使用者之操作而以選單鍵1100作為中心來旋轉。
本發明之其中一種實施形態的資訊處理系統100，係藉由因應於使用者之選單鍵的拖曳操作之內容來實行如同上述一般之動作，而能夠讓使用者藉由簡單的操作來將選單作複製或是作成選單之捷徑、或者是將選單分離。
接著，針對與使用者之選單鍵的放開(drop)操作的內容相對應之資訊處理系統100之動作例作說明。圖43以及圖44，係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。圖43以及圖44中所示者，係為當使用者對於圖6等中所示之選單鍵1100或者是選單鍵群1110而進行了拖曳操作之後，由使用者而進行了放開操作時之本發明之其中一種實施形態的資訊處理系統100之動作例。以下，使用圖43 以及圖44，針對本發明之其中一種實施形態的資訊處理系統100之動作例作說明。
以下，係亦有將對於選單鍵1100或者是選單鍵群1110所進行的放開操作單純稱為(對於選單所進行之)放開操作的情況。
資訊處理系統100，若是檢測出使用者係對於藉由資訊處理系統100所顯示的選單而進行有放開操作(步驟S1211)，則係判斷被使用者所作了拖曳的距離是否為規定距離以下(步驟S1212)。上述步驟S1211、S1212之處理，例如係由檢測部121來實行。
在上述步驟S1212之判斷的結果中，若是被使用者所作了拖曳的距離係為規定距離以下(步驟S1212，Yes)，則資訊處理系統100，係實行在該被作了放開之選單處所分配的功能(步驟S1213)。作為被分配至選單處之功能，例如係為應用程式之啟動、網站之顯示、畫像資料之顯示、樂曲資料之播放等的各種之功能，而並不被限定於特定之功能。
另一方面，在上述步驟S1212之判斷的結果中，若是被使用者所作了拖曳的距離係超過規定距離(步驟S1212，No)，則資訊處理系統100，係判斷該選單是否為在身為其他之選單且被作了拖曳之距離乃身為規定距離以下之選單上而被作了放開者(步驟S1214)。步驟S1214之判斷，例如係由檢測部121來實行。
在上述步驟S1214之判斷的結果中，若是為 在身為與作了放開的選單相異之選單且被作了拖曳之距離乃身為規定距離以下之選單上而被作了放開的情況時(步驟S1214，Yes)，則接下來，資訊處理系統100，係判斷該被作了放開之選單是否為接收放開之選單(步驟S1215)。步驟S1214之判斷，例如係由檢測部121來實行。
在上述步驟S1215之判斷的結果中，若是被作了放開之選單係為接收放開操作之選單(步驟S1215，Yes)，則接下來，資訊處理系統100，係判斷該被作了放開之選單是否身為資料夾選單(步驟S1216)。步驟S1215之判斷，例如係由檢測部121來實行。
在上述步驟S1216之判斷的結果中，若是被作了放開之選單係為資料夾選單(步驟S1216，Yes)，則接下來，資訊處理系統100，係將被作了放開之選單追加至放開目標之下一個階層的選單(子選單)中(步驟S1218)。步驟S1218之追加處理，例如係由輸出控制部122來實行。
另一方面，在上述步驟S1216之判斷的結果中，若是被作了放開之選單係並非為資料夾選單(步驟S1216，No)，則接下來，資訊處理系統100，係判斷被作了放開操作之選單是否能夠對於與使用者所作了放開之選單相對應的項目進行處理(步驟S1217)。步驟S1217之判斷，例如係由檢測部121來實行。
在上述步驟S1217之判斷的結果中，當被作 了放開操作之選單能夠對於使用者所作了放開之項目進行處理的情況時(步驟S1217，Yes)，則接下來，資訊處理系統100，係將與使用者所作了放開的選單附加有關連之資訊，遞交給被作了放開之選單處(步驟S1219)。步驟S1219之處理，例如係由輸出控制部122來實行。
另一方面，在步驟S1217之判斷的結果中，當被作了放開操作之選單並無法對於使用者所作了放開之項目進行處理的情況時(步驟S1217，No)，則接下來，資訊處理系統100，係進行作成將放開源頭之選單和放開目標之選單作為子要素而持有之新的選單之處理(步驟S1220)。步驟S1220之處理，例如係由輸出控制部122來實行。
在上述步驟S1214之判斷的結果中，若是並非為在身為與作了放開的選單相異之選單且被作了拖曳之距離乃身為規定距離以下之選單上而被作了放開的情況時(步驟S1214，No)，則接下來，資訊處理系統100，係判斷是否為在以1個點來將該與被作了放開之選單相異之選單作了按壓的狀態下，而使該選單與被作了放開之選單相互接近至規定距離以下之距離(步驟S1221)。步驟S1221之判斷，例如係由檢測部121來實行。
在上述步驟S1221之判斷的結果中，若是為在以1個點來將該與被作了放開之選單相異之選單作了按壓的狀態下，而使該選單與被作了放開之選單相互接近至規定距離以下之距離(步驟S1221，Yes)，則接下來， 資訊處理系統100，係判斷是否能夠將被作了放開之選單和該相異之選單作合併(步驟S1222)。步驟S1222之判斷，例如係由檢測部121來實行。
在上述步驟S1222之判斷的結果中，若是能夠將被作了放開之選單和該相異之選單作合併(步驟S1222，Yes)，則接下來，資訊處理系統100，係實行將被作了放開之選單的子選單和該相異之選單的子選單作合併之處理(步驟S1223)。步驟S1223之處理，例如係由輸出控制部122來實行。在上述步驟S1222之判斷的結果中，當並無法將被作了放開之選單和該相異之選單作合併的情況時(步驟S1222，No)，接下來，資訊處理系統100，係實行將被作了放開之選單回復至拖曳前之位置的處理(步驟S1226)。步驟S1226之處理，例如係由輸出控制部122來實行。
在上述步驟S1221之判斷的結果中，若是並非為在以1個點來將該與被作了放開之選單相異之選單作了按壓的狀態下，而使該選單與被作了放開之選單相互接近至規定距離以下之距離的情況(步驟S1221，No)，則接下來，資訊處理系統100，係判斷被作了放開的選單是否為在與相同階層之2個的選單間而分別成為既定距離以內的場所處被作了放開(步驟S1224)。步驟S1224之判斷，例如係由檢測部121來實行。
在上述步驟S1224之判斷的結果中，當被作了放開的選單為在與相同階層之2個的選單間而分別成為 既定距離以內的場所處被作了放開的情況時(步驟S1224，Yes)，則接下來，資訊處理系統100，係實行將被作了拖曳以及放開之選單插入至該2個的選單之間之處理(步驟S1225)。步驟S1225之處理，例如係由輸出控制部122來實行。
另一方面，在上述步驟S1224之判斷的結果中，若是並非成為被作了放開的選單為在與相同階層之2個的選單間而分別成為既定距離以內的場所處被作了放開的情況時(步驟S1224，No)，則接下來，資訊處理系統100，係判斷該選單在直到被放開為止時是否為以既定之速度以上的速度而被作了拖曳(步驟S1227)。步驟S1227之判斷，例如係由檢測部121來實行。
在上述步驟S1227之判斷的結果中，當該選單在直到被放開為止時為以既定之速度以上的速度而被作了拖曳的情況時(步驟S1227，Yes)，則接下來，資訊處理系統100，係判斷該被作了拖曳的選單是否能夠被削除(步驟S1228)。步驟S1228之判斷，例如係由檢測部121來實行。
在上述步驟S1228之判斷的結果中，當被作了放開的選單為能夠削除的情況時(步驟S1228，Yes)，則接下來，資訊處理系統100，係實行將該被作了拖曳的選單削除之處理(步驟S1230)。步驟S1230之處理，例如係由輸出控制部122來實行。另一方面，在上述步驟S1228之判斷的結果中，當被作了放開的選單並非 為能夠削除的情況時(步驟S1228，No)，則係實行將該被作了拖曳的選單回復至拖曳前之位置的處理(步驟S1226)。步驟S1226之處理，例如係由輸出控制部122來實行。
在上述步驟S1227之判斷的結果中，當該選單在直到被放開為止時為以未滿既定之速度的速度而被作了拖曳的情況時(步驟S1227，No)，則接下來，資訊處理系統100，係判斷該被作了拖曳的場所是否為畫面之外(步驟S1229)。步驟S1229之判斷，例如係由檢測部121來實行。
在上述步驟S1229之判斷的結果中，若是被作了放開的場所係為畫面之外(步驟S1229，Yes)，則接下來，資訊處理系統100，係實行該被作了拖曳的選單是否能夠被削除之判斷。另一方面，在上述步驟S1229之判斷的結果中，若是被作了放開的場所係並非為畫面之外(步驟S1229，No)，則接下來，資訊處理系統100，係實行將該選單移動至該被作了放開的場所處之處理(步驟S1231)。步驟S1231之處理，例如係由輸出控制部122來實行。
資訊處理系統100，係藉由實行上述之一連串的處理，而能夠將使用者所進行了放開的選單之狀態，因應於被放開之位置、拖曳之速度等來作改變。
展示具體性之GUI之例，並針對上述之動作例而更進一步作說明。首先，針對將選單鍵削除之GUI 之例作說明。圖53，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖53中所示者，係為由使用者所進行之選單之放開操作的其中一例，並為選單被以既定速度以上之速度來作了拖曳的情況時之GUI之例。若是使用者從選單鍵群1110之中而將1個的選單鍵1111以既定速度v以上來作了拖曳，之後將該選單鍵1111在畫面內而放開(亦即是，進行像是將選單鍵1111拋開一般之動作)，則資訊處理系統100，係實行將該選單鍵1111削除之處理。藉由以將進行有此種如同將選單鍵拋開一般之動作一事檢測出來的方式來實行將選單鍵削除之處理，資訊處理系統100，係能夠提供對於使用者而言為能夠容易地直接理解之GUI。
另外，選單鍵之削除，係並不被限定於上述之例。圖54，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖54中所示者，係為由使用者所進行之選單之放開操作的其中一例，並為對於使用者正在進行將選單鍵1111放開至垃圾箱選單1112處的操作之狀態作展示者。如此這般，若是使用者將選單鍵1111放開至垃圾箱選單1112處，則資訊處理系統100，係實行將該選單鍵1111削除之處理。
圖55，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式 之GUI之例作展示之說明圖。圖55中所示者，係為由使用者所進行之選單之放開操作的其中一例，並為對於使用者正在進行將選單鍵1111一直移動至畫面外並將其放開的操作之狀態作展示者。如此這般，若是檢測出使用者將選單鍵1111一直移動至畫面外並作了放開的操作，則資訊處理系統100，係實行將該選單鍵1111削除之處理。
以上，係針對將選單鍵削除之GUI之例作了說明。接著，針對將選單鍵追加至選單鍵群中之GUI之例作說明。
圖56，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖56中所示者，係為由使用者所進行之選單之放開操作的其中一例，並為對於使用者正在進行將選單鍵插入至選單鍵群1110中的操作之狀態作展示者。若是使用者將選單鍵1111拖曳至選單鍵群1110所被作顯示之圓弧上，則資訊處理系統100，係在選單鍵群1110所被作顯示之圓弧上，作成用以將選單鍵1111插入之空隙。之後，若是使用者將選單鍵1111放開至圓弧上之空隙處，則資訊處理系統100，係顯示在該圓弧上而被放開之選單鍵1111。藉由以將被進行有如此這般地而將選單鍵放開的動作一事檢測出來的方式來實行將選單鍵追加至選單鍵群中之處理，資訊處理系統100，係能夠提供對於使用者而言為能夠容易地直接理解之GUI。
以上，係針對將選單鍵追加至選單鍵群中之 GUI之例作了說明。接著，針對將選單追加至放開目標之選單的子項目中之GUI之例作說明。
圖57，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖57中所示者，係為由使用者所進行之選單之放開操作的其中一例，並為對於使用者正在進行將選單鍵放開至選單鍵群1110中之某一選單鍵處的操作之狀態作展示者。當放開目標之選單乃身為資料夾選單的情況時，若是使用者將選單鍵一直拖曳至想要進行放開之選單鍵的場所處，則首先，資訊處理系統100，係如圖57中所示一般，以將想要放開之選單鍵作擴展的方式來作顯示。之後，若是使用者在該場所處而將選單鍵放開，則資訊處理系統100，係如圖57中所示一般，以將被作了放開的選單鍵追加至放開目標之子選單中的方式來作顯示。資訊處理系統100，係能夠以將被作了放開的選單鍵追加至放開目標之選單的子選單之末尾處的方式來作顯示，亦能夠以追加至放開目標之選單的最為接近之位置處的方式來作顯示。
圖58，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖58中所示者，係為由使用者所進行之選單之放開操作的其中一例，並為對於使用者正在進行將選單鍵放開至選單鍵群1110中之某一選單鍵處的操作之狀態作展示者。當放開目標之選單乃身為應 用程式或者是資料的情況時，若是使用者將選單鍵一直拖曳至想要進行放開之選單鍵的場所處，則首先，資訊處理系統100，係如圖58中所示一般，以將想要放開之選單鍵作擴展的方式來作顯示。之後，若是使用者在該場所處而將選單鍵放開，則資訊處理系統100，係如圖58中所示一般，在至今為止之放開目標之選單鍵所被作顯示的場所處，重新顯示資料夾選單之選單鍵，並將作了放開的選單鍵和放開目標的選單鍵作為該資料夾選單之子選單來作顯示。亦即是，資訊處理系統100，係實行將作了放開的選單鍵和放開目標的選單鍵作合併之處理。
以上，係針對將選單追加至放開目標之選單的子項目中之GUI之例作了說明。至今為止所揭示者，係為放開目標之選單鍵並未被使用者之手指所按壓的情況之例，但是，以下所說明者，係為放開目標之選單鍵正被使用者之手指所按壓的情況之例。
圖59，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖59中所示者，係為由使用者所進行之選單之放開操作的其中一例，並為對於使用者一面以手指而按壓選單鍵群1110中之某一選單鍵一面將其他的選單鍵1111放開至該選單鍵處的操作之狀態作展示者。若是使用者一面以手指而按壓選單鍵群1110中之某一選單鍵，一面使其他的選單鍵1111朝向該選單鍵而接近至規定距離以下，則資訊處理系統100，係如同圖 59中所示一般地，以將選單鍵彼此相互結合的方式來作顯示。之後，若是使用者一面以手指而按壓選單鍵群1110中之某一選單鍵，一面將拖曳而來的選單鍵1111放開，則係實行將2個的選單鍵之子選單彼此作合併的處理。資訊處理系統100，在將子選單彼此作合併時，係可將在選單鍵群1110中所顯示的選單鍵維持為原樣，亦可構成為將其他的選單鍵顯示在選單鍵群1110之圓弧上。
如此這般，資訊處理系統100，係藉由讓使用者一面以手指而按壓某一選單鍵一面將其他的選單鍵放開至該選單鍵處，而進行選單之合併。針對該選單之合併之例作說明。圖60，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖60中所示者，係為當使用者一面以手指而按壓某一選單鍵一面將其他的選單鍵放開至該選單鍵處時的選單之合併之例。資訊處理系統100，若是在進行合併時係存在有相同之子選單，則係亦可並不作成2個的該子選單地而設為僅有1個。例如，在圖60中，係對於當將存在有A、B、D、F、G之子選單和存在有A、C、D、E、F之子選單的選單作合併時，將於雙方處而為共通之子選單A、D、F設為僅有1個的例子作展示。
以上，係針對放開目標之選單鍵為正被使用者之手指所按壓的情況之例作了說明。接著，針對本發明之其中一種實施形態的資訊處理系統100之選單的操作 例，列舉出具體例來更進一步作說明。
圖61，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖61中所示者，係為在資訊處理系統100所顯示之應用程式處的與使用者之拖曳操作以及放開操作相對應之新的選單的作成例。在如同圖61一般之被顯示有選單鍵1100以及選單鍵群1110的狀態下，因應於使用者在以手指而將選單鍵群1110中之某一選單鍵1111作了按壓的狀態下而藉由另外一隻手之手指來進行了拖曳的使用者操作，資訊處理系統100，係作成該選單鍵1111之複製。
在圖61中，係展示有基於使用者操作而作成了選單鍵群1110中之選單D、E的複製之例。之後，因應於將此選單D、E之複製作合併的使用者操作，資訊處理系統100，係作成新的選單鍵1100以及選單鍵群1110。
之後，若是朝向新作成的選單鍵群1110而又放開了其他的選單鍵1111，則資訊處理系統100，係如圖61中所示一般，在該新作成的選單鍵群1110中，追加被作了放開的選單鍵1111。
藉由接收此種由使用者所進行之拖曳操作和放開操作，本發明之其中一種實施形態的資訊處理系統100，係能夠對於選單之自訂(costomize)的容易性有所保證。又，藉由接收此種由使用者所進行之拖曳操作和放 開操作，本發明之其中一種實施形態的資訊處理系統100，係能夠讓複數之使用者同時使用同一選單。
對於其他實施例作說明。圖62，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖62中所示者，係為在資訊處理系統100所顯示之應用程式處的與使用者之拖曳操作以及放開操作相對應之捷徑鍵的作成例。例如，針對位在從選單鍵1100而算起之第2階層的選單鍵群1120中之某一選單鍵，在通常的情況中，使用者係需要以選單鍵1100、選單鍵群1110、選單鍵群1120的順序來依序進行3次的操作才能夠到達該處。但是，資訊處理系統100，係能夠藉由基於上述一般之使用者操作來作成捷徑鍵，而以1次的操作來到達該選單鍵群1120中之某一選單鍵處。
例如，針對會被複數之使用者而頻繁地使用之選單，藉由作成與使用者之數量相同之數量的捷徑鍵，資訊處理系統100，係能夠讓每個使用者均能夠藉由1次的操作來到達該選單處。
藉由上述一般之選單的複製或捷徑之作成，資訊處理系統100，例如係能夠作成在家族中而為共通之選單，或者是作成在家族中的各人之各自的選單。
圖63，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖63中所示者，係為在資 訊處理系統100所顯示之應用程式中的與使用者之拖曳操作以及放開操作相對應之家族各人之選單的作成例。
在圖63之右下方，係展示有選單鍵1100以及選單鍵群1110、1120。又，在圖63中，係對於在選單鍵群1120中為包含有父親用之選單鍵、母親用之選單鍵以及小孩用之選單鍵的狀態作展示。在如此這般而顯示有選單鍵群1120的狀態下，若是使用者實行作成父親用之選單鍵、母親用之選單鍵以及小孩用之選單鍵的捷徑鍵之操作，則資訊處理系統100，係作成到達各個選單鍵之捷徑鍵。藉由作成到達各個選單鍵之捷徑鍵，父親、母親、小孩係僅需要以手指等之操作體來接觸該捷徑鍵，便能夠使用自身所需之選單，或者是以能夠讓自己方便使用的方式來對於選單進行自訂(customize)。又，藉由捷徑鍵之操作所顯示出的對於選單之自訂，係亦會反映在原先的選單處。
藉由上述一般之選單的複製之作成，資訊處理系統100，例如係能夠讓使用者直感性地來容易的作成Web網站之書籤。
圖64，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖64中所示者，係為在資訊處理系統100所顯示之應用程式中的與使用者之拖曳操作以及放開操作相對應之書籤選單的作成例。
在圖64中，係對於藉由資訊處理系統100而 顯示有選單鍵1100以及選單鍵群1110、1120的狀態作展示。又，在圖64中，係對於作為應用程式之例而藉由資訊處理系統100來將顯示網際網路之Web網站的Web瀏覽器1140作顯示的狀態作展示。又，在圖64中，係對於藉由資訊處理系統100而在Web瀏覽器1140之左下部分處顯示有用以對於現在所顯示之網頁作連接的選單鍵1141之狀態作展示。若是檢測出使用者對於選單鍵1141而實行了作成複製之操作，則資訊處理系統100，係因應於該使用者操作，而作成選單鍵1141之複製。選單鍵1141之複製，係能夠作為該網頁之書籤而起作用。所作成的選單鍵1141之複製，例如係藉由使用者之操作而被追加至選單鍵群1120之中。本發明之其中一種實施形態之資訊處理系統100，係能夠藉由對於使用者提供此種操作，而例如讓使用者直感性地來容易的作成網頁之書籤。又，本發明之其中一種實施形態之資訊處理系統100，係能夠藉由對於使用者提供此種操作，而讓使用者藉由簡單之操作來將複數的網頁之書籤整合於1個的選單鍵群中。
本發明之其中一種實施形態的資訊處理系統100，由於係構成為能夠接收從複數之使用者而來的選單操作，因此，係可能會發生相同之應用程式或者是相似之應用程式被複數之使用者所啟動並同時被實行的狀況。若是相同之應用程式或者是相似之應用程式被複數之使用者所同時實行，則可能會發生變得難以得知是誰將何者的應用程式作了啟動的狀況。因此，本發明之其中一種實施形 態的資訊處理系統100，係提供一種能夠藉由簡單的使用者操作來進行選單和應用程式間之結線或者是將該結線解除的架構。
圖65，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖65中所示者，係為在因應於使用者之操作而將資訊處理系統100所顯示之應用程式和選單間的結線解除時之GUI之例。
例如，在如同圖65之左側一般之藉由資訊處理系統100而被顯示有選單鍵1100、選單鍵群1110、1120以及作為應用程式之例之Web瀏覽器1140的狀態下，資訊處理系統100，係亦能夠將選單鍵群1120中之1個的選單鍵和Web瀏覽器1140之選單鍵1141以結線的方式來作顯示。在圖65之例中，係將選單鍵群1120中之1個的選單鍵和Web瀏覽器1140之選單鍵1141之間的結線以虛線來作展示，但是，在本發明中，結線之顯示之例，係並不被限定於此例。
若是檢測出使用者對於此結線之顯示而實行了特定之操作、例如使用者實行了像是以特定之速度以上而將結線切斷一般的操作，則資訊處理系統100，係實行將選單鍵群1120中之1個的選單鍵和Web瀏覽器1140之選單鍵1141之間的結線解除之處理。在結線的解除時，資訊處理系統100係實行使Web瀏覽器1140結束之處理。在使Web瀏覽器1140結束的處理時，資訊處理系 統100，係亦可如圖65中所示一般，實行像是使該Web瀏覽器1140逐漸地變淡並且最終使顯示消失一般的顯示處理。
本發明之其中一種實施形態的資訊處理系統100，係能夠藉由簡單的使用者操作來進行選單和應用程式間之結線或者是將該結線解除。
藉由如同圖64中所示一般地而將選單和應用程式作結線，本發明之其中一種實施形態的資訊處理系統100，係除了上述之外亦能夠對於使用者提供各種的操作。例如，圖1一般之投影型之資訊處理系統100a，由於係在如同桌140a一般之面積為大的顯示面上而顯示資訊，因此，係可能會發生想要將位在遠離使用者之位置處的應用程式拉至手邊一般的需求。因此，藉由對於選單和應用程式間之結線的顯示而讓使用者進行像是將該顯示拉至自身前方一般之操作，資訊處理系統100，係亦可實行像是因應於該使用者操作來使應用程式之視窗移動一般之顯示處理。
圖66，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖66中所示者，係為在使用者對於資訊處理系統100所顯示之應用程式和選單間的結線而進行操作時之GUI之例。
在圖66中，係藉由資訊處理系統100而顯示有選單鍵1100、選單鍵群1110、1120以及作為應用程式 之例之Web瀏覽器1140。又，在圖66中，係對於以將選單鍵群1120中之1個的選單鍵和Web瀏覽器1140之選單鍵1141作結線的方式而藉由資訊處理系統100來作顯示的狀態作展示。在如此這般地藉由資訊處理系統100而將選單鍵和視窗作顯示的狀態下，使用者若是進行像是將結線之線拉向手邊(朝向選單鍵群1120之方向)一般的操作，則資訊處理系統100，係因應於該操作之被檢測出來，而實行像是使Web瀏覽器1140接近選單鍵群1120一般之顯示處理。
如此這般，藉由因應於使用者之對於結線之顯示所實行的如同拉至手邊一般之操作，而實行像是使應用程式之視窗作移動一般之顯示處理，資訊處理系統100，係能夠提高使用者操作之便利性。另外，在圖65中，雖係針對使用者進行了如同將應用程式之視窗拉至手邊一般之操作的情況之例來作了展示，但是，當使用者實行了像是使視窗從手邊而遠離一般之操作的情況時，資訊處理系統100，係相反地而實行像是使應用程式之視窗從選單鍵而遠離一般之顯示處理。
藉由如同圖64中所示一般地而將選單和應用程式作結線，本發明之其中一種實施形態的資訊處理系統100，係能夠讓使用者在從應用程式之視窗而遠離的場所來進行應用程式之操作。
圖67，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式 之GUI之例作展示之說明圖。圖67中所示者，係為當使用者在資訊處理系統100所顯示之應用程式和選單間為被作了結線的狀態下而進行操作時之GUI之例。
在圖67中，係藉由資訊處理系統100而顯示有選單鍵1100、選單鍵群1110、1120、1121以及作為應用程式之例之Web瀏覽器1140。又，在圖67中，係對於以將選單鍵群1120中之1個的選單鍵和Web瀏覽器1140之選單鍵1141作結線的方式而藉由資訊處理系統100來作顯示的狀態作展示。又，選單鍵群1121，假設係為將用以操作Web瀏覽器1140之選單作了並排者。在如此這般地藉由資訊處理系統100而將選單鍵和視窗作顯示的狀態下，使用者若是對於選單鍵群1121進行操作，則資訊處理系統100，係實行與該操作相對應之對於Web瀏覽器1140所進行的處理(例如，開啟被加入至書籤中之網頁、回到前一頁、前進至下一頁、使Web瀏覽器結束等的處理)。
藉由如此這般地而能夠在從應用程式之視窗而遠離的場所來進行應用程式之操作，資訊處理系統100，係能夠提高使用者操作之便利性。例如，圖1一般之投影型之資訊處理系統100a，由於係在如同桌140a一般之面積為大的顯示面上而顯示資訊，因此，就算是在遠離使用者之位置處而顯示有應用程式，亦能夠藉由結線來進行遠隔操作，而能夠提高使用者操作之便利性。
在圖67之例中，作為應用程式，雖係展示有 Web瀏覽器1140，但是，能夠進行遠隔操作之應用程式，係並不被限定於此例。例如，若是應用程式為音樂播放程式，則藉由應用程式和選單鍵之間的結線，係成為能夠以遠隔操作來進行音量之調整、樂曲之跳過、快轉、快速倒轉等。又，例如，若是應用程式為動畫像播放程式，則藉由應用程式和選單鍵之間的結線，係成為能夠以遠隔操作來進行音量之調整、動畫像之跳過、快轉、快速倒轉等。
在至今為止之例中，係針對將以選單鍵1100作為起點而顯示選單鍵群1110、1120之GUI作顯示的資訊處理系統100作了展示，但是，選單鍵群1110、1120之起點，係並不被限定於選單鍵1100。資訊處理系統100，例如，係亦可構成為將使用者所擁有之行動電話、智慧型手機或其他之攜帶終端作為起點並顯示選單鍵群1110、1120。在上述之例中，係針對資訊處理系統100和攜帶終端間之協同動作之例作了展示。資訊處理系統100，例如，係亦能夠將與資訊處理系統100作了協同動作之攜帶終端作為起點並顯示選單鍵群1110、1120。
圖68，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖68所示者，係為作為選單鍵群1110、1120之顯示的起點而使用有與資訊處理系統100作了協同動作之攜帶終端1310的情況時之GUI之例。若是使資訊處理系統100和攜帶終端1310協同動 作，並讓使用者實行特定之操作，則資訊處理系統100，係亦可如同圖68中所示一般，在攜帶終端1310之周圍顯示選單鍵群1110、1120。
藉由在攜帶終端1310中保存選單鍵群1110、1120之資訊，就算是在使該攜帶終端1310與其他之資訊處理系統100作了協同動作的情況時，亦成為能夠以完全相同之佈局來顯示選單鍵群1110、1120。例如，使用者係可在自家而對於選單鍵群1110、1120之佈局進行編輯，並保存在攜帶終端1310中，再將該攜帶終端1310帶到朋友的家中，而於朋友家之資訊處理系統100處顯示在自家所作了編輯的選單鍵群1110、1120。
本發明之其中一種實施形態之資訊處理系統100，係如同圖63中所示一般，藉由捷徑鍵之作成，而能夠作成使用者各自之選單、例如作成在家族中的各人之各自的選單。本發明之其中一種實施形態之資訊處理系統100，係亦可構成為對於如此這般之對於使用者各人所作成之選單，而將各使用者之帳號作結線。
圖69，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖69中所示者，係為對於使用者各人所作成之選單而將各使用者之帳號作了結線的狀態。於圖69中，係展示有父親以及母親所使用的應用程式之視窗1150、和用以操作該應用程式之選單鍵1151。資訊處理系統100，係藉由對於使用者各人所作成 之選單而將各使用者之帳號作結線，而例如能夠對於各使用者而分別保存Web瀏覽器之Cookie、記錄網頁之登錄資訊、管理對於網頁之存取履歷等。
本發明之其中一種實施形態的資訊處理系統100，係能夠想定有被複數之使用者而同時使用的形態。故而，若是如同上述一般地而作成讓各使用者進行了自訂(costomize)之選單，則會發生某一使用者誤用到其他使用者之選單的狀況。若是並不對於使用者之選單上鎖，則不論是誰都能夠簡單地對於該使用者之選單作使用。
因此，本發明之其中一種實施形態的資訊處理系統100，係提供一種若是不先進行認證則無法對於選單作使用的架構。認證方式，係可為密碼方式，亦可為利用有使用者所正在使用之攜帶終端的機器認證方式。在以下之例中，係針對藉由機器認證方式來認證對於選單之存取的架構作說明。
圖70，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖70中所示者，係為當藉由利用有使用者所正在使用之攜帶終端之機器認證方式來認證對於選單之存取時的GUI之例。資訊處理系統100，例如，係成為能夠對於父親所使用之選單，而以若是不使用該父親所正使用之攜帶終端來進行認證則便無法進行存取的方式來對於選單上鎖。資訊處理系統100，在對於父親所使用之選單上了鎖的狀態下，係以就算是使用者選擇 該選單(就算是作了選擇者係為父親本人)也不會產生任何反應的方式來作控制。
之後，若是檢測出在父親所使用之選單附近被放置有該父親所正使用之攜帶終端，則資訊處理系統100，若是辨識出該攜帶終端並且更進而辨識出該攜帶終端係為父親所擁有者，則係將父親所使用之選單的鎖解除。資訊處理系統100，係可將攜帶終端之辨識，藉由上述之畫像辨識來進行，亦可藉由近場非接觸通訊(NFC)、Wi-Fi通訊、Bluetooth(登記商標)通訊等來進行。資訊處理系統100，若是結束認證，則係解除被上鎖的選單之鎖，並以讓使用者能夠對於該選單進行存取的方式來作控制。
如此這般，藉由採用利用機器認證方式來認證對於選單之存取的架構，本發明之其中一種實施形態的資訊處理系統100，係能夠對由並未被認證之使用者所進行的對於選單之存取作限制。
本發明之其中一種實施形態之資訊處理系統100，係如同上述一般，能夠以攜帶終端作為起點而顯示選單鍵。於此，本發明之其中一種實施形態之資訊處理系統100，係提供一種藉由以該攜帶終端作為起點所顯示的選單鍵來對於在攜帶終端處之權限作控制的架構。
圖71，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖71中所示者，係為當以 攜帶終端作為起點而顯示選單鍵時，藉由該選單鍵來對於在攜帶終端處之權限作控制的GUI之例。
在圖71中，係對於以攜帶終端1310、1320作為起點，而分別顯示有選單鍵群1110、1120的狀態作展示。又，在圖71中，係對於在選單鍵群1120中而顯示有在各攜帶終端1310、1320處之權限的狀態作展示。作為在攜帶終端1310、1320處之權限，例如，係存在有應用程式之操作權限、從攜帶終端而進行遠端操作之機器的操作權限、使用攜帶終端而進行帳單付款時的付款權限等。
例如，假設使用者係進行了從以攜帶終端1310作為起點所顯示的選單鍵群1120中而將某一權限(例如，一千元之帳單付款權限)複製至以攜帶終端1320作為起點所顯示的選單鍵群1120中之操作。資訊處理系統100，係因應於該使用者操作，而進行將被保持在攜帶終端1310處之該權限複製至攜帶終端1320處之處理。
如此這般，經由透過選單鍵之操作來在攜帶終端間將權限作複製，本發明之其中一種實施形態之資訊處理系統100，係能夠藉由簡單的操作來進行在攜帶終端處之權限的授受。
本發明之其中一種實施形態之資訊處理系統100，係基於對於應用程式之視窗所進行的選單鍵之拖曳以及放開操作，來提供對於應用程式遞交資料之功能。
圖72，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖72中所示者，係為基於對於應用程式之視窗所進行的選單鍵之拖曳以及放開操作來對於應用程式遞交資料時之GUI例。
在圖72中，係對於在選單鍵群1120中而存在有與用以對網頁進行存取之書籤相對應的選單鍵之狀態作展示。若是使用者實行將選單鍵群1120中之某一選單鍵對於Web瀏覽器1140而進行拖曳以及放開的操作，則本發明之其中一種實施形態的資訊處理系統100，係因應於該使用者操作，而以對於與被作了放開之選單鍵相對應之網頁進行存取的方式來對於Web瀏覽器1140之動作作控制。如此這般，藉由因應於由使用者所進行的拖曳以及放開操作，來對於應用程式遞交資料，本發明之其中一種實施形態之資訊處理系統100，係能夠對於使用者而提供直感性的操作。
另外，在圖72中，雖係針對應用程式乃身為Web瀏覽器的例子來作了展示，但是，成為資料之遞交對象的應用程式，係並不被限定於此例。例如，當應用程式乃身為畫像顯示應用程式的情況時，若是使用者將代表畫像資料之選單鍵放開至畫像顯示應用程式處，則資訊處理系統100，係實行在畫像顯示應用程式中而顯示該畫像資料之處理。又，例如，當應用程式乃身為樂曲播放應用程式的情況時，若是使用者將代表樂曲資料之選單鍵放開至 樂曲播放應用程式處，則資訊處理系統100，係實行在樂曲播放應用程式中而播放該樂曲資料之處理。又，例如，當應用程式乃身為動畫像播放應用程式的情況時，若是使用者將代表動畫像資料之選單鍵放開至動畫像播放應用程式處，則資訊處理系統100，係實行在動畫像播放應用程式中而播放該動畫像資料之處理。
在圖72中，係針對資訊處理系統100因應於對於應用程式之視窗而將選單鍵作了放開一事來進行對於該應用程式之資料之遞交的例子作了說明。接著，針對資訊處理系統100因應於對提供任意之功能的選單鍵而將其他的選單鍵作了放開一事，而實行與被作了放開的選單鍵相對應之功能的例子作說明。
圖73，係為對於本發明之其中一種實施形態的資訊處理系統100所顯示在資訊之顯示面上的應用程式之GUI之例作展示之說明圖。圖73中所示者，係為當基於對提供任意之功能的選單鍵所進行的其他的選單鍵之拖曳以及放開操作，而實行與被作了放開的選單鍵相對應之功能時之GUI之例。
在圖73中，係對於在選單鍵群1120中而存在有用以對於例如社群網路服務(SNS)而進行投稿的選單鍵之狀態作展示。假設使用者係將例如代表畫像資料之選單鍵對於該選單鍵群1120中之某一選單鍵而作了放開。資訊處理系統100，係因應於該使用者之放開操作，而實行將該畫像資料對於SNS進行投稿的處理。
如此這般，藉由因應於由使用者所進行的拖曳以及放開操作，來實行與被作了放開的選單鍵相對應之功能，本發明之其中一種實施形態之資訊處理系統100，係能夠對於使用者而提供直感性的操作。
另外，在圖73中之選單鍵群1120的各選單鍵所實行之功能，係並不被限定於對於SNS之投稿。例如，作為選單鍵群1120之各選單鍵所實行的功能，係可考慮有對於被登記在通訊錄中之對象的資料之送訊、對於正進行協同動作之機器所進行的資料之送訊等的各種之功能。
〈2.使用者介面之具體例〉
以下，針對能夠藉由上述之資訊處理系統100所實現的使用者介面(UI：User Interface)之具體例作說明。以下，雖係想定為投影型之資訊處理系統100a來進行說明，但是，不論是參考圖1~圖4所作了說明的何者之形態，均能夠實現以下所說明之具體例的UI。又，將投影型之資訊處理系統100a中的設置在桌140a之上方之被設置有投影機以及攝像機等的框體，亦稱作本體。又，將桌140a，亦稱作藉由投影機而被投影畫像之投影面(顯示面)。
〔具體例1〕
本具體例之資訊處理系統100，係提供因應於操作物 件之形狀而旋轉的半圓狀之選單。當並不對於操作物件之形狀作考慮地而顯示選單的情況時，例如係會有選單被與手相重疊地而顯示並導致視覺辨認性降低的情形。因此，本具體例之資訊處理系統100，係在會與操作物件相互重疊之區域以外的區域處而顯示選單。以下，參考圖74~圖76，針對本具體例詳細作說明。圖74~圖76，係為用以針對關於具體例1之使用者介面作說明的說明圖。
如同圖74中所示一般，本具體例之資訊處理系統100，若是使用者以手指而對於被顯示在作為顯示面而起作用之桌140a上的選單鍵2001作觸碰，則係顯示因應於作了觸碰之手指的形狀而將圖符(選單項目)以半圓狀來作了配置的選單2002。具體而言，資訊處理系統100，係將以作了觸碰之手指的方向作為中心而朝向左右擴廣之半圓狀之選單2002，以不會使圖符與作了觸碰的手指相互重疊的方式來作顯示。又，資訊處理系統100，係因應於作了觸碰之手指的方向，而使圖符之文字顯示正對於使用者。當選單鍵2003被作了觸碰的情況時，亦同樣的，係顯示因應於作了觸碰之手指的形狀而各項目以半圓狀來作了配置的選單2003。
為了進行此種顯示處理，首先，檢測部121，係檢測出與顯示面相重疊之操作物件。操作物件，係可為使用者之手指或手等之身體的一部分，亦可為操作棒等之被使用者所操作之任意之物體，亦可為機器手臂等。檢測部121，係基於藉由立體攝像機所得到的深度資訊，來檢 測出與顯示面相重疊之操作物件的形狀、長邊方向、短邊方向以及高度。當操作物件為手指的情況時，檢測部121，係亦可檢測出手指所指向之方向。在圖74所示之例中，檢測部121，係將對於重疊在桌140a上的選單鍵2001、2003作了觸碰的手指以及手，作為操作物件而檢測出來，並且檢測出手指所指向之方向。
之後，輸出控制部122，係以將使藉由檢測部121所檢測出之操作物件所作了重疊的區域成為缺損的圓狀(半圓狀)之選單顯示在顯示面上的方式，而對於輸出部130進行控制。例如，在圖74所示之例中，輸出控制部122，係顯示在對於選單2001作了觸碰的手指所重疊之區域處而並未配置有項目的選單2002。
輸出控制部122，作為用以產生使操作物件所重疊之區域作了缺損的圓狀之選單的其中一個手段，係亦可因應於操作物件所重疊在顯示面上之區域的大小，來使圖符之顯示個數或者是圖符之顯示尺寸的至少其中一者作增減。例如，輸出控制部122，係以因應於對於選單作觸碰之手的大小來使所顯示之圖符的顯示個數作增減的方式，來對於輸出部130進行控制。具體而言，輸出控制部122，係如圖75中所示一般，當使用者伸出1根手指而對於選單鍵作了觸碰的情況時，係顯示有9個的圖符，當使用者將手指並不交疊地而展開並作了觸碰的情況時，係顯示有7個的圖符。
又，如圖76中所示一般，輸出控制部122， 係亦可因應於手指之粗細，來以會成為能夠不發生問題地而進行觸碰之尺寸以及個數之上限的方式，而對於圖符顯示作調整。具體而言，輸出控制部122，當手指為細的情況時，係將圖符尺寸縮小，而顯示更多的圖符，並隨著手指變粗，而將圖符尺寸增大並將圖符數減少。。另外，輸出控制部122，係亦能夠使配置圖符之圓的半徑作增減。例如，若是將顯示尺寸固定，則因應於半徑之增減，顯示個數係隨著作增減。又，若是將顯示個數固定，則因應於半徑之增減，顯示尺寸係隨著作增減。
輸出控制部122，係藉由進行此種顯示控制，而讓使用者的手指不會與圖符相重疊，因此，使用者係能夠容易地對於選單全體作掌握。進而，係能夠避免起因於不小心地使手指與被重疊於手指地而作了顯示之圖符相接觸一事所導致的誤動作。又，輸出控制部122，係能夠藉由配合於手的大小來對於選單顯示作控制，而對於可利用之面積作最大限度之活用地來顯示圖符。圖符之顯示個數的調整，當超過了顯示個數時、亦即是當無法將所有的圖符全部作顯示時，係特別能夠發揮效果。
又，輸出控制部122，係亦可因應於操作物件之朝向而對於所顯示之選單的方向作控制。詳細而言，輸出控制部122，係亦能夠以將基於藉由檢測部121所檢測出之操作物件的長邊方向來將項目作了配置的選單顯示在顯示面上的方式，而對於輸出部進行控制。例如，在圖74所示之例中，輸出控制部122，係基於對選單鍵2001 作了觸碰的手指之方向，來顯示以作了觸碰之手指的方向作為中心而朝向左右擴廣的半圓狀之選單2002。進而，輸出控制部122，係基於對於選單鍵2001作了觸碰的手指之方向，而推測出該手指之擁有者的使用者之方向，並以使文字顯示以及選單配置正對於使用者的方式，來顯示選單2002。輸出控制部122，係藉由進行此種顯示控制，而成為不論使用者從何者之方向對於桌140a作觸碰，均能夠提供正對於使用者之選單。
另外，資訊處理系統100，係亦能夠因應於由檢測部121所得到之檢測結果來對於個人作辨識，並進行與所辨識出之個人的操作履歷等有所對應之作了個人化的輸出。例如，資訊處理系統100，係可因應於手指之粗細來對於個人進行特定。因此，例如就算是當在被使用於家庭內之資訊處理系統100中而使用者以家族共用帳號來作了登錄的狀態下，亦能夠並不將攝像機朝向臉部並進行由臉孔辨識所進行之辨識地來對於作了登錄之家人而進行個人化後之輸出。例如，當資訊處理系統100乃身為投影型的情況時，使用者係並不需要望向上方地便能夠獲取個人化後之輸出的提供。又，資訊處理系統100，就算是在居酒屋等之會被不特定多數使用者所接觸的環境下，也能夠進行個人化後之輸出。但是，可以考慮到，也可能會有像是在雪山中而以穿戴有手套來進行觸碰的情況之類的就算是同一人手指的粗細也會有所變化的情形。
〔具體例2〕
本具體例，係為當攝像機、麥克風、投影機、揚聲器為已知的情況時，藉由根據手或手指所被觀測到之方向來推測使用者所存在之方向，而對於使用者來將輸入輸出作了最適化的形態。當在由麥克風所致之收音中而並不對於使用者之位置作考慮的情況時，係會有難以取得鮮明之聲音的情況，又，當在由揚聲器而來之聲音輸出中而並不對於使用者之位置作考慮的情況時，係會有難以輸出具有臨場感之聲音的情況。因此，本具體例之資訊處理系統100，係推測出使用者之位置，並進行對於使用者之位置而作了最適化之輸入以及輸出。以下，參考圖77~圖85，針對本具體例詳細作說明。圖77~圖85，係為用以針對關於具體例2之使用者介面作說明的說明圖。
作為其中一例，於此，係針對將作為輸入部110而起作用之麥克風對於使用者而作了最適化之例作說明。本具體例之檢測部121，係對於作為輸入部110而起作用之麥克風的指向性作控制，並將麥克風之指向性朝向使用者之嘴邊。檢測部121，係使用將複數之麥克風作了組合的麥克風陣列，而對於指向性作控制。
圖77，係對於藉由具備有4根之麥克風的麥克風陣列所形成之指向性的其中一例作展示。檢測部121，係藉由對於聲音之到達各麥克風處的時間差作利用而使其具有指向性(進行波束成形)，而能夠將從並不具有指向性之方向而來的周遭雜音排除。另外，若是麥克風 之根數增加，則係成為能夠使其具有更為縮窄了的指向性。
圖78，係對於與對顯示面作了觸碰的手指之位置相對應的指向性之控制的其中一例作展示。檢測部121，係因應於對顯示面而作了觸碰的使用者之手指的位置，來推測出使用者之位置，並將麥克風之指向性朝向所推測出之使用者的位置。檢測部121，係藉由如此這般地對於麥克風之指向性作控制，而就算是使用者從麥克風而遠離的情況時，亦能夠取得將周遭雜音作了排除的鮮明之使用者聲音，而成為例如能夠進行語音辨識。如圖79中所示一般，例如若是智慧型手機，則係要求麥克風和嘴巴之間的距離為10cm(公分)程度，相對於此，本具體例之資訊處理系統100，就算是100cm程度之距離，也能夠取得將周遭雜音作了排除的鮮明之使用者聲音。
為了進行此種指向性控制，首先，檢測部121，係檢測出操作物件。檢測部121，係檢測出與顯示面相重疊之操作物件的形狀、長邊方向、短邊方向以及高度。當操作物件為手指的情況時，檢測部121，係亦可檢測出手指所指向之方向。接著，檢測部121，係作為基於所檢測出之操作物件而推測出對於操作物件進行操作之使用者所位置的方向之推測部而起作用。例如，檢測部121，係將使用者之手或手指作為操作物件而檢測出來，並基於手或手指之位置以及方向而推測出使用者所位置的方向。以下，針對具體性之推測方法作說明。
例如，在圖80所示之例中，檢測部121，係推測使用者為位置在將被投影於投影面上之圖符的位置和藉由手指所作了觸碰之圖符的位置作連結的直線上之箭頭方向處。當所操作之圖符乃位於使用者之手邊的前提成立的情況時，此係為有效的手法。例如，當使用者能夠藉由在對於圖符進行長按下之後將其拖曳而自由地將圖符移動至使用者之手邊的情況時，可以推測此前提會成立。若依據此手法，則檢測部121，就算是當檢測出手指之方向一事有所失敗的情況時，也能夠推測出使用者之方向。
例如，在圖81所示之例中，檢測部121，係推測使用者為位置在身為對於圖符作了觸碰的手指之朝向之相反側的箭頭方向處。此手法，當檢測部121成功地檢測出了手指之方向的情況時，係為有效。
例如，在圖82所示之例中，檢測部121，係基於被放置在作為投影面而起作用之桌140a上之手的位置以及朝向，來假定使用者為位置在左右之手的中央處，並推測使用者為位置在箭頭方向處。具體而言，檢測部121，係將從同一邊所檢測出之2隻手的朝向之平均的朝向，推測為使用者所位置之方向。此手法，當檢測部121成功地檢測出了手之朝向的情況時，係為有效。
例如，在圖83所示之例中，檢測部121，係根據正在對於應用程式進行操作之手指的朝向，來推測使用者所位置之方向。檢測部121，係亦可針對複數之應用程式，而預先對於從驅動時起而進行操作之手指的朝向進 行推測以及累積，並藉由將所累積了的手指之朝向作整合，來推測現在之使用者所位置的方向。又，檢測部121，係亦可藉由對於操作某一應用程式之手指的朝向而將對於其他之應用程式進行操作的手指之朝向作整合、演算，來推測使用者所位置的方向。
如此這般，檢測部121，係推測使用者所位置之方向。之後，檢測部121，係以進行對於所推測出之使用者所位置之方向而具有指向性之輸入的方式，來對於輸入部110作控制。例如，在參考圖79~圖83而於上所作了說明之例中，檢測部121，係以進行用以取得從所推測出之使用者所位置之方向而來的聲音之波束成形的方式，來對於麥克風作控制。另外，檢測部121，係亦可對於從各麥克風所輸出之聲音而進行波束成形處理。藉由此，檢測部121，係能夠取得將周遭雜音作了排除的鮮明之使用者聲音。除此之外，檢測部121，係亦能夠為了取得所推測出之使用者所位置之方向的畫像，而對於作為輸入部110而起作用之攝像機的朝向作控制。
又，輸出控制部122，係以進行對於藉由檢測部121所推測出之使用者所位置之方向而具有指向性之輸出的方式，來對於輸出部130作控制。例如，輸出控制部122，係以進行用以對於使用者所位置之方向而輸出聲音之聲道構成的方式，來對於作為輸出部130而起作用之揚聲器作控制。除了聲音以外，輸出控制部122，係亦能夠以例如朝向所推測出之使用者所位置之方向而將畫像正對 於使用者地來輸出的方式，而對於輸出部130作控制。
圖84，係為針對從下方來對於投影型之資訊處理系統100的本體作了觀察的情況時之簡易的構成例以及本體和使用者間之位置關係作展示者。如圖84中所示一般，在本體之4角隅處，係分別被形成有揚聲器。另外，圖中之「R」係為右聲道，「L」係為左聲道。如同圖84之上圖所示一般，當使用者係以包圍資訊處理系統100的形態而存在有複數的情況時，輸出控制部122，係以藉由通常之聲道構成來輸出聲音的方式，來對於揚聲器作控制。另一方面，如同圖84之下圖所示一般，當使用者為1人的情況時，輸出控制部122，係以藉由對於所推測出之使用者位置而作了特化之聲道構成來輸出聲音的方式，來對於揚聲器作控制。
如同上述所說明一般，若依據本具體例，則藉由因應於使用者之位置而使麥克風持有指向性，例如就算是在如同周遭雜音一般之雜音環境下，或者是當麥克風與使用者之位置為相互遠離時，亦能夠使語音辨識或語音指令的成功率提昇。又，若依據本具體例，則藉由因應於使用者之位置而使揚聲器之聲道構成改變，係能夠實現更為具有臨場感之音響空間。例如，本具體例之資訊處理系統100，係能夠將想定為會在家庭用電視機處而被利用並對於聲道構成作了設計的內容，如同內容作成者之想法一般地來作再現。除此之外，若依據本具體例，則資訊處理系統100，在語音辨識結束之後，係亦能夠將Web瀏覽器 等之應用程式以正對於使用者的方式來作顯示。
(照片應用程式)
於此，參考圖85，作為使用有本具體例之資訊處理系統100的應用程式之其中一例，針對照片應用程式來作說明。本應用程式，係將對於本體而言之桌140a以及揚聲器的位置設為已知，並利用本體以及桌140a之位置資訊以及設置方位資訊，來輸出多樣化之視覺特效以及特效音。另外，位置資訊，例如係可藉由GPS(Global Positioning System)來取得，設置方位資訊，例如係可藉由地磁感測器來取得。
例如，本應用程式，係根據附加於照片處之Exif(Exchangeable image file format)資訊來取得攝影位置，並推測出對於桌140a而言之攝影位置的方位。之後，本應用程式，係如同圖85中所示一般，根據所推測出之方位，來顯示如同使照片滑入至投影面中一般之動畫，或者是從位置在所對應之位置處的揚聲器來發出效果音。關於效果音，係亦可將音像定位在所對應之位置處。本應用程式，例如係被適用於會議室中，並且亦可在被設置於遠距離地點之複數的會議室處之桌140a上而將會議資料以鏡射來作共有，並實現會議室間之對話。
另外，藉由照片應用程式所顯示在投影面140a上之照片，係能夠從多個方向而由多人數來同時地進行操作、閱覽。例如，位在桌140a之4邊處的使用 者，係能夠從多個方向而同時地選擇照片並一面改變方向一面移動位置，或者是對於照片進行編輯，或者是追加新的照片。
〔具體例3〕
本具體例，係為對於投影面之狀態以及啟動中之應用程式的狀態作管理，並因應於必要而進行照明(電燈)控制的形態。一般而言，當利用投影機以及照明的情況時，所投影之畫像係會起因於照明之亮度而變得不鮮明。因此，人類係會進行將房間之照明關閉或者是僅將投影面附近之照明關閉等的行為。本具體例之資訊處理系統100，當對於投影機以及照明作利用的情況時，係藉由以能夠將由投影機所投影之畫像鮮明地作映照的方式來對於照明作控制，而能夠削減此種人類的繁雜工作。本具體例之資訊處理系統100，假設係為投影型，並且為將可控制之照明部與本體一體性地作形成，或者是能夠對相互分離地而形成之照明部進行遠端控制者。又，照明部，假設係為能夠對於照射範圍以及照射方向作變更者。以下，參考圖86~圖93，針對本具體例詳細作說明。圖86~圖93，係為用以針對關於具體例3之使用者介面作說明的說明圖。
如圖86中所示一般，本具體例之資訊處理系統100，係設置有攝像機2011、作為投影部而起作用之投影機2012、以及被配置成矩陣狀之複數的照明部2010。檢測部121，係基於被朝向了投影面之攝像機2011的攝 像畫像，而檢測出投影面之狀態，並取得藉由投影面之狀態的檢測所得到的狀態資訊。所謂投影面的狀態，例如係指投影面之亮度、被投影至投影面上之畫像的對比度、以及像是在投影面上是否存在有物體等之投影面上的物體之種類、配置、大小、物體彼此間之組合等。之後，輸出控制部122，係控制照明部2010，而使其以根據藉由投影機2012所投影至投影面上的畫像以及藉由檢測部121所檢測出之狀態所得到的光量(照明強度)來對於投影面進行照射。
例如，如圖86中所示一般，當投影機2012並未對於桌140a之投影面投影任何畫面的情況時，輸出控制部122，係控制照明部2010，而使其以大的光量(明亮地)來對於投影面進行照射。但是，當投影機2012投影有畫像的情況時，輸出控制部122，係控制照明部2010，而使其以小的光量(較暗地)來對於投影面進行照射。當然的，亦可將光量設為0，而將照明熄滅。輸出控制部122，係亦可藉由一面參考由檢測部121所得到的投影畫像之對比度之檢測結果一面對於光量作增減，而控制照明部2010來使其以會使所投影之畫像之對比度成為臨限值以上的光量來對於投影面進行照射。藉由使所投影之畫像的對比度成為容易進行視覺辨認之值以上，輸出控制部122，係能夠同時達成明亮度以及視覺辨認性。
如同圖87一般，亦可考慮有在桌140a之一部分處載置有物體而無法作為投影面來使用的情況。於此 情況，檢測部121，係將被載置了的物體作為投影面之狀態而檢測出來，輸出控制部122，係控制照明部2010，而使其對於所檢測出之物體的周邊來以大光量進行照射並對於其他之作為投影面來使用之部分而以小光量進行照射。
又，輸出控制部122，係亦能夠基於被載置在桌140a上之物體(物件)的種類來對於照明部2010進行控制。例如，當藉由檢測部121而檢測出位置在投影面上之物體的情況時，輸出控制部122，係亦可控制照明部2010，而使其以根據所檢測出之物體乃身為發光體或者是會反射光(不會發光)之反射體一事所得到的光量來對於投影面進行照射。具體而言，輸出控制部122，係控制照明部2010，而使其在發光體的情況時以小的光量來對於投影面進行照射，並當反射體的情況時以大光量來對於投影面進行照射。以下，參考圖88、圖89，針對當在桌140a上載置有作為發光體之智慧型手機和作為反射體之盤子的情況時之照明控制作說明。
如圖88左圖中所示一般，首先，當投影機2012投影畫像的情況時，輸出控制部122，係控制照明部2010，而使其以小的光量來對於投影面進行照射。之後，如圖88中央圖中所示一般，當在桌140a上被載置有物體的情況時，檢測部121係檢測出物體。於此情況，輸出控制部122，係為了成為能夠進行由檢測部所致之物體辨識，而控制照明部2010，使其不論是物體乃身為發光體或反射體的情況時均以大的光量來對於投影面進行照射。 接著，檢測部121，例如係藉由對於伺服器而詢問對投影面所作了攝像之畫像，來辨識出被載置在桌140a上之物體。
例如，當在伺服器中登記有物體乃身為智慧型手機一事的情況時，輸出控制部122，由於智慧型手機係為會使顯示部發光之發光體，因此係控制照明部2010，而使其如同圖88右圖中所示一般地以原本之小的光量來對於投影面進行照射。由於智慧型手機會發光，因此，檢測部121，就算是投影面為暗，亦能夠對於智慧型手機持續性地進行檢測以及追蹤。又，由於光量係為少，因此，係能夠避免從照明部2010所照射之光映入至智慧型手機之顯示部(highlight，反白)。藉由此，檢測部121，係能夠容易地檢測出智慧型手機。
另一方面，當在伺服器中登記有物體乃身為盤子一事的情況時，輸出控制部122，由於盤子係為並不具有發光部之反射體，因此係控制照明部2010，而使其如同圖89左圖中所示一般地以大的光量來對於投影面進行照射。藉由此，檢測部121，係能夠對於盤子持續性地進行檢測以及追蹤。輸出控制部122，係亦可如圖89之中央圖中所示一般，以僅使盤子所位置之區域變亮而使其他區域變暗的方式來對於照明部2010作控制。藉由此，例如，在其他之區域處，投影畫像係被可視覺辨認地作投影。又，輸出控制部122，係亦可如圖89之右圖中所示一般，以將照明部2010之照明熄滅並且照射較物體之形 狀而更些許大之光點的方式，來對於投影機2012作控制。所謂由投影機所致之光點，例如係可藉由對於所期望之區域而投影白色單色之畫像一事，來實現之。藉由此，檢測部121，係能夠容易地檢測出盤子，並且就算是盤子在光點之範圍內而作了移動，亦能夠持續性地進行檢測以及追蹤。
另外，檢測部121，係亦可藉由一面調整由照明部2010所致之光量一面參考由攝像機2011所得到的攝像畫像，來檢測出物體是身為發光體或是反射體。例如，檢測部121，係亦可構成為若是就算在陰暗的狀態下也能夠檢測出來，則將其辨識為發光體，而若是在成為了明亮的狀態時才能夠檢測出來，則將其辨識為反射體。若依據此種手法，則檢測部121，係並不需要對於伺服器進行詢問，並且，就算是並未被登記在伺服器中之物體，也能夠辨識出該物體乃身為發光體或者是反射體。
又，資訊處理系統100，係亦能夠藉由對於照明面積作控制，而提昇物體之探索精確度(檢測精確度)。例如，如圖90左圖中所示一般，檢測部121，當剛開始物體(標幟物)之探索時，係控制照明部2010，而使其對於桌140a之全體進行照射。於此，假設標幟物係身為反射體。當標幟物被檢測出來的情況時，如圖90右圖中所示一般，檢測部121，係以在標幟物所佔據之區域處而逐漸將照射範圍縮窄的方式，來對於照明部2010作控制。藉由此，資訊處理系統100，係能夠將是否辨識 出被載置在桌140a上之標幟物一事、以及係將標幟物之存在範圍縮窄至何種程度一事，而明示性地對於使用者作反饋。進而，就算是在照射範圍之縮窄的途中而使用者使對象作了移動，亦由於照明會照到標幟物並被反射，因此檢測部121係能夠對於標幟物進行檢測以及追蹤。此時，檢測部121，係亦能夠以再度將照射範圍擴廣並重新進行縮窄的方式，來對於照明部2010作控制。如圖91左圖中所示一般，當標幟物從照射範圍而脫離的情況時，檢測部121在標幟物的檢測中係可能會失敗。於此情況，如圖91右圖中所示一般，檢測部121，係亦能夠再度將照射範圍擴廣並重新進行標幟物之探索。
又，資訊處理系統100，係能夠藉由光量之控制來提升物體之探索精確度。具體而言，檢測部121，係因應於標幟物之材質來調整照明部2010之光量。例如，當標幟物乃身為玻璃以及塑膠一般之具有光澤之材質的情況時，若是產生有反白(highlight)，則可能會成為難以從由攝像機2011所得到之攝像畫像來檢測出標幟物。因此，檢測部121，係控制照明部2010，而使其以能夠檢測出標幟物之程度的小的光量來對於投影面進行照射。另一方面，例如當標幟物係為如同布、紙以及木材一般之沒有光澤(粗糙)之材質的情況時，係若是在越明亮之環境下則會成為越容易進行標幟物之檢測。因此，檢測部121，係控制照明部2010，而使其盡可能以最大的光量來對於投影面進行照射。另外，檢測部121，係能夠藉由例如對 於被登記在伺服器中之代表標幟物之材質的資訊作參考，來判定出標幟物之材質。檢測部121，係如圖92中所示一般，係能夠一面使照明之強弱反覆改變一面對於標幟物進行探索。於此情況，檢測部121，係成為能夠並不需要對於伺服器進行詢問地便在對於材質而言為合適之照明環境下來檢測出多種類之材質的標幟物。
又，資訊處理系統100，係如圖93中所示一般，能夠藉由使照明部2010和攝像機2011進行協同動作，來提升物體之探索精確度。圖93，係對於在較暗的環境下而檢測出物體之例作展示，時間之經過係從左而右。檢測部121，係控制照明部2010，而使其與攝像機2011之攝像間隔同步地發光。亦即是，檢測部121，係使照明部2010作為一般性之被安裝在攝像機處之閃光燈(電子閃光燈)來起作用。攝像機2011，就算是在較暗的環境下，也能夠對由照明部2010所致之發光的反射光作攝像，由檢測部121所致之檢測精確度係提昇。例如，若是電源頻率為50Hz，則係能夠以20msec間隔來進行攝影以及發光。由於係以人類所無法發覺之間隔來進行發光，因此，就算是在雖然一瞬間會變得明亮但是周圍仍然維持於較暗的狀態下，也成為能夠進行由檢測部121所致之物體的檢測。
如同以上所說明一般，若依據本具體例，則資訊處理系統100，係藉由因應於投影面之狀態來對於由照明部所致之照明強度、照明範圍作調整，而成為能夠對 於投影面投影鮮明之畫像。又，資訊處理系統100，係藉由以僅對於必要之場所進行照射的方式來對於照明範圍作調整，而能夠對於如同使房間全體非所預期地一下變暗一下變亮一般之對周遭環境的影響作抑制。又，資訊處理系統100，係藉由對於由照明部所致之照明強度、照明範圍作調整，而能夠使被載置在桌140a上之物體的辨識精確度提昇。
〔具體例4〕
本具體例，係為對於操作物件之數量超過了可辨識數量一事作反饋的形態。例如，當就算是藉由手指來對於桌140a作了觸碰時也並未發生任何之反饋的情況時，使用者係並無法判別出是因為觸碰並未被辨識出來、或是雖然觸碰被辨識出來但是UI卻並未反應、或者是使用者之操作有所失敗。於此，當係為超過了可辨識之數量的情況時，資訊處理系統100，由於在超過之量的觸碰之檢測中係會成為失敗，因此係難以對於使用者作反饋。
因此，本具體例之資訊處理系統100，係將計算量上之操作物件的可辨識上限數量-1，定義為規格上之可辨識上限數量。所謂計算量上之可辨識上限數量，係指藉由檢測部121所能夠檢測出之操作物件的上限數量。亦即是，係使其具備有1個的量之緩衝地來定義規格上之可辨識上限數量。當然的，緩衝之數量係亦可為1以外之任意的數量。資訊處理系統100，當相較於規格上之操作物 件的可辨識上限數量而超過了1的情況時，亦即是到達了計算量上之可辨識上限數量的情況時，係對於使用者而將無法辨識一事作反饋。詳細而言，檢測部121，係檢測出對於桌140a處而作了觸碰的操作物件。輸出控制部122，係以當藉由檢測部121所檢測出的操作物件之數量乃身為計算量上之可辨識上限數量的情況時會輸出警告的方式，而對於輸出部130進行控制。以下，參考圖94作具體性說明。圖94，係為用以針對關於具體例4之使用者介面作說明的說明圖。
圖94，係為對於當計算量上之操作物件的可辨識上限數量為4的情況時，由資訊處理系統100所致之反饋例作展示者。在此例中，規格上之可辨識上限數量，係成為4-1=3。因此，如圖94中所示一般，當作了觸碰的手指為1~3根的情況時，輸出控制部122，係以輸出代表觸碰之檢測為成功之特效音的方式來對於輸出部130作控制。又，如圖94中所示一般，當作了觸碰的手指成為4根的情況時，由於係超過了身為規格上之可辨識上限數量的3，因此，輸出控制部122，係以輸出代表觸碰之檢測為失敗之特效音的方式來對於輸出部130作控制。
輸出控制部122，當對於桌140a作了觸碰的手指之數量已經到達了規格上之可辨識上限數量的情況時，係亦可在手指進行觸碰前之例如手指剛進入至攝像機之畫角中的時機處，將該手指係身為可辨識/不可辨識一事作反饋。進而，輸出控制部122，係亦可針對例如當手 為握緊的狀態時而將無法檢測出觸碰而無法作利用一事作反饋。輸出控制部122，除了檢測部121之可辨識上限數量以外，例如亦可因應於在應用程式中所規定之可辨識上限數量、例如在2人用之遊戲中係需要1人各使用1根手指之規定，對於使用者作反饋。另外，例如可辨識上限數量係為4根，但是作了觸碰之手指的根數係為6根，而其中有2根無法辨識出來的情況時，係亦可構成為：在掃描的進行中，左上方係會被優先地反饋，當空出有餘裕的情況時，左上方會被優先作利用。當然的，被優先檢測之位置，係並不被限定於左上方，而可為與製品之設計相對應的任意之位置。
若依據本具體例，則係成為能夠將操作物件之數量超過了可辨識數量一事，對於使用者而明示性地作反饋。藉由此，係能夠預防使用者誤認為UI並未產生反應而對於桌140a進行連打(連續觸碰)並反倒是導致情況更加惡化的狀態。
〔具體例5〕
本具體例，係為因應於並未進行操作之手而對於操作模式作切換的形態。使用者，係能夠藉由手指來對於被投影在桌140a上之畫像、文字、應用程式等進行操作。但是，當為了對於操作模式進行切換而暫時中斷作業並開啟選單而對操作模式作選擇的情況時，係會成為難以進行無縫接軌之作業。因此，本具體例之資訊處理系統100，係 基於並未進行操作之手的辨識結果而對於操作模式作切換。
詳細而言，檢測部121，係檢測出使用者之一雙手。例如，檢測部121，係將從同一邊所檢測出之2隻手，作為一雙手而檢測出來。輸出控制部122，係以進行將藉由檢測部121所檢測出之一雙手中的其中一隻手作為作用點來起作用之輸出的方式，而對於輸出部130作控制。例如，輸出控制部122，係將藉由手指而對於桌140a進行觸碰之右手，作為用以對被投影至桌140a上之應用程式進行操作的作用點而使其產生作用，並因應於被作了觸碰之位置，來表現捲動等之互動。又，輸出控制部122，係以進行將另外一隻手作為因應於手之形狀來對於由作用點所進行的作用之種類作切換之切換器而起作用的方式，而對於輸出部130作控制。例如，輸出控制部122，係因應於左手之形狀，來對於由右手所進行之操作的操作模式作切換。當然的，右手和左手之功能係亦可為相反。以下，參考圖95~圖97作具體性說明。圖95~圖97，係為用以針對關於具體例5之使用者介面作說明的說明圖。
例如，當左手為猜拳時之石頭之形狀的情況時，檢測部121，係基於攝像畫像而辨識出左手之形狀，輸出控制部122，係將操作模式切換為「文鎮模式」。輸出控制部122，在「文鎮模式」中，係如圖95之上圖中所示一般，以在藉由右手而作了觸碰的點之位置處而描繪 文字的方式，來對於輸出部130進行控制。又，當左手為猜拳時之剪刀之形狀的情況時，檢測部121，係基於攝像畫像而辨識出左手之形狀，輸出控制部122，係將操作模式切換為「剪刀模式」。輸出控制部122，在「剪刀模式」中，係如圖95之中央圖中所示一般，以在藉由右手而作了觸碰的點之位置處而進行將投影畫像切出一般之表現的方式，來對於輸出部130進行控制。又，當左手為猜拳時之布之形狀的情況時，檢測部121，係基於攝像畫像而辨識出左手之形狀，輸出控制部122，係將操作模式切換為「通常模式」。輸出控制部122，在「通常模式」中，係如圖95之下圖中所示一般，以進行因應於藉由右手而作了觸碰的點來進行輕敲以及拖曳等之通常操作的方式，來對於輸出部130進行控制。又，如圖96中所示一般，輸出控制部122，係亦能夠以因應於藉由檢測部121所檢測出之手之形狀來輸出相異之選單的方式，而對於輸出部130進行控制。又，如圖97中所示一般，輸出控制部122，係亦能夠以因應於藉由檢測部121所檢測出之手之形狀來輸出相異之媒體之檔案一覽的方式，而對於輸出部130進行控制。在圖97所示之例中，當左手為猜拳時之石頭之形狀的情況時，係輸出音樂檔案之一覽，當左手為猜拳時之布之形狀的情況時，係輸出Web檔案之一覽。
輸出控制部122，係亦可藉由在作為作用點而起作用之右手或者是作為切換器而起作用之左手的任一者 之上，投影代表現在之操作模式的顯示畫面，而對於使用者來明示性地將操作模式作反饋。例如，輸出控制部122，若是剪刀模式，則係以在手指上或者是手的指甲上投影剪刀之記號的方式，來對於輸出部130作控制。又，輸出控制部122，係亦可因應於作為作用點而起作用之右手之形狀，來對於由作用點所進行的作用之種類作切換。例如，輸出控制部122，係亦能夠以若是右手為1根手指則描繪細線，若是右手為2根手指則描繪粗線的方式，來對於輸出部130作控制。又，輸出控制部122，係亦可構成為就算是當作為切換器而起作用之左手從桌140a而脫離並導致檢測部121之辨識失敗的情況時，亦將操作模式作維持。例如，在使用者之左手成為剪刀，而成為了剪刀模式之後，就算是使用者將左手拉回，輸出控制部122係亦能夠維持於剪刀模式。
如同以上所作了說明一般，若依據本具體例，則係能夠藉由並未進行操作之手而對於操作模式作切換。因此，使用者，係能夠並不使現在之作業中斷地來對於操作模式作無縫切換，而成為能夠進行連續性之作業。又，使用者，由於係能夠直感性地對於操作模式進行切換，因此，為了對於操作模式之切換作學習所需要耗費的時間成本係為低。
〔具體例6〕
本具體例，係為藉由將攝像機以及投影機等之構成要 素以模組單位來形成，並成為能夠以作了規格化之介面來進行連接，來成為能夠因應於必要而進行整個模組之交換的形態。當將資訊處理系統100作為一體型之製品而形成的情況時，為了進行功能之擴張，係可能會成為除了將資訊處理系統100整個重買之外而難以採用其他的手段。因此，本具體例之資訊處理系統100，係構成為能夠進行構成要素之模組化以及模組單位之換裝。
具體而言，形成資訊處理系統100之CPU、攝像機、投影機、LED燈、麥克風以及揚聲器等，係被收容在作了規格化之模組中。此些之構成要素，係可被個別地作收容，亦能夠將複數之構成要素作組合並收容在1個的模組中。另外，例如亦可將收容CPU、投影機、攝像機之模組，視為核心模組，並將收容其他之構成要素的模組，視為副模組。藉由將此些之各模組以共通之介面來作連接，係成為能夠進行相互間之通訊以及供電，而成為能夠以作了連接的模組之全體來作為資訊處理系統100而起作用。另外，係亦能夠僅使核心模組作為資訊處理系統100來起作用。介面，係可藉由無線通訊來實現，亦可藉由有線通訊來實現，亦可為藉由端子來作了物理性之連接者。以下，參考圖98~圖99，針對本具體例詳細作說明。圖98~圖99，係為用以針對關於具體例6之使用者介面作說明的說明圖。
在圖98中，係對於本具體例之資訊處理系統100之本體的簡易之構成例作展示。在圖98所示之構成 例中，於圓筒狀之容器中，係在最下層處配置有收容投影機(Projector)之模組，並在中層處配置有收容搭載有CPU之控制基板(MAIN PCB)的模組，且在最上層處配置有收容揚聲器(Speaker)之模組。又，係與控制基板相連結地而在圓筒狀之容器的左右配置有立體攝像機(Stereo Camera)。此些之模組，例如係亦可藉由共通之端子來分別作連接。當在被收容有揚聲器之模組和被收容有控制基板之模組之間而設置有空隙的情況時，係能夠期待有音質之提昇以及散熱效果。藉由將揚聲器側與天花板作連結，並將投影機側朝向地面側，係能夠實現投影型之資訊處理系統100。各模組，係可如圖98中所示一般地而在縱方向上作重疊配置，亦可在橫方向上而並排成直線狀，亦可在平面上作並排，亦可分別分離並相互獨立地來配置在任意之位置處。除了圖98中所示之模組以外，亦能夠任意地連結照明以及揚聲器等之副模組。另外，資訊處理系統100，係如同圖99中所示一般，可形成為從天花板而吊下之形狀的照明裝置，亦可形成為地面放置型之照明裝置，亦可形成為桌面放置型之照明裝置。
當照明為從核心模組而分離地作設置的情況時，核心模組，係亦可藉由一面使照明依序發光一面藉由畫像辨識來特定出發光位置，而辨識出核心模組和照明之間的位置關係。藉由此，核心模組，係能夠因應於投影面之狀態等來使被設置在適當之位置處的照明選擇性地發光。除此之外，核心模組，係亦可預先記錄照明被作了安 裝的日期以及時間，並藉由將例如「此燈管差不多快要損壞了」一般之訊息作投影，來對於使用者通知燈管之壽命的即將結束。又，當安裝了具備有廣動態範圍之揚聲器的情況時，核心模組，係亦可主要使用該揚聲器來進行聲音輸出，並將其他揚聲器用來進行平衡之調整。
若依據本具體例，則由於係成為能夠並非將製品全體換新而僅以模組單位來對於一部分重新購買，因此係能夠抑制製品之重新購買的成本，並且能夠節省資源。又，若依據本具體例，則藉由模組之交換，係能夠容易地實現功能之擴張。又，使用者係能夠例如藉由對於核心模組作交換，來使CPU處理能力、攝像機解析度、辨識精確度等的性能有所提昇。又，使用者係能夠例如藉由對於副模組作交換，來享受被豐富地作了擴張的揚聲器以及照明等之設計上的多樣性。
〔具體例7〕
本具體例，係為當將相同之應用程式的畫面作複數之顯示時，使各畫面間之顯示相互同步的形態。通常，應用程式係被朝向單一方向而作顯示，但是，若是想定為讓複數之使用者圍著桌140a而使用1個應用程式的情況，則例如對於站在反方向處之使用者而言，顯示係可能會成為難以作觀察者。因此，本具體例之資訊處理系統100，係將相同之應用程式的畫面作複數之顯示，並且因應於必要來對於畫面間之同步(鏡射)/非同步(鏡射之解除)作 切換。
詳細而言，檢測部121，係檢測出操作物件。輸出控制部122，係因應於藉由檢測部121所檢測出之操作物件，而以在顯示面上顯示至少2個畫面的方式，而對於輸出部130進行控制。例如，輸出控制部122，係基於藉由檢測部121所檢測出之手指的方向，來以會分別正對於包圍桌140a的複數之使用者之各者的方式，來顯示同一應用程式之畫面。當使畫面相互同步的情況時，輸出控制部122，係以進行使由藉由檢測部121所檢測出之操作物件所進行的對於其中一者之畫面的操作亦會同樣地被反映在其他之畫面上一般之顯示的方式，而對於輸出部130進行控制。例如，當其中一個使用者以手指來使畫面作了捲動的情況時，對於另外一個使用者所顯示的畫面亦係同樣地捲動。以下，參考圖100~圖103來作具體性說明。圖100~圖103，係為用以針對關於具體例7之使用者介面作說明的說明圖。
圖100，係對於將Web瀏覽器以1個畫面來作顯示的通常狀態作展示。圖101，係對於將Web瀏覽器以2個畫面來相互同步地作顯示的同步顯示狀態作展示。輸出控制部122，在使畫面相互同步的期間中，係使對於其中一者之畫面的操作亦同樣地被反映在其他之畫面上。例如，如圖101中所示一般，輸出控制部122，係以當其中一個使用者對於畫面作點擊並使畫面變遷的情況時，在另外一個畫面處也會作為對於同一場所進行了點擊者而進 行相同之畫面變遷的方式，來對於輸出部130進行控制。在圖101中，雖係針對將顯示面分割成上下2個並進行同步顯示的例子作了展示，但是，輸出控制部122，係亦能夠如同圖102中所示一般，以將顯示面分割成左右2個並進行同步顯示的方式，來對於輸出部130進行控制。當同步被作了解除的情況時，輸出控制部122，係亦可如同圖103中所示一般，以進行將各使用者對於各畫面而個別地進行了捲動等之操作時的各個結果作顯示的方式，來對於輸出部130進行控制。輸出控制部122，當再度進行同步的情況時，係藉由進行會成為主畫面之其中1個的畫面之顯示，來將其他畫面(子畫面)之顯示作統一。
輸出控制部122，除了捲動以外，例如亦能夠藉由同步顯示來在全部的畫面中而對於例如文字之輸入、對地圖應用程式所進行之標記的記入等作共有。除此之外，輸出控制部122，例如當複數之使用者正在對於某一網頁之全體而進行閱覽的情況時，係亦可對於被其他之使用者所顯示的區域之位置進行矩形顯示，或者是將該區域之方向以箭頭來作顯示。在圖100~圖103中，雖係針對各畫面彼此相接的例子而作了展示，但是，各畫面係亦可相互分離。
輸出控制部122，係亦可將1個畫面分成2個(分割)，或者是將2個畫面整合成1個(合併)。輸出控制部122，係可將作了分割的複數之畫面作同步顯示，亦可作非同步顯示。又，輸出控制部122，係亦可將作了 分割的複數之畫面再度合併。於此情況，輸出控制部122，係將會成為主畫面之其中1個的畫面，作為合併後之畫面來顯示。
在進行合併時之會成為主畫面的畫面之決定方法，係可考慮有多種的方法。例如，輸出控制部122，係可將在進行合併時所先選擇了的畫面作為主畫面，並將其他畫面作為從畫面。此時，輸出控制部122，係亦可在其他畫面上顯示「是否進行合併」之對話框，並將同意了合併的畫面作為子畫面。又，輸出控制部122，當在合併後而再度分割的情況時，係亦可將子畫面之原先所顯示了的畫面作為該子畫面之畫面來作顯示。例如，對於當輸出控制部122使顯示有網頁「A」之主畫面以及顯示有網頁「B」之子畫面相互同步並顯示1個的網頁「A」的例子作考慮。之後，當再度作分割的情況時，輸出控制部122，係亦可在主畫面上顯示網頁「A」，並在子畫面上顯示網頁「B」。
關於進行分割以及合併之契機，係可考慮有多種的情況。例如，輸出控制部122，係亦能夠以基於藉由檢測部121所檢測出之由使用者所進行的選單項目之選擇來進行分割或者是合併的方式，而對於輸出部130進行控制。又，輸出控制部122，係亦可構成為當藉由檢測部121而檢測出像是使對於1個畫面而進行了觸碰的手指朝向左右而分開之動作的情況時，會進行分割。除此之外，輸出控制部122，係亦可構成為當藉由檢測部121而檢測 出像是2個人對於1個畫面而進行觸碰並朝向左右拉扯撕裂一般之動作的情況時，會進行分割。相反的，輸出控制部122，係亦可構成為當藉由檢測部121而檢測出像是使對於2個畫面而進行了觸碰的手指相互重疊一般之動作的情況時，會進行合併。另外，檢測部121，係亦可因應於手指之根數等，來對於代表合併/分割之操作和像是捏縮(pinch in)以及拉放(pinch out)一般之操作作區分。輸出控制部122，針對是否進行合併一事之決定，係可構成為僅在主畫面處而進行許可，亦可構成為僅在子畫面處而進行許可，亦可構成為在亦包含有子畫面之全部的畫面處而進行許可。
如同以上所作了說明一般，若依據本具體例，則由於係能夠將複數之畫面顯示在與使用者之位置相對應的方向上，因此係能夠實現在相異之各方向上的高視覺辨認性。又，若依據本具體例，則由於係能夠針對複數之畫面來因應於需要而對於同步/非同步進行切換，因此係能夠實現因應於應用程式之狀態而作了臨機應變的顯示/操作。又，若依據本具體例，則當畫面被相互同步的情況時，由於其他使用者之操作係會被反饋，因此使用者係能夠容易地辨識出其他使用者是進行了何種之操作而應用程式係如何地進行了動作。
〔具體例8〕
本具體例，係為將桌140a上之被攝體預先記錄下來 並以原本之尺寸大小來再現的形態。所謂桌140a上之被攝體，例如係指被載置在桌140a上之繪畫、照片等的物體，被投影在桌140a上之畫像等。本具體例之資訊處理系統100，係預先對於在某一時間點處之桌140a上的被攝體進行攝像，之後，以在桌140a上而將被攝體以原本之尺寸大小來作顯示的方式來藉由投影機(投影部)而作投影。於此，當從狀態被記錄下來起直到被進行再現為止的期間中，投影距離以及投影畫角等之環境有所改變的情況時，資訊處理系統100，係會有難以藉由原本之尺寸大小來將狀態作再現的情況。因此，本具體例之資訊處理系統100，係將在作了記錄的時間點處之投影機和桌140a之間的投影距離以及投影機的投影畫角預先作保存，並因應於在進行再現的時間點處之投影距離以及投影畫角，來進行投影尺寸之變更(校正)。
作為用以進行此種校正之前提處理，控制部120，係進行使由攝像機所得到之攝像尺寸和由投影機所致之投影尺寸相互整合的調整處理。詳細而言，控制部120，係作為當將藉由攝像機而對於桌140a上之被攝體作了攝像的畫像以投影機來投影至桌140a上的情況時，進行用以使被攝體之投影尺寸和實際尺寸相互一致之調整的調整部而起作用。控制部120，係作為此調整處理，而例如進行桌140a上之4點的對位，或者是進行射影轉換。在由進行過了此種調整處理之投影機以及攝像機、桌140a所構成的環境中，資訊處理系統100，例如係預先對 於被載置在桌140a上之繪畫進行攝像，並成為能夠於日後以相同之大小來作投影。但是，當像是投影距離或投影畫角之類的投影機之設定有所改變的情況時，藉由投影機所投影的畫像之投影尺寸也會改變。因此，資訊處理系統100，係藉由將攝像畫像和設定資訊相互附加有對應地而預先作記憶，並因應於設定資訊之改變而對於投影尺寸進行調整，來實現原本尺寸大小之被攝體的投影。
詳細而言，首先，在身為已完成調整處理之時間點的環境(第1環境)下，控制部120，係將藉由攝像機(第1攝像部)而對於桌140a(第1投影面)上的被攝體作了攝像的攝像畫像以及投影機的設定資訊作記憶。控制部120，係亦可作為記憶設定資訊之記憶部而起作用。所謂設定資訊，係為包含有代表投影機與投影面間的距離之投影距離的資訊之資訊。另外，投影距離，係亦可為代表投影機與被攝體間的距離之資訊。設定資訊，係亦可更進而包含有代表身為投影機之畫角的投影畫角之資訊。
當投影距離或者是投影畫角有所改變的情況時，首先，控制部120，係進行調整處理。接著，資訊處理系統100，係在已完成調整處理之環境(第2環境)下，對於改變後之投影機(第2投影部)的設定資訊和所記憶了的改變前之設定資訊作比較。之後，資訊處理系統100，係基於此比較結果，來控制投影機，並使其將所記憶了的攝像畫像之被攝體以實際尺寸來作投影。以下，參 考圖104~圖110作具體性說明。圖104~圖110，係為用以針對關於具體例8之使用者介面作說明的說明圖。
如圖104之上圖中所示一般，想定為在桌140a上被載置有繪畫的例子。首先，檢測部121，係對於輸入部110進行控制，而使其對被載置的繪畫進行攝像，並取得攝像畫像。接著，控制部120，係與所取得了的攝像畫像一同地而將投影距離100cm以及投影畫角60°作為設定資訊來記憶之。於此時間點處，若是投影機投影攝像畫像，則繪畫係以與實際尺寸相同之尺寸而被投影。
例如在將桌140a作了購買更換的情況等之投影距離有所改變的情況時，輸出控制部122，係以對於所記憶了的設定資訊和改變後的設定資訊作比較並進行擴大或縮小顯示的方式，來對於投影機進行控制。例如，如圖104中央圖中所示一般，當投影距離從100cm而改變為50cm的情況時，輸出控制部122，係以擴大為通常之2倍的尺寸來進行投影的方式，而對於投影機進行控制。藉由此，繪畫係被以實際尺寸之大小而再現。
例如在將投影機作了購買更換的情況等之投影畫角有所改變的情況時，輸出控制部122，係以對於所記憶了的設定資訊和改變後的設定資訊作比較並進行擴大或縮小顯示的方式，來對於投影機進行控制。例如，如圖104下圖中所示一般，當投影畫角從60°而改變為120°的情況時，輸出控制部122，係以縮小為通常之0.5倍來進行投影的方式，而對於投影機進行控制。藉由此，繪畫係 被以實際尺寸之大小而再現。另外，在圖104中，雖係針對在同一家庭內(同一之資訊處理系統100)而投影機之設定有所改變的例子作了說明，但是，就算是在將畫像送訊至相異之家庭處的情況時，亦能夠同樣地來進行校正。藉由進行校正，係能夠吸收環境的改變。
關於使此種校正功能觸發的時機，係可考慮有多種的時機。例如，如圖105中所示一般，資訊處理系統100，係亦能夠在使用者將桌上的開關按下的時機處，而使校正功能觸發。又，如圖106中所示一般，資訊處理系統100，係亦能夠在起因於打掃或者是重新擺設等而導致桌140a有所改變的時機處，而使校正功能觸發。例如，資訊處理系統100，係亦能夠當藉由檢測部121而檢測出了直到最大平面處為止之距離(投影距離)有所改變的情況時，而自動地使校正功能觸發。又，如圖107中所示一般，資訊處理系統100，係亦能夠在起因於升降功能而導致高度(投影距離)有所改變的時機處，而使校正功能觸發。升降功能，例如，係可藉由以馬達來動作的升降裝置而實現之。
另外，資訊處理系統100，係亦能夠以使用升降功能來成為能夠將投影面盡可能地擴廣而作利用之距離的方式，而自動地進行高度之調整。詳細而言，輸出控制部122，係控制投影機而使其投影特定之圖像，檢測部121，係控制攝像機而使其對於被投影了的畫像進行攝像。之後，控制部120，係以成為會攝像到使被投影了的 特定之圖像的全體均能夠被容納在桌140a內的畫像之高度的方式，來使用升降功能而對於高度進行調整。例如，在圖108之上圖所示之例中，由於被投影的圖像係超出桌140a，因此與投影面間的距離係為遠。另一方面，在圖108之下圖所示之例中，由於被投影的圖像係在桌140a上而被較小的投影，因此與投影面間的距離係為近。因此，控制部120，係如同圖108之中央圖中所示一般，以會成為使被投影之圖像遍佈桌140a之區域全體地而映照一般之最適當之距離的方式，來進行高度之調整。另外，控制部120，係亦可藉由配合於由深度感測器(立體攝像機)所取得之投影距離地來根據被包含於攝像畫像中之圖像的大小而測定出距離，而實現精確度更高之高度調整。
又，資訊處理系統100，係亦能夠在由升降功能所進行之升降中，而進行校正。例如，控制部120，係亦能夠如同圖109之上圖中所示一般，以在升降中而使投影尺寸成為一定的方式來對於投影機進行控制。又，控制部120，係亦能夠如同圖109之下圖中所示一般，以在升降結束後藉由原本之投影尺寸來進行投影的方式而對於投影機進行控制。藉由使資訊處理系統100基於升降中之投影距離的改變來一面對於投影尺寸作調整一面進行升降，使用者就算是在升降中也能夠進行操作、閱覽。
如同以上所作了說明一般，若依據本具體例，則就算是當對於桌子作購買交換、對設置場所作變更、對投影機作變更一般之存在有環境之改變的情況時， 亦成為能夠保持原本尺寸大小之顯示。藉由此，例如係能夠將過去回憶的作品直接進行記錄/再現。
在如同圖1中所示一般之投影式的情況時，係成為從天花板而將立體攝像機、投影機等之構成資訊處理系統100的裝置懸吊。構成資訊處理系統100之裝置，雖然能夠被使用者移動至任意之場所處，但是，於此，依存於各裝置之懸吊中所使用的材質，當起因於移動而產生有震動的情況時，直到該震動收斂為止所需要的時間係會受到材質之大幅度的影響。
於此，在構成資訊處理系統100之裝置的懸吊中，使用以下之4個材質，並對於收斂時間作了測定。針對鋼鐵製之鋼鐵軸、碳FRP(Fiber Reinforced Plastics)軸、包含有電源線之碳軸，係於圖110中而對於從側面方向作觀察時的外觀例作了展示。圖110之元件符號1410，係為鋼鐵軸之外觀例，元件符號1420，係為碳FRP軸之外觀例，元件符號1430，係為包含有電源線之碳軸的外觀例。包含有電源線之碳軸，係能夠以2根作為1組地來構成之。
如同表1中所示一般，藉由在構成資訊處理系統100之裝置的懸吊中使用碳軸，係能夠確認到在實際之使用中不會造成問題的收斂時間。又，藉由使用2根之包含有電源線之碳軸，就算是外徑為細之材質，也能夠確認到在實際之使用中不會造成問題的收斂時間。另外，在被使用於軸之材料處的纖維中，例如，除了碳以外，係亦可使用玻璃、醯胺、硼、竹、麻、PET(聚對苯二甲酸乙二酯)、PE(聚乙烯)、PP(聚丙烯)等。
〔具體例9〕
本具體例，係為自動性地選擇應用程式之啟動場所的形態。當應用程式為恆常在特定之場所處而被啟動的情況時，例如可能會有被載置在桌140a上之物體成為障礙並導致難以將應用程式之畫面的全部作顯示的情況。又，就算是使應用程式之畫面作移動，也可能會有被載置在桌140a上之物體成為障礙並導致難以進行移動的情況。因此，本具體例之資訊處理系統100，係在應用程式之啟動時，對於桌140a上之物體進行辨識，並探索能夠滿足對於每一應用程式所分別設定了的限制條件(顯示條件)之位置，而顯示應用程式畫面。又，當物體被作移動或是被載置有新的物體而導致桌140a上之狀態有所改變的情況時，資訊處理系統100，係以自動避開改變後之物體的方式，來使應用程式畫面移動。
詳細而言，首先，檢測部121，係藉由取得深 度資訊，而檢測出桌140a上之物體(物件)。之後，輸出控制部122，係以在會與藉由檢測部121所檢測出之物體相互重疊之區域以外的區域處而顯示畫像的方式，來對於輸出部130進行控制。藉由此，應用程式畫面係被顯示在並未存在有物體之區域處。以下，參考圖111~圖114作具體性說明。圖111~圖114，係為用以針對關於具體例9之使用者介面作說明的說明圖。
例如，在圖111所示之例中，Web瀏覽器2021和音樂播放器2022，係被顯示在桌140a上之重疊有物體之區域以外的區域處。輸出控制部122，係以分別會顯示有能夠滿足對於應用程式之每一者所分別定義的最小尺寸之平面的方式，來對於輸出部130作控制。
又，檢測部121，係作為基於手或手指之位置以及方向而推測出使用者之位置的推測部而起作用。輸出控制部122，係以因應於作為與使用者間之關係所設定了的顯示條件來在與所推測出的使用者之位置相對應之位置處顯示畫像的方式，而對於輸出部130作控制。例如，當作為顯示條件，而設定為顯示在使用者之位置附近的情況時，輸出控制部122，係以在使用者之位置附近而顯示應用程式畫面的方式，來對於輸出部130作控制。另外，關連於顯示位置之顯示條件，係亦可視為作用在應用程式畫面上之重力的設定。例如，圖111中所示之應用程式之顯示條件，假設係如同下述一般。另外，投影面之尺寸，假設係為1920×1080。
Web瀏覽器2021
最小尺寸：800×600
重力：使用者附近
音樂播放器2022
最小尺寸：400×400
重力：使用者附近
依據此顯示條件，輸出控制部122，係如圖111中所示一般，將Web瀏覽器2021以及音樂播放器2022，在接近於使用者之位置且滿足最小尺寸的平面上而分別作顯示。
又，當藉由檢測部121而檢測出物體係作了移動的情況時，輸出控制部122，係亦可因應於移動後之桌140a上的物體之位置關係，來更進而在與顯示條件相符合的位置處而顯示畫像。例如，在圖111所示之例中，當桌140a上之物體作了移動的情況時，輸出控制部122，係亦能夠對於會成為更靠近使用者之位置進行探索，並使應用程式畫面作移動。
又，輸出控制部122，係亦能夠以將畫像顯示在與作為和桌140a上的物體間之關係所設定了的顯示條件相對應之位置處的方式，而對於輸出部130作控制。例如，當設定為鄰接於桌140a上之物體的端部(邊緣)地來作顯示的情況時，輸出控制部122，係以會鄰接於藉由檢測部121所檢測出之物體地而顯示應用程式畫面的方 式，來對於輸出部130進行控制。例如，圖112中所示之應用程式之顯示條件，假設係如同下述一般。
水流應用程式2023
最小尺寸：100×100×連續
重力：鄰接於邊緣
依據此顯示條件，輸出控制部122，係如圖112中所示一般，藉由將水流應用程式2003以將桌140a上的物體之間作填埋的方式來沿著邊緣作並排顯示，而成為能夠表現出河川的流動。
又，輸出控制部122，係亦能夠以因應於作為與桌140a(投影面)間之關係所設定的顯示條件來顯示畫像的方式，而對於輸出部130作控制。例如，圖113中所示之應用程式之顯示條件，假設係如同下述一般。
蠟燭應用程式2024
最小尺寸：200×200
重力：投影面中央
依據此顯示條件，輸出控制部122，係如圖113中所示一般，將蠟燭應用程式2024顯示於桌140a之中央。
當在適當之投影面的探索中而成為失敗的情況時之處理，係可考慮有多種類之處理。例如，輸出控制部122，係亦可如同圖114之上圖中所示一般，並不避開 物體地而直接將畫像投影在預設的位置處。又，輸出控制部122，係亦可如同圖114之中央圖中所示一般，一面直接將畫像投影在預設的位置處，一面使物體所重疊之區域透過。又，輸出控制部122，係亦可如同圖114之下圖中所示一般，進行代表會成為阻礙的物體之警告顯示。警告顯示，例如亦可為催促進行物體之移動的訊息。除此之外，亦可構成為：檢測部121，係根據料理被提供時的攝像畫像和現在的攝像畫像之間的比較結果，來檢測出料理已被吃完一事，輸出控制部122，係將催促應把已吃完的盤子優先性排除之訊息，作為警告顯示來顯示之。
若依據本具體例，則藉由對於每一應用程式而分別作為顯示區域來自動性地檢測出適當的平面並進行顯示，係能夠並不需要進行由使用者所致之操作地而進行最適當之顯示。又，若依據本具體例，則藉由對於滿足針對每一應用程式所分別定義之最小尺寸、重力之類的顯示條件之顯示區域進行動性探索，係能夠自動性地進行最適當的顯示。
〔具體例10〕
本具體例，係為以能夠從被顯示在桌140a上之音源來聽到聲音的方式而進行聲音輸出之控制的形態。在投影型之資訊處理系統100中，由於影像係被投影至位於下方之投影面(桌140a)上，而聲音係從位於上方之本體而鳴放，因此，若是本體和桌140a之間的距離過遠，則影 像和聲音之間的一體感係可能會喪失。因此，本具體例之資訊處理系統100，係藉由指向性揚聲器來使聲音在投影面上反射並朝向使用者而發出。特別是，資訊處理系統100，係藉由因應於應用程式之特性並配合於使用者之位置以及操作來使聲音所反射之位置改變，來產生影像和聲音間的一體感。
檢測部121，係作為基於手或手指之位置以及方向而推測出使用者之位置的推測部而起作用。又，輸出控制部122，係以會使對於被顯示在顯示面上之畫像所輸出的聲音反射並到達藉由前述推測部所推測出的使用者之位置處的方式，而對於揚聲器作控制。在本具體例之資訊處理系統100中，假設係設置有複數之指向性揚聲器，並能夠對於各揚聲器之方向以及指向範圍作控制。輸出控制部122，係以基於使用者之位置以及應用程式所被作了顯示的位置之兩者間的位置關係，來選擇被設置在當朝向應用程式畫面而發出聲音的情況時所反射了的聲音為能夠到達使用者處的位置處之揚聲器，並使其發出聲音的方式，來進行控制。以下，參考圖115~圖117來作具體性說明。圖115~圖117，係為用以針對關於具體例10之使用者介面作說明的說明圖。
例如，當如同音樂播放器一般之明確可知其乃身為音源之應用程式的情況時，如圖115中所示一般，輸出控制部122，係亦能夠以朝向應用程式畫面之中央而使聲音反射並使聲音到達使用者處的方式，來對於揚聲器 作控制。又，當如同動畫播放器一般之具備有LR(左右)的聲道構成之應用程式的情況時，如圖116中所示一般，輸出控制部122，係亦能夠以朝向應用程式畫面之左右而使所對應之聲道的聲音反射並分別到達使用者之左右耳處的方式，來對於揚聲器作控制。又，當如同Web瀏覽器一般之聲音的發生源頭並不明確之應用程式的情況時，如圖117中所示一般，輸出控制部122，係亦能夠例如在使用者作了觸碰之位置(例如鍵結)處而使聲音反射並使聲音到達使用者處的方式，來對於揚聲器作控制。
除了藉由指向性揚聲器來使聲音在投影面上反射以外，亦能夠考慮有多種類之產生影像和聲音間之一體感的方法。例如，輸出控制部122，係亦能夠以使音像被定位在所顯示的應用程式之位置處的方式，來對於揚聲器作控制。又，資訊處理系統100，當複數之使用者分別對於複數之應用程式作使用的情況時，係亦能夠對於各使用者，而僅發出該使用者所正在使用的應用程式之聲音。除此之外，資訊處理系統100，例亦可當複數之使用者對於相同之動畫進行鑑賞的情況時，對於各使用者而分別再生該使用者之母語的聲音。又，資訊處理系統100，係亦可朝向應用程式畫面之前方側、亦即是對於該應用程式進行操作之使用者所通常會存在的位置之方向，來發出聲音。
如同以上所說明一般，若依據本實施例，則藉由因應於應用程式之顯示位置來對於音源位置作控制， 係能夠對於使用者賦予如同聲音為從該應用程式畫面本身所發出一般的感覺。又，若依據本具體例，則藉由因應於使用者之操作來對於使聲音反射之位置作控制，就算是當如同Web瀏覽器一般之並不存在有關於音源之預知資訊的狀態時，亦能夠產生影像和聲音間的一體感。又，若依據本具體例，則藉由因應於使用者之位置而對於LR之聲道構成作控制，係能夠產生與鑑賞家庭用電視機的情況時相同之臨場感。
〔具體例11〕
本具體例，係為當在桌140a上而滿足了特定條件的情況時，使預先所設定的功能觸發的形態。使應用程式之功能觸發的條件，通常係僅有提供該應用程式之廠商能夠進行設定。又，依存於利用環境，係也會有在應用程式中所定義的舉動中功能並不會觸發的情況。因此，在本具體例之資訊處理系統100中，係構成為能夠讓使用者自由地設定欲觸發之功能以及觸發的條件。
使用者，係產生將輸出指示對於關連於顯示面上之狀態的條件而附加有對應的程式。接收了程式之資訊處理系統100，係當顯示面上之狀態滿足由程式所規定之條件的情況時，進行基於所對應之輸出指示的輸出。所謂關連於顯示面上之狀態的條件，例如係可列舉出在桌140a上載置了特定之物體一事、桌140a上之溫度、以及深度資訊之變化等。以下，係將關連於顯示面上之狀態的 條件，亦稱作輸出條件。
首先，檢測部121，係辨識出對於桌140a處而作了觸碰的手指等之操作物件，而檢測出由使用者所致的編程。之後，控制部120，係基於由檢測部121所得到的編程之檢測結果，來記憶將輸出指示對於輸出條件而附加了對應的程式。控制部120，係亦可作為記憶此種程式之記憶部而起作用。以下，參考圖118作具體性說明。圖118，係為用以針對關於具體例11之使用者介面作說明的說明圖。
作為程式之例，例如，係可考慮有將桌140a上之溫度作為輸出條件的程式。在程式中，係可設定進行條件判定之區域。例如，如圖118中所示一般，可以考慮將載置有蛋糕之區域作為條件判定區域2031，並將成為攝氏30度以下一事作為輸出條件，且將使照明成為ON一事作為輸出指示的程式。作為程式之其他例，例如，係可考慮有將桌140a上之圖案花樣作為輸出條件的程式。例如，如圖118中所示一般，可以考慮將在條件判定區域2032中而樸克牌之鬼牌以表面向上來作了載置一事作為輸出條件，且將顯示特定之特效一事作為輸出指示的程式。資訊處理系統100，係可接收由對於投影面之觸碰操作所進行的編程，亦可藉由有線/無線通訊來從外部裝置受訊程式。
之後，檢測部121，係作為桌140a上之狀態，而例如檢測出桌140a上之物體、物體之表面的圖案 花樣、溫度、濕度等。之後，當藉由檢測部121所檢測出的桌140a上之狀態滿足了所記憶之輸出條件的情況時，輸出控制部122，係以進行對應於被與該輸出條件附加有對應地而作了記憶的輸出指示之輸出的方式，來控制輸出部130。例如，關於圖118中所示之程式，輸出控制部122，係以當藉由溫度感測器而取得了條件判定區域2031之溫度成為了攝氏30度以下之資訊的情況時會進行點燈的方式，來對於照明作控制。藉由此，例如當豎在生日蛋糕上之蠟燭被吹熄的情況時，照明係自動地點燈。又，關於圖118中所示之程式，輸出控制部122，係以當根據在攝像畫像中所攝影到的圖案花樣而檢測出被載置在條件判定區域2032處之卡片乃身為鬼牌的情況時會顯示所編程了的影像特效的方式，來對於投影機作控制。
對於程式之例更進一步作例示。例如，係可考慮有預先在嬰兒之牛奶的周圍顯示溫度，並當成為了攝氏36度~37度程度之人體溫度的情況時，對於使用者進行通知的程式。又，亦可考慮有預先對於生日蛋糕進行監視，並當蠟燭被吹熄而溫度急遽減少的情況時，自動性地使照明點燈並拍攝照片的程式。又，亦可考慮有當在早晨的時刻而在使用者前方載置有黑色的飲料(想定為咖啡)的情況時，將新聞作顯示的程式。又，輸出控制部122，係亦能夠在被作了編程之區域(亦即是條件判定區域)中而進行如同由虛線所致之矩形顯示等的代表為正被進行有某些之編程一事的顯示。當然的，當為了賦予驚喜感的目 的等等而想要隱藏程式之存在的情況等時，係亦可設定為並不進行此種顯示。
除了上述之溫度以及圖案花樣以外，例如係亦可將深度之改變設定為輸出條件。檢測部121，係藉由深度資訊而檢測出位置在桌140a上之物體(物件)，輸出控制部122，係當所檢測出的物件之狀態滿足了輸出條件的情況時，以進行對應於被附加有對應地而作了記憶的輸出指示之輸出的方式，來控制輸出部130。例如，在麻將中而將手牌推倒一事，係能夠根據深度資訊的改變而檢測出來。因此，例如，係可考慮有當在麻將中而手牌被推倒時，基於攝像畫像來辨識出身為手牌之狀態的台數，並自動性地進行分數計算的程式。又，像是蛋糕的蓋子被拿掉並出現裡面的蛋糕一事，係亦能夠根據深度資訊的改變而檢測出來。因此，例如，係可考慮有當被放置在桌140a之中央的生日蛋糕之盒子的蓋被拿掉的情況時，播放生日快樂歌的程式。又，在棋盤遊戲中而實物之棋子停止在特定之格子中一事，係亦能夠根據深度資訊的改變而檢測出來。因此，可以考慮有例如當實物之棋子停止在特定之格子中的情況時而顯示特效的程式。
若依據本具體例，則不僅是由提供應用程式之廠商所進行的編程，亦成為能夠進行由使用者所致之自由且簡單的程式設定。藉由此，係能夠實現依據在桌140a上所發生的細微事項而進行的功能觸發。
〔具體例12〕
本具體例，係為將在桌140a上所載置的物體之所屬判定出來的形態。依存於應用程式之用途，也可能會對於能夠判別出被載置在桌140a上之物體是屬於何人的物體一事有所要求。因此，在本具體例中，係檢測出將物體載置在桌140a上的手，並將所檢測出的手與物體之間附加對應，藉此來判定物體之所屬。另外，亦可視為使用者為擁有以該使用者作為所屬對象的物體。
首先，檢測部121，係將以相互接觸之狀態而進入了特定之區域中的操作物件以及物件相互作了分離一事檢測出來。例如，檢測部121，係基於深度資訊，而將手拿著物體而進入了桌140a一事以及手和物體相互作了分離一事檢測出來。以下，參考圖119~圖123作具體性說明。圖119~圖123，係為用以針對關於具體例12之使用者介面作說明的說明圖。
如圖119中所示一般，當僅有手進入至桌140a的情況時，檢測部121，係基於深度資訊，而將與桌140a之邊相接的閉曲線作為手而檢測出來。又，如圖119中所示一般，例如，當手拿著物體而進入至桌140a並將物體放置在桌140a上的情況時，檢測部121，係將手和物體相互作了分離一事檢測出來。詳細而言，檢測部121，係基於深度資訊，而將出現有並不與桌140a之邊相接的閉曲線一事檢測出來。此時，檢測部121，係將並不與桌140a之邊相接的閉曲線，作為從手而分離了的物體 而檢測出來。
接著，檢測部121，係作為將所檢測出之操作物件以及從該操作物件而分離了的物體附加有對應地而辨識出來的辨識部而起作用。詳細而言，檢測部121，係基於深度資訊，而將與桌140a之邊相接的閉曲線所代表之手、和從此閉曲線而分離了的並不與桌140a之邊相接的閉曲線所代表之物體，相互附加有對應地而辨識出來。另外，檢測部121，係亦可將當物體被分離時而位在最接近於該物體之位置處的手，附加有對應地而辨識出來。檢測部121，係將被與物體附加有對應的手，作為該物體之所屬對象而辨識出來。例如，如圖119中所示一般，檢測部121，係將被放置在桌140a上之物體和將該物體拿來的手作配對。檢測部121，係亦可根據代表手之閉曲線所相接的桌140a之邊、亦即是根據手所伸來的方向，來辨識出物體之所屬對象。藉由此，如圖119中所示一般，就算是當在桌140a上而僅檢測出物體的情況時，檢測部121亦能夠辨識出該物體之所屬對象。
本具體例，例如係能夠適用在輪盤遊戲中。檢測部121，係根據從攝像畫像所辨識出的圖案花樣以及從深度資訊所辨識出之高度，來檢測出被放置在桌140a上之籌碼的價值，並檢測出該籌碼是由哪個使用者所下注者。之後，輸出控制部122，係以在賭博中獲勝了的使用者之手邊顯示所得到之籌碼金額的方式，而對於輸出部130作控制。藉由此，使用者係成為能夠參考所顯示的籌 碼金額，來自己從籌碼池中拿取籌碼。由於係成為不需要莊家，因此係成為能夠讓全員參加遊戲。
又，本具體例，例如係能夠適用在棋盤遊戲中。檢測部121，係基於手所伸來的方向，而檢測出是哪個使用者旋轉了桌140a上之輪盤。之後，輸出控制部122，係以因應於輪盤之點數而自動性地進行使旋轉了輪盤之使用者的棋子前進之顯示的方式，而對於輸出部130作控制。輸出控制部122，當使用者想要跳過順序而旋轉輪盤的情況時，係亦可進行警告顯示。
又，輸出控制部122，係亦可當使用者拿取了不應拿取之物體時，而進行警告。例如，如同圖120之上圖中所示一般，輸出控制部122，當使用者想要拿取並不屬於自己之杯子的情況時，係亦可進行警告顯示，並進行將該使用者誘導至自己所擁有的杯子處的顯示。又，如同圖120之下圖中所示一般，當使用者想要拿取內側之餐具的情況時，係亦可進行對於使用者進行誘導並使其從外側的餐具來開始使用的顯示。除此之外，例如在烤肉時，檢測部121係亦可辨識出肉是誰所放置的，輸出控制部122，係亦可對於想要拿取其他人所放的烤肉之使用者而進行警告顯示。
檢測部121，係亦可檢測出所有權(所屬對象)的變遷。作為變遷之規則，例如，係可考慮有將所有權固定於最初所作了觸碰的人之「先拿先贏」、以及當某人作了觸碰的情況時會直接將所有權移轉給該作了觸碰的 人之「後拿者贏」。除此之外，作為變遷之規則，係亦可考慮有因應於使用者之選擇來移轉所有權之「使用者選擇」。例如，如圖121中所示一般，當檢測出使用者B想要觸碰使用者A所最初作了觸碰而具有所有權之物體的情況時，輸出控制部122，係亦可在身為所有者使用者A之手邊，顯示使其對於是否要移轉所有權一事作選擇的顯示。又，作為變遷之規則，係亦可考慮當用手來將物體作了遞交的情況時而將所有權移轉的「親手遞交」。例如，檢測部121，係亦可如圖122中所示一般，當使用者X在將物體拿在手上的狀態下而親手遞交給使用者Y的情況時，將所有權從使用者X而移轉至使用者Y。
又，檢測部121，係亦可因應於物體之分割而設定所有權。檢測部121，係將1個的閉曲線作為1個的物體而檢測出來，並當檢測出從1個的閉曲線而出現了2個以上的閉曲線之狀態的情況時，檢測出物體之分割。例如，檢測部121，當被作了複數枚的層積所下注的硬幣崩潰的情況時，係檢測出物體之分割。檢測部121，例如係亦可如同圖123中所示一般，當已決定了所有者的物體分割成複數的情況時，將分割後之物體的所有權設定給分割前之所有者。
如同以上所說明一般，若依據本具體例，則係成為能夠辨識出被載置在桌140a上之物體的所屬，並成為能夠作為在應用程式以及遊戲等中的屬性資訊來處理。藉由此，例如，輸出控制部122，係能夠因應於物體 之所有權而進行對於遊戲之進行作支援的輸出。又，輸出控制部122，係可藉由對於使用者而提示代表所有權之資訊，來在實際世界中將所屬資訊可視化。
〔具體例13〕
本具體例，係為構成為能夠對被投影在桌140a上之視窗自由地進行操作的形態。當桌140a被複數的人所包圍的情況時，以及當使用者將位置作了移動等的情況時，係希望能夠將被投影在桌140a上之視窗如同使用者所期望一般地來進行移動、旋轉、擴大、縮小等。因此，在本具體例中，係提供用以接收視窗之移動等的視窗操作之使用者介面。以下，參考圖124~圖127來作更具體性之說明。圖124~圖127，係為用以針對關於具體例13之使用者介面作說明的說明圖。
在圖124所示之例中，資訊處理系統100，係正對於桌140a上而投影包含有像是日曆、動畫、地圖之類的複數之代表相異之應用程式畫面的視窗。被投影之應用程式，係可由使用者來任意的選擇。藉由同時地投影此種複數之相異之應用程式畫面，例如在早晨之忙碌的時間帶中，使用者係能夠自由地使用桌140a上來同時地對於各種資訊進行確認。於此，例如，當藉由檢測部121而檢測出使用者為從圖124左圖中所示之選單來對於旋轉鍵作了觸碰一事的情況時，輸出控制部122，係如同圖124右圖中所示一般，以將全部視窗旋轉至桌140a之對面方向 的方式，而對於輸出部130進行控制。
又，檢測部121，係亦可將視窗之外周視為用以進行視窗操作之把手，並藉由檢測出對於把手所進行之使用者操作，來實現視窗操作。例如，資訊處理系統100，係亦能夠當藉由檢測部121而檢測出了把手被作了觸碰一事的情況時，將操作模式切換為視窗操作模式。所謂視窗操作模式，係為將使用者操作視為視窗操作而檢測出來的操作模式。另外，針對將使用者操作視為捲動等之對於應用程式所進行的操作而檢測出來之操作模式，亦將其稱作通常模式。
當切換為視窗操作模式的情況時，輸出控制部122，係如同圖125之左圖中所示一般，作為代表現在乃身為視窗操作模式一事之顯示，而以顯示把手2041的方式，來對於輸出部130進行控制。使用者，係藉由在維持於對此把手2041作了觸碰的狀態下而使手指進行拖曳、手指相互靠近遠離或者是旋轉，來使視窗進行移動等的動作。例如，當藉由檢測部121而檢測出使用者在維持於對把手2041作了觸碰的狀態下而進行了拖曳一事的情況時，輸出控制部122，係如同圖125右圖中所示一般，以使視窗朝向被作拖曳之方向而移動。另外，當使用者讓手指從把手離開的情況時，資訊處理系統100，係亦能夠將操作模式從視窗操作模式而切換為通常模式。
檢測部121，係亦可當藉由檢測部121而檢測出從視窗之外側而被朝向內側作了拖曳之動作的情況時， 將操作模式從通常模式而切換為視窗操作模式。例如，如圖126之左圖中所示一般，當藉由檢測部121而檢測出手指從視窗之外側而被朝向內側作了拖曳之動作的情況時，輸出控制部122，係將操作模式切換為視窗操作模式。因此，輸出控制部122，係如同圖126右圖中所示一般，使視窗朝向被作拖曳之方向而移動。
檢測部121，係亦可依據進行觸碰之手指的根數，來從通常模式而切換為視窗操作模式。例如，檢測部121，係亦可當檢測出由2根手指所進行之對於視窗之觸碰的情況時，切換為視窗操作模式。具體而言，如圖127中所示一般，當藉由檢測部121而檢測出以2根手指而進行了旋轉之動作的情況時，輸出控制部122，係使視窗之顯示作旋轉。又，當藉由檢測部121而檢測出以2根手指來進行了拖曳的情況時，輸出控制部122，係使視窗朝向被作拖曳之方向而移動。除此之外，當藉由檢測部121而檢測出2根手指進行了手指分開之動作的情況時，輸出控制部122，係亦可將視窗之顯示作擴大。
若依據本具體例，則係成為能夠進行由使用者所致之自由的視窗操作，使用者便利性係提昇。
〔具體例14〕
以下，針對能夠藉由上述之資訊處理系統100的控制部120所實現的應用程式之具體例作說明。
(A：字卡輔助應用程式)
字卡輔助應用程式，係為用以對於使用被並排在桌140a上之字卡牌所進行的字卡遊戲進行輔助之應用程式。字卡輔助應用程式，係具備有語句之自動朗讀功能、答案顯示工程以及提示提供功能。語句之自動朗讀功能，係為使事先所登錄的語句依序從輸出部130而進行聲音輸出之功能。答案顯示功能，係為根據攝像畫像來辨識出各字卡，並當答案之字卡牌與使用者之手相互重疊的情況時，使特效顯示發生之功能。提示提供功能，係當從語句被朗讀起而經過特定時間之後答案仍然沒有出現的情況時，如同圖128中所示一般地，使輸出部130投影代表包含有答案之字卡牌的提示範圍之顯示，並且亦可進而隨著時間的經過而逐漸將上述提示範圍縮窄。藉由此種構成，在字卡遊戲中，係成為不需要朗讀者，並且係成為能夠對於順暢的遊戲進行有所輔助。
(B：對話輔助應用程式)
對話輔助應用程式，係為用以在使用者之對話中而對於炒熱氣氛一事進行輔助之應用程式。例如，對話輔助應用程式，係能夠對於使用者之對話進行語音辨識，並從作了文字化的對話中來藉由文法解析而抽出關鍵字，再使輸出部130投影與關鍵字相對應之畫像。以下，參考圖129來作更具體性之說明。
圖129，係為對於對話輔助應用程式之具體例 作展示的說明圖。例如，假設2人之使用者X以及Y進行了下述一般之對話的情形。
X：「前一陣子我去日本旅行了。」
Y：「飛機大概要花多久時間？」
X：「大約5小時。沒想到還蠻都市化的。」
Y：「你有去看富士山嗎？」
X：「富士山很漂亮。也看到日出了。」
於此情況，對話輔助應用程式，係從2人的對話中，作為關鍵字而例如抽出「日本」、「飛機」以及「富士山」，並如同圖129中所示一般，使輸出部130投影日本地圖、飛機以及富士山。藉由此種構成，係能夠提昇使用者之臨場感，而能夠將對話的氣氛炒熱。
(C：投影面追隨應用程式)
投影面追隨應用程式，係為因應於投影面之狀態而進行適當之投影的應用程式。例如，投影面追隨應用程式，係因應於像是投影面有所傾斜或者是在投影面上存在有凹凸之類的投影面之狀態，來以使投影畫像正對於使用者地作顯示的方式而對於投影畫像作修正並進行投影。以下，參考圖130~圖133來作更具體性之說明。
圖130~圖133，係為對於投影面追隨應用程式之具體例作展示的說明圖。如圖130中所示一般，投影面追隨應用程式，係在傾斜豎立於作業台處之投影面上，以能夠使正在煮菜的使用者作正對觀看的方式來投影食 譜。使用者，例如係藉由被投影在作業台之平面上的Web瀏覽器而預先檢索出食譜，並在作菜時，藉由使投影面在作業台上而傾斜地豎立，而能夠站在流理台前而一面作菜一面觀察食譜。藉由此種構成，由於係成為能夠對於任意之角度的投影面進行投影，因此使用者係能夠自由地從各種位置來觀察投影畫像。
投影面追隨應用程式，係亦能夠因應於投影面之狀態而檢測出使用者操作。通常，投影面追隨應用程式，係在進行校正時以及製品啟動時等之特定的時序處，預先將最大的平面作為投影面而檢測出來，並基於投影面和手指之間的高度之差分，來檢測出使用者操作。例如，如圖131中所示一般，當投影面乃身為平面的情況時，投影面追隨應用程式，係因應於使用者之手指和平面間的距離，來檢測出投影面是否被作了觸碰，藉由此，而檢測出使用者操作。又，當在投影面上載置有立體物的情況時，投影面追隨應用程式，係亦可藉由檢測出使用者之手指和立體物之間的局部性之差分，來檢測出使用者操作。例如，如圖132中所示一般，當在平面上被載置有半球狀之立體物的情況時，投影面追隨應用程式，係基於半球上之局部平面和使用者之手指之間的距離，來檢測出使用者操作。當如同圖130中所示一般之投影面有所傾斜的情況時，投影面追隨應用程式，係亦可因應於使用者之手指和有所傾斜的投影面之間之距離，來檢測出使用者操作。
又，投影面追隨應用程式，係亦可實現使用 有鏡子(mirror)之個人用顯示。在個人用顯示中，係使用有圖133中所示之具備有鏡子以及螢幕之周邊機器。通常，被投影在平面上的畫像，係會被周圍的人所看到。因此，投影面追隨應用程式，係能夠藉由使投影光在鏡子處反射並結像於被設置在使用者之前方的螢幕上，來進行僅以正對於螢幕之使用者作為對象的顯示。投影面追隨應用程式，係亦能夠將遊戲之手牌以及桌牌等之對於個人的顯示和對於全體人員的顯示同時性地實現。另外，如圖133中所示一般，投影面追隨應用程式，係亦可並非藉由在Z軸方向而是藉由在X軸Y軸方向上所取得的螢幕和手指面間之距離，來檢測出使用者操作。
(D：用餐輔助應用程式)
用餐輔助應用程式，係為用以對於使用者之用餐的進行作輔助之應用程式。例如，用餐輔助應用程式，係事先將盛裝料理之餐皿之空的狀態作記憶，並藉由對於該空的餐皿和現在的餐皿作比較，來辨識出在餐皿內係殘留有多少之量的料理，亦即是辨識出用餐的進行狀況。之後，用餐輔助應用程式，係能夠使輸出部130投影與用餐之進行狀況相對應的圖案花樣或者是訊息等。以下，參考圖134以及圖135來作更具體性之說明。
圖134，係為對於用餐輔助應用程式之具體例作展示的說明圖。如同圖134之上圖中所示一般，用餐輔助應用程式，若是用餐結束，則係使輸出部130在餐皿之 周圍投影如同電車在行駛一般的顯示。或者是，如同圖134之下圖中所示一般，用餐輔助應用程式，係亦可隨著用餐的進行，而使輸出部130投影展現有餐桌墊一般之設計的顯示。
圖135，係為對於用餐輔助應用程式之其他具體例作展示的說明圖。如圖135中所示一般，用餐輔助應用程式，係藉由將被食物所埋著的盤子底面之花樣隨著用餐之進行而逐漸露出的模樣檢測出來，而辨識出用餐的進行狀況。此時，用餐輔助應用程式，係亦能夠讓輸出部130投影與用餐之進行狀況相對應的訊息。例如，當用餐之進度為未滿20%時，係可輸出「雙手合起準備開動」之訊息，當20%以上未滿40%時，係可輸出「請細嚼慢嚥」之訊息，當40%以上未滿70%時，係可輸出「快吃完了，加油！」之訊息，當100%時，係可輸出「太棒了，全部吃光光摟」之訊息。
如同上述一般，用餐輔助應用程式，係能夠藉由使輸出部130投影與用餐之進行狀況相對應的圖案花樣或者是訊息等，來提高使用者之對於用餐的意欲，並對於使用者之用餐進行輔助。
(E：移動特效應用程式)
移動特效應用程式，係能夠基於被載置在桌140a上之繪畫，來使輸出部130投影如同使該繪畫開始移動一般之動畫。例如，如圖136中所示一般，若是使用者在紙上 繪畫，並放置在桌140a上，則移動特效應用程式，係使輸出部130投影如同讓使用者所畫出的繪畫開始移動一般之動畫以及聲音。另外，移動特效應用程式，係亦能夠在使用者之每次將繪畫放置在桌140a上時，使輸出部130輸出各不相同之聲音。於此，參考圖137，對於動畫之產生方法作具體性說明。
圖137，係為對於移動特效應用程式之具體例作展示的說明圖。如圖137中所示一般，移動特效應用程式，係根據被載置在桌140a上之繪畫的攝像畫像，來辨識出繪畫之形狀以及顏色，並藉由使輸出部130投影與繪畫相同顏色之光，來使被載置在桌140a上之繪畫視覺性地消失。之後，移動特效應用程式，係基於所辨識出之繪畫的形狀來產生動畫，並使輸出部130進行投影。藉由此種構成，係能夠將單純的塗鴉一般之繪畫，對於使用者而賦予如同繪畫開始移動一般的感覺。
(F：便當製作支援應用程式)
便當製作支援應用程式，係為用以對於讓使用者藉由食材來表現出多樣化之圖案花樣一事作支援之應用程式。例如，若是由使用者而對於對象畫像作了指定，則便當製作支援應用程式，係對於該對象畫像之顏色構成進行分析，並基於分析的結果，來特定出用以將該對象畫像作為圖案花樣來表現的食材、份量以及配置。之後，便當製作支援應用程式，係使輸出部130投影用以對於所特定出之 食材、份量以及配置作指導的導引顯示。使用者，係藉由依據導引顯示來配置食材，而成為能夠製作出表現有模仿對象畫像之圖案花樣的便當。以下，參考圖138來作更具體性之說明。
圖138，係為對於便當製作支援應用程式之具體例作展示的說明圖。如同圖138之左圖中所示一般，若是使用者在桌140a上載置被形成有卡通人物畫像之包裝，則係藉由輸入部110來對於該包裝進行攝像。之後，若是使用者作為對象範圍而對於被形成有卡通人物畫像之範圍作了指定，則便當製作支援應用程式，係將卡通人物畫像作為對象畫像而辨識出來，並特定出用以將卡通人物畫像作為圖案花樣來表現的食材、份量以及配置。之後，便當製作支援應用程式，係基於所特定出之食材、份量以及配置，來使輸出部130投影如同圖138之中2圖中所示一般的導引顯示。使用者，係藉由依據此種導引顯示來配置食材，而如同圖138之右圖中所示一般，成為能夠製作出表現有卡通人物之圖案花樣的便當。
另外，於上述內容中，作為對象畫像之指定方法，雖係針對將被形成有對象畫像之包裝載置於桌140a上的例子來作了說明，但是，對象畫像之指定方法係並不被限定於此例。例如，使用者，係亦能夠將在藉由輸出部130所輸出至桌140a上的網頁中所包含之畫像，作為對象畫像而指定。又，在上述內容中，作為對象畫像之其中一例，雖係針對卡通人物畫像作了說明，但是，對 象畫像係亦可為交通工具、風景、地圖或者是玩具等的畫像。
(G：日常輔助應用程式)
日常輔助應用程式，係為用以對於像是學習、興趣以及作業等之使用者所日常進行之行為進行作輔助之應用程式。例如，日常輔助應用程式，係藉由使輸出部130對存在於實際空間中之物體投影對於使用者而言為有用的資訊顯示，而能夠對於使用者所進行之行為作輔助。以下，參考圖139~圖143來作更具體性之說明。
圖139~圖143，係為對於由日常輔助應用程式所進行之使用者輔助的具體例作展示的說明圖。如同圖139中所示一般，日常輔助應用程式，係能夠使輸出部130對於禮金袋投影成為範本的文字。使用者，係藉由例如以筆來對於所投影的文字進行描寫，而能夠寫出漂亮的文字。另外，成為範本的文字，係能夠由使用者來自由指定。又，如同圖140中所示一般，日常輔助應用程式，係能夠使輸出部130對於被並排有刀叉之桌140a而投影對於刀叉之使用方法作展示的資訊顯示，並對於盤子投影代表料理之顯示。使用者，係藉由依據所投影之資訊顯示來使用刀叉，而能夠學習到餐桌禮儀。
又，如同圖141中所示一般，日常輔助應用程式，係能夠使輸出部130對於準備有素描本、畫具以及筆等之桌140a而投影成為範本的繪畫以及代表描繪方法 等之資訊顯示。使用者，係藉由依據所投影之資訊顯示來藉由筆以及畫具而描繪繪畫，而能夠完成漂亮的繪畫。又，如同圖142中所示一般，日常輔助應用程式，係能夠使輸出部130投影用以將整塊蛋糕均等分配的輔助線。使用者，係藉由沿著所投影之輔助線來對於整塊蛋糕進行切割，而能夠得到相等大小的蛋糕。另外，日常輔助應用程式，係亦可基於由使用者所指定的分配數量、整塊蛋糕之形狀以及大小等，來特定出適當的輔助線。
又，如同圖143中所示一般，日常輔助應用程式，係能夠根據對於記載有由使用者所致的對於問題所進行之解答的印刷物或冊子等之媒體的攝像畫像，來進行答案之自動評分，並使輸出部130投影評分結果。使用者，係能夠根據被投影出來之評分結果，而對於答案的正確與否以及分數等作確認。另外，日常輔助應用程式，係亦可藉由辨識出被形成於媒體上之辨識資訊，並將被與該辨識資訊附加有關連的解答與使用者的答案作比較，來實行自動評分。
(H：餐桌演出應用程式)
餐桌演出應用程式，係為用以藉由演出來使餐桌變得更為多采多姿之應用程式。例如，餐桌演出應用程式，係能夠根據餐桌的攝像畫像來辨識出存在於餐桌上之物體，並使輸出部130對於物體而投影與物體相對應之顯示。以下，參考圖144作具體性說明。
圖144，係為對於餐桌演出應用程式之具體例作展示的說明圖。餐桌演出應用程式，係亦能夠根據餐桌的例如距離畫像來辨識出存在於餐桌上之物體，並如同圖144中所示一般，例如使輸出部130在盤子上投影「Happy Birthday！」之顯示，且使輸出部130在桌上投影星星的顯示。藉由此種構成，係能夠使餐桌變得更為多采多姿，而成為能夠對於打造氣氛明朗的餐桌一事有所支援。
(I：料理推薦應用程式)
料理推薦應用程式，係為用以對於使用者推薦料理之應用程式。例如，料理推薦程式，係能夠根據餐桌的攝像畫像來辨識出餐桌上的料理，並基於辨識結果來計算出料理的營養平衡，而對於能夠對有所不足之營養素進行補充的料理作推薦。例如，如圖145中所示一般，當餐桌上的料理之蔬菜有所不足的情況時，料理推薦應用程式，係亦能夠辨識出維他命以及食物纖維有所不足，並使輸出部130投影對於能夠補充維他命以及食物纖維等的營養素之凱薩沙拉作推薦之顯示以及凱薩沙拉的畫像。又，料理推薦應用程式，係亦能夠藉由使用深度資訊來辨識出在杯中所裝入的飲料之殘量以及料理之殘量等，來因應於用餐的進度而推薦追加的料理。藉由此種構成，係能夠對由使用者所進行之良好平衡度的用餐作支援，並且在餐廳等處能夠對於由追加之點餐所得到的營業額之提昇有所期待。
(J：氣氛演出應用程式)
氣氛演出應用程式，係為用以使輸出部130投影與料理相對應之演出的應用程式。例如，氣氛演出應用程式，係能夠根據餐桌的攝像畫像來辨識出餐桌上的料理，並使輸出部130投影與料理間具有親和性之物件的畫像。作為具體例，當餐桌上的料理乃身為季節性料理的情況時，氣氛演出應用程式係亦可使輸出部130投影松竹梅之畫像。又，當餐桌上的料理乃身為日本涼麵的情況時，氣氛演出應用程式係亦可使輸出部130投影河岸或者是小河的畫像。藉由此種構成，係能夠對應於料理而將餐桌的氣氛更進一步提昇。
(K：餐皿特效應用程式)
餐皿特效應用程式，係為用以因應於對於餐桌之餐皿的載置而使特效產生之應用程式。例如，餐皿特效應用程式，係亦能夠辨識出被放置在餐桌上之餐皿的種類，並使輸出部130輸出與種類相對應之顯示特效以及聲音。以下，參考圖146來作更具體性之說明。
圖146，係為對於餐皿特效應用程式之具體例作展示的說明圖。如圖146中所示一般，若是使用者將杯子放置在餐桌上，則餐皿特效應用程式，係亦能夠使輸出部130投影從杯子起而擴散的水波之顯示，並使輸出部130輸出與杯子相對應之聲音。如同上述一般，因應於餐 皿所輸出的聲音係為相異，但是，餐皿特效應用程式，係亦能夠當如同圖146中所示一般之複數之餐皿相互接近時，使輸出部130所輸出之聲音改變。又，餐皿特效應用程式，係亦能夠預先使輸出部130投影游泳的魚之顯示，並當使用者進行對於魚之顯示作捕捉的動作時，使輸出部130輸出特定的聲音。
如同上述一般，餐皿特效應用程式，係藉由因應於對於餐桌之餐皿的載置而使特效產生，而能夠對餐桌上帶來新的樂趣。
(L：房間間協同動作應用程式)
房間間協同動作應用程式，係當在複數的房間中設置有資訊處理系統100的情況時，在各房間之間而讓使用者所正在使用的應用程式進行共有以及協同動作之應用程式。例如，被設置在使用者自己的房間中之資訊處理系統100，係取得使用者在居家空間中所使用了的應用程式之資訊，並當使用者移動至自己房間之後，成為能夠接續於在居家空間中之使用地來繼續使用應用程式。以下，參考圖147來作更具體性之說明。
圖147，係為對於房間間協同動作應用程式之具體例作展示的說明圖。如圖147中所示一般，房間間協同動作應用程式，係預先記憶各應用程式之使用時刻以及使用場所(投影場所)的履歷資訊，並對於使用者提示所記憶了的履歷資訊。在圖147所示之「All Apps」中，係 列舉有在投影畫面之資訊處理系統100中所安裝的所有應用程式。在「Your Apps」中，係列舉有於現在時刻在該投影面中而使用者所使用的頻度為高之應用程式。在「Recent Apps」中，係列舉出亦包含有在其他房間中所設置的資訊處理系統100之最近被使用者所使用的應用程式。使用者，係藉由從圖147中所示之畫面來選擇圖符，而能夠啟動所期望之應用程式。房間間協同動作應用程式，係藉由投影此種畫面，而能夠對於使用者所進行之對應用程式的選擇作支援。
又，房間間協同動作應用程式，係能夠在各房間之間而將使用者之履歷資訊作共有。房間間協同動作應用程式，係對於在其他房間中所記憶了的履歷資訊作參考，而將在其他房間中所使用了的應用程式，在使用者於房間間作了移動之後亦持續性地提供。例如，當使用者在被設置於居家空間中之資訊處理系統100處而選擇了料理食譜的情況時，若是使用者移動至廚房，則係藉由被設置在廚房處之資訊處理系統100來投影所選擇了的料理食譜。藉由此，使用者就算是在房間之間作了移動之後，也能夠持續地使用相同的應用程式。
〔例1〕
於此，針對與投影面或應用程式之狀態有所對應的照明控制處理之例作說明。
當使用投影機來將影像投影在桌子或螢幕等 之投影面上時，起因於照明或外部光之明亮度之類的環境性因素，會有使投影機之影像成為不鮮明的情況。當投影機之影像成為不鮮明的情況時，為了使影像成為鮮明，係需要強迫使用者進行使房間全體變暗或者是僅將投影面附近之照明熄滅等的作業，而會損及使用者的便利性。
因此，以下，係針對照明控制處理作說明，該照明控制處理，係藉由取得投影面和應用程式之狀態，並因應於投影面之狀況來自動性地對於照明作控制，而能夠並不讓使用者對於照明進行調整地便將投影機之影像鮮明地顯示在投影面上。
圖148，係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。以下，使用圖148，針對本發明之其中一種實施形態的資訊處理系統100之動作例作說明。另外，在以下的說明中，係針對資訊處理系統100a乃身為圖1中所示一般之投影型的情況並且在輸出部130a中為包含有照明機器的情況作展示。又，在以下之例中，照明機器，係作為與伴隨有資訊之顯示的投影機相異之並未伴隨資訊之顯示而僅單純具備有作為照明之功能的機器，來作說明。
首先，針對圖148所示之流程圖中的用語之定義作說明。所謂照明映射，係為將照明機器之可照明控制單位作成映射者，並因應於照明機器之形態、例如因應於照明之數量，來決定格數。各格子的數值，係代表照明強度，0係代表無照明輸出，100係為照明輸出之最大 值。
圖149，係為對於照明映射之例作展示的說明圖。在圖149中，係圖示有3個的形態。於圖149中所示者，係為在照明機器3010處僅設置有1個照明的情況、將照明以正方形狀來設置有4個的情況、將照明以長方形狀而將8個作並排設置的情況時，照明映射3011之例。
於圖149之例中，當在照明機器3010處僅設置有1個照明的情況時，照明映射之格子數係為1個。又，當在照明機器3010處將照明以正方形狀而設置有4個的情況時，照明映射之格子數係為4個。又，當在照明機器3010處將照明以長方形狀而並排設置有8個的情況時，照明映射之格子數係為8個。當然的，照明機器3010之照明的配置形態或者是在照明映射中之格子的形態，係並不被限定於上述之例。
所謂環境映射，係為將環境光之可取得單位作成映射者，並因應於環境光之取得單位，來決定格數。對於環境映射之格數作規定的環境光之取得單位，例如係為照度感測器之配置場所或者是對於投影面進行攝像之攝像裝置的像素值等。
環境映射之各格子的數值，係被正規化為照明映射之各格子的數值。藉由將環境映射之各格子的數值正規化為照明映射之各格子的數值，環境光之照度和照明之亮度係被相互附加有對應。
資訊處理系統100，針對環境光之照度的取得 方法，係能夠採用各種的方法。例如，係可根據藉由輸入部110之攝像機所對於投影面進行攝像而得到的畫像之像素值，來算出環境光之照度，亦可在輸入部110處設置照度感測器，並根據照度感測器之值來得到環境光的照度。
圖150，係為對於環境映射之例作展示的說明圖。在圖150中，係圖示有3個的形態。於圖150中所示者，係為在取得環境光之照度感測器3020處僅設置有1個感測器的情況、在照度感測器3020處而將感測器以正方形狀來設置有4個的情況、在照度感測器3020處而將感測器在同一方向上而將3個作並排設置的情況時，環境映射3021之例。
於圖150之例中，當在照度感測器3020處僅設置有1個感測器的情況時，環境映射之格子數係為1個。又，當在照度感測器3020處以正方形狀而設置有4個感測器的情況時，環境映射之格子數係為4個。又，當在照度感測器3020處於同一方向上而並排設置有3個感測器的情況時，環境映射之格子數係為3個。當然的，照度感測器3020之感測器的配置形態或者是在環境映射中之格子的形態，係並不被限定於上述之例。
針對在照明映射和環境映射之間所附加的對應作說明。圖151，係為對於將照明映射和環境映射之間附加有對應之例作展示的說明圖。
於圖151中，係針對在將以長方形狀而並排設置有8個的照明之照明機器3010和於同一方向上而並 排設置有3個感測器的照度感測器3020之間的構成中，對於照明映射和環境映射之間附加有對應之例作展示。
當在照度感測器3020處於同一方向上而並排設置有3個感測器的情況時，環境映射3021之格子數係為3個，將各格子規定為A00、A01、A02。在本實施形態中，係藉由使此環境映射之格子的數量和照明映射之格子的數量相合致，來進行照明映射和環境映射之間的相互附加對應。於轉換後的環境映射3021'中，格子係從3個而被轉換成8個。將轉換後之各格子，規定為B00~B03以及B10~B13。進行此轉換時之轉換式，例如係可如同下述一般來作規定。
B00=B10=A00
B01=B11=0.5×A00+0.5×A01
B02=B12=0.5×A01+0.5×A02
B03=B13=A02
在本發明之其中一種實施形態中之資訊處理系統100，係藉由如此這般地使環境映射之格子的數量和照明映射之格子的數量相合致，而成為能夠基於轉換後之環境映射的各格子之值來進行照明機器3010之控制。
接著，進行在圖148中所示之流程圖的詳細之說明。首先，資訊處理系統100，係在照明映射之各格子中，將系統設定之值作設定(步驟S3001)。步驟S3001之處理，例如係由控制部120來實行。在步驟 S3001中，例如係將在圖148中所示之處理的開始之時間點處而由資訊處理系統100之使用者所設定的照明機器3010之照明的亮度，以0~100之範圍來在照明映射之各格子中作設定。
若是在上述步驟S3001中而於照明映射之各格子中將系統設定之值作設定，則接下來，資訊處理系統100，係取得所管理之應用程式的實行狀態，並判定是否存在有並未進行處理之應用程式(步驟S3002)。步驟S3002之處理，例如係由控制部120來實行。
在上述步驟S3002之判定的結果中，當存在有並未進行處理之應用程式的情況時(步驟S3002，Yes)，接著，資訊處理系統100，係取得未處理應用程式中之被描繪在最深處的應用程式(步驟S3003)。藉由從最深處者起來進行處理，資訊處理系統100，係成為能夠更好地將前方處之應用程式之值反映至照明映射中。
若是上述步驟S3003之處理結束，則接下來，資訊處理系統100，係根據應用程式照明對應表，來對於該應用程式是否有被作定義一事進行確認(步驟S3004)。步驟S3004之處理，例如係由控制部120來實行。
應用程式照明對應表，係為將資訊處理系統100所實行之應用程式和當實行該應用程式時之亮度(照明機器3010之照明光和環境光所一同實現之亮度)相互附加有對應之表。當應用程式並未被定義在應用程式照明 對應表中的情況時，係代表該應用程式並不需要進行特別的照明控制而就算是在系統設定或者是其他之應用程式的照明設定下也能夠作利用。
圖152，係為對於應用程式照明對應表之例作展示的說明圖。資訊處理系統100，係藉由對於圖152中所示之應用程式照明對應表作參考，而能夠得知在實行處理對象之應用程式時的照明機器3010之亮度。例如，根據圖152中所示之應用程式照明對應表，可以得知，「電影院動畫播放器」，係為了演出電影的身歷其境感，而將亮度設為0。
又，應用程式照明對應表，係亦可具備有當各應用程式對於照明機器3010之亮度進行控制時是否需要對於使用者進行通知一事之資訊。例如，根據圖152中所示之應用程式照明對應表，可以得知，「電影院動畫播放器」，在對於照明機器3010之亮度作控制時，係並不需要對於使用者進行通知，但是，「兒童動畫播放器」，在對於照明機器3010之亮度作控制時，則需要對於使用者進行通知。
在上述步驟S3004之判斷的結果中，當該應用程式並未被定義在應用程式照明對應表中的情況時(步驟S3004，No)，則資訊處理系統100，係將該應用程式視為已完成處理，並回到上述之步驟S3002的處理。另一方面，在上述步驟S3004之判斷的結果中，當該應用程式有被定義在應用程式照明對應表中的情況時(步驟 S3004，Yes)，資訊處理系統100，係從應用程式照明對應表而取得該應用程式的亮度之值(步驟S3005)。步驟S3005之處理，例如係由控制部120來實行。
若是上述步驟S3005之處理結束，則接下來，資訊處理系統100，係取得在由投影機所投影之顯示區域中的應用程式之顯示區域(步驟S3006)。步驟S3006之處理，例如係由控制部120來實行。於此，當雖然應用程式為存在但是係被作了圖符化的情況時等一般之並不存在有顯示區域的情況時，資訊處理系統100，係亦可並不將該應用程式作為處理對象。
若是上述步驟S3006之處理結束，則接下來，資訊處理系統100，係在照明映射中之相當於在上述步驟S3006中所取得的顯示區域之格子處，設定根據應用程式對應表所取得之值(步驟S3007)。步驟S3007之處理，例如係由控制部120來實行。若是上述步驟S3007之處理結束，則係將該應用程式設為已完成處理，並回到上述步驟S3002之處理。
在上述步驟S3002之判定的結果中，當並不存在有未進行處理之應用程式的情況時(步驟S3002，No)，接著，資訊處理系統100，係取得環境光，並對於環境映射而將值作設定(步驟S3008)。步驟S3008之處理，例如係由控制部120來實行。
資訊處理系統100，當進行步驟S3008之對於環境映射之值的設定處理時，係將環境光(或者是照明機 器3010之照度)之值，正規化為照明輸出(亮度)之值。關於如果將照明機器3010之何者的照明以何種程度(0~100%)來輸出則會在該照明之下成為何種程度之照度一事，係亦可預先在工廠出廠時進行相互間之附加對應。
若是上述步驟S3008之處理結束，則接下來，資訊處理系統100，係進行關於環境映射為對於照明映射之範圍而造成了何種程度之影響一事的相互間之附加對應(步驟S3009)。步驟S3009之處理，例如係由控制部120來實行。此照明映射和環境映射之間的相互附加對應，係如同上述一般地，藉由使照明映射之格子的數量和環境映射之格子的數量相合致，來進行之。另外，照明映射和環境映射之間的相互附加對應，係亦可預先在工廠出廠時便進行之。
若是上述步驟S3009之處理結束，則接下來，資訊處理系統100，係判定是否存在有照明映射之未處理格子(步驟S3010)。步驟S3010之處理，例如係由控制部120來實行。照明映射之處理的順序，例如係亦可由被分配置照明映射的格子處之號碼中的較新的號碼起來依序進行。
在上述步驟S3010之判定的結果中，若是存在有未處理格子(步驟S3010，Yes)，則資訊處理系統100，係對於照明映射之處理對象的格子之值和與該格子相對應的環境光之值(環境映射的格子之值)作比較。之 後，資訊處理系統100，係判定與照明映射之處理對象的格子相對應之環境光之值是否為照明映射之處理對象的格子之值以下(步驟S3011)。步驟S3010之處理，例如係由控制部120來實行。
在上述步驟S3011之判定的結果中，若是與照明映射之處理對象的格子相對應之環境光之值係為照明映射之處理對象的格子之值以下(步驟S3011，Yes)，則由於係代表若是僅靠環境光並無法達到對於應用程式而言所需要的亮度，因此，資訊處理系統100，係將從照明映射之處理對象的格子之值而減去了環境光之值之後的值，作為該格子之新的照明值而設定之(步驟S3012)。步驟S3012之處理，例如係由輸出控制部122來實行。
另一方面，在上述步驟S3011之判定的結果中，若是與照明映射之處理對象的格子相對應之環境光之值係為較照明映射之處理對象的格子之值而更大(步驟S3011，No)，則由於係代表僅靠環境光便已超過了對於應用程式而言所需要的亮度，因此，資訊處理系統100，係將照明映射之處理對象的格子之值設定為0(步驟S3013)。步驟S3013之處理，例如係由輸出控制部122來實行。
若是上述步驟S3013之處理結束，則接下來，資訊處理系統100，由於係僅對於當僅靠環境光便已超過了對於應用程式而言所需要的亮度的情況時會需要進行通知的應用程式而進行通知，因此係進行在應用程式照 明對應表中是否針對處理對象之應用程式而進行有通知設定一事的判定(步驟S3014)。步驟S3014之處理，例如係由輸出控制部122來實行。
在上述步驟S3014之判定的結果中，當在應用程式照明對應表中針對處理對象之應用程式而進行有通知設定的情況時(步驟S3014，Yes)，則接下來，資訊處理系統100，係針對處理對象之應用程式，而對於該應用程式進行通知(步驟S3015)。步驟S3015之處理，例如係由輸出控制部122來實行。
在上述步驟S3015中而接收到了通知的應用程式，係進行例如將「周圍環境過量，請將環境調暗」、「由於亮度為較所想定之值更亮，因此會有導致辨識精確度降低的可能性」等之訊息作顯示或者是輸出聲音等之通知處理。
另一方面，在上述步驟S3014之判定的結果中，當在應用程式照明對應表中並未針對處理對象之應用程式而進行有通知設定的情況時(步驟S3014，No)，則資訊處理系統100，係將照明映射之處理對象的格子設為已完成處理，並回到上述步驟S3010之處理。
在上述步驟S3010之判定的結果中，若是並未存在有未處理格子(步驟S3010，No)，則接下來，資訊處理系統100，係將藉由上述之一連串的處理所設定了的照明映射之值，設定於輸出部130處(步驟S3016)。步驟S3016之處理，例如係由輸出控制部122來實行。輸 出部130，係基於照明映射之值，而設定照明機器3010之各照明的亮度。
本發明之其中一種實施形態的資訊處理系統100，係藉由實行上述之一連串的動作，而能夠進行與像是所實行之應用程式或環境光的亮度之類的投影面之狀態相對應的照明控制。本發明之其中一種實施形態的資訊處理系統100，係藉由進行與投影面之狀況相對應的照明控制因應於，而能夠因應於使用者之目的而將照明最適化。
在圖148所示之流程圖中的步驟S3008之環境光之取得處理，係可構成為在資訊處理系統100之應用程式的啟動時而實行一次，亦可構成為在資訊處理系統100之啟動中而定期性地實行。
以下，係例示出具體性的應用程式，並針對與像是所實行之應用程式或環境光的亮度之類的投影面之狀態相對應的照明控制進行說明。
(例1)電影院動畫播放器
電影院動畫播放器，係為為了演出電影的身歷其境感，而在內容之輸出時會變暗的應用程式。圖153，係為對於當資訊處理系統100實行電影院動畫播放器時的照明映射3011以及環境映射3021'之值之例作展示的說明圖。在想要實行電影院動畫播放器時的照明映射3011以及環境映射3021'之各格子之值，假設係如同圖153之(1)中所示一般地而作了取得。
若是參考圖152中所示之應用程式照明對應表，則電影院動畫播放器之亮度係被規定為0。故而，資訊處理系統100，係藉由使照明機器3010之照明熄燈，而實現在應用程式照明對應表中所規定的電影院動畫播放器之亮度。在使照明機器3010之照明作了熄燈時的照明映射3011以及環境映射3021'之各格子之值，例如係成為如同圖153之(2)中所示一般。
(例2)兒童動畫播放器
兒童動畫播放器，係為為了不會讓兒童在陰暗的場所而觀賞動畫等，而在內容之輸出時會變亮的應用程式。圖154，係為對於當資訊處理系統100實行兒童動畫播放器時的照明映射3011以及環境映射3021'之值之例作展示的說明圖。在想要實行兒童動畫播放器時的照明映射3011以及環境映射3021'之各格子之值，假設係如同圖154之(1)中所示一般地而作了取得。
若是參考圖152中所示之應用程式照明對應表，則兒童動畫播放器之亮度係被規定為80。故而，資訊處理系統100，係藉由使照明機器3010之照明點燈，而實現在應用程式照明對應表中所規定的兒童動畫播放器之亮度。在使照明機器3010之照明作了點燈時的照明映射3011以及環境映射3021'之各格子之值，例如係成為如同圖154之(2)中所示一般。
若是使照明機器3010之照明點燈並使亮度成 為在應用程式照明對應表中所規定的亮度，則資訊處理系統100，係對於兒童動畫播放器而將亮度為成為了在應用程式照明對應表中所規定之亮度一事作通知。接收到通知的兒童動畫播放器，係判斷已完成了作出當兒童觀賞內容時而為安全的環境之準備，並開始內容之再生。
另外，若是參考圖152中所示之應用程式照明對應表，則兒童動畫播放器係被規定為「需要」進行通知。故而，當就算是對於照明機器3010進行控制而亮度仍有所不足的情況時，資訊處理系統100，例如亦對於兒童動畫播放器而通知亮度係為不足，接收到通知之兒童動畫播放器，係藉由顯示「請將周圍環境增亮」等，而催促使用者將房間的燈光打開。
另外，當存在有從窗戶而照進之外光的情況時，資訊處理系統100，係將該外光狀況反映在環境映射3021'中。圖155，係為對於將外光狀況反映在環境映射3021'中的情況之例作展示的說明圖。在圖155中，係對於環境映射3021'之左上部分受到外光的影響而使值增大的例子作展示。
(例3)蠟燭應用程式
蠟燭應用程式，係為在桌等之投影面上投影蠟燭之影像的應用程式。圖156，係為對於當資訊處理系統100實行蠟燭應用程式時的照明映射3011以及環境映射3021'之例作展示的說明圖。在想要實行蠟燭應用程式時的照明映 射3011以及環境映射3021'之各格子之值，假設係如同圖156之(1)中所示一般地而作了取得。
若是參考圖152中所示之應用程式照明對應表，則蠟燭應用程式之亮度係被規定為20。故而，資訊處理系統100，係藉由使照明機器3010之照明熄燈，而實現在應用程式照明對應表中所規定的蠟燭應用程式之亮度。在使照明機器3010之照明作了點燈時的照明映射3011以及環境映射3021'之各格子之值，例如係成為如同圖154之(2)中所示一般。
但是，在圖156所示之例中，就算是使照明機器3010之照明熄燈，環境映射3021'之各格子之值亦係成為50，而無法實現在應用程式照明對應表中所規定的蠟燭應用程式之亮度。若是參考圖152中所示之應用程式照明對應表，則蠟燭應用程式係被規定為「需要」進行通知。
故而，當就算是對於照明機器3010進行控制而亮度仍有所超過的情況時，資訊處理系統100，例如係對於蠟燭應用程式而通知亮度係為過亮。接收到從資訊處理系統100而來之通知的蠟燭應用程式，係藉由顯示「周圍環境過亮，請使環境變暗」等的訊息，而催促使用者進行例如將窗簾拉上等的動作以使環境光變暗。
(例4)投影映射應用程式
投影映射應用程式，係為以將畫像投影在房間之牆面 或物體上一事作為目的的應用程式。在實行投影映射應用程式時，使用者係在投影面上設置例如反射鏡狀之半球體，並使從輸出部130之投影機所輸出的畫像在該半球體處反射。藉由使從輸出部130之投影機所輸出的畫像在反射鏡狀之半球體處反射，係能夠將畫像投影在房間之牆面或物體上。
若是參考圖152中所示之應用程式照明對應表，則投影映射應用程式之亮度係被規定為0。故而，資訊處理系統100，係藉由使照明機器3010之照明熄燈，而實現在應用程式照明對應表中所規定的投影映射應用程式之亮度。
作為投影映射應用程式，例如係存在有在房間之牆面上投影星空之畫像的天象儀應用程式、藉由在被設置於投影面上之日本紙處投影影像而實現跑馬燈之跑馬燈應用程式等。以下，作為投影映射應用程式，列舉出此天象儀應用程式以及跑馬燈應用程式為例來作說明。
圖157，係為針對應用程式之具體例作說明的說明圖，並為針對天象儀應用程式作說明之說明圖。圖157之(a)，係對於從輸出部130之投影機所輸出的畫像之其中一例作展示。圖157之(b)以及(c)，係對於從輸出部130之投影機所輸出的畫像在被設置於投影面上之表面為反射鏡狀之半球體3110處而被作反射的模樣作展示。圖157之(d)，係對於從輸出部130之投影機所輸出的畫像被半球體3110所反射並被投影在房間之牆面 上的狀態之其中一例作展示。
圖158，係為針對應用程式之具體例作說明的說明圖，並為針對跑馬燈應用程式作說明之說明圖。圖158之(a)，係對於從輸出部130之投影機所輸出的畫像之其中一例作展示。圖158之(b)、(c)、(d)，係對於從輸出部130之投影機所輸出的畫像在被設置於投影面上之表面為反射鏡狀之半球體3110處而被作反射並投影在日本紙3120上的模樣作展示。
(例5)地球儀應用程式
地球儀應用程式，係為以藉由將畫像投影在被設置於投影面上之半球體處而表現出地球儀一事作為目的的應用程式。在實行地球儀應用程式時，使用者係在投影面上設置例如墊狀之半球體，並將從輸出部130之投影機所輸出的畫像投影在該半球體上。藉由使從輸出部130之投影機所輸出的畫像被投影在墊狀之半球體處，係能夠在該半球體上表現出地球儀。
圖159，係為針對應用程式之具體例作說明的說明圖，並為針對地球儀應用程式作說明之說明圖。圖159之(a)，係對於從輸出部130之投影機所輸出的畫像之其中一例作展示。圖159之(b)，係對於從輸出部130之投影機所輸出的畫像在被設置於投影面上之表面為墊狀之半球體3120處而被作反射的模樣作展示。圖159之(c)，係對於從輸出部130之投影機所輸出的畫像被 投影至墊狀之半球體3120上而使墊狀之半球體3120表現出地球儀，並且與地球儀相互附加有關連地而在投影面上投影有各種之資訊的狀態之其中一例作展示。
(例6)行動終端之畫面辨識應用程式
行動終端之畫面辨識應用程式，係為用以藉由輸入部110之攝像機來辨識出被設置在投影面處的行動終端之畫面並實行與所辨識出之畫面相對應的處理之應用程式。在對於行動終端之畫面進行辨識時，若是將照明機器3010之照明熄燈並設為全暗，則係成為易於藉由輸入部110之攝像機來辨識出畫面。
但是，若是將照明機器3010之照明熄燈並設為全暗，則依存於輸入部110之攝像機的動態範圍，會有使畫面變成過曝的情形。
故而，在本實施形態中，為了易於辨識出正在發光的畫面，係並非將照明機器3010之照明熄燈，而是如同在圖152之應用程式照明對應表中所示一般，以降低反白(highlight)一事作為目的，而將照明機器3010之照明設定為較暗。
圖160，係為針對應用程式之具體例作說明的說明圖，並為針對行動終端之畫面辨識應用程式作說明之說明圖。在圖160中，係對於藉由輸入部110之攝像機而辨識出行動終端3130之畫面並使輸出部130之投影機投影與該行動終端3130之畫面相對應之資訊的模樣作展 示。
(例7)食品包裝辨識應用程式
食品包裝辨識應用程式，係為用以藉由輸入部110之攝像機來辨識出被設置在投影面處的食品包裝之表面並實行與所辨識出之食品包裝相對應的處理之應用程式。在對於食品包裝進行辨識時，若是將照明機器3010之照明點燈並設為明亮，則係成為易於藉由輸入部110之攝像機來辨識出身為反射物之食品包裝。
圖161，係為針對應用程式之具體例作說明的說明圖，並為針對食品包裝辨識應用程式作說明之說明圖。在圖161中，係對於藉由輸入部110之攝像機而辨識出食品包裝3140、3150之表面，並使輸出部130之投影機投影與該食品包裝3140、3150之畫面相對應之資訊的模樣作展示。
(例8)一般物體辨識應用程式
一般物體辨識應用程式，係為用以藉由輸入部110之攝像機來辨識出被設置在投影面處的物體之表面並實行與所辨識出之物體相對應的處理之應用程式。在對於物體進行辨識時，由於事先係並不知道在投影面處會被放置何種的物體，因此係將照明機器3010之照明設為一半左右的亮度。藉由將照明機器3010之照明設為一半左右的亮度，係成為易於藉由輸入部110之攝像機來辨識出物體之 表面。
圖162，係為針對應用程式之具體例作說明的說明圖，並為針對一般物體辨識應用程式作說明之說明圖。在圖162中，係對於藉由輸入部110之攝像機而辨識出一般物體3160、3170之表面，並使輸出部130之投影機投影與該一般物體3160、3170之畫面相對應之資訊的模樣作展示。
本實施形態之資訊處理系統100，係藉由因應於投影面之利用狀況來進行照明控制，而成為能夠因應於使用者之各種目的而個別地將照明最適化。本實施形態之資訊處理系統100，係藉由使用作為格子而作了分割的環境映射以及照明映射來進行照明控制，而能夠僅對於投影面之必要的場所進行照明之調整。藉由僅對於投影面之必要的場所進行照明調整，複數之使用者，係成為能夠對於輸出部130之投影機所投影在投影面上的內容而分別不會感到壓力地來進行相異之作業。
本實施形態之資訊處理系統100，係藉由檢測出在投影面上之正在實行應用程式的部份並對於照明進行調整，而成為能夠使映像鮮明化。例如，藉由以輸入部110來檢測出在投影面上的正在進行用餐之部分，並對於照明機器3010之照明的亮度進行調整，係能夠防止正在進行用餐之周邊的亮度變暗的情形。
本實施形態之資訊處理系統100，係能夠在實行一般物體辨識應用程式時進行照明控制，而使辨識精確 度提昇。本實施形態之資訊處理系統100，係藉由因應於辨識對象之物體而使照明機器3010之控制方法改變，而成為能夠使被放置在投影面上之物體的辨識精確度提昇。
本實施形態之資訊處理系統100，係亦能夠基於從輸出部130所輸出之內容的屬性資訊或元(meta)資訊，來對於亮度作控制。例如，係亦可構成為：若是所輸出之內容的屬性資訊被設定為乃身為適合兒童之動畫，則資訊處理系統100，係以會變亮的方式來控制照明機器3010，若是被設定為乃身為適合成人的電影，則資訊處理系統100，係以會變暗的方式來對於照明機器3010之照明作控制。
資訊處理系統100，係藉由如此這般地基於所輸出之內容的屬性資訊或元(meta)資訊來對於亮度作控制，而成為就算是身為相同之應用程式，也能夠在各內容之每一者而分別使亮度作改變。
資訊處理系統100，在對於照明機器3010之照明的亮度進行控制時，係亦能夠進行會立刻地成為目的之亮度一般的控制，但是，除此之外，係亦可構成為以會逐漸地變亮或者是變暗並且最終會到達目標之亮度的方式，來進行控制。
〔例2〕
於此，係針對當在投影面上而滿足了特定條件的情況時，使預先所設定的功能觸發的處理之例子作說明。使應 用程式之功能觸發的條件，通常係僅有提供該應用程式之廠商能夠進行設定。又，依存於利用環境，係也會有在應用程式中所定義的舉動中功能並不會觸發的情況。又，依存於利用環境，係也會有在應用程式中所定義的舉動中功能並不會起作用的情況。
因此，在本實施形態之資訊處理系統100中，係構成為能夠讓使用者自由地設定欲觸發之功能以及觸發的條件。本實施形態之資訊處理系統100，係藉由構成為能夠讓使用者自由地設定欲觸發之功能以及觸發的條件，而成為能夠進行各種之演出的表現。
日常生活中，各使用者會在桌140a上放置各種的物體，並在桌140a上進行各種的互動。本實施形態之資訊處理系統100，係讓使用者將該互動作為功能觸發之契機來利用。又，本實施形態之資訊處理系統100，係將在功能觸發時所使用的資料，因應於互動之發生而遞交給在功能觸發時所實行的處理(Action)。
本實施形態之資訊處理系統100作為功能觸發之條件(Trigger)而使用的互動，例如係存在有下述一般之互動。當然的，互動係並不被限定於以下所示者。
．拾取桌面之聲音
．辨識出使用者所作成的AR標記
．辨識出深度資訊
．檢測出桌面之亮度
．辨識出桌面之手的狀態
．辨識出被放置在桌面上之機器
．到達特定之時刻
．檢測出溫度
．檢測出二氧化碳濃度
．檢測出氣味
．檢測出水蒸氣
．檢測出濕度
作為當拾取桌面之聲音的情況時之觸發器之例，係存在有下述一般之例。
．聲音之形態的檢測(例如將使用者「扣、扣、扣」地以拳頭來敲擊了桌140a之面3次的聲音作錄音)
．音量之變化的檢測(例如讓資訊處理系統100收音特定之臨限值以上的聲音)
．聲音之鳴動時間的檢測(例如讓資訊處理系統100將無音時間持續了特定時間一事檢測出來)
．聲音之鳴動方向的檢測
作為在檢測出聲音之形態的情況時所遞交至Action處之資料，例如係為用以對於所檢測出之形態進行辨識的ID資訊。作為在檢測出音量之變化、聲音之鳴動時間、聲音之鳴動方向的情況時所遞交至Action處之資料，例如係為音量、鳴動時間、鳴動方向等。
作為對於使用者所作成之AR標記的情況時之觸發器之例，係存在有下述一般之例。
．AR標記之發現(例如資訊處理系統100在桌面全 體之中的某一處或者是預先所作了登記的區域處而發現到使用者所作了登記的標記)
．AR標記之消失(例如資訊處理系統100跟丟了使用者所作了登記的標記)
作為當AR標記之發現的情況時所遞交至Action處之資料，例如係存在有所發現的標記之ID資訊、發現時的座標、發現時的姿勢、發現時的大小、發現時之時刻等。作為當所發現之AR標記消失的情況時所遞交至Action處之資料，例如係存在有跟丟的標記之ID資訊、最後看到標記時的座標、最後看到標記時的姿勢、最後看到標記時的大小、遺失時之時刻等。
作為對於深度資訊進行辨識的情況時之觸發器之例，係存在有下述一般之例。
．塊之辨識(例如，在桌面全體之中的某一處或者是預先所作了登記的區域處而檢測出特定量之塊的增加或者是減少)
．桌面上之物體的配置之辨識(例如，成為與事先所登記之深度映射相互一致的狀態，或者是變成並未相互一致的狀態。深度映射，係亦能夠與RGB畫像作組合)
．從標準平面起之變化的檢測(例如，並未在特定時間以上的期間中而成為未被放置有任何物體的狀態)
．移動之檢測(例如，在桌面全體之中的某一處或者是預先所作了登記的區域處而檢測出正在活躍的移動之物體)
作為當塊之辨識的情況時所遞交至Action處之資料，例如係存在有所發現的塊之場所、塊之面積、塊之體積、辨識出來時的時刻等。作為當桌面上之物體的配置之辨識的情況時所遞交至Action處之資料，例如係存在有配置有所改變之場所、發生變化時之時刻、變化量(面積或體積)等。作為在從標準平面起之變化之檢測的情況時所遞交至Action處之資料，例如係存在有從標準狀態起而改變的物體之外形、位置、面積、體積、該物體首次被放置時的日期時刻等。作為當移動之檢測的情況時所遞交至Action處之資料，例如係存在有移動之活躍度、主要存在有移動之區域的座標或面積、發生有移動時之日期時刻等。另外，移動之活躍度，例如係為將存在有移動之面積和移動之速度相乘所求取出的指標。
作為當檢測出桌面之亮度的情況時之觸發器之例，係存在有下述一般之例。
．亮度之改變的檢測(例如，檢測出相較於預先所設定的臨限值以上而變得更亮或者是變得更暗的情形)
作為當亮度之改變之檢測的情況時所遞交至Action處之資料，例如係存在有亮度之資訊。
作為當檢測出桌面之手之狀態的情況時之觸發器之例，係存在有下述一般之例。
．手的隻數(例如，檢測出手的隻數於特定時間以上之期間而超過特定之隻數一事)
．手之進入至桌面上的時間
．手的位置(例如，檢測出手進入至預先所登記了的區域中一事)
作為當手的隻數之辨識的情況時所遞交至Action處之資料，例如係存在有所辨識出之手的隻數、手之伸出隻數、所辨識出之手的位置等。
作為當辨識出被放置在桌面上之機器的情況時之觸發器之例，係存在有下述一般之例。
．機器之連接(例如，檢測出資訊處理系統100被與機器作了連接一事、或者是檢測出資訊處理系統100與機器間之連接被作了解除一事)
作為當機器之連接之辨識的情況時所遞交至Action處之資料，例如係存在有所辨識出之機器的ID資訊、機器之位置、機器之姿勢、機器之大小等。
作為對於到達了特定時刻一事進行辨識的情況時之觸發器之例，係存在有下述一般之例。
．到達指定之時刻
．經過特定之時間
作為當辨識出到達了指定之時刻一事的情況時所遞交至Action處之資料，例如係存在有時刻資訊等。作為當辨識出經過了特定時間一事的情況時所遞交至Action處之資料，例如係存在有開始時刻、經過時間、現在時刻等。
作為對於檢測出溫度一事進行辨識的情況時 之觸發器之例，係存在有下述一般之例。
．溫度之變化(例如，檢測出每單位時間之溫度變化 係成為特定量以上一事)
作為在檢測出溫度之變化的情況時所遞交至Action處之資料，例如係為溫度變化量、發生有變化之面積、絕對溫度、檢測出之日期時刻等。
作為對於檢測出二氧化碳濃度一事進行辨識的情況時之觸發器之例，係存在有下述一般之例。
．二氧化碳濃度之變化(例如，檢測出每單位時間之二氧化碳濃度溫度變化係成為特定量以上一事)
作為在檢測出二氧化碳濃度之變化的情況時所遞交至Action處之資料，例如係為二氧化碳濃度之變化量、絕對濃度、檢測出之日期時刻等。
作為對於檢測出氣味一事進行辨識的情況時之觸發器之例，係存在有下述一般之例。
．檢測出特定之氣味(化學物質)
作為在檢測出氣味的情況時所遞交至Action處之資料，例如係為檢測量、檢測出之日期時刻等。
本發明之其中一種實施形態之資訊處理系統100，作為因應於上述一般之互動所實行的功能，例如係存在有下述一般之例。
．影像或畫像之投影
．音樂之播放
．其他應用程式之實行
．照片之攝像
．照明之調整
．投影畫像之亮度的調整
．音量之調整
．警報之顯示
作為在實行影像或畫像之投影時的Action，例如係存在有對於投影面上之視覺特效(visual effect)的投影。作為被投影至投影面上之物，例如係存在有預先所登記的視覺特效(爆炸之特效或閃亮發光一般之特效等)之顯示、由使用者所作成的視覺特效之顯示等。又，作為視覺特效之例，係亦可為預先在桌面上所作了錄影者，亦可為在桌面上而基於使用者移動手或手指的軌跡所描繪者，亦可為使用藉由繪畫應用程式所描繪了的插圖或者是使用者利用網際網路而檢索所發現到的畫像者。
作為在實行對於投影面上之視覺特效(visual effect)的投影之Action時而從觸發器所遞交而來的資料之使用方法，例如係存在有與敲擊桌面之聲音的大小成正比地來使視覺特效之量改變等。
作為在實行音樂之播放時的Action，例如係存在有聲音或音樂之播放，具體而言，係存在有例如預先所登記了的聲音效果(聲音特效)之輸出、使用者所登記的喜愛之音樂之輸出等。作為在實行聲音或音樂之播放之Action時而從觸發器所遞交而來的資料之使用方法，例如係存在有使所被賦予之資料的增減反映於聲音之盛大程度 中等。
作為在啟動應用程式時之Action，例如係存在有一般性的應用程式之啟動、指定有引數的應用程式之啟動、複數的應用程式之啟動等，作為一般性的應用程式之具體例，係存在有對於電視進行操作之應用程式或者是顯示時鐘的應用程式等，作為指定有引數的應用程式之啟動，例如係存在有對於URL作了指定的瀏覽器之啟動等，作為複數的應用程式之啟動的具體例，係存在有將所記憶的複數之應用程式的位置或視窗尺寸、傾斜度作再現等。
作為在攝像照片時之Action，例如係存在有對於投影面全體進行攝影、對於投影面的一部分進行攝影等。作為在實行攝影照片之Action時而從觸發器所遞交而來的資料之使用方法，例如係存在有對於以所辨識出之手作為中心的特定之範圍而進行攝影等。
作為在對於照明進行調整時或者是對於投影畫像之亮度進行調整時的Action，例如係存在有對於亮度作調整、熄燈等。作為亮度之調整的具體例，係存在有使照明變亮或者是變暗、指定起點以及終點並於某一期間而在兩者間移動等。作為在實行調整照明之Action時而從觸發器所遞交而來的資料之使用方法，例如係存在有使所遞交之值反映於亮度中、因應於環境光來對於亮度進行調整等。
作為在對於音量進行調整時的Action，例如 係存在有對於音量作調整、進行消音等。作為音量之調整的具體例，係存在有使音量增大或減小、指定起點以及終點並於某一期間而在兩者間移動等。作為在實行調整音量之Action時而從觸發器所遞交而來的資料之使用方法，例如係存在有使所遞交之值反映於音量中、因應於周圍之音量來對於音量進行調整等。
作為在顯示警報時的Action，例如係存在有顯示(投影)警報訊息等。作為在顯示警報之Action時而從觸發器所遞交而來的資料之使用方法，例如係存在有若是所辨識出之手的隻數超過臨限值則在新辨識出之手的周圍輸出「無法藉由該手進行操作」等的警報訊息等。
如此這般，欲觸發之功能和觸發之條件間的關係，係涵蓋有多種分歧，而要求能夠讓使用者簡單地對於欲觸發之功能和觸發之條件進行設定。以下，係針對在讓使用者設定欲觸發之功能以及觸發的條件時，資訊處理系統100所輸出至投影面上的GUI之例進行說明。
圖163~圖171，係為對於本發明之其中一種實施形態的資訊處理系統100所輸出至投影面上的GUI之例作展示之說明圖。圖163~圖171，係為在讓使用者設定觸發之條件時的GUI之例，並為將音樂之形態作為觸發之條件而作登記的情況時之GUI3200之例。
本發明之其中一種實施形態之資訊處理系統100，在讓使用者設定觸發之條件時，首先，係如圖163中所示一般，輸出讓使用者選擇要將何者之頻道作為觸發 之條件來使用的GUI3200。在圖163所示之GUI3200中，係作為頻道而展示有聲音、標幟物、桌面(桌140a之面)的物體。當然的，在讓使用者設定觸發之條件時，作為頻道而使用者，係並不被限定於上述之例。
於此，若是使用者作為頻道而選擇聲音，則接下來，資訊處理系統100，係如同圖164中所示一般，輸出讓使用者選擇觸發器之GUI3200。在圖164中，係作為觸發器而展示有聲音之形態、聲音之音量、聲音之鳴動時間。當然的，作為觸發器而使用者，係並不被限定於上述之例。
於此，若是使用者作為觸發器而選擇聲音之形態，則接下來，資訊處理系統100，係輸出讓使用者錄音聲音之形態的GUI3200。使用者若是完成了錄音的準備，則係觸碰圖165中所示之錄音鍵。資訊處理系統100，係因應於使用者之錄音鍵的操作，而開始錄音。又，在進行錄音的期間中，資訊處理系統100，係輸出如同圖166中所示一般之GUI3200。
若是聲音之錄音結束，則接下來，資訊處理系統100，係輸出如同圖167中所示一般之GUI3200。圖167中所示之GUI3200，係為用以通知錄音結束並讓使用者決定是否將所錄音之聲音作為觸發器來使用的GUI。若是使用者選擇將所錄音之聲音作為觸發器來使用，則資訊處理系統100，係輸出如同圖168中所示一般之GUI3200。圖168中所示之GUI3200，係輸出用以讓使用 者播放所錄音的聲音之GUI。
若是使用者播放所錄音之聲音，並且資訊處理系統100將該使用者所播放了的聲音作為聲音之形態而辨識出來，則資訊處理系統100，係輸出如同圖169中所示一般之GUI3200。於圖169中所示之GUI3200，係為代表資訊處理系統100成功辨識出了聲音的形態一事之GUI。另一方面，當使用者所播放了的聲音無法作為聲音之形態而辨識出來的情況時，資訊處理系統100，係輸出如同圖170中所示一般之GUI3200。於圖170中所示之GUI3200，係為代表資訊處理系統100無法辨識出使用者所作了播放之聲音的形態一事之GUI。
若是能夠辨識聲音之形態，則資訊處理系統100，係輸出如同圖171中所示一般之GUI3200。於圖171中所示之GUI3200，係為代表資訊處理系統100將使用者所作了登記的聲音之形態作為觸發器來作了登錄一事之GUI。
本發明之其中一種實施形態之資訊處理系統100，係藉由輸出圖163~圖171中所示之GUI，而成為能夠讓使用者簡單地設定欲觸發之功能以及觸發的條件。
至此為止，係對於當將使用者所發出之聲音作為觸發器來作登記時的資訊處理系統100所輸出之GUI3200之例作展示。接著，針對當將使用者放置在投影面上之標幟物作為觸發器來作登錄時的資訊處理系統100所輸出之GUI之例作展示。
圖172~圖179，係為對於本發明之其中一種實施形態的資訊處理系統100所輸出至投影面上的GUI之例作展示之說明圖。圖172~圖179，係為在讓使用者設定觸發之條件時的GUI之例，並為將物體被放置在桌面上一事作為觸發之條件而作登記的情況時之GUI3200之例。
本發明之其中一種實施形態之資訊處理系統100，在讓使用者設定觸發之條件時，首先，係如圖172中所示一般，輸出讓使用者選擇要將何者之頻道作為觸發之條件來使用的GUI3200。在圖172所示之GUI3200中，係作為頻道而展示有聲音、標幟物、桌面(桌140a之面)的物體。當然的，作為頻道而使用者，係並不被限定於上述之例。
於此，若是使用者作為頻道而選擇標幟物，則接下來，資訊處理系統100，係如同圖173中所示一般，輸出讓使用者選擇觸發器之GUI3200。在圖173中，係作為觸發器而展示有塊辨識、物體之配置、平面辨識。當然的，作為觸發器而使用者，係並不被限定於上述之例。
於此，若是使用者作為觸發器而選擇塊辨識，則接下來，資訊處理系統100，係如同圖174中所示一般，輸出讓使用者對於進行辨識之區域作指定的GUI3200。若是使用者對於進行辨識之區域作了指定，則接下來，資訊處理系統100，係如同圖175中所示一般， 輸出讓使用者對於功能觸發之條件作指定的GUI3200。在圖175中，係對於讓使用者指定是要當物體被放置在桌面上的情況時而使功能觸發或者是要當物體從桌面退出的情況時而使功能觸發之GUI3200作展示。
圖176，係為對於讓使用者對進行辨識之區域作指定的GUI3200之例作展示的說明圖。資訊處理系統100，係藉由輸出如同圖176中所示一般之GUI3200，而能夠讓使用者設定對成為功能觸發之觸發器的物體作辨識之區域。此對於物體作辨識之區域，係能夠藉由使用者之操作來進行移動、擴大、縮小、旋轉、變形。
若是使用者設定了對成為功能觸發之觸發器的物體作辨識之區域，則接下來，資訊處理系統100，係輸出如同圖177中所示一般之用以將物體實際放置在使用者所設定的區域中並對於物體進行辨識的GUI3200。使用者，若是在對物體作辨識之區域中放置任意之物體，則資訊處理系統100，係藉由輸入部110之攝像機來辨識出被放置在該區域中的物體。資訊處理系統100，若是辨識出被放置在對物體作辨識之區域中的物體，則係如圖178中所示一般，輸出代表係成功地辨識出物體一事之GUI3200。
又，若是辨識出被放置在對物體作辨識之區域中的物體，則資訊處理系統100，係輸出如同圖179中所示一般之代表係將使用者所放置在桌面上的物體作為觸發物而作了登記一事之GUI3200。
圖180~圖184，係為對於本發明之其中一種實施形態的資訊處理系統100所輸出至投影面上的GUI之例作展示之說明圖。圖180~圖184，係為在讓使用者設定要觸發之功能時的GUI之例，並為將影像之播放作為被觸發之功能而作登記的情況時之GUI3200之例。
本發明之其中一種實施形態之資訊處理系統100，在讓使用者設定要觸發之功能時，首先，係如圖180中所示一般，輸出讓使用者選擇要將何者之頻道作為要觸發之功能來使用的GUI3200。在圖180所示之GUI3200中，係作為頻道而展示有繪畫、影像；聲音、音樂；應用程式的3個種類。當然的，作為頻道而使用者，係並不被限定於上述之例。
於此，若是使用者作為頻道而選擇繪畫、影像，則接下來，資訊處理系統100，係如同圖181以及圖182中所示一般，輸出讓使用者選擇動作(要觸發之功能)之GUI3200。
在圖182中，係對於作為要播放之繪畫或影像，而用以讓使用者對於從特效程式館而來的特效之選擇、桌面之錄影、藉由利用桌面所進行之描繪功能所作了描繪的繪畫中之其中一者作選擇的GUI3200作展示。另外，作為要播放之繪畫或影像而被利用者，係亦可為上述之例的組合。資訊處理系統100，例如當將播放時間設為10秒的情況時，係亦能夠讓使用者設定為例如以特效之播放為5秒、藉由描繪功能所描繪之繪畫的播放時間為5 秒的方式來分別進行播放。
若是使用者設定了動作，則接下來，資訊處理系統100，係輸出如同圖183中所示一般之用以讓使用者對於使用者所設定了的動作進行確認之GUI3200。使用者，係對於所設定了的動作進行確認，若是沒有問題，則係對於資訊處理系統100下達沒有問題的指示。若是使用者針對使用者所設定的動作作了確認，則接下來，資訊處理系統100，係輸出如同圖184中所示一般之代表動作之登記已結束一事的GUI3200。
當使用者如同上述一般地而將要觸發之功能和觸發之條件作了登記的情況時，係以根據該要觸發之功能的效果或所代表之意義來對於要觸發之功能的可視性進行控制為理想。例如，作為驚喜而安排了的功能，係以不會被他人所注意到的來預先作隱藏為理想。
圖185，係為對於使資訊處理系統100觸發之功能的可視性之例作展示的說明圖。圖185之(1)，係為對於在每一功能處而放置有圖符的模樣作展示。圖185之(2)，係為對於將所登記了的功能統籌作配置的模樣作展示。圖185之(3)，係為對於僅將觸發器所發生之區域作顯示的模樣作展示。圖185之(4)，係為對於將要觸發之功能完全地隱藏的模樣作展示。
如同上述一般，資訊處理系統100，係能夠讓使用者登記各種的功能觸發之條件。但是，可以想見會有使用者不小心對於相異之功能而附加了相同之條件的情 況。因此，資訊處理系統100，係亦可構成為若是使用者所想要登記的觸發條件為與已登錄之條件酷似，則將該登記拋棄。
例如，當在使用者登記「敲擊桌子」之觸發器時而想要登記雖然節奏有些許的差異但是敲擊次數為相同之觸發器的情況時，或者是當在使用者登記「將物體放置在桌上」之觸發器時而所反應的區域為與以前所登記之區域相重複的情況時，係成為與已登記之條件相酷似，並成為類似度為高之資料。除此之外，例如，可以想見會有使用者不小心將在模樣或形狀、色彩上僅有些許差異之物體的辨識分配至相異之功能處的情況。如此這般，係存在有可能會成為類似度為高之條件的狀況。
因此，資訊處理系統100，在判別出類似度係為相當高的時間點處，係亦可顯示對於類似度為高一事作通知的指示，或者是輸出促使使用者進行重新登記或將登記取消的GUI。
圖186，係為對於資訊處理系統100所輸出之GUI之例作展示的說明圖，並為對於當使用者所想要登記的觸發條件為與已登錄之條件酷似而將該登記拋棄時所輸出的GUI之例作展示者。
資訊處理系統100，係亦可將使用者所作了登記的觸發器作複數之組合並產生新的觸發器。圖187，係為對於觸發器之組合之例作展示的說明圖。在圖187中，係對於將「若是成為早上7點」之觸發器和「若是使用者 之手腕在指定區域內作了搖動」之觸發器作組合的模樣作展示。
圖188，係為對於在讓使用者將觸發器作複數之組合並產生新的觸發器時的資訊處理系統100所輸出之GUI之例作展示的說明圖。各觸發器，係藉由圓來作描繪，使用者，係進行使觸發器彼此相互重疊之操作(例如拖曳及放開之操作)。若是由使用者而進行使觸發器彼此重疊之操作，則資訊處理系統100，係將該2個的觸發器作組合並產生新的觸發器。
對於當使用者如同上述一般地而將要觸發之功能和觸發之條件作了登記的情況時，將使用者所設定了的要觸發之功能和觸發之條件相互附加關連時的GUI之例作展示。圖189，係為對於資訊處理系統100所輸出之GUI之例作展示的說明圖，並為對於在將使用者所設定的要觸發之功能和觸發之條件相互附加關連時的GUI之例作展示者。
在圖189中，要觸發之功能(動作)和觸發之條件(觸發器)，係以圓來作描繪，使用者，係進行使觸發器和動作相互重疊之操作(例如拖曳和放開操作)。若是由使用者而進行使觸發器和動作相互重疊之操作，則資訊處理系統100，係將該觸發器和動作相互附加關連，並將附加有關連之內容作保持。
本實施形態之資訊處理系統100，係藉由構成為讓使用者能夠自由地對於要觸發之功能和觸發之條件作 設定，而不僅是由提供應用程式之廠商所進行的編程，亦成為能夠進行由使用者所致之自由且簡單的程式設定。藉由此，係能夠實現依據在桌140a上所發生的細微事項而進行的功能觸發。
日常生活中，各使用者會在桌140a上放置各種的物體，並進行各種的互動。本實施形態之資訊處理系統100，係藉由構成為能夠讓使用者自由地設定欲觸發之功能以及觸發的條件，而能夠讓使用者將可能會日常性地進行之互動作為功能觸發之契機來利用，並成為能夠作成融入至使用者之日常生活中一般的體驗。
〔例3〕
於此，係針對資訊處理系統100所顯示的視窗之模式以及操作方法之例作說明。
在資訊處理系統100所顯示的視窗之內部，係能夠顯示畫像、文字或其他之內容。在被顯示於視窗之內部的內容中，係存在有各種之內容，且也可能會存在有無法在視窗之區域內而全部作顯示一般之內容。於此種情況，使用者，係成為藉由對於內容進行捲動、移動、擴大、縮小操作，來進行內容之閱覽，但是，資訊處理系統100，係需要針對使用者對於內容所進行之上述操作，和使用者對於正在顯示內容之視窗所進行之操作，作正確的區分。此係因為，若是無法針對對於內容所進行之操作和對於視窗所進行之操作而作正確的區分，則可能會發生雖 然使用者係正在進行對於內容的操作但是卻變得並非對於內容進行操作而是對於視窗進行操作一般的情形。
圖190，係為針對資訊處理系統100所顯示的視窗3300之模式以及操作方法之例作展示的說明圖。當在視窗3300之中而顯示有畫像或文字或者是其他之內容的狀態下，若是使用者單純地進行對於內容之操作，則資訊處理系統100係對於該視窗而以內容操作模式來動作。又，若是使用者對於視窗3300中之特定的區域而進行長按下，則資訊處理系統100係對於該視窗而以視窗操作模式來動作。
圖191，係為針對資訊處理系統100所顯示的視窗3300之模式以及操作方法之例作展示的說明圖。資訊處理系統100，在內容操作模式下，係能夠讓使用者進行在視窗3300中之內容的捲動或旋轉、擴大縮小(縮放)。另一方面，資訊處理系統100，在視窗操作模式下，係能夠讓使用者進行對於視窗3300之移動、旋轉、縮放。
另外，當將動作從內容操作模式而切換至視窗操作模式時，資訊處理系統100，係亦能夠進行代表視窗3300乃成為視窗操作模式一事的顯示(例如，將視窗3300全體之顏色改變等)。
若是如此這般地進行藉由對於視窗3300中之特定之區域進行長按下一事來將動作從內容操作模式而切換為視窗操作模式，則對於使用者而言，係有著能夠將誤 操作的情形減少之優點，但是，另一方面，係有必要讓使用者進行對於視窗3300中之特定之區域而作長按下的操作。
圖192、圖193，係為針對資訊處理系統100所顯示的視窗3300之模式以及操作方法之例作展示的說明圖。資訊處理系統100，例如係在視窗3300之周圍設置外框。如同圖193中所示一般，亦可構成為：當使用者對於正被顯示於視窗3300之內部的內容而進行了操作時，係實行對於該內容所進行之處理，當使用者對於視窗3300之外框而進行了操作時，則實行對於視窗3300所進行之處理。
藉由如此這般地在視窗3300之周圍設置外框一事來區分對於內容所進行之操作以及對於視窗3300所進行之操作的方法，由於係並不會強迫使用者進行像是長按下一般之操作，因此係有著能夠僅藉由1個的操作來作區別之優點，但是，另一方面，係可能會發生起因於設置外框一事而產生的操作區域之干涉等所導致的誤操作。
因此，在以下之說明中，係針對在讓使用者對於資訊處理系統100所顯示之視窗3300進行操作時，不會強迫使用者進行複雜之操作，並且也能夠使誤操作之發生的可能性降低之技術之例作展示。
首先，針對可能會發生內容之捲動的視窗和不會發生內容之捲動的視窗之移動概念作展示。圖194，係為對於視窗之操作例作展示的說明圖，並為針對可能會 發生內容之捲動的視窗和不會發生內容之捲動的視窗之移動概念作展示的說明圖。
圖194之(1)，係為不會產生內容之捲動的視窗，除了由使用者所致之對於內容所進行的操作(例如輕敲操作、對於內容之縮放操作等)以外之操作，係假設其乃身為對於視窗所進行之操作。
圖194之(2)，係為會產生內容之捲動的視窗，並例如將由使用者所致之以單手所進行之操作設為對於內容所進行的操作，並將以兩手所進行之操作設為對於視窗所進行之操作。又，係在對於內容所進行的操作時，於特定期間中而在視窗之周圍顯示外框，並將對於該外框所進行之操作設為對於內容所進行之操作。
圖195，係為針對使用者之操作作展示的說明圖。在圖195中，係針對以使用者之1隻或2隻手來使內容或視窗移動之移動操作、以使用者之1隻或2隻手來使內容或視窗旋轉之旋轉操作、以使用者之1隻或2隻手來使內容或視窗作縮放之縮放操作的例子作展示。
圖196，係為對於本發明之其中一種實施形態的資訊處理系統100之動作例作展示的流程圖。於圖196中所示者，係為當對於資訊處理系統100所輸出之顯示有內容的視窗而進行有操作時，資訊處理系統100之動作例。以下，使用圖196，針對本發明之其中一種實施形態之資訊處理系統100的動作例作說明。
首先，若是檢測出由使用者所進行之對於視 窗之觸碰操作(步驟S3301)，則資訊處理系統100，係接著判斷該操作是否身為移動操作(步驟S3302)。
當由使用者所進行之對於視窗之觸碰操作乃身為移動操作的情況時(步驟S3302，Yes)，接下來，資訊處理系統100，係接著判斷由使用者所進行之對於視窗之觸碰操作是否身為視窗內之操作(步驟S3303)。
當由使用者所進行之對於視窗之觸碰操作乃身為視窗內之操作的情況時(步驟S3303，Yes)，接下來，資訊處理系統100，係判斷該使用者操作是否為由2隻手所進行之操作，或者是判斷在視窗中所顯示之內容是否為並不會捲動之內容(步驟S3304)。
當使用者操作係為由2隻手所進行之操作，或者是當在視窗中所顯示之內容係為並不會捲動之內容的情況時(步驟S3304，Yes)，接下來，資訊處理系統100，係實行使操作對象之視窗移動的處理(步驟S3305)。另一方面，當使用者操作係為由1隻手所進行之操作，或者是當在視窗中所顯示之內容係為會捲動之內容的情況時(步驟S3304，No)，接下來，資訊處理系統100，係實行使操作對象之視窗中所顯示的內容捲動之處理(步驟S3306)。
另外，當由使用者所進行之對於視窗之觸碰操作並非身為視窗內之操作的情況時(步驟S3303，No)，接下來，資訊處理系統100，係實行使操作對象之視窗移動的處理(步驟S3305)。
在上述步驟S3302中，當由使用者所進行之對於視窗之觸碰操作並非身為移動操作的情況時(步驟S3302，No)，接下來，資訊處理系統100，係接著判斷由使用者所進行之對於視窗之觸碰操作是否身為旋轉操作(步驟S3307)。
當由使用者所進行之對於視窗之觸碰操作乃身為旋轉操作的情況時(步驟S3307，Yes)，接下來，資訊處理系統100，係接著判斷由使用者所進行之對於視窗之觸碰操作是否身為視窗內之操作(步驟S3308)。
當由使用者所進行之對於視窗之觸碰操作乃身為視窗內之操作的情況時(步驟S3308，Yes)，接下來，資訊處理系統100，係判斷該使用者操作是否為由2隻手所進行之操作，或者是判斷在視窗中所顯示之內容是否為並不會在視窗內而旋轉之內容(步驟S3309)。
當使用者操作係為由2隻手所進行之操作，或者是當在視窗中所顯示之內容係為並不會在視窗內而旋轉之內容的情況時(步驟S3309，Yes)，接下來，資訊處理系統100，係實行使操作對象之視窗旋轉的處理(步驟S3310)。另一方面，當使用者操作係為由1隻手所進行之操作，或者是當在視窗中所顯示之內容係為會在視窗內而旋轉之內容的情況時(步驟S3309，No)，接下來，資訊處理系統100，係實行使操作對象之視窗中所顯示的內容旋轉之處理(步驟S3311)。
另外，當由使用者所進行之對於視窗之觸碰 操作並非身為視窗內之操作的情況時(步驟S3308，No)，接下來，資訊處理系統100，係實行使操作對象之視窗旋轉的處理(步驟S3310)。
在上述步驟S3307中，當由使用者所進行之對於視窗之觸碰操作並非身為旋轉操作的情況時(步驟S3307，No)，接下來，資訊處理系統100，係接著判斷由使用者所進行之對於視窗之觸碰操作是否身為縮放操作(步驟S3307)。
當由使用者所進行之對於視窗之觸碰操作乃身為縮放操作的情況時(步驟S3312，Yes)，接下來，資訊處理系統100，係接著判斷由使用者所進行之對於視窗之觸碰操作是否身為視窗內之操作(步驟S3313)。
當由使用者所進行之對於視窗之觸碰操作乃身為視窗內之操作的情況時(步驟S3313，Yes)，接下來，資訊處理系統100，係判斷該使用者操作是否為由2隻手所進行之操作，或者是判斷在視窗中所顯示之內容是否為並不會在視窗內而縮放之內容(步驟S3314)。
當使用者操作係為由2隻手所進行之操作，或者是當在視窗中所顯示之內容係為並不會在視窗內而縮放之內容的情況時(步驟S3314，Yes)，接下來，資訊處理系統100，係實行使操作對象之視窗縮放的處理(步驟S3315)。另一方面，當使用者操作係為由1隻手所進行之操作，或者是當在視窗中所顯示之內容係為會在視窗內而縮放之內容的情況時(步驟S3315，No)，接下來， 資訊處理系統100，係實行使操作對象之視窗中所顯示的內容縮放之處理(步驟S3316)。
另外，當由使用者所進行之對於視窗之觸碰操作並非身為視窗內之操作的情況時(步驟S3313，No)，接下來，資訊處理系統100，係實行使操作對象之視窗縮放的處理(步驟S3315)。
在上述步驟S3312中，當由使用者所進行之對於視窗之觸碰操作並非身為縮放操作的情況時(步驟S3312，No)，接下來，資訊處理系統100，係因應於實行中之應用程式來進行對於該使用者操作之對應(步驟S3317)。作為由使用者所致之對於視窗的觸碰操作係並非為移動、旋轉以及縮放的情況時之例，例如係為由使用者所致之輕敲操作等。若是進行有由使用者所致之輕敲操作，則資訊處理系統100，係亦可實行與成為輕敲操作之對象的內容相對應之處理(畫像之顯示、影像之播放、其他應用程式之啟動等)。
另外，由使用者所致之移動操作、旋轉操作、縮放操作，係可同時地進行。於此情況，資訊處理系統100，例如，係亦可判斷使用者所正在進行之操作係最為接近移動操作、旋轉操作、縮放操作之何者。
以上，係使用圖196而針對本發明之其中一種實施形態的資訊處理系統100之動作例作了說明。接著，列舉出由使用者所致之對於視窗所進行之操作的具體例，針對本發明之其中一種實施形態之資訊處理系統100 的動作例作更詳細之說明。
圖197，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為在視窗內正顯示有不會作捲動之內容的情況之操作例。當在視窗3300中顯示有並不會捲動之內容的情況時，若是使用者進行移動操作，則資訊處理系統100，係以使該視窗3300全體作移動的方式來進行顯示控制。
圖198，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為在視窗內正顯示有不會作捲動之內容的情況之操作例。當在視窗3300中顯示有並不會捲動之內容的情況時，若是使用者如同圖198之(1)或(2)一般地而進行旋轉操作，則資訊處理系統100，係以使該視窗3300全體作旋轉的方式來進行顯示控制。又，當在視窗3300中顯示有並不會捲動之內容的情況時，若是使用者如同圖198之(3)或(4)一般地而進行縮放操作，則資訊處理系統100，係以使該視窗3300全體作縮放的方式來進行顯示控制。
圖199，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為在視窗內正顯示有會作捲動之內容的情況之操作例。當在視窗3300中顯示有會捲動之內容的情況時，若是使用者如同圖199之(1)或(2)一般地而對於視窗3300之外框進行旋轉操作，則資訊處理系統100，係以使該視窗3300全體作旋轉的方式來進行顯示控制。又，當在視窗3300中顯示有會捲動之 內容的情況時，若是使用者如同圖199之(3)一般地而進行縮放操作，則資訊處理系統100，係以使該視窗3300全體作縮放的方式來進行顯示控制。
資訊處理系統100，係亦可藉由檢測出2根手指係屬於相同之手或者是相異之手一事，來當就算是身為相同之旋轉或縮放操作的情況時亦區別出此乃為對於視窗之顯示控制或者是對於內容之顯示控制。
圖200，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為對於在視窗內正顯示有會作捲動之內容的情況時之操作例作了展示之圖。當在視窗3300中顯示有會捲動之內容的情況時，若是使用者如同圖200之(1)中所示一般地而以1隻手來進行旋轉操作，則資訊處理系統100，係以使該內容作旋轉的方式來進行顯示控制。另一方面，若是使用者如同圖200之(2)中所示一般地而以2隻手來進行旋轉操作，則資訊處理系統100，係以使該視窗3300全體作旋轉的方式來進行顯示控制。
同樣的，若是使用者如同圖200之(3)中所示一般地而以1隻手來進行縮放操作，則資訊處理系統100，係以使該內容作縮放的方式來進行顯示控制。另一方面，若是使用者如同圖200之(4)中所示一般地而以2隻手來進行縮放操作，則資訊處理系統100，係以使該視窗3300全體作縮放的方式來進行顯示控制。
當在視窗內正顯示有並不會捲動之內容的情 況時，會有起因於使該內容進行旋轉或縮放一事而導致該內容成為能夠在視窗內而進行捲動的情況。作為可能會顯示此種視窗之應用程式，例如係存在有用以描繪插畫之應用程式或者是用以顯示地圖之應用程式等。
於此種視窗的情況時，資訊處理系統100，係亦能夠對於進行了旋轉或縮放後之視窗，而移行至內容會作捲動之視窗的處理。
圖201，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。圖201之(1)，係為在視窗內正顯示有不會捲動之內容的情況時之操作例，並為對於正由使用者而進行內容之擴大操作的模樣作展示者。當在視窗內正顯示有不會捲動之內容的情況時之操作例，若是由使用者而進行內容之擴大操作，則如同在圖201之(2)中所示一般，會發生捲動之餘裕。故而，資訊處理系統100，當在視窗內正顯示有不會捲動之內容的情況時，若是由使用者而進行內容之擴大操作，則係將該視窗，作為正顯示有會捲動之內容者來進行顯示控制。
當在視窗內正顯示有不會捲動之內容的情況時，若是由使用者而進行內容之旋轉操作，則如同在圖201之(3)中所示一般，會發生捲動之餘裕。故而，資訊處理系統100，當在視窗內正顯示有不會捲動之內容的情況時，若是由使用者而進行內容之旋轉操作，則係將該視窗，作為正顯示有會捲動之內容者來進行顯示控制。
對於視窗之旋轉操作的變形例作說明。圖 202，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。圖202之(1)，係為當使用者進行了對於視窗之特定的位置進行觸碰並直接使其移動之操作的情況時之由資訊處理系統100所致的視窗之顯示控制例。於此情況，資訊處理系統100，係亦能夠進行下述一般之顯示控制：亦即是，以使對於視窗之觸碰位置成為一定，而讓視窗進行旋轉，直到使用者將視窗作拉扯之方向和從視窗之中心起而朝向使用者之觸碰位置之方向的外積會成為0為止地，來使視窗進行移動。
針對當資訊處理系統100進行此種顯示控制時，使用者使視窗作180度旋轉的情況作說明。如同圖202之(2)中所示一般，首先，使用者係將視窗之右側(或者是左側)朝向右下(或者是左下方向)而拉扯並使其作特定量之旋轉，並將旋轉後之視窗的上側朝向右上(或者是左上方向)拉扯並使其作特定量之旋轉，之後再度將視窗之右側(或者是左側)朝向右下(或者是左下方向)而拉扯並使其作特定量之旋轉，藉由此，係能夠使視窗作180度之旋轉。
接著，針對與使用者對於顯示有會捲動之內容的視窗而進行之操作相對應之顯示控制例。圖203，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。圖203之(1)，係為對於在視窗3300中正顯示有會捲動之內容的狀態作展示。
在此狀態下，若是使用者對於視窗之內側而 進行操作，則資訊處理系統100，係如圖203之(2)中所示一般，使該操作對於正被顯示在視窗中之內容而起作用。例如，若是使用者進行拖曳操作，則資訊處理系統100，係進行使內容在視窗3300之內側而作捲動一般之顯示控制，若是使用者進行手指靠近遠離操作，則資訊處理系統100，係進行使內容在視窗3300之內側而作縮放一般之顯示控制，若是使用者進行旋轉操作，則資訊處理系統100，係進行使內容在視窗3300之內側而旋轉一般之顯示控制。
另一方面，若是使用者對於視窗之外框而進行操作，則資訊處理系統100，係如圖203之(3)中所示一般，在視窗3300之周圍顯示用以對於視窗3300進行操作之視窗把手。之後，若是檢測出對於視窗把手所進行之使用者之移動操作，則資訊處理系統100，係進行因應於使用者之移動操作而使視窗3300作移動一般之顯示控制。
圖204，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為對於在視窗內正顯示有會作捲動之內容的情況時之操作例作了展示之圖。圖204之(1)，係為當在視窗中顯示有會捲動之內容的狀態下，使用者對於內容而實行了旋轉操作的情況時之由資訊處理系統100所進行的顯示控制例。亦即是，當使用者以單手而實行了旋轉操作的情況時，資訊處理系統100，係進行因應於使用者之旋轉操作而使視窗之內部的內容旋轉一般 之顯示控制。
圖204之(2)，係為當在視窗中顯示有會捲動之內容的狀態下，使用者對於視窗而實行了旋轉操作的情況時之由資訊處理系統100所進行的顯示控制例。亦即是，當使用者以雙手來實行了旋轉操作的情況時，資訊處理系統100，係進行因應於使用者之旋轉操作而使視窗全體旋轉一般之顯示控制。
圖204之(3)，係為當在視窗中顯示有會捲動之內容的狀態下，使用者對於內容而實行了縮放操作的情況時之由資訊處理系統100所進行的顯示控制例。亦即是，當使用者以單手而實行了縮放操作的情況時，資訊處理系統100，係進行因應於使用者之縮放操作而使視窗之內部的內容作縮放一般之顯示控制。
圖204之(4)，係為當在視窗中顯示有會捲動之內容的狀態下，使用者對於視窗而實行了縮放操作的情況時之由資訊處理系統100所進行的顯示控制例。亦即是，當使用者以雙手而實行了縮放操作的情況時，資訊處理系統100，係進行因應於使用者之縮放操作而使視窗之全體作縮放一般之顯示控制。
接著，針對因應於使用者操作而使視窗旋轉的顯示控制例作展示。圖205，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。若是使用者觸碰視窗，並進行如同對該視窗作拉扯一般之移動操作，則資訊處理系統100，係亦能夠進行如同使視窗在朝向被使用者 所拉扯之方向而作了旋轉之後再使視窗移動一般之顯示控制。視窗之旋轉方向，例如係可為手指之射入方向，亦可為視窗之移動方向。
資訊處理系統100，係亦可進行在視窗之周圍設置外框並因應於針對該外框之使用者之移動操作而使視窗一面旋轉一面移動一般之顯示控制。圖206，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。若是使用者觸碰視窗之外框，並進行如同對該視窗作拉扯一般之移動操作，則資訊處理系統100，係亦能夠進行如同使視窗在朝向被使用者所拉扯之方向而作了旋轉之後再使視窗移動一般之顯示控制。
資訊處理系統100，係亦可進行藉由使用者之特殊的姿勢而使視窗一面旋轉一面移動一般之顯示控制。例如，資訊處理系統100，係亦可將對於內容之觸碰操作以外的操作視為對於視窗所進行之操作，並進行對於視窗所進行之顯示控制。
資訊處理系統100，係亦可針對內容會進行捲動之視窗，而將如同上述一般之以單手所進行的操作視為對於內容所進行之操作，並將以雙手所進行的操作視為對於視窗所進行之操作，來進行對於視窗所進行之顯示控制，亦可在操作時，僅於特定期間中而在視窗之周圍顯示外框，並將對於該外框所進行之操作設為對於視窗所進行之操作，而進行對於視窗所進行之顯示控制。
接著，針對像是視窗存在於畫面之外一般的 情況下之處理之例作說明。圖207，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。使用者，例如若是如同圖207之(1)一般地，對於視窗3300而進行移動操作，並進行像是使該視窗3300朝向畫面(顯示區域)之外側而移動一般的移動操作，則資訊處理系統100，係亦能夠如同圖207之(2)一般地，進行如同使視窗以與超出至畫面(顯示區域)之外的量相對應之反作用力來彈回至畫面(顯示區域)之內側一般之顯示控制。
圖208，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。若是使用者以較上述之反作用力而更強的力道而進行像是使視窗3300朝向畫面(顯示區域)之外側而移動一般的移動操作，並在視窗3300朝向畫面(顯示區域)之外側而超出了特定之量以上之後，使用者將手指從視窗3300而分離，則資訊處理系統100，係亦能夠如同圖208一般地，進行像是將視窗3300關閉或者是將視窗3300最小化一般之顯示控制。
又，若是使用者在進行了像是以較上述之反作用力而更強的力道而使按著視窗3300之手指移動至畫面(顯示區域)之特定之區域處一般的移動操作之後，使用者將手指從視窗3300而分離，則資訊處理系統100，係亦能夠如同圖208一般地，進行像是將視窗3300關閉或者是將視窗3300最小化一般之顯示控制。
圖209，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。資訊處理系統100，係亦可進 行將因應於上述一般之使用者操作而被作了最小化的視窗3300，因應於像是將該視窗3300移動至畫面之內側一般的使用者操作來回復至原本之大小一般的顯示控制。
資訊處理系統100，係亦可在進行視窗之顯示控制時，進行利用有慣性之法則的顯示控制。圖210，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。使用者，若是進行像是對於視窗3300而藉由手指來以強勁力道而甩飛一般之操作，則資訊處理系統100，係亦可進行像是檢測出該使用者操作並使視窗3300移動一般之顯示控制。又，當視窗3300被使用者所甩飛並超出至畫面之外的情況時，係亦可在像是當超出量為特定值以下之情況時，進行藉由反作用力來使其回到畫面內一般之顯示控制，並當超出量超過了特定值的情況時，進行將視窗最小化或者是將視窗消去一般之顯示控制。
圖211，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。使用者，若是進行像是對於視窗3300而藉由手指來以強勁力道而甩飛至畫面之外一般之操作，則資訊處理系統100，係亦可進行像是因應於使用者操作而使視窗3300沿著畫面之邊而旋轉一般之顯示控制。
接著，針對像是視窗彼此相互干涉一般之情況的顯示控制例作展示。圖212，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為對於複數之視窗相互干涉(重疊)的情況之例作展示者。
當2個的視窗所相互重疊之區域為特定量以下、或者是區域之比例為特定量的情況時，資訊處理系統100，係亦可如同圖212之(1)中所示一般，進行像是並不進行特別之控制地而單純將視窗彼此相互重疊一般之顯示控制。另一方面，當2個的視窗所相互重疊之區域為如同圖212之(2)中所示一般而超過了特定量的情況時，或者是當區域之比例超過了特定量的情況時，資訊處理系統100係亦可進行特別之顯示控制。
資訊處理系統100，例如係亦可如同圖212之(3)以及(4)中所示一般，進行像是在各視窗之中心彼此處而作用有排斥力並基於該排斥力而使視窗自動性地進行動畫式移動一般之顯示控制。
圖213，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為對於複數之視窗相互干涉(重疊)的情況之例作展示者。當使用者使視窗移動並與其他之視窗相互重疊的情況時，資訊處理系統100，係亦可如同圖213之(1)中所示一般，進行如同即時性地使該其他之視窗逃開一般的動畫式移動一般之顯示控制，亦可如同圖213之(2)以及(3)中所示一般，進行在使用者將手指離開的時間點處而使該其他之視窗逃開一般的動畫式移動一般之顯示控制。
圖214，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為對於複數之視窗相互干涉(重疊)的情況之例作展示者。當使用者使視窗移動並與 其他之視窗相互重疊的情況時，資訊處理系統100，係亦可如同圖214中所示一般的顯示標籤(tab)，並進行像是因應於對於標籤所進行的操作而對於顯示在前面的視窗作切換一般之顯示控制。
當在使用者使視窗移動並與其他之視窗相互重疊的情況時而進行如同即時性地使該其他之視窗逃開一般的動畫式移動一般之顯示控制的情況時，若是該其他之視窗被移動至畫面(顯示區域)之端部處，則資訊處理系統100，係亦可進行像是將該其他之視窗的大小縮小一般之顯示控制。
圖215，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖，並為對於複數之視窗相互干涉(重疊)的情況之例作展示者。若是以從使用者正在進行移動操作之視窗逃開的方式而移動之視窗被移動至畫面(顯示區域)之端部處，則資訊處理系統100，係亦可如同圖215中所示一般，進行像是將該其他之視窗的大小縮小一般之顯示控制，並且若是使用者所正在進行移動操作之視窗更進而追逐而來，則進行像是將該其他之視窗最小化或者是將該其他之視窗消去一般之顯示控制。
另外，當如此這般地以從使用者正在進行移動操作之視窗逃開的方式而移動之其他之視窗被移動至畫面(顯示區域)之端部處的情況時，資訊處理系統100，係亦可進行像是在使用者使手指離開的時間點處而將該其他之視窗最小化或者是消去一般之顯示控制。又，當如此 這般地而移動之其他之視窗被移動至畫面(顯示區域)之端部處的情況時，資訊處理系統100，係亦可進行像是使該其他之視窗旋轉一般之顯示控制。
圖216，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。當使用者對於視窗進行操作的情況時，資訊處理系統100，係亦可如同圖216中所示一般，進行像是以沿著畫面(顯示區域)之各邊的方式而自動性旋轉一般之顯示控制。
又，當能夠藉由資訊處理系統100而檢測出使用者之位置的情況時，資訊處理系統100，係亦能夠因應於該使用者位置來對於視窗之行動作控制。圖217，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。當使用者接近了畫面(顯示區域)的情況時，資訊處理系統100，係亦可如同圖217中所示一般，檢測出該使用者之位置，並進行像是在使用者作觀察時會成為正面的方式而自動性旋轉一般之顯示控制。另外，當進行此種顯示控制的情況時，就算是從第2個使用者起之後續的使用者接近畫面(顯示區域)，資訊處理系統100，亦可進行像是成為並不會朝向該新的使用者之方向一般之顯示控制。
圖218，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。當使用者接近了畫面(顯示區域)的情況時，資訊處理系統100，係亦可如同圖218中所示一般，檢測出該使用者之位置，並進行像是在使用者 作觀察時會成為正面的方式而自動性旋轉並且進而朝向該使用者而接近一般之顯示控制。
此時，資訊處理系統100，係亦可進行像是僅使與接近了畫面(顯示區域)之使用者相互附加有關連的視窗以在使用者作觀察時會成為正面的方式而自動性旋轉並且進而朝向該使用者而接近一般之顯示控制。資訊處理系統100，係針對視窗和使用者是否被相互附加有關連一事，而例如可基於使用者和視窗是否原本便成為被相互附加有關連之設定一事來作判斷，或者是判斷該使用者是否為最後碰觸了該視窗之使用者。
又，當能夠藉由資訊處理系統100而檢測出使用者之位置的情況時，資訊處理系統100，係亦能夠因應於該使用者位置來對於在視窗中所顯示之內容的粒度作控制。圖219，係為對於由使用者所進行之對於視窗之操作例作展示的說明圖。當使用者接近了畫面(顯示區域)的情況時，資訊處理系統100，係亦可如同圖219中所示一般，檢測出該使用者之位置，並因應於該使用者位置來對於在視窗中所顯示之內容的粒度作控制。
資訊處理系統100，作為在視窗中所顯示之內容的粒度，例如係亦可對於畫像尺寸、文字之字體尺寸等作控制。亦即是，資訊處理系統100，係亦可構成為：在位於接近使用者之位置處的視窗中，係將畫像尺寸或字體尺寸縮小，並在位於遠離使用者之位置處的視窗中，將畫像尺寸或字體尺寸放大。
接著，針對當視窗被放置在投影面上之實際的物體所干涉的情況時之顯示控制例作說明。圖220，係為對於當視窗被放置在投影面上之實際的物體所干涉的情況時之顯示控制例作展示的說明圖。如同圖220之(1)中所示一般，當視窗3300被放置在投影面上之實際的物體3310所干涉的情況時，資訊處理系統100，係亦可如同圖220之(2)中所示一般，進行像是使視窗3300之位置自動性地移動至不會與物體3310相干涉的位置處一般之顯示控制。
當進行像是使視窗3300之位置自動性地移動至不會與物體3310相干涉的位置處一般之顯示控制的情況時，資訊處理系統100，係亦可如同圖220之(3)、(4)中所示一般，進行像是以在視窗3300之中心位置和物體3310之中心位置之間作用有排斥力的方式來使視窗3300之位置作移動一般之顯示控制。
〔例4〕
於此，針對資訊處理系統100與其他機器之間的協同動作、以及在該協同動作時之資訊處理系統100所輸出的GUI之例作說明。
如同上述一般，本發明之其中一種實施形態之資訊處理系統100，當採用例如在圖1中所示一般之對於桌投影資訊並讓使用者對於該資訊而進行操作一般的形態時的情況時，資訊處理系統100，係成為能夠在桌上而 進行與智慧型手機等之攜帶終端間的協同動作。例如，藉由讓使用者將智慧型手機等之攜帶終端放置在桌上，並使輸入部110辨識出該攜帶終端，本發明之其中一種實施形態之資訊處理系統100，係辨識出該攜帶終端並成為能夠進行與所辨識出之攜帶終端間的協同動作。
但是，若是複數之使用者持有完全相同之攜帶終端，並將該些相同之攜帶終端同時地或者是各別地放置在桌上，而使資訊處理系統100進行辨識，則資訊處理系統100，係會成為無法判斷出應該要與何者的攜帶終端進行協同動作。
又，當並不利用物體辨識地而進行與機器間之協同動作的情況時，係並無法對於資訊處理系統100和進行協同動作之機器之間的位置關係之資訊作利用。故而，當並不利用物體辨識地而進行與機器間之協同動作的情況時，不論是從何種場所來與資訊處理系統100開始協同動作，該機器均係會被進行相同的處理。例如，當複數之使用者能夠從全方位來同時地對於資訊作利用的情況時，若是將被共有之資訊全部以相同之方向或相同之位置來作顯示，則會發生資訊之方向和使用者之方向成為剛好相反的情形，使用者係成為難以進行資訊之處理。
圖221，係為對於資訊之顯示例作展示之說明圖，並為對於當複數之使用者能夠從全方位來同時地對於資訊作利用的情況時，將被共有之資訊全部以相同之方向或相同之位置來作了顯示的情況之例作展示的說明圖。當 被共有之資訊1、2、3全部以相同之方向而被輸出的情況時，如同圖221中所示一般，可能會發生資訊之方向和使用者之方向成為剛好相反的情形。
因此，係如同上述一般，針對就算是當複數之使用者持有完全相同之攜帶終端，並將相同之攜帶終端同時地或者是各別地放置在桌上的情況時，亦能夠容易地特定出應進行協同動作之攜帶終端的資訊處理系統100，而作了說明。又，係針對能夠將共有之內容以從全方位而進行操作之使用者的各人所容易使用之位置或方向來作顯示的資訊處理系統100作了說明。
本發明之其中一種實施形態之資訊處理系統100，係藉由例如實行在圖32、圖33中所示一般之動作，而成為能夠進行與被放置在桌上之智慧型手機等之攜帶終端間的協同動作。例如，藉由讓使用者將智慧型手機等之攜帶終端放置在桌上，並使輸入部110辨識出該攜帶終端，本發明之其中一種實施形態之資訊處理系統100，係辨識出該攜帶終端並成為能夠進行與所辨識出之攜帶終端間的協同動作。
又，本發明之其中一種實施形態之資訊處理系統100，例如係藉由實行如同在圖32、圖33中所示一般之動作，而在畫面上顯示連接記號，並讓使用者從該連接記號來取出內容，藉由此，而成為能夠將共有之內容以從全方位而進行操作之使用者的各人所容易使用之位置或方向來作顯示。
以下，針對在進行資訊處理系統100與智慧型手機等之攜帶終端之間的協同動作時之資訊處理系統100所輸出的GUI之例作說明。
圖222，係為對於資訊處理系統100所輸出之GUI3400之例作展示的說明圖。例如，若是在圖32之步驟S1111之處理中而移行至辨識模式，則資訊處理系統100，係亦可如同圖222之(1)中所示一般，輸出如同從畫面(顯示區域)之四角隅起而出現波紋一般之GUI3400。在此圖222之(1)中所展示之GUI3400，係代表畫面(顯示區域)之所有場所均身為辨識對象區域。
又，若是移行至辨識模式，則資訊處理系統100，係亦可如同圖222之(2)中所示一般，輸出如同僅在畫面(顯示區域)之一部分處而出現波紋一般之GUI3400。在此圖222之(2)中所展示之GUI3400，係代表畫面(顯示區域)之出現有波紋的區域乃身為辨識對象區域。
又，若是移行至辨識模式，則資訊處理系統100，係亦可如同圖222之(3)中所示一般，輸出如同持有終端之手將該終端作放置的影像或者是將作了模式化的插畫動畫作再生一般之GUI3400。在此圖222之(3)中所示之GUI3400，係為用以對於使用者而提示若是進行何種動作則會成為能夠進行機器之辨識的GUI。
圖223，係為對於資訊處理系統100所輸出之GUI3400之例作展示的說明圖。例如，若是在圖32之步 驟S1111之處理中而移行至辨識模式，則資訊處理系統100，係亦可除了圖222中所示之GUI以外，更進而如同圖223中所示一般地添加特定之文章並作輸出。而，資訊處理系統100，若是成功地進行物體之辨識，則係亦可輸出代表係成功地辨識出物體一事之GUI(例如，如同圖34中所示一般之在所辨識出之物體的周圍顯示波紋一般之GUI)。
資訊處理系統100，若是在辨識出物體之後而該物體退出，則係顯示用以代表與該物體間之連接的GUI。於圖36中，雖係對於資訊處理系統100將連接記號顯示在顯示面上的狀態之例作了展示，但是，係進而對其他之顯示例作展示。圖224，係為對於資訊處理系統100所輸出之GUI3400之例作展示的說明圖。
圖224之(1)，係為在所辨識出的物體退出之後，於與該物體所被作了放置的場所相同之場所處而顯示與用以進行辨識之記號相同之畫像的GUI3400之例。圖224之(2)，係為在所辨識出的物體退出之後，於與該物體所被作了放置的場所相同之場所處而顯示將用以進行辨識之記號作了圖符化的GUI3400之例。圖224之(2)，係為在所辨識出的物體退出之後，於與該物體所被作了放置的場所相同之場所處而顯示與用以進行辨識之記號相異之畫像的GUI3400之例。
資訊處理系統100，若是在辨識出物體之後而該物體退出，則係顯示用以讓使用者實行與該物體進行有 協同動作之處理的GUI。於圖37中，雖係對於將與資訊處理系統100作了協同動作的機器所保存之內容作顯示的GUI之例作了展示，但是，係進而對其他之顯示例作展示。圖225、圖226，係為對於在與其他之機器進行了協同動作之後，資訊處理系統100所輸出之GUI3400之例作展示的說明圖。
圖225之(1)，係為在與用以進行辨識之記號相同之畫像的周圍處顯示有圖符之GUI3400之例。圖225之(2)，係為在與用以進行辨識之記號相同之畫像的周圍處，顯示有與資訊處理系統100作了協同動作的機器所保存之內容的縮圖之GUI3400之例。圖225之(3)，係為在與用以進行辨識之記號相同之畫像處而顯示有任意之視窗的GUI3400之例。
圖226之(1)，係為與用以進行辨識之記號相同之畫像相鄰接地，而顯示有對於使用者而催促其對於在進行了協同動作之機器中所共有的內容作選擇之訊息之GUI3400之例。圖226之(2)，係為將被作了圖符化之用以進行辨識之記號、和作了協同動作的機器所保存之內容的縮圖，作組合而作顯示之GUI3400之例。
當然的，資訊處理系統100，係除了圖225、圖226中所示之GUI3400以外，亦能夠輸出各種之GUI。
接著，針對用以將作了協同動作的機器所保存之內容作顯示的操作性和視覺辨認性作提昇的GUI之例作展示。圖227，係為對於在與其他之機器進行了協同 動作之後，資訊處理系統100所輸出之GUI3400之例作展示的說明圖。
例如，當在桌上已被放置有書本、雜誌、餐皿或其他物體的情況時，資訊處理系統100，係亦可辨識出該被放置之物體，並避開該物體地而輸出圖符或縮圖等。圖227之(1)，係為避開被放置在桌上之物體地而將協同動作之機器所保持的圖符或縮圖等作輸出之GUI3400之例。
資訊處理系統100，當在與其他之機器進行了協同動作之後而輸出用以對於該機器所擁有之內容進行操作之GUI的情況時，係亦可因應於機器所被放置之場所而使將進行了協同動作之機器所保持的圖符或縮圖等作輸出之GUI改變。圖227之(2)，係為因應於機器所被放置之場所而使將進行了協同動作之機器所保持的圖符或縮圖等作輸出之GUI3400作改變之例。
資訊處理系統100，例如，通常係在與用以進行辨識之記號相同的畫像之右側處，將顯示內容之任意之視窗作顯示，但是，當機器被放置在顯示區域之右端的情況時，係在與用以進行辨識之記號相同的畫像之左側處，將顯示內容之任意之視窗作顯示。資訊處理系統100，係藉由如此這般地因應於機器所被放置之場所來使GUI改變，而能夠提昇使用者之操作性。
接著，針對關連於物體辨識之結束時序的GUI之例作展示。圖228，係為對於在辨識出了其他的機 器之後，資訊處理系統100所輸出之GU13400之例作展示的說明圖。
辨識出了被放置在桌等之上的物體之資訊處理系統100，係亦可緊接於完成辨識之後而輸出如同視窗一般之GUI。圖228之(1)，係為辨識出了被放置在桌等之上的物體之資訊處理系統100緊接於完成辨識之後而輸出視窗的GUI3400之例。資訊處理系統100，當如同圖228之(1)一般地緊接於完成辨識之後而輸出視窗的情況時，若是使用者使物體之位置移動，則係亦可追隨於該移動而使所輸出之視窗的位置改變。
辨識出了被放置在桌等之上的物體之資訊處理系統100，係亦可在該物體被放置於桌上的期間中，持續進行辨識處理。圖228之(2)，係為辨識出了被放置在桌等之上的物體之資訊處理系統100，在該物體被放置於桌上的期間中而持續進行辨識處理的情況時之GUI3400之例。資訊處理系統100，係亦可在物體被放置於桌上的期間中，持續進行辨識處理，並當物體從桌而退出時，停止辨識處理，並輸出與所辨識出的物體相對應之視窗等。
在從機器而取出並對於共有之內容自身進行操作時，由於係並不需要進行對於物體作辨識之處理，因此，為了將對於物體進行辨識之處理的計算成本降低，資訊處理系統100，係亦可在物體從桌而退出後，停止辨識處理。
辨識出了被放置在桌等之上的物體之資訊處 理系統100，係亦可辨識出物體的時間點處，停止辨識處理，並輸出與所辨識出的物體相對應之視窗等。圖228之(3)，係為辨識出了被放置在桌等之上的物體之資訊處理系統100，於辨識出物體的時間點處而停止辨識處理，並輸出與所辨識出的物體相對應之視窗等的情況時之GUI3400之例。
辨識出了被放置在桌等之上的物體之資訊處理系統100，係藉由在辨識出物體的時間點處而停止辨識處理，而成為能夠將對於物體作辨識之處理的計算成本大幅度地降低。
接著，針對用以解除與作了協同動作的機器間之連接的GUI之例作展示。圖229，係為對於在辨識出了其他的機器之後，為了解除與作了協同動作之機器間的連接，資訊處理系統100所輸出之GUI3400之例作展示的說明圖。
圖229之(1)，係為為了讓使用者解除與作了協同動作之機器間的連接，而重疊於與用以進行辨識之記號相同之畫像(連接記號)上地、或者是在連接記號之周邊，而顯示用以解除與作了協同動作之機器間的連接之按鍵的GUI3400之例。使用者，係藉由觸碰用以解除連接之按鍵，而能夠使資訊處理系統100解除資訊處理系統100和機器之間的連接。
圖229之(2)，係為為了讓使用者解除與作了協同動作之機器間的連接，而讓使用者將與用以進行辨 識之記號相同之畫像(連接記號)移動至畫面(顯示區域)之外的GUI3400之例。使用者，係藉由將連接記號移動至畫面外，而能夠使資訊處理系統100解除資訊處理系統100和機器之間的連接。
圖229之(3)，係為為了讓使用者解除與作了協同動作之機器間的連接，而從作了協同動作之機器來將連接解除的情況時之GUI3400之例。使用者，係藉由實行用以從作了協同動作之機器來將連接解除的特定之操作，而能夠使資訊處理系統100解除資訊處理系統100和機器之間的連接。
不論是在圖229中所示之任一者的GUI3400中，均同樣的，若是資訊處理系統100和機器之間的連接被解除，則資訊處理系統100，係將所顯示了的連接記號消去。資訊處理系統100，係藉由將所顯示了的連接記號消去，而成為能夠容易理解地對於使用者而提示資訊處理系統100和機器之間的連接被作了解除。
當然的，在進行資訊處理系統100與攜帶終端之間的協同動作時之資訊處理系統100所輸出的GUI，係並不被限定於上述之例。
〔例5〕
本例，係為關連於上述所說明了的具體例2之實施例。更具體而言，在本例中，係特別對於聲音作注目，而進行用以讓使用者對於聲音之輸入輸出作最適化之顯示。 以下，雖係想定為投影型之資訊處理系統100a來進行說明，但是，不論是參考圖1~圖4所作了說明的何者之形態，均能夠實現以下所說明之例的UI。參考圖230~圖265，針對本例作說明。
(概要)
圖230以及圖231，係為用以針對本例之使用者介面之概要作說明的說明圖。如同圖230中所示一般，在桌140a(顯示面)上，係被顯示有複數之應用程式視窗4101(顯示物件)、和麥克風圖符4102。應用程式視窗4101，係為應用程式之視窗。麥克風圖符4102，係為代表乃藉由資訊處理系統100而接收有聲音輸入一事之顯示。在麥克風圖符4102自身處、或者是在其之周圍，係能夠進行反映有關連於藉由資訊處理系統100所接收了的聲音輸入之資訊的顯示。在圖230所示之例中，於資訊處理系統100之周圍處，係存在有發出聲音之顯示器裝置4103、以及進行對話之各人4104。因此，使用者4105所發出的「ABC」之聲音，係會被周圍之雜音所蓋過，而不會被資訊處理系統100所辨識出來。故而，資訊處理系統100，係從麥克風圖符4102而進行有「無法聽到」之顯示。
因此，如同圖231中所示一般，本例之資訊處理系統100，係進行波束成形，而使麥克風具有指向性。詳細而言，資訊處理系統100，係藉由進行在被輸入 至麥克風陣列之聲音中而將使用者方向之聲音作強調而取出之聲音處理，而使聲音辨識之精確度提昇。於此，若是假設在麥克風圖符4102之正上方或其附近設置有麥克風，則元件符號4106，係代表麥克風進行波束成形所形成的指向性之範圍。亦即是，當使用者4105在元件符號4106所代表之範圍內而進行了發聲的情況時，資訊處理系統100係成為能夠以良好精確度來進行聲音辨識。在圖231所示之例中，資訊處理系統100，係將使用者4105在元件符號4106所代表之範圍內而發聲的「ABC」之聲音辨識出來，並在麥克風圖符4102處進行「ABC」之顯示。以下，將元件符號4106所示之範圍，亦稱作波束成形範圍。
另外，麥克風圖符4102，係可顯示在麥克風之正下方或其附近，亦可顯示在畫面或桌140a之中央或其附近或者是任意之位置處。又，以下，雖係針對以麥克風圖符4102作為中心點而進行波束成形範圍或音量等之各種顯示之例來作說明，但是本例係並不被限定於此例。例如，亦可使麥克風圖符4102以外之顯示成為中心點，亦可並不顯示任何之具有作為中心點之意義的物件。例如，亦可單純地將桌140a之任意之位置作為中心而進行各種顯示，亦可將麥克風之正下方或其附近之位置作為中心而進行各種顯示。
進而，本例之資訊處理系統100，係顯示此代表波束成形範圍之資訊。藉由此，使用者係能夠得知乃進 行有關連於聲音輸入之波束成形。例如，當使用者正位置在波束成形範圍中的情況時，使用者係能夠得知並不需要以不會被周圍之雜音所蓋過的方式來放大聲量等。藉由此，係能夠減輕使用者之心理上的負擔，並且，由於實際上係並不需要提高音量，因此係能夠減輕肉體上的負擔。又，當使用者並未位置在波束成形範圍中的情況時，使用者由於係能夠得知為何自己的發聲並未被作聲音辨識，因此係能夠減輕使用者之心理上的負擔。進而，使用者係能夠移動至波束成形範圍內。於此情況，由資訊處理系統100所進行之聲音辨識精確度係提昇。
另外，在本節中，雖係針對聲音輸入而詳細作說明，但是，關於聲音輸出等之其他的任意之輸出，係亦可同樣地作應用。例如，資訊處理系統100，係亦可使揚聲器進行波束成形並顯示代表進行聲音輸出之範圍的資訊。於此情況，使用者係能夠得知乃進行有關連於聲音輸出之波束成形，而能夠進行適當之音量調節或者是移動至波束成形範圍內。又，關於聲音輸入以外之其他的任意之輸入，係亦可同樣地作應用。
以上，係針對本例之資訊處理系統100的概要作了說明。接著，針對本例之資訊處理系統100的特徵性構成作說明。
(構成例) (1)輸入部110
本例之輸入部110，係具備有作為聲音輸入部之功能。例如，輸入部110之作為聲音輸入部之功能，係藉由麥克風(microphone)而實現。特別是，在本例中，係作為能夠進行波束成形之麥克風，而例如作為將複數之麥克風作了組合的麥克風陣列來實現之。輸入部110，係亦可具備有對於藉由麥克風所得到之聲音訊號進行放大處理的麥克風放大電路或A/D轉換器、對於聲音資料而進行雜訊除去、音源分離等之處理的訊號處理電路。輸入部110，係將作了處理的聲音資料對於控制部120作輸出。
(2)檢測部121
本例之檢測部121，係具備有對於作為聲音輸入部而起作用之麥克風的指向性作控制之作為輸入控制部之功能。例如，檢測部121，係如同參考圖77以及圖78而於上述所作了說明一般，使用將複數之麥克風作了組合的麥克風陣列，而對於指向性作控制。
又，檢測部121，係具備有推測出進行聲音輸入之使用者之位置的使用者位置推測功能。檢測部121，係可藉由多種之手段來推測出使用者之位置。以下，參考圖232~圖237，針對使用者位置推測功能之其中一例作說明。
圖232，係為用以針對本例之使用者位置推測功能之其中一例作說明的說明圖。如同圖232中所示一般，輸入部110，係將較桌140a而更廣之攝像區域4107 作為監視對象而進行攝像。在桌140a上，係顯示有用以對於聲音輸入之開始作指示的聲音輸入開始物件4108。首先，檢測部121，係基於攝像區域4107之攝像畫像，而特定出對於聲音輸入開始物件4108作了觸碰的使用者4105。之後，檢測部121，係推測出所特定出的使用者之位置4109。
圖233，係為用以針對本例之使用者位置推測功能之其中一例作說明的說明圖。如同圖233之左圖中所示一般，輸入部110，係將對於聲音輸入開始物件4108作了觸碰的使用者之手腕的包含有從手肘起直到指尖為止的區域，作為攝像區域4107。首先，檢測部121，係基於在檢測出了對於聲音輸入開始物件4108之觸碰的時間點處之攝像區域4107之攝像畫像，而檢測出作了觸碰的手指或手腕之方向4110。之後，如同圖233之右圖中所示一般，檢測部121，係將位在作了觸碰的手指或者是手腕之方向4110的延長線上之離開了特定之距離4111的位置，推測為使用者位置4109。本處理，例如係可使用在當攝像區域4107為被侷限在桌140a上的情況中。
圖234，係為用以針對本例之使用者位置推測功能之其中一例作說明的說明圖。如同圖234之左圖中所示一般，輸入部110，係將包含有對於聲音輸入開始物件4108作了觸碰的使用者之手腕的區域且身為桌140a上之區域，作為攝像區域4107。首先，檢測部121，係基於在檢測出了對於聲音輸入開始物件4108之觸碰的時間點處 之攝像區域4107之攝像畫像，而檢測出作了觸碰的手腕之形狀。之後，檢測部121，係藉由將檢測出之手腕的形狀，與代表手腕之朝向和臉孔的位置間之關係之模式4112作對照，而推測出臉孔的位置。如此這般，如同圖234之右圖中所示一般，檢測部121，係將使用者之臉孔之位置推測為使用者位置4109。本處理，例如係可使用在當攝像區域4107為被侷限在桌140a上的情況中。
圖235，係為用以針對本例之使用者位置推測功能之其中一例作說明的說明圖。如同圖235之左圖中所示一般，檢測部121，係檢測出對於聲音輸入開始物件4108之觸碰，並檢測出從麥克風圖符4102起而朝向觸碰點之方向4113。之後，如同圖235之右圖中所示一般，檢測部121，係推測使用者為位置在從麥克風圖符4102起而朝向觸碰點之方向4113的延長線上。本處理，例如係可使用在並不存在有攝像區域4107、或者是在攝像區域4107中而並未檢測出使用者的情況中。
於上述說明中，檢測部121，雖係以對於聲音輸入開始物件4108之觸碰作為契機而推測出使用者位置，但是，本功能係並不被限定於此例。以下，參考圖236~圖237，針對使用者位置推測功能之另外一例作說明。
圖236，係為用以針對本例之使用者位置推測功能之其中一例作說明的說明圖。如同圖236中所示一般，檢測部121，係檢測出對於聲音輸入之開始下指示的 使用者之姿勢。作為姿勢，例如係可考慮有描繪圓、將手指張開等。之後，檢測部121，係與參考圖235而於上所說明之技術相同的，推測使用者為位置在從麥克風圖符4102起而朝向檢測出使用者之姿勢的位置之方向4114的延長線上。除此之外，檢測部121，係亦能夠以使用者之姿勢作為契機，而與參考圖232~圖234而於上所說明之技術相同的，來推測使用者位置。
圖237，係為用以針對本例之使用者位置推測功能之其中一例作說明的說明圖。如同圖237中所示一般，檢測部121，係檢測出對於聲音輸入之開始下指示的使用者之聲音。檢測部121，例如係可將預先所規定的關鍵字，作為對於聲音輸入之開始下指示的聲音而檢測出來。之後，檢測部121，係與參考圖235而於上述所說明之技術相同的，推測使用者為位置在從麥克風圖符4102起而朝向檢測出使用者之聲音的位置之方向4115的延長線上。除此之外，檢測部121，係亦能夠以使用者之聲音的檢測作為契機，而與參考圖232~圖234而於上所說明之技術相同的，來推測使用者位置。
除此之外，例如，檢測部121，係亦能夠以使用者將聲音輸入開始物件4108拉至手邊一事作為契機，而推測出使用者位置。於此情況，檢測部121，係可推測使用者為位置在被拉扯到之位置的附近或者是從麥克風圖符4102起而朝向聲音輸入開始物件4108之方向的延長線上。
以上，係針對使用者位置推測功能之其中一例作了說明。
檢測部121，係以使所推測出之使用者位置會被包含於波束成形範圍中的方式，來控制聲音輸入部並形成指向性。檢測部121，係亦能夠以形成複數之波束成形範圍的方式，來控制聲音輸入部。例如，當對於複數之使用者的各者而分別形成有波束成形範圍的情況時，係能夠使關連於從各使用者而來之聲音輸入的聲音辨識精確度提昇。
檢測部121，係亦可因應於使用者之位置的推測結果之更新，而對於所形成之指向性的範圍作更新。例如，檢測部121，當使用者作了移動的情況時，係使波束成形範圍追隨於使用者而移動。除此之外，檢測部121，當使用者之位置的推測結果為安定的情況時，由於可以預測到使用者係停留在同一位置處並且推測結果係為正確，因此係亦可將波束成形範圍縮窄。於此些情況中，係能夠提昇聲音辨識精確度。又，檢測部121，係亦可基於使用者輸入而變更聲音輸入部之指向性的範圍。例如，檢測部121，係因應於使用者輸入，而將聲音輸入部所形成之指向性的範圍作上下左右之移動、或者是擴廣、或者是縮窄。
(3)輸出控制部122
本例之輸出控制部122，係具備有對於代表聲音輸入 部進行波束成形所形成的指向性之範圍(波束成形範圍)的顯示作控制之作為顯示控制部的功能。具體而言，輸出控制部122，係以將代表聲音輸入部之波束成形範圍之資訊作顯示的方式，來控制輸出部130。此顯示，係能夠與藉由檢測部121所形成之指向性的範圍相同，亦能夠為相異。例如，輸出控制部122，係亦可進行代表將藉由檢測部121所形成之指向性的範圍作了誇張化、簡略化或者是縮放等而有所變形的範圍之顯示。另外，輸出控制部122，係亦可對於代表聲音輸出部或其他之任意之輸入部或者是輸出部之波束成形範圍的顯示作控制。又，輸出控制部122，除了顯示以外，係亦可對於代表波束成形範圍的其他之任意之輸出作控制。以下，參考圖238，針對代表波束成形範圍之顯示的具體例作說明。
圖238，係為用以針對本例之使用者介面之其中一例作說明的說明圖。如圖238中所示一般，輸出控制部122，係顯示代表波束成形範圍之顯示4120。藉由此顯示，使用者係能夠得知乃進行有關連於聲音輸入之波束成形，如同上述一般，使用者之心理上的負擔以及肉體上的負擔係被減輕。又，代表波束成形範圍之顯示4120，係為以麥克風圖符4102作為中心之扇形。若是從使用者側而觀察此扇形，則波束成形範圍係朝向麥克風圖符4102而收斂。因此，自然的，使用者係被促使朝向麥克風圖符4102而發聲，當麥克風為被設置在麥克風圖符4102之正上方或者是其附近的情況時，聲音辨識之精確度係提昇。 於此，代表波束成形範圍之顯示4120，係被顯示在以麥克風圖符4102作為中心之360度方向的任意之範圍中。藉由此，不論使用者為位置在桌140a之周圍的何者之位置處，均成為會朝向麥克風圖符4102而發聲。當麥克風為被設置在麥克風圖符4102之正上方或者是其附近的情況時，使用者係不論是位置在桌140a之周圍的何者之位置處，均成為會朝向麥克風而發聲，聲音辨識之精確度係提昇。
輸出控制部122，係亦可將藉由檢測部121所推測出的使用者之位置，反映於代表波束成形範圍之顯示的位置或者是形狀之至少其中一者中。例如，輸出控制部122，係亦可在所推測出的使用者位置之附近，進行代表波束成形範圍之顯示，亦能夠以朝向所推測出之使用者位置而擴廣或縮窄之形狀，來進行代表波束成形範圍之顯示。以下，參考圖239~圖240，針對本例之與使用者位置相對應的使用者介面之其中一例作說明。
圖239，係為用以針對本例之使用者介面之其中一例作說明的說明圖。如同圖239之左圖中所示一般，若是使用者對於聲音輸入開始物件4108作觸碰，則檢測部121，係使用上述之任一者之處理而檢測出使用者位置4109。之後，如圖239之右圖中所示一般，輸出控制部122，係顯示朝向將麥克風圖符4102和所推測出之使用者位置4109作連結的線之左右而擴廣的扇形狀之代表波束成形範圍之顯示4120。如此這般，藉由反映有使用者位 置之代表波束成形範圍之顯示，使用者係能夠得知乃進行有以自身作為對象之波束成形。例如，當波束成形範圍為適合於自身之位置的情況時，如同上述一般，使用者之心理上的負擔以及肉體上的負擔係被減輕。
圖240，係為用以針對本例之使用者介面之其中一例作說明的說明圖。元件符號4105A，係代表聲音輸入開始時之初始的使用者位置，元件符號4105B，係代表移動後之使用者位置。如圖240中所示一般，當聲音輸入開始時之初始的位置(4105A)為從代表波束成形範圍之顯示4120而偏離的情況時，使用者係自然地被促使移動至能夠將偏離消除之位置(4105B)處。藉由此，使用者若是移動至麥克風所形成之指向性的範圍內，則由資訊處理系統100所進行之聲音辨識精確度係提昇。
代表波束成形範圍之UI，係可考慮有多種類之UI。針對UI之變形例，係於後詳細作說明。
輸出控制部122，係亦可對於代表藉由聲音輸入部所得到的聲音之音量的顯示作控制。藉由此，使用者係能夠得知正被進行聲音輸入之自身的音量，並且能夠進行其與周圍之雜音之音量間的比較。以下，參考圖241，針對本例之代表音量的使用者介面之其中一例作說明。
圖241，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖241所示之例中，資訊處理系統100，係藉由在麥克風圖符4102之周圍而以圓弧狀來擴廣之音量準位，來顯示代表音量之顯示4130。藉由 此顯示，使用者係能夠得知從各方向而來之音量。
輸出控制部122，係亦可同時顯示代表指向性之範圍的資訊以及代表音量之資訊。例如，輸出控制部122，係亦可在同一顯示面上，而同時顯示代表波束成形範圍的顯示以及代表音量的顯示。以下，參考圖242，針對在同時顯示代表波束成形範圍的顯示以及代表音量的顯示的情況時之使用者介面之其中一例作說明。
圖242，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖242所示之例中，資訊處理系統100，係同時進行代表波束成形範圍的顯示4120以及代表音量的顯示4130。另外，在本例中，代表音量的顯示4130，係因應於音量準位而使顯示色改變。
輸出控制部122，係亦可對於顯示方向有所區別地，來顯示代表在指向性之範圍內所能夠得到的聲音之音量之資訊以及代表在指向性之範圍外所能夠得到的聲音之音量之資訊。例如，輸出控制部122，係亦可在代表音量之顯示中，反映有代表其乃身為波束成形範圍內/範圍外之資訊。具體而言，輸出控制部122，係進行以色調、濃淡、在作立體顯示時之高低、或者是虛線與實線之類的顯示方法，來對於乃身為從波束成形範圍內所得到的聲音之音量或者是從範圍外所得到的聲音之音量一事作區分的顯示。若是從相反的觀點來看，則輸出控制部122，係亦可在代表波束成形範圍之顯示中，反映有代表音量之資訊。如此這般，輸出控制部122，係可進行在代表波束成 形範圍之類之位置範圍的2維性之顯示中而追加有代表音量之軸的3維性之顯示。於此情況，由於係成為能夠藉由1個顯示來表現波束成形範圍以及音量之2個意義，因此，係能夠節省顯示面上之顯示區域，並且使用者係成為更容易理解。
同時進行代表波束成形範圍之顯示和代表音量之顯示的UI，係可考慮有多種類之UI。針對UI之變形例，係於後詳細作說明。
輸出控制部122，係亦可對於代表基於藉由聲音輸入部所得到的聲音而進行之聲音辨識結果的資訊作控制。例如，輸出控制部122，係亦可基於藉由聲音輸入部所得到的聲音，而使瀏覽器等之應用程式啟動，亦可進行對於檢索詞之輸入等的應用程式所作之聲音輸入。以下，參考圖243，針對關連於代表聲音辨識結果之顯示的使用者介面之其中一例作說明。
圖243，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖243所示之例中，輸出控制部122，係使與由使用者所致之聲音輸入相對應的應用程式視窗4101啟動。除此之外，如同圖230或圖231中所示一般，輸出控制部122，係亦可顯示代表聲音輸入之成功/失敗的資訊，或者是將作了聲音輸入之語句進行文字顯示。
輸出控制部122，係亦可將代表波束成形範圍的顯示作複數之顯示，亦可將代表波束成形範圍之顯示作 動性的變更。例如，輸出控制部122，當藉由檢測部121而形成有複數之波束成形範圍的情況時，係亦可因應於此而將代表波束成形範圍之顯示作複數之顯示。又，輸出控制部122，當藉由檢測部121而動性地將波束成形範圍作了變更的情況時，係亦可因應於此而對於波束成形範圍作變更。針對UI之變形例，係於後詳細作說明。
(4)輸出部130
本例之輸出部130，係具備有作為顯示畫像之顯示部的功能。例如，輸出部130，係如圖1~圖4中所示一般，藉由從桌140a之上部或下部來對於桌140a進行投影之投影機、觸控面板式或平面面板式之顯示器，來實現之。除此之外，輸出部130，係亦可具備有揚聲器等之作為聲音輸出部之功能。
以上，係針對本例之特徵性的資訊處理系統100之構成例作了說明。
(UI之變形例)
．代表波束成形範圍之顯示
以下，針對本例之UI之變形例作說明。首先，參考圖244~圖248，針對關連於代表波束成形範圍之顯示的使用者介面之變形例作說明。
圖244，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖244中，代表波束成形範圍 之顯示4120，係被顯示為扇形狀。
圖245，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖245中，代表波束成形範圍之顯示4120，係被顯示為箭頭。在此顯示中，聲音輸入部所形成之指向性的方向，係以箭頭之方向來作代表。
圖246，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖246中，代表波束成形範圍之顯示4120，係以色調來作顯示。更詳細而言，係顯示有被顯示在麥克風圖符之周圍處的環狀之物件，此環狀之物件中的與波束成形範圍相對應之場所4120，係以與其他部分相異之顏色來作顯示。
圖247，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖247中，係與麥克風圖符一同地，而顯示有代表聲音辨識結果之對話框。在此例中，麥克風圖符以及對話框，係作為代表波束成形範圍之顯示4120而起作用。例如，代表麥克風圖符以及對話框之顯示4120，係朝向麥克風之指向性所指向之方向而移動。故而，係依據代表麥克風圖符以及對話框之顯示4120的顯示位置，來表現波束成形範圍。輸出控制部122，係藉由以使麥克風會位置在將使用者位置和代表麥克風圖符以及對話框之顯示4120作連結的線之延長線上的方式來對於顯示位置作控制，而能夠使聲音辨識精確度提昇。
圖248，係為用以針對本例之使用者介面之其中一例作說明的說明圖。圖248中所示之例，係為從圖 247中所示之例而將麥克風圖符之顯示作了省略之例。
以上，係針對關連於代表波束成形範圍之顯示的使用者介面之變形例作了說明。
．代表波束成形範圍以及音量之顯示
接著，參考圖249~圖253，針對關連於同時顯示代表波束成形範圍之顯示以及代表音量之顯示的使用者介面之變形例作說明。
圖249，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖249所示之例中，係藉由在麥克風圖符4102之周圍而以圓弧狀來擴廣之音量準位，而進行代表音量之顯示。又，在圖249所示之例中，係藉由到達了可進行聲音辨識之大小的音量準位之色調，來表現波束成形範圍。例如，元件符號4140A，係代表從波束成形範圍所取得的(亦即是從聲音辨識對象之使用者所取得的)音量。又，元件符號4140B，係代表從波束成形範圍以外所取得的(亦即是從聲音辨識對象以外之其他使用者所取得的)雜音之音量。如此這般，資訊處理系統100，係能夠同時地顯示代表波束成形範圍的顯示以及代表音量的顯示。
圖250，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖250中，係為在圖249所示之例中，更進而重疊性地顯示有代表波束成形範圍之顯示4120。若依據此例，則使用者，係能夠更為簡單地得知波 束成形範圍。
圖251，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖251所示之例中，係於顯示面之端部的內側處，顯示有代表波束成形範圍以及音量之顯示4140(4140A以及4140B)。在此顯示4140中，係藉由從端部起之高度來表現音量。又，在此顯示4140中，係以色調來表現波束成形範圍。例如，元件符號4140A，係代表從波束成形範圍所取得的(亦即是從聲音辨識對象之使用者所取得的)音量。又，元件符號4140B，係代表從波束成形範圍以外所取得的(亦即是從聲音辨識對象以外之其他使用者所取得的)雜音之音量。
圖252，係為用以針對本例之使用者介面之其中一例作說明的說明圖。圖252中所示之例，係為在代表於圖248中所作了展示的對話框之顯示4120中，而進行在圖251中所示之顯示的形態。
圖253，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖253所示之例中，係於麥克風圖符之周圍處，顯示有與在圖251中所示之例相同之代表波束成形範圍以及音量之顯示4140。在此顯示4140中，係藉由從麥克風圖符起之高度來表現音量。又，在此顯示4140中，係以色調來表現波束成形範圍。
以上，係針對關連於同時顯示代表波束成形範圍之顯示以及代表音量之顯示的使用者介面之變形例作了說明。
．代表複數之波束成形範圍之顯示
接著，參考圖254~圖261，針對關連於代表波束成形範圍之顯示的複數顯示之使用者介面之變形例作說明。
圖254，係為用以針對本例之使用者介面之其中一例作說明的說明圖。如圖254中所示一般，進行聲音輸入之使用者，係可能會在桌140a之周邊而存在有複數。於此情況，檢測部121，係以使各使用者會分別被包含於波束成形範圍中的方式，來控制聲音輸入部並形成複數之指向性。輸出控制部122，當進行有複數之波束成形的情況時，係亦可將代表指向性之範圍的顯示作複數之顯示。例如，輸出控制部122，係將代表與被作了複數形成之指向性的範圍分別相對應之波束成形範圍之顯示，作複數之顯示。在圖254所示之例中，係顯示有代表對於使用者4105A之波束成形範圍的顯示4120A、以及代表對於使用者4105B之波束成形範圍的顯示4120B。又，在圖254所示之例中，接收聲音輸入之應用程式，係存在有複數，並分別接收從相異之波束成形範圍而來的使用者之聲音輸入。詳細而言，使用者4105A之聲音辨識結果，係成為對於應用程式視窗4101A之輸入，使用者4105B之聲音辨識結果，係成為對於應用程式視窗4101B之輸入。
圖255，係為用以針對本例之使用者介面之其中一例作說明的說明圖。如圖255中所示一般，輸出控制部122，係顯示有代表對於使用者4105A之波束成形範圍 的顯示4120A、以及代表對於使用者4105B之波束成形範圍的顯示4120B。在圖255所示之例中，1個的應用程式，係接收從複數之波束成形範圍所取得的聲音輸入。詳細而言，使用者4105A以及4105B之聲音辨識結果，係成為對於應用程式視窗4101之輸入。
圖256，係為用以針對本例之使用者介面之其中一例作說明的說明圖。如圖256中所示一般，代表複數之波束成形範圍之顯示，係可能會重複。於此情況，由於可能會發生複數之使用者聲音相互混雜並被輸入至資訊處理系統100中的情況，因此係會有發生誤動作的可能性。因此，輸出控制部122，當被作了複數顯示之代表指向性之範圍的顯示為有所重複的情況時，係亦可進行警告顯示。在圖256所示之例中，係於代表波束成形範圍之顯示4120A以及4120B相互重複的部份處，顯示有警告顯示4150。使用者，係因應於此警告顯示4150，而藉由讓使用者彼此以相互分離的方式來移動，或者是進行使波束成形範圍移動或將其縮窄之操作，而能夠防止誤動作。
於此，當如同在圖254所示之例一般，接收聲音輸入之應用程式為存在有複數的情況時，係以對於波束成形範圍和聲音輸入目標之應用程式之間的關聯作明示為理想。因此，輸出控制部122，係亦可進行對於代表波束成形範圍的顯示和接收藉由形成該波束成形範圍之聲音輸入部所輸入的聲音之顯示物件間而附加有關連之顯示。以下，參考圖257~圖259，針對關連於附加關連之顯示 的使用者介面之變形例作說明。
圖257，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖257所示之例中，代表波束成形範圍之顯示4120、和身為從該波束成形範圍所取得的聲音之輸入目標之應用程式視窗4101的端部4151，係藉由相同之色調而對於所附加之關連作表現。
圖258，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖258所示之例中，代表波束成形範圍之顯示4120、和身為從該波束成形範圍所取得的聲音之輸入目標之應用程式視窗4101，係藉由以線4152來相互作連結，而對於所附加之關連作表現。
圖259，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖259所示之例中，代表從其中一方之波束成形範圍所取得的聲音之音量準位之顯示4140A、和身為從該波束成形範圍所取得的聲音之輸入目標之應用程式視窗4101A的端部4151A，係藉由相同之色調而對於所附加之關連作表現。同樣的，代表從另外一方之波束成形範圍所取得的聲音之音量準位之顯示4140B、和身為從該波束成形範圍所取得的聲音之輸入目標之應用程式視窗4101B的端部4151B，係藉由相同之色調而對於所附加之關連作表現。
於此，當接收聲音輸入之應用程式為存在有複數的情況時，係亦可將麥克風圖符作複數之顯示。以下，參考圖260以及圖261，針對關連於麥克風圖符之複 數顯示的使用者介面之變形例作說明。
圖260以及圖261，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖260所示之例中，係於接收聲音輸入之應用程式視窗4101A、4101B、4101C之每一者處，分別顯示有麥克風圖符4102A、4102B、4102C。並且，係從各麥克風圖符4102A、4102B、4102C起，而顯示有代表波束成形範圍之顯示4120A、4120B、4120C。
但是，如同圖261中所示一般，例如當在桌140a之中心(元件符號4153)的正上方而設置有麥克風的情況時，於麥克風圖符4102A、4102B、4102C之正上方係成為並未被設置有麥克風。因此，如圖261中所示一般，若是使用者朝向麥克風4102而發聲，則係成為朝向與麥克風所被設置之位置相異之方向而發聲，而難以說能夠將聲音辨識之精確度提昇。然而，由於被發聲之聲音係會擴散，因此可以推測到，對於聲音辨識精確度之影響係為輕微。
以上，係針對關連於代表複數之波束成形範圍之顯示的使用者介面之變形例作了說明。
．代表波束成形範圍之顯示的動性變化
接著，參考圖262~圖265，針對關連於代表波束成形範圍之顯示的動性變化之使用者介面之變形例作說明。
圖262，係為用以針對本例之使用者介面之其 中一例作說明的說明圖。例如，檢測部121，係會有錯誤地推測使用者位置並導致在錯誤之方向4160A處形成波束成形範圍的情形。於此情況，如圖262之左圖中所示一般，輸出控制部122，係顯示代表從使用者4105A之位置而偏移了的初期之波束成形範圍之顯示4120A。但是，檢測部121，係能夠因應於使用者之位置的推測結果之更新，而對於所形成之指向性的範圍作更新。輸出控制部122，亦同樣的，係亦可因應於使用者之位置的推測結果之更新，而對於代表波束成形範圍之顯示作更新。如圖262之右圖中所示一般，檢測部121，若是重新推測使用者位置，則係在重新推測出之使用者的方向4160B處形成波束成形範圍。於此情況，輸出控制部122，係朝向使用者4105A之位置，而顯示代表作了更新的波束成形範圍之顯示4120B。藉由此，使用者係能夠得知自身之聲音為被正確地辨識，而能夠感到安心感。另外，檢測部121，係亦可當使用者在初期之波束成形範圍內或其周邊而持續發聲的情況時，朝向該使用者而將波束成形範圍更新。於此情況，如圖262之右圖中所示一般，代表波束成形範圍之顯示4120B，係成為朝向位置在代表起初之波束成形範圍之顯示4120A的附近之使用者4105A，而並不會朝向位置在相異之方向處的使用者4105B。
圖263，係為用以針對本例之使用者介面之其中一例作說明的說明圖。如圖263之左圖中所示一般，輸出控制部122，起初係顯示代表寬幅為廣之波束成形範圍 之顯示4120。又，當在該範圍內而使用者持續發聲的情況時，輸出控制部122，係以使用者之方向作為中心而將代表波束成形範圍之顯示4120縮窄。藉由此，使用者係能夠得知自身之聲音為被正確地辨識，而能夠感到安心感。
於上述內容中，雖係針對在資訊處理系統100側而變更代表波束成形範圍之顯示的例子作了說明，但是本技術係並不被限定於此例。例如，使用者，係可對於代表波束成形範圍之顯示作變更。例如，使用者，當如同圖256中所示一般之複數之代表波束成形範圍之顯示有所重複的情況時，係可進行像是將波束成形範圍之重複解除一般之操作。以下，參考圖264以及圖265，針對關連於與使用者操作相對應之代表波束成形範圍之顯示的動性變化之使用者介面之變形例作說明。
圖264，係為用以針對本例之使用者介面之其中一例作說明的說明圖。如同圖264之左圖中所示一般，代表波束成形範圍之顯示4120A以及4120B係相互重複，而顯示有警告顯示4150。如圖264之左圖中所示一般，想定為使用者對於代表波束成形範圍之顯示4120A，而進行使其從右邊朝向左邊作滑動之操作的情況。因應於本操作，聲音輸入部之波束成形範圍係從右邊朝向左邊移動，伴隨於此，如同圖264之右圖中所示一般，代表波束成形範圍之顯示4120A係從右邊朝向左邊移動。藉由此，由於波束成形範圍之重複係被解除，因此誤動作係被防 止。另外，在圖264之左圖中所示的代表波束成形範圍之顯示4120A，例如，係亦可為在對於聲音輸入開始物件4108作了觸碰時而暫時性地被顯示之預覽顯示。於此情況，使用者，係能夠先移動至被作了預覽顯示之區域處，再開始聲音辨識。
圖265，係為用以針對本例之使用者介面之其中一例作說明的說明圖。如同圖265之左圖中所示一般，代表波束成形範圍之顯示4120A以及4120B係相互重複，而顯示有警告顯示4150。如圖265之左圖中所示一般，想定為使用者對於代表波束成形範圍之顯示4120A，而進行使顯示區域從左右而作了縮窄之操作的情況。因應於本操作，聲音輸入部之波束成形範圍係縮窄，伴隨於此，如同圖265之右圖中所示一般，代表波束成形範圍之顯示4120A係縮窄。藉由此，由於波束成形範圍之重複係被解除，因此誤動作係被防止。
另外，在圖264以及圖265所示之例中，雖係針對變更波束成形範圍之使用者輸入乃身為對於代表波束成形範圍之顯示所進行的使用者操作者來作了說明，但是本技術係並不被限定於此例。例如，係亦可身為透過鍵盤或遙控器等之硬體所進行的輸入，亦可為聲音輸入等。
以上，係針對本例之UI之變形例作了說明。接著，參考圖266，針對在本例之資訊處理系統100中所實行的動作處理作說明。
(動作處理)
圖266，係為對於在本例之資訊處理系統100中所實行的顯示控制處理之流程的其中一例作展示之流程圖。
如同圖266中所示一般，在步驟S4102中，檢測部121，係推測出使用者位置。例如，檢測部121，係使用參考圖232~圖237而於上述所作了說明的使用者位置推測功能，來推測出成為聲音辨識之對象的使用者之位置。
接著，在步驟S4104中，檢測部121，係進行波束成形。例如，檢測部121，係以使所推測出之使用者位置會被包含於波束成形範圍中的方式，來控制聲音輸入部並形成指向性。
接著，在步驟S4106中，輸出控制部122，係輸出代表波束成形範圍之顯示。例如，輸出控制部122，係如同參考圖238~圖261而於上述所說明一般，以進行藉由檢測部121所形成的代表聲音輸入部之波束成形範圍之顯示的方式，來控制輸出部130。
接著，在步驟S4108中，輸出控制部122，係將代表波束成形範圍之顯示更新。例如，輸出控制部122，係如同參考圖262~圖265而於上述所說明一般，當藉由檢測部121而動性地將波束成形範圍作了變更的情況時，係因應於此而對於波束成形範圍作變更。
接著，在步驟S4110中，輸出控制部122，係判定是否使代表波束成形範圍之顯示結束。例如，輸出控 制部122，係根據對於代表波束成形範圍之顯示或者是應用程式自身之結束下指示之使用者操作之有無，來判定是否使代表波束成形範圍之顯示結束。
當判定為並不結束的情況時(S4110/NO)，處理係再度前進至步驟S4108。當判定為結束的情況時(S4110/YES)，處理係結束。
以上，係針對在本例之資訊處理系統100中所實行的動作處理作了說明。
〔例6〕
本例，係為關連於上述所說明了的具體例9之實施例。在本例中，係參考圖267~圖290，來針對關連於具體例9之內部處理詳細作說明。以下，雖係想定為投影型之資訊處理系統100a來進行說明，但是，不論是參考圖1~圖4所作了說明的何者之形態，均能夠實現以下所說明之例的UI。
(概要)
圖267，係為用以針對本例之使用者介面之概要作說明的說明圖。本例之資訊處理系統100，係依據實際物件、既存之顯示物件以及使用者之間的關係，來自動性地選擇所啟動之應用程式的顯示區域(位置、大小以及傾斜度)。於此，所謂實際物件，係指書籍或餐盤等之實際存在的實際物體。所謂顯示物件，係指圖符或應用程式視窗 等之被顯示在桌140a上的顯示畫像。所謂使用者，係指所啟動之應用程式的對象者。另外，以下，係將既存之顯示物件亦稱作既存視窗。另外，在本例中，係作為顯示面為與桌140a相互一致者來作說明。
在圖267之元件符號4211中，係對於使用者在混合存在有實際物體4222以及既存視窗4223的桌140a上而對於用以使應用程式啟動之啟動指示物件4224作了觸碰的模樣作展示。資訊處理系統100，係以對於啟動指示物件4224之觸碰作為契機，而開始顯示區域決定處理。具體而言，資訊處理系統100，係檢測出既存視窗4223之顯示區域(元件符號4212)、實際物體4222所存在之存在區域(元件符號4213)、以及使用者之位置和朝向(元件符號4214)。之後，資訊處理系統100，係依據與既存視窗4223間之關係、與實際物體4222間之關係以及與使用者間之關係，來決定與啟動指示相對應之應用程式的顯示物件4221(以下，亦稱作啟動視窗)之顯示區域。例如，資訊處理系統100，係如同元件符號4215中所示一般，在不會與既存視窗之顯示區域以及實際物體之存在區域相互重複並且為接近於使用者的場所處，因應於使用者之臉孔的朝向來以正對於使用者的方式而作角度θ之傾斜，而決定啟動視窗4221之顯示區域。
在投影型之資訊處理系統100a中，係存在有在桌140a上正載置有實際物體或者是正被顯示有既存視窗的情況，又，使用者位置亦係為流動性之位置。因此， 當並未被決定有適當之顯示區域的情況時，會有啟動視窗離使用者過遠而無法碰到並需要進行以容易觀看的方式來作調整的繁複操作，或者是會有既存視窗被啟動視窗所隱藏等的情況。
因此，本例之資訊處理系統100，係依據實際物件、顯示物件以及使用者之間的關係，來適當地決定啟動視窗之顯示區域。藉由此，由於啟動視窗係被顯示在易於由使用者來進行操作的場所處，因此使用者係能夠在啟動後而立即進行對於啟動視窗之操作。又，當啟動視窗為以正對於使用者的方式來作顯示的情況時，使用者係能夠並不進行任何調整地便對於啟動視窗之資訊作確認。進而，當啟動視窗為以不會被既存視窗所覆蓋隱藏的方式來作了顯示的情況時，係能夠防止啟動視窗妨礙到對於既存視窗所進行之操作。在本例中，係如此這般地而提昇使用者之便利性。
(構成例)
圖268，係為對於本例之資訊處理系統100之邏輯性的構成之其中一例作展示之區塊圖。如圖268中所示一般，本例之資訊處理系統100，係具備有輸入部110、和控制部120、以及輸出部130。
(1)輸入部110
本例之輸入部110，例如係藉由取得畫像(靜止畫像 或動畫像)之攝像機、以及取得深度資訊之立體攝像機，而實現之。例如，輸入部110，係將所攝像了的攝像畫像以及所取得了的深度資訊，對於控制部120作輸出。又，輸入部110，係亦可藉由被設置在桌140a處之觸控感測器或者是遙控器等之任意的輸入裝置來實現，亦可取得聲音輸入或者是觸碰操作等之使用者操作，並對於控制部120作輸出。
(2)輸出部130
本例之輸出部130，係具備有作為顯示畫像之顯示部的功能。例如，輸出部130，係如圖1~圖4中所示一般，藉由從桌140a之上部或下部來對於桌140a進行投影之投影機、觸控面板式或平面面板式之顯示器，來實現之。除此之外，輸出部130，係亦可具備有揚聲器等之作為聲音輸出部之功能。
(3)控制部120
本例之控制部120，係依據實際物件、既存之顯示物件以及使用者之間的關係，來進行用以決定應用程式的顯示區域之各種處理。如圖268中所示一般，控制部120，係具備有作為實際物件辨識部4201和顯示物件辨識部4202以及使用者辨識部4203之功能的檢測部121、以及輸出控制部122。
(3-1)實際物件辨識部4201
實際物件辨識部4201，係具備有辨識出桌140a(顯示面)上的實際物件之功能。例如，實際物件辨識部4201，係根據從輸入部110所輸出之深度資訊，來辨識出桌140a上的實際物件之存在區域。以下，參考圖269，針對由實際物件辨識部4201所致之實際物件的辨識功能之其中一例作說明。
圖269，係為用以對於本例之實際物件辨識功能之其中一例作說明的說明圖。在圖269中，係為從輸入部110所輸出之深度資訊的其中一例，並以濃淡來表現深度。元件符號4231，係代表桌140a中之於其上並不存在有任何之實際物體的區域之深度。元件符號4232，係代表實際物體所存在之區域的深度，元件符號4233，係代表使用者之手所存在的區域之深度。實際物件辨識部4201，係如同元件符號4232以及4233處所示一般，將桌140a中之深度為相較於元件符號4231所代表的區域而更小(與本體間之距離為較近)之區域，作為實際物體之存在區域而辨識出來。但是，實際物件辨識部4201，係亦可針對會頻繁移動之區域(元件符號4233)，並不將其作為實際物體之存在區域而辨識出來，而僅將不會移動或者是移動為少之區域(元件符號4232)作為實際物體之存在區域而辨識出來。此係因為，手腕等係並非為相當於啟動視窗之障礙物之故。實際物件辨識部4201，除了深度資訊以外，例如係亦可基於紅外線感測之結果，來辨識 出實際物體之存在區域。
又，實際物件辨識部4201，係亦可辨識出實際物體之內容。例如，實際物件辨識部4201，係亦可藉由對於將桌140a上之狀態作了攝像的攝像畫像中之相當於實際物體之存在區域的部份進行畫像辨識，來辨識出桌140a上之實際物體係為何種物體。
(3-2)顯示物件辨識部4202
顯示物件辨識部4202，係具備有辨識出已被顯示在桌140a上的既存之顯示物件之功能。例如，顯示物件辨識部4202，係對於由輸出控制部122所進行之顯示控制處理作監視，並辨識出既存之顯示物件的顯示區域以及內容(係為何者之應用程式)。
(3-3)使用者辨識部4203
使用者辨識部4203，係具備有將身為應用程式之啟動對象者的使用者辨識出來之功能。例如，使用者辨識部4203，係基於從輸入部110所輸出之攝像畫像，而辨識出對於啟動指示物件4224作了觸碰的使用者之位置以及朝向。由使用者辨識部4203所進行之辨識處理，係可考慮有多種之處理。針對使用者辨識處理，係於後參考圖275~圖279來作詳細說明，因此於此係省略說明。
(3-4)輸出控制部122
輸出控制部122，係作為決定啟動視窗之顯示區域並以在所決定了的顯示區域處顯示啟動視窗的方式來控制輸出部130之顯示控制部而起作用。由輸出控制部122所進行之顯示區域決定處理，係可考慮有多種之處理。在本說明書中，係針對顯示區域決定處理之例，而列舉出2個例子來作說明。
(1)第1處理例
例如，輸出控制部122，係依據與實際物件間之關係、與既存之顯示物件間之關係或者是與使用者間之關係的至少一者，來決定所啟動之應用程式的顯示物件(啟動視窗)之顯示區域。例如，輸出控制部122，係依據位置、大小或角度之至少一者，來決定啟動視窗之顯示區域。例如，輸出控制部122，係將並不會與既存之顯示物件以及實際物件相互重疊之區域，決定為視窗可啟動區域。另外，所謂視窗可啟動區域，係為能夠在內部而決定啟動視窗之顯示區域的區域。之後，輸出控制部122，係將位在視窗可啟動區域內之接近於使用者的位置而不會與既存之顯示物件以及實際物件相互重疊之大小以及會正對於使用者之角度，決定為啟動視窗之顯示區域。
．與實際物件間之關係
輸出控制部122，係因應於顯示面上之實際物件的資訊，來決定被顯示在顯示面上之啟動視窗的顯示區域。例 如，輸出控制部122，係以不會與實際物件相互重疊的方式來決定啟動視窗之顯示區域。除此之外，輸出控制部122，係亦能夠以會實際物件相互重疊的方式來決定啟動視窗之顯示區域。
所謂實際物件之資訊，除了代表實際物件之存在區域的資訊以外，例如係為包含實際物件之屬性資訊的資訊。屬性資訊，係可包含有多種類之資訊。例如，屬性資訊，係亦可包含有關連於使實際物件移動之困難度的資訊。移動困難度，例如係可根據實際物件之移動履歷、重量、大小等來算出。例如，當移動困難度為大的情況時，輸出控制部122，係以不會與實際物件相互重疊的方式來決定啟動視窗之顯示區域。另一方面，當移動困難度為小的情況時，輸出控制部122，係以會與實際物件相互重疊的方式來決定啟動視窗之顯示區域，並催促使用者將實際物件移動。又，屬性資訊，例如係亦可包含有關連於與啟動視窗間之關係性的資訊。例如，當乃身為對於桌140a上之料理作說明的資訊之顯示等之與實際物件有所關連之啟動視窗的情況時，輸出控制部122，係以在實際物件之附近或者是以會與實際物件相互重疊的方式，來決定顯示區域。藉由此，係能夠提昇使用者之便利性。
以下，參考圖270以及圖271，針對根據與實際物件間之關係所決定的顯示區域作說明。
圖270以及圖271，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。在圖 270以及圖271中，係針對以由使用者所致之對於啟動指示物件4224的觸碰作為契機而顯示啟動視窗4221之例作展示。在圖270中，係針對以不會與實際物件相互重疊的方式來決定顯示區域之例作展示。如圖270中所示一般，視窗可啟動區域4234，係成為桌140a上之存在有實際物體4222之區域以外的區域，於其內部，係決定有啟動視窗4221之顯示區域。在圖271中，係針對以會與實際物件相互重疊的方式來決定顯示區域之例作展示。如圖271中所示一般，視窗可啟動區域4234，係成為桌140a上之存在有實際物體4222之區域內的區域，於其內部，係決定有啟動視窗4221之顯示區域。
．與既存之顯示物件間之關係
輸出控制部122，係亦可更進而因應於已被顯示在顯示面上之其他之顯示物件(既存之顯示物件)的資訊，來決定啟動視窗的顯示區域。
例如，輸出控制部122，係亦能夠將較既存之顯示物件而更前面，決定為啟動視窗之顯示區域。藉由此，使用者係能夠在啟動後而立即對於啟動視窗進行閱覽並進行操作。又，輸出控制部122，係亦能夠以不會與既存之顯示物件之顯示區域相互重疊的方式，來決定啟動視窗之顯示區域。藉由此，使用者係能夠在啟動後而立即對於啟動視窗進行閱覽並進行操作，並且亦能夠持續進行對於既存視窗之操作。又，輸出控制部122，係亦能夠以不 會與啟動視窗之顯示區域相互重疊的方式，來變更既存視窗之顯示區域。藉由此，由於例如既存之顯示物件係以為了啟動視窗而空出場所的方式來移動，因此，輸出控制部122，係能夠在對於使用者而言為更容易進行操作之區域處而顯示啟動視窗。
所謂既存之顯示物件之資訊，除了代表既存之顯示物件之顯示區域的資訊以外，例如係為包含關於與啟動視窗間之關係性之資訊的資訊。例如，當在啟動視窗中包含有與既存之顯示物件相關連之資訊的情況時，輸出控制部122，係在既存之顯示物件之附近而決定啟動視窗之顯示區域。藉由此，係能夠提昇使用者之便利性。
以下，參考圖272~圖274，針對根據與既存之顯示物件間之關係所決定的顯示區域作說明。
圖272，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。在圖272中，係針對在與既存之顯示物件間之關係中的視窗可啟動區域之其中一例作展示。如同圖272之上圖中所示一般，輸出控制部122，係亦能夠將包含有既存視窗4223之顯示區域的全面，作為視窗可啟動區域4234。又，如同圖272之中央圖中所示一般，輸出控制部122，係亦能夠將除了既存視窗4223之顯示區域以外的區域，作為視窗可啟動區域4234。又，如同圖272之下圖中所示一般，輸出控制部122，係亦能夠將除了既存視窗4223之顯示區域之中心部分以外的包含有端部之區域，作為視窗可啟動區域 4234。
圖273以及圖274，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。在圖273以及圖274中，係針對以由使用者所致之對於啟動指示物件4224的觸碰作為契機而顯示啟動視窗4221之例作展示。
在圖273中，係針對容許與既存之顯示物件相互重疊地來決定顯示區域之例作展示。如同圖273中所示一般，視窗可啟動區域4234，係成為包含有既存視窗4223之顯示區域的全區域。在圖273之左圖中，係以與既存視窗4223相重疊的方式，而決定啟動視窗4221之顯示區域。另一方面，在圖273之右圖中，係以與既存視窗4223相重疊的方式，而決定啟動視窗4221之顯示區域，並且，係以不會與啟動視窗4221之顯示區域相重疊的方式，來變更既存視窗4223之顯示區域。
在圖274中，係針對以不會與既存之顯示物件相互重疊的方式來決定顯示區域之例作展示。如同圖274中所示一般，視窗可啟動區域4234，係成為既存視窗4223之存在區域以外的區域。在圖274之左圖中，係以不會與既存視窗4223相重疊的方式，而以預設之大小來決定啟動視窗4221之顯示區域。另一方面，在圖274之右圖中，係以不會與既存視窗4223相重疊的方式，並且將大小作了縮小地，來決定啟動視窗4221之顯示區域。此種縮小顯示，當在接近於使用者之位置的場所處之空閒 空間為少的情況時，係為有效。
．與使用者間之關係
輸出控制部122，係亦可更進而因應於身為啟動視窗之顯示對象的使用者之資訊，來決定啟動視窗的顯示區域。所謂使用者之資訊，例如，係包含代表使用者之位置或朝向之至少其中一者的資訊。例如，輸出控制部122，係能夠在視窗可啟動區域內之接近於使用者的位置處，因應於使用者之朝向，而以會正對於使用者之傾斜度，來決定啟動視窗之顯示區域。
以下，參考圖275~圖282，針對根據與使用者間之關係所決定的顯示區域作說明。另外，以下係一併對於由使用者辨識部4203所進行之辨識處理的具體例作說明。
圖275，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。圖275之左圖，係為對於由使用者辨識部4203所進行之辨識處理的其中一例作展示，圖275之右圖，係為對於由輸出控制部122所進行之顯示區域決定處理的其中一例作展示。如同圖275之左圖中所示一般，輸入部110，係將較桌140a而更廣之攝像區域4241作為監視對象而進行攝像。首先，使用者辨識部4203，係基於攝像區域4241之攝像畫像，而特定出對於啟動指示物件4224作了觸碰的使用者4242。之後，使用者辨識部4203，係推測出所特定出的使用者之 位置4243。又，使用者辨識部4203，係基於在攝像區域4241中所包含之使用者4242之臉孔，而推測出使用者4242之臉孔的角度θ。藉由此，輸出控制部122，係如同圖275之右圖中所示一般，在接近於使用者的場所處，以正對於使用者4242的方式來作角度θ之傾斜，而決定啟動視窗4221之顯示區域。
圖276，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。圖276之左圖，係為對於由使用者辨識部4203所進行之辨識處理的其中一例作展示，圖276之右圖，係為對於由輸出控制部122所進行之顯示區域決定處理的其中一例作展示。如同圖276之左圖中所示一般，在桌140a處，係被顯示有麥克風圖符4244，使用者，係正朝向此麥克風圖符4244而發聲。例如，假設係為在麥克風圖符4244之正上方或其附近設置有麥克風者。使用者辨識部4203，係將對於應用程式之啟動下指示的使用者之聲音辨識出來。使用者辨識部4203，例如係可將預先所規定的關鍵字，作為對於應用程式之啟動下指示的聲音而辨識出來。之後，使用者辨識部4203，係推測使用者4242為位置在從麥克風圖符4244起而朝向檢測出使用者之聲音的方向4245之延長線上，並推測使用者4242為正面向朝向該延長線上之麥克風圖符4244的方向。藉由此，輸出控制部122，係如同圖276之右圖中所示一般，在接近於使用者4242的場所處，朝向使用者4242所正對之方向4245，而決定啟動視窗4221 之顯示區域。
圖277，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。圖277之左圖，係為對於由使用者辨識部4203所進行之辨識處理的其中一例作展示，圖277之右圖，係為對於由輸出控制部122所進行之顯示區域決定處理的其中一例作展示。如同圖277之左圖中所示一般，使用者辨識部4203，例如係基於攝像畫像，來辨識出對於啟動指示物件4224作了觸碰的使用者4242之手指或手腕的方向4246。之後，使用者辨識部4203，係推測使用者4242為位置在手指或手腕之方向4246的延長線上，並推測使用者4242為正面向朝向該延長線上之啟動指示物件4224的方向。藉由此，輸出控制部122，係如同圖277之右圖中所示一般，在接近於使用者的場所處，朝向使用者所正對之方向4246，而決定啟動視窗4221之顯示區域。
圖278，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。圖278之左圖，係為對於由使用者辨識部4203所進行之辨識處理的其中一例作展示，圖278之右圖，係為對於由輸出控制部122所進行之顯示區域決定處理的其中一例作展示。如同圖278之左圖中所示一般，輸入部110，係將包含有對於啟動指示物件4224作了觸碰的使用者4242之手腕的區域且身為桌140a上之區域，作為攝像區域4241。首先，使用者辨識部4203，係基於在檢測出了對於啟動指示物件4224之 觸碰的時間點處之攝像區域4241之攝像畫像，而辨識出作了觸碰的手腕之形狀。之後，使用者辨識部4203，係藉由將檢測出之手腕的形狀，與代表手腕之朝向和臉孔的位置間之關係之模式4247作對照，而推測出臉孔的位置。又，使用者辨識部4203，係推測使用者4242為正朝向正對於桌140a之邊緣的方向4248。藉由此，輸出控制部122，係如同圖278之右圖中所示一般，在接近於使用者的場所處，朝向正對於桌140a之邊緣之方向4248，而決定啟動視窗4221之顯示區域。本處理，例如係可使用在當攝像區域4241為被侷限在桌140a上的情況並且成功地辨識出所照到的手係為左右手中之何者之手的情況中。
圖279，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。圖279之左圖，係為對於由使用者辨識部4203所進行之辨識處理的其中一例作展示，圖279之右圖，係為對於由輸出控制部122所進行之顯示區域決定處理的其中一例作展示。如同圖279之左圖中所示一般，使用者辨識部4203，係辨識出由使用者所致之對於啟動指示物件4224之觸碰。之後，使用者辨識部4203，係推測使用者4242為位置在從畫面或桌140a之中心點4249起而朝向啟動指示物件4224之方向4250的延長線上，並推測使用者4242為正面向朝向該延長線上之啟動指示物件4224的方向。藉由此，輸出控制部122，係如同圖279之右圖中所示一般，在從中心點4249起而朝向啟動指示物件4224之方向4250的延長線 上，朝向使用者所正對之方向4250，而決定啟動視窗4221之顯示區域。
圖280，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。如同圖280中所示一般，輸出控制部122，係將桌140a中之使用者4242所存在之側的區域，作為視窗可啟動區域4234。藉由此，輸出控制部122，係在視窗可啟動區域4234內之最廣的區域4251中，決定啟動視窗4221之顯示區域。
圖281，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。如同圖281中所示一般，輸入部110，係將較桌140a而更廣之攝像區域4241作為監視對象而進行攝像。於此，係想定為使用者辨識部4203，係基於攝像區域4241之攝像畫像，而成功地推測出對於啟動指示物件4224作了觸碰的使用者4242之位置4243，但是在使用者4242之朝向的推測中則為失敗的情況。於此情況，使用者辨識部4203，係對於使用者4242為位置在桌140a之周圍的區域4261、4262、4263、4264之何者處一事、亦即是對於使用者邊進行辨識。另外，所謂使用者邊，係指使用者將手作了伸入的畫面或桌140a之邊。之後，輸出控制部122，係在成為最接近使用者的場所處，以與使用者邊相對應之朝向，而決定啟動視窗4221之顯示區域。在圖281所示之例中，輸出控制部122，係在成為最接近使用者的場所處，以假設使用者為朝向區域4263中之箭頭方向的朝向，而決定啟 動視窗4221之顯示區域。
圖282，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。在圖282所示之例中，使用者辨識部4203，假設係成功地推測出使用者4242之位置4243。又，使用者辨識部4203，假設在使用者4242之朝向的推測中係為失敗。於此情況，輸出控制部122，係亦可如同圖282之上圖中所示一般，在從畫面或桌140a之中心點4249起而與使用者位置4243作了連接的線上，於與和顯示面內接之圓相接的最為接近於使用者的位置處，而決定啟動視窗4221之顯示區域。又，輸出控制部122，係亦可如同圖282之下圖中所示一般，在從中心點4249起而與使用者位置4243作了連接的線上，於與顯示面之縱橫比相對應的橢圓相接之最為接近於使用者的位置處，而決定啟動視窗4221之顯示區域。
．組合
輸出控制部122，係亦可將上述之與實際物件間之關係、與既存之顯示物件間之關係以及與使用者間之關係的至少一者作組合，來決定啟動視窗4221之顯示區域。以下，參考圖283~圖285，針對根據與實際物件間之關係、與既存之顯示物件間之關係以及與使用者間之關係的組合所決定的顯示區域作說明。
圖283，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。在圖283所示之例 中，輸出控制部122，係根據與實際物件間之關係，而以不會與實際物體4222相互重疊的方式來決定啟動視窗4221之顯示區域。又，輸出控制部122，係根據與既存之顯示物件間之關係，而對重疊於較既存視窗4223而更前面一事作容許地，來決定啟動視窗4221之顯示區域。又，輸出控制部122，係根據與使用者間之關係，而在接近於使用者4242的場所處，以成為與使用者4242之朝向相對應之傾斜度的方式，而決定啟動視窗4221之顯示區域。
圖284，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。在圖284所示之例中，輸出控制部122，係根據與實際物件間之關係，而以不會與實際物體4222相互重疊的方式來決定啟動視窗4221之顯示區域。又，輸出控制部122，係根據與既存之顯示物件間之關係，而以不會與既存視窗4223相互重疊的方式，來決定啟動視窗4221之顯示區域。又，輸出控制部122，係根據與使用者間之關係，而在接近於使用者4242的場所處，以成為與使用者4242之朝向相對應之傾斜度的方式，而決定啟動視窗4221之顯示區域。
圖285，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。在圖285所示之例中，輸出控制部122，係根據與實際物件間之關係，而以不會與實際物體4222相互重疊的方式來決定啟動視窗4221之顯示區域。又，輸出控制部122，係根據與既存之 顯示物件間之關係，而對與既存視窗4223相互重疊一事作容許地，來決定啟動視窗4221之顯示區域，並且以不會與啟動視窗4221之顯示區域相互重疊的方式，來變更既存視窗4223之顯示區域。又，輸出控制部122，係根據與使用者間之關係，而在接近於使用者4242的場所處，以成為與使用者4242之朝向相對應之傾斜度的方式，而決定啟動視窗4221之顯示區域。
以上，係對於由輸出控制部122所進行之啟動視窗之顯示區域決定處理的其中一例作了說明。
(2)第2處理例
例如，輸出控制部122，係亦能夠使用對於啟動視窗之顯示區域的候補進行評價之評價函數，來決定顯示區域。此評價函數，係能夠以反映有針對根據與實際物件間之關係、與既存之顯示物件間之關係以及與使用者間之關係而於上述所作了說明之內容的方式，來進行設計。更具體而言，作為評價函數之要素，例如係可考慮有以下的要素。
．與既存視窗間之重複評價值
．與實際物體間之重複評價值
．與使用者位置間之距離評價值
．與使用者邊間之距離評價值
．與觸碰位置間之距離評價值
．與手指方向間之一致度評價值
所謂與既存視窗間之重複評價值，係身為關連於啟動視窗和既存視窗之間的重複性之評價值。另外，當既存視窗被顯示有複數的情況時，與既存視窗間之重複評價值，係可作為對於既存視窗之每一者所算出的評價值之總和或平均等的統計量來算出。又，輸出控制部122，在進行與既存視窗間之重複評價值之算出時，係亦可作為重複評價值×(1/index)，來使越舊之既存視窗的對於評價所造成之影響的程度越為降低。於此，index，係為對於既存視窗所分配的索引(順序)，對於最新的視窗，係分配有1，對於越舊的視窗，係分配有越大之值。又，輸出控制部122，在進行評價值之算出時，係亦可對於應用程式彼此間之配合度作考慮。
所謂與實際物體間之重複評價值，係身為關連於啟動視窗和實際物體之間的重複性之評價值。另外，當實際物體存在有複數的情況時，與實際物體間之重複評價值，係可作為對於實際物體之每一者所算出的評價值之總和或平均等的統計量來算出。又，輸出控制部122，在進行評價值之算出時，係亦可對於實際物體之高度以及面積等的形狀作考慮，亦可對於過去之移動履歷作考慮。
所謂與使用者位置間之距離評價值，係身為關連於啟動視窗和使用者位置間之距離的評價值，若是距離越近，則會算出越佳的評價值。
所謂與使用者邊間之距離評價值，係身為關 連於啟動視窗和使用者邊間之距離的評價值，若是距離越近，則會算出越佳的評價值。
所謂與觸碰位置間之距離評價值，係身為關連於啟動視窗和觸碰位置間之距離的評價值，若是距離越近，則會算出越佳的評價值。
所謂與手指方向間之一致度評價值，係身為關連於啟動視窗之朝向和作了觸碰的手指之方向間的一致度之評價值，若是越相互一致，則會算出越佳的評價值。例如，若是相互一致，則可算出1，若是不一致，則可算出0。
以上，係針對評價函數之其中一例作了說明。輸出控制部122，係藉由對於各要素進行權重附加，而能夠如同下式一般地設計評價函數。
評価值=與既存視窗間之重複評價值×30+
與實際物體間之重複評價值×200+
與使用者位置間之距離評價值×1+
與使用者邊間之距離評價值×1+
與觸碰位置間之距離評價值×1+
與手指方向間之一致度評價值×10
附加權重之參數，係可任意作設定。又，各要素內之函數設計(參數設計)亦為任意。輸出控制部122，係亦可學習評價函數內之各種參數。又，輸出控制部122，係亦可因應於使用者操作來設定評價函數之參數。藉由此，使用者係能夠以在自身所喜愛之顯示區域中 而顯示啟動視窗的方式，來對於參數作設定。例如，使用者，係藉由對於常常會鄰接使用之應用程式彼此而設定良好的配合度，而成為能夠將該些應用程式彼此相互鄰接地啟動。
輸出控制部122，係將顯示區域之候補中的根據評價函數所算出之評價值為最佳的候補，決定為啟動視窗之顯示區域。例如，輸出控制部122，係可採用登山法、基因演算法等之任意的手法，來對於評價值為最佳之顯示區域作探索。另外，在本說明書中，雖係以評價值越高則為越佳為例來作說明，但是係亦可設為若是評價值越低則為越佳。亦即是，由輸出控制部122所致之顯示區域之探索，係可為最小化問題，亦可為最大化問題。
以下，針對評價函數之具體性的設計作說明。例如，輸出控制部122，係可將下述之數式1作為評價函數來使用。
在上述數式中，appm，係代表第m個的應用程式視窗，並指啟動視窗。appn，係代表第n個的應用程式視窗，並指既存視窗。objn，係代表第n個的實際物件。p，係代表啟動視窗之顯示區域。在上述數式1中， 係算出當將啟動視窗之顯示區域設為p的情況時之評價值。
上述數式1之第1項，係身為關連於與既存視窗間之關係的評價項。wapp，係為附加權重之參數。Napp，係代表既存視窗之數量。總和計算之對象，係為關連於啟動視窗appm和既存視窗appn之間之配合度以及距離的評價函數，例如係藉由下式而定義。
Napp-(n-1)/Napp，係為關連於顯示順序之評價值，並代表若是顯示順序越舊則會成為越低的值。另外，在既存視窗中，係設為以顯示為較新者的順序來賦予較低之索引n者。
c(appm，appn)，係為關連於啟動視窗appm和既存視窗appn之間之配合度的評價值，例如若是配合度越佳則會成為越高的值。作為配合度，例如，可考慮有照片檔案和照片編輯應用程式之間的配合度係為佳，音樂檔案和音樂播放器之間的配合度係為佳等。關連於配合度之評價值，例如係可藉由在下述之表中而展示有其中一例的配合度表來制定之。
表2，係為對關連於配合度之評價值作制定的配合度表之其中一例。關連於配合度之評價值，係包含有靜性制定之部分和會動性改變之部分。靜性制定之部分，例如係為根據在安裝於所預先制定的應用程式彼此間之配合度、或者是根據是否能夠對於相同之媒體(檔案)進行處理一事等，所制定者。會動性改變之部分，例如係會基於是否為由相同之使用者(相同之手或者是從相同方向而來之手)所啟動的應用程式，或是基於代表過去之操作履歷的配合度等，而有所改變。除此之外，作為會動性改變之部分的其中一例，當在其中一方之應用程式被啟動後的特定時間以內而另外一方之應用程式被啟動，或者是在其中一方被啟動之後而於特定時間以內另外一方作了接近的情況時，係可將評價值提高。相反的，當在其中一方被啟動之後的特定時間以內而被從另外一方拉離的情況時，係可將評價值降低。
在表2所示之例中，代表靜止畫像編輯應用程式和照片應用程式間之配合度的評價值，係成為在靜性之「2」上而動性地加上「1」之後的「3」。又，代表動 畫編輯應用程式和照片應用程式間之配合度的評價值，係成為在靜性之「1」上而動性地加上「1」之後的「2」。又，代表動畫編輯應用程式和靜止畫像編輯應用程式間之配合度的評價值，係成為在靜性之「0」上而動性地加上「1」並減去「1」之後的「0」。
以上，係針對配合度表作了說明。再度回到上述數式2之說明。{d-(r1+r2)}，係為關連於啟動視窗appm和既存視窗appn之間的重複性之評價值。在圖286中，對於r1、r2以及d之間的關係之其中一例作展示。
圖286，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。r1，係為代表啟動視窗4221之大小的參數，在圖286所示之例中，係身為從啟動視窗4221之中心點起直到端部為止的距離。r2，係為代表既存視窗4223之大小的參數，在圖286所示之例中，係身為從既存視窗4223之中心點起直到端部為止的距離。d，係為代表啟動視窗4221和既存視窗4223之間的距離之參數，在圖286所示之例中，係身為中心點間之距離。如同圖286中所示一般，{d-(r1+r2)}，若是距離離得越遠，則會成為越高的值，若是相互重複之區域變得越多，則會成為越低的值。另外，輸出控制部122，當{d-(r1+r2)}成為負值的情況時，係亦可將{d-(r1+r2)}視為0來作處理。
以上，係針對上述數式1之第1項作了說 明。接著，針對上述數式1之第2項作說明。
上述數式1之第2項，係身為關連於與實際物體間之關係的評價項。wobj，係為附加權重之參數。Nobj，係代表實際物體之數量。總和計算之對象，係為關連於啟動視窗appm和實際物體objn之間之配合度以及距離的評價函數，例如係藉由下式而定義。
c(appm，objn)，係為關連於啟動視窗appm和實際物體objn之間之配合度的評價值，例如若是配合度越佳則會成為越高的值。作為配合度，例如，係可考慮有：尺規之應用程式與實際物體間的配合度係為佳、對於障礙物有所利用的遊戲應用程式與能夠成為障礙物之實際物體間的配合度係為佳、泡麵計時器之應用程式與特定之大小的圓形之實際物體間的配合度係為佳等。關連於配合度之評價值，例如係可藉由與上述之表2相同的配合度表來制定之。
{d-(r1+r2)}，係為關連於啟動視窗appm和實際物體objn之間的重複性之評價值。在圖287中，對於r1、r2以及d之間的關係之其中一例作展示。
圖287，係為用以針對關連於本例之顯示區域決定處理之其中一例作說明的說明圖。r1，係為代表啟動 視窗4221之大小的參數，在圖287所示之例中，係身為從啟動視窗4221之中心點起直到端部為止的距離。r2，係為代表實際物體4222之大小的參數，在圖287所示之例中，係身為從實際物體4222之中心點起直到端部為止的距離。d，係為代表啟動視窗4221和實際物體4222之間的距離之參數，在圖287所示之例中，係身為中心點間之距離。如同圖287中所示一般，{d-(r1+r2)}，若是距離離得越遠，則會成為越高的值，若是相互重複之區域變得越多，則會成為越低的值。另外，輸出控制部122，當{d-(r1+r2)}成為負值的情況時，係亦可將{d-(r1+r2)}視為0來作處理。
a/Vobj，係為關連於物體之凸包(Convex Hull)體積的評價值。本評價值，例如當實際物體objn為小或者是薄的情況時，會成為低的值。根據此，由小或薄的實際物體所致之對於評價函數的影響係會變小。
b/∫ vdt，係為關連於最近所進行之移動距離之評價值。本評價值，例如當在最近期間所進行之移動距離越多，則會成為越低的值。根據此，由在最近期間所進行之移動距離為多的實際物體所致之對於評價函數的影響係會變小。可以想見，此係因為，移動距離為多之物體，由於乃身為可移動之物體或者是最近所新放置之物體，因此使用者係能夠將其移開之故。
c/F，係為關連於物體之形狀的評價值。本評價值，例如若是越身為對於被投影之畫像的影響為少之形 狀，則會成為越低的值。例如，係可對於錐狀體賦予較低的值。根據此，由身為對於被投影之畫像的影響為少之形狀的實際物體所致之對於評價函數的影響係會變小。
以上，係針對上述數式1之第2項作了說明。接著，針對上述數式1之第3項之後作說明。
上述數式1之第3項之後的項，係身為關連於與使用者間之關係的評價項。wup，係為附加權重之參數。fup(p)，係為關連於使用者位置和啟動視窗間之距離的評價函數。wus，係為附加權重之參數。fus(p)，係為關連於使用者邊和啟動視窗間之距離的評價函數。wtp，係為附加權重之參數。ftp(p)，係為關連於觸碰位置和啟動視窗間之距離的評價函數。wfd，係為附加權重之參數。ffd(p)，係為關連於使用者之手指之方向和啟動視窗所朝向之方向間的一致度之評價函數。
以上，係針對評價函數之具體例作了說明。
以上，係針對資訊處理系統100之構成例作了說明。接著，參考圖288~圖290，針對在本例之資訊處理系統100中所實行的動作處理例作說明。
(動作處理)
圖288，係為對於在本例之資訊處理系統100中所實行的顯示控制處理之流程的其中一例作展示之流程圖。
如圖288中所示一般，於步驟S4201中，輸入部110係接收應用程式啟動指示。例如，輸入部110， 係將代表對於啟動指示物件作了觸碰一事的輸入資訊，對於控制部120作輸出。
接著，在步驟S4202中，檢測部121，係辨識出實際物件、既存之顯示物件以及使用者。例如，實際物件辨識部4201，係根據從輸入部110所輸出之深度資訊，來辨識出桌140a上的實際物體之存在區域。例如，顯示物件辨識部4202，係對於由輸出控制部122所進行之顯示控制處理作監視，並辨識出既存視窗之顯示區域。例如，使用者辨識部4203，係基於從輸入部110所輸出之攝像畫像，而辨識出對於啟動指示物件作了觸碰的使用者之位置以及朝向。
接著，在步驟S4203中，輸出控制部122，係進行之啟動視窗之顯示區域決定處理。針對顯示區域決定處理之具體性的內容，由於係於後詳細作說明，因此於此係省略詳細之說明。
接著，在步驟S4204中，輸出控制部122，係進行顯示處理。例如，輸出控制部122，係以將啟動視窗顯示於在上述步驟S4203中所決定了的顯示區域中的方式，來對於輸出部130作控制。
以上，係針對在資訊處理系統100中所實行的顯示控制處理之流程作了說明。接著，參考圖289以及圖290，針對在上述步驟S4203中之顯示區域決定處理之流程作說明。
圖289，係為對於在本例之資訊處理系統100 中所實行的顯示區域決定處理之流程的其中一例作展示之流程圖。本流程圖，係關連於上述所作了說明的第1處理例。
如同圖289中所示一般，首先，在S4221中，輸出控制部122，係基於實際物體以及既存視窗之資訊，而決定視窗可啟動區域。例如，輸出控制部122，係將並不會與實際物體之存在區域以及既存視窗之顯示區域相互重疊的區域，決定為視窗可啟動區域。
接著，在步驟S4222中，輸出控制部122，係判定是否成功推測出使用者之位置。例如，輸出控制部122，係藉由參照由使用者辨識部4203所得到的辨識結果，來進行本判定。
當判定為係成功地進行了使用者之位置之推測的情況時(S4222/YES)，在步驟S4223中，輸出控制部122，係判定是否成功推測出使用者之朝向。例如，輸出控制部122，係藉由參照由使用者辨識部4203所得到的辨識結果，來進行本判定。
當判定為係成功地進行了使用者之朝向之推測的情況時(S4223/YES)，在步驟S4224中，輸出控制部122，係基於使用者之位置以及朝向，來決定啟動視窗之顯示區域。例如，輸出控制部122，係於在上述步驟S4221中所決定了的視窗可啟動區域中，來在接近於使用者的位置處，因應於使用者之朝向而以成為會正對於使用者之傾斜度的方式，來決定啟動視窗之顯示區域。
另一方面，當判定為雖係成功地進行了使用者之位置之推測但是在朝向之推測中係為失敗的情況時(S4223/NO)，在步驟S4225中，輸出控制部122，係基於使用者之位置，來決定啟動視窗之顯示區域。例如，輸出控制部122，係於在上述步驟S4221中所決定了的視窗可啟動區域中，來在接近於使用者的位置處，以與使用者邊相對應之朝向，來決定啟動視窗之顯示區域。
又，當判定為使用者之位置之推測為失敗的情況時(S4222/NO)，在步驟S4226中，輸出控制部122，係基於實際物體以及既存視窗之資訊，來決定啟動視窗之顯示區域。例如，輸出控制部122，係於在上述步驟S4221中所決定了的視窗可啟動區域中，來將任意的區域決定為啟動視窗之顯示區域。
以上，係對於顯示區域決定處理之流程的其中一例作了說明。接著，參考圖290，對於顯示區域決定處理之流程的另外一例作說明。
圖290，係為對於在本例之資訊處理系統100中所實行的顯示區域決定處理之流程的其中一例作展示之流程圖。本流程圖，係關連於上述所作了說明的第2處理例。具體而言，輸出控制部122，係使用登山演算法來算出評價函數之準最適解。
如圖290中所示一般，首先，在步驟S4231中，輸出控制部122，係作為評價對象之座標，而隨機性選擇畫面內之N個的座標。例如，輸出控制部122，係將 顯示面內之N個的座標，在並不對於是否會與實際物體之存在區域相互重疊或者是是否會與既存視窗相互重疊等作考慮的狀態下，來隨機性地選擇。
接著，在步驟S4232中，輸出控制部122，係對於近旁之座標進行評價。例如，輸出控制部122，係針對將在上述步驟S4231中所選擇了的座標朝向前後左右而各作了1個像素之偏移的8點，來分別算出評價函數之評價值。此時，輸出控制部122，係亦可一面亦針對顯示區域之大小以及傾斜度而使其作改變地，一面算出評價值。
接著，在步驟S4233中，輸出控制部122，係將評價值為最佳之座標，變更為評價對象之座標。此時，當在近旁之8點中存在有評價值會變佳之座標的情況時(S4234/NO)，處理係再度回到步驟S4232，並反覆進行評價(S4232)以及評價對象之座標的更新(S4233)。
當在近旁之8點中成為不會存在有評價值會變佳之座標的情況時(S4234/YES)，在步驟S4235中，輸出控制部122，係判定針對N個的座標所進行之評價(S4232~S4234)是否結束。
當判定為並未結束的情況時(S4235/NO)，處理係再度回到步驟S4232。藉由此，輸出控制部122，係針對未評價之座標，而進行關連於上述步驟S4232~S4234之處理。
當判定為係已結束的情況時(S4235/YES)，在步驟S4236中，輸出控制部122，係決定評價值為最佳 之顯示區域。
以上，係對於顯示區域決定處理之流程的其中一例作了說明。
〔例7〕
本例，係為關連於上述所說明了的具體例8之實施例。在本例中，係參考圖291~圖298，來針對關連於具體例8之內部處理詳細作說明。另外，以下，雖係想定為投影型之資訊處理系統100a來進行說明，但是，不論是參考圖1~圖4所作了說明的何者之形態，均能夠實現以下所說明之例的UI。
(構成例)
圖291，係為對於本例之資訊處理系統100之邏輯性的構成之其中一例作展示之區塊圖。如圖291中所示一般，本例之資訊處理系統100，係具備有輸入部110、和控制部120、以及輸出部130。
(1)輸入部110
本例之輸入部110，例如係藉由取得畫像(靜止畫像或動畫像)之攝像機、以及取得深度資訊之立體攝像機，而實現之。例如，輸入部110，係將所攝像了的攝像畫像以及所取得了的深度資訊，對於控制部120作輸出。輸入部110，係除了攝像時以外，在由輸出部130所致之攝像 畫像之投影時，亦取得深度資訊並對於控制部120作輸出。又，輸入部110，係亦可藉由被設置在桌140a處之觸控感測器或者是遙控器等之任意的輸入裝置來實現，亦可取得聲音輸入或者是觸碰操作等之使用者操作，並對於控制部120作輸出。
(2)輸出部130
本例之輸出部130，係具備有作為顯示畫像之顯示部的功能。例如，輸出部130，係如圖1~圖4中所示一般，藉由從桌140a之上部或下部來對於桌140a進行投影之投影機、觸控面板式或平面面板式之顯示器，來實現之。除此之外，輸出部130，係亦可具備有揚聲器等之作為聲音輸出部之功能。
(3)控制部120
本例之控制部120，係進行用以將對於桌140a上之被攝體作了攝像的攝像畫像以原本之尺寸大小來再現之各種處理。如圖291中所示一般，控制部120，係具備有：具有作為環境資訊取得部4301以及環境資訊積蓄部4303之功能的檢測部121、以及具有作為設定資訊產生部4305之功能的輸出控制部122。
(3-1)環境資訊取得部4301
環境資訊取得部4301，係具有取得環境資訊之功 能。所謂環境資訊，係指會對於資訊處理系統100之輸入或者是從資訊處理系統100而來之輸出造成影響的關連於資訊處理系統100之環境之資訊。例如，攝像時之環境資訊，係為可能會對於在攝像畫像中所照到的被攝體之大小造成影響的資訊。作為攝像時之環境資訊的其中一例，係可列舉出：攝像時之從攝像機起直到桌140a為止的距離(深度資訊)、攝像時之攝像機的畫角、攝像時之攝像機之像素數等。又，投影時之環境資訊，係為可能會對於在所投影之攝像畫像中所出現的被攝體之大小造成影響的資訊。作為投影時之環境資訊的其中一例，係可列舉出：攝像時之從投影機起直到桌140a為止的距離、投影時之投影機的畫角、投影時之投影機之像素數等。
(3-2)環境資訊積蓄部4303
環境資訊積蓄部4303，係具有將藉由環境資訊取得部4301所取得了的環境資訊作積蓄之功能。例如，環境資訊積蓄部4303，係與藉由攝像機所攝像了的攝像畫像附加有對應地，而記憶在該攝像畫像之攝像時所取得的環境資訊。例如，環境資訊，係亦可作為攝像畫像之參數來記憶之。
(3-3)設定資訊產生部4305
設定資訊產生部4305，係具備有產生用以進行由輸出部130所致之攝像畫像之投影的設定資訊之功能。特別 是，設定資訊產生部4305，係基於攝像時之環境資訊以及投影時環境資訊，來產生用以將被攝體之攝像時的模樣以原本之狀態來再現的設定資訊。例如，設定資訊產生部4305，係可算出用以將被攝體以原尺寸大小來再現的投影倍率，並作為設定資訊而產生。以下，參考圖292，針對由設定資訊產生部4305所致之用以將被攝體以原尺寸大小來再現的投影倍率之算出例作說明。
圖292，係為用以針對本例之投影倍率之算出處理作說明的說明圖。圖292之左圖，係為從攝像機或投影機來對於桌140a作觀察的正面圖。圖292之右圖，係為從攝像機(輸入部110)或投影機(輸出部130)之側面來對於桌140a作觀察的側面圖。Y，係代表攝像機或投影機之垂直方向的像素數。L，係代表從攝像機或投影機起直到桌140a為止的距離。θ，係代表攝像機或投影機之垂直方向的畫角。設定資訊產生部4305，例如係依據下式來算出用以將被攝體以原尺寸大小來再現的投影倍率。
另外，Y1係代表攝像時之攝像機的垂直方向之像素數，L1係代表攝像時之從攝像機起直到桌140a為 止的距離，θ1係代表攝像時之攝像機的垂直方向之畫角。又，Y2係代表投影時之投影機的垂直方向之像素數，L2係代表投影時之從投影機起直到桌140a為止的距離，θ2係代表投影時之投影機的垂直方向之畫角。
另外，在圖292中，雖係針對使用垂直方向之像素數Y來算出投影倍率的例子而作了說明，但是係亦可使用水平方向之像素數來進行算出。
設定資訊產生部4305所產生之設定資訊，除了投影倍率以外，係亦可考慮有多種類之設定資訊。例如，設定資訊產生部4305，係亦可算出用以再現被攝體之色調或者是外光之照射程度的亮度或對比度等，並作為設定資訊而產生。
輸出控制部122，係以基於藉由設定資訊產生部4305所產生的設定資訊來投影攝像畫像的方式，而對於輸出部130進行控制。具體而言，輸出控制部122，係以使用藉由設定資訊產生部4305所算出的投影倍率來將攝像畫像作擴大或縮小投影的方式，而對於投影機進行控制。
又，輸出控制部122，係亦能夠以對於使用者輸出用以將被攝體之攝像時的模樣以原本之狀態來作再現之通知的方式，來對於輸出部130進行控制。例如，在將攝像畫像作擴大投影時，可以考慮到會有被作了擴大的攝像畫像無法容納於桌140a中的情況。因此，輸出控制部122，係亦能夠以使被作了擴大的攝像畫像能夠容納於桌 140a中的方式，來對於使用者輸出要求其進行關連於桌140a之調整的通知。
以上，係針對本例之資訊處理系統100的構成例作了說明。接著，參考圖293~圖297，針對本例之使用者介面的具體例作說明。圖293~圖297，係為用以針對本例之使用者介面之其中一例作說明的說明圖。
〔UI例〕
首先，參考圖293~圖295，針對因應於從攝像時起直到投影時為止的環境變化來使投影倍率改變的情況時之使用者介面的具體例作說明。圖293~圖295之左圖，係對於攝像時之被攝體以及環境資訊作展示。設定資訊產生部4305，係因應於圖293~圖295之左圖中所示的攝像時之環境資訊和圖293~圖295之右圖中所示的投影時之環境資訊間的差異，來使用上述數式4而算出投影倍率。之後，如圖293~圖295之右圖中所示一般，輸出部130，係使用所算出的投影倍率來將攝像畫像作投影。作為其中一例，假設攝像時之畫角θ1為45°，距離L1係為1公尺，像素數Y1係為1080像素。
在圖293中，係對於與桌140a間之距離有所改變的例子作展示。具體而言，從攝像機(輸入部110)起直到桌140a為止的距離L1，係為1公尺，相對於此，從投影機(輸出部130)起直到桌140a為止的距離L2，係成為2公尺。因此，如圖293之右圖中所示一般，投影 倍率係成為0.5倍。藉由因應於距離變長的量來進行縮小投影，在攝像畫像中所照到的被攝體係以原本尺寸大小而被投影。另一方面，在距離變短的情況時，藉由進行擴大投影，在攝像畫像中所照到的被攝體係以原本尺寸大小而被投影。
在圖294中，係對於畫角有所改變的例子作展示。具體而言，輸入部110之畫角θ1係為45°，相較於此，輸出部130之畫角θ2係成為60°。因此，如圖294之右圖中所示一般，投影倍率係成為0.72倍。藉由因應於畫角變廣的量來進行縮小投影，在攝像畫像中所照到的被攝體係以原本尺寸大小而被投影。另一方面，在畫角變窄的情況時，藉由進行擴大投影，在攝像畫像中所照到的被攝體係以原本尺寸大小而被投影。
在圖295中，係對於像素數有所改變的例子作展示。具體而言，輸入部110之像素數Y1係為1080像素，相較於此，輸出部130之像素數Y2係成為720像素。因此，如圖295之右圖中所示一般，投影倍率係成為1.5倍。藉由因應於像素數減少的量來進行擴大投影，在攝像畫像中所照到的被攝體係以原本尺寸大小而被投影。另一方面，在像素數增大的情況時，藉由進行縮小投影，在攝像畫像中所照到的被攝體係以原本尺寸大小而被投影。
以上，係因應於從攝像時起直到投影時為止的環境變化來使投影倍率改變的情況時之使用者介面的具 體例作了說明。接著，參考圖296~圖297，針對對於使用者而要求其進行用以將被攝體之攝像時的模樣以原本之狀態來作再現之調整的通知之具體例作說明。
在圖296中，係針對輸出控制部122輸出要求將本體(輸出部130)從螢幕(桌140a)而拉遠30公分的通知之例作展示。使用者，係可將本體拉遠，亦可將桌140a替換為較低者。不論如何，藉由將從輸出部130起直到桌140a為止的距離拉長，攝像畫像係成為被作縮小投影，並成為被容納於桌140a中。除此之外，輸出控制部122，係亦可輸出要求將桌140a替換為面積更廣者的通知。
在圖297中，係針對輸出控制部122將無法容納於桌140a中一事的部份作省略並且在將攝像畫像以原本尺寸大小而作投影的同時亦輸出要求進行捲動的通知之例作展示。使用者，係藉由使投影畫像作捲動，而能夠將被作了省略的部份作偏移並進行投影。於此情況，使用者，係能夠省略像是將本體拉遠或是對於桌140a作替換等的將從輸出部130起直到桌140a為止的距離增長之繁雜操作。另外，使用者，係亦可選擇如同圖296中所示一般地而將本體拉遠，或者是如同圖297中所示一般地而將無法容納的部份省略。選擇，係可在投影時進行，亦可預先作設定，亦可藉由資訊處理系統100來自動地進行。
以上，係針對本例之使用者介面的具體例作了說明。接著，參考圖298，針對由本例之資訊處理系統 100所進行的動作處理之其中一例作說明。
(動作處理)
圖298，係為對於在本例之資訊處理系統100中所實行的顯示控制處理之流程的其中一例作展示之流程圖。
如同圖298中所示一般，首先，在步驟S4302中，設定資訊產生部4305，係對於藉由環境資訊取得部4305而與攝像畫像附加有對應地來作了記憶的環境資訊作參考。在此環境資訊中，例如，係包含有代表攝像時之從攝像機起直到桌140a為止的距離、攝像時之攝像機的畫角以及攝像時之攝像機之像素數的資訊。
接著，在步驟S4304中，環境資訊取得部4301，係取得現在的環境資訊。在此環境資訊中，例如，係包含有代表從投影機起直到桌140a為止的距離、投影機的畫角以及投影機之像素數的資訊。
接著，在步驟S4306中，設定資訊產生部4305，係算出投影倍率。具體而言，設定資訊產生部4305，係藉由將在上述步驟S4302中所參考了的環境資訊以及在上述步驟S4304中所取得的環境資訊適用於上述數式4中，而算出投影倍率。
之後，在步驟S4308中，輸出控制部122，係控制投影機而使其投影攝像畫像。具體而言，輸出控制部122，係以使用在上述步驟S4306中所算出的投影倍率來將攝像畫像作擴大或縮小投影的方式，而對於投影機進行 控制。
以上，係針對由本例之資訊處理系統100所進行的動作處理之其中一例作了說明。
(總結)
如同以上所作了說明一般，若依據本例，則藉由在保存攝像畫像時而將環境資訊附加有對應地預先作保存，並因應於與投影時之環境資訊間的差異來使投影倍率改變，係能夠將被攝體以原本尺寸大小來再現。除此之外，雖然也能夠考慮有將被攝體與香煙盒或者是硬幣等之比較對象物一同作攝像的技術，但是，在該技術中，當投影時之環境為與攝像時相異的情況時，係成為難以以原尺寸大小來進行投影。故而，例如，使用者係需要進行對於實物之比較對象物和所投影了的比較對象物作比較並調整投影倍率等之操作。相對於此，若依據本例，則就算是當投影時之環境為與攝像時相異的情況時，亦能夠將被攝體以原本尺寸大小來再現。
〔例8〕
本例，係為關連於上述所說明了的具體例4之實施例。在本例中，係參考圖299~圖317，來針對關連於具體例4之內部處理詳細作說明。以下，雖係想定為投影型之資訊處理系統100a來進行說明，但是，不論是參考圖1~圖4所作了說明的何者之形態，均能夠實現以下所說 明之例的UI。
(構成例)
首先，針對本例之資訊處理系統100的特徵性構成作說明。
(1)輸入部
本例之輸入部110，係具備有檢測出桌140a上的物體之功能。輸入部110，例如係能夠藉由取得桌140a上之畫像(靜止畫像或動畫像)之攝像機、取得深度資訊之立體攝像機、被設置在桌140a處之觸控感測器等，而實現之。例如，輸入部110，係檢測出對於桌140a之由手指所進行的觸碰，或者是檢測出在將手指離開了的狀態下而浮起於桌140a上之手。之後，輸入部110，係將所檢測出的輸入資訊對於控制部120作輸出。
(2)輸出部130
本例之輸出部130，係具備有作為顯示畫像之顯示部的功能。例如，輸出部130，係如圖1~圖4中所示一般，藉由從桌140a之上部或下部來對於桌140a進行投影之投影機、觸控面板式或平面面板式之顯示器，來實現之。除此之外，輸出部130，係亦可具備有揚聲器等之作為聲音輸出部之功能。
(3)檢測部
．手指檢測功能
本例之檢測部121，係具備有基於從輸入部110所輸出之輸入資訊來檢測出使用者之手指的功能。檢測部121，係具有可操作根數決定功能以及手指檢測功能。
．可操作根數決定功能
檢測部121，係具有決定可操作根數之功能。以下，針對由檢測部121所進行之可操作根數之決定處理詳細作說明。
首先，檢測部121，係決定系統辨識極限根數N根。所謂系統辨識極限根數，係代表資訊處理系統100所能夠辨識之上限的根數，並相當於上述之計算量上之可辨識上限數量。例如，檢測部121，係可針對系統辨識極限根數N根，而根據利用中之應用程式的處理負載來動性地計算出來，亦可根據系統之硬體要件來作為固定值而決定之。
接著，檢測部121，係決定每一應用程式之操作極限根數M根。於此，係設為M≦N。檢測部121，係亦可因應於應用程式之內容來決定操作極限根數M根。例如，檢測部121，若是曲棍球遊戲，則係設為M=2根，若是麻將遊戲，則係設為M=4根。又，檢測部121，係亦可設為M=N。
接著，檢測部121，係決定剩餘根數P根。通 常，檢測部121，係設為P=1根。除此之外，檢測部121，係可設為N>P>=N-M之任意之數。
之後，檢測部121，係將可操作根數決定為(M-P)根。另外，所謂可操作根數，係相當於上述之規格上的可辨識上限數量。藉由剩餘根數，由於可操作根數係至少成為較系統辨識極限根數而更少，因此，資訊處理系統100，係成為能夠針對超過了可操作根數之手指來將無法進行辨識的內容作反饋。
．手指檢測功能
檢測部121，係將使用者之手指，分成具有操作權之手指和並不具有操作權之手指的2種類而檢測出來。檢測部121，係將在直到到達可操作根數為止的期間中所檢測出來之手指，作為具有操作權之手指而檢測出來。之後，檢測部121，係將在到達可操作根數之後所檢測出來之手指，作為不具有操作權之手指而檢測出來。
當具有操作權之手指繼續進行對於桌140a之觸碰的情況時，檢測部121，係繼續對於該手指賦予操作權。另一方面，當具有操作權之手指停止進行對於桌140a之觸碰並結束了操作的情況時，操作權係喪失，並例如將操作權移行至其他之手指。但是，檢測部121，就算是在具有操作權之手指停止進行對於桌140a之觸碰並結束了操作的情況時，當係認為其有可能會再度進行操作的情況時，仍係繼續對於該手指賦予操作權。以下，參考 圖299~圖300，針對有可能會再度進行操作的情況之例作具體性說明。
圖299，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖299所示之例中，係對於使用者將具有操作權之手指從觸碰點4401而遠離了的狀態作展示。例如，檢測部121，當具有操作權之手指從中斷了觸碰起而經過特定之時間以內的情況時，係視為手指為持續存在於以被作了操作的觸碰點4401作為起點之任意之大小的近旁區域4402中。檢測部121，係預先保留操作權，直到經過特定時間為止，並對於對近旁區域4402內作了觸碰的手指賦予所保留了的操作權。另一方面，檢測部121，在經過特定時間後，係將操作權解放，並例如對於其他手指賦予操作權。另外，檢測部121，就算是在經過特定時間之前，也不會對於對近旁區域4402外作了觸碰的手指賦予所保留了的操作權。藉由如此這般地而將操作權保留，例如當使用者中斷操作並將掉到桌140a下之物體拾起時，之後係成為能夠從相同之場所而再度開始操作。
圖300，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖300所示之例中，係對於使用者雖然將具有操作權之手指從觸碰點4403而遠離但是係仍然使手停留在桌140a上的狀態作展示。例如，檢測部121，當雖然具有操作權之手指中斷了觸碰但是仍持續地根據深度資訊等而檢測出手之形狀4404的情況時，係 視為該手為具有操作權。藉由此，例如當使用者在進行了某一操作之後，在維持於伸出手的狀態下而對於畫面內之動畫等作觀賞的情況時，係成為能夠藉由該手來再度開始操作。
又，操作權，除了進行觸碰而開始了操作的手指以外，亦能夠賦予給有可能會進行操作的開始之手指。以下，參考圖301，針對有可能會進行操作的開始之例作具體性說明。
圖301，係為用以針對本例之使用者介面之其中一例作說明的說明圖。在圖301所示之例中，係對於使用者雖然並未進行操作但是為將手指伸出至桌140a上的狀態作展示。例如，檢測部121，當雖然並未檢測出觸碰，但是係根據深度資訊等而檢測出手指的情況時，係對於該手指賦予操作權。藉由此，例如當使用者雖然伸出了手指但是卻有所遲疑而並未立即進行操作的情況時，亦成為能夠進行由該手指所致之操作。
(4)輸出控制部122
本例之輸出控制部122，係具備有以將操作之可否對於使用者作反饋的方式來對於輸出部130進行控制之功能。例如，輸出控制部122，當檢測出了由具有操作權之手指所進行之操作的情況時，係進行代表可進行操作一事的反饋。另一方面，輸出控制部122，當檢測出了由並不具有操作權之手指所進行之操作的情況時，例如當新檢測 出了超過可操作根數之手指的情況時，係進行代表無法進行操作一事的反饋。輸出控制部122，就算是身為超過可操作根數(M-P)根之數量的手指，在直到成為系統辨識極限根數N根為止，仍能夠進行檢測。因此，輸出控制部122，係能夠對於直到到達N根為止之手指，而將代表無法進行操作一事之警告作反饋。
輸出控制部122進行警告之反饋的條件，係可考慮有多種之條件。例如，輸出控制部122，當以特定次數以上而檢測出並不具有操作權之手指的情況時，或者是當於特定期間以上而持續檢測出並不具有操作權之手指的情況時，係亦可將警告作反饋。又，輸出控制部122，係亦可將複數之反饋作組合，亦可對於各反饋設定相異之條件。
例如，輸出控制部122，係可從初次檢測出手指的瞬間起，而輸出代表拖曳開始之使游標之顏色改變的反饋，並從該瞬間之5秒後起，開始進行播放蜂鳴聲之反饋。
以下，參考圖302~圖315，針對由輸出控制部122所進行之反饋的變形例作說明。圖302~圖315，係為用以針對本例之使用者介面之其中一例作說明的說明圖。另外，在圖302~圖312中，係分別展示有代表可進行操作一事之反饋A以及代表無法進行操作一事之反饋B。
在圖302所示之例中，係於輸入場所(指尖或者是觸碰點)處，於可進行操作的情況和無法進行操作 的情況時顯示有相異之色調的記號。
在圖303~圖305所示之例中，係於輸入場所處，於可進行操作的情況和無法進行操作的情況時顯示有相異之形狀的記號。例如，在圖303所示之例中，當身為無法進行操作的情況時，係顯示有對於無法進行操作一事作了表現的×印記之記號。又，在圖304所示之例中，當身為無法進行操作的情況時，係顯示有對於無法進行操作一事作了表現的以手來作出×印記之角色。又，在圖305所示之例中，當身為無法進行操作的情況時，係顯示有對於就算是在範圍之外而移動手也無法進行操作一事作了表現的將手作包圍之記號。
在圖306~圖307所示之例中，係於可進行操作的情況和無法進行操作的情況時，在相異之場所處而顯示有記號。例如，在圖306所示之例中，於可進行操作的情況時，係在輸入場所處顯示有記號，於無法進行操作的情況時，係於手背處顯示有記號。又，在圖307所示之例中，當身為無法進行操作的情況時，係顯示有如同橫切過手指一般之記號。
在圖308~圖310所示之例中，於可進行操作的情況時，係顯示有靜性之記號，於無法進行操作的情況時，係顯示有會動性改變之記號。例如，在圖308所示之例中，於無法進行操作的情況時，係一旦顯示有與可進行操作的情況時相同之記號，但是，係顯示有使該記號散開之特效。藉由此，使用者係能夠得知自身為並不具有操作 權。又，在圖309所示之例中，當身為無法進行操作的情況時，係顯示有記號從指尖起而逐漸爬上手指而移動之特效。又，在圖310所示之例中，當身為無法進行操作的情況時，係顯示有如同將手指推回一般之特效。若依據圖309以及圖310中所示之例，則會促使使用者自發性地將手指抽回。
在圖311所示之例中，係於可進行操作的情況和無法進行操作的情況時，將對於顯示物件之操作的反應作相異之顯示。所謂顯示物件，例如係指應用程式視窗、選單圖符或者是啟動圖符等之可操作的物件。例如，當身為可進行操作的情況時，被作了觸碰的顯示物件係並不會使色調改變。另一方面，當身為無法進行操作的情況時，被作了觸碰的顯示物件之色調係會稀薄化，而對於乃身為無法進行操作一事有所表現。
在圖312所示之例中，當身為無法進行操作的情況時，係顯示有代表無法進行操作一事之訊息。在此例中，作為訊息之其中一例，係顯示有「已超過了能夠進行操作之最大人數」。
在圖313所示之例中，係於遊戲中，於可進行操作的情況和無法進行操作的情況時，顯示有相異之操作物件。例如，在具有操作權之手指的指尖處，係顯示有戰鬥機圖符，使用者係能夠操作戰鬥機而參加遊戲。另一方面，在不具有操作權之手指的指尖處，係顯示有旗幟圖符，使用者係僅能夠搖動旗幟而進行應援。
在圖314所示之例中，係於桌140a上顯示有操作權之消耗數以及剩餘數。例如，在圖314A所示之例中，由於具有操作權之手指係為2根，因此，係顯示有操作權之消耗數為2而剩餘數為1的內容。又，在圖314B所示之例中，由於具有操作權之手指係為3根，因此，係顯示有操作權之消耗數為3而剩餘數為0的內容。又，在圖314C所示之例中，具有操作權之手指係為3根，不具有操作權之手指係為2根。因此，在圖314C所示之例中，係顯示有操作權之消耗數為3而剩餘數為0的內容，並且，係在具有操作權之手指和不具有操作權之手指處而顯示有相異之色調的記號。
在圖315所示之例中，係於可進行操作的情況和無法進行操作的情況時，輸出相異之聲音。例如，係可構成為：於可進行操作的情況時，係並不輸出聲音，於無法進行操作的情況時，則輸出聲音。於此情況，例如係可輸出具有負面性之感覺的蜂鳴音，或者是可輸出像是「已超過人數」之類的言語。另外，輸出控制部122，係亦可從被設置在接近於成為無法進行操作之使用者的場所處之揚聲器而輸出此些之聲音。
以上，係針對本例之資訊處理系統100之特徵性的構成例作了說明。接著，參考圖316以及圖317，針對本例之資訊處理系統100的動作處理作說明。
(動作處理)
圖316，係為對於在本例之資訊處理系統100中所實行的顯示控制處理之流程的其中一例作展示之流程圖。在圖316中，係對於用以決定可操作根數之事前處理的流程之其中一例作展示。
如同圖316中所示一般，首先，在步驟S4402中，檢測部121，係決定系統辨識極限根數N根。
接著，在步驟S4404中，檢測部121，係決定操作極限根數M根。
接著，在步驟S4406中，檢測部121，係決定剩餘根數P根。
之後，在步驟S4408中，檢測部121，係將可操作根數決定為(M-P)根。
以上，係對於用以決定可操作根數之事前處理作了說明。
圖317，係為對於在本例之資訊處理系統100中所實行的顯示控制處理之流程的其中一例作展示之流程圖。在圖317中，係對於當資訊處理系統100檢測出使用者操作時的於每一圖框中之手指之檢測處理的流程之其中一例作展示。於圖317中所示之處理，係當每次圖框被切換而得到新的手指辨識處理對象之資料時，會被反覆進行。
如同圖317中所示一般，首先，在步驟S4412中，檢測部121，係取得手指辨識處理之對象資料。例如，檢測部121，係取得從輸入部110所輸出之輸入資 訊。
接著，在步驟S4414中，檢測部121，係進行以在前一圖框中而具有操作權的手指作為對象之手指辨識處理。此時，檢測部121，係並不僅是對於被檢測出觸碰操作之手指，而是亦包含有參考圖299~圖301而於上述所作了說明的並未被檢測出觸碰操作之手指地，來檢測出具有操作權之手指。另外，檢測部121，係亦可將參考圖299~圖301而於上述所作了說明的檢測技術作組合使用。如此這般，檢測部121，係藉由首先以在前一圖框中而具有操作權的手指作為手指辨識對象，而對於在前一圖框中而具有操作權的手指優先性地賦予操作權。
接著，在步驟S4416中，檢測部121，係判定所辨識出的手指之根數是否到達了系統之辨識極限根數N根。
當判定為到達的情況時(S4416/YES)，處理係結束。
另一方面，當判定為並未到達的情況時(S4416/NO)，在步驟S4418中，檢測部121，係進行將在前一圖框中而並不具有操作權的手指作為對象之手指辨識處理。藉由此，檢測部121，係辨識出從現在之圖框起而新出現的手指。
當並未辨識出新的手指的情況時(S4420/NO)，處理係結束。
另一方面，當辨識出新的手指的情況時 (S4420/YES)，在步驟S4422中，檢測部121，係判定新辨識出之手指是否能夠容納於可操作根數中。
當判定為無法容納的情況時(S4422/NO)，在步驟S4424中，輸出控制部122，係進行代表無法進行操作一事的反饋。輸出控制部122，係亦可將圖302~圖315中所示之反饋例作組合，亦可進行其他之任意的反饋。
另一方面，當判定為能夠容納的情況時(S4422/YES)，在步驟S4426中，檢測部121，係判定由所辨識出之手指所進行的操作是否為有效的操作。
當判定為乃身為有效之操作的情況時(S4426/YES)，在步驟S4428中，檢測部121，係發行操作事件。此時，例如，檢測部121係對於新辨識出之手指賦予操作權。當判定為並非身為有效之操作的情況時(S4426/NO)，係並不發行操作事件。檢測部121，係亦可就算是在並未被發行操作事件的情況時，亦對於新辨識出之手指賦予操作權。
接著，在步驟S4430中，檢測部121，係判定是否直到對象資料之最後為止地而進行了手指辨識處理。例如，檢測部121，係根據在步驟S4418處的手指辨識處理中是否仍存在有未掃描之區域一事，來進行本判定。
當判定為並未直到對象資料之最後為止地而進行了手指辨識處理的情況時(S4430/NO)，處理係再度回到步驟S4416。另一方面，當判定為直到對象資料之 最後為止地而進行了手指辨識處理的情況時(S4430/YES)，現在之圖框的處理係結束。
以上，係針對本例之資訊處理系統100的動作處理作了說明。
〈3.硬體構成例〉
以下，參考圖318，針對本發明之其中一種實施形態之資訊處理系統100的硬體構成作說明。圖318，係為對於本發明之實施形態的資訊處理系統100之硬體構成例作展示之區塊圖。
如圖318中所示一般，資訊處理系統100，係包含有CPU(Central Processing Unit)901、ROM(Read Only Memory)903、以及RAM(Random Access Memory)905。又，資訊處理系統100，係亦可包含有主匯流排907、橋909、外部匯流排911、介面913、輸入裝置915、輸出裝置917、儲存裝置919、驅動裝置921、連接埠923、通訊裝置925。進而，資訊處理系統100，係亦可因應於需要，而包含有攝像裝置933以及感測器935。資訊處理系統100，係亦可代替CPU901，或者是與其一同地，而具備有被稱作DSP(Digital Signal Processor)或者是ASIC(Application Specific Integrated Circuit)之類的處理電路。
CPU901，係作為演算處理裝置以及控制裝置而起作用，並依據被記錄在ROM903、RAM905、儲存裝 置919或者是可移除式記錄媒體927中的各種程式，來對於資訊處理系統100內之動作全體或者是其之一部分作控制。ROM903，係將CPU901所使用的程式和演算參數等作記憶。RAM905，係將在CPU901之實行中所使用的程式和在該實行中而適宜變化的參數等作一次記憶。CPU901、ROM903以及RAM905，係藉由以CPU匯流排等之內部匯流排所構成的主匯流排907而被相互作連接。進而，主匯流排907，係經由橋909，而被與PCI(Peripheral Component Interconnect/Interface)匯流排等之外部匯流排911作連接。
輸入裝置915，例如，係為滑鼠、鍵盤、觸控面板、按鍵、開關以及拉桿等之由使用者所操作的裝置。輸入裝置915，係亦可包含有檢測出使用者之聲音的麥克風。輸入裝置915，例如，係亦可為利用有紅外線或其他電波之遙控器裝置，亦可為與資訊處理系統100之操作相對應的行動電話等之外部連接機器929。輸入裝置915，係包含有基於使用者所輸入了的資訊而產生輸入訊號並輸出至CPU901處之輸入控制電路。使用者，係藉由對於此輸入裝置915進行操作，而對於資訊處理系統100來輸入各種之資料或者是對處理動作下指示。又，後述之攝像裝置933，亦可藉由對於使用者之手的移動等進行攝像，來作為輸入裝置而起作用。
輸出裝置917，係藉由能夠將所取得了的資訊對於使用者而進行視覺性或者是聽覺性通知之裝置所構 成。輸出裝置917，例如，係可為LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)顯示器、投影機等之顯示裝置，全像圖之顯示裝置，揚聲器以及耳機等之聲音輸出裝置，以及印表機裝置等。輸出裝置917，係將藉由資訊處理系統100之處理所得到的結果，作為文字或畫像等之影像而輸出，或者是作為語音或聲響等之聲音而輸出。又，輸出裝置917，係亦可包含有用以使周圍變得明亮之燈光等。
儲存裝置919，係為作為資訊處理系統100之記憶部的其中一例所構成之資料儲存用之裝置。儲存裝置919，例如，係藉由HDD(Hard Disk Drive)等之磁性記憶部元件、半導體記憶元件、光記憶元件、或者是光磁性記憶元件等，而構成之。此儲存裝置919，係將CPU901所實行之程式和各種資料以及從外部所取得的各種資料等作儲存。
驅動裝置921，係為供以磁碟、光碟、光磁碟或者是半導體記憶體等之可移除式記錄媒體927所使用之讀寫機器，並內藏或者是外接於資訊處理系統100。驅動裝置921，係將在所裝著的可移除式記錄媒體927中所記錄的資訊讀出，並輸出至RAM905。又，驅動裝置921，係將記錄寫入至所裝著的可移除式記錄媒體927中。
連接埠923，係為用以將機器直接連接於資訊處理系統100的埠。連接埠923，例如，係可為USB (Universal Serial Bus)埠、IEEE1394埠、SCSI(Small Computer System Interface)埠等。又，連接埠923，係亦可為RS-232C埠、光音響端子、HDMI(登記商標)(High-Definition Multimedia Interface)埠等。藉由將外部連接機器929連接於連接埠923處，係能夠在資訊處理系統100和外部連接機器929之間將各種資料作交換。
通訊裝置925，例如，係為藉由用以與通訊網路931作連接之通訊元件等所構成的通訊介面。通訊裝置925，例如，係可為有線或無線LAN(Local Area Network)、Bluetooth(登記商標)、或者是WUSB(Wireless USB)用之通訊卡等。又，通訊裝置925，係亦可為光通訊用之路由器、ADSL(Asymmetric Digital Subscriber Line)用之路由器、或者是各種通訊用之數據機等。通訊裝置925，例如，係在其與網際網路或其他通訊機器之間，而使用TCP/IP等之特定的通訊協定來將訊號等進行送受訊。又，被與通訊裝置925作連接之通訊網路931，係為藉由有線或無線所連接之網路，例如，係為網際網路、家庭內LAN、紅外線通訊、無線電波通訊或衛星通訊等。
攝像裝置933，例如係為使用CCD(Charge Coupled Device)或者是CMOS(Complementary Metal Oxide Semiconductor)等之攝像元件、以及用以控制對於攝像元件之被攝體像的結像之透鏡等的各種之構件，來對於實際空間進行攝像並產生攝像畫像之裝置。攝像裝置 933，係可為攝像靜止畫像者，或者是亦可為攝像動畫者。
感測器935，例如，係為加速度感測器、陀螺儀感測器、地磁感測器、光感測器、聲音感測器等之各種的感測器。感測器935，例如係取得資訊處理系統100之框體的姿勢等之關連於資訊處理系統100自身之狀態的資訊、或者是資訊處理系統100之周邊的亮度或噪音等之關連於資訊處理系統100之周邊環境之資訊。又，感測器935，係亦可包含有受訊GPS(Global Positioning System)訊號並對於裝置之緯度、經度以及高度作測定的GPS感測器。
以上，係針對資訊處理系統100之硬體構成例的其中一例作了展示。上述之各構成要素，係可使用汎用性之構件來構成，亦可藉由特化為各構成要素之功能的硬體來構成。該些構成，係可因應於實施時之技術水準來適宜作變更。
〈4.總結〉
如同以上所說明一般，若依據本發明之其中一種實施形態，則係提供一種能夠因應於欲將資訊作顯示之環境以及所顯示之資訊的狀況而更加適當且更有效率地來顯示資訊之資訊處理系統100。
本說明書之各裝置所實行的處理中之各步驟，係並非一定需要沿著作為序列圖或流程圖所記載的順 序來以時間系列而進行處理。例如，各裝置所實行之處理中的各步驟，係亦能夠以與作為流程圖所記載之順序相異的順序來進行處理，或者是亦可平行性地進行處理。
又，係亦能夠作成用以使內藏於各裝置中之CPU、ROM以及RAM等之硬體發揮與上述之各裝置的構成同等之功能的電腦程式。又，係亦能夠提供將該電腦程式作了記憶的記憶媒體。又，藉由將在功能區塊圖中所示之各功能以硬體來構成之，係亦能夠將一連串的處理藉由硬體來實現之。
以上，雖係參考所添附之圖面而針對本發明之合適之實施形態作了詳細說明，但是本發明之技術性範圍係並不被限定於該些例子。只要是在本發明之技術領域中具備有通常知識者，則當然的，係可在申請專利範圍所記載之技術性思想的範疇內，而思及各種之變更例或修正例，應理解到，針對該些，亦當然為隸屬於本發明之技術性範圍中者。
另外，實現在上述實施形態中所展示之使用者介面和應用程式的軟體，係亦可作為透過網際網路等之網路來使用的網路應用程式來實現之。網路應用程式，例如，係亦可藉由HTML(Hyper Text Markup Language)、SGML(Standard Generalized Markup Language)、XML(Extensible Markup Language)等之標記語言來實現之。
又，在本說明書中所記載之效果，係僅為說 明性或例示性者，而並非為限定性之記載。亦即是，本揭示之技術，係亦能夠與上述之效果一同地或者是代替上述之效果地，而發揮當業者能夠根據本說明書之記載所清楚得知之其他的效果。
另外，下述一般之構成，亦係為隸屬於本發明之技術性範圍中。
(1)
一種控制裝置，其特徵為，係具備有：產生部，係當藉由檢測部所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸出部而使其進行被與該條件附加有對應之輸出的前述控制資訊。
(2)
如前述(1)所記載之控制裝置，其中，藉由前述檢測部所檢測出之顯示面上之狀態，係為對於位置在前述顯示面上之物件所進行的操作。
(3)
如前述(1)或(2)所記載之控制裝置，其中，藉由前述檢測部所檢測出之顯示面上之狀態，係為位置在前述顯示面上之物件，前述產生部，係當藉由前述檢測部所檢測出的前述物件之狀態滿足前述特定之條件的情況時，產生用以控制前述輸出部而使其進行與該條件相對應之輸出的前述控制資訊。
(4)
如前述(1)~(3)中之任一者所記載之控制裝置， 其中，前述產生部，係當將從前述輸出部而來之輸出與前述條件相互附加對應時，產生用以控制前述輸出部而使其進行用來讓使用者將前述條件以及前述輸出部之輸出作輸入的輸出之前述控制資訊。
(5)
如前述(4)所記載之控制裝置，其中，前述產生部，係產生用以藉由對於前述顯示面之使用者的操作來輸入附加對應之前述條件以及從前述輸出部而來之輸出的前述控制資訊。
(6)
如前述(5)所記載之控制裝置，其中，前述產生部，係產生用以作為前述條件而將使用者所發出之聲音作附加對應的前述控制資訊。
(7)
如前述(5)所記載之控制裝置，其中，前述產生部，係產生用以作為前述條件而將被放置在前述顯示面上的物體之狀態作附加對應的前述控制資訊。
(8)
如前述(5)所記載之控制裝置，其中，前述產生部，係產生用以作為前述條件而將前述顯示面上之狀態作附加對應的前述控制資訊。
(9)
如前述(5)所記載之控制裝置，其中，前述產生部，係產生用以作為從前述輸出部而來之輸出而將從前述 輸出部來輸出特定之映像一事作附加對應的前述控制資訊。
(10)
如前述(5)所記載之控制裝置，其中，前述產生部，係產生用以作為從前述輸出部而來之輸出而將從前述輸出部來輸出特定之聲音一事作附加對應的前述控制資訊。
(11)
一種控制方法，其特徵為，係包含有：當所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸出部而使其進行被與該條件附加有對應之輸出的前述控制資訊之步驟。
(12)
一種電腦程式，其特徵為，係使電腦實行下述步驟：當所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸出部以使其進行被與該條件附加有對應之輸出的前述控制資訊之步驟。
100a‧‧‧資訊處理系統
110a‧‧‧輸入部
130a‧‧‧輸出部
140a‧‧‧桌

Claims (12)

  1. 一種控制裝置，其特徵為，係具備有：產生部，係當藉由檢測部所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸出部而使其進行被與該條件附加有對應之輸出的前述控制資訊。
  2. 如申請專利範圍第1項所記載之控制裝置，其中，藉由前述檢測部所檢測出之顯示面上之狀態，係為對於位置在前述顯示面上之物件所進行的操作。
  3. 如申請專利範圍第1項所記載之控制裝置，其中，藉由前述檢測部所檢測出之顯示面上之狀態，係為位置在前述顯示面上之物件，前述產生部，係當藉由前述檢測部所檢測出的前述物件之狀態滿足前述特定之條件的情況時，產生用以控制前述輸出部而使其進行與該條件相對應之輸出的前述控制資訊。
  4. 如申請專利範圍第1項所記載之控制裝置，其中，前述產生部，係當將從前述輸出部而來之輸出與前述條件相互附加對應時，產生用以控制前述輸出部而使其進行用來讓使用者將前述條件以及前述輸出部之輸出作輸入的輸出之前述控制資訊。
  5. 如申請專利範圍第4項所記載之控制裝置，其中，前述產生部，係產生用以藉由對於前述顯示面之使用者的操作來輸入附加對應之前述條件以及前述輸出部之輸 出的前述控制資訊。
  6. 如申請專利範圍第5項所記載之控制裝置，其中，前述產生部，係產生用以作為前述條件而將使用者所發出之聲音作附加對應的前述控制資訊。
  7. 如申請專利範圍第5項所記載之控制裝置，其中，前述產生部，係產生用以作為前述條件而將被放置在前述顯示面上之物體的狀態作附加對應的前述控制資訊。
  8. 如申請專利範圍第5項所記載之控制裝置，其中，前述產生部，係產生用以作為前述條件而將前述顯示面上之狀態作附加對應的前述控制資訊。
  9. 如申請專利範圍第5項所記載之控制裝置，其中，前述產生部，係產生用以作為從前述輸出部而來之輸出而將從前述輸出部來輸出特定之映像一事作附加對應的前述控制資訊。
  10. 如申請專利範圍第5項所記載之控制裝置，其中，前述產生部，係產生用以作為從前述輸出部而來之輸出而將從前述輸出部來輸出特定之聲音一事作附加對應的前述控制資訊。
  11. 一種控制方法，其特徵為，係包含有：當所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸出部而使其進行被與該條件附加有對應之輸出的前述控制資訊之步驟。
  12. 一種電腦程式，其特徵為，係使電腦實行下述步驟： 當所檢測出的顯示面上之狀態滿足特定之條件的情況時，產生用以控制輸出部以使其進行被與該條件附加有對應之輸出的前述控制資訊之步驟。
TW103130314A 2013-12-27 2014-09-02 控制裝置、控制方法及電腦程式 TW201531917A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013273369 2013-12-27

Publications (1)

Publication Number Publication Date
TW201531917A true TW201531917A (zh) 2015-08-16

Family

ID=53478073

Family Applications (4)

Application Number Title Priority Date Filing Date
TW103130312A TW201528112A (zh) 2013-12-27 2014-09-02 控制裝置、控制方法及電腦程式
TW103130313A TW201525772A (zh) 2013-12-27 2014-09-02 顯示控制裝置、顯示控制方法及程式
TW103130314A TW201531917A (zh) 2013-12-27 2014-09-02 控制裝置、控制方法及電腦程式
TW103130310A TW201525835A (zh) 2013-12-27 2014-09-02 顯示控制裝置、顯示控制方法及程式

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW103130312A TW201528112A (zh) 2013-12-27 2014-09-02 控制裝置、控制方法及電腦程式
TW103130313A TW201525772A (zh) 2013-12-27 2014-09-02 顯示控制裝置、顯示控制方法及程式

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103130310A TW201525835A (zh) 2013-12-27 2014-09-02 顯示控制裝置、顯示控制方法及程式

Country Status (9)

Country Link
US (4) US20170041581A1 (zh)
EP (4) EP3089446A4 (zh)
JP (5) JP6555129B2 (zh)
KR (4) KR20160102411A (zh)
CN (4) CN106104455A (zh)
BR (2) BR112016014491A2 (zh)
RU (4) RU2016124465A (zh)
TW (4) TW201528112A (zh)
WO (4) WO2015098189A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI652599B (zh) 2017-03-08 2019-03-01 新加坡商雲網科技新加坡有限公司 子畫面顯示方法和裝置

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5942840B2 (ja) * 2012-12-21 2016-06-29 ソニー株式会社 表示制御システム及び記録媒体
USD852828S1 (en) * 2013-04-05 2019-07-02 Thales Avionics, Inc. Display screen or portion thereof with graphical user interface
USD738889S1 (en) * 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR102271853B1 (ko) * 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
JP6585628B2 (ja) * 2014-12-26 2019-10-02 マクセル株式会社 照明装置
US11106314B2 (en) * 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
KR20160125783A (ko) * 2015-04-22 2016-11-01 삼성전자주식회사 컨텐츠를 표시하기 위한 방법 및 전자 장치
USD795917S1 (en) 2015-05-17 2017-08-29 Google Inc. Display screen with an animated graphical user interface
JP6213613B2 (ja) * 2015-05-25 2017-10-18 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
WO2017006426A1 (ja) * 2015-07-07 2017-01-12 日立マクセル株式会社 表示システム、ウェアラブルデバイス、および映像表示装置
JP6809467B2 (ja) * 2015-08-24 2021-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6747446B2 (ja) * 2015-09-18 2020-08-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107923582A (zh) 2015-09-28 2018-04-17 麦克赛尔株式会社 照明装置
JP6650612B2 (ja) * 2015-10-06 2020-02-19 パナソニックＩｐマネジメント株式会社 照明制御装置及び照明システム
US10645309B2 (en) * 2015-11-06 2020-05-05 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
CN112911197B (zh) * 2015-11-24 2024-06-11 麦克赛尔株式会社 影像信息处理系统、移动通信终端和影像信息处理方法
JP2017102290A (ja) * 2015-12-02 2017-06-08 株式会社 オルタステクノロジー 投影表示装置
JP6645151B2 (ja) * 2015-12-07 2020-02-12 富士通株式会社 投影装置、投影方法及び投影用コンピュータプログラム
US20170185364A1 (en) * 2015-12-28 2017-06-29 Lunatech, Llc Methods and Systems For a Dual Function Multimedia Device
USD793440S1 (en) * 2016-01-26 2017-08-01 Google Inc. Display screen with transitional graphical user interface
CN105509663B (zh) * 2016-02-17 2019-12-27 京东方光科技有限公司 一种背光源平整度检测系统及检测方法
US10129510B2 (en) * 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
KR101773772B1 (ko) * 2016-03-17 2017-09-04 주식회사 아보네 그림자 출력장치를 이용한 주문 관리 시스템
WO2017197452A1 (en) * 2016-05-16 2017-11-23 Sensen Networks Pty Ltd System and method for automated table game activity recognition
US10481863B2 (en) 2016-07-06 2019-11-19 Baidu Usa Llc Systems and methods for improved user interface
US10558288B2 (en) 2016-07-07 2020-02-11 Samsung Display Co., Ltd. Multi-touch display panel and method of controlling the same
USD812635S1 (en) 2016-07-07 2018-03-13 Baidu Usa Llc. Display screen or portion thereof with graphical user interface
USD817337S1 (en) * 2016-07-07 2018-05-08 Baidu Usa Llc Display screen or portion thereof with graphical user interface
USD815110S1 (en) * 2016-07-07 2018-04-10 Baidu Usa Llc Display screen or portion thereof with graphical user interface
KR20180017796A (ko) 2016-08-11 2018-02-21 주식회사 엘지화학 황-탄소 복합체, 이의 제조방법 및 이를 포함하는 리튬-황 전지
JP6980990B2 (ja) * 2016-08-31 2021-12-15 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
JP6556680B2 (ja) * 2016-09-23 2019-08-07 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム
WO2018096804A1 (ja) * 2016-11-25 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN106730827B (zh) 2016-12-06 2018-10-19 腾讯科技（深圳）有限公司 一种对象显示的方法以及终端设备
US11086393B2 (en) 2016-12-27 2021-08-10 Sony Corporation Information processing device, information processing method, and computer program
WO2018123475A1 (ja) * 2016-12-27 2018-07-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2018106535A (ja) * 2016-12-27 2018-07-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2018147143A1 (ja) * 2017-02-09 2018-08-16 ソニー株式会社 情報処理装置および情報処理方法
JP2018128979A (ja) * 2017-02-10 2018-08-16 パナソニックＩｐマネジメント株式会社 厨房支援システム
WO2018150756A1 (ja) * 2017-02-15 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記憶媒体
JP6903935B2 (ja) * 2017-02-17 2021-07-14 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
JP6769346B2 (ja) * 2017-03-02 2020-10-14 富士通株式会社 制御プログラム、制御方法、および情報処理端末
CN108570820B (zh) * 2017-03-07 2021-12-14 青岛胶南海尔洗衣机有限公司 一种应用于家用电器的显示装置及洗衣机
CN108570823B (zh) * 2017-03-07 2021-09-17 青岛胶南海尔洗衣机有限公司 一种应用于家用电器的显示装置及洗衣机
USD834611S1 (en) * 2017-03-14 2018-11-27 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
USD854560S1 (en) * 2017-03-17 2019-07-23 Health Management Systems, Inc. Display screen with animated graphical user interface
US10511818B2 (en) * 2017-03-29 2019-12-17 Intel Corporation Context aware projection
CN110537213B (zh) * 2017-04-24 2021-08-03 三菱电机株式会社 通知控制装置及通知控制方法
JP6463527B2 (ja) * 2017-05-12 2019-02-06 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
JP2018205478A (ja) * 2017-06-02 2018-12-27 セイコーエプソン株式会社 表示装置および表示装置の制御方法
JP7115475B2 (ja) * 2017-06-19 2022-08-09 ソニーグループ株式会社 画像処理装置およびその方法
CN107469351B (zh) * 2017-06-20 2021-02-09 网易（杭州）网络有限公司 游戏画面显示方法及装置、存储介质、电子设备
CN107277476B (zh) * 2017-07-20 2023-05-12 苏州名雅科技有限责任公司 一种适合在旅游景点供儿童互动体验的多媒体设备
CN107231516A (zh) * 2017-07-27 2017-10-03 重庆万建电子工程有限责任公司重庆第分公司 带刮灰结构的半球型摄像机
WO2019039119A1 (ja) * 2017-08-23 2019-02-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
USD857710S1 (en) * 2017-08-30 2019-08-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD859429S1 (en) * 2017-08-30 2019-09-10 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
JPWO2019044104A1 (ja) * 2017-08-31 2020-08-13 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2019058521A1 (ja) * 2017-09-22 2019-03-28 ｐｏｐＩｎ株式会社 プロジェクタおよびプロジェクタシステム
USD857722S1 (en) * 2017-10-24 2019-08-27 Atlas Biomed Group Limited Display screen with graphical user interface
KR101972134B1 (ko) * 2017-10-31 2019-05-03 화남전자 주식회사 건설장비의 자동 캘리브레이션을 위한 변형 방지 삼각형 마커
US11144153B2 (en) * 2017-12-07 2021-10-12 Elliptic Laboratories As User interface with acoustic proximity and position sensing arrangements
USD841047S1 (en) * 2017-12-11 2019-02-19 Citrix Systems, Inc. Display screen or portion thereof with transitional graphical user interface
CN109920320B (zh) * 2017-12-12 2020-12-25 成都金都超星天文设备有限公司 一种操控天象仪进行天象演示的方法及控制系统
KR102007661B1 (ko) * 2017-12-15 2019-08-06 원광대학교산학협력단 원격주문 제어시스템 및 그의 제어방법
JP6693495B2 (ja) 2017-12-15 2020-05-13 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
USD868800S1 (en) * 2018-01-05 2019-12-03 Google Llc Display screen or portion thereof with graphical user interface
JP7124336B2 (ja) * 2018-02-23 2022-08-24 京セラドキュメントソリューションズ株式会社 表示制御装置
US12032873B2 (en) 2018-02-23 2024-07-09 Nec Corporation Registration apparatus, registration method, and non-transitory storage medium
WO2019163095A1 (ja) 2018-02-23 2019-08-29 日本電気株式会社 登録装置、登録方法及びプログラム
US11875757B2 (en) * 2018-03-02 2024-01-16 Nec Corporation Information processing system
FR3079049B1 (fr) * 2018-03-13 2021-10-15 Immersion Procede de manipulation de contenant et contenu d'une information numerique
WO2019190511A1 (en) * 2018-03-28 2019-10-03 Rovi Guides, Inc. Systems and methods to provide media asset recommendations based on positioning of internet connected objects on an network-connected surface
CN108525285A (zh) * 2018-03-31 2018-09-14 千本樱科技成都有限公司 一种麻将自动算牌器及方法
CN108613151A (zh) * 2018-05-25 2018-10-02 讯飞幻境(北京)科技有限公司 一种智能台灯的控制系统
US10694285B2 (en) 2018-06-25 2020-06-23 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10433086B1 (en) 2018-06-25 2019-10-01 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10210882B1 (en) 2018-06-25 2019-02-19 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10936163B2 (en) 2018-07-17 2021-03-02 Methodical Mind, Llc. Graphical user interface system
JP2020042592A (ja) * 2018-09-11 2020-03-19 ソニー株式会社 情報処理装置、描画制御方法及びそのプログラムを記録した記録媒体
US12062233B2 (en) 2018-10-01 2024-08-13 Sony Corporation Information processing apparatus and information processing method
TWI699543B (zh) * 2018-11-09 2020-07-21 國立雲林科技大學 主動式打火機聲源辨識系統
JP7424309B2 (ja) 2018-11-21 2024-01-30 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10884614B1 (en) * 2018-11-30 2021-01-05 Zoox, Inc. Actuation interface
CN109656439A (zh) * 2018-12-17 2019-04-19 北京小米移动软件有限公司 快捷操作面板的显示方法、装置及存储介质
JP7176398B2 (ja) * 2018-12-21 2022-11-22 トヨタ自動車株式会社 制御装置、車両、画像表示システム、及び画像表示方法
CN109683714B (zh) 2018-12-28 2021-08-31 北京小米移动软件有限公司 多媒体资源管理方法、装置及存储介质
KR102653252B1 (ko) * 2019-02-21 2024-04-01 삼성전자 주식회사 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
JP7188176B2 (ja) * 2019-02-25 2022-12-13 セイコーエプソン株式会社 プロジェクター、画像表示システム及び画像表示システムの制御方法
TWI739069B (zh) * 2019-03-04 2021-09-11 仁寶電腦工業股份有限公司 遊戲裝置與辨識遊戲裝置的方法
US11432086B2 (en) 2019-04-16 2022-08-30 Biamp Systems, LLC Centrally controlling communication at a venue
US10743105B1 (en) * 2019-05-31 2020-08-11 Microsoft Technology Licensing, Llc Sending audio to various channels using application location information
TWI714163B (zh) * 2019-07-11 2020-12-21 緯創資通股份有限公司 控制投影內容的方法及電子裝置
JP7363163B2 (ja) * 2019-07-26 2023-10-18 日本電気株式会社 監視装置、監視方法、および、プログラム、並びに、監視システム
JP7285481B2 (ja) * 2019-07-30 2023-06-02 パナソニックＩｐマネジメント株式会社 照明システム、及び、制御装置
USD953347S1 (en) * 2019-09-02 2022-05-31 Huawei Technologies Co., Ltd. Electronic display for a wearable device presenting a graphical user interface
JP7363235B2 (ja) * 2019-09-10 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7319888B2 (ja) * 2019-10-16 2023-08-02 日本たばこ産業株式会社 情報処理装置、プログラム及び情報処理システム
JP7320753B2 (ja) * 2019-10-31 2023-08-04 パナソニックＩｐマネジメント株式会社 制御システム
EP4115271A1 (en) 2020-03-04 2023-01-11 Abusizz AG Interactive display apparatus and method for operating the same
US11416127B2 (en) 2020-03-10 2022-08-16 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
EP3933560A1 (en) * 2020-06-30 2022-01-05 Spotify AB Methods and systems for providing animated visual feedback for voice commands
US11481938B2 (en) 2020-10-02 2022-10-25 Adobe Inc. Adaptable drawing guides
US11741517B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system for document management
US11429957B1 (en) 2020-10-26 2022-08-30 Wells Fargo Bank, N.A. Smart table assisted financial health
US11397956B1 (en) 2020-10-26 2022-07-26 Wells Fargo Bank, N.A. Two way screen mirroring using a smart table
US11727483B1 (en) 2020-10-26 2023-08-15 Wells Fargo Bank, N.A. Smart table assisted financial health
US11740853B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system utilizing extended reality
US11457730B1 (en) 2020-10-26 2022-10-04 Wells Fargo Bank, N.A. Tactile input device for a touch screen
USD973068S1 (en) * 2020-11-10 2022-12-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP7112627B2 (ja) * 2020-11-30 2022-08-04 ソニーグループ株式会社 制御装置、制御方法及びプログラム
JP7321196B2 (ja) * 2021-01-05 2023-08-04 三菱電機株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7243748B2 (ja) * 2021-02-03 2023-03-22 セイコーエプソン株式会社 設定方法、及びプログラム
US20220291795A1 (en) * 2021-03-09 2022-09-15 Lenovo (Singapore) Pte. Ltd. Projecting interfaces on a surface
WO2022239152A1 (ja) * 2021-05-12 2022-11-17 日本電信電話株式会社 情報提示装置、情報提示方法、及びプログラム
US11545118B2 (en) * 2021-05-19 2023-01-03 Business Objects Software Ltd. Display of out-of-window status indicators in a virtual shelf of a diagram window
CN113568591B (zh) * 2021-06-15 2023-06-20 青岛海尔科技有限公司 智能设备的控制方法及控制装置、智能设备、智能餐桌
KR102364497B1 (ko) * 2021-10-20 2022-02-18 (주)유비더스시스템 인테리어 매질을 이용한 정전기식 터치 스크린 시스템
CN113873421B (zh) * 2021-12-01 2022-03-22 杭州当贝网络科技有限公司 一种基于投屏设备实现天空声音效的方法和系统
KR102443108B1 (ko) * 2022-05-02 2022-09-14 경상남도 (교육청) 스마트 홈 암호 찾기 게임을 수행하기 위한 스마트 홈 암호 찾기 게임 장치
KR102446676B1 (ko) * 2022-05-02 2022-09-26 (주) 아하 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법
EP4273677A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
TWI823789B (zh) * 2022-05-27 2023-11-21 陳泰生 電動麻將桌收牌啟閉裝置
JP7561388B2 (ja) 2022-08-09 2024-10-04 株式会社ラムダシステム コンピュータ、プログラム、システムおよび情報処理方法
JP7280453B1 (ja) * 2023-02-07 2023-05-23 株式会社サン・コンピュータ 麻雀点数計算システム、麻雀点数計算方法、および麻雀点数計算プログラム

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107638A (ja) * 1991-10-18 1993-04-30 Fujitsu General Ltd 投射型表示装置
JPH08123652A (ja) 1994-10-26 1996-05-17 Sony Corp 表示装置
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP2004233845A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 情報処理装置および表示輝度制御方法
US7370284B2 (en) * 2003-11-18 2008-05-06 Laszlo Systems, Inc. User interface for displaying multiple applications
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP3899375B2 (ja) 2004-09-03 2007-03-28 国立大学法人北陸先端科学技術大学院大学 表示制御装置
JP4664665B2 (ja) 2004-12-22 2011-04-06 オリンパスイメージング株式会社 デジタルプラットフォーム装置
JP2006287735A (ja) 2005-04-01 2006-10-19 Fuji Photo Film Co Ltd 画像音声記録装置及び集音方向調整方法
JP2007036482A (ja) 2005-07-25 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 情報投影表示装置およびプログラム
US7911444B2 (en) * 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
JP2007282077A (ja) 2006-04-11 2007-10-25 Seiko Epson Corp 放送受信装置および放送受信方法
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
JP2008033049A (ja) 2006-07-28 2008-02-14 Ricoh Co Ltd 対象物指示装置
DE602006003096D1 (de) 2006-08-04 2008-11-20 Harman Becker Automotive Sys Methode und System zur Verarbeitung von Stimmkommandos in einer Fahrzeugumgebung
JP5464786B2 (ja) 2006-12-21 2014-04-09 キヤノン株式会社 情報処理装置、制御方法、及び制御プログラム
JP2009025921A (ja) 2007-07-17 2009-02-05 Canon Inc 情報処理装置及びその制御方法、プログラム、記録媒体
GB2472702A (en) * 2008-04-10 2011-02-16 World Properties Inc Circuit materials with improved bond, method of manufacture thereof, and articles formed therefrom
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
JP2010113455A (ja) * 2008-11-05 2010-05-20 Toshiba Corp 画像処理装置および画像処理プログラム
JP2011040227A (ja) * 2009-08-07 2011-02-24 Sharp Corp 照明装置、照明システム及び照明装置の制御方法
JP4687820B2 (ja) 2009-11-09 2011-05-25 ソニー株式会社 情報入力装置及び情報入力方法
US9185509B2 (en) 2009-12-23 2015-11-10 Nokia Technologies Oy Apparatus for processing of audio signals
RU2012136436A (ru) 2010-01-27 2014-03-10 Конинклейке Филипс Электроникс Н.В. Способ управления системой освещения для видео
JP5648298B2 (ja) * 2010-03-15 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2011227199A (ja) 2010-04-16 2011-11-10 Nec Casio Mobile Communications Ltd 雑音抑圧装置、雑音抑圧方法及びプログラム
JP2011248768A (ja) 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
JP5516102B2 (ja) * 2010-06-11 2014-06-11 セイコーエプソン株式会社 光学式位置検出装置、電子機器及び表示装置
JP2012058704A (ja) 2010-09-13 2012-03-22 Sanyo Electric Co Ltd 録音装置、録音条件設定方法および録音条件設定プログラム
US8682030B2 (en) * 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
US8502816B2 (en) * 2010-12-02 2013-08-06 Microsoft Corporation Tabletop display providing multiple views to users
KR101591579B1 (ko) * 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US8643703B1 (en) * 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
US20130057587A1 (en) * 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US8976135B2 (en) * 2011-10-13 2015-03-10 Autodesk, Inc. Proximity-aware multi-touch tabletop
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9223415B1 (en) * 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
JP2013182624A (ja) 2012-03-01 2013-09-12 Toshiba Corp 情報処理装置、スケジュール表示プログラム
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
JP2013214259A (ja) 2012-04-04 2013-10-17 Sharp Corp 表示装置
JP6217058B2 (ja) * 2012-05-09 2017-10-25 セイコーエプソン株式会社 画像表示システム
US8837780B2 (en) 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
CN103092344A (zh) 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端
WO2014123224A1 (ja) * 2013-02-08 2014-08-14 株式会社ニコン 電子制御装置、制御方法、及び制御プログラム
TWI553544B (zh) * 2013-02-27 2016-10-11 緯創資通股份有限公司 電子裝置及影像調整方法
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
KR102070623B1 (ko) * 2013-07-09 2020-01-29 삼성전자 주식회사 비트 라인 등화 회로

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI652599B (zh) 2017-03-08 2019-03-01 新加坡商雲網科技新加坡有限公司 子畫面顯示方法和裝置

Also Published As

Publication number Publication date
US20170038892A1 (en) 2017-02-09
RU2016124466A (ru) 2017-12-25
CN106134190A (zh) 2016-11-16
JPWO2015098190A1 (ja) 2017-03-23
EP3089013A4 (en) 2017-11-22
RU2016124468A (ru) 2017-12-25
EP3089446A1 (en) 2016-11-02
JPWO2015098187A1 (ja) 2017-03-23
JP6555129B2 (ja) 2019-08-07
TW201525835A (zh) 2015-07-01
CN105830005A (zh) 2016-08-03
JP6428641B2 (ja) 2018-11-28
EP3089446A4 (en) 2017-10-25
WO2015098188A1 (ja) 2015-07-02
EP3089011A1 (en) 2016-11-02
EP3089011A4 (en) 2017-11-15
WO2015098189A1 (ja) 2015-07-02
BR112016014491A2 (pt) 2017-08-08
RU2016124465A (ru) 2017-12-25
BR112016014515A2 (pt) 2017-08-08
JP6795061B2 (ja) 2020-12-02
EP3089013A1 (en) 2016-11-02
WO2015098187A1 (ja) 2015-07-02
EP3089012A4 (en) 2017-08-02
US20170041581A1 (en) 2017-02-09
RU2016124467A (ru) 2017-12-25
US11146771B2 (en) 2021-10-12
KR20160102180A (ko) 2016-08-29
KR20160102179A (ko) 2016-08-29
TW201528112A (zh) 2015-07-16
KR20160102411A (ko) 2016-08-30
WO2015098190A1 (ja) 2015-07-02
JPWO2015098188A1 (ja) 2017-03-23
TW201525772A (zh) 2015-07-01
US20170031530A1 (en) 2017-02-02
EP3089012A1 (en) 2016-11-02
CN106104455A (zh) 2016-11-09
KR20160102412A (ko) 2016-08-30
US20170039030A1 (en) 2017-02-09
CN105850116A (zh) 2016-08-10
JP2019185812A (ja) 2019-10-24
JPWO2015098189A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP6795061B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN106502638B (zh) 用于提供视听反馈的设备、方法和图形用户界面
KR102636000B1 (ko) 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
CN106257392B (zh) 用于导航媒体内容的设备、方法和图形用户界面
US10134358B2 (en) Head mounted display device and method for controlling the same
US20200379715A1 (en) User interfaces for content applications
US20170168651A1 (en) Information processing apparatus, control method, and program
CN106227344A (zh) 电子设备及其控制方法
US20240333829A1 (en) User interfaces associated with remote input devices
CN110109730A (zh) 用于提供视听反馈的设备、方法和图形用户界面
US20240077991A1 (en) Content output devices and user interfaces
Centers Take Control of iOS 17 and iPadOS 17
WO2023091627A1 (en) Systems and methods for managing captions
Kajastila Interaction with eyes-free and gestural interfaces