WO2019198381A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019198381A1
WO2019198381A1 PCT/JP2019/008362 JP2019008362W WO2019198381A1 WO 2019198381 A1 WO2019198381 A1 WO 2019198381A1 JP 2019008362 W JP2019008362 W JP 2019008362W WO 2019198381 A1 WO2019198381 A1 WO 2019198381A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
projection
screen
processing apparatus
projected
Prior art date
Application number
PCT/JP2019/008362
Other languages
English (en)
French (fr)
Inventor
真生 近藤
宏崇 田幸
芳恭 久保田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/045,488 priority Critical patent/US20210158730A1/en
Priority to JP2020513117A priority patent/JPWO2019198381A1/ja
Publication of WO2019198381A1 publication Critical patent/WO2019198381A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program that can be applied to image projection control.
  • a projector is widely known as a projection-type image display device that displays a projected image on a screen.
  • Patent Document 1 recently, there is an increasing demand for an ultra-wide-angle front projection projector that can display a large screen even if the projection space is small.
  • this projector it is possible to project a large screen in a limited space by driving at an oblique and wide angle with respect to the screen (paragraphs [0014] and [0015] in the specification paragraphs of Patent Document 1). FIG. 5 etc.).
  • an object of the present technology is to provide an information processing apparatus, an information processing method, and a program capable of realizing high-quality image display.
  • an information processing apparatus includes a projection control unit and a mode control unit.
  • the projection control unit controls the projection of the first information and the second information classified as information of a different type from the first information.
  • the mode control unit is configured to project a first projection mode in which the first information and the second information are projected onto a projection target, and the first information is projected onto the projection target. It is possible to switch between the second projection mode in which the second information is projected onto the outer area of the image.
  • the first information and the first information are projected onto the projection object, and the first information is projected onto the projection object.
  • This information can be switched between the second projection mode for projecting onto the area outside the projection target. As a result, high-quality image display can be realized.
  • the projection control unit may cause the projection target to project the first information with a maximum size corresponding to the projection target when the second projection mode is selected.
  • the projection control unit may cause the second information to be projected at a position within a predetermined distance from the projection target when the second projection mode is selected.
  • the information processing apparatus may further include an acquisition unit that acquires object information including a position of the projection object.
  • the projection control unit may control the projection of the first information and the second information based on the acquired object information.
  • the object information may include the shape and size of the projection object.
  • the acquisition unit may acquire the object information based on detection information related to the projection object detected by a detection device.
  • the acquisition unit may acquire the target object information based on setting information related to the projection target set by a user.
  • the acquisition unit may acquire area information related to a projectable area including a projection area of the projection target.
  • the projection control unit may control projection of the first information and the second information based on the object information and the region information.
  • the projection target may be a screen arranged on the projection target surface.
  • the screen is made of a material capable of displaying the projected image with higher image quality when the projected image is projected onto the screen than when the projected image is projected onto the projection target surface. May be.
  • the projection control unit applies the first information to the screen with a maximum size corresponding to the screen based on the object information and the region information. Control for projecting and control for projecting the second information to an area outside the screen within the projectable area may be performed.
  • the first information may include content information.
  • the second information may include at least one of additional information related to the content information, menu information, notification information, and advertisement information.
  • the projection control unit may be capable of controlling at least one of a position, a shape, and a size of the second information to be projected when the second projection mode is selected.
  • the object information may include position change information indicating a change in relative position of the projection object with respect to the image projection apparatus that projects the first information and the second information.
  • the display control unit may control projection of the first information and the second information based on the position change information.
  • the display control unit is configured to project the first information onto the projection target and to the outer region based on the information on the position change.
  • the projection of the first information and the second information may be controlled so that the projection of the second information is maintained.
  • the information processing apparatus may further include a detection unit that detects the presence or absence of the projection target.
  • the mode control unit may select the second projection mode when the projection object is detected.
  • the projection control unit can project the second information onto a blank area, which is an area where the first information of the projection target is not projected, when the second projection mode is selected. If the second information can be projected onto the blank area, the second information may be projected onto the blank area.
  • the projection control unit determines whether or not the second information can be projected to an outer area of the projection target object, and the outer area is projected to the outer area. When the second information cannot be projected, the second information may be projected onto the projection target.
  • the projection control unit projects the second information according to at least one change in the position, shape, and size of the first information to be projected. May be controlled.
  • the projection control unit may control projection of the first information and the second information by the image projection apparatus.
  • An information processing method is an information processing method executed by a computer system, and includes first information and second information classified as information of a different type from the first information. Including controlling the projection of the image.
  • the second projection mode in which the second information is projected is switched.
  • a program causes a computer system to execute the following steps. Controlling the projection of the first information and the second information classified as a different type of information from the first information. A first projection mode in which the first information and the second information are projected onto the projection target, and the first information is projected onto the projection target, and the first information is projected onto a region outside the projection target. Switching the second projection mode in which the second information is projected.
  • 1 is a schematic diagram illustrating a configuration example of an image display system according to a first embodiment.
  • 1 is a schematic diagram illustrating a configuration example of an image display system according to a first embodiment. It is a block diagram which shows the functional structural example of a system control apparatus. It is a flowchart which shows an example of the image display by an image display system. It is a flowchart which shows the process example in case an image is projected in each projection mode. It is a schematic diagram for demonstrating the example of a setting of the parameter regarding a screen. It is a schematic diagram which shows the example of a layout in each projection mode. It is a figure which shows the example of a layout when full screen display mode is selected.
  • FIG. 1 It is a schematic diagram for demonstrating the example of projection control shown in FIG. It is a figure for demonstrating the example of a detection of the position of a screen, a shape, and a size. It is a schematic diagram which shows the other structural example of a screen.
  • the image display system 100 includes a projector 10 (10a and 10b), a camera 20, and a system control device 30.
  • the projector 10 can generate and project an image.
  • the projector 10 is set so that an image can be projected toward the projection target surface 1.
  • a short focus projector is used as the projector 10a.
  • a long focus projector is used as the projector 10b.
  • the present technology can be applied to a projection-type image display device having an arbitrary configuration regardless of the type of the projector 10.
  • an image projected by the projector 10 may be referred to as a projected image.
  • a screen 2 is arranged on the projection target surface 1.
  • the projection target surface 1 is a surface serving as a reference for installing the screen 2 and is, for example, a predetermined wall surface in the room.
  • the screen 2 has a rectangular shape when viewed from the front, and has a substantially plate shape with a thickness of about 20 mm.
  • the image is displayed with high image quality (for example, image quality with higher brightness and contrast of the projected image).
  • the material of the screen 2 is appropriately selected.
  • the surface of the screen 2 is processed so that a high-quality image is displayed.
  • the shape (for example, aspect ratio, etc.) and size of the screen 2 are not limited, and an arbitrary screen 2 may be used.
  • the screen 2 corresponds to a projection object.
  • An area on which the image on the screen 2 is projected corresponds to a projection area on the screen 2.
  • the projectable area 11 of the projector 10 is set to be larger than the screen 2.
  • the aspect ratio of the projectable area 11 may be set to be equal to the aspect ratio of the screen 2 or may be set to be different from the aspect ratio of the screen 2.
  • the projector 10 corresponds to an image projection device.
  • the camera 20 is set so that the shooting range 21 is larger than the projectable area 11 of the projector 10 toward the projection target surface 1.
  • the camera 20 can capture both still images and moving images.
  • a digital camera provided with an image sensor such as a CMOS (Complementary etal-Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is used.
  • an arbitrary camera may be used.
  • the camera 20 functions as a detection device that can detect detection information related to the projection target.
  • a captured image captured by the camera 20 corresponds to detection information related to the object.
  • the system control device 30 controls the image display system 100 in an integrated manner. As shown in FIGS. 1 and 2, the system control device 30 is communicably connected to the projector 10 and the camera 20.
  • the connection form with each device is not limited.
  • wireless LAN communication such as WiFi
  • short-range wireless communication such as Bluetooth (registered trademark) is used.
  • the system control device 30 receives image information from an external image supply device 90. Further, the system control device 30 reads image information from a storage medium such as a CD (registered trademark), a DVD (registered trademark), or a Blu-ray Disc (registered trademark). The system control device 30 sets a layout of an image to be projected on the projection target surface 1 and outputs the image layout together with the image information to the projector 10. The projector 10 projects an image on the projection target surface 1 based on an instruction from the system control device 30.
  • a storage medium such as a CD (registered trademark), a DVD (registered trademark), or a Blu-ray Disc (registered trademark).
  • the system control device 30 sets a layout of an image to be projected on the projection target surface 1 and outputs the image layout together with the image information to the projector 10.
  • the projector 10 projects an image on the projection target surface 1 based on an instruction from the system control device 30.
  • the image supply device 90 is, for example, a server installed on a network.
  • the system control device 30 receives image information via a network.
  • the network is constructed by, for example, the Internet or a wide area communication network.
  • any WAN (Wide Area Network) or LAN (Local Area Network) may be used, and the protocol for constructing the network is not limited.
  • a network may be used to connect the system control device 30 to the projector 10 and the camera 20.
  • the system control device 30 functions as an embodiment of an information processing device according to the present technology.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the system control device 30.
  • the system control device 30 includes hardware necessary for the configuration of the computer, such as a CPU, a ROM, a RAM, and an HDD.
  • a CPU loads a program according to the present technology, which is recorded in advance in a ROM or the like, to the RAM and executes the program, each block illustrated in FIG. 3 is configured, and the information processing method according to the present technology is executed.
  • the system control device 30 can be realized by an arbitrary computer such as a PC (Personal Computer).
  • a PC Personal Computer
  • hardware such as FPGA and ASIC may be used.
  • dedicated hardware such as an IC (integrated circuit) may be used to implement each block shown in FIG.
  • the program is installed in the system control apparatus 30 via various recording media, for example. Alternatively, program installation may be executed via the Internet or the like.
  • the system control device 30 includes an image analysis unit 31, an input reception unit 32, an image information acquisition unit 33, a mode control unit 34, a projector control unit 35, and a system optimization processing unit 36.
  • the image analysis unit 31 analyzes the captured image captured by the camera 20.
  • the position, shape, and size of the screen 2 can be detected by the image analysis unit 31.
  • the position of the screen 2 is calculated by, for example, XYZ coordinate values with a predetermined reference point as the origin.
  • the XYZ coordinate values of the vertices at the four corners of the screen 2 are calculated as the position of the screen 2.
  • the shape and size of the screen 2 can be detected using, for example, an arbitrary edge detection technique. For example, XYZ coordinate values may be calculated for each point on the edge of the screen 2. In addition, any image analysis technique may be used to detect the position, shape, and size of the screen 2.
  • the image analysis unit 31 can also detect whether the screen 2 is installed on the projection target surface 1. That is, the presence or absence of the screen 2 can be detected. For example, it is possible to detect the presence or absence of the screen 2 by taking an image in a state where the screen 2 is not set and executing matching or the like using the image. Of course, it is not necessarily limited to this method.
  • Arbitrary machine learning algorithms using, for example, DNN (Deep Neural Network) may be used for detecting the position, shape, and size of the screen 2 and detecting the presence or absence of the screen 2.
  • DNN Deep Neural Network
  • AI artificial intelligence
  • deep learning deep learning
  • machine learning or the like may be used for other processing described in the present disclosure, such as processing executed by the system optimization processing unit 36 or the like. Thereby, it is possible to improve the accuracy of various processes relating to image display.
  • the input receiving unit 32 receives various user inputs to the system control device 30.
  • the system control device 30 is provided with operation units such as a keyboard, a mouse, and a touch panel.
  • the input receiving unit 32 receives a user input based on an operation on the operation unit.
  • the input receiving unit 32 can receive user input based on operations on the projector 10 and the camera 20. Specifically, an operation signal corresponding to an operation on the projector 10 or the camera 20 is transmitted to the system control device 30. The input receiving unit 32 receives a user input based on an operation signal transmitted from the projector 10 or the camera 20.
  • the user can set and input various parameters related to the screen 2 installed on the projection target surface 1. For example, the position, shape, and size of the screen 2 are set and input by the user. Setting information related to the screen 2 is generated by the setting of the user and is received by the input receiving unit 32.
  • the image information acquisition unit 33 acquires image information projected by the projector 10. As described above, for example, the image information acquisition unit 33 receives image information transmitted from the external image supply device 90. The image information acquisition unit 33 reads image information from a recording medium set in a drive device (not shown) of the system control device 30.
  • the image projected by the projector 10 is classified into an image of main information and an image of sub information classified as information different from the main information.
  • the main information is, for example, information (main content) that is a main viewing target of the user.
  • the sub information is, for example, information (sub content) that is appropriately referred to by the user.
  • the classification of the main information and the sub information from each other has the same meaning as the classification of the main information image and the sub information image from each other.
  • the main information and the sub information can be classified from each other based on meta information or the like included in or added to the image information acquired by the image information acquisition unit 33.
  • the present invention is not limited to this method, and any other method may be used.
  • the projection of the main information image corresponds to the projection of the main information.
  • the projection of the sub information image corresponds to the projection of the sub information.
  • the position, shape, size, and the like of the main information image projected onto the screen 2 and the like correspond to the position, shape, size, and the like of the main information projected onto the screen 2 and the like.
  • the position, shape, size, and the like of the image of the projected sub information correspond to the position, shape, size, and the like of the projected sub information.
  • Main information includes various content information such as video content.
  • various video contents such as music live, sports, movies, and news are projected as main information.
  • photographic content SNS (Social Networking Service) content (timeline), etc. are projected as main information.
  • SNS Social Networking Service
  • Sub information includes additional information related to video content. For example, subtitles, information on performers, information on works, etc. are projected as sub-information.
  • the sub information includes menu information.
  • the menu information is, for example, information displayed when an operation input is performed by the user, and a selection image including options and setting images for setting parameters and the like are projected as sub information.
  • a GUI or the like for adjusting the channel, volume, luminance, chromaticity, and the like is projected as sub information (sub information image).
  • the channel name can also be referred to as additional information related to video content.
  • the sub information includes various notification information to the user. For example, an icon or the like for notifying the user of the reception of an e-mail or the like or an incoming call is projected as sub information. In addition, notification information regarding SNS and the like are projected as sub-information.
  • the sub information includes various types of advertisement information.
  • the method for classifying main information and sub information is not limited. That is, which information is the main information and which information is the sub information may be arbitrarily set.
  • the main information corresponds to the first information.
  • the sub information corresponds to second information classified as information different from the first information.
  • the main information and the sub information are an embodiment of the first information and the second information according to the present technology.
  • the present technology is not limited to this, and any information classified as different types can be used as one embodiment of the first information and the second information according to the present technology.
  • the mode control unit 34 can switch between the normal display mode and the full screen display mode as the image projection mode of the projector 10.
  • the normal display mode is a projection mode in which main information and sub information are projected on the screen 2.
  • the full screen display mode is a projection mode in which main information is projected onto the screen 2 and sub information is projected onto an area outside the screen 2.
  • normal display means that main information and sub information are projected and displayed on the screen 2.
  • Full screen display means that main information is projected and displayed on the screen 2 and sub-information is projected and displayed on an area outside the screen 2.
  • the normal display mode corresponds to the first projection mode in which the first information and the second information are projected onto the projection target.
  • the full screen display mode corresponds to a second projection mode in which the first information is projected onto the projection target and the second information is projected onto an area outside the projection target.
  • the projector control unit 35 controls image projection by the projector 10.
  • the projector control unit 35 appropriately controls the position and size of the projectable area of the projector 10 and the image projection position.
  • the system optimization processing unit 36 performs overall control for the image display system 100 to perform optimal operations. For example, the system optimization processing unit 36 sets the layout of the image projected by the projector 10 and executes rendering. Various instructions related to image projection are output to the projector control unit 35 so that the image laid out on the projection target surface 1 is appropriately projected and displayed. In addition, the system optimization processing unit 36 controls the operation of each block shown in FIG.
  • the projector control unit 35 and the system optimization processing unit 36 control the projection of the first information and the second information classified as information of a different type from the first information. Is realized.
  • the projector control unit 35 also functions as an acquisition unit that acquires region information regarding the projectable region 11.
  • a mode control unit capable of switching between the second projection mode in which the second information is projected is realized.
  • the image analysis unit 31 and the input receiving unit 32 realize an acquisition unit that acquires object information including the position of the projection target.
  • the image analysis unit 31 also functions as a detection unit that detects the presence or absence of the projection target.
  • various processes as a projection control part, a mode control part, an acquisition part, and a detection part can also be performed by each block cooperating suitably.
  • FIG. 4 is a flowchart illustrating an example of image display by the image display system 100.
  • the projection mode is determined by the system optimization processing unit 36.
  • the selection of the projection mode by the mode control unit 34 is executed based on, for example, an input by the user. For example, the user inputs to select either the full screen display mode or the normal display mode.
  • the mode control unit 34 selects either the full screen display mode or the normal display mode based on the input by the user.
  • the projection mode may be automatically selected by the mode control unit 34.
  • the mode control unit 34 it is assumed that the screen 2 that has not existed on the projection target surface 1 is newly detected by the image analysis unit 31.
  • the full screen display mode is automatically selected by the mode control unit 34.
  • a full screen display can be automatically performed according to the installation of the screen 2, and a comfortable viewing experience can be provided.
  • high-quality image display is realized.
  • step 101 image projection is executed in the full screen display mode (step 102).
  • step 102 image projection is executed in the normal display mode (step 103).
  • FIG. 5 is a flowchart showing an example of processing when an image is projected in each projection mode. The process shown in FIG. 5 is executed when either the full screen display mode or the normal display mode is selected.
  • screen information is acquired (step 201).
  • the screen information is information related to the screen 2 and includes the position, shape, and size of the screen 2.
  • the screen information corresponds to object information related to the projection object. Note that the present technology can be applied using information including at least the position of the screen 2 as screen information.
  • the image analysis unit 31 can calculate screen information based on a captured image (detection information) captured by the camera 20. Further, in the present embodiment, the screen information can be calculated by the input receiving unit 32 based on the setting information regarding the screen 2 set by the user. The calculated screen information is output to the system optimization processing unit 36.
  • FIG. 6 is a schematic diagram for explaining an example of setting parameters related to the screen by the user.
  • the GUI for selecting whether or not to execute the setting related to the screen is provided. Is displayed on the projection target surface 1.
  • an option for selecting the shape of the screen 2 is displayed.
  • a rectangular setting guide 4 is displayed on the projection target surface 1 as illustrated in FIG. The user deforms the setting guide 4 so that the displayed rectangular setting guide 4 overlaps the edge of the screen 2.
  • the colors of the selected arrow marks 4a to 4d change. Thereafter, the side where the selected arrow marks 4a to 4d are displayed is moved by operating a mouse or a cross key.
  • the setting guide 4 can be overlaid on the edge of the screen 2 by moving the upper, lower, left and right sides respectively.
  • the “Enter” button or the like is selected.
  • the position, shape, and size of the setting guide 4 are calculated as setting information, and screen information is calculated based on the setting information.
  • the position, shape, and size of the setting guide 4 may be used as screen information as they are.
  • the position, shape, and size of the setting guide 4 are set such that they can be calculated as appropriate based on the position of the projector 10, for example.
  • the method for setting parameters related to the screen 2 by the user is not limited, and any method may be adopted.
  • An arbitrary GUI for parameter setting is displayed, and parameter setting may be executed by an arbitrary operation or the like.
  • voice guidance output or user voice input may be used to set parameters.
  • Area information regarding the projectable area 11 of the projector 10 is acquired (step 202).
  • the projector control unit 35 calculates coordinate information indicating the current projectable area 11 as area information.
  • the area information for example, the XYZ coordinate values of the vertices at the four corners of the projectable area 11 are calculated. Or the coordinate value of each point of the edge of the projectable area 11 may be calculated.
  • any information that can specify the projectable region 11 may be calculated as the region information.
  • the screen information and area information acquired in steps 201 and 202 may be stored as history information in a storage unit such as a ROM or HDD of the system control device 30. Then, when calculating the current screen information and area information, past history information may be referred to as appropriate. As a result, it is possible to execute image display based on changes in screen information and area information.
  • the system optimization processing unit 36 sets the layout of the image projected by the projector 10 and executes rendering (step 203). In the present embodiment, based on the screen information and area information acquired in steps 201 and 202, the layout of main information and sub information corresponding to each of the full screen display mode and the normal display mode is set.
  • FIG. 7 is a schematic diagram showing a layout example in each projection mode.
  • FIG. 7A is a layout example when the normal display mode is selected.
  • FIG. 7B is a layout example when the full-screen display mode is selected.
  • the normal display mode is a mode in which main information and sub information are projected on the screen 2 and displayed together on the screen 2.
  • the layout is set so that a plurality of pieces of main information of the video content 51, the calendars 52a and 52b, and the photo contents 53a and 53b are displayed in the screen 2.
  • the layout is set so that a plurality of sub-information of the subtitle (“important story”), channel number (“103”), and channel name (“Movie”) of the video content 51 are displayed in the screen 2. Is done.
  • the subtitle is laid out so as to be superimposed on the video content 51 as the main information.
  • the channel number and the channel name are laid out so as to be displayed in an area outside the video content 51 in the screen 2.
  • FIG. 7A in the normal display mode, a plurality of contents can be enjoyed simultaneously.
  • the full screen display mode is a projection mode in which main information is projected onto the screen 2 and sub information is projected onto the area 40 outside the screen 2.
  • the area 40 outside the screen 2 is an area located outside the screen 2 in the projectable area 11.
  • the layout is set so that the video content 51 as the main information is displayed in the screen 2.
  • the layout is set so that the video content 51 is displayed in the maximum size corresponding to the screen 2.
  • displaying the main information in the maximum size includes displaying the main information using the entire surface of the screen 2 as shown in FIG. 7B.
  • displaying the main information in the maximum size includes displaying the main information having a predetermined aspect ratio in the maximum size while maintaining the aspect ratio as shown in FIG. . Therefore, as shown in FIG. 8, even when the main information is displayed in the maximum size, a blank area 41 that is an area in which the main information is not displayed on the screen 2 may occur.
  • a plurality of sub-information including the subtitle (“important story”), the channel number (“103”), and the channel name (“Movie”) of the video content 51 are displayed on the screen 2.
  • the layout is set to be displayed in the outer area 40.
  • the subtitle is laid out so as to be displayed in the lower area of the screen 2.
  • the channel number and the channel name are laid out so as to be displayed in the upper area of the screen 2.
  • the layout is set so that the plurality of sub information is displayed at a position within a predetermined distance from the screen 2.
  • the predetermined distance is set by a fixed value based on, for example, the center of the screen 2 or the outer side of the screen 2.
  • the system optimization processing unit 36 may appropriately set the predetermined distance according to the size of the screen 2.
  • the method for setting the predetermined distance is not limited.
  • the predetermined distance is set so that the sub information is displayed in the vicinity of the screen 2.
  • the video content that the user wants to view with high image quality is displayed larger in the projection area of the screen 2 that can be projected with higher image quality than the projection target surface 1 and within a predetermined distance from the large screen display.
  • Sub information is displayed. That is, the sub-information is displayed at a position that is intuitively easily visible within a predetermined distance of a high-quality large-screen display, and a comfortable video experience for the user can be provided.
  • the size of the projectable area 11 is defined according to the size of main information displayed on the screen 2 and the resolution.
  • the position, shape, size, resolution, and the like of the sub information are appropriately controlled so that the sub information is displayed in the area 40 outside the screen 2 in the projectable area 11 with the defined size. It is also possible to implement the present technology by adopting a configuration in which at least one of the position, shape, and size of the sub information can be controlled.
  • the sub information layout method is not limited, and an arbitrary method may be employed.
  • FIG. 9 is a schematic diagram showing another example of the layout when the full screen display mode is selected.
  • the layout is set so that the video content 51 is displayed in the maximum size using the entire surface of the screen 2.
  • the layout is set so that a volume bar, which is a GUI for adjusting the volume, is displayed near the lower side of the screen 2 (position within a predetermined distance from the screen 2).
  • the layout is set so that the caption (“Please listen”) of the video content 51 is displayed near the left side of the screen 2.
  • the layout is set so that the caption (“Please listen”) of the video content 51 is displayed near the right side of the screen 2.
  • the layout is set so that a volume bar for adjusting the volume is displayed near the left side of the screen 2.
  • the layout is set so that the channel number (“105”) and the channel name (“Airplane”) of the video content 51 are displayed near the upper side of the screen 2.
  • the layout is set so that a volume bar for adjusting the volume is displayed near the left side of the screen 2.
  • the position of the sub information may be arbitrarily set in the projectable region 11 and in the region 40 outside the screen 2.
  • the system optimization processing unit 36 generates an image signal (image information) of the set layout image based on the image information acquired by the image information acquisition unit 33.
  • An image signal generation method is not limited, and any image processing technique may be used.
  • the projector 10 is controlled by the projector control unit 35 so that the main information and the sub information are displayed in the set layout (step 204).
  • the projector control unit 35 outputs the image signal generated by the system optimization processing unit 36 to the projector 10.
  • the projector 10 projects main information on the screen 2 and projects sub-information on the area 40 outside the screen 2.
  • the main information and the sub information are displayed in the layout illustrated in FIGS. 7B and 9.
  • the projection of main information and sub information is controlled based on the screen information and area information acquired in steps 201 and 202.
  • main information is projected on the screen 2 in the maximum size.
  • the sub information is projected in the vicinity of the screen 2.
  • at least one of the position, shape, and size of the sub information to be projected is controlled.
  • FIG. 10 is a schematic diagram for explaining an example of main information and sub information projection control when the screen 2 moves.
  • the screen 2 may be moved within the projection target surface 1 in accordance with a user instruction or the like.
  • the image analysis unit 31 can detect position change information indicating a change in the relative position of the screen 2 with respect to the projector 10 as the screen information.
  • the system optimization processing unit 36 controls the projection of the main information and the sub information based on the detected position change information of the screen 2. For example, when the full screen display mode is selected, the projection of the main information onto the screen 2 and the projection of the sub information onto the area 40 outside the screen 2 are maintained based on the position change information. As described above, the projection of the main information and the sub information is controlled.
  • the layout of the main information and the sub information is appropriately set by the system optimization processing unit 36 according to the information on the position change of the screen 2. Then, by controlling the projector 10 by the projector control unit 35, the main information and the sub information are projected and displayed in the layout set according to the position change of the screen 2.
  • the flow illustrated in FIG. 5 is repeatedly executed at a predetermined cycle.
  • the specific length of a predetermined period is not limited, You may set arbitrarily. For example, the period may be set based on the frame rate of the video content 51 or the like.
  • the caption of the video content 51 (“I am passing over the Pacific Ocean now”) is displayed in the outer area 40 located on the left side of the screen 2 where the video content 51 is displayed on the entire surface. Is done. It is assumed that the screen 2 moves from this state toward the left side.
  • the subtitle size (the size of the second information) is changed to be smaller in accordance with the movement of the screen 2 to the left side.
  • the size of the caption is appropriately set according to the size of the outer area 40 located on the left side of the screen 2.
  • the subtitle display position (the position of the second information) is changed to the outer area 40 located on the right side of the screen 2.
  • the size of the caption is set so that the caption can be properly displayed in the outer area 40 located on the right side of the screen 2.
  • the screen 2 has moved to the left.
  • the size of the subtitle displayed in the outer area 40 located on the right side of the screen 2 is changed so as to increase.
  • FIGS. 10A to 10D by controlling the projection of the main information and the sub information, display of an appropriate image corresponding to the change in the position of the screen 2 is realized. This makes it possible to provide a comfortable viewing experience and realize high-quality image display.
  • FIG. 11 is a schematic diagram for explaining another example of the projection control of the main information and the sub information according to the position change of the screen 2.
  • the screen 2 on which the video content 51 is displayed on the entire surface is moved to the right side.
  • a volume bar for adjusting the volume is displayed so as to move to the right side in the outer area 40 located on the lower side of the screen 2. That is, in the example shown in FIGS. 11A to 11C, the position of the sub information is moved so that the positional relationship with the screen 2 is maintained following the position change of the screen 2. As a result, it is possible to continue displaying the sub information in the vicinity of the screen 2 and provide a comfortable viewing experience.
  • the main information and the sub information are projected so that the projection of the main information and the sub information on the screen 2 is maintained based on the position change information of the screen 2, respectively. Can be controlled appropriately.
  • the position information of the projector 10 can be acquired by the image analysis unit 31, it is possible to detect information on the relative position change of the screen 2 with respect to the projector 10 according to the movement of the projector 10. .
  • the position information of the projector 10 may be detectable by the projector 10 itself. Even in this case, it is possible to detect information on the relative position change of the screen 2 with respect to the projector 10 in accordance with the movement of the projector 10.
  • the normal display mode in which the main information and the sub information classified as different information are projected on the screen 2 the main information is projected on the screen 2
  • the sub information is the screen 2. It is possible to switch the full screen display mode to be projected onto the area 40 outside. As a result, high-quality image display can be realized.
  • the position, size, and shape of the screen 2 can be grasped, main information is displayed on the screen 2, and sub information is displayed on the area 40 outside the screen 2. It is possible to properly perform full screen display.
  • main information such as content information that requires high image quality onto the dedicated screen 2 rather than sub-information such as subtitles that do not require high image quality.
  • main information such as content information that requires high image quality
  • sub-information such as subtitles that do not require high image quality.
  • main information is not disturbed by sub-information such as subtitles, and the sub-information is not displayed at the boundary between the screen 2 and the outer area 40. Therefore, both main information and sub-information are displayed. Very high visibility is exhibited.
  • FIG. 12 is a flowchart showing an example of the projection control of the main information and the sub information when the full screen display mode is selected.
  • FIG. 13 is a schematic diagram for explaining an example of the projection control shown in FIG.
  • Steps 301 to 303 shown in FIG. 12 are substantially the same as steps 201 to 203 shown in FIG. 5 described in the first embodiment.
  • step 303 after the layout is set in step 303, it is determined whether or not the sub information can be projected onto the blank area 241 that is an area where the main information is not displayed on the screen 202 (step 304). If the sub information cannot be displayed in the blank area 241 (NO in step 304), the projector is controlled based on the layout set in step 303 (step 305).
  • the layout is changed (step 306). Specifically, the layout is changed so that the sub information can be displayed in the blank area 241. Then, the projector is controlled based on the changed layout (step 306). As a result, the sub information is projected onto the blank area 241 of the screen 202.
  • the video content 251 is displayed on the screen 202 so as to be the maximum size while maintaining the aspect ratio.
  • Blank areas 241 that are areas where the video content 251 is not projected are generated on the left and right of the video content 251 on the screen 202.
  • the layout is changed so that the channel number (“103”) and the channel name (“Movie”) are displayed in the left blank area 241.
  • the layout is changed so that the subtitle (“It is an important story”) of the video content 251 is displayed in the blank area 241 on the right side.
  • the sub information may be projected onto the blank area 241. Thereby, it is possible to display the sub information with high image quality, and it is possible to realize high quality image display.
  • the display position of the sub information is appropriately set according to the user's input.
  • FIG. 14 is a flowchart illustrating an example of the projection control of the main information and the sub information when the full screen display mode is selected according to the third embodiment of the present technology.
  • FIG. 15 is a schematic diagram for explaining an example of the projection control shown in FIG.
  • Steps 401 and 402 shown in FIG. 14 are substantially the same as steps 201 and 202 shown in FIG. 5 described in the first embodiment.
  • step 403 when setting the layout of the projection image, it is determined whether or not the sub information can be projected onto the area 340 outside the screen 302. That is, it is determined whether full screen display is possible (step 403). This determination is performed based on, for example, the size of the area 340 outside the screen 302 in the projectable area 311.
  • the criterion for determination may be arbitrarily set.
  • a layout for realizing full screen display is set (step 404).
  • the projector is controlled based on the set layout of the full screen display (step 406).
  • the projection position of the sub information is set in the screen 302 (step 407). That is, the layout is set so that the sub information is displayed in the screen 302.
  • the present invention is not limited to the case where a layout in which all of the sub information is displayed in the screen 302 is set. For example, when a plurality of sub information is projected, some of the sub information is displayed in the area 340 outside the screen 302, and the other part of the sub information is displayed in the screen 302. Such a layout may be set.
  • the projector is controlled based on the set layout (step 406).
  • the layout is set so that the channel number (“103”) and the channel name (“Movie”) are displayed near the upper side of the screen 302.
  • the layout is set so that the subtitle of the video content 351 (“It is an important story”) is displayed on the screen 302 so as to be superimposed on the video content 351.
  • the full screen display mode when the full screen display mode is selected, it may be determined whether or not full screen display is possible. If the full screen display mode cannot be realized, the projection position of the sub information is set as appropriate. As a result, high-quality image display can be realized.
  • FIG. 16 is a schematic diagram for explaining a specific example of detection of the position, shape, and size of the screen.
  • the screen is captured by the camera and the screen information is calculated by using an image analysis technique or the like based on the captured image.
  • an image analysis technique or the like based on the captured image.
  • a specific example for detecting the position of the screen and the like will be described.
  • the detection unit for detecting the screen position and the like instead of the camera or in addition to the camera.
  • the detection information on the screen detected by the detection unit is not limited to the captured image, and detection results of various sensors may be used.
  • the position and shape of the screen can be detected by sensing an uneven surface with respect to the projection target surface using an infrared sensor or the like.
  • the position, shape, and size of the uneven surface are detected as the position, shape, and size of the screen.
  • the position, shape, and size of the screen 402 can also be detected by sensing a frame 402a around the screen 402.
  • light is projected from the projector onto the projection target surface 401. It is also possible to detect the position, shape, and size of the screen 402 by sensing the shadow 402b of the screen 402 formed at that time. Of course, it is also possible to combine a plurality of sensing described above.
  • FIG. 17 is a schematic diagram showing another configuration example of the screen.
  • the number and shape of the screens arranged on the projection target surface are not limited.
  • a rectangular screen 502a and a circular screen 502b are arranged.
  • the video content 551a is displayed as main information, and in the area 540a outside the screen 502a, the subtitle of the video content 551a is displayed as sub-information ("Now passing over the Pacific Ocean").
  • a clock image 551b is displayed on the screen 502b as main information.
  • the date is displayed as sub information. Note that the region 540b outside the screen 502b can be said to be the region 540a outside the screen 502a.
  • an elliptical screen 502c and a triangular screen 502d are arranged.
  • the photo content 551c is displayed as main information
  • the explanatory text of the photo content 551c (“at the dressing room before the live”) is displayed as sub information.
  • the screen 502d displays photographic content 551d as main information.
  • the sub-information includes a description (“Shiro (Spring 2018 Spring)”. ) ”) Is displayed.
  • a roll type screen may be used. For example, the size of the drawn screen is detected as appropriate. Then, the normal display mode and the full screen display mode can be appropriately switched and executed on the drawn screen.
  • An object other than the screen may be used as the projection object.
  • a predetermined region or a surface of an object such as a painting or furniture may be used as the projection target.
  • the main information may not be displayed at the maximum size on the screen.
  • the main information may be displayed in a size different from the maximum size in accordance with a user instruction, a screen shape, a content type or content, and the like.
  • the sub information may be displayed in the blank area.
  • the projection of the sub information may be controlled in accordance with at least one of the position, shape, and size of the main information projected on the screen.
  • the aspect ratio of the video content 51 is changed from the state in which the video content 51 is displayed on the entire surface of the screen 2 as illustrated in FIG.
  • the position, shape, and size of the sub information displayed in the area 40 outside the screen 2 may be changed as appropriate.
  • the sub information may be displayed in the blank area 41 of the screen 2.
  • the system control device described above and the projector may be configured integrally. That is, the function of the system control device may be mounted on a projector that projects the first information and the second information.
  • the projector functions as an embodiment of the information processing apparatus according to the present technology.
  • the information processing method and program according to the present technology can be executed not only in a computer system configured by a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems.
  • Information processing method and program execution according to the present technology by a computer system includes, for example, control of projection of first information and second information, switching of first information and second projection mode, and acquisition of object information.
  • the detection of the presence / absence of an object is executed by both a single computer and a case where each process is executed by a different computer.
  • the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquiring the result.
  • the information processing method and program according to the present technology can be applied to a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is processed jointly.
  • the image display system, the system control device, the layout of the first information and the second information, the flow of projection control in each projection mode, etc. described with reference to the drawings are only one embodiment, and the gist of the present technology is as follows. Any modification can be made without departing from the scope. That is, any other configuration, algorithm, or the like for carrying out the present technology may be employed.
  • an expression using “substantially” such as “substantially plate shape” or “substantially similar” is a predetermined range (for example, ⁇ 10%) based on “complete plate shape”, “completely similar” or the like. It is a concept that means (range). It is also possible to express these without adding “substantially” such as “plate shape” or “similar”.
  • this technique can also take the following structures.
  • a projection control unit that controls projection of the first information and the second information classified as information of a different type from the first information; A first projection mode in which the first information and the second information are projected onto the projection target, and the first information is projected onto the projection target, and the first information is projected onto a region outside the projection target.
  • An information processing apparatus comprising: a mode control unit capable of switching between a second projection mode in which second information is projected.
  • the projection control unit causes the projection target to project the first information at a maximum size corresponding to the projection target when the second projection mode is selected.
  • the information processing apparatus includes: Comprising an acquisition unit for acquiring object information including the position of the projection object; The information processing apparatus that controls projection of the first information and the second information based on the acquired object information.
  • the target object information includes a shape and a size of the projection target object.
  • the information processing apparatus according to (4) or (5), The acquisition unit acquires the object information based on detection information regarding the projection object detected by a detection apparatus.
  • the information processing apparatus acquires the target object information based on setting information related to the projection target set by a user.
  • the projection object is a screen arranged on a projection target surface, The screen is made of a material capable of displaying the projected image with higher image quality when the projected image is projected onto the screen than when the projected image is projected onto the projection target surface.
  • the projection control unit projects the first information on the screen with the maximum size corresponding to the screen based on the object information and the region information.
  • An information processing apparatus that performs control for projecting and projecting the second information to an area within the projectable area and outside the screen.
  • the first information includes content information;
  • the information processing apparatus, wherein the second information includes at least one of additional information related to the content information, menu information, notification information, and advertisement information.
  • the projection control unit is capable of controlling at least one of a position, a shape, and a size of the second information to be projected when the second projection mode is selected.
  • the information processing apparatus includes position change information indicating a change in a relative position of the projection object with respect to an image projection apparatus that projects the first information and the second information,
  • the display control unit controls projection of the first information and the second information based on the position change information.
  • the display control unit When the second projection mode is selected, the display control unit is configured to project the first information onto the projection target and to the outer region based on the information on the position change. An information processing apparatus that controls the projection of the first information and the second information so that the projection of the second information is maintained.
  • the information processing apparatus Comprising a detector for detecting the presence or absence of the projection object;
  • the mode control unit selects the second projection mode when the projection object is detected.
  • the information processing apparatus Whether the projection control unit can project the second information onto a blank area, which is an area where the first information of the projection target is not projected, when the second projection mode is selected. An information processing apparatus that determines whether or not the second information can be projected onto the blank area when the second information can be projected onto the blank area.
  • the projection control unit determines whether or not the second information can be projected to an outer region of the projection target object, and the outer region is An information processing device that projects the second information onto the projection target when the second information cannot be projected.
  • the projection control unit projects the second information according to at least one change in the position, shape, and size of the first information to be projected. Information processing device that controls.
  • the projection control unit controls projection of the first information and the second information by an image projection device.

Abstract

本技術の一形態に係る情報処理装置は、投射制御部と、モード制御部とを具備する。前記投射制御部は、第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御する。前記モード制御部は、投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替可能である。

Description

情報処理装置、情報処理方法、及びプログラム
　本技術は、画像の投射制御に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
　従来、スクリーン上に投射画像を表示する投射型の画像表示装置として、プロジェクタが広く知られている。特許文献１に記載のように、最近では、投射空間が小さくても大画面を表示できる超広角のフロント投射型プロジェクタの需要が高まってきている。このプロジェクタを用いれば、スクリーンに対して斜めかつ広角に打ち込むことで、限定された空間において大画面を投射することが可能となる（特許文献１の明細書段落［００１４］［００１５］図１～図５等）。
特許第５３６５１５５号公報
　今後とも、投射型の画像表示装置は広く普及していくと考えられ、高品質な画像表示を実現することが可能な技術が求められている。
　以上のような事情に鑑み、本技術の目的は、高品質な画像表示を実現することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、投射制御部と、モード制御部とを具備する。
　前記投射制御部は、第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御する。
　前記モード制御部は、投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替可能である。
　この情報処理装置では、投射対象物に互いに異なる情報として分類される第１の情報及び第２の情報を投射する第１の投射モードと、第１の情報は投射対象物に投射し、第２の情報は投射対象物の外側の領域に投射する第２の投射モードとを切替えることが可能となる。これにより高品質の画像表示を実現することが可能となる。
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物に前記第１の情報を前記投射対象物に対応した最大のサイズで投射させてもよい。
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物から所定距離以内の位置に前記第２の情報を投射させてもよい。
　前記情報処理装置は、さらに、前記投射対象物の位置を含む対象物情報を取得する取得部を具備してもよい。この場合、前記投射制御部は、前記取得された対象物情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御してもよい。
　前記対象物情報は、前記投射対象物の形状及びサイズを含んでもよい。
　前記取得部は、検出装置により検出された前記投射対象物に関する検出情報に基づいて、前記対象物情報を取得してもよい。
　前記取得部は、ユーザにより設定された前記投射対象物に関する設定情報に基づいて、前記対象物情報を取得してもよい。
　前記取得部は、前記投射対象物の投射領域を含む投射可能領域に関する領域情報を取得してもよい。この場合、前記投射制御部は、前記対象物情報及び前記領域情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御してもよい。
　前記投射対象物は、投射対象面に配置されたスクリーンであってもよい。この場合、前記スクリーンは、投射画像を前記投射対象面に投射した場合よりも、投射画像を前記スクリーンに投射した場合の方が、投射画像をより高い画質で表示することが可能な材質により構成されていてもよい。また前記投射制御部は、前記第２の投射モードが選択された場合に、前記対象物情報及び前記領域情報に基づいて、前記第1の情報を前記スクリーンに対応した最大のサイズで前記スクリーンに投射する制御及び前記第２の情報を前記投射可能領域内であって前記スクリーンの外側の領域に投射する制御を行ってもよい。
　前記第１の情報は、コンテンツ情報を含んでもよい。この場合、前記第２の情報は、前記コンテンツ情報に関連する付加情報、メニュー情報、通知情報、及び広告情報の少なくとも１つを含んでもよい。
　前記投射制御部は、前記第２の投射モードが選択された場合に、投射される前記第２の情報の位置、形状、及びサイズの少なくとも１つを制御可能であってもよい。
　前記対象物情報は、前記第１の情報及び前記第２の情報を投射する画像投射装置に対する前記投射対象物の相対的な位置の変化を示す位置変化の情報を含んでもよい。この場合、前記表示制御部は、前記位置変化の情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御してもよい。
　前記表示制御部は、前記第２の投射モードが選択された場合に、前記位置変化の情報に基づいて、前記投射対象物への前記第１の情報の投射、及び前記外側の領域への前記第２の情報の投射がそれぞれ維持されるように、前記第１の情報及び前記第２の情報の投射を制御してもよい。
　前記情報処理装置は、さらに、前記投射対象物の有無を検出する検出部を具備してもよい。この場合、前記モード制御部は、前記投射対象物が検出された場合に、前記第２の投射モードを選択してもよい。
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物の前記第１の情報が投射されない領域であるブランク領域に、前記第２の情報を投射可能であるか否かを判定し、前記ブランク領域に前記第２の情報を投射可能な場合は前記ブランク領域に前記第２の情報を投射させてもよい。
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物の外側の領域に前記第２の情報を投射可能であるか否かを判定し、前記外側の領域に前記第２の情報を投射可能ではない場合には、前記投射対象物に前記第２の情報を投射させてもよい。
　前記投射制御部は、前記第２の投射モードが選択された場合に、投射される前記第１の情報の位置、形状、及びサイズの少なくとも１つの変化に応じて、前記第２の情報の投射を制御してもよい。
　前記投射制御部は、画像投射装置による前記第１の情報及び前記第２の情報の投射を制御してもよい。
　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御することを含む。
　投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとが切替えられる。
　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行さ
せる。
　第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御するステップ。
　投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替るステップ。
　以上のように、本技術によれば、高品質な画像表示を実現することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１の実施形態に係る画像表示システムの構成例を示す概略図である。 第１の実施形態に係る画像表示システムの構成例を示す概略図である。 システム制御装置の機能的な構成例を示すブロック図である。 画像表示システムによる画像表示の一例を示すフローチャートである。 各投射モードにて画像が投射される場合の処理例を示すフローチャートである。 スクリーンに関するパラメータの設定例を説明するための模式図である。 各投射モードにおけるレイアウト例を示す模式図である。 フルスクリーン表示モードが選択された場合のレイアウト例を示す図である。 フルスクリーン表示モードが選択された場合のレイアウト例を示す図である。 スクリーンが移動した場合の主情報及び副情報の投射制御の一例を説明するための模式図である。 スクリーンの位置変化に応じた主情報及び副情報の投射制御の他の例を説明するための模式図である。 第２の実施形態に係る、フルスクリーン表示モードが選択された場合の主情報及び副情報の投射制御の一例を示すフローチャートである。 図１２に示す投射制御例を説明するための模式図である。 第３の実施形態に係る、フルスクリーン表示モードが選択された場合の主情報及び副情報の投射制御の一例を示すフローチャートである。 図１４に示す投射制御例を説明するための模式図である。 スクリーンの位置、形状、及びサイズの検出例を説明するための図である。 スクリーンの他の構成例を示す模式図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　＜第１の実施形態＞
　［画像表示システム］
　図１及び図２は、本技術の第１の実施形態に係る画像表示システムの構成例を示す概略図である。画像表示システム１００は、プロジェクタ１０（１０ａ及び１０ｂ）と、カメラ２０と、システム制御装置３０とを有する。
　プロジェクタ１０は、画像を生成して投射することが可能である。プロジェクタ１０は、投射対象面１に向けて画像を投射可能にセットされる。図１では、プロジェクタ１０ａとして、短焦点プロジェクタが用いられている。図２では、プロジェクタ１０ｂとして、長焦点プロジェクタが用いられている。本技術は、プロジェクタ１０の種類によらず、任意の構成を有する投射型の画像表示装置に適用可能である。以下、プロジェクタ１０により投射される画像を、投射画像と記載する場合がある。
　図１及び図２に示すように、本実施形態では、投射対象面１にスクリーン２が配置される。投射対象面１はスクリーン２を設置する基準となる面であり、例えば室内の所定の壁面である。スクリーン２は、正面から見た形状が長方形状であり、厚みが２０ｍｍ程度の略板形状からなる。プロジェクタ１０から投射される画像が、投射対象面１に投射される場合よりもスクリーン２に投射された場合に高画質（例えば投射画像の輝度やコントラストがより高い画質）で表示されるように、スクリーン２の素材が適宜選択される。あるいは高画質な画像が表示されるように、スクリーン２の表面が加工されている。
　スクリーン２の形状（例えばアスペクト比等）やサイズ等は限定されず、任意のスクリーン２が用いられてよい。本実施形態において、スクリーン２は、投射対象物に相当する。またスクリーン２の画像が投射される領域が、スクリーン２の投射領域に相当する。
　図１及び図２に示すように、本実施形態では、プロジェクタ１０の投射可能領域１１が、スクリーン２よりも大きいサイズとなるように設定される。投射可能領域１１のアスペクト比は、スクリーン２のアスペクト比と等しくなるように設定されてもよいし、スクリーン２のアスペクト比とは異なるように設定されてよい。本実施形態において、プロジェクタ１０は、画像投射装置に相当する。
　カメラ２０は、投射対象面１に向けて、撮影範囲２１がプロジェクタ１０の投射可能領域１１より大きいサイズとなるようにセットされる。カメラ２０は、静止画像及び動画像の両方を撮影することが可能である。カメラ２０としては、例えばＣＭＯＳ（Complementary etal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。その他、任意のカメラが用いられてよい。
　本実施形態において、カメラ２０は、投射対象物に関する検出情報を検出可能な検出装置として機能する。カメラ２０により撮影される撮影画像は、対象物に関する検出情報に相当する。
　システム制御装置３０は、画像表示システム１００を統括的に制御する。図１及び図２に示すようにシステム制御装置３０は、プロジェクタ１０及びカメラ２０と、通信可能に接続される。各デバイスとの接続形態は限定されず、例えばＷｉＦｉ等の無線ＬＡＮ通信や、Bluetooth（登録商標）等の近距離無線通信が用いられる。
　図1及び図２に示すように、システム制御装置３０は、外部の画像供給装置９０から画像情報を受信する。またシステム制御装置３０は、ＣＤ（登録商標）、ＤＶＤ（登録商標）、Ｂｌｕ－ｒａｙＤｉｓｃ（登録商標）等の記憶媒体から画像情報を読み取る。システム制御装置３０は、投射対象面１に投射する画像のレイアウトを設定し、画像情報とともにプロジェクタ１０に出力する。プロジェクタ１０は、システム制御装置３０の指示に基づいて、投射対象面１に画像を投射する。
　画像供給装置９０は、例えばネットワーク上に設置されたサーバ等である。システム制御装置３０は、ネットワークを介して画像情報を受信する。ネットワークとしては、例えばインターネットや広域通信回線網等により構築される。その他、任意のＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）等が用いられてよく、ネットワークを構築するためのプロトコルは限定されない。
　システム制御装置３０と、プロジェクタ１０及びカメラ２０との接続に、ネットワークが利用されてもよい。本実施形態において、システム制御装置３０は、本技術に係る情報処理装置の一実施形態として機能する。
　図３は、システム制御装置３０の機能的な構成例を示すブロック図である。
　システム制御装置３０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等のコンピュータの構成に必要なハードウェアを有する。ＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、図３に示す各ブロックが構成され、本技術に係る情報処理方法が実行される。
　例えばＰＣ（Personal Computer）等の任意のコンピュータにより、システム制御装置３０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。また図３に示す各ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
　プログラムは、例えば種々の記録媒体を介してシステム制御装置３０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
　図３に示すようにシステム制御装置３０は、画像解析部３１、入力受付部３２、画像情報取得部３３、モード制御部３４、プロジェクタ制御部３５、及びシステム最適化処理部３６を有する。
　画像解析部３１は、カメラ２０により撮影された撮影画像を解析する。本実施形態では、画像解析部３１により、スクリーン２の位置、形状、及びサイズを検出することが可能である。スクリーン２の位置は、例えば所定の基準点を原点とするＸＹＺ座標値により算出される。例えばプロジェクタ１０の位置を基準点とし、スクリーン２の四隅の頂点のＸＹＺ座標値が、スクリーン２の位置として算出される。もちろんこの方法に限定される訳ではない。
　スクリーン２の形状及びサイズは、例えば任意のエッジ検出技術等を用いて検出することが可能である。例えばスクリーン２の縁部の各点について、ＸＹＺ座標値が算出されてもよい。その他、スクリーン２の位置、形状、及びサイズを検出するために、任意の画像解析技術が用いられてよい。
　また画像解析部３１は、投射対象面１にスクリーン２が設置されているか否かを検出することも可能である。すなわちスクリーン２の有無を検出することが可能である。例えばスクリーン２が設定されていない状態の画像を撮影しておき、その画像を用いてマッチング等を実行することで、スクリーン２の有無を検出することが可能である。もちろんこの方法に限定される訳ではない。
　スクリーン２の位置、形状、及びサイズの検出、スクリーン２の有無の検出に、例えばＤＮＮ（Deep NeuralNetwork：深層ニューラルネットワーク）等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング（深層学習）を行うＡＩ（人工知能）等を用いることで、スクリーン２の位置、形状、及びサイズ、スクリーン２の有無の検出精度を向上させることが可能となる。
　なおシステム最適化処理部３６等により実行される処理等の、本開示で説明する他の処理に、機械学習等が用いられてもよい。これにより画像表示に関する種々の処理の精度を向上させることが可能である。
　入力受付部３２は、システム制御装置３０に対するユーザの様々な入力を受付ける。本実施形態では、システム制御装置３０には、キーボード、マウス、タッチパネル等の操作部が設けられている。入力受付部３２は、操作部に対する操作に基づいて、ユーザの入力を受付ける。
　また入力受付部３２は、プロジェクタ１０やカメラ２０に対する操作に基づいて、ユーザの入力を受付けることが可能である。具体的には、プロジェクタ１０やカメラ２０に対する操作に応じた操作信号が、システム制御装置３０に送信される。入力受付部３２は、プロジェクタ１０やカメラ２０から送信される操作信号に基づいて、ユーザの入力を受付ける。
　本実施形態では、ユーザにより、投射対象面１に設置されるスクリーン２に関する種々のパラメータを設定して入力することが可能である。例えばユーザにより、スクリーン２の位置、形状、及びサイズが設定されて入力される。当該ユーザの設定により、スクリーン２に関する設定情報が生成され、入力受付部３２により受付けられる。
　画像情報取得部３３は、プロジェクタ１０により投射される画像情報を取得する。上記したように、例えば画像情報取得部３３は、外部の画像供給装置９０から送信された画像情報を受信する。また画像情報取得部３３は、システム制御装置３０のドライブ装置（図示は省略）にセットされた記録媒体から、画像情報を読み出す。
　本実施形態では、プロジェクタ１０により投射される画像が、主情報の画像と、主情報とは異なる情報として分類される副情報の画像とに分類される。主情報は、例えばユーザの主な視聴対象となる情報（メインコンテンツ）である。副情報は、例えばユーザにより適宜参照される情報（サブコンテンツ）である。
　主情報及び副情報を互いに分類することは、主情報の画像及び副情報の画像を互いに分類することと同じ意味となる。例えば画像情報取得部３３により取得される画像情報に含まれる、あるいは付加されるメタ情報等に基づいて、主情報及び副情報を互いに分類することが可能である。もちろんこの方法に限定されず、他の任意の方法が用いられてよい。
　本開示では、主情報の画像の投射は、主情報の投射に相当する。副情報の画像の投射は、副情報の投射に相当する。またスクリーン２等に投射される主情報の画像の位置、形状、サイズ等は、スクリーン２等に投射される主情報の位置、形状、サイズ等に相当する。同様に、投射される副情報の画像の位置、形状、サイズ等は、投射される副情報の位置、形状、サイズ等に相当する。
　主情報には、映像コンテンツ等の種々のコンテンツ情報が含まれる。例えば、ミュージックライブ、スポーツ、映画、ニュース等の様々な映像コンテンツが主情報として投射される。また写真コンテンツや、ＳＮＳ（Social Networking Service）のコンテンツ（タイムライン）等が、主情報として投射される。
　副情報には、映像コンテンツに関する付加情報が含まれる。例えば字幕、出演者に関する情報、作品に関する情報等が、副情報として投射される。
　また副情報には、メニュー情報が含まれる。メニュー情報は、例えばユーザによる操作入力が行われる場合に表示される情報であり、選択肢等を含む選択画像やパラメータ等を設定するための設定画像等が、副情報として投射される。例えばチャンネル、ボリューム、輝度、色度等を調整するためのＧＵＩ等が、副情報（副情報の画像）として投射される。なおチャンネル名は、映像コンテンツに関する付加情報ということも可能である。
　また副情報には、ユーザへの様々な通知情報が含まれる。例えばユーザに対してメール等の受信や電話の着信等を通知するためのアイコン等が副情報として投射される。またＳＮＳに関する通知情報等が、副情報として投射される。また副情報には、種々の広告情報が含まれる。
　主情報及び副情報を分類する方法は限定されない。すなわちどの情報を主情報として、どの情報を副情報とするかは、任意に設定されてよい。本実施形態において、主情報は第１の情報に相当する。副情報は、第１の情報とは異なる情報として分類される第２の情報に相当する。
　なお主情報及び副情報は、本技術に係る第１の情報及び第２の情報の一実施形態である。これに限定されず、互いに異なる種類として分類される任意の情報同士を、本技術に係る第１の情報及び第２の情報の一実施形態として、本技術を適用することが可能である。
　モード制御部３４は、プロジェクタ１０の画像の投射モードとして、通常表示モードと、フルスクリーン表示モードとを切替可能である。通常表示モードは、スクリーン２に主情報及び副情報が投射される投射モードである。フルスクリーン表示モードとは、スクリーン２に主情報が投射され、スクリーン２の外側の領域に副情報が投射される投射モードである。
　すなわち本開示において、通常表示とは、スクリーン２に主情報及び副情報を投射して表示することを意味する。フルスクリーン表示とは、スクリーン２に主情報を投射して表示し、スクリーン２の外側の領域に副情報を投射して表示することを意味する。
　本実施形態において、通常表示モードは、投射対象物に第１の情報及び第２の情報が投射される第１の投射モードに相当する。フルスクリーン表示モードは、投射対象物に第１の情報が投射され、投射対象物の外側の領域に第２の情報が投射される第２の投射モードに相当する。
　プロジェクタ制御部３５は、プロジェクタ１０による画像の投射を制御する。プロジェクタ制御部３５により、プロジェクタ１０の投射可能領域の位置やサイズや、画像の投射位置等が適宜制御される。
　システム最適化処理部３６は、画像表示システム１００が最適な動作を実行するための統括的な制御を実行する。例えばシステム最適化処理部３６は、プロジェクタ１０により投射される画像のレイアウトを設定し、レンダリングを実行する。そして投射対象面１にレイアウトされた画像が適正に投射されて表示されるように、プロジェクタ制御部３５に、画像投射に関する種々の指示を出力する。その他、システム最適化処理部３６により、図３に示す各ブロックの動作が制御される。
　本実施形態において、プロジェクタ制御部３５及びシステム最適化処理部３６により、第１の情報、及び第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御する投射制御部が実現される。またプロジェクタ制御部３５は、投射可能領域１１に関する領域情報を取得する取得部としても機能する。
　またモード制御部３４により、投射対象物に第１の情報及び第２の情報が投射される第１の投射モードと、投射対象物に第１の情報が投射され、投射対象物の外側の領域に第２の情報が投射される第２の投射モードとを切替可能なモード制御部が実現される。
　また画像解析部３１及び入力受付部３２により、投射対象物の位置を含む対象物情報を取得する取得部が実現される。また画像解析部３１は、投射対象物の有無を検出する検出部としても機能する。また各ブロックが適宜協働することで、投射制御部、モード制御部、取得部、及び検出部としての種々の処理を実行することも可能である。
　［画像表示システムによる画像表示］
　図４は、画像表示システム１００による画像表示の一例を示すフローチャートである。投射対象面１に画像を投射して表示させるために、まずシステム最適化処理部３６により、投射モードが判定される。本実施形態では、モード制御部３４によりフルスクリーン表示モードが選択されているか否か判定される（ステップ１０１）。
　モード制御部３４による投射モードの選択は、例えばユーザによる入力に基づいて実行される。例えばユーザは、フルスクリーン表示モード及び通常表示モードのいずれかを選択する旨の入力を行う。モード制御部３４は、ユーザによる入力に基づいて、フルスクリーン表示モード及び通常表示モードのいずれかを選択する。
　あるいは、モード制御部３４により、自動的に投射モードの選択が実行されてもよい。例えば画像解析部３１により、投射対象面１に今まで存在していなかったスクリーン２が新たに検出されたとする。新たにスクリーン２が検出された場合に、モード制御部３４により、自動的にフルスクリーン表示モードが選択される。これによりスクリーン２の設置に応じて自動的にフルスクリーン表示が可能となり、快適な視聴体験を提供することが可能となる。この結果、高品質な画像表示が実現される。
　フルスクリーン表示モードが選択されている場合（ステップ１０１のＹＥＳ）、フルスクリーン表示モードにて、画像の投射が実行される（ステップ１０２）。フルスクリーン表示モードが選択されていない場合、すなわち通常表示モードが選択されている場合（ステップ１０１のＮＯ）、通常表示モードにて、画像の投射が実行される（ステップ１０３）。
　図５は、各投射モードにて画像が投射される場合の処理の一例を示すフローチャートである。図５に示す処理は、フルスクリーン表示モード及び通常表示モードのいずれが選択された場合にも実行される。
　まずスクリーン情報が取得される（ステップ２０１）。スクリーン情報は、スクリーン２に関する情報であり、スクリーン２の位置、形状、及びサイズを含む。本実施形態において、スクリーン情報は、投射対象物に関する対象物情報に相当する。なお、少なくともスクリーン２の位置を含む情報をスクリーン情報として、本技術を適用することが可能である。
　本実施形態では、画像解析部３１により、カメラ２０により撮影された撮影画像（検出情報）に基づいて、スクリーン情報を算出することが可能である。また本実施形態では、入力受付部３２により、ユーザにより設定されたスクリーン２に関する設定情報に基づいて、スクリーン情報を算出することも可能である。算出されたスクリーン情報は、システム最適化処理部３６に出力される。
　なお、画像解析部３１によるスクリーン情報の算出、及び入力受付部３２によるスクリーン情報の算出のいずれか一方のみが実行可能な場合もあり得る。
　図６は、ユーザによるスクリーンに関するパラメータの設定例を説明するための模式図である。例えば画像表示システム１００を初めて使用する場合や、スクリーン２が初めて設定された場合等、未だスクリーン情報が取得されていない場合等に、スクリーンに関する設定を実行するか否かを選択するためのＧＵＩが、投射対象面１に表示される。
　ユーザによりスクリーンに関する設定を実行する旨が入力されると、スクリーン２の形状を選択する選択肢が表示される。例えばユーザにより矩形状である旨が選択されると、図６に例示するように、投射対象面１に矩形状の設定用ガイド４が表示される。ユーザは表示された矩形状の設定用ガイド４がスクリーン２の縁部に重なるように、設定用ガイド４を変形させる。
　例えば設定用ガイド４の上下左右の辺部に表示された矢印マーク４ａ～４ｄを選択すると、選択された矢印マーク４ａ～４ｄの色が変化する。その後、マウスや十字キー等を操作することで、選択された矢印マーク４ａ～４ｄが表示されている辺部が移動させる。上下左右の辺部をそれぞれ移動させることで、設定用ガイド４をスクリーン２の縁部に重ねることが可能となる。
　設定用ガイド４がスクリーン２の縁部に重ねられた後に「Ｅｎｔｅｒ」ボタン等が選択される。設定用ガイド４の位置、形状、サイズが設定情報として算出され、設定情報に基づいてスクリーン情報が算出される。例えば、設定用ガイド４の位置、形状、サイズが、そのままスクリーン情報として用いられてもよい。なお設定用ガイド４の位置、形状、サイズは、例えばプロジェクタ１０の位置を基準として適宜算出可能なように設定されている。
　ユーザによるスクリーン２に関するパラメータの設定方法は限定されず、任意の方法が採用されてよい。パラメータ設定用の任意のＧＵＩが表示され、任意の操作等により、パラメータの設定が実行されてよい。またパラメータの設定のために音声ガイダンスの出力や、ユーザの音声入力等が利用されてもよい。
　プロジェクタ１０の投射可能領域１１に関する領域情報が取得される（ステップ２０２）。本実施形態では、プロジェクタ制御部３５により、現在の投射可能領域１１を示す座標情報が、領域情報として算出される。領域情報として、例えば投射可能領域１１の四隅の頂点のＸＹＺ座標値が算出される。あるいは、投射可能領域１１の縁部の各点の座標値が算出されてもよい。その他、投射可能領域１１を特定可能な任意の情報が、領域情報として算出されてもよい。
　なおステップ２０１及び２０２にて取得されたスクリーン情報及び領域情報が、システム制御装置３０のＲＯＭやＨＤＤ等からなる記憶部に、履歴情報として記憶されてもよい。そして、現在のスクリーン情報及び領域情報の算出する際に、適宜過去の履歴情報が参照されてもよい。これによりスクリーン情報及び領域情報の変化に基づいて、画像表示を実行することが可能である。
　システム最適化処理部３６により、プロジェクタ１０により投射される画像のレイアウトが設定され、レンダリングが実行される（ステップ２０３）。本実施形態では、ステップ２０１及び２０２にて取得されたスクリーン情報及び領域情報に基づいて、フルスクリーン表示モード及び通常表示モードの各々に応じた、主情報及び副情報のレイアウトが設定される。
　図７は、各投射モードにおけるレイアウト例を示す模式図である。図７Ａは、通常表示モードが選択された場合のレイアウト例である。図７Ｂは、フルスクリーン表示モードが選択された場合のレイアウト例である。
　通常表示モードは、スクリーン２に主情報及び副情報が投射され、スクリーン２にともに表示されるモードである。図７Ａに示す例では、映像コンテンツ５１、カレンダー５２ａ及び５２ｂ、及び写真コンテンツ５３ａ及び５３ｂの複数の主情報が、スクリーン２内に表示されるようにレイアウトが設定される。また映像コンテンツ５１の字幕（「大切な話なの」）、チャンネル番号（「１０３」）、及びチャンネル名（「Ｍｏｖｉｅ」）の複数の副情報が、スクリーン２内に表示されるようにレイアウトが設定される。
　なお複数の副情報のうち、字幕は、主情報である映像コンテンツ５１に重畳するようにレイアウトされる。一方、チャンネル番号、及びチャンネル名は、スクリーン２内の、映像コンテンツ５１の外側の領域に表示されるようにレイアウトされる。図７Ａに示すように、通常表示モードでは、複数のコンテンツを同時に楽しむことが可能である。
　フルスクリーン表示モードでは、スクリーン２に主情報が投射され、スクリーン２の外側の領域４０に副情報が投射される投射モードである。スクリーン２の外側の領域４０は、投射可能領域１１内において、スクリーン２の外側に位置する領域となる。
　図７Ｂに示す例では、主情報である映像コンテンツ５１がスクリーン２内に表示されるように、レイアウトが設定される。なお映像コンテンツ５１がスクリーン２に対応した最大のサイズで表示されるように、レイアウトが設定される。
　なお、主情報を最大のサイズで表示するとは、図７Ｂに示すようにスクリーン２の全面を使って主情報を表示することを含む。これに限定されず、主情報を最大のサイズで表示するとは、図８に示すように、所定のアスペクト比を有する主情報を、アスペクト比を維持した状態で最大のサイズで表示することを含む。従って図８に示すように、主情報を最大のサイズで表示した場合でも、スクリーン２に主情報が表示されない領域であるブランク領域４１が発生する場合もあり得る。
　図７Ｂ及び図８に示す例では、映像コンテンツ５１の字幕（「大切な話なの」）、チャンネル番号（「１０３」）、及びチャンネル名（「Ｍｏｖｉｅ」）の複数の副情報が、スクリーン２の外側の領域４０に表示されるように、レイアウトが設定される。
　複数の副情報のうち、字幕は、スクリーン２の下側の領域に表示されるようにレイアウトされる。一方、チャンネル番号、及びチャンネル名は、スクリーン２の上側の領域に表示されるように、レイアウトされる。また複数の副情報は、スクリーン２から所定距離以内の位置に表示されるように、レイアウトが設定される。
　所定距離は、例えばスクリーン２の中心、またはスクリーン２の外辺を基準とした固定値により設定される。あるいはシステム最適化処理部３６により、スクリーン２のサイズに応じて所定距離が適宜設定されてもよい。その他、所定距離を設定する方法は限定されない。典型的には、スクリーン２の近傍に副情報が表示されるように、所定距離が設定される。これにより、フルスクリーン表示モードではユーザが高画質で視認を行いたい映像コンテンツが投射対象面１より高画質で投射可能なスクリーン２の投射領域に大きく表示されかつ、大画面表示から所定距離内に副情報が表示される。すなわち高画質な大画面表示の所定距離以内の直感的に視認しやすい位置に副情報が表示され、ユーザにとって快適な映像体験を提供することができる。
　例えばスクリーン２に表示される主情報のサイズ、及び解像度に応じて、投射可能領域１１のサイズが規定される。サイズが規定された投射可能領域１１において、スクリーン２の外側の領域４０に副情報が表示されるように、副情報の位置、形状、サイズ、及び解像度等が適宜制御される。副情報の位置、形状、及びサイズの少なくとも１つが制御可能な構成を採用して、本技術を実施することも可能である。その他、副情報のレイアウト方法は限定されず、任意の方法が採用されてよい。
　図９は、フルスクリーン表示モードが選択された場合のレイアウトの他の例を示す模式図である。図９Ａ～Ｄに示す例では、スクリーン２の全面を使って映像コンテンツ５１が最大のサイズで表示されように、レイアウトが設定される。
　図９Ａに示す例では、ボリュームを調整するためのＧＵＩであるボリュームバーが、スクリーン２の下側の近傍（スクリーン２から所定距離以内の位置）に表示されるように、レイアウトが設定される。図９Ｂに示す例では、映像コンテンツ５１の字幕（「聴いてください」）が、スクリーン２の左側の近傍に表示されるように、レイアウトが設定される。
　図９Ｃに示す例では、映像コンテンツ５１の字幕（「聴いてください」）が、スクリーン２の右側の近傍に表示されるように、レイアウトが設定される。またボリュームを調整するためのボリュームバーが、スクリーン２の左側の近傍に表示されるように、レイアウトが設定される。
　図９Ｄに示す例では、映像コンテンツ５１のチャンネル番号（「１０５」）、及びチャンネル名（「Ａｉｒｐｌａｎｅ」）が、スクリーン２の上側の近傍に表示されるように、レイアウトが設定される。またボリュームを調整するためのボリュームバーが、スクリーン２の左側の近傍に表示されるように、レイアウトが設定される。
　図９Ａ～Ｄに例示するように、副情報の位置は、投射可能領域１１内であって、スクリーン２の外側の領域４０おいて、任意に設定されてよい。
　システム最適化処理部３６は、画像情報取得部３３により取得された画像情報に基づいて、設定したレイアウトの画像の画像信号（画像情報）を生成する。画像信号の生成方法は限定されず、任意の画像処理技術が用いられてよい。
　プロジェクタ制御部３５により、設定されたレイアウトで主情報及び副情報が表示されるように、プロジェクタ１０が制御される（ステップ２０４）。プロジェクタ制御部３５は、システム最適化処理部３６により生成された画像信号をプロジェクタ１０に出力する。そしてプロジェクタ１０により、スクリーン２に主情報を投射させ、スクリーン２の外側の領域４０に副情報を投射させる。これにより図７Ｂや図９に例示したレイアウトで、主情報及び副情報が表示される。
　すなわち本実施形態では、ステップ２０１及び２０２にて取得されたスクリーン情報及び領域情報に基づいて、主情報及び副情報の投射が制御される。またフルスクリーン表示モードが選択された場合に、スクリーン２に主情報が最大のサイズで投射される。またフルスクリーン表示モードが選択された場合に、スクリーン２の近傍に、副情報が投射される。また、フルスクリーン表示モードが選択された場合に、投射される副情報の位置、形状、及びサイズの少なくとも１つが制御される。
　図１０は、スクリーン２が移動した場合の主情報及び副情報の投射制御の一例を説明するための模式図である。例えばユーザの指示等により、投射対象面１内においてスクリーン２が移動される場合もあり得る。本実施形態では、画像解析部３１により、スクリーン情報として、プロジェクタ１０に対するスクリーン２の相対的な位置の変化を示す位置変化の情報を検出することが可能である。
　システム最適化処理部３６は、検出されたスクリーン２の位置変化の情報に基づいて、主情報及び副情報の投射を制御する。例えばフルスクリーン表示モードが選択されている場合には、位置変化の情報に基づいて、スクリーン２への主情報の投射、及びスクリーン２の外側の領域４０への副情報の投射がそれぞれ維持されるように、主情報及び副情報の投射が制御される。
　具体的には、システム最適化処理部３６により、スクリーン２の位置変化の情報に応じて、主情報及び副情報のレイアウトが適宜設定される。そしてプロジェクタ制御部３５によりプロジェクタ１０を制御することで、スクリーン２の位置変化に応じて設定されたレイアウトにて、主情報及び副情報が投射されて表示される。
　すなわち図５に例示したフローが所定の周期で繰り返して実行される。これによりスクリーン２の位置の変化に応じた主情報及び副情報の投射を適正に実行することが可能である。例えばスクリーン２の移動に応じて、リアルタイムに副情報がスクリーン２を避けるように、位置、形状、及びサイズを動的に変化しながら表示されるような投射制御を実行することが可能である。なお所定の周期の具体的な長さは限定されず、任意に設定されてよい。例えば映像コンテンツ５１のフレームレート等に基づいて、周期が設定されてもよい。
　図１０Ａに示す例では、映像コンテンツ５１が全面に表示されているスクリーン２の左側に位置する外側の領域４０に、映像コンテンツ５１の字幕（「ただ今太平洋上空を通過中でございます」）が表示される。この状態からスクリーン２が左側に向かって移動したとする。
　図１０Ｂに示すように、スクリーン２の左側への移動に応じて、字幕のサイズ（第２の情報のサイズ）が小さくなるように変更される。字幕のサイズは、スクリーン２の左側に位置する外側の領域４０のサイズ等に応じて適宜設定される。
　さらに、スクリーン２が左側へ移動したとする。図１０Ｃに示すように、字幕の表示位置（第２の情報の位置）が、スクリーン２の右側に位置する外側の領域４０に変更される。字幕のサイズは、スクリーン２の右側に位置する外側の領域４０に字幕が適正に表示可能なように設定される。
　さらに、スクリーン２が左側へ移動したとする。図１０Ｄに示すように、スクリーン２の右側に位置する外側の領域４０に表示されている字幕のサイズが大きくなるように変更される。図１０Ａ～Ｄに示すように、主情報及び副情報の投射を制御することで、スクリーン２の位置変化に応じた適正な画像の表示が実現される。これにより快適な視聴体験を提供することが可能となり、高品質な画像表示が実現される。
　図１１は、スクリーン２の位置変化に応じた主情報及び副情報の投射制御の他の例を説明するための模式図である。図１１Ａ～Ｃに示す例では、映像コンテンツ５１が全面に表示されているスクリーン２が右側へ移動している。
　スクリーン２の右側への移動に応じて、ボリュームを調整するためのボリュームバーが、スクリーン２の下側に位置する外側の領域４０にて右側に移動するように表示される。すなわち図１１Ａ～Ｃに示す例では、スクリーン２の位置変化に追従して、スクリーン２との位置関係が維持されるように、副情報の位置が移動される。これにより、スクリーン２の近傍で副情報を表示し続けることが可能となり、快適な視聴体験を提供することが可能となる。
　なお通常投射モードが選択されている場合にも、スクリーン２の位置変化の情報に基づいて、スクリーン２への主情報及び副情報の投射がそれぞれ維持されるように、主情報及び副情報の投射を適正に制御することが可能である。
　スクリーン２が移動する場合にのみならず、プロジェクタ１０が移動する場合、及びスクリーン２とプロジェクタとがともに移動する場合にも、各投射モードにおいて、主情報及び副情報の投射を適正に制御することが可能である。
　例えば画像解析部３１により、プロジェクタ１０の位置情報が取得可能である場合には、プロジェクタ１０の移動に応じた、プロジェクタ１０に対するスクリーン２の相対的な位置変化の情報を検出することが可能である。あるいは、プロジェクタ１０自身により、プロジェクタ１０の位置情報が検出可能であってもよい。この場合でも、プロジェクタ１０の移動に応じた、プロジェクタ１０に対するスクリーン２の相対的な位置変化の情報を検出することが可能である。
　検出された位置変化の情報に基づいて、例えば図１０や図１１に例示したような、フルスクリーン表示モードが適正に維持されるような投射制御を実行することが可能である。同様に、通常表示モードが維持されるような投射制御を実行することが可能である。
　以上、本実施形態に係る画像表示システム１００では、スクリーン２に互いに異なる情報として分類される主情報及び副情報を投射する通常表示モードと、主情報はスクリーン２に投射し、副情報はスクリーン２の外側の領域４０に投射するフルスクリーン表示モードとを切替えることが可能となる。これにより高品質の画像表示を実現することが可能となる。
　例えば、視聴コンテンツを投射する際に、字幕や音量表示などの情報を視聴コンテンツに重畳させて表示することで、視聴コンテンツの視認性が下がってしまうという問題があった。また専用のスクリーンを投射対象面に配置した場合に、視聴コンテンツと字幕等の情報の位置関係が固定されている場合には、字幕等の情報がスクリーンと外部の領域との境界を跨いで表示されたりすることも多く、視認性の低下の原因となっていた。
　本実施形態に係る画像表示システム１００では、スクリーン２の位置、サイズ、形状を把握することが可能であり、主情報をスクリーン２に表示し、副情報をスクリーン２の外側の領域４０に表示する、フルスクリーン表示を適正に実行することが可能である。
　これにより、字幕等の高画質を強く要求されない副情報よりも、高画質を要求されるコンテンツ情報等の主情報を、優先的に専用のスクリーン２に投射するとが可能となる。この結果、非常に高い画質にて主情報を最大限の大きさで視聴することが可能となる。またコンテンツへの没入感を向上させることも可能となり、快適な視聴体験を提供することが可能となる。
　また字幕等の副情報により主情報の表示が邪魔されることがない、また副情報がスクリーン２と外側の領域４０との境界に表示されてしまうことがないので、主情報及び副情報の両方にとって非常に高い視認性が発揮される。
　＜第２の実施形態＞
　本技術の第２の実施形態に係る画像表示システムについて説明する。これ以降の説明では、上記の実施形態で説明した画像表示システム１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
　図１２は、フルスクリーン表示モードが選択された場合の主情報及び副情報の投射制御の一例を示すフローチャートである。図１３は、図１２に示す投射制御例を説明するための模式図である。
　図１２に示すステップ３０１～３０３は、第１の実施形態で説明した図５に示すステップ２０１～２０３と略同様である。
　本実施形態では、ステップ３０３でレイアウトが設定された後に、スクリーン２０２の主情報が表示されない領域であるブランク領域２４１に、副情報を投射可能であるか否か判定される（ステップ３０４）。ブランク領域２４１に副情報を表示可能ではない場合は（ステップ３０４のＮＯ）、ステップ３０３にて設定されたレイアウトに基づいて、プロジェクタが制御される（ステップ３０５）。
　ブランク領域２４１に副情報を表示可能な場合は（ステップ３０４のＹＥＳ）、レイアウトが変更される（ステップ３０６）。具体的には、ブランク領域２４１に副情報が表示可能なように、レイアウトが変更される。そして変更されたレイアウトに基づいて、プロジェクタが制御される（ステップ３０６）。これによりスクリーン２０２のブランク領域２４１に副情報が投射される。
　例えば図１３に例示するように、アスペクト比を維持した状態で最大のサイズとなるように、スクリーン２０２に映像コンテンツ２５１が表示される。スクリーン２０２の映像コンテンツ２５１の左右には、映像コンテンツ２５１が投射されない領域であるブランク領域２４１が発生している。
　図１３に示す例では、左側のブランク領域２４１にチャンネル番号（「１０３」）、及びチャンネル名（「Ｍｏｖｉｅ」）が表示されるように、レイアウトが変更される。また右側のブランク領域２４１に、映像コンテンツ２５１の字幕（「大切な話なの」）が表示されるように、レイアウトが変更される。このように、フルスクリーン表示モードが選択された場合に、スクリーン２０２に十分なブランク領域２４１が存在する場合には、ブランク領域２４１に副情報が投射されてもよい。これにより高画質で副情報を表示させることが可能となり、高品質な画像表示を実現することが可能となる。
　なお、スクリーン２０２の外側の領域２４０に副情報を表示させるか、スクリーン２０２のブランク領域２４１に副情報を表示させるかを選択であってもよい。例えばユーザの入力等に応じて、副情報の表示位置が適宜設定される。
　＜第３の実施形態＞
　図１４は、本技術の第３の実施形態に係る、フルスクリーン表示モードが選択された場合の主情報及び副情報の投射制御の一例を示すフローチャートである。図１５は、図１４に示す投射制御例を説明するための模式図である。
　図１４に示すステップ４０１及び４０２は、第１の実施形態で説明した図５に示すステップ２０１及び２０２と略同様である。
　本実施形態では、投射画像のレイアウトを設定する際に、スクリーン３０２の外側の領域３４０に副情報を投射可能であるか否かが判定される。すなわちフルスクリーン表示が可能であるかが判定される（ステップ４０３）。この判定は、例えば投射可能領域３１１内におけるスクリーン３０２の外側の領域３４０のサイズ等に基づいて実行される。
　外側の領域３４０がない場合、あるいは十分なサイズを確保できない場合等には、スクリーン３０２の外側の領域３４０に副情報を投射可能ではないと判定される。また、複数の副情報が投射される場合において、全ての副情報を外側の領域３４０に表示すると非常に見にくくなる場合等も、外側の領域３４０に副情報を投射可能ではないと判定される。その他、判定の基準は、任意に設定されてよい。
　スクリーン３０２に副情報を投射可能な場合は（ステップ４０３のＹＥＳ）、フルスクリーン表示を実現するためのレイアウトが設定される（ステップ４０４）。設定されたフルスクリーン表示のレイアウトに基づいて、プロジェクタが制御される（ステップ４０６）。
　スクリーン３０２に副情報を投射可能ではない場合には（ステップ４０３のＮＯ）、副情報の投射位置がスクリーン３０２内に設定される（ステップ４０７）。すなわち副情報がスクリーン３０２内に表示されるように、レイアウトが設定される。
　なお、副情報の全てがスクリーン３０２内に表示されるレイアウトが設定される場合に限定されない。例えば複数の副情報が投射される場合において、一部の副情報はスクリーン３０２の外側の領域３４０に表示され、他の一部の副情報はスクリーン３０２内に表示される。このようなレイアウトが設定されてもよい。
　レイアウトが設定されると、設定されたレイアウトに基づいて、プロジェクタが制御される（ステップ４０６）。
　図１５に示す例では、ステップ４０７にて、スクリーン３０２の上側の近傍にチャンネル番号（「１０３」）、及びチャンネル名（「Ｍｏｖｉｅ」）が表示されるように、レイアウトが設定される。一方、映像コンテンツ３５１の字幕（「大切な話なの」）については、スクリーン３０２内に映像コンテンツ３５１と重畳して表示されるように、レイアウトが設定される。
　このようにフルスクリーン表示モードが選択された場合に、フルスクリーン表示が可能であるか否かが判定されてもよい。そして、フルスクリーン表示モードが実現できない場合には、副情報の投射位置が適宜設定される。これにより高品質な画像表示を実現することが可能となる。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　図１６は、スクリーンの位置、形状、及びサイズの検出の具体例を説明するための模式図である。上記では、カメラによりスクリーンが撮影され、その撮影画像に基づいて画像解析技術等を用いることで、スクリーン情報を算出する旨を説明した。ここでは、スクリーンの位置等を検出するための具体例を説明する。
　なお、スクリーンの位置等を検出する検出部として、カメラに代えて、あるいはカメラに加えて、赤外線センサや測距センサ等の他のセンサが用いられてもよい。また検出部により検出されるスクリーンに関する検出情報も、撮影画像に限定されず、種々のセンサの検出結果が用いられてよい。
　例えば赤外線センサ等を用いて、投射対象面に対する凹凸面をセンシングすることで、スクリーンの位置や形状等を検出することが可能である。例えば凹凸面の位置、形状、及びサイズが、スクリーンの位置、形状、サイズとして検出される。
　図１６Ａに示すように、投射対象面４０１とスクリーン４０２の色の違いをセンシングすることで、スクリーン４０２の位置、形状、及びサイズを検出することも可能である。また図１６Ｂに示すように、スクリーン４０２の周囲のフレーム４０２ａをセンシングすることで、スクリーン４０２の位置、形状、及びサイズを検出することも可能である。
　またプロジェクタから投射対象面４０１に対して光を投射する。その際にできるスクリーン４０２の影４０２ｂをセンシングすることで、スクリーン４０２の位置、形状、及びサイズを検出することも可能である。当然のことながら、上記で説明した複数のセンシングを組み合わせることも可能である。
　図１７は、スクリーンの他の構成例を示す模式図である。投射対象面に配置されるスクリーンの数や形状は限定されない。例えば図１７Ａに示す例では、長方形状のスクリーン５０２ａと、円形状のスクリーン５０２ｂとが配置される。
　スクリーン５０２ａには、主情報として映像コンテンツ５５１ａが表示され、スクリーン５０２ａの外側の領域５４０ａには、副情報として、映像コンテンツ５５１ａの字幕（「ただ今太平洋上空を通過中でございます」）が表示される。
　またスクリーン５０２ｂには、主情報として時計の画像５５１ｂが表示される。スクリーン５０２ｂの外側の領域５４０ｂには、副情報として、月日が表示される。なおスクリーン５０２ｂの外側の領域５４０ｂは、スクリーン５０２ａの外側の領域５４０ａともいえる。
　図１７Ａに示すように、スクリーン５０２ｂの形状に合わせた画像（時計の画像）を表示させることで、実際の時計が配置されているような仮想的な環境を提供することが可能となる。スクリーンの形状や表示される情報を適宜設定することで、部屋内に所望のインテリアを配置しているかのような仮想的な環境を提供することも可能である。
　図１７Ｂに示す例では、楕円形状のスクリーン５０２ｃと、三角形状のスクリーン５０２ｄとが配置される。スクリーン５０２ｃには、主情報として写真コンテンツ５５１ｃが表示され、スクリーン５０２ｃの外側の領域５４０ｃには、副情報として、写真コンテンツ５５１ｃの説明文（「ライブ前の楽屋にて」）が表示される。
　またスクリーン５０２ｄには、主情報として写真コンテンツ５５１ｄが表示され、スクリーン５０２ｄの外側の領域５４０ｄ（外側の領域５４０ｃともいえる）には、副情報として、写真コンテンツ５５１ｄの説明文（「シロ（２０１８年春）」）が表示される。
　ロール式のスクリーンが用いられてもよい。例えば引き出されたスクリーンのサイズ等が適宜検出される。そして引き出されたスクリーンに対して、通常表示モード及びフルスクリーン表示モードが適宜切り替えて実行することが可能である。
　投射対象物として、スクリーン以外の物が用いられてもよい。例えば絵画や家具等の物体の所定の領域や、表面等が、投射対象物として用いられてもよい。
　フルスクリーン表示モードが選択された場合に、スクリーンに主情報が最大のサイズで表示されない場合もあり得る。例えばユーザの指示、スクリーンの形状、コンテンツの種別や内容等に応じて、最大のサイズとは異なるサイズで、主情報が表示されてもよい。この場合、例えばスクリーンにブランク領域がある場合には、ブランク領域に副情報が表示されてもよい。
　フルスクリーン表示モードが選択された場合に、スクリーンに投射される主情報の位置、形状、及びサイズの少なくとも１つが変化に応じて、副情報の投射が制御されてもよい。例えば図７Ｂに例示するように、スクリーン２の全面に映像コンテンツ５１が表示されている状態から、図８に例示すように映像コンテンツ５１のアスペクト比が変化したとする。この場合、スクリーン２の外側の領域４０に表示されている副情報の位置、形状、サイズが適宜変更されてもよい。あるいは、スクリーン２のブランク領域４１に副情報が表示されてもよい。
　上記で説明したシステム制御装置とプロジェクタとが一体的に構成されてもよい。すなわち第１の情報及び第２の情報を投射するプロジェクタにシステム制御装置の機能が搭載されてもよい。この場合、プロジェクタが、本技術に係る情報処理装置の一実施形態として機能する。
　本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば第１の情報及び第２の情報の投射の制御、第１の情報及び第２の投射モードの切替、対象物情報の取得、対象物の有無の検出等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
　すなわち本技術に係る情報処理方法、及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
　各図面を参照して説明した画像表示システム、システム制御装置、第１の情報及び第２の情報のレイアウト、各投射モードにおける投射制御のフロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
　本開示において、「略板形状」や「略同様」等の「略」を用いた表現は、「完全な板形状」や「完全に同様」等を基準とした所定の範囲（例えば±１０％の範囲）を意味する概念である。これらを単に「板形状」や「同様」等の「略」を付けずに表現することも可能である。
　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御する投射制御部と、
　投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替可能なモード制御部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物に前記第１の情報を前記投射対象物に対応した最大のサイズで投射させる
　情報処理装置。
（３）（２）に記載の情報処理装置であって、
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物から所定距離以内の位置に前記第２の情報を投射させる
　情報処理装置。
（４）（３）に記載の情報処理装置であって、さらに、
　前記投射対象物の位置を含む対象物情報を取得する取得部を具備し、
　前記投射制御部は、前記取得された対象物情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御する
　情報処理装置。
（５）（４）に記載の情報処理装置であって、
　前記対象物情報は、前記投射対象物の形状及びサイズを含む
　情報処理装置。
（６）（４）又は（５）に記載の情報処理装置であって、
　前記取得部は、検出装置により検出された前記投射対象物に関する検出情報に基づいて、前記対象物情報を取得する
　情報処理装置。
（７）（４）から（６）のうちいずれか１つに記載の情報処理装置であって、
　前記取得部は、ユーザにより設定された前記投射対象物に関する設定情報に基づいて、前記対象物情報を取得する
　情報処理装置。
（８）（４）から（７）のうちいずれか１つに記載の情報処理装置であって、
　前記取得部は、前記投射対象物の投射領域を含む投射可能領域に関する領域情報を取得し、
　前記投射制御部は、前記対象物情報及び前記領域情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御する
　情報処理装置。
（９）（８）に記載の情報処理装置であって、
　前記投射対象物は、投射対象面に配置されたスクリーンであり、
　前記スクリーンは、投射画像を前記投射対象面に投射した場合よりも、投射画像を前記スクリーンに投射した場合の方が、投射画像をより高い画質で表示することが可能な材質により構成されており、
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記対象物情報及び前記領域情報に基づいて、前記第1の情報を前記スクリーンに対応した最大のサイズで前記スクリーンに投射する制御及び前記第２の情報を前記投射可能領域内であって前記スクリーンの外側の領域に投射する制御を行う
　情報処理装置。
（１０）（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記第１の情報は、コンテンツ情報を含み、
　前記第２の情報は、前記コンテンツ情報に関連する付加情報、メニュー情報、通知情報、及び広告情報の少なくとも１つを含む
　情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記投射制御部は、前記第２の投射モードが選択された場合に、投射される前記第２の情報の位置、形状、及びサイズの少なくとも１つを制御可能である
　情報処理装置。
（１２）（４）から（１１）のうちいずれか１つに記載の情報処理装置であって、
　前記対象物情報は、前記第１の情報及び前記第２の情報を投射する画像投射装置に対する前記投射対象物の相対的な位置の変化を示す位置変化の情報を含み、
　前記表示制御部は、前記位置変化の情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御する
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
　前記表示制御部は、前記第２の投射モードが選択された場合に、前記位置変化の情報に基づいて、前記投射対象物への前記第１の情報の投射、及び前記外側の領域への前記第２の情報の投射がそれぞれ維持されるように、前記第１の情報及び前記第２の情報の投射を制御する
　情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、さらに、
　前記投射対象物の有無を検出する検出部を具備し、
　前記モード制御部は、前記投射対象物が検出された場合に、前記第２の投射モードを選択する
　情報処理装置。
（１５）（１）から（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物の前記第１の情報が投射されない領域であるブランク領域に、前記第２の情報を投射可能であるか否かを判定し、前記ブランク領域に前記第２の情報を投射可能な場合は前記ブランク領域に前記第２の情報を投射させる
　情報処理装置。
（１６）（１）から（１５）のうちいずれか１つに記載の情報処理装置であって、
　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物の外側の領域に前記第２の情報を投射可能であるか否かを判定し、前記外側の領域に前記第２の情報を投射可能ではない場合には、前記投射対象物に前記第２の情報を投射させる
　情報処理装置。
（１７）（１）から（１６）のうちいずれか１つに記載の情報処理装置であって、
　前記投射制御部は、前記第２の投射モードが選択された場合に、投射される前記第１の情報の位置、形状、及びサイズの少なくとも１つの変化に応じて、前記第２の情報の投射を制御する
　情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
　前記投射制御部は、画像投射装置による前記第１の情報及び前記第２の情報の投射を制御する
　情報処理装置。
（１９）第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御し、
　投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替える
　ことをコンピュータシステムが実行する情報処理方法。
（２０）第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御するステップと、
　投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替えるステップと
　をコンピュータシステムに実行させるプログラム。
　１、４０１…投射対象面
　２、２０２、３０２、４０２、５０２ａ～ｄ…スクリーン
　１０（１０ａ、１０ｂ）…プロジェクタ
　１１、３１１…投射可能領域
　２０…カメラ
　３０…システム制御装置
　３１…画像解析部
　３２…入力受付部
　３３…画像情報取得部
　３４…モード制御部
　３５…プロジェクタ制御部
　３６…システム最適化処理部
　４０、２４０、３４０、５４０ａ～ｄ…外側の領域
　４１、２４１…ブランク領域
　５１、２５１、３５１、５５１ａ…映像コンテンツ
　５２ａ、５２ｂ…カレンダー
　５３ａ、５３、５５１ｃ、５５１ｄ…写真コンテンツ
　１００…画像表示システム
　５５１ｂ…時計の画像

Claims (20)

  1. 　第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御する投射制御部と、
    　投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替可能なモード制御部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物に前記第１の情報を前記投射対象物に対応した最大のサイズで投射させる
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物から所定距離以内の位置に前記第２の情報を投射させる
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、さらに、
    　前記投射対象物の位置を含む対象物情報を取得する取得部を具備し、
    　前記投射制御部は、前記取得された対象物情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御する
    　情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記対象物情報は、前記投射対象物の形状及びサイズを含む
    　情報処理装
  6. 　請求項４に記載の情報処理装置であって、
    　前記取得部は、検出装置により検出された前記投射対象物に関する検出情報に基づいて、前記対象物情報を取得する
    　情報処理装置。
  7. 　請求項４に記載の情報処理装置であって、
    　前記取得部は、ユーザにより設定された前記投射対象物に関する設定情報に基づいて、前記対象物情報を取得する
    　情報処理装置。
  8. 　請求項４に記載の情報処理装置であって、
    　前記取得部は、前記投射対象物の投射領域を含む投射可能領域に関する領域情報を取得し、
    　前記投射制御部は、前記対象物情報及び前記領域情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御する
    　情報処理装置。
  9. 　請求項８に記載の情報処理装置であって、
    　前記投射対象物は、投射対象面に配置されたスクリーンであり、
    　前記スクリーンは、投射画像を前記投射対象面に投射した場合よりも、投射画像を前記スクリーンに投射した場合の方が、投射画像をより高い画質で表示することが可能な材質により構成されており、
    　前記投射制御部は、前記第２の投射モードが選択された場合に、前記対象物情報及び前記領域情報に基づいて、前記第1の情報を前記スクリーンに対応した最大のサイズで前記スクリーンに投射する制御及び前記第２の情報を前記投射可能領域内であって前記スクリーンの外側の領域に投射する制御を行う
    　情報処理装置。
  10. 　請求項１に記載の情報処理装置であって、
    　前記第１の情報は、コンテンツ情報を含み、
    　前記第２の情報は、前記コンテンツ情報に関連する付加情報、メニュー情報、通知情報、及び広告情報の少なくとも１つを含む
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、
    　前記投射制御部は、前記第２の投射モードが選択された場合に、投射される前記第２の情報の位置、形状、及びサイズの少なくとも１つを制御可能である
    　情報処理装置。
  12. 　請求項４に記載の情報処理装置であって、
    　前記対象物情報は、前記第１の情報及び前記第２の情報を投射する画像投射装置に対する前記投射対象物の相対的な位置の変化を示す位置変化の情報を含み、
    　前記表示制御部は、前記位置変化の情報に基づいて、前記第１の情報及び前記第２の情報の投射を制御する
    　情報処理装置。
  13. 　請求項１２に記載の情報処理装置であって、
    　前記表示制御部は、前記第２の投射モードが選択された場合に、前記位置変化の情報に基づいて、前記投射対象物への前記第１の情報の投射、及び前記外側の領域への前記第２の情報の投射がそれぞれ維持されるように、前記第１の情報及び前記第２の情報の投射を制御する
    　情報処理装置。
  14. 　請求項１に記載の情報処理装置であって、さらに、
    　前記投射対象物の有無を検出する検出部を具備し、
    　前記モード制御部は、前記投射対象物が検出された場合に、前記第２の投射モードを選択する
    　情報処理装置。
  15. 　請求項１に記載の情報処理装置であって、
    　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物の前記第１の情報が投射されない領域であるブランク領域に、前記第２の情報を投射可能であるか否かを判定し、前記ブランク領域に前記第２の情報を投射可能な場合は前記ブランク領域に前記第２の情報を投射させる
    　情報処理装置。
  16. 　請求項１に記載の情報処理装置であって、
    　前記投射制御部は、前記第２の投射モードが選択された場合に、前記投射対象物の外側の領域に前記第２の情報を投射可能であるか否かを判定し、前記外側の領域に前記第２の情報を投射可能ではない場合には、前記投射対象物に前記第２の情報を投射させる
    　情報処理装置。
  17. 　請求項１に記載の情報処理装置であって、
    　前記投射制御部は、前記第２の投射モードが選択された場合に、投射される前記第１の情報の位置、形状、及びサイズの少なくとも１つの変化に応じて、前記第２の情報の投射を制御する
    　情報処理装置。
  18. 　請求項１に記載の情報処理装置であって、
    　前記投射制御部は、画像投射装置による前記第１の情報及び前記第２の情報の投射を制御する
    　情報処理装置。
  19. 　第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御し、
    　投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替える
    　ことをコンピュータシステムが実行する情報処理方法。
  20. 　第１の情報、及び前記第１の情報とは異なる種類の情報として分類される第２の情報の投射を制御するステップと、
    　投射対象物に前記第１の情報及び前記第２の情報が投射される第１の投射モードと、前記投射対象物に前記第１の情報が投射され、前記投射対象物の外側の領域に前記第２の情報が投射される第２の投射モードとを切替えるステップと
    　をコンピュータシステムに実行させるプログラム。
PCT/JP2019/008362 2018-04-13 2019-03-04 情報処理装置、情報処理方法、及びプログラム WO2019198381A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/045,488 US20210158730A1 (en) 2018-04-13 2019-03-04 Information processing apparatus, information processing method, and program
JP2020513117A JPWO2019198381A1 (ja) 2018-04-13 2019-03-04 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-077762 2018-04-13
JP2018077762 2018-04-13

Publications (1)

Publication Number Publication Date
WO2019198381A1 true WO2019198381A1 (ja) 2019-10-17

Family

ID=68163149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008362 WO2019198381A1 (ja) 2018-04-13 2019-03-04 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210158730A1 (ja)
JP (1) JPWO2019198381A1 (ja)
WO (1) WO2019198381A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230006996A (ko) * 2021-07-05 2023-01-12 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220674A (ja) * 1998-02-02 1999-08-10 Matsushita Electric Ind Co Ltd オンスクリーン表示位置補正装置
JP2008116706A (ja) * 2006-11-06 2008-05-22 Seiko Epson Corp プロジェクタ、スクリーン、表示システムおよび表示方法
JP2009177581A (ja) * 2008-01-25 2009-08-06 Ｎｅｃディスプレイソリューションズ株式会社 投射型表示装置および字幕表示方法
WO2010116457A1 (ja) * 2009-03-30 2010-10-14 Ｎｅｃディスプレイソリューションズ株式会社 映像表示装置および映像処理方法
JP2012163853A (ja) * 2011-02-08 2012-08-30 Ns Solutions Corp 表示装置、情報提供システム、情報提供方法、及びプログラム
JP2016152574A (ja) * 2015-02-19 2016-08-22 株式会社アステム 番組出力装置、番組と補助情報の出力方法、およびプログラム
US20180098002A1 (en) * 2016-09-30 2018-04-05 Lenovo (Singapore) Pte. Ltd. Systems and methods to present closed captioning using augmented reality

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220674A (ja) * 1998-02-02 1999-08-10 Matsushita Electric Ind Co Ltd オンスクリーン表示位置補正装置
JP2008116706A (ja) * 2006-11-06 2008-05-22 Seiko Epson Corp プロジェクタ、スクリーン、表示システムおよび表示方法
JP2009177581A (ja) * 2008-01-25 2009-08-06 Ｎｅｃディスプレイソリューションズ株式会社 投射型表示装置および字幕表示方法
WO2010116457A1 (ja) * 2009-03-30 2010-10-14 Ｎｅｃディスプレイソリューションズ株式会社 映像表示装置および映像処理方法
JP2012163853A (ja) * 2011-02-08 2012-08-30 Ns Solutions Corp 表示装置、情報提供システム、情報提供方法、及びプログラム
JP2016152574A (ja) * 2015-02-19 2016-08-22 株式会社アステム 番組出力装置、番組と補助情報の出力方法、およびプログラム
US20180098002A1 (en) * 2016-09-30 2018-04-05 Lenovo (Singapore) Pte. Ltd. Systems and methods to present closed captioning using augmented reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法

Also Published As

Publication number Publication date
JPWO2019198381A1 (ja) 2021-05-13
US20210158730A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US11445255B2 (en) Operation method, device, apparatus and storage medium of playing video
WO2020248640A1 (zh) 一种显示设备
JP5906779B2 (ja) 画像表示装置
JP6429545B2 (ja) 制御装置、制御方法
WO2015186964A1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
US10075644B2 (en) Information processing apparatus and information processing method
WO2019198381A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110069230A (zh) 扩展内容显示方法、装置及存储介质
WO2020248697A1 (zh) 显示设备及视频通讯数据处理方法
US11877091B2 (en) Method for adjusting position of video chat window and display device
US20130141646A1 (en) Image display device, image display system, and control method of image display device
JP2009087095A (ja) 電子機器の制御装置、制御方法及び制御プログラム
JP2010146328A (ja) プロジェクタ、その制御方法、及びその制御プログラム
US11570409B2 (en) Operation apparatus, multi-apparatus system, control method, and storage medium
JP2009276507A (ja) 投写型表示装置、投写型表示装置の制御方法および制御プログラム
US9798355B2 (en) Projection method and electronic device
JP2007288379A (ja) 複数画面表示機能付きテレビジョン装置
JP2018054912A (ja) 投影型表示装置及びその制御方法
JP2016191854A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015197782A (ja) 双方向表示方法および双方向表示装置
JP2020035176A (ja) 投影装置、投影装置の制御方法、プログラム、および記憶媒体
CN113630633B (zh) 显示设备及交互控制方法
WO2020248886A1 (zh) 图像处理方法及显示设备
US20230269360A1 (en) Electronic device and method for controlling electronic device
JP2016153824A (ja) 表示装置及び表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19785861

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020513117

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19785861

Country of ref document: EP

Kind code of ref document: A1