WO2016125359A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2016125359A1
WO2016125359A1 PCT/JP2015/081534 JP2015081534W WO2016125359A1 WO 2016125359 A1 WO2016125359 A1 WO 2016125359A1 JP 2015081534 W JP2015081534 W JP 2015081534W WO 2016125359 A1 WO2016125359 A1 WO 2016125359A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
user
information
information processing
processing apparatus
Prior art date
Application number
PCT/JP2015/081534
Other languages
English (en)
French (fr)
Inventor
正一 土居
茶谷 公之
厚志 石原
倉田 宜典
高田 昌幸
昌裕 森田
義樹 竹岡
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580074654.1A priority Critical patent/CN107211104A/zh
Priority to US15/533,731 priority patent/US10297179B2/en
Priority to EP15881176.0A priority patent/EP3255880A4/en
Priority to JP2016573184A priority patent/JP6711284B2/ja
Publication of WO2016125359A1 publication Critical patent/WO2016125359A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06T3/18
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • This disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses an invention relating to a projector including a rotation actuator, a height adjustment actuator, and a movement actuator that can be operated by a remote controller. According to the invention, the user can perform the adjustment work of the projector by operating the remote controller without manually adjusting the projector.
  • Patent Document 2 discloses an invention relating to a robot that selects an image projection destination from a wall surface, a handy screen, or a palm, and projects the image onto the selected projection destination.
  • Patent Document 1 the user decides the projection destination of the image and installs the projector toward the projection destination, which may be complicated.
  • Patent Document 2 the details of the projection destination selection process are not specifically disclosed, and further improvement and development have been demanded.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of projecting an image to an appropriate projection destination while reducing the user's work in projecting the image.
  • a three-dimensional information acquisition unit that acquires three-dimensional information indicating the arrangement of an object, and a projection region on which an image is projected based on the three-dimensional information acquired by the three-dimensional information acquisition unit
  • An information processing apparatus includes a projection control unit that determines a space in which an object is placed.
  • the three-dimensional information acquisition unit acquires the three-dimensional information indicating the arrangement of the object, and the image is projected based on the three-dimensional information acquired by the three-dimensional information acquisition unit. And determining a projection area in a space in which the object is arranged.
  • a three-dimensional information acquisition function that acquires three-dimensional information indicating the arrangement of an object, and a projection region in which an image is projected based on the three-dimensional information acquired by the three-dimensional information acquisition function
  • a projection control function for determining in a space where the object is arranged, and a program for causing a computer to realize the projection control function.
  • an information processing apparatus an information processing method, and a program capable of projecting an image onto an appropriate projection destination while reducing a user's work in projecting the image are provided.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 2 is a block diagram illustrating a schematic functional configuration of an information processing apparatus according to a first embodiment of the present disclosure.
  • FIG. 3 is a flowchart conceptually showing an outline of processing of the information processing apparatus in the embodiment.
  • 5 is a flowchart conceptually showing a projection area determination process of the information processing apparatus in the embodiment.
  • It is a block diagram showing a schematic functional composition of an information processor concerning a 2nd embodiment of this indication. It is a figure for demonstrating the determination process of the projection area
  • 3 is a flowchart conceptually showing an outline of processing of the information processing apparatus in the embodiment.
  • FIG. 5 is a flowchart conceptually showing a projection area determination process of the information processing apparatus in the embodiment. It is a figure which shows the example of the determination of the projection area
  • FIG. 3 is a flowchart conceptually showing an outline of processing of the information processing apparatus in the embodiment.
  • 6 is a flowchart conceptually showing a process of changing a projection mode of the information processing apparatus in the embodiment.
  • FIG. 1 is a diagram for describing an overview of an information processing apparatus 100 according to an embodiment of the present disclosure.
  • the information processing apparatus 100 has a projection function and an adjustment function.
  • the projection function is a function of projecting an image
  • the adjustment function is a function of adjusting the projection direction, the focus, and the like. Therefore, the information processing apparatus 100 can project an image on a screen or the like and adjust the projection direction of the image.
  • the information processing apparatus 100 is installed on the table 20 and projects the image 10 onto the wall as shown in FIG.
  • the information processing apparatus 100 adjusts the projection direction, focus, and the like of the image 10.
  • a user determines an image projection destination and sets the projection direction of the information processing apparatus as the projection destination. For this reason, every time the projection destination is changed, the user must reset the projection direction of the information processing apparatus, which may complicate the work.
  • the information processing apparatus 100 acquires three-dimensional information indicating the arrangement of an object, and the object arranges a projection region on which an image is projected based on the acquired three-dimensional information. To be determined in the space to be.
  • the information processing apparatus 100 first acquires three-dimensional information around the own apparatus. Based on the three-dimensional information, the information processing apparatus 100 grasps the presence of objects arranged around the apparatus, for example, the clock 30 and the foliage plant 40 as shown in FIG. Next, the information processing apparatus 100 displays the image 10 on a position that does not overlap with the grasped object, for example, on the wall surface between the clock 30 and the foliage plant 40 as illustrated in FIG.
  • the information processing apparatus 100 acquires three-dimensional information indicating the arrangement of an object, and based on the acquired three-dimensional information, sets a projection area on which an image is projected as the object. Is determined in the space in which is placed. For this reason, by projecting an image while avoiding an object, it is possible to project the image to an appropriate projection destination while reducing the user's work in projecting the image.
  • each of the information processing apparatuses 100 according to the first to fourth embodiments is suffixed with a number corresponding to the embodiment like the information processing apparatuses 100-1 to 100-4. To distinguish.
  • First Embodiment (Example of determining a projection region based on a plane)> The overview of the information processing apparatus 100 according to an embodiment of the present disclosure has been described above. Subsequently, the information processing apparatus 100-1 according to the first embodiment of the present disclosure will be described. The information processing apparatus 100-1 identifies a plane from the three-dimensional information, and determines a projection area on which an image is projected based on the identified plane.
  • FIG. 2 is a block diagram showing a schematic functional configuration of the information processing apparatus 100-1 according to the present embodiment.
  • the information processing apparatus 100-1 includes an operation detection unit 102, a three-dimensional information acquisition unit 104, a plane search unit 106, a control unit 108, a storage unit 110, and a projection unit 112, as shown in FIG.
  • the operation detection unit 102 detects a user operation on the information processing apparatus 100-1. Specifically, the operation detection unit 102 detects an operation on the information processing apparatus 100-1 and generates operation information indicating the detected operation. Then, the operation detection unit 102 provides the generated operation information to the control unit 108. For example, the operation detection unit 102 detects an input operation by a movement such as a button press, touch or gesture, or an input operation by voice, and generates operation information indicating the detected operation.
  • the three-dimensional information acquisition unit 104 acquires three-dimensional information indicating the arrangement of the object. Specifically, the three-dimensional information acquisition unit 104 acquires three-dimensional information in the space around the information processing apparatus 100-1. For example, the three-dimensional information acquisition unit 104 generates three-dimensional information, for example, a distance image (depth map) from an image obtained by imaging with a stereo camera provided separately in the information processing apparatus 100-1. Note that the three-dimensional information acquisition unit 104 may be a distance sensor (depth sensor) using infrared rays, visible light, ultrasonic waves, or the like.
  • the plane search unit 106 specifies a plane based on the three-dimensional information as part of the projection control unit. Specifically, the plane search unit 106 specifies the plane of the object existing around the information processing apparatus 100-1 indicated by the three-dimensional information. For example, the plane search unit 106 first calculates a range that can be projected by the projection unit 112. Then, the plane search unit 106 calculates the unevenness from the depth included in the three-dimensional information within the projectable range, and identifies a continuous region in which the calculated unevenness has a depth or height equal to or less than a threshold as a plane. To do. A plurality of planes can be specified.
  • the control unit 108 determines a projection area on which an image is projected based on the three-dimensional information as a part of the projection control unit. Specifically, the control unit 108 determines the projection area from the plane specified by the plane search unit 106 from the three-dimensional information. More specifically, the control unit 108 determines the projection area based on the size of the plane specified by the plane search unit 106. In addition, the control unit 108 may determine a plane specified before another specified plane as the projection area.
  • control unit 108 determines a plane satisfying a condition corresponding to each search mode among the planes specified by the plane search as a projection area.
  • Search modes include an area priority mode and a speed priority mode.
  • the control unit 108 determines a plane larger than the other specified plane as the projection area.
  • the control unit 108 determines the plane specified first as the projection area after starting the plane search process.
  • another condition may be added for determining the projection area. For example, in the speed priority mode process, a condition that the size of the specified plane is a predetermined size, for example, the size of the projection screen or more may be added.
  • control unit 108 performs image projection control. Specifically, the control unit 108 causes the projection unit 112 to project an image stored in the storage unit 110 based on a user operation detected by the operation detection unit 102. For example, when the operation detecting unit 102 detects an operation to change the projection image, the control unit 108 acquires the change destination image indicated by the operation from the storage unit 110 or the like, and acquires the acquired image to the projection unit 112. Project.
  • the projected image may be acquired from an external device through communication, or may be an image obtained by imaging of an imaging unit provided separately in the information processing apparatus 100-1.
  • the storage unit 110 stores information related to processing of the information processing apparatus 100-1. Specifically, the storage unit 110 stores processing setting information, a projection image, and the like. For example, the storage unit 110 stores, as process setting information, an unevenness threshold for specifying a plane, search mode setting information, projection region determination conditions, and the like.
  • the projection unit 112 projects an image based on an instruction from the control unit 108. Specifically, the projection unit 112 projects an image designated by the control unit 108 onto a projection area determined by the control unit 108.
  • the projection unit 112 is a projector that can change the projection direction, the projection range, and the like, and adjusts the projection direction and the like so that an image is projected onto the projection area instructed by the control unit 108.
  • FIG. 3 is a flowchart conceptually showing an outline of processing of the information processing apparatus 100-1 in the present embodiment.
  • the information processing apparatus 100-1 acquires three-dimensional information (step S202). Specifically, the three-dimensional information acquisition unit 104 acquires the three-dimensional information around the information processing apparatus 100-1. Note that the three-dimensional information may be periodically acquired and updated.
  • the information processing apparatus 100-1 determines a projection area based on the acquired three-dimensional information (step S204). Specifically, when the three-dimensional information is acquired by the three-dimensional information acquisition unit 104, the control unit 108 determines a projection region based on the three-dimensional information. Details will be described later.
  • the information processing apparatus 100-1 projects an image on the determined projection area (step S206). Specifically, the control unit 108 acquires a projection image from the storage unit 110, and causes the projection unit 112 to project the acquired image onto the determined projection area.
  • the information processing apparatus 100-1 determines whether or not the projection has ended (step S208). Specifically, when the operation detecting unit 102 detects an operation to end projection, the control unit 108 causes the projecting unit 112 to end image projection.
  • FIG. 4 is a flowchart conceptually showing a projection area determination process of the information processing apparatus 100-1 in this embodiment.
  • the information processing apparatus 100-1 determines the search mode (step S302). Specifically, the control unit 108 refers to search mode setting information stored in the storage unit 110 and determines which search mode is set.
  • the information processing apparatus 100-1 searches for a plane based on the three-dimensional information (step S304). Specifically, the plane search unit 106 searches for a plane around the information processing apparatus 100-1 based on the three-dimensional information.
  • the information processing apparatus 100-1 determines whether the plane search is completed (step S306). Specifically, the plane search unit 106 determines whether another plane is specified from the three-dimensional information. When it is determined that another plane is specified, the plane search unit 106 continues the plane search.
  • the information processing apparatus 100-1 determines a plane wider than the other planes as the projection area (step S308). Specifically, when the plane search is completed, the control unit 108 determines a plane larger than the other planes among the identified planes as a projection area. For example, the control unit 108 can determine the size of the plane based on the area, the length in one direction or the outer periphery, and the like.
  • step S302 If it is determined in step S302 that the search mode is the speed priority mode, the information processing apparatus 100-1 searches for a plane based on the three-dimensional information (step S310). Specifically, substantially the same processing as step S304 is performed.
  • the information processing apparatus 100-1 determines whether the discovered plane is larger than the projected screen (step S312). Specifically, the plane search unit 106 determines whether the plane size of the specified plane is equal to or larger than the screen size to be projected. When it is determined that the specified plane size is smaller than the screen size to be projected, the plane search unit 106 continues the plane search.
  • the information processing apparatus 100-1 determines the discovered plane as a projection area (step S314). Specifically, the control unit 108 determines a plane specified by the plane search unit 106 and having a width larger than the projection screen as the projection area.
  • the information processing apparatus 100-1 may determine a predetermined location as the projection area. For example, the first discovered plane, a plane larger than other planes, the initial projection direction of the projection unit 112, or the like can be determined as the projection area. In this case, the information processing apparatus 100-1 may notify the user of an error. For example, the information processing apparatus 100-1 projects an image indicating an error or outputs a sound indicating an error.
  • the information processing apparatus 100-1 acquires three-dimensional information indicating the arrangement of an object, and an image is projected based on the acquired three-dimensional information.
  • the information processing apparatus 100-1 determines the projection area from the plane specified based on the three-dimensional information. For this reason, by selecting a plane as the projection destination of the image, it becomes possible to ensure a higher visibility than the surface with unevenness in the projection image.
  • the information processing apparatus 100-1 determines the projection area based on the specified plane size. For this reason, since it becomes easy to determine the area
  • the information processing apparatus 100-1 determines a plane specified before other planes as a projection area. For this reason, it is possible to reduce the waiting time of the user until the projection by determining the projection area earlier than when all the planes of the projection area candidate are searched.
  • the information processing apparatus 100-1 may use the position of the plane as a determination element for determining the projection area. Specifically, the control unit 108 determines the projection area based on the plane position specified by the plane search unit 106.
  • the control unit 108 determines the plane as a projection area.
  • the control unit 108 does not determine the plane as a projection area.
  • the plane position can be included in the information associated with the plane by the plane search unit 106 when searching for the plane.
  • the propriety of projection of the position of the plane may be set in advance or may be changed by a user operation.
  • the plane search unit 106 performs the plane search again. In this case, the plane that has not been determined as the projection area is excluded from the plane search process.
  • the information processing apparatus 100-1 determines the projection region based on the position of the specified plane. For this reason, by removing a plane at a position unsuitable for projection from the projection area candidate, it becomes easier to project an image at a position that the user expects to be able to view and to improve user satisfaction. .
  • the information processing apparatus 100-1 may use a mode appearing on a plane as a determination element for determining a projection area. Specifically, the control unit 108 determines the projection area based on the aspect appearing on the plane specified by the plane search unit 106.
  • the information processing apparatus 100-1 includes an imaging unit separately, and when a plane is specified by the plane search unit 106, the control unit 108 causes the imaging unit to perform imaging so that the specified plane becomes a subject. . Then, the control unit 108 projects, based on the image obtained by imaging by the imaging unit, the specified plane mode, for example, presence / absence of characters, illustrations or patterns, texture such as gloss or texture, color or material, etc. Determine if it is suitable. When it is determined that the specified plane is suitable for projection, the control unit 108 determines the specified plane as a projection region. On the other hand, when it is determined that the aspect of the specified plane is not suitable for projection, the control unit 108 does not determine the specified plane as a projection area. It should be noted that the propriety of projection of the plane mode may be stored in advance in the storage unit 110 or may be changed by a user operation. In addition, the control unit 108 may determine the projection area in consideration of the properties of the projected image.
  • the information processing apparatus 100-1 determines the projection area based on the aspect appearing on the specified plane. For this reason, it is possible to suppress a reduction in the visibility of the projected image by removing the plane in a mode not suitable for projection from the projection area candidate.
  • the information processing apparatus 100-1 may project an image toward the own apparatus. Specifically, the information processing apparatus 100-1 separately includes an image projection area, and the control unit 108 adds the image projection area to the projection area candidates.
  • the control unit 108 selects a plane to be a projection area from among the plane specified by the plane search unit 106 and the image projection area provided in the information processing apparatus 100-1, for example, a plane inclined toward the inside of the apparatus. select.
  • the projection unit 112 can set the projection direction in a direction toward the own device, and projects an image toward the image projection area of the own device according to an instruction from the control unit 108. Therefore, when the image projection area is determined as the projection area, the control unit 108 causes the projection unit 112 to project the image onto the image projection area.
  • the information processing apparatus 100-1 further includes an image projection area, and adds the image projection area to the projection area candidates. For this reason, it is possible to reduce the possibility that it will be difficult to project an image because a plane is not found by increasing the choices of the projection area.
  • the control unit 108 may determine the projection region as the image projection region when the plane search unit 106 does not specify a plane that is a projection region candidate. In this case, even when there is no plane for projecting the image around the information processing apparatus 100-1, the number of cases where the information processing apparatus 100-1 can be used increases because the image is projected, improving convenience. It becomes possible to make it.
  • Second Embodiment (Example of determining a projection area based on user information)> The information processing apparatus 100-1 according to the first embodiment of the present disclosure has been described above. Subsequently, the information processing apparatus 100-2 according to the second embodiment of the present disclosure will be described. The information processing apparatus 100-2 determines the projection area from the specified plane based on the user information.
  • FIG. 5 is a block diagram showing a schematic functional configuration of the information processing apparatus 100-2 according to the present embodiment. Note that a description of a configuration that is substantially the same as the configuration of the first embodiment will be omitted.
  • the information processing apparatus 100-2 includes user information in addition to the operation detection unit 102, the three-dimensional information acquisition unit 104, the plane search unit 106, the control unit 108, the storage unit 110, and the projection unit 112.
  • An acquisition unit 114 is provided.
  • the user information acquisition unit 114 acquires information related to users (hereinafter also referred to as user information) existing around the information processing apparatus 100-2.
  • the user information includes information indicating the position of the user (hereinafter also referred to as user position information), and the user information acquisition unit 114 acquires the user position information.
  • the user information acquisition unit 114 analyzes the image obtained by the imaging of the imaging unit provided separately of the information processing apparatus 100-2, so that the user position information about the users existing around the information processing apparatus 100-2 To get.
  • the user information acquisition unit 114 may acquire user position information from an external device via communication, or may generate user position information from three-dimensional information.
  • the control unit 108 determines a projection area from the plane specified by the plane search unit 106 based on the user information. Specifically, the control unit 108 determines the projection region based on the relationship between the user position indicated by the user position information acquired by the user information acquisition unit 114 and the plane position specified by the plane search unit 106. . Furthermore, with reference to FIG. 6, the projection area determination process based on the positional relationship between the user and the plane will be described in detail.
  • FIG. 6 is a diagram for explaining a projection area determination process in the information processing apparatus 100-2 according to the present embodiment.
  • the control unit 108 determines the positional relationship between the user and the plane based on the user position indicated by the user position information acquired by the user information acquisition unit 114 and the plane position specified by the plane search unit 106. judge. For example, the control unit 108 determines whether the position of the plane is within a predetermined range from the position of the user 50 as shown in FIG. Note that the control unit 108 may determine whether the distance between the user's position and the specified plane position is equal to or longer than a predetermined length. When there are a plurality of users, the position of one of the plurality of users may be used, and one position specified from the plurality of user position information, for example, the center position of the user group is used. May be. Moreover, the information used for determination of a positional relationship may be memorize
  • the control unit 108 determines the specified plane as a projection region, and causes the projection unit 112 to project an image on the determined projection region. For example, when it is determined that the position of the specified plane is within a predetermined range from the position of the user 50, the control unit 108 determines the plane as a projection region. Then, the control unit 108 causes the projection unit 112 to project the image 10 onto the plane.
  • control unit 108 determines whether the position of the specified plane is within a predetermined range from the user position. May be. Specifically, the control unit 108 may determine whether the position indicated by the user position information is on or around a straight line in contact with the plane surface. For example, when the user is positioned on the straight line or the like, the visibility of the image projected on the plane is reduced, and thus the control unit 108 does not determine the plane as a projection area.
  • FIG. 7 is a flowchart conceptually showing an outline of processing of the information processing apparatus 100-2 in the present embodiment. Note that description of processing that is substantially the same as processing in the first embodiment is omitted.
  • the information processing apparatus 100-2 acquires three-dimensional information (step S402) and acquires user position information (step S404). Specifically, the user information acquisition unit 114 acquires user position information indicating the positions of users located around the information processing apparatus 100-1. Note that the user position information may be periodically acquired and updated.
  • the information processing apparatus 100-2 determines a projection area based on the acquired three-dimensional information and user position information (step S406). Specifically, when the three-dimensional information and the user position information are acquired, the control unit 108 determines a projection area based on the three-dimensional information and the user position information. Details will be described later.
  • the information processing apparatus 100-2 projects an image on the determined projection area (step S408), and determines whether or not the projection has ended (step S410).
  • FIG. 8 is a flowchart conceptually showing a projection area determination process of the information processing apparatus 100-2 in the present embodiment.
  • the information processing apparatus 100-2 determines the search mode (step S502), and when it is determined that the search mode is the area priority mode, searches for a plane based on the three-dimensional information (step S504).
  • the information processing apparatus 100-2 determines whether the plane search has ended (step S506), and when it is determined that the plane search has ended, selects a plane wider than other planes as a projection area candidate. (Step S508).
  • the information processing apparatus 100-2 determines whether the relationship between the position of the selected plane and the position indicated by the user position information is a predetermined relationship (step S510). Specifically, the control unit 108 determines whether or not the position of the plane selected from the specified plane is within a predetermined range from the position indicated by the user position information.
  • the information processing apparatus 100-2 determines the selected plane as a projection area (step S512). Specifically, when it is determined that the position of the selected plane is within a predetermined range from the position indicated by the user position information, the control unit 108 determines the selected plane as a projection area. If it is determined that the relationship between the position of the selected plane and the position indicated by the user position information is not a predetermined relationship, the process returns to step S508, and another plane is selected as the projection region.
  • step S502 If it is determined in step S502 that the search mode is the speed priority mode, the information processing apparatus 100-2 searches for a plane based on the three-dimensional information (step S514), and detects the wide area of the detected plane. It is determined whether or not the length is larger than the width of the projection screen (step S516).
  • the information processing apparatus 100-2 determines that the relationship between the position of the discovered plane and the position indicated by the user position information is a predetermined relationship Is determined (step S518). Specifically, each time a plane is specified by the plane search unit 106, substantially the same process as the process of step S510 is performed on the plane.
  • the information processing apparatus 100-2 determines the discovered plane as a projection area (step S520). . Specifically, when it is determined in step S518 that the position of the specified plane is within a predetermined range from the position indicated by the user position information, the control unit 108 determines the specified plane as a projection region. To do. When it is determined that the relationship between the position of the identified plane and the position indicated by the user position information is not a predetermined relationship, the process is returned to step S514, and the plane search is resumed.
  • the information processing apparatus 100-2 determines a projection region from a specified plane based on user information existing in the vicinity. For this reason, by determining the projection area for the user who views the projected image, the image is projected at a position where the visibility is easily secured for the user, and the satisfaction of the user can be improved.
  • the user information includes user position information indicating the position of the user
  • the information processing apparatus 100-2 uses the projection area based on the relationship between the position of the user indicated by the user position information and the position of the specified plane. To decide. For this reason, by projecting an image on a plane according to the position of the user, the user does not have to move to view the projected image, and convenience can be improved.
  • the information processing apparatus 100-2 may determine the projection area based on information that changes according to the number of users. Specifically, the control unit 108 determines a projection area based on information that changes according to the number of users around the information processing apparatus 100-2 (hereinafter also referred to as user number information).
  • the user number information is the number of users
  • the control unit 108 determines the projection area from the specified plane based on the number of users indicated by the user number information acquired by the user information acquisition unit 114. .
  • the control unit 108 determines whether or not the number of users indicated by the user count information is greater than or equal to a threshold value, and when it is determined that the number of users is equal to or greater than the threshold value, a plane belonging to a predetermined area, for example, a plane located on the ceiling Is determined as a projection area.
  • the control unit 108 may perform the projection area determination process in the first and second embodiments.
  • the user information may be a user density
  • the control unit 108 may determine a projection area from a specified plane based on the user density indicated by the user information. Further, a combination of user information and user position information may be used for determining the projection area. For example, the control unit 108 can determine a plane that belongs to an area where the density of the user is lower than other areas as the projection area.
  • the above-described user information includes user information that changes according to the number of users around the information processing apparatus 100-2, and the information processing apparatus 100- 2 determines a projection area based on the user information. For this reason, by determining the projection area using the abstracted information about the user, it is possible to reduce the processing load in determining the projection area and shorten the processing time.
  • the information processing apparatus 100-2 may determine a plane corresponding to the user's line of sight as the projection area. Specifically, the control unit 108 determines the projection area based on the user's line of sight estimated by information that changes according to the user's line of sight (hereinafter also referred to as user line-of-sight information) and the position of the specified plane. decide.
  • the user's line-of-sight information is information indicating the user's head posture, face orientation, pupil or iris position, or the user's field of view or field of view.
  • the control unit 108 is acquired by the user information acquisition unit 114. A user's gaze is estimated from user gaze information. Then, the control unit 108 determines whether or not the identified user's line of sight is directed to the identified plane. When it is determined that the user's line of sight is directed to the specified plane, the control unit 108 determines the specified plane as the projection area.
  • the user's line of sight may be specified by an external device, and information indicating the specified user's line of sight may be acquired via communication.
  • the control unit 108 may determine whether the specified plane is included in the user's visual field or field of view.
  • control unit 108 may determine, as the projection area, a plane on which the lines of sight of the plurality of users are concentrated more than other planes.
  • the above-described user information includes user line-of-sight information that changes according to the user's line of sight, and the information processing apparatus 100-2 uses the user line-of-sight information.
  • the projection area is determined based on the estimated user's line of sight and the position of the specified plane. In general, while waiting for projection by a projector or the like, the user looks at a plane assumed to be projected. For this reason, since it becomes easy to project an image in the direction which a user is looking at, an image is projected on a position as a user's expectation, and it becomes possible to control generation
  • the information processing apparatus 100-2 may further determine the user and determine a projection area corresponding to the determined user.
  • the information processing apparatus 100-2 further includes a user identification unit that identifies a user, and the control unit 108 determines a projection area based on attribute information about the user identified by the user identification unit. More specifically, the control unit 108 selects user information used for determining the projection area based on the user attribute information, and determines the projection area based on the selected user information.
  • FIG. 9 and FIG. 10 the process of this modification is demonstrated in detail.
  • FIG. 9 is a diagram illustrating an example of determining a projection area based on user attribute information in the information processing apparatus 100-2 according to the third modification of the present embodiment
  • FIG. FIG. 20 is a diagram showing another example of determining a projection area based on user attribute information in the information processing apparatus 100-2 according to the modified example.
  • the user identification unit identifies users around the information processing apparatus 100-2. For example, the user identification unit acquires an image in which the user's face existing around the information processing apparatus 100-2 is copied, and uses a face recognition process or the like, for example, the user 50A and the user 50A shown in FIG. Each user 50B is identified. Note that the image in which the user's face is captured may be acquired from an external device.
  • the user identification unit may identify the user based on the user's voice, or may identify the user based on identification information superimposed on the radio wave received from the communication tag of the user.
  • the control unit 108 acquires the attribute information of the identified user.
  • the user attribute information includes information indicating whether the user is an operating user, and is stored in the storage unit 110 or acquired from an external device through communication.
  • the control unit 108 acquires attribute information of the user 50 ⁇ / b> A as illustrated in FIG. 9 from the storage unit 110.
  • the control unit 108 determines a projection area based on the user information of the operating user. For example, the control unit 108 determines whether or not the attribute information indicates the operating user for the user 50A as illustrated in FIG. When it is determined that the attribute information of the user 50A indicates the operating user, the control unit 108 determines from the plane specified by the plane search unit 106 to another plane based on the user information of the user 50A, for example, the user position information. The plane closer to the user 50A is determined as the projection area. Then, as illustrated in FIG. 9, the control unit 108 causes the projection unit 112 to display the image 10 in the determined projection area.
  • the user attribute information includes information indicating whether the user is a viewing user.
  • the control unit 108 selects a projection area based on the user information of the viewing user. You may decide. For example, the control unit 108 determines whether or not the attribute information indicates the viewing user for the user 50B as illustrated in FIG. When it is determined that the attribute information of the user 50B indicates the viewing user, the control unit 108 determines from the plane specified by the plane search unit 106 based on the user position information of the user 50B that the user 50B is more than the other planes. A plane close to is determined as the projection area. Then, as illustrated in FIG. 10, the control unit 108 causes the projection unit 112 to display the image 10 in the determined projection area. When there are a plurality of users having attribute information that satisfies the condition, one user may be selected from the plurality of users at random, and the users may be further narrowed down according to other conditions.
  • the user attribute information may be information indicating the user's age, sex, race, occupation, or the like
  • the control unit 108 is a user who becomes a reference for the projection area determination process based on the content indicated by the information. May be selected.
  • the information processing apparatus 100-2 further includes a user identification unit that identifies a user, and is based on the attribute information of the user identified by the user identification unit. To determine the projection area. For this reason, the projection control of the image is performed based on the user having the identified specific attribute, so that the projection corresponding to the scene corresponding to the attribute is automatically performed and the convenience can be improved. Become.
  • the attribute information includes information indicating whether the user is an operating user.
  • the information processing apparatus 100-2 determines the projection area based on the user information of the operating user. decide. For this reason, projection control is performed for the user who operates the information processing apparatus 100-2, whereby projection according to the intention of the operating user is performed, and a user-friendly impression can be given to the user. A similar effect can be expected when the attribute information is a viewing user.
  • the information processing apparatus 100-2 may correct the projection image so that the user can easily see it. Specifically, the control unit 108 corrects the projected image based on the position of the projection area. Further, the control unit 108 corrects the projected image for the user based on the position of the projection area, the position of the user, and the position of the information processing apparatus 100-2. With reference to FIG. 11, the process of this modification is demonstrated in detail.
  • FIG. 11 is a diagram showing an example of the projection image correction processing in the information processing apparatus 100-2 according to the fourth modification of the present embodiment.
  • the control unit 108 causes the projection unit 112 to project an image onto the projection region.
  • the control unit 108 determines the upper surface of the table 20 as shown in the left diagram of FIG. 11 as the projection area, and causes the projection unit 112 to project the image 10 onto the upper surface of the table 20.
  • a projection device such as a projector is generally designed to perform projection based on a predetermined direction such as a front direction, and an image to be projected when projection is performed in a direction other than the predetermined direction. May be distorted.
  • the control unit 108 projects the image 10 on the table 20 as shown in the left diagram of FIG.
  • the projected image 10 may be distorted into a trapezoidal shape that expands in the projection direction.
  • control unit 108 corrects the projected image when the position of the projection region is at a position where the image can be distorted. For example, when the projection region is positioned in a direction different from the projection reference direction, the control unit 108 performs trapezoidal correction on the projected image as illustrated in the right diagram of FIG.
  • the image projected on the projection area may be difficult for the user to see.
  • the image 10 is projected between the user 50 and the information processing apparatus 100-2 as shown in FIG. 11, the image 10 is projected upside down for the user 50, and the user 50 views the image 10. It can be difficult.
  • the control unit 108 corrects the projected image for the user based on the position of the projection area, the position of the user, and the position of the information processing apparatus 100-2. For example, when the projection area is determined between the user 50 and the information processing apparatus 100-2, the control unit 108 rotates the image 10 projected on the projection area so that the image 10 faces the user 50. Let As a result, the image 10 is projected so as to face the user 50 as shown in the right diagram of FIG.
  • control unit 108 corrects other enlargement or reduction of the image, color or lightness according to the position or mode of the projection region. Processing may be performed.
  • the information processing apparatus 100-2 corrects the projected image based on the determined position of the projection area. For this reason, it becomes possible to improve the visibility of a projection image by adapting the image projected on the projection area determined.
  • the information processing apparatus 100-2 corrects the projected image for the user based on the position of the projection area, the position of the user, and the position of the information processing apparatus 100-2. For this reason, it is possible to further improve the visibility of the projected image by correcting the projected image in a user-oriented manner.
  • the functional configuration of the information processing apparatus 100-3 according to the third embodiment of the present disclosure is substantially the same as the configuration of the first and second embodiments except for the function of the control unit 108. Only the function of the control unit 108 will be described.
  • the control unit 108 changes the projection mode of the image based on the determined change in the projection area mode, for example, the change in the three-dimensional information indicating the unevenness. Specifically, the control unit 108 determines whether the determined projection area includes unevenness based on the changed three-dimensional information, and when it is determined that the determined projection area includes unevenness, Change the projection mode. Further, the projection mode changing process will be described in detail with reference to FIGS. FIG. 12 to FIG. 14 are diagrams showing examples of changing the projection mode by the information processing apparatus 100-3 according to this embodiment.
  • the control unit 108 determines whether the projection region includes irregularities based on the three-dimensional information. For example, when the obstacle 60A is placed so as to block the projection of the image 10 as shown in the left diagrams of FIGS. 12 and 13, the control unit 108 changes the three-dimensional information related to the projection area. Based on the obtained three-dimensional information, it is determined whether the projection area includes irregularities. Note that the unevenness may have a predetermined height or depth based on the height or depth of the projection region that was a plane.
  • the control unit 108 changes the projection mode according to the change mode. Specifically, when it is determined that the projection region includes unevenness, the control unit 108 refers to the set change mode and performs a projection mode change process according to the change mode.
  • the change mode includes modes such as an area change mode, a content change mode, and a shape use mode, and the change mode can be stored in the storage unit 110.
  • the control unit 108 changes the projection area to an area that does not include unevenness. More specifically, when it is determined that the projection region includes unevenness, the control unit 108 causes the plane search unit 106 to search for a plane that does not include unevenness. Then, the control unit 108 determines the plane specified by the plane search unit 106 as a new projection area, and causes the projection unit 112 to project the projection image onto the new projection area. As a result, as shown in the right diagram of FIG. 12, the projected image 10 is moved so as to avoid the obstacle 60A.
  • the control unit 108 changes the projected image according to the unevenness as a display control unit.
  • the control unit 108 changes the projected image according to the position of the unevenness. More specifically, the control unit 108 changes the layout of the image so that the content of the image is not projected onto the uneven position included in the projection region, that is, the uneven position is a blank space. As a result, as shown in the right diagram of FIG. 13, the layout of the image is changed so that the content of the projected image 10 is not projected at the position where the obstacle 60A is placed.
  • the control unit 108 changes the projected image according to the uneven shape. More specifically, the control unit 108 first specifies the shape of the unevenness included in the projection area. Then, the control unit 108 edits the image layout and the like in accordance with the unevenness of the specified shape. As a result, as shown in FIG. 14, the layout of the image 10 is changed so that the content of the projected image 10 is divided into a portion projected onto the obstacle 60B and a portion projected onto the table 20. Can be done.
  • the projection area may not be changed.
  • the control unit 108 does not perform any particular processing and does not change the projection area even when it is determined that the projection area includes unevenness. Further, when the change mode is the current state maintenance mode, the control unit 108 does not have to determine whether the projection region includes unevenness.
  • FIG. 15 is a flowchart conceptually showing an outline of processing of the information processing apparatus 100-3 in the present embodiment. Note that description of processing that is substantially the same as processing in the first and second embodiments is omitted.
  • the information processing apparatus 100-3 acquires three-dimensional information (step S602), and determines a projection area based on the acquired three-dimensional information (step S604). Next, the information processing apparatus 100-3 projects an image on the determined projection area (step S606).
  • the information processing apparatus 100-3 determines whether an obstacle has been detected in the projection area (step S608). Specifically, the three-dimensional information acquisition unit 104 periodically acquires three-dimensional information, and the control unit 108 determines whether the projection area includes irregularities based on the acquired three-dimensional information.
  • the information processing apparatus 100-3 changes the projection mode (step S610), and determines whether or not the projection has ended (step S612). Specifically, when it is determined that the projection area includes unevenness, the control unit 108 changes the projection mode of the image. Details will be described later.
  • FIG. 16 is a flowchart conceptually showing a projection mode change process of the information processing apparatus 100-3 in the present embodiment. Note that description of processing that is substantially the same as processing in the first and second embodiments is omitted.
  • the information processing apparatus 100-3 determines the change mode (step S702).
  • the information processing apparatus 100-3 searches for a plane in the projection area based on the three-dimensional information (step S704). Specifically, the control unit 108 causes the plane search unit 106 to search for a plane in the projection area.
  • the information processing apparatus 100-3 determines whether the discovered plane is larger than the projected screen (step S706). Specifically, the control unit 108 determines whether the plane specified by the plane search unit 106 is larger than the projection image.
  • the information processing apparatus 100-3 changes the projection area to the discovered plane (step S708). Specifically, when it is determined that the specified plane is larger than the projection image, the control unit 108 determines the plane as a projection area. If the plane that becomes the projection area is not specified in the projection area, the projection area may not be changed, or a plane search is performed outside the projection area, and the plane specified by the plane search is a new projection area. May be determined.
  • the information processing apparatus 100-3 calculates a displayable area in the projection area (step S710). Specifically, the control unit 108 calculates an area where there are no obstacles in the projection area, that is, unevenness.
  • the information processing apparatus 100-3 edits the image based on the calculated displayable area (step S712). Specifically, the control unit 108 changes the image layout or the like so that the image content is projected onto an area where there is no calculated unevenness.
  • the information processing apparatus 100-3 specifies the shape of the obstacle (step S714). Specifically, the control unit 108 specifies the shape of the unevenness included in the projection area based on the three-dimensional information.
  • the information processing apparatus 100-3 edits the image based on the shape of the specified obstacle (step S716).
  • the control unit 108 performs image layout or the like so that the image content is divided into projections and depressions and projected, for example, based on the shape and plane of the specified projections and depressions in the projection region. change.
  • the information processing apparatus 100-3 changes the projection mode based on the determined change in the mode of the projection region. For this reason, even if it is a case where a projection area
  • the information processing apparatus 100-3 determines whether the determined projection area includes unevenness based on the three-dimensional information, and when it is determined that the determined projection area includes unevenness, the projection mode To change. For this reason, when the projection region is not a flat surface, it is possible to effectively suppress a reduction in the visibility of the projection image by changing the projection mode.
  • the control unit 108 may change the projection aspect so as to cancel the visual aspect of the projection area after the change.
  • Visual aspects include, for example, the presence or absence of characters, illustrations or patterns, and textures or colors such as gloss or texture.
  • the information processing apparatus 100-3 changes the projection area to an area that does not include unevenness as the above-described change in the projection mode. For this reason, the projection area is not included in the projection area, that is, by changing the projection area to a plane, for example, an obstacle is later placed in the projection area, and the projection image is visually recognized even when the projection and depression occur. It becomes possible to maintain sex.
  • the information processing apparatus 100-3 further includes a display control unit that performs display control of the projected image based on the unevenness included in the projection region. For this reason, even if it is difficult to move the projection area to another plane, the contents of the projection image can be transmitted to the user.
  • the information processing apparatus 100-3 changes the projected image according to the shape of the unevenness. For this reason, it is possible to effectively convey the contents of the projection image by using the unevenness, for example, the shape of an obstacle, such as projection mapping.
  • the projection mode changing process after determining the projection area has been described.
  • the content change mode or the shape described above is used. Usage mode processing may be performed.
  • the projection image may be switched to another image.
  • the control unit 108 switches the projection image to an image content that does not include a display object, for example, the position of the unevenness.
  • the information processing apparatus 100-3 may change the projection mode of the image projected on the projection area based on a user operation.
  • the control unit 108 changes the projection mode based on operation information indicating a user operation provided from the operation detection unit 102.
  • the control unit 108 changes the projection mode according to the set change mode.
  • the projection mode changing operation may be voice input or gesture input in addition to contact input to the information processing apparatus 100-3.
  • the operation content may be, for example, designation of the change mode described above.
  • the information processing apparatus 100-3 changes the projection mode based on the operation information indicating the user operation on the information processing apparatus 100-3. For this reason, convenience can be improved by changing a projection mode in the situation or timing which a user intends.
  • FIG. 17 is a block diagram showing a schematic functional configuration of the information processing apparatus 100-4 according to the present embodiment. Note that descriptions of configurations that are substantially the same as the configurations of the first to third embodiments are omitted.
  • the information processing apparatus 100-4 includes an operation detection unit 102, a three-dimensional information acquisition unit 104, a plane search unit 106, a control unit 108, a storage unit 110, a projection unit 112, and a user information acquisition unit 114.
  • a drive unit 116 is provided.
  • the drive unit 116 moves the information processing apparatus 100-4.
  • the drive unit 116 includes a power source such as a motor and an actuator such as a wheel or a caterpillar moved by the power source, and operates based on an instruction from the control unit 108.
  • the drive unit 116 moves the information processing apparatus 100-4 by turning a wheel or the like in a direction related to the instruction of the control unit 108 and rotating the motor according to the output amount related to the instruction.
  • the control unit 108 controls the operation of the driving unit 116. Specifically, the control unit 108 instructs the drive unit 116 to perform an operation determined based on the movement content of the information processing apparatus 100-4. For example, the control unit 108 determines the instruction content to the drive unit 116 indicating the operation direction, the operation amount, and the like from the separately determined movement route and movement speed. Then, the control unit 108 notifies the content of the instruction and issues an operation instruction to the driving unit 116.
  • control unit 108 determines the movement contents of the information processing apparatus 100-4. Specifically, the control unit 108 determines a moving route, a moving speed, and the like of the information processing apparatus 100-4 for acquiring three-dimensional information. For example, the control unit 108 determines a movement route so that the information processing apparatus 100-4 is moved toward an area for which three-dimensional information is not acquired.
  • the movement route may be updated while the information processing apparatus 100-4 is moving.
  • the control unit 108 may determine a movement route toward the area. Good.
  • the processing relating to image projection of the information processing apparatus 100-4 in the present embodiment is substantially the same as the processing of the information processing apparatus 100 in the first to third embodiments, and thus the description thereof is omitted.
  • the information processing device 100-4 further includes a drive unit that moves the information processing device 100-4, and three-dimensional information is not acquired by the operation of the drive unit. Move towards the area that is. For this reason, since it is possible to acquire three-dimensional information that is difficult to acquire at the position where the information processing apparatus 100-4 is arranged by the user, a plane that can be a projection region can be searched widely. As a result, the visibility of the projected image can be further improved by projecting the image onto a more suitable plane.
  • the drive unit 116 includes an actuator such as a propeller that is rotated by a power source, and obtains lift by the operation of the propeller or the like, thereby causing the information processing apparatus 100-4 to fly.
  • a part including the drive unit 116 of the information processing apparatus 100-4 may be separated, and the separated part may perform a part of movement and processing.
  • the projection unit 112 and the drive unit 116 (hereinafter also referred to as a drive unit) are separated from other functions, and the drive unit moves and projects an image.
  • the projection unit 112 included in the drive unit acquires an image via communication from another function to be separated, for example, the control unit 108, and projects the acquired image.
  • the projection unit 112 included in the drive portion may be a so-called pico projector or the like that is smaller than a general projector. Communication is performed by wire or wireless.
  • the driving portion may include a three-dimensional information acquisition unit 104 instead of or in addition to the projection unit 112.
  • a part of the functions of the information processing apparatus 100-4 and the driving unit 116 are separated from other functions, and the separation part moves and performs processing related to the projection of the image. I do. For this reason, part of the functions including the drive unit 116 of the information processing apparatus 100-4 is separated, so that the weight of the configuration related to movement can be reduced and power consumption and the like can be suppressed.
  • FIG. 18 is an explanatory diagram showing a hardware configuration of the information processing apparatus 100 according to the present disclosure.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 132, a ROM (Read Only Memory) 134, a RAM (Random Access Memory) 136, a bridge 138, a bus 140, and an interface. 142, an input device 144, an output device 146, a storage device 148, a drive 150, a connection port 152, and a communication device 154.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 132 functions as an arithmetic processing unit, and realizes operations of the three-dimensional information acquisition unit 104, the plane search unit 106, the control unit 108, and the user information acquisition unit 114 in the information processing apparatus 100 in cooperation with various programs.
  • the CPU 132 may be a microprocessor.
  • the ROM 134 stores programs or calculation parameters used by the CPU 132.
  • the RAM 136 temporarily stores programs used in the execution of the CPU 132 or parameters that change as appropriate during the execution.
  • a part of the storage unit 110 in the information processing apparatus 100 is realized by the ROM 134 and the RAM 136.
  • the CPU 132, the ROM 134, and the RAM 136 are connected to each other by an internal bus including a CPU bus.
  • the input device 144 is an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an operation detection unit that generates an input signal based on the input by the user and outputs the input signal to the CPU 132.
  • An input control circuit such as 102 is configured.
  • a user of the information processing apparatus 100 can input various data to the information processing apparatus 100 and instruct a processing operation by operating the input device 144.
  • the output device 146 outputs to an apparatus such as a projector device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp as an example of the projection unit 112 of the information processing device 100. Furthermore, the output device 146 may output sound such as a speaker and a headphone, and may output a driving force as an example of the driving unit 116 of the information processing device 100.
  • a projector device a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, and a lamp
  • the output device 146 may output sound such as a speaker and a headphone, and may output a driving force as an example of the driving unit 116 of the information processing device 100.
  • the storage device 148 is a device for storing data.
  • the storage device 148 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 148 stores programs executed by the CPU 132 and various data.
  • the drive 150 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 100.
  • the drive 150 reads information recorded on a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 134.
  • the drive 150 can also write information to a removable storage medium.
  • connection port 152 is, for example, a bus for connecting to an information processing apparatus outside the information processing apparatus 100 or a peripheral device.
  • the connection port 152 may be a USB (Universal Serial Bus).
  • the communication device 154 is a communication interface composed of a communication device for connecting to a network, for example.
  • the communication device 154 may be a wireless LAN (Local Area Network) compatible communication device or an LTE (Long Term Evolution) compatible communication device.
  • the projection area is determined for the user who views the projection image, so that the image is projected at a position where visibility is easily ensured for the user, and the user satisfaction level It becomes possible to improve.
  • the third embodiment of the present disclosure it is possible to suppress a reduction in the visibility of the projected image even when the projection region is changed to a state not suitable for projection.
  • the fourth embodiment of the present disclosure it is possible to acquire three-dimensional information that is difficult to acquire at the position where the information processing apparatus 100-4 is arranged by the user, thereby widely searching for a plane that can be a projection region. can do. As a result, the visibility of the projected image can be further improved by projecting the image onto a more suitable plane.
  • a three-dimensional information acquisition unit that acquires three-dimensional information indicating the arrangement of an object, and the object arranges a projection area on which an image is projected based on the three-dimensional information acquired by the three-dimensional information acquisition unit
  • An information processing apparatus comprising: a projection control unit that determines a space to be determined.
  • the projection control unit determines the projection area from a plane specified based on the three-dimensional information.
  • the projection control unit determines the projection area based on a size of the specified plane.
  • the projection control unit determines the plane specified before the other plane as the projection area.
  • the information processing apparatus determines the projection area from the identified plane based on information relating to a user existing in the space.
  • the information related to the user includes user position information indicating a position of the user in the space, and the projection control unit includes the position of the user indicated by the user position information and the position of the specified plane.
  • the information processing apparatus according to (5), wherein the projection area is determined based on the relationship.
  • the information related to the user includes user number information that changes according to the number of users in the space, and the projection control unit determines the projection area based on the user number information.
  • the information processing apparatus 5) or (6).
  • the information related to the user includes line-of-sight information that changes according to the line of sight of the user,
  • the projection control unit determines the projection area based on a user's line of sight estimated from the line-of-sight information and the position of the specified plane.
  • the information processing apparatus described. A user identification unit for identifying the user is further provided, and the projection control unit determines the projection region based on user attribute information identified by the user identification unit.
  • the information processing apparatus according to any one of the above.
  • the attribute information includes information indicating whether the user is an operation user, and the projection control unit, based on information related to the user of the operation user, when the attribute information indicates the operation user,
  • the projection control unit corrects a projected image based on the determined position of the projection region.
  • the projection control unit changes the projection mode based on the determined change in the mode of the projection region.
  • the projection control unit determines whether the determined projection area includes irregularities based on the three-dimensional information, and determines that the determined projection area includes the irregularities, the projection The information processing apparatus according to (13), wherein the aspect is changed. (15) The information processing apparatus according to (14), wherein the projection control unit changes a projection area to an area not including the unevenness. (16) The information processing apparatus according to (14), further including a display control unit that performs display control of a projected image based on the unevenness included in the projection region. (17) The information processing apparatus according to (16), wherein the display control unit changes a projected image according to the shape of the unevenness.
  • An image projection area is further provided, and the projection control unit determines the image projection area as the projection area when the projection area is not determined based on the three-dimensional information.
  • the information processing apparatus according to any one of the above.
  • the three-dimensional information acquisition unit acquires three-dimensional information indicating the arrangement of the object, and based on the three-dimensional information acquired by the three-dimensional information acquisition unit, the projection area on which the image is projected is the object. Determining in a space in which the information is arranged.
  • a space in which the object is arranged in a projection area on which an image is projected based on the three-dimensional information acquisition function for acquiring three-dimensional information indicating the arrangement of the object, and the three-dimensional information acquired by the three-dimensional information acquisition function A program for causing a computer to realize the projection control function determined in step 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geometry (AREA)

Abstract

【課題】画像の投影におけるユーザの作業を低減しながら適切な投影先に画像を投影することが可能な情報処理装置、情報処理方法およびプログラムを提供する。 【解決手段】物体の配置を示す三次元情報を取得する三次元情報取得部と、前記三次元情報取得部によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定する投影制御部と、を備える情報処理装置ならびに情報処理方法およびプログラム。

Description

情報処理装置、情報処理方法およびプログラム
 本開示は、情報処理装置、情報処理方法およびプログラムに関する。
 近年、画像投影技術の発展に伴い、様々な投影装置が開発されている。概して、当該投影装置の使用に際し、投影方向および焦点等の調整作業をユーザが行うことになる。これに対し、当該調整作業を支援する投影装置が提案されている。
 例えば、特許文献1には、リモートコントローラによって操作可能な回転用アクチュエータ、高さ調節用アクチュエータおよび移動用アクチュエータを備えるプロジェクタに係る発明が開示されている。当該発明によれば、ユーザは、手動でプロジェクタを調整することなく、リモートコントローラを操作することによって、プロジェクタの調整作業を行うことが可能となる。
 また、特許文献2には、画像の投影先を壁面、ハンディスクリーンまたは手の平の中から選択し、選択される投影先に画像を投影するロボットに係る発明が開示されている。
特開2013-80087号公報 特開2005-59186号公報
 しかし、特許文献1で開示されるプロジェクタでは、ユーザが画像の投影先を決定し、プロジェクタを当該投影先に向けて設置する作業が発生し、当該作業が煩雑となる場合があった。また、特許文献2では、投影先の選択処理の内容が具体的に開示されておらず、また更なる改良発展が求められていた。
 そこで、本開示では、画像の投影におけるユーザの作業を低減しながら適切な投影先に画像を投影することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
 本開示によれば、物体の配置を示す三次元情報を取得する三次元情報取得部と、前記三次元情報取得部によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定する投影制御部と、を備える情報処理装置が提供される。
 また、本開示によれば、三次元情報取得部が物体の配置を示す三次元情報を取得することと、前記三次元情報取得部によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定することと、を含む情報処理方法が提供される。
 また、本開示によれば、物体の配置を示す三次元情報を取得する三次元情報取得機能と、前記三次元情報取得機能によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定する投影制御機能と、をコンピュータに実現させるためのプログラムが提供される。
 以上説明したように本開示によれば、画像の投影におけるユーザの作業を低減しながら適切な投影先に画像を投影することが可能な情報処理装置、情報処理方法およびプログラムが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の概要を説明するための図である。 本開示の第1の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 同実施形態における情報処理装置の処理の概要を概念的に示すフローチャートである。 同実施形態における情報処理装置の投影領域の決定処理を概念的に示すフローチャートである。 本開示の第2の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 同実施形態に係る情報処理装置における投影領域の決定処理を説明するための図である。 同実施形態における情報処理装置の処理の概要を概念的に示すフローチャートである。 同実施形態における情報処理装置の投影領域の決定処理を概念的に示すフローチャートである。 同実施形態の第3の変形例に係る情報処理装置におけるユーザの属性情報に基づく投影領域の決定の例を示す図である。 同実施形態の第3の変形例に係る情報処理装置におけるユーザの属性情報に基づく投影領域の決定の他の例を示す図である。 同実施形態の第4の変形例に係る情報処理装置における投影画像の補正処理の例を示す図である。 本開示の第3の実施形態に係る情報処理装置による投影態様の変更例を示す図である。 同実施形態に係る情報処理装置による投影態様の変更例を示す図である。 同実施形態に係る情報処理装置による投影態様の変更例を示す図である。 同実施形態における情報処理装置の処理の概要を概念的に示すフローチャートである。 同実施形態における情報処理装置の投影態様の変更処理を概念的に示すフローチャートである。 本開示の第4の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 本開示に係る情報処理装置のハードウェア構成を示した説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.本開示の一実施形態に係る情報処理装置の概要
 2.第1の実施形態(平面に基づいて投影領域を決定する例)
 3.第2の実施形態(ユーザ情報に基づいて投影領域を決定する例)
 4.第3の実施形態(投影態様を変更する例)
 5.第4の実施形態(移動を伴って平面を探索する例)
 6.本開示の一実施形態に係る情報処理装置のハードウェア構成
 7.むすび
 <1.本開示の一実施形態に係る情報処理装置の概要>
 まず、図1を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。図1は、本開示の一実施形態に係る情報処理装置100の概要を説明するための図である。
 本開示の一実施形態に係る情報処理装置100は、投影機能および調整機能を有する。具体的には、投影機能は、画像を投影する機能であり、調整機能は、投影方向および焦点等を調整する機能である。このため、情報処理装置100は、スクリーン等に画像を投影し、当該画像の投影方向等を調整することが可能である。
 例えば、情報処理装置100は、図1に示したように、テーブル20上に設置され、画像10を壁面に投影する。また、情報処理装置100は、当該画像10の投影方向および焦点等を調整する。
 概して、投影機能を有する情報処理装置では、ユーザが画像の投影先を決定し、情報処理装置の投影方向を当該投影先に設定する作業が発生する。そのため、投影先が変更される度に、ユーザが情報処理装置の投影方向を設定し直すことになり、作業が煩雑となる場合がある。
 そこで、本開示の一実施形態に係る情報処理装置100は、物体の配置を示す三次元情報を取得し、取得される三次元情報に基づいて、画像が投影される投影領域を当該物体が配置される空間において決定する。
 例えば、情報処理装置100は、まず、自装置の周囲の三次元情報を取得する。そして、情報処理装置100は、三次元情報に基づいて、自装置の周囲に配置される物体、例えば図1に示したような時計30および観葉植物40等の存在を把握する。次に、情報処理装置100は、把握される物体と重ならない位置、例えば図1に示したような時計30と観葉植物40との間の壁面に画像10を表示させる。
 このように、本開示の一実施形態に係る情報処理装置100は、物体の配置を示す三次元情報を取得し、取得される三次元情報に基づいて、画像が投影される投影領域を当該物体が配置される空間において決定する。このため、物体を避けて画像が投影されることにより、画像の投影におけるユーザの作業を低減しながら適切な投影先に画像を投影することが可能となる。なお、説明の便宜上、第1~第4の実施形態による情報処理装置100の各々を、情報処理装置100-1~情報処理装置100-4のように、末尾に実施形態に対応する番号を付することにより区別する。
 <2.第1の実施形態(平面に基づいて投影領域を決定する例)>
 以上、本開示の一実施形態に係る情報処理装置100の概要について説明した。続いて、本開示の第1の実施形態に係る情報処理装置100-1について説明する。情報処理装置100-1は、三次元情報から平面を特定し、特定される平面に基づいて画像が投影される投影領域を決定する。
  <2-1.装置の構成>
 まず、図2を参照して、本開示の第1の実施形態に係る情報処理装置100-1の構成について説明する。図2は、本実施形態に係る情報処理装置100-1の概略的な機能構成を示すブロック図である。
 情報処理装置100-1は、図2に示したように、操作検出部102、三次元情報取得部104、平面探索部106、制御部108、記憶部110および投影部112を備える。
 操作検出部102は、情報処理装置100-1に対するユーザ操作を検出する。具体的には、操作検出部102は、情報処理装置100-1に対する操作を検出し、検出される操作を示す操作情報を生成する。そして、操作検出部102は、生成される操作情報を制御部108に提供する。例えば、操作検出部102は、ボタン押下、タッチもしくはジェスチャのような動きによる入力操作、または音声による入力操作等を検出し、検出される操作を示す操作情報を生成する。
 三次元情報取得部104は、物体の配置を示す三次元情報を取得する。具体的には、三次元情報取得部104は、情報処理装置100-1の周囲の空間における三次元情報を取得する。例えば、三次元情報取得部104は、情報処理装置100-1が別途備えるステレオカメラの撮像により得られる画像から、三次元情報、例えば距離画像(デプスマップ)を生成する。なお、三次元情報取得部104は、赤外線、可視光線または超音波等を用いた距離センサ(深度センサ)であってもよい。
 平面探索部106は、投影制御部の一部として、三次元情報に基づいて平面を特定する。具体的には、平面探索部106は、三次元情報の示す情報処理装置100-1周辺に存在する物体の平面を特定する。例えば、平面探索部106は、まず投影部112が投影可能な範囲を算出する。そして、平面探索部106は、当該投影可能な範囲において、三次元情報に含まれる深度から凹凸を算出し、算出される凹凸が閾値以下の深さまたは高さである連続する領域を平面として特定する。なお、平面は複数特定され得る。
 制御部108は、投影制御部の一部として、三次元情報に基づいて、画像が投影される投影領域を決定する。具体的には、制御部108は、平面探索部106によって三次元情報から特定される平面から投影領域を決定する。より具体的には、制御部108は、平面探索部106によって特定される平面の大きさに基づいて投影領域を決定する。また、制御部108は、特定される他の平面よりも先に特定された平面を投影領域として決定してもよい。
 例えば、制御部108は、平面探索によって特定される平面のうちの各探索モードに応じた条件を満たす平面を投影領域に決定する。探索モードとしては、面積優先モードおよび早さ優先モード等がある。
 より詳細には、面積優先モードが設定されている場合、制御部108は、特定される他の平面よりも大きい平面を投影領域として決定する。また、早さ優先モードが設定されている場合、制御部108は、平面探索処理開始後、最初に特定された平面を投影領域として決定する。なお、投影領域の決定のために、さらに別の条件が付加されてもよい。例えば、早さ優先モードの処理において、特定された平面の大きさが所定の大きさ、例えば投影画面の大きさ以上であること、という条件が追加されてもよい。
 また、制御部108は、画像の投影制御を行う。具体的には、制御部108は、操作検出部102に検出されるユーザ操作に基づいて、記憶部110に記憶される画像を投影部112に投影させる。例えば、制御部108は、操作検出部102によって投影画像を変更する操作が検出されると、当該操作の示す変更先の画像を記憶部110等から取得し、取得される画像を投影部112に投影させる。なお、投影される画像は、通信を介して外部装置から取得されてもよく、情報処理装置100-1が別途に備える撮像部の撮像により得られる画像であってもよい。
 記憶部110は、情報処理装置100-1の処理に係る情報を記憶する。具体的には、記憶部110は、処理の設定情報および投影用の画像等を記憶する。例えば、記憶部110は、処理の設定情報として、平面を特定するための凹凸の閾値、探索モードの設定情報および投影領域の決定条件等を記憶する。
 投影部112は、制御部108の指示に基づいて画像を投影する。具体的には、投影部112は、制御部108によって決定される投影領域に、制御部108から指定される画像を投影する。例えば、投影部112は、投影方向および投影範囲等を変更可能なプロジェクタであり、制御部108に指示される投影領域に画像が投影されるように、投影方向等を調整する。
  <2-2.装置の処理>
 次に、本実施形態における情報処理装置100-1の処理について説明する。最初に、図3を参照して、情報処理装置100-1の処理の概要について説明する。図3は、本実施形態における情報処理装置100-1の処理の概要を概念的に示すフローチャートである。
   (処理概要)
 まず、情報処理装置100-1は、三次元情報を取得する(ステップS202)。具体的には、三次元情報取得部104は、情報処理装置100-1の周辺の三次元情報を取得する。なお、三次元情報は、定期的に取得され、更新されてもよい。
 次に、情報処理装置100-1は、取得される三次元情報に基づいて投影領域を決定する(ステップS204)。具体的には、制御部108は、三次元情報取得部104によって三次元情報が取得されると、当該三次元情報に基づいて投影領域を決定する。詳細については後述する。
 次に、情報処理装置100-1は、決定される投影領域に画像を投影する(ステップS206)。具体的には、制御部108は、投影画像を記憶部110から取得し、投影部112に、取得される画像を決定された投影領域に投影させる。
 次に、情報処理装置100-1は、投影終了の有無を判定する(ステップS208)。具体的には、制御部108は、操作検出部102によって投影を終了する操作が検出されると、投影部112に対し画像の投影を終了させる。
   (投影領域の決定処理)
 続いて、図4を参照して、投影領域の決定処理について詳細に説明する。図4は、本実施形態における情報処理装置100-1の投影領域の決定処理を概念的に示すフローチャートである。
 まず、情報処理装置100-1は、探索モードを判定する(ステップS302)。具体的には、制御部108は、記憶部110に記憶される探索モードの設定情報を参照し、いずれの探索モードが設定されているかを判定する。
 探索モードが面積優先モードであると判定される場合、情報処理装置100-1は、三次元情報に基づいて平面を探索する(ステップS304)。具体的には、平面探索部106は、三次元情報に基づいて情報処理装置100-1周辺の平面を探索する。
 次に、情報処理装置100-1は、平面探索が終了したかを判定する(ステップS306)。具体的には、平面探索部106は、三次元情報から他に平面が特定されないかを判定する。なお、他に平面が特定されると判定される場合、平面探索部106は、平面探索を継続する。
 平面探索が終了したと判定される場合、情報処理装置100-1は、他の平面よりも広い平面を投影領域に決定する(ステップS308)。具体的には、制御部108は、平面探索が終了すると、特定された平面のうち、他の平面よりも大きい平面を投影領域に決定する。例えば、制御部108は、面積または一方向もしくは外周の長さ等によって平面の大きさを判断し得る。
 また、ステップS302において、探索モードが早さ優先モードであると判定される場合、情報処理装置100-1は、三次元情報に基づいて平面を探索する(ステップS310)。具体的には、ステップS304と実質的に同一の処理が行われる。
 次に、情報処理装置100-1は、発見された平面の広さが投影画面の広さ以上であるかを判定する(ステップS312)。具体的には、平面探索部106は、特定された平面について、平面の大きさが投影予定の画面サイズ以上であるかを判定する。なお、特定された平面の大きさが投影予定の画面サイズ未満であると判定される場合、平面探索部106は、平面探索を継続する。
 発見された平面の広さが投影画面の広さ以上であると判定される場合、情報処理装置100-1は、発見された平面を投影領域に決定する(ステップS314)。具体的には、制御部108は、平面探索部106によって特定された、投影画面以上の広さを有する平面を投影領域に決定する。
 なお、条件を満たす平面が発見されない場合、情報処理装置100-1は、所定の場所を投影領域に決定してもよい。例えば、最初に発見された平面、他の平面よりも大きい平面または投影部112の初期投影方向等が投影領域に決定され得る。また、この場合、情報処理装置100-1は、ユーザにエラーを通知してもよい。例えば、情報処理装置100-1は、エラーを示す画像を投影し、またはエラーを示す音声を出力する。
 このように、本開示の第1の実施形態によれば、情報処理装置100-1は、物体の配置を示す三次元情報を取得し、取得される三次元情報に基づいて、画像が投影される投影領域を当該物体が配置される空間において決定する。このため、物体を避けて画像が投影されることにより、画像の投影におけるユーザの作業を低減しながら適切な投影先に画像を投影することが可能となる。
 また、情報処理装置100-1は、三次元情報に基づいて特定される平面から投影領域を決定する。このため、画像の投影先として平面が選択されることにより、投影画像について凹凸がある面よりも高い視認性を確保することが可能となる。
 また、情報処理装置100-1は、特定される平面の大きさに基づいて投影領域を決定する。このため、投影に適した広さの領域が投影先として決定されやすくなることにより、投影画像が見切れるといった視認性の低下を抑制することが可能となる。
 また、情報処理装置100-1は、他の平面よりも先に特定された平面を投影領域に決定する。このため、投影領域候補の平面全てが探索される場合よりも早期に投影領域が決定されることにより、投影までのユーザの待ち時間を短縮することが可能となる。
  <2-3.変形例>
 以上、本開示の第1の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1~第3の変形例について説明する。
   (第1の変形例)
 本実施形態の第1の変形例として、情報処理装置100-1は、平面の位置を投影領域決定のための判断要素としてもよい。具体的には、制御部108は、平面探索部106によって特定される平面の位置に基づいて投影領域を決定する。
 例えば、制御部108は、特定される平面が壁、スクリーンまたはテーブル等の投影に適した場所に位置する場合、当該平面を投影領域に決定する。一方で、制御部108は、特定される平面が天井または床等の画像の投影に適していない場所に位置する場合、当該平面を投影領域に決定しない。なお、平面の位置は、平面探索部106によって、平面探索の際に平面と紐付けられる情報に含められ得る。また、当該平面の位置の投影適否は、予め設定されてもよく、ユーザ操作によって変更されてもよい。
 なお、特定された平面が投影領域に決定されない場合、平面探索部106は、平面探索を再度行う。この場合、投影領域に決定されなかった平面は当該平面探索処理において対象外とされる。
 このように、本実施形態の第1の変形例によれば、情報処理装置100-1は、特定される平面の位置に基づいて投影領域を決定する。このため、投影に適していない位置における平面が投影領域候補から外されることにより、ユーザが予想する視聴しやすい位置に画像が投影され易くなり、ユーザの満足度を向上させることが可能となる。
   (第2の変形例)
 本実施形態の第2の変形例として、情報処理装置100-1は、平面に現される態様を投影領域決定のための判断要素としてもよい。具体的には、制御部108は、平面探索部106によって特定される平面に現される態様に基づいて投影領域を決定する。
 例えば、情報処理装置100-1は別途に撮像部を備え、平面探索部106によって平面が特定されると、制御部108は、特定される平面が被写体となるように撮像部に撮像を行わせる。そして、制御部108は、撮像部の撮像により得られる画像に基づいて、特定される平面の態様、例えば文字、イラストもしくは模様等の有無、光沢もしくは質感等のテクスチャ、色彩または材質等が投影に適しているかを判定する。特定される平面の態様が投影に適していると判定される場合、制御部108は、当該特定される平面を投影領域に決定する。一方で、特定される平面の態様が投影に適していないと判定される場合、制御部108は、当該特定される平面を投影領域に決定しない。なお、平面の態様の投影適否は、記憶部110に予め記憶されてもよく、ユーザ操作により変更されてもよい。また、制御部108は、さらに投影される画像の性質等も加味して投影領域の決定を行ってもよい。
 このように、本実施形態の第2の変形例によれば、情報処理装置100-1は、特定される平面に現される態様に基づいて投影領域を決定する。このため、投影に適していない態様の平面が投影領域候補から外されることにより、投影される画像の視認性の低下を抑制することが可能となる。
   (第3の変形例)
 本実施形態の第3の変形例として、情報処理装置100-1は、自装置に向かって画像を投影してもよい。具体的には、情報処理装置100-1は別途に画像投影領域を備え、制御部108は、当該画像投影領域を投影領域の候補に加える。
 例えば、制御部108は、平面探索部106によって特定される平面、および情報処理装置100-1の備える画像投影領域、例えば装置内部に向かって傾斜される平面等の中から投影領域となる平面を選択する。また、投影部112は、自装置に向かう方向に投影方向を設定可能であり、制御部108の指示に従って、自装置の画像投影領域に向かって画像を投影する。そのため、画像投影領域が投影領域に決定される場合、制御部108は、投影部112に画像を画像投影領域に投影させる。
 このように、本実施形態の第3の変形例によれば、情報処理装置100-1は、画像投影領域をさらに備え、当該画像投影領域を投影領域の候補に加える。このため、投影領域の選択肢が増えることにより、平面が発見されず、画像の投影が困難となる可能性を低下させることが可能となる。
 なお、制御部108は、平面探索部106によって投影領域候補となる平面が特定されない場合、投影領域を当該画像投影領域に決定してもよい。この場合、情報処理装置100-1の周辺に画像を投影させる平面がない場合であっても画像が投影されることにより、情報処理装置100-1の利用可能なケースが増え、利便性を向上させることが可能となる。
 <3.第2の実施形態(ユーザ情報に基づいて投影領域を決定する例)>
 以上、本開示の第1の実施形態に係る情報処理装置100-1について説明した。続いて、本開示の第2の実施形態に係る情報処理装置100-2について説明する。情報処理装置100-2は、ユーザ情報に基づいて、特定される平面から投影領域を決定する。
  <3-1.装置の構成>
 まず、図5を参照して、本開示の第2の実施形態に係る情報処理装置100-2の機能構成について説明する。図5は、本実施形態に係る情報処理装置100-2の概略的な機能構成を示すブロック図である。なお、第1の実施形態の構成と実質的に同一である構成については説明を省略する。
 情報処理装置100-2は、図5に示したように、操作検出部102、三次元情報取得部104、平面探索部106、制御部108、記憶部110および投影部112に加えて、ユーザ情報取得部114を備える。
 ユーザ情報取得部114は、情報処理装置100-2の周辺に存在するユーザに係る情報(以下、ユーザ情報とも称する。)を取得する。具体的には、ユーザ情報は、ユーザの位置を示す情報(以下、ユーザ位置情報とも称する。)を含み、ユーザ情報取得部114は、当該ユーザ位置情報を取得する。例えば、ユーザ情報取得部114は、情報処理装置100-2の別途に備える撮像部の撮像により得られる画像を解析することによって、情報処理装置100-2の周辺に存在するユーザについてのユーザ位置情報を取得する。なお、ユーザ情報取得部114は、通信を介して外部装置からユーザ位置情報を取得してもよく、三次元情報からユーザ位置情報を生成してもよい。
 制御部108は、ユーザ情報に基づいて、平面探索部106によって特定される平面から投影領域を決定する。具体的には、制御部108は、ユーザ情報取得部114によって取得されるユーザ位置情報の示すユーザの位置と平面探索部106によって特定される平面の位置との関係に基づいて投影領域を決定する。さらに、図6を参照して、ユーザおよび平面の位置関係に基づく投影領域の決定処理について詳細に説明する。図6は、本実施形態に係る情報処理装置100-2における投影領域の決定処理を説明するための図である。
 まず、制御部108は、ユーザ情報取得部114によって取得されるユーザ位置情報の示すユーザの位置と平面探索部106によって特定される平面の位置とに基づいて、当該ユーザおよび当該平面の位置関係を判定する。例えば、制御部108は、当該平面の位置が図6に示したようなユーザ50の位置から所定の範囲内にあるかを判定する。なお、制御部108は、ユーザの位置と特定される平面の位置との間の距離が所定の長さ以上であるかを判定してもよい。また、ユーザが複数存在する場合は、複数のユーザのうちの一人のユーザの位置が用いられてもよく、複数のユーザ位置情報から特定される1つの位置、例えばユーザ群の中心位置が用いられてもよい。また、位置関係の判定に用いられる情報は、記憶部110に記憶されてもよく、通信を介して取得されてもよい。
 位置関係が所定の関係であると判定される場合、制御部108は、当該特定される平面を投影領域に決定し、投影部112に、決定される投影領域に画像を投影させる。例えば、制御部108は、特定される平面の位置がユーザ50の位置から所定の範囲内にあると判定される場合、当該平面を投影領域に決定する。そして、制御部108は、投影部112に、画像10を当該平面に投影させる。
 なお、上記では、制御部108は、特定される平面の位置がユーザの位置から所定の範囲内にあるかを判定する例を説明したが、制御部108は、その他の位置関係の判定を行ってもよい。具体的には、制御部108は、ユーザ位置情報の示す位置が当該平面の面に接する直線上またはその周辺であるかを判定してもよい。例えば、当該直線上等にユーザが位置する場合、当該平面に投影される画像の視認性が低下するため、制御部108は、当該平面を投影領域に決定しない。
  <3-2.装置の処理>
 次に、本開示の第2の実施形態における情報処理装置100-2の処理について説明する。最初に、図7を参照して、情報処理装置100-2の処理の概要について説明する。図7は、本実施形態における情報処理装置100-2の処理の概要を概念的に示すフローチャートである。なお、第1の実施形態における処理と実質的に同一である処理については説明を省略する。
   (処理概要)
 まず、情報処理装置100-2は、三次元情報を取得し(ステップS402)、ユーザ位置情報を取得する(ステップS404)。具体的には、ユーザ情報取得部114は、情報処理装置100-1の周辺に位置するユーザの位置を示すユーザ位置情報を取得する。なお、ユーザ位置情報は、定期的に取得され、更新されてもよい。
 次に、情報処理装置100-2は、取得される三次元情報とユーザ位置情報とに基づいて投影領域を決定する(ステップS406)。具体的には、制御部108は、三次元情報およびユーザ位置情報が取得されると、当該三次元情報とユーザ位置情報とに基づいて投影領域を決定する。詳細については後述する。
 次に、情報処理装置100-2は、決定される投影領域に画像を投影し(ステップS408)、投影終了の有無を判定する(ステップS410)。
   (投影領域の決定処理)
 続いて、図8を参照して、投影領域の決定処理について詳細に説明する。図8は、本実施形態における情報処理装置100-2の投影領域の決定処理を概念的に示すフローチャートである。
 まず、情報処理装置100-2は、探索モードを判定し(ステップS502)し、探索モードが面積優先モードであると判定される場合、三次元情報に基づいて平面を探索する(ステップS504)。
 次に、情報処理装置100-2は、平面探索が終了したかを判定(ステップS506)し、平面探索が終了したと判定される場合、他の平面よりも広い平面を投影領域候補として選択する(ステップS508)。
 次に、情報処理装置100-2は、選択された平面の位置とユーザ位置情報の示す位置との関係が所定の関係であるかを判定する(ステップS510)。具体的には、制御部108は、特定された平面から選択された平面の位置がユーザ位置情報の示す位置から所定の範囲内にあるかを判定する。
 選択された平面の位置とユーザ位置情報の示す位置との関係が所定の関係であると判定される場合、情報処理装置100-2は、選択された平面を投影領域に決定する(ステップS512)。具体的には、選択された平面の位置がユーザ位置情報の示す位置から所定の範囲内にあると判定される場合、制御部108は、当該選択された平面を投影領域に決定する。なお、選択された平面の位置とユーザ位置情報の示す位置との関係が所定の関係でないと判定される場合、ステップS508に処理が戻され、別の平面が投影領域として選択される。
 また、ステップS502において、探索モードが早さ優先モードであると判定される場合、情報処理装置100-2は、三次元情報に基づいて平面を探索し(ステップS514)、発見された平面の広さが投影画面の広さ以上であるかを判定する(ステップS516)。
 発見された平面の広さが投影画面の広さ以上であると判定される場合、情報処理装置100-2は、発見された平面の位置とユーザ位置情報の示す位置との関係が所定の関係であるかを判定する(ステップS518)。具体的には、平面探索部106によって平面が特定される度に、当該平面について、ステップS510の処理と実質的に同一の処理が行われる。
 発見された平面の位置とユーザ位置情報の示す位置との関係が所定の関係であると判定される場合、情報処理装置100-2は、発見された平面を投影領域に決定する(ステップS520)。具体的には、ステップS518において、特定された平面の位置がユーザ位置情報の示す位置から所定の範囲内にあると判定される場合、制御部108は、当該特定される平面を投影領域に決定する。なお、特定された平面の位置とユーザ位置情報の示す位置との関係が所定の関係でないと判定される場合、ステップS514に処理が戻され、平面探索が再開される。
 このように、本開示の第2の実施形態によれば、情報処理装置100-2は、周辺に存在するユーザ情報に基づいて、特定される平面から投影領域を決定する。このため、投影画像を視聴するユーザ本位に投影領域が決定されることにより、ユーザにとって視認性が確保されやすい位置に画像が投影され、ユーザの満足度を向上させること可能となる。
 また、上記のユーザ情報は、ユーザの位置を示すユーザ位置情報を含み、情報処理装置100-2は、ユーザ位置情報の示すユーザの位置と特定される平面の位置との関係に基づいて投影領域を決定する。このため、ユーザの位置に応じた平面に画像が投影されることにより、ユーザが投影画像を見るための移動をせずに済み、利便性を向上させることが可能となる。
  <3-3.変形例>
 以上、本開示の第2の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1~第4の変形例について説明する。
   (第1の変形例)
 本実施形態の第1の変形例として、情報処理装置100-2は、ユーザの多寡に応じて変化する情報に基づいて投影領域を決定してもよい。具体的には、制御部108は、情報処理装置100-2の周辺におけるユーザの多寡に応じて変化する情報(以下、ユーザ多寡情報とも称する。)に基づいて投影領域を決定する。
 より具体的には、ユーザ多寡情報はユーザ数であり、制御部108は、ユーザ情報取得部114によって取得されるユーザ多寡情報の示すユーザ数に基づいて、特定される平面から投影領域を決定する。例えば、制御部108は、ユーザ多寡情報の示すユーザ数が閾値以上であるかを判定し、ユーザ数が閾値以上であると判定される場合、所定の領域に属する平面、例えば天井に位置する平面を投影領域に決定する。また、ユーザ多寡情報の示すユーザ情報が閾値未満であると判定される場合、制御部108は第1および第2の実施形態における投影領域決定処理を行ってもよい。
 なお、ユーザ多寡情報はユーザの密度であってもよく、制御部108は、ユーザ多寡情報の示すユーザの密度に基づいて、特定される平面から投影領域を決定してもよい。また、ユーザ多寡情報とユーザ位置情報との組合せが投影領域の決定に用いられてもよい。例えば、制御部108は、ユーザの密度が他の領域よりも低い領域に属する平面を投影領域に決定し得る。
 このように、本実施形態の第1の変形例によれば、上述のユーザ情報は、情報処理装置100-2周辺のユーザの多寡に応じて変化するユーザ多寡情報を含み、情報処理装置100-2は、当該ユーザ多寡情報に基づいて投影領域を決定する。このため、ユーザに関する抽象化された情報を利用して投影領域が決定されることにより、投影領域決定における処理負荷を低減し、処理にかかる時間を短縮することが可能となる。
   (第2の変形例)
 本実施形態の第2の変形例として、情報処理装置100-2は、ユーザの視線に対応する平面を投影領域に決定してもよい。具体的には、制御部108は、ユーザの視線に応じて変化する情報(以下、ユーザ視線情報とも称する。)によって推定されるユーザの視線と特定される平面の位置とに基づいて投影領域を決定する。
 例えば、ユーザ視線情報は、ユーザの頭の姿勢、顔の向き、瞳孔もしくは虹彩の位置、またはユーザの視野もしくは視界等を示す情報であり、制御部108は、ユーザ情報取得部114によって取得されるユーザ視線情報からユーザの視線を推定する。そして、制御部108は、特定されるユーザの視線が、特定される平面に向けられているかを判定する。ユーザの視線が特定される平面に向けられていると判定される場合、制御部108は、当該特定される平面を投影領域に決定する。なお、ユーザの視線は外部装置によって特定され、特定されたユーザの視線を示す情報が通信を介して取得されてもよい。また、ユーザ視線情報がユーザの視野または視界を示す情報である場合は、制御部108は、当該ユーザの視野または視界に特定された平面が含まれるかを判定してもよい。
 なお、ユーザが複数存在する場合、制御部108は、当該複数のユーザの視線が他の平面よりも集中する平面を投影領域に決定してもよい。
 このように、本実施形態の第2の変形例によれば、上述のユーザ情報は、ユーザの視線に応じて変化するユーザ視線情報を含み、情報処理装置100-2は、当該ユーザ視線情報によって推定されるユーザの視線と特定される平面の位置とに基づいて投影領域を決定する。概して、ユーザはプロジェクタ等の投影を待っている間、投影されると想定される平面を見ている。このため、ユーザの見ている方向に画像が投影され易くなることにより、ユーザの予想通りの位置に画像が投影され、ユーザの違和感の発生を抑制することが可能となる。
   (第3の変形例)
 本実施形態の第3の変形例として、情報処理装置100-2は、さらにユーザを判別し、判別されるユーザに応じた投影領域に決定してもよい。具体的には、情報処理装置100-2はユーザを識別するユーザ識別部をさらに備え、制御部108は、当該ユーザ識別部によって識別されるユーザについての属性情報に基づいて投影領域を決定する。より具体的には、制御部108は、ユーザの属性情報に基づいて投影領域の決定に用いられるユーザ情報を選択し、選択されるユーザ情報に基づいて投影領域を決定する。さらに、図9および図10を参照して、本変形例の処理について詳細に説明する。図9は、本実施形態の第3の変形例に係る情報処理装置100-2におけるユーザの属性情報に基づく投影領域の決定の例を示す図であり、図10は、本実施形態の第3の変形例に係る情報処理装置100-2におけるユーザの属性情報に基づく投影領域の決定の他の例を示す図である。
 まず、ユーザ識別部は、情報処理装置100-2周辺のユーザを識別する。例えば、ユーザ識別部は、情報処理装置100-2の周辺に存在するユーザの顔が写されている画像を取得し、顔認識処理等を用いて、例えば図9に示したようなユーザ50Aおよびユーザ50Bの各々を識別する。なお、ユーザの顔が写されている画像は外部装置から取得されてもよい。また、ユーザ識別部は、ユーザの声に基づいてユーザを識別してもよく、ユーザの有する通信タグから受信される電波に重畳される識別情報に基づいてユーザを識別してもよい。
 次に、制御部108は、識別されたユーザの属性情報を取得する。具体的には、ユーザの属性情報は、ユーザが操作ユーザであるかを示す情報を含み、記憶部110に記憶され、または通信を介して外部装置から取得される。例えば、制御部108は、図9に示したようなユーザ50Aの属性情報を記憶部110から取得する。
 次に、制御部108は、取得された属性情報が操作ユーザを示す場合、当該操作ユーザのユーザ情報に基づいて投影領域を決定する。例えば、制御部108は、図9に示したようなユーザ50Aについて属性情報が操作ユーザを示すかを判定する。ユーザ50Aの属性情報が操作ユーザを示すと判定される場合、制御部108は、当該ユーザ50Aのユーザ情報、例えばユーザ位置情報に基づいて、平面探索部106によって特定される平面から、他の平面よりもユーザ50Aに近い平面を投影領域に決定する。そして、制御部108は、図9に示したように、投影部112に、画像10を決定される投影領域に表示させる。
 また、ユーザの属性情報は、ユーザが視聴ユーザであるかを示す情報を含み、制御部108は、取得された属性情報が視聴ユーザを示す場合、当該視聴ユーザのユーザ情報に基づいて投影領域を決定してもよい。例えば、制御部108は、図10に示したようなユーザ50Bについて属性情報が視聴ユーザを示すかを判定する。ユーザ50Bの属性情報が視聴ユーザを示すと判定される場合、制御部108は、当該ユーザ50Bのユーザ位置情報に基づいて、平面探索部106によって特定される平面から、他の平面よりもユーザ50Bに近い平面を投影領域に決定する。そして、制御部108は、図10に示したように、投影部112に、画像10を決定される投影領域に表示させる。なお、条件を満たす属性情報を有するユーザが複数存在する場合、ランダムで当該複数のユーザから一人のユーザが選択されてもよく、さらに他の条件によってユーザが絞られてもよい。
 また、ユーザの属性情報は、ユーザの年齢、性別、人種または職業等を示す情報であってもよく、制御部108は、当該情報の示す内容に基づいて投影領域決定処理の基準となるユーザを選定してもよい。
 このように、本実施形態の第3の変形例によれば、情報処理装置100-2は、ユーザを識別するユーザ識別部をさらに備え、当該ユーザ識別部によって識別されるユーザの属性情報に基づいて投影領域を決定する。このため、識別された特定の属性を有するユーザを基準として画像の投影制御が行われることにより、属性に対応する場面に即した投影が自動的に行われ、利便性を向上させることが可能となる。
 また、上記の属性情報は、ユーザが操作ユーザであるかを示す情報を含み、情報処理装置100-2は、当該属性情報が操作ユーザを示す場合、操作ユーザのユーザ情報に基づいて投影領域を決定する。このため、情報処理装置100-2を操作するユーザ本位に投影制御が行われることにより、操作ユーザの意図に即した投影が行われ、使い勝手の良い印象をユーザに与えることが可能となる。なお、属性情報が視聴ユーザである場合にも同様の効果が期待できる。
   (第4の変形例)
 本実施形態の第4の変形例として、情報処理装置100-2は、ユーザが見やすいように投影画像に補正をかけてもよい。具体的には、制御部108は、投影領域の位置に基づいて、投影される画像についての補正を行う。さらに、制御部108は、投影領域の位置とユーザの位置および情報処理装置100-2の位置とに基づいて、投影される画像をユーザ向けに補正する。図11を参照して、本変形例の処理について詳細に説明する。図11は、本実施形態の第4の変形例に係る情報処理装置100-2における投影画像の補正処理の例を示す図である。
 まず、制御部108は、投影領域が決定されると、投影部112に画像を当該投影領域に投影させる。例えば、制御部108は、図11の左図に示したようなテーブル20の上面を投影領域に決定し、投影部112に画像10を当該テーブル20の上面に投影させる。
 ここで、プロジェクタ等の投影装置は概して、正面方向等の所定の方向を基準に投影が行われるように設計されており、当該所定の方向以外の方向に投影が行われる場合、投影される画像に歪みが生じることがある。例えば、制御部108は、投影部112は情報処理装置100-2の正面を基準に投影するように設計されている場合、図11の左図に示したようなテーブル20に画像10が投影されるときには、投影される画像10が投影方向に向かって拡がる台形形状に歪み得る。
 そこで、制御部108は、投影領域の位置が画像に歪みの生じ得る位置にある場合、投影される画像について補正を行う。例えば、制御部108は、投影領域が投影基準方向と異なる方向に位置する場合、投影される画像について図11の右図に示したように台形補正を行う。
 また、投影画像を視聴するユーザの位置および情報処理装置100-2の位置によっては、投影領域に投影される画像がユーザにとって見えづらくなる場合がある。例えば、図11に示したようにユーザ50と情報処理装置100-2との間に画像10が投影される場合、画像10はユーザ50にとって上下が反対に投影され、ユーザ50は画像10を視聴しづらくなり得る。
 そこで、制御部108は、投影領域の位置とユーザの位置および情報処理装置100-2の位置とに基づいて、投影される画像をユーザ向けに補正する。例えば、制御部108は、ユーザ50と情報処理装置100-2との間に投影領域が決定される場合、当該投影領域に投影される画像10を、画像10がユーザ50に正対するように回転させる。その結果、画像10は、図11の右図に示したようにユーザ50に正対するように投影される。
 なお、上記では、投影画像について台形補正または回転補正が行われる例を説明したが、制御部108は、投影領域の位置または態様に応じて、その他画像の拡大もしくは縮小、色彩または明度等の補正処理を行ってもよい。
 このように、本実施形態の第4の変形例によれば、情報処理装置100-2は、決定される投影領域の位置に基づいて、投影される画像の補正を行う。このため、決定される投影領域に投影される画像が適合されることにより、投影画像の視認性を向上させることが可能となる。
 また、情報処理装置100-2は、投影領域の位置とユーザの位置および情報処理装置100-2の位置とに基づいて、投影される画像をユーザ向けに補正する。このため、ユーザ本位に投影画像が補正されることにより、投影画像の視認性をさらに向上させることが可能となる。
 <4.第3の実施形態(投影態様を変更する例)>
 以上、本開示の第2の実施形態に係る情報処理装置100-2について説明した。続いて、本開示の第3の実施形態に係る情報処理装置100-3について説明する。情報処理装置100-3は、投影領域に係る三次元情報の変化に基づいて画像の投影態様を変更する。
  <4-1.装置の構成>
 本開示の第3の実施形態に係る情報処理装置100-3の機能構成については、制御部108の機能の他は、第1および第2の実施形態の構成と実質的に同一であるため、制御部108の機能についてのみ説明する。
 制御部108は、決定された投影領域の態様の変化、例えば凹凸等を示す三次元情報の変化に基づいて画像の投影態様を変更する。具体的には、制御部108は、変化した三次元情報に基づいて、決定された投影領域に凹凸が含まれるかを判定し、決定された投影領域に凹凸が含まれると判定される場合、投影態様を変更する。さらに、図12~図14を参照して、投影態様の変更処理について詳細に説明する。図12~図14は、それぞれ本実施形態に係る情報処理装置100-3による投影態様の変更例を示す図である。
 まず、制御部108は、三次元情報取得部104によって取得される三次元情報が変化すると、当該三次元情報に基づいて投影領域に凹凸が含まれるかを判定する。例えば、図12および図13の左図に示したように画像10の投影を遮るように障害物60Aが置かれた場合、投影領域に係る三次元情報が変化するため、制御部108は、変化した三次元情報に基づいて、投影領域に凹凸が含まれるかを判定する。なお、当該凹凸は、平面であった投影領域の高さまたは深さを基準とした、所定の高さまたは深さであり得る。
 投影領域に凹凸が含まれると判定される場合、制御部108は、変更モードに応じて投影態様を変更する。具体的には、制御部108は、投影領域に凹凸が含まれると判定される場合、設定されている変更モードを参照し、変更モードに応じた投影態様の変更処理を行う。なお、変更モードには、領域変更モード、内容変更モードおよび形状利用モード等のモードがあり、変更モードは記憶部110に記憶され得る。
 例えば、変更モードが領域変更モードである場合、制御部108は、投影領域を凹凸が含まれない領域に変更する。より詳細には、制御部108は、投影領域に凹凸が含まれると判定される場合、凹凸が含まれない平面を平面探索部106に探索させる。そして、制御部108は、平面探索部106によって特定される平面を新たな投影領域に決定し、投影部112に投影画像を当該新たな投影領域に投影させる。その結果、図12の右図に示したように、投影される画像10は障害物60Aを避けるように移動される。
 また、変更モードが内容変更モードである場合、制御部108は、表示制御部として、投影される画像を凹凸に合わせて変更する。例えば、制御部108は、投影される画像を凹凸の位置に合わせて変更する。より詳細には、制御部108は、投影領域に含まれる凹凸の位置に画像の内容が投影されないように、すなわち当該凹凸の位置が余白になるように画像のレイアウトを変更する。その結果、図13の右図に示したように、障害物60Aが載置される位置には投影される画像10のコンテンツが投影されないように、画像のレイアウトが変更される。
 また、変更モードが形状利用モードである場合、制御部108は、投影される画像を凹凸の形状に合わせて変更する。より詳細には、制御部108は、まず投影領域に含まれる凹凸の形状を特定する。そして、制御部108は、特定される形状の凹凸に合わせて、画像のレイアウト等を編集する。その結果、図14に示したように、投影される画像10の内容が障害物60Bに投影される部分と、テーブル20に投影される部分とに分割されるように、画像10のレイアウトが変更され得る。
 なお、投影領域に凹凸が含まれると判定される場合であっても、投影領域が変更されなくてもよい。例えば、変更モードが現状維持モードである場合、制御部108は、投影領域に凹凸が含まれると判定される場合であっても、特に処理を行わず、投影領域が変更されない。また、変更モードが現状維持モードである場合、制御部108は、投影領域に凹凸が含まれるかの判定を行わなくてもよい。
  <4-2.装置の処理>
 次に、本開示の第3の実施形態における情報処理装置100-3の処理について説明する。最初に、図15を参照して、情報処理装置100-3の処理の概要について説明する。図15は、本実施形態における情報処理装置100-3の処理の概要を概念的に示すフローチャートである。なお、第1および第2の実施形態における処理と実質的に同一である処理については説明を省略する。
 まず、情報処理装置100-3は、三次元情報を取得し(ステップS602)、取得される三次元情報に基づいて投影領域を決定する(ステップS604)。次に、情報処理装置100-3は、決定される投影領域に画像を投影する(ステップS606)。
 次に、情報処理装置100-3は、投影領域において障害物が検出されたかを判定する(ステップS608)。具体的には、三次元情報取得部104は、定期的に三次元情報を取得し、制御部108は、取得される三次元情報に基づいて投影領域に凹凸が含まれるかを判定する。
 障害物が検出されたと判定される場合、情報処理装置100-3は、投影態様を変更し(ステップS610)し、投影終了の有無を判定する(ステップS612)。具体的には、制御部108は、投影領域に凹凸が含まれると判定される場合、画像の投影態様を変更する。詳細については後述する。
   (投影態様の変更処理)
 続いて、図16を参照して、投影態様の変更処理について詳細に説明する。図16は、本実施形態における情報処理装置100-3の投影態様の変更処理を概念的に示すフローチャートである。なお、第1および第2の実施形態における処理と実質的に同一である処理については説明を省略する。
 まず、情報処理装置100-3は、変更モードを判定する(ステップS702)。
 変更モードが領域変更モードであると判定される場合、情報処理装置100-3は、三次元情報に基づいて投影領域内の平面を探索する(ステップS704)。具体的には、制御部108は、投影領域内において平面探索部106に平面を探索させる。
 次に、情報処理装置100-3は、発見された平面の広さが投影画面の広さ以上であるかを判定する(ステップS706)。具体的には、制御部108は、平面探索部106によって特定される平面について、当該平面が投影画像よりも大きいかを判定する。
 発見された平面の広さが投影画面の広さ以上であると判定される場合、情報処理装置100-3は、発見された平面に投影領域を変更する(ステップS708)。具体的には、制御部108は、特定される平面が投影画像よりも大きいと判定される場合、当該平面を投影領域に決定する。なお、投影領域となる平面が投影領域内において特定されない場合、投影領域が変更されなくてもよく、または投影領域外において平面探索が行われ、当該平面探索によって特定される平面が新たな投影領域に決定されてもよい。
 また、変更モードが内容変更モードであると判定される場合、情報処理装置100-3は、投影領域における表示可能領域を算出する(ステップS710)。具体的には、制御部108は、投影領域における障害物すなわち凹凸が存在しない領域を算出する。
 次に、情報処理装置100-3は、算出される表示可能領域に基づいて画像を編集する(ステップS712)。具体的には、制御部108は、算出される凹凸が存在しない領域に画像のコンテンツが投影されるように画像のレイアウト等を変更する。
 また、変更モードが形状利用モードであると判定される場合、情報処理装置100-3は、障害物の形状を特定する(ステップS714)。具体的には、制御部108は、三次元情報に基づいて、投影領域に含まれる凹凸の形状を特定する。
 次に、情報処理装置100-3は、特定される障害物の形状に基づいて画像を編集する(ステップS716)。具体的には、制御部108は、投影領域における、特定される凹凸の形状と平面とに基づいて、画像のコンテンツが例えば凹凸と平面とに分割されて投影されるように画像のレイアウト等を変更する。
 このように、本開示の第3の実施形態によれば、情報処理装置100-3は、決定された投影領域の態様の変化に基づいて投影態様を変更する。このため、投影領域が投影に適していない状態に変化した場合であっても、投影画像の視認性の低下を抑制することが可能となる。
 また、情報処理装置100-3は、三次元情報に基づいて、決定された投影領域に凹凸が含まれるかを判定し、決定された投影領域に凹凸が含まれると判定される場合、投影態様を変更する。このため、投影領域が平面でなくなる場合に、投影態様が変更されることにより、投影画像の視認性の低下を効果的に抑制することが可能となる。なお、制御部108は、投影領域の視覚的な態様が変化した場合に、当該変化後の投影領域の視覚的な態様を打ち消すように投影態様を変更してもよい。視覚的な態様としては、例えば、文字、イラストもしくは模様等の有無、光沢もしくは質感等のテクスチャまたは色彩等がある。
 また、情報処理装置100-3は、上記の投影態様の変更として、凹凸が含まれない領域に投影領域を変更する。このため、投影領域に凹凸が含まれないように、すなわち平面に投影領域が変更されることにより、例えば障害物が後から投影領域に配置され、凹凸が生じる場合であっても投影画像の視認性を維持することが可能となる。
 また、情報処理装置100-3は、投影領域に含まれる凹凸に基づいて、投影される画像の表示制御を行う表示制御部をさらに備える。このため、投影領域を他の平面に移動させることが困難な場合であっても、投影画像の内容をユーザに伝えることが可能となる。
 また、情報処理装置100-3は、上記の表示制御として、投影される画像を凹凸の形状に合わせて変更する。このため、例えばプロジェクションマッピング等のように凹凸例えば障害物の形状が利用されることにより、投影画像の内容を効果的に伝えることが可能となる。
 なお、上記実施形態では、投影領域決定後の投影態様の変更処理について説明したが、投影領域決定の際に、平面探索において投影領域となる平面が特定されない場合に、上述の内容変更モードまたは形状利用モードの処理が行われてもよい。
 また、上記実施形態では、画像の表示制御として同一画像において編集処理が行われる例を説明したが、投影画像が他の画像に切り替えられてもよい。例えば、制御部108は、投影領域に凹凸が含まれると判定される場合、当該凹凸の位置に画像の内容、例えば表示オブジェクトが含まれない画像に投影画像を切り替える。
  <4-3.変形例>
 以上、本開示の第3の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
 本実施形態の変形例として、情報処理装置100-3は、ユーザ操作に基づいて投影領域に投影される画像の投影態様を変更してもよい。具体的には、制御部108は、操作検出部102から提供されるユーザ操作を示す操作情報に基づいて投影態様を変更する。例えば、制御部108は、操作検出部102によって投影態様の変更操作が検出され、当該操作に係る操作情報が提供されると、設定されている変更モードに従って、投影態様を変更する。なお、投影態様の変更操作は、情報処理装置100-3に対する接触入力のほか、音声入力またはジェスチャ入力であってもよい。また、操作内容は、例えば上述した変更モードの指定であってもよい。
 このように、本実施形態の変形例によれば、情報処理装置100-3は、情報処理装置100-3に対するユーザ操作を示す操作情報に基づいて投影態様を変更する。このため、ユーザの意図する状況またはタイミングで投影態様が変更されることにより、利便性を向上させることが可能となる。
 <5.第4の実施形態(移動を伴って平面を探索する例)>
 以上、本開示の第3の実施形態に係る情報処理装置100-3について説明した。続いて、本開示の第4の実施形態に係る情報処理装置100-4について説明する。情報処理装置100-4は、移動しながら投影または平面探索を行う。
  <5-1.装置の構成>
 まず、図17を参照して、本開示の第4の実施形態に係る情報処理装置100-4の機能構成について説明する。図17は、本実施形態に係る情報処理装置100-4の概略的な機能構成を示すブロック図である。なお、第1~第3の実施形態の構成と実質的に同一である構成については説明を省略する。
 情報処理装置100-4は、図17に示したように、操作検出部102、三次元情報取得部104、平面探索部106、制御部108、記憶部110、投影部112およびユーザ情報取得部114に加えて、駆動部116を備える。
 駆動部116は、情報処理装置100-4を移動させる。具体的には、駆動部116は、モータ等の動力源と当該動力源によって動かされる車輪またはキャタピラ等のアクチュエータとを有し、制御部108の指示に基づいて動作する。例えば、駆動部116は、制御部108の指示に係る方向に車輪等を向け、当該指示に係る出力量に応じてモータを回転させることによって、情報処理装置100-4を移動させる。
 制御部108は、駆動部116の動作を制御する。具体的には、制御部108は、情報処理装置100-4の移動内容に基づいて決定される動作を駆動部116に指示する。例えば、制御部108は、別途に決定される移動経路および移動速度等から、動作方向および動作量等を示す駆動部116への指示内容を決定する。そして、制御部108は、当該指示内容を通知するとともに、駆動部116に動作指示を行う。
 また、制御部108は、情報処理装置100-4の移動内容を決定する。具体的には、制御部108は、三次元情報取得のための情報処理装置100-4の移動経路および移動速度等を決定する。例えば、制御部108は、三次元情報が取得されていない領域に向けて情報処理装置100-4が移動されるように移動経路を決定する。
 なお、当該移動経路は情報処理装置100-4の移動中に更新されてもよい。また、制御部108は、一旦、三次元情報取得部104によって三次元情報が取得された後、三次元情報が未取得である領域がある場合、当該領域に向けた移動経路を決定してもよい。
  <5-2.装置の処理>
 本実施形態における情報処理装置100-4の画像投影に係る処理については、第1~第3の実施形態おける情報処理装置100の処理と実質的に同一であるため、説明を省略する。
 このように、本開示の第4の実施形態によれば、情報処理装置100-4は、情報処理装置100-4を移動させる駆動部をさらに備え、駆動部の動作によって三次元情報が未取得である領域に向けて移動する。このため、情報処理装置100-4がユーザによって配置された位置において取得が困難な三次元情報が取得され得ることにより、投影領域となり得る平面を広く探索することができる。その結果、より適した平面に画像が投影されることにより、投影画像の視認性をさらに向上させることが可能となる。
 なお、上記実施形態では、情報処理装置100-4は車輪等によって移動する例を説明したが、情報処理装置100-4は空中を移動してもよい。例えば、駆動部116は、動力源によって回転するプロペラ等のアクチュエータを有し、当該プロペラ等の動作によって揚力を得ることにより、情報処理装置100-4を飛行させる。
  <5-3.変形例>
 以上、本開示の第4の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
 本実施形態の変形例として、情報処理装置100-4の駆動部116を含む一部が分離され、分離される部分が移動および処理の一部を行ってもよい。具体的には、投影部112および駆動部116(以下、駆動部分とも称する。)と他の機能とが分離され、当該駆動部分は移動および画像の投影を行う。
 例えば、駆動部分に含まれる投影部112は、分離される他の機能、例えば制御部108から通信を介して画像を取得し、取得される画像を投影する。なお、駆動部分に含まれる投影部112は、一般的なプロジェクタよりも小さい、いわゆるピコプロジェクタ等であり得る。また、通信は有線または無線で行われる。また、駆動部分は、投影部112の代わりに、または追加的に、三次元情報取得部104を含んでもよい。
 このように、本実施形態の変形例によれば、情報処理装置100-4の一部の機能および駆動部116は他の機能から分離され、当該分離部分は移動しながら画像の投影に係る処理を行う。このため、情報処理装置100-4の駆動部116を含む一部の機能が分離されることにより、移動に係る構成の重量が軽減され、電力消費等を抑制することが可能となる。
 <6.本開示の一実施形態に係る情報処理装置のハードウェア構成>
 以上、本開示の各実施形態に係る情報処理装置100について説明した。上述した情報処理装置100の処理は、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現される。
 図18は、本開示に係る情報処理装置100のハードウェア構成を示した説明図である。図18に示したように、情報処理装置100は、CPU(Central Processing Unit)132と、ROM(Read Only Memory)134と、RAM(Random Access Memory)136と、ブリッジ138と、バス140と、インターフェース142と、入力装置144と、出力装置146と、ストレージ装置148と、ドライブ150と、接続ポート152と、通信装置154とを備える。
 CPU132は、演算処理装置として機能し、各種プログラムと協働して情報処理装置100内の三次元情報取得部104、平面探索部106、制御部108およびユーザ情報取得部114の動作を実現する。また、CPU132は、マイクロプロセッサであってもよい。ROM134は、CPU132が使用するプログラムまたは演算パラメータ等を記憶する。RAM136は、CPU132の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ROM134およびRAM136により、情報処理装置100内の記憶部110の一部を実現する。CPU132、ROM134およびRAM136は、CPUバスなどから構成される内部バスにより相互に接続されている。
 入力装置144は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、CPU132に出力する操作検出部102のような入力制御回路などから構成されている。情報処理装置100のユーザは、入力装置144を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置146は、情報処理装置100の投影部112の一例として、例えば、プロジェクタ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプなどの装置への出力を行う。さらに、出力装置146は、スピーカおよびヘッドフォンなどの音声出力を行ってもよく、情報処理装置100の駆動部116の一例として、駆動力を出力してもよい。
 ストレージ装置148は、データ格納用の装置である。ストレージ装置148は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置148は、CPU132が実行するプログラムや各種データを格納する。
 ドライブ150は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ150は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM134に出力する。また、ドライブ150は、リムーバブル記憶媒体に情報を書込むこともできる。
 接続ポート152は、例えば、情報処理装置100の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート152は、USB(Universal Serial Bus)であってもよい。
 通信装置154は、例えば、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。また、通信装置154は、無線LAN(Local Area Network)対応通信装置であってもよく、LTE(Long Term Evolution)対応通信装置であってもよい。
 <7.むすび>
 以上、本開示の第1の実施形態によれば、物体を避けて画像が投影されることにより、画像の投影におけるユーザの作業を低減しながら適切な投影先に画像を投影することが可能となる。
 また、本開示の第2の実施形態によれば、投影画像を視聴するユーザ本位に投影領域が決定されることにより、ユーザにとって視認性が確保されやすい位置に画像が投影され、ユーザの満足度を向上させること可能となる。
 また、本開示の第3の実施形態によれば、投影領域が投影に適していない状態に変化した場合であっても、投影画像の視認性の低下を抑制することが可能となる。
 また、本開示の第4の実施形態によれば、情報処理装置100-4がユーザによって配置された位置において取得が困難な三次元情報が取得され得ることにより、投影領域となり得る平面を広く探索することができる。その結果、より適した平面に画像が投影されることにより、投影画像の視認性をさらに向上させることが可能となる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)物体の配置を示す三次元情報を取得する三次元情報取得部と、前記三次元情報取得部によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定する投影制御部と、を備える情報処理装置。
(2)前記投影制御部は、前記三次元情報に基づいて特定される平面から前記投影領域を決定する、前記(1)に記載の情報処理装置。
(3)前記投影制御部は、特定される前記平面の大きさに基づいて前記投影領域を決定する、前記(2)に記載の情報処理装置。
(4)前記投影制御部は、他の前記平面よりも先に特定された前記平面を前記投影領域に決定する、前記(2)に記載の情報処理装置。
(5)前記投影制御部は、前記空間に存在するユーザに係る情報に基づいて、前記特定される前記平面から前記投影領域を決定する、前記(2)に記載の情報処理装置。
(6)前記ユーザに係る情報は、前記ユーザの前記空間における位置を示すユーザ位置情報を含み、前記投影制御部は、前記ユーザ位置情報の示すユーザの位置と前記特定される前記平面の位置との関係に基づいて前記投影領域を決定する、前記(5)に記載の情報処理装置。
(7)前記ユーザに係る情報は、前記空間における前記ユーザの多寡に応じて変化するユーザ多寡情報を含み、前記投影制御部は、前記ユーザ多寡情報に基づいて前記投影領域を決定する、前記(5)または(6)に記載の情報処理装置。
(8)前記ユーザに係る情報は、前記ユーザの視線に応じて変化する視線情報を含み、
 前記投影制御部は、前記視線情報によって推定されるユーザの視線と前記特定される前記平面の位置とに基づいて前記投影領域を決定する、前記(5)~(7)のいずれか1項に記載の情報処理装置。
(9)前記ユーザを識別するユーザ識別部をさらに備え、前記投影制御部は、前記ユーザ識別部によって識別されるユーザの属性情報に基づいて前記投影領域を決定する、前記(5)~(8)のいずれか1項に記載の情報処理装置。
(10)前記属性情報は、ユーザが操作ユーザであるかを示す情報を含み、前記投影制御部は、前記属性情報が操作ユーザを示す場合、前記操作ユーザの前記ユーザに係る情報に基づいて前記投影領域を決定する、前記(9)に記載の情報処理装置。
(11)前記投影制御部は、前記特定される平面に現される態様に基づいて前記投影領域を決定する、前記(2)~(10)のいずれか1項に記載の情報処理装置。
(12)前記投影制御部は、決定される前記投影領域の位置に基づいて、投影される画像の補正を行う、前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)前記投影制御部は、決定された前記投影領域の態様の変化に基づいて投影態様を変更する、前記(1)~(12)のいずれか1項に記載の情報処理装置。
(14)前記投影制御部は、前記三次元情報に基づいて、決定された投影領域に凹凸が含まれるかを判定し、決定された投影領域に前記凹凸が含まれると判定される場合、投影態様を変更する、前記(13)に記載の情報処理装置。
(15)前記投影制御部は、前記凹凸が含まれない領域に投影領域を変更する、前記(14)に記載の情報処理装置。
(16)投影領域に含まれる前記凹凸に基づいて、投影される画像の表示制御を行う表示制御部をさらに備える、前記(14)に記載の情報処理装置。
(17)前記表示制御部は、投影される画像を前記凹凸の形状に合わせて変更する、前記(16)に記載の情報処理装置。
(18)画像投影領域をさらに備え、前記投影制御部は、前記三次元情報に基づいて前記投影領域が決定されない場合、前記画像投影領域を前記投影領域に決定する、前記(1)~(17)のいずれか1項に記載の情報処理装置。
(19)三次元情報取得部が物体の配置を示す三次元情報を取得することと、前記三次元情報取得部によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定することと、を含む情報処理方法。
(20)
 物体の配置を示す三次元情報を取得する三次元情報取得機能と、前記三次元情報取得機能によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定する投影制御機能と、をコンピュータに実現させるためのプログラム。
 100  情報処理装置
 102  操作検出部
 104  三次元情報取得部
 106  平面探索部
 108  制御部
 110  記憶部
 112  投影部
 114  ユーザ情報取得部
 116  駆動部

Claims (20)

  1.  物体の配置を示す三次元情報を取得する三次元情報取得部と、
     前記三次元情報取得部によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定する投影制御部と、
     を備える情報処理装置。
  2.  前記投影制御部は、前記三次元情報に基づいて特定される平面から前記投影領域を決定する、請求項1に記載の情報処理装置。
  3.  前記投影制御部は、特定される前記平面の大きさに基づいて前記投影領域を決定する、請求項2に記載の情報処理装置。
  4.  前記投影制御部は、他の前記平面よりも先に特定された前記平面を前記投影領域に決定する、請求項2に記載の情報処理装置。
  5.  前記投影制御部は、前記空間に存在するユーザに係る情報に基づいて、前記特定される前記平面から前記投影領域を決定する、請求項2に記載の情報処理装置。
  6.  前記ユーザに係る情報は、前記ユーザの前記空間における位置を示すユーザ位置情報を含み、
     前記投影制御部は、前記ユーザ位置情報の示すユーザの位置と前記特定される前記平面の位置との関係に基づいて前記投影領域を決定する、請求項5に記載の情報処理装置。
  7.  前記ユーザに係る情報は、前記空間における前記ユーザの多寡に応じて変化するユーザ多寡情報を含み、
     前記投影制御部は、前記ユーザ多寡情報に基づいて前記投影領域を決定する、請求項5に記載の情報処理装置。
  8.  前記ユーザに係る情報は、前記ユーザの視線に応じて変化する視線情報を含み、
     前記投影制御部は、前記視線情報によって推定されるユーザの視線と前記特定される前記平面の位置とに基づいて前記投影領域を決定する、請求項5に記載の情報処理装置。
  9.  前記ユーザを識別するユーザ識別部をさらに備え、
     前記投影制御部は、前記ユーザ識別部によって識別されるユーザの属性情報に基づいて前記投影領域を決定する、請求項5に記載の情報処理装置。
  10.  前記属性情報は、ユーザが操作ユーザであるかを示す情報を含み、
     前記投影制御部は、前記属性情報が操作ユーザを示す場合、前記操作ユーザの前記ユーザに係る情報に基づいて前記投影領域を決定する、請求項9に記載の情報処理装置。
  11.  前記投影制御部は、前記特定される平面に現される態様に基づいて前記投影領域を決定する、請求項2に記載の情報処理装置。
  12.  前記投影制御部は、決定される前記投影領域の位置に基づいて、投影される画像の補正を行う、請求項1に記載の情報処理装置。
  13.  前記投影制御部は、決定された前記投影領域の態様の変化に基づいて投影態様を変更する、請求項1に記載の情報処理装置。
  14.  前記投影制御部は、前記三次元情報に基づいて、決定された投影領域に凹凸が含まれるかを判定し、
     決定された投影領域に前記凹凸が含まれると判定される場合、投影態様を変更する、請求項13に記載の情報処理装置。
  15.  前記投影制御部は、前記凹凸が含まれない領域に投影領域を変更する、請求項14に記載の情報処理装置。
  16.  投影領域に含まれる前記凹凸に基づいて、投影される画像の表示制御を行う表示制御部をさらに備える、請求項14に記載の情報処理装置。
  17.  前記表示制御部は、投影される画像を前記凹凸の形状に合わせて変更する、請求項16に記載の情報処理装置。
  18.  画像投影領域をさらに備え、
     前記投影制御部は、前記画像投影領域を前記投影領域の候補に加える、請求項1に記載の情報処理装置。
  19.  三次元情報取得部が物体の配置を示す三次元情報を取得することと、
     前記三次元情報取得部によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定することと、
     を含む情報処理方法。
  20.  物体の配置を示す三次元情報を取得する三次元情報取得機能と、
     前記三次元情報取得機能によって取得される三次元情報に基づいて、画像が投影される投影領域を前記物体が配置される空間において決定する投影制御機能と、
     をコンピュータに実現させるためのプログラム。
PCT/JP2015/081534 2015-02-03 2015-11-10 情報処理装置、情報処理方法およびプログラム WO2016125359A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580074654.1A CN107211104A (zh) 2015-02-03 2015-11-10 信息处理装置、信息处理方法和程序
US15/533,731 US10297179B2 (en) 2015-02-03 2015-11-10 Information processing apparatus, information processing method, and program
EP15881176.0A EP3255880A4 (en) 2015-02-03 2015-11-10 Information processing device, information processing method and program
JP2016573184A JP6711284B2 (ja) 2015-02-03 2015-11-10 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015019459 2015-02-03
JP2015-019459 2015-02-03

Publications (1)

Publication Number Publication Date
WO2016125359A1 true WO2016125359A1 (ja) 2016-08-11

Family

ID=56563716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081534 WO2016125359A1 (ja) 2015-02-03 2015-11-10 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10297179B2 (ja)
EP (1) EP3255880A4 (ja)
JP (1) JP6711284B2 (ja)
CN (1) CN107211104A (ja)
WO (1) WO2016125359A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128979A (ja) * 2017-02-10 2018-08-16 パナソニックIpマネジメント株式会社 厨房支援システム
WO2019150531A1 (ja) * 2018-02-01 2019-08-08 マクセル株式会社 画像表示装置および画像表示方法
WO2019211936A1 (ja) * 2018-05-01 2019-11-07 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2019215983A1 (ja) * 2018-05-09 2019-11-14 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
WO2019220729A1 (ja) * 2018-05-16 2019-11-21 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2020036120A (ja) * 2018-08-28 2020-03-05 株式会社Nttドコモ 投影装置
WO2020116100A1 (ja) * 2018-12-03 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び投影システム
WO2021181988A1 (ja) * 2020-03-12 2021-09-16 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム
WO2023105922A1 (ja) * 2021-12-07 2023-06-15 ソニーグループ株式会社 投射システム及び投射制御方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11417135B2 (en) * 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
CN111149127A (zh) * 2017-12-04 2020-05-12 索尼公司 信息处理装置、信息处理方法和程序
US10339718B1 (en) * 2017-12-29 2019-07-02 Verizon Patent And Licensing Inc. Methods and systems for projecting augmented reality content
CN109996051B (zh) * 2017-12-31 2021-01-05 广景视睿科技(深圳)有限公司 一种投影区域自适应的动向投影方法、装置及系统
CN108241463B (zh) * 2018-01-02 2021-02-12 京东方科技集团股份有限公司 投影装置的控制方法及其控制装置、投影装置
US10841544B2 (en) 2018-09-27 2020-11-17 Rovi Guides, Inc. Systems and methods for media projection surface selection
CN111176337B (zh) * 2018-11-09 2023-12-19 安克创新科技股份有限公司 一种投影装置以及投影方法、计算机存储介质
CN111669557B (zh) * 2020-06-24 2022-05-13 歌尔光学科技有限公司 投影图像校正方法和校正装置
US11694604B2 (en) * 2021-04-23 2023-07-04 Netflix, Inc. Adjustable light-emissive elements in a display wall
CN114603557B (zh) * 2022-03-09 2024-03-12 深圳鹏行智能研究有限公司 机器人投影方法及机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313291A (ja) * 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd ロボット行動とリンクした映像表示方法とその装置
WO2008004438A1 (fr) * 2006-07-03 2008-01-10 Panasonic Corporation Système de projecteur et procédé de projection d'image video
JP2009180967A (ja) * 2008-01-31 2009-08-13 Seiko Epson Corp 画像形成装置
JP2011007948A (ja) * 2009-06-24 2011-01-13 Sharp Corp プロジェクタおよびプロジェクタ内蔵携帯機器
JP2014192808A (ja) * 2013-03-28 2014-10-06 Ricoh Co Ltd 投影装置、プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4009851B2 (ja) * 2002-05-20 2007-11-21 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
US7699476B2 (en) * 2006-09-20 2010-04-20 Fuji Xerox Co., Ltd. System and method for operating photo-addressable ePaper environment
US8287839B2 (en) * 2006-12-04 2012-10-16 Brookhaven Science Associates, Llc Carboranylporphyrins and uses thereof
CN102222352B (zh) * 2010-04-16 2014-07-23 株式会社日立医疗器械 图像处理方法和图像处理装置
US8539560B2 (en) 2010-06-24 2013-09-17 International Business Machines Corporation Content protection using automatically selectable display surfaces
CN102004623B (zh) * 2010-11-29 2013-02-27 深圳市九洲电器有限公司 一种三维图像显示装置及方法
JP2012233963A (ja) * 2011-04-28 2012-11-29 Konica Minolta Holdings Inc 投影システム、投影装置、投影方法、および制御プログラム
US20130032131A1 (en) * 2011-08-03 2013-02-07 Fenix Outdoor AB Storage box
US9245193B2 (en) * 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US9064312B2 (en) * 2011-09-23 2015-06-23 The Regents Of The University Of California Augmented reality using projector-camera enabled devices
JP5966624B2 (ja) * 2012-05-29 2016-08-10 株式会社リコー 情報処理装置及び情報表示システム
US8837778B1 (en) * 2012-06-01 2014-09-16 Rawles Llc Pose tracking
US8983662B2 (en) * 2012-08-03 2015-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Robots comprising projectors for projecting images on identified projection surfaces
JP5910440B2 (ja) * 2012-09-28 2016-04-27 ソニー株式会社 画像出力装置、画像出力方法、およびプログラム
CN102968817A (zh) * 2012-10-10 2013-03-13 韩晓刚 一种双摄像头三维电子眼
US9336607B1 (en) * 2012-11-28 2016-05-10 Amazon Technologies, Inc. Automatic identification of projection surfaces
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
CN103729883B (zh) * 2013-12-30 2016-08-24 浙江大学 一种三维环境信息采集与重构系统及方法
US9374554B1 (en) * 2014-03-25 2016-06-21 Amazon Technologies, Inc. Display selection for video conferencing
CN103997636B (zh) * 2014-05-16 2016-02-10 北京理工大学 一种计算全息三维显示物体间遮挡关系的方法
US9451245B1 (en) * 2015-01-06 2016-09-20 Ryan Franklin Darling Three dimensional digitizing and projector system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313291A (ja) * 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd ロボット行動とリンクした映像表示方法とその装置
WO2008004438A1 (fr) * 2006-07-03 2008-01-10 Panasonic Corporation Système de projecteur et procédé de projection d'image video
JP2009180967A (ja) * 2008-01-31 2009-08-13 Seiko Epson Corp 画像形成装置
JP2011007948A (ja) * 2009-06-24 2011-01-13 Sharp Corp プロジェクタおよびプロジェクタ内蔵携帯機器
JP2014192808A (ja) * 2013-03-28 2014-10-06 Ricoh Co Ltd 投影装置、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3255880A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128979A (ja) * 2017-02-10 2018-08-16 パナソニックIpマネジメント株式会社 厨房支援システム
WO2019150531A1 (ja) * 2018-02-01 2019-08-08 マクセル株式会社 画像表示装置および画像表示方法
JP7410246B2 (ja) 2018-02-01 2024-01-09 マクセル株式会社 情報処理端末および画像処理方法
JPWO2019150531A1 (ja) * 2018-02-01 2021-02-18 マクセル株式会社 画像表示装置および画像表示方法
JP7150755B2 (ja) 2018-02-01 2022-10-11 マクセル株式会社 画像表示装置および画像表示方法
WO2019211936A1 (ja) * 2018-05-01 2019-11-07 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2019215983A1 (ja) * 2018-05-09 2019-11-14 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
US11544968B2 (en) 2018-05-09 2023-01-03 Sony Corporation Information processing system, information processingmethod, and recording medium
WO2019220729A1 (ja) * 2018-05-16 2019-11-21 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP7143150B2 (ja) 2018-08-28 2022-09-28 株式会社Nttドコモ 投影装置
JP2020036120A (ja) * 2018-08-28 2020-03-05 株式会社Nttドコモ 投影装置
WO2020116100A1 (ja) * 2018-12-03 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び投影システム
WO2021181988A1 (ja) * 2020-03-12 2021-09-16 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム
WO2023105922A1 (ja) * 2021-12-07 2023-06-15 ソニーグループ株式会社 投射システム及び投射制御方法

Also Published As

Publication number Publication date
JP6711284B2 (ja) 2020-06-17
CN107211104A (zh) 2017-09-26
EP3255880A1 (en) 2017-12-13
JPWO2016125359A1 (ja) 2017-11-09
US20170330495A1 (en) 2017-11-16
EP3255880A4 (en) 2018-09-12
US10297179B2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
WO2016125359A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20220004255A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US9886798B2 (en) Display control device, display control method, and recording medium
US8194073B2 (en) Image generation apparatus, image generation program, medium that records the program, and image generation method
US9229584B2 (en) Information input apparatus
US10346027B2 (en) Information processing apparatus, information processing method, and program
JP6566698B2 (ja) 表示制御装置および表示制御方法
JP6252409B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2015056143A (ja) 情報処理装置および情報処理方法
WO2019128101A1 (zh) 一种投影区域自适应的动向投影方法、装置及电子设备
US20180164983A1 (en) Display system, display apparatus, control method for display apparatus
US20170038912A1 (en) Information providing device
JPWO2015198688A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023142678A1 (zh) 投影位置修正方法、投影定位方法及控制装置、机器人
JP6816727B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102295823B1 (ko) 모바일 디바이스 및 웨어러블 디바이스를 이용한 인터페이스 제공 방법
US20200319834A1 (en) Information processing device, information processing method, and program
WO2019211936A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US20190287489A1 (en) Head-mounted display apparatus and method for controlling head-mounted display apparatus
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7160036B2 (ja) 情報処理装置、情報処理方法、記録媒体、及び撮像装置
US20230224451A1 (en) Information processing apparatus, information processing method, and program
JP7482208B2 (ja) 情報処理システム、情報処理装置、操作装置、および、付属機器
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11689702B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15881176

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016573184

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15533731

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015881176

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE