WO2019043854A1 - 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム - Google Patents

光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム Download PDF

Info

Publication number
WO2019043854A1
WO2019043854A1 PCT/JP2017/031300 JP2017031300W WO2019043854A1 WO 2019043854 A1 WO2019043854 A1 WO 2019043854A1 JP 2017031300 W JP2017031300 W JP 2017031300W WO 2019043854 A1 WO2019043854 A1 WO 2019043854A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
projection image
optical device
shadow
Prior art date
Application number
PCT/JP2017/031300
Other languages
English (en)
French (fr)
Inventor
賢人 山▲崎▼
浩平 岡原
栞 有井
真理子 上野
幹郎 佐々木
古木　一朗
加藤　義幸
峯　慎吾
博信 阿倍
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/031300 priority Critical patent/WO2019043854A1/ja
Priority to DE112017007791.5T priority patent/DE112017007791B4/de
Priority to CN201780093840.9A priority patent/CN111052218B/zh
Priority to JP2018511512A priority patent/JP6456551B1/ja
Publication of WO2019043854A1 publication Critical patent/WO2019043854A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs

Definitions

  • the present invention relates to an optical device control apparatus, an optical device control method, and an optical device control program for controlling an optical device that projects or captures an image.
  • CG Computer Graphics
  • the augmented reality technology is, for example, a three-dimensional coordinate system generated on a computer by obtaining the position and orientation of a camera in an arbitrary three-dimensional coordinate system based on a two-dimensional image acquired from an imaging device such as a camera. It is a technology that can draw CG in real space in a superimposed manner.
  • a projector is a device that displays an image by directing light emitted from a projection lens onto an object, and can be calculated by a model basically similar to that of a camera except that the light travels in the opposite direction.
  • CG in the three-dimensional coordinate system generated on a computer can be projected to any position in the real space.
  • the augmented reality technology generally focuses on the problem of “geometrical integrity”, such as where to draw CG superimposed.
  • view management a technique that focuses on how to manage overlapping CGs.
  • view management a technique that focuses on how to manage overlapping CGs.
  • view management a technique that focuses on how to manage overlapping CGs.
  • an amount of overlap between annotation information, an annotation and an object to be explained "a distance between annotation information and annotated information”
  • Three factors of "amount of movement of annotation information in time system” are proposed to be considered (see, for example, Non-Patent Document 2).
  • Patent Document 1 when there is an object (light shield) between an observer (user) and a display such as a display, a display shield detection unit that detects the object, and a result of detection by the display shield detection unit A display device provided with a display layout unit that determines the layout of information based on the above is proposed.
  • Patent Document 2 proposes a remote instruction system including an imaging unit configured to capture a projection target, and an annotation adjusting unit configured to adjust a display mode of annotation information in accordance with the imaging region of the imaging unit.
  • Patent Document 3 has a projection unit that projects an annotation image input from an external device onto a subject, and based on information obtained by capturing an object on which the annotation image is projected by the projection unit using an imaging unit, There has been proposed an image projection apparatus having control means for controlling movement of an annotation image projected onto a subject.
  • Patent No. 3874737 for example, paragraphs 0020 to 0029
  • Patent No. 5092459 for example, paragraphs 0037 to 0048, 0053 to 0061
  • JP 2008-158419 A for example, paragraphs 0031 to 0041
  • the device described in Patent Document 1 considers only the object between the observer and a device such as a monitor, and for an object between a projection display device and a projection object such as a projector, Not considered. Further, in the device described in Patent Document 1, when there are a plurality of CGs, there is no description on how to control the relationship between the CGs.
  • the device described in Patent Document 2 adjusts CG projection conditions, but focuses only on the CG to be added, and there is no description about the case where there are a plurality of CG from the original.
  • the device described in Patent Document 3 moves a plurality of CGs, but depending on how to move the CGs, the related CGs may be distant.
  • the present invention has been made to solve the above-mentioned problems, and is to display a graphics image in an appropriate area even when there is an object (light shield) between an optical device and an object.
  • An optical device control apparatus is characterized in that the projection image generation unit causes an optical device to project a projection image based on projection image data onto an object, and the real space information acquired by the real space information acquisition apparatus.
  • An overlap determining unit that determines whether the projected image is in an overlapping state with a shadow that is an area where the first object does not reach the target; and the graphics image is converted to the shadow by the overlap determining unit.
  • a changing unit that changes the projection image data so that the graphics image is projected to an area other than the shadow, when it is determined that the image is in the overlapping state;
  • a management unit which provides projection image data changed by the change unit as the projection image data when the graphics determination unit determines that the graphics image is in the overlapping state with the shadow; It is characterized by having.
  • the projection image generation step of causing a projection image based on the projection image data to be projected onto the object from the optical device, and the real space information acquired by the real space information acquiring device.
  • a graphics image included in the projection image based on an object detection step of detecting a first object existing between an optical instrument and the object, the projection image data, and a result of detection by the object detection step
  • An overlap determining step of determining whether the projected image is in an overlapping state with a shadow which is a region where the first object does not reach the target; and the graphics image is converted to the shadow by the overlap determining step.
  • the projected image is projected such that the graphics image is projected to the area other than the shadow when it is determined that the overlapping state is present.
  • the graphics image can be displayed in an appropriate area, and thus the information intended for the observer Can be provided.
  • FIG. 1 is a functional block diagram schematically showing a configuration of an optical device control apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing an example of a hardware configuration of an optical device control apparatus according to Embodiment 1.
  • FIG. 5 is a diagram for explaining the operation of the optical device control apparatus according to the first embodiment.
  • (A) And (b) is a figure for demonstrating the operation
  • FIG. (A) And (b) is a figure for demonstrating the operation
  • FIG. (A) to (c) are diagrams for explaining the operation of the optical device control device according to the first embodiment.
  • FIG. 5 is a flowchart showing the operation of the optical device control apparatus according to Embodiment 1.
  • 7 is a flowchart illustrating an example of an object detection process according to the first embodiment.
  • 7 is a flowchart illustrating an example of an overlap determination process according to the first embodiment.
  • 7 is a flowchart illustrating an example of CG movement processing according to the first embodiment.
  • It is a functional block diagram which shows roughly the structure of the optical instrument control apparatus based on Embodiment 2 of this invention.
  • FIG. 14 is a diagram for explaining the operation of the optical device control apparatus according to the second embodiment.
  • FIG. 16 is a flowchart illustrating an example of object detection processing according to Embodiment 2.
  • FIG. 1 is a functional block diagram schematically showing a configuration of an optical device control apparatus 1 according to Embodiment 1 of the present invention.
  • the optical device control device 1 is a device capable of implementing the optical device control method according to the first embodiment.
  • the optical device control apparatus 1 is an apparatus capable of executing the optical device control program according to the first embodiment.
  • the optical device control apparatus 1 is an apparatus for acquiring physical space information such as a camera 201a or a sensor 201b, which acquires information on a physical space, and an image such as a projector 202a. It is connected to an image projection device 202 which is a projection device.
  • the physical space information acquisition device 201 and the image projection device 202 may be separate devices or may be an integrated device.
  • the optical device control apparatus 1 includes an object detection unit 11, an overlap determination unit 12, an attribute management unit 13 as a management unit, and a projection image generation unit 14.
  • a layout calculation unit 15 as a change unit and a storage unit 16 are provided.
  • the physical space information acquisition device 201 acquires the physical space information G1 by the camera 201a or the sensor 201b.
  • the object detection unit 11 receives the physical space information G1 from the physical space information acquisition device 201, and based on the physical space information G1, an object (for example, the projector 202a) and an object (object) existing between the projection device (object) For example, a hand as an object 100 shown in FIG. 3 is detected.
  • the object detection unit 11 sends detected object information G2 related to the detected object 100 to the overlap determination unit 12.
  • the overlap determination unit 12 includes CG 104 included in the projection image from the detected object information G 2 received from the object detection unit 11 and information G 3 of CG (CG 104 as a graphics image to be described later) read from the attribute management unit 13. It is determined whether the light emitted from the projector 202a is in an overlapping state overlapping with a shadow (that is, a shadow area) which is an area not reaching the projection target by the object 100 (that is, the overlap determination is performed).
  • the overlap determination unit 12 determines whether the object 100 shields each CG 104 in the overlap determination.
  • the result G4 of the overlap determination determined by the overlap determination unit 12 is sent to the attribute management unit 13.
  • the overlap determination unit 12 can also determine that there is a portion where the CG 104 included in the projection image overlaps with the shadow is an overlap state, but the CG 104 included in the projection image is overlapping with the shadow It is also possible to determine the overlapping state when the area of the portion is equal to or more than a certain percentage of the area of the CG 104.
  • the attribute management unit 13 is a management unit that reads information (recording content) stored in the storage unit 16 or writes information in the storage unit 16 or rewrites the recording content.
  • the layout calculation unit 15 is a change unit that changes the arrangement position of the CG 104 so that the CG 104 is projected to an area other than the shadow of the object 100.
  • the layout calculation unit 15 receives the information G3 of the CG 104 and the result G4 of the overlap determination from the attribute management unit 13, and calculates the rearrangement coordinates 16a of the CG 104 based on the received information G3 of the CG 104 and the result G4 of the overlap determination.
  • the information G5 including the rearrangement coordinates 16a of the CG 104 calculated by the layout calculation unit 15 is sent to the attribute management unit 13.
  • the attribute management unit 13 provides the projection image generation unit 14 with the information G 3 of the CG 104 and the information G 5 including the rearrangement coordinates 16 a of the CG 104 calculated by the layout calculation unit 15.
  • the projection image generation unit 14 generates projection image data G6 based on the information G3 of the CG 104 received from the attribute management unit 13 and the information G5 including the rearrangement coordinates 16a of the CG 104, and sends the projection image data G6 to the image projection device 202.
  • the image projection device 202 receives the projection image data G6 from the projection image generation unit 14, and projects a projection image (a projection image 102 described later) including the CG 104.
  • the storage unit 16 is a recording medium or a storage device that records information related to the CG 104. As illustrated in FIG. 1, the storage unit 16 stores, for example, rearrangement coordinates 16a, a hierarchy 16b, an area 16c, an arrangement coordinate 16d, and a movement flag 16e of the CG 104.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the optical device control device 1 according to the first embodiment.
  • the optical device control device 1 may be a computer.
  • the optical device control device 1 includes a central processing unit (CPU) 21 as a processor, a graphics processing unit (GPU) 22, a main memory 23, a storage 24, and a bus 25.
  • CPU central processing unit
  • GPU graphics processing unit
  • a camera 201 a as the physical space information acquisition device 201
  • a sensor 201 b as the physical space information acquisition device 201
  • a projector 202 a as the image projection device 202.
  • the physical space information acquisition device 201 may be only one of the camera 201a and the sensor 201b.
  • the physical space information acquisition device 201 may be a plurality of cameras 201a that capture an object from different positions, or a plurality of sensors 201b that detect an object from different positions.
  • the CPU 21 is an arithmetic device for executing the entire operation of the optical device control device 1.
  • the GPU 22 is an arithmetic device that mainly performs image data processing.
  • the main memory 23 is a storage device in which the hardware of the optical device control device 1 can erase and rewrite data.
  • the main memory 23 is volatile, but is used to store data in use or data that needs to be used most recently because it operates faster than the storage 24.
  • the optical device control program is executed by the CPU 21.
  • the CPU 21 executes the optical device control program to realize all or part of the object detection unit 11, the overlap determination unit 12, the attribute management unit 13, the projection image generation unit 14, and the layout calculation unit 15 shown in FIG. can do.
  • the storage 24 is a storage device capable of erasing and rewriting data by the hardware of the optical device control device 1, and corresponds to the storage unit 16 in FIG.
  • the necessary information of the optical device control program stored in the storage is expanded in the main memory 23 and executed by the CPU 21.
  • the bus 25 is a data transfer path for data exchange.
  • the camera 201a is a physical space information acquisition device 201 that captures an image necessary to acquire the physical space information G1.
  • the sensor 201b is a physical space information acquisition device 201 that acquires a value necessary to acquire the physical space information G1.
  • the sensor 201 b is, for example, a GPS (Global Positioning System) that measures a position, an acceleration sensor that detects an acceleration, a geomagnetic sensor that measures an azimuth, and a depth sensor that measures a distance to an object.
  • GPS Global Positioning System
  • the projector 202 a is an image projection device 202 necessary to project the projection image 102 to the real space.
  • FIG. 3 is a diagram for explaining the operation of the optical device control apparatus 1 according to the first embodiment.
  • the camera 201 a is used as the physical space information acquisition device 201
  • the projector 202 a is used as the image projection device 202.
  • the camera 201a includes a camera coordinate system (device coordinate system) 2011a
  • the projector 202a includes a projector coordinate system 2021a.
  • a viewing frustum 2020a of the projector 202a is shown in FIG.
  • the viewing frustum 2020a of the projector 202a indicates the range of space in which an image is projected by the projector 202a.
  • an object for example, a human hand
  • an object 100 as a first object is included (ie, an object is present). Therefore, a part of the image projected by the projector 202 a is blocked by the object 100.
  • FIGS. 4A and 4B are diagrams for explaining the operation of the optical device control apparatus 1 according to the first embodiment.
  • FIG. 4A shows a state in which there is no object blocking the projection image 102 of the projector 202a
  • FIG. 4B shows a state in which there is an object 100 blocking the projection image 102 of the projector 202a.
  • the projection image 102 is projected on the projection plane 101 as a projection target (target object) by the projector 202a.
  • the projected image 102 includes individual CGs 104.
  • part A part which is an object to be annotated by the projector 202a.
  • CG information indicating that the component 103 is the "component A”
  • the CG 104 is additional information for an annotation projected by the projector 202a.
  • the CG (additional information) 104 can be viewed by the observer.
  • FIGS. 5A and 5B are diagrams for explaining the operation of the optical device control device 1 according to the first embodiment.
  • FIGS. 5A and 5B show a state in which there is an object 100 that blocks the projected image 102 of the projector 202a.
  • the CG 104 overlaps the non-projection area 105 and is not visible to the observer. Therefore, the movement of the arrangement position of the CG 104 from the state of FIGS. 4A and 4B. (Replacement) is done.
  • the optical device control device 1 is characterized in that the arrangement position of the CG 104 is moved so that the arrangement position of the CG 104 does not overlap the non-projection area 105. As a result, even when the object 100 is present and a part or all of the projection image 102 of the projector 202a is blocked, the viewer can visually recognize the CG 104.
  • FIGS. 6A to 6C are diagrams for explaining the operation of the optical device control device 1 according to the first embodiment.
  • 6A to 6C show plan views of the projection image 102 projected on the projection surface 101 by the projector 202a.
  • FIGS. 6A to 6C show a state in which two CGs (CG 104 a and CG 104 b) 104 are included in the projection image 102.
  • FIG. 6A shows a state in which there is no object blocking the projected image 102 of the projector 202a
  • FIGS. 6B and 6C show a state in which there is an object 100 blocking the projected image 102 of the projector 202a. It shows.
  • FIG. 6 (b) shows a state before movement of the CG 104b
  • FIG. 6 (c) shows a state after movement of the CG 104b.
  • the “part A” is described as the CG 104 (that is, the first image) regarding the “part A” and the “part B” are described.
  • CG 104 b (second image) to be included.
  • the CG 104 a and the CG 104 b are displayed at a distance 106 ab apart.
  • the optical device control device 1 moves (repositions) the arrangement position of the CG 104 b because the observer can not view the image.
  • the CG 104b explaining “part B” is moved from the state of FIG. 6B to the upper right in the figure.
  • the shadow of the object 100 and the CG 104 b do not overlap, and the CG 104 b can be viewed by the observer.
  • the position of the CG 104 b after movement can be freely set as long as the CG 104 b does not overlap the shadow of the object 100 and the CG 104 b can secure the distance 106 ab ′ from the CG 104 a.
  • the distance 106 ab ′ may be, for example, a predetermined distance, a distance not to cause the CG 104 b to protrude from the projection image 102 within a range not overlapping the CG 104 a and the shadow of the object 100, or a distance specified by the user. it can.
  • FIGS. 7A to 7D are diagrams for explaining the operation of the optical device control apparatus 1 according to the first embodiment.
  • FIGS. 7A to 7D show plan views of the projection image 102 projected on the projection surface 101 by the projector 202a.
  • FIGS. 7A to 7D show a state in which three CGs (CG 104 a, CG 104 b, and CG 104 c) 104 are included in the projection image 102.
  • FIG. 7 (a) shows a state before movement of the CGs 104a, 104b, 104c
  • FIG. 7 (b) shows a state after movement of the CGs 104a, 104b, 104c shown in FIG. 7 (a).
  • FIG.7 (c) has shown the state before movement of CG104a, 104b, 104c
  • FIG.7 (d) shows the state after movement of CG104a, 104b, 104c shown by FIG.7 (c).
  • FIGS. 7A and 7B show an example of movement in the case where the CGs 104a, 104b and 104c do not have the attributes of the parent-child hierarchy (common attributes)
  • FIGS. 7C and 7D show the movement. 14 illustrates an example of movement in the case where the CGs 104a, 104b, and 104c have attributes of a parent-child hierarchy to each other.
  • a CG 104a that describes "part A”, a CG 104b that describes "part B", and a CG 104c that describes "part C" as CG 104. include. There is an interval indicated by a distance 106ab between the CG 104a and the CG 104b. There is an interval indicated by a distance 106ac between the CG 104a and the CG 104c.
  • the CG 104b describing "part B” and the CG 104c describing "part C" become an overlapping state where the shadow of the object 100 overlaps with the CG 104b Since the CG 104 c is not visible to the observer, as shown in FIG. 7B, the arrangement position of the CG 104 b and the CG 104 c is moved (repositioned).
  • the CG 104b explaining "part B" is moved to the upper right in the figure.
  • the shadow of the object 100 and the CG 104 b do not overlap, and the CG 104 b can be viewed by the observer.
  • the position of the CG 104 b after movement can be freely set as long as the CG 104 b does not overlap the shadow of the object 100 and the CG 104 c and the CG 104 b can secure the distance 106 ab ′ from the CG 104 a.
  • the distance 106 ab ′ may be, for example, a predetermined distance, a distance that prevents the CG 104 b from protruding from the projection image 102 within a range not overlapping the CG 104 a, CG 104 c, and the shadow of the object 100, or a distance specified by the user. can do.
  • the CG 104c explaining "part C" is moving to the lower left in the figure.
  • the shadow of the object 100 and the CG 104 c do not overlap, and the CG 104 c becomes visible to the observer.
  • the position of the CG 104 c after movement can be freely set as long as the CG 104 c does not overlap the shadow of the object 100 and the CG 104 b and the CG 104 c can secure the distance 106 ac ′ from the CG 104 a.
  • the distance 106 ac ′ may be, for example, a predetermined distance, a distance that prevents the CG 104 c from protruding from the projection image 102 within a range not overlapping the CG 104 a, CG 104 b, and the shadow of the object 100, or a distance specified by the user. can do.
  • FIGS. 7C and 7D show the case where there is a parent-child hierarchy attribute between CG 104b and CG 104c (for example, CG 104b is a parent and CG 104c is a child).
  • the projection image 102 includes a CG 104a explaining "part A”, a CG 104b explaining "part B", and a CG 104c explaining "part C". There is. There is an interval indicated by a distance 106ab between the CG 104a and the CG 104b.
  • an interval indicated by a distance 106 bc exists between the CG 104 b and the CG 104 c.
  • the arrangement positions of the CG 104 b and the CG 104 c are moved so that the distance 106 bc ′ between the CG 104 b and the CG 104 c exists.
  • the arrangement position of the CG 104b is moved so that the distance 106ab 'between the CG 104a and the CG 104b exists.
  • the CG 104 b explaining “part B” and the CG 104 c explaining “part C” are moved to the lower left in the figure.
  • the shadow of the object 100 and the CG 104 b and CG 104 c do not overlap, and the CG 104 b and CG 104 c can be viewed.
  • the position of the CG 104 c after movement can be freely set as long as the CG 104 c does not overlap the shadow of the object 100 and the CG 104 b and the CG 104 c can secure the distance 106 ac ′ from the CG 104 a.
  • the distance 106 ac ′ may be, for example, a predetermined distance, a distance that prevents the CG 104 c from protruding from the projection image 102 within a range not overlapping the CG 104 a, CG 104 b, and the shadow of the object 100, or a distance specified by the user. can do.
  • the position of the CG 104 c after movement can be freely set as long as the CG 104 c does not overlap the shadow of the object 100 and the CG 104 a and the CG 104 c can secure the distance 106 bc ′ from the CG 104 b. It is desirable that the distance 106 bc ′ be as short as possible within the range not overlapping the shadow of the object 100 and the CG 104 a when there is a common attribute such as the attribute of the parent-child hierarchy between the CG 104 b and the CG 104 c.
  • the distance 106 bc ′ between the projection position of the CG 104 b and the projection position of the CG 104 c after the change of the projection image data is before the change of the projection image data
  • the projection image data is changed so as to be shorter than the distance 106 bc between the projection position of the CG 104 b and the projection position of the CG 104 c in the above, or to be shorter than a predetermined distance.
  • the moving destination of the CG 104 (104a, 104b, 104c) be a position close to the original position. Further, it is desirable that the movement destination of the CG 104 be close to the part (object) 103 to be annotated. Further, it is desirable to shorten the moving distance of the CG 104.
  • the optical device control device 1 moves each CG 104 under such conditions.
  • FIG. 8 is a flowchart showing the operation of the optical device control apparatus 1 according to the first embodiment.
  • the CG 104 to be projected can be projected at an arbitrary position, and it is determined that the projection can not be performed.
  • the CG 104 moves in consideration of the attribute, generates a projection image 102 to be projected from the projector 202 a, and shows CG control processing until actually projecting.
  • the CG control process of the optical device control apparatus 1 will be described below with reference to FIG. However, the CG control process performed by the optical device control apparatus 1 may be different from the process shown in FIG.
  • the CG control process shown in FIG. 8 is executed (for example, in a fixed cycle) each time the camera 201a or sensor 201b used in the physical space information acquisition device 201 acquires the physical space information G1.
  • the optical device control device 1 causes the physical space information acquisition device 201 to acquire physical space information G1 based on the physical space including the object.
  • the camera 201a acquires image data as the physical space information G1.
  • the sensor 201b acquires a detection value (for example, distance information in the case of a depth sensor) as the physical space information G1.
  • the optical device control device 1 determines whether the object 100 is between the projector 202a and the projection surface 101 by the object detection unit 11 based on the physical space information G1 acquired by the physical space information acquisition device 201 To detect If the object 100 is detected (YES in step S12), the process proceeds to the next step S13.
  • the optical device control device 1 causes the overlap determination unit 12 to determine whether the object 100 detected in step S12 blocks the projection of the CG 104 (the shadow of the object 100 and the CG 104 are in an overlapping state) Or not). If it is determined that the object 100 shields the CG 104 (YES in step S13), the process proceeds to the next step S14. In the next step S14, the optical device control apparatus 1 reads the movement flag 16e of the storage unit 16 by the attribute management unit 13 and sets the movement flag 16e for the CG 104 determined to be shielded in step S13.
  • the optical device control apparatus 1 becomes a target by the layout calculation unit 15 based on its own position and attribute and the position and attribute of another CG 104 for the CG 104 for which the movement flag 16e is set.
  • the CG 104 is moved to a position to generate a projected image 102.
  • the CG 104 with the movement flag 16e raised is the coordinate after movement, and the CG 104 without the movement flag 16e generated the projected image 102 with the coordinates as it is.
  • the optical device control device 1 causes the image projection device 202 to project the projection image 102 generated by the projection image generation unit 14.
  • FIG. 9 is a flowchart showing an example of the object detection process according to the first embodiment.
  • FIG. 9 shows an example of the object detection process in step S12 of FIG.
  • the optical device control device 1 uses the physical space information G1 acquired by the physical space information acquisition device 201 to determine the object in the coordinate system 2011a of the device (for example, the camera 201a) used by the physical space information acquisition device 201.
  • the optical device control apparatus 1 converts the result (information of the position and shape of the object 100) estimated in step S21 into information of the position and shape in the projector coordinate system 2021a.
  • the optical device control device 1 determines whether the object 100 is present in the viewing frustum 2020a of the projector. If it is determined that the object 100 is present in the viewing frustum 2020a, the determination in step S12 of FIG. 8 is YES, and if it is determined that the object 100 is not present in the viewing frustum 2020a, FIG. The determination in step S12 is negative.
  • FIG. 10 is a flowchart showing an example of the overlap determination process according to the first embodiment.
  • FIG. 10 shows an example of the overlap determination process of the CG 104 in step S13 of FIG.
  • the optical device control apparatus 1 projects the object 100 detected by the object detection unit 11 onto the projector image coordinate system.
  • the optical device control apparatus 1 In the next step S32, the optical device control apparatus 1 generates a convex hull (convex envelope) for the shadow of the object 100 from the outline of the shadow of the projected object 100.
  • the convex hull means the smallest convex set including a given set.
  • a convex set refers to a set when a line segment connecting any two points in a given set is included in the set.
  • the optical device control apparatus 1 projects all the CGs 104 on the projector image coordinate system.
  • the optical device control apparatus 1 generates a convex hull for each CG 104 from the projected outline of the CG 104.
  • the optical instrument control device 1 extracts the convex hull of the shadow of the detected object 100 and the convex hull of the CG 104 one by one in a round robin (that is, for all combinations).
  • the optical device control apparatus 1 calculates the area of the common part from the two extracted convex hulls, and if this area is equal to or greater than a predetermined threshold (area threshold), the CG 104 and the object 100 are It is determined that the shadow overlaps (that is, the overlapping state). If there are a plurality of detected objects 100, this process is repeated for each object 100.
  • a predetermined threshold area threshold
  • the method of the overlap determination of step S36 is not limited to the said method. For example, when the ratio of the area of the common part of the two extracted convex hulls to the area of the convex hull of CG 104 is equal to or greater than a predetermined percentage (percentage threshold), the CG 104 and the shadow of object 100 overlap. It may be determined that there is an overlapping state.
  • FIG. 11 is a flowchart showing an example of the movement process of the CG 104 in the first embodiment.
  • FIG. 11 shows an example of the moving process of the CG 104 in step S15 of FIG.
  • the optical device control apparatus 1 sets the process number n to one.
  • the optical device control apparatus 1 compares the processing number n with the number (total number) of CGs 104 to be projected included in the projection image 102, and when the processing number n is less than the number of CGs 104 to be projected. , CG 104 processing continues. If the process number n exceeds the number of CGs 104 included in the projection image 102 (ie, n> “the number of CGs 104”) (YES in step S42), the moving process of the CG 104 ends.
  • step S42 If the process number n is less than or equal to the number of CGs 104 included in the projection image 102 (NO in step S42), the process proceeds to step S43, and the optical device control apparatus 1 confirms whether the movement flag 16e of the CG 104 is set. . If the movement flag 16e is set (YES in step S43), calculation is performed in the following steps S44 to S47, for example, according to the drawing algorithm by the dynamic model.
  • attraction or repulsion acts between a plurality of points (in the present application, a shadow and CG), and all the points are in a stable arrangement in a dynamic model in which the plurality of points are brought closer or further away. As such, find the positions of the points so that they do not overlap each other.
  • the optical device control device 1 calculates the attractive force and the repulsive force to which the CG 104 is subjected.
  • the CG 104 receives repulsive force from the position of the shadow of the object 100 (step S44), receives repulsive force from the other CG 104 (step S45), and receives attractive force from the CG 104 of common attributes (for example, attributes of parent-child hierarchy)
  • Step S46 Apply an attractive force from the original position (Step S47).
  • the optical device control apparatus 1 calculates the arrangement position of the movement destination of the CG 104 by the layout calculation unit 15 by integrating the attractive force and the repulsive force received by the CG 104.
  • the optical device control device 1 updates the rearrangement coordinates 16a of the CG 104.
  • the optical device control apparatus 1 increments the processing number n by 1, the processing returns to step S42, and continues the processing until the processing number n exceeds the number of CGs 104.
  • ⁇ 1-3 Effects As described above, according to the optical device control device 1, the optical device control method, and the optical device control program according to the first embodiment, the object detection unit 11, the overlap determination unit 12, and If the layout calculation unit 15 determines that the shadow of the object 100 and the CG 104 overlap (are in the overlap state) by the overlap determination unit 12, the layout calculation unit 15 does not overlap with the shadow of the object 100. Move the CG 104 to a place and rearrange it. Thereby, even if there is a light shield (for example, the object 100) between the optical device (for example, the projector 202a) and the projection target (the projection surface 101), the CG 104 can be displayed in an appropriate place And can provide the observer with the intended information.
  • a light shield for example, the object 100
  • the optical device for example, the projector 202a
  • the projection target the projection surface 101
  • a plurality of CGs 104 (for example, 104 b and 104 c in FIG. 7C and FIG. If it has an attribute, the arrangement position of the CG 104 is determined based on the information. As a result, it is continuously displayed that the CGs 104 have the common attribute, and the intended information can be provided to the observer.
  • FIG. 12 is a functional block diagram showing a schematic configuration of an optical device control apparatus 1a according to a second embodiment of the present invention.
  • the optical device control device 1a shown in FIG. 12 is generally the same as the optical device control device 1 shown in FIG. 1 except that a user gaze estimation unit 17 is provided.
  • FIG. 12 the same or corresponding components as those shown in FIG. 1 are denoted by the same reference numerals as those shown in FIG. The description of the same or corresponding components as those shown in FIG. 1 will be omitted.
  • the viewpoint and the line of sight of the observer are not considered. Therefore, in the second embodiment, in consideration of the line of sight of the observer, it is possible to provide information intended for the observer even if there is an object (object 100a described later) between the observer and the projection target. Describe. In the second embodiment, as in the first embodiment, the object 100 existing between the optical device (projector 202a) and the projection target is also considered.
  • the optical device control device 1 a includes a user gaze estimation unit 17.
  • the user gaze estimation unit 17 estimates the gaze of the observer (the user 203 in FIG. 13) based on the physical space information G1 acquired by the physical space information acquisition device 201.
  • the information G7 on the line of sight of the user 203 estimated by the user line of sight estimation unit 17 is sent to the overlap determination unit 12.
  • the object detection unit 11a in the second embodiment detects an object (second object) 100a located between the viewpoint of the user 203 and the projection target (projection surface 101).
  • the overlap determination unit 12 performs overlap determination of the CG 104 based on the detected object information G2 received from the object detection unit 11, the information G7 related to the line of sight of the user 203, and the information G3 of the CG 104 read from the attribute management unit 13. .
  • the overlap determination on the projection plane 101, the invisible region where the CG 104 is not visible to the user 203 by the object 100a detected by the object detection unit 11 (that is, the line of sight is blocked by the object 100a and can not be viewed) It is determined whether or not there is an overlapping state with the area).
  • the layout calculation unit 15 changes the projection image data G6 so that the CG 104 is projected to an area other than the invisible area where the object 100a has become invisible.
  • FIG. 13 is a diagram for explaining the operation of the optical device control apparatus 1a according to the second embodiment.
  • the optical device control device 1a according to the second embodiment starts at the viewpoint 203a of the user 203 instead of the projector 202a.
  • the projector coordinate system 2021 a and the projector frustum 2020 a in the first embodiment are a user coordinate system 2031 and a user frustum 2030. Has been replaced by.
  • the view frustum 2030 of the user 203 indicates the range of the space viewed by the user 203. As shown in FIG. 13, an object (second object) 100 a is included in the view frustum 2030 of the user. Therefore, a part of the image viewed by the user 203 is blocked by the object 100a.
  • FIG. 14 is a flowchart illustrating an example of the object detection process according to the second embodiment.
  • FIG. 14 shows an example of the object detection process in step S12 of FIG.
  • the process from step S21 to step S23 is the same as the process from step S21 to step S23 in FIG. 9.
  • the optical device control apparatus 1a converts the position of the line of sight of the user 203 estimated by the user line of sight estimation unit 17 into the user coordinate system 2031.
  • the optical device control device 1a determines whether or not the object 100a is present in the viewing frustum 2030 of the user.
  • the user's line of sight estimation unit 17 is added as a configuration Therefore, even if there is a light blocking object (object 100) between the viewpoint of the observer (user 203) and the projection target (projection surface 101), the CG 104 can be displayed at a position where the observer can visually recognize And can provide the observer with the intended information.
  • the optical device control device 1a Furthermore, according to the optical device control device 1a, the optical device control method, and the optical device control program according to the second embodiment, the optical device control device 1 according to the first embodiment, the optical device control method, and the optical device control program The same effect is obtained.
  • the CG 104 is made visible by moving the CG 104.
  • the CG 104 is displayed in a reduced size or the character arrangement of the CG 104 is changed (for example, horizontal writing)
  • the CG 104 may be made visible by changing the () into vertical writing) or any combination of movement and reduction and change of character arrangement.
  • any one of the CGs is the projection plane 101. If it does not fit inside, as shown in FIGS. 7A and 7B, it may be switched to another arrangement such as CG arrangement which does not consider the attributes of the parent-child hierarchy.
  • Optical equipment control device 11 11a Object detection unit 12, 12 overlap judgment unit, 13 attribute management unit, 14 projection image generation unit, 15 layout calculation unit, 16 storage unit, 16a rearrangement coordinates, 16b layer, 16c area , 16d arrangement coordinates, 16e movement flag, 17 user gaze estimation unit, 21 CPU, 22 GPU, 23 main memory, 24 storage, 25 bus, 100 object, 101 projection plane, 102 projection image, 103 parts, 104 CG, 105 non Projection area, 106 distance, 201 Real space information acquisition device, 201a camera, 201b sensor, 202 image projection device, 202a projector, 203 users, G1 to G7 information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

光学機器制御装置（１）は、光学機器と対象物との間に存在する物体を検出する物体検出部（１１）と、検出された物体の影と投影するＣＧとが重複状態にあるか否かを判定する重なり判定部（１２）と、投影画像データを投影画像生成部（１４）に提供する属性管理部（１３）と、重なり判定部（１２）により物体の影とＣＧとが重複状態にあると判定された場合に、ＣＧが物体の影以外の領域に投影されるように投影画像データを変更するレイアウト計算部（１５）と、レイアウト計算部（１５）により投影位置が変更されたＣＧを含む投影画像を生成する投影画像生成部（１４）と、記憶部（１６）と、を有することを特徴とする。

Description

光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
　本発明は、画像を投影又は撮影する光学機器を制御する光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムに関する。
　従来、カメラ又はセンサから取得したユーザの位置姿勢を基に付加情報としての電子情報（ＣＧ：Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）を現実空間に重畳描画する拡張現実感技術がある。拡張現実感技術は、例えば、カメラなどの撮像装置から取得された二次元の画像を基に、任意の三次元座標系におけるカメラの位置姿勢を求めることで、計算機上で生成した三次元座標系におけるＣＧを現実空間に重畳描画することができる技術である。
　プロジェクタは、投影レンズから出た光を物体に当てることで、映像を表示する装置であり、カメラとは光の進む向きが逆方向であること以外は、基本的に類似したモデルによって計算できることで知られている。したがって、任意の三次元座標系におけるプロジェクタの位置姿勢を求めることで、計算機上で生成した三次元座標系におけるＣＧを現実空間の任意の位置に投影することができる。
　拡張現実感技術は、どこにＣＧを重畳描画するか、といった「幾何学的整合性」の課題に注目するものが一般的である。一方、ユーザに情報を伝えるために、重畳するＣＧをどのように管理するかに注目した技術をビューマネジメントという（例えば、非特許文献１参照）。また、拡張現実感技術を用いてＣＧによる注釈情報を表示する場合、「注釈情報同士や、注釈と説明対象の物体との重なりの量」、「注釈情報と被注釈情報との距離」、及び「時間系における注釈情報の移動量」の３要素が考慮されるべきこととして提案されている（例えば、非特許文献２参照）。
　特許文献１は、観察者（ユーザ）とディスプレイなどの表示器との間に物体（光遮蔽物）がある場合、物体を検出する表示遮蔽物検出部と、表示遮蔽物検出部による検出の結果に基づいて情報のレイアウトを決定する表示レイアウト部を備える表示装置を提案している。
　特許文献２は、投影対象を撮影する撮影手段と、撮影手段の撮影領域に応じて、注釈情報の表示態様を調整するアノテーション調整手段とを有する遠隔指示システムを提案している。
　特許文献３は、外部装置から入力された注釈画像を被写体に投影する投影手段を有し、この投影手段によって注釈画像が投影された被写体を、撮像手段で撮影して得られた情報に基づき、被写体に投影される注釈画像を移動制御する制御手段を有する画像投影装置を提案している。
特許第３８７４７３７号公報（例えば、段落００２０～００２９） 特許第５０９２４５９号公報（例えば、段落００３７～００４８、００５３～００６１） 特開２００８－１５８４１９号公報（例えば、段落００３１～００４１）
蔵田武志、酒田信親、牧田孝嗣著、「拡張現実感（ＡＲ）：１１．展望３：ＡＲのインタフェース」、情報処理Ｖｏｌ．５１、　Ｎｏ．４、　Ａｐｒ．２０１０、ｐｐ．４２５－４３０ Ｒｏｎａｌｄ　Ａｚｕｍａ，　Ｃｈｒｉｓ　Ｆｕｒｍａｎｓｋｉ、　"Ｅｖａｌｕａｔｉｎｇ　Ｌａｂｅｌ　Ｐｌａｃｅｍｅｎｔ　ｆｏｒ　Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ　Ｖｉｅｗ　Ｍａｎａｇｅｍｅｎｔ"、　ＩＥＥＥ　ａｎｄ　ＡＣＭ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｍｉｘｅｄ　ａｎｄ　Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ（ＩＳＭＡＲ　２００３）、（Ｔｏｋｙｏ７－１０　Ｏｃｔｏｂｅｒ　２００３）、　ｐｐ．６６－７５
　しかしながら、光学機器（例えば、プロジェクタ）と投影対象との間に物体（光遮蔽物）が存在すると、投影対象に物体（光遮蔽物）の影ができるため、任意の位置にＣＧを投影できないなど、観察者に意図した情報が提供できない問題があった。
　例えば、特許文献１に記載の装置は、観察者とモニタなどのデバイスとの間の物体のみを考慮しており、プロジェクタのように投影型の表示デバイスと投影対象との間にある物体については考慮していない。また、特許文献１に記載の装置は、ＣＧが複数ある場合、ＣＧ同士の関係をどのように制御するかについての記載はない。
　特許文献２に記載の装置は、ＣＧの投影条件を調整するものであるが、追加するＣＧのみに注目しており、元からＣＧが複数ある場合についての記載はない。特許文献３に記載の装置は、複数のＣＧを移動させるものであるが、ＣＧの移動のさせ方によっては、関連したＣＧが遠くなる可能性がある。
　本発明は、上記課題を解決するためになされたものであり、光学機器と対象物との間に物体（光遮蔽物）がある場合であっても、適切な領域にグラフィクス画像を表示することができる光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムを提供することを目的とする。
　本発明に係る光学機器制御装置は、投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成部と、現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出部と、前記投影画像データと前記物体検出部による検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定部と、前記重なり判定部によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更部と、前記重なり判定部によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更部によって変更された投影画像データを前記投影画像データとして前記投影画像生成部に提供する管理部とを有することを特徴とする。
　本発明に係る光学機器制御方法は、投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成ステップと、現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出ステップと、前記投影画像データと前記物体検出ステップによる検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定ステップと、前記重なり判定ステップによって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更ステップと、前記重なり判定ステップによって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更ステップによって変更された投影画像データを前記投影画像データとして前記投影画像生成ステップに提供する管理ステップとを有することを特徴とする。
　本発明によれば、光学機器と対象物との間に物体（光遮蔽物）がある場合であっても適切な領域にグラフィクス画像を表示することができるので、観察者に対して意図した情報を提供することができる。
本発明の実施の形態１に係る光学機器制御装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る光学機器制御装置のハードウェア構成の一例を示す図である。 実施の形態１に係る光学機器制御装置の動作を説明するための図である。 （ａ）及び（ｂ）は、実施の形態１に係る光学機器制御装置の動作を説明するための図である。 （ａ）及び（ｂ）は、実施の形態１に係る光学機器制御装置の動作を説明するための図である。 （ａ）から（ｃ）は、実施の形態１に係る光学機器制御装置の動作を説明するための図である。 （ａ）から（ｄ）は、実施の形態１に係る光学機器制御装置の動作を説明するための図である。 実施の形態１に係る光学機器制御装置の動作を示すフローチャートである。 実施の形態１における物体検出処理の一例を示すフローチャートである。 実施の形態１における重なり判定処理の一例を示すフローチャートである。 実施の形態１におけるＣＧの移動処理の一例を示すフローチャートである。 本発明の実施の形態２に係る光学機器制御装置の構成を概略的に示す機能ブロック図である。 実施の形態２に係る光学機器制御装置の動作を説明するための図である。 実施の形態２における物体検出処理の一例を示すフローチャートである。
　以下に、本発明の実施の形態に係る光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》実施の形態１
《１－１》構成
　図１は、本発明の実施の形態１に係る光学機器制御装置１の構成を概略的に示す機能ブロック図である。光学機器制御装置１は、実施の形態１に係る光学機器制御方法を実施することができる装置である。また、光学機器制御装置１は、実施の形態１に係る光学機器制御プログラムを実行することができる装置である。
　図１に示されるように、実施の形態１に係る光学機器制御装置１は、カメラ２０１ａ又はセンサ２０１ｂなど現実空間の情報を取得する装置である現実空間情報取得装置２０１と、プロジェクタ２０２ａなど画像を投影する装置である画像投影装置２０２とに接続されている。現実空間情報取得装置２０１と画像投影装置２０２とは、別個の装置であってもよく、また、一体型の装置であってもよい。
　図１に示されるように、実施の形態１に係る光学機器制御装置１は、物体検出部１１と、重なり判定部１２と、管理部としての属性管理部１３と、投影画像生成部１４と、変更部としてのレイアウト計算部１５と、記憶部１６と、を備える。
　現実空間情報取得装置２０１は、カメラ２０１ａ又はセンサ２０１ｂなどによって現実空間情報Ｇ１を取得する。物体検出部１１は、現実空間情報取得装置２０１から現実空間情報Ｇ１を受け取り、現実空間情報Ｇ１に基づいて光学機器（例えば、プロジェクタ２０２ａ）と投影対象（対象物）との間に存在する物体（例えば、図３で示される物体１００としての手）を検出する。物体検出部１１は、検出した物体１００に関する検出物体情報Ｇ２を重なり判定部１２に送る。
　重なり判定部１２は、物体検出部１１から受け取った検出物体情報Ｇ２と、属性管理部１３から読み込んだＣＧ（後述するグラフィクス画像としてのＣＧ１０４）の情報Ｇ３とから、投影画像に含まれるＣＧ１０４が、プロジェクタ２０２ａから出射される光が物体１００によって投影対象に到達しない領域である影（すなわち、影領域）と重なっている重複状態にあるか否かを判定する（すなわち、重なり判定を行う）。
　重なり判定部１２は、重なり判定において物体１００が各ＣＧ１０４を遮蔽するかどうかを判定する。重なり判定部１２により判定された重なり判定の結果Ｇ４は、属性管理部１３に送られる。なお、重なり判定部１２は、投影画像に含まれるＣＧ１０４が影と重なっている部分が存在する場合を重複状態と判定することも可能であるが、投影画像に含まれるＣＧ１０４が影と重なっている部分の面積が、ＣＧ１０４の面積の一定割合以上となっている場合を重複状態と判定することも可能である。
　属性管理部１３は、記憶部１６に記憶されている情報（記録内容）を読み込み、又は、記憶部１６に情報を書き込む若しくは記録内容を書き換える管理部である。レイアウト計算部１５は、ＣＧ１０４が物体１００の影以外の領域に投影されるようにＣＧ１０４の配置位置を変更する変更部である。レイアウト計算部１５は属性管理部１３からＣＧ１０４の情報Ｇ３及び重なり判定の結果Ｇ４を受け取り、受け取ったＣＧ１０４の情報Ｇ３及び重なり判定の結果Ｇ４を基にＣＧ１０４の再配置座標１６ａを計算する。
　レイアウト計算部１５により計算されたＣＧ１０４の再配置座標１６ａを含む情報Ｇ５は、属性管理部１３に送られる。属性管理部１３は、ＣＧ１０４の情報Ｇ３と、レイアウト計算部１５により計算されたＣＧ１０４の再配置座標１６ａを含む情報Ｇ５とを投影画像生成部１４に提供する。
　投影画像生成部１４は、属性管理部１３から受け取ったＣＧ１０４の情報Ｇ３及びＣＧ１０４の再配置座標１６ａを含む情報Ｇ５を基に投影画像データＧ６を生成し、画像投影装置２０２に送る。画像投影装置２０２は、投影画像生成部１４から投影画像データＧ６を受け取り、ＣＧ１０４を含む投影画像（後述する投影画像１０２）を投影する。
　記憶部１６は、ＣＧ１０４に関する情報を記録する記録媒体又は記憶装置である。図１に示されるように、記憶部１６には、例えば、ＣＧ１０４の再配置座標１６ａと、階層１６ｂと、面積１６ｃと、配置座標１６ｄと、移動フラグ１６ｅとが記憶される。
　図２は、実施の形態１に係る光学機器制御装置１のハードウェア構成の一例を示す図である。光学機器制御装置１は、コンピュータであってもよい。光学機器制御装置１は、プロセッサであるＣＰＵ（Ｃｅｎｔａｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２１と、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２と、メインメモリ２３と、ストレージ２４と、バス２５とを備えている。
　また、図２に示されるように、光学機器制御装置１には、現実空間情報取得装置２０１としてのカメラ２０１ａと、現実空間情報取得装置２０１としてのセンサ２０１ｂと、画像投影装置２０２としてのプロジェクタ２０２ａとが接続されている。現実空間情報取得装置２０１は、カメラ２０１ａ及びセンサ２０１ｂの一方のみであってもよい。また、現実空間情報取得装置２０１は、異なる位置から対象物を撮影する複数のカメラ２０１ａ又は異なる位置から対象物を検出する複数のセンサ２０１ｂであってもよい。
　ＣＰＵ２１は、光学機器制御装置１の動作の全体を実行するための演算装置である。ＧＰＵ２２は、主に画像データ処理を行う演算装置である。メインメモリ２３は、光学機器制御装置１のハードウェアがデータの消去及び書き換えが可能な記憶装置である。メインメモリ２３は、揮発性であるが、ストレージ２４より高速に動作することから、使用中のデータ又は直近で使用する必要が生じるデータを保存するために使用される。
　光学機器制御プログラムは、ＣＰＵ２１で実行される。ＣＰＵ２１が光学機器制御プログラムを実行することにより、図１に示される物体検出部１１、重なり判定部１２、属性管理部１３、投影画像生成部１４、及びレイアウト計算部１５の全体又は一部を実現することができる。
　ストレージ２４は、光学機器制御装置１のハードウェアによって、データの消去及び書き換えが可能な記憶装置であり、図１における記憶部１６に対応する。このストレージに記憶されている光学機器制御プログラムの必要な情報はメインメモリ２３において展開され、ＣＰＵ２１によって実行される。バス２５は、データ交換用のデータ転送路である。
　カメラ２０１ａは、現実空間情報Ｇ１を取得するために必要な画像を撮影する現実空間情報取得装置２０１である。
　センサ２０１ｂは、現実空間情報Ｇ１を取得するために必要な値を取得する現実空間情報取得装置２０１である。センサ２０１ｂは、例えば、位置を計測するＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、加速度を検出する加速度センサ、方位を計測する地磁気センサ、物体までの距離を計測する深度センサである。
　プロジェクタ２０２ａは、投影画像１０２を現実空間に投影するために必要な画像投影装置２０２である。
《１－２》動作
　図３は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図３に示されるように、実施の形態１では、例えば、現実空間情報取得装置２０１としてカメラ２０１ａを用い、画像投影装置２０２としてプロジェクタ２０２ａを用いる。図３に示されるように、カメラ２０１ａはカメラ座標系（デバイス座標系）２０１１ａを備え、プロジェクタ２０２ａはプロジェクタ座標系２０２１ａを備える。
　図３には、プロジェクタ２０２ａの視錐台２０２０ａが示される。プロジェクタ２０２ａの視錐台２０２０ａは、プロジェクタ２０２ａにより画像が投影される空間の範囲を示すものである。図３に示されるように、プロジェクタ２０２ａの視錐台２０２０ａ内には、第１の物体としての物体（例えば、人の手）１００が含まれている（すなわち、物体が存在している）。したがって、プロジェクタ２０２ａにより投影される画像は、その一部が物体１００により遮られている。
　図４（ａ）及び（ｂ）は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図４（ａ）は、プロジェクタ２０２ａの投影画像１０２を遮る物体が存在しない状態を示しており、図４（ｂ）はプロジェクタ２０２ａの投影画像１０２を遮る物体１００が存在する状態を示している。
　図４（ａ）に示されるように、プロジェクタ２０２ａにより投影対象（対象物）としての投影面１０１上に投影画像１０２が投影されている。投影画像１０２には、個々のＣＧ１０４が含まれる。投影画像１０２の中央部分には、プロジェクタ２０２ａにより注釈を行う対象である部品（部品Ａ）１０３が存在する。
　また、投影画像１０２の右上部分には、部品１０３についてのＣＧ（部品１０３が「部品Ａ」であることを示す情報）１０４がプロジェクタ２０２ａにより表示されている。ＣＧ１０４は、プロジェクタ２０２ａにより投影される注釈のための付加情報である。図４（ａ）においては、プロジェクタ２０２ａの投影画像１０２を遮る物体が存在しないため、ＣＧ（付加情報）１０４が観察者に視認可能である。
　一方、図４（ｂ）に示されるように、プロジェクタ２０２ａの投影画像１０２を遮る物体１００が存在する状態では、プロジェクタ２０２ａの投影画像１０２の一部は、物体１００によって遮られているため、投影画像１０２の一部に物体１００の影である非投影領域（影領域）１０５が存在する。そして、図４（ｂ）に示されるように、非投影領域１０５とＣＧ１０４の配置位置（投影領域）とが重なっているため、ＣＧ１０４は観察者（例えば、部品１０３に対して手１００による作業を行う作業者）にとって視認不能である。
　図５（ａ）及び（ｂ）は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図５（ａ）及び（ｂ）は、プロジェクタ２０２ａの投影画像１０２を遮る物体１００が存在する状態を示している。図５（ａ）及び（ｂ）においては、ＣＧ１０４が非投影領域１０５と重なっており観察者にとって視認不能であることから、図４（ａ）及び（ｂ）の状態からＣＧ１０４の配置位置の移動（再配置）を行っている。
　例えば、図５（ａ）ではＣＧ１０４は投影画像１０２の左下に移動して表示されており、図５（ｂ）ではＣＧ１０４は投影画像１０２の左上に移動して表示されている。このように、実施の形態１に係る光学機器制御装置１は、ＣＧ１０４の配置位置が非投影領域１０５と重ならないように、ＣＧ１０４の配置位置の移動を行うことを特徴とする。これにより、物体１００が存在してプロジェクタ２０２ａの投影画像１０２の一部又は全部が遮られた場合であっても、ＣＧ１０４を観察者が視認可能とすることができる。
　図６（ａ）から（ｃ）は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図６（ａ）から（ｃ）は、プロジェクタ２０２ａによって投影面１０１上に投影された投影画像１０２の平面図を示している。図６（ａ）から（ｃ）は、投影画像１０２内に２個のＣＧ（ＣＧ１０４ａ及びＣＧ１０４ｂ）１０４が含まれている状態を示している。
　図６（ａ）は、プロジェクタ２０２ａの投影画像１０２を遮る物体が存在しない状態を示しており、図６（ｂ）及び（ｃ）はプロジェクタ２０２ａの投影画像１０２を遮る物体１００が存在する状態を示している。図６（ｂ）は、ＣＧ１０４ｂの移動前の状態を示しており、図６（ｃ）はＣＧ１０４ｂの移動後の状態を示している。
　図６（ａ）に示されるように、投影画像１０２には、ＣＧ１０４として「部品Ａ」を解説する（すなわち、「部品Ａ」に関する）ＣＧ１０４ａ（第１の画像）と、「部品Ｂ」を解説するＣＧ１０４ｂ（第２の画像）とが含まれる。ＣＧ１０４ａとＣＧ１０４ｂとは、距離１０６ａｂ離れて表示されている。
　図６（ｂ）に示されるように、物体１００が存在することによって、「部品Ｂ」を解説するＣＧ１０４ｂと物体１００の影（すなわち、図５に示される非投影領域１０５）とが重なり、ＣＧ１０４ｂが観察者にとって視認不能となっているため、光学機器制御装置１は、ＣＧ１０４ｂの配置位置の移動（再配置）を行う。
　図６（ｃ）に示されるように、「部品Ｂ」を解説するＣＧ１０４ｂは、図６（ｂ）の状態から図における右上に移動されている。これにより、物体１００の影とＣＧ１０４ｂとが重なることがなくなり、ＣＧ１０４ｂが観察者にとって視認可能となる。移動後におけるＣＧ１０４ｂの位置は、ＣＧ１０４ｂが物体１００の影と重ならず、且つ、ＣＧ１０４ｂがＣＧ１０４ａと距離１０６ａｂ′を確保できる位置であれば自由に設定可能である。距離１０６ａｂ′は、例えば、予め決められた距離、ＣＧ１０４ａ及び物体１００の影に重複しない範囲で、ＣＧ１０４ｂが投影画像１０２からはみ出さないようにする距離、又はユーザが指定した距離などにすることができる。
　図７（ａ）から（ｄ）は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図７（ａ）から（ｄ）は、プロジェクタ２０２ａによって投影面１０１上に投影された投影画像１０２の平面図を示している。図７（ａ）から（ｄ）は、投影画像１０２内に３個のＣＧ（ＣＧ１０４ａ、ＣＧ１０４ｂ、及びＣＧ１０４ｃ）１０４が含まれている状態を示している。
　図７（ａ）は、ＣＧ１０４ａ，１０４ｂ，１０４ｃの移動前の状態を示しており、図７（ｂ）は、図７（ａ）に示されるＣＧ１０４ａ，１０４ｂ，１０４ｃの移動後の状態を示している。図７（ｃ）は、ＣＧ１０４ａ，１０４ｂ，１０４ｃの移動前の状態を示しており、図７（ｄ）は、図７（ｃ）に示されるＣＧ１０４ａ，１０４ｂ，１０４ｃの移動後の状態を示している。図７（ａ）及び（ｂ）は、ＣＧ１０４ａ，１０４ｂ，１０４ｃが互いに親子階層の属性（共通の属性）を有しない場合における移動の一例を示しており、図７（ｃ）及び（ｄ）は、ＣＧ１０４ａ，１０４ｂ，１０４ｃが互いに親子階層の属性を有する場合における移動の一例を示している。
　図７（ａ）に示されるように、投影画像１０２には、ＣＧ１０４として、「部品Ａ」を解説するＣＧ１０４ａと、「部品Ｂ」を解説するＣＧ１０４ｂと、「部品Ｃ」を解説するＣＧ１０４ｃとが含まれている。ＣＧ１０４ａとＣＧ１０４ｂとの間には、距離１０６ａｂで示される間隔が存在する。ＣＧ１０４ａとＣＧ１０４ｃとの間には、距離１０６ａｃで示される間隔が存在する。
　図７（ａ）に示されるように、物体１００が存在することによって、「部品Ｂ」を解説するＣＧ１０４ｂ及び「部品Ｃ」を解説するＣＧ１０４ｃと物体１００の影とが重なる重複状態となり、ＣＧ１０４ｂ及びＣＧ１０４ｃが観察者にとって視認不能となっているため、図７（ｂ）に示されるように、ＣＧ１０４ｂ及びＣＧ１０４ｃの配置位置の移動（再配置）を行う。
　図７（ｂ）に示されるように、「部品Ｂ」を解説するＣＧ１０４ｂは、図における右上に移動している。これにより、物体１００の影とＣＧ１０４ｂとが重なることがなくなり、ＣＧ１０４ｂが観察者にとって視認可能となる。移動後におけるＣＧ１０４ｂの位置は、ＣＧ１０４ｂが物体１００の影及びＣＧ１０４ｃと重ならず、且つ、ＣＧ１０４ｂがＣＧ１０４ａと距離１０６ａｂ′を確保できる位置であれば自由に設定可能である。距離１０６ａｂ′は、例えば、予め決められた距離、ＣＧ１０４ａ、ＣＧ１０４ｃ、及び物体１００の影に重複しない範囲で、ＣＧ１０４ｂが投影画像１０２からはみ出さないようにする距離、又はユーザが指定した距離などにすることができる。
　図７（ｂ）に示されるように、「部品Ｃ」を解説するＣＧ１０４ｃは、図における左下に移動している。これにより、物体１００の影とＣＧ１０４ｃとが重なることがなくなり、ＣＧ１０４ｃが観察者にとって視認可能となる。移動後におけるＣＧ１０４ｃの位置は、ＣＧ１０４ｃが物体１００の影及びＣＧ１０４ｂと重ならず、且つ、ＣＧ１０４ｃがＣＧ１０４ａと距離１０６ａｃ′を確保できる位置であれば自由に設定可能である。距離１０６ａｃ′は、例えば、予め決められた距離、ＣＧ１０４ａ、ＣＧ１０４ｂ、及び物体１００の影に重複しない範囲で、ＣＧ１０４ｃが投影画像１０２からはみ出さないようにする距離、又はユーザが指定した距離などにすることができる。
　図７（ｃ）及び（ｄ）では、ＣＧ１０４ｂとＣＧ１０４ｃとの間に親子階層の属性がある（例えば、ＣＧ１０４ｂが親で、ＣＧ１０４ｃが子である）場合について示されている。図７（ｃ）に示されるように、投影画像１０２には、「部品Ａ」を解説するＣＧ１０４ａと、「部品Ｂ」を解説するＣＧ１０４ｂと、「部品Ｃ」を解説するＣＧ１０４ｃとが含まれている。ＣＧ１０４ａとＣＧ１０４ｂとの間には、距離１０６ａｂで示される間隔が存在する。
　また、ＣＧ１０４ｂとＣＧ１０４ｃとの間には、距離１０６ｂｃで示される間隔が存在している。このような場合には、ＣＧ１０４ｂとＣＧ１０４ｃとの間の距離１０６ｂｃ′が存在するように、ＣＧ１０４ｂとＣＧ１０４ｃの配置位置の移動を行う。また、図７（ａ）及び（ｂ）と同様に、ＣＧ１０４ａとＣＧ１０４ｂとの間の距離１０６ａｂ′が存在するように、ＣＧ１０４ｂの配置位置の移動を行う。
　図７（ｄ）に示されるように、「部品Ｂ」を解説するＣＧ１０４ｂと、「部品Ｃ」を解説するＣＧ１０４ｃとは、図における左下に移動されている。これにより、物体１００の影とＣＧ１０４ｂ及びＣＧ１０４ｃとが重なることがなくなり、ＣＧ１０４ｂ及びＣＧ１０４ｃが視認可能となる。移動後におけるＣＧ１０４ｃの位置は、ＣＧ１０４ｃが物体１００の影及びＣＧ１０４ｂと重ならず、且つ、ＣＧ１０４ｃがＣＧ１０４ａと距離１０６ａｃ′を確保できる位置であれば自由に設定可能である。距離１０６ａｃ′は、例えば、予め決められた距離、ＣＧ１０４ａ、ＣＧ１０４ｂ、及び物体１００の影に重複しない範囲で、ＣＧ１０４ｃが投影画像１０２からはみ出さないようにする距離、又はユーザが指定した距離などにすることができる。
　また、移動後におけるＣＧ１０４ｃの位置は、ＣＧ１０４ｃが物体１００の影及びＣＧ１０４ａと重ならず、且つ、ＣＧ１０４ｃがＣＧ１０４ｂと距離１０６ｂｃ′を確保できる位置であれば自由に設定可能である。距離１０６ｂｃ′は、ＣＧ１０４ｂとＣＧ１０４ｃとの間に親子階層の属性等の共通の属性がある場合には、物体１００の影及びＣＧ１０４ａと重ならない範囲内で、できるだけ短い距離であることが望ましい。具体的に言えば、ＣＧ１０４ｂとＣＧ１０４ｃとが共通の属性を備える場合に、投影画像データの変更後におけるＣＧ１０４ｂの投影位置とＣＧ１０４ｃの投影位置との間の距離１０６ｂｃ′が、投影画像データの変更前におけるＣＧ１０４ｂの投影位置とＣＧ１０４ｃの投影位置との間の距離１０６ｂｃより短くなるように、又は、予め決められた距離より短くなるように、投影画像データを変更する。
　ＣＧ１０４（１０４ａ、１０４ｂ、１０４ｃ）の移動先は、元の位置に近い位置とすることが望ましい。また、ＣＧ１０４の移動先は、注釈を行う部品（オブジェクト）１０３に近い位置とすることが望ましい。また、ＣＧ１０４の移動距離は、短くすることが望ましい。光学機器制御装置１は、このような条件のもと、各ＣＧ１０４の移動を行う。
　図８は、実施の形態１に係る光学機器制御装置１の動作を示すフローチャートである。図８に示される動作は、プロジェクタ２０２ａと投影面１０１との間に光遮蔽物（物体１００）があった場合、投影するＣＧ１０４を任意の位置に投影できるかを判定し、投影できないと判断されたＣＧ１０４は属性を考慮しつつ移動し、プロジェクタ２０２ａから投影する投影画像１０２を生成し、実際に投影するまでのＣＧ制御処理を示している。
　以下、実施の形態１における光学機器制御装置１のＣＧ制御処理について、図８を参照しながら説明する。ただし、光学機器制御装置１が行うＣＧ制御処理は図８に示される処理と異なる処理であっても構わない。図８に示されるＣＧ制御処理は、現実空間情報取得装置２０１に使用されるカメラ２０１ａ又はセンサ２０１ｂが現実空間情報Ｇ１を取得するごとに（例えば、一定の周期で）実行される。
　図８に示されるように、ステップＳ１１において、光学機器制御装置１は、現実空間情報取得装置２０１に、対象物を含む現実空間に基づく現実空間情報Ｇ１を取得させる。現実空間情報取得装置２０１がカメラ２０１ａである場合には、カメラ２０１ａは、現実空間情報Ｇ１として画像データを取得する。現実空間情報取得装置２０１がセンサ２０１ｂである場合には、センサ２０１ｂは、現実空間情報Ｇ１として検出値（例えば、深度センサの場合には距離情報）を取得する。
　次のステップＳ１２において、光学機器制御装置１は、現実空間情報取得装置２０１で取得した現実空間情報Ｇ１を基に、物体検出部１１によってプロジェクタ２０２ａと投影面１０１との間に物体１００があるかを検出する。物体１００が検出された場合（ステップＳ１２においてＹＥＳ）には、処理は次のステップＳ１３に進む。
　次のステップＳ１３において、光学機器制御装置１は、重なり判定部１２により、ステップＳ１２で検出された物体１００がＣＧ１０４の投影を遮蔽しているかどうか（物体１００の影とＣＧ１０４とが重複状態であるか否か）を判定する。物体１００がＣＧ１０４を遮蔽していると判断された場合（ステップＳ１３においてＹＥＳ）には、処理は次のステップＳ１４に進む。次のステップＳ１４において、光学機器制御装置１は、ステップＳ１３で遮蔽されていると判断されたＣＧ１０４について、属性管理部１３により記憶部１６の移動フラグ１６ｅを読み込み、移動フラグ１６ｅを立てる。
　次のステップＳ１５において、光学機器制御装置１は、移動フラグ１６ｅが立てられたＣＧ１０４について、自身の位置及び属性と、他のＣＧ１０４の位置及び属性とを基に、レイアウト計算部１５によって目標となる位置までＣＧ１０４を移動して投影画像１０２を生成する。このとき、移動フラグ１６ｅが立てられたＣＧ１０４は移動後の座標で、移動フラグ１６ｅが立てられていないＣＧ１０４はそのままの座標で投影画像１０２が生成される。
　次のステップＳ１６において、光学機器制御装置１は、画像投影装置２０２に、投影画像生成部１４で生成した投影画像１０２を投影させる。
　図９は、実施の形態１における物体検出処理の一例を示すフローチャートである。図９は、図８のステップＳ１２における物体検出処理の一例を示している。ステップＳ２１において、光学機器制御装置１は、現実空間情報取得装置２０１で取得した現実空間情報Ｇ１を基に、現実空間情報取得装置２０１で使用したデバイス（例えば、カメラ２０１ａ）の座標系２０１１ａにおける物体１００の位置及び形状を推定する。
　次のステップＳ２２において、光学機器制御装置１は、ステップＳ２１で推定した結果（物体１００の位置及び形状の情報）を、プロジェクタ座標系２０２１ａにおける位置及び形状の情報に変換する。次のステップＳ２３において、光学機器制御装置１は、プロジェクタの視錐台２０２０ａ内に物体１００が存在するかどうかを判定する。物体１００が視錐台２０２０ａ内に存在すると判定された場合には、図８のステップＳ１２の判定がＹＥＳとなり、物体１００が視錐台２０２０ａ内に存在しないと判定された場合には、図８のステップＳ１２の判定がＮＯとなる。
　図１０は、実施の形態１における重なり判定処理の一例を示すフローチャートである。図１０は、図８のステップＳ１３におけるＣＧ１０４の重なり判定処理の一例を示している。ステップＳ３１において、光学機器制御装置１は、物体検出部１１で検出した物体１００をプロジェクタ画像座標系に投影する。
　次のステップＳ３２において、光学機器制御装置１は、投影された物体１００の影の外形から物体１００の影についての凸包（凸包絡）を生成する。なお、凸包とは、与えられた集合を含む最小の凸集合のことをいう。凸集合とは、与えられた集合内の任意の２点を結ぶ線分がこの集合に含まれるとき、この集合のことをいう。
　次のステップＳ３３において、光学機器制御装置１は、全てのＣＧ１０４をプロジェクタ画像座標系に投影する。次のステップＳ３４において、光学機器制御装置１は、投影されたＣＧ１０４の外形から各ＣＧ１０４についての凸包を生成する。次のステップＳ３５において、光学機器制御装置１は、検出した物体１００の影の凸包とＣＧ１０４の凸包とを１つずつ、総当たりで（すなわち、全ての組み合わせについて）抽出する。
　次のステップＳ３６において、光学機器制御装置１は、抽出した２つの凸包から共通部分の面積を計算し、この面積が予め定められた閾値（面積閾値）以上であるならばＣＧ１０４と物体１００の影とが重なっている（すなわち、重複状態である）と判断する。もし検出した物体１００が複数ある場合は、この処理を物体１００ごとに繰り返す。
　なお、ステップＳ３６の重なり判定の方法は、上記方法に限定されない。例えば、抽出した２つの凸包の共通部分の面積のＣＧ１０４の凸包の面積に対する割合が、予め定められた割合（割合閾値）以上となった場合に、ＣＧ１０４と物体１００の影とが重なっている（すなわち、重複状態である）と判断してもよい。
　図１１は、実施の形態１におけるＣＧ１０４の移動処理の一例を示すフローチャートである。図１１は、図８のステップＳ１５におけるＣＧ１０４の移動処理の一例を示している。ステップＳ４１において、光学機器制御装置１は、処理ナンバーｎを１とする。
　次のステップＳ４２において、光学機器制御装置１は、処理ナンバーｎと投影画像１０２に含まれる投影するＣＧ１０４の個数（総数）との比較を行い、処理ナンバーｎが投影するＣＧ１０４の個数以下の場合に、ＣＧ１０４の処理を続行する。処理ナンバーｎが投影画像１０２に含まれるＣＧ１０４の個数を上回った（すなわち、ｎ＞「ＣＧ１０４の個数」）場合（ステップＳ４２においてＹＥＳ）、ＣＧ１０４の移動処理は終了する。
　処理ナンバーｎが投影画像１０２に含まれるＣＧ１０４の個数以下である場合（ステップＳ４２においてＮＯ）、処理はステップＳ４３に進み、光学機器制御装置１は、ＣＧ１０４の移動フラグ１６ｅが立っているかを確認する。移動フラグ１６ｅが立っている場合（ステップＳ４３においてＹＥＳ）、次のステップＳ４４からＳ４７において、例えば、力学モデルによる描画アルゴリズムに従う計算を行う。
　この描画アルゴリズムでは、複数の点（本願では、影とＣＧ）の間に引力又は斥力が作用して、複数の点を近づけたり又は遠ざけたりする力学モデルにおいて、全ての点が安定した配置になるよう、互いに重ならないように点の位置を求める。
　光学機器制御装置１は、ＣＧ１０４が受ける引力及び斥力の計算を行う。ＣＧ１０４は、例えば、物体１００の影の位置から斥力を受け（ステップＳ４４）、他のＣＧ１０４から斥力を受け（ステップＳ４５）、共通の属性（例えば、親子階層の属性）のＣＧ１０４から引力を受け（ステップＳ４６）、元の位置から引力を受ける（ステップＳ４７）。
　次のステップＳ４８において、光学機器制御装置１は、ＣＧ１０４が受けた引力及び斥力を総合して、ＣＧ１０４の移動先の配置位置をレイアウト計算部１５により計算する。次のステップＳ４９において、光学機器制御装置１は、ＣＧ１０４の再配置座標１６ａを更新する。次のステップＳ５０において、光学機器制御装置１は、処理ナンバーｎを１インクリメントし、処理はステップＳ４２に戻り、処理ナンバーｎがＣＧ１０４の個数を上回るまで処理を続行する。
《１－３》効果
　以上に説明したように、実施の形態１に係る光学機器制御装置１、光学機器制御方法、及び光学機器制御プログラムによれば、物体検出部１１と、重なり判定部１２と、レイアウト計算部１５を備え、重なり判定部１２により物体１００の影とＣＧ１０４とが重なっている（重複状態にある）と判定された場合には、レイアウト計算部１５により物体１００の影と重ならない場所にＣＧ１０４を移動して再配置する。これにより、光学機器（例えば、プロジェクタ２０２ａ）と投影対象（投影面１０１）との間に光遮蔽物（例えば、物体１００）がある場合であっても、ＣＧ１０４を適切な場所に表示することができ、観察者に対して意図した情報を提供することができる。
　実施の形態１に係る光学機器制御装置１、光学機器制御方法、及び光学機器制御プログラムによれば、複数のＣＧ１０４（例えば、図７（ｃ）、（ｄ）における１０４ｂ、１０４ｃ）が互いに共通の属性を持つ場合には、これらの情報を基にＣＧ１０４の配置位置が決定される。これにより、ＣＧ１０４同士に共通の属性があることが継続して表示され、観察者に対して意図した情報を提供することができる。
《２》実施の形態２
《２－１》構成
　図１２は、本発明の実施の形態２に係る光学機器制御装置１ａの概略的な構成を示す機能ブロック図である。図１２に示される光学機器制御装置１ａは、図１に示される光学機器制御装置１と概して同じであるが、ユーザ視線推定部１７を備える点が異なる。図１２において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。また、図１に示される構成と同一又は対応する構成については説明を省略する。
　上記の実施の形態１では、プロジェクタ２０２ａから投影されたＣＧ１０４が物体１００によって遮蔽された場合、ＣＧ１０４を移動させることで観察者に情報を提供するものについて説明を行った。しかし、実施の形態１では、観察者の視点及び視線（目の中心である視点と見ている対象とを結ぶ線）は考慮されていない。したがって、実施の形態２では、観察者の視線を考慮し、観察者と投影対象との間に物体（後述する物体１００ａ）があっても観察者に意図した情報を提供することができる形態について記載する。なお、実施の形態２では、実施の形態１と同様に、光学機器（プロジェクタ２０２ａ）と投影対象との間に存在する物体１００についても考慮する。
　図１２に示されるように、光学機器制御装置１ａはユーザ視線推定部１７を備える。ユーザ視線推定部１７は、現実空間情報取得装置２０１で取得した現実空間情報Ｇ１を基に観察者（図１３におけるユーザ２０３）の視線の推定を行う。ユーザ視線推定部１７で推定されたユーザ２０３の視線に関する情報Ｇ７は、重なり判定部１２に送られる。また、実施の形態２における物体検出部１１ａは、ユーザ２０３の視点と投影対象（投影面１０１）との間にある物体（第２の物体）１００ａの検出を行う。
　重なり判定部１２は、物体検出部１１から受け取った検出物体情報Ｇ２と、ユーザ２０３の視線に関する情報Ｇ７と、属性管理部１３から読み込んだＣＧ１０４の情報Ｇ３とに基づいて、ＣＧ１０４の重なり判定を行う。重なり判定では、投影面１０１上において、ＣＧ１０４が物体検出部１１により検出された物体１００ａによりユーザ２０３にとって視認不能となった視認不能領域（すなわち、物体１００ａによって視線が遮られて視認することができない領域）と重複状態にあるか否かを判定する。レイアウト計算部１５は、ＣＧ１０４が物体１００ａによって視認不能となった視認不能領域以外の領域に投影されるように投影画像データＧ６を変更する。
　図１３は、実施の形態２に係る光学機器制御装置１ａの動作を説明するための図である。図１３に示されるように、実施の形態２に係る光学機器制御装置１ａは実施の形態１に係る光学機器制御装置１とは異なり、プロジェクタ２０２ａではなくユーザ２０３の視点２０３ａが起点となっている。図１３に示されるように、実施の形態２では、実施の形態１におけるプロジェクタ座標系２０２１ａとプロジェクタの視錐台２０２０ａ（図３参照）とが、ユーザ座標系２０３１とユーザの視錐台２０３０とに置き換わっている。
　ユーザ２０３の視錐台２０３０は、ユーザ２０３により視認される空間の範囲を示すものである。図１３に示されるように、ユーザの視錐台２０３０内には、物体（第２の物体）１００ａが含まれている。したがって、ユーザ２０３により視認される画像は、その一部が物体１００ａにより遮られている。
　図１４は、実施の形態２における物体検出処理の一例を示すフローチャートである。図１４は、図８のステップＳ１２における物体検出処理の一例を示している。図１４において、ステップＳ２１からステップＳ２３までの処理は、図９におけるステップＳ２１からステップＳ２３までの処理と同じである。次のステップＳ５１において、光学機器制御装置１ａは、ユーザ視線推定部１７で推定したユーザ２０３の視線の位置をユーザ座標系２０３１に変換する。次のステップＳ５２において、光学機器制御装置１ａは、ユーザの視錐台２０３０内に物体１００ａがあるかどうかを判定する。
《２－２》効果
　以上説明したように、実施の形態２に係る光学機器制御装置１ａ、光学機器制御方法、及び光学機器制御プログラムによれば、ユーザ視線推定部１７が構成として追加されることにより、観察者（ユーザ２０３）の視点と投影対象（投影面１０１）との間に光遮蔽物（物体１００）がある場合であっても、観察者が視認できる位置にＣＧ１０４を表示することができ、観察者に意図した情報を提供することができる。
　また、実施の形態２に係る光学機器制御装置１ａ、光学機器制御方法、及び光学機器制御プログラムによれば、実施の形態１に係る光学機器制御装置１、光学機器制御方法、及び光学機器制御プログラムと同様の効果が得られる。
《３》変形例
　上記実施の形態１及び２においては、ＣＧ１０４を移動させることによってＣＧ１０４を視認可能にしたが、ＣＧ１０４を縮小表示させることによって、又は、ＣＧ１０４の文字配列を変更する（例えば、横書きを縦書きに変更する）ことによって、又は、移動と縮小と文字配列の変更のいずれかの組み合わせによって、ＣＧ１０４を視認可能にしてもよい。
　また、図７（ｂ）及び（ｃ）では、ＣＧ１０４ｂとＣＧ１０４ｃとが親子階層の属性を持つ場合を説明したが、親子階層の属性を持つＣＧ配置としたときにＣＧのいずれかが投影面１０１内に収まらない場合に、図７（ａ）及び（ｂ）に示されるように親子階層の属性を考慮しないＣＧ配置などの他の配置に切り換えるようにしてもよい。
　１，１ａ　光学機器制御装置、　１１，１１ａ　物体検出部、　１２　重なり判定部、　１３　属性管理部、　１４　投影画像生成部、　１５　レイアウト計算部、　１６　記憶部、　１６ａ　再配置座標、　１６ｂ　階層、　１６ｃ　面積、　１６ｄ　配置座標、　１６ｅ　移動フラグ、　１７　ユーザ視線推定部、　２１　ＣＰＵ、　２２　ＧＰＵ、　２３　メインメモリ、　２４　ストレージ、　２５　バス、　１００　物体、　１０１　投影面、　１０２　投影画像、　１０３　部品、　１０４　ＣＧ、　１０５　非投影領域、　１０６　距離、　２０１　現実空間情報取得装置、　２０１ａ　カメラ、　２０１ｂ　センサ、　２０２　画像投影装置、　２０２ａ　プロジェクタ、　２０３　ユーザ、　Ｇ１～Ｇ７　情報。

Claims (8)

  1. 　投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成部と、
    　現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出部と、
    　前記投影画像データと前記物体検出部による検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定部と、
    　前記重なり判定部によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更部と、
    　前記重なり判定部によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更部によって変更された投影画像データを前記投影画像データとして前記投影画像生成部に提供する管理部と
    　を有することを特徴とする光学機器制御装置。
  2. 　前記グラフィクス画像は、第１の画像と第２の画像とを含み、
    　前記変更部は、前記重なり判定部によって前記第１の画像が前記影と前記重複状態にあると判定された場合に、前記第１の画像が前記第２の画像の投影領域以外の領域に投影されるように前記投影画像データを変更する
    　ことを特徴とする請求項１に記載の光学機器制御装置。
  3. 　前記第１の画像及び前記第２の画像の属性を記憶する記憶部を更に備え、
    　前記変更部は、前記第１の画像と前記第２の画像とが共通の前記属性を備える場合に、前記投影画像データの変更後における前記第１の画像の投影位置と前記第２の画像の投影位置との間の距離が、前記投影画像データの変更前における前記第１の画像の投影位置と前記第２の画像の投影位置との間の距離より短くなるように、又は、予め決められた距離より短くなるように、前記投影画像データを変更する
    　ことを特徴とする請求項２に記載の光学機器制御装置。
  4. 　前記位置関係は、前記第１の画像の投影位置と前記第２の画像の投影位置との間の距離、及び前記第１の画像の投影位置の前記第２の画像の投影位置に対する配置方向の内の少なくとも一つである
    　ことを特徴とする請求項３に記載の光学機器制御装置。
  5. 　前記重なり判定部は、前記グラフィクス画像が前記影と前記重複状態にある部分の面積が予め定められた面積閾値以上である場合又は前記面積の前記グラフィクス画像に対する割合が予め定められた割合閾値以上である場合に、前記グラフィクス画像が前記影と前記重複状態にあると判定する
    　ことを特徴とする請求項１から４のいずれか１項に記載の光学機器制御装置。
  6. 　前記現実空間情報取得装置によって取得された前記現実空間情報に基づいて、前記投影画像を観察する観察者の視線を推定する視線推定部を更に備え、
    　前記物体検出部は、前記観察者の視点と前記対象物との間に存在する第２の物体を検出し、
    　前記重なり判定部は、前記投影画像データと、前記視線推定部による推定の結果と、前記物体検出部による検出の結果とに基づいて、前記対象物上において、前記グラフィクス画像が前記物体検出部により検出された前記第２の物体により前記観察者に視認不能となった視認不能領域と前記重複状態にあるか否かを判定し、
    　前記変更部は、前記重なり判定部により前記グラフィクス画像が前記視認不能領域と判定された場合に、前記グラフィクス画像が前記視認不能領域以外の領域に投影されるように前記投影画像データを変更する
    　ことを特徴とする請求項１から５のいずれか１項に記載の光学機器制御装置。
  7. 　投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成ステップと、
    　現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出ステップと、
    　前記投影画像データと前記物体検出ステップによる検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定ステップと、
    　前記重なり判定ステップによって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更ステップと、
    　前記重なり判定ステップによって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更ステップによって変更された投影画像データを前記投影画像データとして前記投影画像生成ステップに提供する管理ステップと
    　を有することを特徴とする光学機器制御方法。
  8. 　コンピュータに、
    　投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成処理と、
    　現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出処理と、
    　前記投影画像データと前記物体検出処理による検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定処理と、
    　前記重なり判定処理によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更処理と、
    　前記重なり判定処理によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更処理によって変更された投影画像データを前記投影画像データとして前記投影画像生成処理に提供する管理処理と
    　を実行させることを特徴とする光学機器制御プログラム。
PCT/JP2017/031300 2017-08-31 2017-08-31 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム WO2019043854A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2017/031300 WO2019043854A1 (ja) 2017-08-31 2017-08-31 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
DE112017007791.5T DE112017007791B4 (de) 2017-08-31 2017-08-31 Steuereinrichtung für eine optische vorrichtung, steuerverfahren für eine optische vorrichtung und steuerprogramm für eine optische vorrichtung
CN201780093840.9A CN111052218B (zh) 2017-08-31 2017-08-31 光学设备控制装置、光学设备控制方法和存储介质
JP2018511512A JP6456551B1 (ja) 2017-08-31 2017-08-31 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/031300 WO2019043854A1 (ja) 2017-08-31 2017-08-31 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム

Publications (1)

Publication Number Publication Date
WO2019043854A1 true WO2019043854A1 (ja) 2019-03-07

Family

ID=65037128

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031300 WO2019043854A1 (ja) 2017-08-31 2017-08-31 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム

Country Status (4)

Country Link
JP (1) JP6456551B1 (ja)
CN (1) CN111052218B (ja)
DE (1) DE112017007791B4 (ja)
WO (1) WO2019043854A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354276B2 (ja) 2019-11-15 2023-10-02 株式会社Ｎｔｔドコモ 情報処理装置、及び投射システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197633A (zh) * 2019-01-07 2019-09-03 深圳市佛光照明有限公司 一种设置有发光标识的装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002029726A1 (en) * 2000-09-29 2002-04-11 Raytheon Company System and method for automatic placement of labels for interactive graphics applications
JP2005156591A (ja) * 2003-11-20 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 物品情報表示方法とそのシステム、サーバ装置、プログラム及びその記録媒体
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
JP2012098705A (ja) * 2010-10-07 2012-05-24 Nikon Corp 画像表示装置
JP2013156324A (ja) * 2012-01-27 2013-08-15 Seiko Epson Corp プロジェクター、および、プロジェクターによる画像投射方法
JP2015130555A (ja) * 2014-01-06 2015-07-16 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3874737B2 (ja) 2003-03-31 2007-01-31 株式会社東芝 表示装置
JP5092459B2 (ja) 2006-07-18 2012-12-05 富士ゼロックス株式会社 遠隔指示システム及び遠隔指示システム用のプログラム
JP2008158419A (ja) 2006-12-26 2008-07-10 Fuji Xerox Co Ltd 画像投影装置および画像制御システムおよび画像制御プログラム
US8007110B2 (en) 2007-12-28 2011-08-30 Motorola Mobility, Inc. Projector system employing depth perception to detect speaker position and gestures
JP5304848B2 (ja) * 2010-10-14 2013-10-02 株式会社ニコン プロジェクタ
JP6102215B2 (ja) * 2011-12-21 2017-03-29 株式会社リコー 画像処理装置、画像処理方法およびプログラム
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
US9081418B1 (en) * 2013-03-11 2015-07-14 Rawles Llc Obtaining input from a virtual user interface
JP6263881B2 (ja) * 2013-07-10 2018-01-24 株式会社リコー 画像投射装置、画像投射装置の制御方法、および画像投射装置の制御プログラム
JP6459194B2 (ja) 2014-03-20 2019-01-30 セイコーエプソン株式会社 プロジェクター、及び投写画像制御方法
US9304599B2 (en) 2014-03-21 2016-04-05 Dell Products L.P. Gesture controlled adaptive projected information handling system input and output devices
JPWO2015170680A1 (ja) * 2014-05-09 2017-04-20 コニカミノルタ株式会社 投影システム
US20170070711A1 (en) * 2015-09-03 2017-03-09 Disney Enterprises, Inc. Intensity correction for projection systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002029726A1 (en) * 2000-09-29 2002-04-11 Raytheon Company System and method for automatic placement of labels for interactive graphics applications
JP2005156591A (ja) * 2003-11-20 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 物品情報表示方法とそのシステム、サーバ装置、プログラム及びその記録媒体
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
JP2012098705A (ja) * 2010-10-07 2012-05-24 Nikon Corp 画像表示装置
JP2013156324A (ja) * 2012-01-27 2013-08-15 Seiko Epson Corp プロジェクター、および、プロジェクターによる画像投射方法
JP2015130555A (ja) * 2014-01-06 2015-07-16 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354276B2 (ja) 2019-11-15 2023-10-02 株式会社Ｎｔｔドコモ 情報処理装置、及び投射システム

Also Published As

Publication number Publication date
DE112017007791T5 (de) 2020-04-16
JPWO2019043854A1 (ja) 2019-11-07
JP6456551B1 (ja) 2019-01-23
DE112017007791B4 (de) 2021-10-07
CN111052218B (zh) 2022-04-19
CN111052218A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
US11886633B2 (en) Virtual object display interface between a wearable device and a mobile device
CN109146965B (zh) 信息处理装置、计算机可读介质和头戴式显示装置
TWI681663B (zh) 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器
CN110310329B (zh) 操作显示设备的方法、信息处理系统及非暂时性存储介质
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102291461B1 (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
JP6860488B2 (ja) 複合現実システム
CN106716303B (zh) 稳定交互射线的运动
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
KR20160012139A (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
US9536351B1 (en) Third person view augmented reality
US11720996B2 (en) Camera-based transparent display
JP2021511699A (ja) センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム
JP6294054B2 (ja) 映像表示装置、映像提示方法及びプログラム
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
JP2020003898A (ja) 情報処理装置、情報処理方法、及びプログラム
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP6456551B1 (ja) 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
KR20230116765A (ko) 다중 카메라 홀 충전을 위한 방법 및 디바이스
CN109725728B (zh) 一种ar设备的显示修正方法和装置
US10621789B1 (en) Tracking location and resolving drift in augmented reality head mounted displays with downward projection

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018511512

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17922957

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17922957

Country of ref document: EP

Kind code of ref document: A1