WO2018142743A1 - 投影適否検知システム、投影適否検知方法及び投影適否検知プログラム - Google Patents

投影適否検知システム、投影適否検知方法及び投影適否検知プログラム Download PDF

Info

Publication number
WO2018142743A1
WO2018142743A1 PCT/JP2017/043143 JP2017043143W WO2018142743A1 WO 2018142743 A1 WO2018142743 A1 WO 2018142743A1 JP 2017043143 W JP2017043143 W JP 2017043143W WO 2018142743 A1 WO2018142743 A1 WO 2018142743A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
unit
detection
captured image
distortion
Prior art date
Application number
PCT/JP2017/043143
Other languages
English (en)
French (fr)
Inventor
太一 三宅
大津　誠
拓人 市川
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201780085405.1A priority Critical patent/CN110268709A/zh
Priority to JP2018565959A priority patent/JP6830112B2/ja
Priority to US16/481,599 priority patent/US20190349556A1/en
Publication of WO2018142743A1 publication Critical patent/WO2018142743A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Definitions

  • the present disclosure relates to a projection suitability detection system, a projection suitability detection method, and a projection suitability detection program for detecting propriety of projection when projecting content onto a projection target by a projection apparatus.
  • AR augmented reality
  • a video or the like indicating a work method can be superimposed on a work target at a work site, or a diagnosis image or the like can be superimposed on a patient's body at a medical site. it can.
  • an optical see-through type there are methods such as an optical see-through type, a video see-through type, and a projection type as an implementation method of AR technology.
  • the projection-type AR technology has an advantage that a plurality of people can view the same AR information at the same time without attaching dedicated devices.
  • Projection-type AR technology uses a projection device that projects visual information such as figures, characters, still images, and images onto an object, and projects images generated or processed on a computer from the projection device. This technology superimposes an image on an object.
  • Patent Document 1 as a projection AR work support method using this technique, a user (hereinafter referred to as an instructor) who gives instructions from a remote location to a user who performs work at the work site (hereinafter referred to as an operator). The method of projecting the instruction information input to the work site as AR content is disclosed.
  • the projection-type AR work support technology as described in Patent Document 1 is basically separated from the position of the imaging device and the worker.
  • the viewpoint position of the worker is different.
  • the method described in Patent Document 1 does not consider the tilt or unevenness of the work target in the captured image of the image pickup device, and the projected AR content (hereinafter referred to as a result of the work input by the instructor in that state)
  • the operator sees the projection content or visualization information
  • it may be visually recognized in a shape different from the shape input by the instructor as the work instruction.
  • the present disclosure has been made in view of the above problems, and includes a projection device that projects visualization information onto a projection target. From the shape characteristics of a surface that forms the work target, the viewpoint of the instructor and the operator It is an object of the present invention to provide a projection suitability detection system, a projection suitability detection method, and a projection suitability detection program for detecting a place where visualization information is not properly projected with each viewpoint and notifying an instructor of the detection result. .
  • a projection suitability detection system includes a first terminal including an instruction device that receives designation of a position of a target object on a captured image, and a designation on the captured image.
  • a second terminal including a projection device that projects the visualization information onto the projection surface of the object corresponding to the determined position, and the first terminal and the second terminal are separated from each other within a communicable range.
  • the projection suitability detection system includes a detection unit that detects whether the projection surface causes projection distortion based on the captured image, and the first terminal includes: And an output unit for outputting a detection result of the detection unit.
  • the projection-side terminal is separated within a range in which communication is possible with an instruction-side terminal including an instruction device that receives specification of a position of a target object on a captured image.
  • an instruction-side terminal including an instruction device that receives designation of a position of a target object on a captured image, Based on the captured image, the projection surface is separated from the projection side terminal including the projection device that projects the visualization information on the projection surface of the object corresponding to the specified position. Includes a detection unit that detects whether or not projection distortion occurs, and an output unit that outputs a detection result of the detection unit.
  • a projection suitability detection method includes a first terminal including an instruction device that receives designation of a position of a target object on a captured image, and communication with the first terminal.
  • Projection propriety detection comprising: a second terminal including a projection device that projects the visualization information onto a projection surface of the object corresponding to a specified position on the captured image, separated by a possible range
  • a projection suitability detection method for a system wherein a detection step for detecting whether or not the projection surface causes projection distortion based on the captured image, and a detection result of the detection step at the first terminal are output. And an output step.
  • a projection suitability detection program is a projection suitability detection program for causing a computer to function as each unit of the projection suitability detection system having the above-described configuration. And a projection suitability detection program for causing a computer to function as the output unit and the output unit.
  • the visualization information projection content
  • a location that is not appropriately projected is detected, and the fact is output, so that the instructor receives a notification to that effect. be able to.
  • Embodiment 1 Hereinafter, a projection suitability detection system according to an embodiment of the present disclosure will be described based on FIGS. 1 to 9.
  • FIG. 1 is a diagram schematically illustrating an example of a usage pattern of the projection suitability detection system 100 according to the first embodiment.
  • the work site WS and the instruction room CS are shown, and the worker WR in the work site WS receives a work instruction regarding the work target object OB from the instructor CR in the instruction room CS. It shows how it is.
  • the instructor CR can project and display the projection content 106 indicating the instruction content at a specific position of the work target object OB, using the projection device 105 arranged at the work site WS. Then, the worker WR can perform work while viewing the projected content 106 projected. At the same time, the state of the work site WS is captured by the imaging device 107 arranged at the work site WS, and the instructor CR can confirm the state of the work from a remote location.
  • the projection suitability detection system 100 includes an operator device 108 (second terminal) and an instruction device 109 (first terminal). In the example shown in FIG. 1, the projection suitability detection system 100 operates as follows.
  • the worker side device 108 acquires a video of an area including the work target object OB imaged by the imaging device 107 and transmits the acquired video to the instruction device 109. Thereafter, the instruction device 109 displays the received video on the display device 110.
  • the instructor CR installs visualization information 106 ′ indicating the instruction content on the work target image 111 displayed on the display device 110.
  • the instruction device 109 transmits the visualization information 106 ′ to the worker side device 108.
  • the worker side device 108 projects the received visualization information 106 ′ onto the work target object OB through the projection device 105 as the projection content 106.
  • the configuration on the work site WS side including the worker side device 108 is also referred to as a projection side terminal
  • the configuration on the instruction room CS side including the pointing device 109 is also referred to as an instruction side terminal.
  • the projection suitability detection system 100 may further include a management server 200 for collectively managing the visualization information 106 ′.
  • the management server 200 is connected to a public communication network.
  • the worker side device 108 and the instruction device 109 may be connected to a public communication network by wireless communication.
  • wireless communication is performed by, for example, Wi-Fi (registered trademark) (Wi-Fi, Wireless Fidelity) connection of the international standard (IEEE 802.11) defined by Wi-Fi (registered trademark) Alliance (US industry group). It is possible to realize.
  • Wi-Fi registered trademark
  • Wi-Fi Wireless Fidelity
  • IEEE 802.11 defined by Wi-Fi (registered trademark) Alliance
  • US industry group Wi-Fi
  • public communication networks such as the Internet have been shown so far. For example, it is possible to use a LAN (Local Area Network) used in a company or the like, and a configuration in which these are mixed. There may be.
  • FIG. 3 is a block diagram showing a main configuration of the projection suitability detection system 100 according to the first embodiment.
  • the projection suitability detection system 100 includes an imaging device 107, a control unit 300, a projection device 105, a display device 110, and an external input unit 104.
  • the imaging device 107 is configured to include an optical component for capturing an imaging space as an image, and an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and photoelectric conversion in the imaging element
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the control unit 300 includes a video acquisition unit 301, an encoding unit 302, a surface estimation processing unit 303, a projection distortion location detection unit 304 (detection unit), a decoding unit 305, and a projection distortion location notification unit 306 as functional blocks. (Output unit), video display unit 307, input reception unit 308, and projection content output unit 309.
  • the control unit 300 is one or a plurality of processors. As the control unit 300, one processor may execute processing of all functional blocks, or a plurality of processors may execute processing of each functional block separately.
  • the video acquisition unit 301 acquires video data (captured image) from the imaging device 107 and outputs it to the encoding unit 302 and the surface estimation processing unit 303.
  • the video acquisition unit 301 may output the acquired video data as it is, or use an image processing unit (not shown) to perform image processing such as luminance modulation processing and noise removal on the acquired video data. May be output after the output, or both of them may be output.
  • the video acquisition unit 301 may be configured to send video data to be output and parameters such as a focal length at the time of shooting to the first storage unit 402 or the second storage unit 405 (FIG. 4) described later. it can.
  • the encoding unit 302 performs an encoding process for compressing the video signal acquired by the video acquisition unit 301 to be smaller than the original signal amount, and outputs a video code.
  • the encoding unit 302 may be configured by an FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), or the like.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the encoding process for example, H.264 suitable for moving image encoding is used. H.264 (international standard video compression standard) can be applied, and other methods can also be used. Note that, when the video signal is not required to be compressed when the video signal is communicated between the worker-side device 108 and the instruction device 109, which will be described later, the system configuration may not include the encoding unit 302.
  • the surface estimation processing unit 303 acquires a plane parameter (hereinafter referred to as a plane parameter) of the work target object OB that is the projection target, and estimates information on the surface (projected surface) of the work target object OB.
  • the estimation result of the projection target surface information is output to the projection distortion point detection unit 304.
  • the surface estimation processing unit 303 can be configured by an FPGA, an ASIC, or the like. A specific method for acquiring the plane parameter and a specific method for estimating the information of the projection target surface will be described later.
  • the projection distortion location detection unit 304 receives the estimation result of the surface estimation processing unit 303, and when the projection device 105 projects the projection content 106, the projection distortion location detection unit 304 plans to project at least the projection on the surface of the work target object OB (The presence / absence of projection distortion in a region including (position) (hereinafter referred to as a projection distortion detection result) is detected.
  • projection distortion exists or occurs when the projection surface is observed in a state where the visualization information is projected onto the projection surface. That at least a part of the visual information is distorted, or at least a part of the visualization information is missing and cannot be visually recognized (a phenomenon that may occur in the area when attempting to project to an area including a dent or a hole).
  • the projection distortion point detection unit 304 can be configured by an FPGA, an ASIC, or the like. A method for acquiring the projection distortion detection result will be described later.
  • the decoding unit 305 performs processing for decoding the encoded video code into the original video signal.
  • the decoding unit 305 can be configured by an FPGA, an ASIC, or the like.
  • a system configuration that does not include the decoding unit 305 may be employed.
  • the projection distortion location notification unit 306 receives the detection result of the projection distortion location detection unit 304 and outputs the detection result. Specifically, the projection distortion location notification unit 306 generates and outputs notification content of the projection distortion location.
  • the projection distortion location notifying unit 306 can be configured by an FPGA, an ASIC, or the like. A specific notification content generation method will be described later.
  • the video display unit 307 generates a video signal in which the notification content generated by the projection distortion location notification unit 306 is superimposed on the video signal from the video signal output from the decoding unit 305 and the projection distortion detection result.
  • the generated video signal is sent to the externally connected display device 110.
  • the data format of the displayed information is not particularly limited. For example, Bitmap, JPEG (Joint Photographic Experts Group), or the like for a still image, for example, AVI (Audio Video Interleave), for example, A general-purpose data format such as FLV (Flash Video) or a unique data format may be used.
  • the video display unit 307 may convert the data format.
  • the video display unit 307 can be configured by an FPGA, an ASIC, or the like.
  • the input receiving unit 308 receives the visualization information 106 ′ input by the external input unit 104.
  • the input receiving unit 308 may be configured by an FPGA, an ASIC, or the like.
  • the projection content output unit 309 outputs the visualization information 106 ′ received by the input reception unit 308 to the externally connected projection device 105 as the projection content 106.
  • the projection content output unit 309 can be configured by an FPGA, an ASIC, or the like.
  • Each of the above functional blocks constitutes the control unit 300.
  • the projection device 105 may be configured by a DLP (Digital Light Processing) projector, a liquid crystal projector, or the like.
  • DLP Digital Light Processing
  • the display device 110 may be configured by an LCD (Liquid Crystal Display), an organic EL display (OELD: Organic Electro Luminescence Display), or the like in one aspect.
  • LCD Liquid Crystal Display
  • OELD Organic Electro Luminescence Display
  • the external input unit 104 inputs the visualization information 106 'by the operation of the instructor CR.
  • the external input unit 104 may be configured by a device such as a mouse or a keyboard.
  • the display device 110 may include the external input unit 104.
  • the instructor CR inputs an operation by bringing a finger or the like into contact with the display device 110. It is good.
  • FIG. 4 is a block diagram illustrating an example of a hardware configuration of the projection suitability detection system 100.
  • the projection suitability detection system 100 includes the worker-side device 108 and the instruction device 109 as an example.
  • the worker side device 108 includes a first communication unit 401, a first storage unit 402, and a first control unit 403.
  • the first communication unit 401 shapes the video code output from the encoding unit 302 so that network communication can be performed, and transmits the data to the instruction device 109. Further, the first communication unit 401 receives the projection distortion detection result from the projection distortion point detection unit 304 and transmits it to the instruction device 109. Further, the first communication unit 401 receives the visualization information 106 ′ from the instruction device 109. In one aspect, the first communication unit 401 can be configured by an FPGA, an ASIC, or the like. Data shaping for network communication is to add information necessary for communication according to a protocol such as TCP / IP or UDP. The communication method is not limited to this method, and it is sufficient that both communication paths are established and data can be transmitted and received between them.
  • the first storage unit 402 stores internal parameters and external parameters of the imaging device 107 and the projection device 105, plane parameters acquired by the surface estimation processing unit 303, various data used for image processing, and the like.
  • the first storage unit 402 may be configured by a storage device such as a RAM (Random Access Memory) or a hard disk.
  • the first control unit 403 controls the worker side device 108 as a whole.
  • the first control unit 403 is configured by, for example, a CPU (Central Processing Unit) and performs processing commands, control, and data input / output in each functional block.
  • the first control unit 403 can execute processing of a part or all of the functional blocks of the control unit 300 in FIG.
  • a bus for exchanging data between each block may be provided.
  • the worker side device 108, the projection device 105, and the imaging device 107 are configured as independent devices.
  • the present invention is not limited to this, and in another aspect, the worker side device, the projection device, and the imaging device may be included in the casing and integrated, or a part thereof. A mode in which these combinations are integrated may be used.
  • the instruction device 109 includes a second communication unit 404, a second storage unit 405, and a second control unit 406.
  • the second communication unit 404 receives the video code and the estimation result of the surface estimation processing unit 303 from the worker side device 108. Further, the visualization information 106 ′ is transmitted to the worker side device 108.
  • the second communication unit 404 can be configured by an FPGA, an ASIC, or the like.
  • the second storage unit 405 stores parameters necessary for detecting projection distortion, various data used for image processing, and the like.
  • the second storage unit 405 may be configured by a storage device such as a RAM (Random Access Memory) or a hard disk.
  • the second control unit 406 controls the entire pointing device 109.
  • the second control unit 406 is constituted by, for example, a CPU, and performs processing commands, control, and data input / output control in each functional block.
  • the second control unit 406 can execute processing of a part or all of the functional blocks of the control unit 300 of FIG.
  • instruction device 109 may also be provided with a bus for exchanging data between the blocks, like the worker device 108.
  • the pointing device 109 and the display device 110 are configured as independent devices.
  • the present invention is not limited to this, and in another aspect, the pointing device and the display device may be in the form of a tablet enclosed in a housing.
  • the first control unit 403 of the worker side device 108 and the second control unit 406 of the pointing device 109 can execute the respective functional blocks of the control unit 300 of FIG. 3 separately.
  • the first control unit 403 of the worker side device 108 includes the video acquisition unit 301, the surface estimation processing unit 303, and the projection content output unit.
  • the second control unit 406 of the pointing device 109 may execute the processes of the projection distortion location detection unit 304, the projection distortion location notification unit 306, and the video display unit 307.
  • the first control unit 403 of the worker side device 108 and the second control unit 406 of the instruction device 109 may execute the processing of each functional block of the control unit 300.
  • FIG. 5 is a diagram illustrating a functional block configuration of the surface estimation processing unit 303.
  • the surface estimation processing unit 303 includes a corresponding point map acquisition unit 501, a point group acquisition unit 502, and a plane parameter derivation unit 503.
  • the corresponding point map acquisition unit 501 is a list of correspondence relationships between the pixel positions on the video data acquired by the video acquisition unit 301 shown in FIG.
  • the corresponding point map is calculated.
  • a method for calculating the corresponding point map for example, a coded pattern light projection method can be used in which a pattern image (reference image) projected from a projection device is photographed and the correspondence is calculated from the pattern of the photographed image.
  • the method for calculating the corresponding point map is not limited to the coded pattern light projection method, and the correspondence between the pixel position on the video data and the pixel position on the video projected from the projection device 105. Any method may be used as long as the relationship can be acquired.
  • the point cloud acquisition unit 502 includes a corresponding point map acquired by the corresponding point map acquisition unit 501, internal parameters of the imaging device 107 and the projection device 105, external parameters, and pixels of video data acquired by the video acquisition unit 301. Based on the coordinates, the three-dimensional coordinates based on the imaging device 107 are calculated for each pixel on the video data captured by the imaging device 107 using the principle of the stereo method.
  • the internal parameters include focal lengths and principal points of the imaging device 107 and the projection device 105.
  • the external parameters include a rotation matrix and a translation vector between the imaging device 107 and the projection device 105.
  • the point cloud acquisition unit 502 may be a device that can directly acquire three-dimensional coordinates, for example, a TOF (Time Of Flight) type device that measures a distance based on a reflection time of infrared light to a subject. Etc. may be applied.
  • TOF Time Of Flight
  • the plane parameter deriving unit 503 calculates a plane that best fits in the three-dimensional point group from the three-dimensional coordinates (hereinafter, referred to as a three-dimensional point group) of each pixel acquired by the point group acquiring unit 502.
  • a three-dimensional point group the three-dimensional coordinates
  • the plane in the three-dimensional coordinates can be defined by the following equation (1).
  • (A, b, c) in equation (1) indicates a normal vector of the plane, and d indicates the distance between the origin of the three-dimensional coordinates and the plane. That is, the plane can be calculated by calculating the parameters (a, b, c, d) in the equation (1).
  • the plane parameter deriving unit 503 applies an N ⁇ N mask to the pixels of the corresponding point map.
  • the three-dimensional point groups (x1, y1, z1) to (xN ⁇ N, yN ⁇ N, zN ⁇ N) corresponding to N ⁇ N pixels in the mask are the simultaneous equations of Expression (2) shown below. Satisfy the equation.
  • (a, b, c) are normal vectors, and there is no problem even if the size of the vector changes, so the value of c is fixed to 1.
  • the plane parameter deriving unit 503 uses the following equation (6) to set the parameters (A, b, c, d) can be calculated.
  • a ⁇ 1 represents an inverse matrix of the matrix A
  • AT represents a transposed matrix of the matrix A.
  • the above calculation is performed each time the mask on the corresponding point map is scanned, and the parameter group of the result (a, b, 1, d) i is output to the projection distortion point detection unit 304.
  • the subscript i represents the number of times the mask is scanned, and one piece of surface information is estimated for each scan.
  • the projection distortion location detection unit 304 refers to the parameters (estimation results) of the respective planes calculated by the surface estimation processing unit 303, and whether or not there is distortion when viewed from the viewpoint of the worker WR when projecting the projection content 106. Is detected.
  • the projection distortion location detection unit 304 calculates the mask i according to Equation (7).
  • the projection distortion detection result Gi is obtained.
  • normalized () in equation (7) indicates a function for normalizing an input vector
  • abs () indicates a function for calculating an absolute value.
  • the symbol “ ⁇ ” indicates an inner product of vectors.
  • Th is a preset threshold value, and is set to a real value between 0 and 1.
  • FIG. 6 is a diagram illustrating an example in which the projection distortion location notifying unit 306 notifies the projection distortion.
  • the surface 601 of the work target object OB indicates a portion where the projection distortion detection result (projection suitability determination result) is distorted, that is, it is determined that the projection is inappropriate.
  • the projection distortion location notification unit 306 receives the projection distortion detection result (projection suitability determination result) transmitted from the projection distortion location detection unit 304, and performs notification processing for the instructor CR.
  • the notification method may be any method that can notify that the projection distortion, that is, the projection is inappropriate.
  • the operator can refer to the projection distortion detection result and fill the corresponding part of the surface 601 with a single color.
  • a method of notifying the instructor CR that the instruction is not correctly projected from the WR viewpoint can be used.
  • a notification may be made by changing the color of the overlapping location.
  • a process of drawing the notification content 602 indicating the presence of distortion at any position of the display device to make the indicator CR notice, or the indication device 109 is vibrated and notified. It is good also as a method to do.
  • the notification method of the projection distortion location notification unit 306 is not limited to the above method, and any method may be used as long as it is a method for notifying the presence / absence of projection distortion (appropriateness of projection) or a pixel in which projection distortion occurs. It may be a method.
  • the notification to the instructor only needs to notify that the instruction is not correctly projected from the viewpoint of the worker WR, and there is no need to notify the projection distortion.
  • the reason why the instruction is not correctly projected, that is, that there is a projection distortion may be notified together.
  • FIG. 7 shows a flowchart for transmitting a plane parameter (estimation result) and a video code from the worker side device 108 to the instruction device 109.
  • step S ⁇ b> 701 the video acquisition unit 301 acquires a video of the work target object OB captured by the imaging device 107. After acquisition, the process proceeds to step S702.
  • step S702 the surface estimation processing unit 303 acquires the corresponding point map described above. Further, the surface estimation processing unit 303 calculates internal parameters and external parameters of the projection device 105 and the imaging device 107. Further, the surface estimation processing unit 303 acquires a three-dimensional point group within the projection range of the projection device 105 using the corresponding point map, the internal parameters, and the external parameters. Finally, the surface estimation processing unit 303 acquires a plane parameter from the three-dimensional point group and outputs it to the first communication unit 401. The first communication unit 401 transmits the plane parameter to the instruction device 109, and the process proceeds to step S703.
  • step S703 the encoding unit 302 converts the video acquired by the video acquisition unit 301 into a video code and outputs the video code to the first communication unit 401.
  • the first communication unit 401 transmits the video code to the instruction device 109, the process proceeds to step S704.
  • step S704 it is determined whether or not to end the process. If not, the process proceeds to step S701. When the process is terminated, the entire process is terminated.
  • FIG. 8 shows a flowchart when the worker side device 108 receives information from the instruction device 109.
  • step S801 the first communication unit 401 receives the visualization information 106 'transmitted from the pointing device 109.
  • the received visualization information is output to the projection content output unit 309, and the process proceeds to step S802.
  • step S802 the projection content output unit 309 outputs the visualization information 106 'as the projection content 106 to the projection device 105. Thereafter, the process proceeds to step S803.
  • step S803 it is determined whether or not to end the process. If not, the process proceeds to step S801. When the process is terminated, the entire process is terminated.
  • step S ⁇ b> 901 the second communication unit 404 receives the plane parameter transmitted from the worker side device 108 and outputs it to the projection distortion point detection unit 304. After output, the process proceeds to step S902.
  • step S902 the second communication unit 404 outputs the video code received from the worker side device 108 to the decoding unit 305.
  • the decoding unit 305 decodes the video code and outputs it as the video 111 to the video display unit 307. After output, the process proceeds to step S903.
  • step S903 the projection distortion point detection unit 304 uses the plane parameter and the information on the projection direction of the projection apparatus 105 to incline (angle) (distortion information) the projection target surface with respect to the projection direction. Is calculated. After the calculation, the process proceeds to step S904.
  • the projection direction represents the direction in which the projection device 105 projects.
  • the direction of projection is the same as the direction perpendicular to the image projected by the projection device 105. This direction is obtained by the following method. That is, first, a corresponding point map between images of the projection device 105 and the imaging device 107 is acquired.
  • a three-dimensional point group within the projection range of the projection apparatus 105 is acquired using the corresponding point map, the internal parameters, and the external parameters. Furthermore, the center pixel of the image projected from the projection device 105 is selected, and a three-dimensional position corresponding to the pixel position is acquired. Assuming that the acquired three-dimensional position is Pc (Xc, Yc, Zc), the vector Pc is equivalent to an optical axis vector (projection direction) starting from the center of the projection plane of the projection device 105.
  • step S904 detection step
  • the projection distortion location detection unit 304 compares the inclination of the surface with a threshold value to determine whether or not projection distortion occurs, and the projection distortion detection result is sent to the projection distortion location notification unit 306. Output. After output, the process proceeds to step S905.
  • step S905 the projection distortion location notifying unit 306 performs a process of drawing the notification content on the corresponding location of the video 111 based on the received projection distortion detection result.
  • the processing result is output to the video display unit 307, and the process proceeds to step S906.
  • step S906 the video display unit 307 outputs the video on which the notification of the projection distortion point is superimposed to the display device 110. Thereafter, the process proceeds to step S907.
  • the received video is basically the same as that captured when the corresponding point map is acquired. For this reason, the calculation of all the tilt information of the surface in the video is saved in advance, and when the instructor inputs the visualization information, the above-described tilt information of the surface is referred to offline, and the distortion in the input range is stored. It may be a process of notifying the presence / absence of this.
  • step S907 the input reception unit 308 receives an input from the instructor CR using the external input unit 104, and the visualization information is displayed at a position specified by the instructor CR on the captured image output to the video display unit 307.
  • 106 ′ is generated.
  • the position designated on the captured image means a point on the image and a region (projected surface) including the point. Thereafter, the process proceeds to step S908.
  • step S908 the second communication unit 404 transmits the visualization information 106 'to the worker side device 108. Thereafter, the process proceeds to step S909.
  • step S909 it is determined whether or not to end the process. If the process is not terminated, the process proceeds to step S902. When terminating the process, all the processes are terminated.
  • the projection direction is distorted due to the difference in the viewpoint direction between the operator and the instructor. Can be detected. Further, it is possible to provide a projection propriety detection system for notifying the instructor by drawing the image on the work site reflected on the display device so as to indicate that the portion is displayed in a distorted manner.
  • the video display unit 307 outputs the video on which the notification of the projection distortion location is superimposed to the display device 110 and also outputs the video to the display unit provided in the worker side device 108 or the superimposed video. May be projected from the projection device 105 onto the work target object OB.
  • the operator can recognize the present condition.
  • the operator can be notified of the situation by notifying the operator of whether or not there is actually an instruction or whether the instructor is about to give an instruction but adjusting the projection location. Can understand and contributes to reducing anxiety.
  • the instructor is notified that projection distortion occurs before projection.
  • the present invention is not limited to this, and the projection content is projected distorted in a state where the projection content is projected onto the work target object OB regardless of the presence or absence of the projection distortion, that is, the projection content is good.
  • the instructor may be notified that the image is not projected on the screen.
  • the projection is performed on the work target object OB that is a target on which the worker works.
  • the work target is You may project on another object.
  • FIG. 10 is an example of a projection environment.
  • a state is shown in which projection is performed on two adjacent surfaces 1001 and 1002 on the side portion of the work target object OB. Even in such a state, the projection content is distorted. Furthermore, a recess 1003 is provided on one surface 1002. Even when attempting to project to such a location, the projection content is distorted.
  • the projection propriety detection system according to the second embodiment also notifies the instructor that the projection content is about to be projected across a plurality of surfaces.
  • the projection suitability detection system according to the second embodiment is different from the projection suitability detection system according to the first embodiment.
  • the processing flow of the indication device 109 of the projection suitability detection system according to the first embodiment described above is a mode in which detection of surface inclination and notification are performed first, and then the input of visualization information by the instructor is waited for.
  • the present disclosure is not limited to this, and the order may be reversed. Therefore, in the processing flow of the instruction device 109 of the projection suitability detection system according to the second embodiment, an aspect in which the order is reversed will be described.
  • the instructor inputs visualization information to the received video, and then calculates the inclination of the surface within the range of the input visualization information. Then, based on the calculation result, the presence / absence of distortion is determined, and the distortion relating to the range of the input visualization information is notified.
  • the processing by the worker side device 108 is the same as that in the first embodiment, and a description thereof will be omitted. That is, also in the aspect of the second embodiment, the corresponding point map is acquired, the three-dimensional coordinates are calculated, and the plane parameter is calculated by the surface estimation processing unit 303 of the first embodiment.
  • FIG. 11 is a diagram illustrating a processing flowchart of the instruction device 109 of the projection suitability detection system according to the second embodiment.
  • step S1101 the second communication unit 404 receives the plane parameter transmitted from the worker side device 108, and outputs it to the projection distortion point detection unit 304. After output, the process proceeds to step S1102.
  • step S1102 the second communication unit 404 outputs the video code received from the worker side device 108 to the decoding unit 305.
  • the decoding unit 305 decodes the video code and outputs it as the video 111 to the video display unit 307. After output, the process proceeds to step S1103.
  • step S1103 as in step S907 in FIG. 9, the input receiving unit 308 receives an input from the instructor CR using the external input unit 104, and generates visualization information 106 '. Thereafter, the process proceeds to step S1104.
  • step S1104 the inclination of the surface is calculated only within the range of the visualization information input by the instructor in step S1103.
  • the process proceeds to step S1105.
  • the surface tilt calculation process itself is the same as that in step S903 in FIG. 9, but in the first embodiment described above, the tilt calculation is performed on one surface.
  • a plurality of surfaces are calculated. The difference is that the inclination is calculated with respect to the surface. That is, in the second embodiment, when calculating the inclination of the range (projection target) of the visualization information, it is determined whether or not the projection target includes a plurality of surfaces.
  • the projection target is composed of a plurality of surfaces, at least two tilt calculation results are obtained. That is, when two or more results are obtained, it can be determined that the projection target extends over a plurality of surfaces, and when the result is one result, the projection target is configured by one surface.
  • step S1105 similar to step S904 in FIG. 9, the projection distortion point detection unit 304 compares the inclination of the surface with a threshold value, and determines whether or not projection distortion occurs.
  • the expression (7) described in the first embodiment is used for the determination, for example, when the projection target extends over a plurality of surfaces, it is determined that there is no distortion (that is, projection is possible) on each surface.
  • the visualization information input by the instructor is projected across a plurality of surfaces. In this case, since the projection content may be distorted, it is determined that there is distortion (that is, projection is impossible) when the projection extends over a plurality of surfaces. If the projection distortion location detection unit 304 outputs the projection distortion detection result to the projection distortion location notification unit 306, the process proceeds to step S1106.
  • step S1106 (notification step), similarly to step S905 of FIG. 9, the projection distortion location notifying unit 306 draws the notification content on the corresponding location of the video 111 based on the received projection distortion detection result. I do.
  • the processing result is output to the video display unit 307, and the process proceeds to step S1107.
  • step S1107 (notification step), similarly to step S906 in FIG. 9, the video display unit 307 outputs a video on which the notification of the projection distortion point is superimposed to the display device 110. Thereafter, the process proceeds to step S1108.
  • step S1108 the second communication unit 404 transmits the visualization information 106 'to the worker side apparatus 108. Thereafter, the process proceeds to step S1109.
  • step S1109 it is determined whether or not to end the process. If the process is not terminated, the process proceeds to step S1102. When terminating the process, all the processes are terminated.
  • notification method to the instructor is the same as the notification method of the first embodiment.
  • the projection device 105 If there is occlusion between the projection device 105 and the imaging device 107, the corresponding point map cannot be acquired. In this case, the projection content 106 is not correctly viewed from the viewpoint of the worker WR and the viewpoint of the instructor CR.
  • the instructor is also notified of the portion where the corresponding point map cannot be acquired, in the same manner as the notification content of the first embodiment.
  • the projection range 1101 of the projection device 105 and the shooting range 1102 of the imaging device 107 do not basically match. For this reason, even within the imaging range 1102 of the imaging device 107, there is a range where the projection light of the projection device 105 does not reach.
  • the range there are places 1103 and 1104 shown in FIG.
  • a portion 1103 indicates a hole provided in the side surface of the work target object OB, and the projection light does not reach the hole.
  • a location 1104 indicates a region where the three-dimensional shape of the work target object OB itself is shielded, and projection light does not strike this region.
  • the location where the projection light does not reach can be determined by whether or not the corresponding point can be acquired in the corresponding point map acquisition unit 501 of the surface estimation processing unit 303 of the first embodiment.
  • FIG. 13 is a diagram showing a part of a block configuration of the projection suitability detection system according to the third embodiment.
  • the surface estimation processing unit 303 ′ can acquire corresponding points when the corresponding points are acquired by the corresponding point map acquisition unit 501 ′. If there is no part, the position of the pixel at that part is output to the projection distortion part notifying unit 306 (of the pointing device 109).
  • the projection distortion location notification unit 306 receives the output from the projection distortion location detection unit 304 and also receives the output from the corresponding point map acquisition unit 501 ′, and the notification content of the projection distortion location and the location where the corresponding point map cannot be acquired. Is generated.
  • the method for generating the notification content at the location where the corresponding point map cannot be acquired is the same as the method for generating the notification content at the projection distortion location.
  • the projection suitability detection system in addition to the presence or absence of projection distortion, it is possible to notify the instructor of a location where the projection content does not reach and the projection content cannot be projected.
  • a location where the projection light does not reach is listed as a location where the corresponding point map cannot be acquired.
  • the location where the corresponding point map cannot be acquired is not limited to this. For example, it is impossible to project a portion where the material of the surface to be projected is light transmissive such as glass. Corresponding point maps cannot be acquired for such locations. It is also possible to notify this to the instructor.
  • the visualization information is projected so as to extend over at least two or more surfaces.
  • the mode of notification has been described. Therefore, in the fourth embodiment, an aspect assuming that the same or different visualization information is projected on each of at least two or more surfaces will be described.
  • FIG. 14 is a diagram illustrating an aspect of the fourth embodiment.
  • the projection target is composed of three surfaces 1401, 1402, and 1403.
  • FIG. 14 shows a state in which the projection device 105 projects the projection target toward the optical axis 1405 from above.
  • the worker WR is viewing the projection content in a direction 1407 that is approximately the same as the optical axis direction 1405.
  • the surface 1401, the surface 1402, and the surface 1403 are in accordance with the above-described equation (7), and the instructor CR has no problem in the determination result of the propriety of projection regardless of which surface the visualization information is input.
  • the actually projected content is not distorted, the projected content may not be visible depending on the position of the worker WR.
  • a connecting portion between surfaces (hereinafter referred to as an edge) is a convex shape, it is regarded as a location where a projection distortion occurs. Such a face is notified to the operator that there is a possibility that it may not be visually recognized.
  • step S1501 as in step S901 of FIG. 9, the second communication unit 404 receives the plane parameter transmitted from the worker side device 108 and outputs it to the projection distortion point detection unit 304. After output, the process proceeds to step S1502.
  • step S1502 as in step S902 of FIG. 9, the second communication unit 404 outputs the video code received from the worker side device 108 to the decoding unit 305.
  • the decoding unit 305 decodes the video code and outputs it as the video 111 to the video display unit 307. After output, the process proceeds to step S1503.
  • step S1503 detection step
  • the projection distortion point detection unit 304 uses the plane parameters and the projection direction information of the projection device 105 to determine the projection target surface 1401 and the surface 1402.
  • the inclination (angle) (distortion information) with respect to the projection direction is calculated. After the calculation, the process proceeds to step S1504.
  • step S1504 detection step
  • the projection distortion spot detection unit 304 compares the inclination of the surface with a threshold value to determine whether or not the projection distortion based on the inclination of the surface is generated.
  • the detection result is output to the projection distortion location notifying unit 306. After output, the process proceeds to step S1505.
  • step S1505 the projection distortion point detection unit 304 determines whether or not the above-described projection distortion based on the edge occurs.
  • FIG. 16 is a diagram for explaining step S1505.
  • FIG. 16 is a perspective view of two surfaces 1401 and 1402 among the three surfaces shown in FIG.
  • step S1505 Describing step S1505, first, in step S15051, the projection distortion point detection unit 304 acquires a vector 1401 of edges of the surface 1401 and the surface 1402. After acquisition, the process proceeds to step S15052.
  • step S15052 the projection distortion point detection unit 304 acquires the normal vector 1602 of the surface 1401 and the normal vector 1603 of the surface 1402. After acquisition, the process proceeds to step S15053.
  • step S15053 the projection distortion point detection unit 304 calculates the outer product of the vector 1601 and the normal vector 1602, and acquires the subnormal vector 1604.
  • the binormal vector 1604 is obtained by the following equation (8).
  • step S15054 the projection distortion point detection unit 304 obtains the inner product of the normal vector 1604 and the normal vector 1603.
  • the inner product is obtained by the following equation (9).
  • step S15055 the projection distortion point detection unit 304 determines whether or not projection distortion occurs based on the calculated inner product value.
  • the calculated inner product value is close to 0, the two surfaces 1401 and 1402 are connected substantially in parallel. Therefore, the distortion is small, that is, the content projected on the surfaces 1401 and 1402 is shown in FIG. The worker WR shown in FIG. In this case, no notification is given.
  • the calculated inner product value is positive, the edges of the surface 1401 and the surface 1402 are concave.
  • the calculated inner product value is negative, the edges of the surface 1401 and the surface 1402 are convex.
  • the projection distortion point detection unit 304 may be distorted when the edges of the surfaces 1401 and 1402 are convex, that is, the projection content may not be visually recognized by the worker WR.
  • a projection distortion detection result to that effect is output to the projection distortion location notifying unit 306.
  • a projection distortion detection result indicating that the content projected on the surface 1402 facing the worker WR and the surface 1401 adjacent via the edge may not be visually recognized by the worker WR, It outputs to the projection distortion location notification unit 306.
  • step S1506 (notification step), similarly to step S905 of FIG. 9, the projection distortion location notifying unit 306 draws the notification content on the corresponding location of the video 111 based on the received projection distortion detection result. I do.
  • the projection distortion location notifying unit 306 acquires the result determined in step S1504 and the result determined in step S15055.
  • the projection distortion location notifying unit 306 may perform a process of superimposing and drawing a notification content indicating that distortion has been detected if it is determined that distortion occurs in any result.
  • the determination based on the inclination of the surface may be prioritized. If it is determined in the determination based on the inclination of the surface that neither the surface 1401 nor the surface 1402 is distorted, the projection is performed. The instructor may select whether or not it is possible.
  • step S1507 is the same as that after step S906 in FIG.
  • control unit 300 of the projection suitability detection system may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software using a CPU. .
  • the control unit 300 includes a CPU that executes instructions of a program (projection propriety detection program) that is software for realizing each function, and a ROM in which the program and various data are recorded so as to be readable by the computer (or CPU).
  • a program program
  • ROM Read Only Memory
  • recording media storage device
  • RAM Random Access Memory
  • the objective of this indication is achieved when a computer (or CPU) reads and runs the said program from the said recording medium.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • an arbitrary transmission medium such as a communication network or a broadcast wave
  • one aspect of the present disclosure can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the projection suitability detection system includes a first terminal (on the side of the instruction room CS including the instruction device 109) including the instruction device 109 that receives designation of the position of the target object (work target object OB) on the captured image. And a projection device 105 that projects the visualization information 106 ′ (projection content 106) onto the projection surface (the surface of the work target object OB) corresponding to the designated position on the captured image.
  • a projection adequacy detection system in which the first terminal and the second terminal are separated from each other within a communicable range.
  • the projection suitability detection system includes a detection unit (projection distortion location detection unit 304) that detects whether the projection surface causes projection distortion based on the captured image, and includes a first terminal (finger).
  • the configuration on the instruction room CS side including the display device 109 includes an output unit (projection distortion location notifying unit 306) that outputs a detection result of the detection unit (projection distortion location detection unit 304).
  • the viewpoints of the projection suitability detection system users respectively present on the first terminal side and the second terminal side Are different from each other, so that a part of the projected content is distorted and observed for a user (worker WR) who is on the second terminal side where the projection apparatus is present and observes the projection surface (projection distortion is reduced).
  • the location where this occurs can be detected based on the captured image.
  • the detection unit projects the reference image (pattern image) onto the projection surface by the projection device 105. Whether or not the projection surface causes projection distortion may be detected based on the corresponding positional relationship of each pixel of the captured image and the reference image.
  • the projection suitability detection system can be used in the outside environment by detecting distortion based on the corresponding positional relationship of each pixel of the captured image and the reference image. Further, it is possible to detect whether or not the projection distortion occurs even in a place where the projection surface is flat such as on a desk and has extremely few features, based on the corresponding positional relationship.
  • the detection unit (projection distortion point detection unit 304) is configured to perform the projection surface (work target object OB) with respect to the projection direction of the projection device 105. It may be detected whether or not the projection surface causes a projection distortion based on the angle of the surface.
  • the projected visualization for the projection suitability detection system user who is on the second terminal side and faces the projection direction Information is visually distorted. Therefore, based on the angle of the projection surface with respect to the projection direction of the projection apparatus as in the above configuration, it is possible to detect a location that causes projection distortion.
  • the output unit causes the projection surface (the surface of the work target object OB) to generate projection distortion. (1) causing the pointing device 109 to display an image different from the visualization information at the designated position on the captured image, or (2) causing the pointing device 109 to display an image on the captured image.
  • the content (notification content 602) may be displayed at a position different from the designated position, or may be output (notification) by (3) vibrating the pointing device 109.
  • the detection unit (projection distortion point detection unit 304) is connected to the first terminal (configuration on the instruction room CS side including the instruction device 109). May be included.
  • the projection side terminal (configuration on the work site WS side including the worker side device 108) according to the aspect 6 of the present disclosure includes the instruction device 109 that receives designation of the position of the target object (work target object OB) on the captured image.
  • the projection surface (work target object) of the target object that is separated from the instruction side terminal (configuration on the instruction room CS side including the instruction device 109) within a communicable range and that corresponds to the specified position on the captured image.
  • a projection-side terminal including the projection device 105 that projects the visualization information 106 ′ (projection content 106) onto the surface of the OB, and whether or not the projection surface causes projection distortion based on the captured image
  • a detection unit that detects the detection result of the detection unit (projection distortion point detection unit 304) in the instruction side terminal (projection distortion point notification) And has a 306).
  • the instruction side terminal (configuration on the side of the instruction room CS including the instruction device 109) according to the aspect 7 of the present disclosure includes the instruction device 109 that receives the designation of the position of the target object (work target object OB) on the captured image.
  • a projection device 105 that is a terminal and projects the visualization information 106 ′ (projection content 106) onto the projection surface (the surface of the work target object OB) of the target object corresponding to the specified position on the captured image. Whether or not the projection surface causes projection distortion based on the captured image that is separated from the projection-side terminal (configuration on the work site WS side including the worker-side device 108).
  • a detection unit projection distortion point detection unit 304
  • an output unit projection distortion point notification unit 306 that outputs a detection result of the detection unit (projection distortion point detection unit 304).
  • the projection propriety detection method includes a first terminal including an instruction device 109 that receives designation of a position of a target object (work target object OB) on a captured image (on the instruction room CS side including the instruction device 109). Information) on the projection surface of the target object (the surface of the work target object OB) corresponding to the designated position on the captured image.
  • a projection suitability detection method of a projection suitability detection system comprising: a second terminal including a projection device 105 that projects 106 ′ (projection content 106) (configuration on the work site WS side including a worker side device 108).
  • the projection suitability detection systems according to the above aspects 1 to 5 may be realized by a computer.
  • the computer is operated as each unit (software element) included in the projection suitability detection system, so that each unit is operated on the computer.
  • the control program to be realized and the computer-readable recording medium on which the control program is recorded also fall within the scope of the present disclosure.
  • Projection suitability detection system WS Work site CS Instruction room WR Worker CR Instructor OB Work target object (projection surface of target) 104 External input unit (first terminal, instruction side terminal) 105 Projection device (second terminal, projection side terminal) 106 Projection content 106 ′ Visualization information 107 Imaging device (projection side terminal) 108 Worker side device (projection side terminal) 109 Indicating device (first terminal, instructing terminal) 110 Display device (first terminal, instruction side terminal) 111 Video 200 Management Server 300 Control Unit (Control Device) 301 Video acquisition unit 302 Encoding unit 303 Surface estimation processing unit 304 Projection distortion point detection unit (detection unit) 305 Decoding unit 306 Projection distortion location notifying unit (output unit) 307 Video display unit 308 Input reception unit 309 Projection content output unit 401 First communication unit 402 First storage unit 403 First control unit 404 Second communication unit 405 Second storage unit 406 Second control unit 501 Corresponding point map acquisition unit 502 Point cloud acquisition unit 503 Plane parameter derivation unit 60

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

被投影面に視覚化情報を投影する際に適切に投影されない箇所を検知し、その旨を出力する。本開示の一形態の投影適否検知システム（１００）は、作業対象オブジェクト（ＯＢ）の撮像画像に基づいて、作業対象オブジェクト（ＯＢ）の被投影面が投影歪みを生じさせるか否かを検知し、検知結果を指示者（ＣＲ）側に出力する。

Description

投影適否検知システム、投影適否検知方法及び投影適否検知プログラム
　本開示は、投影装置によって投影対象にコンテンツを投影する際の投影の適否を検知する投影適否検知システム、投影適否検知方法及び投影適否検知プログラムに関する。
　近年、実空間を示す画像に図形や文字、静止画、映像などの視覚情報を重畳し、表示する拡張現実（Augmented Reality、ＡＲ）技術が開発されている。ＡＲ技術によれば、例えば、作業現場において、作業対象物に対して作業方法を示す映像等を重畳させたり、医療現場において、患者の身体に対して、診察画像等を重畳させたりすることができる。
　ＡＲ技術の実施方式としては、光学シースルー型、ビデオシースルー型、プロジェクション型等の方式が存在する。光学シースルー型、ビデオシースルー型といった方式では、複数人が同時に同じＡＲ情報を見る場合、各々が専用の機器を装着する必要がある。これに対し、プロジェクション型ＡＲ技術では、各々が専用の機器を装着することなく、複数人が同時に同じＡＲ情報を見ることができるという利点がある。
　プロジェクション型ＡＲ技術は、物体に、図形や文字、静止画、映像などの視覚的な情報を投影する投影装置を用いて、コンピュータ上で生成または加工した映像を投影装置から投影し、実空間内の物体に映像を重畳させる技術である。
　特許文献１には、この技術を用いたプロジェクション型ＡＲ作業支援方法として、作業現場で作業をするユーザ（以下、作業者と記載）に対して、遠隔地から指示をするユーザ（以下、指示者と記載）が入力した指示情報をＡＲコンテンツとして作業現場に投影する方法が開示されている。
ＷＯ２０１６／０８４１５１（２０１６年６月２日）
　しかしながら、特許文献１に記載されているようなプロジェクション型ＡＲ作業支援技術は、基本的に撮像装置と作業者との位置が離れているため、撮像装置の撮像映像を観る指示者の視点位置と、作業者の視点位置とが異なっている。そのため、特許文献１に記載されている方法では、撮像装置の撮像映像に作業対象の傾斜や凹凸が考慮されず、その状態で指示者が作業指示を入力した結果、投影されたＡＲコンテンツ（以下、投影内容あるいは視覚化情報と称す）を作業者から見たときに、指示者が作業指示として入力した形状と異なる形状で視認される場合がある。
　本開示は、以上の課題を鑑みてなされたものであり、投影対象に視覚化情報を投影する投影装置を備え、作業対象を構成する面の形状的特徴から、指示者の視点と、作業者の視点とのそれぞれで、適切に視覚化情報が投影されない箇所を検知し、検知結果を指示者に通知する投影適否検知システム、投影適否検知方法及び投影適否検知プログラムを提供することを目的とする。
　上記の課題を解決するために、本開示の一態様に係る投影適否検知システムは、対象物の撮像画像上の位置の指定を受け付ける指示装置を含む第１端末と、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む第２端末と、を備え、上記第１端末と上記第２端末とは互いに通信可能な範囲で離間している投影適否検知システムであって、上記投影適否検知システムは、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部を備え、上記第１端末は、上記検知部の検知結果を出力する出力部と、を備えている。
　また上記の課題を解決するために、本開示の一態様に係る投影側端末は、対象物の撮像画像上の位置の指定を受け付ける指示装置を含む指示側端末と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む投影側端末であって、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部を備えており、上記検知部の検知結果を上記指示側端末に送信するようになっている。
　また上記の課題を解決するために、本開示の一態様に係る指示側端末は、対象物の撮像画像上の位置の指定を受け付ける指示装置を含む指示側端末であって、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む投影側端末と通信可能な範囲で離間しており、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部と、上記検知部の検知結果を出力する出力部と、を備えている。
　また上記の課題を解決するために、本開示の一態様に係る投影適否検知方法は、対象物の撮像画像上の位置の指定を受け付ける指示装置を含む第１端末と、上記第１端末と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む第２端末と、を備えた投影適否検知システムの投影適否検知方法であって、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知ステップと、上記第１端末において上記検知ステップの検知結果を出力する出力ステップと、を含む。
　また上記の課題を解決するために、本開示の一態様に係る投影適否検知プログラムは、上述した構成の投影適否検知システムの各部としてコンピュータを機能させるための投影適否検知プログラムであって、上記検知部及び上記出力部としてコンピュータを機能させるための投影適否検知プログラムである。
　本開示の一態様によれば、投影対象に視覚化情報（投影内容）を投影する際に適切に投影されない箇所を検知し、その旨を出力することにより、指示者がその旨の通知を受けることができる。
本開示の一実施形態に係る投影適否検知システムとしてのプロジェクション型ＡＲ作業支援システムの利用シーンの模式図である。 本開示の一実施形態に係る投影適否検知システムの構成を示す構成図である。 本開示の一実施形態に係る投影適否検知システムの機能ブロックを示す図である。 本開示の一実施形態に係る投影適否検知システムの作業者側装置及び指示装置の構成例を示すブロック図である。 本開示の一実施形態に係る投影適否検知システムの面推定処理部の構成を示すブロック図である。 本開示の一実施形態に係る投影適否検知システムの投影歪み通知方法の一例を示す図である。 本開示の一実施形態に係る投影適否検知システムの作業者側装置の投影歪み検出結果と、映像符号と、を送信するための処理のフローチャート図である。 本開示の一実施形態に係る投影適否検知システムの作業者側装置が指示装置から情報を受信する場合のフローチャート図である。 本開示の一実施形態に係る投影適否検知システムの指示装置の処理を示すフローチャート図である。 本開示の他の実施形態に係る投影適否検知システムとしてのプロジェクション型ＡＲ作業支援システムの利用シーンの模式図である。 本開示の他の実施形態に係る投影適否検知システムの指示装置の処理を示すフローチャート図である。 本開示の他の実施形態に係る投影適否検知システムとしてのプロジェクション型ＡＲ作業支援システムの利用シーンの模式図である。 本開示の他の実施形態に係る投影適否検知システムの機能ブロックの一部を示す図である。 本開示の他の実施形態に係る投影適否検知システムとしてのプロジェクション型ＡＲ作業支援システムの利用シーンの模式図である。 本開示の一実施形態に係る投影適否検知システムの指示装置の処理を示すフローチャート図である。 図１５に示す指示装置の処理の一部を説明する図である。
　〔実施形態１〕
　以下、本開示の一実施形態に係る投影適否検知システムについて、図１から図９に基づいて説明する。
　＜投影適否検知システム１００の使用形態およびシステムの概要＞
　図１は、本実施形態１に係る投影適否検知システム１００の使用形態の一例を模式的に示す図である。
　図１に示す例では、作業現場ＷＳと、指示室ＣＳとが示されており、作業現場ＷＳにいる作業者ＷＲが、指示室ＣＳにいる指示者ＣＲから作業対象オブジェクトＯＢに関する作業指示を受けている様子を示している。
　指示者ＣＲは、作業現場ＷＳに配置している投影装置１０５を用いて、作業対象オブジェクトＯＢの特定の位置に対して、指示内容を示す投影内容１０６を投影して表示させることができる。そして、作業者ＷＲは、この投影された投影内容１０６を見ながら作業を行うことができる。これと同時に、作業現場ＷＳの様子は、作業現場ＷＳに配置している撮像装置１０７で撮影されており、指示者ＣＲは、遠隔から作業の様子を確認することができる。
　本実施形態１に係る投影適否検知システム１００は、作業者側装置１０８（第２端末）及び指示装置１０９（第１端末）を備えている。そして、図１に示す例では、投影適否検知システム１００は、以下のように動作する。
　まず、作業者側装置１０８は、撮像装置１０７によって撮影された作業対象オブジェクトＯＢを含む領域の映像を取得し、取得した映像を指示装置１０９に送信する。その後、指示装置１０９は、受信した映像を表示装置１１０に表示する。指示者ＣＲは、表示装置１１０に表示された作業対象の映像１１１の上に、指示内容を示す視覚化情報１０６’を設置する。指示装置１０９は、視覚化情報１０６’を作業者側装置１０８に送信する。作業者側装置１０８は、視覚化情報１０６’を受信すると、受信した視覚化情報１０６’を投影内容１０６として、投影装置１０５を通じて作業対象オブジェクトＯＢに対して投影する。なお、本明細書において、作業者側装置１０８を含む作業現場ＷＳ側の構成を投影側端末とも称し、指示装置１０９を含む指示室ＣＳ側の構成を指示側端末とも称す。
　ここで、作業者側装置１０８と指示装置１０９とは、互いに通信可能な範囲で離間していればよく、例えば、図２に示すような公衆通信網（例えば、インターネット）によって、お互いに接続されており、ＴＣＰ／ＩＰやＵＤＰ等のプロトコルに従い、通信する。投影適否検知システム１００は、さらに、視覚化情報１０６’を一括して管理するための管理サーバ２００を含んでいてもよく、この場合、管理サーバ２００は、公衆通信網に接続している。なお、作業者側装置１０８と、指示装置１０９とは、公衆通信網と無線通信によって接続してもよい。この場合、無線通信は、例えばＷｉ－Ｆｉ（登録商標）Ａｌｌｉａｎｃｅ（米国業界団体）によって規定された国際標準規格（ＩＥＥＥ ８０２．１１）のＷｉ－Ｆｉ（登録商標）（ワイファイ、Wireless Fidelity）接続によって実現することが可能である。通信網に関しては、これまでインターネットなどの公衆通信網について示してきたが、例えば、企業などで使用されている、ＬＡＮ（Local Area Network）を用いることも可能で、また、それらが混在した構成であっても良い。
　＜投影適否検知システム１００の要部構成＞
　図３は、本実施形態１に係る投影適否検知システム１００の要部構成を示すブロック図である。
　投影適否検知システム１００は、図３に示すように、撮像装置１０７と、制御部３００と、投影装置１０５と、表示装置１１０と、外部入力部１０４とを備えている。
　撮像装置１０７は、撮影空間を画像として取り込むための光学部品、および、ＣＭＯＳ（Complementary　Metal Oxide Semiconductor）やＣＣＤ（ChargeCoupled Device）などの撮像素子を具備するように構成されており、撮像素子における光電変換によって得られた電気信号に基づいて映像１１１の映像データを生成する。
　制御部３００は、機能ブロックとして、映像取得部３０１と、エンコード部３０２と、面推定処理部３０３と、投影歪み箇所検知部３０４（検知部）と、デコード部３０５と、投影歪み箇所通知部３０６（出力部）と、映像表示部３０７と、入力受付部３０８と、投影内容出力部３０９とを備えている。
　制御部３００は、１または複数のプロセッサである。制御部３００としては、１個のプロセッサが全ての機能ブロックの処理を実行してもよいし、複数のプロセッサが各機能ブロックの処理を分けて実行してもよい。
　映像取得部３０１は、撮像装置１０７から映像データ（撮像画像）を取得し、エンコード部３０２及び面推定処理部３０３に出力する。一態様において、映像取得部３０１は、取得した映像データをそのまま出力してもよいし、図示しない画像処理部を用い、取得した映像データに対して輝度変調処理、ノイズ除去などの画像処理を施した後に出力してもよいし、それら両方を出力してもよい。また、映像取得部３０１は、出力する映像データと、撮影時の焦点距離などのパラメータとを、後述する第１保存部４０２あるいは第２保存部４０５（図４）に送るように構成することもできる。
　エンコード部３０２は、映像取得部３０１が取得した映像信号を、元の信号量より小さくなるよう圧縮する符号化処理を行い、映像符号を出力する。一態様において、エンコード部３０２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（ApplicationSpecific Integrated Circuit）などによって構成され得る。符号化処理については、例えば動画像符号化に適したＨ．２６４（国際標準動画圧縮規格）を適用することができるし、他の手法を用いることもできる。なお、後述する作業者側装置１０８と、指示装置１０９との間の映像信号の通信の際に、映像信号の圧縮を必要としない場合は、エンコード部３０２を含まないシステム構成としてもよい。
　面推定処理部３０３は、投影対象である作業対象オブジェクトＯＢの平面のパラメータ（以下、平面パラメータと称す）を取得し、作業対象オブジェクトＯＢの表面（被投影面）の情報を推定する。投影対象の表面の情報の推定結果は、投影歪み箇所検知部３０４に出力される。一態様において、面推定処理部３０３は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。平面パラメータを取得する具体的な方法、及び投影対象の面の情報を推定する具体的な方法については後述する。
　投影歪み箇所検知部３０４は、面推定処理部３０３の推定結果を受けて、投影装置１０５が投影内容１０６を投影する場合の、作業対象オブジェクトＯＢの表面における少なくともの投影を予定している箇所（位置）を含む領域の投影歪みの有無（以下、投影歪み検出結果と称す）を検出する。
　なお、本明細書において、「投影歪み」が有る、または、生じるとは、或る視覚化情報が被投影面に投影された状態において、当該被投影面を観察したときに、当該視覚化情報の少なくとも一部が歪んで見えること、または当該視覚化情報の少なくとも一部が欠けて視認できない状態（凹みや穴を含む領域に投影しようとした場合の当該領域に生じ得る現象）であることを意味する。一態様において、投影歪み箇所検知部３０４は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。投影歪み検出結果の取得方法については後述する。
　デコード部３０５は、符号化された映像符号を、元の映像信号に復号する処理を行う。一態様において、デコード部３０５は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。なお、後述する作業者側装置１０８と指示装置１０９との間の映像信号の通信の際に、映像信号の圧縮を必要としない場合は、デコード部３０５を含まないシステム構成としてもよい。
　投影歪み箇所通知部３０６は、投影歪み箇所検知部３０４の検出結果を受けて、当該検出結果を出力する。具体的には、投影歪み箇所通知部３０６は、投影歪み箇所の通知内容の生成および出力を行う。一態様において、投影歪み箇所通知部３０６は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。具体的な通知内容の生成方法については後述する。
　映像表示部３０７は、デコード部３０５が出力した映像信号と、投影歪み検出結果と、から、映像信号に、投影歪み箇所通知部３０６によって生成された通知内容を重畳した映像信号を生成する。生成した映像信号は、外部接続された表示装置１１０に送る。一態様において、表示される情報のデータ形式は特に限定されず、静止画であれば、例えば、Ｂｉｔｍａｐ、ＪＰＥＧ（Joint Photographic Experts Group）など、動画であれば、例えば、ＡＶＩ（Audio Video Interleave）、ＦＬＶ（Flash Video）などの汎用のデータ形式であってもよく、独自のデータ形式であってもよい。また、映像表示部３０７が、データ形式を変換しても良い。映像表示部３０７は、一態様において、ＦＰＧＡやＡＳＩＣなどによって構成され得る。
　入力受付部３０８は、外部入力部１０４によって入力された視覚化情報１０６’を受け付ける。一態様において、入力受付部３０８は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。
　投影内容出力部３０９は、入力受付部３０８が受け付けた視覚化情報１０６’を、投影内容１０６として、外部接続された投影装置１０５に出力する。一態様において、投影内容出力部３０９は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。
　以上の各機能ブロックが、制御部３００を構成している。
　投影装置１０５は、一態様において、ＤＬＰ（Digital LightProcessing）プロジェクタや液晶プロジェクタなどによって構成され得る。
　表示装置１１０は、一態様において、ＬＣＤ（Liquid CrystalDisplay）や有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro LuminescenceDisplay）などによって構成され得る。
　外部入力部１０４は、指示者ＣＲの操作によって、視覚化情報１０６’を入力する。一態様において、外部入力部１０４は、マウスやキーボードなどの装置によって構成され得る。また、表示装置１１０が外部入力部１０４を含む構成としてもよく、例えば、タッチパネルを表示装置１１０に含むことによって、指示者ＣＲが表示装置１１０に指などを接触させることによって、操作を入力することとしてもよい。
　＜投影適否検知システム１００のハードウェア構成＞
　図４は、投影適否検知システム１００のハードウェア構成の一例を示すブロック図である。投影適否検知システム１００は、先述のように、一例において作業者側装置１０８及び指示装置１０９を備えている。
　作業者側装置１０８は、図４に示すように、第１通信部４０１と、第１保存部４０２と、第１制御部４０３とを備えている。
　第１通信部４０１は、エンコード部３０２が出力した映像符号を、ネットワーク通信が行えるようにデータを整形し、指示装置１０９に送信する。さらに、第１通信部４０１は、投影歪み箇所検知部３０４から投影歪み検出結果を受け取り、これを指示装置１０９に送信する。また、第１通信部４０１は、指示装置１０９から視覚化情報１０６’を受信する。一態様において、第１通信部４０１は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。ネットワーク通信を行うためのデータの整形は、例えば、ＴＣＰ／ＩＰやＵＤＰ等のプロトコルに従った、通信に必要な情報を付加するものである。通信の方式は該方式に限定するものではなく、双方の通信路が確立されて、お互いにデータの送受信ができれば良い。
　第１保存部４０２は、撮像装置１０７及び投影装置１０５の内部パラメータ及び外部パラメータや、面推定処理部３０３で取得した平面パラメータや、画像処理に利用する種々のデータなどを保存する。一態様において、第１保存部４０２は、ＲＡＭ（Random Access Memory）や、ハードディスクなどの記憶装置によって構成され得る。
　第１制御部４０３は、作業者側装置１０８全体の制御を行う。第１制御部４０３は、例えば、ＣＰＵ（Central Processing Unit）などによって構成され、各機能ブロックにおける処理の命令、制御やデータの入出力に関するコントロールを行う。第１制御部４０３は、図３の制御部３００の一部または全部の機能ブロックの処理を実行することが可能である。
　なお、各々のブロック間でのデータのやり取りを行うためのバスを備えてもよい。
　なお、一態様において、図１に示すように、作業者側装置１０８と投影装置１０５と撮像装置１０７とが独立した装置として構成されている。本実施形態１ではこれに限定されず、他の態様において、作業者側装置と投影装置と撮像装置が、筺体に内包されて一体となった構成であっても良いし、あるいは、その一部の組合せが一体となった態様であっても良い。
　指示装置１０９は、第２通信部４０４と、第２保存部４０５と、第２制御部４０６とを備えている。
　第２通信部４０４は、作業者側装置１０８から、映像符号と、面推定処理部３０３の推定結果とを受信する。また、作業者側装置１０８に視覚化情報１０６’を送信する。一態様において、第２通信部４０４は、ＦＰＧＡやＡＳＩＣなどによって構成され得る。
　第２保存部４０５は、投影歪みの検知に必要なパラメータや、画像処理に利用する種々のデータなどを保存する。一態様において、第２保存部４０５は、ＲＡＭ（Random Access Memory）や、ハードディスクなどの記憶装置によって構成され得る。
　第２制御部４０６は、指示装置１０９全体の制御を行う。第２制御部４０６は、例えば、ＣＰＵなどによって構成され、各機能ブロックにおける処理の命令、制御やデータの入出力に関するコントロールを行う。第２制御部４０６は、図３の制御部３００の一部または全部の機能ブロックの処理を実行することが可能である。
　なお、指示装置１０９においても、作業者側装置１０８と同様に、各々のブロック間でのデータのやり取りを行うためのバスを備えてもよい。
　また、一態様において、図１に示すように、指示装置１０９と表示装置１１０とが独立した装置として構成されている。本実施形態ではこれに限定されず、他の態様において、指示装置と表示装置とが、筺体に内包されたタブレット型の形態であっても良い。
　ここで、作業者側装置１０８の第１制御部４０３と、指示装置１０９の第２制御部４０６とは、図３の制御部３００の各機能ブロックを分けて実行することが可能である。例えば、図３において制御部３００の枠組内に破線にて境界を示したように、作業者側装置１０８の第１制御部４０３が、映像取得部３０１、面推定処理部３０３及び投影内容出力部３０９の処理を実行し、指示装置１０９の第２制御部４０６が、投影歪み箇所検知部３０４、投影歪み箇所通知部３０６及び映像表示部３０７の処理を実行してよい。また、他の分け方で、作業者側装置１０８の第１制御部４０３と、指示装置１０９の第２制御部４０６とが、制御部３００の各機能ブロックの処理を実行してもよい。
　＜面推定処理部３０３の処理内容＞
　続いて、本実施形態１における面推定処理部３０３による面情報の取得方法について、図５を用いて説明する。
　図５は、面推定処理部３０３の機能ブロック構成を示す図である。
　図５に示すように、面推定処理部３０３は、対応点マップ取得部５０１と、点群取得部５０２と、平面パラメータ導出部５０３とを有する。
　対応点マップ取得部５０１は、図３に示す映像取得部３０１が取得した映像データ上の画素の位置と、投影装置１０５から投影される映像上の画素の位置との対応関係のリスト（以下、対応点マップと称す）を算出する。対応点マップの算出方法は、例えば、投影装置から投影したパターン画像（参照画像）を撮影し、撮影した画像のパターンから対応関係を算出するコード化パターン光投影法を用いることができる。なお、対応点マップの算出方法については、コード化パターン光投影法に限定するものではなく、映像データ上の画素の位置と、投影装置１０５から投影される映像上の画素の位置と、の対応関係が取得できる方法であればどのような方法であってもよい。
　点群取得部５０２は、対応点マップ取得部５０１で取得した対応点マップと、撮像装置１０７及び投影装置１０５の内部パラメータと、外部パラメータと、映像取得部３０１が取得した映像データ上の画素の座標とから、ステレオ法の原理を用いて、撮像装置１０７で撮影された映像データ上の各画素について、撮像装置１０７を基準とした３次元座標を算出する。ここで、内部パラメータは、撮像装置１０７及び投影装置１０５の焦点距離、主点を含む。また、外部パラメータは、撮像装置１０７と投影装置１０５との間の回転行列と並進ベクトルを含む。なお、点群取得部５０２は、３次元座標を直接取得できる装置であってもよく、例えば、被写体までの赤外光の反射時間に基づいて距離を測定するＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式の装置などを適用してもよい。
　平面パラメータ導出部５０３は、点群取得部５０２で取得した各画素の３次元座標（以下、３次元点群と称す）から３次元点群中に最もよく当てはまる平面を算出する。一態様において、３次元座標の座標をそれぞれｘ、ｙ、ｚとしたとき、３次元座標における平面は、以下の式（１）によって定義できる。
Figure JPOXMLDOC01-appb-M000001
　式（１）における（ａ、ｂ、ｃ）は平面の法線ベクトルを示し、ｄは３次元座標の原点と平面の距離を示す。すなわち、式（１）における、パラメータ（ａ、ｂ、ｃ、ｄ）を算出することによって、平面を算出することができる。
　ここで、一態様において、平面パラメータ導出部５０３は、対応点マップの画素に対してＮ×Ｎのマスクをかける。このマスク内のＮ×Ｎ個の画素に対応する、三次元点群（ｘ１，ｙ１，ｚ１）から（ｘＮ×Ｎ，ｙＮ×Ｎ，ｚＮ×Ｎ）は、以下に示す式（２）の連立方程式を満たす。ここで、（ａ、ｂ、ｃ）は法線ベクトルで、ベクトルの大きさが変わっても問題が無いため、ｃの値を１に固定する。
Figure JPOXMLDOC01-appb-M000002
　ここで、一態様において、式（２）の各行列を、以下に示す式（３）から式（５）のように定義すると、平面パラメータ導出部５０３は、以下に示す式（６）によってパラメータ（ａ、ｂ、ｃ、ｄ）を算出することができる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ここで、Ａ－１は行列Ａの逆行列を示し、ＡＴは行列Ａの転置行列を示す。
　上記の計算を対応点マップ上のマスクを走査するごとに行い、結果（ａ、ｂ、１、ｄ）ｉのパラメータ群が、投影歪み箇所検知部３０４へと出力される。添字ｉはマスクを走査した回数を表し、それぞれの走査で１つの面情報が推定される。
　＜投影歪み箇所検知部３０４の処理内容＞
　投影歪み箇所検知部３０４は、面推定処理部３０３が算出した各平面のパラメータ（推定結果）を参照し、投影内容１０６を投影する場合に、作業者ＷＲの視点から見た場合の歪みの有無を検知する。
　投影歪み箇所検知部３０４は、投影装置１０５の投影方向のベクトルをＤ、マスクｉの平面の法線ベクトルをＰｉ＝（ａ、ｂ、１）ｉとすると、式（７）によって、マスクｉの投影歪み検出結果Ｇｉを取得する。
Figure JPOXMLDOC01-appb-M000007
　ここで、式（７）中のｎｏｒｍａｌｉｚｅｄ（）は、入力したベクトルの正規化処理を行う関数を示し、ａｂｓ（）は絶対値を算出する関数を示す。また、記号・は、ベクトルの内積を示す。また、Ｔｈはあらかじめ設定された閾値であり、０から１の間の実数値に設定される。
　上記の式（７）において、ａｂｓ｛ｎｏｒｍａｌｉｚｅｄ（Ｐｉ）・ｎｏｒｍａｌｉｚｅｄ（Ｄ）｝が１に近いほど、マスクｉで算出された平面は投影装置１０５の投影方向に対して正対しているため、作業者ＷＲの視点からは投影内容の歪みが小さい。逆に、ａｂｓ｛ｎｏｒｍａｌｉｚｅｄ（Ｐｉ）・ｎｏｒｍａｌｉｚｅｄ（Ｄ）｝が０に近いほど、マスクｉで算出された平面は投影方向に対して大きな傾きを持つため、作業者ＷＲの視点からは投影内容１０６が大きく歪む。この判定は、あらかじめ設定された閾値Ｔｈを下回っているかどうかで判断を行う。
　＜通知方法＞
　投影歪み箇所通知部３０６の、通知の表示方法について図６を用いて説明する。
　図６は、投影歪み箇所通知部３０６が、投影歪みの通知を行っている一例を示す図である。図６では、作業対象オブジェクトＯＢの面６０１は投影歪み検出結果（投影適否の判定結果）が歪み有り、すなわち投影が不適である、と判定されている箇所を示している。
　投影歪み箇所通知部３０６は、投影歪み箇所検知部３０４から送信された、投影歪み検出結果（投影適否の判定結果）を受け、指示者ＣＲに対して通知処理を行う。
　通知方法は、投影歪み、すなわち投影が不適であること、を通知できる方法であればよく、例えば、投影歪み検出結果を参照し、面６０１の該当する箇所を単一色で塗りつぶすことで、作業者ＷＲの視点では正しく指示が投影されないことを、指示者ＣＲに通知する方法を用いることができる。
　また、別の方法として、指示者ＣＲが視覚化情報１０６’を投影歪み箇所に入力する場合は、重なっている箇所の色を変更することで通知する方法としてもよい。
　また、さらに別の方法として、表示装置のいずれかの位置に、歪み有りとの通知コンテンツ６０２を描画する処理を行うことで、指示者ＣＲに気付かせる方法や、指示装置１０９を振動させて通知する方法としてもよい。
　なお、投影歪み箇所通知部３０６の通知方法は上記方法に限定するものではなく、投影歪みの有無（投影の適否）、または、投影歪みの発生する画素を通知する方法であれば、どのような方法であってもよい。
　なお、指示者に対する通知は、作業者ＷＲの視点では正しく指示が投影されないことを通知すればよく、投影歪みを通知する必要はない。しかしながら、正しく指示が投影されない理由、すなわち投影歪みがあることを併せて通知してもよい。
　＜投影適否検知システム１００の動作（投影適否検知方法）＞
　作業者側装置１０８（図１及び図４）の処理フローチャートについて、図７及び図８を用いて説明する。なお、図７及び図８のそれぞれフローチャートは、並列に動作する。
　図７は作業者側装置１０８から指示装置１０９に、平面パラメータ（推定結果）と、映像符号とを送信するためのフローチャートを示す。
　投影適否検知システム（Ａ）を起動すると、まずステップＳ７０１に処理を進める。
　ステップＳ７０１では、映像取得部３０１が、撮像装置１０７によって撮影された作業対象オブジェクトＯＢの映像を取得する。取得後、ステップＳ７０２に移行する。
　ステップＳ７０２では、面推定処理部３０３が、上述の対応点マップを取得する。更に、面推定処理部３０３が、投影装置１０５と撮像装置１０７の内部パラメータ及び外部パラメータの算出を行う。更に、面推定処理部３０３が、対応点マップと、内部パラメータと、外部パラメータとを用いて、投影装置１０５の投影範囲内における３次元点群を取得する。最後に、面推定処理部３０３が、３次元点群から平面パラメータを取得し、第１通信部４０１に出力する。第１通信部４０１は、平面パラメータを指示装置１０９へ送信し、ステップＳ７０３に移行する。
　ステップＳ７０３では、エンコード部３０２が、映像取得部３０１が取得した映像を映像符号に変換し、第１通信部４０１に出力する。第１通信部４０１によって、映像符号が指示装置１０９へ送信されると、ステップＳ７０４に移行する。
　ステップＳ７０４では、処理を終了するかどうかの判定を行い、終了しない場合はステップＳ７０１に進む。処理を終了させる場合は全体の処理を終了する。
　図８は、作業者側装置１０８が指示装置１０９から情報を受信する場合のフローチャートを示す。
　ステップＳ８０１では、第１通信部４０１が、指示装置１０９から送信された視覚化情報１０６’を受信する。受信した視覚化情報を投影内容出力部３０９に出力し、ステップＳ８０２へ移行する。
　ステップＳ８０２では、投影内容出力部３０９が、視覚化情報１０６’を投影内容１０６として、投影装置１０５に出力する。その後、ステップＳ８０３へ移行する。
　ステップＳ８０３では、処理を終了するかどうかの判定を行い、終了しない場合はステップＳ８０１に進む。処理を終了させる場合は全体の処理を終了する。
　続いて、指示装置１０９の処理フローチャートについて図９を用いて説明する。
　ステップＳ９０１では、第２通信部４０４が、作業者側装置１０８から送信された平面パラメータを受信し、投影歪み箇所検知部３０４に出力する。出力後、ステップＳ９０２へ移行する。
　ステップＳ９０２では、第２通信部４０４が、作業者側装置１０８から受信した映像符号を、デコード部３０５に出力する。デコード部３０５は、映像符号をデコードして映像１１１として映像表示部３０７に出力する。出力後、ステップＳ９０３へ移行する。
　ステップＳ９０３（検知ステップ）では、投影歪み箇所検知部３０４が、平面パラメータと、投影装置１０５の投影方向の情報とを用いて、投影対象の面の、投影方向に対する傾き（角度）（歪み情報）を算出する。算出後、ステップＳ９０４へ移行する。ここで、投影方向とは、投影装置１０５が投影する向きを表す。投影する向きとは、投影装置１０５が投影する映像に対して垂直な方向と同じである。この方向は下記方法で取得する。すなわち、まず、投影装置１０５と撮像装置１０７の画像間の対応点マップを取得する。そして、対応点マップと、内部パラメータと、外部パラメータとを用いて投影装置１０５の投影範囲内における３次元点群を取得する。更に、投影装置１０５から投影する映像の中心の画素を選択し、その画素位置に対応する３次元位置を取得する。取得した３次元位置をＰｃ（Ｘｃ，Ｙｃ，Ｚｃ）とすると、ベクトルＰｃは、投影装置１０５の投影面中心を始点とした光軸ベクトル（投影方向）と等価である。
　ステップＳ９０４（検知ステップ）では、投影歪み箇所検知部３０４が、面の傾きと、閾値とを比較し、投影歪みが生ずるか否かを判定し、投影歪み検出結果を投影歪み箇所通知部３０６へ出力する。出力後、ステップＳ９０５へ移行する。
　ステップＳ９０５（通知ステップ）では、投影歪み箇所通知部３０６が、受信した投影歪み検出結果に基づいて、映像１１１の該当する箇所に通知内容を重ねて描画する処理を行う。処理結果を映像表示部３０７に出力してステップＳ９０６へ移行する。
　ステップＳ９０６（通知ステップ）では、映像表示部３０７が、投影歪み箇所の通知が重畳された映像を表示装置１１０へ出力する。その後、ステップＳ９０７に移行する。なお、受信する映像は基本的には対応点マップを取得する際に撮影したものと同じである。そのため、事前に映像中の面の傾き情報をすべて算出したものを保存しておき、指示者が視覚化情報を入力した際に、前述した面の傾き情報をオフラインで参照して入力範囲における歪みの有無を通知するという処理であってもよい。
　ステップＳ９０７では、入力受付部３０８が、外部入力部１０４を用いた指示者ＣＲの入力を受け付け、指示者ＣＲが、映像表示部３０７に出力された撮像画像上において指定する位置に、視覚化情報１０６’を生成する。ここで、撮像画像上において指定する位置とは、画像上の点及び当該点を含む領域（被投影面）を意味する。その後、ステップＳ９０８に移行する。
　ステップＳ９０８では、第２通信部４０４が、視覚化情報１０６’を作業者側装置１０８に送信する。その後、ステップＳ９０９に移行する。
　ステップＳ９０９では、処理を終了させるかどうかの判定を行う。処理を終了させない場合は、ステップＳ９０２へ進む。処理を終了させる場合は、全ての処理を終了させる。
　以上の構成によって、作業対象に対し投影内容を投影する際、作業者と指示者の視点の方向が異なることで、投影内容が歪んで投影される箇所を、投影面の傾き情報をもとに検知することができる。また、歪んで表示される箇所である旨を表示装置に映る作業現場の映像の上に重ねて描画することで、指示者に通知する投影適否検知システムを提供することができる。
　なお、本実施形態１では、指示者にのみ通知されるが、これに限定されるものではなく、作業者にも通知されてもよい。すなわち、映像表示部３０７が、投影歪み箇所の通知が重畳された映像を表示装置１１０へ出力するとともに、作業者側装置１０８に設けられた表示部へ出力するか、あるいは、当該重畳された映像を投影装置１０５から作業対象オブジェクトＯＢに投影させてもよい。これにより、作業者が現状を認識することができる。作業現場では、指示者から指示が無いと不安を感じる場合がある。その場合、実際に指示が無いのか、あるいは、指示者が指示を出そうとしているが投影箇所を調整している状態なのかが、作業者にも通知されることによって、作業者側で状況を把握でき、不安を軽減させることに寄与する。
　また、本実施形態１では、投影歪みが生じることが、投影する前に指示者に通知される。しかしながら、これに限定されるものではなく、投影歪みの有無に関わらず投影内容を作業対象オブジェクトＯＢに投影した状態において、投影内容が歪んで投影されてしまっていること、すなわち、投影内容が良好に投影されていないことを指示者に通知してもよい。
　また、本実施形態１では、作業者が作業する対象物である作業対象オブジェクトＯＢに投影しているが、作業者の近傍に在り、且つ投影可能な物体であれば、作業する対象物とは別の物体に投影しても良い。
　〔実施形態２〕
　本開示の他の実施形態について、図１０及び図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　投影歪みは、複数の面にまたがるように投影しようとした場合でも発生する。その一例を図１０に示す。
　図１０は、投影環境の一例である。図１０の例では、作業対象オブジェクトＯＢの側部における隣接した２つの面１００１及び１００２に投影しようとしている状態を示している。このような状態でも、投影内容が歪んでしまう。更に、一方の面１００２には、凹部１００３が設けられている。このような箇所に投影しようとする場合も、投影内容が歪んでしまう。
　そこで、本実施形態２に係る投影適否検知システムは、投影内容が複数の面にまたがるように投影されようとしていることも、指示者に通知する。この点において、本実施形態２に係る投影適否検知システムは、上述の実施形態１の投影適否検知システムと異なる。
　また、上述の実施形態１の投影適否検知システムの指示装置１０９の処理フローでは、先に面の傾きの検出と通知とを実施してから指示者の視覚化情報の入力を待つという態様であるが、本開示はこれに限らず、順序は逆になってもよい。そこで、本実施形態２に係る投影適否検知システムの指示装置１０９の処理フローでは、順序が逆である態様を説明する。概要としては、受信した映像に対して、まず、指示者が視覚化情報を入力し、その後に、入力された視覚化情報の範囲内における面の傾きを算出する。そして、算出結果に基づいて、歪みの有無の判定をおこない、入力された視覚化情報の範囲に関する歪みを通知するというフローである。
　なお、本実施形態２においても、作業者側装置１０８による処理は、実施形態１のそれと同じであるため、説明を省略する。すなわち、本実施形態２の態様でも、上述の実施形態１の面推定処理部３０３による、対応点マップの取得と、３次元座標の算出と、平面パラメータの算出とをおこなう。
　図１１は、本実施形態２に係る投影適否検知システムの指示装置１０９の処理フローチャートを示す図である。
　ステップＳ１１０１では、第２通信部４０４が、作業者側装置１０８から送信された平面パラメータを受信し、投影歪み箇所検知部３０４に出力する。出力後、ステップＳ１１０２へ移行する。
　ステップＳ１１０２では、第２通信部４０４が、作業者側装置１０８から受信した映像符号を、デコード部３０５に出力する。デコード部３０５は、映像符号をデコードして映像１１１として映像表示部３０７に出力する。出力後、ステップＳ１１０３へ移行する。
　ステップＳ１１０３では、図９のステップＳ９０７と同じく、入力受付部３０８が、外部入力部１０４を用いた指示者ＣＲの入力を受け付け、視覚化情報１０６’を生成する。その後、ステップＳ１１０４に移行する。
　ステップＳ１１０４では、ステップＳ１１０３において指示者の入力した視覚化情報の範囲内においてのみ、面の傾きを算出する。算出後、ステップＳ１１０５に移行する。面の傾きの算出処理自体は、図９のステップＳ９０３と同じであるが、上述の実施形態１では１つの面に対して傾き算出を行う態様であったところ、本実施形態２では、複数の面に対して傾き算出を行う点において異なる。すなわち、本実施形態２では、視覚化情報の範囲（投影対象）の傾きを算出する際、投影対象が複数の面で構成されているかどうかを判別する。投影対象が複数の面で構成される場合には、傾きの算出結果は少なくとも２つ以上得られる。すなわち、２つ以上の結果が得られる場合は投影対象が複数面にまたがっており、１つの結果である場合には投影対象が１つの面によって構成されていると判別することができる。
　ステップＳ１１０５では、図９のステップＳ９０４と同様、投影歪み箇所検知部３０４が、面の傾きと、閾値とを比較し、投影歪みが生ずるか否かを判定する。ここで、判定には、実施形態１において説明した式（７）を用いるが、例えば投影対象が複数の面にまたがっている場合、それぞれの面で歪み無し（すなわち投影可）と判定されると、指示者の入力した視覚化情報が複数の面にまたがって投影される。この場合、投影内容は歪んでしまうことが考えられるので、投影が複数の面にまたがる場合は歪み有り（すなわち投影不可）と判定する。投影歪み箇所検知部３０４によって、投影歪み検出結果が投影歪み箇所通知部３０６へ出力されると、ステップＳ１１０６へ移行する。
　ステップＳ１１０６（通知ステップ）では、図９のステップＳ９０５と同様に、投影歪み箇所通知部３０６が、受信した投影歪み検出結果に基づいて、映像１１１の該当する箇所に通知内容を重ねて描画する処理を行う。処理結果を映像表示部３０７に出力してステップＳ１１０７へ移行する。
　ステップＳ１１０７（通知ステップ）では、図９のステップＳ９０６と同様に、映像表示部３０７が、投影歪み箇所の通知が重畳された映像を表示装置１１０へ出力する。その後、ステップＳ１１０８に移行する。
　ステップＳ１１０８では、第２通信部４０４が、視覚化情報１０６’を作業者側装置１０８に送信する。その後、ステップＳ１１０９に移行する。
　ステップＳ１１０９では、処理を終了させるかどうかの判定を行う。処理を終了させない場合は、ステップＳ１１０２へ進む。処理を終了させる場合は、全ての処理を終了させる。
　なお、指示者への通知方法については、実施形態１の通知方法と同じである。
　〔実施形態３〕
　本開示の他の実施形態について、図１２及び図１３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　投影装置１０５と撮像装置１０７との間にオクルージョンがある場合は対応点マップが取得できない。この場合、作業者ＷＲの視点と、指示者ＣＲの視点とで、投影内容１０６が正しく視認されない。
　そこで、本実施形態３に係る投影適否検知システムでは、対応点マップが取得できない部分についても、上述の実施形態１の通知内容と同様に指示者に通知する。
　対応点マップが取得できない部分について説明すると、図１２に示す一例のように、投影装置１０５の投影範囲１１０１と、撮像装置１０７の撮影範囲１１０２とは、基本的に一致しない。そのため、撮像装置１０７の撮影範囲１１０２内であっても投影装置１０５の投影光の届かない範囲が生じる。当該範囲としては、一例として、図１２に示す箇所１１０３および１１０４がある。箇所１１０３は、作業対象オブジェクトＯＢの側面に設けられた穴を示しており、この穴には投影光が届かない。また、箇所１１０４は、作業対象オブジェクトＯＢ自体の立体的な形状が遮蔽となる領域を示しており、この領域には投影光が当たらない。
　このように投影光の届かない箇所は、上述の実施形態１の面推定処理部３０３の対応点マップ取得部５０１において対応点が取得できるか否かで判別することができる。
　図１３は、本実施形態３に係る投影適否検知システムのブロック構成の一部を示した図である。
　本実施形態３に係る投影適否検知システムでは、図１３に示すように、面推定処理部３０３’は、対応点マップ取得部５０１’によって対応点の取得を行った際に、対応点が取得できなかった箇所があると、その箇所の画素の位置を、（指示装置１０９の）投影歪み箇所通知部３０６へ出力する。
　投影歪み箇所通知部３０６は、投影歪み箇所検知部３０４からの出力を受けるとともに、対応点マップ取得部５０１’からの出力を受けて、投影歪み箇所、及び対応点マップが取得できない箇所の通知内容の生成を行う。対応点マップが取得できない箇所の通知内容の生成方法については、投影歪み箇所の通知内容の生成方法と同じである。
　本実施形態３に係る投影適否検知システムによれば、投影歪みの有無に加えて、投影光の届かず投影内容を投影することができない箇所についても、指示者に通知することができる。
　なお、本実施形態３では、対応点マップが取得できない箇所として、投影光の届かない箇所を挙げている。しかしながら、対応点マップが取得できない箇所は、これに限らない。例えば、投影しようとする面の素材がガラスのような光透過性を有するものである箇所も、投影ができない。そのような箇所についても、対応点マップが取得できない。これを指示者に通知することも可能である。
　〔実施形態４〕
　本開示の他の実施形態について、図１４及び図１５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　上述の実施形態１では、１つの面にのみ視覚化情報を投影する態様を説明し、上述の実施形態２では、少なくとも２つ以上の面にまたがるように視覚化情報を投影しようとする場合に通知する態様を説明した。そこで、次に本実施形態４では、少なくとも２つ以上の面それぞれに、互いに同じまたは互いに異なる視覚化情報を投影することを想定した態様について説明する。
　図１４は、本実施形態４の態様を説明する図である。図１４では、面１４０１、面１４０２および面１４０３の３つの面から投影対象が構成されている。そして、図１４では、この投影対象に対して投影装置１０５が光軸１４０５の方向に向けて投影している様子を上から見たものである。多くの場合、作業者ＷＲは光軸方向１４０５とおおよそ同じ方向１４０７を向いて投影内容を視認している。このとき、面１４０１、面１４０２および面１４０３は上述の式（７）に従い、指示者ＣＲはどの面の上に視覚化情報を入力しても投影適否の判定結果に問題はないものとする。このような態様において、実際に投影された内容は歪んでいないにも関わらず、作業者ＷＲの位置によっては、投影した投影内容は見えない可能性がある。例えば、作業者ＷＲが図１４の位置にいるときでは、面１４０１に投影されたコンテンツを見ようとしても、面１４０２の裏に隠れていて見えないか、見えたとしても面１４０１に対する視線の角度が急なため、投影内容を正しく視認できない可能性が高い。
　そこで、本実施形態４では、これに対処するべく、面と面との繋がり部分（以下、エッジと称する）が凸型になっている場合に、それを投影歪みが発生する箇所とみなし、いずれかの面は作業者に視認されない可能性がある旨を通知する。
　具体的には、本実施形態４における指示装置１０９の処理フローチャートについて図１５を用いて説明する。
　ステップＳ１５０１では、図９のステップＳ９０１と同様、第２通信部４０４が、作業者側装置１０８から送信された平面パラメータを受信し、投影歪み箇所検知部３０４に出力する。出力後、ステップＳ１５０２へ移行する。
　ステップＳ１５０２では、図９のステップＳ９０２と同様、第２通信部４０４が、作業者側装置１０８から受信した映像符号を、デコード部３０５に出力する。デコード部３０５は、映像符号をデコードして映像１１１として映像表示部３０７に出力する。出力後、ステップＳ１５０３へ移行する。
　ステップＳ１５０３（検知ステップ）では、図９のステップＳ９０３と同様、投影歪み箇所検知部３０４が、平面パラメータと、投影装置１０５の投影方向の情報とを用いて、投影対象の面１４０１および面１４０２の、投影方向に対する傾き（角度）（歪み情報）を算出する。算出後、ステップＳ１５０４へ移行する。
　ステップＳ１５０４（検知ステップ）では、ステップＳ９０４と同様、投影歪み箇所検知部３０４が、面の傾きと閾値とを比較して、面の傾きに基づく投影歪みが生ずるか否かを判定し、投影歪み検出結果を投影歪み箇所通知部３０６へ出力する。出力後、ステップＳ１５０５へ移行する。
　ステップＳ１５０５（検知ステップ）では、投影歪み箇所検知部３０４が、先述したエッジに基づく投影歪みが生ずるか否かを判定する。
　＜ステップＳ１５０５の詳細＞
　図１６は、ステップＳ１５０５を説明するための図である。図１６は、図１４に示す３つの面のうちの２つの面１４０１および面１４０２の斜視図を示している。
　ステップＳ１５０５について説明すると、まず、ステップＳ１５０５１では、投影歪み箇所検知部３０４が、面１４０１と面１４０２のエッジのベクトル１６０１を取得する。取得後、ステップＳ１５０５２へ移行する。
　ステップＳ１５０５２では、投影歪み箇所検知部３０４が、面１４０１の法線ベクトル１６０２と、面１４０２の法線ベクトル１６０３を取得する。取得後、ステップＳ１５０５３へ移行する。
　ステップＳ１５０５３では、投影歪み箇所検知部３０４が、ベクトル１６０１と法線ベクトル１６０２の外積を算出し、従法線ベクトル１６０４を取得する。従法線ベクトル１６０４は、次の式（８）によって求められる。
Figure JPOXMLDOC01-appb-M000008
取得後、ステップＳ１５０５４へ移行する。
　ステップＳ１５０５４では、投影歪み箇所検知部３０４が、従法線ベクトル１６０４と、法線ベクトル１６０３との内積を求める。内積は、次の式（９）によって求められる。
Figure JPOXMLDOC01-appb-M000009
その後、ステップＳ１５０５５へ移行する。
　ステップＳ１５０５５では、投影歪み箇所検知部３０４が、求めた内積の値に基づいて、投影歪みが生ずるか否かを判定する。判定方法としては、求めた内積の値が０に近い場合、２つの面１４０１および面１４０２はほぼ平行に連なるため、歪みは小さい、すなわち、面１４０１と面１４０２とに投影する内容を、図１４に示す作業者ＷＲは正確に視認することができる。この場合、特に通知はしない。一方、求めた内積の値が正の場合、面１４０１と面１４０２のエッジは凹型である。また、求めた内積の値が負の場合、面１４０１と面１４０２のエッジは凸型である。投影歪み箇所検知部３０４は、求めた内積の値に基づいて、面１４０１と面１４０２のエッジが凸型だった場合、歪みを生じ得る、すなわち、投影内容は作業者ＷＲに視認されない可能性がある旨の投影歪み検出結果を投影歪み箇所通知部３０６へ出力する。具体的には、作業者ＷＲが正対している面１４０２とエッジを介して隣接している面１４０１に投影される内容が作業者ＷＲに視認されない可能性がある旨の投影歪み検出結果を、投影歪み箇所通知部３０６へ出力する。
　ステップＳ１５０６（通知ステップ）では、図９のステップＳ９０５と同様に、投影歪み箇所通知部３０６が、受信した投影歪み検出結果に基づいて、映像１１１の該当する箇所に通知内容を重ねて描画する処理を行う。ここで、投影歪み箇所通知部３０６は、ステップＳ１５０４において判定された結果と、ステップＳ１５０５５において判定された結果とを取得する。なお、投影歪み箇所通知部３０６は、いずれかの結果において歪みが生じるという判定であれば歪みを検出したことを示す通知内容を重ねて描画する処理を行えばよい。なお、面の傾きに基づく判定（ステップＳ１５０４）を優先してもよく、仮に、面の傾きに基づく判定において面１４０１および面１４０２のいずれにも歪みは起きないとされる場合には、投影の可否を指示者が選択してもよい。
　なお、ステップＳ１５０７以降の処理は、図９のステップＳ９０６以降と同じである。
　〔ソフトウェアによる実現例〕
　本開示に係る投影適否検知システムの制御部３００は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。
　後者の場合、制御部３００は、各機能を実現するソフトウェアであるプログラム（投影適否検知プログラム）の命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本開示の態様１に係る投影適否検知システムは、対象物（作業対象オブジェクトＯＢ）の撮像画像上の位置の指定を受け付ける指示装置１０９を含む第１端末（指示装置１０９を含む指示室ＣＳ側の構成）と、上記撮像画像上の指定された位置に対応する上記対象物の被投影面（作業対象オブジェクトＯＢの表面）に視覚化情報１０６’（投影内容１０６）を投影する投影装置１０５を含む第２端末（作業者側装置１０８を含む作業現場ＷＳ側の構成）と、を備え、上記第１端末と上記第２端末とは互いに通信可能な範囲で離間している投影適否検知システムであって、上記投影適否検知システムは、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部（投影歪み箇所検知部３０４）を備え、第１端末（指示装置１０９を含む指示室ＣＳ側の構成）は、上記検知部（投影歪み箇所検知部３０４）の検知結果を出力する出力部（投影歪み箇所通知部３０６）を備えている。
　上記の構成によれば、被投影面に視覚化情報を投影する際に適切に投影されない箇所を検知し、その旨を、視覚化情報を設定する指示者に通知することができる。
　具体的には、上記の構成によれば、被投影面に対し視覚化情報（投影内容）を投影する際、第１端末側と第２端末側とにそれぞれ居る投影適否検知システム使用者の視点の方向が互いに異なることで、投影装置が在る第２端末側に居て被投影面を観察する使用者（作業者ＷＲ）にとって投影内容の一部が歪んで観察される箇所（投影歪みを生じる箇所）を、撮像画像に基づいて検知することができる。また、当該箇所がある旨を出力（通知）する投影適否検知システムを提供することができる。
　本開示の態様２に係る投影適否検知システムは、上記態様１において、上記検知部（投影歪み箇所検知部３０４）が、上記投影装置１０５が参照画像（パターン画像）を上記被投影面に投影したときの上記撮像画像と当該参照画像との各々の画素の対応位置関係に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知してもよい。
　上記撮像画像と上記参照画像との各々の画素の対応位置関係に基づいて歪みを検知することによって、外環境で投影適否検知システムを使用することができる。また、被投影面が机上のように平坦で特徴が極端に少ないような箇所でも、当該対応位置関係に基づけば、上記投影歪みが生じるか否かを検知することができる。
　本開示の態様３に係る投影適否検知システムは、上記態様１または２において、上記検知部（投影歪み箇所検知部３０４）が、上記投影装置１０５の投影方向に対する上記被投影面（作業対象オブジェクトＯＢの表面）の角度に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知してもよい。
　被投影面が投影装置の投影方向に対して正対していない場合には、第２端末側に居て当該投影方向に対して正対している投影適否検知システム使用者にとって、投影される視覚化情報が歪んで視認される。そのため、上記の構成のように投影装置の投影方向に対する被投影面の角度に基づけば、投影歪みを生じる箇所を検知することができる。
　本開示の態様４に係る投影適否検知システムは、上記態様１から３において、上記出力部（投影歪み箇所通知部３０６）は、上記被投影面（作業対象オブジェクトＯＢの表面）が投影歪みを生じさせることを、（１）上記指示装置１０９において、上記撮像画像上の上記指定された位置に上記視覚化情報とは異なる画像を表示させるか、（２）上記指示装置１０９において、上記撮像画像上の上記指定された位置とは異なる位置にコンテンツ（通知コンテンツ６０２）を表示させるか、あるいは（３）上記指示装置１０９を振動させる、ことによって出力（通知）してもよい。
　本開示の態様５に係る投影適否検知システムは、上記態様１から４において、上記検知部（投影歪み箇所検知部３０４）が上記第１端末（指示装置１０９を含む指示室ＣＳ側の構成）に含まれてもよい。
　本開示の態様６に係る投影側端末（作業者側装置１０８を含む作業現場ＷＳ側の構成）は、対象物（作業対象オブジェクトＯＢ）の撮像画像上の位置の指定を受け付ける指示装置１０９を含む指示側端末（指示装置１０９を含む指示室ＣＳ側の構成）と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面（作業対象オブジェクトＯＢの表面）に視覚化情報１０６’（投影内容１０６）を投影する投影装置１０５を含む投影側端末であって、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部（投影歪み箇所検知部３０４）を備えており、上記検知部（投影歪み箇所検知部３０４）の検知結果を上記指示側端末において出力される構成（投影歪み箇所通知部３０６）となっている。
　本開示の態様７に係る指示側端末（指示装置１０９を含む指示室ＣＳ側の構成）は、対象物（作業対象オブジェクトＯＢ）の撮像画像上の位置の指定を受け付ける指示装置１０９を含む指示側端末であって、上記撮像画像上の指定された位置に対応する上記対象物の被投影面（作業対象オブジェクトＯＢの表面）に視覚化情報１０６’（投影内容１０６）を投影する投影装置１０５を含む投影側端末（作業者側装置１０８を含む作業現場ＷＳ側の構成）と通信可能な範囲で離間しており、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部（投影歪み箇所検知部３０４）と、上記検知部（投影歪み箇所検知部３０４）の検知結果を出力する出力部（投影歪み箇所通知部３０６）と、を備えている。
　本開示の態様８に係る投影適否検知方法は、対象物（作業対象オブジェクトＯＢ）の撮像画像上の位置の指定を受け付ける指示装置１０９を含む第１端末（指示装置１０９を含む指示室ＣＳ側の構成）と、上記第１端末と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面（作業対象オブジェクトＯＢの表面）に視覚化情報１０６’（投影内容１０６）を投影する投影装置１０５を含む第２端末（作業者側装置１０８を含む作業現場ＷＳ側の構成）と、を備えた投影適否検知システムの投影適否検知方法であって、上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知ステップと、上記第１端末（指示装置１０９を含む指示室ＣＳ側の構成）において上記検知ステップの検知結果を出力する出力ステップと、を含む。
　上記の構成によれば、上述した投影適否検知システムの効果と同等の効果を奏する。
　上記の態様１から５に係る投影適否検知システムは、コンピュータによって実現してもよく、この場合には、コンピュータを上記投影適否検知システムが備える各部（ソフトウェア要素）として動作させることにより各部をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
　〔付記事項〕
　本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　〔関連出願の相互参照〕
　本出願は、2017年2月1日に出願された日本国特許出願：特願2017-017061に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
１００　投影適否検知システム
ＷＳ　作業現場
ＣＳ　指示室
ＷＲ　作業者
ＣＲ　指示者
ＯＢ　作業対象オブジェクト（対象物の被投影面）
１０４　外部入力部（第１端末、指示側端末）
１０５　投影装置（第２端末、投影側端末）
１０６　投影内容
１０６’　視覚化情報
１０７　撮像装置（投影側端末）
１０８　作業者側装置（投影側端末）
１０９　指示装置（第１端末、指示側端末）
１１０　表示装置（第１端末、指示側端末）
１１１　映像
２００　管理サーバ
３００　制御部（制御装置）
３０１　映像取得部
３０２　エンコード部
３０３　面推定処理部
３０４　投影歪み箇所検知部（検知部）
３０５　デコード部
３０６　投影歪み箇所通知部（出力部）
３０７　映像表示部
３０８　入力受付部
３０９　投影内容出力部
４０１　第１通信部
４０２　第１保存部
４０３　第１制御部
４０４　第２通信部
４０５　第２保存部
４０６　第２制御部
５０１　対応点マップ取得部
５０２　点群取得部
５０３　平面パラメータ導出部
６０２　通知コンテンツ（コンテンツ）
１００３　凹部
１１０１　投影範囲
１１０２　撮影範囲
１１０３、１１０４　対応点マップが取得できない箇所

Claims (9)

  1. 　対象物の撮像画像上の位置の指定を受け付ける指示装置を含む第１端末と、
    　上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む第２端末と、を備え、
    　上記第１端末と上記第２端末とは互いに通信可能な範囲で離間している投影適否検知システムであって、
    　上記投影適否検知システムは、
    　上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部を備え、
    　上記第１端末は、
    　上記検知部の検知結果を出力する出力部を備えていることを特徴とする投影適否検知システム。
  2. 　上記検知部は、上記投影装置が参照画像を上記被投影面に投影したときの上記撮像画像と当該参照画像との各々の画素の対応位置関係に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知することを特徴とする請求項１に記載の投影適否検知システム。
  3. 　上記検知部は、上記投影装置の投影方向に対する上記被投影面の角度に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知することを特徴とする請求項１または２に記載の投影適否検知システム。
  4. 　上記出力部は、上記被投影面が投影歪みを生じさせることを、（１）上記指示装置において、上記撮像画像上の上記指定された位置に上記視覚化情報とは異なる画像を表示させるか、（２）上記指示装置において、上記撮像画像上の上記指定された位置とは異なる位置にコンテンツを表示させるか、あるいは（３）上記指示装置を振動させる、ことによって出力することを特徴とする請求項１から３のいずれか１項に記載の投影適否検知システム。
  5. 　上記検知部は、上記第１端末に含まれる、ことを特徴とする請求項１から４のいずれか１項に記載の投影適否検知システム。
  6. 　対象物の撮像画像上の位置の指定を受け付ける指示装置を含む指示側端末と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む投影側端末であって、
    　上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部を備えており、
    　上記検知部の検知結果を上記指示側端末に送信するようになっていることを特徴とする投影側端末。
  7. 　対象物の撮像画像上の位置の指定を受け付ける指示装置を含む指示側端末であって、
    　上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む投影側端末と通信可能な範囲で離間しており、
    　上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知部と、
    　上記検知部の検知結果を出力する出力部と、を備えていることを特徴とする指示側端末。
  8. 　対象物の撮像画像上の位置の指定を受け付ける指示装置を含む第１端末と、
    　上記第１端末と通信可能な範囲で離間しており、上記撮像画像上の指定された位置に対応する上記対象物の被投影面に視覚化情報を投影する投影装置を含む第２端末と、
    を備えた投影適否検知システムの投影適否検知方法であって、
    　上記撮像画像に基づいて、上記被投影面が投影歪みを生じさせるか否かを検知する検知ステップと、
    　上記第１端末において上記検知ステップの検知結果を出力する出力ステップと、を含むことを特徴とする投影適否検知方法。
  9. 　請求項１から５のいずれか１項に記載の投影適否検知システムの各部としてコンピュータを機能させるための投影適否検知プログラムであって、上記検知部及び上記出力部としてコンピュータを機能させるための投影適否検知プログラム。
PCT/JP2017/043143 2017-02-01 2017-11-30 投影適否検知システム、投影適否検知方法及び投影適否検知プログラム WO2018142743A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780085405.1A CN110268709A (zh) 2017-02-01 2017-11-30 投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序
JP2018565959A JP6830112B2 (ja) 2017-02-01 2017-11-30 投影適否検知システム、投影適否検知方法及び投影適否検知プログラム
US16/481,599 US20190349556A1 (en) 2017-02-01 2017-11-30 Projection suitability detection system, projection suitability detection method, and non-transitory medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-017061 2017-02-01
JP2017017061 2017-02-01

Publications (1)

Publication Number Publication Date
WO2018142743A1 true WO2018142743A1 (ja) 2018-08-09

Family

ID=63040450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043143 WO2018142743A1 (ja) 2017-02-01 2017-11-30 投影適否検知システム、投影適否検知方法及び投影適否検知プログラム

Country Status (4)

Country Link
US (1) US20190349556A1 (ja)
JP (1) JP6830112B2 (ja)
CN (1) CN110268709A (ja)
WO (1) WO2018142743A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415439B2 (ja) * 2019-10-28 2024-01-17 セイコーエプソン株式会社 プロジェクターの制御方法及びプロジェクター

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
JP2004029110A (ja) * 2002-06-21 2004-01-29 Canon Inc 投射型表示装置
JP2006145613A (ja) * 2004-11-16 2006-06-08 Canon Inc 投射装置
JP2006267777A (ja) * 2005-03-25 2006-10-05 Sony Corp 情報処理装置および情報処理方法、画像表示システム、並びに、プログラム
WO2007072695A1 (ja) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 画像投射装置
JP2009223331A (ja) * 2008-02-22 2009-10-01 Panasonic Electric Works Co Ltd 光投影装置、照明装置
JP2015130555A (ja) * 2014-01-06 2015-07-16 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04355740A (ja) * 1991-06-03 1992-12-09 Hitachi Ltd プロジェクタ
JP2002158946A (ja) * 2000-11-20 2002-05-31 Seiko Epson Corp プロジェクタおよび画像歪補正方法
JP2005031205A (ja) * 2003-07-08 2005-02-03 Seiko Precision Inc 角度検出装置及びそれを備えたプロジェクタ
JP5266953B2 (ja) * 2008-08-19 2013-08-21 セイコーエプソン株式会社 投写型表示装置および表示方法
CN103034030B (zh) * 2011-09-30 2016-05-04 精工爱普生株式会社 投影仪以及投影仪的控制方法
JP6098045B2 (ja) * 2012-06-06 2017-03-22 セイコーエプソン株式会社 プロジェクションシステム
JP6255705B2 (ja) * 2013-04-19 2018-01-10 セイコーエプソン株式会社 プロジェクター、及びプロジェクターの制御方法
JP6127757B2 (ja) * 2013-06-14 2017-05-17 セイコーエプソン株式会社 プロジェクター、およびプロジェクターの制御方法
JP2015060012A (ja) * 2013-09-17 2015-03-30 株式会社リコー 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
CN105474638A (zh) * 2014-05-27 2016-04-06 联发科技股份有限公司 提供投射显示系统待显示的图像或视频的系统以及通过投射显示系统显示或投射图像或视频的系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
JP2004029110A (ja) * 2002-06-21 2004-01-29 Canon Inc 投射型表示装置
JP2006145613A (ja) * 2004-11-16 2006-06-08 Canon Inc 投射装置
JP2006267777A (ja) * 2005-03-25 2006-10-05 Sony Corp 情報処理装置および情報処理方法、画像表示システム、並びに、プログラム
WO2007072695A1 (ja) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co., Ltd. 画像投射装置
JP2009223331A (ja) * 2008-02-22 2009-10-01 Panasonic Electric Works Co Ltd 光投影装置、照明装置
JP2015130555A (ja) * 2014-01-06 2015-07-16 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置

Also Published As

Publication number Publication date
JPWO2018142743A1 (ja) 2019-12-19
JP6830112B2 (ja) 2021-02-17
CN110268709A (zh) 2019-09-20
US20190349556A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
KR102375307B1 (ko) 가상 현실 뷰포트를 공유하기 위한 방법, 장치, 및 시스템
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
JP6230113B2 (ja) 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム
US20150009212A1 (en) Cloud-based data processing
US9848168B2 (en) Method, synthesizing device, and system for implementing video conference
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
JPWO2021076757A5 (ja)
WO2017013986A1 (ja) 情報処理装置、端末、および、遠隔通信システム
JP6359333B2 (ja) テレコミュニケーションシステム
WO2018142743A1 (ja) 投影適否検知システム、投影適否検知方法及び投影適否検知プログラム
CN107592520B (zh) Ar设备的成像装置及成像方法
JP6412685B2 (ja) 映像投影装置
Yang et al. Infoled: Augmenting led indicator lights for device positioning and communication
JP6146869B2 (ja) 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム
JP5326816B2 (ja) 遠隔会議システム、情報処理装置、及びプログラム
WO2017086355A1 (ja) 送信装置、送信方法、受信装置、受信方法および送受信システム
Yu et al. Projective Bisector Mirror (PBM): Concept and Rationale
JP6156930B2 (ja) 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末、及びプログラム
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
JP6242009B2 (ja) 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法
US20230409266A1 (en) System and terminal apparatus
JP2012074999A (ja) 画像データ伝送システム、サーバ装置、クライアント端末、画像データ伝送方法、及び制御プログラム
KR102498870B1 (ko) 카메라 시스템 및 그의 영상처리방법
US20230360318A1 (en) Virtual view generation
WO2018016655A1 (ja) 指示装置、指示装置の制御方法、遠隔作業支援システムおよび情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895064

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018565959

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17895064

Country of ref document: EP

Kind code of ref document: A1