WO2022074739A1 - 処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022074739A1
WO2022074739A1 PCT/JP2020/037885 JP2020037885W WO2022074739A1 WO 2022074739 A1 WO2022074739 A1 WO 2022074739A1 JP 2020037885 W JP2020037885 W JP 2020037885W WO 2022074739 A1 WO2022074739 A1 WO 2022074739A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
dimensional data
input
acquisition information
data acquisition
Prior art date
Application number
PCT/JP2020/037885
Other languages
English (en)
French (fr)
Inventor
聡 辻
次朗 安倍
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US18/028,448 priority Critical patent/US20230336702A1/en
Priority to PCT/JP2020/037885 priority patent/WO2022074739A1/ja
Priority to JP2022555006A priority patent/JP7448029B2/ja
Publication of WO2022074739A1 publication Critical patent/WO2022074739A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking

Definitions

  • the present invention relates to a non-temporary computer-readable medium in which a processing device, a processing system, a processing method, and a program are stored.
  • Patent Document 1 describes a position recognition system.
  • the position recognition system of Patent Document 1 extracts a plurality of two-dimensional images with a viewpoint and a line-of-sight direction vector from point cloud data acquired by a three-dimensional scanner such as LiDAR (Light Detection and Ringing). Then, by performing feature point matching between the extracted two-dimensional image and the camera image of the object, the position of the object corresponding to the camera image on the point cloud data is specified.
  • a three-dimensional scanner such as LiDAR (Light Detection and Ringing).
  • An object of the present disclosure is to solve such a problem, and it is possible to improve visibility when displaying image data and three-dimensional data while reducing the amount of storage area used.
  • the purpose of the present invention is to provide a non-temporary computer-readable medium in which a processing device, a processing system, a processing method, and a program are stored.
  • the processing apparatus includes an image data input means for inputting image data acquired by an imaging means for photographing a display target, and image data for which image data acquisition information when the image data is acquired is input. Based on the acquired information input means, the three-dimensional data input means in which the three-dimensional data acquired by the scanning means for scanning the display target is input, and the position and the photographing direction of the photographing means in the image data acquisition information.
  • a viewpoint image generation means for determining a viewpoint position and a line-of-sight direction in the three-dimensional data and projecting the three-dimensional data onto a plane orthogonal to the line-of-sight direction, and the image data and the viewpoint image.
  • a target area extraction means for matching and extracting a target area corresponding to the image data in the viewpoint image, and a three-dimensional data display parameter generation means for generating parameters for displaying the target area are provided.
  • the processing system includes a three-dimensional data acquisition device for acquiring the three-dimensional data by the scanning means for scanning the display target, and the processing device described above.
  • the image data acquired by the photographing means for photographing the display object is input, the image data acquisition information when the image data is acquired is input, and the display object is scanned.
  • the three-dimensional data acquired by the scanning means is input, the position of the viewpoint and the line-of-sight direction in the three-dimensional data are determined based on the position and the shooting direction of the photographing means in the image data acquisition information, and the line-of-sight direction is determined.
  • a viewpoint image obtained by projecting the three-dimensional data onto orthogonal planes is generated, the image data is matched with the viewpoint image, a target area corresponding to the image data is extracted from the viewpoint image, and the target area is obtained.
  • the program according to the present disclosure inputs image data acquired by a photographing means for photographing a display object, inputs image data acquisition information when the image data is acquired, and scans the display object.
  • the three-dimensional data acquired by the means is input, the position of the viewpoint and the line-of-sight direction in the three-dimensional data are determined based on the position and the shooting direction of the photographing means in the image data acquisition information, and the direction is orthogonal to the line-of-sight direction.
  • a viewpoint image obtained by projecting the three-dimensional data onto the surface is generated, the image data is matched with the viewpoint image, a target area corresponding to the image data is extracted from the viewpoint image, and the target area is displayed. Let the computer do that, to generate the parameters to make it happen.
  • a processing device capable of improving visibility when displaying image data and three-dimensional data while reducing the amount of storage area used are stored.
  • Temporary computer readable media can be provided.
  • FIG. It is a block diagram which illustrates the processing apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram exemplifying another processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure exemplifying the image data input to the image data input unit in the processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which illustrates the image data acquisition information input to the image data acquisition information input unit in the processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which illustrates the 3D data input to the 3D data input unit in the processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which illustrates the 3D data acquisition apparatus which acquires 3D data in the processing apparatus which concerns on Embodiment 1.
  • FIG. 1 It is a figure which illustrates the viewpoint image generated by the viewpoint image generation unit, and the target area extracted by the target area extraction unit in the processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which illustrated the image data and the target area in the processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure exemplifying the display part in another processing apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which illustrates the still another processing apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which illustrates the processing method using the processing apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which illustrates the processing method using another processing apparatus which concerns on Embodiment 1.
  • FIG. 1 is a block diagram illustrating the processing apparatus according to the first embodiment.
  • the processing apparatus 10 includes an image data input unit 11, an image data acquisition information input unit 12, a three-dimensional data input unit 13, a viewpoint image generation unit 14, and a target area extraction unit 15. It includes a three-dimensional data display parameter generation unit 16.
  • the image data input unit 11, the image data acquisition information input unit 12, the three-dimensional data input unit 13, the viewpoint image generation unit 14, the target area extraction unit 15, and the three-dimensional data display parameter generation unit 16 respectively input image data. It has functions as a means, an image data acquisition information input means, a three-dimensional data input means, a viewpoint image generation means, a target area extraction means, and a three-dimensional data display parameter generation means.
  • the processing device 10 may be composed of hardware including a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an interface unit (I / F), and the like. ..
  • the CPU and the like function as a viewpoint image generation unit 14, a target area extraction unit 15, and a three-dimensional data display parameter generation unit 16, and perform data generation processing, data extraction processing, control processing, and the like.
  • data display processing may be performed as a data display function.
  • the ROM stores a data generation program, a data extraction program, a data display program, a control program, and the like executed by the CPU.
  • the RAM stores various data such as image data and three-dimensional data.
  • the interface unit (I / F) inputs and outputs signals to and from the outside.
  • the CPU, ROM, RAM and the interface unit are connected to each other via a data bus or the like.
  • FIG. 2 is a block diagram illustrating another processing apparatus according to the first embodiment.
  • the processing device 10a further includes a display unit 17.
  • the display unit 17 has a function as a display means.
  • each configuration of the processing device 10 and the processing device 10a will be described.
  • FIG. 3 is a diagram illustrating image data input to the image data input unit 11 in the processing device 10 according to the first embodiment.
  • the image data 20 is input to the image data input unit 11.
  • the image data 20 is data acquired by a photographing means for photographing a display target.
  • the photographing means is, for example, a camera.
  • the image data 20 is still image data captured by the camera.
  • the image data 20 may be one frame of a moving image taken by a camera.
  • the image data 20 includes an image to be displayed.
  • the display target is, for example, a facility to be monitored.
  • the image data input unit 11 may input image data 20 from, for example, an image data holding unit described later.
  • the image data input unit 11 may input the image data 20 directly from a shooting means such as a camera.
  • FIG. 4 is a diagram illustrating image data acquisition information input to the image data acquisition information input unit 12 in the processing device 10 according to the first embodiment.
  • image data acquisition information is input to the image data acquisition information input unit 12.
  • the image data acquisition information is information when the image data 20 input to the image data input unit 11 is acquired.
  • the image data acquisition information includes, for example, the position 21 of the photographing means, the photographing direction 22, and the angle of view 23 at the time of photographing.
  • the shooting direction 22 can be represented as a shooting direction vector indicating the shooting direction.
  • the angle of view 23 at the time of shooting includes, for example, the angle of view 23 in the vertical direction.
  • the image data acquisition information may include the information of the tilt sensor.
  • the image data acquisition information input unit 12 may input image data acquisition information from the image data acquisition information holding unit described later.
  • the image data acquisition information input unit 12 may input image data acquisition information directly from an image pickup means such as a camera.
  • FIG. 5 is a diagram illustrating three-dimensional data input to the three-dimensional data input unit 13 in the processing apparatus 10 according to the first embodiment.
  • the three-dimensional data 30 is input to the three-dimensional data input unit 13.
  • the three-dimensional data 30 is data acquired by a scanning means for scanning a display target.
  • the scanning means is, for example, a three-dimensional data acquisition device for acquiring three-dimensional data such as LiDAR. In that case, the three-dimensional data is point cloud data.
  • FIG. 6 is a diagram illustrating a three-dimensional data acquisition device that acquires three-dimensional data in the processing device 10 according to the first embodiment.
  • the three-dimensional data acquisition device may be LiDAR40.
  • the LiDAR 40 can acquire the shape of the measurement target OB as point cloud data by causing the measurement target OB to scan the beam LB such as laser light. Therefore, the LiDAR 40 can measure the distance to the measurement target OB and the shape of the measurement target OB.
  • the point cloud data includes at least a coordinate value and a brightness value.
  • the three-dimensional data 30 includes the shape data of the display target acquired by the LiDAR 40, and may further include incidental information such as luminance information.
  • incidental information such as luminance information.
  • the three-dimensional data 30 may be associated with a parameter for conversion to the world coordinate system.
  • the three-dimensional data input unit 13 may input the three-dimensional data 30 from a storage device such as a three-dimensional data holding unit, which will be described later.
  • the three-dimensional data input unit 13 may directly input the three-dimensional data 30 from a three-dimensional data acquisition device such as LiDAR 40.
  • FIG. 7 is a diagram illustrating the viewpoint image generated by the viewpoint image generation unit 14 and the target area extracted by the target area extraction unit 15 in the processing device 10 according to the first embodiment.
  • the viewpoint image generation unit 14 generates the viewpoint image 34.
  • the viewpoint image generation unit 14 first determines the position 31 and the line-of-sight direction 32 of the viewpoint in the three-dimensional data 30 based on the position 21 and the shooting direction 22 of the photographing means in the image data acquisition information. decide. Then, the viewpoint image generation unit 14 projects the three-dimensional data 30 on the surface 33 orthogonal to the line-of-sight direction 32.
  • the viewpoint image 34 is a projection of the three-dimensional data 30 on the surface 33.
  • the viewpoint image generation unit 14 generates the viewpoint image 34.
  • three-dimensional data 30 When a plurality of three-dimensional data 30 are input in a state where they are not integrated, three-dimensional data may be selected in which the image data 20 is close to the position 21 where the image data 20 is captured and the data in the shooting direction 22 is included.
  • FIG. 8 is a diagram illustrating the image data 20 and the target area 35 in the processing apparatus 10 according to the first embodiment.
  • the target area extraction unit 15 extracts the target area 35 corresponding to the image data 20 in the viewpoint image 34.
  • the target area extraction unit 15 first matches the image data 20 with the viewpoint image 34.
  • the target area extraction unit 15 matches the feature points F1 to F6 and G1 to G6 between the image data 20 and the viewpoint image 50.
  • the target area extraction unit 15 extracts feature points G1 to G6 having similar features to the feature points F1 to F6 in the image data 20 from the viewpoint image 34.
  • the target area extraction unit 15 extracts the target area 35 corresponding to the image data 20 from the three-dimensional data 30.
  • the target area 35 is a horizontal range and a vertical range orthogonal to the line-of-sight direction 32, and a depth direction range along the line-of-sight direction 32 as shown in FIG. including.
  • Matching is performed by a method such as feature point matching.
  • the three-dimensional data display parameter generation unit 16 generates a parameter for displaying the range of the target area 35 in the three-dimensional data 30. Specifically, the three-dimensional data display parameter generation unit 16 generates a parameter for displaying the target area 35 on the display unit 17.
  • the parameters include image data acquisition information, information on screen settings of a display screen on which the display unit 17 displays the target area 35, and information on the range of the target area 35.
  • the parameters include, for example, the width of the GUI (Graphical User Interface) screen, the height of the GUI screen, the coordinates of sensors such as the photographing means and the scanning means in the world coordinate system, the photographing direction vector of the photographing means, the line-of-sight direction vector of the scanning means, and the like. It includes a vector indicating the upward direction of the sensor, a display range in the depth direction (front side), a display range in the depth direction (back side), and an angle (Field of View: FOV) at which the height of the screen is the focal point.
  • the parameters may include camera parameters of a point cloud library (Point Cloud Library: PCL).
  • the world coordinate system is a common coordinate system that exists within some range. For example, it is a coordinate system common to all sensors (LiDAR, cameras) installed in the infrastructure facility. Also, for example, it is a coordinate system common to the entire earth (including latitude, longitude, and altitude).
  • LiDAR40 generally acquires 3D data 30 in a local coordinate system with the measured point as the origin. When measured at multiple locations in the facility, the coordinate systems of the three-dimensional data 30 are different from each other, but the local coordinate system of each LiDAR 40 is converted to the world coordinate system by utilizing GPS (Global Positioning System) and beacon. Is preferable.
  • GPS Global Positioning System
  • the camera can also grasp the shooting position in the world coordinate system by linking with GPS and beacon.
  • a world coordinate system with the position of a specific LiDAR 40 as the origin may be used.
  • the three-dimensional data 30 acquired by each LiDAR 40 can be aligned with each other.
  • Each three-dimensional data 30 can be converted into data in the world coordinate system.
  • the focal point may be the origin of the coordinate system of LiDAR40.
  • the width and height of the GUI screen may be obtained from the display system settings.
  • the coordinates of the sensor such as the photographing means and the scanning means in the world coordinate system may be acquired from a means for handling the world coordinate system such as GPS.
  • the shooting direction vector of the shooting means may be acquired from the shooting direction of a shooting means such as a camera.
  • the line-of-sight direction vector of the scanning means may be acquired from the shooting direction vector.
  • the vector indicating the upward direction of the sensor may be acquired from the attitude at the time of measurement of LiDAR40 and the estimation of the acquired point cloud data (extracting the ground and making it a vertical direction to the ground, etc.).
  • the display range (front) in the depth direction is matched with the point cloud image generated from the point cloud data and the camera image, and the coordinates in the depth direction from LiDAR40 are the deepest in the point cloud data corresponding to the target area of the point cloud image. It may be obtained by extracting a small one.
  • the display range (depth) in the depth direction may be obtained by extracting the one having the largest coordinate in the depth direction from LiDAR in the same manner as described above.
  • the angle at which the height of the screen is the focal point may be obtained from the FOV of the camera image.
  • FIG. 9 is a diagram illustrating the display unit 17 in another processing device 10a according to the first embodiment.
  • the display unit 17 displays the three-dimensional data 30 according to the parameters. Specifically, the display unit 17 displays the target area 35 extracted by the target area extraction unit 15 in the three-dimensional data 30.
  • the display unit 17 may display the three-dimensional data 30 side by side with the image data 20.
  • the display unit 17 may display the three-dimensional data 30 in synchronization with the image data 20. For example, when a predetermined frame of a moving image shot by a shooting means is input to the image data input unit 11 at a predetermined interval, the display unit 17 synchronizes with the timing of displaying the image data 20 of the predetermined frame. , The target area 35 corresponding to the image data 20 may be displayed.
  • FIG. 10 is a block diagram illustrating still another processing apparatus according to the first embodiment.
  • the processing device 10b may further include an image data holding unit 11a, an image data acquisition information holding unit 12a, a three-dimensional data holding unit 13a, and a screen setting holding unit 18. .
  • the image data holding unit 11a, the image data acquisition information holding unit 12a, the three-dimensional data holding unit 13a, and the screen setting holding unit 18 have image data holding means, image data acquisition information holding means, and three-dimensional data holding means, respectively. It also has a function as a screen setting holding means.
  • the processing device 10b may include only some of the image data holding unit 11a, the image data acquisition information holding unit 12a, the three-dimensional data holding unit 13a, and the screen setting holding unit 18. Further, the image data holding unit 11a, the image data acquisition information holding unit 12a, the three-dimensional data holding unit 13a, and the screen setting holding unit 18 are storage devices that function independently of the processing device 10, respectively. It may be provided. Further, the processing device 10b may further include a display unit 17.
  • the image data holding unit 11a holds the image data 20.
  • the image data holding unit 11a may hold other image data 20 as long as it holds the image data 20 acquired by the photographing means for photographing the display target.
  • the image data holding unit 11a may acquire the image data 20 from a shooting means such as a camera, or may acquire the image data 20 from another holding means that holds the image data 20.
  • the image data 20 held in the image data holding unit 11a is input from the image data holding unit 11a to the image data input unit 11.
  • the image data acquisition information holding unit 12a holds the image data acquisition information.
  • the image data acquisition information holding unit 12a may hold other image data acquisition information as long as it holds the image data acquisition information when the image data 20 is acquired.
  • the image data acquisition information holding unit 12a may acquire image data acquisition information from, for example, a shooting means such as a camera, or may acquire image data acquisition information from another holding means that holds the image data acquisition information. good.
  • the image data acquisition information is input from the image data acquisition information holding unit 12a to the image data acquisition information input unit 12.
  • the three-dimensional data holding unit 13a holds the three-dimensional data 30.
  • the three-dimensional data holding unit 13a may hold other three-dimensional data 30 as long as it holds the three-dimensional data 30 acquired by the scanning means for scanning the display target.
  • the three-dimensional data holding unit 13a may acquire the three-dimensional data 30 from a three-dimensional data acquisition device that acquires the three-dimensional data 30 by a scanning means that scans the display target, or holds the three-dimensional data 30.
  • the three-dimensional data 30 may be acquired from other holding means.
  • the three-dimensional data 30 is input from the three-dimensional data holding unit 13a to the three-dimensional data input unit 13.
  • the screen setting holding unit 18 holds the screen setting information of the display screen on which the display unit 17 displays the target area 35.
  • the screen setting information includes the height and width of the display screen for displaying the three-dimensional data 30.
  • the above parameters may include screen setting information.
  • FIG. 11 is a flowchart illustrating a processing method using the processing apparatus 10 according to the first embodiment.
  • the image data 20 is input.
  • the image data 20 acquired by the photographing means for photographing the display target is input to the image data input unit 11.
  • the image data 20 may be held in the image data holding unit 11a, and the held image data 20 may be input to the image data input unit 11.
  • the image data acquisition information is input.
  • the image data acquisition information when the image data 20 is acquired is input to the image data acquisition information input unit 12.
  • the image data acquisition information may be held in the image data acquisition information holding unit 12a, and the held image data acquisition information may be input to the image data acquisition information input unit 12.
  • the three-dimensional data 30 is input.
  • the three-dimensional data 30 acquired by the scanning means for scanning the display target is input to the three-dimensional data input unit 13.
  • the three-dimensional data 30 may be held by the three-dimensional data holding unit 13a, and the held three-dimensional data 30 may be input to the three-dimensional data input unit 13.
  • Step S11, step S12, and step S13 are not limited to this order.
  • the order may be step S13, step S11, step S12, or any other order.
  • the viewpoint image 34 is generated.
  • the viewpoint image generation unit 14 determines the position 31 of the viewpoint and the line-of-sight direction 32 in the three-dimensional data 30 based on the position 21 of the photographing means and the photographing direction 22 in the image data acquisition information. Then, the viewpoint image generation unit 14 generates the viewpoint image 34 by projecting the three-dimensional data 30 onto the surface 33 orthogonal to the line-of-sight direction 32.
  • the target area 35 is extracted.
  • the target area extraction unit 15 matches the image data 20 with the viewpoint image 34, and extracts the target area 35 corresponding to the image data 20 in the viewpoint image 34.
  • the target area 35 may include a range in the horizontal direction and a range in the vertical direction orthogonal to the line-of-sight direction 32, and a range in the depth direction along the line-of-sight direction 32.
  • the parameters are generated.
  • the three-dimensional data display parameter generation unit 16 generates a parameter for displaying the target area 35.
  • the processing device 10 can generate display parameters.
  • FIG. 12 is a flowchart illustrating a processing method using another processing apparatus 10a according to the first embodiment. Steps S21 to 26 in FIG. 12 are the same as steps S11 to 16 in FIG.
  • the target area 35 in the three-dimensional data 30 is displayed.
  • the display unit 17 displays the three-dimensional data 30 according to the parameters.
  • the three-dimensional data 30 may be displayed side by side with the image data 20.
  • the display unit 17 may display the three-dimensional data 30 in synchronization with the image data 20 when displaying the three-dimensional data 30 according to the parameters. In this way, the processing device 10a can display the three-dimensional data 30 on the display unit 17.
  • the processing devices 10a and 10b are also referred to as a processing device 10.
  • the processing device 10 of the present embodiment generates a target area 35 from which the three-dimensional data 30 corresponding to the image data 20 is extracted. Then, the processing device 10 displays the target area 35. Therefore, since the three-dimensional data can be generated and displayed at the same angle and angle of view as the image data, the visibility when displaying the image data 20 and the three-dimensional data 30 can be improved.
  • a three-dimensional data acquisition device such as LiDAR40 in addition to a camera and utilize it for monitoring.
  • the camera acquires two-dimensional RGB data (image data 20), and the LiDAR 40 acquires point cloud data (three-dimensional data 30).
  • the camera and LiDAR40 have different parameters related to the measurement range such as the angle of view.
  • the processing device 10 of the present embodiment extracts the three-dimensional data 30 corresponding to the display target and the range indicated by the image data 20. Further, the processing device 10 of the present embodiment displays the three-dimensional data 30 at the same angle and angle of view as the camera. Therefore, since the facility monitoring person can display the three-dimensional data 30 corresponding to the image data 20, the state of the monitored facility can be confirmed with good visibility.
  • the processing device 10 may display the three-dimensional data 30 side by side with the image data 20, or may display the three-dimensional data 30 in synchronization with the image data 20. As a result, the visibility of the image data 20 and the three-dimensional data 30 can be further improved.
  • the processing device 10 of the present embodiment extracts the target area 35 corresponding to the image data 20 from the input three-dimensional data 30. Therefore, it is necessary to prepare in advance three-dimensional data 30 converted into image data from various viewpoint positions 31 and line-of-sight directions 32 so as to correspond to image data 20 shot from various shooting positions 21 and shooting directions 22. not. Therefore, the amount of storage area used can be suppressed.
  • Image data 20 image data acquisition information, three-dimensional data 30, and screen setting information are transmitted to the image data holding unit 11a, the image data acquisition information holding unit 12a, the three-dimensional data holding unit 13a, and the screen setting holding unit 18.
  • the amount of storage area used can be further suppressed.
  • the processing system includes the above-mentioned processing device 10 (the processing devices 10a and 10b are also referred to as a processing device 10) and a three-dimensional data acquisition unit.
  • the three-dimensional data acquisition unit has a function as a three-dimensional data acquisition means.
  • the three-dimensional data acquisition unit includes scanning means, and acquires three-dimensional data by scanning means that scans the display target.
  • the three-dimensional data acquisition unit is, for example, LiDAR40. In that case, the three-dimensional data is point cloud data whose display target is acquired by LiDAR40.
  • the processing method according to the present embodiment further includes a step of acquiring the three-dimensional data 30 by the scanning means for scanning the display target in the processing method of the first embodiment.
  • the processing system according to the present embodiment includes a three-dimensional data acquisition unit in addition to the processing device 10, it is possible to display the three-dimensional data 30 to be displayed located at a desired location.
  • Other configurations and effects are included in the description of the first embodiment.
  • An image data input means for inputting image data acquired by a shooting means for shooting a display target, and an image data input means.
  • An image data acquisition information input means for inputting image data acquisition information when the image data is acquired, and an image data acquisition information input means.
  • a three-dimensional data input means for inputting three-dimensional data acquired by the scanning means for scanning the display target, and a three-dimensional data input means.
  • the viewpoint image generation means to generate A target area extraction means for matching the image data with the viewpoint image and extracting a target area corresponding to the image data in the viewpoint image.
  • a three-dimensional data display parameter generation means for generating parameters for displaying the target area, and A processing device equipped with.
  • (Appendix 2) Further provided with a display means for displaying the three-dimensional data according to the parameters.
  • the processing apparatus according to Appendix 1. (Appendix 3) The display means displays the three-dimensional data side by side with the image data.
  • the display means displays the three-dimensional data in synchronization with the image data.
  • the display means further includes a screen setting holding means for holding the screen setting information of the display screen displaying the target area.
  • the parameter includes the screen setting information.
  • the processing apparatus according to any one of Supplementary note 2 to 4.
  • the target area includes a horizontal range and a vertical range orthogonal to the line-of-sight direction, and a depth range along the line-of-sight direction.
  • the processing apparatus according to any one of Supplementary note 1 to 5.
  • the processing apparatus according to any one of Supplementary note 1 to 6.
  • the parameters include the width of the GUI screen, the height of the GUI screen, the coordinates of the photographing means and the scanning means in the world coordinate system, the photographing direction vector of the photographing means, the line-of-sight direction vector of the scanning means, and the upward direction of the photographing means and the scanning means. Includes at least one of the vector indicating, the display range in the depth direction, and the FOV.
  • the processing apparatus according to any one of Supplementary note 1 to 9.
  • (Appendix 11) A three-dimensional data acquisition device that acquires the three-dimensional data by the scanning means for scanning the display target, and a three-dimensional data acquisition device.
  • the processing apparatus according to any one of Supplementary note 1 to 10 and the processing apparatus. Processing system equipped with.
  • (Appendix 12) Input the image data acquired by the shooting means to shoot the display target, The image data acquisition information when the image data was acquired is input, and the image data acquisition information is input.
  • the three-dimensional data acquired by the scanning means for scanning the display target is input, and the data is input.
  • To generate The image data and the viewpoint image are matched, and a target area corresponding to the image data is extracted from the viewpoint image. Generate a parameter for displaying the target area, Processing method.
  • the target area includes a horizontal range and a vertical range orthogonal to the line-of-sight direction, and a depth range along the line-of-sight direction.
  • the processing method according to any one of Supplementary note 12 to 16. The image data is retained, Input the retained image data, The processing method according to any one of Supplementary note 12 to 17.
  • the image data acquisition information is retained, and the image data acquisition information is retained. Input the retained image data acquisition information, The processing method according to any one of Supplementary Provisions 12 to 18.
  • the parameters include the width of the GUI screen, the height of the GUI screen, the coordinates of the photographing means and the scanning means in the world coordinate system, the photographing direction vector of the photographing means, the line-of-sight direction vector of the scanning means, and the upward direction of the photographing means and the scanning means. Including at least one of the vector indicating, the display range in the depth direction, and the FOV.
  • the processing method according to any one of Supplementary note 12 to 20.
  • Appendix 22 A three-dimensional data acquisition device that acquires the three-dimensional data by the scanning means that scans the display target is made to acquire the three-dimensional data.
  • (Appendix 23) Input the image data acquired by the shooting means to shoot the display target, The image data acquisition information when the image data was acquired is input, and the image data acquisition information is input.
  • the three-dimensional data acquired by the scanning means for scanning the display target is input, and the data is input.
  • To generate The image data and the viewpoint image are matched, and a target area corresponding to the image data is extracted from the viewpoint image.
  • a non-temporary computer-readable medium that contains a program that causes a computer to do things.
  • Appendix 24 Displaying the three-dimensional data according to the parameters.
  • Appendix 25 When displaying the three-dimensional data according to the parameters, the three-dimensional data is displayed side by side with the image data.
  • Appendix 26 When displaying the three-dimensional data according to the parameters, the three-dimensional data is displayed in synchronization with the image data.
  • the screen setting information of the display screen for displaying the target area is retained, and the screen setting information is retained.
  • the parameter is to include the screen setting information.
  • the target area includes a horizontal range and a vertical range orthogonal to the line-of-sight direction, and a depth range along the line-of-sight direction.
  • the parameters include the width of the GUI screen, the height of the GUI screen, the coordinates of the photographing means and the scanning means in the world coordinate system, the photographing direction vector of the photographing means, the line-of-sight direction vector of the scanning means, and the upward direction of the photographing means and the scanning means. Including at least one of the vector indicating, the display range in the depth direction, and the FOV.
  • a three-dimensional data acquisition device that acquires the three-dimensional data by the scanning means that scans the display target is made to acquire the three-dimensional data.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (ReadOnlyMemory), CD-Rs, Includes CD-R / W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (RandomAccessMemory)).
  • the program may also be supplied to the computer by various types of transient computer readable medium.
  • Examples of temporary computer readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Abstract

画像データと三次元データとを表示させる際の視認性を向上させることができる処理装置、処理システム、処理方法及びプログラムを提供する。処理装置（１０）は、画像データ（２０）が入力される画像データ入力手段と、画像データ取得情報が入力される画像データ取得情報入力手段と、三次元データ（３０）が入力される三次元データ入力手段と、撮影手段の位置（２１）及び撮影方向（２２）に基づいて、三次元データ（３０）を投影した視点画像（３４）を生成する視点画像生成手段と、画像データ（２０）と視点画像（３４）とをマッチングし、視点画像（３４）において、画像データ（２０）に対応する対象領域（３５）を抽出する対象領域抽出手段と、対象領域（３５）を表示するためのパラメータを生成するパラメータ生成手段と、備える。

Description

処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　特許文献１には、位置認識システムが記載されている。特許文献１の位置認識システムは、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）等の三次元スキャナで取得した点群データに対して、視点と視線方向ベクトルを付帯した二次元画像を複数抽出する。そして、抽出した二次元画像と、対象物のカメラ画像との間で特徴点マッチングをすることで、カメラ画像に対応する対象物の点群データ上での位置を特定する。
特開２０１８－０７７８３７号公報
　特許文献１の位置認識システムでは、点群データを様々な視点・画角から画像データ化したデータをあらかじめ用意し、それと画像データのマッチングを行っている。よって、点群画像生成による記憶領域の圧迫といった問題を引き起こす。今後、ドローンやクローラー（地上走行ロボット）による監視形態が広がると、取得するデータ量は増大し、この問題はより顕著になる。
　本開示の目的は、このような課題を解決するためになされたものであり、記憶領域の使用量を抑えつつ、画像データと三次元データとを表示する際の視認性を向上させることができる処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
　本開示に係る処理装置は、表示対象を撮影する撮影手段により取得された画像データが入力される画像データ入力手段と、前記画像データが取得された際の画像データ取得情報が入力される画像データ取得情報入力手段と、前記表示対象を走査する走査手段により取得された三次元データが入力される三次元データ入力手段と、前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定し、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成する視点画像生成手段と、前記画像データと前記視点画像とをマッチングし、前記視点画像において、前記画像データに対応する対象領域を抽出する対象領域抽出手段と、前記対象領域を表示するためのパラメータを生成する三次元データ表示パラメータ生成手段と、備える。
　また、本開示に係る処理システムは、前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置と、上記記載の処理装置と、を備える。
　さらに、本開示に係る処理方法は、表示対象を撮影する撮影手段により取得された画像データを入力させ、前記画像データが取得された際の画像データ取得情報を入力させ、前記表示対象を走査する走査手段により取得された三次元データを入力させ、前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、前記対象領域を表示させるためのパラメータを生成させる。
　また、本開示に係るプログラムは、表示対象を撮影する撮影手段により取得された画像データを入力させ、前記画像データが取得された際の画像データ取得情報を入力させ、前記表示対象を走査する走査手段により取得された三次元データを入力させ、前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、前記対象領域を表示させるためのパラメータを生成させる、ことをコンピュータに実行させる。
　本開示によれば、記憶領域の使用量を抑えつつ、画像データと三次元データとを表示する際の視認性を向上させることができる処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施形態１に係る処理装置を例示したブロック図である。 実施形態１に係る別の処理装置を例示したブロック図である。 実施形態１に係る処理装置において、画像データ入力部に入力される画像データを例示した図である。 実施形態１に係る処理装置において、画像データ取得情報入力部に入力される画像データ取得情報を例示した図である。 実施形態１に係る処理装置において、三次元データ入力部に入力される三次元データを例示した図である。 実施形態１に係る処理装置において、三次元データを取得する三次元データ取得装置を例示した図である。 実施形態１に係る処理装置において、視点画像生成部が生成した視点画像及び対象領域抽出部が抽出した対象領域を例示した図である。 実施形態１に係る処理装置において、画像データ及び対象領域を例示した図である。 実施形態１に係る別の処理装置において、表示部を例示した図である。 実施形態１に係るさらに別の処理装置を例示したブロック図である。 実施形態１に係る処理装置を用いた処理方法を例示したフローチャート図である。 実施形態１に係る別の処理装置を用いた処理方法を例示したフローチャート図である。
　以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
　（実施形態１）
　実施形態１に係る処理装置を説明する。図１は、実施形態１に係る処理装置を例示したブロック図である。図１に示すように、処理装置１０は、画像データ入力部１１と、画像データ取得情報入力部１２と、三次元データ入力部１３と、視点画像生成部１４と、対象領域抽出部１５と、三次元データ表示パラメータ生成部１６と、を備えている。画像データ入力部１１、画像データ取得情報入力部１２、三次元データ入力部１３、視点画像生成部１４、対象領域抽出部１５、及び、三次元データ表示パラメータ生成部１６は、それぞれ、画像データ入力手段、画像データ取得情報入力手段、三次元データ入力手段、視点画像生成手段、対象領域抽出手段、及び、三次元データ表示パラメータ生成手段としての機能を有している。
　処理装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、インターフェイス部（Ｉ／Ｆ）等からなるマイクロコンピュータを含むハードウェアで構成されてもよい。ＣＰＵ等は、視点画像生成部１４、対象領域抽出部１５、三次元データ表示パラメータ生成部１６として機能し、データ生成処理、データ抽出処理及び制御処理等を行う。なお、データ表示機能としてデータ表示処理を行ってもよい。ＲＯＭは、ＣＰＵによって実行されるデータ生成プログラム、データ抽出プログラム、データ表示プログラム及び制御プログラム等を記憶する。ＲＡＭは、画像データ及び三次元データ等の各種のデータを記憶する。インターフェイス部（Ｉ／Ｆ）は、外部と信号の入出力を行う。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。
　図２は、実施形態１に係る別の処理装置を例示したブロック図である。図２に示すように、処理装置１０ａは、表示部１７をさらに備えている。表示部１７は、表示手段としての機能を有している。以下で、処理装置１０及び処理装置１０ａの各構成を説明する。
　＜画像データ入力部＞
　図３は、実施形態１に係る処理装置１０において、画像データ入力部１１に入力される画像データを例示した図である。図３に示すように、画像データ入力部１１には、画像データ２０が入力される。画像データ２０は、表示対象を撮影する撮影手段により取得されたデータである。撮影手段は、例えば、カメラである。その場合には、画像データ２０は、カメラで撮像した静止画像のデータである。画像データ２０は、カメラで撮影された動画の１フレームでもよい。画像データ２０は、表示対象の画像を含んでいる。表示対象は、例えば、監視対象とされる施設等である。
　画像データ入力部１１は、例えば、後述する画像データ保持部から画像データ２０を入力されてもよい。画像データ入力部１１は、カメラ等の撮影手段から直接、画像データ２０を入力されてもよい。
　＜画像データ取得情報入力部＞
　図４は、実施形態１に係る処理装置１０において、画像データ取得情報入力部１２に入力される画像データ取得情報を例示した図である。図４に示すように、画像データ取得情報入力部１２には、画像データ取得情報が入力される。画像データ取得情報は、画像データ入力部１１に入力される画像データ２０が取得された際の情報である。画像データ取得情報は、例えば、撮影手段の位置２１、撮影方向２２、及び、撮影時の画角２３を含んでいる。撮影方向２２は、撮影方向を示す撮影方向ベクトルとして表すことができる。撮影時の画角２３は、例えば、鉛直方向の画角２３を含む。撮影手段が地面などの基準面に対して平行でない場合には、画像データ取得情報は、傾きセンサの情報を含んでもよい。
　画像データ取得情報入力部１２は、後述する画像データ取得情報保持部から画像データ取得情報を入力されてもよい。画像データ取得情報入力部１２は、カメラ等の撮像手段から直接、画像データ取得情報を入力されてもよい。
　＜三次元データ入力部＞
　図５は、実施形態１に係る処理装置１０において、三次元データ入力部１３に入力される三次元データを例示した図である。図５に示すように、三次元データ入力部１３には、三次元データ３０が入力される。三次元データ３０は、表示対象を走査する走査手段により取得されたデータである。走査手段は、例えば、ＬｉＤＡＲ等の三次元データを取得する三次元データ取得装置である。その場合には、三次元データは、点群データである。
　図６は、実施形態１に係る処理装置１０において、三次元データを取得する三次元データ取得装置を例示した図である。図６に示すように、三次元データ取得装置は、ＬｉＤＡＲ４０でもよい。ＬｉＤＡＲ４０は、測定対象ＯＢに対してレーザ光等のビームＬＢをスキャンさせることにより、測定対象ＯＢの形状を点群データとして取得することができる。よって、ＬｉＤＡＲ４０は、測定対象ＯＢまでの距離及び測定対象ＯＢの形状を測定することができる。点群データは、少なくとも座標値及び輝度値を含む。
　例えば、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式のＬｉＤＡＲ４０の原理は、以下のとおりである。すなわち、ＬｉＤＡＲ４０は、レーザ光等のビームＬＢを発光する発光部ＥＭと、ビームＬＢが測定対象ＯＢで反射した反射光ＲＢを検出する検出部ＤＥと、を備えている。ＬｉＤＡＲ４０は、ビームＬＢを所定の画角で測定対象ＯＢに対してスキャンさせながら、測定対象ＯＢで反射した反射光ＲＢを検出する。そして、ＬｉＤＡＲ４０は、ビームＬＢが測定対象ＯＢに到達するまでの時間ｔ１と、反射光ＲＢが検出部ＤＥに到達するまでの時間ｔ２を用いて、測定対象ＯＢまでの距離Ｄを、Ｄ＝（ｔ２－ｔ１）／２×（光の速さ）から算出する。これにより、ＬｉＤＡＲ４０は、スキャンした範囲におけるスキャンデータとして、測定対象ＯＢまでの距離を含んだ座標値及び輝度値を有する点群データを取得することができる。
　三次元データ３０は、ＬｉＤＡＲ４０により取得された表示対象の形状データを含み、さらに、輝度情報等の付帯情報を含んでもよい。複数の位置から複数の三次元データ３０を取得した場合には、複数の三次元データ３０を統合しておくことが望ましい。例えば、監視対象の施設内の複数地点から三次元データ３０を取得した場合には、事前に位置合わせを行い、統合しておくことが望ましい。三次元データ３０は、世界座標系に変換するためのパラメータと対応付けられてもよい。
　三次元データ入力部１３は、後述する三次元データ保持部等の記憶装置から三次元データ３０を入力されてもよい。三次元データ入力部１３は、ＬｉＤＡＲ４０等の三次元データ取得装置から直接、三次元データ３０を入力されてもよい。
　＜視点画像生成部＞
　図７は、実施形態１に係る処理装置１０において、視点画像生成部１４が生成した視点画像及び対象領域抽出部１５が抽出した対象領域を例示した図である。図７に示すように、視点画像生成部１４は、視点画像３４を生成する。視点画像３４を生成するために、視点画像生成部１４は、まず、画像データ取得情報における撮影手段の位置２１及び撮影方向２２に基づいて、三次元データ３０における視点の位置３１及び視線方向３２を決定する。そして、視点画像生成部１４は、視線方向３２に直交した面３３に三次元データ３０を投影する。視点画像３４は、面３３に三次元データ３０を投影したものである。このようにして、視点画像生成部１４は、視点画像３４を生成する。複数の三次元データ３０が統合されていない状態で入力された場合には、画像データ２０が撮影された位置２１に近く、撮影方向２２のデータが含まれる三次元データを選択してもよい。
　＜対象領域抽出部＞
　図８は、実施形態１に係る処理装置１０において、画像データ２０及び対象領域３５を例示した図である。図７及び図８に示すように、対象領域抽出部１５は、視点画像３４において、画像データ２０に対応する対象領域３５を抽出する。対象領域３５を抽出するために、対象領域抽出部１５は、まず、画像データ２０と視点画像３４とをマッチングする。例えば、対象領域抽出部１５は、画像データ２０と視点画像５０との間で、特徴点Ｆ１～Ｆ６及びＧ１～Ｇ６のマッチングを行う。具体的には、対象領域抽出部１５は、画像データ２０における特徴点Ｆ１～Ｆ６に特徴が類似する特徴点Ｇ１～Ｇ６を視点画像３４から抽出する。そして、対象領域抽出部１５は、画像データ２０に相当する対象領域３５を三次元データ３０から抽出する。図７及び図８に示すように、対象領域３５は、視線方向３２に直交した水平方向の範囲及び鉛直方向の範囲、並びに、図７に示すように、視線方向３２に沿った奥行方向の範囲を含む。マッチングは、例えば、特徴点マッチングなどの手法で行う。
　＜三次元データ表示パラメータ生成部＞
　三次元データ表示パラメータ生成部１６は、三次元データ３０のうち、対象領域３５の範囲を表示するためのパラメータを生成する。具体的には、三次元データ表示パラメータ生成部１６は、対象領域３５を表示部１７に表示するパラメータを生成する。パラメータは、画像データ取得情報、表示部１７が対象領域３５を表示する表示画面の画面設定の情報、対象領域３５の範囲の情報が含まれる。
　パラメータは、例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面の幅、ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段等のセンサの座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、センサの上方向を示すベクトル、奥行方向の表示範囲（手前側）、奥行方向の表示範囲（奥側）、画面の高さが焦点となす角度（Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ：ＦＯＶ）を含む。パラメータは、点群ライブラリ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｌｉｂｒａｒｙ：ＰＣＬ）のカメラパラメータを含んでもよい。
　世界座標系におけるセンサの座標において、世界座標系は、何らかの範囲内に存在するもの共通の座標系のことである。例えば、インフラ施設内に設置する全てのセンサ（ＬｉＤＡＲ、カメラ）共通の座標系である。また、例えば、地球全体で共通の座標系（緯度、経度、高度を含む）である。
　ＬｉＤＡＲ４０は、一般的に測定した地点を原点とするローカル座標系で三次元データ３０を取得する。施設の複数個所で測定した場合には、それらの三次元データ３０の座標系は互いに異なるが、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅ）やビーコンの活用により、各ＬｉＤＡＲ４０のローカル座標系を世界座標系に変換することが好ましい。
　カメラもＧＰＳやビーコンとの連携により世界座標系で撮影位置を把握できることが好ましい。特定のＬｉＤＡＲ４０の位置を原点とした世界座標系を用いてもよく、その場合には、三次元データ３０であれば、各ＬｉＤＡＲ４０が取得した三次元データ３０同士を位置合わせすることができるし、各三次元データ３０を世界座標系のデータに変換することができる。
　ＦＯＶにおいて、ＬｉＤＡＲ４０の場合には、焦点がＬｉＤＡＲ４０の座標系の原点としてもよい。
　以下に、パラメータ及びパラメータの取得手段の例を示す。すなわち、ＧＵＩ画面の幅及び高さは、表示システム設定から取得してもよい。世界座標系における撮影手段及び走査手段等のセンサの座標は、ＧＰＳ等の世界座標系を扱えるようにする手段から取得してもよい。撮影手段の撮影方向ベクトルは、カメラ等の撮影手段の撮影方向から取得してもよい。走査手段の視線方向ベクトルは、撮影方向ベクトルから取得してもよい。センサの上方向を示すベクトルは、ＬｉＤＡＲ４０の測定時の姿勢、取得した点群データの推定（地面を抽出し、それに対して鉛直な方向とする、等）から取得してもよい。奥行方向の表示範囲（手前）は、点群データから生成した点群画像とカメラ画像でマッチングを行い、点群画像の対象領域に相当する点群データの中でＬｉＤＡＲ４０から最も奥行き方向の座標が小さいものを抽出することにより取得してもよい。奥行方向の表示範囲（奥）は、上記と同様にして、ＬｉＤＡＲから最も奥行き方向の座標が大きいものを抽出することにより取得してもよい。画面の高さが焦点となす角度は、カメラ画像のＦＯＶから取得してもよい。
　＜表示部＞
　図９は、実施形態１に係る別の処理装置１０ａにおいて、表示部１７を例示した図である。図９に示すように、表示部１７は、三次元データ３０をパラメータに従って表示する。具体的には、表示部１７は、三次元データ３０のうち、対象領域抽出部１５が抽出した対象領域３５を表示する。表示部１７は、画像データ２０と並べて、三次元データ３０を表示してもよい。
　また、表示部１７は、画像データ２０と同期させて、三次元データ３０を表示してもよい。例えば、撮影手段により撮影された動画の所定のフレームが所定の間隔で画像データ入力部１１に入力される場合に、表示部１７は、所定のフレームの画像データ２０を表示させるタイミングに同期させて、画像データ２０に対応した対象領域３５を表示させてもよい。
　図１０は、実施形態１に係るさらに別の処理装置を例示したブロック図である。図１０に示すように、処理装置１０ｂは、さらに、画像データ保持部１１ａと、画像データ取得情報保持部１２ａと、三次元データ保持部１３ａと、画面設定保持部１８と、を備えてもよい。画像データ保持部１１ａ、画像データ取得情報保持部１２ａ、三次元データ保持部１３ａ、及び、画面設定保持部１８は、それぞれ、画像データ保持手段、画像データ取得情報保持手段、三次元データ保持手段、及び、画面設定保持手段としての機能を有している。
　なお、処理装置１０ｂは、画像データ保持部１１ａ、画像データ取得情報保持部１２ａ、三次元データ保持部１３ａ、及び、画面設定保持部１８のいくつかだけを備えてもよい。また、画像データ保持部１１ａ、画像データ取得情報保持部１２ａ、三次元データ保持部１３ａ、及び、画面設定保持部１８は、それぞれ、単体で機能する記憶装置として、処理装置１０とは独立して設けられてもよい。また、処理装置１０ｂは、表示部１７をさらに備えてもよい。
　＜画像データ保持部＞
　画像データ保持部１１ａは、画像データ２０を保持する。画像データ保持部１１ａは、表示対象を撮影する撮影手段により取得された画像データ２０を保持していれば、それ以外の他の画像データ２０を保持してもよい。画像データ保持部１１ａは、例えば、カメラ等の撮影手段から画像データ２０を取得してもよいし、画像データ２０を保持した他の保持手段から画像データ２０を取得してもよい。画像データ保持部１１ａに保持された画像データ２０は、画像データ保持部１１ａから、画像データ入力部１１に入力される。
　＜画像データ取得情報保持部＞
　画像データ取得情報保持部１２ａは、画像データ取得情報を保持する。画像データ取得情報保持部１２ａは、画像データ２０が取得された際の画像データ取得情報を保持していれば、それ以外の他の画像データ取得情報を保持してもよい。画像データ取得情報保持部１２ａは、例えば、カメラ等の撮影手段から画像データ取得情報を取得してもよいし、画像データ取得情報を保持した他の保持手段から画像データ取得情報を取得してもよい。画像データ取得情報は、画像データ取得情報保持部１２ａから、画像データ取得情報入力部１２に入力される。
　＜三次元データ保持部＞
　三次元データ保持部１３ａは、三次元データ３０を保持する。三次元データ保持部１３ａは、表示対象を走査する走査手段により取得された三次元データ３０を保持していれば、それ以外の他の三次元データ３０を保持してもよい。三次元データ保持部１３ａは、例えば、表示対象を走査する走査手段により三次元データ３０を取得する三次元データ取得装置から三次元データ３０を取得してもよいし、三次元データ３０を保持した他の保持手段から三次元データ３０を取得してもよい。三次元データ３０は、三次元データ保持部１３ａから、三次元データ入力部１３に入力される。
　＜画面設定保持部＞
　画面設定保持部１８は、表示部１７が対象領域３５を表示する表示画面の画面設定情報を保持する。画面設定情報は、三次元データ３０を表示する表示画面の高さ、幅を含む。前述のパラメータは、画面設定情報を含んでもよい。
　＜処理方法＞
　次に、本実施形態に係る処理装置１０を用いた処理方法を説明する。図１１は、実施形態１に係る処理装置１０を用いた処理方法を例示したフローチャート図である。
　図１１のステップＳ１１及び図３に示すように、画像データ２０を入力させる。例えば、表示対象を撮影する撮影手段により取得された画像データ２０を、画像データ入力部１１に入力させる。なお、画像データ２０を画像データ保持部１１ａに保持させ、保持させた画像データ２０を画像データ入力部１１に入力させてもよい。
　次に、ステップＳ１２及び図４に示すように、画像データ取得情報を入力させる。例えば、画像データ２０が取得された際の画像データ取得情報を、画像データ取得情報入力部１２に入力させる。なお、画像データ取得情報を画像データ取得情報保持部１２ａに保持させ、保持させた画像データ取得情報を画像データ取得情報入力部１２に入力させてもよい。
　次に、ステップＳ１３及び図５に示すように、三次元データ３０を入力させる。例えば、表示対象を走査する走査手段により取得された三次元データ３０を、三次元データ入力部１３に入力させる。なお、三次元データ３０を三次元データ保持部１３ａに保持させ、保持させた三次元データ３０を三次元データ入力部１３に入力させてもよい。
　ステップＳ１１、ステップＳ１２、ステップＳ１３は、この順序にかぎらない。例えば、ステップＳ１３、ステップＳ１１、ステップＳ１２の順序でもよいし、その他の順序でもよい。
　次に、ステップＳ１４及び図７に示すように、視点画像３４を生成する。例えば、視点画像生成部１４は、画像データ取得情報における撮影手段の位置２１及び撮影方向２２に基づいて、三次元データ３０における視点の位置３１及び視線方向３２を決定する。そして、視点画像生成部１４は、視線方向３２に直交した面３３に三次元データ３０を投影した視点画像３４を生成する。
　次に、ステップＳ１５及び図７～図８に示すように、対象領域３５を抽出する。例えば、対象領域抽出部１５は、画像データ２０と視点画像３４とをマッチングさせ、視点画像３４において、画像データ２０に対応する対象領域３５を抽出する。対象領域３５は、視線方向３２に直交した水平方向の範囲及び鉛直方向の範囲、並びに、視線方向３２に沿った奥行方向の範囲を含むようにしてもよい。
　次に、ステップＳ１６に示すように、パラメータを生成させる。例えば、三次元データ表示パラメータ生成部１６は、対象領域３５を表示させるためのパラメータを生成する。このようにして、処理装置１０は、表示パラメータを生成することができる。
　次に、表示パラメータを用いて表示部１７に表示させる処理方法を説明する。図１２は、実施形態１に係る別の処理装置１０ａを用いた処理方法を例示したフローチャート図である。図１２におけるステップＳ２１～２６は、図１１におけるステップＳ１１～１６と同様である。
　次に、ステップＳ２７及び図９に示すように、三次元データ３０における対象領域３５を表示させる。例えば、表示部１７は、三次元データ３０をパラメータに従って表示する。三次元データ３０をパラメータに従って表示させる際に、画像データ２０と並べて、三次元データ３０を表示させてもよい。また、表示部１７は、三次元データ３０をパラメータに従って表示する際に、画像データ２０と同期させて、三次元データ３０を表示してもよい。このようにして、処理装置１０ａは、三次元データ３０を表示部１７に表示させることができる。
　次に、本実施形態の処理装置１０の効果を説明する。なお、処理装置１０ａ及び１０ｂも含めて処理装置１０と呼ぶ。本実施形態の処理装置１０は、画像データ２０に対応する三次元データ３０を抽出した対象領域３５を生成する。そして、処理装置１０は、対象領域３５を表示する。よって、画像データと同じアングル及び画角で三次元データを生成及び表示することができるので、画像データ２０と三次元データ３０とを表示する際の視認性を向上させることができる。
　例えば、電力施設等を監視する施設監視において、カメラの他、ＬｉＤＡＲ４０等の三次元データ取得装置を用いてデータを取得し、監視に活用するということが考えられる。カメラは、二次元のＲＧＢデータ（画像データ２０）を取得し、ＬｉＤＡＲ４０は、点群データ（三次元データ３０）を取得する。カメラ及びＬｉＤＡＲ４０は、画角等の測定範囲に関するパラメータが異なる。
　本実施形態の処理装置１０は、画像データ２０が示す表示対象や範囲に対応する三次元データ３０を抽出する。また、本実施形態の処理装置１０は、カメラと同じアングルや画角で三次元データ３０を表示する。よって、施設監視担当者は、画像データ２０に対応する三次元データ３０を表示させることができるので、監視対象施設の状態を視認性良く確認することができる。
　処理装置１０は、画像データ２０と並べて、三次元データ３０を表示してもよいし、画像データ２０と同期させて、三次元データ３０を表示してもよい。これにより、さらに、画像データ２０と三次元データ３０との視認性を向上させることができる。
　本実施形態の処理装置１０は、入力された三次元データ３０から画像データ２０に対応した対象領域３５を抽出する。よって、様々な撮影の位置２１及び撮影方向２２から撮影される画像データ２０に対応するように、様々な視点の位置３１及び視線方向３２から画像データ化した三次元データ３０をあらかじめ用意する必要がない。よって、記憶領域の使用量を抑制することができる。
　画像データ２０、画像データ取得情報、三次元データ３０、及び、画面設定情報を、画像データ保持部１１ａ、画像データ取得情報保持部１２ａ、三次元データ保持部１３ａ、及び、画面設定保持部１８に保持させることにより、さらに、記憶領域の使用量を抑制することができる。
　（実施形態２）
　次に、実施形態２に係る処理システムを説明する。処理システムは、上述した処理装置１０（処理装置１０ａ及び１０ｂも含めて処理装置１０と呼ぶ。）と、三次元データ取得部と、を備えている。三次元データ取得部は、三次元データ取得手段としての機能を有している。三次元データ取得部は、走査手段を含み、表示対象を走査する走査手段により三次元データを取得する。三次元データ取得部は、例えば、ＬｉＤＡＲ４０である。その場合には、三次元データは、表示対象をＬｉＤＡＲ４０によって取得された点群データである。本実施形態に係る処理方法は、実施形態１の処理方法に、表示対象を走査する走査手段により三次元データ３０を取得させるステップをさらに備える。
　本実施形態に係る処理システムは、処理装置１０に加えて、三次元データ取得部を備えているので、所望の場所に位置する表示対象の三次元データ３０を表示させることができる。これ以外の構成及び効果は、実施形態１の記載に含まれている。
　以上、実施形態１及び２を参照して本願発明を説明したが、本願発明は、上記実施形態１及び２に限られたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることが可能である。例えば、実施形態１及び２の各構成を組み合わせた実施形態も、技術的思想の範囲に含まれる。また、実施形態１及び２の処理方法を、コンピュータに実行させるプログラムも実施形態１及び２の技術的範囲に含まれる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　表示対象を撮影する撮影手段により取得された画像データが入力される画像データ入力手段と、
　前記画像データが取得された際の画像データ取得情報が入力される画像データ取得情報入力手段と、
　前記表示対象を走査する走査手段により取得された三次元データが入力される三次元データ入力手段と、
　前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定し、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成する視点画像生成手段と、
　前記画像データと前記視点画像とをマッチングし、前記視点画像において、前記画像データに対応する対象領域を抽出する対象領域抽出手段と、
　前記対象領域を表示するためのパラメータを生成する三次元データ表示パラメータ生成手段と、
　を備えた処理装置。
　（付記２）
　前記三次元データを前記パラメータに従って表示する表示手段をさらに備えた、
　付記１に記載の処理装置。
　（付記３）
　前記表示手段は、前記画像データと並べて、前記三次元データを表示する、
　付記２に記載の処理装置。
　（付記４）
　前記表示手段は、前記画像データと同期させて、前記三次元データを表示する、
　付記２または３に記載の処理装置。
　（付記５）
　前記表示手段が前記対象領域を表示する表示画面の画面設定情報を保持する画面設定保持手段をさらに備え、
　前記パラメータは、前記画面設定情報を含む、
　付記２～４のいずれか１項に記載の処理装置。
　（付記６）
　前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含む、
　付記１～５のいずれか１項に記載の処理装置。
　（付記７）
　前記画像データを保持する画像データ保持手段をさらに備え、
　前記画像データは、前記画像データ保持手段から、前記画像データ入力手段に入力される、
　付記１～６のいずれか１項に記載の処理装置。
　（付記８）
　前記画像データ取得情報を保持する画像データ取得情報保持手段をさらに備え、
　前記画像データ取得情報は、前記画像データ取得情報保持手段から、前記画像データ取得情報入力手段に入力される、
　付記１～７のいずれか１項に記載の処理装置。
　（付記９）
　前記三次元データを保持する三次元データ保持手段をさらに備え、
　前記三次元データは、前記三次元データ保持手段から、前記三次元データ入力手段に入力される、
　付記１～８のいずれか１項に記載の処理装置。
　（付記１０）
　前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含む、
　付記１～９のいずれか１項に記載の処理装置。
　（付記１１）
　前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置と、
　付記１～１０のいずれか１項に記載の処理装置と、
　を備えた処理システム。
　（付記１２）
　表示対象を撮影する撮影手段により取得された画像データを入力させ、
　前記画像データが取得された際の画像データ取得情報を入力させ、
　前記表示対象を走査する走査手段により取得された三次元データを入力させ、
　前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
　前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
　前記対象領域を表示させるためのパラメータを生成させる、
　処理方法。
　（付記１３）
　前記三次元データを前記パラメータに従って表示させる、
　付記１２に記載の処理方法。
　（付記１４）
　前記三次元データを前記パラメータに従って表示させる際に、前記画像データと並べて、前記三次元データを表示させる、
　付記１３に記載の処理方法。
　（付記１５）
　前記三次元データを前記パラメータに従って表示させる際に、前記画像データと同期させて、前記三次元データを表示させる、
　付記１３または１４に記載の処理方法。
　（付記１６）
　前記対象領域を表示させる表示画面の画面設定情報を保持させ、
　前記パラメータは、前記画面設定情報を含むようにする、
　付記１３～１５のいずれか１項に記載の処理方法。
　（付記１７）
　前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含むようにする、
　付記１２～１６のいずれか１項に記載の処理方法。
　（付記１８）
　前記画像データを保持させ、
　保持させた前記画像データを入力させる、
　付記１２～１７のいずれか１項に記載の処理方法。
　（付記１９）
　前記画像データ取得情報を保持させ、
　保持させた前記画像データ取得情報を入力させる、
　付記１２～１８のいずれか１項に記載の処理方法。
　（付記２０）
　前記三次元データを保持させ、
　保持させた前記三次元データを入力させる、
　付記１２～１９のいずれか１項に記載の処理方法。
　（付記２１）
　前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含むようにする、
　付記１２～２０のいずれか１項に記載の処理方法。
　（付記２２）
　前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置に前記三次元データを取得させる、
　付記１２～２１のいずれか１項に記載の処理方法。
　（付記２３）
　表示対象を撮影する撮影手段により取得された画像データを入力させ、
　前記画像データが取得された際の画像データ取得情報を入力させ、
　前記表示対象を走査する走査手段により取得された三次元データを入力させ、
　前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
　前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
　前記対象領域を表示させるためのパラメータを生成させる、
　ことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記２４）
　前記三次元データを前記パラメータに従って表示させる、
　ことをコンピュータに実行させる付記２３に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記２５）
　前記三次元データを前記パラメータに従って表示させる際に、前記画像データと並べて、前記三次元データを表示させる、
　ことをコンピュータに実行させる付記２４に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記２６）
　前記三次元データを前記パラメータに従って表示させる際に、前記画像データと同期させて、前記三次元データを表示させる、
　ことをコンピュータに実行させる付記２４または２５に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記２７）
　前記対象領域を表示させる表示画面の画面設定情報を保持させ、
　前記パラメータは、前記画面設定情報を含むようにする、
　ことをコンピュータに実行させる付記２４～２６のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記２８）
　前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含むようにする、
　ことをコンピュータに実行させる付記２３～２７のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記２９）
　前記画像データを保持させ、
　保持させた前記画像データを入力させる、
　ことをコンピュータに実行させる付記２３～２８のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３０）
　前記画像データ取得情報を保持させ、
　保持させた前記画像データ取得情報を入力させる、
　ことをコンピュータに実行させる付記２３～２９のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３１）
　前記三次元データを保持させ、
　保持させた前記三次元データを入力させる、
　ことをコンピュータに実行させる付記２３～３０のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３２）
　前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含むようにする、
　ことをコンピュータに実行させる付記２３～３１のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　（付記３３）
　前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置に前記三次元データを取得させる、
　ことをコンピュータに実行させる付記２３～３２のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１０、１０ａ、１０ｂ　処理装置
１１　画像データ入力部
１１ａ　画像データ保持部
１２　画像データ取得情報入力部
１２ａ　画像データ取得情報保持部
１３　三次元データ入力部
１３ａ　三次元データ保持部
１４　視点画像生成部
１５　対象領域抽出部
１６　三次元データ表示パラメータ生成部
１７　表示部
１８　画面設定保持部
２０　画像データ
２１　位置
２２　撮影方向
２３　画角
３０　三次元データ
３１　位置
３２　視線方向
３３　面
３４　視点画像
３５　対象領域
４０　ＬｉＤＡＲ
ＤＥ　検出部
ＥＭ　発光部
ＬＢ　ビーム
ＯＢ　測定対象
ＲＢ　反射光

Claims (33)

  1. 　表示対象を撮影する撮影手段により取得された画像データが入力される画像データ入力手段と、
    　前記画像データが取得された際の画像データ取得情報が入力される画像データ取得情報入力手段と、
    　前記表示対象を走査する走査手段により取得された三次元データが入力される三次元データ入力手段と、
    　前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定し、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成する視点画像生成手段と、
    　前記画像データと前記視点画像とをマッチングし、前記視点画像において、前記画像データに対応する対象領域を抽出する対象領域抽出手段と、
    　前記対象領域を表示するためのパラメータを生成する三次元データ表示パラメータ生成手段と、
    　を備えた処理装置。
  2. 　前記三次元データを前記パラメータに従って表示する表示手段をさらに備えた、
    　請求項１に記載の処理装置。
  3. 　前記表示手段は、前記画像データと並べて、前記三次元データを表示する、
    　請求項２に記載の処理装置。
  4. 　前記表示手段は、前記画像データと同期させて、前記三次元データを表示する、
    　請求項２または３に記載の処理装置。
  5. 　前記表示手段が前記対象領域を表示する表示画面の画面設定情報を保持する画面設定保持手段をさらに備え、
    　前記パラメータは、前記画面設定情報を含む、
    　請求項２～４のいずれか１項に記載の処理装置。
  6. 　前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含む、
    　請求項１～５のいずれか１項に記載の処理装置。
  7. 　前記画像データを保持する画像データ保持手段をさらに備え、
    　前記画像データは、前記画像データ保持手段から、前記画像データ入力手段に入力される、
    　請求項１～６のいずれか１項に記載の処理装置。
  8. 　前記画像データ取得情報を保持する画像データ取得情報保持手段をさらに備え、
    　前記画像データ取得情報は、前記画像データ取得情報保持手段から、前記画像データ取得情報入力手段に入力される、
    　請求項１～７のいずれか１項に記載の処理装置。
  9. 　前記三次元データを保持する三次元データ保持手段をさらに備え、
    　前記三次元データは、前記三次元データ保持手段から、前記三次元データ入力手段に入力される、
    　請求項１～８のいずれか１項に記載の処理装置。
  10. 　前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含む、
    　請求項１～９のいずれか１項に記載の処理装置。
  11. 　前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置と、
    　請求項１～１０のいずれか１項に記載の処理装置と、
    　を備えた処理システム。
  12. 　表示対象を撮影する撮影手段により取得された画像データを入力させ、
    　前記画像データが取得された際の画像データ取得情報を入力させ、
    　前記表示対象を走査する走査手段により取得された三次元データを入力させ、
    　前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
    　前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
    　前記対象領域を表示させるためのパラメータを生成させる、
    　処理方法。
  13. 　前記三次元データを前記パラメータに従って表示させる、
    　請求項１２に記載の処理方法。
  14. 　前記三次元データを前記パラメータに従って表示させる際に、前記画像データと並べて、前記三次元データを表示させる、
    　請求項１３に記載の処理方法。
  15. 　前記三次元データを前記パラメータに従って表示させる際に、前記画像データと同期させて、前記三次元データを表示させる、
    　請求項１３または１４に記載の処理方法。
  16. 　前記対象領域を表示させる表示画面の画面設定情報を保持させ、
    　前記パラメータは、前記画面設定情報を含むようにする、
    　請求項１３～１５のいずれか１項に記載の処理方法。
  17. 　前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含むようにする、
    　請求項１２～１６のいずれか１項に記載の処理方法。
  18. 　前記画像データを保持させ、
    　保持させた前記画像データを入力させる、
    　請求項１２～１７のいずれか１項に記載の処理方法。
  19. 　前記画像データ取得情報を保持させ、
    　保持させた前記画像データ取得情報を入力させる、
    　請求項１２～１８のいずれか１項に記載の処理方法。
  20. 　前記三次元データを保持させ、
    　保持させた前記三次元データを入力させる、
    　請求項１２～１９のいずれか１項に記載の処理方法。
  21. 　前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含むようにする、
    　請求項１２～２０のいずれか１項に記載の処理方法。
  22. 　前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置に前記三次元データを取得させる、
    　請求項１２～２１のいずれか１項に記載の処理方法。
  23. 　表示対象を撮影する撮影手段により取得された画像データを入力させ、
    　前記画像データが取得された際の画像データ取得情報を入力させ、
    　前記表示対象を走査する走査手段により取得された三次元データを入力させ、
    　前記画像データ取得情報における前記撮影手段の位置及び撮影方向に基づいて、前記三次元データにおける視点の位置及び視線方向を決定させ、前記視線方向に直交した面に前記三次元データを投影した視点画像を生成させ、
    　前記画像データと前記視点画像とをマッチングさせ、前記視点画像において、前記画像データに対応する対象領域を抽出させ、
    　前記対象領域を表示させるためのパラメータを生成させる、
    　ことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
  24. 　前記三次元データを前記パラメータに従って表示させる、
    　ことをコンピュータに実行させる請求項２３に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  25. 　前記三次元データを前記パラメータに従って表示させる際に、前記画像データと並べて、前記三次元データを表示させる、
    　ことをコンピュータに実行させる請求項２４に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  26. 　前記三次元データを前記パラメータに従って表示させる際に、前記画像データと同期させて、前記三次元データを表示させる、
    　ことをコンピュータに実行させる請求項２４または２５に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  27. 　前記対象領域を表示させる表示画面の画面設定情報を保持させ、
    　前記パラメータは、前記画面設定情報を含むようにする、
    　ことをコンピュータに実行させる請求項２４～２６のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  28. 　前記対象領域は、前記視線方向に直交した水平方向の範囲及び鉛直方向の範囲、並びに、前記視線方向に沿った奥行方向の範囲を含むようにする、
    　ことをコンピュータに実行させる請求項２３～２７のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  29. 　前記画像データを保持させ、
    　保持させた前記画像データを入力させる、
    　ことをコンピュータに実行させる請求項２３～２８のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  30. 　前記画像データ取得情報を保持させ、
    　保持させた前記画像データ取得情報を入力させる、
    　ことをコンピュータに実行させる請求項２３～２９のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  31. 　前記三次元データを保持させ、
    　保持させた前記三次元データを入力させる、
    　ことをコンピュータに実行させる請求項２３～３０のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  32. 　前記パラメータは、ＧＵＩ画面の幅、前記ＧＵＩ画面の高さ、世界座標系における撮影手段及び走査手段の座標、撮影手段の撮影方向ベクトル、走査手段の視線方向ベクトル、撮影手段及び走査手段の上方向を示すベクトル、奥行方向の表示範囲、ＦＯＶのうち、少なくともいずれかを含むようにする、
    　ことをコンピュータに実行させる請求項２３～３１のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  33. 　前記表示対象を走査する前記走査手段により前記三次元データを取得する三次元データ取得装置に前記三次元データを取得させる、
    　ことをコンピュータに実行させる請求項２３～３２のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/037885 2020-10-06 2020-10-06 処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2022074739A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/028,448 US20230336702A1 (en) 2020-10-06 2020-10-06 Processing device, processing system, and processing method
PCT/JP2020/037885 WO2022074739A1 (ja) 2020-10-06 2020-10-06 処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2022555006A JP7448029B2 (ja) 2020-10-06 2020-10-06 処理装置、処理システム、処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/037885 WO2022074739A1 (ja) 2020-10-06 2020-10-06 処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022074739A1 true WO2022074739A1 (ja) 2022-04-14

Family

ID=81126749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037885 WO2022074739A1 (ja) 2020-10-06 2020-10-06 処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20230336702A1 (ja)
JP (1) JP7448029B2 (ja)
WO (1) WO2022074739A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348575A (ja) * 2003-05-23 2004-12-09 Foundation For The Promotion Of Industrial Science ３次元モデル構築システム及び３次元モデル構築プログラム
JP2011039727A (ja) * 2009-08-10 2011-02-24 Ihi Corp 車両操縦用画像表示装置および方法
JP2011215956A (ja) * 2010-03-31 2011-10-27 Pasuko:Kk カーソルの表示方法およびカーソルの表示プログラム
JP2019095876A (ja) * 2017-11-20 2019-06-20 三菱電機株式会社 ３次元点群表示装置、３次元点群表示システム、３次元点群表示方法および３次元点群表示プログラム、記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348575A (ja) * 2003-05-23 2004-12-09 Foundation For The Promotion Of Industrial Science ３次元モデル構築システム及び３次元モデル構築プログラム
JP2011039727A (ja) * 2009-08-10 2011-02-24 Ihi Corp 車両操縦用画像表示装置および方法
JP2011215956A (ja) * 2010-03-31 2011-10-27 Pasuko:Kk カーソルの表示方法およびカーソルの表示プログラム
JP2019095876A (ja) * 2017-11-20 2019-06-20 三菱電機株式会社 ３次元点群表示装置、３次元点群表示システム、３次元点群表示方法および３次元点群表示プログラム、記録媒体

Also Published As

Publication number Publication date
JP7448029B2 (ja) 2024-03-12
US20230336702A1 (en) 2023-10-19
JPWO2022074739A1 (ja) 2022-04-14

Similar Documents

Publication Publication Date Title
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
EP3392831B1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
CN112950785B (zh) 点云标注方法、装置及系统
CA2946801C (en) 3d data in underwater surveys
US10237532B2 (en) Scan colorization with an uncalibrated camera
CN111046725B (zh) 一种基于监控视频的人脸识别和点云融合的空间定位方法
JP2002259976A (ja) 特定点検出方法及び装置
CN108648225B (zh) 目标图像获取系统与方法
US11803982B2 (en) Image processing device and three-dimensional measuring system
Martel et al. An active approach to solving the stereo matching problem using event-based sensors
JP2020052046A (ja) 測量データ処理装置、測量データ処理方法、測量データ処理用プログラム
JP5369873B2 (ja) 判定プログラムおよびキャリブレーション装置
JP2016040520A (ja) 物体検出装置
JP6380647B2 (ja) 情報提供方法、情報提供プログラム、情報提供装置、情報処理装置及び情報提供システム
JP4852006B2 (ja) 空間情報データベース生成装置及び空間情報データベース生成プログラム
EP4009274A1 (en) Image processing device, three-dimensional measurement system, and image processing method
US20220012905A1 (en) Image processing device and three-dimensional measuring system
JP7276504B2 (ja) 測定装置、情報処理装置、及びデータ特定方法
WO2022074739A1 (ja) 処理装置、処理システム、処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2003319388A (ja) 画像処理方法及び装置
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
KR101356172B1 (ko) 원격 제어를 위한 3차원 영상 생성 장치 및 방법
JP2015215200A (ja) 情報処理装置、測定方法及びプログラム
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
JP2014160405A (ja) 撮影位置決定装置、プログラム、および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20956688

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022555006

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20956688

Country of ref document: EP

Kind code of ref document: A1