WO2019087467A1 - 計測システム、計測装置、及び計測方法 - Google Patents

計測システム、計測装置、及び計測方法 Download PDF

Info

Publication number
WO2019087467A1
WO2019087467A1 PCT/JP2018/025743 JP2018025743W WO2019087467A1 WO 2019087467 A1 WO2019087467 A1 WO 2019087467A1 JP 2018025743 W JP2018025743 W JP 2018025743W WO 2019087467 A1 WO2019087467 A1 WO 2019087467A1
Authority
WO
WIPO (PCT)
Prior art keywords
position information
moving image
terminal
storage device
still images
Prior art date
Application number
PCT/JP2018/025743
Other languages
English (en)
French (fr)
Inventor
義昭 賀川
ひかる 松崎
明 黒澤
Original Assignee
株式会社日立ソリューションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ソリューションズ filed Critical 株式会社日立ソリューションズ
Publication of WO2019087467A1 publication Critical patent/WO2019087467A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Definitions

  • the present invention relates to a measurement system for measuring a three-dimensional object.
  • Japanese Patent Application Laid-Open No. 2017-72425 describes a shape measurement system for managing a construction situation using a detection result obtained by a working machine having a detection device for detecting the position of an object.
  • the present invention provides a low cost, short time, measurement system that can be used by a small number of people.
  • a measurement system for measuring an object comprising: a terminal for acquiring an image of the object, and a server connected to the terminal, wherein the terminal is a first arithmetic device for executing a predetermined process; A first storage device connected to the first arithmetic device, a first communication interface connected to the first arithmetic device, a camera for photographing an object, and a positioning device for acquiring position information;
  • the server includes a second processing unit that executes a predetermined process, a second storage unit connected to the second processing unit, and a second communication interface connected to the second processing unit.
  • the terminal stores, in the first storage device, the moving image of the target taken by the camera and the position information acquired by the positioning device, and extracts a plurality of still images from the moving image stored in the first storage device. And the plurality of stationary extracted The position information is added to the image, and the plurality of still images to which the position information is added is transmitted to the server, and the server uses the plurality of still images to which the position information is added to Generate three-dimensional data.
  • a three-dimensional model can be generated at low cost, in a short time, with a small number of persons (one person), and accurate measurement can be performed. Problems, configurations, and effects other than those described above will be clarified by the description of the following embodiments.
  • FIG. 1 is a diagram showing a configuration of a measurement system of a first embodiment.
  • 5 is a flowchart of measurement processing by the measurement system of the first embodiment.
  • FIG. 3 is a view showing how an image of a measurement target is photographed using the measurement system of the first embodiment.
  • FIG. 7 is a view showing an example of a photographing result confirmation screen by the measurement system of the embodiment 1.
  • FIG. 7 is a diagram showing an image generation process with position information by the measurement system of the first embodiment.
  • FIG. 6 is a diagram showing a three-dimensional model generated by the measurement system of the first embodiment.
  • FIG. 6 is a diagram showing volume measurement in the measurement system of the first embodiment.
  • FIG. 7 is a diagram showing a configuration of a measurement system of a second embodiment.
  • FIG. 1 is a diagram showing the configuration of a measurement system according to a first embodiment of the present invention.
  • the measurement system of the present embodiment is composed of a tablet terminal 11 and a server 13.
  • the tablet terminal 11 and the server 13 are connected by the tablet terminal-server communication function 14.
  • the tablet terminal-server communication function 14 is a communication path between the tablet terminal 11 and the server 13 and is configured by the Internet or an internal network.
  • the tablet terminal 11 is a computer having a CPU 107, a storage device 108, a camera 109, a positioning device 110, a communication interface 111, and a user interface 112.
  • the CPU 107 is an arithmetic device that executes a program stored in the storage device 108 and performs measurement processing. Specifically, the CPU 107 executes a program to execute a moving image shooting / management function 101, an RTK-GNSS positioning function 102, an image generation function with position information 103, an image set transmission function 104, an imaging result confirmation function 105, and a volume.
  • the measurement function 106 is executed. Note that part of the processing performed by the CPU 107 executing a program may be performed by hardware (for example, an FPGA).
  • the moving picture shooting / management function 101 shoots light incident on the camera 109 as a moving picture or a still image, and stores the light in the storage device 108.
  • the RTK-GNSS positioning function 102 performs RTK-GNSS positioning using the signal transmitted from the artificial satellite and received by the RTK-GNSS antenna 12, and stores the position information in the storage device 108.
  • the position information-added image generation function 103 extracts a frame image (still image) from the moving image photographed by the moving image photographing / management function 101, adds position information, and generates an image with position information.
  • the image set transmission function 104 transmits the set of frame images to which the position information is added to the server 13 via the tablet terminal-server communication function 14.
  • the photographing result confirmation function 105 outputs a photographing result confirmation screen which displays the photographed moving image and the locus of the photographing place in correspondence with each other, and provides an interface by which the user confirms the photographing result.
  • the volume measurement function 106 measures the volume using the generated DEM (Digital Elevation Model) data.
  • the storage device 108 includes a ROM, which is a non-volatile storage element, and a RAM, which is a volatile storage element.
  • the ROM stores an immutable program (for example, BIOS).
  • BIOS an immutable program
  • the RAM is a high-speed and volatile storage element such as a dynamic random access memory (DRAM), and temporarily stores a program executed by the CPU 107 and data used when the program is executed.
  • DRAM dynamic random access memory
  • the camera 109 is an imaging device configured of a C-MOS sensor or the like that captures an image (moving image, still image) around the tablet terminal 11.
  • an RTK-GNSS antenna 12 for receiving a positioning signal transmitted from the artificial satellite by the RTK-GNSS positioning function 102.
  • the positioning device 110 measures the position of the tablet terminal 11 using the positioning signal received by the RTK-GNSS antenna 12 controlled by the RTK-GNSS positioning function 102, and generates position information, for example, a GPS module. .
  • a method other than RTK-GNSS positioning may be used.
  • the communication interface 111 is a communication interface device that controls communication with another device (for example, the server 13) according to a predetermined protocol.
  • the user interface 112 provides the user with input and output functions.
  • the input function is an input interface such as a touch panel that receives an input from a user.
  • the output function is an output interface such as a liquid crystal display panel that outputs the execution result of the program in a format that can be viewed by the operator.
  • the tablet terminal 11 may be another type of portable information terminal (for example, a smartphone or a portable computer).
  • the server 13 is a computer having a CPU 137, a storage device 138, a database 135, and a communication interface 139.
  • the CPU 137 is an arithmetic device that executes a program stored in the storage device 138 and generates data for measurement. Specifically, the CPU 137 executes the program to execute the three-dimensional point cloud generation function 131, the DEM generation function 132, the status transmission function 133, and the DEM data transmission function 134. Note that part of the processing performed by the CPU 137 executing a program may be performed by hardware (for example, an FPGA).
  • the three-dimensional point group generation function 131 generates a three-dimensional point group from the generated image with positional information.
  • the DEM generation function 132 generates DEM data from the three-dimensional point group.
  • the status transmission function 133 transmits, to the tablet terminal 11, the progress status of the three-dimensional point cloud generation processing and the DEM data generation processing in the server 13.
  • the DEM data transmission function 134 transmits the generated DEM data to the tablet terminal 11.
  • the storage device 138 includes a ROM, which is a non-volatile storage element, and a RAM, which is a volatile storage element.
  • the ROM stores an immutable program (for example, BIOS).
  • BIOS an immutable program
  • the RAM is a high-speed and volatile storage element such as a dynamic random access memory (DRAM), and temporarily stores a program executed by the CPU 137 and data used when the program is executed.
  • DRAM dynamic random access memory
  • the server 13 has an auxiliary storage device.
  • the auxiliary storage device is constituted by, for example, a large-capacity and non-volatile storage device such as a semiconductor storage device (SSD) including a magnetic storage device (HDD), a flash memory or the like, and stores a program executed by the CPU 137. That is, the program is read from the auxiliary storage device, loaded into the storage device 138, and executed by the CPU 137.
  • the auxiliary storage device stores a database 135 recording data generated by the server 13 such as image data received from the tablet terminal 11 and three-dimensional point group and DEM data.
  • the communication interface 139 is a communication interface device that controls communication with another device (for example, the tablet terminal 11) in accordance with a predetermined protocol.
  • the server 13 may have an input interface and an output interface.
  • the input interface is an interface to which a keyboard, a mouse or the like is connected and which receives an input from a user.
  • the output interface is an interface to which a display device, a printer, and the like are connected, and which outputs the execution result of the program in a format that can be viewed by the operator.
  • the program executed by the CPU 137 is provided to the server 13 via removable media (CD-ROM, flash memory or the like) or a network, and is stored in a non-volatile auxiliary storage device which is a non-temporary storage medium. For this reason, the server 13 may have an interface for reading data from removable media.
  • the user wears the helmet 22 equipped with the RTK-GNSS antenna 12, activates the video shooting / management function 101 of the tablet terminal 11, and uses the camera 109 to measure A moving image is shot while moving so that the entire image is captured (S201).
  • a moving image captured here may be a general 30 fps, but even a still image (for example, about one sheet per second) captured continuously can be treated as a moving image in this embodiment.
  • the RTK-GNSS positioning function 102 performs RTK-GNSS positioning according to the signal received by the RTK-GNSS antenna 12 (S211), and records position information during image capturing.
  • the photographed image and the position information are stored in the storage device 108 of the tablet terminal 11.
  • the RTK-GNSS antenna 12 may be provided at another position (for example, the upper part of the tablet terminal 11 or the upper surface of the vehicle) as long as the RTK-GNSS antenna 12 is provided at a high position where the positioning signal transmitted from the artificial satellite can be easily received.
  • the shooting result confirmation function 105 After shooting a moving image, the shooting result confirmation function 105 is activated, and the user can check the moving image. As shown in FIG. 4, the photographing result confirmation function 105 outputs a photographing result confirmation screen which displays the photographed moving image in correspondence with the locus of the photographing location.
  • the photographing result confirmation screen includes a position display area 33 and a moving picture display area 34.
  • the position display area 33 displays the position information (trajectory 31) acquired at the time of shooting and the shooting location 32 on a map or an image (for example, an aerial photograph) viewed from above the sky.
  • the position display area 33 may display the measurement object 23.
  • the video display area 34 displays the captured video.
  • the marker 32 indicating the shooting location moves on the trajectory 31 as the moving image progresses.
  • a time slider 35 is provided on the photographing result confirmation screen, and by moving a marker on the time slider 35, it is possible to interlock and change the photographing place 32 and the moving image photographed at the photographing place and to display.
  • the user sees the locus and the moving image in correspondence on the photographing result confirmation screen, and confirms that the measurement target 23 can be photographed without a shortage.
  • three or more frame images to which position information is added are required. For this reason, when three or more frame images to which position information is added can not be obtained, a three-dimensional model with position information can not be generated in the three-dimensional model generation processing, and it is necessary to re-capture a moving image.
  • the photographing result confirmation screen it is possible to confirm that there is no shortage of data for generating a three-dimensional model before the server 13 executes the process.
  • the measurement object 23 is framed out or the measurement object 23 is hidden by an obstacle (for example, a heavy machine), it can be determined that imaging can not be performed correctly and data is insufficient.
  • the user may visually check the measurement target 23 in the moving image, it may be determined whether the data is out of the frame of the measurement target 23 or the measurement target 23 is hidden by the obstacle.
  • the tablet terminal 11 may make the determination for each frame in the moving image.
  • the determination result may be displayed by a marker attached to the data shortage location on the time slider 35 to alert the user.
  • image capturing processing S201
  • RTK-GNSS positioning processing S211
  • a moving image may be shot at a position where the re-shooting is necessary, or a still image may be shot.
  • the photographing location 32 which could not be correctly photographed is displayed in the position display area 33, and it is possible to confirm a point where rephotographing is necessary.
  • the position information-added image generation function 103 is activated, and a frame image (still image) is extracted from the moving image (S203).
  • the frame image extraction interval may be selected as the next frame so that the degree of duplication of the extracted frame image is 60% or more. Also, frame images may be extracted at certain time intervals specified by the user.
  • GNSS information of the shooting time of the extracted frame image is acquired (S212). Then, the acquired GNSS information is added to the frame image (S204). GNSS information may be recorded, for example, in Exchangeable image file format (EXIF) information of an image.
  • EXIF Exchangeable image file format
  • the horizontal axis indicates time, and a moving image is captured between the imaging start time 41 and the imaging end time 42, and the time of the frame image extracted from the moving image and the time when the RTK-GNSS information is obtained On the time axis.
  • a frame image is extracted from the captured moving image.
  • ten frame images at times i1 to i10 are extracted.
  • position information is obtained at times g1 to g6 during imaging by RTK-GNSS positioning.
  • the time when the frame image is extracted from the moving image and the time when the RTK-GNSS information is obtained do not match, and the time interval between when the RTK-GNSS information is obtained is usually longer. Therefore, it is preferable to estimate the GNSS information of the shooting time of the frame image by interpolating the two GNSS information obtained before and after the shooting time of the frame image. For example, in the example shown in FIG. 5, position information calculated by interpolation from the position information g1 and g2 is added to the frame images i1 and i2 extracted from the moving image.
  • GNSS information of the time closest to the photographing time of the frame image may be adopted as GNSS information of the photographing time of the frame image.
  • RTK-GNSS can measure the position with a few centimeters of error when the FIX solution is obtained in baseline analysis, and the FLOAT solution and the error in metric unit are included when it becomes single positioning.
  • position information other than when the FIX solution is obtained a three-dimensional model can not be generated or a large error is included in the three-dimensional model. Therefore, position information other than when the FIX solution is obtained is not used. Is desirable.
  • the results of RTK-GNSS positioning in which the FIX solution is obtained are indicated by black circles ( ⁇ )
  • the results of RTK-GNSS positioning in which the FIX solution is not obtained are indicated by white circles ( ⁇ ).
  • the position information is added to the frame image of the time between the time of RTK-GNSS positioning at which the FIX solution is obtained by the method described above.
  • position information is not added to the frame image.
  • the frame image to which the position information obtained from RTK-GNSS positioning is added is indicated by a black triangle ( ⁇ )
  • the frame image to which the position information obtained from RTK-GNSS positioning is not added is indicated by a white triangle ( ⁇ ). Show.
  • the server 13 can add position information to a frame image to which position information is not added.
  • the server 13 compares the characteristics of temporally adjacent images in the image set with position information transmitted from the tablet terminal 11 in a three-dimensional point cloud generation process S205 described later. At this time, the relative relationship between the shooting positions of the two images is known. For this reason, it is possible to calculate the information on the shooting position of the frame image to which the position information is not added, using the relative positional relationship with the frame image whose position is known.
  • the image set transmission function 104 transmits the set of frame images added with the GNSS information generated in step S 204 to the server 13 via the tablet terminal-server communication function 14. At this time, if it is necessary to generate a three-dimensional model, a set of frame images extracted from the re-captured moving image is transmitted for the purpose of covering the shortage of the moving image, etc., a plurality of image sets are transmitted.
  • the server 13 stores the image set received from the tablet terminal 11 in the database 116.
  • the three-dimensional point group generation function 131 uses the SFM (Structure From Motion) technology to set the characteristics of temporally adjacent images in the image set with position information transmitted from the tablet terminal 11.
  • SFM Structure From Motion
  • feature points are associated, and a three-dimensional point group 51 as shown in FIG. 6A is generated (S205).
  • the length of each part of the measurement object 23 can be measured by the generated three-dimensional point group 51.
  • the DEM generation function 132 generates DEM data 52 as shown in FIG. 6B (S206). Since the DEM data includes height information of each section defined by meshes at regular intervals, it is easy to measure the volume and to compare with the design drawing. FIG. 6B shows that the lighter the color, the higher the height. In addition, in generation of DEM data from a three-dimensional point group, it is preferable to remove coarse point groups (noises) with few point groups in the periphery and to execute hole filling processing of a place where data is missing.
  • the status transmission function 133 may transmit the progress status of the processing to the tablet terminal 11.
  • the DEM data transmission function 134 transmits the generated DEM data to the tablet terminal 11 via the tablet terminal / server communication function 14.
  • the volume measurement function 106 measures the volume using the DEM data transmitted from the server 13 (S207). For example, as shown in FIG. 7, the DEM data 52 is two-dimensionally displayed, and the user selects an area for which the volume is to be measured by the polygon 61.
  • the volume measurement function 106 calculates the area obtained by multiplying the area obtained by multiplying the area of each section by the height obtained by subtracting the reference height from the height of each section, for the selected mesh, that is, the area selected using Calculate the volume of and display on the screen.
  • the reference height may be input by the user as a numerical value, or the elevation of the designated point may be used as the reference height by designating on the screen a point around the displayed DEM data.
  • Volume ⁇ area of each section ⁇ (altitude of each section-reference height)
  • the DEM data can grasp the current state of work by comparing the design drawings. Furthermore, the progress of the work can be managed by comparing the current situation and the construction plan.
  • three-dimensional data can be obtained from the image of the measurement object 23 at a low cost with a small number of people (for example, one person) for a short period of time.
  • a small number of people for example, one person
  • Example 2 Next, a second embodiment of the present invention will be described.
  • symbol is attached
  • the second embodiment is different from the first embodiment described above in that the tablet terminal 11 executes all processes. Therefore, the three-dimensional point cloud generation function 131, the DEM generation function 132, and the status notification function 140 are implemented in the tablet terminal 11.
  • FIG. 8 is a diagram showing the configuration of a measurement system according to a second embodiment of the present invention.
  • the measurement system of the present embodiment is constituted by the tablet terminal 11 functioning as a measurement device alone.
  • the tablet terminal 11 is a computer having a CPU 107, a storage device 108, a camera 109, a positioning device 110, a communication interface 111, and a user interface 112.
  • the CPU 107 is an arithmetic device that executes a program stored in the storage device 108 and performs measurement processing. Specifically, the CPU 107 executes a program to execute a moving image shooting / management function 101, an RTK-GNSS positioning function 102, an image generation function with position information 103, a shooting result confirmation function 105, a volume measurement function 106, a three dimensional
  • the point cloud generation function 131, the DEM generation function 132, and the status notification function 140 are executed.
  • the status notification function 140 notifies the user of the progress of the three-dimensional point cloud generation processing and the DEM data generation processing.
  • the program executed by the CPU 107 is provided to the tablet terminal 11 via a network or removable media (CD-ROM, flash memory, etc.), and is stored in a non-volatile storage area of the storage device 108 which is a non-temporary storage medium. Therefore, the tablet terminal 11 may have an interface for reading data from removable media.
  • a network or removable media CD-ROM, flash memory, etc.
  • the tablet terminal 11 may be another type of portable information terminal (for example, a smartphone or a portable computer).
  • the measurement system of the second embodiment since the measurement system of the second embodiment has all functions implemented in the tablet terminal 11, three-dimensional data of the measurement object 23 is generated even in a place where communication with the server 13 is difficult. The sheath volume can be measured.
  • the moving image of the object photographed by the camera 109 and the position information acquired by the positioning device 110 are stored in the storage device 108 and stored in the storage device 108.
  • a plurality of still images are extracted from the moving image, position information is added to the extracted plurality of still images, and three-dimensional point cloud data 51 of the measurement object 23 is generated using the plurality of still images to which the position information is added. Because it is low cost, it can measure accurately with a short time and a small number of people (one person).
  • the DEM data 52 is generated from the generated three-dimensional point group data 51 and the volume of the measurement object 23 in the region of a part or all of the generated DEM data 52 is calculated, low cost, short time, small amount The number of persons (one person) can accurately measure the volume of the object 23 to be measured.
  • the target for creating the three-dimensional model is compared with the moving image and the shooting location. It is possible to confirm immediately after shooting (before generating an incomplete three-dimensional model) that shooting can be performed without a shortage. That is, since it is possible to confirm on the spot whether the measurement object 23 can be captured without omission and the expected three-dimensional model can be acquired at the time of imaging of a moving image, it is possible to save time and effort of acquiring data again after generating the three-dimensional model. Even if a portion which can not be photographed is found at the time of confirmation, it is sufficient to photograph an image of only that portion, so that it is not necessary to recollect the entire data, and work efficiency can be improved.
  • the present invention is not limited to the embodiments described above, and includes various modifications and equivalent configurations within the scope of the appended claims.
  • the embodiments described above are described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the configurations described.
  • part of the configuration of one embodiment may be replaced with the configuration of another embodiment.
  • the configuration of another embodiment may be added to the configuration of one embodiment.
  • another configuration may be added, deleted, or replaced.
  • each configuration, function, processing unit, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit, etc., and the processor realizes the respective functions. It may be realized by software by interpreting and executing the program to
  • Information such as a program, a table, and a file for realizing each function can be stored in a memory, a hard disk, a storage device such as a solid state drive (SSD), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD solid state drive
  • control lines and information lines indicate what is considered to be necessary for explanation, and not all control lines and information lines necessary for mounting are shown. In practice, it can be considered that almost all configurations are mutually connected.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

対象物を計測する計測システムであって、対象物の画像を取得する端末と、前記端末と接続されたサーバとを備え、前記端末は、カメラが対象物を撮影した動画と、測位装置が取得した位置情報とを記憶装置に保存し、前記記憶装置に保存された動画から複数の静止画像を抽出し、前記抽出した複数の静止画像に位置情報を付加し、前記位置情報が付加された複数の静止画像を前記サーバに送信し、前記サーバは、前記位置情報が付加された複数の静止画像を用いて、前記対象物の三次元データを生成する。

Description

計測システム、計測装置、及び計測方法 参照による取り込み
　本出願は、平成２９年（２０１７年）１０月３０日に出願された日本出願である特願２０１７－２０９７７２の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、立体物を計測する計測システムに関する。
　近年、ＩＴの活用による土木工事の効率化が求められている。肉体労働が主となる土木作業は敬遠されがちであり、人員不足となりやすい。しかし、東京オリンピックを控え、土木工事の需要は増加している。
　土木工事における工期遵守や利益確保のためには、日々の工事進捗の定量的かつ正確な把握が必要である。工事進捗は、構築物の大きさや高さ、盛土などの土量（体積）の測定によって把握できる。これらの測定には、ＴＳ（トータルステーション）を用いて距離や角度を測定するＴＳ測量が一般的であり、測定に人手、時間、コストが必要である。このため、現実には、これらの方法を用いずに目測で推定して、工事進捗を把握することが多い。しかし、目測による正確な測定は難しい。
　土木工事における測定の効率化のための技術として、以下の先行技術がある。特開２０１７－７２４２５号には、対象の位置を検出する検出装置を有する作業機械が得た検出結果を用いて施工状況を管理する形状計測システムが記載されている。
　しかしながら、特開２０１７－７２４２５号に記載された発明では、形状を計測する都度、作業機械を移動する必要があり、形状計測のために作業機械を操作する必要があるため、手間がかかるものであった。また、ステレオ画像を利用した三次元形状の復元技術を用いるため、一度に三次元形状が得られる範囲は限定的であり、広範囲を検出対象とする場合、複数の三次元形状を結合する処理が発生し、処理時間を要するものであった。このため、特開２０１７－７２４２５号に記載された発明を搭載する機械のコストが高くなりがちであった。
　本発明は、低コスト、短時間、少人数でも使用できる計測システムを提供する。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、対象物を計測する計測システムであって、対象物の画像を取得する端末と、前記端末と接続されたサーバとを備え、前記端末は、所定の処理を実行する第１演算装置と、前記第１演算装置に接続された第１記憶装置と、前記第１演算装置に接続された第１通信インタフェースと、対象物を撮影するカメラと、位置情報を取得する測位装置とを有し、前記サーバは、所定の処理を実行する第２演算装置と、前記第２演算装置に接続された第２記憶装置と、前記第２演算装置に接続された第２通信インタフェースとを有し、前記端末は、前記カメラが対象物を撮影した動画と、前記測位装置が取得した位置情報とを前記第１記憶装置に保存し、前記第１記憶装置に保存された動画から複数の静止画像を抽出し、前記抽出した複数の静止画像に前記位置情報を付加し、前記位置情報が付加された複数の静止画像を前記サーバに送信し、前記サーバは、前記位置情報が付加された複数の静止画像を用いて、前記対象物の三次元データを生成する。
　本発明の一態様によれば、低コスト、短時間、少人数（一人）で三次元モデルを生成でき、正確な計測ができる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
実施例１の計測システムの構成を示す図である。 実施例１の計測システムによる計測処理のフローチャートである。 実施例１の計測システムを用いて計測対象の画像を撮影する様子を示す図である。 実施例１の計測システムによる撮影結果確認画面の例を示す図である。 実施例１の計測システムによる位置情報付画像生成処理を示す図である。 実施例１の計測システムが生成する三次元モデルを示す図である。 実施例１の計測システムにおける体積計測を示す図である。 実施例２の計測システムの構成を示す図である。
　以下、発明を実施するための実施例を、図面を用いて説明する。
　＜実施例１＞
　図１は、本発明の実施例１の計測システムの構成を示す図である。
　本実施例の計測システムは、タブレット端末１１とサーバ１３で構成される。タブレット端末１１とサーバ１３との間は、タブレット端末・サーバ間通信機能１４で接続される。タブレット端末・サーバ間通信機能１４は、タブレット端末１１とサーバ１３との間の通信路であり、インターネットや内部ネットワークによって構成される。
　タブレット端末１１は、ＣＰＵ１０７、記憶装置１０８、カメラ１０９、測位装置１１０、通信インタフェース１１１及びユーザインタフェース１１２を有する計算機である。
　ＣＰＵ１０７は、記憶装置１０８に格納されたプログラムを実行し、計測処理を行う演算装置である。具体的には、ＣＰＵ１０７は、プログラムを実行することによって、動画撮影・管理機能１０１、ＲＴＫ－ＧＮＳＳ測位機能１０２、位置情報付き画像生成機能１０３、画像セット送信機能１０４、撮影結果確認機能１０５及び体積計測機能１０６を実行する。なお、ＣＰＵ１０７がプログラムを実行して行う処理の一部をハードウェア（例えば、ＦＰＧＡ）で行ってもよい。
　動画撮影・管理機能１０１は、カメラ１０９に入射した光を動画又は静止画像として撮影し、記憶装置１０８に格納する。ＲＴＫ－ＧＮＳＳ測位機能１０２は、人工衛星から送信されＲＴＫ－ＧＮＳＳアンテナ１２で受信した信号を用いてＲＴＫ－ＧＮＳＳ測位を行い、位置情報を記憶装置１０８に格納する。位置情報付き画像生成機能１０３は、動画撮影・管理機能１０１が撮影した動画からフレーム画像（静止画像）を抽出し、位置情報を付加して、位置情報付き画像を生成する。画像セット送信機能１０４は、位置情報を付加したフレーム画像のセットを、タブレット端末・サーバ間通信機能１４を経由してサーバ１３へ送信する。撮影結果確認機能１０５は、撮影された動画と撮影場所の軌跡とを対応させて表示する撮影結果確認画面を出力して、ユーザが撮影結果を確認するインタフェースを提供する。体積計測機能１０６は、生成されたＤＥＭ（Digital Elevation Model）データを用いて体積を計測する。
　記憶装置１０８は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、ＣＰＵ１０７が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
　カメラ１０９は、タブレット端末１１の周囲の画像（動画像、静止画像）を撮影するＣ－ＭＯＳセンサなどで構成される撮像装置である。
　タブレット端末１１には、ＲＴＫ－ＧＮＳＳ測位機能１０２が人工衛星から送信される測位信号を受信するためのＲＴＫ－ＧＮＳＳアンテナ１２が接続されている。測位装置１１０は、ＲＴＫ－ＧＮＳＳ測位機能１０２に制御されたＲＴＫ－ＧＮＳＳアンテナ１２が受信した測位信号を用いて、タブレット端末１１の位置を測定し、位置情報を生成する、例えば、ＧＰＳモジュールである。なお、高い精度が得られる測位方法であれば、ＲＴＫ－ＧＮＳＳ測位以外の方法でもよい。
　通信インタフェース１１１は、所定のプロトコルに従って、他の装置（例えば、サーバ１３）との通信を制御する通信インタフェース装置である。
　ユーザインタフェース１１２は、ユーザに入出力機能を提供する。入力機能は、ユーザからの入力を受けるタッチパネルなどの入力インタフェースである。出力機能は、プログラムの実行結果をオペレータが視認可能な形式で出力する液晶表示パネルなどの出力インタフェースである。
　タブレット端末１１は、その他の種類の携帯情報端末（例えば、スマートフォンや、携帯型コンピュータ）でもよい。
　サーバ１３は、ＣＰＵ１３７、記憶装置１３８、データベース１３５及び通信インタフェース１３９を有する計算機である。
　ＣＰＵ１３７は、記憶装置１３８に格納されたプログラムを実行し、計測用のデータを生成する処理を行う演算装置である。具体的には、ＣＰＵ１３７は、プログラムを実行することによって、三次元点群生成機能１３１、ＤＥＭ生成機能１３２、ステータス送信機能１３３及びＤＥＭデータ送信機能１３４を実行する。なお、ＣＰＵ１３７がプログラムを実行して行う処理の一部をハードウェア（例えば、ＦＰＧＡ）で行ってもよい。
　三次元点群生成機能１３１は、生成された位置情報付きの画像から三次元点群を生成する。ＤＥＭ生成機能１３２は、三次元点群からＤＥＭデータを生成する。ステータス送信機能１３３は、サーバ１３における三次元点群生成処理及びＤＥＭデータ生成処理の進捗状況をタブレット端末１１に送信する。ＤＥＭデータ送信機能１３４は、生成されたＤＥＭデータをタブレット端末１１に送信する。
　記憶装置１３８は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、ＣＰＵ１３７が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
　サーバ１３は、補助記憶装置を有する。補助記憶装置は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ等からなる半導体記憶装置（ＳＳＤ）等の大容量かつ不揮発性の記憶装置によって構成されており、ＣＰＵ１３７が実行するプログラムを格納する。すなわち、プログラムは、補助記憶装置から読み出されて、記憶装置１３８にロードされて、ＣＰＵ１３７によって実行される。また、補助記憶装置は、タブレット端末１１から受信した画像データや、三次元点群、ＤＥＭデータなどのサーバ１３が生成したデータを記録するデータベース１３５を格納する。
　通信インタフェース１３９は、所定のプロトコルに従って、他の装置（例えば、タブレット端末１１）との通信を制御する通信インタフェース装置である。
　サーバ１３は、入力インタフェース及び出力インタフェースを有してもよい。入力インタフェースは、キーボードやマウスなどが接続され、ユーザからの入力を受けるインタフェースである。出力インタフェースは、ディスプレイ装置やプリンタなどが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインタフェースである。
　ＣＰＵ１３７が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介してサーバ１３に提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、サーバ１３は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。
　次に、図２から図７を用いて、本発明の一実施例における処理を説明する。
　利用者は、図３に示すように、ＲＴＫ－ＧＮＳＳアンテナ１２を搭載したヘルメット２２を着用し、タブレット端末１１の動画撮影・管理機能１０１を起動して、カメラ１０９を用いて、計測対象２３の全体が写るよう移動しながら動画を撮影する（Ｓ２０１）。ここで撮影される動画は、一般的な３０ｆｐｓでもよいが、連続して撮影される静止画像（例えば、毎秒１枚程度）でも本実施例では動画として扱うことができる。
　画像の撮影と同時に、ＲＴＫ－ＧＮＳＳ測位機能１０２が、ＲＴＫ－ＧＮＳＳアンテナ１２で受信した信号によってＲＴＫ－ＧＮＳＳ測位を行い（Ｓ２１１）、画像撮影中の位置情報を記録する。撮影された画像と位置情報はタブレット端末１１の記憶装置１０８に保存される。
　ＲＴＫ－ＧＮＳＳアンテナ１２は、人工衛星から送信される測位信号が受信しやすい高い位置に設けられれば、他の位置（例えば、タブレット端末１１の上部や、車両の上面）に設けられてもよい。
　動画の撮影後、撮影結果確認機能１０５が起動し、ユーザが動画を確認できる。撮影結果確認機能１０５は、図４に示すように、撮影された動画と撮影場所の軌跡とを対応させて表示する撮影結果確認画面を出力する。撮影結果確認画面は、位置表示領域３３と動画表示領域３４とを含む。位置表示領域３３は、撮影時に取得した位置情報（軌跡３１）と撮影場所３２とを地図や上空から俯瞰した画像（例えば、航空写真）上に表示する。位置表示領域３３は、計測対象２３を表示してもよい。動画表示領域３４は、撮影した動画を表示する。ユーザが動作を再生すると、動画の進行に伴って、撮影場所を示すマーカ３２が軌跡３１上を移動する。撮影結果確認画面には、タイムスライダ３５が設けられており、タイムスライダ３５上でマーカを動かすことによって、撮影場所３２と当該撮影場所で写した動画を連動して変化させて表示できる。
　ユーザは、撮影結果確認画面で軌跡と動画を対応させて見て、計測対象２３を不足なく撮影できていることを確認する。三次元モデルの生成においては、位置情報が付加されるフレーム画像が三枚以上必要である。このため、位置情報が付加されるフレーム画像が３枚以上得られない場合には、三次元モデル生成処理で位置情報付の三次元モデルが生成できないので、動画を再撮影する必要がある。撮影結果確認画面を用いると、サーバ１３で処理を実行する前に、三次元モデルを生成するためのデータに不足がないことを確認できる。
　例えば、動画において、計測対象２３がフレームアウトしていたり、障害物（例えば、重機）によって計測対象２３が隠れたりしていれば、正しく撮影できておらず、データが不足すると判断できる。このデータが不足しているかの判断は、ユーザが動画中の計測対象２３を目視で確認してもよいが、前述した計測対象２３のフレームアウトや計測対象２３が障害物によって隠されているかをタブレット端末１１が動画中のフレーム毎に判定してもよい。また、判定結果を、タイムスライダ３５上のデータ不足箇所に付されたマーカによって表示し、ユーザに注意喚起してもよい。
　一方、三次元モデルを生成するための十分な撮影できていない場合、不足している部分について再度、画像撮影処理（Ｓ２０１）を行い、ＲＴＫ－ＧＮＳＳ測位処理（Ｓ２１１）を行う。再撮影は、再撮影が必要な位置で動画を撮影しても、静止画像を撮影してもよい。このとき、ユーザが、正しく撮影できていない動画の部分を表示すると、位置表示領域３３には正しく撮影できなかった撮影場所３２が表示され、再撮影が必要な地点を確認できる。
　その後、動画が不足なく撮影できていることをユーザが確認した後、位置情報付き画像生成機能１０３が起動され、動画からフレーム画像（静止画像）を抽出する（Ｓ２０３）。フレーム画像の抽出間隔は、抽出されたフレーム画像の重複度が６０％以上となるように、次のフレームを選択するとよい。また、ユーザが指定した一定の時間間隔でフレーム画像を抽出してもよい。
　そして、抽出したフレーム画像の撮影時刻のＧＮＳＳ情報を取得する（Ｓ２１２）。そして取得したＧＮＳＳ情報をフレーム画像に付加する（Ｓ２０４）。ＧＮＳＳ情報は、例えば、画像のＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）情報に記録するとよい。
　ここで、位置情報付画像生成処理（Ｓ２０３、Ｓ２１２、Ｓ２０４）の詳細を、図５を用いて説明する。
　図５では、横軸に時間を示し、撮影開始時刻４１から撮影終了時刻４２の間で動画が撮影されており、動画から抽出されたフレーム画像の時刻と、ＲＴＫ－ＧＮＳＳ情報が得られた時刻を時間軸上に示す。
　ステップＳ２０３では、撮影された動画からフレーム画像を抽出する。図示した例では、時刻ｉ１～ｉ１０の１０枚のフレーム画像が抽出される。一方、ＲＴＫ－ＧＮＳＳ測位で撮影中の時刻ｇ１～ｇ６で位置情報が得られている。図でわかるように、動画からフレーム画像を抽出した時刻とＲＴＫ－ＧＮＳＳ情報が得られた時刻は一致せず、通常はＲＴＫ－ＧＮＳＳ情報が得られた時刻の間隔の方が長い。このため、フレーム画像の撮影時刻の前後に取得された二つのＧＮＳＳ情報を内挿してフレーム画像の撮影時刻のＧＮＳＳ情報を推定するとよい。例えば、図５に示す例では、動画から抽出されたフレーム画像ｉ１及びｉ２には、位置情報ｇ１及びｇ２から内挿して計算された位置情報が付加される。
　なお、位置情報が動画中のフレーム画像と同レベルの時間間隔で取得できる場合、フレーム画像の撮影時刻に最も近い時刻のＧＮＳＳ情報を、フレーム画像の撮影時刻のＧＮＳＳ情報に採用すればよい。
　次に、ＧＮＳＳ情報のＦＩＸ解が得られなかった場合のフレーム画像の位置情報について説明する。
　ＲＴＫ－ＧＮＳＳは基線解析においてＦＩＸ解が得られたときに誤差数センチメートルで位置を計測でき、ＦＬＯＡＴ解や、単独測位になった時はメートル単位の誤差が含まれる。ＦＩＸ解が得られた時以外の位置情報を利用すると、三次元モデルが生成できなかったり、三次元モデルに大きな誤差を含んだりするので、ＦＩＸ解が得られた時以外の位置情報を利用しないことが望ましい。図では、ＦＩＸ解が得られたＲＴＫ－ＧＮＳＳ測位の結果を黒色の丸（●）、ＦＩＸ解が得られなかったＲＴＫ－ＧＮＳＳ測位の結果を白色の丸（○）で示す。
　ＦＩＸ解が得られたＲＴＫ－ＧＮＳＳ測位の時刻に挟まれた時間のフレーム画像には、前述した方法で位置情報を付加する。一方、前後の時刻の少なくとも一方のＲＴＫ－ＧＮＳＳ測位でＦＩＸ解を得られていない場合、フレーム画像には位置情報を付加しない。図では、ＲＴＫ－ＧＮＳＳ測位から得られた位置情報が付加されるフレーム画像を黒色の三角（▲）、ＲＴＫ－ＧＮＳＳ測位から得られた位置情報が付加されないフレーム画像を白色の三角（△）で示す。
　なお、位置情報が付加されないフレーム画像には、サーバ１３で位置情報を付すことができる。サーバ１３は、後述する三次元点群生成処理Ｓ２０５において、タブレット端末１１から送信された位置情報付きの画像セット中の時間的に隣接する画像の特徴を比較する。このとき、二つの画像の撮影位置の相対的関係が分かる。このため、位置が既知のフレーム画像との相対的位置関係を使用して、位置情報が付加されないフレーム画像の撮影位置の情報を計算できる。
　その後、画像セット送信機能１０４が、ステップＳ２０４で生成されたＧＮＳＳ情報を付加したフレーム画像のセットを、タブレット端末・サーバ間通信機能１４を経由してサーバ１３へ送信する。この際、動画の不足分をカバーする目的などによって、再撮影された動画から抽出されたフレーム画像のセットが三次元モデルの生成に必要な場合は、複数の画像セットを送信する。
　サーバ１３は、タブレット端末１１から受信した画像セットをデータベース１１６に格納する。その後、サーバ１３では、三次元点群生成機能１３１が、ＳＦＭ（Structure From Motion）技術を用いて、タブレット端末１１から送信された位置情報付きの画像セット中の時間的に隣接する画像の特徴を比較して、特徴点を対応付け、図６（Ａ）に示すような三次元点群５１を生成する（Ｓ２０５）。生成された三次元点群５１によって、計測対象２３の各部の長さを計測できる。
　その後、ＤＥＭ生成機能１３２が、図６（Ｂ）に示すような、ＤＥＭデータ５２を生成する（Ｓ２０６）。ＤＥＭデータは、一定間隔のメッシュで画定される各区画の高さ情報を含むので、体積が計測し易く、設計図と比較しやすい。図６（Ｂ）では、色が薄いほど高さが高いことを示す。なお、三次元点群からＤＥＭデータの生成において、周囲に点群が少ない粗点群（ノイズ）を除去し、データが欠落している場所の穴埋め処理を実行するとよい。
　これら三次元点群生成処理Ｓ２０５及びＤＥＭデータ生成処理Ｓ２０６は一定の時間を要するので、ステータス送信機能１３３が、処理の進捗状況をタブレット端末１１に送信するとよい。
　その後、ＤＥＭデータ送信機能１３４が、生成されたＤＥＭデータを、タブレット端末・サーバ間通信機能１４を経由してタブレット端末１１に送信する。
　タブレット端末１１では、体積計測機能１０６が、サーバ１３から送信されたＤＥＭデータを用いて体積を計測する（Ｓ２０７）。例えば、図７で示すようにＤＥＭデータ５２を２次元的に表示し、体積を計測したい領域をユーザがポリゴン６１で選択する。体積計測機能１０６は、各区画の標高から基準高を減じた高さに、各区画の面積を乗じた値を、選択されたメッシュについて集計することによって、すなわち下式を用いて選択された領域の体積を計算して、画面に表示する。基準高は、ユーザが数値を入力してもよいし、表示されたＤＥＭデータの周囲の地点を画面上で指定することによって、指定された地点の標高を基準高として利用してもよい。
体積＝Σ各区画の面積×（各区画の標高－基準高）
　ＤＥＭデータは、設計図を比較することによって、作業の現状が把握できる。さらに、現状と工事計画との比較によって、作業の進捗状状況を管理できる。
　以上に説明したように、実施例１の計測システムでは、少人数（例えば１人）、短時間、低コストで計測対象２３の画像から、三次元データが得られ、計測対象２３の長さ、大きさ、体積などを計測できる。
　＜実施例２＞
　次に、本発明の実施例２を説明する。なお、実施例２において、前述した実施例１と同じ構成及び機能には同じ符号を付し、それらの説明は省略し、実施例１との相違点のみを説明する。
　実施例２は、前述した実施例１と異なり、タブレット端末１１で全ての処理を実行する。このため、三次元点群生成機能１３１、ＤＥＭ生成機能１３２及びステータス通知機能１４０がタブレット端末１１に実装されている。
　図８は、本発明の実施例２の計測システムの構成を示す図である。
　本実施例の計測システムは、単独で計測装置として機能するタブレット端末１１で構成される。タブレット端末１１は、ＣＰＵ１０７、記憶装置１０８、カメラ１０９、測位装置１１０、通信インタフェース１１１及びユーザインタフェース１１２を有する計算機である。
　ＣＰＵ１０７は、記憶装置１０８に格納されたプログラムを実行し、計測処理を行う演算装置である。具体的には、ＣＰＵ１０７は、プログラムを実行することによって、動画撮影・管理機能１０１、ＲＴＫ－ＧＮＳＳ測位機能１０２、位置情報付き画像生成機能１０３、撮影結果確認機能１０５、体積計測機能１０６、三次元点群生成機能１３１、ＤＥＭ生成機能１３２及びステータス通知機能１４０を実行する。ステータス通知機能１４０は、三次元点群生成処理及びＤＥＭデータ生成処理の進捗状況をユーザに通知する。
　ＣＰＵ１０７が実行するプログラムは、ネットワーク又はリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）を介してタブレット端末１１に提供され、非一時的記憶媒体である記憶装置１０８の不揮発性記憶領域に格納される。このため、タブレット端末１１は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。
　タブレット端末１１は、その他の種類の携帯情報端末（例えば、スマートフォンや、携帯型コンピュータ）でもよい。
　以上に説明したように、実施例２の計測システムは、全ての機能をタブレット端末１１に実装したので、サーバ１３との通信が困難な場所でも、計測対象２３の三次元データを生成し、長さや体積を計測できる。
　以上に説明したように、本発明の実施例によると、カメラ１０９が対象物を撮影した動画と、測位装置１１０が取得した位置情報とを記憶装置１０８に保存し、記憶装置１０８に保存された動画から複数の静止画像を抽出し、抽出した複数の静止画像に位置情報を付加し、位置情報が付加された複数の静止画像を用いて、計測対象２３の三次元点群データ５１を生成するので、低コスト、短時間、少人数（一人）で正確に計測できる。
　また、生成された三次元点群データ５１からＤＥＭデータ５２を生成し、生成されたＤＥＭデータ５２の一部又は全部の領域における計測対象２３の体積を計算するので、低コスト、短時間、少人数（一人）で計測対象２３の体積を正確に計測できる。
　また、記憶装置１０８に保存された動画３４と、当該動画の撮影場所の変化（軌跡３１）とを対応付けて表示するので、動画と撮影場所との比較によって、三次元モデルを作成する対象を不足なく撮影できていることを撮影後すぐに（不完全な三次元モデルを生成する前に）確認できる。すなわち、動画像の撮影時に、計測対象２３が漏れなく撮影でき、期待する三次元モデルが取得できるかを、その場で確認できるので、三次元モデル生成後にデータを取得し直すという手間が省ける。仮に、撮影できていない箇所が確認時に見つかっても、その部分のみの画像を撮影すればよいので、全体のデータの取り直しが必要なく、作業効率を向上できる。
　なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (9)

  1. 　対象物を計測する計測システムであって、
    　対象物の画像を取得する端末と、前記端末と接続されたサーバとを備え、
    　前記端末は、所定の処理を実行する第１演算装置と、前記第１演算装置に接続された第１記憶装置と、前記第１演算装置に接続された第１通信インタフェースと、対象物を撮影するカメラと、位置情報を取得する測位装置とを有し、
    　前記サーバは、所定の処理を実行する第２演算装置と、前記第２演算装置に接続された第２記憶装置と、前記第２演算装置に接続された第２通信インタフェースとを有し、
    　前記端末は、
    　前記カメラが対象物を撮影した動画と、前記測位装置が取得した位置情報とを前記第１記憶装置に保存し、
    　前記第１記憶装置に保存された動画から複数の静止画像を抽出し、前記抽出した複数の静止画像に前記位置情報を付加し、
    　前記位置情報が付加された複数の静止画像を前記サーバに送信し、
    　前記サーバは、前記位置情報が付加された複数の静止画像を用いて、前記対象物の三次元データを生成することを特徴とする計測システム。
  2. 　請求項１に記載の計測システムであって、
    　前記サーバは、前記生成された三次元データからＤＥＭデータを生成し、前記生成されたＤＥＭデータを前記端末に送信し、
    　前記端末は、前記生成されたＤＥＭデータの一部又は全部の指定を受けることによって、当該指定された領域における前記対象物の体積を計算することを特徴とする計測システム。
  3. 　請求項１に記載の計測システムであって、
    　前記端末は、前記第１記憶装置に保存された動画と、当該動画の撮影場所の変化とを対応付けて表示し、前記動画を確認できる画面を生成することを特徴とする計測システム。
  4. 　対象物を計測する計測装置であって、
    　所定の処理を実行する演算装置と、前記演算装置に接続された記憶装置と、前記演算装置に接続された通信インタフェースと、対象物を撮影するカメラと、位置情報を取得する測位装置とを備え、
    　前記演算装置は、
    　前記カメラが対象物を撮影した動画と、前記測位装置が取得した位置情報とを前記記憶装置に保存し、
    　前記記憶装置に保存された動画から複数の静止画像を抽出し、前記抽出した複数の静止画像に前記位置情報を付加し、
    　前記位置情報が付加された複数の静止画像を用いて、前記対象物の三次元データを生成することを特徴とする計測装置。
  5. 　請求項４に記載の計測装置であって、
    　前記生成された三次元データからＤＥＭデータを生成し、
    　前記生成されたＤＥＭデータの一部又は全部の指定を受けることによって、当該指定された領域における前記対象物の体積を計算することを特徴とする計測装置。
  6. 　請求項４に記載の計測装置であって、
    　前記記憶装置に保存された動画と、当該動画の撮影場所の変化とを対応付けて表示し、前記動画を確認できる画面を生成することを特徴とする計測装置。
  7. 　計測システムが対象物を計測する計測方法であって、
    　前記計測システムは、対象物の画像を取得する端末と、前記端末と接続されたサーバとを有し、
    　前記端末は、所定の処理を実行する第１演算装置と、前記第１演算装置に接続された第１記憶装置と、前記第１演算装置に接続された第１通信インタフェースと、対象物を撮影するカメラと、位置情報を取得する測位装置とを有し、
    　前記サーバは、所定の処理を実行する第２演算装置と、前記第２演算装置に接続された第２記憶装置と、前記第２演算装置に接続された第２通信インタフェースとを有し、
    　前記計測方法は、
    　前記端末が、前記カメラが対象物を撮影した動画と、前記測位装置が取得した位置情報とを前記第１記憶装置に保存するステップと、
    　前記端末が、前記第１記憶装置に保存された動画から複数の静止画像を抽出し、前記抽出した複数の静止画像に前記位置情報を付加するステップと、
    　前記端末が、前記位置情報が付加された複数の静止画像を前記サーバに送信するステップと、
    　前記サーバが、前記位置情報が付加された複数の静止画像を用いて、前記対象物の三次元データを生成するステップと、を含む計測方法。
  8. 　請求項７に記載の計測方法であって、
    　前記サーバが、前記生成された三次元データからＤＥＭデータを生成し、前記生成されたＤＥＭデータを前記端末に送信するステップと、
    　前記端末が、前記生成されたＤＥＭデータの一部又は全部の指定を受けることによって、当該指定された領域における前記対象物の体積を計算するステップと、を含む計測方法。
  9. 　請求項７に記載の計測方法であって、
    　前記端末が、前記第１記憶装置に保存された動画と、当該動画の撮影場所の変化とを対応付けて表示し、前記動画を確認できる画面を生成するステップを含む計測方法。
PCT/JP2018/025743 2017-10-30 2018-07-06 計測システム、計測装置、及び計測方法 WO2019087467A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-209772 2017-10-30
JP2017209772A JP2019082400A (ja) 2017-10-30 2017-10-30 計測システム、計測装置、及び計測方法

Publications (1)

Publication Number Publication Date
WO2019087467A1 true WO2019087467A1 (ja) 2019-05-09

Family

ID=66332498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025743 WO2019087467A1 (ja) 2017-10-30 2018-07-06 計測システム、計測装置、及び計測方法

Country Status (2)

Country Link
JP (1) JP2019082400A (ja)
WO (1) WO2019087467A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067717A1 (ja) * 2021-10-20 2023-04-27 日本電気株式会社 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7328626B2 (ja) 2020-10-30 2023-08-17 トヨタ自動車株式会社 車両の制振制御システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749910A (ja) * 1993-08-04 1995-02-21 Jgc Corp 建設工事の進捗状況監視装置とその方法
JPH11118438A (ja) * 1997-10-15 1999-04-30 Matsushita Electric Ind Co Ltd ３次元形状測定方法および装置
JP2007033157A (ja) * 2005-07-25 2007-02-08 Ntt Data Corp 画像解析装置、画像解析方法及びプログラム
JP2010171838A (ja) * 2009-01-26 2010-08-05 Nikon Corp 動画表示装置、プログラムおよび撮像装置
JP2011027718A (ja) * 2009-06-16 2011-02-10 Intel Corp 単一カメラ及び運動センサーによる３次元情報抽出
JP2012139456A (ja) * 2011-01-05 2012-07-26 Olympus Corp 内視鏡画像再生装置
JP2014126321A (ja) * 2012-12-27 2014-07-07 Kobe Steel Ltd ごみ処理炉ホッパ内のごみ体積の推定方法
US20160029009A1 (en) * 2014-07-24 2016-01-28 Etron Technology, Inc. Attachable three-dimensional scan module
JP2017049052A (ja) * 2015-08-31 2017-03-09 日本ユニシス株式会社 対象物の３次元画像データを生成するためのシステム、方法、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5273126B2 (ja) * 2010-09-15 2013-08-28 カシオ計算機株式会社 測位装置、測位方法およびプログラム
JP5303613B2 (ja) * 2011-07-05 2013-10-02 株式会社五星 移動基準点写真測量装置および方法
JP2017060133A (ja) * 2015-09-18 2017-03-23 カシオ計算機株式会社 電子機器、撮像制御方法、画像処理方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749910A (ja) * 1993-08-04 1995-02-21 Jgc Corp 建設工事の進捗状況監視装置とその方法
JPH11118438A (ja) * 1997-10-15 1999-04-30 Matsushita Electric Ind Co Ltd ３次元形状測定方法および装置
JP2007033157A (ja) * 2005-07-25 2007-02-08 Ntt Data Corp 画像解析装置、画像解析方法及びプログラム
JP2010171838A (ja) * 2009-01-26 2010-08-05 Nikon Corp 動画表示装置、プログラムおよび撮像装置
JP2011027718A (ja) * 2009-06-16 2011-02-10 Intel Corp 単一カメラ及び運動センサーによる３次元情報抽出
JP2012139456A (ja) * 2011-01-05 2012-07-26 Olympus Corp 内視鏡画像再生装置
JP2014126321A (ja) * 2012-12-27 2014-07-07 Kobe Steel Ltd ごみ処理炉ホッパ内のごみ体積の推定方法
US20160029009A1 (en) * 2014-07-24 2016-01-28 Etron Technology, Inc. Attachable three-dimensional scan module
JP2017049052A (ja) * 2015-08-31 2017-03-09 日本ユニシス株式会社 対象物の３次元画像データを生成するためのシステム、方法、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067717A1 (ja) * 2021-10-20 2023-04-27 日本電気株式会社 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
JP2019082400A (ja) 2019-05-30

Similar Documents

Publication Publication Date Title
JP4129879B2 (ja) 画像解析装置、画像解析方法及びプログラム
EP3039655B1 (en) System and method for determining the extent of a plane in an augmented reality environment
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP6589636B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
CA2891159A1 (fr) Procede de traitement d'informations locales
JP2024015376A (ja) 入力装置および入力装置の入力方法、ならびに、出力装置および出力装置の出力方法
CA2863709A1 (en) Method and apparatus for performing a fragmentation assessment of a material
JP5463584B2 (ja) 変位計測方法、変位計測装置及び変位計測プログラム
JP2005283221A (ja) 測量データ処理システム、電子地図を格納する記憶媒体及び電子地図表示装置
KR102001636B1 (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
JP2009128969A5 (ja)
JPWO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
WO2019087467A1 (ja) 計測システム、計測装置、及び計測方法
JP2019207531A (ja) 画像処理プログラム、画像処理方法および画像処理装置
WO2022025283A1 (ja) 測定処理装置、方法及びプログラム
JP4914870B2 (ja) 混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体
KR100942271B1 (ko) 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
KR100709142B1 (ko) 이미지 기반의 공간 정보 구축 방법 및 시스템
JP5837404B2 (ja) 画像処理装置、画像処理方法
CN116051980B (zh) 基于倾斜摄影的建筑识别方法、系统、电子设备及介质
JP2021135234A (ja) 体積計測装置、システム、方法、及びプログラム
JP5642561B2 (ja) 家屋異動判読支援装置、家屋異動判読支援方法及び家屋異動判読支援プログラム
Briese et al. Analysis of mobile laser scanning data and multi-view image reconstruction
JP2019074991A (ja) 画像処理プログラム、画像処理装置および画像処理方法
KR100782152B1 (ko) 3차원 수치지도를 제작하기 위하여 항공사진 ｄｂ로부터건물의 3차원 데이터를 획득하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874497

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18874497

Country of ref document: EP

Kind code of ref document: A1