WO2020225889A1 - 点群アノテーション装置、方法、及びプログラム - Google Patents

点群アノテーション装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020225889A1
WO2020225889A1 PCT/JP2019/018452 JP2019018452W WO2020225889A1 WO 2020225889 A1 WO2020225889 A1 WO 2020225889A1 JP 2019018452 W JP2019018452 W JP 2019018452W WO 2020225889 A1 WO2020225889 A1 WO 2020225889A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
point cloud
cluster
annotated
annotation
Prior art date
Application number
PCT/JP2019/018452
Other languages
English (en)
French (fr)
Inventor
仁 新垣
泰洋 八尾
慎吾 安藤
夏菜 倉田
淳 嵯峨田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2019/018452 priority Critical patent/WO2020225889A1/ja
Priority to JP2021518263A priority patent/JP7156515B2/ja
Priority to US17/608,735 priority patent/US20230260216A1/en
Publication of WO2020225889A1 publication Critical patent/WO2020225889A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • the present invention relates to a point cloud annotation device, method, and program, and particularly relates to a point cloud annotation device, method, and program for annotating a point cloud consisting of three-dimensional points.
  • MMS Mobile Mapping System
  • IMS Inertial Measurement Unit
  • Non-Patent Document 1 by analyzing the 3D point cloud and using machine learning, it is possible to detect an object from the input point cloud. For example, research and development is being carried out to support the creation of DBs for 3D maps for autonomous driving and maps of infrastructure equipment around roads.
  • Annotation means the work of adding information on an object to be detected to input data.
  • Non-Patent Document 2 a method of annotating a point cloud by operating three-dimensional data visualization software such as CAD is known (Non-Patent Document 2).
  • CAD three-dimensional data visualization software
  • the position of the point group of the subject to be annotated is selected by the operation of a mouse or the like, and the annotation is performed on those point groups.
  • Non-Patent Document 3 a method of clicking on an overdivided area is used.
  • the viewpoint position is the camera position when displaying the point cloud data on the screen
  • the gazing point position means the position of the subject
  • the subjects do not overlap is the line connecting the viewpoint and the gazing point. It means that there are no other structures on the line segment.
  • Non-Patent Document 3 As a method of realizing annotation without cutting out a point cloud, as in the method described in Non-Patent Document 3, by selecting (designating) a divided area at the time of annotation, many images are displayed at once. Annotation can be executed for a pixel or a three-dimensional point cloud.
  • the present invention has been made in consideration of the above problems, and provides a point cloud annotation device, method, and program capable of easily annotating a three-dimensional point cloud and reducing work time.
  • the purpose is.
  • the point group annotation device displays a point group representing a three-dimensional point on an object, specifies a three-dimensional point representing the object to be annotated, and the above. Based on the designation of the three-dimensional point, each of the interface part that accepts the designation of the three-dimensional point that does not represent the object to be annotated and the point group cluster obtained by clustering the point group is like the object to be annotated.
  • Candidate cluster calculation unit that calculates the value of the predetermined evaluation function indicating, and the point group cluster to be displayed in the interface unit in descending order of the value of the evaluation function, and selection of the point group cluster to be annotated. It is configured to include a cluster selection save designation unit that accepts, and an annotation execution unit that executes an annotation indicating that the object is an object to be annotated for each three-dimensional point included in the selected point group cluster. ing.
  • the interface unit displays a point group representing a three-dimensional point on an object, specifies a three-dimensional point representing the object to be annotated, and specifies the object to be annotated.
  • the candidate cluster calculation unit clusters the point groups to obtain the point group cluster, and based on the designation of the three-dimensional points, determines the appearance of the object to be annotated.
  • the value of the predetermined evaluation function to be shown is calculated, and the cluster selection storage designation unit displays the point group clusters in descending order of the value of the evaluation function, accepts the selection of the point group cluster to be annotated, and annotates.
  • the execution unit executes an annotation indicating that the object is an object to be annotated for each three-dimensional point included in the selected point group cluster.
  • the program according to the third aspect of the present invention displays a group of points representing a three-dimensional point on an object on a computer, specifies a three-dimensional point representing the object to be annotated, and represents the object to be annotated.
  • a predetermined evaluation function indicating the likeness of the object to be annotated based on the designation of the three-dimensional points. The values are calculated, the point group clusters are displayed in the interface unit in descending order of the value of the evaluation function, the selection of the point group clusters to be annotated is accepted, and each of the selected point group clusters included in the selected point group clusters.
  • point cloud annotation device it is possible to easily annotate a three-dimensional point cloud, and it is possible to reduce the work time.
  • a point cloud cluster representing a large area can be created by simply clicking a three-dimensional point included in the point cloud, and batch annotation can be performed using the point cloud cluster.
  • the point cloud cluster means a group of point clouds in which the input three-dimensional point cloud is grouped using physical information such as distance and color as an index. For example, grouping (called clustering) is possible based on the distance threshold value and the threshold value of the difference value of the laser reflection intensity.
  • It also includes a point group cluster that includes points clicked as three-dimensional points that represent the object to be annotated (called positive examples), or points that are clicked as three-dimensional points that do not represent objects to be annotated (called negative examples).
  • the value of the evaluation function is calculated considering whether or not there is a cluster, and the point group cluster is presented to the user in descending order of the value of the evaluation function.
  • annotation is defined as giving information (type) of an object to each point.
  • the measured point cloud holds three-dimensional information, but it is unknown what kind of object surface the point is. Therefore, for example, a number (integer value) is given as information indicating which object each point is a point of which object by annotation.
  • a number integer value
  • annotating a plurality of types of target objects it means that different numbers are assigned, for example, 10 for a utility pole and 20 for a cable.
  • a cluster that includes both of the correct examples can be selected by clicking and specifying the points at different positions of the point cloud on the same subject as a regular example. Since it is automatically selected as a candidate, it is possible to significantly reduce the work of cutting out a point cloud and clicking a large number of areas.
  • the evaluation formula for the candidate cluster can be obtained by the following formula.
  • Clustering may be performed in the middle of work or in advance.
  • the criterion for determining whether or not the point cloud cluster is desired by the user can also be calculated by counting the number including positive points and the number not including negative examples, that is, only addition / subtraction, so that the calculation load is small. ..
  • the point group annotation device 100 of the present embodiment includes an input unit 10, a calculation unit 20, and an information presentation unit 90.
  • the input unit 10 is a user interface such as a mouse or a keyboard, and receives an operation by the user on the GUI screen displayed by the information presentation unit 90.
  • the information presentation unit 90 displays the GUI screen to the user.
  • the calculation unit 20 includes an interface unit 22, a three-dimensional point cloud storage unit 24, a cluster area generation unit 26, a cluster storage unit 28, a cluster editing unit 30, a candidate cluster calculation unit 32, and a cluster selection storage designation unit. 34, an annotation execution unit 36, and an annotation information storage unit 38 are provided.
  • the interface unit 22 draws a GUI screen displayed by the information presentation unit 90, and grasps the content of the operation by the user received by the input unit 10.
  • the three-dimensional point cloud storage unit 24 stores a point cloud that is a set of three-dimensional points on an object, which is measured in advance by a device that measures the three-dimensional point cloud.
  • a device for measuring a three-dimensional point group is, for example, a device mounted on a moving body and measures a point group representing a three-dimensional point on an object, such as a laser range finder, an infrared sensor, or an ultrasonic sensor.
  • the cluster area generation unit 26 clusters the point clouds that represent the three-dimensional points on the object stored in the three-dimensional point cloud storage unit 24, obtains a point cloud cluster, and performs AND or OR processing between the point cloud clusters. Generates a large number of point cloud clusters.
  • the point cloud cluster is obtained from the result of clustering the point cloud using each of the plurality of clustering methods.
  • a large number of point group clusters generated when the threshold parameter of clustering is changed may be used.
  • region representing the point cloud cluster obtained by the clustering method 1 and the region representing the point cloud cluster obtained by the clustering method 2 overlap, it is designated as an overdivided region.
  • Region 1, region 2, and region 3 are obtained, and region 2 is obtained as an AND region, and a region that combines regions 1 to 3 is obtained as an OR region, and these are referred to as a point cloud cluster. To do.
  • the cluster area generation unit 26 does not necessarily have a function to perform clustering processing, reads the result of clustering in advance, and uses the clustering result (point cloud cluster) to perform a point cloud cluster in the AND area and the OR area. May be generated.
  • the AND process is a process of dividing a certain cluster A and another cluster B into the same spatial area and other areas, and as a result, three (when there is no same spatial area).
  • a point cloud cluster (as is) is generated.
  • One point cloud cluster is forcibly generated in the OR region.
  • the "area” means the range of positions in the three-dimensional space. Specifically, the position and size of the space of X, Y, Z may be specified.
  • the "point cloud cluster” is used to mean the information (area) for specifying the area, but the area may be specified by using information other than the point cloud cluster.
  • this cluster area generation is to prepare a large number of candidate clusters to be used when annotating. Therefore, a large number of combinations of point cloud clusters to be subjected to AND processing and OR processing may be randomly selected. For example, in Non-Patent Document 1, for 100 clustering results obtained by performing clustering by changing the parameter 100 times, AND processing and OR processing are performed for a combination of point cloud clusters containing even one point. Just do it.
  • a region may be generated using three point cloud clusters.
  • the area representing the point cloud cluster obtained by the clustering method 1 the area representing the point cloud cluster obtained by the clustering method 2, and the area representing the point cloud cluster obtained by the clustering method 3 overlap.
  • the area 1 to 6 which is an overdivided area, the area 4 which is an AND area, and the area 1 to 6 which is an OR area are combined as a point cloud cluster. Desired.
  • the cluster storage unit 28 stores the area obtained by the cluster area generation unit 26, that is, each point cloud cluster.
  • the cluster editorial unit 30 performs a process of interactively generating a new area (point cloud cluster) by a manual operation of the user.
  • the cluster editing unit 30 removes the AND (overlapping) portion between the areas of the point cloud cluster stored in the cluster storage unit 28 by a user-specified operation on the GUI screen as a preprocessing before annotation. Perform the processing to be performed. For example, as shown in FIG. 4, an area (point cloud cluster) in which overlapping parts are removed from the leftmost area (point cloud cluster) based on the middle area (see shaded points in FIG. 4). Ask for. This result is newly registered as a candidate cluster.
  • the cluster editing unit 30 uses the cluster editing unit 30 for the purpose of generating a new point cloud cluster during the annotation process when the temporary registration cluster described later is stored in the cluster storage unit 28. You may. Specifically, the temporary registration cluster is stored in the cluster storage unit 28 based on the user's designation of another temporary registration cluster (see the shaded area in FIG. 5) on the GUI screen. The overlapping part with the other designated temporary registration cluster may be removed and registered as a new temporary registration cluster (see FIG. 5).
  • the cluster editing unit 30 is stored in the cluster storage unit 28 based on the user's designation of a plurality of point group clusters on the GUI screen displayed by the information presentation unit 90. It has a function to realize an operation for editing by the user so as to integrate the point group clusters (see FIG. 6). As shown in FIG. 6, it is assumed that after the point cloud is meshed and displayed, the areas are divided in a grid pattern at regular intervals. In this case, a new area can be generated by sequentially adding (OR processing) the area specified (clicked) by the user to the divided area.
  • the annotation work is performed using the area (point cloud cluster) automatically generated by the cluster area generation unit 26 or manually operated by the cluster editing unit 30. It is not necessary to distinguish between these automatic area generation and manual generation operations, and either function may be used. Further, in the following description, the point cloud cluster will be used to specify the area.
  • the candidate cluster calculation unit 32 specifies a three-dimensional point representing the object to be annotated and a three-dimensional point not representing the object to be annotated on the GUI screen displayed by the information presentation unit 90. Based on this, the value of the evaluation function indicating the object to be annotated is calculated for each of the point group clusters stored in the cluster storage unit 28.
  • the interface unit 22 causes the information presentation unit 90 to display a GUI screen displaying a point group representing a three-dimensional point on the object, specifies the three-dimensional point representing the object to be annotated, and sets the object to be annotated. Accepts the designation of 3D points that are not represented.
  • the evaluation function outputs a higher value as the point cloud cluster contains three-dimensional points representing the specified annotation target object, and is lower as the point cloud cluster contains three-dimensional points that do not represent the specified annotation target object. Output the value. Specifically, among the three-dimensional points included in the point group cluster, a predetermined value is added by the number of three-dimensional points representing the specified annotation target object, and the three-dimensional points that do not represent the specified annotation target object are added. The value obtained by subtracting a predetermined value by the number of is used as the value of the evaluation function.
  • the cluster selection / preservation designation unit 34 displays a GUI screen that displays the point cloud clusters in descending order of the evaluation function value on the information presentation unit 90 via the interface unit 22, and accepts the designation of the point cloud cluster to be annotated. ..
  • the annotation execution unit 36 executes an annotation indicating that the object to be annotated is indicated for each three-dimensional point included in the designated point group cluster.
  • the annotation information storage unit 38 stores the annotation result for each three-dimensional point.
  • Each process by the interface unit 22, the candidate cluster calculation unit 32, the cluster selection / save designation unit 34, and the annotation execution unit 36 is repeated until a predetermined termination condition is satisfied.
  • the point cloud annotation device 100 is realized by the computer 84 shown in FIG. 7 as an example.
  • the computer 84 includes a CPU 86, a memory 88, a storage unit 92 that stores the program 82, a display unit 94 that includes a monitor, and an input unit 10 that includes a keyboard and a mouse.
  • the CPU 86, the memory 88, the storage unit 92, the display unit 94, and the input unit 10 are connected to each other via the bus 98.
  • the storage unit 92 is realized by an HDD, SSD, flash memory, or the like.
  • a program 82 for making the computer 84 function as the point cloud annotation device 100 is stored in the storage unit 92.
  • the CPU 86 reads the program 82 from the storage unit 92, expands the program 82 into the memory 88, and executes the program 82.
  • the program 82 may be stored in a computer-readable medium and provided.
  • FIG. 8 is a flowchart showing an example of a processing flow by the program 82 according to the present embodiment.
  • the point cloud obtained by measuring the three-dimensional point cloud is stored in the three-dimensional point cloud storage unit 24 at each time.
  • clustering of point groups by the cluster area generation unit 26 and editing of point group clusters by the cluster editing unit 30 are performed.
  • the CPU 86 reads out and executes the program 82 stored in the storage unit 92.
  • the interface unit 22 causes the information presentation unit 90 to display the GUI screen representing the point cloud, and the input unit 10 specifies the three-dimensional point representing the annotation target object and the annotation target object. Accepts the designation of 3D points that do not represent.
  • the user clicks a three-dimensional point representing the object to be annotated (see the shaded point in FIG. 9) and a three-dimensional point not representing the object to be annotated (see FIG. 9).
  • a three-dimensional point representing the object to be annotated see the shaded point in FIG. 9
  • a three-dimensional point not representing the object to be annotated see FIG. 9.
  • the candidate cluster calculation unit 32 specifies the three-dimensional point representing the annotation target object by the user on the GUI screen displayed by the information presentation unit 90, and the three-dimensional point that does not represent the annotation target object.
  • the value of the evaluation function is calculated for each of the point cloud clusters stored in the cluster storage unit 28 based on the designation of.
  • step S104 the cluster selection / preservation designation unit 34 extracts the point cloud clusters in descending order of the value of the evaluation function and sets them as candidate clusters.
  • step S106 the cluster selection / saving designation unit 34 causes the information presentation unit 90 to display the GUI screen that displays the candidate clusters in descending order of the value of the evaluation function on the information presentation unit 90 via the interface unit 22, and is annotated by the input unit 10. Accepts the selection of candidate clusters that represent objects.
  • candidate clusters are displayed in descending order of the value of the evaluation function.
  • Each candidate cluster is displayed together with the clustering result of the clustering method in which the candidate cluster was obtained.
  • step S108 the annotation execution unit 36 executes an annotation representing an annotation target object for each three-dimensional point included in the selected candidate cluster.
  • each three-dimensional point (see the white point in FIG. 11) included in the selected candidate cluster is annotated to represent the object to be annotated, and the candidate cluster is included. Is registered as a temporary registration cluster representing the object to be annotated.
  • step S110 it is determined whether or not the predetermined end condition is satisfied, and if the end condition is not satisfied, the process returns to step S100 and the designation of the three-dimensional point is accepted again as teacher information. On the other hand, if the end condition is satisfied, the process proceeds to step S112.
  • the user When accepting the designation of the three-dimensional point as the teacher information again, for example, as shown in FIG. 11, the user additionally clicks the three-dimensional point representing the object to be annotated on the GUI screen to teach the teacher. Accepts the designation of 3D points as information (see shaded points in FIG. 11). Then, on the GUI screen shown in FIG. 12, candidate clusters are displayed in descending order of the value of the evaluation function calculated based on the three-dimensional points additionally specified, and the user clicks the candidate cluster on the GUI screen. By doing so, the selection of the candidate cluster representing the object to be annotated is accepted.
  • step S112 a point group consisting of three-dimensional points to which an annotation representing the annotation target object is added (see the point group consisting of white points in FIG. 13) is stored in the annotation information storage unit 38, and the annotation target object is stored.
  • the OR area of the temporary registration cluster representing the above is stored in the annotation information storage unit 38 as a registration cluster.
  • the GUI screen for displaying the annotation result is displayed on the information presentation unit 90 via the interface unit 22 (see FIG. 13).
  • the point group annotation device 100 of the present embodiment displays a point group representing a three-dimensional point on an object, specifies a three-dimensional point representing the object to be annotated, and represents the object to be annotated. Accepting the designation of no 3D points, for each point group cluster, based on the designation of the 3D points, the value of the predetermined evaluation function indicating the likeness of the object to be annotated is calculated, and the value of the evaluation function is high.
  • the point group clusters are displayed in order, and the selection of the point group cluster to be annotated is accepted.
  • annotation is executed for each three-dimensional point included in the selected point cloud cluster.
  • annotations can be easily performed on the three-dimensional point cloud, and the work time can be reduced.
  • this embodiment is an example, and the specific configuration is not limited to this embodiment, but includes a design and the like within a range that does not deviate from the gist of the present invention, and can be changed depending on the situation. Needless to say.
  • the equipment around the road is the object to be annotated
  • the present invention is not limited to this, and an object other than the equipment around the road may be the object to be annotated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)

Abstract

簡易に、３次元点群に対してアノテーションを行うことができ、作業時間を削減できるようにする。　インターフェース部２２が、物体上の３次元点を表す点群を表示し、アノテーション対象物体を表す３次元点の指定と、前記アノテーション対象物体を表さない３次元点の指定とを受け付ける。候補クラスタ計算部３２が、点群をクラスタリングして求めた点群クラスタの各々について、３次元点の指定に基づいて、アノテーション対象物体らしさを示す予め定められた評価関数の値を計算する。クラスタ選択保存指定部３４が、評価関数の値が高い順に点群クラスタをインターフェース部２２に表示させて、アノテーションすべき点群クラスタの選択を受け付ける。アノテーション実行部３６が、選択された点群クラスタに含まれる各３次元点に対して、アノテーション対象物体であることを示すアノテーションを実行する。

Description

点群アノテーション装置、方法、及びプログラム
　本発明は、点群アノテーション装置、方法、及びプログラムに係り、特に、３次元点からなる点群に対してアノテーションを行うための点群アノテーション装置、方法、及びプログラムに関する。
　近年、モバイルマッピングシステム（ＭＭＳ（Mｏｂｉｌｅ Mａｐｐｉｎｇ Sｙｓｔｅｍ））と呼ばれるカメラやレーザースキャナを搭載した車が、街中を走行することで道路周辺の構造物である建造物や道路などの物体の表面の形状を計測できるシステムの利用が普及しつつある。このシステムは、GPS（全地球測位システム）やIMS(慣性計測装置)を用いて物体の表面を３次元の座標情報として記録できる。この技術を利用して、道路周辺の設備を3次元点群として保存できる。
　非特許文献１のように、3次元点群を解析し、機械学習を用いることで、入力された点群から物体を検出することができる。たとえば、自動運転用の３Ｄ地図用のＤＢや道路周辺のインフラ設備地図の作成支援の研究開発が行われている。
　しかしながら、これら物体の自動検出技術を用いるには事前に、人手によるアノテーションをすることが必要となる。アノテーションとは、入力データに対して、検出したい物体の情報を付与する作業を意味する。
　また、ＣＡＤ等の３次元データ可視化ソフトウェアの操作による点群へのアノテーションを行う方法が知られている（非特許文献２）。この方法では、切り出したい点群を目視により見つけ、ほかの被写体と重ならない視点方向から操作をする必要がある。アノテーション対象となる被写体の点群の位置をマウス等の操作で選択して、それらの点群に対してアノテーションを実施する。
　また、２次元の画像の認識技術の機械学習用の教師データとしてのアノテーション作業において、過分割された領域をクリックしていく方法が利用されている（非特許文献３）。
新垣 仁、筒口 拳、杵渕 哲也、「Mobile Mapping System計測点群からの樹木幹の検出 -スイープ形状物検出のための特徴抽出-」、画像電子学会第４5回年次大会 "CloudCompare 3D point cloud and mesh processing software Open Source Project"、［２０１９年３月７日検索］、インターネット（ＵＲＬ：https://www.danielgm.net/cc/） "GitHub - kyamagu/js-segment-annotator"、［２０１９年３月７日検索］、インターネット（ＵＲＬ：https://github.com/kyamagu/js-segment-annotator）
　しかしながら、非特許文献２に記載のソフトウェアのように、ＣＡＤ等のソフトウェアでの操作により、３Ｄ点群に情報を付与することは、２次元の画像と比べて多くの構造物同士が重なって見えるために、アノテーション対象物体である被写体を選択することが難しく稼働時間が長くなりやすい。被写体が密集しているシーンにおいては、手動により点群を切り出していく（分割していく）作業が有効であるが、切り出す操作は、２次元のPC画面上で支持する必要があるために、被写体がなるべく重ならない視点位置と注視点位置の方向を見つけて切り出す操作を繰り返し実行する必要がある。ここで、視点位置とは点群データを画面に表示する際のカメラ位置であり、注視点位置とは被写体の位置を意味し、「被写体が重ならない」とは視点と注視点を結んだ線分上に、他の構造物が存在しないことを意味する。
　点群を切り出さずにアノテーションを実現する方法としては、非特許文献３に記載の方法のように、アノテーションをするときに、分割された領域を選択（指定）することで、一度に多くの画像の画素、もしくは３次元の点群、に対してアノテーションを実行できる。
　しかしながら、この方法であっても、分割された領域数が多いと、指定のための操作（例えば、クリック操作）が多くなり作業時間が増大するという課題がある。一般的に、シーンが複雑なほど、つまり被写体が多い場合や、注目する被写体と周辺構造物が接している場合など、自動分割した際に領域数が増える傾向がある。また、そもそも分割された領域の生成精度が悪いと、分割された領域自体を手動で修正する必要がありその分の稼働も増加する。
　本発明は上記問題点を考慮してなされたものであり、簡易に、３次元点群に対してアノテーションを行い、作業時間を削減することができる点群アノテーション装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、本発明の第１の態様に係る点群アノテーション装置は、物体上の３次元点を表す点群を表示し、アノテーション対象物体を表す３次元点の指定と、前記アノテーション対象物体を表さない３次元点の指定とを受け付けるインターフェース部と、前記点群をクラスタリングして求めた点群クラスタの各々について、前記３次元点の指定に基づいて、前記アノテーション対象物体らしさを示す予め定められた評価関数の値を計算する候補クラスタ計算部と、前記評価関数の値が高い順に前記点群クラスタを前記インターフェース部に表示させて、アノテーションすべき前記点群クラスタの選択を受け付けるクラスタ選択保存指定部と、前記選択された前記点群クラスタに含まれる各３次元点に対して、前記アノテーション対象物体であることを示すアノテーションを実行するアノテーション実行部と、を含んで構成されている。
　本発明の第２の態様に係る点群アノテーション方法は、インターフェース部が、物体上の３次元点を表す点群を表示し、アノテーション対象物体を表す３次元点の指定と、前記アノテーション対象物体を表さない３次元点の指定とを受け付け、候補クラスタ計算部が、前記点群をクラスタリングして求めた点群クラスタの各々について、前記３次元点の指定に基づいて、前記アノテーション対象物体らしさを示す予め定められた評価関数の値を計算し、クラスタ選択保存指定部が、前記評価関数の値が高い順に前記点群クラスタを表示させて、アノテーションすべき前記点群クラスタの選択を受け付け、アノテーション実行部が、前記選択された前記点群クラスタに含まれる各３次元点に対して、前記アノテーション対象物体であることを示すアノテーションを実行する。
　また、本発明の第３の態様に係るプログラムは、コンピュータに、物体上の３次元点を表す点群を表示し、アノテーション対象物体を表す３次元点の指定と、前記アノテーション対象物体を表さない３次元点の指定とを受け付け、前記点群をクラスタリングして求めた点群クラスタの各々について、前記３次元点の指定に基づいて、前記アノテーション対象物体らしさを示す予め定められた評価関数の値を計算し、前記評価関数の値が高い順に前記点群クラスタを前記インターフェース部に表示させて、アノテーションすべき前記点群クラスタの選択を受け付け、前記選択された前記点群クラスタに含まれる各３次元点に対して、前記アノテーション対象物体であることを示すアノテーションを実行することを実行させるためのプログラムである。
　本発明の一態様に係る点群アノテーション装置、方法、及びプログラムによれば、簡易に、３次元点群に対してアノテーションを行うことができ、作業時間を削減できる、という効果が得られる。
本発明の実施形態の点群アノテーション装置の概略構成の一例を示す構成図である。 点群クラスタの生成方法を説明するための図である。 点群クラスタの生成方法を説明するための図である。 点群クラスタの編集方法を説明するための図である。 点群クラスタの編集方法を説明するための図である。 点群クラスタの編集方法を説明するための図である。 点群アノテーション装置として機能するコンピュータの一例の概略ブロック図である。 本発明の実施形態の点群アノテーション装置により実行される点群アノテーション処理の流れの一例を示すフローチャートである。 ３次元点の指定を受け付けるＧＵＩ画面の一例を示す図である。 点群クラスタの選択を受け付けるＧＵＩ画面の一例を示す図である。 登録クラスタの登録方法、及び３次元点の指定を受け付けるＧＵＩ画面の一例を示す図である。 点群クラスタの選択を受け付けるＧＵＩ画面の一例を示す図である。 アノテーション結果を表示するＧＵＩ画面の一例を示す図である。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。
［発明の概要］
　まず、本発明の実施の形態における概要を説明する。
　本発明の実施の形態では、点群に含まれる３次元点をクリックするだけで、大きな領域を表す点群クラスタを作成でき、その点群クラスタを用いて一括アノテーションが可能となる。
　ここで点群クラスタとは、入力された３次元点群を距離や色などの物理的な情報を指標としてグルーピングした点群の集まりを意味する。例えば、距離閾値や、レーザ反射強度の差分値の閾値をもとにしてグルーピング（クラスタリングと呼ぶ）することは可能である。
　また、アノテーション対象物体を表す３次元点としてクリックした点（正例と呼ぶ）を含む点群クラスタであるか、アノテーション対象物体を表わさない３次元点としてクリックした点（負例と呼ぶ）を含まないクラスタであるかを考慮した評価関数の値を計算し、評価関数の値が高い順にユーザへ点群クラスタを提示する。
　本発明において、アノテーションをするとは、各点に対して物体の情報（種類）を付与することと定義する。計測された点群は、３次元情報を保持するが、その点は、どのような物体表面上の点であるかわからない。そこで、アノテーションにより、各点がどの物体の点なのかを示す情報として、例えば番号（整数値）を付与する。複数種類の対象物体のアノテーションを行う場合、例えば、電柱であれば１０番、ケーブルであれば２０番等、異なる番号を付与することを意味する。
 
　また、様々な計測シーンの入力データについて、一般的に間違いなく正しくクラスタ化できるアルゴリズムはない。つまり、計測位置との距離が違ったり、ノイズの影響もバリエーションがあるなかで、１回だけクラスタリングをした結果が、各被写体を完全に分離している保証がなく、入力点群に対する１回のクラスタリングの結果が最適な結果となる保証はない。１つのクラスタリング手法を用いたクラスタリング結果では、特定の対象物について良い点群クラスタが得られたとしても、別の対象物については良い点群クラスタが得られないことが多々ある。そこで、本実施の形態では、ユーザが数点クリックすることで対象物体を表す３次元点（正例）又は対象物体を表さない３次元点（負例）を指定し、ユーザの指定内容と一致している割合が高い点群クラスタを優良な候補として表示し、その表示された結果についてユーザが最適な点群クラスタを指定することで、各被写体にとって最適なクラスタに対して一括してアノテーションができる。
　領域が過分割された状態であっても、同一の被写体上の点群についてユーザが離れた位置にある点を、正例としてクリック指定することで、その正例両方を含むようなクラスタが候補として自動的に候補として選ばれるため、点群の切り出しや、多数の領域のクリック作業を大幅に削減できる。
　候補クラスタの評価式は次式で求まる。
Figure JPOXMLDOC01-appb-M000001
　クラスタリングは作業途中で行ってもよいし、事前に行ってもよい。ユーザの所望する点群クラスタかどうかの判定基準も、正例の点を含む数と負例を含まない数のカウント計算、つまり加算・減算のみで行えるため、計算負荷が小さいことも特徴である。
＜本発明の実施形態の点群アノテーション装置１００の構成＞
　次に、本実施形態の点群アノテーション装置の構成について説明する。
　図１に示すように、本実施形態の点群アノテーション装置１００は、入力部１０、演算部２０、及び情報提示部９０を備えている。
　入力部１０は、マウスやキーボードなどのユーザインターフェースであり、情報提示部９０により表示されたＧＵＩ画面に対する、ユーザによる操作を受け付ける。
　情報提示部９０は、ＧＵＩ画面をユーザに対して表示する。
　演算部２０は、インターフェース部２２と、３次元点群記憶部２４と、クラスタ領域生成部２６と、クラスタ記憶部２８と、クラスタ編集部３０と、候補クラスタ計算部３２と、クラスタ選択保存指定部３４と、アノテーション実行部３６と、アノテーション情報記憶部３８とを備えている。
　インターフェース部２２は、情報提示部９０により表示されるＧＵＩ画面を描画すると共に、入力部１０により受け付けたユーザによる操作の内容を把握する。
　３次元点群記憶部２４は、３次元点群を計測する装置によって予め計測された、物体上の３次元点の集合である点群を記憶している。３次元点群を計測する装置は、例えば、移動体に搭載され、かつ、物体上の３次元点を表す点群を計測するものであり、レーザレンジファインダや、赤外線センサ、または超音波センサなど、被写体とセンサとの距離を測定可能な装置である。例えば、レーザレンジファインダを、ＧＰＳが搭載された車の上、もしくはＧＰＳの搭載された飛行機に搭載し、移動しながら計測することで、屋外の環境の地物、例えば、ケーブル、建物、ガードレール、道路地面などを被写体とし、被写体表面の３次元位置を計測する。
 
　クラスタ領域生成部２６は、３次元点群記憶部２４に記憶された、物体上の３次元点を表す点群をクラスタリングして、点群クラスタを求め、その点群クラスタ同士のANDもしくはOR処理によって、多数の点群クラスタを生成する。
　本実施の形態では、複数のクラスタリング手法の各々を用いて点群をクラスタリングした結果から、点群クラスタを求める。例えば、非特許文献１の手法において、クラスタリングの閾値パラメータを変えたときに生成される多数の点群クラスタを用いればよい。
　次に、図２に示すように、クラスタリング手法１で得られた点群クラスタを表す領域と、クラスタリング手法２で得られた点群クラスタを表す領域とが重なっている場合に、過分割領域として、領域１、領域２、領域３の計３つが得られると共に、ＡＮＤ領域として、領域２が得られ、ＯＲ領域として、領域１～領域３を合わせた領域が得られ、これらを点群クラスタとする。
　クラスタ領域生成部２６は、必ずしもクラスタリング処理をする機能を持つ必要はなく、事前にクラスタリングをした結果を読み込んで、そのクラスタリング結果（点群クラスタ）を用いて、ＡＮＤ領域とＯＲ領域の点群クラスタを生成してもよい。
　ＡＮＤ処理とは、あるクラスタAと別のクラスタBを対象とするときに、同一の空間領域部分と、それ以外の領域に分ける処理であり、結果として３つ（同一の空間領域がないときは２つのまま）の点群クラスタが生成される。ＯＲ領域は強制的に１つの点群クラスタが生成される。
　ここで、「領域」とは、３次元空間の位置の範囲を意味している。具体的には、X,Y,Zの空間の位置と大きさなどを特定したものであればよい。本実施例の説明においては、「点群クラスタ」を、領域を特定する情報（領域）という意味で利用しているが、点群クラスタ以外の情報を用いて領域を指定してもよい。
　また、このクラスタ領域生成の目的は、アノテーションする際に使用する、候補クラスタを多数用意することである。そのため、ＡＮＤ処理とＯＲ処理の対象となる点群クラスタの組み合わせは、ランダムに多数選択すればよい。例えば、非特許文献１において、パラメータを100回変えてクラスタリングを行うことにより得られたクラスタリング結果100回分について、1点でも同一の点を含む点群クラスタの組合せについて、ＡＮＤ処理とＯＲ処理をすればよい。
　また、図３に示すように、３つの点群クラスタを用いて、領域生成をしてもよい。例えば、クラスタリング手法１で得られた点群クラスタを表す領域と、クラスタリング手法２で得られた点群クラスタを表す領域と、クラスタリング手法３で得られた点群クラスタを表す領域とが重なっている場合に、上記図２と同様に、過分割領域である領域１～領域６と、ＡＮＤ領域である領域４と、ＯＲ領域である領域１～領域６を合わせた領域とが、点群クラスタとして求められる。
　クラスタ記憶部２８は、クラスタ領域生成部２６によって得られた領域、つまり各点群クラスタを記憶している。
　クラスタ編集部３０は、ユーザの手動操作により領域（点群クラスタ）をインタラクティブに新たに生成する処理を行う。クラスタ編集部３０は、アノテーションを行う前に事前処理として、クラスタ記憶部２８に記憶されている点群クラスタについて、ＧＵＩ画面上での、ユーザ指定操作により、領域同士のAND(重複)部分を除去する処理を行う。例えば、図4に示すように一番左側の領域（点群クラスタ）から、真ん中の領域（図４の網掛けの点を参照）に基づいて、重複した部分を除去した領域（点群クラスタ）を求める。この結果を候補クラスタとしてあらたに登録する。
　また、クラスタ編集部３０は、クラスタ記憶部２８に、後述する仮登録クラスタが記憶されている場合に、アノテーション処理の途中で、新たな点群クラスタを生成する目的でクラスタ編集部３０を使用してもよい。具体的には、仮登録クラスタについて、ＧＵＩ画面上での、ユーザによる、他の仮登録クラスタの指定（図５の網掛け領域を参照）に基づいて、クラスタ記憶部２８に記憶されている、指定された他の仮登録クラスタとの重複部分を除去して、新たな仮登録クラスタとして登録してもよい（図５参照）。
　また、クラスタ編集部３０は、情報提示部９０により表示されたＧＵＩ画面上での、ユーザによる、複数の点群クラスタの指定に基づいて、クラスタ記憶部２８に記憶されている、指定された複数の点群クラスタを統合するように、ユーザが編集する操作を実現する機能を有する（図６参照）。図６に示すように、点群をメッシュ化して表示した後に、一定の間隔で格子状に領域を区切っていることを想定している。この場合、区切られた領域について、ユーザが指定（クリック）した領域を順次加える（ＯＲ処理をする）ことで、新たな領域を生成できる。
　以降では、クラスタ領域生成部２６により自動、もしくは、クラスタ編集部３０により手動操作によって生成された領域（点群クラスタ）を用いて、アノテーション作業を実施する。これら自動領域生成もしくは手動生成操作の区別は必要なく、どちらの機能を用いてもよい。また、以降の説明では、領域を特定するものとして、点群クラスタを用いて説明を実施する。
　候補クラスタ計算部３２は、情報提示部９０により表示されたＧＵＩ画面上での、ユーザによる、アノテーション対象物体を表す３次元点の指定と、アノテーション対象物体を表さない３次元点の指定とに基づいて、クラスタ記憶部２８に記憶されている点群クラスタの各々について、アノテーション対象物体を示す評価関数の値を計算する。
　このとき、インターフェース部２２は、物体上の３次元点を表す点群を表示するＧＵＩ画面を、情報提示部９０に表示させて、アノテーション対象物体を表す３次元点の指定と、アノテーション対象物体を表さない３次元点の指定とを受け付ける。
　また、評価関数は、点群クラスタが、指定されたアノテーション対象物体を表す３次元点を含むほど、高い値を出力し、指定されたアノテーション対象物体を表さない３次元点を含むほど、低い値を出力する。具体的には、点群クラスタに含まれる３次元点のうち、指定されたアノテーション対象物体を表す３次元点の数だけ、所定値を加算し、指定されたアノテーション対象物体を表わさない３次元点の数だけ、所定値を減算した値を、評価関数の値とする。
　クラスタ選択保存指定部３４は、評価関数の値が高い順に点群クラスタを表示するＧＵＩ画面を、インターフェース部２２を介して情報提示部９０に表示させて、アノテーションすべき点群クラスタの指定を受け付ける。
　アノテーション実行部３６は、指定された点群クラスタに含まれる各３次元点に対して、アノテーション対象物体を示すことを表すアノテーションを実行する。
　アノテーション情報記憶部３８は、各３次元点に対するアノテーション結果を記憶する。
　予め定められた終了条件を満たすまで、インターフェース部２２、候補クラスタ計算部３２、クラスタ選択保存指定部３４、アノテーション実行部３６による各処理が繰り返される。
　点群アノテーション装置１００は、一例として、図７に示すコンピュータ８４によって実現される。コンピュータ８４は、ＣＰＵ８６、メモリ８８、プログラム８２を記憶した記憶部９２、モニタを含む表示部９４、及びキーボードやマウスを含む入力部１０を含んでいる。ＣＰＵ８６、メモリ８８、記憶部９２、表示部９４、及び入力部１０はバス９８を介して互いに接続されている。
　記憶部９２はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現される。記憶部９２には、コンピュータ８４を点群アノテーション装置１００として機能させるためのプログラム８２が記憶されている。ＣＰＵ８６は、プログラム８２を記憶部９２から読み出してメモリ８８に展開し、プログラム８２を実行する。なお、プログラム８２をコンピュータ可読媒体に格納して提供してもよい。
＜本実施形態に係る点群アノテーション装置の作用＞
　次に、図８を参照して、本実施形態に係る点群アノテーション装置１００の作用を説明する。なお、図８は、本実施形態に係るプログラム８２による処理の流れの一例を示すフローチャートである。
　まず、３次元点群を計測する装置を搭載した車両が走行しながら、各時刻において、３次元点群を計測して得られた点群が３次元点群記憶部２４に格納される。
　点群アノテーション装置１００において、事前処理として、クラスタ領域生成部２６による点群のクラスタリングと、クラスタ編集部３０による点群クラスタの編集とが行われる。
　そして、点群アノテーション装置１００は、ユーザの操作により点群アノテーション処理の実行が指示されると、ＣＰＵ８６が記憶部９２に記憶されているプログラム８２を読み出して実行する。
　まず、図８のステップＳ１００では、インターフェース部２２が、点群を表すＧＵＩ画面を情報提示部９０に表示させて、入力部１０により、アノテーション対象物体を表す３次元点の指定と、アノテーション対象物体を表さない３次元点の指定とを受け付ける。
　例えば、図９に示すＧＵＩ画面において、ユーザが、アノテーション対象物体を表す３次元点（図９の網掛けの点を参照）をクリックすると共に、アノテーション対象物体を表わさない３次元点（図９の黒塗りの点を参照）をクリックすることにより、教師情報として３次元点の指定を受け付ける。
　ステップＳ１０２では、候補クラスタ計算部３２は、情報提示部９０により表示されたＧＵＩ画面上での、ユーザによる、アノテーション対象物体を表す３次元点の指定と、アノテーション対象物体を表さない３次元点の指定とに基づいて、クラスタ記憶部２８に記憶されている点群クラスタの各々について、評価関数の値を計算する。
　ステップＳ１０４では、クラスタ選択保存指定部３４は、評価関数の値が高い順に点群クラスタを抽出し、候補クラスタとする。
　ステップＳ１０６では、クラスタ選択保存指定部３４は、評価関数の値が高い順に候補クラスタを表示するＧＵＩ画面を、インターフェース部２２を介して情報提示部９０に表示させて、入力部１０により、アノテーション対象物体を表す候補クラスタの選択を受け付ける。
　例えば、図１０に示すＧＵＩ画面において、評価関数の値が高い順に候補クラスタを表示する。各候補クラスタは、当該候補クラスタが得られたクラスタリング手法でのクラスタリング結果と共に表示される。当該ＧＵＩ画面において、ユーザが、候補クラスタをクリックすることにより、アノテーション対象物体を表す候補クラスタの選択を受け付ける。
　ステップＳ１０８では、アノテーション実行部３６は、選択された候補クラスタに含まれる各３次元点に対して、アノテーション対象物体を表すアノテーションを実行する。
　例えば、図１１に示すように、選択された候補クラスタに含まれる各３次元点（図１１の白抜きの点を参照）に対して、アノテーション対象物体を表すアノテーションを実行すると共に、当該候補クラスタを、アノテーション対象物体を表す仮登録クラスタとして登録する。
　ステップＳ１１０では、予め定められた終了条件を満たすか否かを判定し、終了条件を満たさない場合には、上記ステップＳ１００へ戻り、再度、教師情報として３次元点の指定を受け付ける。一方、終了条件を満たす場合には、ステップＳ１１２へ移行する。
　再度、教師情報として３次元点の指定を受け付ける場合には、例えば上記図１１に示すように、ＧＵＩ画面において、ユーザが、追加で、アノテーション対象物体を表す３次元点をクリックすることにより、教師情報として３次元点の指定を受け付ける（図１１の網掛けの点を参照）。そして、図１２に示すＧＵＩ画面において、追加で指定された３次元点に基づいて計算される評価関数の値が高い順に候補クラスタを表示し、当該ＧＵＩ画面において、ユーザが、候補クラスタをクリックすることにより、アノテーション対象物体を表す候補クラスタの選択を受け付ける。
　ステップＳ１１２では、アノテーション対象物体を表すアノテーションが付与された３次元点からなる点群（図１３の白抜きの点からなる点群を参照）をアノテーション情報記憶部３８に格納すると共に、アノテーション対象物体を表す仮登録クラスタのＯＲ領域を、登録クラスタとしてアノテーション情報記憶部３８に格納する。また、アノテーション結果を表示するＧＵＩ画面を、インターフェース部２２を介して情報提示部９０に表示させる（図１３参照）。
　以上説明したように、本実施形態の点群アノテーション装置１００は、物体上の３次元点を表す点群を表示し、アノテーション対象物体を表す３次元点の指定と、前記アノテーション対象物体を表さない３次元点の指定とを受け付け、点群クラスタの各々について、３次元点の指定に基づいて、アノテーション対象物体らしさを示す予め定められた評価関数の値を計算し、評価関数の値が高い順に前記点群クラスタを表示させて、アノテーションすべき点群クラスタの選択を受け付ける。そして、選択された点群クラスタに含まれる各３次元点に対して、アノテーションを実行する。これにより、簡易に、３次元点群に対してアノテーションを行うことができ、作業時間を削減できる。
　なお、本実施形態は一例であり、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。
　例えば、道路周辺の設備をアノテーション対象物体とする場合を例に説明したが、これに限定されるものではなく、道路周辺の設備以外のものをアノテーション対象物体としてもよい。
１０   入力部
２０   演算部
２２   インターフェース部
２４   ３次元点群記憶部
２６   クラスタリング部
２８   クラスタ記憶部
３０   クラスタ編集部
３２   候補クラスタ計算部
３４   クラスタ選択保存指定部
３６   アノテーション実行部
３８   アノテーション情報記憶部
８２   プログラム
８４   コンピュータ
１００ 点群アノテーション装置

Claims (6)

  1. 　物体上の３次元点を表す点群を表示し、アノテーション対象物体を表す３次元点の指定と、前記アノテーション対象物体を表さない３次元点の指定とを受け付けるインターフェース部と、
    　前記点群をクラスタリングして求めた点群クラスタの各々について、前記３次元点の指定に基づいて、前記アノテーション対象物体らしさを示す予め定められた評価関数の値を計算する候補クラスタ計算部と、
    　前記評価関数の値が高い順に前記点群クラスタを前記インターフェース部に表示させて、アノテーションすべき前記点群クラスタの選択を受け付けるクラスタ選択保存指定部と、
    　前記選択された前記点群クラスタに含まれる各３次元点に対して、前記アノテーション対象物体であることを示すアノテーションを実行するアノテーション実行部と、
    　を含む点群アノテーション装置。
  2. 　前記評価関数は、前記点群クラスタが、前記指定された前記アノテーション対象物体を表す３次元点を含むほど、高い値を出力し、前記指定された前記アノテーション対象物体を表さない３次元点を含むほど、低い値を出力する請求項１記載の点群アノテーション装置。
  3. 　前記点群クラスタは、複数のクラスタリング手法の各々を用いて前記点群をクラスタリングした結果から得られたものである請求項１又は２記載の点群アノテーション装置。
  4. 　予め定められた終了条件を満たすまで、前記インターフェース部による受け付け、前記候補クラスタ計算部による計算、前記クラスタ選択保存指定部による受け付け、及び前記アノテーション実行部による実行を繰り返す請求項１～請求項３の何れか１項記載の点群アノテーション装置。
  5. 　インターフェース部が、物体上の３次元点を表す点群を表示し、アノテーション対象物体を表す３次元点の指定と、前記アノテーション対象物体を表さない３次元点の指定とを受け付け、
    　候補クラスタ計算部が、前記点群をクラスタリングして求めた点群クラスタの各々について、前記３次元点の指定に基づいて、前記アノテーション対象物体らしさを示す予め定められた評価関数の値を計算し、
    　クラスタ選択保存指定部が、前記評価関数の値が高い順に前記点群クラスタを前記インターフェース部に表示させて、アノテーションすべき前記点群クラスタの選択を受け付け、
    　アノテーション実行部が、前記選択された前記点群クラスタに含まれる各３次元点に対して、前記アノテーション対象物体であることを示すアノテーションを実行する
    　点群アノテーション方法。
  6. 　コンピュータに、
    　物体上の３次元点を表す点群を表示し、アノテーション対象物体を表す３次元点の指定と、前記アノテーション対象物体を表さない３次元点の指定とを受け付け、
    　前記点群をクラスタリングして求めた点群クラスタの各々について、前記３次元点の指定に基づいて、前記アノテーション対象物体らしさを示す予め定められた評価関数の値を計算し、
    　前記評価関数の値が高い順に前記点群クラスタを表示させて、アノテーションすべき前記点群クラスタの選択を受け付け、
    　前記選択された前記点群クラスタに含まれる各３次元点に対して、前記アノテーション対象物体であることを示すアノテーションを実行する
    　ことを実行させるためのプログラム。
PCT/JP2019/018452 2019-05-08 2019-05-08 点群アノテーション装置、方法、及びプログラム WO2020225889A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/018452 WO2020225889A1 (ja) 2019-05-08 2019-05-08 点群アノテーション装置、方法、及びプログラム
JP2021518263A JP7156515B2 (ja) 2019-05-08 2019-05-08 点群アノテーション装置、方法、及びプログラム
US17/608,735 US20230260216A1 (en) 2019-05-08 2019-05-08 Point cloud annotation device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/018452 WO2020225889A1 (ja) 2019-05-08 2019-05-08 点群アノテーション装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020225889A1 true WO2020225889A1 (ja) 2020-11-12

Family

ID=73051615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/018452 WO2020225889A1 (ja) 2019-05-08 2019-05-08 点群アノテーション装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230260216A1 (ja)
JP (1) JP7156515B2 (ja)
WO (1) WO2020225889A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201375A1 (ja) * 2021-03-24 2022-09-29 日本電気株式会社 アノテーション装置、アノテーション方法、及び非一時的なコンピュータ可読媒体
US20230042965A1 (en) * 2020-08-05 2023-02-09 Lineage Logistics, LLC Point cloud annotation for a warehouse environment
WO2023135717A1 (ja) * 2022-01-14 2023-07-20 日本電信電話株式会社 ３次元モデルを作成する装置、方法及びプログラム
WO2023135718A1 (ja) * 2022-01-14 2023-07-20 日本電信電話株式会社 ３次元モデルを作成する装置、方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7235104B2 (ja) * 2019-05-08 2023-03-08 日本電信電話株式会社 点群解析装置、方法、及びプログラム
JP7276437B2 (ja) * 2019-05-23 2023-05-18 日本電信電話株式会社 ３次元点群ラベル学習推定装置、３次元点群ラベル学習推定方法、及び３次元点群ラベル学習推定プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017026430A (ja) * 2015-07-21 2017-02-02 日本電信電話株式会社 標識検出装置、方法、及びプログラム
US20180075648A1 (en) * 2015-03-05 2018-03-15 Commonwealth Scientific And Industria Research Organisation Structure modelling
JP2018071973A (ja) * 2016-10-24 2018-05-10 日本電信電話株式会社 路面凹凸量推定装置、方法、及びプログラム
JP2018097424A (ja) * 2016-12-08 2018-06-21 日本電信電話株式会社 クラスタリング装置、人工物識別装置、幹検出装置、方法、及びプログラム
JP2018173749A (ja) * 2017-03-31 2018-11-08 株式会社パスコ 道路標示検出装置、道路標示検出方法、プログラム、及び道路面検出装置
US20190080183A1 (en) * 2017-09-14 2019-03-14 Baidu Online Network Technology (Beijing) Co., Ltd . Dynamic obstacle point cloud annotating method and apparatus, device and readable medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737327B (zh) * 2011-03-31 2016-02-10 国际商业机器公司 一种划分客户群集的计算机实现的方法和系统
US8885885B2 (en) * 2012-10-05 2014-11-11 International Business Machines Corporation Multi-cue object association
US9144905B1 (en) * 2013-03-13 2015-09-29 Hrl Laboratories, Llc Device and method to identify functional parts of tools for robotic manipulation
US10699167B1 (en) * 2018-10-19 2020-06-30 Waymo Llc Perception visualization tool
CN109726749A (zh) * 2018-12-21 2019-05-07 齐鲁工业大学 一种基于多属性决策的最优聚类算法选择方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075648A1 (en) * 2015-03-05 2018-03-15 Commonwealth Scientific And Industria Research Organisation Structure modelling
JP2017026430A (ja) * 2015-07-21 2017-02-02 日本電信電話株式会社 標識検出装置、方法、及びプログラム
JP2018071973A (ja) * 2016-10-24 2018-05-10 日本電信電話株式会社 路面凹凸量推定装置、方法、及びプログラム
JP2018097424A (ja) * 2016-12-08 2018-06-21 日本電信電話株式会社 クラスタリング装置、人工物識別装置、幹検出装置、方法、及びプログラム
JP2018173749A (ja) * 2017-03-31 2018-11-08 株式会社パスコ 道路標示検出装置、道路標示検出方法、プログラム、及び道路面検出装置
US20190080183A1 (en) * 2017-09-14 2019-03-14 Baidu Online Network Technology (Beijing) Co., Ltd . Dynamic obstacle point cloud annotating method and apparatus, device and readable medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KURAHASHI, AOIET AL.: "An Approach to Detection of Car Position Using LiDAR Data or Automatic Parking", PROCEEDINGS OF THE 79TH NATIONAL CONVENTION OF IPSJ ((2) ARTIFICIAL INTELLIGENCE AND COGNITIVE SCIENCE), 16 March 2017 (2017-03-16), pages 2-163 - 2-164, XP009523853 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230042965A1 (en) * 2020-08-05 2023-02-09 Lineage Logistics, LLC Point cloud annotation for a warehouse environment
US11790546B2 (en) * 2020-08-05 2023-10-17 Lineage Logistics, LLC Point cloud annotation for a warehouse environment
US11995852B2 (en) 2020-08-05 2024-05-28 Lineage Logistics, LLC Point cloud annotation for a warehouse environment
WO2022201375A1 (ja) * 2021-03-24 2022-09-29 日本電気株式会社 アノテーション装置、アノテーション方法、及び非一時的なコンピュータ可読媒体
WO2023135717A1 (ja) * 2022-01-14 2023-07-20 日本電信電話株式会社 ３次元モデルを作成する装置、方法及びプログラム
WO2023135718A1 (ja) * 2022-01-14 2023-07-20 日本電信電話株式会社 ３次元モデルを作成する装置、方法及びプログラム

Also Published As

Publication number Publication date
US20230260216A1 (en) 2023-08-17
JP7156515B2 (ja) 2022-10-19
JPWO2020225889A1 (ja) 2020-11-12

Similar Documents

Publication Publication Date Title
WO2020225889A1 (ja) 点群アノテーション装置、方法、及びプログラム
EP3574473B1 (en) Apparatus, method, and system for alignment of 3d datasets
US11443444B2 (en) Interior photographic documentation of architectural and industrial environments using 360 panoramic videos
Rottensteiner et al. The ISPRS benchmark on urban object classification and 3D building reconstruction
US9208607B2 (en) Apparatus and method of producing 3D model
CN109949326B (zh) 基于背包式三维激光点云数据的建筑物轮廓线提取方法
US20190279420A1 (en) Automated roof surface measurement from combined aerial lidar data and imagery
US20200005447A1 (en) Computer aided rebar measurement and inspection system
US20180075285A1 (en) Building datum extraction from laser scanning data
JP6740033B2 (ja) 情報処理装置、計測システム、情報処理方法及びプログラム
US9149309B2 (en) Systems and methods for sketching designs in context
US8977520B2 (en) Computer system for automatically classifying roof elements
CN102867057B (zh) 一种基于视觉定位的虚拟向导构建方法
Hétroy-Wheeler et al. Segmentation of tree seedling point clouds into elementary units
CN103093456B (zh) 基于图像的玉米果穗性状指标计算方法
JP2011095797A (ja) 画像処理装置、画像処理方法及びプログラム
CN111639149B (zh) 海洋数据可视化方法和装置
CN116349222A (zh) 利用集成图像帧渲染基于深度的三维模型
Harandi et al. How to make sense of 3D representations for plant phenotyping: a compendium of processing and analysis techniques
JP7420815B2 (ja) ３ｄ幾何抽出のために画像の複数から相補的画像を選択するシステムおよび方法
Brédif et al. TerraMobilita/IQmulus urban point cloud classification benchmark
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
Morago et al. Photograph LIDAR registration methodology for rock discontinuity measurement
CN113724381B (zh) 一种基于高分遥感影像的动态三维场景快速重建方法
Niebling et al. Accessing urban history using spatial historical photographs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19928103

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021518263

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19928103

Country of ref document: EP

Kind code of ref document: A1