WO2025243446A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム

Info

Publication number
WO2025243446A1
WO2025243446A1 PCT/JP2024/018959 JP2024018959W WO2025243446A1 WO 2025243446 A1 WO2025243446 A1 WO 2025243446A1 JP 2024018959 W JP2024018959 W JP 2024018959W WO 2025243446 A1 WO2025243446 A1 WO 2025243446A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud data
unit
information processing
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/018959
Other languages
English (en)
French (fr)
Inventor
直人 阿部
典佳 内田
大 安藤
崇由 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/018959 priority Critical patent/WO2025243446A1/ja
Publication of WO2025243446A1 publication Critical patent/WO2025243446A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Definitions

  • Embodiments relate to an information processing device, an information processing method, and an information processing program.
  • 3D point cloud data technology uses LiDAR (Light Detection and Ranging) to measure objects and people, generate a 3D space represented by points, and then use images from a camera to color each point, thereby representing the 3D space and the objects and people within the space as a collection of points. Because 3D point cloud data is 3D information at the time of measurement, it is possible to create a 3D space at a lower cost than building a 3D space from a photograph (see, for example, non-patent document 1).
  • LiDAR Light Detection and Ranging
  • the present invention was made in light of the above circumstances, and its purpose is to provide an information processing device, information processing method, and information processing program that can achieve efficient data processing.
  • the information processing device of the embodiment includes an acquisition unit, a recognition unit, an identification unit, and a removal unit.
  • the acquisition unit acquires point cloud data to be processed.
  • the recognition unit uses a learned model trained to estimate class labels of point clouds to assign the class labels to the point cloud data.
  • the identification unit identifies noise point clouds, which are point clouds from the point cloud data to which the class labels have not been assigned.
  • the removal unit removes the noise point clouds.
  • FIG. 1 is a block diagram showing an information processing apparatus according to the first embodiment.
  • FIG. 2 is a flowchart showing an example of the operation of the information processing apparatus according to the first embodiment.
  • FIG. 3 is a diagram showing a specific example of noise removal processing performed by the information processing apparatus according to the first embodiment.
  • FIG. 4 is a block diagram showing an information processing apparatus according to the second embodiment.
  • FIG. 5 is a flowchart showing an example of the operation of the information processing apparatus according to the second embodiment.
  • FIG. 6 is a diagram showing a specific example of noise removal processing performed by the information processing device according to the second embodiment.
  • FIG. 7 is a block diagram showing the hardware configuration of an information processing apparatus according to this embodiment.
  • the information processing apparatus 1 includes an acquisition unit 11 , a recognition unit 12 , a specification unit 13 , a removal unit 14 , an output unit 15 , and a storage unit 16 .
  • the acquisition unit 11 acquires the point cloud data to be processed.
  • the point cloud data includes three-dimensional position information (x, y, z) about the surfaces of objects and people. Additionally, additional information to the point cloud data may include color information captured by a camera when measuring the point cloud data.
  • the recognition unit 12 executes a process of assigning class labels to the point cloud data to be processed, using a learned model that has been trained to estimate the class labels of each point cloud from the point cloud data.
  • the identifying unit 13 identifies a noise point cloud, which is a point cloud to which no class label is assigned, from among the point cloud data to be processed.
  • the removal unit 14 removes noise point clouds from the point cloud data to be processed, and generates processed point cloud data.
  • the output unit 15 outputs the processed point cloud data to the outside.
  • the storage unit 16 stores the trained model, point cloud data, processed point cloud data, etc.
  • step SA1 the acquisition unit 11 acquires the point cloud data to be processed.
  • point cloud data measured by LiDAR may be acquired.
  • the recognition unit 12 uses the trained model to assign class labels to the point cloud data to be processed.
  • a class label is a label that classifies each point included in the point cloud data as representing an object, such as a road, a building, a tree, or a person.
  • the class label assignment process is a so-called semantic segmentation process, in which a class label is assigned to each point of the point cloud data to be processed.
  • the trained model may be any model that has been trained to input point cloud data and perform a classification process of assigning a class label to each point of the point cloud data. For example, the method and trained model disclosed in Japanese Patent No. 7424509 may be used. Here, for point clouds that cannot be classified with class labels using the trained model, no class labels are assigned.
  • step SA3 the identification unit 13 identifies noise point clouds from the point cloud data to be processed, for which class label assignment processing has been performed. Specifically, point clouds to which no class label has been assigned are identified as noise point clouds. Point clouds to which no class label has been assigned are, for example, point clouds that exist in areas where there is nothing, or point clouds that exist at distances (depths) that are clearly different from the class labels assigned to surrounding point clouds.
  • step SA4 the removal unit 14 removes (deletes) the identified noise point cloud from the point cloud data to be processed, and generates processed point cloud data.
  • step SA5 the output unit 15 outputs the processed point cloud data to the outside.
  • the storage unit 16 may store the processed point cloud data.
  • the upper diagram in Figure 3 shows 3D point cloud data 31 measured of a car traveling on a road, as an example of 3D point cloud data to be processed.
  • 3D point cloud data 31 measured of a car traveling on a road
  • contours of the object are shown with solid lines, but in reality, they are measured as point cloud data.
  • the central diagram in Figure 3 shows segmented point cloud data 32 after the recognition unit 12 has performed a class label assignment process for each point in the 3D point cloud data.
  • segmented point cloud data 32 areas classified with the same class label, such as cars, walls, trees, and roads, are shown with the same type of hatching.
  • point clouds to which no class label has been assigned exist at the top of the segmented point cloud data 32.
  • the identification unit 13 identifies such point clouds to which no class label has been assigned as noise point clouds 33.
  • the lower diagram in Figure 3 shows processed point cloud data 34 from which the noise point cloud 33 has been removed by the removal unit 14. In this way, by using a trained model, high-quality point cloud data that does not include the noise point cloud 33 can be generated.
  • the recognition unit assigns a class label to each point in the point cloud data to be processed.
  • the identification unit identifies point clouds to which no class label has been assigned from the point cloud data to be processed as noise point clouds.
  • the removal unit removes the noise point clouds.
  • Second Embodiment In the first embodiment, it is assumed that point clouds that have not been assigned a class label are uniformly deleted as noise point clouds using a trained model, but in the second embodiment, the user assigns a flag to noise point clouds identified using a trained model in three-dimensional data space, and the flagged noise point clouds are then deleted.
  • the information processing device 1 includes an acquisition unit 11, a recognition unit 12, an identification unit 13, a placement unit 21, an assignment unit 22, a removal unit 14, an output unit 15, and a storage unit 16.
  • the acquisition unit 11 acquires point cloud data to be processed.
  • the recognition unit 12 executes a process of assigning class labels to the point cloud data to be processed, using a learned model that has been trained to estimate point cloud class labels from the point cloud data.
  • the identifying unit 13 identifies a noise point group, which is a point group to which no class label is assigned, from the point group data.
  • the arrangement unit 21 arranges the point cloud data, to which the class label assignment process has been executed, in a three-dimensional virtual space.
  • the flagging unit 22 flags the noise point group in response to a user instruction based on viewpoint information that allows movement in a three-dimensional virtual space.
  • the removal unit 14 removes the flagged noise point clouds and generates processed point cloud data.
  • the output unit 15 outputs the processed point cloud data to the outside.
  • the storage unit 16 stores the trained model, point cloud data, flagged noise point clouds, processed point cloud data, and the like.
  • steps SA1 to SA3 and step SA5 are the same as those in the first embodiment.
  • step SB1 the placement unit 21 places the point cloud data, to which the class label assignment process has been performed, in a three-dimensional virtual space. Specifically, the point cloud data is mapped into a three-dimensional virtual space, and a data space is assumed in which a user can freely move around in the three-dimensional virtual space from a first-person perspective.
  • the flagging unit 22 flags the noise point group designated in the three-dimensional virtual space based on a user instruction using a mouse, a stylus pen, or the like.
  • step SB3 the removal unit 14 removes (deletes) the flagged noise point clouds from the point cloud data to be processed, and generates processed point cloud data.
  • the upper diagram in Figure 6 shows three-dimensional point cloud data 60, an example of three-dimensional point cloud data arranged in a three-dimensional virtual space.
  • the three-dimensional point cloud data 60 represents a stereoscopic image currently being displayed on a display in a three-dimensional virtual space in which the user can move freely from a 360-degree viewpoint.
  • the contours of objects are shown with solid lines, but in reality they are measured as point cloud data.
  • the user's viewpoint 62 is indicated by an arrow.
  • the viewpoint positions of other users are represented in the three-dimensional virtual space as avatars 63.
  • the direction in which the avatar 63 is facing represents the viewpoint direction of the other users
  • the movement of the avatar 63 represents the movement of the viewpoint of the other users.
  • noise point clouds 61 exist in multiple locations.
  • the central diagram in Figure 6 shows an example in which a flag 64 is assigned to a noise point cloud 61 in three-dimensional point cloud data 60 by the user encircling the noise point cloud 61 with a mouse, or with the user's finger or stylus pen in the case of a tablet PC or smartphone. It is assumed that flags 64 are assigned to the noise point cloud 61 by other users (avatars 63) who exist in the same three-dimensional virtual space as they move together. Furthermore, the flags 64 assigned to each user may be assigned in a distinguishable manner, such as by changing the color of the flag 64 assigned to each user.
  • the flag 64 is not limited to encircling the noise point cloud 61; any label assignment method, such as filling in the area of the noise point cloud 61, may be used as long as it is possible to confirm that the user and other users have assigned annotations to the noise point cloud 61.
  • the removal unit 14 removes noise point clouds 61 to which the user has assigned flags 64, and processed point cloud data is generated.
  • the targets to which the user may assign flags 64 are not limited to noise point clouds; flags 64 may also be assigned to point clouds with incorrect class labels classified by a trained model, point clouds identified as noise point clouds that should be assigned a different class label, and point clouds that the user can visually confirm.
  • point clouds to which flags 64 have been assigned may be stored by the storage unit 16 and fed back as learning data when training a machine learning model that classifies class labels.
  • multiple users can closely examine the noise point cloud identification status while walking through, in other words, moving and exploring in the three-dimensional virtual space, and higher quality processed point cloud data can be generated.
  • the second embodiment requires manual work, because the noise point cloud can be roughly identified using a pre-trained model, the areas where the user needs to stop working are limited, significantly reducing work costs. In other words, efficient data processing can be achieved.
  • the information processing device 1 includes, for example, a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a display 104, a communication interface 105, and storage 106.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • CPU 101 is an integrated circuit capable of executing various programs and controls the overall operation of information processing device 1.
  • ROM 102 is, for example, non-volatile semiconductor memory and stores programs and control data for controlling information processing device 1.
  • RAM 103 is, for example, volatile semiconductor memory and is used as a work area for CPU 101.
  • Display 104 is, for example, an LCD display or a touch panel display and displays information.
  • Communication interface 105 is, for example, an input/output component for exchanging information with the outside, such as USB, HDMI (registered trademark), or a network interface.
  • Storage 106 is a non-volatile storage device. Storage 106 stores system software, etc. for information processing device 1.
  • CPU 101 may also be called a "processor.”
  • the CPU 101 of the information processing device 1 may be another circuit (or processor).
  • the information processing device 1 may be equipped with a GPU (Graphics Processing Unit), an NPU (Neural Network Processing Unit), an MPU (Micro Processing Unit), etc.
  • a GPU Graphics Processing Unit
  • NPU Neurological Network Processing Unit
  • MPU Micro Processing Unit
  • Each of the processes described in each embodiment may be realized by dedicated hardware.
  • the processes of the information processing device 1 may be a mixture of processes executed by software and processes executed by hardware, or may be one of the two.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made in the implementation stage without departing from the spirit of the invention.
  • the various embodiments may also be implemented in appropriate combinations, in which case the combined effects can be obtained.
  • the above-described embodiments include various inventions, and various inventions can be extracted by combining selected elements from the multiple elements disclosed. For example, if the problem can be solved and the desired effect can be obtained even if some elements are deleted from all elements shown in the embodiments, the configuration from which these elements are deleted can be extracted as an invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

実施形態の情報処理装置は、取得部と、認識部と、特定部と、除去部とを含む。取得部は、処理対象の点群データを取得する。認識部は、点群のクラスラベルを推定するように訓練された学習済みモデルを用いて、前記点群データへの前記クラスラベルの割り当て処理を実行する。特定部は、前記点群データのうち、前記クラスラベルが割り当てられていない点群であるノイズ点群を特定する。除去部は、前記ノイズ点群を除去する。

Description

情報処理装置、情報処理方法および情報処理プログラム
　実施形態は、情報処理装置、情報処理方法および情報処理プログラムに関する。
　ＬｉＤＡＲ（Light Detection and Ranging）を使ってモノや人を計測して点で表現された３次元空間を生成し、カメラからの映像を使って各点に色を付けることで、点の集合で３次元空間、および空間内のモノや人などを表現する、３次元点群データ技術がある。３次元点群データは、計測時点で３次元の情報となっているため、写真からの３次元空間の構築に比べると、低コストで３次元空間を構築できる（例えば、非特許文献１参照）。
日本電信電話株式会社ほか「地域共創推進に向けた「TENGUN Ogijimaプロジェクト」発足～IOWNで実現されるフォトリアルな「男木島」メタバースによる、関係人口創出・拡大をめざした共同検討を開始～」、［online］、２０２２年１１月１５日、[２０２４年５月１４日検索]、インターネット＜URL:https://group.ntt/jp/newsrelease/2022/11/15/221115b.html＞
　しかしながら、３Ｄ点群データは、さまざまな方向に対して細かくレーダーを照射してカメラにより撮影を行うため、データ量が膨大となることが多い。一方、計測の状況次第では、空気中のチリや予期しない反射などにより、本来何も物体がない領域にノイズとなる点群データが存在する可能性もある。このようなノイズとなる点群データを、人手により除去することは非常にコストがかかる。
　本発明は、上記事情に着目してなされたもので、その目的とするところは、効率的なデータ加工を実現できる情報処理装置、情報処理方法および情報処理プログラムを提供することにある。
　実施形態の情報処理装置は、取得部と、認識部と、特定部と、除去部とを含む。取得部は、処理対象の点群データを取得する。認識部は、点群のクラスラベルを推定するように訓練された学習済みモデルを用いて、前記点群データへの前記クラスラベルの割り当て処理を実行する。特定部は、前記点群データのうち、前記クラスラベルが割り当てられていない点群であるノイズ点群を特定する。除去部は、前記ノイズ点群を除去する。
　実施形態によれば、効率的なデータ加工を実現できる情報処理装置、情報処理方法および情報処理プログラムを提供することができる。
図１は、第１実施形態に係る情報処理装置を示すブロック図である。 図２は、第１実施形態に係る情報処理装置の動作例を示すフローチャートである。 図３は、第１実施形態に係る情報処理装置のノイズ除去処理の具体例を示す図である。 図４は、第２実施形態に係る情報処理装置を示すブロック図である。 図５は、第２実施形態に係る情報処理装置の動作例を示すフローチャートである。 図６は、第２実施形態に係る情報処理装置のノイズ除去処理の具体例を示す図である。 図７は、本実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
　以下に、各実施形態について、図面を参照して説明する。各実施形態は、発明の技術的思想を具体化するための装置や方法を例示している。図面は、模式的又は概念的なものである。以下では、略同一の機能および構成を有する構成要素に、同一の符号が付加されている。参照符号を構成する文字の後の数字は、同じ文字を含んだ参照符号によって参照され、且つ同様の構成を有する要素同士を区別するために使用される。同じ文字又は数字を含んだ参照符号で示される要素を相互に区別する必要がない場合、これらの要素は文字又は数字のみを含んだ参照符号により参照される。
　（第１実施形態）　
　第１実施形態に係る情報処理装置１について図１のブロック図を参照して説明する。
　第１実施形態に係る情報処理装置１は、取得部１１と、認識部１２と、特定部１３と、除去部１４と、出力部１５と、格納部１６とを含む。
　取得部１１は、処理対象となる点群データを取得する。点群データには、モノや人の表面についての３次元位置情報（ｘ，ｙ，ｚ）が含まれる。また、点群データの付加情報として、点群データの計測時にカメラにより撮影された色情報が含まれてもよい。
　認識部１２は、点群データから各点群のクラスラベルを推定するように訓練された学習済みモデルを用いて、処理対象の点群データへのクラスラベルの割り当て処理を実行する。
　特定部１３は、処理対象の点群データのうち、クラスラベルが割り当てられていない点群であるノイズ点群を特定する。
　除去部１４は、処理対象の点群データからノイズ点群を除去し、処理済み点群データを生成する。
　出力部１５は、処理済み点群データを外部に出力する。
　格納部１６は、学習済みモデル、点群データおよび処理済み点群データなどを格納する。
　次に、第１実施形態に係る情報処理装置１の処理例について図２のフローチャートを参照して説明する。
　ステップＳＡ１では、取得部１１が、処理対象となる点群データを取得する。例えばＬｉＤＡＲにより計測された点群データを取得すればよい。
　ステップＳＡ２では、認識部１２が、学習済みモデルを用いて処理対象の点群データにクラスラベルの割り当て処理を実行する。クラスラベルは、例えば、道路、建物、木、人といったように、点群データに含まれる各点がどの物体を表す点であるかを分類するラベルである。クラスラベルの割り当て処理は、いわゆるセマンティックセグメンテーション処理であり、処理対象の点群データの各点について、クラスラベルの割り当て処理が実行される。学習済みモデルは、点群データを入力し、点群データの各点にクラスラベルを割り当てる分類処理が実行可能に学習されたモデルであればよく、例えば、日本国特許第７４２４５０９号公報に開示されている手法および学習済みモデルを利用すればよい。
　ここで、学習済みモデルを用いてクラスラベルで分類できない点群については、クラスラベルが付与されない。
　ステップＳＡ３では、特定部１３が、クラスラベルの割り当て処理が実行された処理対象の点群データのうち、ノイズ点群を特定する。具体的には、クラスラベルが割り当てられていない点群を、ノイズ点群として特定する。クラスラベルが割り当てられていない点群は、例えば、本来何もない領域に存在する点群であったり、周囲の点群に割り当てられるクラスラベルと比較して明らかに異なる距離（深さ）に存在する点群である。
　ステップＳＡ４では、除去部１４が、処理対象の点群データから特定されたノイズ点群を除去（削除）し、処理済み点群データを生成する。
　ステップＳＡ５では、出力部１５が、処理済み点群データを外部に出力する。なお、格納部１６が処理済み点群データを格納してもよい。
　次に、第１実施形態に係る情報処理装置１のノイズ除去処理の具体例について、図３の概念図を参照して説明する。
　図３上図は、処理対象となる３次元点群データの一例として、車道を走る自動車を計測した３次元点群データ３１である。ここでは説明の便宜上、物体の輪郭を実線で示すが、実際には点群データとして計測されているものとする。
　図３中央図は、認識部１２により３次元点群データの各点について、クラスラベルの割り当て処理が実行された後のセグメンテーション済み点群データ３２である。セグメンテーション済み点群データ３２は、自動車、壁、木、道路といった同じクラスラベルで分類された領域が、同種のハッチングで図示される。ここで、どのクラスラベルも付与されていない点群が、セグメンテーション済み点群データ３２の上部に存在する。このようなクラスラベルが付与されていない点群について、特定部１３がノイズ点群３３として特定する。
　図３下図は、除去部１４によりノイズ点群３３が除去された処理済み点群データ３４である。このように、学習済みモデルを用いることで、ノイズ点群３３を含まない高品質な点群データを生成できる。
　以上に示した第１実施形態によれば、認識部が、処理対象の点群データの各点についてクラスラベルの割り当て処理を実行する。特定部が、処理対象の点群データの中からクラスラベルが割り当てられていない点群をノイズ点群として特定する。除去部が、ノイズ点群を除去する。学習済みモデルを用いてノイズ点群を特定できることで、従来のような手作業ではなく作業コストを大幅に低減しつつ、高品質な点群データおよびセグメンテーション処理を実現できる。すなわち、効率的なデータ加工を実現することができる。
　（第２実施形態）　
　第１実施形態では、学習済みモデルを用いて、クラスラベルが付与されていない点群をノイズ点群として一律で削除することを想定するが、第２実施形態では、学習済みモデルを用いて特定されたノイズ点群を、ユーザが３次元データ空間上でフラグを付与し、当該フラグが付与されたノイズ点群を除去する点が異なる。
　第２実施形態に係る情報処理装置１について図４のブロック図を参照して説明する。
　第２実施形態に係る情報処理装置１は、取得部１１と、認識部１２と、特定部１３と、配置部２１と、付与部２２と、除去部１４と、出力部１５と、格納部１６とを含む。
　取得部１１は、処理対象となる点群データを取得する。
　認識部１２は、点群データから点群のクラスラベルを推定するように訓練された学習済みモデルを用いて、処理対象の点群データへのクラスラベルの割り当て処理を実行する。
　特定部１３は、点群データのうち、クラスラベルが割り当てられていない点群であるノイズ点群を特定する。
　配置部２１は、クラスラベルの割り当て処理が実行された点群データを、３次元仮想空間上に配置する。
　付与部２２は、３次元仮想空間上を移動可能な視点情報に基づいて、ユーザ指示によりノイズ点群に対してフラグを付与する。
　除去部１４は、フラグが付与されたノイズ点群を除去し、処理済み点群データを生成する。
　出力部１５は、処理済み点群データを外部に出力する。
　格納部１６は、学習済みモデル、点群データ、フラグが付与されたノイズ点群および処理済み点群データなどを格納する。
　次に、第２実施形態に係る情報処理装置１のノイズ除去処理の具体例について図５のフローチャートを参照して説明する。ステップＳＡ１からステップＳＡ３、およびステップＳＡ５に係る処理は、第１実施形態と同様である。
　ステップＳＢ１では、配置部２１が、クラスラベルの割り当て処理が実行された点群データを、３次元仮想空間上に配置する。具体的には、点群データが３次元仮想空間にマッピングされ、ユーザが一人称視点で当該３次元仮想空間内を自由に動き回れるようなデータ空間を想定する。
　ステップＳＢ２では、付与部２２が、マウスやスタイラスペンなどによるユーザ指示に基づき、３次元仮想空間上で指定されたノイズ点群に対してフラグを付与する。
　ステップＳＢ３では、除去部１４が、処理対象の点群データからフラグが付与されたノイズ点群を除去（削除）し、処理済み点群データを生成する。
　次に、第２実施形態に係る情報処理装置１のノイズ除去処理の具体例について、図６の概念図を参照して説明する。
　図６上図は、３次元点群データを３次元仮想空間上に配置した例を示す、３次元点群データ６０である。３次元点群データ６０は、ユーザが３６０度の自由視点で移動可能な３次元仮想空間における、現在ディスプレイに表示されている立体像を示す。ここでは説明の便宜上、物体の輪郭を実線で示すが、実際には点群データとして計測されているものとする。３次元点群データ６０において、ユーザ視点６２が矢印で示される。また、他のユーザの視点位置がアバター６３として３次元仮想空間上で表現される。つまり、アバター６３が向いている方向が他のユーザの視点方向が表現され、アバター６３の移動に応じて他のユーザの視点移動が表現される。ここで、図６上図では、ノイズ点群６１が複数箇所存在していることを想定する。
　図６中央図では、３次元点群データ６０について、ユーザがマウスで、またはタブレットＰＣ、スマートフォンであればユーザの指、スタイラスペンなどでノイズ点群６１を囲むことで、ノイズ点群６１にフラグ６４が付与される例を示す。フラグ６４は、同じ３次元仮想空間内に存在する他のユーザ（アバター６３）がともに移動しながらノイズ点群６１に対して付与されることを想定する。さらに、ユーザごとに付与したフラグ６４の色を変えるなど、区別可能な態様で付与させてもよい。なお、フラグ６４は、ノイズ点群６１を囲むことだけに限らず、ノイズ点群６１の領域を塗りつぶすなど、ノイズ点群６１についてユーザおよび他のユーザがアノテーションを付与したことが確認可能な態様であれば、どのようなラベルの付与方法であってもよい。
　図６下図では、除去部１４により、ユーザがフラグ６４を付与したノイズ点群６１が除去され、処理済み点群データが生成される。なお、ユーザがフラグ６４を付与する対象としては、ノイズ点群だけに限らず、学習済みモデルで分類されたクラスラベルが誤っている点群、またはノイズ点群として特定された点群が他のクラスラベルとして割り当てられるべき点群、ユーザが目視により確認可能な点群について、フラグ６４を付与してもよい。また、フラグ６４が付与された点群を格納部１６が格納し、クラスラベルを分類する機械学習モデルを学習する際の学習データとして、フィードバックしてもよい。
　以上に示した第２実施形態によれば、複数のユーザがウォークスルーしながら、言い換えれば３次元仮想空間上を移動および探索しながら、ノイズ点群の特定状況を精査することができ、より高品質な処理済み点群データを生成することができる。また、第２実施形態では人手による作業となるが、事前に学習済みモデルを用いてノイズ点群を大まかに特定できているため、ユーザが中止するべき領域が限定され、作業コストを大幅に低減できる。すなわち、効率的なデータ加工を実現できる。
　次に、本実施形態に係る情報処理装置１のハードウェア構成の一例について、図１１を示すブロック図を参照して説明する。
　図１１に示すように、情報処理装置１は、例えば、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、ディスプレイ１０４と、通信インタフェース１０５と、ストレージ１０６とを含む。
　ＣＰＵ１０１は、様々なプログラムを実行することが可能な集積回路であり、情報処理装置１の全体の動作を制御する。ＲＯＭ１０２は、例えば、不揮発性の半導体メモリであり、情報処理装置１を制御するためのプログラムや制御データ等を記憶する。ＲＡＭ１０３は、例えば、揮発性の半導体メモリであり、ＣＰＵ１０１の作業領域として使用される。ディスプレイ１０４は、例えば、液晶ディスプレイ、タッチパネル式のディスプレイであり、情報を表示する。通信インタフェース１０５は、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、ネットワークインタフェースなど、外部と情報を相互に通信するための入出力部品である。ストレージ１０６は、不揮発性の記憶装置である。ストレージ１０６は、情報処理装置１のシステムソフトウェア等を記憶する。また、ＣＰＵ１０１は、“プロセッサ”と呼ばれてもよい。
　上記実施形態において、情報処理装置１のＣＰＵ１０１は、その他の回路（またはプロセッサ）であってもよい。例えば、情報処理装置１は、ＣＰＵの替わりに、ＧＰＵ（Graphics Processing Unit）、ＮＰＵ(Neural network Processing Unit)、ＭＰＵ（Micro Processing Unit）等を備えていてもよい。各実施形態において説明された処理のそれぞれは、専用のハードウェアによって実現されてもよい。情報処理装置１の処理は、ソフトウェアにより実行される処理と、ハードウェアによって実行される処理とが混在していてもよいし、どちらか一方のみであってもよい。
　なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は、適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
１…情報処理装置
１１…取得部
１２…認識部
１３…特定部
１４…除去部
１５…出力部
１６…格納部
２１…配置部
２２…付与部
３１，６０…３次元点群データ
３２…セグメンテーション済み点群データ
３３，６１…ノイズ点群
３４…処理済み点群データ
６２…ユーザ視点
６３…アバター
６４…フラグ
１０１…ＣＰＵ
１０２…ＲＯＭ
１０３…ＲＡＭ
１０４…ディスプレイ
１０５…通信インタフェース
１０６…ストレージ
 

 

Claims (4)

  1. 　処理対象の点群データを取得する取得部と、
    　点群のクラスラベルを推定するように訓練された学習済みモデルを用いて、前記点群データへの前記クラスラベルの割り当て処理を実行する認識部と、
    　前記点群データのうち、前記クラスラベルが割り当てられていない点群であるノイズ点群を特定する特定部と、
    　前記ノイズ点群を除去する除去部と、
    　を具備する、情報処理装置。
  2. 　処理対象の点群データを取得する取得部と、
    　点群のクラスラベルを推定するように訓練された学習済みモデルを用いて、前記点群データへの前記クラスラベルの割り当て処理を実行する認識部と、
    　前記点群データのうち、前記クラスラベルが割り当てられていない点群であるノイズ点群を特定する特定部と、
    　前記クラスラベルの割り当て処理が実行された点群データを、３次元仮想空間上に配置する配置部と、
    　前記３次元仮想空間上を移動可能な視点情報に基づいて、ユーザ指示により前記ノイズ点群に対してフラグを付与する付与部と、
    　前記フラグが付与されたノイズ点群を除去する除去部と、
    　を具備する、情報処理装置。
  3. 　取得手段が、処理対象の点群データを取得し、
    　分類手段が、点群のクラスラベルを推定するように訓練された学習済みモデルを用いて、前記点群データへの前記クラスラベルの割り当て処理を実行し、
    　特定手段が、前記点群データのうち、前記クラスラベルが割り当てられていない点群であるノイズ点群を特定し、
    　除去手段が、前記ノイズ点群を除去する、情報処理方法。
  4. 　コンピュータを、請求項１に記載の情報処理装置の各部として機能させるための情報処理プログラム。

     
PCT/JP2024/018959 2024-05-23 2024-05-23 情報処理装置、情報処理方法および情報処理プログラム Pending WO2025243446A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/018959 WO2025243446A1 (ja) 2024-05-23 2024-05-23 情報処理装置、情報処理方法および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/018959 WO2025243446A1 (ja) 2024-05-23 2024-05-23 情報処理装置、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2025243446A1 true WO2025243446A1 (ja) 2025-11-27

Family

ID=97794965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/018959 Pending WO2025243446A1 (ja) 2024-05-23 2024-05-23 情報処理装置、情報処理方法および情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2025243446A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016079009A (ja) * 2014-10-21 2016-05-16 株式会社日立ビルシステム 据付図作成装置、据付図作成方法及び据付図作成プログラム
JP2022157660A (ja) * 2021-03-31 2022-10-14 株式会社トプコン 点群情報処理装置、点群情報処理方法、点群情報処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016079009A (ja) * 2014-10-21 2016-05-16 株式会社日立ビルシステム 据付図作成装置、据付図作成方法及び据付図作成プログラム
JP2022157660A (ja) * 2021-03-31 2022-10-14 株式会社トプコン 点群情報処理装置、点群情報処理方法、点群情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
土井 伸洋, ＬｉＤＡＲで３Ｄ／２Ｄ計測, Ｉｎｔｅｒｆａｃｅ 第４９巻 第１号, 01 January 2023, p. 49, (DOI, Nobuhiro), non-official translation (3D/2D measurement with LiDAR, Interface vol. 49, no. 1) *

Similar Documents

Publication Publication Date Title
TWI473004B (zh) 應用程式間的物件拖放
US11328481B2 (en) Multi-resolution voxel meshing
EP3920147A1 (en) Method and apparatus for generating virtual avatar, device, storage medium and computer program product
US8395614B2 (en) Generating an asset for interactive entertainment using digital image capture
US20220291809A1 (en) Systems and methods for augmented or mixed reality writing
CN108876804B (zh) 抠像模型训练和图像抠像方法、装置和系统及存储介质
CN110582783B (zh) 训练装置、图像识别装置、训练方法和计算机可读信息存储介质
CN115063518B (zh) 轨迹渲染方法、装置、电子设备及存储介质
CN106447756B (zh) 用于生成用户定制的计算机生成动画的方法和系统
KR20150034058A (ko) 영상 분석에 기초한 애니메이션 컨텐츠 생성 방법 및 그 장치
US20140152665A1 (en) Multi-media collaborator
CN115424298A (zh) 一种手势识别方法、装置及车辆
CN112087590A (zh) 图像处理方法、装置、系统及计算机存储介质
CN110969641A (zh) 图像处理方法和装置
WO2020067204A1 (ja) 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム
Pucihar et al. Fuse: Towards ai-based future services for generating augmented reality experiences
KR20140120156A (ko) 사용성이 향상된 모바일 디바이스를 위한 3차원 그래픽 데이터 생성 방법 및 이를 이용한 응용 개발 환경
KR102026172B1 (ko) 사물 의인화 및 사물 컨텍스트를 이용한 인공지능 대화 방법 및 시스템
US20240096012A1 (en) Optimizing computer-based generation of three-dimensional virtual objects
CN116934959A (zh) 基于手势识别的粒子影像生成方法、装置、电子设备和介质
CN119559335A (zh) 图像合成方法和装置、电子设备及存储介质
JP2023002703A (ja) 表示方法、表示装置、電子機器、記憶媒体及びコンピュータプログラム
CN116310040A (zh) 三维模型的绘制处理方法、装置、电子设备及存储介质
CN112488284B (zh) 模型训练方法、人物图像补全方法、装置及电子设备
CN114092608A (zh) 表情的处理方法及装置、计算机可读存储介质、电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24939688

Country of ref document: EP

Kind code of ref document: A1