WO2023189690A1 - Real-time communication assistance system and method therefor, mobile terminal, server, and computer-readable medium - Google Patents
Real-time communication assistance system and method therefor, mobile terminal, server, and computer-readable medium Download PDFInfo
- Publication number
- WO2023189690A1 WO2023189690A1 PCT/JP2023/010480 JP2023010480W WO2023189690A1 WO 2023189690 A1 WO2023189690 A1 WO 2023189690A1 JP 2023010480 W JP2023010480 W JP 2023010480W WO 2023189690 A1 WO2023189690 A1 WO 2023189690A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- point cloud
- cloud data
- target
- landscape
- mesh screen
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims description 29
- 238000010276 construction Methods 0.000 claims description 18
- 241001465754 Metazoa Species 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 20
- 238000007726 management method Methods 0.000 description 15
- 238000013480 data collection Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 6
- 238000011960 computer-aided design Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000003975 animal breeding Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- FBJUTZMAUXJMMH-UHFFFAOYSA-N azane;5-methyl-2-(4-methyl-5-oxo-4-propan-2-yl-1h-imidazol-2-yl)pyridine-3-carboxylic acid Chemical compound [NH4+].N1C(=O)C(C(C)C)(C)N=C1C1=NC=C(C)C=C1C([O-])=O FBJUTZMAUXJMMH-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Abstract
The present invention provides a real-time communication assistance system for simultaneously displaying fine 3D point cloud data and small-sized mesh data. Provided is a real-time communication assistance system comprising: a means (11) that photographs a subject; a means (12) that acquires 3D point cloud data from the photographed subject; a means (13) that acquires a landscape mesh screen obtained by converting objects other than the subject into meshes; a means (14) that stores the 3D point cloud data of the subject and the landscape mesh screen; and a means (15) that simultaneously displays the 3D point cloud data of the subject and the landscape mesh screen.
Description
本開示は、リアルタイムコミュニケーション支援システム、リアルタイムコミュニケーション支援方法、携帯端末、サーバ及びコンピュータ可読媒体に関する。
The present disclosure relates to a real-time communication support system, a real-time communication support method, a mobile terminal, a server, and a computer-readable medium.
近年、ＬｉＤＡＲ（Light Detection And Ranging）及びＴｏＦ（Time of Flight）カメラ等の３Ｄセンサ（三次元センサ）を活用したインフラ及び設備の点検、監視、保守、及び運用システムが提案されている。３Ｄセンサで取得した３Ｄ点群データ（三次元点群データ）は疎な点の集合であり、それだけを見てもどの３Ｄ点群がどの構造物（建物及び設備）に相当するのか分かりにくい。また、構造型データである３Ｄ点群データは、通常の画像データと異なりデータ容量が大きいためリアルタイムでその３Ｄ点群データで表現する現場等の状況を共有することが困難である。
In recent years, infrastructure and equipment inspection, monitoring, maintenance, and operation systems that utilize 3D sensors (three-dimensional sensors) such as LiDAR (Light Detection And Ranging) and ToF (Time of Flight) cameras have been proposed. 3D point cloud data (three-dimensional point cloud data) acquired by a 3D sensor is a collection of sparse points, and it is difficult to understand which 3D point cloud corresponds to which structure (building and equipment) just by looking at it. Furthermore, unlike ordinary image data, 3D point cloud data, which is structured data, has a large data capacity, so it is difficult to share the situation of a site or the like represented by the 3D point cloud data in real time.
特許文献１では、距離センサにより対象物を含む所定領域内の各点までの距離計測を行うことが開示されている。特許文献１は、三次元物体認識手段により、これら各点の計測データをメッシュデータ化し、このメッシュデータのグルーピングを行って複数のメッシュグループとすることが開示されている。また、特許文献１は、各メッシュグループの法線ベクトルに垂直な投影平面を作成し、各メッシュグループを対応する投影平面に投影した投影データを求めることが開示されている。さらに、特許文献１は、投影データの輪郭データを抽出して、輪郭データと対象物の二次元形状データと比較して、対象物の位置及び姿勢を認識することが開示されている。
Patent Document 1 discloses that a distance sensor measures the distance to each point within a predetermined area including an object. Patent Document 1 discloses that three-dimensional object recognition means converts measurement data of each point into mesh data, and groups this mesh data into a plurality of mesh groups. Further, Patent Document 1 discloses that a projection plane perpendicular to the normal vector of each mesh group is created, and projection data is obtained by projecting each mesh group onto the corresponding projection plane. Furthermore, Patent Document 1 discloses that contour data of projection data is extracted and the contour data is compared with two-dimensional shape data of the target object to recognize the position and orientation of the target object.
３Ｄ点群データをメッシュ化、ＣＡＤ（Computer Aided Design）データ化、またはポリゴン化等すると、構造物はオブジェクトとして表現されデータ容量も小さくなり、描画及びインタラクションにかかる処理速度を高速にできる。しかしながら、メッシュ化されたオブジェクトは、３Ｄ点群そのものよりも精度が落ちてしまうため、対象の詳細を高精度で測定する用途に適していない。
When 3D point cloud data is converted into mesh, CAD (Computer Aided Design) data, or polygons, structures are represented as objects, the data volume becomes smaller, and the processing speed for drawing and interaction can be increased. However, meshed objects have lower accuracy than the 3D point cloud itself, and are therefore not suitable for measuring the details of an object with high precision.
そこで、本開示の目的は、詳細な３Ｄ点群データと容量の小さいメッシュデータを同時に表示するリアルタイムコミュニケーション支援システム、リアルタイムコミュニケーション支援方法、携帯端末、サーバ及びコンピュータ可読媒体を提供することである。
Therefore, an object of the present disclosure is to provide a real-time communication support system, a real-time communication support method, a mobile terminal, a server, and a computer-readable medium that simultaneously display detailed 3D point cloud data and small-capacity mesh data.
本開示のリアルタイムコミュニケーション支援システムは、
対象を撮影する手段と、
撮影された前記対象から３Ｄ点群データを取得する手段と、
対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システムである。 The real-time communication support system disclosed herein is
a means of photographing a subject;
means for acquiring 3D point cloud data from the photographed object;
A means for obtaining a mesh screen of a landscape in which non-target objects are meshed;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
The real-time communication support system includes means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
対象を撮影する手段と、
撮影された前記対象から３Ｄ点群データを取得する手段と、
対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システムである。 The real-time communication support system disclosed herein is
a means of photographing a subject;
means for acquiring 3D point cloud data from the photographed object;
A means for obtaining a mesh screen of a landscape in which non-target objects are meshed;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
The real-time communication support system includes means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
また、本開示のリアルタイムコミュニケーション支援システムは、
対象を含めた風景を撮影する手段と、
撮影された前記風景から前記対象を決定する手段と、
撮影された前記風景から３Ｄ点群データを取得する手段と、
決定した対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システムである。 Furthermore, the real-time communication support system of the present disclosure includes:
A means to photograph the scenery including the subject,
means for determining the object from the photographed scenery;
means for acquiring 3D point cloud data from the photographed scenery;
means for creating a mesh screen of the landscape by meshing the 3D point cloud data other than the determined target;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
The real-time communication support system includes means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
対象を含めた風景を撮影する手段と、
撮影された前記風景から前記対象を決定する手段と、
撮影された前記風景から３Ｄ点群データを取得する手段と、
決定した対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システムである。 Furthermore, the real-time communication support system of the present disclosure includes:
A means to photograph the scenery including the subject,
means for determining the object from the photographed scenery;
means for acquiring 3D point cloud data from the photographed scenery;
means for creating a mesh screen of the landscape by meshing the 3D point cloud data other than the determined target;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
The real-time communication support system includes means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
また、本開示の携帯端末は、
対象を撮影する手段と、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示する手段と、を備える携帯端末である。 Further, the mobile terminal of the present disclosure includes:
The present invention is a mobile terminal comprising means for photographing an object, and means for simultaneously displaying 3D point cloud data of the object and a mesh screen of a landscape obtained by meshing areas other than the object.
対象を撮影する手段と、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示する手段と、を備える携帯端末である。 Further, the mobile terminal of the present disclosure includes:
The present invention is a mobile terminal comprising means for photographing an object, and means for simultaneously displaying 3D point cloud data of the object and a mesh screen of a landscape obtained by meshing areas other than the object.
また、本開示のサーバは、
撮影された対象から３Ｄ点群データを取得する手段と、対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバである。 Additionally, the server of the present disclosure is
means for acquiring 3D point cloud data from a photographed object; means for acquiring a mesh screen of a landscape obtained by meshing parts other than the object; and storing the 3D point cloud data of the target and the mesh screen of the landscape. A server comprising means.
撮影された対象から３Ｄ点群データを取得する手段と、対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバである。 Additionally, the server of the present disclosure is
means for acquiring 3D point cloud data from a photographed object; means for acquiring a mesh screen of a landscape obtained by meshing parts other than the object; and storing the 3D point cloud data of the target and the mesh screen of the landscape. A server comprising means.
また、本開示のリアルタイムコミュニケーション支援方法は、
対象を撮影するステップと、
撮影された前記対象から３Ｄ点群データを取得するステップと、
対象以外をメッシュ化した風景のメッシュ画面を取得するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示するステップと、を備えるリアルタイムコミュニケーション支援方法である。 Additionally, the real-time communication support method disclosed herein is
a step of photographing a subject;
obtaining 3D point cloud data from the imaged object;
a step of obtaining a mesh screen of a landscape with meshed parts other than the target;
storing the 3D point cloud data of the object and the mesh screen of the landscape;
The real-time communication support method includes the step of simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
対象を撮影するステップと、
撮影された前記対象から３Ｄ点群データを取得するステップと、
対象以外をメッシュ化した風景のメッシュ画面を取得するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示するステップと、を備えるリアルタイムコミュニケーション支援方法である。 Additionally, the real-time communication support method disclosed herein is
a step of photographing a subject;
obtaining 3D point cloud data from the imaged object;
a step of obtaining a mesh screen of a landscape with meshed parts other than the target;
storing the 3D point cloud data of the object and the mesh screen of the landscape;
The real-time communication support method includes the step of simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
また、本開示のプログラムは、
対象を撮影するステップと、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示するステップと、を携帯端末に実行させるプログラムである。
In addition, the program of this disclosure is
This is a program that causes a mobile terminal to execute the steps of photographing an object and simultaneously displaying 3D point cloud data of the object and a mesh screen of a landscape in which areas other than the object are meshed.
対象を撮影するステップと、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示するステップと、を携帯端末に実行させるプログラムである。
In addition, the program of this disclosure is
This is a program that causes a mobile terminal to execute the steps of photographing an object and simultaneously displaying 3D point cloud data of the object and a mesh screen of a landscape in which areas other than the object are meshed.
本開示により、詳細な３Ｄ点群データと容量の小さいメッシュデータを同時に表示するリアルタイムコミュニケーション支援システムを提供することができる。
According to the present disclosure, it is possible to provide a real-time communication support system that simultaneously displays detailed 3D point cloud data and small-capacity mesh data.
実施の形態
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、請求の範囲にかかる発明を以下の実施の形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。 Embodiments Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the claimed invention is not limited to the following embodiments. Furthermore, not all of the configurations described in the embodiments are essential as means for solving the problem. For clarity of explanation, the following description and drawings are omitted and simplified as appropriate. In each drawing, the same elements are denoted by the same reference numerals, and redundant explanation will be omitted as necessary.
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、請求の範囲にかかる発明を以下の実施の形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。 Embodiments Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the claimed invention is not limited to the following embodiments. Furthermore, not all of the configurations described in the embodiments are essential as means for solving the problem. For clarity of explanation, the following description and drawings are omitted and simplified as appropriate. In each drawing, the same elements are denoted by the same reference numerals, and redundant explanation will be omitted as necessary.
（本実施の形態の概要とメッシュ化の手法）
図１は、実施の形態にかかるインフラ点検等における離隔計測を示す図である。図１を参照しながら、本実施の形態の概要を電力会社及び通信会社におけるインフラ設備の保守、運用、管理、点検及び監視を例に説明する。 (Overview of this embodiment and meshing method)
FIG. 1 is a diagram showing distance measurement in infrastructure inspection, etc. according to an embodiment. With reference to FIG. 1, an overview of the present embodiment will be explained using as an example the maintenance, operation, management, inspection, and monitoring of infrastructure equipment in electric power companies and communication companies.
図１は、実施の形態にかかるインフラ点検等における離隔計測を示す図である。図１を参照しながら、本実施の形態の概要を電力会社及び通信会社におけるインフラ設備の保守、運用、管理、点検及び監視を例に説明する。 (Overview of this embodiment and meshing method)
FIG. 1 is a diagram showing distance measurement in infrastructure inspection, etc. according to an embodiment. With reference to FIG. 1, an overview of the present embodiment will be explained using as an example the maintenance, operation, management, inspection, and monitoring of infrastructure equipment in electric power companies and communication companies.
図１に示すように、３Ｄセンサで電柱の大きさ、電線の長さ、または電柱及び電線と建物間の離隔距離を計測する際、３Ｄ点群データは高所の作業員が持つタブレット等の計測機器でのみ確認できる。そのため、例えば遠方の事業所等、現場の測定個所ではない場所にいる監督者は３Ｄ点群データを確認できない。３Ｄ点群データはデータ容量が大きく処理負荷が高いため、３Ｄ点群データを他の作業員の端末に転送し、リアルタイムで表示及び共有することが困難である。また、他の作業員は、表示が全て３Ｄ点群データであると現場の状況を理解しにくい。
As shown in Figure 1, when using a 3D sensor to measure the size of a utility pole, the length of an electric wire, or the distance between a utility pole or wire and a building, 3D point cloud data is stored on a tablet or other device held by a worker at height. Can only be confirmed with measuring equipment. Therefore, a supervisor who is located at a location other than the measurement location at the site, such as a distant office, cannot check the 3D point cloud data. Since 3D point cloud data has a large data volume and a high processing load, it is difficult to transfer the 3D point cloud data to other workers' terminals and display and share it in real time. Furthermore, it is difficult for other workers to understand the situation at the site if all the displayed data is 3D point cloud data.
そこで、対象以外をメッシュ化し負荷を低減させると、計測結果及びそれに対するコメントをリアルタイムに共有でき、現場の状況が理解しやすくなる。図２は、実施の形態にかかる第１のメッシュ化の手法を示す図である。図２に示すように、対象以外の建物メッシュを予め用意しておいたものを取得し、このメッシュと撮影した３Ｄ点群を重ねて表示できる。予め用意する建物メッシュは、ＰＬＡＴＥＡＵといった都市データのような外部データを利用してもよい。
Therefore, by meshing non-target areas to reduce the load, measurement results and comments on them can be shared in real time, making it easier to understand the situation at the site. FIG. 2 is a diagram showing a first meshing method according to the embodiment. As shown in FIG. 2, a pre-prepared building mesh other than the target is obtained, and this mesh and the photographed 3D point cloud can be displayed overlappingly. The building mesh prepared in advance may use external data such as city data such as PLATEAU.
図３は、実施の形態にかかる第２のメッシュ化の手法を示す図である。図３に示すように、対象を含めた風景の３Ｄ点群を撮影し、対象以外の風景をメッシュ化してメッシュと３Ｄ点群を重ねて表示する。このようにすることで、結果をデジタル情報で記録する及びその場で情報を付加するといった加工及び応用が容易になる。
FIG. 3 is a diagram showing the second meshing method according to the embodiment. As shown in FIG. 3, a 3D point cloud of the scenery including the target is photographed, the scenery other than the target is meshed, and the mesh and the 3D point cloud are displayed in an overlapping manner. By doing so, processing and application such as recording the results as digital information and adding information on the spot becomes easy.
（実施の形態にかかるシステムの構成）
図４は、実施の形態にかかるシステムの構成を示す図である。図４を参照しながら、本実施の形態にかかるシステムの構成を説明する。システムは、サーバ（クラウド）１００と、複数の携帯端末２００と、を備える。 (Configuration of system according to embodiment)
FIG. 4 is a diagram showing the configuration of the system according to the embodiment. The configuration of the system according to this embodiment will be explained with reference to FIG. 4. The system includes a server (cloud) 100 and a plurality ofmobile terminals 200.
図４は、実施の形態にかかるシステムの構成を示す図である。図４を参照しながら、本実施の形態にかかるシステムの構成を説明する。システムは、サーバ（クラウド）１００と、複数の携帯端末２００と、を備える。 (Configuration of system according to embodiment)
FIG. 4 is a diagram showing the configuration of the system according to the embodiment. The configuration of the system according to this embodiment will be explained with reference to FIG. 4. The system includes a server (cloud) 100 and a plurality of
サーバ（クラウド）１００は、コンピュータサーバまたはクラウドなどである。サーバ（クラウド）１００は、複数の携帯端末２００と、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット回線、または携帯電話回線などを介して接続する。
The server (cloud) 100 is a computer server, a cloud, or the like. The server (cloud) 100 connects to a plurality of mobile terminals 200 via a wired LAN (Local Area Network), a wireless LAN, an Internet line, a mobile phone line, or the like.
携帯端末２００は、パーソナルコンピュータ、タブレットまたはスマートフォンである。また、携帯端末２００は、ＶＲ（Virtual Reality）（仮想現実）、ＡＲ（Augmented Reality）（拡張現実）、またはＭＲ（Mixed Reality）（複合現実）を実現する眼鏡型のデバイスであってもよい。また、携帯端末２００は、３Ｄディスプレイであってもよい。携帯端末２００は、利用者が携帯してもよい。また、携帯端末２００は、現場に存在し、利用者との情報をやりとりするシステムでもよい。例えば携帯端末２００は、プロジェクタで情報を利用者に提示し、センサまたは音声で利用者から情報を取得するシステムである。携帯端末２００は、３Ｄセンサで撮影データ３００を取得し、サーバ（クラウド）１００を通して他の携帯端末２００とリアルタイムにデータを送受信する。携帯端末２００は、監督者の端末のように、３Ｄセンサを用いて撮影データ３００を取得せず、サーバ（クラウド）１００からデータ取得のみしてもよい。
The mobile terminal 200 is a personal computer, a tablet, or a smartphone. Furthermore, the mobile terminal 200 may be a glasses-type device that realizes VR (Virtual Reality), AR (Augmented Reality), or MR (Mixed Reality). Moreover, the mobile terminal 200 may be a 3D display. The mobile terminal 200 may be carried by the user. Furthermore, the mobile terminal 200 may be a system that exists at the site and exchanges information with users. For example, the mobile terminal 200 is a system that presents information to a user using a projector and obtains information from the user using a sensor or voice. The mobile terminal 200 acquires photographic data 300 using a 3D sensor, and transmits and receives data to and from other mobile terminals 200 in real time through the server (cloud) 100. The mobile terminal 200 may only obtain data from the server (cloud) 100 instead of using a 3D sensor to obtain the photographic data 300 like the supervisor's terminal.
（実施の形態にかかる携帯端末の説明）
図５は、実施の形態にかかる携帯端末の構成を示す図である。図５を参照しながら、実施の形態にかかる携帯端末の構成を説明する。携帯端末２００は、データ収集部２１０と、情報表示部２１１と、情報付与部２１２と、データ送信部２１３と、を備える。 (Description of mobile terminal according to embodiment)
FIG. 5 is a diagram showing the configuration of the mobile terminal according to the embodiment. The configuration of the mobile terminal according to the embodiment will be described with reference to FIG. 5. Themobile terminal 200 includes a data collection section 210, an information display section 211, an information provision section 212, and a data transmission section 213.
図５は、実施の形態にかかる携帯端末の構成を示す図である。図５を参照しながら、実施の形態にかかる携帯端末の構成を説明する。携帯端末２００は、データ収集部２１０と、情報表示部２１１と、情報付与部２１２と、データ送信部２１３と、を備える。 (Description of mobile terminal according to embodiment)
FIG. 5 is a diagram showing the configuration of the mobile terminal according to the embodiment. The configuration of the mobile terminal according to the embodiment will be described with reference to FIG. 5. The
データ収集部２１０は、ＬｉＤＡＲ、ＴｏＦカメラもしくはステレオセンサなどの３Ｄセンサ、ＲＧＢカメラ、またはその他センサなどで取得した撮影データ３００及びサーバ（クラウド）１００に保存されたデータを取得する機能を有する部分である。３Ｄセンサは、撮影者が移動しながら、または３Ｄセンサを動かしながら撮影してもよい。また、３Ｄセンサは、複数利用してもよい。
The data collection unit 210 is a part that has a function of acquiring photographic data 300 acquired by LiDAR, a 3D sensor such as a ToF camera or a stereo sensor, an RGB camera, or other sensors, and data stored in the server (cloud) 100. be. The 3D sensor may take pictures while the photographer is moving or moving the 3D sensor. Further, a plurality of 3D sensors may be used.
情報表示部２１１は、例えば液晶表示装置及び有機ＥＬ（Electro Luminescence）表示装置などの表示装置である。情報表示部２１１は、データ収集部に接続され、データ収集部２１０で取得した情報を表示する機能を有する部分である。情報表示部２１１は、３Ｄ点群データとメッシュ化されたメッシュ画面データを表示する。情報表示部２１１は、仮想空間で表現してもよく、利用者のアバタでわかりやすく表示してもよいが表現方法はこれらに限られない。また、情報表示部２１１は、３Ｄ点群データとメッシュ化されたメッシュ画面データを表示するだけでなく、それらを重畳（オーバレイ）して見やすくしてもよい。また、情報表示部２１１は、３Ｄ点群データとメッシュ化されたメッシュ画面データを切り替えてもよく、重なり具合を調整してもよい。また、情報表示部２１１は、３Ｄ点群データとメッシュ化されたデータの表示の取捨選択を行ってもよい。
The information display unit 211 is a display device such as a liquid crystal display device or an organic EL (Electro Luminescence) display device. The information display section 211 is connected to the data collection section and has a function of displaying information acquired by the data collection section 210. The information display unit 211 displays 3D point cloud data and mesh screen data. The information display section 211 may be expressed in a virtual space or may be displayed in an easy-to-understand manner using a user's avatar, but the expression method is not limited to these. Further, the information display unit 211 may not only display the 3D point cloud data and the mesh screen data, but may also superimpose (overlay) them to make them easier to see. Further, the information display unit 211 may switch between 3D point cloud data and meshed mesh screen data, and may adjust the degree of overlap. Further, the information display unit 211 may select between displaying 3D point cloud data and meshed data.
情報付与部２１２は、情報表示部２１１に接続され、情報表示部２１１に表示されたデータに情報を付与する機能を有する部分である。情報付与部２１２は、データ収集部２１０で取得したデータの更新及び編集をしてもよい。また、情報付与部２１２は、携帯端末２００の他の機能（カメラ及びＧＰＳ（Global Positioning System）など）からの情報生成及び利用者による独自の情報生成を行う。具体的に、情報付与部２１２は、撮影された場所の緯度、経度などの位置情報、撮影された方向、３Ｄ点群表示の対象となる物体を識別する情報などの情報を付与する。また、情報付与部２１２は、対象に関するコメントなどの情報も付与する。例えば情報付与部２１２は、情報表示部２１１に設置されたタッチセンサ、タッチペンなどと協働する。
The information adding unit 212 is a part that is connected to the information display unit 211 and has a function of adding information to the data displayed on the information display unit 211. The information adding unit 212 may update and edit the data acquired by the data collecting unit 210. Further, the information providing unit 212 generates information from other functions of the mobile terminal 200 (camera, GPS (Global Positioning System), etc.) and generates information unique to the user. Specifically, the information providing unit 212 provides information such as positional information such as the latitude and longitude of the location where the image was taken, the direction in which the image was taken, and information that identifies the object to be displayed in the 3D point cloud. The information adding unit 212 also adds information such as comments regarding the object. For example, the information providing section 212 cooperates with a touch sensor, touch pen, etc. installed on the information display section 211.
データ送信部２１３は、情報付与部２１２に接続され、情報付与部２１２で与えられた情報をサーバ（クラウド）１００に送信する機能を有する部分である。上述のように、データ送信部２１３は、無線ＬＡＮ、有線ＬＡＮ、インターネット回線、または携帯電話回線などと接続する。
The data transmitting unit 213 is connected to the information providing unit 212 and has a function of transmitting information provided by the information providing unit 212 to the server (cloud) 100. As described above, the data transmitter 213 connects to a wireless LAN, wired LAN, Internet line, mobile phone line, or the like.
（実施の形態にかかるサーバ（クラウド）の説明）
図６は、実施の形態にかかるサーバ（クラウド）の構成を示す図である。図６を参照しながら、実施の形態にかかるサーバ（クラウド）の構成を説明する。サーバ（クラウド）１００は、位置情報取得部１１０と、データ収集部１１１と、情報管理部１１２と、データ送信部１１５と、を備える。情報管理部１１２は、メッシュ処理部１１３と、情報保有部１１４と、を備える。 (Description of server (cloud) according to embodiment)
FIG. 6 is a diagram showing the configuration of a server (cloud) according to the embodiment. The configuration of the server (cloud) according to the embodiment will be described with reference to FIG. 6. The server (cloud) 100 includes a locationinformation acquisition section 110, a data collection section 111, an information management section 112, and a data transmission section 115. The information management section 112 includes a mesh processing section 113 and an information holding section 114.
図６は、実施の形態にかかるサーバ（クラウド）の構成を示す図である。図６を参照しながら、実施の形態にかかるサーバ（クラウド）の構成を説明する。サーバ（クラウド）１００は、位置情報取得部１１０と、データ収集部１１１と、情報管理部１１２と、データ送信部１１５と、を備える。情報管理部１１２は、メッシュ処理部１１３と、情報保有部１１４と、を備える。 (Description of server (cloud) according to embodiment)
FIG. 6 is a diagram showing the configuration of a server (cloud) according to the embodiment. The configuration of the server (cloud) according to the embodiment will be described with reference to FIG. 6. The server (cloud) 100 includes a location
位置情報取得部１１０は、端末利用者及び撮影対象等の位置情報を取得する機能を有する部分である。データ収集部１１１は、携帯端末２００のデータ送信部２１３に接続され、携帯端末２００から送信されたデータを収集する機能を有する部分である。位置情報取得部１１０は、データ収集部１１１に接続され、携帯端末２００から端末利用者及び撮影対象等の位置情報を取得する。データ収集部１１１は、外部システムからメッシュデータを取得する、または携帯端末２００から３Ｄ点群データを取得する。
The location information acquisition unit 110 is a part that has a function of acquiring location information of a terminal user, a photographic subject, etc. The data collection unit 111 is a part that is connected to the data transmission unit 213 of the mobile terminal 200 and has a function of collecting data transmitted from the mobile terminal 200. The location information acquisition unit 110 is connected to the data collection unit 111 and acquires location information of the terminal user, the photographic subject, etc. from the mobile terminal 200. The data collection unit 111 acquires mesh data from an external system or 3D point cloud data from the mobile terminal 200.
情報管理部１１２は、データ収集部１１１に接続され、メッシュデータまたは３Ｄ点群データを受信する。情報管理部１１２のメッシュ処理部１１３は、メッシュデータを変換する、または対象以外の点群をメッシュ化する機能を有する部分である。メッシュ処理部は外部から取得したメッシュデータを本システムに適用できるように処理する。またはメッシュ処理部１１３は、３Ｄ点群のメッシュ化、ポリゴン化、またはＣＡＤデータへの変換を行う。メッシュ処理部１１３は、外部システムと連携し、メッシュ化処理を行ってもよい。ここで外部システムは、ＣＡＤシステム、出来型図管理システム、図面管理システム、ＧＩＳ（Geographic Information System）などである。メッシュ化処理は、対象及び対象以外の区別によるメッシュ化の対象は限定しない。また、メッシュ化処理は、処理能力、点群数、密度、精度及び誤差などによりメッシュ化の有無及びメッシュ化の粒度を決めてもよい。メッシュ化の粒度とは、ポリゴン数及び演算数の精度を指す。また、メッシュ化処理は、人からの指示または外部データとの連携によりメッシュ化の対象及びメッシュ化の粒度を決めてもよい。
The information management unit 112 is connected to the data collection unit 111 and receives mesh data or 3D point cloud data. The mesh processing unit 113 of the information management unit 112 is a part that has a function of converting mesh data or meshing a point group other than the target. The mesh processing unit processes mesh data acquired from the outside so that it can be applied to this system. Alternatively, the mesh processing unit 113 performs meshing, polygonization, or conversion of the 3D point group into CAD data. The mesh processing unit 113 may perform meshing processing in cooperation with an external system. Here, the external systems include a CAD system, a finished drawing management system, a drawing management system, and a GIS (Geographic Information System). In the meshing process, the object of meshing is not limited by distinguishing between objects and non-objects. Furthermore, in the meshing process, the presence or absence of meshing and the granularity of meshing may be determined based on processing capacity, number of point groups, density, accuracy, error, and the like. The granularity of meshing refers to the precision of the number of polygons and the number of operations. Furthermore, in the meshing process, the object of meshing and the granularity of meshing may be determined based on instructions from a person or in cooperation with external data.
情報管理部１１２の情報保有部１１４は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。また、情報管理部１１２の情報保有部１１４は、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗである。また、情報管理部１１２の情報保有部１１４は、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））である。情報管理部１１２の情報保有部１１４は、対象の３Ｄ点群データ及びメッシュ処理部１１３でメッシュ化された対象以外の風景のデータを保存する機能を有する部分である。情報保有部１１４は、当該データの時間的な履歴を保持し、履歴及び時間変化分に基づき、メッシュ化処理を行ってもよい。また、情報保有部１１４は、メッシュ化されたデータ及びメッシュ化対象外となったデータを保持しておき、メッシュ化対象の有無の判断に用いてもよい。また、情報保有部１１４は、当該データを保持しておき、物体検知（対象の検索及びマッチング等）、対象の追跡（トラッキング）に用いてもよい。これらの処理により点群処理を軽量化・簡略化できる。また、携帯端末２００が、メッシュ処理部１１３を備えてもよい。携帯端末２００がサーバ（クラウド）１００へ３Ｄ点群データもしくはメッシュまたはその両方を送信してもよい。
The information holding unit 114 of the information management unit 112 is a magnetic recording medium (for example, a flexible disk, a magnetic tape, a hard disk drive), a magneto-optical recording medium (for example, a magneto-optical disk), or a CD-ROM (Read Only Memory). Further, the information holding unit 114 of the information management unit 112 is a CD-R or a CD-R/W. Further, the information holding unit 114 of the information management unit 112 is a semiconductor memory (for example, a mask ROM, a PROM (programmable ROM), an EPROM (erasable PROM), a flash ROM, or a RAM (random access memory)). The information storage unit 114 of the information management unit 112 is a part that has a function of storing 3D point cloud data of the target and data of scenery other than the target that has been meshed by the mesh processing unit 113. The information holding unit 114 may hold a temporal history of the data and perform meshing processing based on the history and changes over time. Further, the information holding unit 114 may hold meshed data and data that is not to be meshed, and use the stored data to determine whether meshing is to be performed. Further, the information holding unit 114 may hold the data and use it for object detection (object search and matching, etc.) and object tracking. These processes make it possible to reduce and simplify point cloud processing. Further, the mobile terminal 200 may include the mesh processing section 113. The mobile terminal 200 may transmit the 3D point cloud data, the mesh, or both to the server (cloud) 100.
データ送信部１１５は、情報管理部１１２に接続され及び携帯端末２００に接続される。データ送信部１１５は、情報管理部１１２に保存された対象の３Ｄ点群データ及びメッシュ処理部１１３でメッシュ化された対象以外の風景のデータを各端末から受けた要求に応じて各携帯端末２００に送信する機能を有する部分である。データ送信部１１５は、無線ＬＡＮ、有線ＬＡＮ、インターネット回線、及び携帯電話回線などと接続する。
The data transmission section 115 is connected to the information management section 112 and to the mobile terminal 200. The data transmitting unit 115 transmits the 3D point cloud data of the target stored in the information management unit 112 and data of scenery other than the target that has been meshed by the mesh processing unit 113 to each mobile terminal 200 in response to a request received from each terminal. This is the part that has the function of sending data to. The data transmitter 115 connects to a wireless LAN, wired LAN, Internet line, mobile phone line, and the like.
（実施の形態にかかる携帯端末のフローチャートの説明）
図７は、実施の形態にかかる携帯端末の処理のフローチャートである。図７を参照しながら、本実施の形態にかかる携帯端末のフローチャートを説明する。 (Explanation of flowchart of mobile terminal according to embodiment)
FIG. 7 is a flowchart of processing of the mobile terminal according to the embodiment. A flowchart of the mobile terminal according to this embodiment will be described with reference to FIG.
図７は、実施の形態にかかる携帯端末の処理のフローチャートである。図７を参照しながら、本実施の形態にかかる携帯端末のフローチャートを説明する。 (Explanation of flowchart of mobile terminal according to embodiment)
FIG. 7 is a flowchart of processing of the mobile terminal according to the embodiment. A flowchart of the mobile terminal according to this embodiment will be described with reference to FIG.
まず、携帯端末２００は、３Ｄセンサ等で対象または対象及び風景を撮影する（ステップＡ１）。ここで風景とは撮影された全体から対象を切り抜いて除いた部分であり、具体的に、工場または倉庫であり、動物園または牧場であり、工事現場であり、インフラ設備が設置された場所である。また、対象とは、荷物であり、動物であり、工事現場の確認したい部分または建機の操作したい部分であり、電柱及び電線などのインフラ設備である。次に携帯端末２００は、データ収集部２１０で位置情報、撮影場所などのデータを取得する（ステップＡ２）。次に、携帯端末２００は、情報表示部２１１で情報を表示する（ステップＡ３）。３Ｄセンサで取得したデータではなく、サーバ（クラウド）１００に保存したデータを表示する場合は、ステップＡ１はなくてもよい。データ収集部２１０は、点群処理、メッシュ化処理、または点群処理及びメッシュ化処理ための前処理を行ってもよい。次に携帯端末２００は、情報付与部２１２で必要に応じて撮影された風景から対象を決定し、コメントを付与するなど、情報を付与する（ステップＡ４）。最後に携帯端末２００は、データをサーバ（クラウド）１００に送信する（ステップＡ５）。
First, the mobile terminal 200 photographs an object or an object and scenery using a 3D sensor or the like (step A1). Landscape here refers to the part of the photograph that is removed by cutting out the subject, and specifically includes a factory or warehouse, a zoo or farm, a construction site, or a place where infrastructure equipment is installed. . Further, the objects are cargo, animals, parts of a construction site to be checked or parts of construction machinery to be operated, and infrastructure equipment such as utility poles and wires. Next, the mobile terminal 200 acquires data such as location information and photographing location using the data collection unit 210 (Step A2). Next, the mobile terminal 200 displays information on the information display section 211 (step A3). When displaying data stored in the server (cloud) 100 instead of data acquired by the 3D sensor, step A1 may be omitted. The data collection unit 210 may perform point cloud processing, meshing processing, or preprocessing for point cloud processing and meshing processing. Next, the information adding unit 212 of the mobile terminal 200 determines a target from the photographed scenery as needed, and adds information such as adding a comment (step A4). Finally, the mobile terminal 200 transmits the data to the server (cloud) 100 (step A5).
（実施の形態にかかるサーバのフローチャートの説明）
図８は、実施の形態にかかるサーバの処理のフローチャートである。図８を参照しながら、本実施の形態のサーバの処理のフローチャートを説明する。 (Explanation of flowchart of server according to embodiment)
FIG. 8 is a flowchart of server processing according to the embodiment. A flowchart of the server processing of this embodiment will be described with reference to FIG.
図８は、実施の形態にかかるサーバの処理のフローチャートである。図８を参照しながら、本実施の形態のサーバの処理のフローチャートを説明する。 (Explanation of flowchart of server according to embodiment)
FIG. 8 is a flowchart of server processing according to the embodiment. A flowchart of the server processing of this embodiment will be described with reference to FIG.
まず、サーバ（クラウド）１００は、位置情報取得部１１０で端末及び撮影データの位置情報（撮影位置、撮影方向、撮影の設定及び状況及び付加情報）を取得する（ステップＢ１）。次に、サーバ（クラウド）１００は、データ収集部１１１で、撮影された対象または対象と風景の３Ｄ点群データ取得を行う（ステップＢ２）。このステップＢ２で撮影したセンサの点群データの結合及び複数センサの合成（レジストレーション）等が行われてもよい。位置情報及び外部データ等を用いた点群データの位置合わせがこのステップＢ２で行われてもよいし、メッシュ化後に行われてもよい。
First, the server (cloud) 100 uses the location information acquisition unit 110 to acquire location information (shooting position, shooting direction, shooting settings and situation, and additional information) of the terminal and shooting data (step B1). Next, the data collection unit 111 of the server (cloud) 100 acquires 3D point cloud data of the photographed object or the object and scenery (step B2). The point cloud data of the sensors photographed in step B2 may be combined, a plurality of sensors may be synthesized (registration), etc. Alignment of point cloud data using position information, external data, etc. may be performed in this step B2, or may be performed after meshing.
次に、サーバ（クラウド）１００は、メッシュ処理部１１３でメッシュ画面を取得する、または決定した対象以外の風景の３Ｄ点群データをメッシュ化してメッシュ画面を作成する（ステップＢ３）。メッシュ化は、サーバ（クラウド）１００ではなく現場の携帯端末２００上で行ってもよい。３Ｄメッシュは、３Ｄセンサで対象を撮影し３Ｄ点群データを取得する前に作成されても、３Ｄ点群データを撮影した後に作成されてもよい。また作成したメッシュ画面は、外部もしくは情報保有部１１４で保持しているメッシュ（ポリゴン、ＣＡＤ情報、モデル等）とマッチングさせ、位置合わせして同定させてもよい。それらを本ステップでは、「メッシュ化する」として扱う。点群処理及びメッシュ化処理は、例えばノイズ除去及び補正などの前処理及び後処理を行ってもよい。
Next, the server (cloud) 100 uses the mesh processing unit 113 to obtain a mesh screen, or creates a mesh screen by meshing the 3D point cloud data of the scenery other than the determined target (step B3). Meshing may be performed not on the server (cloud) 100 but on the mobile terminal 200 at the site. The 3D mesh may be created before photographing the object with a 3D sensor and acquiring 3D point cloud data, or may be created after photographing the 3D point cloud data. Further, the created mesh screen may be matched with a mesh (polygon, CAD information, model, etc.) held externally or in the information holding unit 114, and the mesh screen may be aligned and identified. In this step, they are treated as "to be meshed." The point cloud processing and meshing processing may include pre-processing and post-processing such as noise removal and correction.
次に、サーバ（クラウド）１００は、情報保有部１１４で必要なまたは全ての処理データを保存する（ステップＢ４）。例えば、サーバ（クラウド）１００は、対象の３Ｄ点群データと風景のメッシュ画面とを保存する。必要なまたは全てのデータ更新を行うことで（ステップＢ５）、リアルタイムな情報が表示される。人からの指示、外部システムとの連携、内部での処理のリアルタイム性及びリソースの担保等を判断して、メッシュの粒度及び精度を調整しリアルタイムな情報が表示される。
Next, the server (cloud) 100 stores necessary or all processing data in the information holding unit 114 (step B4). For example, the server (cloud) 100 stores 3D point cloud data of the target and a mesh screen of the scenery. By performing necessary or all data updates (step B5), real-time information is displayed. Real-time information is displayed by adjusting the mesh granularity and precision based on instructions from people, coordination with external systems, real-time internal processing, and resource security.
次に、サーバ（クラウド）１００は、ステップＡ４で携帯端末２００を用いて付加された情報など、必要に応じて付加情報を付与する（ステップＢ６）。最後に、サーバは各携帯端末２００に対象の３Ｄ点群データと風景のメッシュ画面等のデータを送信する（ステップＢ７）。各携帯端末２００に送られた対象の３Ｄ点群データと風景のメッシュ画面を同時に情報表示部２１１が表示する。
Next, the server (cloud) 100 adds additional information as necessary, such as the information added using the mobile terminal 200 in step A4 (step B6). Finally, the server transmits the target 3D point cloud data and data such as a landscape mesh screen to each mobile terminal 200 (step B7). The information display unit 211 simultaneously displays the target 3D point cloud data sent to each mobile terminal 200 and the landscape mesh screen.
本実施の形態により、電柱及び電線の距離を測るために３Ｄセンサで点群を取得するような場合に、対象以外をメッシュ化し、対象のみを点群にして画像を表示できる。このため、操作画面がわかりやすくなり、データ容量が小さくなり処理負荷を低減させ、画像をリアルタイムに表示でき、他端末と共有できる。
According to this embodiment, when acquiring a point cloud with a 3D sensor to measure the distance between utility poles and electric wires, it is possible to mesh everything other than the target and display an image with only the target as a point cloud. This makes the operation screen easier to understand, reduces data volume, reduces processing load, and allows images to be displayed in real time and shared with other terminals.
（本実施の形態のメッシュ化処理をシミュレーションに適用することの説明）
図９は、実施の形態にかかるメッシュ化処理をシミュレーションに適用することを示す図である。図９を参照しながら、本実施の形態にかかるメッシュ化処理をシミュレーションに適用すること説明する。 (Explanation of applying the meshing process of this embodiment to simulation)
FIG. 9 is a diagram showing application of the meshing process according to the embodiment to simulation. Application of the meshing process according to this embodiment to simulation will be explained with reference to FIG.
図９は、実施の形態にかかるメッシュ化処理をシミュレーションに適用することを示す図である。図９を参照しながら、本実施の形態にかかるメッシュ化処理をシミュレーションに適用すること説明する。 (Explanation of applying the meshing process of this embodiment to simulation)
FIG. 9 is a diagram showing application of the meshing process according to the embodiment to simulation. Application of the meshing process according to this embodiment to simulation will be explained with reference to FIG.
図９に示すように、点群データをクラスタリング（セグメント分割）した、またはメッシュ化してモデルにしたオブジェクトをシミュレーションに利用する。例えば、電力線または通信線の離隔計測において、撮影した３Ｄデータが離隔違反している場合、既存の電線の３Ｄ点群またはモデルを移動させてみることができる。このようにすることで、離隔違反が解消できる場所を探すことができる。また、離隔違反が解消できる場所を自動で探す機能を提供してもよい。
As shown in FIG. 9, objects created by clustering (segmenting) or meshing point cloud data are used for simulation. For example, when measuring the separation of power lines or communication lines, if the captured 3D data violates the separation, it is possible to try moving the existing 3D point group or model of the electric wire. By doing this, it is possible to search for a place where the separation violation can be resolved. Further, a function may be provided to automatically search for a place where the separation violation can be resolved.
（本実施の形態のメッシュ化処理を物流に適用することの説明）
図１０は、実施の形態にかかるメッシュ化処理を物流に適用することを示す図である。図１０を参照しながら、本実施の形態にかかるメッシュ化処理を物流に適用することを説明する。 (Explanation of applying the meshing process of this embodiment to logistics)
FIG. 10 is a diagram showing application of the meshing process according to the embodiment to physical distribution. Application of the mesh processing according to this embodiment to logistics will be described with reference to FIG. 10.
図１０は、実施の形態にかかるメッシュ化処理を物流に適用することを示す図である。図１０を参照しながら、本実施の形態にかかるメッシュ化処理を物流に適用することを説明する。 (Explanation of applying the meshing process of this embodiment to logistics)
FIG. 10 is a diagram showing application of the meshing process according to the embodiment to physical distribution. Application of the mesh processing according to this embodiment to logistics will be described with reference to FIG. 10.
図１０に示すように、本実施の形態にかかるメッシュ化処理は、物流及び倉庫の運用管理に適用できる。例えば、本実施の形態にかかるメッシュ化処理は、工場または倉庫内のベルトコンベアで荷物の大きさを計測するまたは異常をチェックするような場面で用いる。工場または倉庫内の荷物を３Ｄセンサですべての３Ｄ点群データを取得して計測するとデータ容量が大きく処理負荷が高いうえに荷物が動くためリアルタイムで表示できない。ここで、荷物等の対象以外をメッシュ化処理することでデータの容量が小さくなり工場または倉庫内の荷物をリアルタイムに表示し、データを共有できる。例えば、イベントカメラを併用して、動いているものを３Ｄ点群で表示し、静止しているものをメッシュで表示してよい。
As shown in FIG. 10, the mesh processing according to this embodiment can be applied to logistics and warehouse operation management. For example, the meshing process according to this embodiment is used in situations such as measuring the size of luggage or checking for abnormalities on a belt conveyor in a factory or warehouse. If all 3D point cloud data of cargo in a factory or warehouse is measured using a 3D sensor, the data volume is large and the processing load is high, and the cargo moves, so it cannot be displayed in real time. Here, by meshing other objects such as luggage, the amount of data is reduced, and the luggage in the factory or warehouse can be displayed in real time and the data can be shared. For example, an event camera may be used in combination to display moving objects as a 3D point cloud and stationary objects as a mesh.
（本実施の形態にかかるメッシュ化処理を動物飼育に適用することの説明）
図１１は、実施の形態にかかるメッシュ化処理を動物飼育に適用することを示す図である。図１１を参照しながら、本実施の形態にかかるメッシュ化処理を動物飼育に適用することを説明する。 (Explanation of applying the mesh processing according to the present embodiment to animal breeding)
FIG. 11 is a diagram showing application of the mesh processing according to the embodiment to animal breeding. Application of the mesh processing according to this embodiment to animal breeding will be described with reference to FIG. 11.
図１１は、実施の形態にかかるメッシュ化処理を動物飼育に適用することを示す図である。図１１を参照しながら、本実施の形態にかかるメッシュ化処理を動物飼育に適用することを説明する。 (Explanation of applying the mesh processing according to the present embodiment to animal breeding)
FIG. 11 is a diagram showing application of the mesh processing according to the embodiment to animal breeding. Application of the mesh processing according to this embodiment to animal breeding will be described with reference to FIG. 11.
図１１に示すように、本実施の形態に係るメッシュ化処理は、動物を飼育し管理または監視する場面に適用できる。動物園または牧場の動物の大きさを計測するために３Ｄセンサを用いて３Ｄ点群データを取得するとデータ容量が大きく、処理負荷が高いうえに動物が動いて動物をリアルタイムに表示できない。ここで、動物等の対象以外である動物園及び牧場をメッシュ化処理することでデータ容量が小さくなり動物園または牧場の動物をリアルタイムに表示し、データを共有できる。例えば、イベントカメラを併用して、動いているものを３点群で表示し、静止しているものをメッシュで表示してもよい。
As shown in FIG. 11, the mesh processing according to this embodiment can be applied to situations where animals are bred, managed, or monitored. Acquiring 3D point cloud data using a 3D sensor to measure the size of animals at a zoo or farm requires a large amount of data, a high processing load, and the animals move, making it impossible to display them in real time. Here, by meshing zoos and ranches that are not objects such as animals, the data capacity is reduced, and animals in zoos or ranches can be displayed in real time and data can be shared. For example, an event camera may be used in combination to display moving objects as a group of three points, and stationary objects as a mesh.
（本実施の形態にかかるメッシュ化処理を建機の遠隔操作に適用することの説明）
図１２は、実施の形態にかかるメッシュ化処理を建機の遠隔操作に適用することを示す図である。図１２を参照しながら、本実施の形態にかかるメッシュ化処理を建機の遠隔操作に適用することを説明する。 (Explanation of applying the mesh processing according to the present embodiment to remote control of construction machinery)
FIG. 12 is a diagram showing application of the mesh processing according to the embodiment to remote control of construction machinery. Application of the mesh processing according to this embodiment to remote control of construction machinery will be described with reference to FIG. 12.
図１２は、実施の形態にかかるメッシュ化処理を建機の遠隔操作に適用することを示す図である。図１２を参照しながら、本実施の形態にかかるメッシュ化処理を建機の遠隔操作に適用することを説明する。 (Explanation of applying the mesh processing according to the present embodiment to remote control of construction machinery)
FIG. 12 is a diagram showing application of the mesh processing according to the embodiment to remote control of construction machinery. Application of the mesh processing according to this embodiment to remote control of construction machinery will be described with reference to FIG. 12.
図１２に示すように、本実施の形態にかかるメッシュ化処理を工事現場の建機を遠隔操作する場面に適用できる。遠隔で建機を操作する際に、広大な現場全体を３Ｄ点群で表示しようとすると処理負荷が高くなってしまう。ここで工事現場の確認したい部分または建機の操作したい部分のみを３Ｄ点群で表示し、その他をメッシュで表示することで全体が把握しやすく、操作したい部分を高精度にリアルタイムで表示ができ、データを共有できる。
As shown in FIG. 12, the meshing process according to this embodiment can be applied to a situation where construction machinery at a construction site is remotely controlled. When operating construction machinery remotely, the processing load increases if you try to display the entire vast site as a 3D point cloud. By displaying only the part of the construction site you want to check or the part of the construction machine you want to operate as a 3D point cloud, and displaying the rest as a mesh, you can easily understand the whole thing and display the part you want to operate with high precision in real time. , data can be shared.
また、上述したサーバ（クラウド）１００、携帯端末２００における処理の一部又は全部は、コンピュータプログラムとして実現可能である。このようなプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
Further, part or all of the processing in the server (cloud) 100 and mobile terminal 200 described above can be realized as a computer program. Such programs can be stored and provided to a computer using various types of non-transitory computer-readable media. Non-transitory computer-readable media includes various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)). The program may also be provided to the computer on various types of temporary computer-readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can provide the program to the computer via wired communication channels, such as electrical wires and fiber optics, or wireless communication channels.
図１３は、実施の形態にかかるリアルタイムコミュニケーション支援システムのブロック図である。図１３を参照して本実施の形態にかかるリアルタイムコミュニケーション支援システムの説明をする。
本実施の形態にかかるリアルタイムコミュニケーション支援システム１０は、対象を撮影する手段１１と、撮影された対象から３Ｄ点群データを取得する手段１２と、対象以外をメッシュ化した風景のメッシュ画面を取得する手段１３と、対象の３Ｄ点群データと風景のメッシュ画面とを保存する手段１４と、対象の３Ｄ点群データと風景のメッシュ画面とを同時に表示する手段１５と、を備える。 FIG. 13 is a block diagram of a real-time communication support system according to an embodiment. The real-time communication support system according to this embodiment will be explained with reference to FIG. 13.
The real-timecommunication support system 10 according to the present embodiment includes a means 11 for photographing a target, a means 12 for acquiring 3D point cloud data from the photographed target, and a mesh screen of a landscape in which parts other than the target are meshed. The apparatus includes means 13, means 14 for storing the 3D point cloud data of the object and the mesh screen of the scenery, and means 15 for simultaneously displaying the 3D point cloud data of the object and the mesh screen of the scenery.
本実施の形態にかかるリアルタイムコミュニケーション支援システム１０は、対象を撮影する手段１１と、撮影された対象から３Ｄ点群データを取得する手段１２と、対象以外をメッシュ化した風景のメッシュ画面を取得する手段１３と、対象の３Ｄ点群データと風景のメッシュ画面とを保存する手段１４と、対象の３Ｄ点群データと風景のメッシュ画面とを同時に表示する手段１５と、を備える。 FIG. 13 is a block diagram of a real-time communication support system according to an embodiment. The real-time communication support system according to this embodiment will be explained with reference to FIG. 13.
The real-time
本実施の形態により、詳細な３Ｄ点群データと容量の小さいメッシュデータを同時に表示するリアルタイムコミュニケーション支援システムを提供することができる。
According to this embodiment, it is possible to provide a real-time communication support system that simultaneously displays detailed 3D point cloud data and small-capacity mesh data.
以上、本発明の実施の形態を説明したが、本発明はその目的と利点を損なうことのない適宜の変形を含み、更に、上記の実施の形態による限定は受けない。
Although the embodiments of the present invention have been described above, the present invention includes appropriate modifications without impairing its objects and advantages, and is not limited by the above-described embodiments.
上記の実施の形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
対象を撮影する手段と、
撮影された前記対象から３Ｄ点群データを取得する手段と、
対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システム。
（付記２）
前記対象を撮影する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備える携帯端末と、
前記撮影された前記対象から３Ｄ点群データを取得する手段と、前記対象以外をメッシュ化した前記風景の前記メッシュ画面を取得する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバと、を備える、付記１に記載のリアルタイムコミュニケーション支援システム。
（付記３）
対象を含めた風景を撮影する手段と、
撮影された前記風景から前記対象を決定する手段と、
撮影された前記風景から３Ｄ点群データを取得する手段と、
決定した対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システム。
（付記４）
前記対象を含めた風景を撮影する手段と、前記撮影された前記風景から前記対象を決定する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備える携帯端末と、
前記撮影された前記風景から３Ｄ点群データを取得する手段と、前記決定した対象以外の前記３Ｄ点群データをメッシュ化して前記風景の前記メッシュ画面を作成する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバと、を備える、付記３に記載のリアルタイムコミュニケーション支援システム。
（付記５）
前記対象の前記３Ｄ点群データを前記風景の前記メッシュ画面に対して移動させるシミュレーションをする手段を備える、付記１乃至４のいずれか１項に記載のリアルタイムコミュニケーション支援システム。
（付記６）
前記風景は工場または倉庫であり、前記対象は荷物である、または、
前記風景は動物園または牧場であり、前記対象は動物である、または、
前記風景は工事現場であり、前記対象は、工事現場の確認したい部分または建機の操作したい部分である、または、
前記風景はインフラ設備が設置された場所であり、前記対象はインフラ設備である、付記１乃至５のいずれか１項に記載のリアルタイムコミュニケーション支援システム。
（付記７）
対象を撮影する手段と、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示する手段と、を備える携帯端末。
（付記８）
撮影された対象から３Ｄ点群データを取得する手段と、対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバ。
（付記９）
対象を撮影するステップと、
撮影された前記対象から３Ｄ点群データを取得するステップと、
対象以外をメッシュ化した風景のメッシュ画面を取得するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示するステップと、を備えるリアルタイムコミュニケーション支援方法。
（付記１０）
対象を撮影するステップと、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示するステップと、を携帯端末に実行させるプログラムを記録する非一時的なコンピュータ可読媒体。
（付記１１）
撮影された対象から３Ｄ点群データを取得するステップと、対象以外をメッシュ化した風景のメッシュ画面を取得するステップと、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、サーバに実行させるプログラムを記録する非一時的なコンピュータ可読媒体。
（付記１２）
対象を含めた風景を撮影する手段と、撮影された前記風景から前記対象を決定する手段と、前記対象の３Ｄ点群データと前記風景の対象以外のメッシュ画面とを同時に表示する手段と、を備える携帯端末。
（付記１３）
撮影された対象を含めた風景から３Ｄ点群データを取得する手段と、前記風景の前記３Ｄ点群データから対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバ。
（付記１４）
対象を含めた風景を撮影するステップと、
撮影された前記風景から前記対象を決定するステップと、
撮影された前記風景から３Ｄ点群データを取得するステップと、
決定した対象以外の前記３Ｄ点群データをメッシュ化して風景のメッシュ画面を作成するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示するステップと、を備えるリアルタイムコミュニケーション支援方法。
（付記１５）
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップの時間的な履歴を保持し、前記履歴の時間変化分に基づき、前記決定した対象以外の前記３Ｄ点群データをメッシュ化して風景のメッシュ画面を作成するステップを行う、付記１４に記載のリアルタイムコミュニケーション支援方法。
（付記１６）
対象を含めた風景を撮影するステップと、撮影された前記風景から前記対象を決定するステップと、前記対象の３Ｄ点群データと対象以外の前記風景のメッシュ画面とを同時に表示するステップと、を携帯端末に実行させるプログラムを記録する非一時的なコンピュータ可読媒体。
（付記１７）
撮影された対象を含めた風景から３Ｄ点群データを取得するステップと、前記風景の前記３Ｄ点群データから対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成するステップと、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、をサーバに実行させるプログラムを記録する非一時的なコンピュータ可読媒体。 Part or all of the above embodiments may be described as in the following additional notes, but are not limited to the following.
(Additional note 1)
a means of photographing a subject;
means for acquiring 3D point cloud data from the photographed object;
A means for obtaining a mesh screen of a landscape in which non-target objects are meshed;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support system comprising: means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
(Additional note 2)
a mobile terminal comprising means for photographing the object; and means for simultaneously displaying the 3D point cloud data of the object and the mesh screen of the landscape;
means for acquiring 3D point cloud data from the photographed object; means for acquiring the mesh screen of the landscape in which areas other than the object are meshed; and the 3D point cloud data of the object and the mesh of the landscape. The real-time communication support system according to supplementary note 1, comprising: a means for saving a screen; and a server.
(Additional note 3)
A means to photograph the scenery including the subject,
means for determining the object from the photographed scenery;
means for acquiring 3D point cloud data from the photographed scenery;
means for creating a mesh screen of the landscape by meshing the 3D point cloud data other than the determined target;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support system comprising: means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
(Additional note 4)
means for photographing a landscape including the target; means for determining the target from the photographed landscape; and means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the landscape; A mobile terminal comprising;
means for acquiring 3D point cloud data from the photographed scenery; means for meshing the 3D point cloud data other than the determined target to create the mesh screen of the scenery; and the 3D points of the target. The real-time communication support system according to appendix 3, comprising: a server comprising means for storing group data and the mesh screen of the scenery.
(Appendix 5)
The real-time communication support system according to any one of Supplementary Notes 1 to 4, further comprising means for simulating moving the 3D point cloud data of the target with respect to the mesh screen of the scenery.
(Appendix 6)
The scenery is a factory or a warehouse, and the object is cargo, or
The scenery is a zoo or a farm, and the object is an animal, or
The scenery is a construction site, and the target is a part of the construction site that you want to check or a part of the construction machine that you want to operate, or
6. The real-time communication support system according to any one of Supplementary Notes 1 to 5, wherein the scenery is a place where infrastructure equipment is installed, and the target is the infrastructure equipment.
(Appendix 7)
A mobile terminal comprising means for photographing an object, and means for simultaneously displaying 3D point cloud data of the object and a mesh screen of a landscape obtained by meshing areas other than the object.
(Appendix 8)
means for acquiring 3D point cloud data from a photographed object; means for acquiring a mesh screen of a landscape obtained by meshing parts other than the object; and storing the 3D point cloud data of the target and the mesh screen of the landscape. A server comprising means.
(Appendix 9)
a step of photographing a subject;
obtaining 3D point cloud data from the imaged object;
a step of obtaining a mesh screen of a landscape with meshed parts other than the target;
storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support method comprising the step of simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
(Appendix 10)
A non-transitory computer-readable medium that records a program that causes a mobile terminal to execute the steps of photographing a target and simultaneously displaying 3D point cloud data of the target and a mesh screen of a meshed landscape other than the target. .
(Appendix 11)
a step of acquiring 3D point cloud data from the photographed object; a step of acquiring a mesh screen of a landscape obtained by meshing parts other than the object; and saving the 3D point cloud data of the target and the mesh screen of the landscape. A non-transitory computer-readable medium that records the steps and programs that a server executes.
(Appendix 12)
means for photographing a landscape including a target; means for determining the target from the photographed landscape; and means for simultaneously displaying 3D point cloud data of the target and a mesh screen of the landscape other than the target. A mobile device to be equipped with.
(Appendix 13)
means for acquiring 3D point cloud data from a landscape including a photographed object; and means for creating a mesh screen of the landscape by meshing the 3D point cloud data other than the object from the 3D point cloud data of the landscape. , means for storing the 3D point cloud data of the object and the mesh screen of the landscape.
(Appendix 14)
a step of photographing the scenery including the subject;
determining the object from the photographed scenery;
obtaining 3D point cloud data from the photographed scenery;
creating a landscape mesh screen by meshing the 3D point cloud data other than the determined target;
storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support method comprising the step of simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
(Appendix 15)
A temporal history of the step of saving the 3D point cloud data of the target and the mesh screen of the scenery is maintained, and the 3D point cloud data of the target other than the determined target is stored based on the time change of the history. The real-time communication support method according toappendix 14, which performs the step of creating a mesh screen of a landscape by meshing.
(Appendix 16)
a step of photographing a landscape including the target; a step of determining the target from the photographed landscape; and a step of simultaneously displaying 3D point cloud data of the target and a mesh screen of the landscape other than the target. A non-transitory computer-readable medium that records a program to be executed on a mobile terminal.
(Appendix 17)
a step of acquiring 3D point cloud data from the scenery including the photographed object; and a step of meshing the 3D point cloud data other than the object from the 3D point cloud data of the scenery to create a mesh screen of the scenery. , storing the 3D point cloud data of the object and the mesh screen of the landscape.
（付記１）
対象を撮影する手段と、
撮影された前記対象から３Ｄ点群データを取得する手段と、
対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システム。
（付記２）
前記対象を撮影する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備える携帯端末と、
前記撮影された前記対象から３Ｄ点群データを取得する手段と、前記対象以外をメッシュ化した前記風景の前記メッシュ画面を取得する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバと、を備える、付記１に記載のリアルタイムコミュニケーション支援システム。
（付記３）
対象を含めた風景を撮影する手段と、
撮影された前記風景から前記対象を決定する手段と、
撮影された前記風景から３Ｄ点群データを取得する手段と、
決定した対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システム。
（付記４）
前記対象を含めた風景を撮影する手段と、前記撮影された前記風景から前記対象を決定する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備える携帯端末と、
前記撮影された前記風景から３Ｄ点群データを取得する手段と、前記決定した対象以外の前記３Ｄ点群データをメッシュ化して前記風景の前記メッシュ画面を作成する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバと、を備える、付記３に記載のリアルタイムコミュニケーション支援システム。
（付記５）
前記対象の前記３Ｄ点群データを前記風景の前記メッシュ画面に対して移動させるシミュレーションをする手段を備える、付記１乃至４のいずれか１項に記載のリアルタイムコミュニケーション支援システム。
（付記６）
前記風景は工場または倉庫であり、前記対象は荷物である、または、
前記風景は動物園または牧場であり、前記対象は動物である、または、
前記風景は工事現場であり、前記対象は、工事現場の確認したい部分または建機の操作したい部分である、または、
前記風景はインフラ設備が設置された場所であり、前記対象はインフラ設備である、付記１乃至５のいずれか１項に記載のリアルタイムコミュニケーション支援システム。
（付記７）
対象を撮影する手段と、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示する手段と、を備える携帯端末。
（付記８）
撮影された対象から３Ｄ点群データを取得する手段と、対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバ。
（付記９）
対象を撮影するステップと、
撮影された前記対象から３Ｄ点群データを取得するステップと、
対象以外をメッシュ化した風景のメッシュ画面を取得するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示するステップと、を備えるリアルタイムコミュニケーション支援方法。
（付記１０）
対象を撮影するステップと、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示するステップと、を携帯端末に実行させるプログラムを記録する非一時的なコンピュータ可読媒体。
（付記１１）
撮影された対象から３Ｄ点群データを取得するステップと、対象以外をメッシュ化した風景のメッシュ画面を取得するステップと、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、サーバに実行させるプログラムを記録する非一時的なコンピュータ可読媒体。
（付記１２）
対象を含めた風景を撮影する手段と、撮影された前記風景から前記対象を決定する手段と、前記対象の３Ｄ点群データと前記風景の対象以外のメッシュ画面とを同時に表示する手段と、を備える携帯端末。
（付記１３）
撮影された対象を含めた風景から３Ｄ点群データを取得する手段と、前記風景の前記３Ｄ点群データから対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバ。
（付記１４）
対象を含めた風景を撮影するステップと、
撮影された前記風景から前記対象を決定するステップと、
撮影された前記風景から３Ｄ点群データを取得するステップと、
決定した対象以外の前記３Ｄ点群データをメッシュ化して風景のメッシュ画面を作成するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示するステップと、を備えるリアルタイムコミュニケーション支援方法。
（付記１５）
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップの時間的な履歴を保持し、前記履歴の時間変化分に基づき、前記決定した対象以外の前記３Ｄ点群データをメッシュ化して風景のメッシュ画面を作成するステップを行う、付記１４に記載のリアルタイムコミュニケーション支援方法。
（付記１６）
対象を含めた風景を撮影するステップと、撮影された前記風景から前記対象を決定するステップと、前記対象の３Ｄ点群データと対象以外の前記風景のメッシュ画面とを同時に表示するステップと、を携帯端末に実行させるプログラムを記録する非一時的なコンピュータ可読媒体。
（付記１７）
撮影された対象を含めた風景から３Ｄ点群データを取得するステップと、前記風景の前記３Ｄ点群データから対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成するステップと、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、をサーバに実行させるプログラムを記録する非一時的なコンピュータ可読媒体。 Part or all of the above embodiments may be described as in the following additional notes, but are not limited to the following.
(Additional note 1)
a means of photographing a subject;
means for acquiring 3D point cloud data from the photographed object;
A means for obtaining a mesh screen of a landscape in which non-target objects are meshed;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support system comprising: means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
(Additional note 2)
a mobile terminal comprising means for photographing the object; and means for simultaneously displaying the 3D point cloud data of the object and the mesh screen of the landscape;
means for acquiring 3D point cloud data from the photographed object; means for acquiring the mesh screen of the landscape in which areas other than the object are meshed; and the 3D point cloud data of the object and the mesh of the landscape. The real-time communication support system according to supplementary note 1, comprising: a means for saving a screen; and a server.
(Additional note 3)
A means to photograph the scenery including the subject,
means for determining the object from the photographed scenery;
means for acquiring 3D point cloud data from the photographed scenery;
means for creating a mesh screen of the landscape by meshing the 3D point cloud data other than the determined target;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support system comprising: means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
(Additional note 4)
means for photographing a landscape including the target; means for determining the target from the photographed landscape; and means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the landscape; A mobile terminal comprising;
means for acquiring 3D point cloud data from the photographed scenery; means for meshing the 3D point cloud data other than the determined target to create the mesh screen of the scenery; and the 3D points of the target. The real-time communication support system according to appendix 3, comprising: a server comprising means for storing group data and the mesh screen of the scenery.
(Appendix 5)
The real-time communication support system according to any one of Supplementary Notes 1 to 4, further comprising means for simulating moving the 3D point cloud data of the target with respect to the mesh screen of the scenery.
(Appendix 6)
The scenery is a factory or a warehouse, and the object is cargo, or
The scenery is a zoo or a farm, and the object is an animal, or
The scenery is a construction site, and the target is a part of the construction site that you want to check or a part of the construction machine that you want to operate, or
6. The real-time communication support system according to any one of Supplementary Notes 1 to 5, wherein the scenery is a place where infrastructure equipment is installed, and the target is the infrastructure equipment.
(Appendix 7)
A mobile terminal comprising means for photographing an object, and means for simultaneously displaying 3D point cloud data of the object and a mesh screen of a landscape obtained by meshing areas other than the object.
(Appendix 8)
means for acquiring 3D point cloud data from a photographed object; means for acquiring a mesh screen of a landscape obtained by meshing parts other than the object; and storing the 3D point cloud data of the target and the mesh screen of the landscape. A server comprising means.
(Appendix 9)
a step of photographing a subject;
obtaining 3D point cloud data from the imaged object;
a step of obtaining a mesh screen of a landscape with meshed parts other than the target;
storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support method comprising the step of simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
(Appendix 10)
A non-transitory computer-readable medium that records a program that causes a mobile terminal to execute the steps of photographing a target and simultaneously displaying 3D point cloud data of the target and a mesh screen of a meshed landscape other than the target. .
(Appendix 11)
a step of acquiring 3D point cloud data from the photographed object; a step of acquiring a mesh screen of a landscape obtained by meshing parts other than the object; and saving the 3D point cloud data of the target and the mesh screen of the landscape. A non-transitory computer-readable medium that records the steps and programs that a server executes.
(Appendix 12)
means for photographing a landscape including a target; means for determining the target from the photographed landscape; and means for simultaneously displaying 3D point cloud data of the target and a mesh screen of the landscape other than the target. A mobile device to be equipped with.
(Appendix 13)
means for acquiring 3D point cloud data from a landscape including a photographed object; and means for creating a mesh screen of the landscape by meshing the 3D point cloud data other than the object from the 3D point cloud data of the landscape. , means for storing the 3D point cloud data of the object and the mesh screen of the landscape.
(Appendix 14)
a step of photographing the scenery including the subject;
determining the object from the photographed scenery;
obtaining 3D point cloud data from the photographed scenery;
creating a landscape mesh screen by meshing the 3D point cloud data other than the determined target;
storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support method comprising the step of simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery.
(Appendix 15)
A temporal history of the step of saving the 3D point cloud data of the target and the mesh screen of the scenery is maintained, and the 3D point cloud data of the target other than the determined target is stored based on the time change of the history. The real-time communication support method according to
(Appendix 16)
a step of photographing a landscape including the target; a step of determining the target from the photographed landscape; and a step of simultaneously displaying 3D point cloud data of the target and a mesh screen of the landscape other than the target. A non-transitory computer-readable medium that records a program to be executed on a mobile terminal.
(Appendix 17)
a step of acquiring 3D point cloud data from the scenery including the photographed object; and a step of meshing the 3D point cloud data other than the object from the 3D point cloud data of the scenery to create a mesh screen of the scenery. , storing the 3D point cloud data of the object and the mesh screen of the landscape.
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
Although the present invention has been described above with reference to the embodiments, the present invention is not limited to the above. The configuration and details of the present invention can be modified in various ways that can be understood by those skilled in the art within the scope of the invention.
この出願は、２０２２年３月２８日に出願された日本出願特願２０２２－０５１４３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
This application claims priority based on Japanese Patent Application No. 2022-051437 filed on March 28, 2022, and the entire disclosure thereof is incorporated herein.
１０ リアルタイムコミュニケーション支援システム
１１ 対象を撮影する手段
１２ ３Ｄ点群データを取得する手段
１３ メッシュ画面を取得する手段
１４ ３Ｄ点群データとメッシュ画面とを保存する手段
１５ ３Ｄ点群データとメッシュ画面とを同時に表示する手段
１００ サーバ（クラウド）
１１０ 位置情報取得部
１１１ データ収集部
１１２ 情報管理部
１１３ メッシュ処理部
１１４ 情報保有部
１１５ データ送信部
２００ 携帯端末
２１０ データ収集部
２１１ 情報表示部
２１２ 情報付与部
２１３ データ送信部 10 Real-time communication support system 11 Means for photographing atarget 12 Means for acquiring 3D point cloud data 13 Means for acquiring mesh screen 14 Means for saving 3D point cloud data and mesh screen 15 Means for storing 3D point cloud data and mesh screen Means for simultaneous display 100 Server (Cloud)
110 Locationinformation acquisition unit 111 Data collection unit 112 Information management unit 113 Mesh processing unit 114 Information holding unit 115 Data transmission unit 200 Mobile terminal 210 Data collection unit 211 Information display unit 212 Information provision unit 213 Data transmission unit
１１ 対象を撮影する手段
１２ ３Ｄ点群データを取得する手段
１３ メッシュ画面を取得する手段
１４ ３Ｄ点群データとメッシュ画面とを保存する手段
１５ ３Ｄ点群データとメッシュ画面とを同時に表示する手段
１００ サーバ（クラウド）
１１０ 位置情報取得部
１１１ データ収集部
１１２ 情報管理部
１１３ メッシュ処理部
１１４ 情報保有部
１１５ データ送信部
２００ 携帯端末
２１０ データ収集部
２１１ 情報表示部
２１２ 情報付与部
２１３ データ送信部 10 Real-time communication support system 11 Means for photographing a
110 Location
Claims (17)
- 対象を撮影する手段と、
撮影された前記対象から３Ｄ点群データを取得する手段と、
対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システム。 a means of photographing a subject;
means for acquiring 3D point cloud data from the photographed object;
A means for obtaining a mesh screen of a landscape in which non-target objects are meshed;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support system comprising: means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery. - 前記対象を撮影する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備える携帯端末と、
前記撮影された前記対象から３Ｄ点群データを取得する手段と、前記対象以外をメッシュ化した前記風景の前記メッシュ画面を取得する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバと、を備える、請求項１に記載のリアルタイムコミュニケーション支援システム。 a mobile terminal comprising means for photographing the object; and means for simultaneously displaying the 3D point cloud data of the object and the mesh screen of the landscape;
means for acquiring 3D point cloud data from the photographed object; means for acquiring the mesh screen of the landscape in which areas other than the object are meshed; and the 3D point cloud data of the object and the mesh of the landscape. 2. The real-time communication support system according to claim 1, further comprising: a server comprising means for saving a screen. - 対象を含めた風景を撮影する手段と、
撮影された前記風景から前記対象を決定する手段と、
撮影された前記風景から３Ｄ点群データを取得する手段と、
決定した対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備えるリアルタイムコミュニケーション支援システム。 A means to photograph the scenery including the subject,
means for determining the object from the photographed scenery;
means for acquiring 3D point cloud data from the photographed scenery;
means for creating a mesh screen of the landscape by meshing the 3D point cloud data other than the determined target;
means for storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support system comprising: means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery. - 前記対象を含めた風景を撮影する手段と、前記撮影された前記風景から前記対象を決定する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示する手段と、を備える携帯端末と、
前記撮影された前記風景から３Ｄ点群データを取得する手段と、前記決定した対象以外の前記３Ｄ点群データをメッシュ化して前記風景の前記メッシュ画面を作成する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバと、を備える、請求項３に記載のリアルタイムコミュニケーション支援システム。 means for photographing a landscape including the target; means for determining the target from the photographed landscape; and means for simultaneously displaying the 3D point cloud data of the target and the mesh screen of the landscape; A mobile terminal comprising;
means for acquiring 3D point cloud data from the photographed scenery; means for meshing the 3D point cloud data other than the determined target to create the mesh screen of the scenery; and the 3D points of the target. 4. The real-time communication support system according to claim 3, further comprising: a server having means for storing group data and the mesh screen of the scenery. - 前記対象の前記３Ｄ点群データを前記風景の前記メッシュ画面に対して移動させるシミュレーションをする手段を備える、請求項１乃至４のいずれか１項に記載のリアルタイムコミュニケーション支援システム。 The real-time communication support system according to any one of claims 1 to 4, further comprising means for simulating moving the 3D point cloud data of the target with respect to the mesh screen of the landscape.
- 前記風景は工場または倉庫であり、前記対象は荷物である、または、
前記風景は動物園または牧場であり、前記対象は動物である、または、
前記風景は工事現場であり、前記対象は、工事現場の確認したい部分または建機の操作したい部分である、または、
前記風景はインフラ設備が設置された場所であり、前記対象はインフラ設備である、請求項１乃至５のいずれか１項に記載のリアルタイムコミュニケーション支援システム。 The scenery is a factory or a warehouse, and the object is cargo, or
The scenery is a zoo or a farm, and the object is an animal, or
The scenery is a construction site, and the target is a part of the construction site that you want to check or a part of the construction machine that you want to operate, or
The real-time communication support system according to any one of claims 1 to 5, wherein the scenery is a place where infrastructure equipment is installed, and the target is the infrastructure equipment. - 対象を撮影する手段と、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示する手段と、を備える携帯端末。 A mobile terminal comprising: means for photographing a target; and means for simultaneously displaying 3D point cloud data of the target and a mesh screen of a landscape obtained by meshing areas other than the target.
- 撮影された対象から３Ｄ点群データを取得する手段と、対象以外をメッシュ化した風景のメッシュ画面を取得する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバ。 means for acquiring 3D point cloud data from a photographed object; means for acquiring a mesh screen of a landscape obtained by meshing parts other than the object; and storing the 3D point cloud data of the target and the mesh screen of the landscape. A server comprising means.
- 対象を撮影するステップと、
撮影された前記対象から３Ｄ点群データを取得するステップと、
対象以外をメッシュ化した風景のメッシュ画面を取得するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示するステップと、を備えるリアルタイムコミュニケーション支援方法。 a step of photographing a subject;
obtaining 3D point cloud data from the imaged object;
a step of obtaining a mesh screen of a landscape with meshed parts other than the target;
storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support method comprising the step of simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery. - 対象を撮影するステップと、前記対象の３Ｄ点群データと対象以外をメッシュ化した風景のメッシュ画面とを同時に表示するステップと、を携帯端末に実行させるプログラムを記録する非一時的なコンピュータ可読媒体。 A non-transitory computer-readable medium that records a program that causes a mobile terminal to execute the steps of photographing a target and simultaneously displaying 3D point cloud data of the target and a mesh screen of a meshed landscape other than the target. .
- 撮影された対象から３Ｄ点群データを取得するステップと、対象以外をメッシュ化した風景のメッシュ画面を取得するステップと、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、サーバに実行させるプログラムを記録する非一時的なコンピュータ可読媒体。 a step of acquiring 3D point cloud data from the photographed object; a step of acquiring a mesh screen of a landscape obtained by meshing parts other than the object; and saving the 3D point cloud data of the target and the mesh screen of the landscape. A non-transitory computer-readable medium that records the steps and programs that a server executes.
- 対象を含めた風景を撮影する手段と、撮影された前記風景から前記対象を決定する手段と、前記対象の３Ｄ点群データと前記風景の対象以外のメッシュ画面とを同時に表示する手段と、を備える携帯端末。 means for photographing a landscape including a target; means for determining the target from the photographed landscape; and means for simultaneously displaying 3D point cloud data of the target and a mesh screen of the landscape other than the target. A mobile device to be equipped with.
- 撮影された対象を含めた風景から３Ｄ点群データを取得する手段と、前記風景の前記３Ｄ点群データから対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成する手段と、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存する手段と、を備えるサーバ。 means for acquiring 3D point cloud data from a landscape including a photographed object; and means for creating a mesh screen of the landscape by meshing the 3D point cloud data other than the object from the 3D point cloud data of the landscape. , means for storing the 3D point cloud data of the object and the mesh screen of the landscape.
- 対象を含めた風景を撮影するステップと、
撮影された前記風景から前記対象を決定するステップと、
撮影された前記風景から３Ｄ点群データを取得するステップと、
決定した対象以外の前記３Ｄ点群データをメッシュ化して風景のメッシュ画面を作成するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、
前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを同時に表示するステップと、を備えるリアルタイムコミュニケーション支援方法。 a step of photographing the scenery including the subject;
determining the object from the photographed scenery;
obtaining 3D point cloud data from the photographed scenery;
creating a landscape mesh screen by meshing the 3D point cloud data other than the determined target;
storing the 3D point cloud data of the object and the mesh screen of the landscape;
A real-time communication support method comprising the step of simultaneously displaying the 3D point cloud data of the target and the mesh screen of the scenery. - 前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップの時間的な履歴を保持し、前記履歴の時間変化分に基づき、前記決定した対象以外の前記３Ｄ点群データをメッシュ化して風景のメッシュ画面を作成するステップを行う、請求項１４に記載のリアルタイムコミュニケーション支援方法。 A temporal history of the step of saving the 3D point cloud data of the target and the mesh screen of the scenery is maintained, and the 3D point cloud data of the target other than the determined target is stored based on the time change of the history. 15. The real-time communication support method according to claim 14, further comprising the step of creating a mesh screen of scenery by meshing.
- 対象を含めた風景を撮影するステップと、撮影された前記風景から前記対象を決定するステップと、前記対象の３Ｄ点群データと対象以外の前記風景のメッシュ画面とを同時に表示するステップと、を携帯端末に実行させるプログラムを記録する非一時的なコンピュータ可読媒体。 a step of photographing a landscape including the target; a step of determining the target from the photographed landscape; and a step of simultaneously displaying 3D point cloud data of the target and a mesh screen of the landscape other than the target. A non-transitory computer-readable medium that records a program to be executed on a mobile terminal.
- 撮影された対象を含めた風景から３Ｄ点群データを取得するステップと、前記風景の前記３Ｄ点群データから対象以外の前記３Ｄ点群データをメッシュ化して前記風景のメッシュ画面を作成するステップと、前記対象の前記３Ｄ点群データと前記風景の前記メッシュ画面とを保存するステップと、をサーバに実行させるプログラムを記録する非一時的なコンピュータ可読媒体。 a step of acquiring 3D point cloud data from the scenery including the photographed object; and a step of meshing the 3D point cloud data other than the object from the 3D point cloud data of the scenery to create a mesh screen of the scenery. , storing the 3D point cloud data of the object and the mesh screen of the landscape.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022051437 | 2022-03-28 | ||
| JP2022-051437 | 2022-03-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023189690A1 true WO2023189690A1 (en) | 2023-10-05 |
Family
ID=88201685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2023/010480 WO2023189690A1 (en) | 2022-03-28 | 2023-03-16 | Real-time communication assistance system and method therefor, mobile terminal, server, and computer-readable medium |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2023189690A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074323A (en) * | 2000-09-01 | 2002-03-15 | Kokusai Kogyo Co Ltd | Method and system for generating three-dimensional urban area space model |
| WO2020110164A1 (en) * | 2018-11-26 | 2020-06-04 | 三菱電機株式会社 | Display data generation device, display data generation method, and display data generation program |
| JP2020201863A (en) * | 2019-06-13 | 2020-12-17 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2022043539A (en) * | 2020-09-04 | 2022-03-16 | キヤノン株式会社 | Image processing apparatus, image processing system, image processing method, and program |
-
2023
- 2023-03-16 WO PCT/JP2023/010480 patent/WO2023189690A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074323A (en) * | 2000-09-01 | 2002-03-15 | Kokusai Kogyo Co Ltd | Method and system for generating three-dimensional urban area space model |
| WO2020110164A1 (en) * | 2018-11-26 | 2020-06-04 | 三菱電機株式会社 | Display data generation device, display data generation method, and display data generation program |
| JP2020201863A (en) * | 2019-06-13 | 2020-12-17 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2022043539A (en) * | 2020-09-04 | 2022-03-16 | キヤノン株式会社 | Image processing apparatus, image processing system, image processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019233445A1 (en) | Data collection and model generation method for house | |
| CN107836012B (en) | Projection image generation method and device, and mapping method between image pixel and depth value | |
| CN113570721B (en) | Method and device for reconstructing three-dimensional space model and storage medium | |
| JP2022103160A (en) | Three-dimensional information processing method and three-dimensional information processing device | |
| TW202001786A (en) | Systems and methods for updating highly automated driving maps | |
| JP7041551B2 (en) | Construction process management system and construction process management method | |
| JP6261815B1 (en) | Crowd monitoring device and crowd monitoring system | |
| JP6180647B2 (en) | Indoor map construction apparatus and method using cloud points | |
| JP6321570B2 (en) | Indoor position information positioning system and indoor position information positioning method | |
| CN111221012A (en) | Method and apparatus for improved location decision based on ambient environment | |
| CN114140528A (en) | Data annotation method and device, computer equipment and storage medium | |
| CN113436311A (en) | House type graph generation method and device | |
| US11412186B2 (en) | Enhanced video system | |
| CN113610702B (en) | Picture construction method and device, electronic equipment and storage medium | |
| JP6725736B1 (en) | Image specifying system and image specifying method | |
| WO2023189690A1 (en) | Real-time communication assistance system and method therefor, mobile terminal, server, and computer-readable medium | |
| WO2020186856A1 (en) | Three-dimensional indoor navigation system and implementation method thereof | |
| CN108298101A (en) | The control method and device of holder rotation, unmanned plane | |
| CN110191284B (en) | Method and device for collecting data of house, electronic equipment and storage medium | |
| JP7179583B2 (en) | Image processing device and image processing method | |
| WO2020151429A1 (en) | Robot dog system and implementation method therefor | |
| CN113378605A (en) | Multi-source information fusion method and device, electronic equipment and storage medium | |
| CN110267087B (en) | Dynamic label adding method, device and system | |
| WO2024070602A1 (en) | Information display system, information display method, and program | |
| CN111954188B (en) | Robot control method, device, terminal and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23779708 Country of ref document: EP Kind code of ref document: A1 |