WO2024089855A1 - 点群移動推定装置、点群移動推定方法、及びプログラム - Google Patents

点群移動推定装置、点群移動推定方法、及びプログラム Download PDF

Info

Publication number
WO2024089855A1
WO2024089855A1 PCT/JP2022/040250 JP2022040250W WO2024089855A1 WO 2024089855 A1 WO2024089855 A1 WO 2024089855A1 JP 2022040250 W JP2022040250 W JP 2022040250W WO 2024089855 A1 WO2024089855 A1 WO 2024089855A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
movement
point
predicted
correlation value
Prior art date
Application number
PCT/JP2022/040250
Other languages
English (en)
French (fr)
Inventor
俊介 塚谷
潤 島村
大我 吉田
直己 伊藤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/040250 priority Critical patent/WO2024089855A1/ja
Publication of WO2024089855A1 publication Critical patent/WO2024089855A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement

Definitions

  • the present invention relates to a technology for estimating the movement of an object that is composed of a three-dimensional point cloud and is accompanied by changes.
  • a technology has been proposed to estimate scene flow from point cloud information alone, which calculates the correlation on a point cloud basis by combining a local point cloud based on KNN (K-Nearest Neighbor) and a local point cloud based on a voxel unit to determine the correspondence between point clouds in two consecutive frames of measured video, and estimates scene flow in the direction of a high correlation value (see Non-Patent Document 1).
  • KNN K-Nearest Neighbor
  • This conventional technology is based on the premise that the target object is a rigid body, such as a car, whose shape does not change between the two frames for which scene flow is calculated. Pairs of points with high similarity between two frames are considered to contribute greatly to scene flow estimation, and by using KNN to narrow down to points with similar positional relationships, it is possible to efficiently extract features.
  • PV-RAFT point-voxel correlation fields for scene flow estimation of point clouds.
  • Non-Patent Document 1 when using the technology in Non-Patent Document 1, it is not possible to calculate an appropriate scene flow.
  • the present invention has been made in consideration of the above points, and aims to provide appropriate estimation even when an object shown in an image is partially deformed.
  • the invention according to claim 1 is a point cloud movement estimation device that estimates the movement of an object composed of a three-dimensional point cloud displayed in an image
  • the point cloud movement estimation device having: a point cloud separation unit that separates the object into a rigid part and a deformed part in a first point cloud that constitutes the object displayed in a first frame in the image; a rigid part correlation calculation unit that calculates a correlation value related to the rigid part between the second point cloud and the predicted movement point cloud in the rigid part based on a second point cloud that constitutes the object displayed in a second frame that is the next frame in time to the first frame, and a predicted movement point cloud that is predicted to move from the first point cloud in the second frame; and a deformed part correlation calculation unit that calculates a correlation value related to the deformed part between the second point cloud and the predicted movement point cloud in the deformed part based on the second point cloud and the predicted movement point cloud, and calculates a correlation value related to the object including the correlation value related to the deformed part and
  • the present invention has the advantage of being able to make appropriate estimates even when an object shown in an image is partially deformed.
  • FIG. 1 is an overall configuration diagram of a communication system according to an embodiment of the present invention.
  • FIG. 2 is an electrical hardware configuration diagram of the point cloud movement estimation device according to the present embodiment.
  • FIG. 2 is a diagram illustrating an electrical hardware configuration of a communication terminal according to the present embodiment.
  • 1 is a functional configuration diagram of a point cloud movement estimation device according to an embodiment of the present invention.
  • 1 is a conceptual diagram showing a relationship between a first point cloud, a second point cloud, and a predicted movement point cloud.
  • FIG. 11 is a flowchart showing a point cloud movement estimation method executed by the point cloud movement estimation device.
  • 11 is a flowchart showing a point cloud movement estimation method executed by the point cloud movement estimation device.
  • Fig. 1 is a diagram showing the overall configuration of a communication system according to the present embodiment.
  • the communication system 10 of this embodiment is constructed by a point cloud movement estimation device 30 and a communication terminal 50.
  • the communication terminal 50 is managed and used by a user.
  • the user refers to the output results of the point cloud movement estimation device 30 and determines the subsequent action to be taken.
  • the point cloud movement estimation device 30 and the communication terminal 50 can communicate via a communication network 100 such as the Internet.
  • the connection form of the communication network 100 may be either wireless or wired.
  • the point cloud movement estimation device 30 is composed of one or more computers. When the point cloud movement estimation device 30 is composed of multiple computers, it may be referred to as a "point cloud movement estimation device” or a "point cloud movement estimation system.”
  • the point cloud movement estimation device 30 is a device that estimates the movement of an object that is composed of a three-dimensional point cloud and that accompanies changes.
  • the communication terminal 50 is a computer, and FIG. 1 shows a notebook computer as an example.
  • a user operates the communication terminal 50.
  • the point cloud movement estimation device 30 may perform processing alone, without using the communication terminal 50.
  • FIG. 2 is a diagram showing the electrical hardware configuration of the point cloud movement estimating device.
  • the point cloud movement estimation device 30 is a computer equipped with a processor such as a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, a RAM (Random Access Memory) 303, an SSD (Solid State Drive) 304, an external device connection I/F (Interface) 305, a network I/F 306, a media I/F 309, and a bus line 310.
  • a processor such as a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, a RAM (Random Access Memory) 303, an SSD (Solid State Drive) 304, an external device connection I/F (Interface) 305, a network I/F 306, a media I/F 309, and a bus line 310.
  • a processor such as a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 302, a RAM (Random Access Memory) 303, an SSD (Solid State Drive) 304, an external device connection I/
  • CPU 301 controls the operation of the entire point cloud movement estimation device 30.
  • ROM 302 stores programs used to drive CPU 301, such as IPL (Initial Program Loader).
  • RAM 303 is used as a work area for CPU 301.
  • the SSD 304 reads and writes various data according to the control of the CPU 301. Note that a HDD (Hard Disk Drive) may be used instead of the SSD 304.
  • HDD Hard Disk Drive
  • the external device connection I/F 305 is an interface for connecting various external devices.
  • the external devices include a display, a speaker, a keyboard, a mouse, a USB (Universal Serial Bus) memory, and a printer.
  • USB Universal Serial Bus
  • the network I/F 306 is an interface for data communication via the communication network 100.
  • the media I/F 309 controls the reading and writing (storing) of data to a recording medium 309m such as a flash memory.
  • Recording media 309m includes DVDs (Digital Versatile Discs) and Blu-ray Discs (registered trademarks).
  • the bus line 310 is an address bus, a data bus, etc., for electrically connecting each component such as the CPU 301 shown in FIG. 2.
  • Fig. 3 is a diagram showing the electrical hardware configuration of the communication terminal.
  • the communication terminal 50 is a computer and includes a CPU 501, a ROM 502, a RAM 503, an SSD 504, an external device connection I/F (Interface) 505, a network I/F 506, a display 507, an input device 508, a media I/F 509, and a bus line 510.
  • CPU 501 controls the operation of the entire communication terminal 50.
  • ROM 502 stores programs used to drive CPU 501, such as IPL.
  • RAM 503 is used as a work area for CPU 501.
  • the SSD 504 reads and writes various data under the control of the CPU 501. Note that a HDD (Hard Disk Drive) may be used instead of the SSD 504.
  • HDD Hard Disk Drive
  • the external device connection I/F 505 is an interface for connecting various external devices.
  • the external devices include a display, a speaker, a keyboard, a mouse, a USB memory, and a printer.
  • the network I/F 506 is an interface for data communication via the communication network 100.
  • the display 507 is a type of display means such as a liquid crystal or organic EL (Electro Luminescence) that displays various images.
  • a liquid crystal or organic EL Electro Luminescence
  • the input device 508 is a keyboard, pointing device, etc., and is a type of input means for selecting and executing various instructions, selecting a processing target, moving the cursor, etc.
  • the pointing device function may be turned off.
  • the media I/F 509 controls the reading and writing (storing) of data to a recording medium 509m such as a flash memory.
  • Recording media 509m includes DVDs and Blu-ray Discs (registered trademarks).
  • the bus line 510 is an address bus, a data bus, etc., for electrically connecting each component such as the CPU 501 shown in FIG. 3.
  • FIG. 4 is a functional configuration diagram of the point cloud movement estimating device according to this embodiment.
  • the point cloud movement estimation device 30 has an input/output unit 31, a point cloud separation unit 33, a rigid body part correlation calculation unit 35, a deformation part correlation calculation unit 37, and a scene flow calculation unit 39.
  • Each of these units is a function realized by an instruction from the CPU 301 in FIG. 2 based on a program.
  • the input/output unit 31 inputs the first point group P1 , the center of gravity distance parameter r1 , the second point group P2 , the predicted movement point group QO , the specific number parameter k of neighboring points, and the top number parameter M of correlation values from the communication terminal 50.
  • the input/output unit 31 also outputs the estimation result. Examples of the output include displaying on a display connected to the point cloud movement estimation device 30, printing on a printer or the like connected to the point cloud movement estimation device 30, or transmitting to the communication terminal 50 via the communication network 100.
  • the center-of-gravity distance parameter r1 is a value indicating the distance from the center of gravity o1 of the target object O displayed in the first frame.
  • the center-of-gravity distance parameter r1 is set to a desired value by the user on the communication terminal 50.
  • the predicted movement point group Q o , the parameter k for the number of neighboring points, and the parameter M for the number of correlation values to be adopted that are the top will be described later.
  • the point cloud separation unit 33 separates the point cloud representing the human (first point cloud P 1 ) into a point cloud representing a rigid part O r such as the human torso (center of gravity vicinity point cloud P 1_O described below) and a point cloud representing a deformed part O d such as the human arm (center of gravity distant point cloud P 1_v described below), and performs processing to establish correspondence between each of them.
  • the rigid part O r is a part of the target object O that does not deform or is difficult to deform.
  • the deformed part O d is a part of the target object O that is easy to deform.
  • the deformed part can also be called a "non-rigid part".
  • the rigid part O r is assumed to be a part indicated by a point that is closer than a predetermined distance (or equal to or less than the predetermined distance) to the center of gravity o 1 of the target object O.
  • the deformable part O d is assumed to be a part indicated by a point that is farther than a predetermined distance (or more than the predetermined distance) from the center of gravity o 1 of the target object O.
  • the point group separation unit 33 also derives points included within a sphere of radius r1 centered on the center of gravity o1 , that is, all points (center-nearby point group P1_O ) included within a distance r1 from the center of gravity o1 of the first point group P1 in the first point group P1 .
  • the point group separation unit 33 derives points whose coordinates are not included within a sphere of radius r1 centered on the center of gravity o1 of the first point group P1, that is, all points (center-far point group P1_v ) included within a distance r1 from the center of gravity o1 of the first point group P1 in the first point group P1.
  • the rigid part correlation calculation unit 35 calculates a correlation value Cp_o between the second point group P2 and the predicted movement point group Qo in the rigid part Os of the target object O, based on the center of gravity vicinity point group P1_O acquired from the point group separation unit 33 and four pieces of data acquired from the input/output unit 31 (the second point group P2 , the predicted movement point group Qo , a specific number parameter k of neighboring points, and a top adopted number parameter M of correlation values), and calculates the number of selections V.
  • the parameter k for the number of identified neighboring points is a parameter that indicates the number of points in the predicted movement point group Qo corresponding to an arbitrary point in the second point group P2 and the points surrounding this point that are identified as “nearby points” in this embodiment using KNN (K-Nearest Neighbor) or the like.
  • the parameter M of the top number of correlation values to be adopted is a parameter indicating the top number of correlation values to be adopted in calculating the correlation value C p_o and the correlation value C p_v , which will be described later.
  • the rigid body part correlation calculation unit 35 identifies the top k neighboring points N k_o in the movement predicted point group Q o relative to the second point group P 2 by KNN or the like, and records the coordinates of the identified neighboring points N k_o .
  • FIG. 5 is a conceptual diagram showing the relationship between the first point group, the second point group, and the movement predicted point group. In FIG. 5, in order to simplify the explanation, a case where an object is composed of nine points is shown.
  • the point in the predicted movement point group QO corresponding to any point (e.g., point 6) in the second point group P2 is point 2.
  • the point in the predicted movement point group QO corresponding to any point (e.g., point 9) in the second point group P2 is point 6.
  • points 2, 5, 6, and 9 are selected as the predicted movement points.
  • C M is the top M correlation values in the group of points P 1_o near the center of gravity
  • concat concatenation
  • MLP Multilayer Perceptron
  • the deformation part correlation calculation unit 37 calculates a correlation value Cp_v between the second point group P2 and the already derived movement predicted distant point group QV in the deformed part Od of the target object O, based on the center of gravity distant point group P1_V acquired from the point group separation unit 33, and four pieces of data acquired from the input/output unit 31 (the second point group P2 , the movement predicted point group Qo, the specific number parameter k of nearby points, and the top number parameter M of correlation values to be adopted), and further based on the specific number V acquired from the rigid body part correlation calculation unit 35 .
  • the deformation part correlation calculation unit 37 calculates a correlation value Cp_v between the second point group P2 and the already derived movement predicted far point group QV in the deformation part Od of the target object O, based on the center-of-gravity far point group P1_V , the second point group P2 , the movement predicted far point group Qv , the specified number parameter k of neighboring points, the adopted top number parameter M of correlation values, and further the specified number V.
  • the deformed portion correlation calculation unit 37 derives the correlation value Cp for the entire target object O by adding (listing) the correlation value Cp_o for the rigid portion Or and the correlation value Cp_v for the deformed portion Od.
  • the deformation partial correlation calculation unit 37 uses KNN to identify the top k neighboring points Nk_v in the movement predicted distant point group Qv (qi ⁇ Qv ) for the second point group P2 , and records the coordinates of the identified neighboring points Nk_v .
  • a method for identifying the neighboring points Nk_v will be described. This method is the same as the method shown in FIG. 5, so the description will be omitted.
  • the deformed portion correlation calculation unit 37 uses the specific number V calculated by the rigid portion correlation calculation unit 35, and performs inverse weighting in the calculation of the correlation value Cp_v , thereby reducing the influence of erroneous correspondence between the points of the rigid portion Or and the deformed portion Od .
  • the inverse of the specific number V is the specific number calculated by the rigid portion correlation calculation unit 35, and performs inverse weighting in the calculation of the correlation value Cp_v , thereby reducing the influence of erroneous correspondence between the points of the rigid portion Or and the deformed portion Od .
  • the rigid body portion correlation calculation unit 35 calculates the correlation value C p_o
  • the correlation value C p_v is calculated by (Equation 2) in the same manner as in the calculation in (2).
  • the deformed part correlation calculation unit 37 uses (Equation 3) to list the correlation value Cp_o related to the rigid part Or and the correlation value Cp_v related to the deformed part Od , thereby deriving the correlation value Cp related to the entire target object O.
  • the scene flow calculation unit calculates the scene flow shown in Non-Patent Document 1 using the correlation value Cp for the entire target object O finally calculated by the deformation partial correlation calculation unit, thereby calculating an estimated result of the point cloud movement.
  • Fig. 6 and Fig. 7 are diagrams showing the process executed by the point cloud movement estimating device.
  • the input/output unit 31 inputs from a communication terminal 50 or the like a first point group P1 indicating a target object O displayed in a first frame of video data, a center of gravity distance parameter F1 , a second point group P2 indicating a target object O displayed in a second frame of the same video data as above, a predicted movement point group QO , a specific number parameter k of nearby points, and a top number parameter M of correlation values to be adopted.
  • the point cloud separation unit 33 calculates the position of the center of gravity o1 of the target object O based on the first point cloud P1 .
  • the point cloud separation unit 33 derives a center-of-gravity neighboring point cloud P1_o and a center-of-gravity distant point cloud P1_v in the first point cloud P1 .
  • the rigid part correlation calculation unit 35 calculates the correlation value Cp_o between the second point group P2 and the predicted movement point group Qo in the rigid part Or of the target object O based on the center of gravity vicinity point group P1_o acquired from the point group separation unit 33 and four pieces of data acquired from the input/output unit 31 (the second point group P2 , the predicted movement point group Qo , the specific number parameter k of nearby points, and the top number parameter M of correlation values), and secondarily calculates the specific number V during the calculation process.
  • the deformation partial correlation calculation unit 37 derives the movement predicted far point group QV , which is predicted to move from the center-of-gravity far point group P1_V , from the movement predicted point group QO .
  • the deformed part correlation calculation unit 37 calculates a correlation value Cp_v between the second point group P2 and the predicted movement distant point group QV in the deformed part Od of the target object O, based on the center of gravity distant point group P1_v acquired from the point group separation unit 33, and the four pieces of data acquired from the input/output unit 31 (the second point group P2 , the predicted movement point group QO , the specific number parameter k of nearby points, and the top adopted number parameter M of correlation values), as well as the specific number V acquired from the rigid part correlation calculation unit 35.
  • the deformed portion correlation calculation unit 37 derives the correlation value Cp for the entire target object O by listing the correlation value Cp_o for the rigid portion Or and the correlation value Cp_v for the deformed portion Od.
  • the scene flow calculation unit 39 calculates an estimation result of the point cloud movement based on the correlation value Cp .
  • the present invention is not limited to the above-described embodiment, and may have the following configurations or processes (operations).
  • the point cloud movement estimation device 30 can be realized by a computer and a program, but this program can also be recorded on a (non-temporary) recording medium or provided via the communication network 100.
  • a notebook computer is shown as an example of a communication terminal 50, but this is not limited thereto.
  • the communication terminal 50 may be a desktop computer, a tablet terminal, a smartphone, a smartwatch, a car navigation device, a refrigerator, a microwave oven, etc.
  • Each CPU 301, 501 may be multiple, not just single.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、映像に映し出される３次元点群で構成される物体の変化を伴う移動を推定する場合に、部分的に変形する場合であっても、適切に推定することを目的とする。　そのため、映像に映し出される３次元点群で構成される物体の移動を推定する点群移動推定装置は、映像の第１のフレームの物体を構成する第１の点群において物体を剛体部分及び変形部分に分離し（３３）、第１のフレームの次の第２のフレームに映し出される物体を構成する第２の点群、及び、第２のフレームにおいて第１の点群から移動すると予想された移動予想点群に基づいて、剛体部分において第２の点群と移動予想点群との剛体部分に係る相関値を算出し（３５）、第２の点群及び移動予想点群に基づいて、変形部分において第２の点群と移動予想点群との変形部分に係る相関値を算出すると共に、変形部分に係る相関値及び剛体部分に係る相関値を含めた物体に係る相関値を算出する（３７）。

Description

点群移動推定装置、点群移動推定方法、及びプログラム
　本発明は、３次元点群で構成される物体の変化を伴う移動を推定する技術に関するものである。
　自動車などに搭載されたLiDAR (Light Detection and Ranging)によって計測された３次元点群を用いて３次元の地図を作成するにあたって、点群レジストレーション後において計測時に周辺に映り込んだ歩行者や自動車などの移動する物体(動的物体)がノイズとして残ってしまうという問題がある。
　よって、点群レジストレーション後の点群から動的物体に属する点群を取り除き、移動しない静的物体に属する点群から構成される高品質な3次元地図を作成するためには、３次元点が属する物体が移動する三次元ベクトルを表したシーンフローf=(f1,f2,f3)∈Fを推定し、そのシーンフローに基づいて三次元点が動的であるか静的であるかを判定する必要がある。
　点群情報のみからシーンフローを推定する技術として、計測された連続する映像の２フレームの点群の対応関係をKNN(K-Nearest Neighbor)による局所点群とボクセル単位による局所点群をあわせて点群単位での相関を計算することで、相関値が高い方向にシーンフローを推定する技術が提案されている（非特許文献１参照）。
　この従来技術は、シーンフローを算出する２フレーム間では、対象の物体は車などの形が変形しない剛体であることが前提となっている。２フレーム間の点において類似性の高いペアとなる点はシーンフロー推定に大きく寄与するとして、KNNを用いて位置関係が近い点に絞ることで効率的に特徴量抽出を可能としている。
Wei, Yi, et al. "PV-RAFT: point-voxel correlation fields for scene flow estimation of point clouds." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021.
　しかし、部分的に変形する物体、例えば歩行者は胴体以外の腕や足などは、映像のフレームの前後では変形するため、変形した点についてフレーム間の対応関係を取ろうとしても、空間的距離が離れてしまう。よって、KNNによる近傍点の探索が不適切な点を参照してしまい、非特許文献１の技術を用いた場合に適切なシーンフローが算出できないという課題がある。
　本発明は、上述の点に鑑みてなされたものであって、映像に映し出される物体が部分的に変形する場合であっても、適切に推定することを目的とする。
　上記課題を解決するため、請求項１に係る発明は、映像に映し出される３次元点群で構成される物体の移動を推定する点群移動推定装置であって、前記映像における第１のフレームに映し出される前記物体を構成する第１の点群において前記物体を剛体部分及び変形部分に分離する点群分離部と、前記第１のフレームの時間的に次のフレームである第２のフレームに映し出される前記物体を構成する第２の点群、及び、前記第２のフレームにおいて前記第１の点群から移動すると予想された移動予想点群に基づいて、前記剛体部分において前記第２の点群と前記移動予想点群との前記剛体部分に係る相関値を算出する剛体部分相関算出部と、前記第２の点群及び前記移動予想点群に基づいて、前記変形部分において前記第２の点群と前記移動予想点群との前記変形部分に係る相関値を算出すると共に、前記変形部分に係る相関値及び前記剛体部分に係る相関値を含めた前記物体に係る相関値を算出する変形部分相関算出部と、を有する点群移動推定装置である。
　以上説明したように本発明によれば、映像に映し出される物体が部分的に変形する場合であっても、適切に推定することができるという効果を奏する。
本実施形態に係る通信システムの全体構成図である。 本実施形態に係る点群移動推定装置の電気的なハードウェア構成図である。 本実施形態に係る通信端末の電気的なハードウェア構成図である。 本実施形態に係る点群移動推定装置の機能構成図である。 第１の点群、第２の点群、及び移動予想点群の関係を示した概念図である。 点群移動推定装置が実行する点群移動推定方法を示したフローチャートである。 点群移動推定装置が実行する点群移動推定方法を示したフローチャートである。
　以下、図面に基づいて本発明の実施形態を説明する。
　〔実施形態のシステム構成〕
　まず、図１を用いて、本実施形態の通信システムの全体構成について説明する。図１は、本実施形態に係る通信システムの全体構成図である。
　図１に示されているように、本実施形態の通信システム１０は、点群移動推定装置３０、及び通信端末５０によって構築されている。通信端末５０は、ユーザによって管理及び使用される。ユーザは、点群移動推定装置３０の出力結果を参照して、その後の対応を判断する者である。
　また、点群移動推定装置３０と通信端末５０は、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。
　点群移動推定装置３０は、単数又は複数のコンピュータによって構成されている。点群移動推定装置３０が複数のコンピュータによって構成されている場合には、「点群移動推定装置」と示しても良いし、「点群移動推定システム」と示しても良い。点群移動推定装置３０は、３次元点群で構成される物体の変化を伴う移動を推定する装置である。
　通信端末５０は、コンピュータであり、図１では、一例としてノート型パソコンが示されている。図１では、ユーザが、通信端末５０を操作する。なお、通信端末５０を用いずに、点群移動推定装置３０単独で処理をしてもよい。
　〔ハードウェア構成〕
　＜点群移動推定装置のハードウェア構成＞
　次に、図２を用いて、点群移動推定装置３０の電気的なハードウェア構成を説明する。図２は、点群移動推定装置の電気的なハードウェア構成図である。
　点群移動推定装置３０は、コンピュータとして、図２に示されているように、プロセッサとしてのＣＰＵ(Central Processing Unit)３０１、ＲＯＭ(Read Only Memory)３０２、ＲＡＭ(Random Access Memory)３０３、ＳＳＤ(Solid State Drive)３０４、外部機器接続Ｉ／Ｆ(Interface)３０５、ネットワークＩ／Ｆ３０６、メディアＩ／Ｆ３０９、及びバスライン３１０を備えている。
　これらのうち、ＣＰＵ３０１は、点群移動推定装置３０全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。
　ＳＳＤ３０４は、ＣＰＵ３０１の制御に従って各種データの読み出し又は書き込みを行う。なお、ＳＳＤ３０４の代わりに、ＨＤＤ(Hard Disk Drive)を用いても良い。
　外部機器接続Ｉ／Ｆ３０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、ＵＳＢ(Universal Serial Bus)メモリ、及びプリンタ等である。
　ネットワークＩ／Ｆ３０６は、通信ネットワーク１００を介してデータ通信をするためのインターフェースである。
　メディアＩ／Ｆ３０９は、フラッシュメモリ等の記録メディア３０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア３０９ｍには、ＤＶＤ(Digital Versatile Disc)やＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等も含まれる。
　バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
　＜通信端末のハードウェア構成＞
　次に、図３を用いて、通信端末５０の電気的なハードウェア構成を説明する。図３は、通信端末の電気的なハードウェア構成図である。
　通信端末５０は、コンピュータとして、図３に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＳＳＤ５０４、外部機器接続Ｉ／Ｆ(Interface)５０５、ネットワークＩ／Ｆ５０６、ディスプレイ５０７、入力デバイス５０８、メディアＩ／Ｆ５０９、及びバスライン５１０を備えている。
　これらのうち、ＣＰＵ５０１は、通信端末５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。
　ＳＳＤ５０４は、ＣＰＵ５０１の制御に従って各種データの読み出し又は書き込みを行う。なお、ＳＳＤ５０４の代わりに、ＨＤＤ(Hard Disk Drive)を用いてもよい。
　外部機器接続Ｉ／Ｆ５０５は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ、スピーカ、キーボード、マウス、ＵＳＢメモリ、及びプリンタ等である。
　ネットワークＩ／Ｆ５０６は、通信ネットワーク１００を介してデータ通信をするためのインターフェースである。
　ディスプレイ５０７は、各種画像を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。
　入力デバイス５０８は、キーボード、ポインティングデバイス等であり、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。なお、ユーザがキーボードを使う場合は、ポインティングデバイスの機能をＯＦＦにしてもよい。
　メディアＩ／Ｆ５０９は、フラッシュメモリ等の記録メディア５０９ｍに対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア５０９ｍには、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）等も含まれる。
　バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
　〔点群移動推定装置の機能構成〕
　本実施形態に係る点群移動推定装置３０の機能構成について説明する。なお、図４は、本実施形態に係る点群移動推定装置の機能構成図である。
　図４に示すように、点群移動推定装置３０は、入出力部３１、点群分離部３３、剛体部分相関算出部３５、変形部分相関算出部３７、及びシーンフロー算出部３９を有している。これら各部は、プログラムに基づき図２のＣＰＵ３０１による命令によって実現される機能である。
　入出力部３１は、通信端末５０から、第１の点群P1、重心距離パラメータr1、第２の点群P2、移動予想点群QO、近傍点の特定数パラメータk、及び相関値の採用上位数パラメータMを入力する。また、入出力部３１は、推定結果を出力する。出力の例としては、点群移動推定装置３０に接続されたディスプレイへの表示、点群移動推定装置３０に接続されたプリンタ等での印刷、又は、通信ネットワーク１００を介して通信端末５０への送信等が挙げられる。
　ここで、第１の点群P1は、映像の任意の第１のフレームで映し出される対象物体Oを示す点群（p1=(x1,y1,z1)∈P1）である。
　重心距離パラメータr1は、第１のフレームで映し出された対象物体Oの重心o1からの距離を示す値である。重心距離パラメータr1は、通信端末５０でユーザによって所望の値に設定される。
　第２の点群P2は、第１のフレームの時間的に次のフレームである第２のフレームで映し出される対象物体Oを示す点群（p2=(x2,y2,z2)∈P2）である。
　移動予想点群Qo、近傍点の特定数パラメータk、及び相関値の採用上位数パラメータMについては後ほど説明する。
　点群分離部３３は、対象物体Oが人間の場合、人間を示す点群（第１の点群P1）を、人間の胴体等のような剛体部分Orを示す点群（下記の重心近傍点群P1_O）と、人間の腕等のような変形部分Odを示す点群（下記の重心遠方点群P1_v）とに分離し、それぞれで対応関係を取る処理を行う。剛体部分Orは、対象物体Oの変形しない部分又は変形しづらい部分である。変形部分Odは、対象物体Oの変形しやすい部分である。なお、変形部分は、「非剛体部分」ということもできる。
　ここで、剛体部分Orは、対象物体Oの重心o1から所定距離未満（又は所定距離以下）の近い点で示される部分と仮定する。また、変形部分Odは、対象物体Oの重心o1から所定距離以上（又は所定距離超）の遠い点で示される部分と仮定する。
　より詳細に説明すると、点群分離部３３は、第１の点群P1に含まれる全ての点に基づいて対象物体Oの重心o1=(xo,yo,zo)の位置を算出する。また、点群分離部３３は、重心o1を中心とする半径r1の球内に含まれている点、即ち、第１の点群P1のうち第１の点群P1の重心o1から距離r1内に含まれる全ての点（重心近傍点群P1_O）を導出する。更に、点群分離部３３は、第１の点群P1の重心o1を中心とする半径r1の球内に座標が含まれない点、即ち、第１の点群P1のうち第１の点群P1の重心o1から距離r1に含まれない全ての点（重心遠方点群P1_vを）を導出する。
　剛体部分相関算出部３５は、点群分離部３３から取得した重心近傍点群P1_O、並びに、入出力部３１から取得した４つのデータ（第２の点群P2、移動予想点群Qo、近傍点の特定数パラメータk、及び相関値の採用上位数パラメータM）に基づき、対象物体Oの剛体部分Osにおいて、第２の点群P2と移動予想点群Qoとの相関値Cp_oを算出すると共に、選択回数Vを算出する。
　ここで、移動予想点群Qoは、第２のフレームにおいて、第１のフレームの第１の点群P1から移動すると予想された点群（qo=(x1+f1,y1+f2,z1+f3)∈Qo）である。
　近傍点の特定数パラメータkは、KNN(K-Nearest Neighbor)等により、第２の点群P2における任意の点に対応する移動予想点群Qo内の点及びこの点の周辺の点のうち、本実施形態における「近傍点」として特定する数を示すパラメータである。
　相関値の採用上位数パラメータMは、後述の相関値Cp_o及び相関値Cp_vの算出に採用する相関値が高い上位数を示すパラメータである。
　より詳細に説明すると、剛体部分相関算出部３５は、KNN等によって第２の点群P2に対する移動予想点群Qo内の上位k個の近傍点Nk_oを特定し、この特定した近傍点Nk_oの座標を記録しておく。ここで、図５を用いて、近傍点の特定方法について説明する。図５は、第１の点群、第２の点群、及び移動予想点群の関係を示した概念図である。図５では、説明を簡略化するため、物体が９個の点で構成された場合が示されている。
　例えば、図５に示すように、第１のフレームF1で映し出される第１の点群P1が、対象物体Oの移動等により第２のフレームF2では第２の点群P2のように映し出される場合、第２の点群P2の任意の点（例えば点６）に対応する移動予想点群QO内の点は点２になっている。例えば、k=1の場合は、第２の点群P2内の任意の点６の移動予想点として点２だけが選択され、k=4の場合は移動予想点として点１，２，３，６が選択される。一方、第２の点群P2の任意の点（例えば点９）に対応する移動予想点群QO内の点は点６になっている。例えば、k=1の場合は、第２の点群P2内の任意の点９の移動予想点として点６だけが選択され、k=4の場合は移動予想点として点２，５，６，９が選択される。
　なお、移動予想点群Qo内の点によっては、図５における点２，６のように、複数回に渡って近傍点として特定される場合がある。そのため、剛体部分相関算出部３５は、移動予想点群Qo内の点毎に近傍点として特定した回数を計数（カウント）し、各点が近傍点として特定された特定回数V（V=(v1,v2,…,vn)）を算出する。例えば、移動予想点群Qo内の第１の点（例えば点１）が近傍点として特定された回数がv1、移動予想点群Qo内の第２の点（例えば点２）が近傍点として特定された回数がv2である。
　これにより、第２の点群P2と移動予想点群Qoとの相関値Cp_oは（式１）のように表される。
Figure JPOXMLDOC01-appb-M000001
 　ここで、CMは重心近傍点群P1_oにおいて上位M個の相関値、concat(concatenation)は行列の結合演算、MLP(Multilayer perceptron)は機械学習で特徴量の抽出に用いる多層パーセプトロンを示す。
　変形部分相関算出部３７は、点群分離部３３から取得した重心遠方点群P1_V、並びに、入出力部３１から取得した４つのデータ（第２の点群P2、移動予想点群Qo、近傍点の特定数パラメータk、及び相関値の採用上位数パラメータM）、更に、剛体部分相関算出部３５から取得した特定回数Vに基づき、対象物体Ｏの変形部分Odにおいて、第２の点群P2と既に導出してある移動予想遠方点群QVとの相関値Cp_vを算出する。
　この場合、変形部分相関算出部３７は、まず、入出力部３１から取得した移動予想点群QOをそのまま使わずに、移動予想点群QOのうち、重心遠方点群P1_Vから移動すると予想された点群である移動予想遠方点群QVを導出する。そして、変形部分相関算出部３７は、重心遠方点群P1_V、並びに、第２の点群P2、移動予想遠方点群Qv、近傍点の特定数パラメータk、及び相関値の採用上位数パラメータM、更に、特定回数Vに基づき、対象物体Ｏの変形部分Odにおいて、第２の点群P2と既に導出してある移動予想遠方点群QVとの相関値Cp_vを算出する。
　最後に、変形部分相関算出部３７は、剛体部分Orに係る相関値Cp_oと変形部分Odに係る相関値Cp_vとを加える（羅列する）ことで、対象物体O全体に係る相関値Cpを導出する。
　より詳細に説明すると、変形部分相関算出部３７は、KNNによって第２の点群P2に対する移動予想遠方点群QV（qi∈Qv）内の上位k個の近傍点Nk_vを特定し、この特定した近傍点Nk_vの座標を記録しておく。近傍点Nk_vの特定方法について説明する。図５で示した方法と同様の方法であるため、説明を省略する。
　更に、この際に、変形部分相関算出部３７は、対象物体Oの重心o1から遠い変形部分Odについては、剛体部分相関算出部３５で算出された特定回数Vを用い、相関値Cp_vの計算において逆の重み付けをすることによって、剛体部分Orと変形部分Odの点同士による誤った対応付けへの影響を軽減する。ここでは、特定回数Vの逆数
Figure JPOXMLDOC01-appb-M000002
 を用いて
Figure JPOXMLDOC01-appb-M000003
 とする。
　これにより、剛体部分相関算出部３５が（式１）を用いて相関値Cp_o
での算出と同じく、相関値Cp_vを（式２）により算出する。
Figure JPOXMLDOC01-appb-M000004
 　最後に、変形部分相関算出部３７は、（式３）を用いて、剛体部分Orに係る相関値Cp_oと変形部分Odに係る相関値Cp_vとを羅列することで、対象物体O全体に係る相関値Cpを導出する。
Figure JPOXMLDOC01-appb-M000005
 　シーンフロー算出部は、変形部分相関算出部によって最終的に算出された対象物体O全体に係る相関値Cpを用いて、非特許文献１に示されるシーンフローを算出することで、点群移動の推定結果を算出する。
　〔点群移動推定装置の処理又は動作〕
　続いて、図６及び図７を用いて、点群移動推定装置３０の処理又は動作について説明する。図６及び図７は、点群移動推定装置が実行する処理を示した図である。
　Ｓ１１：入出力部３１は、通信端末５０等から、映像データの第１のフレームで映し出された対象物体Oを示す第１の点群P1、重心距離パラメータF1、上記と同じ映像データの第２のフレームで映し出された対象物体Oを示す第２の点群P2、移動予想点群QO、近傍点の特定数パラメータk、及び相関値の採用上位数パラメータMを入力する。
　Ｓ１２：点群分離部３３は、第１の点群P1に基づき、対象物体Oの重心o1の位置を算出する。
　Ｓ１３：点群分離部３３は、第１の点群P1における重心近傍点群P1_o及び重心遠方点群P1_vを導出する。
　Ｓ１４：剛体部分相関算出部３５は、点群分離部３３から取得した重心近傍点群P1_o 、並びに、入出力部３１から取得した４つのデータ（第２の点群P2 、移動予想点群QO、近傍点の特定数パラメータk、及び相関値の採用上位数パラメータM）に基づき、対象物体Oの剛体部分Orにおいて第２の点群P2と移動予想点群Qoとの相関値Cp_oを算出すると共に、当該算出の過程で副次的に特定回数Vを算出する。
　Ｓ１５：変形部分相関算出部３７は、移動予想点群QOのうち、重心遠方点群P1_Vから移動すると予想された移動予想遠方点群QVを導出する。
　Ｓ１６：変形部分相関算出部３７は、点群分離部３３から取得した重心遠方点群P1_v 、並びに、入出力部３１から取得した４つのデータ（第２の点群P2 、移動予想点群QO、近傍点の特定数パラメータk、及び相関値の採用上位数パラメータM）に加え、剛体部分相関算出部３５から取得した特定回数Vに基づき、対象物体Ｏの変形部分Odにおいて第２の点群P2と移動予想遠方点群QVとの相関値Cp_vを算出する。
　Ｓ１７：変形部分相関算出部３７は、剛体部分Orに係る相関値Cp_oと変形部分Odに係る相関値Cp_vとを羅列することで、対象物体O全体に係る相関値Cpを導出する。
　Ｓ１８：シーンフロー算出部３９は、相関値Cpに基づいて、点群移動の推定結果を算出する。
　Ｓ１９：入出力部３１は、推定結果を出力する。
　以上により、点群移動推定装置の処理又は動作の説明が終了する。
　〔実施形態の効果〕
　以上説明したように本実施形態によれば、映像に映し出される物体が部分的に変形する場合であっても、適切なシーンフローを推定（算出）することができるという効果を奏する。
　〔補足〕
　本発明は上述の実施形態に限定されるものではなく、以下に示すような構成又は処理（動作）であってもよい。
　（１）点群移動推定装置３０はコンピュータとプログラムによっても実現できるが、このプログラムを（非一時的な）記録媒体に記録することも、通信ネットワーク１００を介して提供することも可能である。
　（２）上記実施形態では、通信端末５０の一例としてノート型パソコンが示されているが、これに限るものではなく、例えば、デスクトップパソコン、タブレット端末、スマートフォン、スマートウォッチ、カーナビゲーション装置、冷蔵庫、電子レンジ等であってもよい。
　（３）各ＣＰＵ３０１，５０１は、単一だけでなく、複数であってもよい。
１０　通信システム
３０　点群移動推定装置
３１　入出力部
３３　点群分離部
３５　剛体部分相関算出部
３７　変形部分相関算出部
３９　シーンフロー算出部

Claims (8)

  1. 　映像に映し出される３次元点群で構成される物体の移動を推定する点群移動推定装置であって、
    　前記映像における第１のフレームに映し出される前記物体を構成する第１の点群において前記物体を剛体部分及び変形部分に分離する点群分離部と、
    　前記第１のフレームの時間的に次のフレームである第２のフレームに映し出される前記物体を構成する第２の点群、及び、前記第２のフレームにおいて前記第１の点群から移動すると予想された移動予想点群に基づいて、前記剛体部分において前記第２の点群と前記移動予想点群との前記剛体部分に係る相関値を算出する剛体部分相関算出部と、
    　前記第２の点群及び前記移動予想点群に基づいて、前記変形部分において前記第２の点群と前記移動予想点群との前記変形部分に係る相関値を算出すると共に、前記変形部分に係る相関値及び前記剛体部分に係る相関値を含めた前記物体に係る相関値を算出する変形部分相関算出部と、
    　を有する点群移動推定装置。
  2. 　前記点群分離部は、前記第１の点群における重心の近傍の重心近傍点群及び前記重心の遠方の重心遠方点群を導出することで、前記剛体部分及び前記変形部分に分離する、請求項１に記載の点群移動推定装置。
  3. 　前記剛体部分相関算出部は、前記重心近傍点群、並びに、前記第２の点群、及び前記移動予想点群に基づいて、前記第２の点群と前記移動予想点群との前記剛体部分に係る相関値を算出し、
    　前記変形部分相関算出部は、前記重心遠方点群、並びに、前記第２の点群及び前記移動予想点群に基づいて、前記第２の点群と前記移動予想点群との前記変形部分に係る相関値を算出する、
    　請求項２に記載の点群移動推定装置。
  4. 　前記変形部分相関算出部は、前記移動予想点群のうち、前記重心遠方点群から移動すると予想された移動予想遠方点群を導出し、前記重心近傍点群、並びに、前記第２の点群、及び前記移動予想遠方点群に基づいて、前記剛体部分に係る相関値を算出する、請求項３に記載の点群移動推定装置。
  5. 　前記剛体部分相関算出部は、前記第２の点群内の任意の点毎に対応する前記移動予想点群内での点として特定した特定回数を算出し、
    　前記変形部分相関算出部は、前記特定回数の逆数を用いて、前記変形部分に係る相関値を算出する、
    　請求項３に記載の点群移動推定装置。
  6. 　請求項１乃至５のいずれか一項に記載の点群移動推定装置であって、
    　前記物体に係る相関値を用いてシーンフローを推定することで、前記３次元点群の移動を推定するシーンフロー推定部を有する点群移動推定装置。
  7. 　映像に映し出される３次元点群で構成される物体の移動を推定する点群移動推定装置が実行する点群移動推定方法であって、
    　前記映像における第１のフレームに映し出される前記物体を構成する第１の点群において前記物体を剛体部分及び変形部分に分離する点群分離処理と、
    　前記第１のフレームの時間的に次のフレームである第２のフレームに映し出される前記物体を構成する第２の点群、及び、前記第２のフレームにおいて前記第１の点群から移動すると予想された移動予想点群に基づいて、前記剛体部分において前記第２の点群と前記移動予想点群との前記剛体部分に係る相関値を算出する剛体部分相関算出処理と、
    　前記第２の点群及び前記移動予想点群に基づいて、前記変形部分において前記第２の点群と前記移動予想点群との前記変形部分に係る相関値を算出すると共に、前記変形部分に係る相関値及び前記剛体部分に係る相関値を含めた前記物体に係る相関値を算出する変形部分相関算出処理と、
    　を実行する点群移動推定方法。
  8. 　コンピュータに、請求項７に記載の方法を実行させるプログラム。
PCT/JP2022/040250 2022-10-27 2022-10-27 点群移動推定装置、点群移動推定方法、及びプログラム WO2024089855A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/040250 WO2024089855A1 (ja) 2022-10-27 2022-10-27 点群移動推定装置、点群移動推定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/040250 WO2024089855A1 (ja) 2022-10-27 2022-10-27 点群移動推定装置、点群移動推定方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024089855A1 true WO2024089855A1 (ja) 2024-05-02

Family

ID=90830402

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040250 WO2024089855A1 (ja) 2022-10-27 2022-10-27 点群移動推定装置、点群移動推定方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024089855A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265337A (ja) * 2003-03-04 2004-09-24 National Institute Of Advanced Industrial & Technology ランドマーク抽出装置およびランドマーク抽出方法
JP2008140290A (ja) * 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置
CN110992427A (zh) * 2019-12-19 2020-04-10 深圳市华汉伟业科技有限公司 一种形变物体的三维位姿估计方法及定位抓取系统
JP2021535787A (ja) * 2018-08-31 2021-12-23 ハートフェルト テクノロジーズ リミテッドHeartfelt Technologies Limited 身体部位における体液貯留を識別するためのシステムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265337A (ja) * 2003-03-04 2004-09-24 National Institute Of Advanced Industrial & Technology ランドマーク抽出装置およびランドマーク抽出方法
JP2008140290A (ja) * 2006-12-05 2008-06-19 Suzuki Motor Corp 頭部の位置・姿勢検出装置
JP2021535787A (ja) * 2018-08-31 2021-12-23 ハートフェルト テクノロジーズ リミテッドHeartfelt Technologies Limited 身体部位における体液貯留を識別するためのシステムおよび方法
CN110992427A (zh) * 2019-12-19 2020-04-10 深圳市华汉伟业科技有限公司 一种形变物体的三维位姿估计方法及定位抓取系统

Similar Documents

Publication Publication Date Title
CN108292362B (zh) 用于光标控制的手势识别
US11710243B2 (en) Method for predicting direction of movement of target object, vehicle control method, and device
US10769411B2 (en) Pose estimation and model retrieval for objects in images
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
WO2020151167A1 (zh) 目标跟踪方法、装置、计算机装置及可读存储介质
US10789717B2 (en) Apparatus and method of learning pose of moving object
JP2018509678A (ja) ターゲット取得の方法及び装置
JP4668360B2 (ja) 移動体検出方法及び移動体検出装置
US10318102B2 (en) 3D model generation from 2D images
US10430966B2 (en) Estimating multi-person poses using greedy part assignment
US11574414B2 (en) Edge-based three-dimensional tracking and registration method and apparatus for augmented reality, and storage medium
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
JP2019212148A (ja) 情報処理装置及び情報処理プログラム
WO2024089855A1 (ja) 点群移動推定装置、点群移動推定方法、及びプログラム
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
JP2013239011A (ja) 移動物体上動きベクトル検出装置、移動物体上動きベクトル検出方法、およびプログラム
US11202000B2 (en) Learning apparatus, image generation apparatus, learning method, image generation method, and program
CN113763468A (zh) 一种定位方法、装置、系统及存储介质
JP2020135446A (ja) 画像処理装置及び画像処理方法
JP7245370B2 (ja) フロー誘導適応学習を使用するビデオ・コンテンツ削除
Kushwaha et al. Dense flow-based video object segmentation in dynamic scenario
US20230162376A1 (en) Method and system for estimating motion of real-time image target between successive frames
US20240193791A1 (en) Techniques for accelerating optical flow computations
CN110800024B (zh) 用于估计手的当前姿势的方法和电子装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22963502

Country of ref document: EP

Kind code of ref document: A1