JP7431025B2 - エゴモーション情報推定装置及び方法 - Google Patents
エゴモーション情報推定装置及び方法 Download PDFInfo
- Publication number
- JP7431025B2 JP7431025B2 JP2019223018A JP2019223018A JP7431025B2 JP 7431025 B2 JP7431025 B2 JP 7431025B2 JP 2019223018 A JP2019223018 A JP 2019223018A JP 2019223018 A JP2019223018 A JP 2019223018A JP 7431025 B2 JP7431025 B2 JP 7431025B2
- Authority
- JP
- Japan
- Prior art keywords
- motion information
- term
- frame
- short
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 547
- 238000000034 method Methods 0.000 title claims description 71
- 230000007774 longterm Effects 0.000 claims description 154
- 238000012549 training Methods 0.000 claims description 52
- 238000012937 correction Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 9
- 229940050561 matrix product Drugs 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 239000000284 extract Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 230000004913 activation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
まず、上述した数式(1)は任意のエゴモーション情報のデータ形式を示す。例えば、R(3×3)は3×3次元の行列として、センサの3次元空間で3つの軸に対する回転変化量を示し、T(3×1)は3×1次元の行列として、平行移動変化量を示す。したがって、エゴモーション情報は、回転行列及び平行移動行列を含むエゴモーション行列(例えば、SE3フォーマットの行列)として表現される。ただし、以下では、説明及び算出の便宜のために、エゴモーション情報を行列として説明するものであり、他の形式のデータが使用されてもよい。
Claims (23)
- エゴモーション情報推定装置が実行するエゴモーション情報推定方法であって、
1つ以上のセンサから取得された連続するフレームのフレームイメージから、前記1つ以上のセンサの短期運動情報を推定するステップと、
前記フレームイメージから前記1つ以上のセンサの長期運動情報を推定するステップと、
前記短期運動情報及び前記長期運動情報からアテンション情報を決定するステップと、
前記長期運動情報及び前記アテンション情報に基づいて、前記連続するフレームのうち、現在フレームに対する最終長期運動情報を決定するステップと、
前記決定するステップで決定された最終長期運動情報に基づいて、前記現在フレームに対する最終短期運動情報を決定するステップと
を含むエゴモーション情報推定方法。 - 前記最終長期運動情報を決定するステップは、前記アテンション情報を用いて前記長期運動情報を補正するステップを含む、請求項1に記載のエゴモーション情報推定方法。
- 前記最終長期運動情報を決定するステップは、長期基準フレームから前記現在フレームまで前記1つ以上のセンサのエゴモーションの変化量を決定するステップを含み、
前記長期基準フレームは、前記現在フレームから予め決定されたフレーム個数以前のフレームとして決定される、請求項1に記載のエゴモーション情報推定方法。 - 前記アテンション情報を決定するステップは、前記短期運動情報に対応するキーデータ(K)及び前記長期運動情報に対応する(Q)からアテンション要素を導出し、前記短期運動情報から抽出されたアテンション加重値(V)及び前記アテンション要素の行列積に基づいて前記アテンション情報を決定するステップをさらに含む、請求項1-3のうち何れか一項に記載のエゴモーション情報推定方法。
- 前記最終短期運動情報を決定するステップは、前記連続するフレームのうち前記現在フレームに対して以前フレームの最終長期運動情報、長期基準フレームの最終短期運動情報、及び前記現在フレームの最終長期運動情報に基づいて、前記現在フレームに対する最終短期運動情報を決定するステップを含む、請求項4に記載のエゴモーション情報推定方法。
- 前記現在フレームに対して以前フレームは、前記連続するフレームのうち前記現在フレームに直接的に隣接する、請求項5に記載のエゴモーション情報推定方法。
- 前記短期運動情報を推定するステップは、
前記現在フレームの現在フレームイメージを受信する場合に応答して、前記現在フレームと短期基準フレームとの間の短期運動情報を、エゴモーションモデルを用いて推定するステップと、
前記現在フレームと前記短期基準フレームとの間の前記推定された短期運動情報に基づいて、前記1つ以上のセンサの前記短期運動情報を推定するステップと、
を含む、請求項1-6のうち何れか一項に記載のエゴモーション情報推定方法。 - 前記長期運動情報を推定するステップは、
前記現在フレームの現在フレームイメージを受信する場合に応答して、前記現在フレームと長期基準フレームとの間の長期運動情報を、エゴモーションモデルを用いて推定するステップと、
前記現在フレームと前記長期基準フレームとの間の前記推定された長期運動情報に基づいて前記1つ以上のセンサの前記長期運動情報を推定するステップと、
を含む、請求項1-7のうち何れか一項に記載のエゴモーション情報推定方法。 - 前記短期運動情報を推定するステップは、前記フレームイメージのうち連続するフレームイメージの対から短期エゴモーションモデルを用いて前記短期運動情報を推定するステップを含み、
前記長期運動情報を推定するステップは、前記フレームイメージのうち前記現在フレームの対象フレームイメージ及び基準フレームイメージから長期エゴモーションモデルを用いて前記長期運動情報を推定するステップを含み、
前記短期エゴモーションモデルは、少なくともそれぞれ相違にトレーニングされたパラメータを有することに対して、前記長期エゴモーションモデルと異なる構成を有する、請求項1-6のうち何れか一項に記載のエゴモーション情報推定方法。 - 前記アテンション情報を決定するステップは、前記短期運動情報及び前記長期運動情報から、アテンションモデルを用いて前記アテンション情報を抽出するステップを含む、請求項1に記載のエゴモーション情報推定方法。
- 前記アテンション情報を抽出するステップは、
前記短期運動情報及び前記長期運動情報からアテンション要素を抽出するステップと、
前記短期運動情報からアテンション加重値を抽出するステップと、
前記アテンション要素及び前記アテンション加重値に基づいて前記アテンション情報を生成するステップと、
を含む、請求項10に記載のエゴモーション情報推定方法。 - 最初フレームから現在フレームまで収集されたフレームイメージの個数が決定されたフレーム個数未満である場合に応答して、前記短期運動情報を最終短期運動情報として決定するステップを含む、請求項1-11のうち何れか一項に記載のエゴモーション情報推定方法。
- エゴモーションモデルを用いて、前記フレームイメージのうち現在フレーム以前の以前フレームイメージ及び前記現在フレームの現在フレームイメージから前記1つ以上のセンサの短期運動特徴を抽出するステップと、
イメージ変形モデルを用いて、前記以前フレームイメージを前記短期運動特徴に基づいて変形することによって、前記現在フレームの復元フレームイメージを生成するステップと、
前記エゴモーションモデルを用いて、前記現在フレームイメージ及び前記復元フレームイメージから補正情報を算出するステップと、
現在フレームに対する短期運動情報に前記補正情報を適用することによってイメージ基盤短期運動情報を生成するステップと、
をさらに含む、請求項1-12のうち何れか一項に記載のエゴモーション情報推定方法。 - 前記補正情報は、前記復元フレームイメージと前記現在フレームイメージとの間の微細姿勢誤差に対応する、請求項13に記載のエゴモーション情報推定方法。
- 前記最終長期運動情報から算出されたアテンション基盤短期運動情報及び前記イメージ基盤短期運動情報に基づいて最終短期運動情報を決定するステップを含む、請求項13に記載のエゴモーション情報推定方法。
- エゴモーションモデルを用いて、前記フレームイメージのうち現在フレーム以前の以前フレームイメージ及び前記現在フレームの現在フレームイメージから前記1つ以上のセンサの短期運動特徴を抽出するステップと、
前記以前フレームイメージから前記現在フレームの以前フレームの深度イメージを生成するステップと、
前記以前フレームに対する深度イメージを前記短期運動特徴を用いて変形することで前記現在フレームに対応する深度イメージを生成するステップと、
前記現在フレームに対応する深度イメージを復元フレームイメージに変換するステップと、
前記現在フレームイメージ及び前記復元フレームイメージから前記エゴモーションモデルを用いて補正情報を算出するステップと、
現在フレームに対する短期運動情報に前記補正情報を適用することによって深度基盤短期運動情報を生成するステップと、
をさらに含む、請求項1-12のうち何れか一項に記載のエゴモーション情報推定方法。 - 前記最終長期運動情報から算出されたアテンション基盤短期運動情報及び前記深度基盤短期運動情報に基づいて最終短期運動情報を決定するステップを含む、請求項16に記載のエゴモーション情報推定方法。
- 前記最終長期運動情報及び前記最終長期運動情報から算出された最終短期運動情報のうち少なくとも1つに基づいて、前記1つ以上のセンサが装着された装置の移動経路を追跡するステップと、
前記装置の追跡された移動経路を出力するステップと、
を含む、請求項1-17のうち何れか一項に記載のエゴモーション情報推定方法。 - トレーニングイメージから深度モデルを用いて前記現在フレームの以前フレームの臨時深度情報を生成するステップと、
前記トレーニングイメージからエゴモーションモデル及びアテンションモデルを用いて臨時長期運動情報を生成し、前記臨時長期運動情報から臨時短期運動情報を算出するステップと、
前記以前フレームの臨時深度情報及び前記臨時短期運動情報に基づいて、現在フレームのワーピングイメージを生成するステップと、
前記トレーニングイメージのうち現在フレームイメージ及び前記ワーピングイメージから算出された損失に基づいて、前記エゴモーションモデル、前記アテンションモデル、及び前記深度モデルのうちの1つ又は2以上の組合をトレーニングさせるステップと、
をさらに含む、請求項1-12のうち何れか一項に記載のエゴモーション情報推定方法。 - 前記ワーピングイメージを生成するステップは、
前記臨時深度情報から前記以前フレームに対応する3次元座標イメージを生成するステップと、
前記臨時長期運動情報から算出された前記臨時短期運動情報を用いて前記以前フレームに対応する3次元座標イメージを変換することによって、現在フレームに対応する3次元座標イメージを復元するステップと、
前記現在フレームに対応する3次元座標イメージを2次元に投影することによって、2次元にワーピングされた前記ワーピングイメージを生成するステップと、
を含む、請求項19に記載のエゴモーション情報推定方法。 - 請求項1ないし請求項20のうち何れか一項に記載の方法を実行するための命令語を含む1つ以上のコンピュータプログラムを格納したコンピュータで読み出し可能な記録媒体。
- 連続するフレームのフレームイメージを取得する1つ以上のセンサと、
前記1つ以上のセンサの短期運動情報を推定し、前記フレームイメージから前記1つ以上のセンサの長期運動情報を推定し、前記短期運動情報及び前記長期運動情報からアテンション情報を算出し、前記長期運動情報を前記アテンション情報に基づいて補正することによって現在フレームに対する最終長期運動情報を決定する1つ以上のプロセッサと、
を含み、前記プロセッサにより決定された最終長期運動情報に基づいて、前記現在フレームに対する最終短期運動情報を決定する、エゴモーション情報推定装置。 - 前記1つ以上のセンサは1つ以上のイメージセンサを含み、
前記1つ以上のプロセッサは、前記決定された最終長期運動情報に基づいて前記1つ以上のイメージセンサの走行経路を決定するようにさらに構成される、請求項22に記載のエゴモーション情報推定装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190038508A KR20200116728A (ko) | 2019-04-02 | 2019-04-02 | 자체 운동 정보 추정 장치 및 방법 |
KR10-2019-0038508 | 2019-04-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020170500A JP2020170500A (ja) | 2020-10-15 |
JP7431025B2 true JP7431025B2 (ja) | 2024-02-14 |
Family
ID=68296052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019223018A Active JP7431025B2 (ja) | 2019-04-02 | 2019-12-10 | エゴモーション情報推定装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11320832B2 (ja) |
EP (1) | EP3719747B1 (ja) |
JP (1) | JP7431025B2 (ja) |
KR (1) | KR20200116728A (ja) |
CN (1) | CN111767770A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11960294B2 (en) * | 2020-07-13 | 2024-04-16 | Naver Corporation | Self-supervised attention learning for depth and motion estimation |
US11399320B2 (en) * | 2020-08-03 | 2022-07-26 | Blue Ocean Robotics Aps | Methods of connecting to communications networks and switching network connectivity |
US11615544B2 (en) | 2020-09-15 | 2023-03-28 | Toyota Research Institute, Inc. | Systems and methods for end-to-end map building from a video sequence using neural camera models |
US11321862B2 (en) * | 2020-09-15 | 2022-05-03 | Toyota Research Institute, Inc. | Systems and methods for multi-camera modeling with neural camera networks |
US11494927B2 (en) | 2020-09-15 | 2022-11-08 | Toyota Research Institute, Inc. | Systems and methods for self-supervised depth estimation |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272461A (ja) | 2006-03-30 | 2007-10-18 | Toyota Central Res & Dev Lab Inc | 運動推定装置、方法及びプログラム |
WO2015186341A1 (ja) | 2014-06-03 | 2015-12-10 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム記憶媒体 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995035194A1 (fr) | 1994-06-22 | 1995-12-28 | Asahi Kasei Kogyo Kabushiki Kaisha | Produit en resine synthetique depoli moule par injection et son procede de moulage |
TWI425445B (zh) * | 2009-09-29 | 2014-02-01 | Nat Univ Tsing Hua | 用於判斷一移動平台之自我運動量的方法以及偵測系統 |
CN102271262B (zh) | 2010-06-04 | 2015-05-13 | 三星电子株式会社 | 用于3d显示的基于多线索的视频处理方法 |
US8395659B2 (en) * | 2010-08-26 | 2013-03-12 | Honda Motor Co., Ltd. | Moving obstacle detection using images |
US20140212001A1 (en) | 2013-01-27 | 2014-07-31 | Quantum Signal Llc | Visual odometry |
US9430847B2 (en) | 2014-06-12 | 2016-08-30 | Mitsubishi Electric Research Laboratories, Inc. | Method for stereo visual odometry using points, lines and planes |
US10163220B2 (en) * | 2015-08-27 | 2018-12-25 | Hrl Laboratories, Llc | Efficient hybrid method for ego-motion from videos captured using an aerial camera |
US9946264B2 (en) * | 2016-03-22 | 2018-04-17 | Sharp Laboratories Of America, Inc. | Autonomous navigation using visual odometry |
KR101803340B1 (ko) | 2016-08-25 | 2017-12-29 | 서울대학교산학협력단 | 영상 기반 주행거리 측정 시스템 및 방법 |
KR101851155B1 (ko) | 2016-10-12 | 2018-06-04 | 현대자동차주식회사 | 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법 |
KR101880678B1 (ko) | 2016-10-12 | 2018-07-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
KR102406507B1 (ko) | 2017-03-27 | 2022-06-10 | 현대자동차주식회사 | 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법 |
WO2018204120A1 (en) * | 2017-05-02 | 2018-11-08 | Hrl Laboratories, Llc | System and method for detecting moving obstacles based on sensory prediction from ego-motion |
-
2019
- 2019-04-02 KR KR1020190038508A patent/KR20200116728A/ko not_active Application Discontinuation
- 2019-08-22 US US16/547,859 patent/US11320832B2/en active Active
- 2019-10-18 EP EP19203977.4A patent/EP3719747B1/en active Active
- 2019-10-22 CN CN201911010931.9A patent/CN111767770A/zh active Pending
- 2019-12-10 JP JP2019223018A patent/JP7431025B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272461A (ja) | 2006-03-30 | 2007-10-18 | Toyota Central Res & Dev Lab Inc | 運動推定装置、方法及びプログラム |
WO2015186341A1 (ja) | 2014-06-03 | 2015-12-10 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム記憶媒体 |
Non-Patent Citations (3)
Title |
---|
Emilio Parisotto et al.,"Global Pose Estimation with an Attention-Based Recurrent Network",2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW),米国,IEEE,2018年06月18日,pp.350-359 |
友納 正裕,"エッジ点追跡に基づくステレオカメラを用いた三次元SLAM",日本ロボット学会誌,日本,社団法人日本ロボット学会,2009年09月15日,Vol.27, No.7,pp.57-65 |
日浦 慎作、外2名,"入力画像と生成画像の差の最小化に基づく実時間運動追跡",情報処理学会論文誌 コンピュータビジョンとイメージメディア,日本,社団法人情報処理学会,2009年04月15日,Vol.2, No.1,pp.14-31 |
Also Published As
Publication number | Publication date |
---|---|
US20200319652A1 (en) | 2020-10-08 |
JP2020170500A (ja) | 2020-10-15 |
US11320832B2 (en) | 2022-05-03 |
EP3719747B1 (en) | 2022-09-07 |
KR20200116728A (ko) | 2020-10-13 |
EP3719747A1 (en) | 2020-10-07 |
CN111767770A (zh) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7431025B2 (ja) | エゴモーション情報推定装置及び方法 | |
KR102442780B1 (ko) | 장치의 자세 추정 방법 및 그 장치 | |
JP6768156B2 (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
Coskun et al. | Long short-term memory kalman filters: Recurrent neural estimators for pose regularization | |
JP7339029B2 (ja) | モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法 | |
Aristidou et al. | Real-time marker prediction and CoR estimation in optical motion capture | |
KR102207195B1 (ko) | 하나 이상의 관성 센서들로부터 방위 정보를 정정하기 위한 장치 및 방법 | |
Hu et al. | A sliding-window visual-IMU odometer based on tri-focal tensor geometry | |
JP6261811B2 (ja) | 第1の座標系と第2の座標系との間の運動を求める方法 | |
JP2021518622A (ja) | 自己位置推定、マッピング、およびネットワークトレーニング | |
EP4307233A1 (en) | Data processing method and apparatus, and electronic device and computer-readable storage medium | |
Yang et al. | Reactive obstacle avoidance of monocular quadrotors with online adapted depth prediction network | |
JP7276607B2 (ja) | 群衆のダイナミックを予測する方法及びシステム | |
KR20180013109A (ko) | 분산 융합 필터 기반 자세 인식 장치 및 방법 | |
KR20210058686A (ko) | 동시적 위치 추정 및 맵 작성을 구현하는 장치 및 방법 | |
US20230067081A1 (en) | System and method for real-time creation and execution of a human Digital Twin | |
JP7138361B2 (ja) | 3次元仮想空間モデルを利用したユーザポーズ推定方法および装置 | |
US11188787B1 (en) | End-to-end room layout estimation | |
US9460368B2 (en) | Method of learning a parameter to estimate posture of an articulated object and method of estimating posture of an articulated object | |
Zhu et al. | Autonomous reinforcement control of visual underwater vehicles: Real-time experiments using computer vision | |
Baik et al. | Geometric particle swarm optimization for robust visual ego-motion estimation via particle filtering | |
US20220351399A1 (en) | Apparatus and method for generating depth map using monocular image | |
US11436868B2 (en) | System and method for automatic recognition of user motion | |
US20230181970A1 (en) | Method, device, and non-transitory computer-readable recording medium for estimating information regarding golf swing | |
US20230290101A1 (en) | Data processing method and apparatus, electronic device, and computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7431025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |