JP6819785B2 - 位置推定装置、位置推定方法及びプログラム - Google Patents
位置推定装置、位置推定方法及びプログラム Download PDFInfo
- Publication number
- JP6819785B2 JP6819785B2 JP2019532286A JP2019532286A JP6819785B2 JP 6819785 B2 JP6819785 B2 JP 6819785B2 JP 2019532286 A JP2019532286 A JP 2019532286A JP 2019532286 A JP2019532286 A JP 2019532286A JP 6819785 B2 JP6819785 B2 JP 6819785B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- group
- frames
- position estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 65
- 238000003384 imaging method Methods 0.000 claims description 193
- 238000012545 processing Methods 0.000 claims description 101
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 description 45
- 238000000605 extraction Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 23
- 230000033001 locomotion Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 18
- 238000013507 mapping Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 102000008115 Signaling Lymphocytic Activation Molecule Family Member 1 Human genes 0.000 description 2
- 108010074687 Signaling Lymphocytic Activation Molecule Family Member 1 Proteins 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Analysis (AREA)
- Exposure Control For Cameras (AREA)
Description
図1は、一実施形態に係る位置推定装置10の構成を示すブロック図である。位置推定装置10は、映像処理部110と、撮像制御部120とを少なくとも含む。映像処理部110及び撮像制御部120は、例えば、1以上のプロセッサと1以上のメモリとを用いて実現される。位置推定装置10は、撮像部100をさらに含んでもよい。ただし、撮像部100は、位置推定装置10と異なる装置に含まれてもよい。撮像部100は、映像処理部110及び撮像制御部120と有線又は無線で接続される。
図5は、別の実施形態に係る自律移動システム20の構成を示すブロック図である。自律移動システム20は、UAV、自律走行車、自律移動ロボット等の移動体に搭載されるシステムである。自律移動システム20は、撮像部200と、SLAM部210と、撮像制御部220と、移動制御部230とを含む。このうち、撮像部200、SLAM部210及び撮像制御部220は、第1実施形態の位置推定装置10の一例に相当する。
図10は、さらに別の実施形態に係る自律移動システム30の構成を示すブロック図である。自律移動システム30は、撮像部300と、SLAM部310と、撮像制御部320と、移動制御部330とを含む。SLAM部310は、より詳細には、特徴点抽出部311と、位置推定部312と、地図生成部313とを含む。
上述した第1〜第3実施形態は、例えば、以下のような変形を適用することができる。これらの変形例は、必要に応じて適宜組み合わせることも可能である。また、特定の実施形態を用いて記載された変形例は、矛盾を生じない範囲において、他の実施形態にも適用され得る。
本開示の一部又は全部は、以下の付記のようにも記載され得る。ただし、本発明は、必ずしもこの付記の態様に限定されない。
(付記1)
撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行する映像処理手段と、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定する撮像制御手段と
を備える位置推定装置。
(付記2)
前記撮像制御手段は、前記第1のフレームと前記第2のフレームとから同一の特徴点が複数抽出されるように前記露光条件を決定する
付記1に記載の位置推定装置。
(付記3)
前記映像処理手段は、前記複数の特徴点の位置及び特徴量を示す第1の情報と、当該複数の特徴点の明るさを示す第2の情報とを含むマップ情報に基づいて前記位置推定を実行し、
前記撮像制御手段は、前記映像関連情報と、前記第2の情報とに基づいて、前記第2のフレームにおける前記露光条件を決定する
付記1又は付記2に記載の位置推定装置。
(付記4)
前記撮像制御手段は、前記第2の情報により示される前記複数の特徴点のうちの少なくともいずれかの特徴点の明るさと、当該特徴点の撮像時の明るさとに基づいて、前記第2のフレームにおける前記露光条件を決定する
付記3に記載の位置推定装置。
(付記5)
前記映像処理手段は、前記映像におけるオプティカルフローに基づいて撮像範囲の移動方向を推定し、
前記撮像制御手段は、前記映像関連情報と、前記推定された移動方向にある画素の明るさとに基づいて、前記第2のフレームにおける前記露光条件を決定する
付記1から付記4までのいずれかに記載の位置推定装置。
(付記6)
前記映像処理手段は、前記位置推定により推定された前記撮像手段の位置を、前記第1のグループに属するフレームにおいて推定された位置と前記第2のグループに属するフレームにおいて推定された位置とを用いて補正する
付記1から付記5までのいずれかに記載の位置推定装置。
(付記7)
前記映像処理手段は、
前記第1のグループに属するフレームにおいて推定された位置と前記第2のグループに属するフレームにおいて推定された位置との信頼性に基づく重み付けに従って、前記撮像手段の位置を補正する
付記6に記載の位置推定装置。
(付記8)
前記映像におけるシーンの変化を示す履歴情報を記憶する記憶手段を備え、
前記撮像制御手段は、所定の条件を満たした場合に、前記第2のフレームにおける前記露光条件をリセットする
付記1から付記7までのいずれかに記載の位置推定装置。
(付記9)
撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行し、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定する
位置推定方法。
(付記10)
前記露光条件を、前記第1のフレームと前記第2のフレームとから同一の特徴点が複数抽出されるように決定する
付記9に記載の位置推定方法。
(付記11)
コンピュータに、
撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行する第1のステップと、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定する第2のステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体。
(付記12)
前記決定するステップは、前記第1のフレームと前記第2のフレームとから同一の特徴点が複数抽出されるように前記露光条件を決定する
付記11に記載のプログラム記録媒体。
100 撮像部
110 映像処理部
120 撮像制御部
20、30 自律移動システム
200、300 撮像部
210、310 SLAM部
211、311 特徴点抽出部
212、312 位置推定部
213、313 地図生成部
220、320 撮像制御部
321 記憶部
230、330 移動制御部
400 コンピュータ装置
Claims (18)
- 撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行する映像処理手段と、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定する撮像制御手段とを備え、
前記撮像制御手段は、前記第1のフレームと前記第2のフレームとから同一の特徴点が複数抽出されるように前記露光条件を決定する
位置推定装置。 - 撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行する映像処理手段と、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定する撮像制御手段とを備え、
前記映像処理手段は、前記複数の特徴点の位置及び特徴量を示す第1の情報と、当該複数の特徴点の明るさを示す第2の情報とを含むマップ情報に基づいて前記位置推定を実行し、
前記撮像制御手段は、前記映像関連情報と、前記第2の情報とに基づいて、前記第2のフレームにおける前記露光条件を決定する
位置推定装置。 - 前記映像処理手段は、前記複数の特徴点の位置及び特徴量を示す第1の情報と、当該複数の特徴点の明るさを示す第2の情報とを含むマップ情報に基づいて前記位置推定を実行し、
前記撮像制御手段は、前記映像関連情報と、前記第2の情報とに基づいて、前記第2のフレームにおける前記露光条件を決定する
請求項1に記載の位置推定装置。 - 前記撮像制御手段は、前記第2の情報により示される前記複数の特徴点のうちの少なくともいずれかの特徴点の明るさと、当該特徴点の撮像時の明るさとに基づいて、前記第2のフレームにおける前記露光条件を決定する
請求項2または請求項3に記載の位置推定装置。 - 撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行する映像処理手段と、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定する撮像制御手段とを備え、
前記映像処理手段は、前記映像におけるオプティカルフローに基づいて撮像範囲の移動方向を推定し、
前記撮像制御手段は、前記映像関連情報と、前記推定された移動方向にある画素の明るさとに基づいて、前記第2のフレームにおける前記露光条件を決定する
位置推定装置。 - 前記映像処理手段は、前記映像におけるオプティカルフローに基づいて撮像範囲の移動方向を推定し、
前記撮像制御手段は、前記映像関連情報と、前記推定された移動方向にある画素の明るさとに基づいて、前記第2のフレームにおける前記露光条件を決定する
請求項1から請求項4までのいずれか1項に記載の位置推定装置。 - 撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行する映像処理手段と、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定する撮像制御手段とを備え、
前記映像処理手段は、前記位置推定により推定された前記撮像手段の位置を、前記第1のグループに属するフレームにおいて推定された位置と前記第2のグループに属するフレームにおいて推定された位置とを用いて補正する
位置推定装置。 - 前記映像処理手段は、前記位置推定により推定された前記撮像手段の位置を、前記第1のグループに属するフレームにおいて推定された位置と前記第2のグループに属するフレームにおいて推定された位置とを用いて補正する
請求項1から請求項6までのいずれか1項に記載の位置推定装置。 - 前記映像処理手段は、
前記第1のグループに属するフレームにおいて推定された位置と前記第2のグループに属するフレームにおいて推定された位置との信頼性に基づく重み付けに従って、前記撮像手段の位置を補正する
請求項7または請求項8に記載の位置推定装置。 - 前記映像におけるシーンの変化を示す履歴情報を記憶する記憶手段を備え、
前記撮像制御手段は、所定の条件を満たした場合に、前記第2のフレームにおける前記露光条件をリセットする
請求項1から請求項9までのいずれか1項に記載の位置推定装置。 - 撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行し、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定し、
前記第1のフレームと前記第2のフレームとから同一の特徴点が複数抽出されるように前記露光条件を決定する
位置推定方法。 - 撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行し、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定し、
前記複数の特徴点の位置及び特徴量を示す第1の情報と、当該複数の特徴点の明るさを示す第2の情報とを含むマップ情報に基づいて前記位置推定を実行し、
前記映像関連情報と、前記第2の情報とに基づいて、前記第2のフレームにおける前記露光条件を決定する
位置推定方法。 - 撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行し、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定し、
前記映像におけるオプティカルフローに基づいて撮像範囲の移動方向を推定し、
前記映像関連情報と、前記推定された移動方向にある画素の明るさとに基づいて、前記第2のフレームにおける前記露光条件を決定する
位置推定方法。 - 撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行し、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定し、
前記位置推定により推定された前記撮像手段の位置を、前記第1のグループに属するフレームにおいて推定された位置と前記第2のグループに属するフレームにおいて推定された位置とを用いて補正する
位置推定方法。 - コンピュータに、
撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行するステップと、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定するステップとを実行させ、
前記決定するステップは、前記第1のフレームと前記第2のフレームとから同一の特徴点が複数抽出されるように前記露光条件を決定する
プログラム。 - コンピュータに、
撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行するステップと、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定するステップとを実行させ、
前記実行するステップは、前記複数の特徴点の位置及び特徴量を示す第1の情報と、当該複数の特徴点の明るさを示す第2の情報とを含むマップ情報に基づいて前記位置推定を実行し、
前記決定するステップは、前記映像関連情報と、前記第2の情報とに基づいて、前記第2のフレームにおける前記露光条件を決定する
プログラム。 - コンピュータに、
撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行するステップと、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定するステップとを実行させ、
前記実行するステップは、前記映像におけるオプティカルフローに基づいて撮像範囲の移動方向を推定し、
前記決定するステップは、前記映像関連情報と、前記推定された移動方向にある画素の明るさとに基づいて、前記第2のフレームにおける前記露光条件を決定する
プログラム。 - コンピュータに、
撮像手段により撮像され、複数のフレームにより構成される映像から抽出される複数の特徴点に基づく当該撮像手段の位置推定を含む映像処理を実行するステップと、
前記複数のフレームのうちの第1のグループに属する第1のフレームに対する前記映像処理において得られる映像関連情報に基づいて、前記複数のフレームのうちの前記第1のグループと異なる第2のグループに属する第2のフレームにおける前記撮像手段の露光条件を決定するステップとを実行させ、
前記実行するステップは、前記位置推定により推定された前記撮像手段の位置を、前記第1のグループに属するフレームにおいて推定された位置と前記第2のグループに属するフレームにおいて推定された位置とを用いて補正する
プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/027167 WO2019021412A1 (ja) | 2017-07-27 | 2017-07-27 | 位置推定装置、位置推定方法及びプログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019021412A1 JPWO2019021412A1 (ja) | 2020-04-16 |
JP6819785B2 true JP6819785B2 (ja) | 2021-01-27 |
Family
ID=65040694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019532286A Active JP6819785B2 (ja) | 2017-07-27 | 2017-07-27 | 位置推定装置、位置推定方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11457158B2 (ja) |
JP (1) | JP6819785B2 (ja) |
WO (1) | WO2019021412A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7283378B2 (ja) * | 2019-12-26 | 2023-05-30 | 株式会社豊田自動織機 | 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム |
US12028619B2 (en) * | 2020-03-05 | 2024-07-02 | Sony Group Corporation | Image processing device and image processing method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4672175B2 (ja) | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
JP2002185867A (ja) | 2000-12-13 | 2002-06-28 | Canon Inc | 撮像装置、撮像装置の制御装置及び光量制御方法 |
JP4212290B2 (ja) * | 2002-04-08 | 2009-01-21 | オリンパス株式会社 | 撮像システム |
US7844077B2 (en) * | 2007-07-06 | 2010-11-30 | Topcon Corporation | Location measuring device and method |
JP4985516B2 (ja) | 2008-03-27 | 2012-07-25 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
GB2504903B (en) * | 2011-05-20 | 2016-05-25 | Optilift As | System, device and method for tracking position and orientation of vehicle, loading device and cargo in loading device operations |
US9357136B2 (en) * | 2014-02-04 | 2016-05-31 | Nokia Technologies Oy | Using inertial sensors to provide smoothed exposure and white balance adjustments for video and photographic applications |
US9930263B2 (en) * | 2014-03-31 | 2018-03-27 | Sony Corporation | Imaging apparatus, for determining a transmittance of light for a second image based on an analysis of a first image |
JP2015144475A (ja) | 2015-03-11 | 2015-08-06 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 |
-
2017
- 2017-07-27 WO PCT/JP2017/027167 patent/WO2019021412A1/ja active Application Filing
- 2017-07-27 JP JP2019532286A patent/JP6819785B2/ja active Active
- 2017-07-27 US US16/633,304 patent/US11457158B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2019021412A1 (ja) | 2020-04-16 |
US11457158B2 (en) | 2022-09-27 |
US20200154023A1 (en) | 2020-05-14 |
WO2019021412A1 (ja) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9330446B2 (en) | Method and apparatus for processing image | |
US10511776B2 (en) | Image fusion method and apparatus, and terminal device | |
KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
US20100321510A1 (en) | Image processing apparatus and method thereof | |
CN110660090B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN110008795B (zh) | 图像目标追踪方法及其系统与计算机可读取记录介质 | |
CN109922275B (zh) | 曝光参数的自适应调整方法、装置及一种拍摄设备 | |
US9971418B2 (en) | Tracker for cursor navigation | |
US11838674B2 (en) | Image processing system, image processing method and storage medium | |
CN108335272B (zh) | 一种拍摄图片的方法及设备 | |
CN110866486B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN110796041A (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
JP2008259161A (ja) | 目標追尾装置 | |
JP6819785B2 (ja) | 位置推定装置、位置推定方法及びプログラム | |
US11019251B2 (en) | Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program | |
US20120002842A1 (en) | Device and method for detecting movement of object | |
CN110958361B (zh) | 能够进行hdr合成的摄像设备及其控制方法和存储介质 | |
CN112995525B (zh) | 自行走设备的摄像曝光方法和装置 | |
US11361448B2 (en) | Image processing apparatus, method of controlling image processing apparatus, and storage medium | |
JP5118590B2 (ja) | 被写体追尾方法及び撮像装置 | |
US20170339349A1 (en) | Image processing apparatus, surveillance camera system, image processing method, and program | |
US20230096626A1 (en) | Image processing device and image processing method | |
JP2013246601A (ja) | 画像処理装置 | |
JP2006031171A (ja) | 擬似的3次元データ生成方法、装置、プログラム、および記録媒体 | |
WO2023106103A1 (ja) | 画像処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6819785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |