KR101942646B1 - 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 - Google Patents
영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 Download PDFInfo
- Publication number
- KR101942646B1 KR101942646B1 KR1020170043214A KR20170043214A KR101942646B1 KR 101942646 B1 KR101942646 B1 KR 101942646B1 KR 1020170043214 A KR1020170043214 A KR 1020170043214A KR 20170043214 A KR20170043214 A KR 20170043214A KR 101942646 B1 KR101942646 B1 KR 101942646B1
- Authority
- KR
- South Korea
- Prior art keywords
- keypoints
- camera
- matching
- images
- matching result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G06K2017/0045—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
도 2는 SfM 프로세스의 각 단계에 대한 결과의 일 예시도를 나타낸 것이다.
도 3은 AR 콘텐츠 시각화 결과에 대한 일 예를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 실시간 카메라 자세 추정 방법을 설명하기 위한 도면을 나타낸 것이다.
도 5는 실외 가상현실 프레임워크에 대한 프로세싱 결과의 예시도를 나타낸 것이다.
Claims (10)
- 카메라에 의해 객체를 포함하는 이미지들이 실시간으로 촬영되면 배후 처리에서 상기 촬영된 이미지들 중 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들과 상기 객체에 대해 미리 저장된 키포인트들 간의 1차 매칭을 수행하는 단계;
전면 처리에서 상기 촬영된 이미지들과 상기 배후 처리로부터 수신된 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행하는 단계; 및
상기 전면 처리에서 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 단계
를 포함하며,
상기 전면 처리와 상기 배후 처리는
병렬적으로 수행되고,
상기 전면 처리는
상기 촬영된 이미지들 중 일정 주기의 이미지를 상기 어느 하나의 이미지로 상기 배후 처리로 제공하며,
상기 1차 매칭을 수행하는 단계는
상기 이미지들을 촬영하는 시점의 상기 카메라의 위치 정보와 상기 카메라의 방향을 포함하는 센서 데이터를 이용하여 상기 객체에 대한 정보를 파싱하고, 상기 파싱된 객체에 대해 미리 저장된 키포인트들과 상기 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들 간의 1차 매칭을 수행하며,
상기 2차 매칭을 수행하는 단계는
상기 촬영된 이미지들과 상기 일정 주기 단위로 수신되는 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행함으로써, 상기 객체의 키포인트들을 트래킹하고,
상기 추정하는 단계는
상기 트래킹된 키포인트들을 이용하여 상기 카메라의 자세를 실시간으로 추정하는 것을 특징으로 하는 실시간 카메라 자세 추정 방법.
- 제1항에 있어서,
상기 2차 매칭 결과의 키포인트들 중에서 오류 포인트를 제거하는 단계
를 더 포함하고,
상기 추정하는 단계는
상기 오류 포인트가 제거된 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 것을 특징으로 하는 실시간 카메라 자세 추정 방법.
- 삭제
- 제1항에 있어서,
상기 2차 매칭을 수행하는 단계는
상기 촬영된 이미지들과 상기 1차 매칭 결과에 기초한 광학 플로우(optical flow) 알고리즘을 이용하여 상기 2차 매칭을 수행하는 것을 특징으로 하는 실시간 카메라 자세 추정 방법.
- 삭제
- 카메라에 의해 객체를 포함하는 이미지들이 실시간으로 촬영되면 상기 촬영된 이미지들 중 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들과 상기 객체에 대해 미리 저장된 키포인트들 간의 1차 매칭을 수행하는 배후 처리부; 및
상기 촬영된 이미지들과 상기 배후 처리로부터 수신된 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행하고, 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 전면 처리부
를 포함하며,
상기 전면 처리부와 상기 배후 처리부는
병렬적으로 수행되고,
상기 전면 처리부는
상기 촬영된 이미지들 중 일정 주기의 이미지를 상기 어느 하나의 이미지로 상기 배후 처리부로 제공하며,
상기 배후 처리부는
상기 이미지들을 촬영하는 시점의 상기 카메라의 위치 정보와 상기 카메라의 방향을 포함하는 센서 데이터를 이용하여 상기 객체에 대한 정보를 파싱하고, 상기 파싱된 객체에 대해 미리 저장된 키포인트들과 상기 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들 간의 1차 매칭을 수행하며,
상기 전면 처리부는
상기 촬영된 이미지들과 상기 일정 주기 단위로 수신되는 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행함으로써, 상기 객체의 키포인트들을 트래킹하고, 상기 트래킹된 키포인트들을 이용하여 상기 카메라의 자세를 실시간으로 추정하는 것을 특징으로 하는 실시간 카메라 자세 추정 장치.
- 제6항에 있어서,
상기 전면 처리부는
상기 2차 매칭 결과의 키포인트들 중에서 오류 포인트를 제거하고, 상기 오류 포인트가 제거된 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 것을 특징으로 하는 실시간 카메라 자세 추정 장치.
- 삭제
- 제6항에 있어서,
상기 전면 처리부는
상기 촬영된 이미지들과 상기 1차 매칭 결과에 기초한 광학 플로우(optical flow) 알고리즘을 이용하여 상기 2차 매칭을 수행하는 것을 특징으로 하는 실시간 카메라 자세 추정 장치.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170043214A KR101942646B1 (ko) | 2017-04-03 | 2017-04-03 | 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170043214A KR101942646B1 (ko) | 2017-04-03 | 2017-04-03 | 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180112374A KR20180112374A (ko) | 2018-10-12 |
| KR101942646B1 true KR101942646B1 (ko) | 2019-01-25 |
Family
ID=63876843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170043214A Expired - Fee Related KR101942646B1 (ko) | 2017-04-03 | 2017-04-03 | 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101942646B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220139139A (ko) | 2021-04-07 | 2022-10-14 | 주식회사 케이티 | 영상을 통해 카메라의 자세를 보정하는 장치, 방법 및 컴퓨터 프로그램 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102110136B1 (ko) * | 2018-11-07 | 2020-05-13 | 한국항공대학교산학협력단 | 특징점 누적 기반 호모그래피를 이용한 고정형 비디오 스티칭 장치 및 방법 |
| CN111337010B (zh) * | 2018-12-18 | 2022-05-03 | 北京地平线机器人技术研发有限公司 | 可移动设备的定位方法、定位装置及电子设备 |
| KR102737291B1 (ko) * | 2019-10-29 | 2024-12-02 | 에스케이텔레콤 주식회사 | 단말에 구비된 카메라의 포즈를 결정하는 방법 및 이를 수행하는 포즈 결정 장치 |
| KR102383567B1 (ko) * | 2019-12-16 | 2022-04-06 | 네이버랩스 주식회사 | 시각 정보 처리 기반의 위치 인식 방법 및 시스템 |
-
2017
- 2017-04-03 KR KR1020170043214A patent/KR101942646B1/ko not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| Jean-Yves Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm", Intel Corporation, 2000..* |
| Kiyoung Kim et al., "Keyframe-based modeling and tracking of multiple 3D objects", Browse Conferences, ISMAR, 2010.11..* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220139139A (ko) | 2021-04-07 | 2022-10-14 | 주식회사 케이티 | 영상을 통해 카메라의 자세를 보정하는 장치, 방법 및 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180112374A (ko) | 2018-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | DeepI2P: Image-to-point cloud registration via deep classification | |
| CN110555901B (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
| US8442307B1 (en) | Appearance augmented 3-D point clouds for trajectory and camera localization | |
| CN103646391B (zh) | 一种针对动态变化场景的实时摄像机跟踪方法 | |
| US8798357B2 (en) | Image-based localization | |
| CN110986969B (zh) | 地图融合方法及装置、设备、存储介质 | |
| US20180315232A1 (en) | Real-time incremental 3d reconstruction of sensor data | |
| WO2017172778A1 (en) | Collaborative navigation and mapping | |
| CN111798487A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
| Chang et al. | Gaussreg: Fast 3d registration with gaussian splatting | |
| Li et al. | Review of vision-based Simultaneous Localization and Mapping | |
| WO2019125741A1 (en) | Graphical coordinate system transform for video frames | |
| CN107735797A (zh) | 用于确定第一坐标系与第二坐标系之间的运动的方法 | |
| KR20180112374A (ko) | 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 | |
| CN115019241B (zh) | 一种行人识别与追踪方法、装置、可读存储介质及设备 | |
| CN108229456A (zh) | 目标跟踪方法和装置、电子设备、计算机存储介质 | |
| KR101817440B1 (ko) | 다중 카메라를 통한 3차원 모델 기반 객체 인식 기법과 시스템 | |
| CN110009662B (zh) | 人脸跟踪的方法、装置、电子设备及计算机可读存储介质 | |
| CN113592706B (zh) | 调整单应性矩阵参数的方法和装置 | |
| US10970855B1 (en) | Memory-efficient video tracking in real-time using direction vectors | |
| CN112257638A (zh) | 一种图像比对方法、系统、设备及计算机可读存储介质 | |
| US12217454B2 (en) | Method and device with sensing data processing | |
| Bae et al. | Fast and scalable 3D cyber-physical modeling for high-precision mobile augmented reality systems | |
| CN111563922B (zh) | 视觉定位方法、装置、电子设备及存储介质 | |
| CN115731260A (zh) | 特征匹配方法及装置、场景重建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20230122 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| K11-X000 | Ip right revival requested |
St.27 status event code: A-6-4-K10-K11-oth-X000 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20230122 |
|
| PR0401 | Registration of restoration |
St.27 status event code: A-6-4-K10-K13-oth-PR0401 |
|
| R401 | Registration of restoration | ||
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20240122 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| K11-X000 | Ip right revival requested |
St.27 status event code: A-6-4-K10-K11-oth-X000 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20240122 |
|
| PR0401 | Registration of restoration |
St.27 status event code: A-6-4-K10-K13-oth-PR0401 |
|
| R401 | Registration of restoration | ||
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| U11 | Full renewal or maintenance fee paid |
Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE) Year of fee payment: 7 |