KR102319207B1 - 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체 - Google Patents
카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체 Download PDFInfo
- Publication number
- KR102319207B1 KR102319207B1 KR1020197030212A KR20197030212A KR102319207B1 KR 102319207 B1 KR102319207 B1 KR 102319207B1 KR 1020197030212 A KR1020197030212 A KR 1020197030212A KR 20197030212 A KR20197030212 A KR 20197030212A KR 102319207 B1 KR102319207 B1 KR 102319207B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- feature point
- homography
- determining
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 230000003287 optical effect Effects 0.000 claims abstract description 134
- 238000001914 filtration Methods 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000000295 complement effect Effects 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 123
- 238000013519 translation Methods 0.000 claims description 93
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 25
- 239000010410 layer Substances 0.000 description 111
- 239000003550 marker Substances 0.000 description 35
- 238000010586 diagram Methods 0.000 description 25
- 230000033001 locomotion Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 230000004927 fusion Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/34—
-
- G06K9/4609—
-
- G06K9/6211—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0006—Affine transformations
-
- G06T3/02—
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Abstract
본 출원의 실시예들은 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 및 저장 매체를 개시한다. 본 방법은, 제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하는 단계; 제1 호모그래피를 획득하기 위해, 템플릿 이미지의 제1 특징점 및 제2 이미지의 제2 특징점에 대해 특징점 검출을 수행하는 단계; 제1 이미지 내의 제1 광학 흐름 특징점 및 제2 이미지 내의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하고, 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라제2 호모그래피를 결정하는 단계; 및 카메라의 카메라 자세 정보를 획득하기 위해, 제1 호모그래피 및 제2 호모그래피에 대해 상보적 필터링 처리를 수행하는 단계를 포함한다. 본 출원의 실시예에서, 보다 정밀한 카메라 자세 정보를 획득하기 위해, 카메라 자세 추적 프로세스에서 획득된 2개의 호모그래피에 대해 상보적 필터링 처리가 수행될 수 있다.
Description
본 출원은 2017년 7월 7일에 중국 특허청(China National Intellectual Property Administration)에 출원된 중국 특허 출원 제201710552105.1호 ('카메라 자세 정보를 결정하기 위한 방법 및 관련 장치')의 우선권을 주장하며 이들은 그 전체가 참조로서 본 명세서 포함된다.
본 출원은 컴퓨터 기술 분야에 관한 것으로, 구체적으로는 카메라 자세 정보(camera pose information)를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체에 관한 것이다.
증강 현실(augmented Reality, AR) 기술은 실시간으로 카메라 이미지의 위치 및 각도를 계산하여 대응하는 이미지, 비디오 또는 3D 모델을 추가하는 기술이다. 이러한 기술은 스크린 상의 가상 세계를 실제 세계에 적용하고 상호 작용을 수행하기 위한 것이다.
현재, AR 유형 게임 프로모션 및 AR 유형 교육 애플리케이션과 같은 대화형 시나리오에서, 자연 이미지(natural image)는 매칭에 사용되는 템플릿(마커(Marker)) 이미지로서 사용될 수 있고 대응하는 카메라 자세 정보가 획득될 수 있다. 자연 이미지는 일반적으로 촬영된 이미지이고, 마커 이미지는 자연 이미지 또는 정규 이미지(regular image), 즉 매우 명확한 기하학적 특징을 갖는 이미지일 수 있다. 마커 이미지에 따라 카메라 자세 정보를 획득하는 프로세스에서, 마커 이미지가 먼저 검출되어야 하고, 마커 이미지가 검출된 후에, 카메라 자세 정보를 획득하기 위해, 마커 이미지의 특징점에 대한 추적에 따라 카메라 위치 결정이 수행된다.
그러나, 현재 이미지에서 마커 이미지의 특징점을 추적하는 동안, 특징점의 변화는 고려되지 않는다. 아핀 변환(affine transformation)이 명확한 경우, 마커 이미지 내의 하나의 이미지 레이어의 특징점이 현재 이미지의 특징점과 매칭되면, 획득된 카메라 자세 정보는 비교적 낮은 정밀도를 갖고; 마커 이미지의 복수의 이미지 레이어가 획득되고 각 이미지 레이어의 특징점이 현재 이미지의 특징점과 매칭되면, 과도한 매칭 오버헤드가 필요하며, 이는 실행 효율에 불리하다.
본 출원의 실시예들은 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 및 저장 매체를 제공한다.
본 출원의 측면에 따르면, 카메라 자세 정보를 결정하기 위한 방법이 제공되며, 본 방법은,
제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하는 단계 ― 상기 제1 이미지는 상기 제2 이미지의 이전 이미지 프레임이고, 상기 제1 이미지 및 상기 제2 이미지는 상기 카메라에 의해 수집된 이미지이며, 상기 템플릿 이미지는 매칭에 사용되는 기준 이미지임 ―;
제1 호모그래피(homography)를 획득하기 위해, 상기 템플릿 이미지 내의 제1 특징점(feature point) 및 상기 제2 이미지 내의 제2 특징점에 대해 특징점 검출을 수행하는 단계;
상기 제1 이미지 내의 제1 광학 흐름 특징점(optical flow feature point) 및 상기 제2 이미지 내의 제1 타깃 호모그래피에 따라 그리고 상기 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라, 제2 호모그래피를 결정하는 단계 ― 상기 제2 타깃 호모그래피는 상기 템플릿 이미지로부터 상기 제1 이미지까지의 호모그래피임 ―; 및
상기 카메라의 카메라 자세 정보를 획득하기 위해, 상기 제1 호모그래피 및 상기 제2 호모그래피에 대해 상보적 필터링 처리(comlementary filtering processing)를 수행하는 단계
를 포함한다.
본 출원의 다른 측면에 따르면, 카메라 자세 정보를 결정하기 위한 장치가 제공되며, 본 장치는,
제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하도록 구성된 제1 획득 모듈 ― 상기 제1 이미지는 상기 제2 이미지의 이전 이미지 프레임이고, 상기 템플릿 이미지는 상기 카메라에 의해 수집된 이미지이며, 상기 템플릿 이미지는 매칭에 사용되는 기준 이미지임 ―;
제1 호모그래피를 획득하기 위해, 상기 템플릿 이미지 내의 제1 특징점 및 상기 제2 이미지 내의 제2 특징점에 대해 특징점 검출을 수행하도록 구성된 검출 모듈;
상기 제1 이미지 내의 제1 광학 흐름 특징점 및 상기 제2 이미지 내의 제1 타깃 호모그래피에 따라 그리고 상기 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라, 제2 호모그래피를 결정하도록 구성된 추적 모듈 ― 상기 제2 타깃 호모그래피는 상기 템플릿 이미지로부터 상기 제1 이미지까지의 호모그래피임 ―; 및
상기 카메라의 카메라 자세 정보를 획득하기 위해, 상기 제1 호모그래피 및 상기 제2 호모그래피에 대해 상보적 필터링 처리를 수행하도록 구성된 상보적 필터링 모듈
을 포함한다.
본 출원의 다른 측면에 따르면, 카메라 자세 정보를 결정하기 위한 장치가 제공되며, 본 장치는 메모리, 트랜시버, 프로세서 및 버스 시스템을 포함하며,
상기 메모리는 프로그램을 저장하도록 구성되고,
상기 프로세서는,
제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하는 단계 ― 상기 제1 이미지는 상기 제2 이미지의 이전 이미지 프레임이고, 상기 제1 이미지 및 상기 제2 이미지는 상기 카메라에 의해 수집된 이미지이며, 상기 템플릿 이미지는 매칭에 사용되는 기준 이미지임 ―;
제1 호모그래피를 획득하기 위해, 상기 템플릿 이미지 내의 제1 특징점 및 상기 제2 이미지 내의 제2 특징점에 대해 특징점 검출을 수행하는 단계;
제2 호모그래피를 획득하기 위해, 상기 제1 이미지 내의 제1 광학 흐름 특징점 및 상기 제2 이미지 내의 제2 광학 흐름 특징점에 대해 특징점 추적을 수행하는 단계; 및
상기 카메라의 카메라 자세 정보를 획득하기 위해, 상기 제1 호모그래피 및 상기 제2 호모그래피에 대해 상보적 필터링 처리를 수행하는 단계
를 구현하기 위해, 상기 메모리 내의 프로그램을 실행하도록 구성된다.
본 출원의 다른 측면에 따르면, 컴퓨터 판독 가능 저장 매체가 제공되며, 본 컴퓨터 판독 가능 저장 매체는 명령을 저장하고,
컴퓨터 상에서 실행되는 경우, 상기 명령은 상기 컴퓨터로 하여금 전술한 측면에 따른 카메라 자세 정보를 결정하기 위한 방법을 수행하게 한다.
전술한 기술적 해결수단으로부터 알 수 있는 바와 같이, 본 출원의 실시예는 적어도 다음과 같은 장점을 갖는다.
제1 호모 그래피가 템플릿 이미지 및 제2 이미지에 따라 특징점 검출 방식으로 획득되므로, 출력 결과 속도가 느리고 정밀도가 낮으며, 제1 이미지 및 제2 이미지의 광학 흐름 추적 결과 및 템플릿 이미지 및 제1 이미지의 광학 흐름 추적 결과에 따른 추정을 통해 제2 호모 그래피가 획득되기 때문에, 광학 흐름 속도가 빠르고, 정밀도가 더 높으며, 출력 결과가 보다 안정적이고 매끄럽지만, 시간이 지남에 따라 오류가 누적될 수 있다.
실시예에서 제공되는 방법에서, 보다 정밀한 카메라 자세 정보를 획득하기 위해 2개의 호모그래피의 특성이 보완될 수 있도록, 상보적 필터링 처리가 제1 호모 그래피 및 제2 호모 그래피에 대해 수행된다.
도 1은 본 출원의 실시예에 따른 단말의 구조 블록도이다.
도 2는 본 출원의 예시적인 실시예에 따른 AR 애플리케이션 시나리오의 개략적인 시나리오도이다.
도 3은 본 출원의 실시예에 따른 마커 이미지의 개략도이다.
도 4는 본 출원의 실시예에 따른 현재 이미지에서 검출된 마커 이미지의 개략도이다.
도 5는 본 출원의 실시예들에 따른 카메라 자세 정보를 결정하기 위한 방법 실시예의 개략도이다.
도 6은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 개략적인 흐름도이다.
도 7은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법 실시예의 개략도이다.
도 8은 본 출원의 실시예에 따른 템플릿 이미지의 개략도이다.
도 9는 본 출원의 실시예에 따른 원래 이미지 레이어 상의 타깃 특징점을 결정하는 실시예의 개략도이다.
도 10은 본 출원의 실시예에 따른 제1 회전 및 이동 매트릭스 그리고 제2 회전 및 이동 매트릭스에 대한 필터링 처리를 수행하는 실시예의 개략도이다.
도 11은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 12는 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 13은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 14는 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 15는 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 16은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 17은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 개략적인 구조도이다.
도 2는 본 출원의 예시적인 실시예에 따른 AR 애플리케이션 시나리오의 개략적인 시나리오도이다.
도 3은 본 출원의 실시예에 따른 마커 이미지의 개략도이다.
도 4는 본 출원의 실시예에 따른 현재 이미지에서 검출된 마커 이미지의 개략도이다.
도 5는 본 출원의 실시예들에 따른 카메라 자세 정보를 결정하기 위한 방법 실시예의 개략도이다.
도 6은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 개략적인 흐름도이다.
도 7은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법 실시예의 개략도이다.
도 8은 본 출원의 실시예에 따른 템플릿 이미지의 개략도이다.
도 9는 본 출원의 실시예에 따른 원래 이미지 레이어 상의 타깃 특징점을 결정하는 실시예의 개략도이다.
도 10은 본 출원의 실시예에 따른 제1 회전 및 이동 매트릭스 그리고 제2 회전 및 이동 매트릭스에 대한 필터링 처리를 수행하는 실시예의 개략도이다.
도 11은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 12는 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 13은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 14는 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 15는 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 16은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 다른 실시예의 개략도이다.
도 17은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 개략적인 구조도이다.
본 출원의 실시예들은 카메라 자세 정보를 결정하기 위한 방법 및 관련 장치를 제공한다. 템플릿 이미지는 복수의 동일한 그리드로 분할되고, 하나의 타깃 특징점은 최대한 하나의 그리드로부터 추출된다. 따라서, 타깃 특징점은 비교적 균일하게 분포되고 비교적 높은 매칭도 및 융합도를 가지므로, 실행 효율이 보장되는 경우, 타깃 특징점이 더 높은 정밀도를 갖는 카메라 자세 정보를 획득하는 데 사용될 수 있다.
본 출원의 명세서 및 청구범위에서 "제1", "제2", "제3", "제4"등의 용어(존재하는 경우) 및 전술한 첨부 도면은 유사한 목적을 구별하기 위해 사용되며, 특정 시퀀스나 순서를 설명하기 위해 사용될 필요는 없다. 이러한 방식으로 사용되는 데이터는 적절한 경우에 상호 교환 가능하므로, 본 명세서에서 기술된 본 출원의 실시예는 본 명세서에서 도시되거나 기술된 시퀀스에 추가하여 시퀀스로 구현될 수 있음을 이해해야 한다. 또한, 용어 "포함하다(include)", "포함하다(comprise)" 및 이들의 임의의 변형은 비 배타적인 포함을 커버하도록 의도된다. 예를 들어, 일련의 단계 또는 엘리먼트를 포함하는 프로세스, 방법, 시스템, 제품 또는 디바이스는 명확하게 나열된 단계 또는 유닛으로 제한되지 않지만 명확하게 나열되지 않거나 또는 프로세스, 방법, 제품 또는 디바이스에 고유한 다른 단계 또는 유닛을 포함할 수 있다.
도 1은 본 출원의 예시적인 실시예에 따른 단말의 구조 블록도를 도시한다. 단말은 프로세서(120), 메모리(140) 및 카메라(160)를 포함한다.
프로세서(120)는 하나 이상의 처리 코어, 예를 들어 1-코어 프로세서 또는 8-코어 프로세서를 포함한다. 프로세서(120)는 메모리(140)에 저장된 명령, 코드, 코드 스니펫(code snippet) 및 프로그램 중 적어도 하나를 실행하도록 구성된다.
프로세서(120)는 메모리(140)에 전기적으로 연결된다. 선택적으로, 프로세서(120)는 버스를 사용하여 메모리(140)에 연결된다. 메모리(140)는 하나 이상의 명령, 코드, 코드 스니펫 및/또는 프로그램을 저장한다. 프로세서(120)에 의해 실행될 때, 명령, 코드, 코드 스니펫 및/또는 프로그램은 다음 실시예에서 제공되는 카메라 자세 정보를 결정하기 위한 방법을 구현하는 데 사용된다.
프로세서(120)는 또한 카메라(160)에 전기적으로 연결된다. 선택적으로, 프로세서(120)는 버스를 사용하여 카메라(160)에 연결된다. 카메라(160)는 이미지 수집 능력을 갖는 감지 디바이스이다. 카메라(160)는 또한 카메라 헤드 또는 감지 디바이스와 같은 다른 명칭으로 지칭될 수 있다. 카메라(160)는 연속적으로 이미지를 수집하거나 이미지를 여러 번 수집하는 능력을 갖는다. 선택적으로, 카메라(160)는 디바이스 내부 또는 디바이스 외부에 배치된다. 본 출원의 본 실시예에서, 카메라(160)는 다중-프레임 이미지들을 연속적으로 수집할 수 있고, 다중-프레임 이미지 내의 i번째 프레임 이미지는 제1 이미지이고, 다중-프레임 이미지 내의 (i+1)번째 이미지는 제2 이미지이다.
도 2는 본 출원의 예시적인 실시예에 따른 AR 애플리케이션 시나리오의 개략적인 시나리오도이다. 현실 세계에서 데스크탑(220)이 존재하고, 사진(222)은 데스트탑(220) 상에 있으며, 사진(222)의 내용은 마커 이미지로 간주될 수 있다. 마커 이미지는 매칭을 위해 사용되는 기준 이미지이다. 카메라를 구비한 이동 단말(240)은 도 2에 도시된 이미지(1 내지 6)와 같은 이미지 프레임을 획득하기 위해, 데스크탑(220)을 촬영 이미지로 사용하여 연속 촬영을 수행한다. 연속적으로 촬영된 이미지 프레임은 처리를 위해 프로세서로 연속적으로 입력된다. 본 출원의 본 실시예에서, 제1 이미지는 카메라에 의해 수집된 이미지의 i번째 프레임을 지칭하는 데 사용되고, 제2 이미지는 카메라에 의해 수집된 이미지의 (i+1) 번째 프레임을 지칭하는 데 사용된다. 이동 단말은 검출기를 사용하여 마커 이미지와 제2 이미지 사이의 호모그래피(homography)를 측정하고, 추적기를 사용하여 제1 이미지와 제2 이미지 사이의 호모그래피를 측정하며; 그 후, 계산을 통해 이동 단말의 카메라 자세 정보를 획득하기 위해, 2개의 호모그래피에 대해 상보적 필터링(complementary filtering) 처리를 수행하며, 여기서, 카메라 자세 정보는 이동 단말이 현실 세계에서 제2 이미지를 촬영할 때 이동 단말의 공간 위치를 나타내는 데 사용된다.
호모그래피는 호모그래피 매트릭스로도 지칭되며, 일반적으로 2개의 이미지들 사이의 공통 평면 상의 일부 포인트의 변환 관계를 설명한다. 호모그래피는 두 평면 사이의 매핑 관계를 설명하고, 실제 환경의 모든 특징점이 동일한 물리적 평면에 속하는 경우, 호모그래피를 사용하여 이미지의 두 프레임 사이에서 움직임 추정이 수행될 수 있다. 이미지 A 및 이미지 B의 경우, 이미지 A 및 이미지 B에 적어도 4쌍의 매칭 특징점이 존재하는 경우, 이동 단말은 회전 및 변환 매트릭스 R|T를 획득하기 위해 랜삭(Random Sample Consensus, ransac) 알고리즘을 사용하여 호모그래피를 분해한다. R은 촬영 이미지 A를 위한 제1 자세에서 촬영 이미지 B를 위한 제2 자세로 변화하는 카메라에 대응하는 회전 매트릭스이고, T는 촬영 이미지 A를 위한 제1 자세에서 촬영 이미지 B를 위한 제2 자세로 변화하는 카메라에 대응하는 변위 벡터이다.
본 출원에서, 이동 디바이스의 낮은 연산 능력의 특성을 위해, 본 해결수단에서,
카메라 자세 정보를 결정하기 위한 안정적이고 빠른 방법이자 또한 저장 강건성을 갖는 안정적이고 빠른 방법을 구현하기 위해, 자연적 이미지 검출 결과 및 사용자에 의해 저장된 이미지 프레임 간 추적 결과를 정확하게 융합하는 데 상보적 필터링 알고리즘이 사용된다는 것이 이해되어야 한다. 이 방법은 AR 시나리오, 예를 들어 AR 유형 게임 시나리오, AR 유형 교육 시나리오 또는 AR 유형 회의 시나리오와 같은 대화형 시나리오에 적용될 수 있다. 이 방법은 마커 이미지에 기초하여 카메라 위치결정 및 자세 보정의 애플리케이션 프로그램에 적용될 수 있다. 본 출원에서의 템플릿 이미지는 마커 이미지이다. 마커 이미지는 또한 앵커 이미지(Anchor image)로도 지칭될 수 있다.
선택적으로, 마커 이미지는 정규 이미지 또는 일반적으로 촬영된 자연 이미지를 포함한다. 자연 이미지는 일반적인 촬영 이미지를 지칭하고 정규 이미지는 검은색 사각형 상자 또는 바둑판과 같은 매우 명확한 기하학적 특징을 갖는 이미지이다. 마커 이미지는 또한 현실 세계에서도 나타날 수 있다. 예를 들어, 마커 이미지는 데스크탑 또는 책에서도 나타날 수 있다. 즉, 마커 이미지에 기초하여 현실 세계의 3차원 좌표계를 구축하기 위해, 마커 이미지는 모바일 단말이 촬영해야 하는 시나리오에서 나타날 수 있다.
다음은 구체적인 시나리오를 설명한다. 사용자는 지정된 시나리오(주어진 이미지와 같음)에서 대화형 작업을 직접 수행하기를 원하는 것으로 가정된다. 이것은 사용자 경험을 안내하는 데 도움이 될 수 있다. 도 3을 참조하면, 도 3은 본 출원의 실시예에 따른 마커 이미지의 개략도이다. 도면에 도시된 바와 같이, 스마트폰의 AR 유형 게임에서, 사용자는 주어진 자연 이미지 또는 장면에서 폰에 의해 촬영된 이미지를 마커 이미지로 사용할 수 있다. 이후, 스마트폰은 현재 이미지에서 마커 부분을 검출하고, 마커 좌표계에서 가상 객체를 그린다. 도 4에 도시된 바와 같이, 도 4는 본 출원의 실시예에 따라, 사용자와의 상호작용을 완료하기 위해, 현재 이미지에서 마커 이미지를 검출하는 개략도이다. 마커 부분은 현재 이미지 내의 마커 이미지의 이미지 영역을 지칭하고, 마커 좌표계는 마커 부분에 기초하여 현실 세계에 대한 현재 이미지에서 구축된 좌표계를 지칭한다. 예를 들어, 도 4에서 책의 표지 이미지는 도 3에서의 마커 이미지와 동일하다. 마커 좌표계가 표지 이미지에 기초하여 현실 세계에 대해 구축된 후, 3차원 만화 캐릭터가 사용자와의 상호작용하기 위해 도 4에서의 책에 추가되어 표시된다.
다음은 카메라를 구비한 이동 단말의 관점으로 본 출원에서 카메라 자세 정보를 결정하기 위한 방법을 설명한다. 도 5를 참조하면, 도 5는 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 흐름도이다. 본 방법은 다음의 단계를 포함한다.
단계 501. 제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하며, 제1 이미지는 제2 이미지의 이전 이미지 프레임이고, 제1 이미지 및 제2 이미지는 카메라에 의해 수집된 이미지이며, 템플릿 이미지는 매칭을 위해 사용되는 기준 이미지이다.
단말은 템플릿 이미지를 획득한다. 선택적으로, 단말은 사용자에 의해 선택되거나 업로드된 템플릿 이미지를 획득하거나, 또는 단말은 카메라를 제어하여 사용자에 의해 수집된 이미지의 프레임을 템플릿 이미지로서 획득한다.
템플릿 이미지는 이동 프로세스에서 카메라에 의해 수집된 다중 프레임 이미지에 대해 매칭이 수행될 때 사용되는 기준 이미지이다. 다르게는, 템플릿 이미지는 제2 이미지에 대해 매칭이 수행될 때 사용되는 기준 이미지이고, 제2 이미지는 이동 프로세스에서 카메라에 의해 수집된 다중 프레임 이미지의 프레임 이미지이다.
선택적으로, 단말은 이동 프로세스에서 카메라에 의해 수집된 다중 프레임 이미지를 추가로 획득한다. 단말은 이미지의 i번째 프레임을 제1 이미지로 사용하고, 제1 이미지는 또한 이미지의 이전 이미지 프레임으로 지칭된되며, 이미지의 (i+1)번째 프레임을 제2 이미지로 사용하고, 제2 이미지는 현재 이미지로 지칭된다.
선택적으로, 템플릿 이미지의 획득 프로세스와 제1 이미지/제2 이미지의 획득 프로세스는 서로 독립적이다. 2개의 획득 프로세스의 타이밍 관계는 본 실시예에서 한정되지 않는다.
단계 502. 제1 호모그래피를 획득하기 위해 템플릿 이미지의 제1 특징점 및 제2 이미지의 제2 특징점에 대한 특징점 검출을 수행한다.
단말은 템플릿 이미지의 제1 특징점 및 제2 이미지의 제2 특징점에 대한 특징점 검출을 수행하고, 매칭을 통해 템플릿 이미지 및 제2 이미지에서 마커 부분의 특징점 중 적어도 4쌍의 특징점을 획득하며, 적어도 4쌍의 특징점에 따른 계산을 통해 제1 호모그래피를 획득한다.
제1 호모그래피는 템플릿 이미지로부터 제2 이미지로의 카메라 자세 변화를 나타내는 데 사용된다.
단계 503. 제2 호모그래피를 획득하기 위해, 제1 이미지의 제1 광학 흐름 특징점 및 제2 이미지의 제2 광학 흐름 특징점에 대한 특징점 추적을 수행한다.
단말은 제1 이미지의 제1 광학 흐름 특징점에 관한 제2 이미지의 제2 광학 흐름 특징점의 광학 흐름 매칭 결과를 획득하기 위해, 제1 이미지에 관한 제2 이미지에 대한 광학 흐름 추적을 추가로 수행하고, 적어도 4쌍의 특징점을 포함하는 광학 흐름 매칭 결과는 적어도 4쌍의 특징점에 따른 계산을 통해 제1 타깃 호모그래피를 획득한 다음, 템플릿 이미지로부터 제1 이미지까지 버퍼링된 제2 타깃 호모그래피를 획득하며, 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 호모그래피를 획득한다.
광학 흐름은 시간에 따라 이미지들 사이에서 이동하는 픽셀들을 설명하기 위한 방법이다. 시간이 지남에 따라, 동일한 픽셀은 이미지 내에서 이동하고, 픽셀의 이동 프로세스를 추적하기를 희망한다. 일부 픽셀의 이동을 계산하기 위한 광학 흐름은 희소 광학 흐름(sparse optical flow)으로 지칭되고, 모든 픽셀을 계산하기 위한 광학 흐름은 밀집 광학 흐름(dense optical flow)으로 지칭된다. 본 출원에서, 희소 광학 흐름을 계산하기 위한 LK(Lucas-Kanade) 광학 흐름 알고리즘이 설명의 예로서 사용된다.
제2 호모그래피는 또한 템플릿 이미지로부터 제2 이미지로의 카메라 자세 변화를 나타내는 데 사용된다. 제1 호모그래피 및 제2 호모그래피는 템플릿 이미지로부터 제2 이미지로의 카메라 자세 변화를 나타내는 데 사용되지만, 제1 호모그래피 및 제2 호모그래피는 서로 다른 계산 방식에 따른 계산을 통해 획득된다.
단계 504. 카메라의 카메라 자세 정보를 획득하기 위해, 제1 호모그래피 및 제2 호모그래피에 대한 상보적 필터링 처리를 수행한다.
상보적 필터링 처리는 제1 호모그래피 및 제2 호모그래피에 대한 필터링 융합을 수행하기 위한 처리 방식을 지칭한다. 선택적으로, 상보적 필터링 처리는 칼만 필터(Kalman filter) 또는 상보적 필터를 사용하여 구현된다.
결론적으로, 제1 호모그래피는 템플릿 이미지 및 제2 이미지에 따라 특징점 검출 방식으로 획득되기 때문에, 출력 결과는 속도가 느리고 정밀도가 낮으며, 제2 호모그래피는 제1 이미지 및 제2 이미지의 광학 흐름 추적 결과 및 템플릿 이미지 및 제1 이미지의 광학 흐름 추적 결과에 따른 추정을 통해 획득되기 때문에, 광학 흐름 속도가 빠르고, 정밀도가 높으며, 출력 결과가 보다 안정적이고 매끄럽지만, 그러나 시간이 지남에 따라 오류가 누적될 수 있다. 실시예에서 제공되는 방법에서, 상보적 필터링 처리는 제1 호모그래피 및 제2 호모그래피에 대해 수행되어, 보다 정밀한 카메라 자세 정보를 획득하기 위해 2개의 호모그래피의 특성이 보완될 수 있다.
도 5에 기초한 선택적 실시예에서, 카메라의 카메라 자세 정보를 획득하기 위해, 제1 호모그래피 및 제2 호모그래피에 대해 상보적 필터링 처리를 수행하는 단계는,
제1 호모그래피에 따라 제1 회전 및 이동 매트릭스(rataion and translation matrix)를 결정하고, 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하는 단계 ― 제1 호모그래피 및 제2 호모그래피는 2차원 정보이고, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스는 3차원 정보임 ―; 및
카메라 자세 정보를 획득하기 위해, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 카메라 자세 정보를 획득하기 위해, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 단계는,
제1 필터링 결과를 획득하기 위해, 제1 회전 및 이동 매트릭스를 저역 통과 필터에 입력하는 단계;
제2 필터링 결과를 획득하기 위해, 제2 회전 및 이동 매트릭스를 고역 통과 필터에 입력하는 단계; 및
제1 필터링 결과 및 제2 필터링 결과에 따라 카메라 자세 정보를 결정하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 제1 호모그래피에 따라 제1 회전 및 이동 매트릭스를 결정하는 단계, 및 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하는 단계는,
제1 호모그래피, 제2 이미지의 원근 투영 매트릭스(perspective projection matrix) 및 템플릿 이미지의 원근 투영 매트릭스에 따라 제1 회전 및 이동 매트릭스를 계산하는 단계; 및
제2 호모그래피, 제2 이미지의 원근 투영 매트릭스 및 템플릿 이미지의 원근 투영 매트릭스에 따라 제2 회전 및 이동 매트릭스를 계산하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 템플릿 이미지는 어레이로 배열된 복수의 그리드에 대응하고,
제1 호모그래피를 획득하기 위해, 템플릿 이미지의 제1 특징점 및 제2 이미지의 제2 특징점에 대한 특징점 검출을 수행하는 단계는,
템플릿 이미지의 제1 특징점과 제2 이미지의 제2 특징점을 매칭시키고, 복수의 그리드의 각각의 타깃 그리드에서 특징점 쌍의 세트를 결정하는 단계 ― 특징점 쌍은 타깃 그리드 내에 위치하는 제1 특징점, 및 제2 특징점 내에 있는 특징점이자 또한 제1 특징점과 가장 큰 매칭도를 갖는 특징점을 포함함 ―; 및
타깃 그리드의 특징점 쌍에 따라 템플릿 이미지와 제2 이미지 사이의 제1 호모그래피를 계산하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 본 방법은,
템플릿 이미지의 각각의 이미지 레이어로부터 제1 특징점을 추출하고, 원래의 이미지 레이어의 제1 특징점을 결정하는 단계를 더 포함하고,
원래 이미지 레이어는 템플릿 이미지의 이미지 레이어이고, 복수의 이미지 레이어는 복수의 그리드를 포함한다.
도 5에 기초한 선택적 실시예에서, 템플릿 이미지의 각각의 이미지 레이어로부터 제1 특징점을 추출하고, 원래의 이미지 레이어의 제1 특징점을 결정하는 단계는,
템플릿 이미지의 제1 이미지 레이어로부터 제1 특징점을 추출하는 단계;
템플릿 이미지의 제2 이미지 레이어로부터 제1 특징점을 추출하는 단계 ― 제1 이미지 레이어 및 제2 이미지 레이어는 서로 다른 크기를 가짐 ―; 및
제1 이미지 레이어의 제1 특징점 및 제2 이미지 레이어의 제1 특징점에 대해 스케일링 처리를 수행하고, 원래 이미지 레이어로의 투영을 수행하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 템플릿 이미지의 제1 특징점을 제2 이미지의 제2 특징점과 매칭시키기 전에, 본 방법은,
제2 이미지로부터 제2 특징점을 추출하는 단계를 더 포함하고,
템플릿 이미지의 제1 특징점을 제2 이미지의 제2 특징점과 매칭시키고, 복수의 그리드의 각각의 타깃 그리드의 특징점 쌍의 세트를 결정하는 단계는,
원래 이미지 레이어의 각각의 타깃 그리드의 제1 특징점을 제2 특징점과 매칭시키고, 상호 매칭되는 선택될 특징점 쌍 중 적어도 한 쌍을 획득하는 단계 ― 선택될 특징점 쌍의 세트 각각은 매칭 점수에 대응함 ―; 및
선택될 특징점 쌍들 중 적어도 한 쌍으로부터 가장 높은 매칭 점수를 갖는 특징점 쌍을 타깃 그리드에서 결정된 특징점 쌍으로 선택하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 제2 호모그래피를 획득하기 위해, 제1 이미지의 제1 광학 흐름 특징점 및 제2 이미지의 제2 광학 흐름 특징점에 대한 특징점 추적을 수행하는 단계는,
제1 이미지의 제1 광학 흐름 특징점 및 제2 이미지의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하는 단계; 및
제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 호모그래피를 결정하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 제1 이미지의 제1 광학 흐름 특징점 및 제2 이미지의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하는 단계는,
제1 이미지의 미리 설정된 영역에서 상기 제1 광 흐름 특징점을 획득하는 단계 ― 미리 설정된 영역은 템플릿 이미지에 대응하는 영역임 ―;
제1 광학 흐름 특징점에 따라 제2 광학 흐름 특징점을 획득하는 단계; 및
제1 광학 흐름 특징점 및 제2 광학 흐름 특징점에 따라 제1 이미지로부터 제2 이미지로의 제1 타깃 호모그래피를 계산하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 호모그래피를 결정하는 단계는,
템플릿 이미지로부터 제1 이미지까지의 제2 타깃 호모그래피를 획득하는 단계; 및
제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 이미지로부터 템플릿 이미지까지의 제2 호모그래피를 계산하는 단계
를 포함한다.
도 5에 기초한 선택적 실시예에서, 본 방법은,
제2 광학 흐름 특징점의 수량이 미리 설정된 임계값보다 작은 경우, 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값에 도달할 수 있도록, q개의 광학 흐름 특징점을 제2 광 흐름 특징점으로 획득하는 단계
를 더 포함하며, 여기서 q는 양의 정수이다.
이해의 용이성을 위해, 도 6을 참조하면, 도 6은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 개략적인 흐름도이다. 도면에 도시된 바와 같이, 카메라는 현실 세계에서 이미지의 프레임을 연속적으로 수집하고, 먼저 현재 이미지로서 모듈(101)에 이미지의 새로운 프레임을 로딩한 다음, 모듈(103)의 검출기를 사용하여 템플릿 이미지로부터 현재 이미지(즉, 제2 이미지)까지의 제1 호모그래피를 검출하며, 모듈(105)에서, 제1 호모그래피가 획득되는지를 추가로 결정하고, 제1 호모그래피가 획득되면 모듈(107)에 도달한다. 한편, 카메라는, 모듈(102)에서, 추적기가 초기화되었는지 여부를 결정하고, 추적기가 초기화된 경우 모듈(104)의 추적기로 진입하며 ― 추적기는 제1 이미지에 관하여 제2 이미지에 대한 광학 흐름 추적을 수행하는 데 사용됨 ―, 추적기가 초기화되지 않은 경우에는 모듈(101)로 스킵한다.
104 모듈 내의 추적기는 템플릿 이미지를 추적하고, 제2 호모그래피를 업데이트한다. 따라서, 상보적 필터링 처리는 융합을 위해 모듈(107)에서 제1 호모그래피 및 제2 호모그래피에 대해 수행될 수 있고, 융합 후에 획득된 카메라 자세 정보는 모듈(108)로 출력된다. 모듈(109)이, 검출이 결과를 갖는 것으로 결정하고 모듈(109)이, 추적기가 초기화되지 않은 것으로 결정하면, 추적기는 초기화되고, 추적기는 다음 프레임으로부터 작동하기 시작한다.
검출기 및 추적기는 카메라 자세 정보를 결정하기 위한 장치에 속하는 것으로 이해될 수 있다.
카메라 자세 정보를 결정하기 위한 장치의 관점에서, 다음은 본 출원에서 카메라 자세 정보를 결정하기 위한 방법을 설명한다. 도 7을 참조하면, 도 7은 본 출원의 예시적인 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 흐름도를 도시한다. 본 방법은 다음의 단계를 포함한다.
단계 701. 제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하며, 제1 이미지는 제2 이미지의 이전 프레임이고, 템플릿 이미지는 매칭에 사용되는 이미지이며, 템플릿 이미지는 복수의 이미지 레이어를 포함한다.
본 실시예에서, 카메라 자세 정보를 결정하기 위한 장치는 제1 이미지, 제2 이미지 및 템플릿 이미지를 획득한다. 제1 이미지는 제2 이미지의 이전 프레임 이미지이고, 제2 이미지는 현재 촬영된 이미지 또는 현재 처리되고 있는 이미지로 이해될 수 있다. 템플릿 이미지는 매칭될 이미지이거나, 또는 마커 이미지 또는 앵커 이미지로 지칭될 수 있다. 선택적으로, 템플릿 이미지는 복수의 이미지 레이어를 포함한다.
카메라 자세 정보를 결정하기 위한 장치는 이동 전화, 태블릿 컴퓨터, 개인 휴대 정보 단말(personal digital assistant, PDA), POS(Point of Sale) 또는 차량 내 컴퓨터와 같은 임의의 단말 디바이스일 수 있다.
단계 702. 템플릿 이미지의 각각의 이미지 레이어로부터 제1 특징점을 추출하고, 원래의 이미지 레이어로부터 제1 특징점을 결정하며, 원래의 이미지 레이어는 템플릿 이미지의 이미지 레이어이고, 원래의 이미지 레이어는 복수의 그리드를 포함한다.
본 실시예에서, 템플릿 이미지는 복수의 이미지 레이어를 포함한다. 일반적으로, 이미지 레이어의 크기는 일치하지 않으며, 원래 크기의 템플릿 이미지는 원래의 이미지 레이어로서 지칭된다. 선택적으로, 전처리 단계에서, 단말은 피라미드 이미지를 생성하기 위해 템플릿 이미지를 원래 크기로 다운샘플링한다. 피라미드 이미지는 원래 크기의 템플릿 이미지가 미리 설정된 비율에 따라 스케일링된 후에 획득되는 이미지를 포함한다. 피라미드 이미지가 4개의 이미지 레이어를 포함하는 예가 사용된다. 템플릿 이미지가 스케일링 비율 1.0, 0.8, 0.6 및 0.4에 따라 스케일링된 후에, 템플릿 이미지의 4개의 서로 다른 스케일의 이미지 레이어가 획득된다. 제1 특징점은 각 이미지 레이어에 대해 추출된다. 따라서, 복수의 스케일로 템플릿 이미지의 특징 기술자(feature descriptor)(즉, 제1 특징점)의 복수의 레이어가 획득되고, 동시에 제1 특징점이 스케일링된다. 모든 제1 특징점의 위치는 원래 이미지 레이어의 대응하는 위치에 맞게 스케일링되고 원래 이미지 레이어 크기의 마스크(즉, 마스크 크기는 원래 이미지 레이어의 크기와 일치함)가 제조된다. 마스크는 사용을 위해 복수의 작은 그리드로 균등하게 분할된다. 즉, 단말은 피라미드 이미지의 각 레이어에 대해 특징점을 추출하고 ORB 특징 기술자를 계산한다. 원래 스케일(1.0)로 피라미드 이미지에서 추출되지 않은 특징점의 경우, 피라미드 이미지가 스케일링 비율에 따라 원래 스케일로 상향 스케일링된 후, 원래 스케일(즉, 원래 이미지 레이어)의 피라미드 이미지 상의 각 특징점의 2차원 좌표가 기록된다. 피라미드 이미지 상의 특징점 및 2차원 좌표는 제1 특징점으로 지칭될 수 있다. 예를 들어, 피라미드 이미지의 각 레이어는 최대 500개의 제1 특징점을 갖는다.
제1 특징점은 SIFT(scale-invariant feature transform), SURF(speed-up robust feature), 또는 ORB(oriented fast and rotated brief) 특징점, 또는 HOG(histogram of oriented gradient) 특징, 또는 LBP(local binary patterns)일 수 있다. 실시간 성능을 보장하기 위해, ORB 특징점은 이러한 해결수단에서 제1 특징점으로서 사용된다. 그러나, 이것은 이러한 해결수단에 대한 제한은 아니다. ORB 특징점은 FAST 키 포인트 및 이진 로버스트 독립 기본(binary robust independent elementary) 특징 기술자라는 두 부분을 포함한다.
FAST 키 포인트는 ORB 특징 포인트가 이미지 내에 있는 위치를 지칭한다. FAST 키 포인트는 주로 로컬 픽셀 그레이 스케일이 명확하게 변하는 위치를 검출하며 고속으로 유명하다. FAST 키 포인트의 개념은, 픽셀과 인접 픽셀이 크게 다르면(너무 밝거나 어두우면), 그 픽셀이 키 포인트일 수 있다는 것이다.
BRIEF 기술자는 이진 표현의 벡터이고, 벡터는 수동 설계 방식으로 키 포인트 주위의 픽셀에 대한 정보를 기술한다. BRIEF 기술자의 기술 벡터는 복수의 0과 1로 형성되고, 여기서 0과 1은 FAST 키 포인트 주위의 두 픽셀 사이의 크기 관계를 인코딩한다.
ORB 특징점은 가속 알고리즘을 사용하는 기술자이고, 회전 불변으로 추가되어, 속도가 매우 빠르다. 따라서, ORB 특징점은 이동 디바이스에서 구현되기에 적합하다.
단계 703. 원래 이미지 레이어의 각 그리드에서 타깃 특징점을 결정하기 위해, 제1 특징점을 제2 특징점과 매칭시키며, 타깃 특징점은 제1 특징점과 제1 특징점 사이의 매칭도가 가장 큰 특징점이고, 타깃 특징점은 제1 호모그래피를 결정하는 데 사용되고, 제2 특징점은 제2 이미지로부터 추출된 특징점이다.
본 실시예에서, 제1 특징점은 스케일 불변성을 갖지 않지만, 본 출원에서의 템플릿 이미지는 명백한 스케일 변동을 가지며, 사용자는 템플릿 이미지를 상이한 스케일로 촬영할 수 있다. 따라서 스케일 문제가 해결되어야 한다. 따라서, 피라미드 이미지는 템플릿 이미지를 위해 생성되어야 하고, 제1 특징점은 템플릿 이미지의 각 레이어 이미지 레이어로부터 추출되며, 그 후, 제2 이미지의 제2 특징점과 매칭되어야 한다.
카메라 자세 정보를 결정하기 위한 장치는 현재 촬영된 제2 이미지가 템플릿 이미지를 갖는지 여부를 검출한다. 원칙은 제2 이미지에서 추출된 제2 특징점을 원래 이미지 레이어의 제1 특징점과 매칭시키는 것이다. 원래 이미지 레이어의 각 타깃 그리드에서의 제1 특징점에 대해, 제2 이미지가 타깃 그리드에 속하면서 제1 특징점과 매칭되는 복수의 제2 특징점을 갖는 경우, 선택될 특징점은 각 타깃 그리드에서 최대 타깃 특징점으로서 선택되고, 그 후 타깃 특징점은 제1 호모그래피를 계산하는 데 사용된다.
단계 704. 제1 이미지의 제1 광학 흐름 특징점 및 제2 이미지의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하고, 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 호모그래피를 결정한다.
본 실시예에서, 단계 702 내지 단계 703은 템플릿 이미지의 검출 작업을 완료하고, 단계 204에서 카메라 자세 정보를 결정하기 위한 장치는 이미지를 추적하기 위해 광학 흐름 추적 방법을 사용할 필요가 있다. 구체적으로, 이미지의 추적 중에, 광학 흐름 Lucas-Kanade 알고리즘이 주로 사용되고,
템플레이트 이미지로부터 제2 이미지까지의 제2 호모그래피를 추가로 획득하도록, 제1 이미지로부터 제2 이미지까지의 제1 타깃 호모그래피를 계산하고 템플릿 이미지로부터 제1 이미지까지 이자 또한 이력 광학 흐름 프로세스 내에 버퍼링된 제2 타깃 호모그래피를 획득하기 위해, 두 개의 프레임 사이의 매칭점을 찾기 위해, 광학 흐름은 이전 프레임 이미지(즉, 제1 이미지)로부터 추출된 제1 광학 흐름 특징점을 사용하여 새로운 이미지로부터 수행된다.
단계 705. 제1 호모그래피 및 제2 호모그래피에 따라 카메라 자세 정보를 결정한다.
본 실시예에서, 카메라 자세 정보를 결정하기 위한 장치는 제1 호모그래피 및 제2 호모그래피에 따른 계산을 통해 카메라 자세 정보를 획득할 수 있다. 선택적으로, 카메라 자세 정보를 결정하기 위한 장치는 카메라의 카메라 자세 정보를 획득하기 위해, 제1 호모그래피 및 제2 호모그래피에 대해 상보적 필터링 처리를 수행한다.
상보적 필터링 처리는 제1 호모그래피 및 제2 호모그래피에 대한 필터링 융합을 수행하기 위한 처리 방식을 지칭한다. 선택적으로, 상보적 필터링 처리는 칼만 필터 또는 상보적 필터를 사용하여 구현된다.
본 출원의 본 실시예에서, 카메라 자세 정보를 결정하기 위한 방법이 제공된다. 카메라 자세 정보를 결정하기 위한 장치는 먼저 제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하고, 그 후, 템플릿 이미지의 각 이미지 레이어로부터 제1 특징점을 추출하며, 원래 이미지 레이어에서 제1 특징점을 결정하고, 원래 이미지 레이어는 템플릿 이미지의 이미지 레이어이고, 원래 이미지 레이어는 복수의 그리드를 포함한다. 카메라 자세 정보를 결정하기 위한 장치는 그 후 원래의 이미지 레이어의 각 그리드에서 타깃 특징점을 결정하기 위해 제1 특징점을 제2 특징점과 매칭시키며, 타깃 특징점은 제1 특징점과 제2 특징점 사이에서 가장 큰 매칭도를 갖는 특징점이고, 타깃 특징점은 제1 호모그래피를 결정하는 데 사용되며, 제2 특징점은 제2 이미지로부터 추출된 특징점이다. 다음으로, 카메라 자세 정보를 결정하기 위한 장치는 제1 이미지의 제1 광학 흐름 특징점 및 제2 이미지의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하고, 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 호모그래피를 결정하며, 마지막으로 제1 호모그래피 및 제2 호모그래피에 따라 카메라 자세 정보를 결정할 수 있다. 전술한 방식을 사용함으로써, 템플릿 이미지는 복수의 동일한 그리드로 분할되고, 하나의 그리드는 하나의 타깃 특징점만을 갖는다. 따라서, 타깃 특징점은 비교적 고르게 분포되고 비교적 높은 매칭도와 융합도를 가지므로, 실행 효율이 보장되는 경우, 타깃 특징점이 더 높은 정밀도를 갖는 카메라 자세 정보를 획득하는 데 사용될 수 있다.
선택적으로, 전술한 도 7에 대응하는 실시예에 기초하여, 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 제1 선택적 실시예에서, 템플릿 이미지의 각 이미지 레이어로부터 제1 특징점을 추출하고, 원래 이미지 레이어에서 제1 특징점을 결정하는 단계는,
템플릿 이미지의 제1 이미지 레이어로부터 제1 특징점을 추출하는 단계;
템플릿 이미지의 제2 이미지 레이어로부터 제1 특징점을 추출하는 단계 ― 제1 이미지 레이어 및 제2 이미지 레이어는 상이한 크기를 가짐 ― ; 및
제1 이미지 레이어의 제1 특징점 및 제2 이미지 레이어의 제1 특징점에 대해 스케일링 처리를 수행하고, 원래 이미지 레이어로의 투영을 수행하는 단계
를 포함한다.
본 실시예에서, 원래 이미지 레이어에서 제1 특징점을 결정하는 방식이 설명된다. 먼저, 복수의 이미지 레이어는 템플릿 이미지로부터 추출되고 (또는 복수의 이미지 레이어는 서로 다른 스케일링 비율에 따라 하향 스케일링되어 획득되며), 이미지의 크기는 피라미드 형상이다. 즉, 이미지의 크기는 오름차순으로 정렬된다. 제1 이미지 레이어가 제2 이미지 레이어 상에 있는 것으로 가정하면, 제1 이미지 레이어의 크기는 제2 이미지 레이어의 크기보다 약간 작은 것으로 간주될 수 있다. 그리고, 카메라 자세 정보를 결정하기 위한 장치는 제1 이미지 레이어 및 제2 이미지 레이어로부터 제1 특징점을 추출하고, 원래 이미지 레이어로의 투영을 수행하기 위해 모든 제1 특징점에 대해 스케일링을 수행한다.
원래 이미지 레이어의 크기는 실제 경우에 따라 설계될 수 있으며, 여기에 제한되지 않음을 이해할 수 있다. 예시적인 예에서, 템플릿 이미지의 원래 이미지 레이어가 스케일링 비율 1.0, 0.8, 0.6 및 0.4에 따라 스케일링된 후, 제1 이미지 레이어, 제2 이미지 레이어, 제3 이미지 레이어 및 제4 이미지 레이어를 획득한다.
두 번째로, 본 출원의 본 실시예에서, 카메라 자세 정보를 결정하기 위한 장치는 먼저 템플릿 이미지의 제1 이미지 레이어로부터 제1 특징점을 추출하고, 템플릿 이미지의 제2 이미지 레이어로부터 제1 특징점을 추출하며, 제1 이미지 레이어 및 제2 이미지 레이어는 서로 다른 크기를 가지고, 또한 제1 이미지 레이어의 제1 특징점 및 제2 이미지 레이어의 제1 특징점에 대해 스케일링 처리를 수행하고, 원래 이미지 레이어로의 투영을 수행한다. 전술한 방식을 사용함으로써, 가능한 한 많은 제1 특징점들을 획득하고, 제1 특징점의 추가 필터링을 용이하게 하기 위해, 이미지 레이어로부터 추출된 모든 제1 특징점은 템플릿 이미지에 대응하는 원래 이미지 레이어에 융합될 수 있으므로, 필터링 정확도가 향상될 수 있다. 동시에, 매칭 성능이 향상되고, 대규모 변형에서도 객체가 검출될 수 있도록 보장된다.
선택적으로, 도 7에 대응하는 제1 실시예에 기초하여, 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 제2 선택적 실시예에서, 템플릿 이미지는 어레이로 배열된 복수의 그리드에 대응하고,
제1 호모그래피를 획득하기 위해, 템플릿 이미지의 제1 특징점 및 제2 이미지의 제2 특징점에 대한 특징점 검출을 수행하는 단계는,
템플릿 이미지의 제1 특징점을 제2 이미지의 제2 특징점과 매칭시키고, 복수의 그리드의 각각의 타깃 그리드에서 특징점 쌍의 세트를 결정하는 단계 ― 특징점 쌍은 타깃 그리드 내에 위치하는 제1 특징점, 및 제2 특징점 내에 있는 특징점이자 또한 제1 특징점과 가장 큰 매칭도를 갖는 특징점을 포함함 ―; 및
타깃 그리드의 특징점 쌍에 따라 템플릿 이미지와 제2 이미지 사이의 제1 호모그래피를 계산하는 단계
를 포함한다.
타깃 그리드는 템플릿 이미지의 복수의 그리드 중 그리드의 일부이다. 즉, 타깃 그리드의 제1 특징점은 제2 이미지에서 매칭된 타깃 특징점을 가지며, 각각의 타깃 그리드는 매칭된 특징점 쌍의 세트에만 대응한다. 2개의 이미지에 대해 호모그래피 계산이 수행되는 경우, 적어도 4쌍의 특징점 쌍만이 호모그래피를 계산하기 위해 필요할 수 있기 때문에, 특징점 쌍의 수량은 덜 필요하지만 특징점 쌍은 더 높은 품질을 요구한다. 동일한 그리드의 특징점 쌍은 비교적 높은 유사도를 가지며, 단말은 후속 계산을 위해 가능한 한 서로 다른 타깃 그리드에 속하는 특징점 쌍을 선택할 수 있다.
본 실시예에서, 템플릿 이미지는, 도 8에 도시된 바와 같이, 심각하게 기울어 진 것으로 가정된다. 도 8에서 책의 표지 이미지는 본 출원의 실시예에 따른 템플릿 이미지의 개략도이다. 이 경우, 왼쪽 절반 부분의 크기가 작고, 오른쪽 절반 부분의 크기가 크다. 단일 레이어의 피라미드 공간은 이 경우를 정확하게 설명할 수 없다. 따라서, 이러한 유형의 특징은 다음과 같은 방식을 사용하여 설명될 수 있다.
구체적으로, 도 9를 참조하면, 도 9는 본 출원의 실시예에 따라 원래 이미지 레이어 상의 타깃 특징점을 결정하는 실시예의 개략도이다. 원래 템플릿 이미지는 피라미드 이미지를 생성하기 위해 다운샘플링되고, 제1 특징점이 각 레이어에 대해 추출된다. 따라서, 복수의 스케일로 템플릿 이미지의 제1 특징점의 복수의 레이어가 획득된다. 동시에, 특징점이 스케일링된다. 모든 특징점의 위치는 원래 이미지 레이어의 크기로 스케일링되어 통합되고, 원래의 이미지 레이어 크기의 마스크가 제조되며, 사용을 위해 복수의 작은 그리드로 분할된다.
새로 판독된 각각의 이미지에 대해, 제2 특징점은 한 번만 추출되고, 그 후 원래 이미지 레이어 상의 제1 특징점과 매칭된다. 즉, 복수의 스케일에서의 특징 매칭이 획득될 수 있다. 전술한 매칭(또는 특징점 쌍) 각각은 현재 이미지 상의 점들 및 템플릿 이미지 상의 점들을 포함한다. 템플릿 이미지 상의 각각의 점들이 복수의 스케일을 가지며 원래 이미지 레이어의 크기로 스케일링되기 때문에, 복수의 매칭된 특징점이 동일한 그리드 영역에 축적된다. 가장 높은 매칭 점수를 갖는 점만이 각 그리드에서 대표로 선택된다. 메쉬 필터에 의한 필터링을 통해, 복수의 그리드 세트가 필터링된 후 템플릿 이미지로부터 제2 이미지로의 매칭이 획득될 수 있다. 그리드가 필터링된 후 템플릿 이미지로부터 제2 이미지로 적어도 4개의 특징점 쌍 세트가 존재하는 경우, 템플릿 이미지로부터 제2 이미지까지의 제1 호모그래피는 적어도 4개의 특징점 쌍 세트에 따른 계산을 통해 획득된다.
템플릿 이미지의 그리드에서, 둘 이상의 특징점 레이어가 융합될 수 있다. 본 출원에서의 그리드 필터링 방법은 인접한 특징점의 두 레이어를 평활화하는 것과 동일하며, 매칭 정보의 두 개의 레이어가 비율에 따라 사용된다. 따라서, 필요한 피라미드 레이어의 수량이 크게 감소될 수 있다. 도 9를 예로 사용하면, 그리드 필터링을 위해 대응하는 스케일이 자동으로 선택되며, 좌측 절반 부분에는 낮은 스케일이 선택되고, 우측 절반 부분에는 높은 스케일이 선택되므로, 매칭이 더 양호할 수 있다.
두 번째로, 본 출원의 본 실시예에서, 카메라 자세 정보를 결정하기 위한 장치는 먼저 제2 이미지로부터 제2 특징점을 추출한 다음, 원래의 이미지 레이어의 각 그리드에서 제1 특징점을 제2 특징점과 매칭시키고, 적어도 하나의 선택될 특징점을 획득하며, 각각의 선택될 특징점은 매칭 점수에 대응하고, 마지막으로, 원래 이미지 레이어의 각각의 그리드에서 적어도 하나의 선택될 특징으로부터 매칭 점수가 가장 높은 특징점을 타깃 특징점으로 선택한다. 전술한 방식을 사용함으로써, 제1 호모그래피의 계산의 안정성을 보장하기 위해, 매칭된 특징점의 최대 수량은 그리드를 사용함으로써 제한되고, 제2 특징점만이 실행 중에 제2 이미지에 대해 한번 추출된다. 증가된 특징 매칭은 더 적은 시간을 소비하고, 실행 속도에 영향을 미치지 않으므로, 매칭 효율을 증가시킬 수 있다.
선택적으로, 도 7에 대응하는 실시예에 기초하여, 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 제3 선택적 실시예에서, 제1 이미지의 제1 광학 흐름 특징점 및 제2 이미지의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하는 단계는,
제1 이미지의 미리 설정된 영역에서 제1 광학 흐름 특징점을 획득하는 단계 ― 미리 설정된 영역은 템플릿 이미지에 대응하는 영역임 ―;
제1 광학 흐름 특징점에 따라 제2 광학 흐름 특징점을 획득하는 단계; 및
제1 광학 흐름 특징점 및 제2 광학 흐름 특징점에 따라 제1 이미지로부터 제2 이미지로의 제1 타깃 호모그래피를 계산하는 단계
를 포함할 수 있다.
본 실시예에서, 제1 타깃 호모그래피를 결정하기 위해 카메라 자세 정보를 결정하기 위한 장치에 대한 프로세스에서, 제1 광학 흐름 특징점은 제1 이미지의 미리 설정된 영역에서 획득될 필요가 있다. 미리 설정된 영역은 4개의 꼭지점을 포함할 수 있고, 4개의 꼭지점은 이미지 영역을 초기화한다. 이미지 영역은 제1 이미지에서 템플릿 이미지의 영역이고, 일부 Shi-Tomasi 키 포인트는 해당 영역에서 제1 광학 흐름 특징점으로 추출된다.
카메라의 이동에 따라, 이전의 광학 흐름 특징점은 그리 좋지 않을 수 있다. 특히 회전 및 원근 투영에서는, 이전의 광학 흐름 점들이 현재 이미지에서 더 이상 관찰되지 않을 수 있다. 따라서, 광학 흐름에 의해 추적되는 광학 흐름 특징점은 몇 프레임마다 업데이트될 필요가 있다. 미리 설정된 영역의 4개의 꼭지점(도 9의 우측 하단의 도면에서 책의 4개의 꼭지점을 지칭할 수 있음)은 이전 프레임을 사용하여 계산된다. 마스크를 찾기 위해 하나의 원으로 하향 스케일링이 수행되고, 광학 흐름 알고리즘을 사용하여 마스크에서 제2 광학 흐름 특징점이 결정된다. 전체적인 프로세스는 백그라운드 스레드(background thread)에서 실행 중이며, 메인 스레드의 속도에는 영향을 미치지 않는다. 전술한 방법을 사용함으로써, 추적된 광학 흐름 특징점은 자동으로 업데이트되어, 광학 흐름 알고리즘의 안정성을 보장할 수 있다. 제1 이미지로부터 제2 이미지까지의 제1 타깃 호모그래피는 제1 광학 흐름 특징점 및 제2 광학 흐름 특징점에 따라 계산되고, 제1 타깃 호모그래피는 제1 이미지로부터 템플릿 이미지까지의 재귀 베이스(recursive base)로서 사용된다.
템플릿 이미지 상의 광학적 흐름 특징점을 획득할 필요가 있기 때문에, 마스크의 픽셀의 수량은 미리 설정된 영역의 픽셀의 수량보다 적다. 에지에서의 특징점은 잘못 검출되기 쉽다. 따라서, 하나의 원으로 하향 스케일링을 수행함으로써 획득되는 마스크의 픽셀의 수량도 또한 감소된다.
두 번째로, 본 출원의 본 실시예에서, 카메라 자세 정보를 결정하기 위한 장치는 제1 이미지의 미리 설정된 영역에서 제1 광학 흐름 특징점을 획득하고, 광학 흐름 알고리즘에 따른 제2 광학 흐름 특징점 및 제2 이미지에서의 제1 광학 흐름 특징점의 마스크를 획득한다. 마지막으로, 제1 이미지로부터 제2 이미지까지의 제1 타깃 호모그래피는 제1 광학 흐름 특징점 및 제2 광학 흐름 특징점에 따라 계산된다. 전술한 방식을 사용함으로써, 이전 이미지 프레임을 사용하여 계산된 미리 설정된 영역의 꼭지점을 사용하여 하나의 원에 의해 하향 스케일링을 수행함으로써 마스크가 획득되므로, 에지에서의 특징점이 검출되는 경우가 감소될 수 있으므로, 검출의 에러율을 감소시킬 수 있다.
선택적으로, 도 7에 대응하는 제3 실시예에 기초하여, 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 제4 선택적 실시예에서, 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 호모그래피를 결정하는 단계는,
템플릿 이미지로부터 제1 이미지까지의 제2 타깃 호모그래피를 획득하는 단계; 및
제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 이미지로부터 템플릿 이미지까지의 제2 호모그래피를 계산하는 단계
를 포함할 수 있다.
본 실시예에서, 제2 호모그래피를 결정하기 위해 카메라 자세 정보를 결정하기 위한 장치에 대한 프로세스에서 또는 장치가 제2 호모그래피를 결정하기 전에, 템플릿 이미지에서 제3 광학 흐름 특징점이 획득될 필요가 있고, 그 후, 제2 타깃 호모그래피를 계산하기 위해, 템플릿 이미지와 제1 이미지의 매칭점이 제3 광학 흐름 특징점 및 제1 광학 흐름 특징점에 따라 발견되고, 제2 타깃 호모그래피에 제1 타깃 호모그래피를 곱하여 템플릿 이미지에서 제2 이미지까지의 제2 호모그래피가 획득된다.
현재 이미지는 제2 이미지이고, 이전 이미지 프레임은 제1 이미지이다.
세 번째로, 본 출원의 본 실시예에서, 제2 호모그래피를 결정하기 위해 카메라 자세 정보를 결정하기 위한 장치에 대한 방식이 설명된다. 즉, 먼저 템플릿 이미지로부터 제1 이미지까지의 제2 타깃 호모그래피가 획득되고, 그 후, 제2 이미지로부터 템플릿 이미지까지의 제2 호모그래피가 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 계산된다. 전술한 방식을 사용함으로써, 광학 흐름 특징점이 제2 호모그래피를 획득하기 위해 사용될 수 있으므로, 해결수단의 실행 가능성 및 실용성을 향상시킬 수 있다.
선택적으로, 전술한 도 7에 대응하는 제3 또는 제4 실시예에 기초하여, 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 제5 선택적 실시예에서, 본 방법은,
제2 광학 흐름 특징점의 수량이 미리 설정된 임계값에 도달할 수 있도록, 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값보다 작은 경우, q개의 광학 흐름 특징점을 제2 광학 흐름 특징점으로 획득하는 단계
를 더 포함할 수 있으며, q는 양의 정수이다.
본 실시예에서, 제2 이미지의 마스크로부터 획득된 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값보다 작으면, 남아 있는 제2 광학 흐름 특징점의 수량이 마스크의 특징을 나타내기에 지나치게 작고 불충분하다는 하다는 것을 지시하는 것이다. 따라서, 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값에 도달할 수 있도록, 다른 q개의 광학 흐름 특징점이 제2 광학 흐름 특징점으로서 마스크로부터 추출될 필요가 있다.
미리 설정된 임계값은 50, 100 또는 다른 값일 수 있음을 이해할 수 있다. 이것은 여기에서 한정되지 않는다.
또한, 본 출원의 본 실시예에서, 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값보다 작은 경우, 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값에 도달할 수 있도록, 카메라 자세 정보를 결정하기 위한 장치는 마스크로부터 제2 광학 흐름 특징점으로서 q개의 광학 흐름 특징점을 획득한다. 전술한 방식을 사용함으로써, 제2 광학 흐름 특징점의 수량이 충분하지 않은 경우, 새로운 광학 흐름 특징점이 보상을 위해 재추출될 수 있다. 즉, 추적된 특징점이 자동으로 업데이트됨으로써, 광학 흐름 알고리즘의 안정성을 향상시킬 수 있다.
선택적으로, 도 7에 대응하는 실시예에 기초하여, 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 제6 선택적 실시예에서, 제1 호모그래피 및 제2 호모그래피에 따라 카메라 자세 정보를 결정하는 단계는,
제1 호모그래피에 따라 제1 회전 및 이동 매트릭스를 결정하고, 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하는 단계 ― 제1 호모그래피 및 제2 호모그래피는 2차원 정보이고, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스는 3차원 정보임 ―; 및
카메라 자세 정보를 획득하기 위해, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 단계
를 포함할 수 있다.
본 실시예에서, 카메라 자세 정보를 결정하기 위한 장치가 카메라 자세 정보를 결정하는 경우, 두 개의 단계가 필요하다. 첫 번째 단계는 주로 두 개의 회전 및 이동 매트릭스를 결정하는 단계이다. 두 번째 단계는 주로, 최후로 카메라 자세 정보를 획득하기 위해, 두 개의 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 단계이다.
호모그래피를 회전 및 이동 매트릭스로 변환하는 프로세스는 2차원 좌표를 3차원 좌표로 변환하는 프로세스로 이해될 수 있다. 구체적인 구현을 위해, 도 7에 대응하는 제7 실시예가 참조될 수 있다. 3차원 좌표가 획득된 후, 카메라가 템플릿 이미지를 수집하는 경우 현실 세계에서 카메라의 위치가 결정될 수 있다.
카메라 자세 정보를 결정하기 위한 장치에 있어서, 시간 소모적인 부분은 주로 검출에 있다는 것이 이해될 수 있다. 이미지 프레임의 경우, 추적기가 이미지 프레임을 추적하는 데 최대 10 ms 미만이 소요되고, 검출기가 이미지 프레임을 검출하는 데 거의 30 ms가 소요된다. 따라서, 다른 대안적인 해결수단은 각 프레임에 대한 검출 대신에 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스를 융합하는 것이다. 대신에, 각 프레임의 검출 및 융합은 백엔드 스레드(back-end thread)에 배치된다. 융합을 통해 획득되는 수정된 증분은, 메인 스레드에서의 추적 시간만이 필요할 수 있도록, 후속하는 카메라 자세를 수정하는 데 사용된다. 검출 및 융합은 메인 스레드를 차단하지 않을 수 있으며, 계산 속도가 증가될 수 있다.
두 번째로, 본 출원의 본 실시예에서, 카메라 자세 정보를 결정하기 위한 프로세스는 두 부분으로 분할된다. 한 부분은 제1 호모그래피에 따라 제1 회전 및 이동 매트릭스를 결정하고, 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하는 것이다. 다른 부분은 카메라의 카메라 자세 정보를 획득하기 위해, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 것이다. 전술한 방식을 사용함으로써, 2차원 호모그래피는 3차원 회전 및 이동 매트릭스로 분해될 수 있다. 템플릿 이미지 상의 모든 제1 특징점이 원래 이미지 레이어 상에 융합되기 때문에, 오직 한 세트의 회전 및 이동 매트릭스의 해결수단이 획득될 수 있으므로, 해결수단의 조작성을 향상시킬 수 있다. 상보적 필터링 방식은 보다 원활한 카메라 자세 정보를 획득하는 데 사용될 수 있다.
선택적으로, 도 7에 대응하는 제6 실시예에 기초하여, 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 제7 선택적 실시예에서, 제1 호모그래피에 따라 제1 회전 및 이동 매트릭스를 결정하고, 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하는 단계는,
제1 호모그래피, 제2 이미지의 원근 투영 매트릭스 및 템플릿 이미지의 원근 투영 매트릭스에 따라 제1 회전 및 이동 매트릭스를 계산하는 단계를 포함할 수 있다. 선택적으로, 제1 회전 및 이동 매트릭스에서의 회전 부분은 템플릿 이미지를 수집하기 위한 제1 자세에서 제2 이미지를 수집하기 위한 제2 자세로 변경되는 카메라의 공간 회전 변화를 나타내는 데 사용되고, 제1 회전 및 이동 매트릭스에서의 이동 부분은 템플릿 이미지를 수집하기 위한 제1 자세로부터 제2 이미지를 수집하기 위한 제2 자세로 변경되는 카메라의 공간 변위 변화를 나타내는 데 사용된다.
제2 호모그래피, 제2 이미지의 원근 투영 매트릭스 및 템플릿 이미지의 원근 투영 매트릭스에 따라 제2 회전 및 이동 매트릭스를 계산하는 단계. 선택적으로, 제2 회전 및 이동 매트릭스에서의 회전 부분은 또한 템플릿 이미지를 수집하기 위한 제1 자세에서 제2 이미지를 수집하기 위한 제2 자세로 변경되는 카메라의 공간 회전 변화를 나타내는 데 사용되고, 제2 회전 및 이동 매트릭스에서의 이동 부분은 또한 템플릿 이미지를 수집하기 위한 제1 자세로부터 제2 이미지를 수집하기 위한 제2 자세로 변경되는 카메라의 공간 변위 변화를 나타내는 데 사용된다.
본 실시예에서, 우리가 제1 호모그래피를 가지는 경우, 제1 회전 및 이동 매트릭스는 카메라 파라미터와 조합하여 분해를 통해 획득될 수 있다. 마찬가지로, 우리가 제2 호모그래피를 가지는 경우, 제2 회전 및 이동 매트릭스는 카메라 파라미터와 조합하여 분해를 통해 획득될 수 있다. 이하에서는 설명을 위해 분해를 통해 제1 회전 및 이동 매트릭스가 획득되는 예를 사용한다. 분해를 통해 제2 회전 및 이동 매트릭스를 획득하는 방식은 분해를 통해 제1 회전 및 이동 매트릭스를 획득하는 방식과 유사하며, 여기서는 다시 설명되지 않는다.
템플릿 이미지 상의 모든 점들이 동일한 평면 상에 있는 특징을 사용함으로써, 분해를 통해 결정된 해결수단 세트를 획득하는 데 다음의 방법이 사용될 수 있다. 카메라들 사이의 호모그래피의 정의와 회전 및 이동 매트릭스의 정의에 따라, 다음의 공식이 있을 수 있다.
xc = H * xm
xc = s * P * (R|T) * P-1 * xm
xc는 제2 이미지 상의 2차원 좌표의 균일한 표현을 나타내고, xm은 템플릿 이미지 상의 2차원 좌표의 균일한 표현을 나타내며, H는 제1 호모그래피를 나타내고, (R|T)는 제1 회전 및 이동 매트릭스를 나타내며, P는 원근 투영 매트릭스를 나타내고, s는 스케일 인자를 나타낸다. xm의 역 투영(back projection)을 통해 3차원 점들이 획득되는 경우 z=1이고, 깊이가 손실되기 때문에, 스케일 인자 s가 보상하는 데 사용될 필요가 있다.
예를 들어, 2D 점 
의 균일한 좌표가 
이면, 3D 점 
의 균일한 좌표는 
이다. 따라서, 다음과 같이 추론될 수 있다.
= 
Pc는 제2 이미지의 원근 투영 매트릭스를 나타내고, Pm은 템플릿 이미지의 원근 투영 매트릭스를 나타낸다. 전술한 공식에서, 3차원 점이 모두 z=1인 점들이 템플릿 이미지의 카메라 파라미터를 사용하여 xm의 역 투영을 통해 획득된다. 그러나, 모든 점들이 동일한 평면에 있으므로, z=1은 z=0으로 변환될 수 있고, 전술한 공식은 변경되지 않는다. 그러나, 동시에, z=0이기 때문에, R|T의 세 번째 열(column)의 모든 점들은 0이며, 삭제되어 다음과 같이 새로운 수학식을 획득할 수 있다.
따라서, 
가 대응하여 획득될 수 있다.
R이 회전 매트릭스이기 때문에, 열 벡터가 단위 매트릭스인 특징이 충족되어, 스케일 인자 s가 획득될 수 있다. R0 및 R1은 세 번째 열 R2를 계산하는 데 사용될 수 있고, 좌측 공식의 S 및 세 번째 열은 T를 계산하는 데 사용될 수 있다. 스케일 인자 s는 플러스(+) 또는 마이너스(-) 옵션을 갖는다. RT가 계산된 후에 제2 이미지에서 템플릿 이미지의 위치가 계산될 수 있다. 위치가 확실히 카메라의 전방에 있다는 사실(Tz<0)로부터, 결정된 카메라 자세 정보를 획득하고 결정된 회전 및 이동 매트릭스의 세트를 획득하기 위해, s의 심볼이 추론될 수 있다.
세 번째로, 본 출원의 본 실시예에서, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스를 계산하는 방식이 설명된다. 전술한 방식을 사용함으로써,보다 신뢰성 있는 계산 결과가 획득될 수 있고, 해결수단의 실용성이 향상될 수 있다.
선택적으로, 도 7에 대응하는 제6 실시예에 기초하여, 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 방법의 제8 선택적 실시예에서, 카메라 자세 정보를 획득하기 위해, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 단계는,
제1 필터링 결과를 획득하기 위해, 제1 회전 및 이동 매트릭스를 저역 통과 필터로 입력하는 단계;
제2 필터링 결과를 획득하기 위해, 제2 회전 및 이동 매트릭스를 고역 통과 필터로 입력하는 단계; 및
제1 필터링 결과 및 제2 필터링 결과에 따라 카메라 자세 정보를 결정하는 단계
를 포함할 수 있다.
본 실시예에서, 제1 회전 및 이동 매트릭스를 획득하기 위한 속도는 비교적 느리고, 정밀도는 비교적 낮으며, 출력 결과는 정확한 값 주위에서 변동하고, 고주파수 오류를 갖지만 비교적 안정적인 평균값을 갖는다. 이에 비해, 제2 회전 및 이동 매트릭스를 획득하기 위한 속도는 비교적 빠르고, 정밀도는 비교적 높으며, 출력 결과는 보다 안정적이고 보다 매끄러우며, 고주파 지터가 없지만, 드리프트(drift)를 생성하기 위해 시간이 지남에 따라 오류가 누적될 수 있다. 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스는 단지 보완을 형성하기 위해 결합된다. 따라서, 상보적 필터링을 수행함으로써 매끄러운 출력 결과가 획득될 수 있다.
저역 통과 필터 및 고역 통과 필터는 상보적 필터를 형성할 수 있다. 또한, 칼만 필터는 또한 저역 통과 필터 및 고역 통과 필터의 기능을 구현할 수도 있다. 칼만 필터와 상보적 필터는 성능면에서 거의 동일하지만, 상보적 필터가 더 간단하고, 애플리케이션 시나리오의 특징은 상보적 필터에 더 가깝다. 따라서, 유사한 아이디어가 시각적인 상보적 필터를 구현하는 데 사용된다.
설명의 편의를 위해, 도 10을 참조하면, 도 10은 본 출원의 실시예에 따라 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스에 대해 필터링 처리를 수행하는 실시예의 개략도이다. 도면에 도시된 바와 같이, 제1 호모그래피는 검출기로부터 검출된 호모그래피를 나타내고, 템플릿 이미지로부터 현재 카메라 이미지로의 변환을 나타낸다. 제1 호모그래피는 제1 회전 및 이동 매트릭스(R1|T1)로 직접 분해될 수 있다. 제2 호모그래피는 추적기로부터 추적된 호모그래피를 나타내고, 템플릿 이미지로부터 현재 이미지(즉, 제2 이미지)로의 변환을 나타내며, 제2 호모그래피는 제2 회전 및 이동 매트릭스(R2|T2)로 분해될 수 있다. 제1 호모그래피(R1|T1)는 저역 통과 필터를 통해 고주파수 잡음을 필터링하여 제1 필터링 결과(Rf1|Tf1)를 획득할 수 있고, 제2 호모그래피(R2|T2)는 고역 통과 필터를 통해 저주파수 드리프트를 필터링하여 제2 필터링 결과(Rf2|Tf2)를 획득할 수 있다.
이동 T는 추가적이므로, 직접 융합될 수 있다. 회전은 직접 추가된다. Rodrigues의 회전 공식은 데이터를 쿼터니언(quaternion)으로 변환하는 데 먼저 사용되고, 필터링된 실제 데이터를 획득하기 위해 구형 선형 보간(spherical linear interpolation, slerp)을 사용하여 융합될 필요가 있다. 필터링된 실제 데이터는 템플릿 이미지에서 현재 카메라 이미지로의 정확한 회전 및 이동(R|T) 변화를 설명한다.
좌표계에서 템플릿 이미지의 4개의 꼭지점의 실제 좌표는 카메라 파라미터를 사용하여 계산될 수 있고, 대응하는 현재 카메라 상의 템플릿 이미지의 4개의 꼭지점의 3차원 좌표를 계산하기 위해 전술한 R|T와 곱해질 수 있다. 계산을 통해 업데이트된 호모그래피를 획득하고 현재 카메라 이미지 상에서 2차원 좌표 점들에 대한 템플릿 이미지의 4개의 매칭 세트를 찾기 위해, 대응하는 2차원 좌표가 원근 투영을 통해 계산된다. 호모그래피는 적분기를 업데이트하여 추적기의 누적 오류를 제거하는 데 사용된다.
본 실시예에서 제공되는 상보적 필터링은 프레임이고, 필터링은 검출기에 의해 획득된 추적 결과 및 추적기에 의해 획득된 광학 흐름 추적 결과뿐만 아니라 임의의 둘 이상의 상이한 소스들의 템플릿 이미지 추적 결과에 대해서도 수행될 수 있다. 외부 센서에 의해 전송된 데이터(예를 들어, 관성 측정 유닛에 의해 측정된 데이터)도 칼만 필터를 사용하여 상응하여 처리될 수 있다.
세 번째로, 본 출원의 본 실시예에서, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 것은 제1 필터링 결과를 획득하기 위해 제1 회전 및 이동 매트릭스를 저역 통과 필터로 입력하는 것, 또한 제2 필터링 결과를 획득하기 위해 제2 회전 및 이동 매트릭스를 고역 통과 필터로 입력하는 것, 그리고 마지막으로, 제1 필터링 결과 및 제2 필터링 결과에 따라 카메라 자세 정보를 결정하는 것이다. 전술한 방식을 사용함으로써, 제1 회전 및 이동 매트릭스의 낮은 정밀도 및 고주파수 오류의 단점이 보상될 수 있고, 제2 회전 및 이동 매트릭스가 시간의 경과에 따라 누적된 오류로 인해 드리프트를 발생시키는 단점이 보상될 수 있다. 상보적 필터링 방식을 사용하여 매끄러운 출력 결과가 획득될 수 있으므로, 해결수단의 실행 가능성이 향상될 수 있다.
다음은 본 출원에서 카메라 자세 정보를 결정하기 위한 장치를 상세히 설명한다. 도 11은 본 출원의 실시예에 따른 카메라 자세 정보를 결정하기 위한 장치의 실시예의 개략도이다. 카메라 자세 정보를 결정하기 위한 장치(30)는,
제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하도록 구성된 제1 획득 모듈(301) ― 제1 이미지는 제2 이미지의 이전 이미지 프레임이고, 제1 이미지 및 제2 이미지는 카메라에 의해 수집된 이미지이며, 템플릿 이미지는 매칭을 위해 사용되는 기준 이미지임 ―;
제1 호모그래피를 획득하기 위해, 템플릿 이미지의 제1 특징점 및 제2 이미지의 제2 특징점에 대한 특징점 검출을 수행하도록 구성된 검출 모듈(302);
제1 이미지의 제1 광학 흐름 특징점 및 제2 이미지의 제1 타깃 호모그래피에 따라, 그리고 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라, 제2 호모 그래피를 결정하도록 구성된 추적 모듈(303) ― 제2 타깃 호모그래피는 템플릿 이미지에서 제1 이미지까지의 호모그래피임 ―; 및
카메라의 카메라 자세 정보를 획득하기 위해 제1 호모그래피 및 제2 호모그래피에 상보적 필터링 처리를 수행하도록 상보적 필터링 모듈(304)
을 포함한다.
도 11에 기초한 선택적 실시예에서. 도 12에 도시된 바와 같이. 상보적 필터링 모듈(304)은,
제1 호모그래피에 따라 제1 회전 및 이동 매트릭스를 결정하고, 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하도록 구성된 결정 유닛(3041) ― 제1 호모그래피 및 제2 호모그래피는 2차원 정보이고, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스는 3차원 정보임 ―; 및
카메라 자세 정보를 획득하기 위해, 제1 회전 및 이동 매트릭스와 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하도록 구성된 처리 유닛(3042)
을 포함한다.
도 12에 기초한 선택적 실시예에서. 도 13에 도시된 바와 같이. 처리 유닛(3042)은,
제1 필터링 결과를 획득하기 위해, 제1 회전 및 이동 매트릭스를 저역 통과 필터로 입력하도록 구성된 제1 입력 서브유닛(30421);
제2 필터링 결과를 획득하기 위해, 제2 회전 및 이동 매트릭스를 고역 통과 필터로 입력하도록 구성된 제2 입력 서브유닛(30422); 및
제1 필터링 결과 및 제2 필터링 결과에 따라 카메라 자세 정보를 결정하도록 구성된 결정 서브유닛(30423)
을 포함한다.
도 12에 기초한 선택적 실시예에서. 도 14에 도시된 바와 같이. 결정 유닛(3041)은,
제1 호모그래피, 제2 이미지의 원근 투영 매트릭스 및 템플릿 이미지의 원근 투영 매트릭스에 따라 제1 회전 및 이동 매트릭스를 계산하도록 구성된 제1 계산 서브유닛(30411); 및
제2 호모그래피, 제2 이미지의 원근 투영 매트릭스 및 템플릿 이미지의 원근 투영 매트릭스에 따라 제2 회전 및 이동 매트릭스를 계산하도록 구성된 제2 계산 서브유닛(30412)
를 포함한다.
도 11에 기초한 선택적 실시예에서, 도 15에 도시된 바와 같이, 템플릿 이미지는 어레이로 배열된 복수의 그리드에 대응하고,
검출 모듈(302)은,
템플릿 이미지의 제1 특징점을 제2 이미지의 제2 특징점과 매칭시키고, 복수의 그리드 중 각각의 타깃 그리드에서의 특징점 쌍의 세트를 결정하도록 구성된 매칭 모듈(3021) ― 특징점 쌍은, 타깃 그리드에 위치된 제1 특징점, 및 제2 특징점에 있는 특징점이자 제1 특징점에 가장 큰 매칭도를 갖는 특징점을 포함함 ―; 및
타깃 그리드에서의 특징점 쌍들에 따라 템플릿 이미지와 제2 이미지 사이의 제1 호모그래피를 계산하도록 구성된 제1 결정 모듈(3022)
을 포함한다.
도 15에 기초한 선택적 실시예에서, 장치는,
템플릿 이미지의 각각의 이미지 레이어로부터 제1 특징점을 추출하고, 원래 이미지 레이어에서 제1 특징점을 결정하도록 구성된 제1 추출 모듈을 더 포함하고,
원래 이미지 레이어는 템플릿 이미지의 이미지 레이어이고, 원래 이미지 레이어는 복수의 그리드를 포함한다.
도 15에 기초한 선택적 실시예에서, 제1 추출 모듈은,
템플릿 이미지의 제1 이미지 레이어로부터 제1 특징점을 추출하도록 구성된 제1 추출 유닛;
템플릿 이미지의 제2 이미지 레이어로부터 제1 특징점을 추출하도록 구성된 제2 추출 유닛 ― 제1 이미지 레이어 및 제2 이미지 레이어는 서로 다른 크기를 가짐 ―; 및
제1 이미지 레이어의 제1 특징점 및 제2 이미지 레이어의 제1 특징점에 대해 스케일링 처리를 수행하고, 원래 이미지 레이어로의 투영을 수행하도록 구성된 투영 유닛
을 포함한다.
도 15에 기초한 선택적 실시예에서, 장치는,
상기 제2 이미지로부터 제2 특징점을 추출하도록 구성된 제2 추출 모듈을 더 포함하고,
매칭 유닛은,
원래 이미지 레이어의 각각의 타깃 그리드의 제1 특징점을 제2 특징점과 매칭시키고, 상호 매칭되는 선택될 특징점 쌍 중 적어도 한 쌍을 획득하도록 구성된 매칭 유닛 ― 선택될 특징점 쌍들의 각각의 세트는 매칭 점수에 대응함 ―; 및
선택될 특징점 쌍들 중 적어도 한 쌍으로부터 가장 높은 매칭 점수를 갖는 특징점 쌍을 타깃 그리드에서 결정된 특징점 쌍으로 선택하도록 구성된 선택 유닛
을 포함한다.
도 11에 기초한 선택적 실시예에서, 도 16에 도시된 바와 같이, 추적 모듈(303)은,
제1 이미지의 미리 설정된 영역에서 제1 광학 흐름 특징점을 획득하도록 구성된 제1 획득 유닛(3031) ― 미리 설정된 영역은 템플릿 이미지에 대응하는 영역임 ―;
제1 광학 흐름 특징점에 따라 제2 광학 흐름 특징점을 획득하도록 구성된 제2 획득 유닛(3032); 및
제1 광학 흐름 특징점 및 제2 광학 흐름 특징점에 따라 제1 이미지로부터 제2 이미지까지의 제1 타깃 호모그래피를 계산하도록 구성된 제1 계산 유닛(3033)
을 포함한다.
도 15에 기초한 선택적 실시예에서, 장치는,
제2 광학 흐름 특징점의 수량이 임계값에 도달할 수 있도록, 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값보다 작은 경우, q개의 광학 흐름 특징점을 제2 광학 흐름 특징점으로 획득하도록 구성된 제2 획득 모듈
을 더 포함하며, q는 양의 정수이다.
본 출원의 실시예는, 도 17에 도시된 바와 같이, 카메라 자세 정보를 결정하기 위한 다른 장치를 더 제공하며, 설명의 편의를 위해, 본 출원의 실시예와 관련된 부분만이 도시된다. 개시되지 않은 구체적인 기술적 세부사항에 대해서는 본 출원의 실시예의 방법 부분을 참조한다. 단말은 이동 전화, 태블릿 컴퓨터, PDA, POS 또는 차량 내 컴퓨터와 같은 임의의 단말 디바이스일 수 있다. 단말이 이동 전화인 예가 사용된다.
도 17은 본 출원의 실시예에 따른 단말과 관련된 이동 전화의 일부의 구조 블록도이다. 도 17을 참조하면, 이동 전화는 무선 주파수(RF) 회로(410), 메모리(420), 입력 유닛(430), 디스플레이 유닛(440), 센서(450), 오디오 회로(460), 와이파이(WiFi) 모듈(470), 프로세서(480) 및 파워 서플라이(490)와 같은 컴포넌트를 포함한다. 당업자라면, 도 17에 도시된 이동 전화가 이동 전화에 대한 제한을 구성하지 않으며, 이동 전화는 도면에 도시된 것보다 더 많은 컴포넌트 또는 더 적은 컴포넌트를 포함할 수 있거나, 또는 일부 컴포넌트가 결합될 수 있거나, 또는 다른 컴포넌트 배치가 사용될 수 있다.
이하, 도 17을 참조하여 이동 전화의 컴포넌트를 구체적으로 설명한다.
RF 회로(410)는 정보 수신 및 전송 프로세스 또는 호출 프로세스 동안 신호를 수신하고 전송하도록 구성될 수 있다. 구체적으로, RF 회로는 기지국으로부터 다운링크 정보를 수신한 다음, 처리를 위해 다운링크 정보를 프로세서(480)로 전달하고, 관련 업링크 데이터를 기지국으로 전송한다. 일반적으로, RF 회로(410)는 안테나, 적어도 하나의 증폭기, 트랜시버, 커플러, 저잡음 증폭기(low noise amplifier, LNA) 및 듀플렉서를 포함하지만 이에 한정되지는 않는다. 또한, RF 회로(410)는 무선 통신에 의해 네트워크 및 다른 장치와 통신할 수도 있다. 무선 통신은 GSM(Global System for Mobile Communications), GPRS(General Packet Radio Service), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), 이메일, SMS(Short Messaging Service) 등을 포함하지만 이에 한정되지 않는 임의의 통신 표준 또는 프로토콜을 사용할 수 있다.
메모리(420)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성될 수 있다. 프로세서(480)는 메모리(420)에 저장된 소프트웨어 프로그램 및 모듈을 실행하여, 이동 전화의 다양한 기능적 애플리케이션 및 데이터 처리를 구현할 수 있다. 메모리(420)는 주로 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 체제, (사운드 재생 기능 및 이미지 디스플레이 기능과 같은) 적어도 하나의 기능에 필요한 애플리케이션 프로그램 등을 저장할 수 있다. 데이터 저장 영역은 이동 전화의 사용에 따라 생성된 (오디오 데이터 및 주소록과 같은) 데이터 등을 저장할 수 있다. 또한, 메모리(420)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 저장 장치와 같은 비휘발성 메모리, 플래시 메모리, 또는 다른 휘발성 고체 저장 장치를 더 포함할 수 있다.
입력 유닛(430)은 입력 숫자 또는 문자 정보를 수신하고, 이동 전화의 사용자 설정 및 기능 제어와 관련된 키보드 신호 입력을 생성하도록 구성될 수 있다. 구체적으로, 입력 유닛(430)은 터치 패널(431) 및 다른 입력 디바이스(432)를 포함할 수 있다. 터치 스크린으로도 지칭될 수 있는 터치 패널(431)은 (손가락 또는 스타일러스와 같은 임의의 적절한 객체 또는 액세서리를 사용하여 터치 패널(431) 상에서 또는 그 근처에서의 사용자의 작동과 같은) 터치 패널 상에서 또는 근처에서 사용자의 터치 작동을 수집할 수 있고, 미리 설정된 프로그램에 따라 대응하는 연결 장치를 구동할 수 있다. 선택적으로, 터치 패널(431)은 터치 검출 장치 및 터치 제어기로 구서어되는 두 부분을 포함할 수 있다. 터치 검출 장치는 사용자의 터치 위치를 검출하고, 터치 작동에 의해 생성된 신호를 검출하며, 그 신호를 터치 제어기에 전달한다. 터치 제어기는 터치 검출 장치로부터 터치 정보를 수신하고, 터치 정보를 터치 포인트 좌표로 변환하며, 터치 포인트 좌표를 프로세서(480)에 전송한다. 또한, 터치 제어기는 프로세서(480)에 의해 전송된 명령을 수신하고 실행할 수 있다. 또한, 터치 패널(431)은 저항성, 용량성, 적외선 또는 표면 음파 유형 터치 패널과 같은 다수의 유형을 사용하여 구현될 수 있다. 터치 패널(431)에 더하여, 입력 유닛(430)은 다른 입력 디바이스(432)를 더 포함할 수 있다. 구체적으로, 다른 입력 디바이스(432)는 물리적 키보드, (볼륨 제어 키 또는 스위치 키와 같은) 기능 키, 트랙볼, 마우스 및 조이스틱 중 하나 이상을 포함할 수 있지만 이것으로 한정되지는 않는다.
디스플레이 유닛(440)은 사용자에 의해 입력된 정보 또는 사용자에게 제공되는 정보 및 이동 전화의 다양한 메뉴를 디스플레이하도록 구성될 수 있다. 디스플레이 유닛(440)은 디스플레이 패널(441)을 포함할 수 있다. 선택적으로, 디스플레이 패널(441)은 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 등을 사용하여 구성될 수 있다. 또한, 터치 패널(431)은 디스플레이 패널(441)을 덮을 수 있다. 터치 패널(431) 상에서 또는 그 근처에서 터치 작동을 검출한 후, 터치 패널(431)은 터치 이벤트의 유형을 결정하기 위해 터치 작동을 프로세서(480)로 전달한다. 그 후, 프로세서(480)는 터치 이벤트의 유형에 따라 디스플레이 패널(441)에 대응하는 시각적 출력을 제공한다. 비록, 도 17에서, 터치 패널(431) 및 디스플레이 패널(441)이 이동 전화의 입력 및 출력 기능을 구현하기 위해 2개의 별개의 부분으로서 사용되지만, 일부 실시예에서, 터치 패널(431) 및 디스플레이 패널(441)은 이동 전화의 입력 및 출력을 구현하기 위해 통합될 수 있다.
이동 전화는 광학 센서, 모션 센서 및 다른 센서와 같은 적어도 하나의 센서(450)를 더 포함할 수 있다. 구체적으로, 광학 센서는 주변 광 센서 및 근접 센서를 포함할 수 있다. 주변 광 센서는 주변 광의 밝기에 따라 디스플레이 패널(441)의 휘도를 조절할 수 있다. 근접 센서는 이동 전화가 귀로 이동되는 경우 디스플레이 패널(441) 및/또는 백라이트를 끌 수 있다. 모션 센서의 한 가지 유형으로서, 가속도 센서는 다양한 방향에서(일반적으로 3개의 축상에서) 가속도의 크기를 검출할 수 있고, 정적인 경우 중력의 크기 및 방향을 검출할 수 있으며, 이동 전화의 자세(예를 들어, 가로 방향과 세로 방향 사이의 전환, 관련 게임 및 자력계 자세 교정), (만보계 및 노크와 같은) 진동 인식과 관련된 기능 등을 인식하는 애플리케이션에 적용될 수 있다. 이동 전화에서 구성될 수 있는 자이로스코프(gyroscope), 기압계, 습도계, 온도계 및 적외선 센서와 같은 다른 센서는 본 명세서에서 더 설명되지 않는다.
오디오 회로(460), 라우드스피커(461) 및 마이크로폰(462)은 사용자와 이동 전화 사이의 오디오 인터페이스를 제공할 수 있다. 오디오 회로(460)는 수신된 오디오 데이터를 전기 신호로 변환하고 전기 신호를 라우드스피커(461)로 전송할 수 있다. 라우드스피커(461)는 전기 신호를 출력을 위한 사운드 신호로 변환한다. 한편, 마이크로폰(462)은 수집된 사운드 신호를 전기 신호로 변환한다. 오디오 회로(460)는 전기 신호를 수신하고 전기 신호를 오디오 데이터로 변환하며, 처리를 위해 오디오 데이터를 프로세서(480)에게 출력한다. 그 후, 프로세서(480)는 RF 회로(410)를 사용하여 오디오 데이터를 예를 들어 다른 이동 전화로 전송하거나, 또는 추가 처리를 위해 오디오 데이터를 메모리(420)로 출력한다.
WiFi는 근거리 무선 전송 기술이다. 이동 전화는 WiFi 모듈(470)을 사용하여 사용자가 이메일을 수신하고 전송하며, 웹 페이지를 탐색하고, 스트리밍 미디어에 액세스하는 등의 작업을 수행할 수 있도록 하여, 사용자에게 무선 광대역 인터넷 액세스를 제공한다. 비록 도 17이 WiFi 모듈(470)을 도시하지만, WiFi 모듈(470)은 이동 전화의 필수 컴포넌트가 아니며, 필요한 경우, 본 개시의 본질의 범위가 변경되지 않는 한 WiFi 모듈(470)은 생략될 수 있음을 이해할 수 있다.
프로세서(480)는 이동 전화의 제어 센터이며, 다양한 인터페이스 및 라인을 사용하여 이동 전화의 다양한 부분에 연결된다. 메모리(420)에 저장된 소프트웨어 프로그램 및/또는 모듈을 운용하거나 또는 실행하고, 메모리(420)에 저장된 데이터를 호출하여, 프로세서(480)가 이동 전화의 다양한 기능 및 데이터 처리를 수행함으로써, 이동 전화에 대한 전반적인 모니터링을 수행할 수 있다. 선택적으로, 프로세서(480)는 하나 이상의 처리 유닛을 포함할 수 있다. 선택적으로, 프로세서(480)는 애플리케이션 프로세서 및 모뎀 프로세서를 통합할 수 있다. 애플리케이션 프로세서는 주로 운영 체제, 사용자 인터페이스, 애플리케이션 프로그램 등을 처리한다. 모뎀 프로세서는 주로 무선 통신을 처리한다. 전술한 모뎀 프로세서는 다르게는 프로세서(480)에 통합되지 않을 수 있다는 것이 이해될 수 있다.
이동 전화는 컴포넌트에 전력을 공급하기 위한 (배터리와 같은) 파워 서플라이(490)를 더 포함한다. 선택적으로, 파워 서플라이는 전원 관리 시스템을 사용하여 프로세서(480)에 논리적으로 연결됨으로써, 전원 관리 시스템을 사용하여 충전, 방전 및 전력 소비 관리와 같은 기능을 구현할 수 있다.
도면에 도시되지는 않았지만, 이동 전화는 카메라, 블루투스 모듈 등을 더 포함할 수 있으며, 여기에서는 더 설명되지 않는다.
본 출원의 본 실시예에서, 단말에 포함된 메모리(420)는 프로그램을 저장하도록 구성되고, 프로세서(480)는 전술한 실시예에 따라 카메라 자세 정보를 결정하기 위한 방법을 구현하기 위해 메모리(420) 내의 프로그램을 실행하도록 구성된다.
본 출원의 본 실시예에서, 컴퓨터 판독 가능 저장 매체가 추가로 제공되며, 컴퓨터 판독 가능 저장 매체는 명령을 저장하고, 컴퓨터에서 실행되는 경우, 그 명령은 컴퓨터로 하여금 전술한 실시예에 따라 카메라 자세 정보를 결정하기 위한 방법을 수행하도록 한다.
당업자는, 간단하고 명확한 설명을 위해, 전술한 시스템, 장치 및 유닛의 구체적인 작업 프로세스에 대해, 전술한 방법 실시예에서의 대응하는 프로세스가 참조될 수 있음을 명확하게 이해할 수 있으며, 세부사항은 여기서 다시 설명되지 않는다.
본 출원에서 제공되는 여러 실시예들에서, 개시된 시스템, 장치, 및 방법은 다른 방식들로 구현될 수 있다는 점이 이해되어야 한다. 예를 들어, 전술한 장치 실시예는 단지 예시적인 것이다. 예를 들어, 유닛 분할은 논리적 기능 분할일 뿐이며, 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛들 또는 컴포넌트들이 다른 시스템에 결합 또는 통합될 수 있거나, 또는 일부 특징들이 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스들을 통해 구현될 수 있다. 장치들 또는 유닛들 사이의 간접 결합 또는 통신 연결은 전기적, 기계적, 또는 다른 형태로 구현될 수 있다.
별도의 부품으로 설명된 유닛들은 물리적으로 분리되어 있거나 분리되어 있지 않을 수 있으며, 유닛으로 표시되는 부품들은 물리적 유닛일 수도 있고 아닐 수도 있으며, 한 위치에 있을 수도 있고 복수의 네트워크 유닛에 분산될 수도 있다. 이러한 유닛들의 일부 또는 전부는 실시예들의 해결수단들의 목적들을 달성하기 위해 실제 요구들에 따라 선택될 수 있다.
또한, 본 출원의 실시예들에서의 기능 유닛들은 하나의 처리 유닛으로 통합될 수 있거나, 또는 유닛들 각각은 물리적으로 단독으로 존재할 수 있거나, 또는 둘 이상의 유닛들이 하나의 유닛으로 통합된다. 통합된 유닛은 하드웨어 형태로 구현될 수 있거나, 또는 소프트웨어 기능 유닛 형태로 구현될 수 있다.
소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로 판매되거나 사용되는 경우, 통합된 유닛은 또한 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본 출원의 기술적 해결수단, 또는 본질적으로 종래 기술에 기여하는 부분, 또는 기술적 해결수단의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 이 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고, (개인용 컴퓨터, 서버, 네트워크 장치 등인) 컴퓨터 장치가 본 출원의 실시예에서 설명된 방법의 단계 전부 또는 일부를 수행하도록 명령하는 여러 개의 명령을 포함한다. 전술한 저장 매체는, USB 플래시 드라이브, 착탈 가능한 하드 디스크, 판독 전용 메모리(read-only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 자기 디스크, 또는 광 디스크와 같은, 프로그램 코드를 저장할 수 있는 임의의 저장 매체를 포함한다.
전술한 실시예는 단지 본 출원의 기술적 해결수단을 설명하기 위해 제공될 뿐이며, 본 출원의 제한하고자 하는 것이 아니다. 본 출원이 전술한 실시예들을 참조하여 상세하게 설명되었지만, 이러한 수정 또는 대체로 인해 대응하는 기술적 해결수단의 본질이 본 출원의 사상 및 범위를 벗어나지 않는 한, 전술한 실시예들에서 설명된 기술적 해결수단들에 대한 수정이 가해질 수 있거나, 또는 균등한 대체가 기술적 해결수단에서의 일부 기술적 특징에 대해 행해질 수 있다는 것이 당업자에 의해 이해되어야 한다.
Claims (22)
- 카메라 자세 정보를 결정하기 위한 방법으로서,
상기 카메라 자세 정보를 결정하기 위한 방법은 카메라를 구비한 이동 단말에 적용되고,
상기 카메라 자세 정보를 결정하기 위한 방법은,
제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하는 단계 ― 상기 제1 이미지는 상기 제2 이미지의 이전 이미지 프레임이고, 상기 제1 이미지 및 상기 제2 이미지는 상기 카메라에 의해 수집된 이미지이며, 상기 템플릿 이미지는 매칭에 사용되는 기준 이미지임 ―;
제1 호모그래피(homography)를 획득하기 위해, 상기 템플릿 이미지 내의 제1 특징점(feature point) 및 상기 제2 이미지 내의 제2 특징점에 대해 특징점 검출을 수행하는 단계;
상기 제1 이미지 내의 제1 광학 흐름 특징점(optical flow feature point) 및 상기 제2 이미지 내의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하고 그리고 상기 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 호모그래피를 결정하는 단계 ― 상기 제2 타깃 호모그래피는 상기 템플릿 이미지로부터 상기 제1 이미지까지의 호모그래피임 ―; 및
상기 카메라의 카메라 자세 정보를 획득하기 위해, 상기 제1 호모그래피 및 상기 제2 호모그래피에 대해 상보적 필터링 처리(comlementary filtering processing)를 수행하는 단계
를 포함하는 카메라 자세 정보를 결정하기 위한 방법. - 제1항에 있어서,
상기 카메라의 카메라 자세 정보를 획득하기 위해, 상기 제1 호모그래피 및 상기 제2 호모그래피에 대해 상보적 필터링 처리를 수행하는 작동은,
상기 제1 호모그래피에 따라 제1 회전 및 이동 매트릭스를 결정하고, 상기 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하는 단계 ― 상기 제1 호모그래피 및 상기 제2 호모그래피는 2차원 정보이고, 상기 제1 회전 및 이동 매트릭스와 상기 제2 회전 및 이동 매트릭스는 3차원 정보임 ―; 및
상기 카메라 자세 정보를 획득하기 위해, 상기 제1 회전 및 이동 매트릭스와 상기 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 단계
를 포함하는, 카메라 자세 정보를 결정하기 위한 방법. - 제2항에 있어서,
상기 카메라 자세 정보를 획득하기 위해, 상기 제1 회전 및 이동 매트릭스와 상기 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하는 작동은,
제1 필터링 결과를 획득하기 위해, 상기 제1 회전 및 이동 매트릭스를 저역 통과 필터로 입력하는 단계;
제2 필터링 결과를 획득하기 위해, 상기 제2 회전 및 이동 매트릭스를 고역 통과 필터로 입력하는 단계; 및
상기 제1 필터링 결과 및 상기 제2 필터링 결과에 따라 상기 카메라 자세 정보를 결정하는 단계
를 포함하는, 카메라 자세 정보를 결정하기 위한 방법. - 제2항에 있어서,
상기 제1 호모그래피에 따라 제1 회전 및 이동 매트릭스를 결정하고, 상기 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하는 작동은,
상기 제1 호모그래피, 상기 제2 이미지의 원근 투영 매트릭스(perspective projection matrix) 및 상기 템플릿 이미지의 원근 투영 매트릭스에 따라 상기 제1 회전 및 이동 매트릭스를 계산하는 단계; 및
상기 제2 호모그래피, 상기 제2 이미지의 원근 투영 매트릭스 및 상기 템플릿 이미지의 원근 투영 매트릭스에 따라 상기 제2 회전 및 이동 매트릭스를 계산하는 단계
를 포함하는, 카메라 자세 정보를 결정하기 위한 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 템플릿 이미지는 어레이로 배열된 복수의 그리드에 대응하고,
상기 제1 호모그래피를 획득하기 위해, 상기 템플릿 이미지 내의 제1 특징점 및 상기 제2 이미지 내의 제2 특징점에 대해 특징점 검출을 수행하는 작동은,
상기 템플릿 이미지 내의 제1 특징점을 상기 제2 이미지 내의 제2 특징점과 매칭시키고, 상기 복수의 그리드의 각각의 타깃 그리드에서 특징점 쌍의 세트를 결정하는 단계 ― 상기 특징점 쌍은, 상기 타깃 그리드에 위치한 제1 특징점과, 상기 제2 특징점 내에 있는 특징점이자 또한 상기 제1 특징점과 가장 큰 매칭도(matching degree)를 갖는 특징점을 포함함 ―; 및
상기 타깃 그리드 내의 특징점 쌍에 따라 상기 템플릿 이미지와 상기 제2 이미지 사이의 상기 제1 호모그래피를 계산하는 단계
를 포함하는, 카메라 자세 정보를 결정하기 위한 방법. - 제5항에 있어서,
상기 템플릿 이미지의 각각의 이미지 레이어로부터 상기 제1 특징점을 추출하고, 원래의 이미지 레이어에서 상기 제1 특징점을 결정하는 단계
를 더 포함하고,
상기 원래의 이미지 레이어는 상기 템플릿 이미지의 이미지 레이어이고, 상기 원래의 이미지 레이어는 상기 복수의 그리드를 포함하는,
카메라 자세 정보를 결정하기 위한 방법. - 제6항에 있어서,
상기 템플릿 이미지의 각각의 이미지 레이어로부터 상기 제1 특징점을 추출하고, 원래의 이미지 레이어에서 상기 제1 특징점을 결정하는 작동은,
상기 템플릿 이미지의 제1 이미지 레이어로부터 상기 제1 특징점을 추출하는 단계;
상기 템플릿 이미지의 제2 이미지 레이어로부터 상기 제1 특징점을 추출하는 단계 ― 상기 제1 이미지 레이어 및 상기 제2 이미지 레이어는 서로 다른 크기를 가짐 ―; 및
상기 제1 이미지 레이어 내의 제1 특징점 및 상기 제2 이미지 레이어 내의 제1 특징점에 대해 스케일링 처리를 수행하고, 상기 원래의 이미지 레이어로의 투영을 수행하는 단계
를 포함하는, 카메라 자세 정보를 결정하기 위한 방법. - 제5항에 있어서,
상기 템플릿 이미지 내의 제1 특징점을 상기 제2 이미지 내의 제2 특징점과 매칭시키기 전에,
상기 제2 이미지로부터 상기 제2 특징점을 추출하는 단계
를 더 포함하고,
상기 템플릿 이미지 내의 제1 특징점을 상기 제2 이미지 내의 제2 특징점과 매칭시키고, 상기 복수의 그리드의 각각의 타깃 그리드에서 특징점 쌍의 세트를 결정하는 작동은,
원래의 이미지 레이어의 각각의 타깃 그리드 내의 제1 특징점을 상기 제2 특징점과 매칭시키고, 상호 매칭되는 선택될 특징점 쌍 중 적어도 한 쌍을 획득하는 단계 ― 상기 선택될 특징점 쌍의 세트 각각은 매칭 점수에 대응하고, 상기 원래의 이미지 레이어는 상기 템플릿 이미지의 이미지 레이어이고, 상기 원래의 이미지 레이어는 상기 복수의 그리드를 포함함 ―; 및
상기 선택될 특징점 쌍 중 적어도 한 쌍으로부터 가장 높은 매칭 점수를 갖는 특징점 쌍을 상기 타깃 그리드에서 결정된 특징점 쌍으로서 선택하는 단계
를 포함하는, 카메라 자세 정보를 결정하기 위한 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 이미지 내의 제1 광학 흐름 특징점 및 상기 제2 이미지 내의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하는 작동은,
상기 제1 이미지의 미리 설정된 영역에서 상기 제1 광학 흐름 특징점을 획득하는 단계 ― 상기 미리 설정된 영역은 상기 템플릿 이미지에 대응하는 영역임 ―;
상기 제1 광학 흐름 특징점에 따라 상기 제2 광학 흐름 특징점을 획득하는 단계; 및
상기 제1 광학 흐름 특징점 및 상기 제2 광학 흐름 특징점에 따라 상기 제1 이미지로부터 상기 제2 이미지까지의 상기 제1 타깃 호모그래피를 계산하는 단계
를 포함하는, 카메라 자세 정보를 결정하기 위한 방법. - 제9항에 있어서,
상기 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값에 도달할 수 있도록, 상기 제2 광학 흐름 특징점의 수량이 상기 미리 설정된 임계값보다 작은 경우, q개의 광학 흐름 특징점을 상기 제2 광학 흐름 특징점으로서 획득하는 단계
를 더 포함하고,
q는 양의 정수인, 카메라 자세 정보를 결정하기 위한 방법. - 카메라 자세 정보를 결정하기 위한 장치로서,
상기 카메라 자세 정보를 결정하기 위한 장치는 카메라를 구비하고,
상기 카메라 자세 정보를 결정하기 위한 장치는,
제1 이미지, 제2 이미지 및 템플릿 이미지를 획득하도록 구성된 제1 획득 모듈 ― 상기 제1 이미지는 상기 제2 이미지의 이전 이미지 프레임이고, 상기 제1 이미지 및 상기 제2 이미지는 상기 카메라에 의해 수집된 이미지이며, 상기 템플릿 이미지는 매칭에 사용되는 기준 이미지임 ―;
제1 호모그래피를 획득하기 위해, 상기 템플릿 이미지 내의 제1 특징점 및 상기 제2 이미지 내의 제2 특징점에 대해 특징점 검출을 수행하도록 구성된 검출 모듈;
상기 제1 이미지 내의 제1 광학 흐름 특징점 및 상기 제2 이미지 내의 제2 광학 흐름 특징점에 따라 제1 타깃 호모그래피를 결정하고, 상기 제1 타깃 호모그래피 및 제2 타깃 호모그래피에 따라 제2 호모그래피를 결정하도록 구성된 추적 모듈 ― 상기 제2 타깃 호모그래피는 상기 템플릿 이미지로부터 상기 제1 이미지까지의 호모그래피임 ―; 및
상기 카메라의 카메라 자세 정보를 획득하기 위해, 상기 제1 호모그래피 및 상기 제2 호모그래피에 대해 상보적 필터링 처리를 수행하도록 구성된 상보적 필터링 모듈
을 포함하는 카메라 자세 정보를 결정하기 위한 장치. - 제11항에 있어서,
상기 상보적 필터링 모듈은,
상기 제1 호모그래피에 따라 제1 회전 및 이동 매트릭스를 결정하고, 상기 제2 호모그래피에 따라 제2 회전 및 이동 매트릭스를 결정하도록 구성된 결정 유닛 ― 상기 제1 호모그래피 및 상기 제2 호모그래피는 2차원 정보이고, 상기 제1 회전 및 이동 매트릭스와 상기 제2 회전 및 이동 매트릭스는 3차원 정보임 ―; 및
상기 카메라 자세 정보를 획득하기 위해, 상기 제1 회전 및 이동 매트릭스와 상기 제2 회전 및 이동 매트릭스에 대해 상보적 필터링 처리를 수행하도록 구성된 처리 유닛
을 포함하는, 카메라 자세 정보를 결정하기 위한 장치. - 제12항에 있어서,
상기 처리 유닛은,
제1 필터링 결과를 획득하기 위해, 상기 제1 회전 및 이동 매트릭스를 저역 통과 필터로 입력하도록 구성된 제1 입력 서브유닛;
제2 필터링 결과를 획득하기 위해, 상기 제2 회전 및 이동 매트릭스를 고역 통과 필터로 입력하도록 구성된 제2 입력 서브유닛; 및
상기 제1 필터링 결과 및 상기 제2 필터링 결과에 따라 상기 카메라 자세 정보를 결정하도록 구성된 결정 서브유닛
을 포함하는, 카메라 자세 정보를 결정하기 위한 장치. - 제12항에 있어서,
상기 결정 유닛은,
상기 제1 호모그래피, 상기 제2 이미지의 원근 투영 매트릭스 및 상기 템플릿 이미지의 원근 투영 매트릭스에 따라 상기 제1 회전 및 이동 매트릭스를 계산하도록 구성된 제1 계산 서브유닛; 및
상기 제2 호모그래피, 상기 제2 이미지의 원근 투영 매트릭스 및 상기 템플릿 이미지의 원근 투영 매트릭스에 따라 상기 제2 회전 및 이동 매트릭스를 계산하도록 구성된 제2 계산 서브유닛
을 포함하는, 카메라 자세 정보를 결정하기 위한 장치. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 템플릿 이미지는 어레이로 배열된 복수의 그리드에 대응하고,
상기 검출 모듈은,
상기 템플릿 이미지 내의 제1 특징점을 상기 제2 이미지 내의 제2 특징점과 매칭시키고, 상기 복수의 그리드의 각각의 타깃 그리드에서 특징점 쌍의 세트를 결정하도록 구성된 매칭 모듈 ― 상기 특징점 쌍은, 상기 타깃 그리드에 위치한 제1 특징점과, 상기 제2 특징점 내에 있는 특징점이자 또한 상기 제1 특징점과 가장 큰 매칭도를 갖는 특징점을 포함함 ―; 및
상기 타깃 그리드 내의 특징점 쌍에 따라 상기 템플릿 이미지와 상기 제2 이미지 사이의 상기 제1 호모그래피를 계산하도록 구성된 제1 결정 모듈
을 포함하는, 카메라 자세 정보를 결정하기 위한 장치. - 제15항에 있어서,
상기 카메라 자세 정보를 결정하기 위한 장치는,
상기 템플릿 이미지의 각각의 이미지 레이어로부터 상기 제1 특징점을 추출하고, 원래의 이미지 레이어에서 상기 제1 특징점을 결정하도록 구성된 제1 추출 모듈
을 더 포함하고,
상기 원래의 이미지 레이어는 상기 템플릿 이미지의 이미지 레이어이고, 상기 원래의 이미지 레이어는 상기 복수의 그리드를 포함하는,
카메라 자세 정보를 결정하기 위한 장치. - 제16항에 있어서,
상기 제1 추출 모듈은,
상기 템플릿 이미지의 제1 이미지 레이어로부터 상기 제1 특징점을 추출하도록 구성된 제1 추출 유닛;
상기 템플릿 이미지의 제2 이미지 레이어로부터 상기 제1 특징점을 추출하도록 구성된 제2 추출 유닛 ― 상기 제1 이미지 레이어 및 상기 제2 이미지 레이어는 서로 다른 크기를 가짐 ―; 및
상기 제1 이미지 레이어 내의 제1 특징점 및 상기 제2 이미지 레이어 내의 제1 특징점에 대해 스케일링 처리를 수행하고, 상기 원래의 이미지 레이어로의 투영을 수행하도록 구성된 투영 유닛
을 포함하는, 카메라 자세 정보를 결정하기 위한 장치. - 제15항에 있어서,
상기 카메라 자세 정보를 결정하기 위한 장치는,
상기 제2 이미지로부터 상기 제2 특징점을 추출하도록 구성된 제2 추출 모듈
을 더 포함하고,
상기 매칭 모듈은,
원래의 이미지 레이어의 각각의 타깃 그리드 내의 제1 특징점을 상기 제2 특징점과 매칭시키고, 상호 매칭되는 선택될 특징점 쌍 중 적어도 한 쌍을 획득하도록 구성된 매칭 유닛 ― 상기 선택될 특징점 쌍의 세트 각각은 매칭 점수에 대응하고, 상기 원래의 이미지 레이어는 상기 템플릿 이미지의 이미지 레이어이고, 상기 원래의 이미지 레이어는 상기 복수의 그리드를 포함함 ―; 및
상기 선택될 특징점 쌍 중 적어도 한 쌍으로부터 가장 높은 매칭 점수를 갖는 특징점 쌍을 상기 타깃 그리드에서 결정된 특징점 쌍으로서 선택하도록 구성된 선택 유닛
을 포함하는, 카메라 자세 정보를 결정하기 위한 장치. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 추적 모듈은,
상기 제1 이미지의 미리 설정된 영역에서 상기 제1 광학 흐름 특징점을 획득하도록 구성된 제1 획득 유닛 ― 상기 미리 설정된 영역은 상기 템플릿 이미지에 대응하는 영역임 ―;
상기 제1 광학 흐름 특징점에 따라 상기 제2 광학 흐름 특징점을 획득하도록 구성된 제2 획득 유닛; 및
상기 제1 광학 흐름 특징점 및 상기 제2 광학 흐름 특징점에 따라 상기 제1 이미지로부터 상기 제2 이미지까지의 상기 제1 타깃 호모그래피를 계산하도록 구성된 제1 계산 유닛
을 포함하는, 카메라 자세 정보를 결정하기 위한 장치. - 제19항에 있어서,
상기 카메라 자세 정보를 결정하기 위한 장치는,
상기 제2 광학 흐름 특징점의 수량이 미리 설정된 임계값에 도달할 수 있도록, 상기 제2 광학 흐름 특징점의 수량이 상기 미리 설정된 임계값보다 작은 경우, q개의 광학 흐름 특징점을 상기 제2 광학 흐름 특징점으로서 획득하도록 구성된 제2 획득 모듈
을 더 포함하고,
q는 양의 정수인, 카메라 자세 정보를 결정하기 위한 장치. - 이동 단말로서,
카메라, 프로세서 및 메모리를 포함하고,
상기 메모리는 프로그램을 저장하도록 구성되고,
상기 프로세서는 상기 메모리 내의 상기 프로그램을 실해하여 상기 이동 단말로 하여금 청구항 1 내지 청구항 4 중 어느 한 항에 따른 카메라 자세 정보를 결정하기 위한 방법을 실행하게 하도록 구성되는,
이동 단말. - 컴퓨터 판독 가능 저장 매체로서,
컴퓨터 상에서 실행되는 경우, 상기 컴퓨터로 하여금 청구항 1 내지 청구항 4 중 어느 한 항에 따른 카메라 자세 정보를 결정하기 위한 방법을 수행하게 하는 명령을 포함하는,
컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710552105.1 | 2017-07-07 | ||
| CN201710552105.1A CN109215077B (zh) | 2017-07-07 | 2017-07-07 | 一种相机姿态信息确定的方法及相关装置 |
| PCT/CN2018/093418 WO2019007258A1 (zh) | 2017-07-07 | 2018-06-28 | 相机姿态信息的确定方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190127838A KR20190127838A (ko) | 2019-11-13 |
| KR102319207B1 true KR102319207B1 (ko) | 2021-10-28 |
Family
ID=64797133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197030212A KR102319207B1 (ko) | 2017-07-07 | 2018-06-28 | 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US10963727B2 (ko) |
| EP (1) | EP3579192B1 (ko) |
| JP (1) | JP6824433B2 (ko) |
| KR (1) | KR102319207B1 (ko) |
| CN (2) | CN110517319B (ko) |
| TW (1) | TWI683259B (ko) |
| WO (1) | WO2019007258A1 (ko) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517319B (zh) * | 2017-07-07 | 2022-03-15 | 腾讯科技（深圳）有限公司 | 一种相机姿态信息确定的方法及相关装置 |
| CN107590453B (zh) * | 2017-09-04 | 2019-01-11 | 腾讯科技（深圳）有限公司 | 增强现实场景的处理方法、装置及设备、计算机存储介质 |
| US11113837B2 (en) * | 2019-10-25 | 2021-09-07 | 7-Eleven, Inc. | Sensor mapping to a global coordinate system |
| US11292129B2 (en) * | 2018-11-21 | 2022-04-05 | Aivot, Llc | Performance recreation system |
| CN111563840B (zh) * | 2019-01-28 | 2023-09-05 | 北京魔门塔科技有限公司 | 分割模型的训练方法、装置、位姿检测方法及车载终端 |
| US20220156958A1 (en) * | 2019-02-22 | 2022-05-19 | Ryuichi Oka | Moving image distance calculator and computer-readable storage medium storing moving image distance calculation program |
| CN110503604B (zh) * | 2019-07-31 | 2022-04-29 | 武汉大学 | 一种基于高精度pos的航空面阵影像实时正射拼接方法 |
| CN110880160B (zh) * | 2019-11-14 | 2023-04-18 | Oppo广东移动通信有限公司 | 图片帧超分方法、装置、终端设备及计算机可读存储介质 |
| CN111080683B (zh) * | 2019-12-09 | 2023-06-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111179309A (zh) * | 2019-12-19 | 2020-05-19 | 联想(北京)有限公司 | 一种跟踪方法及设备 |
| CN116797971A (zh) * | 2019-12-31 | 2023-09-22 | 支付宝实验室(新加坡)有限公司 | 一种视频流识别方法及装置 |
| CN111598927B (zh) * | 2020-05-18 | 2023-08-01 | 京东方科技集团股份有限公司 | 一种定位重建方法和装置 |
| CN111578839B (zh) * | 2020-05-25 | 2022-09-20 | 阿波罗智联(北京)科技有限公司 | 障碍物坐标处理方法、装置、电子设备及可读存储介质 |
| CN111681282A (zh) * | 2020-06-18 | 2020-09-18 | 浙江大华技术股份有限公司 | 一种栈板识别处理方法及装置 |
| CN111768454B (zh) * | 2020-08-05 | 2023-12-22 | 腾讯科技（深圳）有限公司 | 位姿确定方法、装置、设备及存储介质 |
| CN112085789A (zh) * | 2020-08-11 | 2020-12-15 | 深圳先进技术研究院 | 位姿估计方法、装置、设备及介质 |
| CN112066988B (zh) * | 2020-08-17 | 2022-07-26 | 联想(北京)有限公司 | 定位方法及定位设备 |
| CN112150558B (zh) * | 2020-09-15 | 2024-04-12 | 阿波罗智联(北京)科技有限公司 | 用于路侧计算设备的障碍物三维位置获取方法及装置 |
| CN113141518B (zh) * | 2021-04-20 | 2022-09-06 | 北京安博盛赢教育科技有限责任公司 | 直播课堂中视频帧图像的控制方法、控制装置 |
| US20230031480A1 (en) * | 2021-07-28 | 2023-02-02 | Htc Corporation | System for tracking camera and control method thereof |
| CN113628275B (zh) * | 2021-08-18 | 2022-12-02 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 一种充电口位姿估计方法、系统、充电机器人及存储介质 |
| CN113837949B (zh) * | 2021-08-19 | 2024-01-19 | 广州医软智能科技有限公司 | 一种图像处理方法和装置 |
| WO2023068527A1 (ko) * | 2021-10-18 | 2023-04-27 | 삼성전자 주식회사 | 콘텐트를 식별하기 위한 전자 장치 및 방법 |
| CN114782447B (zh) * | 2022-06-22 | 2022-09-09 | 小米汽车科技有限公司 | 路面检测方法、装置、车辆、存储介质及芯片 |
| CN115937305A (zh) * | 2022-06-28 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像处理方法、装置及电子设备 |
| CN115861428B (zh) * | 2023-02-27 | 2023-07-14 | 广东粤港澳大湾区硬科技创新研究院 | 一种位姿测量方法、装置、终端设备及存储介质 |
| CN116580083B (zh) * | 2023-07-13 | 2023-09-22 | 深圳创维智慧科技有限公司 | 摄像设备的位姿估计方法、装置、电子设备及存储介质 |
| CN116645400B (zh) * | 2023-07-21 | 2023-12-08 | 江西红声技术有限公司 | 视觉及惯性混合位姿跟踪方法、系统、头盔及存储介质 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7403658B2 (en) * | 2005-04-15 | 2008-07-22 | Microsoft Corporation | Direct homography computation by local linearization |
| JP5434608B2 (ja) * | 2010-01-08 | 2014-03-05 | トヨタ自動車株式会社 | 測位装置及び測位方法 |
| EP2375376B1 (en) * | 2010-03-26 | 2013-09-11 | Alcatel Lucent | Method and arrangement for multi-camera calibration |
| CN102375984B (zh) * | 2010-08-06 | 2014-02-26 | 夏普株式会社 | 特征量计算装置、图像连接装置、图像检索装置及特征量计算方法 |
| US8855406B2 (en) * | 2010-09-10 | 2014-10-07 | Honda Motor Co., Ltd. | Egomotion using assorted features |
| CN102088569B (zh) * | 2010-10-13 | 2013-06-19 | 首都师范大学 | 低空无人飞行器序列图像拼接方法和系统 |
| US9208563B2 (en) * | 2010-12-21 | 2015-12-08 | Metaio Gmbh | Method for determining a parameter set designed for determining the pose of a camera and/or for determining a three-dimensional structure of the at least one real object |
| KR101207535B1 (ko) * | 2010-12-31 | 2012-12-03 | 한양대학교 산학협력단 | 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법 |
| EP2668617A1 (en) * | 2011-01-27 | 2013-12-04 | Metaio GmbH | Method for determining correspondences between a first and a second image, and method for determining the pose of a camera |
| JP2012164188A (ja) * | 2011-02-08 | 2012-08-30 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| KR101755687B1 (ko) * | 2011-04-01 | 2017-07-07 | 에스케이 주식회사 | 촬영화상의 카메라 자세 추정 시스템 및 방법 |
| US9020187B2 (en) * | 2011-05-27 | 2015-04-28 | Qualcomm Incorporated | Planar mapping and tracking for mobile devices |
| US20150029222A1 (en) * | 2011-11-29 | 2015-01-29 | Layar B.V. | Dynamically configuring an image processing function |
| US8965057B2 (en) * | 2012-03-02 | 2015-02-24 | Qualcomm Incorporated | Scene structure-based self-pose estimation |
| JP5465299B2 (ja) * | 2012-09-21 | 2014-04-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| US9418480B2 (en) * | 2012-10-02 | 2016-08-16 | Augmented Reailty Lab LLC | Systems and methods for 3D pose estimation |
| KR20140108828A (ko) * | 2013-02-28 | 2014-09-15 | 한국전자통신연구원 | 카메라 트래킹 장치 및 방법 |
| US20140369557A1 (en) * | 2013-06-14 | 2014-12-18 | Qualcomm Incorporated | Systems and Methods for Feature-Based Tracking |
| US9336440B2 (en) * | 2013-11-25 | 2016-05-10 | Qualcomm Incorporated | Power efficient use of a depth sensor on a mobile device |
| CN104050475A (zh) * | 2014-06-19 | 2014-09-17 | 樊晓东 | 基于图像特征匹配的增强现实的系统和方法 |
| KR101666959B1 (ko) * | 2015-03-25 | 2016-10-18 | ㈜베이다스 | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 |
| JP6464934B2 (ja) * | 2015-06-11 | 2019-02-06 | 富士通株式会社 | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム |
| US10129527B2 (en) * | 2015-07-16 | 2018-11-13 | Google Llc | Camera pose estimation for mobile devices |
| CN105043392B (zh) * | 2015-08-17 | 2018-03-02 | 中国人民解放军63920部队 | 一种飞行器位姿确定方法及装置 |
| CN105069809B (zh) * | 2015-08-31 | 2017-10-03 | 中国科学院自动化研究所 | 一种基于平面混合标识物的相机定位方法及系统 |
| JP6602141B2 (ja) * | 2015-10-05 | 2019-11-06 | キヤノン株式会社 | 画像処理装置および方法 |
| CN105261042A (zh) * | 2015-10-19 | 2016-01-20 | 华为技术有限公司 | 光流估计的方法及装置 |
| CN105512606B (zh) * | 2015-11-24 | 2018-12-21 | 北京航空航天大学 | 基于ar模型功率谱的动态场景分类方法及装置 |
| CN105869166B (zh) | 2016-03-29 | 2018-07-10 | 北方工业大学 | 一种基于双目视觉的人体动作识别方法及系统 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| CN110517319B (zh) * | 2017-07-07 | 2022-03-15 | 腾讯科技（深圳）有限公司 | 一种相机姿态信息确定的方法及相关装置 |
-
2017
- 2017-07-07 CN CN201910834144.XA patent/CN110517319B/zh active Active
- 2017-07-07 CN CN201710552105.1A patent/CN109215077B/zh active Active
-
2018
- 2018-06-26 TW TW107121953A patent/TWI683259B/zh active
- 2018-06-28 JP JP2019548070A patent/JP6824433B2/ja active Active
- 2018-06-28 WO PCT/CN2018/093418 patent/WO2019007258A1/zh unknown
- 2018-06-28 KR KR1020197030212A patent/KR102319207B1/ko active IP Right Grant
- 2018-06-28 EP EP18828662.9A patent/EP3579192B1/en active Active
-
2019
- 2019-04-16 US US16/386,143 patent/US10963727B2/en active Active
-
2021
- 2021-02-23 US US17/183,200 patent/US11605214B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109215077B (zh) | 2022-12-06 |
| KR20190127838A (ko) | 2019-11-13 |
| WO2019007258A1 (zh) | 2019-01-10 |
| CN110517319B (zh) | 2022-03-15 |
| CN110517319A (zh) | 2019-11-29 |
| JP2020509506A (ja) | 2020-03-26 |
| US20190244050A1 (en) | 2019-08-08 |
| TWI683259B (zh) | 2020-01-21 |
| EP3579192A4 (en) | 2020-11-25 |
| EP3579192B1 (en) | 2023-10-25 |
| EP3579192A1 (en) | 2019-12-11 |
| US20210174124A1 (en) | 2021-06-10 |
| CN109215077A (zh) | 2019-01-15 |
| US10963727B2 (en) | 2021-03-30 |
| TW201837783A (zh) | 2018-10-16 |
| JP6824433B2 (ja) | 2021-02-03 |
| US11605214B2 (en) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102319207B1 (ko) | 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체 | |
| CN108648235B (zh) | 相机姿态追踪过程的重定位方法、装置及存储介质 | |
| CN109086709B (zh) | 特征提取模型训练方法、装置及存储介质 | |
| WO2019184889A1 (zh) | 增强现实模型的调整方法、装置、存储介质和电子设备 | |
| CN110599549B (zh) | 界面显示方法、装置及存储介质 | |
| JP7305249B2 (ja) | 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス | |
| CN110059685B (zh) | 文字区域检测方法、装置及存储介质 | |
| CN109151442B (zh) | 一种图像拍摄方法及终端 | |
| CN109101120B (zh) | 图像显示的方法和装置 | |
| CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
| CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
| CN111986250A (zh) | 物体体积测量方法、装置、测量设备及存储介质 | |
| CN111556337B (zh) | 一种媒体内容植入方法、模型训练方法以及相关装置 | |
| CN110135329B (zh) | 从视频中提取姿势的方法、装置、设备及存储介质 | |
| CN111258413A (zh) | 虚拟对象的控制方法和装置 | |
| CN110941327A (zh) | 虚拟对象的显示方法和装置 | |
| CN114202799A (zh) | 被控对象变化速度确定方法、装置、电子设备及存储介质 | |
| CN111103967A (zh) | 虚拟对象的控制方法和装置 | |
| CN111981975B (zh) | 物体体积测量方法、装置、测量设备及存储介质 | |
| CN113676718A (zh) | 图像处理方法、移动终端及可读存储介质 | |
| CN115393427A (zh) | 一种相机位姿的确定方法、装置、计算机设备和存储介质 | |
| CN113705309A (zh) | 一种景别类型判断方法、装置、电子设备和存储介质 | |
| CN117654030A (zh) | 虚拟对象的渲染方法、装置、电子设备及存储介质 | |
| CN113535055A (zh) | 一种基于虚拟现实播放点读物的方法、设备及存储介质 | |
| CN116152289A (zh) | 一种目标对象的跟踪方法、相关装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |