KR20120084635A - 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 - Google Patents
깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 Download PDFInfo
- Publication number
- KR20120084635A KR20120084635A KR1020110032162A KR20110032162A KR20120084635A KR 20120084635 A KR20120084635 A KR 20120084635A KR 1020110032162 A KR1020110032162 A KR 1020110032162A KR 20110032162 A KR20110032162 A KR 20110032162A KR 20120084635 A KR20120084635 A KR 20120084635A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- depth
- extracted
- extracting
- plane
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
깊이 카메라의 모션을 실시간으로 추정하기 위한 카메라 모션 추정 방법 및 장치에 관한 것이다. 카메라 모션 추정 장치는 깊이 영상의 평면정보로부터 교차점을 추출하고, 상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하고, 상기 계산된 특징점을 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출함으로써, 조명환경이 동적으로 변화하거나, 공간 내 텍스처 상태에 관계없이 카메라 모션을 추정할 수 있다.
Description
카메라의 모션을 실시간으로 추정하기 위한 기술에 관한 것이다.
증강 현실 (Augmented Reality)은 현실 세계에 가상의 객체를 중첩하여 보여 주는 기술이다. 일반적으로, 현실 세계는 비디오 카메라 등으로 획득된 영상을 이용한다. 비디오 영상에 가상 객체를 시감적 차이 없이 중첩하여 표현하기 위해서는 촬영된 비디오 영상과 동일한 시점으로 가상 객체를 정합(registration)하고, 비디오 카메라가 움직일 때마다 가상 객체의 방향 및 위치를 업데이트 해야 한다. 이를 위해서는 비디오 카메라의 방향 및 위치를 실시간으로 알 수 있어야 한다.
종래의 카메라 모션(방향 및 위치)을 추정하기 위한 방법은 대부분 빛의 파장에 대한 세기 신호를 감지하는 카메라 센서에서 출력된 영상(이하, 컬러 영상)을 대상으로 한다. 매 프레임 별 카메라 모션을 추정하기 위해서는 컬러 영상에서 특징적인 성분(예를 들어, 점 또는 선) 집합을 추출하고, 인접한 프레임에서 특징 성분들의 컬러 영상 내 위치 정보를 비교하여 계산하는 방식을 이용한다. 이때, 특징적인 성분을 추출하기 위해서는 주변의 화소값과 확연히 다른 점이나 선을 추출하기 때문에 각 화소의 컬러(혹은 인텐서티(intensity))값을 이용하게 된다.
그러나, 종래의 기술들에 의하면, 삼차원 공간 상의 동일한 점은 매 프레임 별로 동일 혹은 유사한 컬러 값을 갖고 있음을 전제로 한다. 이 때문에, 조명환경이 급격하게 변하는 경우에는 전 프레임에서 추출된 특징 성분이 현 프레임에서 추출되지 않거나, 특징 성분을 기술하는 기술자(descriptor)의 특성이 달라지기 때문에 두 특징 성분간 정확한 매칭이 보장되지 않는 등 카메라 모션 추정이 실패하게 될 가능성이 크다. 또한, 이웃 화소와 구별되는 특징적인 화소가 적을 때에도(유사 패턴 텍스처 반복, 또는 동일한 컬러로 이루어진 영역 등) 카메라 모션 추정이 어렵다.
일실시예에 따른 카메라 모션 추정 장치는 깊이 영상의 평면정보로부터 교차점을 추출하는 교차점 추출부, 상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하는 특징점 검출부, 및 상기 계산된 특징점을 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 모션 추출부를 포함한다.
상기 카메라 모션 추정 장치는 상기 깊이 영상으로부터 평면정보를 추출하는 평면 추출부를 더 포함할 수 있다.
상기 평면 추출부는 상기 깊이 카메라로부터 획득한 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의할 수 있다.
상기 교차점 추출부는 상기 평면정보로서 추출된 평면집합의 원소 중, 3개의 원소로 구성된 부분집합을 생성하고, 생성된 부분집합 내 세 평면 방정식을 표현하는 벡터를 추출하고, 추출된 벡터를 이용하여 상기 교차점을 추출할 수 있다.
상기 카메라 모션 추정 장치는 상기 평면정보에 포함된 두 평면 간의 교차선을 추출하는 교차선 추출부를 더 포함할 수 있다.
상기 특징점 검출부는 상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 특징점을 계산할 수 있다.
상기 특징점 검출부는 상기 일정 간격을 조절하여 복수개의 특징점을 계산할 수 있다.
상기 모션 추출부는 제1 깊이 카메라로부터 추출된 제1 특징점과 제2 깊이 카메라로부터 추출된 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 회전 정보 또는 이동 정보를 계산할 수 있다.
다른 일실시예에 따른 카메라 모션 추정 장치는 제1 깊이 카메라의 제1 프레임에서 추출된 제1 평면정보에 포함된 제1 특징점을 계산하고, 제2 깊이 카메라의 제2 프레임에서 추출된 제2 평면정보에 포함된 제2 특징점을 계산하는 특징점 검출부, 및 상기 제1 특징점과 상기 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 모션을 추출하는 모션 추출부를 포함할 수 있다.
상기 교차선 추출부는 상기 깊이 영상에 미분 연산자를 적용하여, 에지(edge)를 추출할 수 있다. 상기 모션 추출부는 상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출할 수 있다.
일실시예에 따른 카메라 모션 추정 방법은 깊이 카메라에서 획득한 깊이 영상의 평면정보로부터 교차점을 추출하는 단계, 상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하는 단계, 및 상기 계산된 특징점을 이용하여 상기 깊이 카메라의 모션을 추출하는 단계를 포함한다.
일실시예에 따른 증강 현실 시스템은 깊이 영상을 생성하는 깊이 카메라, 상기 생성된 깊이 영상을 이용하여 상기 깊이 카메라에 대한 모션을 추정하는 카메라 모션 추정 장치, 상기 추정된 카메라 모션으로 카메라 포즈를 업데이트하는 포즈 업데이트부, 상기 업데이트된 카메라 포즈를 이용하여 가상 카메라 포즈를 업데이트하는 가상 카메라 포즈 업데이트부, 상기 깊이 카메라와 동일한 시점을 갖는 컬러 카메라로부터 컬러 영상을 획득하는 컬러 영상 획득부, 가상 객체 데이터베이스를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합하는 정합기, 및 상기 획득한 컬러 영상과, 상기 정합된 가상 객체를 정합하는 현실 영상/가상 객체 정합부를 포함한다.
다른 일실시예에 따른 증강 현실 시스템은 깊이 영상을 생성하는 깊이 카메라, 상기 생성된 깊이 영상을 이용하여 상기 깊이 카메라에 대한 모션을 추정하는 카메라 모션 추정 장치, 상기 추정된 카메라 모션으로 카메라 포즈를 업데이트하는 포즈 업데이트부, 상기 깊이 카메라와 상이한 시점을 갖는 컬러 카메라로부터 컬러 영상을 획득하는 컬러 영상 획득부, 서로 상이한 시점을 갖는 상기 깊이 영상과 상기 컬러 영상을 동일한 시점을 갖도록 교정하는 카메라 교정부(Camera Calibration), 상기 업데이트된 카메라 포즈와 상기 카메라 교정부(604)에 의해 교정된 시점을 이용하여 가상 카메라 포즈를 업데이트하는 가상 카메라 포즈 업데이트부, 가상 객체 데이터베이스를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합하는 정합기, 및 상기 시점이 교정된 컬러 영상과, 상기 정합된 가상 객체를 정합하는 현실 영상/가상 객체 정합부를 포함한다.
또 다른 일실시예에 따른 카메라 모션 추정 장치는 깊이 영상에 미분 연산자를 적용하여, 에지를 추출하는 에지 추출부, 및 상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 모션 추출부를 포함한다.
조명환경이 동적으로 변화하거나, 공간 내 텍스처 상태에 관계없이 카메라 모션을 추정할 수 있다.
현실 공간 상에 흔히 존재하는 평면정보를 깊이 카메라로부터 추출하여, 추출된 평면정보를 이용하여 각 평면에 대한 특징점을 계산함으로써, 카메라 모션 추정에 활용할 수 있다.
증강 현실, 혼합 현실, 로봇 청소기, 로봇 자동 주행, Vehicle 자동 주행, 스마트 폰 및 테블릿 PC 어플리케이션 등 카메라의 위치 및 방향 추적이 필수적인 분야에 활용될 수 있다.
컬러 카메라에 기반한 모션 추정 기술의 한계를 극복하기 위하여, 깊이 카메라에서 생성된 깊이 영상을 사용함으로써, 밝기값에 기반한 컬러 영상으로는 모션 추정이 불가능한 경우에도 동작할 수 있다.
깊이 영상의 공간 내 평면정보가 존재하지 않는 경우, 미분 연산자를 상기 깊이 영상에 적용함으로써, 회전 불변 특징(Rotation Invariant feature)을 갖는 에지를 추출할 수 있다.
도 1은 카메라 모션 추정 장치의 구성을 도시한 블록도이다.
도 2는 세 평면을 포함하는 환경에서의 깊이 영상과 컬러 영상을 나타낸 도면이다.
도 3은 깊이 영상을 이용하여 카메라 모션을 추정하는 일례를 도시한 도면이다.
도 4는 깊이 영상으로부터 추출된 평면정보로부터 교차점과 교차선을 추출하는 일례를 도시한 도면이다.
도 5는 동일 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 6은 상이한 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 7은 깊이 영상으로부터 추출된 카메라 모션을 이용하여 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 8은 세 평면이 물리적으로 교차하지 않는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 9는 상기 기술한 평면 이외에도 실제 객체가 존재하는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 10은 깊이 카메라에서 촬영한 깊이 영상을 이용하여 가상 객체를 정합하는 일례를 도시한 도면이다.
도 11은 카메라 모션 추정 방법의 순서를 도시한 흐름도이다.
도 12는 카메라 모션 추정 장치에 대한 다른 실시예를 도시한 블록도이다.
도 13은 카메라 모션 추정 방법에 대한 다른 실시예를 도시한 흐름도이다.
도 2는 세 평면을 포함하는 환경에서의 깊이 영상과 컬러 영상을 나타낸 도면이다.
도 3은 깊이 영상을 이용하여 카메라 모션을 추정하는 일례를 도시한 도면이다.
도 4는 깊이 영상으로부터 추출된 평면정보로부터 교차점과 교차선을 추출하는 일례를 도시한 도면이다.
도 5는 동일 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 6은 상이한 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 7은 깊이 영상으로부터 추출된 카메라 모션을 이용하여 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 8은 세 평면이 물리적으로 교차하지 않는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 9는 상기 기술한 평면 이외에도 실제 객체가 존재하는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 10은 깊이 카메라에서 촬영한 깊이 영상을 이용하여 가상 객체를 정합하는 일례를 도시한 도면이다.
도 11은 카메라 모션 추정 방법의 순서를 도시한 흐름도이다.
도 12는 카메라 모션 추정 장치에 대한 다른 실시예를 도시한 블록도이다.
도 13은 카메라 모션 추정 방법에 대한 다른 실시예를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
카메라 모션을 추정하기 위해서는 영상 내 특징 성분을 추출하고 매 프레임에서 특징 성분간 매칭을 통하여 카메라의 방향/위치 계산 시 이용해야 한다. 그러나, 영상에서 특징 성분을 정상적으로 추출할 수 없는 경우(텍스처 부족, 반복적인 텍스처 패턴, 조명이 어둡거나 밝기 차가 심한 경우 등)에는 카메라 모션 추출이 어렵다. 따라서, 카메라 모션 추정의 한 실시 예인 증강 현실 시스템에서 실사 비디오에 가상 객체를 중첩하여 표현할 수 없다. 따라서, 카메라 모션을 성공적으로 추출하기 위해서는 인위적으로 공간 내 텍스처 정보를 배치해야 하는 등의 제약이 따른다.
본 발명에서는 이러한 문제를 해결하기 위하여, 조명 조건이 변화하는 경우에 컬러 영상에서는 같은 지점에 대한 화소값이 달라지지만, 깊이 영상에서는 조명이 달라지더라도 위치가 동일하기 때문에 동일한 값을 갖는다. 따라서, 카메라 모션 추정 장치는 깊이 영상을 이용하여 카메라 모션을 추정하는 방안을 제안한다.
도 1은 카메라 모션 추정 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 카메라 모션 추정 장치(100)는 깊이 영상 획득부(110), 평면 추출부(120), 교차점 추출부(130), 교차선 추출부(140), 특징점 검출부(150), 모션 추출부(160), 및 포즈 업데이트부(170)를 포함할 수 있다.
깊이 카메라(Depth Camera)는 TOF(Time-of-flight) 방식으로 3차원 깊이 영상을 생성할 수 있다. 이러한, 깊이 카메라는 3차원 입체 영상을 획득하기 위해 활용될 수 있다.
깊이 영상 획득부(110)는 상기 깊이 카메라에서 생성된 깊이 영상을 획득할 수 있다.
도 2는 세 평면을 포함하는 환경에서의 깊이 영상과 컬러 영상을 나타낸 도면이다.
도 2를 참조하면, 깊이 영상(210)과 컬러 영상(220)은 세 평면을 포함하고 있다. 일반적으로, 깊이 영상(210)은 컬러 영상(220)에 비해 조명환경의 변화와 공간 내 텍스처 상태에 영향을 덜 받는다. 그러나, 컬러 영상(220)은 조명환경의 변화와 텍스처 상태에 영향을 많이 받기 때문에 카메라 모션을 추정하는데 이용하기 어렵다. 특히, 컬러 영상(220)은 이웃 화소와 구별되는 특징적인 화소가 적을 때에도(유사 패턴 텍스처 반복, 또는 동일한 컬러로 이루어진 영역 등) 카메라 모션 추정이 어렵다.
따라서, 카메라 모션 추정 장치(100)는 깊이 영상(210)을 이용하여 카메라 모션 추정을 할 수 있다.
도 2에서는 깊이 영상(210)과 컬러 영상(220)이 세 평면을 포함하는 일례로 들어 설명하지만, 공간 상에 꼭 세 개의 평면만 존재해야 하는 것은 아니고, 단지 교차점을 구하기 위해 필요한 최소수가 3개이기 때문에, 설명의 편의를 위해 3개로 표기하였다. 즉, 3개 이상의 평면을 포함하는 깊이 영상(210)과 컬러 영상(220)의 경우에도, 카메라 모션 추정 장치(100)는 깊이 영상(210)을 이용하여 카메라 모션 추정을 할 수 있다.
평면 추출부(120)는 상기 획득한 깊이 영상으로부터 평면정보를 추출할 수 있다. 평면 추출부(120)는 상기 깊이 카메라로부터 획득한 포인트 샘플(point sample)을 이용하여 공간 내 모든 평면정보를 추출할 수 있다. 실시예로, 평면 추출부(120)는 RANSAC(Random Sample Consensus) 알고리즘을 사용하여 상기 평면정보를 추출할 수 있다. 예컨대, 평면 추출부(120)는 상기 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의할 수 있다.
여기서, Sj는 j번째 프레임에서 추출된 모든 평면을 원소로 갖는 평면집합, j는 프레임 번호, i는 j번째 프레임에서 추출된 평면 인덱스(index), n은 전체 평면 개수이다.
교차점 추출부(130)는 상기 평면정보로부터 교차점을 추출할 수 있다. 예컨대, 교차선 추출부(140)가 상기 평면정보에 포함된 복수개의 평면 중, 두 평면 간의 교차선을 추출하면, 교차점 추출부(130)는 추출된 교차선 간의 교차를 통해 교차점을 계산할 수도 있다. 이때, 교차선은 초기 교차점이 아닌 추후 부가적으로 구하는 교차점을 계산하기 위해 계산되는 것이다. 또는, 교차점 추출부(130)는 이하, 수학식 4를 이용하여 평면 방식으로부터 교차점을 직접 계산할 수도 있다.
예컨대, 교차점 추출부(130)는 상기 평면정보에 포함된 3개의 평면을 이용하여 삼차원 공간 상에서의 교차점을 구할 수 있다. 일반적으로, 평면 간의 교차점을 구하기 위해서는 최소 3개의 평면이 필요하다. 이를 위하여, 교차점 추출부(130)는 상기 평면집합(Sj)의 원소 중 3개의 원소로 이루어진 모든 부분집합() 조합을 생성할 수 있다.
여기서, 는 Sj의 부분 집합으로 3개의 평면으로 구성될 수 있다. j는 프레임 번호, a, b, c는 에 속하는 평면 인덱스(상기 Sj 에 속하는 평면), n은 전체 평면 개수(Sj에서 언급된 n과 동일) 교차점 추출부(130)는 실시예에 따라 상기 부분집합의 개수를 설정할 수 있다.
여기서, t는 부분집합의 개수이고, n은 전체 평면 개수이다.
교차점 추출부(130)는 상기 부분집합 내 세 평면 방정식을 표현하는 벡터를 추출할 수 있다. 즉, 교차점 추출부(130)는 상기 부분집합() 내 세 평면 방정식을 표현하는 벡터를 각각 (a1, b1, c1, d1), (a2, b2, c2, d2), (a3, b3, c3, d3)이라 할 수 있다.
이어서, 교차점 추출부(130)는 상기 추출된 세 개의 벡터를 이용하여 상기 교차점을 추출할 수 있다. 예컨대, 교차점 추출부(130)는 j번째 프레임 상에서 추출된 부분집합 내 세 평면의 교차점의 삼차원 공간상에서의 좌표(여기서, j는 프레임 번호, t는 전체 평면 개수)를 수학식 4를 통해 구할 수 있다.
'DET = 0'인 경우, 교차점 추출부(130)는 세 개의 평면 중 두 개 이상의 평면이 서로 평행하여, 평면 간의 교차점이 존재하지 않는 경우이므로 계산에서 제외할 수 있다.
특징점 검출부(150)는 상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산할 수 있다.
도 3은 깊이 영상을 이용하여 카메라 모션을 추정하는 일례를 도시한 도면이다.
도 3을 참조하면, 교차선 추출부(140)는 평면정보(π1, π2, π3)에 포함된 두 평면(π1와 π2, π1와 π3, π2와 π3)간의 교차선(L12, L31, L23)을 추출할 수 있다. 특징점 검출부(150)는 상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 특징점을 계산할 수 있다. 도시한 바와 같이, 두 평면 간에는 교차선 L12, L31, L23이 존재한다. 특징점 검출부(150)는 상기 각 교차선을 따라 일정 간격 'λ'만큼 떨어진 곳에 있는 추가적인 특징점()을 구할 수 있다.
도 4는 깊이 영상으로부터 추출된 평면정보로부터 교차점과 교차선을 추출하는 일례를 도시한 도면이다.
도 4를 참조하면, 교차선 추출부(140)는 평면정보에 포함된 세 개의 평면에 대한 교차점을 구하기 위하여, 인접한 두 평면 간의 교차선을 추출할 수 있다(410). 도면에서는 3개의 평면이 나와 있으므로, 교차선 추출부(140)는 3개의 교차선을 추출할 수 있다. 교차점 추출부(130)는 상기 추출된 3개의 교차선이 만나는 중앙 좌표점을 교차점으로 추출할 수 있다(420). 특징점 검출부(150)는 상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 특징점을 계산할 수 있다(430).
이때, 특징점 검출부(150)는 상기 일정 간격을 조절하여 복수개의 특징점을 계산할 수 있다. 즉, 추가적인 특징점의 개수는 λm의 개수인 m의 세 배수로 증가하며, 추출된 특징점의 총 개수는 nfeauters = 1 + 3m 이다. 도면(430)에서는 세 평면간 교차선 및 교차점을 이용하여 추가적으로 추출한 특징점을 보이며, 'm=3'인 경우이다. 이렇게, 특징점 검출부(150)는 상기와 같이 j번째 프레임(ith)에서의 특징점을 계산하고, j+1번째 프레임(ith+1)에서의 특징점을 구할 수 있다.
모션 추출부(160)는 상기 계산된 특징점을 이용하여 상기 깊이 카메라의 모션을 추출할 수 있다. 예컨대, 모션 추출부(160)는 제1 깊이 카메라로부터 추출된 제1 특징점과 제2 깊이 카메라로부터 추출된 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 회전 정보 또는 이동 정보를 계산할 수 있다.
실시예로, 상기 제1 특징점은 j번째 프레임에서 추출된 특징점이고, 상기 제2 특징점은 j+1번째 프레임에서 추출된 특징점일 수 있다. 모션 추출부(160)는 두 프레임(j, j+1)에서의 특징점 집합 와 을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간 상대적인 회전 정보 또는 이동 정보를 계산할 수 있다.
여기서, R3x3는 회전 정보, T3x1는 이동 정보이다. F(Function)는 두 특징점을 정합하기 위한 함수이다. 이 때, 두 특징점 집합을 정합하기 위한 함수(F)는 ICP(Iterative Closet Points)와 같은 알고리즘을 사용할 수 있다.
모션 추출부(160)는 상기 제1, 제2 깊이 카메라간 변환 행렬인 'RT'를 수학식 7과 같이 구할 수 있다.
또한, 포즈 업데이트부(170)는 상기 변환 행렬을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라의 포즈를 수학식 8과 같이 구할 수 있다. 이 때, 초기 카메라 포즈 Proj0는 첫 프레임의 깊이 카메라 좌표계로 정의할 수 있고, 월드 좌표계와 일치한다고 가정할 때 기본 행렬(identity matrix)로 표현할 수 있다.
여기서, Proj0는 j+1번째 프레임의 깊이 카메라 좌표계, RT-1은 변환 행렬의 역행렬, Proj0는 j번째 프레임의 깊이 카메라 좌표계이다.
이러한, 카메라 모션 추정 장치(100)는 증강 현실 시스템에 적용되어 실행될 수 있다. 증강 현실 시스템은 현실 세계에 가상의 객체를 중첩하여 보여 주는 것이다.
실시예로, 교차선 추출부(140)는 상기 깊이 영상에 미분 연산자를 적용하여 에지(edge)를 직접 추출할 수도 있다. 미분 연산자는 1차 미분 연산자(Gradient) 또는 2차 미분 연산자(Laplacian)일 수 있다. 1차 미분 연산자는 x방향의 미분(fx)과 y방향의 미분(fy)으로 구분할 수 있다.
여기서, x는 x축 방향 깊이 영상의 픽셀값, y는 y축 방향 깊이 영상의 픽셀값일 수 있다.
교차선 추출부(140)는 표 1에 기재되어 있는 다양한 1차 미분 연산자를 상기 깊이 영상에 적용시킴으로써, 상기 에지를 추출할 수 있다.
2차 미분은 1차 미분을 다시 한번 미분하는 방법이다. 예컨대, 교차선 추출부(140)는 2차 미분 연산자로 라플라시안 마스크를 적용하는 '라플라시안 연산자'를 상기 깊이 영상에 적용함으로써, 상기 에지를 추출할 수 있다. 라플라시안 연산자는 깊이 영상에서의 밝기 변화량을 측정하여 변화가 큰 부분을 에지로 추출하는 방식으로, 1차 미분하는 방식에 비하여 잡음에 강인하다는 장점이 있다.
일례로, 교차선 추출부(140)는 깊이 영상의 공간 내 평면정보가 존재하지 않는 경우, 상기 2차 미분 연산자를 상기 깊이 영상에 적용함으로써, 회전 불변 특징(Rotation Invariant feature)을 갖는 에지를 추출할 수 있다.
교차선 추출부(140)는 수학식 10의 행렬을 상기 깊이 영상에 적용함으로써, 상기 에지를 추출할 수 있다. 수학식 10은 에지를 검출하기 위한 하나의 실시예인 라플라시안 연산자를 구현하기 위한 마스크이며, 교차선 추출부(140)는 라플라시안 연산자 이외에도 다양한 2차 미분 연산자(예컨대, 가우시안-라플라시안 연산자(Laplacian of Gaussian))를 이용하여 상기 에지를 추출할 수 있다.
모션 추출부(160)는 상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출할 수 있다.
도 5는 동일 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 5를 참조하면, 증강 현실 시스템(500)은 깊이 카메라(510)에서 획득한 깊이 영상을 카메라 모션 추정 장치(520)에 통과시켜, 추정된 카메라 모션으로 포즈 업데이트부(530)에서 카메라 포즈를 업데이트시킬 수 있다. 가상 카메라 포즈 업데이트부(560)는 포즈 업데이트부(530)로부터 업데이트된 카메라 포즈를 이용하여 가상 카메라 포즈를 업데이트할 수 있다.
컬러 영상 획득부(550)는 깊이 카메라(510)와 동일한 시점을 갖는 컬러 카메라(540)에서 컬러 영상을 획득할 수 있다.
정합기(570)는 가상 객체 데이터베이스(580)를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합할 수 있다.
현실 영상/가상 객체 정합부(590)는 상기 컬러 영상과, 상기 정합된 가상 객체를 정합할 수 있다.
도 6은 상이한 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 6을 참조하면, 증강 현실 시스템(600)은 깊이 카메라(601)에서 획득한 깊이 영상을 카메라 모션 추정 장치(602)에 통과시켜, 깊이 카메라(601)의 모션을 추정할 수 있다.
컬러 영상 획득부(606)는 깊이 카메라(601)와 상이한 시점을 갖는 컬러 카메라(605)에서 컬러 영상을 획득할 수 있다.
증강 현실 시스템(600)은 서로 상이한 시점을 교정하기 위해, 카메라 교정부(604)를 더 포함할 수 있다. 카메라 교정부(Camera Calibration, 604)는 시점이 서로 상이한 상기 깊이 영상과 상기 컬러 영상을 동일한 시점을 갖도록 교정할 수 있다.
가상 카메라 포즈 업데이트부(607)는 포즈 업데이트부(603)로부터 업데이트된 카메라 포즈와 카메라 교정부(604)에서 교정된 시점을 이용하여 가상 카메라 포즈를 업데이트할 수 있다.
정합기(608)는 가상 객체 데이터베이스(609)를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합할 수 있다.
현실 영상/가상 객체 정합부(610)는 상기 시점이 교정된 컬러 영상과, 상기 정합된 가상 객체를 정합할 수 있다.
도 7은 깊이 영상으로부터 추출된 카메라 모션을 이용하여 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 7을 참조하면, 증강 현실 시스템은 깊이 영상(710)과, 깊이 영상(710)과 동일한 시점을 갖는 컬러 영상(720)을 정합하여 정합 영상(730)을 생성할 수 있다. 즉, 정합 영상(730)은 깊이 영상(710)으로부터 추출된 카메라 모션(회전, 이동) 정보를 이용하여 컬러 영상(720)에 가상 객체인 주전자가 중첩된 영상이다. 즉, 카메라의 움직임이 가상 객체의 포즈에도 반영됨을 보인다.
도 8은 세 평면이 물리적으로 교차하지 않는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 8을 참조하면, 세 평면이 공간 상에서 물리적으로 교차하지 않는 경우에도, 증강 현실 시스템은 깊이 영상(810)과, 깊이 영상(810)과 동일한 시점을 갖는 컬러 영상(820)을 정합하여 정합 영상(830)을 생성할 수 있다. 컬러 영상(820)에서 확인할 수 있듯이 조명환경이 변하고 있지만, 카메라 모션 추정 장치(100)는 깊이 영상(810)을 이용하여 카메라 모션을 추정함으로써, 컬러 영상(820)의 조명변화가 깊이 영상(810)에 영향을 미치지 않으므로 정확하게 카메라 모션을 추정할 수 있음을 보여준다.
도 9는 상기 기술한 평면 이외에도 실제 객체가 존재하는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 9을 참조하면, 증강 현실 시스템은 컬러 영상(920)에 실제 객체가 존재하는 경우에도, 깊이 영상(910)과 컬러 영상(920)을 정합하여 정합 영상(930)을 생성할 수 있다. 즉, 컬러 영상(920)에서 확인할 수 있듯이 실제 객체(전화기, 장식품)가 존재하지만, 카메라 모션 추정 장치(100)는 깊이 영상(910)을 이용하여 카메라 모션을 추정함으로써, 컬러 영상(920)에 포함된 실제 객체가 깊이 영상(910)에 영향을 미치지 않으므로 정확하게 카메라 모션을 추정할 수 있음을 보여준다.
도 10은 깊이 카메라에서 촬영한 깊이 영상을 이용하여 가상 객체를 정합하는 일례를 도시한 도면이다.
도 10을 참조하면, 1010은 실제 공간을 나타낸 것이고, 1020은 깊이 카메라에서 촬영한 깊이 영상을 나타낸 것이다. 1020에서는 실제 공간(1010) 내에 평면 이외에 실제 객체(전화기)가 포함되어 있다. 1030은 증강 현실 시스템이 카메라 모션 추정 장치(100)를 이용하여 카메라 모션을 추정함으로써, 실제 객체(전화기)와 가상 객체(주전자)를 정합한 영상이다.
도 11은 카메라 모션 추정 방법의 순서를 도시한 흐름도이다.
도 11을 참조하면, 카메라 모션 추정 방법은 카메라 모션 추정 장치(100)에 의해 실행될 수 있다.
단계 1110에서, 카메라 모션 추정 장치(100)는 깊이 카메라에서 획득한 깊이 영상으로부터 평면정보를 추출할 수 있다. 예컨대, 깊이 영상은 3차원 입체 영상이므로, 3개의 평면이 추출될 수 있다. 카메라 모션 추정 장치(100)는 상기 깊이 카메라로부터 획득한 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의할 수 있다.
단계 1120에서, 카메라 모션 추정 장치(100)는 상기 추출된 평면정보에 포함된 두 평면 간의 교차선을 추출할 수 있다. 상기 평면정보에 3개의 평면(π1, π2, π3)이 존재하는 경우, 카메라 모션 추정 장치(100)는 두 평면(π1와 π2, π1와 π3, π2와 π3)간의 교차선(L12, L31, L23)을 추출할 수 있다.
단계 1130에서, 카메라 모션 추정 장치(100)는 상기 추출된 교차선을 이용하여 교차점을 추출할 수 있다. 예컨대, 카메라 모션 추정 장치(100)는 상기 평면정보로서 추출된 평면집합의 원소 중, 3 개의 원소로 구성된 부분집합을 생성하고, 생성된 부분집합 내 세 평면 방정식을 표현하는 벡터를 각각 세 개씩 추출하고, 추출된 세 개의 벡터를 이용하여 상기 교차점을 추출할 수 있다.
단계 1140에서, 카메라 모션 추정 장치(100)는 상기 교차점을 기준으로 상기 교차선을 따라 각 평면과 연관된 특징점을 계산할 수 있다. 카메라 모션 추정 장치(100)는 상기 교차점에서 상기 교차선을 따라 일정 간격(λ)만큼 이격된 각 평면(π1, π2, π3)과 연관된 특징점(, ,)을 계산할 수 있다.
단계 1150에서, 카메라 모션 추정 장치(100)는 상기 계산된 특징점을 이용하여 상기 깊이 카메라의 모션을 추출할 수 있다. 카메라 모션 추정 장치(100)는 제1 깊이 카메라로부터 추출된 제1 특징점과 제2 깊이 카메라로부터 추출된 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 회전 정보와 이동 정보를 계산할 수 있다.
이러한, 카메라 모션 추정 장치(100)는 조명변화가 커서 프레임간 동일한 특징점을 추출하지 못하는 경우에도 카메라 모션 추정 기술의 활용의 범위를 넓힐 수 있다. 즉, 카메라 모션 추정 장치(100)는 조명이 너무 어두워서 특징점 추출이 안 되는 경우, 균일한(homogeneous) 재질(예컨대, 모노 컬러(mono color))로 이루어진 공간에서 특징점을 찾지 못하는 경우, 반복적인 텍스처 패턴으로 인하여 특징점간 정확한 매칭이 어려운 경우 등에 카메라 모션 추정의 적용 시, 환경 제약 조건을 완화시켜 카메라 모션 추정 기술의 활용의 범위를 넓힐 수 있다.
또한, 현실 공간에서는 벽, 바닥, 천장, 책상 등과 같은 평면정보를 쉽게 추출할 수 있다. 따라서, 카메라 모션 추정 장치(100)는 현실 환경의 특징을 이용하여 복잡한 과정을 거치지 않고 보다 쉽고 간편하게 카메라 모션을 추정할 수 있다.
또한, 카메라 모션 추정 장치(100)는 컬러 카메라와 깊이 카메라를 동시에 활용한 강한(robust) 하이브리드(hybrid) 카메라 모션 추정 시스템 개발 시, 깊이 카메라의 모션 추출 모듈로서 이용 가능하다.
도 12는 카메라 모션 추정 장치에 대한 다른 실시예를 도시한 블록도이다.
도 12를 참조하면, 카메라 모션 추정 장치(1200)는 깊이 영상 획득부(1210), 에지 추출부(1220) 및 모션 추출부(1230), 및 포즈 업데이트부(1240)를 포함할 수 있다.
깊이 영상 획득부(1210)는 깊이 카메라에서 생성된 깊이 영상을 획득할 수 있다.
에지 추출부(1220)는 상기 깊이 영상에 미분 연산자를 적용하여, 에지를 추출할 수 있다. 에지 추출부(1220)는 상기 깊이 영상에 1차 미분 연산자를 적용하여 에지를 추출할 수 있다(수학식 9 및 표 1 참고). 즉, 에지 추출부(1220)는 다양한 방식의 1차 미분 연산자(Roberts, Prewitt, Sobel, Frei-chen)를 이용하여 상기 에지를 추출할 수 있다.
또는, 에지 추출부(1220)는 상기 깊이 영상에 2차 미분 연산자를 적용하여 에지를 추출할 수도 있다(수학식 10 참고). 2차 미분은 1차 미분을 다시 한번 미분하는 방법이다. 예컨대, 에지 추출부(1220)는 2차 미분 연산자로 라플라시안 마스크를 적용하는 '라플라시안 연산자'를 상기 깊이 영상에 적용함으로써, 상기 에지를 추출할 수 있다. 라플라시안 연산자는 깊이 영상에서의 밝기 변화량을 측정하여 변화가 큰 부분을 에지로 추출하는 방식으로, 1차 미분하는 방식에 비하여 잡음에 강인하다는 장점이 있다.
일례로, 에지 추출부(1220)는 상기 깊이 영상의 공간 내 평면정보가 존재하지 않는 경우, 상기 2차 미분 연산자를 상기 깊이 영상에 적용함으로써, 회전 불변 특징을 갖는 에지를 추출할 수 있다.
모션 추출부(1230)는 상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출할 수 있다.
포즈 업데이트부(1240)는 상기 추출된 깊이 카메라의 모션으로 깊이 카메라 포즈를 업데이트할 수 있다.
도 13은 카메라 모션 추정 방법에 대한 다른 실시예를 도시한 흐름도이다.
단계 1310에서, 카메라 모션 추정 장치(1200)는 깊이 영상에 미분 연산자를 적용하여 에지를 추출할 수 있다. 카메라 모션 추정 장치(1200)는 깊이 카메라에서 생성된 깊이 영상을 획득하고, 획득된 깊이 영상에 1차 미분 연산자 또는 2차 미분 연산자를 적용하여, 에지를 추출할 수 있다.
예컨대, 카메라 모션 추정 장치(1200)는 2차 미분 연산자로 라플라시안 마스크를 적용하는 '라플라시안 연산자'를 상기 깊이 영상에 적용함으로써, 상기 에지를 추출할 수 있다. 1차 미분 연산자와 2차 미분 연산자로 에지를 추출하는 자세한 방법은 수학식 9 및 수학식 10을 통해 상기에서 자세히 설명하였으므로, 여기서는 그 설명을 생략한다.
단계 1320에서, 카메라 모션 추정 장치(1200)는 상기 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 카메라 모션 추정 장치
110: 깊이 영상 획득부
120: 평면 추출부
130: 교차점 추출부
140: 교차선 추출부
150: 특징점 검출부
160: 모션 추출부
170: 포즈 업데이트부
110: 깊이 영상 획득부
120: 평면 추출부
130: 교차점 추출부
140: 교차선 추출부
150: 특징점 검출부
160: 모션 추출부
170: 포즈 업데이트부
Claims (22)
- 깊이 영상의 평면정보로부터 교차점을 추출하는 교차점 추출부;
상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하는 특징점 검출부; 및
상기 계산된 특징점을 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 모션 추출부
를 포함하는, 카메라 모션 추정 장치. - 제1항에 있어서,
상기 깊이 영상으로부터 평면정보를 추출하는 평면 추출부
를 더 포함하는, 카메라 모션 추정 장치. - 제2항에 있어서,
상기 평면 추출부는,
상기 깊이 카메라로부터 획득한 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의하는, 카메라 모션 추정 장치. - 제1항에 있어서,
상기 교차점 추출부는,
상기 평면정보로서 추출된 평면집합의 원소 중, 3 개의 원소로 구성된 부분집합을 생성하고, 생성된 부분집합 내 세 평면 방정식을 표현하는 벡터를 각각 세 개씩 추출하고, 추출된 세 개의 벡터를 이용하여 상기 교차점을 추출하는, 카메라 모션 추정 장치. - 제1항에 있어서,
상기 평면정보에 포함된 두 평면 간의 교차선을 추출하는 교차선 추출부
를 더 포함하는, 카메라 모션 추정 장치. - 제5항에 있어서,
상기 특징점 검출부는,
상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 특징점을 계산하는, 카메라 모션 추정 장치. - 제6항에 있어서,
상기 특징점 검출부는,
상기 일정 간격을 조절하여 복수개의 특징점을 계산하는, 카메라 모션 추정 장치. - 제1항에 있어서,
상기 모션 추출부는,
제1 깊이 카메라로부터 추출된 제1 특징점과 제2 깊이 카메라로부터 추출된 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 회전 정보 또는 이동 정보를 계산하는, 카메라 모션 추정 장치. - 제1항에 있어서,
상기 깊이 영상에 미분 연산자를 적용하여, 에지(edge)를 추출하는 교차선 추출부
를 더 포함하고,
상기 모션 추출부는,
상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는, 카메라 모션 추정 장치. - 제1 깊이 카메라의 제1 프레임에서 추출된 제1 평면정보에 포함된 제1 특징점을 계산하고, 제2 깊이 카메라의 제2 프레임에서 추출된 제2 평면정보에 포함된 제2 특징점을 계산하는 특징점 검출부; 및
상기 제1 특징점과 상기 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 모션을 추출하는 모션 추출부
를 포함하는, 카메라 모션 추정 장치. - 제10항에 있어서,
상기 제1 깊이 카메라로부터 획득한 제1 포인트 샘플을 3차원 방정식에 적용시켜 제1 평면집합을 정의하고, 상기 제2 깊이 카메라로부터 획득한 제2 포인트 샘플을 3차원 방정식에 적용시켜 제2 평면집합을 정의하는 평면 추출부
를 더 포함하는, 카메라 모션 추정 장치. - 제10항에 있어서,
상기 제1 평면정보에 포함된 두 평면 간의 제1 교차선을 추출하는 교차선 추출부; 및
상기 추출된 제1 교차선을 이용하여 상기 제1 평면정보로서 추출된 제1 평면집합의 원소 중 3개의 원소로 구성된 제1 부분집합을 생성하고, 생성된 제1 부분집합 내 세 평면 방정식을 표현하는 제1 벡터를 추출하고, 추출된 제1 벡터를 이용하여 상기 제1 프레임과 연관된 교차점을 추출하는 교차점 추출부
를 더 포함하는, 카메라 모션 추정 장치. - 제12항에 있어서,
상기 특징점 검출부는,
상기 제1 교차점을 기준으로 상기 추출된 제1 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 적어도 하나 이상의 제1 특징점을 계산하는, 카메라 모션 추정 장치. - 깊이 카메라에서 획득한 깊이 영상의 평면정보로부터 교차점을 추출하는 단계;
상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하는 단계; 및
상기 계산된 특징점을 이용하여 상기 깊이 카메라의 모션을 추출하는 단계
를 포함하는, 카메라 모션 추정 방법. - 제14항에 있어서,
상기 깊이 카메라로부터 획득한 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의하는 단계
를 더 포함하는, 카메라 모션 추정 방법. - 제14항에 있어서,
상기 교차점을 추출하는 단계는,
상기 평면정보에 포함된 두 평면 간의 교차선을 추출하는 단계;
상기 추출된 교차선을 이용하여 선정된 i(i는 평면의 개수)개의 원소로 구성된 부분집합을 생성하는 단계;
상기 생성된 부분집합 내 상기 i개의 평면 방정식을 표현하는 벡터를 추출하는 단계; 및
상기 추출된 벡터를 이용하여 상기 i개의 nxn(n은 자연수) 행렬을 구성하고, 구성된 nxn 행렬로 상기 교차점을 추출하는 단계
를 더 포함하는, 카메라 모션 추정 방법. - 제16항에 있어서,
상기 각 평면과 연관된 특징점을 계산하는 단계는,
상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 적어도 하나 이상의 특징점을 계산하는 단계
를 포함하는, 카메라 모션 추정 방법. - 제14항에 있어서,
상기 깊이 영상에 미분 연산자를 적용하여, 에지를 추출하는 단계
를 더 포함하고,
상기 깊이 카메라의 모션을 추출하는 단계는,
상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 단계
를 포함하는, 카메라 모션 추정 방법. - 깊이 영상을 생성하는 깊이 카메라;
상기 생성된 깊이 영상을 이용하여 상기 깊이 카메라에 대한 모션을 추정하는 카메라 모션 추정 장치;
상기 추정된 카메라 모션으로 카메라 포즈를 업데이트하는 포즈 업데이트부;
상기 업데이트된 카메라 포즈를 이용하여 가상 카메라 포즈를 업데이트하는 가상 카메라 포즈 업데이트부;
상기 깊이 카메라와 동일한 시점을 갖는 컬러 카메라로부터 컬러 영상을 획득하는 컬러 영상 획득부;
가상 객체 데이터베이스를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합하는 정합기; 및
상기 획득한 컬러 영상과, 상기 정합된 가상 객체를 정합하는 현실 영상/가상 객체 정합부
를 포함하는, 증강 현실 시스템. - 깊이 영상을 생성하는 깊이 카메라;
상기 생성된 깊이 영상을 이용하여 상기 깊이 카메라에 대한 모션을 추정하는 카메라 모션 추정 장치;
상기 추정된 카메라 모션으로 카메라 포즈를 업데이트하는 포즈 업데이트부;
상기 깊이 카메라와 상이한 시점을 갖는 컬러 카메라로부터 컬러 영상을 획득하는 컬러 영상 획득부;
서로 상이한 시점을 갖는 상기 깊이 영상과 상기 컬러 영상을 동일한 시점을 갖도록 교정하는 카메라 교정부(Camera Calibration);
상기 업데이트된 카메라 포즈와 상기 카메라 교정부(604)에 의해 교정된 시점을 이용하여 가상 카메라 포즈를 업데이트하는 가상 카메라 포즈 업데이트부;
가상 객체 데이터베이스를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합하는 정합기; 및
상기 시점이 교정된 컬러 영상과, 상기 정합된 가상 객체를 정합하는 현실 영상/가상 객체 정합부
를 포함하는, 증강 현실 시스템. - 깊이 영상에 미분 연산자를 적용하여, 에지를 추출하는 에지 추출부; 및
상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 모션 추출부
를 포함하는, 카메라 모션 추정 장치. - 제21항에 있어서,
상기 에지 추출부는,
상기 깊이 영상에 1차 미분 연산자 또는 2차 미분 연산자를 적용하여, 상기 에지를 추출하는, 카메라 모션 추정 장치.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/353,767 US9304194B2 (en) | 2011-01-20 | 2012-01-19 | Apparatus and method for estimating camera motion using depth information, and augmented reality system |
JP2012009590A JP5952001B2 (ja) | 2011-01-20 | 2012-01-20 | 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161434597P | 2011-01-20 | 2011-01-20 | |
US61/434,597 | 2011-01-20 | ||
KR20110015099 | 2011-02-21 | ||
KR1020110015099 | 2011-02-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120084635A true KR20120084635A (ko) | 2012-07-30 |
KR101758058B1 KR101758058B1 (ko) | 2017-07-17 |
Family
ID=46715514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110032162A KR101758058B1 (ko) | 2011-01-20 | 2011-04-07 | 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9304194B2 (ko) |
JP (1) | JP5952001B2 (ko) |
KR (1) | KR101758058B1 (ko) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101518485B1 (ko) * | 2013-11-29 | 2015-05-11 | 김홍기 | 지능형 객체 추적 시스템 |
KR20160041441A (ko) * | 2014-10-07 | 2016-04-18 | 주식회사 케이티 | 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치 |
KR20160055177A (ko) * | 2013-09-11 | 2016-05-17 | 퀄컴 인코포레이티드 | 깊이 센서들을 사용하는 구조적 모델링 |
KR102098687B1 (ko) * | 2018-11-02 | 2020-04-09 | 서울대학교산학협력단 | 영상 모서리 정렬 기반 영상 항법 및 장치 |
CN112083403A (zh) * | 2020-07-21 | 2020-12-15 | 青岛小鸟看看科技有限公司 | 用于虚拟场景的定位追踪误差校正方法及系统 |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5773944B2 (ja) * | 2012-05-22 | 2015-09-02 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
CN108345006B (zh) * | 2012-09-10 | 2022-04-08 | 广稹阿马斯公司 | 捕捉运动场景的设备、装置和系统 |
JP6065499B2 (ja) * | 2012-09-26 | 2017-01-25 | 沖電気工業株式会社 | 情報処理装置、プログラム及び情報処理方法 |
US9189850B1 (en) * | 2013-01-29 | 2015-11-17 | Amazon Technologies, Inc. | Egomotion estimation of an imaging device |
EP2953098B1 (en) | 2013-02-01 | 2019-03-13 | Sony Corporation | Information processing device, terminal device, information processing method, and programme |
JP6201148B2 (ja) * | 2013-12-20 | 2017-09-27 | パナソニックIpマネジメント株式会社 | キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム |
US9761059B2 (en) | 2014-01-03 | 2017-09-12 | Intel Corporation | Dynamic augmentation of a physical scene |
US10270985B2 (en) * | 2014-09-03 | 2019-04-23 | Intel Corporation | Augmentation of textual content with a digital scene |
US10339389B2 (en) * | 2014-09-03 | 2019-07-02 | Sharp Laboratories Of America, Inc. | Methods and systems for vision-based motion estimation |
JP6542524B2 (ja) * | 2014-10-29 | 2019-07-10 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 画像処理装置、画像処理方法、およびプログラム |
US9600892B2 (en) * | 2014-11-06 | 2017-03-21 | Symbol Technologies, Llc | Non-parametric method of and system for estimating dimensions of objects of arbitrary shape |
US9396554B2 (en) | 2014-12-05 | 2016-07-19 | Symbol Technologies, Llc | Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code |
WO2016095057A1 (en) * | 2014-12-19 | 2016-06-23 | Sulon Technologies Inc. | Peripheral tracking for an augmented reality head mounted device |
JP6715864B2 (ja) * | 2015-05-21 | 2020-07-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像に対する深度マップを決定するための方法及び装置 |
EP3338136B1 (en) * | 2015-08-04 | 2022-09-14 | Yasrebi, Seyed-Nima | Augmented reality in vehicle platforms |
JP6705636B2 (ja) | 2015-10-14 | 2020-06-03 | 東芝ライフスタイル株式会社 | 電気掃除機 |
KR101817583B1 (ko) * | 2015-11-30 | 2018-01-12 | 한국생산기술연구원 | 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법 |
US10352689B2 (en) | 2016-01-28 | 2019-07-16 | Symbol Technologies, Llc | Methods and systems for high precision locationing with depth values |
US10145955B2 (en) | 2016-02-04 | 2018-12-04 | Symbol Technologies, Llc | Methods and systems for processing point-cloud data with a line scanner |
US10721451B2 (en) | 2016-03-23 | 2020-07-21 | Symbol Technologies, Llc | Arrangement for, and method of, loading freight into a shipping container |
US9805240B1 (en) | 2016-04-18 | 2017-10-31 | Symbol Technologies, Llc | Barcode scanning and dimensioning |
EP3452991A4 (en) * | 2016-05-02 | 2020-01-08 | Warner Bros. Entertainment Inc. | GEOMETRY ADJUSTMENT IN VIRTUAL REALITY AND EXTENDED REALITY |
US10776661B2 (en) | 2016-08-19 | 2020-09-15 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting and dimensioning objects |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
US10451405B2 (en) | 2016-11-22 | 2019-10-22 | Symbol Technologies, Llc | Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue |
US10354411B2 (en) | 2016-12-20 | 2019-07-16 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting objects |
CN108510540B (zh) * | 2017-02-23 | 2020-02-07 | 杭州海康威视数字技术股份有限公司 | 立体视觉摄像机及其高度获取方法 |
US11978011B2 (en) | 2017-05-01 | 2024-05-07 | Symbol Technologies, Llc | Method and apparatus for object status detection |
US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
US10663590B2 (en) | 2017-05-01 | 2020-05-26 | Symbol Technologies, Llc | Device and method for merging lidar data |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
US10591918B2 (en) | 2017-05-01 | 2020-03-17 | Symbol Technologies, Llc | Fixed segmented lattice planning for a mobile automation apparatus |
WO2018204342A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Product status detection system |
US11367092B2 (en) | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
US11600084B2 (en) | 2017-05-05 | 2023-03-07 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
AU2017225023A1 (en) * | 2017-09-05 | 2019-03-21 | Canon Kabushiki Kaisha | System and method for determining a camera pose |
US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
US10521914B2 (en) | 2017-09-07 | 2019-12-31 | Symbol Technologies, Llc | Multi-sensor object recognition system and method |
US10740911B2 (en) | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
US11327504B2 (en) | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
KR102640871B1 (ko) | 2018-10-30 | 2024-02-27 | 삼성전자주식회사 | 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법 |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
CN113286073A (zh) * | 2020-02-19 | 2021-08-20 | 北京小米移动软件有限公司 | 拍摄方法、拍摄装置及存储介质 |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
WO2022009329A1 (ja) * | 2020-07-08 | 2022-01-13 | 三菱電機エンジニアリング株式会社 | 位置合わせ装置及び位置合わせ方法 |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
KR102399047B1 (ko) | 2021-08-12 | 2022-05-18 | (주)에이아이매틱스 | 자율주행에서의 시각적 속성 추정을 위한 시각 정보 처리 방법 및 시스템 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
WO2004107266A1 (en) | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
EP3196805A3 (en) | 2003-06-12 | 2017-11-01 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
JP4726191B2 (ja) * | 2005-02-04 | 2011-07-20 | キヤノン株式会社 | 位置姿勢補正装置、位置姿勢補正方法、そのプログラムおよび記憶媒体 |
JP4769079B2 (ja) * | 2005-12-15 | 2011-09-07 | 日本放送協会 | カメラ情報解析装置 |
JP4964541B2 (ja) | 2006-09-11 | 2012-07-04 | オリンパス株式会社 | 撮像装置、画像処理装置、撮像システム及び画像処理プログラム |
JP2008153741A (ja) | 2006-12-14 | 2008-07-03 | Sharp Corp | 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体 |
KR20080105698A (ko) | 2007-06-01 | 2008-12-04 | (주)제어와정보 | 다시점 영상을 이용한 3차원 형상 추정 방법 및 구현 |
KR101066550B1 (ko) | 2008-08-11 | 2011-09-21 | 한국전자통신연구원 | 가상시점 영상 생성방법 및 그 장치 |
US8179448B2 (en) | 2008-08-26 | 2012-05-15 | National Taiwan University | Auto depth field capturing system and method thereof |
KR101002785B1 (ko) | 2009-02-06 | 2010-12-21 | 광주과학기술원 | 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템 |
US20100277470A1 (en) | 2009-05-01 | 2010-11-04 | Microsoft Corporation | Systems And Methods For Applying Model Tracking To Motion Capture |
JP5423406B2 (ja) * | 2010-01-08 | 2014-02-19 | ソニー株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
-
2011
- 2011-04-07 KR KR1020110032162A patent/KR101758058B1/ko active IP Right Grant
-
2012
- 2012-01-19 US US13/353,767 patent/US9304194B2/en active Active
- 2012-01-20 JP JP2012009590A patent/JP5952001B2/ja active Active
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160055177A (ko) * | 2013-09-11 | 2016-05-17 | 퀄컴 인코포레이티드 | 깊이 센서들을 사용하는 구조적 모델링 |
KR101518485B1 (ko) * | 2013-11-29 | 2015-05-11 | 김홍기 | 지능형 객체 추적 시스템 |
KR20160041441A (ko) * | 2014-10-07 | 2016-04-18 | 주식회사 케이티 | 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치 |
KR102098687B1 (ko) * | 2018-11-02 | 2020-04-09 | 서울대학교산학협력단 | 영상 모서리 정렬 기반 영상 항법 및 장치 |
CN112083403A (zh) * | 2020-07-21 | 2020-12-15 | 青岛小鸟看看科技有限公司 | 用于虚拟场景的定位追踪误差校正方法及系统 |
CN112083403B (zh) * | 2020-07-21 | 2023-10-10 | 青岛小鸟看看科技有限公司 | 用于虚拟场景的定位追踪误差校正方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2012151851A (ja) | 2012-08-09 |
JP5952001B2 (ja) | 2016-07-13 |
US20120236119A1 (en) | 2012-09-20 |
KR101758058B1 (ko) | 2017-07-17 |
US9304194B2 (en) | 2016-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101758058B1 (ko) | 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 | |
Koch et al. | Evaluation of cnn-based single-image depth estimation methods | |
US10699476B2 (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
CN110246221B (zh) | 真正射影像获得方法及装置 | |
US9091553B2 (en) | Systems and methods for matching scenes using mutual relations between features | |
Takimoto et al. | 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor | |
CN104715479A (zh) | 基于增强虚拟的场景复现检测方法 | |
WO2014003081A1 (en) | Method for registering data | |
Khoshelham et al. | Generation and weighting of 3D point correspondences for improved registration of RGB-D data | |
Eichhardt et al. | Affine correspondences between central cameras for rapid relative pose estimation | |
US20090080767A1 (en) | Method for determining a depth map from images, device for determining a depth map | |
Stefańczyk et al. | Multimodal segmentation of dense depth maps and associated color information | |
Rodrigues et al. | On the representation of rigid body transformations for accurate registration of free-form shapes | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
Weinmann et al. | Fusing passive and active sensed images to gain infrared-textured 3D models | |
Delmas et al. | Stereo camera visual odometry for moving urban environments | |
KR20120056668A (ko) | 3차원 정보 복원 장치 및 그 방법 | |
Mkhitaryan et al. | RGB-D sensor data correction and enhancement by introduction of an additional RGB view | |
Kojima et al. | New multiple-camera calibration method for a large number of cameras | |
CN112053406B (zh) | 成像装置参数标定方法、装置及电子设备 | |
Chen et al. | Fully in tensor computation manner: a one-shot dense 3D acquisition method using structured light | |
Kumar et al. | To Study the Effect of Varying Camera Parameters in the Process of Matching and Reconstruction | |
Li et al. | Reconstruction of 3D structural semantic points based on multiple camera views | |
Peng et al. | 3-D reconstruction using image sequences based on projective depth and simplified iterative closest point | |
Vezeteu | Stereo-Camera–LiDAR Calibration for Autonomous Driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |