KR20120084635A - 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 - Google Patents

깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 Download PDF

Info

Publication number
KR20120084635A
KR20120084635A KR1020110032162A KR20110032162A KR20120084635A KR 20120084635 A KR20120084635 A KR 20120084635A KR 1020110032162 A KR1020110032162 A KR 1020110032162A KR 20110032162 A KR20110032162 A KR 20110032162A KR 20120084635 A KR20120084635 A KR 20120084635A
Authority
KR
South Korea
Prior art keywords
camera
depth
extracted
extracting
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020110032162A
Other languages
English (en)
Other versions
KR101758058B1 (ko
Inventor
이선민
이영범
김상욱
김경환
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/353,767 priority Critical patent/US9304194B2/en
Priority to JP2012009590A priority patent/JP5952001B2/ja
Publication of KR20120084635A publication Critical patent/KR20120084635A/ko
Application granted granted Critical
Publication of KR101758058B1 publication Critical patent/KR101758058B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

깊이 카메라의 모션을 실시간으로 추정하기 위한 카메라 모션 추정 방법 및 장치에 관한 것이다. 카메라 모션 추정 장치는 깊이 영상의 평면정보로부터 교차점을 추출하고, 상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하고, 상기 계산된 특징점을 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출함으로써, 조명환경이 동적으로 변화하거나, 공간 내 텍스처 상태에 관계없이 카메라 모션을 추정할 수 있다.

Description

깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템{APPARATUS AND METHOD FOR ESTIMATING CAMERA MOTION USING DEPTH INFORMATION, AUGMENTED REALITY SYSTEM}
카메라의 모션을 실시간으로 추정하기 위한 기술에 관한 것이다.
증강 현실 (Augmented Reality)은 현실 세계에 가상의 객체를 중첩하여 보여 주는 기술이다. 일반적으로, 현실 세계는 비디오 카메라 등으로 획득된 영상을 이용한다. 비디오 영상에 가상 객체를 시감적 차이 없이 중첩하여 표현하기 위해서는 촬영된 비디오 영상과 동일한 시점으로 가상 객체를 정합(registration)하고, 비디오 카메라가 움직일 때마다 가상 객체의 방향 및 위치를 업데이트 해야 한다. 이를 위해서는 비디오 카메라의 방향 및 위치를 실시간으로 알 수 있어야 한다.
종래의 카메라 모션(방향 및 위치)을 추정하기 위한 방법은 대부분 빛의 파장에 대한 세기 신호를 감지하는 카메라 센서에서 출력된 영상(이하, 컬러 영상)을 대상으로 한다. 매 프레임 별 카메라 모션을 추정하기 위해서는 컬러 영상에서 특징적인 성분(예를 들어, 점 또는 선) 집합을 추출하고, 인접한 프레임에서 특징 성분들의 컬러 영상 내 위치 정보를 비교하여 계산하는 방식을 이용한다. 이때, 특징적인 성분을 추출하기 위해서는 주변의 화소값과 확연히 다른 점이나 선을 추출하기 때문에 각 화소의 컬러(혹은 인텐서티(intensity))값을 이용하게 된다.
그러나, 종래의 기술들에 의하면, 삼차원 공간 상의 동일한 점은 매 프레임 별로 동일 혹은 유사한 컬러 값을 갖고 있음을 전제로 한다. 이 때문에, 조명환경이 급격하게 변하는 경우에는 전 프레임에서 추출된 특징 성분이 현 프레임에서 추출되지 않거나, 특징 성분을 기술하는 기술자(descriptor)의 특성이 달라지기 때문에 두 특징 성분간 정확한 매칭이 보장되지 않는 등 카메라 모션 추정이 실패하게 될 가능성이 크다. 또한, 이웃 화소와 구별되는 특징적인 화소가 적을 때에도(유사 패턴 텍스처 반복, 또는 동일한 컬러로 이루어진 영역 등) 카메라 모션 추정이 어렵다.
일실시예에 따른 카메라 모션 추정 장치는 깊이 영상의 평면정보로부터 교차점을 추출하는 교차점 추출부, 상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하는 특징점 검출부, 및 상기 계산된 특징점을 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 모션 추출부를 포함한다.
상기 카메라 모션 추정 장치는 상기 깊이 영상으로부터 평면정보를 추출하는 평면 추출부를 더 포함할 수 있다.
상기 평면 추출부는 상기 깊이 카메라로부터 획득한 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의할 수 있다.
상기 교차점 추출부는 상기 평면정보로서 추출된 평면집합의 원소 중, 3개의 원소로 구성된 부분집합을 생성하고, 생성된 부분집합 내 세 평면 방정식을 표현하는 벡터를 추출하고, 추출된 벡터를 이용하여 상기 교차점을 추출할 수 있다.
상기 카메라 모션 추정 장치는 상기 평면정보에 포함된 두 평면 간의 교차선을 추출하는 교차선 추출부를 더 포함할 수 있다.
상기 특징점 검출부는 상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 특징점을 계산할 수 있다.
상기 특징점 검출부는 상기 일정 간격을 조절하여 복수개의 특징점을 계산할 수 있다.
상기 모션 추출부는 제1 깊이 카메라로부터 추출된 제1 특징점과 제2 깊이 카메라로부터 추출된 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 회전 정보 또는 이동 정보를 계산할 수 있다.
다른 일실시예에 따른 카메라 모션 추정 장치는 제1 깊이 카메라의 제1 프레임에서 추출된 제1 평면정보에 포함된 제1 특징점을 계산하고, 제2 깊이 카메라의 제2 프레임에서 추출된 제2 평면정보에 포함된 제2 특징점을 계산하는 특징점 검출부, 및 상기 제1 특징점과 상기 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 모션을 추출하는 모션 추출부를 포함할 수 있다.
상기 교차선 추출부는 상기 깊이 영상에 미분 연산자를 적용하여, 에지(edge)를 추출할 수 있다. 상기 모션 추출부는 상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출할 수 있다.
일실시예에 따른 카메라 모션 추정 방법은 깊이 카메라에서 획득한 깊이 영상의 평면정보로부터 교차점을 추출하는 단계, 상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하는 단계, 및 상기 계산된 특징점을 이용하여 상기 깊이 카메라의 모션을 추출하는 단계를 포함한다.
일실시예에 따른 증강 현실 시스템은 깊이 영상을 생성하는 깊이 카메라, 상기 생성된 깊이 영상을 이용하여 상기 깊이 카메라에 대한 모션을 추정하는 카메라 모션 추정 장치, 상기 추정된 카메라 모션으로 카메라 포즈를 업데이트하는 포즈 업데이트부, 상기 업데이트된 카메라 포즈를 이용하여 가상 카메라 포즈를 업데이트하는 가상 카메라 포즈 업데이트부, 상기 깊이 카메라와 동일한 시점을 갖는 컬러 카메라로부터 컬러 영상을 획득하는 컬러 영상 획득부, 가상 객체 데이터베이스를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합하는 정합기, 및 상기 획득한 컬러 영상과, 상기 정합된 가상 객체를 정합하는 현실 영상/가상 객체 정합부를 포함한다.
다른 일실시예에 따른 증강 현실 시스템은 깊이 영상을 생성하는 깊이 카메라, 상기 생성된 깊이 영상을 이용하여 상기 깊이 카메라에 대한 모션을 추정하는 카메라 모션 추정 장치, 상기 추정된 카메라 모션으로 카메라 포즈를 업데이트하는 포즈 업데이트부, 상기 깊이 카메라와 상이한 시점을 갖는 컬러 카메라로부터 컬러 영상을 획득하는 컬러 영상 획득부, 서로 상이한 시점을 갖는 상기 깊이 영상과 상기 컬러 영상을 동일한 시점을 갖도록 교정하는 카메라 교정부(Camera Calibration), 상기 업데이트된 카메라 포즈와 상기 카메라 교정부(604)에 의해 교정된 시점을 이용하여 가상 카메라 포즈를 업데이트하는 가상 카메라 포즈 업데이트부, 가상 객체 데이터베이스를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합하는 정합기, 및 상기 시점이 교정된 컬러 영상과, 상기 정합된 가상 객체를 정합하는 현실 영상/가상 객체 정합부를 포함한다.
또 다른 일실시예에 따른 카메라 모션 추정 장치는 깊이 영상에 미분 연산자를 적용하여, 에지를 추출하는 에지 추출부, 및 상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 모션 추출부를 포함한다.
조명환경이 동적으로 변화하거나, 공간 내 텍스처 상태에 관계없이 카메라 모션을 추정할 수 있다.
현실 공간 상에 흔히 존재하는 평면정보를 깊이 카메라로부터 추출하여, 추출된 평면정보를 이용하여 각 평면에 대한 특징점을 계산함으로써, 카메라 모션 추정에 활용할 수 있다.
증강 현실, 혼합 현실, 로봇 청소기, 로봇 자동 주행, Vehicle 자동 주행, 스마트 폰 및 테블릿 PC 어플리케이션 등 카메라의 위치 및 방향 추적이 필수적인 분야에 활용될 수 있다.
컬러 카메라에 기반한 모션 추정 기술의 한계를 극복하기 위하여, 깊이 카메라에서 생성된 깊이 영상을 사용함으로써, 밝기값에 기반한 컬러 영상으로는 모션 추정이 불가능한 경우에도 동작할 수 있다.
깊이 영상의 공간 내 평면정보가 존재하지 않는 경우, 미분 연산자를 상기 깊이 영상에 적용함으로써, 회전 불변 특징(Rotation Invariant feature)을 갖는 에지를 추출할 수 있다.
도 1은 카메라 모션 추정 장치의 구성을 도시한 블록도이다.
도 2는 세 평면을 포함하는 환경에서의 깊이 영상과 컬러 영상을 나타낸 도면이다.
도 3은 깊이 영상을 이용하여 카메라 모션을 추정하는 일례를 도시한 도면이다.
도 4는 깊이 영상으로부터 추출된 평면정보로부터 교차점과 교차선을 추출하는 일례를 도시한 도면이다.
도 5는 동일 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 6은 상이한 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 7은 깊이 영상으로부터 추출된 카메라 모션을 이용하여 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 8은 세 평면이 물리적으로 교차하지 않는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 9는 상기 기술한 평면 이외에도 실제 객체가 존재하는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 10은 깊이 카메라에서 촬영한 깊이 영상을 이용하여 가상 객체를 정합하는 일례를 도시한 도면이다.
도 11은 카메라 모션 추정 방법의 순서를 도시한 흐름도이다.
도 12는 카메라 모션 추정 장치에 대한 다른 실시예를 도시한 블록도이다.
도 13은 카메라 모션 추정 방법에 대한 다른 실시예를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
카메라 모션을 추정하기 위해서는 영상 내 특징 성분을 추출하고 매 프레임에서 특징 성분간 매칭을 통하여 카메라의 방향/위치 계산 시 이용해야 한다. 그러나, 영상에서 특징 성분을 정상적으로 추출할 수 없는 경우(텍스처 부족, 반복적인 텍스처 패턴, 조명이 어둡거나 밝기 차가 심한 경우 등)에는 카메라 모션 추출이 어렵다. 따라서, 카메라 모션 추정의 한 실시 예인 증강 현실 시스템에서 실사 비디오에 가상 객체를 중첩하여 표현할 수 없다. 따라서, 카메라 모션을 성공적으로 추출하기 위해서는 인위적으로 공간 내 텍스처 정보를 배치해야 하는 등의 제약이 따른다.
본 발명에서는 이러한 문제를 해결하기 위하여, 조명 조건이 변화하는 경우에 컬러 영상에서는 같은 지점에 대한 화소값이 달라지지만, 깊이 영상에서는 조명이 달라지더라도 위치가 동일하기 때문에 동일한 값을 갖는다. 따라서, 카메라 모션 추정 장치는 깊이 영상을 이용하여 카메라 모션을 추정하는 방안을 제안한다.
도 1은 카메라 모션 추정 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 카메라 모션 추정 장치(100)는 깊이 영상 획득부(110), 평면 추출부(120), 교차점 추출부(130), 교차선 추출부(140), 특징점 검출부(150), 모션 추출부(160), 및 포즈 업데이트부(170)를 포함할 수 있다.
깊이 카메라(Depth Camera)는 TOF(Time-of-flight) 방식으로 3차원 깊이 영상을 생성할 수 있다. 이러한, 깊이 카메라는 3차원 입체 영상을 획득하기 위해 활용될 수 있다.
깊이 영상 획득부(110)는 상기 깊이 카메라에서 생성된 깊이 영상을 획득할 수 있다.
도 2는 세 평면을 포함하는 환경에서의 깊이 영상과 컬러 영상을 나타낸 도면이다.
도 2를 참조하면, 깊이 영상(210)과 컬러 영상(220)은 세 평면을 포함하고 있다. 일반적으로, 깊이 영상(210)은 컬러 영상(220)에 비해 조명환경의 변화와 공간 내 텍스처 상태에 영향을 덜 받는다. 그러나, 컬러 영상(220)은 조명환경의 변화와 텍스처 상태에 영향을 많이 받기 때문에 카메라 모션을 추정하는데 이용하기 어렵다. 특히, 컬러 영상(220)은 이웃 화소와 구별되는 특징적인 화소가 적을 때에도(유사 패턴 텍스처 반복, 또는 동일한 컬러로 이루어진 영역 등) 카메라 모션 추정이 어렵다.
따라서, 카메라 모션 추정 장치(100)는 깊이 영상(210)을 이용하여 카메라 모션 추정을 할 수 있다.
도 2에서는 깊이 영상(210)과 컬러 영상(220)이 세 평면을 포함하는 일례로 들어 설명하지만, 공간 상에 꼭 세 개의 평면만 존재해야 하는 것은 아니고, 단지 교차점을 구하기 위해 필요한 최소수가 3개이기 때문에, 설명의 편의를 위해 3개로 표기하였다. 즉, 3개 이상의 평면을 포함하는 깊이 영상(210)과 컬러 영상(220)의 경우에도, 카메라 모션 추정 장치(100)는 깊이 영상(210)을 이용하여 카메라 모션 추정을 할 수 있다.
평면 추출부(120)는 상기 획득한 깊이 영상으로부터 평면정보를 추출할 수 있다. 평면 추출부(120)는 상기 깊이 카메라로부터 획득한 포인트 샘플(point sample)을 이용하여 공간 내 모든 평면정보를 추출할 수 있다. 실시예로, 평면 추출부(120)는 RANSAC(Random Sample Consensus) 알고리즘을 사용하여 상기 평면정보를 추출할 수 있다. 예컨대, 평면 추출부(120)는 상기 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의할 수 있다.
Figure pat00001
여기서, Sj는 j번째 프레임에서 추출된 모든 평면을 원소로 갖는 평면집합, j는 프레임 번호, i는 j번째 프레임에서 추출된 평면 인덱스(index), n은 전체 평면 개수이다.
교차점 추출부(130)는 상기 평면정보로부터 교차점을 추출할 수 있다. 예컨대, 교차선 추출부(140)가 상기 평면정보에 포함된 복수개의 평면 중, 두 평면 간의 교차선을 추출하면, 교차점 추출부(130)는 추출된 교차선 간의 교차를 통해 교차점을 계산할 수도 있다. 이때, 교차선은 초기 교차점이 아닌 추후 부가적으로 구하는 교차점을 계산하기 위해 계산되는 것이다. 또는, 교차점 추출부(130)는 이하, 수학식 4를 이용하여 평면 방식으로부터 교차점을 직접 계산할 수도 있다.
예컨대, 교차점 추출부(130)는 상기 평면정보에 포함된 3개의 평면을 이용하여 삼차원 공간 상에서의 교차점을 구할 수 있다. 일반적으로, 평면 간의 교차점을 구하기 위해서는 최소 3개의 평면이 필요하다. 이를 위하여, 교차점 추출부(130)는 상기 평면집합(Sj)의 원소 중 3개의 원소로 이루어진 모든 부분집합(
Figure pat00002
) 조합을 생성할 수 있다.
Figure pat00003
여기서,
Figure pat00004
는 Sj의 부분 집합으로 3개의 평면으로 구성될 수 있다. j는 프레임 번호, a, b, c는
Figure pat00005
에 속하는 평면 인덱스(상기 Sj 에 속하는 평면), n은 전체 평면 개수(Sj에서 언급된 n과 동일) 교차점 추출부(130)는 실시예에 따라 상기 부분집합의 개수를 설정할 수 있다.
Figure pat00006
여기서, t는 부분집합의 개수이고, n은 전체 평면 개수이다.
교차점 추출부(130)는 상기 부분집합 내 세 평면 방정식을 표현하는 벡터를 추출할 수 있다. 즉, 교차점 추출부(130)는 상기 부분집합(
Figure pat00007
) 내 세 평면 방정식을 표현하는 벡터를 각각 (a1, b1, c1, d1), (a2, b2, c2, d2), (a3, b3, c3, d3)이라 할 수 있다.
이어서, 교차점 추출부(130)는 상기 추출된 세 개의 벡터를 이용하여 상기 교차점을 추출할 수 있다. 예컨대, 교차점 추출부(130)는 j번째 프레임 상에서 추출된 부분집합 내 세 평면의 교차점의 삼차원 공간상에서의 좌표
Figure pat00008
(여기서, j는 프레임 번호, t는 전체 평면 개수)를 수학식 4를 통해 구할 수 있다.
Figure pat00009
여기서,
Figure pat00010
는 세 평면에 대한 각각의 좌표값일 수 있다.
이때,
Figure pat00011
이다.
'DET = 0'인 경우, 교차점 추출부(130)는 세 개의 평면 중 두 개 이상의 평면이 서로 평행하여, 평면 간의 교차점이 존재하지 않는 경우이므로 계산에서 제외할 수 있다.
특징점 검출부(150)는 상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산할 수 있다.
도 3은 깊이 영상을 이용하여 카메라 모션을 추정하는 일례를 도시한 도면이다.
도 3을 참조하면, 교차선 추출부(140)는 평면정보(π1, π2, π3)에 포함된 두 평면(π1와 π2, π1와 π3, π2와 π3)간의 교차선(L12, L31, L23)을 추출할 수 있다. 특징점 검출부(150)는 상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 특징점을 계산할 수 있다. 도시한 바와 같이, 두 평면 간에는 교차선 L12, L31, L23이 존재한다. 특징점 검출부(150)는 상기 각 교차선을 따라 일정 간격 'λ'만큼 떨어진 곳에 있는 추가적인 특징점(
Figure pat00012
)을 구할 수 있다.
Figure pat00013
여기서,
Figure pat00014
는 π1 평면에 대한 특징점이고,
Figure pat00015
는 π2 평면에 대한 특징점이고,
Figure pat00016
는 π3 평면에 대한 특징점이다.
도 4는 깊이 영상으로부터 추출된 평면정보로부터 교차점과 교차선을 추출하는 일례를 도시한 도면이다.
도 4를 참조하면, 교차선 추출부(140)는 평면정보에 포함된 세 개의 평면에 대한 교차점을 구하기 위하여, 인접한 두 평면 간의 교차선을 추출할 수 있다(410). 도면에서는 3개의 평면이 나와 있으므로, 교차선 추출부(140)는 3개의 교차선을 추출할 수 있다. 교차점 추출부(130)는 상기 추출된 3개의 교차선이 만나는 중앙 좌표점을 교차점으로 추출할 수 있다(420). 특징점 검출부(150)는 상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 특징점을 계산할 수 있다(430).
이때, 특징점 검출부(150)는 상기 일정 간격을 조절하여 복수개의 특징점을 계산할 수 있다. 즉, 추가적인 특징점의 개수는 λm의 개수인 m의 세 배수로 증가하며, 추출된 특징점의 총 개수는 nfeauters = 1 + 3m 이다. 도면(430)에서는 세 평면간 교차선 및 교차점을 이용하여 추가적으로 추출한 특징점을 보이며, 'm=3'인 경우이다. 이렇게, 특징점 검출부(150)는 상기와 같이 j번째 프레임(ith)에서의 특징점을 계산하고, j+1번째 프레임(ith+1)에서의 특징점을 구할 수 있다.
모션 추출부(160)는 상기 계산된 특징점을 이용하여 상기 깊이 카메라의 모션을 추출할 수 있다. 예컨대, 모션 추출부(160)는 제1 깊이 카메라로부터 추출된 제1 특징점과 제2 깊이 카메라로부터 추출된 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 회전 정보 또는 이동 정보를 계산할 수 있다.
실시예로, 상기 제1 특징점은 j번째 프레임에서 추출된 특징점이고, 상기 제2 특징점은 j+1번째 프레임에서 추출된 특징점일 수 있다. 모션 추출부(160)는 두 프레임(j, j+1)에서의 특징점 집합
Figure pat00017
와　
Figure pat00018
을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간 상대적인 회전 정보 또는 이동 정보를 계산할 수 있다.
Figure pat00019
여기서, R3x3는 회전 정보, T3x1는 이동 정보이다. F(Function)는 두 특징점을 정합하기 위한 함수이다. 이 때, 두 특징점 집합을 정합하기 위한 함수(F)는 ICP(Iterative Closet Points)와 같은 알고리즘을 사용할 수 있다.
모션 추출부(160)는 상기 제1, 제2 깊이 카메라간 변환 행렬인 'RT'를 수학식 7과 같이 구할 수 있다.
Figure pat00020
또한, 포즈 업데이트부(170)는 상기 변환 행렬을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라의 포즈를 수학식 8과 같이 구할 수 있다. 이 때, 초기 카메라 포즈 Proj0는 첫 프레임의 깊이 카메라 좌표계로 정의할 수 있고, 월드 좌표계와 일치한다고 가정할 때 기본 행렬(identity matrix)로 표현할 수 있다.
Figure pat00021
여기서, Proj0는 j+1번째 프레임의 깊이 카메라 좌표계, RT-1은 변환 행렬의 역행렬, Proj0는 j번째 프레임의 깊이 카메라 좌표계이다.
이러한, 카메라 모션 추정 장치(100)는 증강 현실 시스템에 적용되어 실행될 수 있다. 증강 현실 시스템은 현실 세계에 가상의 객체를 중첩하여 보여 주는 것이다.
실시예로, 교차선 추출부(140)는 상기 깊이 영상에 미분 연산자를 적용하여 에지(edge)를 직접 추출할 수도 있다. 미분 연산자는 1차 미분 연산자(Gradient) 또는 2차 미분 연산자(Laplacian)일 수 있다. 1차 미분 연산자는 x방향의 미분(fx)과 y방향의 미분(fy)으로 구분할 수 있다.
Figure pat00022
Figure pat00023
여기서, x는 x축 방향 깊이 영상의 픽셀값, y는 y축 방향 깊이 영상의 픽셀값일 수 있다.
연산자명 fx fy
Roberts
Figure pat00024
Figure pat00025
Prewitt
Figure pat00026
Figure pat00027
Sobel
Figure pat00028
Figure pat00029
Frei-chen
Figure pat00030
Figure pat00031
교차선 추출부(140)는 표 1에 기재되어 있는 다양한 1차 미분 연산자를 상기 깊이 영상에 적용시킴으로써, 상기 에지를 추출할 수 있다.
2차 미분은 1차 미분을 다시 한번 미분하는 방법이다. 예컨대, 교차선 추출부(140)는 2차 미분 연산자로 라플라시안 마스크를 적용하는 '라플라시안 연산자'를 상기 깊이 영상에 적용함으로써, 상기 에지를 추출할 수 있다. 라플라시안 연산자는 깊이 영상에서의 밝기 변화량을 측정하여 변화가 큰 부분을 에지로 추출하는 방식으로, 1차 미분하는 방식에 비하여 잡음에 강인하다는 장점이 있다.
일례로, 교차선 추출부(140)는 깊이 영상의 공간 내 평면정보가 존재하지 않는 경우, 상기 2차 미분 연산자를 상기 깊이 영상에 적용함으로써, 회전 불변 특징(Rotation Invariant feature)을 갖는 에지를 추출할 수 있다.
Figure pat00032
교차선 추출부(140)는 수학식 10의 행렬을 상기 깊이 영상에 적용함으로써, 상기 에지를 추출할 수 있다. 수학식 10은 에지를 검출하기 위한 하나의 실시예인 라플라시안 연산자를 구현하기 위한 마스크이며, 교차선 추출부(140)는 라플라시안 연산자 이외에도 다양한 2차 미분 연산자(예컨대, 가우시안-라플라시안 연산자(Laplacian of Gaussian))를 이용하여 상기 에지를 추출할 수 있다.
모션 추출부(160)는 상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출할 수 있다.
도 5는 동일 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 5를 참조하면, 증강 현실 시스템(500)은 깊이 카메라(510)에서 획득한 깊이 영상을 카메라 모션 추정 장치(520)에 통과시켜, 추정된 카메라 모션으로 포즈 업데이트부(530)에서 카메라 포즈를 업데이트시킬 수 있다. 가상 카메라 포즈 업데이트부(560)는 포즈 업데이트부(530)로부터 업데이트된 카메라 포즈를 이용하여 가상 카메라 포즈를 업데이트할 수 있다.
컬러 영상 획득부(550)는 깊이 카메라(510)와 동일한 시점을 갖는 컬러 카메라(540)에서 컬러 영상을 획득할 수 있다.
정합기(570)는 가상 객체 데이터베이스(580)를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합할 수 있다.
현실 영상/가상 객체 정합부(590)는 상기 컬러 영상과, 상기 정합된 가상 객체를 정합할 수 있다.
도 6은 상이한 시점을 갖는 컬러 영상과 깊이 영상이 제공되는 경우, 증강 현실 시스템에서 가상 객체를 정합하는 일례를 도시한 블록도이다.
도 6을 참조하면, 증강 현실 시스템(600)은 깊이 카메라(601)에서 획득한 깊이 영상을 카메라 모션 추정 장치(602)에 통과시켜, 깊이 카메라(601)의 모션을 추정할 수 있다.
컬러 영상 획득부(606)는 깊이 카메라(601)와 상이한 시점을 갖는 컬러 카메라(605)에서 컬러 영상을 획득할 수 있다.
증강 현실 시스템(600)은 서로 상이한 시점을 교정하기 위해, 카메라 교정부(604)를 더 포함할 수 있다. 카메라 교정부(Camera Calibration, 604)는 시점이 서로 상이한 상기 깊이 영상과 상기 컬러 영상을 동일한 시점을 갖도록 교정할 수 있다.
가상 카메라 포즈 업데이트부(607)는 포즈 업데이트부(603)로부터 업데이트된 카메라 포즈와 카메라 교정부(604)에서 교정된 시점을 이용하여 가상 카메라 포즈를 업데이트할 수 있다.
정합기(608)는 가상 객체 데이터베이스(609)를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합할 수 있다.
현실 영상/가상 객체 정합부(610)는 상기 시점이 교정된 컬러 영상과, 상기 정합된 가상 객체를 정합할 수 있다.
도 7은 깊이 영상으로부터 추출된 카메라 모션을 이용하여 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 7을 참조하면, 증강 현실 시스템은 깊이 영상(710)과, 깊이 영상(710)과 동일한 시점을 갖는 컬러 영상(720)을 정합하여 정합 영상(730)을 생성할 수 있다. 즉, 정합 영상(730)은 깊이 영상(710)으로부터 추출된 카메라 모션(회전, 이동) 정보를 이용하여 컬러 영상(720)에 가상 객체인 주전자가 중첩된 영상이다. 즉, 카메라의 움직임이 가상 객체의 포즈에도 반영됨을 보인다.
도 8은 세 평면이 물리적으로 교차하지 않는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 8을 참조하면, 세 평면이 공간 상에서 물리적으로 교차하지 않는 경우에도, 증강 현실 시스템은 깊이 영상(810)과, 깊이 영상(810)과 동일한 시점을 갖는 컬러 영상(820)을 정합하여 정합 영상(830)을 생성할 수 있다. 컬러 영상(820)에서 확인할 수 있듯이 조명환경이 변하고 있지만, 카메라 모션 추정 장치(100)는 깊이 영상(810)을 이용하여 카메라 모션을 추정함으로써, 컬러 영상(820)의 조명변화가 깊이 영상(810)에 영향을 미치지 않으므로 정확하게 카메라 모션을 추정할 수 있음을 보여준다.
도 9는 상기 기술한 평면 이외에도 실제 객체가 존재하는 컬러 영상에 가상 객체를 정합하는 일례를 도시한 도면이다.
도 9을 참조하면, 증강 현실 시스템은 컬러 영상(920)에 실제 객체가 존재하는 경우에도, 깊이 영상(910)과 컬러 영상(920)을 정합하여 정합 영상(930)을 생성할 수 있다. 즉, 컬러 영상(920)에서 확인할 수 있듯이 실제 객체(전화기, 장식품)가 존재하지만, 카메라 모션 추정 장치(100)는 깊이 영상(910)을 이용하여 카메라 모션을 추정함으로써, 컬러 영상(920)에 포함된 실제 객체가 깊이 영상(910)에 영향을 미치지 않으므로 정확하게 카메라 모션을 추정할 수 있음을 보여준다.
도 10은 깊이 카메라에서 촬영한 깊이 영상을 이용하여 가상 객체를 정합하는 일례를 도시한 도면이다.
도 10을 참조하면, 1010은 실제 공간을 나타낸 것이고, 1020은 깊이 카메라에서 촬영한 깊이 영상을 나타낸 것이다. 1020에서는 실제 공간(1010) 내에 평면 이외에 실제 객체(전화기)가 포함되어 있다. 1030은 증강 현실 시스템이 카메라 모션 추정 장치(100)를 이용하여 카메라 모션을 추정함으로써, 실제 객체(전화기)와 가상 객체(주전자)를 정합한 영상이다.
도 11은 카메라 모션 추정 방법의 순서를 도시한 흐름도이다.
도 11을 참조하면, 카메라 모션 추정 방법은 카메라 모션 추정 장치(100)에 의해 실행될 수 있다.
단계 1110에서, 카메라 모션 추정 장치(100)는 깊이 카메라에서 획득한 깊이 영상으로부터 평면정보를 추출할 수 있다. 예컨대, 깊이 영상은 3차원 입체 영상이므로, 3개의 평면이 추출될 수 있다. 카메라 모션 추정 장치(100)는 상기 깊이 카메라로부터 획득한 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의할 수 있다.
단계 1120에서, 카메라 모션 추정 장치(100)는 상기 추출된 평면정보에 포함된 두 평면 간의 교차선을 추출할 수 있다. 상기 평면정보에 3개의 평면(π1, π2, π3)이 존재하는 경우, 카메라 모션 추정 장치(100)는 두 평면(π1와 π2, π1와 π3, π2와 π3)간의 교차선(L12, L31, L23)을 추출할 수 있다.
단계 1130에서, 카메라 모션 추정 장치(100)는 상기 추출된 교차선을 이용하여 교차점을 추출할 수 있다. 예컨대, 카메라 모션 추정 장치(100)는 상기 평면정보로서 추출된 평면집합의 원소 중, 3 개의 원소로 구성된 부분집합을 생성하고, 생성된 부분집합 내 세 평면 방정식을 표현하는 벡터를 각각 세 개씩 추출하고, 추출된 세 개의 벡터를 이용하여 상기 교차점을 추출할 수 있다.
단계 1140에서, 카메라 모션 추정 장치(100)는 상기 교차점을 기준으로 상기 교차선을 따라 각 평면과 연관된 특징점을 계산할 수 있다. 카메라 모션 추정 장치(100)는 상기 교차점에서 상기 교차선을 따라 일정 간격(λ)만큼 이격된 각 평면(π1, π2, π3)과 연관된 특징점(
Figure pat00033
,
Figure pat00034
,
Figure pat00035
)을 계산할 수 있다.
단계 1150에서, 카메라 모션 추정 장치(100)는 상기 계산된 특징점을 이용하여 상기 깊이 카메라의 모션을 추출할 수 있다. 카메라 모션 추정 장치(100)는 제1 깊이 카메라로부터 추출된 제1 특징점과 제2 깊이 카메라로부터 추출된 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 회전 정보와 이동 정보를 계산할 수 있다.
이러한, 카메라 모션 추정 장치(100)는 조명변화가 커서 프레임간 동일한 특징점을 추출하지 못하는 경우에도 카메라 모션 추정 기술의 활용의 범위를 넓힐 수 있다. 즉, 카메라 모션 추정 장치(100)는 조명이 너무 어두워서 특징점 추출이 안 되는 경우, 균일한(homogeneous) 재질(예컨대, 모노 컬러(mono color))로 이루어진 공간에서 특징점을 찾지 못하는 경우, 반복적인 텍스처 패턴으로 인하여 특징점간 정확한 매칭이 어려운 경우 등에 카메라 모션 추정의 적용 시, 환경 제약 조건을 완화시켜 카메라 모션 추정 기술의 활용의 범위를 넓힐 수 있다.
또한, 현실 공간에서는 벽, 바닥, 천장, 책상 등과 같은 평면정보를 쉽게 추출할 수 있다. 따라서, 카메라 모션 추정 장치(100)는 현실 환경의 특징을 이용하여 복잡한 과정을 거치지 않고 보다 쉽고 간편하게 카메라 모션을 추정할 수 있다.
또한, 카메라 모션 추정 장치(100)는 컬러 카메라와 깊이 카메라를 동시에 활용한 강한(robust) 하이브리드(hybrid) 카메라 모션 추정 시스템 개발 시, 깊이 카메라의 모션 추출 모듈로서 이용 가능하다.
도 12는 카메라 모션 추정 장치에 대한 다른 실시예를 도시한 블록도이다.
도 12를 참조하면, 카메라 모션 추정 장치(1200)는 깊이 영상 획득부(1210), 에지 추출부(1220) 및 모션 추출부(1230), 및 포즈 업데이트부(1240)를 포함할 수 있다.
깊이 영상 획득부(1210)는 깊이 카메라에서 생성된 깊이 영상을 획득할 수 있다.
에지 추출부(1220)는 상기 깊이 영상에 미분 연산자를 적용하여, 에지를 추출할 수 있다. 에지 추출부(1220)는 상기 깊이 영상에 1차 미분 연산자를 적용하여 에지를 추출할 수 있다(수학식 9 및 표 1 참고). 즉, 에지 추출부(1220)는 다양한 방식의 1차 미분 연산자(Roberts, Prewitt, Sobel, Frei-chen)를 이용하여 상기 에지를 추출할 수 있다.
또는, 에지 추출부(1220)는 상기 깊이 영상에 2차 미분 연산자를 적용하여 에지를 추출할 수도 있다(수학식 10 참고). 2차 미분은 1차 미분을 다시 한번 미분하는 방법이다. 예컨대, 에지 추출부(1220)는 2차 미분 연산자로 라플라시안 마스크를 적용하는 '라플라시안 연산자'를 상기 깊이 영상에 적용함으로써, 상기 에지를 추출할 수 있다. 라플라시안 연산자는 깊이 영상에서의 밝기 변화량을 측정하여 변화가 큰 부분을 에지로 추출하는 방식으로, 1차 미분하는 방식에 비하여 잡음에 강인하다는 장점이 있다.
일례로, 에지 추출부(1220)는 상기 깊이 영상의 공간 내 평면정보가 존재하지 않는 경우, 상기 2차 미분 연산자를 상기 깊이 영상에 적용함으로써, 회전 불변 특징을 갖는 에지를 추출할 수 있다.
모션 추출부(1230)는 상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출할 수 있다.
포즈 업데이트부(1240)는 상기 추출된 깊이 카메라의 모션으로 깊이 카메라 포즈를 업데이트할 수 있다.
도 13은 카메라 모션 추정 방법에 대한 다른 실시예를 도시한 흐름도이다.
단계 1310에서, 카메라 모션 추정 장치(1200)는 깊이 영상에 미분 연산자를 적용하여 에지를 추출할 수 있다. 카메라 모션 추정 장치(1200)는 깊이 카메라에서 생성된 깊이 영상을 획득하고, 획득된 깊이 영상에 1차 미분 연산자 또는 2차 미분 연산자를 적용하여, 에지를 추출할 수 있다.
예컨대, 카메라 모션 추정 장치(1200)는 2차 미분 연산자로 라플라시안 마스크를 적용하는 '라플라시안 연산자'를 상기 깊이 영상에 적용함으로써, 상기 에지를 추출할 수 있다. 1차 미분 연산자와 2차 미분 연산자로 에지를 추출하는 자세한 방법은 수학식 9 및 수학식 10을 통해 상기에서 자세히 설명하였으므로, 여기서는 그 설명을 생략한다.
단계 1320에서, 카메라 모션 추정 장치(1200)는 상기 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 카메라 모션 추정 장치
110: 깊이 영상 획득부
120: 평면 추출부
130: 교차점 추출부
140: 교차선 추출부
150: 특징점 검출부
160: 모션 추출부
170: 포즈 업데이트부

Claims (22)

  1. 깊이 영상의 평면정보로부터 교차점을 추출하는 교차점 추출부;
    상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하는 특징점 검출부; 및
    상기 계산된 특징점을 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 모션 추출부
    를 포함하는, 카메라 모션 추정 장치.
  2. 제1항에 있어서,
    상기 깊이 영상으로부터 평면정보를 추출하는 평면 추출부
    를 더 포함하는, 카메라 모션 추정 장치.
  3. 제2항에 있어서,
    상기 평면 추출부는,
    상기 깊이 카메라로부터 획득한 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의하는, 카메라 모션 추정 장치.
  4. 제1항에 있어서,
    상기 교차점 추출부는,
    상기 평면정보로서 추출된 평면집합의 원소 중, 3 개의 원소로 구성된 부분집합을 생성하고, 생성된 부분집합 내 세 평면 방정식을 표현하는 벡터를 각각 세 개씩 추출하고, 추출된 세 개의 벡터를 이용하여 상기 교차점을 추출하는, 카메라 모션 추정 장치.
  5. 제1항에 있어서,
    상기 평면정보에 포함된 두 평면 간의 교차선을 추출하는 교차선 추출부
    를 더 포함하는, 카메라 모션 추정 장치.
  6. 제5항에 있어서,
    상기 특징점 검출부는,
    상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 특징점을 계산하는, 카메라 모션 추정 장치.
  7. 제6항에 있어서,
    상기 특징점 검출부는,
    상기 일정 간격을 조절하여 복수개의 특징점을 계산하는, 카메라 모션 추정 장치.
  8. 제1항에 있어서,
    상기 모션 추출부는,
    제1 깊이 카메라로부터 추출된 제1 특징점과 제2 깊이 카메라로부터 추출된 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 회전 정보 또는 이동 정보를 계산하는, 카메라 모션 추정 장치.
  9. 제1항에 있어서,
    상기 깊이 영상에 미분 연산자를 적용하여, 에지(edge)를 추출하는 교차선 추출부
    를 더 포함하고,
    상기 모션 추출부는,
    상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는, 카메라 모션 추정 장치.
  10. 제1 깊이 카메라의 제1 프레임에서 추출된 제1 평면정보에 포함된 제1 특징점을 계산하고, 제2 깊이 카메라의 제2 프레임에서 추출된 제2 평면정보에 포함된 제2 특징점을 계산하는 특징점 검출부; 및
    상기 제1 특징점과 상기 제2 특징점을 이용하여 상기 제1 깊이 카메라와 상기 제2 깊이 카메라 간의 모션을 추출하는 모션 추출부
    를 포함하는, 카메라 모션 추정 장치.
  11. 제10항에 있어서,
    상기 제1 깊이 카메라로부터 획득한 제1 포인트 샘플을 3차원 방정식에 적용시켜 제1 평면집합을 정의하고, 상기 제2 깊이 카메라로부터 획득한 제2 포인트 샘플을 3차원 방정식에 적용시켜 제2 평면집합을 정의하는 평면 추출부
    를 더 포함하는, 카메라 모션 추정 장치.
  12. 제10항에 있어서,
    상기 제1 평면정보에 포함된 두 평면 간의 제1 교차선을 추출하는 교차선 추출부; 및
    상기 추출된 제1 교차선을 이용하여 상기 제1 평면정보로서 추출된 제1 평면집합의 원소 중 3개의 원소로 구성된 제1 부분집합을 생성하고, 생성된 제1 부분집합 내 세 평면 방정식을 표현하는 제1 벡터를 추출하고, 추출된 제1 벡터를 이용하여 상기 제1 프레임과 연관된 교차점을 추출하는 교차점 추출부
    를 더 포함하는, 카메라 모션 추정 장치.
  13. 제12항에 있어서,
    상기 특징점 검출부는,
    상기 제1 교차점을 기준으로 상기 추출된 제1 교차선을 따라 일정 간격만큼 이격된 각 평면과 연관된 적어도 하나 이상의 제1 특징점을 계산하는, 카메라 모션 추정 장치.
  14. 깊이 카메라에서 획득한 깊이 영상의 평면정보로부터 교차점을 추출하는 단계;
    상기 추출된 교차점을 이용하여 상기 평면정보에 포함된 각 평면과 연관된 특징점을 계산하는 단계; 및
    상기 계산된 특징점을 이용하여 상기 깊이 카메라의 모션을 추출하는 단계
    를 포함하는, 카메라 모션 추정 방법.
  15. 제14항에 있어서,
    상기 깊이 카메라로부터 획득한 포인트 샘플을 3차원 방정식에 적용시켜 상기 평면정보로서의 평면집합을 정의하는 단계
    를 더 포함하는, 카메라 모션 추정 방법.
  16. 제14항에 있어서,
    상기 교차점을 추출하는 단계는,
    상기 평면정보에 포함된 두 평면 간의 교차선을 추출하는 단계;
    상기 추출된 교차선을 이용하여 선정된 i(i는 평면의 개수)개의 원소로 구성된 부분집합을 생성하는 단계;
    상기 생성된 부분집합 내 상기 i개의 평면 방정식을 표현하는 벡터를 추출하는 단계; 및
    상기 추출된 벡터를 이용하여 상기 i개의 nｘn(n은 자연수) 행렬을 구성하고, 구성된 nｘn 행렬로 상기 교차점을 추출하는 단계
    를 더 포함하는, 카메라 모션 추정 방법.
  17. 제16항에 있어서,
    상기 각 평면과 연관된 특징점을 계산하는 단계는,
    상기 교차점을 기준으로 상기 추출된 교차선을 따라 일정 간격만큼 이격된 적어도 하나 이상의 특징점을 계산하는 단계
    를 포함하는, 카메라 모션 추정 방법.
  18. 제14항에 있어서,
    상기 깊이 영상에 미분 연산자를 적용하여, 에지를 추출하는 단계
    를 더 포함하고,
    상기 깊이 카메라의 모션을 추출하는 단계는,
    상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 단계
    를 포함하는, 카메라 모션 추정 방법.
  19. 깊이 영상을 생성하는 깊이 카메라;
    상기 생성된 깊이 영상을 이용하여 상기 깊이 카메라에 대한 모션을 추정하는 카메라 모션 추정 장치;
    상기 추정된 카메라 모션으로 카메라 포즈를 업데이트하는 포즈 업데이트부;
    상기 업데이트된 카메라 포즈를 이용하여 가상 카메라 포즈를 업데이트하는 가상 카메라 포즈 업데이트부;
    상기 깊이 카메라와 동일한 시점을 갖는 컬러 카메라로부터 컬러 영상을 획득하는 컬러 영상 획득부;
    가상 객체 데이터베이스를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합하는 정합기; 및
    상기 획득한 컬러 영상과, 상기 정합된 가상 객체를 정합하는 현실 영상/가상 객체 정합부
    를 포함하는, 증강 현실 시스템.
  20. 깊이 영상을 생성하는 깊이 카메라;
    상기 생성된 깊이 영상을 이용하여 상기 깊이 카메라에 대한 모션을 추정하는 카메라 모션 추정 장치;
    상기 추정된 카메라 모션으로 카메라 포즈를 업데이트하는 포즈 업데이트부;
    상기 깊이 카메라와 상이한 시점을 갖는 컬러 카메라로부터 컬러 영상을 획득하는 컬러 영상 획득부;
    서로 상이한 시점을 갖는 상기 깊이 영상과 상기 컬러 영상을 동일한 시점을 갖도록 교정하는 카메라 교정부(Camera Calibration);
    상기 업데이트된 카메라 포즈와 상기 카메라 교정부(604)에 의해 교정된 시점을 이용하여 가상 카메라 포즈를 업데이트하는 가상 카메라 포즈 업데이트부;
    가상 객체 데이터베이스를 참조하여 상기 업데이트된 가상 카메라 포즈와 가상 객체를 정합하는 정합기; 및
    상기 시점이 교정된 컬러 영상과, 상기 정합된 가상 객체를 정합하는 현실 영상/가상 객체 정합부
    를 포함하는, 증강 현실 시스템.
  21. 깊이 영상에 미분 연산자를 적용하여, 에지를 추출하는 에지 추출부; 및
    상기 추출된 에지를 이용하여 상기 깊이 영상을 제공한 깊이 카메라의 모션을 추출하는 모션 추출부
    를 포함하는, 카메라 모션 추정 장치.
  22. 제21항에 있어서,
    상기 에지 추출부는,
    상기 깊이 영상에 1차 미분 연산자 또는 2차 미분 연산자를 적용하여, 상기 에지를 추출하는, 카메라 모션 추정 장치.
KR1020110032162A 2011-01-20 2011-04-07 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 Active KR101758058B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/353,767 US9304194B2 (en) 2011-01-20 2012-01-19 Apparatus and method for estimating camera motion using depth information, and augmented reality system
JP2012009590A JP5952001B2 (ja) 2011-01-20 2012-01-20 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161434597P 2011-01-20 2011-01-20
US61/434,597 2011-01-20
KR20110015099 2011-02-21
KR1020110015099 2011-02-21

Publications (2)

Publication Number Publication Date
KR20120084635A true KR20120084635A (ko) 2012-07-30
KR101758058B1 KR101758058B1 (ko) 2017-07-17

Family

ID=46715514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110032162A Active KR101758058B1 (ko) 2011-01-20 2011-04-07 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템

Country Status (3)

Country Link
US (1) US9304194B2 (ko)
JP (1) JP5952001B2 (ko)
KR (1) KR101758058B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101518485B1 (ko) * 2013-11-29 2015-05-11 김홍기 지능형 객체 추적 시스템
KR20160041441A (ko) * 2014-10-07 2016-04-18 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치
KR20160055177A (ko) * 2013-09-11 2016-05-17 퀄컴 인코포레이티드 깊이 센서들을 사용하는 구조적 모델링
KR102098687B1 (ko) * 2018-11-02 2020-04-09 서울대학교산학협력단 영상 모서리 정렬 기반 영상 항법 및 장치
CN112083403A (zh) * 2020-07-21 2020-12-15 青岛小鸟看看科技有限公司 用于虚拟场景的定位追踪误差校正方法及系统

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2941591B2 (ja) 1993-01-25 1999-08-25 三菱重工業株式会社 タンデム圧延機列
JP3166885B2 (ja) 1993-04-07 2001-05-14 石川島播磨重工業株式会社 ロールクラウン可変方法およびクラウン可変ロール装置
JP5773944B2 (ja) * 2012-05-22 2015-09-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
EP2893702A4 (en) * 2012-09-10 2016-06-08 Aemass Inc MULTI-DIMENSIONAL DATA ACQUISITION OF AN ENVIRONMENT WITH MULTIPLE DEVICES
JP6065499B2 (ja) * 2012-09-26 2017-01-25 沖電気工業株式会社 情報処理装置、プログラム及び情報処理方法
US9189850B1 (en) * 2013-01-29 2015-11-17 Amazon Technologies, Inc. Egomotion estimation of an imaging device
WO2014119097A1 (ja) 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
JP6201148B2 (ja) * 2013-12-20 2017-09-27 パナソニックＩｐマネジメント株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
US9761059B2 (en) 2014-01-03 2017-09-12 Intel Corporation Dynamic augmentation of a physical scene
US10270985B2 (en) * 2014-09-03 2019-04-23 Intel Corporation Augmentation of textual content with a digital scene
US10339389B2 (en) * 2014-09-03 2019-07-02 Sharp Laboratories Of America, Inc. Methods and systems for vision-based motion estimation
JP6542524B2 (ja) * 2014-10-29 2019-07-10 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、およびプログラム
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
WO2016095057A1 (en) * 2014-12-19 2016-06-23 Sulon Technologies Inc. Peripheral tracking for an augmented reality head mounted device
WO2016184700A1 (en) * 2015-05-21 2016-11-24 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
WO2017020132A1 (en) * 2015-08-04 2017-02-09 Yasrebi Seyed-Nima Augmented reality in vehicle platforms
JP6705636B2 (ja) 2015-10-14 2020-06-03 東芝ライフスタイル株式会社 電気掃除機
KR101817583B1 (ko) 2015-11-30 2018-01-12 한국생산기술연구원 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
EP3452991A4 (en) * 2016-05-02 2020-01-08 Warner Bros. Entertainment Inc. Geometry matching in virtual reality and augmented reality
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
CN108510540B (zh) * 2017-02-23 2020-02-07 杭州海康威视数字技术股份有限公司 立体视觉摄像机及其高度获取方法
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
CN110603533A (zh) 2017-05-01 2019-12-20 讯宝科技有限责任公司 用于对象状态检测的方法和装置
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
AU2017225023A1 (en) * 2017-09-05 2019-03-21 Canon Kabushiki Kaisha System and method for determining a camera pose
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
KR102640871B1 (ko) 2018-10-30 2024-02-27 삼성전자주식회사 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708C (en) 2018-12-28 2025-12-09 Zebra Technologies Corporation Method, system and apparatus for dynamic loop closure in mapping trajectories
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN113286073A (zh) 2020-02-19 2021-08-20 北京小米移动软件有限公司 拍摄方法、拍摄装置及存储介质
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
WO2022009329A1 (ja) * 2020-07-08 2022-01-13 三菱電機エンジニアリング株式会社 位置合わせ装置及び位置合わせ方法
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
KR102399047B1 (ko) 2021-08-12 2022-05-18 (주)에이아이매틱스 자율주행에서의 시각적 속성 추정을 위한 시각 정보 처리 방법 및 시스템
JP2024047799A (ja) * 2022-09-27 2024-04-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
WO2004111687A2 (en) 2003-06-12 2004-12-23 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
JP4726191B2 (ja) * 2005-02-04 2011-07-20 キヤノン株式会社 位置姿勢補正装置、位置姿勢補正方法、そのプログラムおよび記憶媒体
JP4769079B2 (ja) * 2005-12-15 2011-09-07 日本放送協会 カメラ情報解析装置
JP4964541B2 (ja) 2006-09-11 2012-07-04 オリンパス株式会社 撮像装置、画像処理装置、撮像システム及び画像処理プログラム
JP2008153741A (ja) 2006-12-14 2008-07-03 Sharp Corp 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体
KR20080105698A (ko) 2007-06-01 2008-12-04 (주)제어와정보 다시점 영상을 이용한 3차원 형상 추정 방법 및 구현
KR101066550B1 (ko) 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
US8179448B2 (en) 2008-08-26 2012-05-15 National Taiwan University Auto depth field capturing system and method thereof
KR101002785B1 (ko) 2009-02-06 2010-12-21 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
US20100277470A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160055177A (ko) * 2013-09-11 2016-05-17 퀄컴 인코포레이티드 깊이 센서들을 사용하는 구조적 모델링
KR101518485B1 (ko) * 2013-11-29 2015-05-11 김홍기 지능형 객체 추적 시스템
KR20160041441A (ko) * 2014-10-07 2016-04-18 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치
KR102098687B1 (ko) * 2018-11-02 2020-04-09 서울대학교산학협력단 영상 모서리 정렬 기반 영상 항법 및 장치
CN112083403A (zh) * 2020-07-21 2020-12-15 青岛小鸟看看科技有限公司 用于虚拟场景的定位追踪误差校正方法及系统
CN112083403B (zh) * 2020-07-21 2023-10-10 青岛小鸟看看科技有限公司 用于虚拟场景的定位追踪误差校正方法及系统

Also Published As

Publication number Publication date
US9304194B2 (en) 2016-04-05
KR101758058B1 (ko) 2017-07-17
JP2012151851A (ja) 2012-08-09
US20120236119A1 (en) 2012-09-20
JP5952001B2 (ja) 2016-07-13

Similar Documents

Publication Publication Date Title
KR101758058B1 (ko) 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
Koch et al. Evaluation of cnn-based single-image depth estimation methods
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
CN110246221B (zh) 真正射影像获得方法及装置
Rameau et al. MC-Calib: A generic and robust calibration toolbox for multi-camera systems
US9091553B2 (en) Systems and methods for matching scenes using mutual relations between features
Khoshelham et al. Generation and weighting of 3D point correspondences for improved registration of RGB-D data
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
Stefańczyk et al. Multimodal segmentation of dense depth maps and associated color information
Weinmann et al. Fusing passive and active sensed images to gain infrared-textured 3D models
Alpatov et al. An estimation algorithm of the multispectral image geometric transformation parameters based on multiple reference area tracking
GB2569609A (en) Method and device for digital 3D reconstruction
CN119991791A (zh) 用于消除vr定位中镜面反光干扰的方法、硬件及应用
CN112053406B (zh) 成像装置参数标定方法、装置及电子设备
Mkhitaryan et al. RGB-D sensor data correction and enhancement by introduction of an additional RGB view
Wu et al. Euclidean reconstruction of a circular truncated cone only from its uncalibrated contours
KR20120056668A (ko) 3차원 정보 복원 장치 및 그 방법
CN117115434A (zh) 数据分割装置和方法
Vezeteu Stereo-Camera–LiDAR Calibration for Autonomous Driving
Lee et al. Calibration of VLP-16 Lidar Sensor and Vision Cameras Using the Center Coordinates of a Spherical Object
Li et al. Reconstruction of 3D structural semantic points based on multiple camera views
Kirchhof Linear constraints in two-view multiple homography estimation of uncalibrated scenes
CN120355794A (zh) 一种全景图像姿态优化方法、系统及存储介质
Tran et al. A simple model generation system for computer graphics

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110407

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160405

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110407

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161219

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170629

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170710

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170711

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200616

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210621

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250612

Start annual number: 9

End annual number: 9