KR20110135831A - 방향 센서 판독과 이미지 정렬 추정의 융합에 의한 3ｄ 비디오 안정화를 위한 시스템 및 방법 - Google Patents

방향 센서 판독과 이미지 정렬 추정의 융합에 의한 3ｄ 비디오 안정화를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20110135831A
KR20110135831A KR1020110056475A KR20110056475A KR20110135831A KR 20110135831 A KR20110135831 A KR 20110135831A KR 1020110056475 A KR1020110056475 A KR 1020110056475A KR 20110056475 A KR20110056475 A KR 20110056475A KR 20110135831 A KR20110135831 A KR 20110135831A
Authority
KR
South Korea
Prior art keywords
processor
time series
pass filter
filtered
aligned
Prior art date
Application number
KR1020110056475A
Other languages
English (en)
Other versions
KR101314487B1 (ko
Inventor
오스카 네스타레스
요람 게트
호스트 더블유. 하우섹커
이고르 브이. 코진트세브
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20110135831A publication Critical patent/KR20110135831A/ko
Application granted granted Critical
Publication of KR101314487B1 publication Critical patent/KR101314487B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

글로벌 참조 프레임 내의 카메라의 3D 방향의 높은 정확도의 추정들을 생성하기 위한 방법들 및 시스템들이 개시된다. 방향 추정들은 이미지 기반 정렬 방법으로부터 생성될 수 있다. 카메라에 설치된 방향 센서들로부터 다른 방향 추정들이 획득될 수 있다. 정렬 도출된 추정들은 하이 패스 필터에 입력될 수 있다. 방향 센서로부터의 방향 추정들은 처리되어 로우 패스 필터에 입력될 수 있다. 하이 패스 필터 및 로우 패스 필터의 출력들은 융합되어, 안정화된 비디오 시퀀스를 생성할 수 있다.

Description

방향 센서 판독과 이미지 정렬 추정의 융합에 의한 3Ｄ 비디오 안정화를 위한 시스템 및 방법{SYSTEM AND METHOD FOR 3D VIDEO STABILIZATION BY FUSING ORIENTATION SENSOR READINGS AND IMAGE ALIGNMENT ESTIMATES}
글로벌 참조 프레임(global frame of reference) 내의 비디오 시퀀스에서 카메라의 3D 방향을 추정하는 것은 가상 3차원(3D) 환경에서뿐만 아니라, 내비게이션 및 다른 응용들에서 비디오 안정화를 다룰 때 생길 수 있는 문제이다. 이 작업은 지리적 참조 프레임(geographical frame of reference)에서 3D 방향을 제공하기 위해 카메라에 부착될 수 있는 하나 이상의 방향 센서들(예를 들면, 자이로스코프, 가속도계, 및/또는 나침반)의 입력을 요구한다. 그러나, 센서 판독에서의 고주파 잡음은 비디오 시퀀스의 시각적으로 안정된 표시(presentation)를 위해 요구되는 정확한 방향 추정을 달성하는 것을 어렵게 만들 수 있다. 이것은 특히 카메라가 고주파 방향 변화를 겪을 때(즉, 지터) 그 카메라로 비디오가 획득되는 경우에 사실일 수 있다. 예들은, 예를 들면, 움직이는 차로부터 또는 걸으면서 비디오 촬영하는 것을 포함할 수 있다. 더욱이, 방향 센서의 품질은 그러한 상황에서, 특히 일반 사용자용(consumer grade) 및 휴대폰 카메라들에서 이용 가능한 저가 센서들에 대하여, 특히 동적인 조건들에서, 열등한 정확도로 이어지는 공통의 문제이다. 각도 RMS(root mean square) 오차에 대한 전형적인 값들은 0.5도로부터 2도를 초과하는 범위에 있을 수 있다. 따라서 그러한 센서들은 카메라 지터를 정확하게 측정할 수 없고, 결국 3D 환경의 상황에서 디스플레이될 때 안정된 장면을 나타낼 수 없는 비디오 시퀀스들을 생성한다.
한편, 이미지 기반 정렬(image-based alignment)은 이미지 안정화를 위해 얼마간 성공적이고, 정확한 프레임간 방향 추정(frame-to-frame orientation estimates)을 제공하는 것으로 판명되었다. 그러나 이미지 기반 정렬은 오차 및 바이어스 누적(error and bias accumulation) 및 절대적인 방향의 부족(lack of absolute orientation)으로 인해 시간에 걸쳐 드리프트하는(drifting over time) 경향이 있을 수 있다.
도 1은 실시예의 아키텍처를 도시하는 블록도이다.
도 2는 실시예에 따른, 회전 추정 및 정렬 프로세스를 설명하는 순서도이다.
도 3은 실시예에 따른, 오일러 각도들(Euler angles)의 추정을 설명하는 순서도이다.
도 4는 실시예에 따른, 융합 프로세스에서 쿼터니언들(quaternions)의 사용을 설명하는 순서도이다.
도 5는 실시예에 따른, 소프트웨어 또는 펌웨어 실시예가 실행될 수 있는, 예시적인 컴퓨터 환경의 블록도이다.
도면들에서, 참조 번호의 맨 왼쪽의 숫자(들)는 그 참조 번호가 처음 나타나는 도면을 식별한다.
지금부터 도면들을 참조하여 실시예가 설명되는데, 도면들에서 같은 참조 번호들은 동일한 또는 기능적으로 유사한 요소들을 나타낸다. 또한 도면들에서, 각 참조 번호의 맨 왼쪽 숫자는 그 참조 번호가 처음 사용되는 도면에 대응한다. 특정한 구성들 및 배열들이 설명되지만, 이것은 단지 설명적인 목적으로 행해진다는 것을 이해해야 한다. 관련 기술의 숙련자는 이 설명의 정신 및 범위로부터 일탈하지 않고 다른 구성들 및 배열들이 사용될 수 있다는 것을 인지할 것이다. 이것은 여기에 설명된 것 이외의 다른 시스템들 및 응용들에서 채용될 수도 있다는 것은 관련 기술의 숙련자에게 명백할 것이다.
글로벌 참조 프레임 내의 카메라의 3D 방향의 추정들을 생성하기 위한 방법들 및 시스템들이 여기에 개시된다. 방향 추정들은 이미지 기반 정렬 방법으로부터 생성될 수 있다. 카메라에 설치된 하나 이상의 방향 센서들로부터 다른 방향 추정들이 획득될 수 있다. 정렬 도출된 추정들(alignment-derived estimates)은 하이 패스 필터에 입력될 수 있다. 방향 센서로부터의 방향 추정들은 처리되어 로우 패스 필터에 입력될 수 있다. 하이 패스 필터 및 로우 패스 필터의 출력들은 융합되어, 안정화된 비디오 시퀀스를 생성할 수 있다.
실시예에 따른 전체적인 구성은 도 1에 도시되어 있다. 비디오 카메라(110)가 도시되어 있다. 카메라(110)는 디지털 비디오 시퀀스(120)를 출력할 수 있다. 회전 추정 모듈(130)은 2개의 연속 프레임들 사이의 변위(displacement)를 계산하는 것에 의해 카메라 회전을 추정할 수 있다. 이것은 연속 프레임들의 모든 쌍에 대하여 수행될 수 있다. 결과로서 생기는 변위들은 이미지 정렬 모듈(140)에 전달될 수 있다. 이 모듈은 정렬된 이미지들의 시퀀스에 대응하는 방향 시간 시리즈(orientation time series)를 생성할 수 있다. 이 방향 시간 시리즈는 그 후 필터(150)에 전달될 수 있다. 설명된 실시예에서, 이 방향 시간 시리즈는 로우 패스 필터를 통하여 전달되고, 로우 패스 필터의 출력은 방향 시간 시리즈로부터 감산(subtract)될 수 있다. 이 정렬의 최종 결과(net effect)는 방향 시간 시리즈에 대해 하이 패스 필터링 동작을 수행하는 것이다. 대안적인 실시예에서는, 하이 패스 필터가 사용될 수 있다.
비디오 카메라(110)는 또한 방향 센서(미도시)를 포함할 수 있다. 방향 센서는, 예를 들면, 가속도계, 나침반, 및 자이로스코프 중 하나 이상을 포함할 수 있다. 방향 센서로부터의 출력은 출력(160)으로서 도시되어 있다. 이 출력은 그 후 모듈(170)에 의해 처리되어 시간에 걸친 카메라(110)의 방향의 변화들을 반영하는 시간 시리즈를 생성할 수 있다. 모듈(170)로부터의 이 시간 시리즈는 그 후 로우 패스 필터(180)에 전달될 수 있다. 상기 2개의 필터들로부터의 출력들은 그 후 결합되거나, 융합되어, 안정화된 3-D 카메라 방향(185)을 생성할 수 있다. 안정화된 방향(185)은 그 후 출력 비디오 시퀀스(195)를 생성하는 데 이용될 수 있다. 실시예에서, 필터들(150 및 180) 및 모듈(185)은 센서 융합 모듈(190)에서 물리적으로 또는 논리적으로 결합될 수 있다는 것에 주목한다.
아래에 더 설명되는 바와 같이, 모듈들(130, 140, 150, 170, 180, 및 190)은 소프트웨어, 펌웨어, 또는 하드웨어로, 또는 그의 어떤 조합으로 구현될 수 있다.
실시예에 따른, 회전의 추정 및 이미지 정렬을 위한 프로세스가 도 2에 도시되어 있다. 210에서는, 입력 이미지의 가우시안 다중 해상도 표현(multi-resolution representation; MRR)이 계산될 수 있다. 개념적으로, 그러한 표현은 피라미드 구조로 간주될 수 있고, 제1 표현 또는 피라미드 층은 이미지의 비교적 조잡한 표현(coarse representation)이고, 각각의 후속의 표현은 이전의 표현에 관하여 이미지의 더 세밀한 표현(finer representation)일 수 있다. 이러한 이미지의 다중 해상도 표현은 코오스-파인(coarse-to-fine) 추정 전략을 가능하게 할 수 있다. 실시예에서, 이러한 입력 이미지의 다중 해상도 표현은 계산상의 효율을 위하여 이항(binomial) B2 필터(1/4, 1/2, 1/4)를 사용하여 계산될 수 있다.
도 2의 실시예에서, 시퀀스(220 내지 240)는, 가장 조잡한 레벨에서 시작하여, 피라미드의 각각의 레벨에 대하여 수행될 수 있다. 일반적으로, 이 프로세스는, 정렬되는(또는 레지스터되는(registered)) 2개의 이미지들 사이의 강도들은 한 픽셀씩 변위되는(displaced on a pixel by pixel basis) 반면, 그들의 강도는 보존되는 것을 가정하는, 그레이디언트 제약(gradient constraint)에 기초할 수 있다. 그레이디언트 제약은 다음과 같이 기술될 수 있다.
Figure pat00001
여기서 I는 이미지 강도를 나타내고, d는 변위를 나타내고, ΔI(p) = I2(p) - I1(p)이고, 여기서 I2(p) 및 I1(p)는 픽셀 p에서의 이미지 강도들이다.
이미지 내의 각 픽셀은 하나의 제약 및, 일반적으로, 2개의 미지수(unknowns)를 제공할 수 있다. 그러나, 카메라 회전 지터는 카메라 병진(camera translation)보다 이미지 회전을 지배하고 있을 수 있고 따라서 2개의 이미지들 사이의 변위는
Figure pat00002
로서 표현될 수 있다는 것을 가정할 수 있고, 여기서 x 1 은 동차 이미지 좌표들에서 픽셀 p의 위치이고, x2 = Px1이고 볼드체의 P는 (단순 대각선 카메라 캘리브레이션 행렬(simple diagonal camera calibration matrix)을 가정할 때) 이미지들의 2개의 초점 거리들 및 3D 카메라 회전을 기술하는 3개의 파라미터들에 의존하는 특정한 투영 변환(projective transform)이다.
Figure pat00003
여기서 f1 및 f2는 각각의 초점 거리들이고, R은 카메라 회전에 대응하는 3D 회전 행렬이다. 회전 행렬은 (x, y, z) 규칙(convention)에 대응하는 오일러 각도들 ω = (ωx, ωy, ωz)를 이용하여 파라미터화될 수 있다. 소각 근사(small angle approximation)가 이용될 수 있다.
Figure pat00004
수학식 1, 수학식 2, 및 수학식 3을 결합할 때, 각각의 픽셀에서 하기의 제약이 얻어질 수 있다.
Figure pat00005
양쪽 이미지들의 초점 거리들이 카메라에 의해 제공된다고 가정할 때, 이 제약은 오일러 각도 벡터 ω에서 선형적이다.
220에서는, 제1 입력 이미지로부터의 픽셀들의 샘플링으로부터 제약들을 수집하는 것에 의해 각각의 반복이 시작될 수 있다. 그로부터 제약들이 형성되는 위치들은, 실시예에 따라, 제1 입력 이미지의 참조 프레임에서 직사각형 샘플링 그리드(rectangular sampling grid)를 이용하여 선택될 수 있다. 이러한 픽셀들 및 그들의 제약들이 주어지면, 각 픽셀에 대하여 벡터 ω가 추정될 수 있다. 실시예에 따른, 이러한 각도들을 추정하기 위한 프로세스는 아래에 더 상세히 설명될 것이다.
결과로서 생성된 오일러 각도들의 추정들이 주어지면, 230에서는 상기 수학식 3에 따라서 회전 행렬 R이 결정될 수 있다. 이 행렬이 결정된 후에, 240에서는 상기 수학식 2에 따라서 투영 변환 P가 계산될 수 있다. 각 반복에서, 변환 P는 이전의 반복으로부터, 즉, 이전의 해상도 레벨로부터 생성된 변환 P와 결합될 수 있다.
250에서는, 추정된 프레임간 카메라 회전으로서 변위 d(p)가 계산될 수 있다. 260에서는, 추정된 카메라 회전에 따라서 입력 프레임 및 그것의 후속 프레임이 정렬될 수 있다. 실시예에서, 식별된 픽셀 위치들에서 후속 이미지의 변위된 강도 값들을 획득하기 위해 양선형 보간법(bilinear interpolation)이 사용될 수 있다.
실시예에서, 갑작스러운 노출의 변화들에 의해 야기되는 문제들을 피하는 것이 바람직할 수 있다. 그러한 문제들은 때때로 카메라의 자동 노출(auto-exposure) 특징에 의해 도입된다. 그러한 문제들을 피하기 위해, 이미지들은 정렬에 앞서 그들의 평균 및 표준 편차를 균등하게 하기 위해 전처리(pre-process)될 수 있다.
도 3은 오일러 각도들의 추정(상기 220)을 더 상세히 설명한다. 310에서는, 주어진 해상도 레벨에서 각각의 샘플링된 픽셀에 대하여 수학식 4의 형태의 제약이 생성될 수 있다. 이 결과로 각각의 샘플링된 픽셀에 대한 수학식이 생긴다. 결과로서 생기는 수학식들의 세트는 각각이 ω에서 선형적인 수학식들의 과결정된 시스템(over-determined system)을 나타낸다. 320에서는, 이 수학식들의 시스템이 풀린다(solved). 설명된 실시예에서, 시스템은 튜키 함수(Tukey function)를 갖는 M-추정기(M-estimator)를 이용하여 풀릴 수 있다.
도 4는 방향 센서(들)로부터 도출된 방향 정보와 정렬된 이미지 정보의 융합을 설명한다. 410에서는, 정렬된 이미지 정보를 나타내는 시간 시리즈가 회전 쿼터니언들(rotational quaternions) qi(t)로서 모델링될 수 있다. 420에서는, 방향 센서(들)로부터 도출된 방향 정보를 나타내는 시간 시리즈가 쿼터니언들 qs(t)로서 모델링될 수 있다. 하기 수학식 5에서 나타내어진 바와 같이, 융합된 쿼터니언들 qf(t)을 계산할 때 쿼터니언들 qs(t) 및 qi(t)에 대하여 적절한 필터링이 수행될 수 있다.
Figure pat00006
여기서, qi(t), qs(t), 및 qf(t)는 각각 정렬된 이미지, 방향, 및 융합된 쿼터니언들이다. g(t)는 로우 패스 필터이고, 콘볼루션 연산자(convolutional operator) *는 쿼터니언의 성분들 각각을 콘볼루션 커널(convolutional kernel)과 콘볼루션하는(convolving) 것을 나타내고; ∥은 쿼터니언 놈(quaternion norm)이다.
상이한 실시예들에서, 상이한 로우 패스 필터들이 사용될 수 있다는 것에 주목한다. 예를 들면, 특정한 센서 특성에 기초하여 특정한 로우 패스 필터가 선택될 수 있다. 실시예에서, 예를 들면, σ=0.5s의 표준 편차를 갖는 가우시안 로우 패스 필터가 사용될 수 있다.
더욱이, 실시예에서, 콘볼루션은 탭들의 수가
Figure pat00007
인 이산(discrete) 콘볼루션 마스크를 이용하여 구현될 수 있고, 여기서 fr은 방향 시간 시리즈의 샘플링 주파수와 같을 수 있는 비디오의 프레임 레이트이다.
실시예에서, 양쪽 소스들로부터의 쿼터니언들을 필터링하고 더한 후에, 결과로 생기는 쿼터니언들은 적당한 3D 회전들을 나타내지 않을 수 있고 단위 놈(unit norm)으로 다시 정규화될 수 있다(re-normalized).
여기에 개시된 하나 이상의 특징들은, 개별 및 집적 회로 논리, ASIC(application specific integrated circuit) 논리, 및 마이크로컨트롤러를 포함하여, 하드웨어, 소프트웨어, 펌웨어, 및 그의 조합들로 구현될 수 있고, 도메인 특정의(domain-specific) 집적 회로 패키지의 일부, 또는 집적 회로 패키지들의 조합으로서 구현될 수 있다. 여기에 사용된, 용어 소프트웨어는 컴퓨터 시스템이 여기에 개시된 하나 이상의 특징들 및/또는 특징들의 조합들을 수행하게 하는 컴퓨터 프로그램 논리가 저장되어 있는 비일시적인(non-transitory) 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품을 나타낸다.
여기에 설명된 처리의 소프트웨어 또는 펌웨어 실시예가 도 5에 도시되어 있다. 이 도면에서, 시스템(500)은 프로세서(520) 및 컴퓨터 프로그램 논리(540)를 저장할 수 있는 하나 이상의 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(510)의 바디를 포함할 수 있다. 메모리(510)는, 예를 들면, 하드 디스크 및 드라이브, 콤팩트 디스크와 같은 이동식 매체, ROM(read-only memory) 또는 RAM(random access memory) 디바이스, 또는 그의 어떤 조합으로서 구현될 수 있다. 프로세스(520) 및 메모리(510)는 이 기술 분야의 통상의 지식을 가진 자에게 알려진, 버스와 같은, 몇몇 기술들 중 임의의 기술을 이용하여 통신할 수 있다. 메모리(510)에 포함된 컴퓨터 프로그램 논리(540)는 프로세서(520)에 의해 판독되고 실행될 수 있다. I/O(530)로서 집합적으로 도시된, 하나 이상의 I/O 포트들 및/또는 I/O 디바이스들이 또한 프로세서(520) 및 메모리(510)에 연결될 수 있다.
컴퓨터 프로그램 논리(540)는 정렬 처리 논리(550)를 포함할 수 있다. 이 논리는, 예를 들면, 도 2 및 3에서 설명된 처리를 수행하는 것에 대하여 책임이 있을 수 있다. 따라서 논리(550)는, 예를 들면, 입력 이미지들의 가우시안 다중 해상도 표현들의 계산을 위한 논리를 포함할 수 있다. 논리(550)는 또한 오일러 각도들의 추정, 회전 행렬 R의 결정, 및 투영 변환 P의 결정을 위한 논리를 포함할 수 있다. 논리(550)는 또한 변위 d(x)를 계산하여, 결국 정렬된 이미지 시간 시리즈를 생성하기 위한 논리를 포함할 수 있다.
컴퓨터 프로그램 논리(540)는 또한 방향 처리 논리(560)를 포함할 수 있다. 이 논리(560)는 방향 센서의 출력을 처리하고, 대응하는 방향 시간 시리즈를 생성하는 것에 대하여 책임이 있을 수 있다.
컴퓨터 프로그램 논리(540)는 융합 논리(570)를 포함할 수 있다. 이 논리(570)는 방향 시간 시리즈 및 정렬된 이미지 시간 시리즈의 필터링을 수행하고, 이 정보를 쿼터니언들로서 모델링하고, 융합된 쿼터니언들을 계산하는 것에 대하여 책임이 있을 수 있다.
기능들, 특징들, 및 그의 관계들을 설명하는 기능적 구성 블록들의 도움으로 방법들 및 시스템들이 여기에 개시되었다. 이러한 기능적 구성 블록들의 경계들 중 적어도 일부는 설명의 편의를 위해 여기에 임의로 정의되었다. 특정한 기능들 및 그의 관계들이 적절히 수행되는 한 대안적인 경계들이 정의될 수 있다.
다양한 실시예들이 여기에 개시되었지만, 그것들은 제한이 아니라 단지 예로서 제시되었다는 것을 이해해야 한다. 여기에 개시된 방법들 및 시스템들의 정신 및 범위로부터 일탈하지 않고 형태 및 세부의 다양한 변경들이 이루어질 수 있다는 것은 관련 기술의 숙련자들에게 명백할 것이다. 따라서, 청구항들의 외연(breadth) 및 범위는 여기에 개시된 예시적인 실시예들 중 어떤 것에 의해서도 제한되지 않아야 한다.

Claims (15)

  1. 비디오 카메라의 방향 센서(orientation sensor)로부터의 출력을 수신하는 단계;
    상기 방향 센서로부터의 상기 출력을 방향 시간 시리즈(orientation time series)로서 포맷하는 단계;
    상기 방향 시간 시리즈에 로우 패스 필터를 적용하여, 필터링된 방향 정보를 생성하는 단계;
    상기 비디오 카메라로부터의 비디오 시퀀스를 수신하는 단계;
    상기 비디오 시퀀스에 대한 프레임간(interframe) 3차원(3-D) 카메라 회전을 추정하는 단계;
    상기 추정된 카메라 회전을 이용하여 상기 비디오 시퀀스의 연속 이미지들을 정렬하는 단계;
    상기 정렬된 이미지들을 정렬된 이미지 시간 시리즈로서 포맷하는 단계;
    상기 정렬된 이미지 시간 시리즈에 하이 패스 필터를 적용하여, 필터링된 정렬된 이미지 정보를 생성하는 단계; 및
    상기 필터링된 정렬된 이미지 정보와 상기 필터링된 방향 정보를 결합하여 안정화된 비디오 시퀀스를 생성하는 단계
    를 포함하고,
    상기 단계들은 적절히 프로그램된 프로세서에 의해 수행되는 방법.
  2. 제1항에 있어서,
    상기 추정하는 단계는,
    상기 연속 이미지들 중 제1 이미지의 가우시안 다중 해상도 표현(multi-resolution representation; MRR)을 계산하는 단계;
    조잡한 레벨(coarse level)로부터 세밀한 레벨(fine level)로 진행하면서, 상기 MRR의 각 레벨에 대하여, 하기의 시퀀스의 반복을 수행하는 단계로서,
    상기 제1 이미지 내의 복수의 픽셀들 각각에 대하여, 제약(constraint)
    Figure pat00008

    을 정의하여 과결정된 선형 시스템(over-determined linear system)을 형성하고;
    벡터 ω = (ωx, ωy, ωz)를 추정하기 위해 상기 시스템을 풀고(solving);
    회전 행렬 R,
    Figure pat00009

    을 생성하고;
    R을 이용하여, 투영 변환(projection transform) P,
    Figure pat00010

    를 계산하고 ― x1 및 x2는 동차 이미지 좌표들이고, f1 및 f2는 각각의 초점 거리들임 ―;
    P를 이전의 반복으로부터의 투영 변환과 결합하여, 현재의 반복의 투영 변환을 생성하는 시퀀스의 반복을 수행하는 단계; 및
    최종 투영 변환 P를 이용하여 변위(displacement) d(x)를 계산하는 단계
    를 포함하는 방법.
  3. 제2항에 있어서,
    상기 과결정된 선형 시스템을 푸는 단계는 반복 재가중 최소 제곱(iterative re-weighted least squares) 전략을 이용하여 튜키 함수(Tukey function)를 갖는 강건한 M-추정기(M-estimator)를 이용하여 상기 시스템을 푸는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 방향 시간 시리즈 및 상기 정렬된 이미지 시간 시리즈는 쿼터니언들(quaternions)로서 표현되고, 상기 로우 패스 필터는 σ=0.5초의 표준 편차를 갖는 가우시안 로우 패스 필터를 포함하는 방법.
  5. 제4항에 있어서,
    상기 필터링된 정렬된 이미지 정보와 상기 필터링된 방향 정보를 결합하는 단계는,
    Figure pat00011

    에 따라서 융합된 쿼터니언(fused quaternion)을 생성하는 단계를 포함하고,
    qi(t), qs(t), 및 qf(t)는 각각 정렬된 이미지, 방향, 및 융합된 쿼터니언들이고, g(t)는 로우 패스 필터이고, 콘볼루션 연산자(convolutional operator) *는 쿼터니언의 성분들 각각을 콘볼루션 커널(convolutional kernel)과 콘볼루션하는(convolving) 것을 나타내고; ∥은 쿼터니언 놈(quaternion norm)이고,
    상기 콘볼루션은 탭들(taps)의 수가
    Figure pat00012
    인 이산(discrete) 콘볼루션 마스크를 이용하는 방법.
  6. 시스템으로서,
    프로세서; 및
    상기 프로세서와 통신하는 메모리
    를 포함하고,
    상기 메모리는,
    비디오 카메라의 방향 센서로부터의 출력을 수신하고;
    상기 방향 센서로부터의 상기 출력을 방향 시간 시리즈로서 포맷하고;
    상기 방향 시간 시리즈에 로우 패스 필터를 적용하여, 필터링된 방향 정보를 생성하고;
    상기 비디오 카메라로부터의 비디오 시퀀스를 수신하고;
    상기 비디오 시퀀스에 대한 프레임간 3차원(3-D) 카메라 회전을 추정하고;
    상기 추정된 카메라 회전을 이용하여 상기 비디오 시퀀스의 연속 이미지들을 정렬하고;
    상기 정렬된 이미지들을 정렬된 이미지 시간 시리즈로서 포맷하고;
    상기 정렬된 이미지 시간 시리즈에 하이 패스 필터를 적용하여, 필터링된 정렬된 이미지 정보를 생성하고;
    상기 필터링된 정렬된 이미지 정보와 상기 필터링된 방향 정보를 결합하여 안정화된 비디오 시퀀스를 생성하도록,
    상기 프로세서에 지시하기 위한 복수의 처리 명령어들을 저장하는 시스템.
  7. 제6항에 있어서,
    추정하도록 상기 프로세서에 지시하기 위한 상기 처리 명령어들은,
    상기 연속 이미지들 중 제1 이미지의 가우시안 다중 해상도 표현(MRR)을 계산하고;
    조잡한 레벨로부터 세밀한 레벨로 진행하면서, 상기 MRR의 각 레벨에 대하여, 하기의 시퀀스의 반복을 수행하되,
    상기 제1 이미지 내의 복수의 픽셀들 각각에 대하여, 제약
    Figure pat00013

    을 정의하여 과결정된 선형 시스템을 형성하고;
    벡터 ω = (ωx, ωy, ωz)를 추정하기 위해 상기 시스템을 풀고;
    회전 행렬 R,
    Figure pat00014

    을 생성하고;
    R을 이용하여, 투영 변환 P,
    Figure pat00015

    를 계산하고 ― x1 및 x2는 동차 이미지 좌표들이고, f1 및 f2는 각각의 초점 거리들임 ―;
    P를 이전의 반복으로부터의 투영 변환과 결합하여, 현재의 반복의 투영 변환을 생성하는 시퀀스의 반복을 수행하고;
    최종 투영 변환 P를 이용하여 변위 d(x)를 계산하도록,
    상기 프로세서에 지시하기 위한 처리 명령어들을 포함하는 시스템.
  8. 제7항에 있어서,
    상기 과결정된 선형 시스템을 풀도록 상기 프로세서에 지시하기 위한 상기 처리 명령어들은, 반복 재가중 최소 제곱 전략을 이용하여 튜키 함수를 갖는 강건한 M-추정기를 이용하여 상기 시스템을 풀도록 상기 프로세서에 지시하기 위한 처리 명령어들을 포함하는 시스템.
  9. 제6항에 있어서,
    상기 방향 시간 시리즈 및 상기 정렬된 이미지 시간 시리즈는 쿼터니언들로서 표현되고, 상기 로우 패스 필터는 σ=0.5초의 표준 편차를 갖는 가우시안 로우 패스 필터를 포함하는 시스템.
  10. 제9항에 있어서,
    상기 필터링된 정렬된 이미지 정보와 상기 필터링된 방향 정보를 결합하도록 상기 프로세서에 지시하기 위한 상기 처리 명령어들은,
    Figure pat00016

    에 따라서 융합된 쿼터니언을 생성하도록 상기 프로세서에 지시하기 위한 처리 명령어들을 포함하고,
    qi(t), qs(t), 및 qf(t)는 각각 정렬된 이미지, 방향, 및 융합된 쿼터니언들이고, g(t)는 로우 패스 필터이고, 콘볼루션 연산자 *는 쿼터니언의 성분들 각각을 콘볼루션 커널과 콘볼루션하는 것을 나타내고; ∥은 쿼터니언 놈이고,
    상기 콘볼루션은 탭들의 수가
    Figure pat00017
    인 이산 콘볼루션 마스크를 이용하는 시스템.
  11. 컴퓨터 프로그램 논리가 저장되어 있는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 논리는,
    프로세서로 하여금 비디오 카메라의 방향 센서로부터의 출력을 수신하게 하도록 구성된 논리;
    상기 프로세서로 하여금 상기 방향 센서로부터의 상기 출력을 방향 시간 시리즈로서 포맷하게 하도록 구성된 논리;
    상기 프로세서로 하여금 상기 방향 시간 시리즈에 로우 패스 필터를 적용하여, 필터링된 방향 정보를 생성하게 하도록 구성된 논리;
    상기 프로세서로 하여금 상기 비디오 카메라로부터의 비디오 시퀀스를 수신하게 하도록 구성된 논리;
    상기 프로세서로 하여금 상기 비디오 시퀀스에 대한 프레임간 3차원(3-D) 카메라 회전을 추정하게 하도록 구성된 논리;
    상기 프로세서로 하여금 상기 추정된 카메라 회전을 이용하여 상기 비디오 시퀀스의 연속 이미지들을 정렬하게 하도록 구성된 논리;
    상기 프로세서로 하여금 상기 정렬된 이미지들을 정렬된 이미지 시간 시리즈로서 포맷하게 하도록 구성된 논리;
    상기 프로세서로 하여금 상기 정렬된 이미지 시간 시리즈에 하이 패스 필터를 적용하여, 필터링된 정렬된 이미지 정보를 생성하게 하도록 구성된 논리; 및
    상기 프로세서로 하여금 상기 필터링된 정렬된 이미지 정보와 상기 필터링된 방향 정보를 결합하여 안정화된 비디오 시퀀스를 생성하게 하도록 구성된 논리를 포함하는 컴퓨터 프로그램 제품.
  12. 제11항에 있어서,
    상기 컴퓨터 프로그램 논리는,
    상기 프로세서로 하여금 상기 연속 이미지들 중 제1 이미지의 가우시안 다중 해상도 표현(MRR)을 계산하게 하도록 구성된 논리;
    상기 프로세서로 하여금 조잡한 레벨로부터 세밀한 레벨로 진행하면서, 상기 MRR의 각 레벨에 대하여, 하기의 시퀀스의 반복을 수행하게 하도록 구성된 논리로서,
    상기 제1 이미지 내의 복수의 픽셀들 각각에 대하여, 제약
    Figure pat00018

    을 정의하여 과결정된 선형 시스템을 형성하고;
    벡터 ω = (ωx, ωy, ωz)를 추정하기 위해 상기 시스템을 풀고;
    회전 행렬 R,
    Figure pat00019

    을 생성하고;
    R을 이용하여, 투영 변환 P,
    Figure pat00020

    를 계산하고 ― x1 및 x2는 동차 이미지 좌표들이고, f1 및 f2는 각각의 초점 거리들임 ―;
    P를 이전의 반복으로부터의 투영 변환과 결합하여, 현재의 반복의 투영 변환을 생성하는 시퀀스의 반복을 수행하게 하도록 구성된 논리; 및
    상기 프로세서로 하여금 최종 투영 변환 P를 이용하여 변위 d(x)를 계산하게 하도록 구성된 논리
    를 더 포함하는 컴퓨터 프로그램 제품.
  13. 제12항에 있어서,
    상기 컴퓨터 프로그램 논리는, 상기 프로세서로 하여금 반복 재가중 최소 제곱 전략을 이용하여 튜키 함수를 갖는 강건한 M-추정기를 이용하여 상기 과결정된 선형 시스템을 풀게 하도록 구성된 논리를 더 포함하는 컴퓨터 프로그램 제품.
  14. 제11항에 있어서,
    상기 방향 시간 시리즈 및 상기 정렬된 이미지 시간 시리즈는 쿼터니언들로서 표현되고, 상기 로우 패스 필터는 σ=0.5초의 표준 편차를 갖는 가우시안 로우 패스 필터를 포함하는 컴퓨터 프로그램 제품.
  15. 제14항에 있어서,
    상기 프로세서로 하여금 상기 필터링된 정렬된 이미지 정보와 상기 필터링된 방향 정보를 결합하게 하도록 구성된 상기 컴퓨터 프로그램 논리는,
    상기 프로세서로 하여금
    Figure pat00021

    에 따라서 융합된 쿼터니언을 생성하게 하도록 구성된 논리를 포함하고,
    qi(t), qs(t), 및 qf(t)는 각각 정렬된 이미지, 방향, 및 융합된 쿼터니언들이고, g(t)는 로우 패스 필터이고, 콘볼루션 연산자 *는 쿼터니언의 성분들 각각을 콘볼루션 커널과 콘볼루션하는 것을 나타내고; ∥은 쿼터니언 놈이고,
    상기 콘볼루션은 탭들의 수가
    Figure pat00022
    인 이산 콘볼루션 마스크를 이용하는 컴퓨터 프로그램 제품.
KR1020110056475A 2010-06-11 2011-06-10 방향 센서 판독과 이미지 정렬 추정의 융합에 의한 3ｄ 비디오 안정화를 위한 시스템 및 방법 KR101314487B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35398210P 2010-06-11 2010-06-11
US61/353,982 2010-06-11
US12/888,712 US8531504B2 (en) 2010-06-11 2010-09-23 System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates
US12/888,712 2010-09-23

Publications (2)

Publication Number Publication Date
KR20110135831A true KR20110135831A (ko) 2011-12-19
KR101314487B1 KR101314487B1 (ko) 2013-10-07

Family

ID=44279578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110056475A KR101314487B1 (ko) 2010-06-11 2011-06-10 방향 센서 판독과 이미지 정렬 추정의 융합에 의한 3ｄ 비디오 안정화를 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US8531504B2 (ko)
KR (1) KR101314487B1 (ko)
CN (1) CN102289804B (ko)
DE (1) DE102011103423B4 (ko)
GB (1) GB2481098B (ko)
TW (1) TWI479881B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054890A (ko) * 2017-11-13 2019-05-22 삼성전자주식회사 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896713B2 (en) * 2011-08-15 2014-11-25 Apple Inc. Motion-based video stabilization
CN104067608B (zh) 2012-01-18 2017-10-24 英特尔公司 智能计算成像系统
KR101387189B1 (ko) * 2012-05-30 2014-04-29 삼성전기주식회사 운행 보조정보 표시장치 및 운행 보조정보 표시방법
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
WO2013184131A1 (en) 2012-06-08 2013-12-12 Intel Corporation Device, system and method of orientation estimation of a mobile device
US9123135B2 (en) 2012-06-14 2015-09-01 Qualcomm Incorporated Adaptive switching between vision aided INS and vision only pose
US9116001B2 (en) 2012-06-14 2015-08-25 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
US20140015851A1 (en) * 2012-07-13 2014-01-16 Nokia Corporation Methods, apparatuses and computer program products for smooth rendering of augmented reality using rotational kinematics modeling
US9542585B2 (en) 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
IL233684B (en) 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
US20160077166A1 (en) * 2014-09-12 2016-03-17 InvenSense, Incorporated Systems and methods for orientation prediction
US20160182822A1 (en) * 2014-12-19 2016-06-23 Sony Corporation System, method, and computer program product for determiing a front facing view of and centering an omnidirectional image
US10708571B2 (en) 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
EP3378221B1 (en) 2015-11-16 2022-01-12 Google LLC Stabilization based on accelerometer data
US11477382B2 (en) 2016-02-19 2022-10-18 Fotonation Limited Method of stabilizing a sequence of images
CN108702450B (zh) * 2016-02-19 2020-10-27 快图有限公司 用于图像捕获设备的相机模块
WO2018027340A1 (en) * 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Systems and methods for mobile platform imaging
CN106534833B (zh) * 2016-12-07 2018-08-07 上海大学 一种联合空间时间轴的双视点立体视频稳定方法
US10097757B1 (en) 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
US20210250504A1 (en) * 2020-02-08 2021-08-12 John T. Buck Systems for leveling and orienting trail cameras
US11729505B2 (en) 2021-02-10 2023-08-15 Samsung Electronics Co., Ltd. Image signal processor, electronic device, and image stabilization method

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130646A (ja) 1991-11-08 1993-05-25 Toshiba Corp 立体カメラ装置
US6278466B1 (en) 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
EP1050850A1 (en) 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames
US7292261B1 (en) 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
US6798897B1 (en) 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
JP2001210757A (ja) 2000-01-25 2001-08-03 Toshiba Corp 樹脂封止型半導体素子
US6665423B1 (en) 2000-01-27 2003-12-16 Eastman Kodak Company Method and system for object-oriented motion-based video description
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
JP2002209208A (ja) 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
DE60320169T2 (de) 2002-05-02 2009-04-09 Sony Corp. Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium
EP1376471A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
US7433497B2 (en) 2004-01-23 2008-10-07 Hewlett-Packard Development Company, L.P. Stabilizing a sequence of image frames
US7705884B2 (en) 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US7649549B2 (en) 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
US20060245500A1 (en) * 2004-12-15 2006-11-02 David Yonovitz Tunable wavelet target extraction preprocessor system
US7548659B2 (en) 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
JP5130646B2 (ja) * 2005-06-06 2013-01-30 ソニー株式会社 記憶装置
US7558405B2 (en) 2005-06-30 2009-07-07 Nokia Corporation Motion filtering for video stabilization
JP4332525B2 (ja) 2005-12-16 2009-09-16 ソフトバンクモバイル株式会社 移動体通信端末
US20070291104A1 (en) * 2006-06-07 2007-12-20 Wavetronex, Inc. Systems and methods of capturing high-resolution images of objects
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
FR2903200B1 (fr) * 2006-06-29 2008-12-19 Thales Sa Stabilisation hybride d'images pour camera video
US20080112630A1 (en) 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
CN101563669A (zh) 2006-12-15 2009-10-21 汤姆森特许公司 交互式视觉特效合成的系统和方法
US7843451B2 (en) 2007-05-25 2010-11-30 Google Inc. Efficient rendering of panoramic images, and applications thereof
US8103134B2 (en) 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
US8335955B2 (en) * 2008-06-24 2012-12-18 Siemens Aktiengesellschaft System and method for signal reconstruction from incomplete data
US20100141761A1 (en) 2008-12-08 2010-06-10 Mccormack Kenneth Method and system for stabilizing video images
US8862987B2 (en) 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
CN101694716A (zh) * 2009-10-10 2010-04-14 北京理工大学 一种针对多点目标的立体视觉光学跟踪系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054890A (ko) * 2017-11-13 2019-05-22 삼성전자주식회사 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법

Also Published As

Publication number Publication date
TWI479881B (zh) 2015-04-01
GB201108768D0 (en) 2011-07-06
GB2481098A (en) 2011-12-14
KR101314487B1 (ko) 2013-10-07
TW201218748A (en) 2012-05-01
CN102289804B (zh) 2014-03-19
US20110304694A1 (en) 2011-12-15
CN102289804A (zh) 2011-12-21
DE102011103423A1 (de) 2012-02-23
US8531504B2 (en) 2013-09-10
GB2481098B (en) 2013-10-16
DE102011103423B4 (de) 2019-07-25

Similar Documents

Publication Publication Date Title
KR101314487B1 (ko) 방향 센서 판독과 이미지 정렬 추정의 융합에 의한 3ｄ 비디오 안정화를 위한 시스템 및 방법
US11057567B2 (en) Anti-shake method and apparatus for panoramic video, and portable terminal
Claus et al. A rational function lens distortion model for general cameras
KR101565362B1 (ko) 자이로스코프 컨디셔닝 및 자이로-카메라 정렬
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
CN106991650B (zh) 一种图像去模糊的方法和装置
US8417062B2 (en) System and method for stabilization of fisheye video imagery
US10825249B2 (en) Method and device for blurring a virtual object in a video
CN110462685B (zh) 三维模型重建方法和系统
CN103875020A (zh) 基于定向传感器解决单应性分解不明确性
CN113240597B (zh) 基于视觉惯性信息融合的三维软件稳像方法
Mallik et al. A multi-sensor information fusion approach for efficient 3D reconstruction in smart phone
Hardie Super-resolution using adaptive Wiener filters
JPWO2019211970A1 (ja) 三次元再構成方法及び三次元再構成装置
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
KR101776638B1 (ko) 복수개의 오브젝트의 공간 정보 추정 장치 및 방법
WO2023062994A1 (ja) 学習装置、学習方法、学習プログラム、カメラパラメータ算出装置、カメラパラメータ算出方法及びカメラパラメータ算出プログラム
CN111784622B (zh) 一种基于无人机单目倾斜的图像拼接方法及相关装置
Colomina et al. Pose versus state: are sensor position and attitude sufficient for modern photogrammetry and remote sensing?
Kupervasser et al. A navigation filter for fusing DTM/correspondence updates
Martinez Intensity-difference based 3D video stabilization for planetary robots
Wei et al. Gyroscope and visual fusion solution for digital video stabilization
Gilman et al. Global Illumination-Invariant Fast Sub-Pixel Image Registration
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160831

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 6