KR20130104691A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20130104691A
KR20130104691A KR1020120026412A KR20120026412A KR20130104691A KR 20130104691 A KR20130104691 A KR 20130104691A KR 1020120026412 A KR1020120026412 A KR 1020120026412A KR 20120026412 A KR20120026412 A KR 20120026412A KR 20130104691 A KR20130104691 A KR 20130104691A
Authority
KR
South Korea
Prior art keywords
image
strip
eye strip
right eye
left eye
Prior art date
Application number
KR1020120026412A
Other languages
English (en)
Other versions
KR101804205B1 (ko
Inventor
차준혁
문영수
전영선
이시화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120026412A priority Critical patent/KR101804205B1/ko
Priority to US13/761,344 priority patent/US9378544B2/en
Priority to JP2013049523A priority patent/JP6289811B2/ja
Priority to EP13158870.9A priority patent/EP2640063B1/en
Priority to CN201310081951.1A priority patent/CN103313081B/zh
Publication of KR20130104691A publication Critical patent/KR20130104691A/ko
Application granted granted Critical
Publication of KR101804205B1 publication Critical patent/KR101804205B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

싱글 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법에 관한 것으로, 영상 처리 장치는 영상 처리 장치는 복수의 입력 영상 프레임들의 중앙 영역를 이용하여 2차원 레퍼런스 파노라마 영상을 생성하고, 상기 2차원 레퍼런스 파노라마 영상에 기초하여 상기 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출한다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR IMAGE PROCESSING}
기술분야는 싱글 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법에 관한 것이다.
보통의 파노라마 영상 생성 방식은 사용자가 카메라를 흔들림 없이 수평으로 회전하면서 여러 장의 영상을 촬영하는 것을 가정하고, 좌안과 우안에 해당하는 스테레오 파노라마를 이어 붙인다. 하지만 실제 촬영에서는 사용자가 카메라를 회전시키며 촬영할 때, 미세한 손떨림이 존재할 수 밖에 없고, 동일 지점에 대한 좌안 파노라마 및 우안 파노마라의 입력 영상이 약간의 시간차를 갖는 서로 다른 영상이기 때문에 화질저하가 발생한다.
일 측면에 있어서, 영상 처리 장치는 복수의 입력 영상 프레임들의 중앙 영역를 이용하여 2차원 레퍼런스 파노라마 영상을 생성하는 레퍼런스 생성부 및 상기 2차원 레퍼런스 파노라마 영상에 기초하여 상기 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출하는 스트립 추출부를 포함한다.
상기 레퍼런스 생성부는 상기 복수의 입력 영상 프레임들 각각에서, 기 설정된 중앙 영역을 블렌딩(blending)하여 상기 2차원 레퍼런스 파노라마 영상을 생성할 수 있다.
상기 스트립 추출부는 상기 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 좌안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립을 추출하는 좌안 스트립 추출부 및 상기 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 우안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 우안 스트립을 추출하는 우안 스트립 추출부를 포함할 수 있다.
상기 좌안 스트립 추출부는 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 좌안 스트립을 추출하고, 상기 우안 스트립 추출부는 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 우안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 우안 스트립을 추출할 수 있다.
상기 스트립 추출부는 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치 및 기 설정된 우안 스트립 추출 위치의 컬러 값 간의 상관관계에 기초하여 좌안 스트립 및 우안 스트립을 추출할 수 있다.
상기 스트립 추출부는 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 동일한 폭의 좌안 스트립 및 우안 스트립을 추출할 수 있다.
다른 일 측면에 있어서, 영상 처리 장치는 상기 좌안 스트립 및 상기 우안 스트립에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성하는 파노라마 영상 생성부를 더 포함할 수 있다.
다른 일 측면에 있어서, 영상 처리 장치는 상기 좌안 파노라마 영상 및 상기 우안 파노라마 영상 간의 디스패리티에 기초하여 3차원 파노라마 영상을 생성하는 3차원 파노라마 영상 생성부를 더 포함할 수 있다.
다른 일 측면에 있어서, 영상 처리 장치는 촬영 장치로부터 입력된 영상을 구 변환하고, 구 변환된 영상들 간에 특징점 매칭을 통하여 영상 정합을 수행하는 처리부, 상기 구 변환된 영상들 간의 이동량을 계산하는 계산부, 상기 이동량이 기 설정된 목표를 만족하는지 판단하는 제1 판단부 및 상기 이동량이 기 설정된 목표를 만족하면, 상기 구 변환된 영상을 저장하고, 저장된 구 변환된 영상들의 개수가 3차원 파노라마 영상의 생성에 필요한 개수를 만족하는지 판단하는 제2 판단부를 더 포함할 수 있다.
일 측면에 있어서, 영상 처리 장치는 복수의 입력 영상 프레임들 간의 특징점 매칭을 통해 상기 복수의 입력 영상 프레임들에 대하여 영상 정합을 수행하는 글로벌 정렬부 및 2차원 레퍼런스 파노라마 영상을 이용하여 상기 복수의 입력 영상 프레임들 각각에서 우안 스트립 및 좌안 스트립을 수직 방향으로 국부적으로 정렬하는 로컬 정렬부를 포함한다.
상기 2차원 레퍼런스 파노라마 영상은 상기 복수의 입력 영상 프레임들의 중앙 영역에 기초하여 생성될 수 있다.
상기 로컬 정렬부는 상기 2차원 레퍼런스 파노라마 영상에 기초하여 상기 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출할 수 있다.
상기 로컬 정렬부는 상기 좌안 스트립 및 상기 우안 스트립에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성할 수 있다.
일 측면에 있어서, 영상 처리 방법은 복수의 입력 영상 프레임들의 중앙 영역를 이용하여 2차원 레퍼런스 파노라마 영상을 생성하는 단계 및 상기 2차원 레퍼런스 파노라마 영상에 기초하여 상기 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출하는 단계를 포함한다.
상기 2차원 레퍼런스 파노라마 영상을 생성하는 단계는 상기 복수의 입력 영상 프레임들 각각에서, 기 설정된 중앙 영역을 블렌딩(blending)하여 상기 2차원 레퍼런스 파노라마 영상을 생성할 수 있다.
상기 좌안 스트립 및 우안 스트립을 추출하는 단계는 상기 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 좌안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립을 추출하고, 상기 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 우안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 우안 스트립을 추출할 수 있다.
상기 좌안 스트립 및 우안 스트립을 추출하는 단계는 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 좌안 스트립을 추출하고, 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 우안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 우안 스트립을 추출할 수 있다.
상기 좌안 스트립 및 우안 스트립을 추출하는 단계는 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치 및 기 설정된 우안 스트립 추출 위치의 컬러 값 간의 상관관계에 기초하여 좌안 스트립 및 우안 스트립을 추출할 수 있다.
일 측면에 있어서, 영상 처리 방법은 상기 좌안 스트립 및 상기 우안 스트립에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성하는 단계를 더 포함할 수 있다.
일 측면에 따른 영상 처리 장치는 동일한 피사체에 대해 좌안 파노라마 영상 및 우안 파노라마 영상의 입력 스트립의 촬영 시점이 다르고 촬영 순간의 시간차이가 존재함으로 인해 발생하는 좌안 및 우안 파노라마 영상의 부분적인 정렬 실패를 사전에 예방할 수 있다.
입력 영상의 중앙 영역을 이용하여 로테이션의 영향을 최소화할 수 있는 2차원 레퍼런스 파노라마 영상을 생성할 수 있다.
2차원 레퍼런스 파노라마 영상을 기준으로 로컬 정렬(Local Alignment)을 통해 좌안 파노라마 영상 및 우안 파노라마 영상을 생성함으로써, 고화질의 3차원 파노라마 영상을 생성할 수 있다.
또한, 로컬 정렬을 이용함으로써, 입력 영상의 촬영 제약 조건으로부터 어느 정도 완화되어, 저사양의 카메라 시스템에서도 3차원 파노라마 영상의 생성이 가능하다.
도 1은 싱글 카메라로 촬영된 영상의 시퀀스를 나타낸 도면이다.
도 2는 입력 영상에 로테이션이 발생한 경우, 피사체의 위치변화를 나타낸 도면이다.
도 3은 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 4는 다른 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 5는 일 실시예에 따른 2차원 레퍼런스 파노라마 영상의 생성 과정을 나타낸 도면이다.
도 6은 일 실시예에 따른 좌안 스트립 및 우안 스트립을 추출하는 과정을 나타낸 도면이다.
도 7은 일 실시예에 따른 로컬 정렬 전과 후를 나타낸 도면이다.
도 8은 일 실시예에 따른 영상 처리 방법의 흐름도이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
2장의 시점이 다른 좌안 파노라마 영상 및 우안 파노라마 영상에 기초하여 3차원 파노라마 영상이 생성될 수 있다. 따라서, 좌안 파노라마 영상 및 우안 파노라마 영상이 잘못 생성되거나, 동일 피사체를 바라보는 위치에서 피사체의 불일치가 발생하는 경우에 화질 저하와 어지럼증이 발생할 수 있다.
특히 동일 피사체에 대한 좌안 파노라마 영상 및 우안 파노라마 영상의 입력 스트립의 추출 위치가 다르고, 좌안 파노라마 영상과 우안 파노라마 영상 간의시간 차로 로컬 모션이 발생할 가능성이 크기 때문에 3차원 파노라마 영상의 특정 부분에서 어지러운 현상이 발생할 수 있다.
따라서 입력 영상 간의 트랜슬레이션(translation) 정보를 이용한 글로벌 정렬(global alignment)와 함께 좌안 파노라마 영상 및 우안 파노라마 영상에 대한 정밀한 로컬 정렬(local alignment)이 필요하다.
도 1은 싱글 카메라로 촬영된 영상의 시퀀스를 나타낸 도면이다.
연속된 여러 장의 입력 영상에 대해 구변환과 특징점 매칭을 이용한 영상 정합을 수행함으로써 글로벌 트랜슬레이션(global translation) 정보를 얻을 수 있다. 즉, 입력 영상에서 촬영된 피사체의 이동 정보를 획득할 수 있다.
이 때 좌안 파노라마 영상과 우안 파노라마 영상을 최대한 일치하도록 하기 위해서는 일정한 트랜슬레이션(translation)을 갖는 입력 프레임을 파노라마 영상의 입력으로 선택해야 한다.
하지만 사용자가 카메라를 손에 들고 직접 카메라를 회전시키면서 파노라마 촬영을 할 경우 불가피하게 입력 영상이 흔들릴 수 밖에 없으며, 이 때 발생한 흔들림은 입력 영상에서 수평 및 수직 방향 이동과 함께 회전이동의 형태로 표현된다. 수평 및 수직 방향으로 발생한 이동에 대해서는 글로벌 정렬 과정에서 흔들림을 보정할 수 있으나, 회전이동으로 인하여 입력 영상에 로테이션이 존재할 경우 좌안 파노라마 영상과 우안 파노라마 영상간의 정렬이 어렵게 되고, 로테이션이 존재하는 영역에서 어지럼증이 발생하게 된다.
도 1을 참조하면, 촬영 장치의 흔들림으로 인하여 입력 영상에 로테이션이 발생하는 경우, 로테이션이 발생한 입력 영상들(110)에 기초하여 생성된 좌안 파노라마 영상(120) 및 우안 파노라마 영상(130)에도 로테이션이 발생함을 알 수 있다. 이러한 로테이션으로 인하여 동일한 피사체를 촬영한 것임에도 영상에 불일치가 발생하여 사용자에게 어지럼증을 일으키고, 불편함을 줄 수 있다.
도 2는 입력 영상에 로테이션이 발생한 경우, 피사체의 위치변화를 나타낸 도면이다.
도 1과 같이 입력 영상에 로테이션이 발생하면, 좌안 파노라마 영상 및 우안 파노라마 영상의 입력이 되는 우안 스트립과 좌안 스트립의 트랜슬레이션(translation) 값도 달라지게 된다.
영상(210)은 촬영 시 카메라의 흔들림이 없는 경우를 나타낸다. 영상(220)은 촬영 시 카메라가 오른쪽으로 기울어지는 경우를 나타낸다. 영상(230)은 촬영 장치에서 인식하는 피사체의 로테이션을 나타낸다. 영상(230)을 살펴보면 영상(210)에 비하여, 중앙 영역(233)보다 우측 영역(235) 및 좌측 영역(231)이 위, 아래로 로테이션이 심함을 알 수 있다. 즉, 중앙 영역(233)보다 우측 영역(235) 및 좌측 영역(231)에서 촬영된 피사체의 영상에 변화가 심하다.
입력 영상 프레임 간의 글로벌 트랜슬레이션(global translation) 정보는 영상 전체에 대한 평균이기 때문에 로테이션이 발생하더라도 트랜슬레이션(translation) 값은 크게 변하지 않는다. 그러나, 우안 스트립 및 좌안 스트립의 수직 방향 트랜슬레이션은 서로 반대 방향으로 발생함을 알 수 있다. 로테이션에 의한 수평 방향(x 축)으로의 평균 트랜슬레이션(translation) 값의 변화량은 수직 방향(y 축)의 트랜슬레이션 값의 변화량에 비해 많이 작다.
따라서 글로벌 정렬(global alignment) 정보를 이용하여 좌안 파노라마 영상 및 우안 파노라마 영상을 초기 정렬한 후, 우안 스트립 및 좌안 스트립을 수직 방향으로 로컬 정렬(local alignment)하면 로테이션이 반영된 좌안 파노라마 영상 및 우안 파노라마 영상이 생성될 수 있다.
도 3은 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 3을 참조하면, 영상 처리 장치는 레퍼런스 생성부(310), 스트립 추출부(320), 제어부(330), 파노라마 영상 생성부(340) 및 3차원 파노라마 영상 생성부(350)를 포함한다.
레퍼런스 생성부(310)는 복수의 입력 영상 프레임들의 중앙 영역를 이용하여 2차원 레퍼런스 파노라마 영상을 생성한다. 여기서 중앙 영역은 입력 영상 프레임을 소정의 기준에 따라 좌측 영역, 중앙 영역 및 우측 영역의 세 영역으로 구분하였을 때, 중앙 영역을 의미할 수 있다. 소정의 기준은 영상 처리 장치에 기 설정될 수 있다. 또한, 소정의 기준은 사용자의 설정에 따라 조정될 수 있다. 또한, 소정의 기준은 로테이션의 변화량에 기초하여 결정될 수도 있다.
복수의 입력 영상 프레임들은 소정의 시간 간격으로 촬영 장치로부터 촬영되는 영상들을 의미한다.
레퍼런스 생성부(310)는 복수의 입력 영상 프레임들 각각에서, 기 설정된 중앙 영역을 블렌딩(blending)하여 2차원 레퍼런스 파노라마 영상을 생성할 수 있다. 중앙 영역은 좌측 영역 또는 우측 영역에 비해 상대적으로 로테이션의 변화량이 작다. 따라서, 중앙 영역의 블렌딩을 통해 생성된 2차원 레퍼런스 파노라마 영상은 입력 영상의 좌측 영역에서 추출하는 스트립(strip) 및 입력 영상의 우측 영역에서 추출하는 스트립의 기준 영상이 될 수 있다.
스트립 추출부(320)는 2차원 레퍼런스 파노라마 영상에 기초하여 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출한다. 유사도는 탬플릿 매칭(template matching)을 통해 계산될 수 있다. 스트립 추출부(320)는 탬플릿 매칭을 통해 계산된 유사도가 가장 큰 경우의 좌안 스트립 및 우안 스트립을 입력 영상에서 추출할 수 있다.
스트립 추출부(320)는 복수의 입력 영상 프레임들 중 프레임들의 이동량을 비교하여 2차원 레퍼런스 파노라마 영상과 동일한 이동량을 가진 입력 영상 프레임을 추정하고, 동일한 이동량을 가진 입력 영상 프레임과 2차원 레퍼런스 파노라마 영상 간에 유사도를 판단한다.
스트립 추출부(320)는 좌안 스트립 추출부(321) 및 우안 스트립 추출부(323)를 포함할 수 있다.
좌안 스트립 추출부(321)는 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 좌안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립을 추출할 수 있다.
좌안 스트립은 사용자의 왼쪽 눈으로 보이는 영상의 슬릿을 의미한다. 보다 구체적으로 좌안 스트립을 추출할 위치 중 수평 방향의 위치는 2차원 레퍼런스 파노라마 영상을 생성하기 이전 과정에서 결정될 수 있다. 복수의 입력 영상 프레임들 간에 영상 정합을 수행하는 과정에서 상기 수평 방향의 위치는 결정될 수 있다.
또는 좌안 스트립의 수평 방향으로의 추출 위치는 촬영 장치의 초기 값 또는 사용자의 설정 값으로 설정될 수도 있다.
좌안 스트립 추출부(321)는 위, 아래로 2차원 레퍼런스 파노라마 영상의 탬플릿을 입력 영상 프레임과 매칭시키면서 유사도를 계산할 수 있다. 좌안 스트립 추출부(321)는 입력 영상 프레임에서 기 설정된 유사도에 가장 가까운 유사도를 가지는 위치의 좌안 스트립을 추출하거나, 유사도가 최대 값을 갖는 위치의 좌안 스트립을 추출할 수 있다. 예를 들면, 기 설정된 유사도가 90%인 경우, 90%에 가장 가까운 유사도를 가지는 위치의 좌안 스트립이 추출될 수도 있다.
우안 스트립 추출부(323)는 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 우안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 우안 스트립을 추출할 수 있다.
우안 스트립은 사용자의 오른쪽 눈으로 보이는 영상의 슬릿을 의미한다. 보다 구체적으로 우안 스트립을 추출할 위치 중 수평 방향의 위치는 2차원 레퍼런스 파노라마 영상을 생성하기 이전 과정에서 결정될 수 있다. 복수의 입력 영상 프레임들 간에 영상 정합을 수행하는 과정에서 수평 방향의 위치는 결정될 수 있다.
또는 우안 스트립의 수평 방향으로의 추출 위치는 촬영 장치의 초기 값 또는 사용자의 설정 값으로 설정될 수도 있다.
우안 스트립 추출부(323)는 기 설정된 수평 위치에서 위, 아래로 2차원 레퍼런스 파노라마 영상의 탬플릿을 입력 영상 프레임과 매칭시키면서 유사도를 계산할 수 있다. 우안 스트립 추출부(323)는 입력 영상 프레임에서 기 설정된 유사도에 가장 가까운 유사도를 가지는 위치의 우안 스트립을 추출하거나, 유사도가 최대 값을 갖는 위치의 우안 스트립을 추출할 수 있다. 예를 들면, 기 설정된 유사도가 90%인 경우, 90%에 가장 가까운 유사도를 가지는 위치의 우안 스트립이 추출될 수도 있다.
좌안 스트립 추출부(321)는 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 좌안 스트립을 추출할 수 있다. 탬플릿 매칭을 통해 상관 값(correlation value)이 계산 될 수 있다.
우안 스트립 추출부(323)는 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 우안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 우안 스트립을 추출할 수 있다.
스트립 추출부(320)는 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치 및 기 설정된 우안 스트립 추출 위치의 컬러 값 간의 상관관계에 기초하여 좌안 스트립 및 우안 스트립을 추출할 수 있다. 스트립 추출부(320)는 2차원 레퍼런스 파노라 영상의 탬플릿의 RGB(Red, Green, Blue) 값을 입력 영상 프레임과 비교하여 상관 값을 계산할 수 있다. 스트립 추출부(320)는 입력 영상 프레임에서 최대 상관 값을 가지는 위치의 스트립을 추출할 수 있다.
스트립 추출부(320)는 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 동일한 폭의 좌안 스트립 및 우안 스트립을 추출할 수 있다. 스트립 추출부(320)는 폭이 일정한 스트립들을 추출할 수 있다. 즉, 입력 영상 프레임에서 추출되는 좌안 스트립들 및 우안 스트립들의 폭들은 동일하다.
파노라마 영상 생성부(340)는 좌안 스트립 및 우안 스트립에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성할 수 있다. 파노라마 영상 생성부(340)는 좌안 스트립들을 블렌딩하여 좌안 파노라마 영상을 생성할 수 있다. 파노라마 영상 생성부(340)는 우안 스트립들을 블렌딩하여 우안 파노라마 영상을 생성할 수 있다.
3차원 파노라마 영상 생성부(350)는 좌안 파노라마 영상 및 우안 파노라마 영상 간의 디스패리티(disparity)에 기초하여 3차원 파노라마 영상을 생성할 수 있다. 3차원 파노라마 영상 생성부(350)는 영상 처리 분야에서 디스패리티를 고려하여 3차원 영상을 생성하는 기술을 사용할 수 있다. 또한, 3차원 파노라마 영상 생성부(350)는 2차원의 스테레오 영상에 기초하여 3차원 영상을 생성하는 기술을 사용할 수 있다.
처리부(360)는 촬영 장치로부터 입력된 영상을 구 변환(sphere transformation)하고, 구 변환된 영상들 간에 특징점 매칭을 통하여 영상 정합을 수행할 수 있다. 입력 영상은 원 모양의 베이스라인에서 촬영되어서, 왜곡될 수 있다. 처리부(360)는 입력 영상을 촬영 위치에 따라 거리 및 각도를 고려하여 왜곡된 영상을 구 변환할 수 있다. 처리부(360)는 구 변환된 영상들 간에 특징점 매칭을 수행할 수 있다. 특징점은 입력 영상에서 피사체의 모양 또는 색깔 등을 기준으로 결정될 수 있다.
계산부(370)는 구 변환된 영상들 간의 이동량을 계산할 수 있다. 처리부(360)에서 영상 정합이 완료된 후, 계산부(370)는 영상 정합 결과에 기초하여 입력된 영상들 간의 이동량을 계산할 수 있다. 예를 들면, 계산부(370)는 피사체가 입력 영상에서 얼마만큼 이동하였는지를 계산할 수 있다.
계산부(370)는 이동량의 계산을 통해 입력 영상의 트랜슬레이션(translation)정보를 획득할 수 있다. 상기 트랜슬레이션 정보에 기초하여 좌안 스트립 및 우안 스트립의 수평 방향의 위치가 결정될 수 있다.
제1 판단부(380)는 이동량이 기 설정된 목표를 만족하는지 판단한다. 계산부(370)에서 계산된 이동량이 기 설정된 목표를 만족하지 않으면, 구 변환된 영상을 저장하지 않고, 다시 영상의 촬영을 요청할 수 있다.
제2 판단부(390)는 계산부(370)에서 계산된 이동량이 기 설정된 목표를 만족하면, 구 변환된 영상을 저장하고, 저장된 구 변환된 영상들의 개수가 3차원 파노라마 영상의 생성에 필요한 개수를 만족하는지 판단할 수 있다. 예를 들면, 3차원 파노라마 영상의 생성에 필요한 개수는 3차원 파노라마 영상의 해상도, 용량 및 영상 처리 장치의 처리속도에 기초하여 결정될 수 있다.
저장된 구 변환된 영상들의 개수가 3차원 파노라마 영상의 생성에 필요한 개수를 만족하면, 저장된 구 변환된 영상들은 2차원 레퍼런스 파노라마 영상의 생성에 필요한 입력 영상들이 될 수 있다.
제어부(330)는 영상 처리 장치의 전반적인 제어를 담당하고, 레퍼런스 생성부(310), 스트립 추출부(320), 파노라마 영상 생성부(340), 3차원 파노라마 영상 생성부(350), 처리부(360), 계산부(370), 제1 판단부(380) 및 제2 판단부(390)의 기능을 수행할 수 있다. 도 3의 실시 예에서 이를 별도로 구성하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 실제로 제품을 구현하는 경우에 이들 모두를 제어부(330)에서 처리하도록 구성할 수도 있으며, 이들 중 일부만을 제어부(330)에서 처리하도록 구성할 수도 있다.
도 4는 다른 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 4를 참조하면, 영상 처리 장치는 글로벌 정렬부(410) 및 로컬 정렬부(420)를 포함한다.
글로벌 정렬부(410)는 복수의 입력 영상 프레임들 간의 특징점 매칭을 통해 복수의 입력 영상 프레임들에 대하여 영상 정합을 수행한다. 글로벌 정렬부(410)는 입력 영상 프레임들 각각을 구 변환할 수 있다. 글로벌 정렬부(410)는 영상 정합을 통해 입력 영상 프레임들 간의 트랜슬레이션 정보를 획득할 수 있다.
로컬 정렬부(420)는 2차원 레퍼런스 파노라마 영상을 이용하여 복수의 입력 영상 프레임들 각각에서 우안 스트립 및 좌안 스트립을 수직 방향으로 국부적으로 정렬할 수 있다.
2차원 레퍼런스 파노라마 영상은 복수의 입력 영상 프레임들의 기 설정된 중앙 영역에 기초하여 생성될 수 있다. 로컬 정렬부(420)는 기 설정된 중앙 영역을 블렌딩(blending)하여 2차원 레퍼런스 파노라마 영상을 생성할 수 있다.
로컬 정렬부(420)는 2차원 레퍼런스 파노라마 영상을 기준으로 입력 영상 프레임의 우안 스트립 추출 위치 및 좌안 스트립 추출 위치에서 수직 방향으로 탬플릿 매칭을 통해 상관 값을 계산할 수 있다. 보다 구체적으로 우안 스트립 추출 위치 및 좌안 스트립 추출 위치는 입력 영상 프레임에서 수평방향의 위치를 의미한다. 수평방향의 위치는 글로벌 정렬부(410)에서 획득한 트랜슬레이션 정보에 기초하여 결정될 수 있다.
로컬 정렬부(420)는 탬플릿 매칭을 통해 입력 영상 프레임에서 수직 방향의 위치를 결정할 수 있다. 로컬 정렬부(420)는 최대 상관 값을 가지는 위치에서 우안 스트립 및 좌안 스트립을 각각 추출할 수 있다.
로컬 정렬부(420)는 2차원 레퍼런스 파노라마 영상에 기초하여 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출할 수 있다. 예를 들면, 유사도는 탬플릿 매칭의 상관 값으로 결정될 수 있다. 즉, 상관 값이 높으면 유사도도 높다고 판단할 수 있다.
로컬 정렬부(420)는 좌안 스트립 및 우안 스트립에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성할 수 있다. 로컬 정렬부(420)는 2차원 레퍼런스 파노라마 영상에 기초하여 수직방향으로 유사도가 높은 좌안 스트립 및 우안 스트립을 추출하고, 좌안 스트립들을 블렌딩하여 좌안 파노라마 영상을 생성하고 우안 스트립들을 블렌딩하여 우안 파노라마 영상을 생성함으로써, 좌안 스트립 및 우안 스트립을 정렬할 수 있다.
로컬 정렬부(420)는 좌안 파노라마 영상 및 우안 파노라마 영상을 이용하여 3차원 파노라마 영상을 생성할 수 있다.
도 5는 일 실시예에 따른 2차원 레퍼런스 파노라마 영상의 생성 과정을 나타낸 도면이다.
로테이션에 의해 좌안 스트립 및 우안 스트립 모두 잘못된 수직방향 위치 정보를 갖고 있기 때문에, 둘 중 하나를 기준으로 나머지를 정렬하는 것은 새로운 문제를 일으키게 된다.
로테이션에 의한 영향이 가장 작은 입력 영상의 중앙 영역이 좌안 스트립 및 우측 스트립 모두를 동일하게 정렬할 수 있는 기준이 될 수 있다.
도 5를 참조하면 입력 영상의 중앙 영역들(501, 503, 505, 507, 509, 511, 513, 515)을 이용하여 2차원 레퍼런스 파노라마 영상(520)을 생성할 수 있다.
도 6은 일 실시예에 따른 좌안 스트립 및 우안 스트립을 추출하는 과정을 나타낸 도면이다.
2차원 레퍼런스 파노라마 영상(610)을 기준으로 좌안 스트립 및 우안 스트립을 추출하려는 부분에서 탬플릿 매칭을 통해 가장 유사도가 큰 영역들을 추출함으로써, 좌안 스트립 및 우안 스트립이 촬영 장치의 흔들림에 대응하여 수직 방향으로 정렬될 수 있다.
도 6을 참조하면, 2차원 레퍼런스 파노라마 영상(610)을 기준으로 입력 영상 프레임들(620,630)에서 좌안 스트립들(621,631)이 추출될 수 있고, 입력 영상 프레임들(640,650,660)에서 우안 스트립들(641,651,661)이 추출될 수 있다.
이때, 입력 영상 프레임(620)에서 추출되는 좌안 스트립(621) 및 입력 영상 프레임(630)에서 추출되는 좌안 스트립(631)의 수평 방향의 위치는 동일하다. 탬플릿 매칭을 통해 좌안 스트립(621) 및 좌안 스트립(631)의 수직 방향의 위치가 결정될 수 있다. 우안 스트립들(641,651,661)의 경우에도 마찬가지이다.
입력 영상 프레임(640)에서 추출되는 우안 스트립(641), 입력 영상 프레임(650)에서 추출되는 우안 스트립(651) 및 입력 영상 프레임(660)에서 추출되는 우안 스트립(661)의 수평 방향의 위치는 동일하다. 탬플릿 매칭을 통해 우안 스트립(641), 우안 스트립(651) 및 우안 스트립(661)의 수직 방향의 위치가 결정될 수 있다.
2차원 레퍼런스 파노라마 영상(610)에 대응하는 입력 영상 프레임들만큼 좌안 스트립들 및 우안 스트립들이 추출될 수 있다.
좌안 스트립들(621,631)을 블렌딩하여 좌안 파노라마 영상이 생성될 수 있고, 우안 스트립들(641,651,661)을 블렌딩하여 우안 파노라마 영상이 생성될 수 있다.
도 7은 일 실시예에 따른 로컬 정렬 전과 후를 나타낸 도면이다.
도 7을 참조하면, (a)는 수직 방향으로의 로컬 정렬(local alignment)을 수행하기 전에 동일 피사체에 대해 좌안 파노라마 영상 및 우안 파노라마 영상이 수직 방향으로 불일치하는 예이고, (b)는 수직 방향으로의 로컬 정렬을 수행한 후에 좌안 파노라마 영상 및 우안 파노라마 영상이 정렬된 예이다.
보다 구체적으로는 (a)의 우측 영상은 아래 방향으로 로테이션이 발생한 경우이고, (b)의 우측 영상은 (a)의 아래 방향의 로테이션이 반영되어 로컬 정렬된 영상이다.
도 8은 일 실시예에 따른 영상 처리 방법의 흐름도이다.
800단계에서, 영상 처리 장치는 촬영 장치를 한 방향으로 회전시키며 순차적으로 영상을 촬영할 수 있다. 또는 영상 처리 장치는 촬영 장치를 한 방향으로 회전시키면 순차적으로 촬영된 영상을 입력 받을 수 있다.
805단계에서, 영상 처리 장치는 촬영 영상 또는 입력 영상을 구 변환(sphere transformation)할 수 있다. 영상 처리 장치는 회전으로 인한 왜곡을 구 변환을 통해 보상할 수 있다. 영상 처리 장치는 구 변환된 영상들 간에 특징점 매칭을 통하여 영상 정합을 수행할 수 있다.
810단계에서, 영상 처리 장치는 구 변환된 영상들 간의 이동량을 계산할 수 있다. 영상 정합을 완료한 후, 영상 처리 장치는 영상 정합 결과에 기초하여 입력된 영상들 간의 이동량을 계산할 수 있다.
815단계에서, 영상 처리 장치는 이동량이 기 설정된 목표를 만족하는지 판단한다. 계산된 이동량이 기 설정된 목표를 만족하지 않으면, 영상 처리 장치는 구 변환된 영상을 저장하지 않고, 다시 영상을 촬영할 수 있다.
820단계에서, 영상 처리 장치는 계산된 이동량이 기 설정된 목표를 만족하면, 구 변환된 영상을 저장할 수 있다.
825단계에서, 영상 처리 장치는 저장된 구 변환된 영상들의 개수가 3차원 파노라마 영상의 생성에 필요한 개수를 만족하는지 판단할 수 있다. 3차원 파노라마 영상의 생성에 필요한 개수는 예를 들면, 3차원 파노라마 영상의 해상도, 용량 및 영상 처리 장치의 처리속도에 기초하여 결정될 수 있다.
830단계에서, 영상 처리 장치는 2차원 레퍼런스 파노라마 영상을 생성할 수 있다. 영상 처리 장치는 저장된 구 변환된 영상들의 중앙 영역을 블렌딩하여 2차원 레퍼런스 파노라마 영상을 생성할 수 있다.
835단계에서, 영상 처리 장치는 좌안 스트립을 추출할 수 있다. 영상 처리 장치는 2차원 레퍼런스 파노라마를 기준으로 동일한 이동량을 가지는 입력 영상 프레임에서 좌안 스트립을 추출할 수 있다. 보다 구체적으로 영상 처리 장치는 입력 영상 프레임에서 수직 방향으로 탬플릿 매칭을 통해 계산된 유사도가 최대 값을 가지는 경우의 영역을 추출할 수 있다.
840단계에서, 영상 처리 장치는 우안 스트립을 추출할 수 있다. 영상 처리 장치는 2차원 레퍼런스 파노라마를 기준으로 동일한 이동량을 가지는 입력 영상 프레임에서 우안 스트립을 추출할 수 있다.
845단계에서, 영상 처리 장치는 좌안 파노라마 영상을 생성한다. 영상 처리 장치는 추출된 좌안 스트립들을 블렌딩하여 좌안 파노라마 영상을 생성할 수 있다.
850단계에서, 영상 처리 장치는 우안 파노라마 영상을 생성한다. 영상 처리 장치는 추출된 우안 스트립들을 블렌딩하여 우안 파노라마 영상을 생성할 수 있다.
855단계에서, 영상 처리 장치는 3차원 파노라마 영상을 생성한다. 영상 처리 장치는 좌안 파노라마 영상과 우안 파노라마 영상 간의 디스패리티를 고려하여 3차원 파노라마 영상을 생성할 수 있다. 영상 처리 장치는 좌안 파노라마 영상 및 우안 파노라마 영상의 수평 방향 시차를 최적화하여 3차원 파노라마 영상을 생성할 수 있다.
일 실시예에 따른 영상 처리 장치는 카메라 관련 제품에 사용될 수 있고, 영상 처리 방법은 소프트웨어로 이용될 수 있다. 예를 들면, 디지털 카메라, 카메라 영상처리 프로세서와 같은 제품에 이용될 수 있다.
일 실시예에 따른 영상 처리 장치는 촬영 장치의 흔들림에 따른 로테이션의변환량에 덜 민감한 입력 영상의 중앙 영역을 이용하여 2차원 레퍼런스 파노라마 영상을 생성하고, 2차원 레퍼런스 파노라마 영상에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성할 수 있다.
입력 영상의 중앙 영역을 이용함으로써, 좌안 파노라마 영상 및 우안 파노라마 영상의 실패 확률을 감소시킬 수 있고, 로컬 정렬을 수행함으로써, 고화질의 3차원 파노라마 영상을 생성하는 소스가 될 수 있다.
또한, 로컬 정렬의 실패를 예방하기 위해 촘촘하게 입력 영상을 촬영해야 하는 제약 조건으로부터 자유로울 수 있다. 즉, 3차원 파노라마 영상의 생성에 필요한 입력 영상 프레임의 개수가 줄어들 수 있다. 따라서, 저사양의 카메라 시스템에서도 3차원 파노라마 영상을 생성할 수 있다.
상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 복수의 입력 영상 프레임들의 중앙 영역를 이용하여 2차원 레퍼런스 파노라마 영상을 생성하는 레퍼런스 생성부; 및
    상기 2차원 레퍼런스 파노라마 영상에 기초하여 상기 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출하는 스트립 추출부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 레퍼런스 생성부는
    상기 복수의 입력 영상 프레임들 각각에서, 기 설정된 중앙 영역을 블렌딩(blending)하여 상기 2차원 레퍼런스 파노라마 영상을 생성하는
    영상 처리 장치.
  3. 제1항에 있어서,
    상기 스트립 추출부는
    상기 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 좌안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립을 추출하는 좌안 스트립 추출부; 및
    상기 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 우안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 우안 스트립을 추출하는 우안 스트립 추출부
    를 포함하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 좌안 스트립 추출부는 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 좌안 스트립을 추출하고,
    상기 우안 스트립 추출부는 상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 우안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 우안 스트립을 추출하는
    영상 처리 장치.
  5. 제1항에 있어서,
    상기 스트립 추출부는
    상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치 및 기 설정된 우안 스트립 추출 위치의 컬러 값 간의 상관관계에 기초하여 좌안 스트립 및 우안 스트립을 추출하는
    영상 처리 장치.
  6. 제1항에 있어서,
    상기 스트립 추출부는
    상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 동일한 폭의 좌안 스트립 및 우안 스트립을 추출하는
    영상 처리 장치.
  7. 제1항에 있어서,
    상기 좌안 스트립 및 상기 우안 스트립에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성하는 파노라마 영상 생성부
    를 더 포함하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 좌안 파노라마 영상 및 상기 우안 파노라마 영상 간의 디스패리티에 기초하여 3차원 파노라마 영상을 생성하는 3차원 파노라마 영상 생성부
    를 더 포함하는 영상 처리 장치.
  9. 제1항에 있어서,
    촬영 장치로부터 입력된 영상을 구 변환하고, 구 변환된 영상들 간에 특징점 매칭을 통하여 영상 정합을 수행하는 처리부;
    상기 구 변환된 영상들 간의 이동량을 계산하는 계산부;
    상기 이동량이 기 설정된 목표를 만족하는지 판단하는 제1 판단부; 및
    상기 이동량이 기 설정된 목표를 만족하면, 상기 구 변환된 영상을 저장하고, 저장된 구 변환된 영상들의 개수가 3차원 파노라마 영상의 생성에 필요한 개수를 만족하는지 판단하는 제2 판단부
    를 더 포함하는 영상 처리 장치.
  10. 복수의 입력 영상 프레임들 간의 특징점 매칭을 통해 상기 복수의 입력 영상 프레임들에 대하여 영상 정합을 수행하는 글로벌 정렬부; 및
    2차원 레퍼런스 파노라마 영상을 이용하여 상기 복수의 입력 영상 프레임들 각각에서 우안 스트립 및 좌안 스트립을 수직 방향으로 국부적으로 정렬하는 로컬 정렬부
    를 포함하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 2차원 레퍼런스 파노라마 영상은
    상기 복수의 입력 영상 프레임들의 중앙 영역에 기초하여 생성되는
    영상 처리 장치.
  12. 제10항에 있어서,
    상기 로컬 정렬부는
    상기 2차원 레퍼런스 파노라마 영상에 기초하여 상기 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출하는
    영상 처리 장치.
  13. 제12항에 있어서,
    상기 로컬 정렬부는
    상기 좌안 스트립 및 상기 우안 스트립에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성하는
    영상 처리 장치.
  14. 복수의 입력 영상 프레임들의 중앙 영역를 이용하여 2차원 레퍼런스 파노라마 영상을 생성하는 단계; 및
    상기 2차원 레퍼런스 파노라마 영상에 기초하여 상기 복수의 입력 영상 프레임들에서 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립 및 우안 스트립을 추출하는 단계
    를 포함하는 영상 처리 방법.
  15. 제14항에 있어서,
    상기 2차원 레퍼런스 파노라마 영상을 생성하는 단계는
    상기 복수의 입력 영상 프레임들 각각에서, 기 설정된 중앙 영역을 블렌딩(blending)하여 상기 2차원 레퍼런스 파노라마 영상을 생성하는
    영상 처리 방법.
  16. 제14항에 있어서,
    상기 좌안 스트립 및 우안 스트립을 추출하는 단계는
    상기 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 좌안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 좌안 스트립을 추출하고,
    상기 2차원 레퍼런스 파노라마 영상을 기준으로, 기 설정된 우안 스트립의 추출 위치에서 수직 방향으로 계산된 유사도가 최대 값을 가지는 경우의 우안 스트립을 추출하는
    영상 처리 방법.
  17. 제14항에 있어서,
    상기 좌안 스트립 및 우안 스트립을 추출하는 단계는
    상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 좌안 스트립을 추출하고,
    상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 우안 스트립 추출 위치의 탬플릿 매칭을 통해 최대 상관 값을 가지는 우안 스트립을 추출하는
    영상 처리 방법.
  18. 제14항에 있어서,
    상기 좌안 스트립 및 우안 스트립을 추출하는 단계는
    상기 2차원 레퍼런스 파노라마 영상과 대응하는 입력 영상 프레임에서 기 설정된 좌안 스트립 추출 위치 및 기 설정된 우안 스트립 추출 위치의 컬러 값 간의 상관관계에 기초하여 좌안 스트립 및 우안 스트립을 추출하는
    영상 처리 방법.
  19. 제14항에 있어서,
    상기 좌안 스트립 및 상기 우안 스트립에 기초하여 좌안 파노라마 영상 및 우안 파노라마 영상을 생성하는 단계
    를 더 포함하는 영상 처리 방법.
KR1020120026412A 2012-03-15 2012-03-15 영상 처리 장치 및 방법 KR101804205B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120026412A KR101804205B1 (ko) 2012-03-15 2012-03-15 영상 처리 장치 및 방법
US13/761,344 US9378544B2 (en) 2012-03-15 2013-02-07 Image processing apparatus and method for panoramic image using a single camera
JP2013049523A JP6289811B2 (ja) 2012-03-15 2013-03-12 映像処理装置及び方法
EP13158870.9A EP2640063B1 (en) 2012-03-15 2013-03-13 Image processing apparatus and method
CN201310081951.1A CN103313081B (zh) 2012-03-15 2013-03-14 图像处理设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120026412A KR101804205B1 (ko) 2012-03-15 2012-03-15 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130104691A true KR20130104691A (ko) 2013-09-25
KR101804205B1 KR101804205B1 (ko) 2017-12-04

Family

ID=48044532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120026412A KR101804205B1 (ko) 2012-03-15 2012-03-15 영상 처리 장치 및 방법

Country Status (5)

Country Link
US (1) US9378544B2 (ko)
EP (1) EP2640063B1 (ko)
JP (1) JP6289811B2 (ko)
KR (1) KR101804205B1 (ko)
CN (1) CN103313081B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160105232A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
KR20190111770A (ko) * 2018-03-23 2019-10-02 캐논 가부시끼가이샤 정보 처리장치 및 그 제어방법
KR102260519B1 (ko) * 2021-02-25 2021-06-03 (주)에이피피커뮤니케이션즈 3차원 입체영상 변환방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10414271B2 (en) 2013-03-01 2019-09-17 Delbert Tesar Multi-speed hub drive wheels
CN103854624B (zh) * 2014-03-17 2016-04-27 深圳市华星光电技术有限公司 一种液晶显示装置的驱动方法和一种液晶显示装置
US9613575B2 (en) 2014-03-17 2017-04-04 Shenzhen China Star Optoelectronics Technology Co., Ltd Liquid crystal display device and method for driving the liquid crystal display device
CN104994272A (zh) * 2015-06-12 2015-10-21 惠州Tcl移动通信有限公司 一种移动终端及其实现图像扫描的方法
CN105898269A (zh) * 2015-12-27 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频播放方法及装置
CN105657397B (zh) * 2015-12-30 2018-03-30 深圳Tcl数字技术有限公司 3d视频播放调整方法及系统
WO2017149851A1 (ja) * 2016-02-29 2017-09-08 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US10257501B2 (en) 2016-04-06 2019-04-09 Facebook, Inc. Efficient canvas view generation from intermediate views
CN106097245B (zh) * 2016-07-26 2019-04-30 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US11290644B2 (en) * 2017-03-29 2022-03-29 Christopher Carmichael Image system with 360 and 3-d stitching
US10373362B2 (en) * 2017-07-06 2019-08-06 Humaneyes Technologies Ltd. Systems and methods for adaptive stitching of digital images

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US6714689B1 (en) * 1995-09-29 2004-03-30 Canon Kabushiki Kaisha Image synthesizing method
US6078701A (en) 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US6545701B2 (en) 1997-08-13 2003-04-08 Georgia Tech Research Corporation Panoramic digital camera system and method
EP0908847B1 (en) * 1997-10-06 2006-01-25 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
JPH11164326A (ja) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体
US7477284B2 (en) 1999-09-16 2009-01-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
US6831677B2 (en) * 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
US7064783B2 (en) 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US20050089213A1 (en) 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
KR20060120052A (ko) 2003-10-28 2006-11-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 파노라마 또는 모자이크 기능을 구비한 디지털 카메라
US7746404B2 (en) 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
KR101009832B1 (ko) 2004-06-18 2011-01-19 삼성전자주식회사 디지털 카메라에서 이미지 합성 장치 및 방법
JP4189761B2 (ja) 2004-09-30 2008-12-03 株式会社ビューマジック パノラマ立体画像方式
JP2006310975A (ja) 2005-04-26 2006-11-09 Mitsubishi Electric Corp ビデオモザイキング装置、パノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置
JP4595733B2 (ja) 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
KR100790890B1 (ko) 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
US7995861B2 (en) * 2006-12-13 2011-08-09 Adobe Systems Incorporated Selecting a reference image for images to be joined
KR100869952B1 (ko) * 2007-02-14 2008-11-24 삼성전자주식회사 파노라마 사진 촬영 방법 및 장치
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
US8200039B2 (en) * 2007-04-05 2012-06-12 Adobe Systems Incorporated Laying out multiple images
KR100866278B1 (ko) 2007-04-26 2008-10-31 주식회사 코아로직 파노라마 영상 생성 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
JP5097480B2 (ja) * 2007-08-29 2012-12-12 株式会社トプコン 画像測定装置
KR100919247B1 (ko) 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
WO2010025309A1 (en) 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
JP4962460B2 (ja) 2008-10-03 2012-06-27 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP5409107B2 (ja) * 2009-05-13 2014-02-05 任天堂株式会社 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
JP2011082918A (ja) 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP5359783B2 (ja) * 2009-10-28 2013-12-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011130327A (ja) * 2009-12-21 2011-06-30 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011135246A (ja) 2009-12-24 2011-07-07 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5287702B2 (ja) * 2009-12-25 2013-09-11 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011147067A (ja) 2010-01-18 2011-07-28 Sony Corp 画像処理装置及び方法、並びにプログラム
JP5467993B2 (ja) 2010-03-30 2014-04-09 富士フイルム株式会社 画像処理装置、複眼デジタルカメラ、及びプログラム
WO2011162227A1 (ja) 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
WO2012002046A1 (ja) 2010-06-30 2012-01-05 富士フイルム株式会社 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法
KR101663321B1 (ko) * 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
JP2012085252A (ja) * 2010-09-17 2012-04-26 Panasonic Corp 画像生成装置、画像生成方法、プログラムおよびプログラムを記録した記録媒体
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160105232A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
KR20190111770A (ko) * 2018-03-23 2019-10-02 캐논 가부시끼가이샤 정보 처리장치 및 그 제어방법
KR102260519B1 (ko) * 2021-02-25 2021-06-03 (주)에이피피커뮤니케이션즈 3차원 입체영상 변환방법

Also Published As

Publication number Publication date
EP2640063A3 (en) 2017-05-03
US20130242039A1 (en) 2013-09-19
EP2640063A2 (en) 2013-09-18
KR101804205B1 (ko) 2017-12-04
JP2013198155A (ja) 2013-09-30
EP2640063B1 (en) 2019-12-25
US9378544B2 (en) 2016-06-28
CN103313081B (zh) 2016-09-28
CN103313081A (zh) 2013-09-18
JP6289811B2 (ja) 2018-03-07

Similar Documents

Publication Publication Date Title
KR20130104691A (ko) 영상 처리 장치 및 방법
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US20240064391A1 (en) Methods for refining rgbd camera poses
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
WO2018040982A1 (zh) 一种用于增强现实的实时图像叠加方法及装置
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
EP3425588A2 (en) Method and device for generating panoramic images
CN107798703B (zh) 一种用于增强现实的实时图像叠加方法以及装置
WO2019019160A1 (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
KR20140077315A (ko) 3차원 모델뷰 기반의 멀티카메라 모니터링 시스템 및 방법
JP6339601B2 (ja) 立体画像シュードスコピック処理方法及び表示装置
Wang et al. A common feature-based disparity control strategy in stereoscopic panorama generation
JP2002077941A (ja) 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
Cho et al. Stereo panoramic image stitching with a single camera
JP7423595B2 (ja) 画素の深度を推定するための方法、対応するデバイス、およびコンピュータプログラム製品
KR20180070234A (ko) 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말
Peer et al. Towards a real time panoramic depth sensor
KR20170081522A (ko) 다시점 영상 보정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant