KR102328020B1 - 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법 - Google Patents

하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법 Download PDF

Info

Publication number
KR102328020B1
KR102328020B1 KR1020150047735A KR20150047735A KR102328020B1 KR 102328020 B1 KR102328020 B1 KR 102328020B1 KR 1020150047735 A KR1020150047735 A KR 1020150047735A KR 20150047735 A KR20150047735 A KR 20150047735A KR 102328020 B1 KR102328020 B1 KR 102328020B1
Authority
KR
South Korea
Prior art keywords
coordinate system
image
pixel coordinate
domain pixel
output
Prior art date
Application number
KR1020150047735A
Other languages
English (en)
Other versions
KR20160118868A (ko
Inventor
조용주
석주명
안상우
차지훈
아샤 알리
무하마드 무르타자 칸
리한 하피즈
아샤르 라수르
살레 사이드
무하마드 우메르 칼리
Original Assignee
한국전자통신연구원
내셔널 유니버시티 오브 사이언시즈 앤드 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 내셔널 유니버시티 오브 사이언시즈 앤드 테크놀로지 filed Critical 한국전자통신연구원
Priority to KR1020150047735A priority Critical patent/KR102328020B1/ko
Priority to US15/089,993 priority patent/US9870601B2/en
Publication of KR20160118868A publication Critical patent/KR20160118868A/ko
Application granted granted Critical
Publication of KR102328020B1 publication Critical patent/KR102328020B1/ko

Links

Images

Classifications

    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • H04N9/07—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

룩업 테이블을 이용한 파노라마 영상 출력 장치 및 방법이 개시된다.
룩업 테이블 생성 방법은, 입력 영상의 도메인 픽셀 좌표계를 상기 입력 영상에 이웃한 다른 입력 영상과 연결한 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보를 결정하는 단계; 상기 파노라마 영상을 복수의 디스플레이 장치로 출력한 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보를 결정하는 단계; 상기 제1 기하학 보정 정보 및 상기 제2 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 결정하는 단계; 및 상기 제3 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블(LUT: Look-Up Table)를 생성하는 단계를 포함할 수 있다.

Description

하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법{SYSTEM AND METHOD FOR DISPLAYING PANORAMA IMAGE USING SINGLE LOOK-UP TABLE}
본 발명은 입력 영상의 도메인 픽셀 좌표계를 상기 출력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 출력하는 장치 및, 출력한 룩업 테이블을 이용하여 파노라마 영상을 출력하는 장치 및 방법에 관한 것이다.
복수의 카메라를 활용하여 대상공간을 영역별로 분할 촬영한 입력 영상을 공간적으로 이어 붙여서 사람의 시야각 이상의 넓은 화각을 제공하는 파노라마 영상을 출력하는 방법이 개발되었다.
이때, 끊김 없는(seamless) 파노라마 영상을 생성하기 위해서는 카메라로 촬영한 입력 영상들의 기하학 보정이 필요하다. 따라서, 복수의 고해상도 입력 영상을 이용하여 파노라마 영상을 생성하는 경우, 대용량 영상 처리에 따른 시간 소요에 의하여 실시간으로 파노라마 영상을 생성하기 어려울 수 있다.
또한, 파노라마 영상을 복수의 모니터, 또는 빔 프로젝터로 출력하는 경우, 출력 과정에서 파노라마 영상에 기하학적 변화가 발생할 수 있다. 따라서, 복수의 모니터, 또는 빔 프로젝터로 끊김 없는 파노라마 영상을 출력하기 위해서도 기하학적 보정이 필요한 실정이다.
그러나, 복수의 입력 영상을 이용하여 생성한 파노라마 영상을 복수의 모니터, 또는 빔 프로젝터로 출력하는 경우, 파노라마 영상을 생성하기 위한 입력 영상의 기하학 보정과 파노라마 영상을 출력하기 위한 기하학 보정을 모두 수행해야 하므로, 영상 처리에 필요한 계산량이 증가하여 실시간으로 파노라마 영상을 출력하기 어렵다는 한계가 있었다.
따라서, 파노라마 영상을 생성하기 위한 입력 영상의 기하학 보정과 파노라마 영상을 출력하기 위한 기하학 보정에 필요한 연산 과정을 최소화할 수 있는 방법이 요청되고 있다.
본 발명은 입력 영상을 스티칭하여 파노라마 영상을 생성하는 과정에서 발생하는 기하학적 변환과, 파노라마 영상을 디스플레이 장치에서 출력하는 과정에서 발생하는 기하학적 변환을 동시에 처리하는 장치 및 방법을 제공할 수 있다.
본 발명은 파노라마 영상을 출력하기 위하여 필요한 영상 처리 연산을 최소화하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 방법은 입력 영상의 도메인 픽셀 좌표계를 상기 입력 영상에 이웃한 다른 입력 영상과 연결한 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보를 결정하는 단계; 상기 파노라마 영상을 복수의 디스플레이 장치로 출력한 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보를 결정하는 단계; 상기 제1 기하학 보정 정보 및 상기 제2 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 결정하는 단계; 및 상기 제3 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블(LUT: Look-Up Table)를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 방법의 제3 기하학 보정 정보를 결정하는 단계는, 역변환한 상기 제1 기하학 보정 정보와 상기 제2 기하학 보정 정보를 결합하여 상기 제3 기하학 보정 정보를 결정할 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 방법의 제2 기하학 보정 정보를 결정하는 단계는, 상기 복수의 디스플레이 장치가 멀티 패널 환경인 경우, 상기 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 설정하는 상기 제2 기하학 보정 정보를 결정할 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 방법의 룩업 테이블을 생성하는 단계는, 베지어(Bezier) 보정, 상기 입력 영상을 촬영한 카메라들 간 호모그래피(homography) 행렬, 상기 출력 영상의 도메인 픽셀 좌표와 파노라마 영상의 도메인 픽셀 좌표 간 호모그래피 행렬 및 회전 변환(rotational transformation) 중 적어도 하나를 이용하여 출력 영상의 도메인 픽셀 좌표계에 대응하는 입력 영상의 도메인 픽셀 좌표계를 결정하는 단계; 및 결정된 입력 영상의 도메인 픽셀 좌표계를 상기 출력 영상의 도메인 픽셀 좌표계에 매핑하여 상기 룩업 데이블을 생성하는 단계;를 포함할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 방법은 입력 영상을 서로 다른 입력 영상과 연결한 파노라마 영상에서 상기 입력 영상과 상기 다른 입력 영상이 중첩되는 영역에 따라 결정된 제1 블랜딩 마스크를 상기 입력 영상에 적용하는 단계; 상기 입력 영상의 도메인 픽셀 좌표계를 복수의 디스플레이 장치로 출력한 출력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 이용하여 상기 제1 블랜딩 마스크가 적용된 입력 영상을 출력 영상으로 변환하는 단계; 상기 파노라마 영상에서 상기 복수의 디스플레이 장치에 중첩되어 출력되는 영역에 따라 결정된 제2 블랜딩 마스크를 상기 출력 영상에 적용하는 단계; 및 상기 제2 블랜딩 마스크가 적용된 출력 영상을 출력하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 방법은 상기 제1 블랜딩 마스크가 적용된 입력 영상에 색 보정 파라미터를 적용하는 단계를 더 포함하고, 상기 출력 영상으로 변환하는 단계는, 상기 룩업 테이블을 이용하여 상기 색 보정 파라미터가 적용된 입력 영상을 출력 영상으로 변환할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 방법의 룩업 테이블은, 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보에 기초하여 생성될 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 방법의 제3 기하학 보정 정보는, 상기 입력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보, 및 상기 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보에 기초하여 생성될 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 방법의 제2 기하학 보정 정보는, 상기 복수의 디스플레이 장치가 멀티 패널 환경인 경우, 상기 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 결정할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 방법의 룩업 테이블은, 베지어 보정, 상기 입력 영상을 촬영한 카메라들 간 호모그래피 행렬, 상기 출력 영상의 도메인 픽셀 좌표와 파노라마 영상의 도메인 픽셀 좌표 간 호모그래피 행렬 및 회전 변환 중 적어도 하나를 이용하여 결정된 입력 영상의 도메인 픽셀 좌표계를 상기 출력 영상의 도메인 픽셀 좌표계에 매핑하여 생성될 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 장치는 입력 영상의 도메인 픽셀 좌표계를 상기 입력 영상에 이웃한 다른 입력 영상과 연결한 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보 및 상기 파노라마 영상을 복수의 디스플레이 장치로 출력한 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 결정하고, 상기 제3 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블(LUT: Look-Up Table)를 생성하는 프로세서를 포함할 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 장치의 프로세서는, 역변환한 상기 제1 기하학 보정 정보와 상기 제2 기하학 보정 정보를 결합하여 상기 제3 기하학 보정 정보를 결정할 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 장치의 프로세서는, 상기 복수의 디스플레이 장치가 멀티 패널 환경인 경우, 상기 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 설정하는 상기 제2 기하학 보정 정보를 결정할 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 장치의 프로세서는, 베지어(Bezier) 보정, 상기 입력 영상을 촬영한 카메라들 간 호모그래피(homography) 행렬, 상기 출력 영상의 도메인 픽셀 좌표와 파노라마 영상의 도메인 픽셀 좌표 간 호모그래피 행렬 및 회전 변환(rotational transformation) 중 적어도 하나를 이용하여 출력 영상의 도메인 픽셀 좌표계에 대응하는 입력 영상의 도메인 픽셀 좌표계를 결정하고, 결정된 입력 영상의 도메인 픽셀 좌표계를 상기 출력 영상의 도메인 픽셀 좌표계에 매핑하여 상기 룩업 데이블을 생성할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 장치는 입력 영상을 서로 다른 입력 영상과 연결한 파노라마 영상에서 상기 입력 영상과 상기 다른 입력 영상이 중첩되는 영역에 따라 결정된 제1 블랜딩 마스크를 상기 입력 영상에 적용하고, 상기 입력 영상의 도메인 픽셀 좌표계를 복수의 디스플레이 장치로 출력한 출력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 이용하여 상기 제1 블랜딩 마스크가 적용된 입력 영상을 출력 영상으로 변환하며, 상기 파노라마 영상에서 상기 복수의 디스플레이 장치에 중첩되어 출력되는 영역에 따라 결정된 제2 블랜딩 마스크를 상기 출력 영상에 적용하는 프로세서, 및; 상기 제2 블랜딩 마스크가 적용된 출력 영상을 디스플레이 장치로 전송하여 상기 디스플레이 장치가 출력 영상을 출력하도록 하는 송신기를 포함할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 장치의 프로세서는, 상기 제1 블랜딩 마스크가 적용된 입력 영상에 색 보정 파라미터를 적용하고, 상기 룩업 테이블을 이용하여 상기 색 보정 파라미터가 적용된 입력 영상을 출력 영상으로 변환할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 장치의 룩업 테이블은, 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보에 기초하여 생성될 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 장치의 제3 기하학 보정 정보는, 상기 입력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보, 및 상기 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보에 기초하여 생성될 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 장치의 제2 기하학 보정 정보는, 상기 복수의 디스플레이 장치가 멀티 패널 환경인 경우, 상기 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 결정할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 장치의 상기 룩업 테이블은, 베지어 보정, 상기 입력 영상을 촬영한 카메라들 간 호모그래피 행렬, 상기 출력 영상의 도메인 픽셀 좌표와 파노라마 영상의 도메인 픽셀 좌표 간 호모그래피 행렬 및 회전 변환 중 적어도 하나를 이용하여 결정된 입력 영상의 도메인 픽셀 좌표계를 상기 출력 영상의 도메인 픽셀 좌표계에 매핑하여 생성될 수 있다.
본 발명의 일실시예에 의하면, 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 생성함으로써, 입력 영상을 스티칭하여 파노라마 영상을 생성하는 과정에서 발생하는 기하학적 변환과, 파노라마 영상을 디스플레이 장치에서 출력하는 과정에서 발생하는 기하학적 변환을 동시에 처리할 수 있다.
본 발명의 일실시예에 의하면, 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 이용하여 파노라마 영상을 출력함으로써, 파노라마 영상을 출력하기 위하여 필요한 영상 처리 연산을 최소화할 수 있다.
도 1은 본 발명의 일실시예에 따른 파노라마 영상 출력 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 룩업 테이블 생성 장치를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 파노라마 영상 출력 장치를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 기하학 보정 정보의 일례이다.
도 5는 본 발명의 일실시예에 따른 파노라마 영상 출력 과정의 일례이다.
도 6은 본 발명의 일실시예에 따라 입력 영상에 제1 블랜딩 마스크를 적용하는 과정의 일례이다.
도 7은 본 발명의 일실시예에 따라 제1 블랜딩 마스크가 적용된 입력 영상에 대응하는 출력 영상의 일례이다.
도 8은 본 발명의 일실시예에 따른 룩업 테이블을 이용한 파노라마 영상 출력 방법의 일례이다.
도 9는 본 발명의 일실시예에 따라 출력한 파노라마 영상의 일례이다.
도 10은 본 발명의 일실시예에 따른 룩업 테이블 생성 방법을 도시한 플로우차트이다.
도 11은 본 발명의 일실시예에 따른 파노라마 영상 출력 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 룩업 테이블 생성 방법 및 파노라마 영상 출력 방법은 파노라마 영상 출력 시스템의 룩업 테이블 생성 장치 및 파노라마 영상 출력 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 파노라마 영상 출력 시스템을 나타내는 도면이다.
파노라마 영상 출력 시스템은 복수의 카메라(110)와 파노라마 영상 출력 장치(120), 디스플레이 장치(130), 스틸 카메라(150) 및 룩업 테이블 생성 장치(160)를 포함할 수 있다.
먼저, 파노라마 영상 출력 시스템은 제1 카메라(111), 제2 카메라(112), 및 제3 카메라(113)와 같은 복수의 카메라를 촬영중심점을 기준으로 방사형태로 배치하여 넓은 화각을 촬영할 수 있다. 이때, 파노라마 영상 출력 시스템은 제1 카메라(410)가 촬영한 제1 입력 영상과 제2 카메라(420)가 촬영한 제2 입력 영상을 스티칭하기 위하여 제1 입력 영상과 제2 영상에서 피사체와 배경이 중복되는 영역이 포함되도록 제1 입력 영상과 제2 입력 영상을 촬영할 수 있다.
다음으로, 파노라마 영상 출력 시스템의 파노라마 영상 출력 장치(120)는 제1 입력 영상과 제2 입력 영상 간의 기하적 관계인 호모그래피에 따라 제2 입력 영상을 기하학적 변환하여 제1 입력 영상과 스티칭할 수 있다. 또한, 파노라마 영상 출력 장치(120)는 제2 입력 영상과 제3 입력 영상 간의 기하적 관계인 호모그래피에 따라 제3 입력 영상을 기하학적 변환하여 제2 입력 영상과 스티칭할 수 있다.
그리고, 파노라마 영상 출력 장치(120)는 제1 입력 영상, 제2 입력 영상 및 제3 입력 영상이 스티칭된 파노라마 영상을 디스플레이 장치(130)를 통하여 출력할 수 있다. 예를 들어, 디스플레이 장치(130)는 도 1에 도시된 바와 같이 복수의 빔 프로젝터로 구성될 수 있다. 또한, 디스플레이 장치(130)는 복수의 모니터로 구성될 수도 있다.
이때, 디스플레이 장치(130)가 제1 빔 프로젝터(131), 제2 빔 프로젝터(132), 및 제3 빔 프로젝터(133)로 구성된 경우, 디스플레이 장치(130)는 도 1에 도시된 바와 같이 스크린(140)에 파노라마 영상을 출력할 수 있다.
이때, 제1 빔 프로젝터(131)가 출력하는 제1 출력 영상(141)과 제2 빔 프로젝터(132)가 출력하는 제2 출력 영상(142)의 사이에는 도 1에 도시된 바와 같이 중첩 영역(143)이 발생할 수 있다. 또한, 제2 빔 프로젝터(132)가 출력하는 제2 출력 영상(142)과 제3 빔 프로젝터(133)가 출력하는 제3 출력 영상(144)의 사이에는 도 1에 도시된 바와 같이 중첩 영역(145)이 발생할 수 있다.
그리고, 스틸 카메라(150)는 스크린(140)에 표시된 출력 영상들을 촬영하여 룩업 테이블 생성 장치(160)로 전달할 수 있다. 이때, 룩업 테이블 생성 장치(160)는 스틸 카메라(150)로부터 파노라마 영상이 스크린(140) 또는 모니터에 출력된 출력 영상을 수신함으로써, 파노라마 영상의 출력 과정에서 발생하는 기하학적 변화를 감지할 수 있다.
그리고, 룩업 테이블 생성 장치(160)는 제1 입력 영상, 제2 입력 영상 및 제3 입력 영상을 스티칭하여 파노라마 영상을 생성하는 과정에서 발생하는 기하학적 변환과, 파노라마 영상을 디스플레이 장치(130)에서 출력하는 과정에서 발생하는 기하학적 변환을 고려하여 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블(LUT: Look-Up Table)를 생성할 수 있다. 이때, 룩업 테이블은 좌표변환의 매핑 정보일 수 있다.
룩업 테이블 생성 장치(160)의 구체적인 구성 및 동작은 이하 도 2를 참조하여 상세히 설명한다.
또한, 파노라마 영상 출력 장치(120)는 룩업 테이블 생성 장치(160)가 결정한 룩업 테이블을 이용하여 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 변환하여 디스플레이 장치에게 출력을 요청할 수 있다.
본 발명의 일실시예에 따른 룩업 테이블 생성 장치(160)는 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 생성함으로써, 입력 영상을 스티칭하여 파노라마 영상을 생성하는 과정에서 발생하는 기하학적 변환과, 파노라마 영상을 디스플레이 장치에서 출력하는 과정에서 발생하는 기하학적 변환을 동시에 처리할 수 있다.
본 발명의 일실시예에 따른 파노라마 영상 출력 장치(120)는 룩업 테이블 생성 장치(160)가 생성한 룩업 테이블을 이용하여 파노라마 영상을 출력함으로써, 파노라마 영상을 출력하기 위하여 필요한 영상 처리 연산을 최소화할 수 있다.
도 2는 본 발명의 일실시예에 따른 룩업 테이블 생성 장치를 나타내는 도면이다.
룩업 테이블 생성 장치(160)는 도 2에 도시된 바와 같이 수신기(210), 프로세서(220), 및 송신기(230)를 포함할 수 있다.
수신기(210)는 카메라(110)들로부터 카메라(110)들이 촬영한 입력 영상들을 수신할 수 있다. 이때, 입력 영상들을 각각 이웃한 입력 영상과 일정 영역이 중복되어 촬영된 영상일 수 있다. 예를 들어, 입력 영상은 1번째 카메라가 촬영한 입력 영상 C1 내지 x번째 카메라가 촬영한 입력 영상 Cx로 구성될 수 있다. 또한, 수신기(210)는 스틸 카메라(150)로부터 스틸 카메라(150)가 촬영한 출력 영상을 수신할 수 있다.
프로세서(220)는 입력 영상의 도메인 픽셀 좌표계를 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보를 결정할 수 있다. 이때, 파노라마 영상은 상기 입력 영상을 입력 영상에 이웃한 다른 입력 영상과 연결한 영상일 수 있다. 또한, 제1 기하학 보정 정보는 입력 영상 Cx의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00001
)를 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00002
)로 변환하는 변환 함수
Figure 112015033107509-pat00003
일 수 있다. 예를 들어, 변환 함수
Figure 112015033107509-pat00004
는 수학식 1과 같이 나타낼 수 있다.
Figure 112015033107509-pat00005
이때,
Figure 112015033107509-pat00006
는 입력 영상을 촬영한 카메라들간의 호모그래피(homography) 행렬이고, 회전 변환(rotational transformation) 함수
Figure 112015033107509-pat00007
는 카메라의 초점 거리와 동일한 반경의 원통 스크린에 입력 영상을 촬영한 카메라들을 각각 매핑하는 함수일 수 있다. 즉, 프로세서(220)는 입력 영상 Cx의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00008
)에 회전 변환 및 호모그래피 변환을 적용하여 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00009
)로 변환할 수 있다.
그리고, 프로세서(220)는 제1 기하학 보정 정보를 역변환할 수 있다. 예를 들어, 프로세서(220)는 변환 함수
Figure 112015033107509-pat00010
를 역변환하여 변환 함수
Figure 112015033107509-pat00011
를 계산할 수 있다. 이때, 프로세서(220)는 입력 영상의 브랜딩 마스크(Blending Mask)
Figure 112015033107509-pat00012
및 색 보정 파라미터(Color correction parameter)를 계산할 수 있다. 이때, 브랜딩 마스크는 입력 영상에서 다른 입력 영상과 중복되는 영역을 고려하여 입력 영상의 명도를 제어하기 위한 정보일 수 있다.
또한, 프로세서(220)는 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보를 결정할 수 있다. 이때, 출력 영상은 파노라마 영상을 디스플레이 장치(130)로 출력한 결과를 스틸 카메라(150)로 촬영하여 디스플레이 장치(130)의 파노라마 영상 출력 과정에서 발생하는 기하학적 변화가 포함된 이미지일 수 있다.
예를 들어, 파노라마 영상 출력 장치(120)는 기 설정된 패턴을 포함한 파노라마 영상을 디스플레이 장치(130)를 통하여 출력할 수 있다. 그리고, 프로세서(220)는 기 설정된 패턴과 출력 영상에 포함된 패턴을 비교하여 디스플레이 장치(10)의 파노라마 영상 출력 과정에서 발생하는 기하학적 변화를 측정할 수 있다.
예를 들어, 출력 영상은 1번째 디스플레이 장치가 출력한 출력 영상 D1 내지 x번째 디스플레이 장치가 출력한 출력 영상 Dx로 구성될 수 있다. 또한, 제2 기하학 보정 정보는 출력 영상 Dx의 도메인 픽셀 좌표계(
Figure 112015033107509-pat00013
)를 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00014
)로 변환하는 변환 함수
Figure 112015033107509-pat00015
일 수 있다.
예를 들어, 스크린(140)이 평면인 경우, 변환 함수
Figure 112015033107509-pat00016
Figure 112015033107509-pat00017
는
Figure 112015033107509-pat00018
Figure 112015033107509-pat00019
의 역행렬인
Figure 112015033107509-pat00020
Figure 112015033107509-pat00021
를 이용하여 수학식 2와 같이 나타낼 수 있다.
Figure 112015033107509-pat00022
이때,
Figure 112015033107509-pat00023
는 k 번째 출력 영상의 도메인 픽셀 좌표와 파노라마 영상 P의 도메인 픽셀 좌표 간의 호모그래피 행렬일 수 있다.
즉, 프로세서(220)는 출력 영상 Dx의 도메인 픽셀 좌표계(
Figure 112015033107509-pat00024
)에 호모그래피 변환을 적용하여 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00025
)로 변환할 수 있다.
또한, 스크린(140)이 도 1에 도시된 바와 같은 원통 스크린인 경우, 변환 함수
Figure 112015033107509-pat00026
Figure 112015033107509-pat00027
는 호모그래피 행렬
Figure 112015033107509-pat00028
의 역행렬인
Figure 112015033107509-pat00029
및 함수
Figure 112015033107509-pat00030
의 역함수인
Figure 112015033107509-pat00031
를 이용하여 수학식 3과 같이 나타낼 수 있다.
Figure 112015033107509-pat00032
이때,
Figure 112015033107509-pat00033
Figure 112015033107509-pat00034
는 k 번째 디스플레이를 위한 베지어(Bezier) 보정을 계산하는 함수일 수 있다.
출력 영상의 베지어 표면은 별개의 제어점(Control Point)이라는 수단을 이용하여 2차 표면(2D Surface)을 생성하기 위하여 번스타인 다항식(Bernstein polynomials)을 사용하는 고차 표면(polynomial surface)의 종류일 수 있다. 이 때, 각 제어점의 위치는 베지어 표면의 형상 및 곡률을 결정할 수 있다.
완전한 사각형 표면은, 9개의 제어점을 갖는 2차 베지어 표면(2nd degree Bezier surface) - 이 때, 9개의 제어점은 4개의 코너 제어점(Corner Control Point), 4개의 가장자리 제어점(Edge Control Point) 및 1개의 중심 제어점(Center Control Point)이 됨 - 으로 볼 수 있다. 이 때, 복수 개의 제어점 중 어느 하나가 최초의 위치로부터 이동되는 경우, 표면도 그에 대응하여 변형될 수 있다. 또한, 제어점에 가까운 표면점일수록 더 강한 힘을 받게 될 수 있다.
2 차(order)의 (u, v)-평면 상의 2차 베지어 표면은, 서로 직교하는 2개의 독립 매개 곡선(parametric curves)인 B(u)와 B(v)의 구성으로 볼 수 있고, (2+1)(2+1)의 제어점으로 정의될 수 있다.
출력 영상의 각 베지어 파라미터 값은 0과 1사이의 범위 내에서 결정될 수 있다. 예를 들어, 출력 영상의 각 베지어 파라미터 값은 수학식 4에 따라 결정될 수 있다.
Figure 112015033107509-pat00035
이때, kij는 제어점들의 세트(set)를 나타낼 수 있다. 또한, u 매개축(u parametric axis) 상의 베지어 곡선을 나타내는
Figure 112015033107509-pat00036
와 v 매개축(v parametric axis) 상의 베지어 곡선을 나타내는
Figure 112015033107509-pat00037
는 수학식 4에 따라 결정될 수 있다.
그리고, k 번째 디스플레이를 위한 베지어(Bezier) 보정을 계산하는 함수
Figure 112015033107509-pat00038
는 k 번째 디스플레이에 의하여 원통형 스크린에 투영된 출력 영상이 평탄면에 투영된 것으로 보이도록 보정할 수 있다.
즉, 프로세서(220)는 출력 영상 Dx의 도메인 픽셀 좌표계(
Figure 112015033107509-pat00039
)에 베지어 보정 및 호모그래피 변환을 적용하여 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00040
)로 변환할 수 있다.
예를 들어, 디스플레이 장치(130)가 복수의 빔 프로젝터로 구성된 멀티 프로젝터 환경인 경우, 빔 프로젝터들 각각이 파노라마 영상을 스크린에 출력하는 위치는 고정되지 않을 수 있다. 따라서, 빔 프로젝터들 각각이 출력하는 영상을 매칭하기 위하여 출력 영상들의 일정 영역이 중복될 수 있다. 그리고, 디스플레이 장치들은 일정 영역을 중첩하여 스크린에 표시할 수 있다.
이때, 일정 영역은 출력 영상들의 중첩으로 인하여 피사체의 윤관선 형상이나 색상, 명도 등이 다른 영역과 다르게 표시될 수 있다. 따라서, 파노라마 영상 출력 장치(120)는 파노라마 영상을 기하학적 변환함으로써, 출력 영상들에서 중첩되는 영역이 다른 영역과 다르게 표시되는 것을 방지할 수 있다. 이때, 디스플레이 장치(130)가 출력하는 출력 영상은 기하학적 변환한 파노라마 영상이므로, 제2 기하학 보정 정보는 파노라마 영상의 도메인 픽셀 좌표계를 기하학적 변환한 파노라마 영상의 도메인 픽셀 좌표계로 변환하는 변환 함수일 수 있다.
또한, 파노라마 영상을 출력하는 복수의 디스플레이 장치가 복수의 모니터로 구성된 멀티 패널 환경인 경우, 멀티 패널 환경은 사이드 바이 사이드(side-by-side) 구조로 형성되어 출력 영상을 중첩시킬 필요가 없다. 즉, 출력 영상에 의한 중첩이 발생하지 않으므로, 파노라마 영상 출력 장치(120)가 파노라마 영상을 기하학적 변환할 필요가 없다. 따라서, 출력 영상 Dx를 변환 함수
Figure 112015033107509-pat00041
로 변환한 결과인 파노라마 영상의 도메인 픽셀 좌표계는 출력 영상 Dx의 도메인 픽셀 좌표계와 동일할 수 있다. 그러므로, 제2 기하학 보정 정보는 출력 영상의 도메인 픽셀 좌표계를 파노라마 영상의 도메인 픽셀 좌표계로 설정하는 정보일 수 있다.
이때, 프로세서(220)는 출력 영상 Dx의 블랜딩 마스크
Figure 112015033107509-pat00042
를 결정할 수 있다. 예를 들어, 파노라마 영상을 출력하는 복수의 디스플레이 장치가 복수의 모니터로 구성된 멀티 패널 환경인 경우, 출력 영상에 의한 중첩이 발생하지 않으므로, 프로세서(220)는 블랜딩 마스크
Figure 112015033107509-pat00043
를 1로 결정할 수 있다.
그리고, 프로세서(220)는 제1 기하학 보정 정보 및 제2 기하학 보정 정보를 기초로 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 결정할 수 있다.
이때, 프로세서(220)는 역변환한 제1 기하학 보정 정보와 제2 기하학 보정 정보를 결합하여 제3 기하학 보정 정보를 결정할 수 있다. 예를 들어, 제3 기하학 보정 정보는 변환 함수
Figure 112015033107509-pat00044
를 역변환한 변환 함수
Figure 112015033107509-pat00045
와 변환 함수
Figure 112015033107509-pat00046
일 수 있다.
예를 들어,
Figure 112015033107509-pat00047
Figure 112015033107509-pat00048
는 수학식 5와 같이 나타낼 수 있다.
Figure 112015033107509-pat00049
이때, Ci,k는 i번째 입력 영상 Cx 이고, Di,k는 k번째 출력 영상 Dx일 수 있다.
예를 들어, 수학식 5는 변환 함수
Figure 112015033107509-pat00050
를 나타내는 수학식 1 및 스크린(140)이 원통 스크린인 경우, 변환 함수
Figure 112015033107509-pat00051
를 나타내는 수학식 3을 기초로 i번째 입력 영상 Ci,k의 도메인 픽셀 좌표(
Figure 112015033107509-pat00052
) 및 k번째 출력 영상 Di,k의 도메인 픽셀 좌표(
Figure 112015033107509-pat00053
)에 복합 렌더링 및 스티칭 변환을 적용하는 수학식 6과 같이 나타낼 수 있다.
Figure 112015033107509-pat00054
이때,
Figure 112015033107509-pat00055
는 수학식 1에 포함된
Figure 112015033107509-pat00056
의 역 행렬일 수 있다. 또한,
Figure 112015033107509-pat00057
는 수학식 1에 포함된 회전 변환 함수
Figure 112015033107509-pat00058
의 역함수일 수 있다.
즉, 프로세서(220)는 k번째 출력 영상 Di,k의 도메인 픽셀 좌표(
Figure 112015033107509-pat00059
)에 베지어 보정, 호모그래픽 변환 및 회전 변환을 적용하여
Figure 112015033107509-pat00060
에 대응하는 i번째 입력 영상 Ci,k의 도메인 픽셀 좌표(
Figure 112015033107509-pat00061
)를 결정할 수 있다.
구체적으로, 프로세서(220)는 출력 영상의 도메인 픽셀 좌표계를 베지어 보정한 결과를 이용하여 파노라마 영상의 도메인 픽셀 좌표계
Figure 112015033107509-pat00062
를 계산할 수 있다. 예를 들어, 프로세서(220)는 수학식 7과 같이 출력 영상의 도메인 픽셀 좌표계 (xD k, yD K)에
Figure 112015033107509-pat00063
의 역함수인
Figure 112015033107509-pat00064
를 적용하여 베지어 보정한 결과인
Figure 112015033107509-pat00065
를 결정할 수 있다.
Figure 112015033107509-pat00066
그리고, 프로세서(220)는 베지어 보정 결과를 호모그래피 변환하여 파노라마 영상의 도메인 픽셀 좌표계
Figure 112015033107509-pat00067
Figure 112015033107509-pat00068
를 계산할 수 있다. 예를 들어, 프로세서(220)는 수학식 8과 같이
Figure 112015033107509-pat00069
Figure 112015033107509-pat00070
를 이용하여 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00071
Figure 112015033107509-pat00072
)를 계산할 수 있다.
Figure 112015033107509-pat00073
이때,
Figure 112015033107509-pat00074
는
Figure 112015033107509-pat00075
행렬의 호모그래피 파라미터일 수 있다.
그리고, 프로세서(220)는
Figure 112015033107509-pat00076
와
Figure 112015033107509-pat00077
를 이용하여 파노라마 영상의 생성 없이 디스플레이 도메인 좌표계 (
Figure 112015033107509-pat00078
)와 입력 영상 Ci,k의 도메인 픽셀 좌표(
Figure 112015033107509-pat00079
)를 매칭할 수 있다. 이때, 디스플레이 도메인 좌표계 (
Figure 112015033107509-pat00080
)는 i번째 입력 영상 Cx 에 포함된 좌표들 중에서 k번째 출력 영상 Dx에 포함되는 좌표들일 수 있다. 즉,
Figure 112015033107509-pat00081
에 대응하는 i번째 입력 영상 Cx에 따라
Figure 112015033107509-pat00082
는
Figure 112015033107509-pat00083
와 동일할 수도 있고 다를 수도 있다.
구체적으로, 프로세서(220)는 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00084
)를 호모그래피 변환하여 입력 영상 Ci,k의 보정된 도메인 픽셀 좌표
Figure 112015033107509-pat00085
를 계산할 수 있다.
예를 들어, 프로세서(220)는 수학식 9와 같이 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00086
)를 이용하여 입력 영상 Ci,k의 보정된 도메인 픽셀 좌표
Figure 112015033107509-pat00087
를 계산할 수 있다.
Figure 112015033107509-pat00088
이때,
Figure 112015033107509-pat00089
는
Figure 112015033107509-pat00090
행렬의 호모그래피 파라미터일 수 있다.
그리고, 회전 변환 함수
Figure 112015033107509-pat00091
의 역함수인
Figure 112015033107509-pat00092
는 수학식 10과 같이 나타낼 수 있다.
Figure 112015033107509-pat00093
즉, 프로세서(220)는 입력 영상 Ci,k의 보정된 도메인 픽셀 좌표
Figure 112015033107509-pat00094
에 회전 변환 함수의 역함수
Figure 112015033107509-pat00095
을 적용하여 i번째 입력 영상 Ci,k의 도메인 픽셀 좌표(
Figure 112015033107509-pat00096
)를 출력할 수 있다.
그리고, 프로세서(220)는 제3 기하학 보정 정보를 기초로 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블(LUT: Look-Up Table)를 생성할 수 있다. 구체적으로, 프로세서(220)는 제3 기하학 보정 정보를 이용하여 출력 영상의 도메인 픽셀 좌표계에 대응하는 입력 영상의 도메인 픽셀 좌표계를 결정할 수 있다. 그리고, 프로세서(220)는 결정된 입력 영상의 도메인 픽셀 좌표계를 각각 입력 영상의 도메인 픽셀 좌표계에 대응하는 출력 영상의 도메인 픽셀 좌표계에 매핑하여 표 1과 같은 룩업 테이블
Figure 112015033107509-pat00097
를 생성할 수 있다.
Figure 112015033107509-pat00098
이때, Source는 입력 영상
Figure 112015033107509-pat00099
의 좌표이고, Destination은 최종 디스플레이 되는 출력 영상
Figure 112015033107509-pat00100
의 좌표일 수 있다. 또한, Source의 마이너스 좌표값은 입력 영상
Figure 112015033107509-pat00101
의 왼쪽에 이웃한 입력 영상의 좌표값이고, Destination의 좌표값보다 큰 Source의 좌표값은 입력 영상
Figure 112015033107509-pat00102
의 오른쪽에 이웃한 입력 영상의 좌표값일 수 있다.
또한, 디스플레이 장치(130)가 멀티 패널 환경인 경우, 디스플레이 과정에서 중복 영역이나 원통형 스크린에 투영됨에 따른 휘어짐 현상이 발생하지 않을 수 있다. 따라서, 프로세서(220)는 i번째 입력 영상 Ci,k의 도메인 픽셀 좌표(
Figure 112015033107509-pat00103
)에 수학식 1을 적용하여 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00104
)를 결정하고, 파노라마 영상의 도메인 픽셀 좌표계 (
Figure 112015033107509-pat00105
)에 디스플레이 장치(130)의 각 패널의 해상도(offset)를 적용하여 k번째 출력 영상 Di,k의 도메인 픽셀 좌표(
Figure 112015033107509-pat00106
)를 결정할 수 있다.
송신기(230)는 프로세서(220)가 생성한 룩업 테이블을 파노라마 영상 출력 장치(120)로 전송할 수 있다.
도 3은 본 발명의 일실시예에 따른 파노라마 영상 출력 장치를 나타내는 도면이다.
파노라마 영상 출력 장치(120)는 도 3에 도시된 바와 같이 수신기(310), 프로세서(320), 및 송신기(330)를 포함할 수 있다.
수신기(310)는 카메라(110)들로부터 카메라(110)들이 촬영한 입력 영상들을 수신할 수 있다. 이때, 입력 영상들을 각각 이웃한 입력 영상과 일정 영역이 중복되어 촬영된 영상일 수 있다. 예를 들어, 입력 영상은 1번째 카메라가 촬영한 입력 영상 C1 내지 x번째 카메라가 촬영한 입력 영상 Cx로 구성될 수 있다.
또한, 수신기(310)는 룩업 테이블 생성 장치(160)로부터 입력 영상의 도메인 픽셀 좌표계를 복수의 디스플레이 장치로 출력한 출력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 수신할 수 있다. 그리고, 수신기(310)는 룩업 테이블 생성 장치(160)로부터 입력 영상의 브랜딩 마스크
Figure 112015033107509-pat00107
, 입력 영상의 색 보정 파라미터, 및 출력 영상의 브랜딩 마스크
Figure 112015033107509-pat00108
를 수신할 수 있다.
프로세서(320)는 제1 블랜딩 마스크를 수신기(310)가 수신한 입력 영상에 적용할 수 있다. 이때, 제1 블랜딩 마스크는 룩업 테이블 생성 장치(160)가 계산한 입력 영상의 브랜딩 마스크
Figure 112015033107509-pat00109
일 수 있다.
또한, 프로세서(320)는 제1 블랜딩 마스크가 적용된 입력 영상에 색 보정 파라미터를 적용할 수 있다. 이때, 색 보정 파라미터는 룩업 테이블 생성 장치(160)가 계산한 입력 영상의 색 보정 파라미터일 수 있다.
다음으로, 프로세서(320)는 수신기(310)가 수신한 룩업 테이블을 이용하여 제1 블랜딩 마스크가 적용된 입력 영상을 출력 영상으로 변환할 수 있다.
그 다음으로, 프로세서(320)는 제2 블랜딩 마스크를 출력 영상에 적용할 수 있다. 이때, 제2 블랜딩 마스크는 룩업 테이블 생성 장치(160)가 계산한 입력 영상의 출력 영상의 브랜딩 마스크
Figure 112015033107509-pat00110
일 수 있다.
송신기(330)는 프로세서(320)가 제2 블랜딩 마스크를 적용한 출력 영상을 디스플레이 장치(130)로 전송하여 출력할 수 있다.
도 4는 본 발명의 일실시예에 따른 기하학 보정 정보의 일례이다.
룩업 테이블 생성 장치(160)는 입력 영상 Cx의 도메인 픽셀 좌표계(410)를 파노라마 영상 P의 도메인 픽셀 좌표계(420)로 변환하기 위한 제1 기하학 보정 정보인 변환 함수
Figure 112015033107509-pat00111
를 결정할 수 있다. 이때, 입력 영상 Cx에 포함된 피사체(400)는 도 4에 도시된 바와 같이 도메인 픽셀 좌표계(410)가 도메인 픽셀 좌표계(420)로 변환함에 따라 형상이 변화할 수 있다.
그리고, 프로세서(220)는 변환 함수
Figure 112015033107509-pat00112
를 역변환하여 변환 함수
Figure 112015033107509-pat00113
를 계산할 수 있다. 즉, 프로세서(220)는 파노라마 영상 P의 도메인 픽셀 좌표계(420)를 입력 영상 Cx의 도메인 픽셀 좌표계(410)로 변환하기 위한 변환 함수
Figure 112015033107509-pat00114
를 계산할 수 있다.
또한, 프로세서(220)는 출력 영상 Dx의 도메인 픽셀 좌표계(430)를 파노라마 영상 P의 도메인 픽셀 좌표계(420)로 변환하기 위한 제2 기하학 보정 정보인 변환 함수
Figure 112015033107509-pat00115
를 계산할 수 있다.
그리고, 프로세서(220)는 제1 기하학 보정 정보 및 제2 기하학 보정 정보를 기초로 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 결정할 수 있다. 구체적으로, 프로세서(220)는 변환 함수
Figure 112015033107509-pat00116
와 변환 함수
Figure 112015033107509-pat00117
를 결정할 수 있다.
이때,
Figure 112015033107509-pat00118
는 도 4에 도시된 바와 같이 출력 영상 Dx의 도메인 픽셀 좌표계(430)를 파노라마 영상 P의 도메인 픽셀 좌표계(420)로 변환하는 변환 함수
Figure 112015033107509-pat00119
와 파노라마 영상 P의 도메인 픽셀 좌표계(420)을 입력 영상 Cx의 도메인 픽셀 좌표계(410)로 변환하는 변환 함수
Figure 112015033107509-pat00120
의 결합일 수 있다. 따라서,
Figure 112015033107509-pat00121
는 도 4의 오른쪽에 도시된 바와 같이 출력 영상 Dx의 도메인 픽셀 좌표계(430)를 파노라마 영상 P의 도메인 픽셀 좌표계(420)로 변환하는 과정을 생략하고, 출력 영상 Dx의 도메인 픽셀 좌표계(430)를 입력 영상 Cx의 도메인 픽셀 좌표계(410)로 직접 변환할 수 있다.
도 5는 본 발명의 일실시예에 따른 파노라마 영상 출력 과정의 일례이다.
룩업 테이블 생성 장치(160)는 도 5에 도시된 바와 같이 복수의 카메라들이 각각 촬영한 입력 영상(510)들을 스티칭 켈리브레이션하여 입력 영상들(510)의 도메인 픽셀 좌표계를 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보(520)를 결정할 수 있다. 이때, 룩업 테이블 생성 장치(160)는 입력 영상들(510)의 도메인 픽셀 좌표계를 입력 영상(510)들을 스티칭하여 생성한 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수를 결정할 수 있다.
그리고, 제1 기하학 보정 정보(520)는 입력 영상(510)들 간의 기하학 보정 정보 및 입력 영상(510)의 블랜딩 정보를 포함할 수 있다.
또한, 룩업 테이블 생성 장치(160)는 도 5에 도시된 바와 같이 디스플레이 장치(130)를 통하여 출력된 파노라마 영상을 스틸 카메라(150)로 촬영한 출력 영상(530)을 렌더링 켈리브레이션하여 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보(540)를 결정할 수 있다. 이때, 출력 영상(530)은 기 설정된 패턴을 포함한 파노라마 영상을 디스플레이 장치(130)로 출력한 결과를 스틸 카메라(150)로 촬영하여 디스플레이 장치(130)의 파노라마 영상 출력 과정에서 발생하는 기하학적 변화가 포함된 이미지일 수 있다. 또한, 룩업 테이블 생성 장치(160)는 출력 영상의 도메인 픽셀 좌표계를 기 설정된 패턴을 포함한 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수를 결정할 수 있다.
그리고, 제2 기하학 보정 정보(540)는 출력 영상(530)들 간의 기하학 보정 정보 및 출력 영상(530)의 블랜딩 정보를 포함할 수 있다.
룩업 테이블 생성 장치(160)는 제1 기하학 정보(520) 및 제2 기하학 정보(540)를 기초로 출력 영상(530)의 도메인 픽셀 좌표계를 입력 영상(510)의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 생성할 수 있다. 그리고, 룩업 테이블 생성 장치(160)는 제3 기하학 보정 정보에 기초하여 입력 영상의 도메인 픽셀 좌표계를 출력한 출력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 생성할 수 있다.
파노라마 영상 출력 장치(120)는 입력 영상(510)에 룩업 테이블을 적용하여 입력 영상(510)의 도메인 픽셀 좌표계를 변환한 파노라마 영상(550)을 출력할 수 있다. 이때, 입력 영상(510)의 도메인 픽셀 좌표계는 도 4의 410와 같이 기하학적 변환된 좌표계일 수 있다. 그리고, 기하학적 변환된 입력 영상(510)의 도메인 픽셀 좌표계는 디스플레이 장치(130)가 출력하는 과정에서 발생하는 기하학적 변환에 의하여 도 4의 430과 같이 카메라가 촬영한 원본 형상으로 변형되어 표시될 수 있다.
도 6은 본 발명의 일실시예에 따라 입력 영상에 제1 블랜딩 마스크를 적용하는 과정의 일례이다.
제1 카메라(111)와 제2 카메라(112)는 각각 제1 입력 영상(610) 및 제2 입력 영상(620)을 촬영할 수 있다.
이때, 룩업 테이블 생성 장치(160)는 제1 입력 영상(610)의 브랜딩 마스크(630) 및 제2 입력 영상(620)의 브랜딩 마스크(640)를 계산할 수 있다. 파노라마 영상이 곡면 스크린에 표시되는 경우, 브랜딩 마스크(630)는 도 6에 도시된 바와 같이 곡면 스크린에서 사용자에 가까운 왼쪽 방향이 사용자에게 먼 중앙 방향보다 넓게 계산될 수 있다. 또한, 브랜딩 마스크(630)는 제2 입력 영상(620)과 중복되는 오른쪽 영역의 명도가 다른 영역의 명도보다 낮게 계산될 수 있다.
그리고, 브랜딩 마스크(640)는 도 6에 도시된 바와 같이 곡면 스크린에서 사용자에 가까운 오른쪽 방향이 사용자에게 먼 중앙 방향보다 넓게 계산될 수 있다. 또한, 브랜딩 마스크(630)는 제1 입력 영상(610)과 중복되는 왼쪽 영역의 명도가 다른 영역의 명도보다 낮게 계산될 수 있다.
다음으로, 파노라마 영상 출력 장치(120)는 제1 입력 영상(610) 및 제2 입력 영상(620)에 각각 브랜딩 마스크(630) 및 브랜딩 마스크(640)를 적용할 수 있다.
브랜딩 마스크(630)가 적용된 제1 입력 영상(650)은 도 6에 도시된 바와 같이 제2 입력 영상(620)과 중복되는 오른쪽 영역의 명도가 다른 영역의 명도보다 낮아질 수 있다. 또한, 브랜딩 마스크(640)가 적용된 제2 입력 영상(660)은 도 6에 도시된 바와 같이 제1 입력 영상(610)과 중복되는 왼쪽 영역의 명도가 다른 영역의 명도보다 낮아질 수 있다.
도 7은 본 발명의 일실시예에 따라 제1 블랜딩 마스크가 적용된 입력 영상에 대응하는 출력 영상의 일례이다.
디스플레이 장치(130)가 제1 빔 프로젝터 및 제2 빔 프로젝터로 구성된 멀티 프로젝터 환경인 경우, 파노라마 영상 출력 장치(120)는 도 7에 도시된 바와 같이 브랜딩 마스크(630)가 적용된 제1 입력 영상(710)과 브랜딩 마스크(640)가 적용된 제2 입력 영상(720)을 스티칭하여 제1 출력 영상(730) 및 제2 출력 영상(740)을 출력할 수 있다.
이때, 제1 출력 영상(730)은 제1 입력 영상(710)의 오른쪽 영역에 제2 입력 영상(720)의 왼쪽 영역을 스티칭하여 제1 입력 영상(710)보다 오른쪽 영역을 더 많이 표시할 수 있다. 또한, 제2 출력 영상(740)은 제2 입력 영상(720)의 왼쪽 영역에 제1 입력 영상(710)의 오른쪽 영역을 스티칭하여 제2 입력 영상(720)보다 왼쪽 영역을 더 많이 표시할 수 있다.
그리고, 제1 빔 프로젝터 및 제2 빔 프로젝터는 제1 출력 영상(730)의 오른쪽 영역과 제2 출력 영상(740)의 왼쪽 영역이 중첩되도록 표시할 수 있다.
또한, 디스플레이 장치(130)가 제1 모니터 및 제2 모니터로 구성된 멀티 패널 환경인 경우, 디스플레이 장치(130)는 출력 영상을 중첩하여 표시하지 않을 수 있다.
따라서, 파노라마 영상 출력 장치(120)는 도 7에 도시된 바와 같이 제1 입력 영상(710)의 오른쪽 영역을 브랜딩 마스크(630) 및 제2 입력 영상(720)에 따라 삭제한 제1 출력 영상(750) 및 제2 입력 영상(720)의 왼쪽 영역을 브랜딩 마스크(640) 및 제1 입력 영상(710)에 따라 삭제한 제2 출력 영상(760)을 출력할 수 있다.
이때, 디스플레이 장치(130)의 제1 모니터 및 제2 모니터는 도 7에 도시된 바와 같이 제1 출력 영상(750) 및 제2 출력 영상(760)을 출력할 수 있다.
도 8은 본 발명의 일실시예에 따른 룩업 테이블을 이용한 파노라마 영상 출력 방법의 일례이다.
도 8의 케이스 1(Case 1)은 하나의 디스플레이 장치에서 제1 입력 영상 C1, 제2 입력 영상 C2 및 제3 입력 영상 C3으로 생성한 파노라마 영상을 출력하여 출력 영상 D1이 표시되는 실시예이다.
이때, 룩업 테이블 생성 장치(160)는 제1 입력 영상 C1의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00122
과 출력 영상 D1 의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00123
을 결정할 수 있다.
또한, 룩업 테이블 생성 장치(160)는 제2 입력 영상 C2의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00124
과 변환 함수
Figure 112015033107509-pat00125
을 결정할 수 있다.
그리고, 룩업 테이블 생성 장치(160)는 제3 입력 영상 C3의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00126
과 변환 함수
Figure 112015033107509-pat00127
을 결정할 수 있다.
마지막으로 룩업 테이블 생성 장치(160)는
Figure 112015033107509-pat00128
,
Figure 112015033107509-pat00129
및
Figure 112015033107509-pat00130
각각에 기초한 룩업 테이블들을 생성할 수 있다.
이때, 파노라마 영상 출력 장치(120)는
Figure 112015033107509-pat00131
,
Figure 112015033107509-pat00132
및 에 기초한
Figure 112015033107509-pat00133
각각에 기초한 룩업 테이블들을 제1 입력 영상 C1, 제2 입력 영상 C2 및 제3 입력 영상 C3에 적용하여 출력 영상 D1을 출력할 수 있다. 이때, 제1 입력 영상 C1, 제2 입력 영상 C2 및 제3 입력 영상 C3은 파노라마 영상으로 스티칭하는 과정 및 파노라마 영상을 출력 영상으로 표시하는 과정에서 발생하는 기하학적 변화를 고려하여 기하학적 변환될 수 있다. 따라서, 출력 영상 D1은 원본 영상을 스티칭한 파노라마 영상을 기하학적 변화가 발생하지 않은 형상으로 표시할 수 있다.
도 8의 케이스 2(Case 2)는 제1 디스플레이 장치와 제2 디스플레이 장치에서 제1 입력 영상 C1, 제2 입력 영상 C2 및 제3 입력 영상 C3으로 생성한 파노라마 영상을 출력하여 출력 영상 D1, 출력 영상 D2가 표시되는 실시예이다.
이때, 룩업 테이블 생성 장치(160)는 제1 입력 영상 C1의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00134
과 출력 영상 D1 의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00135
을 결정할 수 있다. 그리고, 룩업 테이블 생성 장치(160)는
Figure 112015033107509-pat00136
기초한 룩업 테이블
Figure 112015033107509-pat00137
을 생성할 수 있다.
또한, 룩업 테이블 생성 장치(160)는 제2 입력 영상 C2의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00138
과 변환 함수
Figure 112015033107509-pat00139
을 결정할 수 있다. 그리고, 룩업 테이블 생성 장치(160)는
Figure 112015033107509-pat00140
기초한 룩업 테이블
Figure 112015033107509-pat00141
을 생성할 수 있다.
그리고, 룩업 테이블 생성 장치(160)는 변환 함수
Figure 112015033107509-pat00142
과 출력 영상 D2 의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00143
을 결정할 수 있다. 그리고, 룩업 테이블 생성 장치(160)는
Figure 112015033107509-pat00144
기초한 룩업 테이블
Figure 112015033107509-pat00145
을 생성할 수 있다.
또한, 룩업 테이블 생성 장치(160)는 제3 입력 영상 C3의 도메인 픽셀 좌표계를 파노라마 영상 P의 도메인 픽셀 좌표계로 변환하기 위한 변환 함수
Figure 112015033107509-pat00146
과 변환 함수
Figure 112015033107509-pat00147
을 결정할 수 있다. 그리고, 룩업 테이블 생성 장치(160)는
Figure 112015033107509-pat00148
기초한 룩업 테이블
Figure 112015033107509-pat00149
을 생성할 수 있다.
이때, 파노라마 영상 출력 장치(120)는 룩업 테이블
Figure 112015033107509-pat00150
과 룩업 테이블
Figure 112015033107509-pat00151
을 제1 입력 영상 C1, 및 제2 입력 영상 C2 에 적용하여 출력 영상 D1을 출력할 수 있다. 이때, 파노라마 영상 출력 장치(120)는 룩업 테이블
Figure 112015033107509-pat00152
을 적용하여 기하학적 변환된 제1 입력 영상 C1의 오른쪽에 룩업 테이블
Figure 112015033107509-pat00153
을 적용하여 기하학적 변환된 제2 입력 영상 C2의 왼쪽 영역을 추가하여 출력 영상 D1을 출력할 수 있다.
또한, 파노라마 영상 출력 장치(120)는 룩업 테이블
Figure 112015033107509-pat00154
과 룩업 테이블
Figure 112015033107509-pat00155
을 제2 입력 영상 C2, 및 제3 입력 영상 C3에 적용하여 출력 영상 D2를 출력할 수 있다. 이때, 파노라마 영상 출력 장치(120)는 제2 입력 영상 C2에서 출력 영상 D1에 추가한 왼쪽 영역을 제외한 나머지 영역에 룩업 테이블
Figure 112015033107509-pat00156
을 적용할 수 있다. 그리고, 나머지 영역의 오른쪽에 룩업 테이블
Figure 112015033107509-pat00157
을 적용하여 기하학적 변환된 제3 입력 영상 C3의 왼쪽 영역을 추가하여 출력 영상 D2를 출력할 수 있다.
도 9는 본 발명의 일실시예에 따라 출력한 파노라마 영상의 일례이다.
도 9는 제1 입력 영상(910), 제2 입력 영상(920), 제3 입력 영상(930)을 스티칭하여 생성한 파노라마 영상을 제1 빔 프로젝터(901), 제2 빔 프로젝터(902), 및 제3 빔 프로젝터(903)로 구성된 멀티 프로젝터 환경의 디스플레이 장치가 출력한 출력 영상의 일례이다.
도 9의 케이스 1(Case 1)은 종래의 파노라마 영상 출력 장치가 출력한 출력 영상(940)의 일례이다. 종래의 파노라마 영상 출력 장치는 입력 영상의 스티칭 켈리브레이션 및 출력 영상에 기초한 렌더링 켈리브레이션을 수행하지 않을 수 있다. 따라서, 종래의 파노라마 영상 출력 장치가 출력한 출력 영상(940)은 도 9에 도시된 바와 같이 제1 빔 프로젝터(901)가 출력하는 영상과 제2 빔 프로젝터(902)가 출력하는 영상이 중첩되어 표시되는 구간(941) 및 제2 빔 프로젝터(902)가 출력하는 영상과 제3 빔 프로젝터(903)가 출력하는 영상이 중첩되어 표시되는 구간(942)가 발생할 수 있다.
도 9의 케이스 2(Case 2)는 파노라마 영상 출력 장치(120)가 룩업 테이블을 이용하여 출력한 출력 영상(950)의 일례이다. 본 발명에 따른 파노라마 영상 출력 장치(120)는 제1 입력 영상(910), 제2 입력 영상(920), 제3 입력 영상(930)에 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 적용하여 기하학적 변환함으로써, 영상이 중첩되어 표시되는 구간에 의한 끊김이 없는(Seamless) 출력 영상(950)을 표시할 수 있다.
도 10은 본 발명의 일실시예에 따른 룩업 테이블 생성 방법을 도시한 플로우차트이다.
단계(1010)에서 프로세서(220)는 입력 영상의 도메인 픽셀 좌표계를 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보를 결정할 수 있다. 이때, 제1 기하학 보정 정보는 입력 영상 Cx를 파노라마 영상 도메인 픽셀 좌표계로 변환하는 변환 함수
Figure 112015033107509-pat00158
일 수 있다.
그리고, 프로세서(220)는 제1 기하학 보정 정보를 역변환할 수 있다. 예를 들어, 프로세서(220)는 변환 함수
Figure 112015033107509-pat00159
를 역변환하여 변환 함수
Figure 112015033107509-pat00160
를 계산할 수 있다.
단계(1020)에서 프로세서(220)는 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보를 결정할 수 있다. 이때, 제2 기하학 보정 정보는 출력 영상 Dx를 파노라마 영상 도메인 픽셀 좌표계로 변환하는 변환 함수
Figure 112015033107509-pat00161
일 수 있다.
단계(1030)에서 프로세서(220)는 제1 기하학 보정 정보 및 제2 기하학 보정 정보를 기초로 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 결정할 수 있다. 예를 들어, 프로세서(220)는 변환 함수
Figure 112015033107509-pat00162
Figure 112015033107509-pat00163
를 역변환한 변환 함수
Figure 112015033107509-pat00164
Figure 112015033107509-pat00165
와 변환 함수
Figure 112015033107509-pat00166
를 결정할 수 있다.
단계(1040)에서 프로세서(220)는 제3 기하학 보정 정보를 기초로 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블(LUT: Look-Up Table)를 생성할 수 있다. 예를 들어, 프로세서(220)는 출력 영상과 출력 영상에 이웃한 다른 출력 영상 간의 호모그래피 변환 함수, 출력 영상의 도메인 픽셀 좌표계의 베지어 파라미터를 결정하는 함수, 입력 영상과 입력 영상에 이웃한 다른 입력 영상 간의 호모그래피 변환 함수, 및 기하학적 변환에 따른 줌, 또는 초점을 보정하는 함수 중 적어도 하나로 출력 영상의 도메인 픽셀 좌표계
Figure 112015033107509-pat00167
에 대응하는 입력 영상의 도메인 픽셀 좌표계인
Figure 112015033107509-pat00168
를 결정하여 룩업 테이블을 생성할 수 있다.
도 11은 본 발명의 일실시예에 따른 파노라마 영상 출력 방법을 도시한 플로우차트이다.
단계(1110)에서 프로세서(320)는 제1 블랜딩 마스크를 입력 영상에 적용할 수 있다. 이때, 제1 블랜딩 마스크는 룩업 테이블 생성 장치(160)가 계산한 입력 영상의 브랜딩 마스크
Figure 112015033107509-pat00169
일 수 있다. 또한, 프로세서(320)는 제1 블랜딩 마스크가 적용된 입력 영상에 색 보정 파라미터를 적용할 수 있다. 이때, 색 보정 파라미터는 룩업 테이블 생성 장치(160)가 계산한 입력 영상의 색 보정 파라미터일 수 있다.
단계(1120)에서 프로세서(320)는 룩업 테이블 생성 장치(160)가 생성한 룩업 테이블을 이용하여 단계(1110)에서 제1 블랜딩 마스크가 적용된 입력 영상을 출력 영상으로 변환할 수 있다.
단계(1130)에서 프로세서(320)는 제2 블랜딩 마스크를 출력 영상에 적용할 수 있다. 이때, 제2 블랜딩 마스크는 룩업 테이블 생성 장치(160)가 계산한 입력 영상의 출력 영상의 브랜딩 마스크
Figure 112015033107509-pat00170
일 수 있다.
단계(1140)에서 송신기(330)는 프로세서(320)가 제2 블랜딩 마스크를 적용한 출력 영상을 디스플레이 장치(130)로 전송하여 출력할 수 있다.
본 발명은 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 생성함으로써, 입력 영상을 스티칭하여 파노라마 영상을 생성하는 과정에서 발생하는 기하학적 변환과, 파노라마 영상을 디스플레이 장치에서 출력하는 과정에서 발생하는 기하학적 변환을 동시에 처리할 수 있다.
본 발명은 출력 영상의 도메인 픽셀 좌표계를 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블을 이용하여 파노라마 영상을 출력함으로써, 파노라마 영상을 출력하기 위하여 필요한 영상 처리 연산을 최소화할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 카메라
120: 파노라마 영상 출력 장치
130: 디스플레이 장치
150: 스틸 카메라
160: 룩업 테이블 생성 장치

Claims (20)

  1. 입력 영상의 도메인 픽셀 좌표계를 상기 입력 영상에 이웃한 다른 입력 영상과 연결한 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보를 결정하는 단계;
    상기 파노라마 영상을 복수의 디스플레이 장치로 출력한 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보를 결정하는 단계;
    상기 제1 기하학 보정 정보 및 상기 제2 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 결정하는 단계; 및
    상기 제3 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블(LUT: Look-Up Table)를 생성하는 단계
    를 포함하는 룩업 테이블 생성 방법.
  2. 제1항에 있어서,
    상기 제3 기하학 보정 정보를 결정하는 단계는,
    역변환한 상기 제1 기하학 보정 정보와 상기 제2 기하학 보정 정보를 결합하여 상기 제3 기하학 보정 정보를 결정하는 룩업 테이블 생성 방법.
  3. 제1항에 있어서,
    상기 제2 기하학 보정 정보를 결정하는 단계는,
    상기 복수의 디스플레이 장치가 멀티 패널 환경인 경우, 상기 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 설정하는 상기 제2 기하학 보정 정보를 결정하는 룩업 테이블 생성 방법.
  4. 제1항에 있어서,
    상기 룩업 테이블을 생성하는 단계는,
    베지어(Bezier) 보정, 상기 입력 영상을 촬영한 카메라들 간 호모그래피(homography) 행렬, 상기 출력 영상의 도메인 픽셀 좌표와 파노라마 영상의 도메인 픽셀 좌표 간 호모그래피 행렬 및 회전 변환(rotational transformation) 중 적어도 하나를 이용하여 출력 영상의 도메인 픽셀 좌표계에 대응하는 입력 영상의 도메인 픽셀 좌표계를 결정하는 단계; 및
    결정된 입력 영상의 도메인 픽셀 좌표계를 상기 출력 영상의 도메인 픽셀 좌표계에 매핑하여 상기 룩업 데이블을 생성하는 단계;
    를 포함하는 룩업 테이블 생성 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 입력 영상의 도메인 픽셀 좌표계를 상기 입력 영상에 이웃한 다른 입력 영상과 연결한 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제1 기하학 보정 정보 및 상기 파노라마 영상을 복수의 디스플레이 장치로 출력한 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 변환하기 위한 제2 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 변환하기 위한 제3 기하학 보정 정보를 결정하고,
    상기 제3 기하학 보정 정보를 기초로 상기 출력 영상의 도메인 픽셀 좌표계를 상기 입력 영상의 도메인 픽셀 좌표계로 매핑하는 룩업 테이블(LUT: Look-Up Table)를 생성하는 프로세서
    를 포함하는 룩업 테이블 생성 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    역변환한 상기 제1 기하학 보정 정보와 상기 제2 기하학 보정 정보를 결합하여 상기 제3 기하학 보정 정보를 결정하는 룩업 테이블 생성 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 디스플레이 장치가 멀티 패널 환경인 경우, 상기 출력 영상의 도메인 픽셀 좌표계를 상기 파노라마 영상의 도메인 픽셀 좌표계로 설정하는 상기 제2 기하학 보정 정보를 결정하는 룩업 테이블 생성 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    베지어(Bezier) 보정, 상기 입력 영상을 촬영한 카메라들 간 호모그래피(homography) 행렬, 상기 출력 영상의 도메인 픽셀 좌표와 파노라마 영상의 도메인 픽셀 좌표 간 호모그래피 행렬 및 회전 변환(rotational transformation) 중 적어도 하나를 이용하여 출력 영상의 도메인 픽셀 좌표계에 대응하는 입력 영상의 도메인 픽셀 좌표계를 결정하고, 결정된 입력 영상의 도메인 픽셀 좌표계를 상기 출력 영상의 도메인 픽셀 좌표계에 매핑하여 상기 룩업 데이블을 생성하는 룩업 테이블 생성 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020150047735A 2015-04-03 2015-04-03 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법 KR102328020B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150047735A KR102328020B1 (ko) 2015-04-03 2015-04-03 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
US15/089,993 US9870601B2 (en) 2015-04-03 2016-04-04 System and method for displaying panoramic image using single look-up table

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150047735A KR102328020B1 (ko) 2015-04-03 2015-04-03 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160118868A KR20160118868A (ko) 2016-10-12
KR102328020B1 true KR102328020B1 (ko) 2021-11-17

Family

ID=57016223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150047735A KR102328020B1 (ko) 2015-04-03 2015-04-03 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법

Country Status (2)

Country Link
US (1) US9870601B2 (ko)
KR (1) KR102328020B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10075757B2 (en) * 2014-09-19 2018-09-11 Foundation Partners Group, Llc Multi-sensory environment room
JP6582557B2 (ja) * 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
KR101704362B1 (ko) * 2016-11-18 2017-02-08 최재용 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
KR101725024B1 (ko) * 2016-11-18 2017-04-07 최재용 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
US10497094B2 (en) * 2016-12-28 2019-12-03 Nokia Technologies Oy Method and apparatus for multi-band blending of a seam in an image derived from multiple cameras
CN106651808B (zh) * 2016-12-29 2020-05-08 北京爱奇艺科技有限公司 一种鱼眼图转换方法及装置
JP7052225B2 (ja) * 2017-06-06 2022-04-12 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
GB2565043B (en) 2017-06-22 2022-02-23 Avago Tech Int Sales Pte Lid Apparatus and method for stitching together multiple images
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
CN107318010B (zh) * 2017-07-05 2019-10-11 上海小蚁科技有限公司 用于生成立体全景图像的方法和设备
KR102336997B1 (ko) * 2017-08-16 2021-12-08 삼성전자 주식회사 서버, 디스플레이장치 및 그 제어방법
KR102198217B1 (ko) * 2018-04-11 2021-01-04 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법
KR102383669B1 (ko) * 2018-10-23 2022-04-06 한국전자통신연구원 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
CN110097498B (zh) * 2019-01-25 2023-03-31 电子科技大学 基于无人机航迹约束的多航带图像拼接与定位方法
CN110084743B (zh) * 2019-01-25 2023-04-14 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
US10715783B1 (en) * 2019-03-01 2020-07-14 Adobe Inc. Stereo-aware panorama conversion for immersive media
KR102348429B1 (ko) * 2019-12-23 2022-01-10 서경대학교 산학협력단 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
WO2021132832A1 (ko) * 2019-12-23 2021-07-01 서경대학교 산학협력단 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
KR20220025600A (ko) 2020-08-24 2022-03-03 삼성전자주식회사 영상 생성 방법 및 장치
CN112435203B (zh) * 2020-12-14 2022-11-22 中国人民解放军空军航空大学 全景相机图像无控制点几何校正方法
US20230009944A1 (en) * 2021-07-09 2023-01-12 Rockwell Collins, Inc. Configurable low resource subsample image mask for merging in a distorted image space

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442733B1 (ko) 2000-05-23 2004-08-02 샤프 가부시키가이샤 전방향 시각 시스템
JP2005005816A (ja) 2003-06-09 2005-01-06 Sharp Corp 広角カメラおよび広角カメラシステム

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
JP2856386B2 (ja) * 1994-10-26 1999-02-10 松下電器産業株式会社 色彩調整装置及びその方法
JP3436851B2 (ja) * 1995-12-11 2003-08-18 大日本スクリーン製造株式会社 データ変換テーブル変更方法
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6173087B1 (en) * 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
AU1048399A (en) * 1997-11-10 1999-05-31 Gentech Corporation System and method for generating super-resolution-enhanced mosaic images
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US7313289B2 (en) * 2000-08-30 2007-12-25 Ricoh Company, Ltd. Image processing method and apparatus and computer-readable storage medium using improved distortion correction
US7046401B2 (en) 2001-06-01 2006-05-16 Hewlett-Packard Development Company, L.P. Camera-based document scanning system using multiple-pass mosaicking
JP4159986B2 (ja) * 2001-07-12 2008-10-01 ドゥ ラブズ デジタル画像から変換された画像を計算するための方法およびシステム
US7123777B2 (en) 2001-09-27 2006-10-17 Eyesee360, Inc. System and method for panoramic imaging
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
US7262789B2 (en) 2002-01-23 2007-08-28 Tenebraex Corporation Method of creating a virtual window
US6819320B2 (en) * 2002-03-04 2004-11-16 Sun Microsystems, Inc. Reading or writing a non-super sampled image into a super sampled buffer
JP3889650B2 (ja) * 2002-03-28 2007-03-07 三洋電機株式会社 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体
US7006706B2 (en) * 2002-04-12 2006-02-28 Hewlett-Packard Development Company, L.P. Imaging apparatuses, mosaic image compositing methods, video stitching methods and edgemap generation methods
US7113185B2 (en) * 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
JP2005117612A (ja) * 2003-09-18 2005-04-28 Fuji Photo Film Co Ltd 画像処理方法および装置
US7840067B2 (en) 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image
US7414595B1 (en) * 2003-12-07 2008-08-19 Advanced Simulation Displays Co. Virtual mosaic wide field of view display system
US7324706B2 (en) * 2004-09-09 2008-01-29 Silicon Optix Inc. System and method for representing a general two dimensional spatial transformation
US8630031B1 (en) * 2006-06-27 2014-01-14 Marvell International Ltd. Color adjustment for a scanned image
JP2008085980A (ja) * 2006-08-31 2008-04-10 Sony Corp 色変換装置、エミュレーション方法、三次元ルックアップテーブルの生成方法、画像処理装置
DE102006040791B3 (de) * 2006-08-31 2008-03-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Zusammenfassung mehrerer Teilbilder für beliebige Abbildungsflächen
KR100796849B1 (ko) * 2006-09-04 2008-01-22 삼성전자주식회사 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
KR100827239B1 (ko) * 2006-10-17 2008-05-07 삼성전자주식회사 영상의 시인성을 향상시키는 장치 및 방법
US8200039B2 (en) * 2007-04-05 2012-06-12 Adobe Systems Incorporated Laying out multiple images
US7843465B1 (en) * 2007-05-31 2010-11-30 Zoran Corporation Method and apparatus for mapping a multi-dimensional signal from one space to another space
WO2009013845A1 (ja) 2007-07-20 2009-01-29 Techwell Japan K.K. 画像処理装置及びカメラシステム
US8073259B1 (en) * 2007-08-22 2011-12-06 Adobe Systems Incorporated Method and apparatus for image feature matching in automatic image stitching
JP4450036B2 (ja) * 2007-09-10 2010-04-14 トヨタ自動車株式会社 複合画像生成装置、及びプログラム
WO2009055913A1 (en) 2007-10-30 2009-05-07 Cedara Software Corp. System and method for image stitching
AU2007240236A1 (en) * 2007-12-11 2009-06-25 Canon Kabushiki Kaisha Correlatability analysis for sparse alignment
US20100039562A1 (en) * 2008-04-09 2010-02-18 University Of Kentucky Research Foundation (Ukrf) Source and output device-independent pixel compositor device adapted to incorporate the digital visual interface (DVI)
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US9307165B2 (en) 2008-08-08 2016-04-05 Qualcomm Technologies, Inc. In-camera panorama image stitching assistance
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
US8194993B1 (en) * 2008-08-29 2012-06-05 Adobe Systems Incorporated Method and apparatus for matching image metadata to a profile database to determine image processing parameters
DE102008049921A1 (de) * 2008-09-29 2010-04-15 Mobotix Ag Verfahren zur Videodatenstrom-Erzeugung
US8194097B2 (en) * 2008-12-12 2012-06-05 Seiko Epson Corporation Virtual masking using rigid parametric modeling
US8116587B2 (en) * 2010-02-16 2012-02-14 Ricoh Co., Ltd. Method and apparatus for high-speed and low-complexity piecewise geometric transformation of signals
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9030485B2 (en) * 2012-01-31 2015-05-12 Electronics And Telecommunications Research Institute Apparatus and method for correcting color of image projection device
US20140071228A1 (en) * 2012-09-12 2014-03-13 National University of Sciences & Technology(NUST) Color correction apparatus for panorama video stitching and method for selecting reference image using the same
KR20140106927A (ko) 2013-02-27 2014-09-04 한국전자통신연구원 파노라마 생성 장치 및 방법
JP6244654B2 (ja) * 2013-05-14 2017-12-13 船井電機株式会社 画像表示装置
TWM475600U (en) * 2013-10-30 2014-04-01 Lite On Technology Corp Image capturing module
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images
US10158485B2 (en) * 2015-09-24 2018-12-18 Intel Corporation Double affine mapped S-box hardware accelerator

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442733B1 (ko) 2000-05-23 2004-08-02 샤프 가부시키가이샤 전방향 시각 시스템
JP2005005816A (ja) 2003-06-09 2005-01-06 Sharp Corp 広角カメラおよび広角カメラシステム

Also Published As

Publication number Publication date
KR20160118868A (ko) 2016-10-12
US20160292821A1 (en) 2016-10-06
US9870601B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
KR102328020B1 (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
TWI242374B (en) Image processing system, projector, program, information storing medium, and image processing method
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
JP3497805B2 (ja) 画像投影表示装置
JP5257616B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP4340923B2 (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
KR20160034847A (ko) 단초점 카메라를 이용하여 디스플레이 시스템을 캘리브레이팅하기 위한 시스템 및 방법
US20130222776A1 (en) Image projector, method of image projection, and computer-readable storage medium storing program for causing computer to execute image projection
JP2008533501A (ja) コンピュータ実施によるプロジェクタの姿勢を調整する方法、及び、プロジェクタの姿勢を調整する装置
WO2005002240A1 (ja) 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
JP2004274354A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JPWO2006025191A1 (ja) マルチプロジェクションシステムにおける幾何補正方法
JP2006014356A (ja) 画像投影システム
TW201340035A (zh) 結合影像之方法
JP2015060012A (ja) 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
JPWO2016204068A1 (ja) 画像処理装置および画像処理方法、ならびにプロジェクションシステム
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP2012222669A (ja) 画像処理装置およびその方法
US20020009699A1 (en) Data receiving device and image forming apparatus using same
JP5540493B2 (ja) 投写光学系に対する投写面の位置または傾きの測定方法、その測定方法を用いる投写画像の画像処理方法およびその画像処理方法を実行するプロジェクタ、投写光学系に対する投写面の位置または傾きを測定するプログラム
JP2007208698A (ja) 映像照射装置
JP2003348500A (ja) 投射画像の調整方法、画像投射方法および投射装置
JP5561503B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right