KR20160109927A - 은닉포인트를 이용한 기하학 보정 방법 및 장치 - Google Patents

Abstract

본 발명은 최초 스크린 캘리브레이션 이후 파노라마 영상 투사 시에도, 주기적으로 혹은 사용자의 필요에 따라 은닉포인트를 함께 투사하여 기하학 보정을 위한 왜곡 보정함수를 생성함으로써 자동 기하학보정 수행 방법 및 장치에 관한 것이다.

Description

은닉포인트를 이용한 기하학 보정 방법 및 장치{METHOD AND APPARATUS FOR GEOMETRIC CORRECTION USING HIDDEN POINTS}

본 발명은 기하학 보정방법 및 장치에 관한 것이다. 구체적으로 본 발명은, 발명은 멀티프로젝션 기반 파노라마 렌더링 환경에서 은닉포인트를 이용한 자동 기하학 보정 방법 및 장치에 관한 것이다.

최근 3차원(3-dimension, 3D) 및 초고화질(Ultra-High Definition, UHD) 영상 재생 기술의 활성화와 더불어 사용자에게 보다 광시야각의 영상을 제공할 수 있는 파노라마 기술에 대한 수요가 점차 증가하고 있다. 특히 전시관, 체험관 등을 중심으로 대화면의 원통형 스크린에 투사할 수 있는 실사 중심의 파노라마 영상에 대한 요구가 증대되고 있다. 또한, 영화관에서는 영화 상영용 중앙 스크린 양 옆의 벽을 통해 배경영상을 투사함으로써 관람객들에게 보다 현장감 있는 콘텐츠를 제공하기 위한 시도가 이루어지고 있다.

그러나, 전시관, 체험관 또는 영화관을 중심으로 나타나고 있는 파노라마 영상의 상영은 비평면 스크린에 대한 기하학 보정(geometric correction)이 수시로 이루어져야 함에도 불구하고 인적, 물적 문제로 인하여 그렇지 못하고 있는 실정이다. 게다가 기존 상용 장비를 이용한 기하학 보정을 포함한 캘리브레이션(calibration)은 대형 스크린에 격자 영상을 투사한 후, 사람이 직접 눈으로 일일이 보정하는 방법인 패시브(Passive: 패턴이미지 미사용) 방식으로 이루어지고 있다. 패시브 방식의 기하학 보정은 스크린의 크기, 격자의 개수, 숙련도에 따라 소요시간이 다르지만, 일반적으로 7K x 2K 정도의 파노라마 영상의 기하학 보정에는 최소 2 내지 3시간부터 최대 2 내지 3일까지 소요되고 있다. 한편, 멀티프로젝션 시스템의 사용은 각 프로젝터가 물리적으로 완벽히 고정될 수 없으므로 시간이 지남에 따라 점차 프로젝터 간의 이격이 발생할 수 있어, 파노라마 영상의 일부 겹침 현상이 발생할 수 있다.

본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 최초 스크린 캘리브레이션 이후 파노라마 영상 투사 시에도, 주기적으로 혹은 사용자의 필요에 따라 은닉포인트를 함께 투사하여 기하학 보정을 위한 왜곡 보정함수를 생성함으로써 자동 기하학 보정 수행 방법 및 장치를 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 멀티 프로젝션 스크린 영상의 기하학 보정 방법은, 상기 스크린에 파노라마 영상을 투사하는 복수의 프로젝터의 투사영역 중 중첩영역에 적어도 하나 이상의 은닉 포인트를 설정하는 단계, 설정된 은닉 포인트를 상기 파노라마 영상과 함께 투사하는 단계, 상기 은닉포인트의 투사 이미지를 획득하는 단계 및 상기 은닉 포인트의 투사 이미지를 기초로 왜곡 보정함수를 생성하는 단계를 포함한다.

본 발명의 다양한 실시 예에 따르면, 최초 스크린 캘리브레이션 이후 파노라마 영상 투사 시에도, 주기적으로 혹은 사용자의 필요에 따라 은닉포인트를 함께 투사하여 기하학 보정을 위한 왜곡 보정함수를 생성함으로써 자동적으로 기하학보정을 수행할 수 있다.

도 1은 멀티 프로젝션 기반 파노라마 영상 렌더링시 발생하는 기하학 왜곡 개념을 설명하기 위한 도면이다.
도 2는 파노라마 영상 프레임 간에 패턴 이미지를 삽입하여 기하학 왜곡 보정을 수행하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 은닉포인트를 이용한 기하학 보정 장치의 구조를 나타낸 블록도이다.
도 4는 본 발명에 따른 은닉포인트를 이용한 기하학 보정 장치의 동작을 나타낸 순서도이다.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

본 명세서에서 비선형 스크린이라 함은 일부 돌출되거나 일부 굴곡을 포함하는 스크린을 의미할 수 있다.

본 명세서에서 멀티 프로젝션 기반의 파노라마 렌더링 환경은 적어도 하나 이상의 프로젝트를 이용하여 스크린에 투사하는 시스템을 의미할 수 있다. 이때, 각 프로젝터의 투사영역 간의 겹침 영역에서 왜곡이 발생한다. 패턴이미지를 사용하는 액티브(active)방식 또는 패턴이미지를 사용하지 않는 패시브(passive)방식의 기하학 보정을 포함한 캘리브레이션(calibration)을 수행하였다 하더라도, 프로젝터와 스크린의 떨림 등으로 인하여 시간이 지날수록 기하학적인 왜곡이 자연스럽게 발생한다. 즉, 프로젝터나 스크린이 영구적으로 동일한 위치에 고정될 수 없으므로 각 프로젝터의 투사영역에 겹침 영역이 발생할 수 있다. 특히 패시브 방식의 캘리브레이션은 스크린의 크기, 격자의 개수, 숙련도에 따라 많은 시간이 소요될 수 있으므로 최초 캘리브레이션 이후 기하학 보정을 자동적으로 수행하는 것이 필요하다.

도 1은 멀티 프로젝션 기반 파노라마 영상 렌더링시 발생하는 기하학 왜곡 개념을 설명하기 위한 도면이다.

도 1에 따르면 A와 A`는 동일한 좌표 값(100, 10)을 갖는 지점이고, B와 B`도 서로 같은 좌표 값(100, 30)을 갖는 지점이다. 여기서 좌표 값은 파노라마 영상의 좌표 값일 수 있다. 도 1에서는 편의상 4개의 프로젝터로 파노라마 영상을 렌더링 하는 경우를 가정하여 나타내었으나, 프로젝터의 개수에는 제한이 없다. 즉, N개의 프로젝터를 이용한 멀티 프로젠션 기반 파노라마 연상의 렌더링 시에도 서로 인접하는 투사 영역의 겹침 영역에서 A와 A`가 일치하지 않는 왜곡이 나타날 수 있다.

도 1에서, 각 두 점이 서로 다른 위치에 프로젝션 된 이유는 A와 B는 1번 프로젝션 영역이고, A`와 B`는 2번 프로젝션 영역임으로 인하여 발생된다. 기하학 보정을 통한 왜곡 보정함수가 정확하다면 A와 A`는 일치하며, B와 B`도 일치하나, 왜곡 보정함수의 부정확함과 프로젝터 설치 구조체의 물리적인 오류 등으로 인하여 시간이 지날수록 각 포인트의 왜곡은 점차 심해질 수 밖에 없다.

도 2는 파노라마 영상 프레임 간에 패턴 이미지를 삽입하여 기하학 왜곡 보정을 수행하는 방법을 설명하기 위한 도면이다.

도 2에 따르면, 파노라마 영상의 프레임 중간에 패턴 이미지 영상을 삽입하여 파노라마 영상 프레임간에 패턴이미지를 출력함과 동시에 스틸카메라를 이용하여 기하학 왜곡 보정을 수행할 수도 있다. 구체적으로 패턴이미지가 출력되면 이를 스틸카메라로 획득하고, 획득된 이미지와 패턴이미지를 비교 분석하여 왜곡 보정 함수를 연산하고 연산된 왜곡 보정 함수를 반영하여 다음 프레임의 영상을 투사할 수 있다.

그러나, 도 2에서 설명하는 방식으로 기하학 보정을 수행하는 경우에는, 아무리 패턴이미지를 긴 주기를 가지고 아주 짧은 시간 투사한다 하더라도 사람이 인지할 수 있다. 또한 짧은 시간에 스틸카메라와 동기를 맞추어 패턴이미지를 획득하는 것도 거의 불가능하다는 문제가 있다.

따라서 본 발명에서는 이러한 문제점을 해결하기 위하여 파노라마 영상 투사 시에 각 중첩영역의 약속된 좌표에 은닉포인트를 파노라마 영상과 함께 투사하고, 이를 스틸카메라로 획득하여 인접 프로젝터에서 투사된 두 개 이상의 은닉포인트가 불일치 할 경우 이를 기하학 왜곡 보정함수에 반영함으로써 기하학 보정을 수행한다. 이때 은닉포인트는 파노라마 영상 시청에 방해되지 않도록 특정 RGB 값을 가지는 픽셀로 한정한다. 또한 중첩영역이 많을수록 순차적으로 왜곡보정이 증가할 수 있으므로 이를 고려하여 왜곡보정을 수행한다. 즉, N개의 중첩영역을 가지는 멀티프로젝션 시스템에서 1번 프로젝터와 2번 프로젝터 은닉포인트의 왜곡을 S(1,2), 2번 프로젝터와 3번 프로젝터 은닉포인트의 왜곡을 S(2,3)…N번 프로젝터와 N+1번 프로젝터 은닉포인트 왜곡을 S(N,N-1)이라고 할 때, S 값이 적은 순서대로 기하학 보정을 수행함으로써 그 계산량을 줄일 수 있다.

도 3은 본 발명의 일 실시 예에 따른 은닉포인트를 이용한 기하학 보정 장치의 구조를 나타낸 블록도이다.

도 3에 따르면, 본 발명의 기하학 보정 장치는 입력부(310) 및 제어부(320)를 포함할 수 있다. 또한 제어부(320)는 은닉포인트 설정부(321) 및 왜곡 보정함수 연산부(322)를 포함할 수 있다. 다만 도 3에 나타난 은닉포인트 설정부(321) 및 왜곡 보정함수 연산부(322)는 본 발명에 따른 기하학 보정 장치의 동작을 쉽게 설명하기 위해 나타낸 것이지, 반드시 해당 모듈을 포함하여야만 본 발명이 성립하는 것은 아니다. 즉, 다양한 실시 예에서 은닉포인트 설정부(321) 및 왜곡 보정함수 연산부(322)의 각 모듈을 구별하지 않고 하나의 제어부(320)가 은닉포인트 설정부(321) 및 왜곡 보정함수 연산부(322)의 동작을 모두 수행할 수 있음을 명시한다.

입력부(310)는 스크린에 투사된 은닉 포인트를 획득한다. 다양한 실시 예에서 입력부(310)는 스틸 카메라일 수 있다.

제어부(320)는 파노라마 영상 투사 시에 각 중첩영역의 기 설정된 좌표에 은닉포인트를 파노라마 영상과 함께 투사할 수 있다. 또한 제어부(320)는 입력부(310)가 획득한 은닉포인트를 기초로 기하학 보정을 수행할 수 있다.

구체적으로 은닉포인트 설정부(321)은 은닉포인트의 관련 정보를 설정할 수 있다. 여기서 은닉포인트 관련 정보는 은닉포인트의 위치, 시간 또는 주기 중 적어도 어느 하나일 수 있다. 은닉포인트는 파노라마 영상 시청에 방해되지 않도록 특정 RGB 값을 가지는 픽셀로 한정한다. 은닉포인트 설정부(321)는 은닉포인트 관련 정보를 설정하고, 설정된 은닉포인트를 파노라마 영상의 각 프레임에 투사할 수 있다. 다양한 실시 예에서, 은닉포인트 설정부(321)는 설정된 은닉 포인트를 파노라마 영상과 독립적으로 투사하거나, 파노라마 영상에 은닉포인트를 더하거나, 파노라마 영상을 투사하는 프로젝터로 은닉포인트를 전달할 수 있다.

입력부(310)는 투사된 은닉포인트를 스틸 카메라를 이용하여 획득할 수 있다. 획득된 은닉포인트는 왜곡 보정함수 연산부(322)로 전달될 수 있다.

왜곡 보정함수 연산부(322)는 인접한 프로젝터에서 투사된 두 개 이상의 은닉포인트가 불일치 하는 경우 왜곡 보정함수에 반영한다. 이때, 인접 프로젝터의 투사영역 중 중첩영역이 많을수록 순차적으로 왜곡보정이 증가할 수 있으므로 이를 고려하여 왜곡보정을 수행한다. 즉, N개의 중첩영역을 가지는 멀티프로젝션 시스템에서 1번 프로젝터와 2번 프로젝터 은닉포인트의 왜곡을 S(1,2), 2번 프로젝터와 3번 프로젝터 은닉포인트의 왜곡을 S(2,3)…N번 프로젝터와 N+1번 프로젝터 은닉포인트 왜곡을 S(N,N-1)이라고 할 때, S 값이 적은 순서대로 기하학 보정을 수행함으로써 그 계산량을 줄일 수 있다.

도 4는 본 발명에 따른 은닉포인트를 이용한 기하학 보정 장치의 동작을 나타낸 순서도이다.

도 4에 따르면, 본 발명의 기하학 보정 장치는 은닉포인트의 관련 정보를 설정할 수 있다(410). 여기서 은닉포인트 관련 정보는 은닉포인트의 위치, 시간 또는 주기 중 적어도 어느 하나일 수 있다. 은닉포인트는 파노라마 영상 시청에 방해되지 않도록 특정 RGB 값을 가지는 픽셀로 한정한다.

기하학 보정 장치는 현재 투사 중인 파노라마 영상의 프레임이 기 설정된 은닉포인트 투사 시간인지 여부를 판단할 수 있다(420). 다양한 실시 예에서 420 단계는 생략되고 기 설정된 투사 시간에 자동적으로 은닉 포인트가 투사되거나 모든 파노라마 프레임에 은닉포인트가 투사될 수도 있다.

판단결과 은닉 포인트의 투사 시간이 아닌 경우에는 동작을 종료한다.

420 단계에서 은닉 포인트 투사 시간인 경우에는 은닉 포인트를 파노라마 프레임의 투사와 동시에 투사할 수 있다(430). 다양한 실시 예에서, 설정된 은닉 포인트를 파노라마 영상과 독립적으로 투사할 수도 있고, 파노라마 영상에 은닉포인트를 더하거나, 파노라마 영상을 투사하는 프로젝터로 은닉포인트를 전달하여 투사할 수도 있다.

기하학 보정 장치는 440 단계에서 스틸 카메라를 이용하여 투사된 은닉 포인트를 획득한다. 여기서 인접한 프로젝터에서 투사된 두 개 이상의 은닉포인트가 불일치 하는 경우 왜곡 보정함수에 반영한다(450). 이때, 인접 프로젝터의 투사영역 중 중첩영역이 많을수록 순차적으로 왜곡보정이 증가할 수 있으므로 이를 고려하여 왜곡보정을 수행한다. 즉, N개의 중첩영역을 가지는 멀티프로젝션 시스템에서 1번 프로젝터와 2번 프로젝터 은닉포인트의 왜곡을 S(1,2), 2번 프로젝터와 3번 프로젝터 은닉포인트의 왜곡을 S(2,3)…N번 프로젝터와 N+1번 프로젝터 은닉포인트 왜곡을 S(N,N-1)이라고 할 때, S 값이 적은 순서대로 기하학 보정을 수행함으로써 그 계산량을 줄일 수 있다.

여기서 왜곡 보정함수의 연산시 은닉 포인트에의 한 기하학 보정을 반영할 수도 있고, 생성된 왜곡 보정함수에 은닉포인트에 의한 왜곡에 따른 보정을 업데이트 할 수도 있다. 이때 기존 왜곡 보정함수는 최초 스크린 캘리브레이션시 생성한 왜곡 보정함수를 의미한다.

이와 같이 상기 과정에 따라, 최초 스크린 캘리브레이션 이후 파노라마 영상 투사 시에도, 주기적으로 혹은 사용자의 필요에 따라 은닉포인트를 함께 투사하여 기하학 보정을 위한 왜곡 보정함수를 생성함으로써 자동적으로 기하학보정을 수행할 수 있는 효과를 가질 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

상술한 실시 예들에서, 모든 단계는 선택적으로 수행의 대상이 되거나 생략의 대상이 될 수 있다. 또한 각 실시 예에서 단계들은 반드시 순서대로 일어날 필요는 없으며, 뒤바뀔 수 있다. 한편, 본 명세서와 도면에 개시된 본 명세서의 실시 예들은 본 명세서의 기술 내용을 쉽게 설명하고 본 명세서의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 즉 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

한편, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

310: 입력부
320: 제어부
321: 은닉포인트 설정부
322: 왜곡 보정 함수 연산부

Claims (1)

1. 멀티 프로젝션 스크린 영상의 기하학 보정 방법에 있어서,
   상기 스크린에 파노라마 영상을 투사하는 복수의 프로젝터의 투사영역 중 중첩영역에 적어도 하나 이상의 은닉 포인트를 설정하는 단계;
   설정된 은닉 포인트를 상기 파노라마 영상과 함께 투사하는 단계;
   상기 은닉포인트의 투사 이미지를 획득하는 단계; 및
   상기 은닉 포인트의 투사 이미지를 기초로 왜곡 보정함수를 생성하는 단계;를 포함하는 기하학 보정 방법.

Images