KR20160109935A - 사용자 인터페이스 기반의 기하학 보정 방법 및 장치 - Google Patents

Abstract

본 발명은 멀티 프로젝션 기반 파노라마 렌더링 환경에서 일부 돌출되거나 일부 굴곡을 포함하는 비평면 스크린의 기하학 보정 시, 사용자 UI를 이용하여 해당 영역의 특성에 따라 일부 다른 패턴을 사용함으로써 기하학 보정의 정확도를 높이기 위한 방법 및 장치에 관한 것이다.

Description

사용자 인터페이스 기반의 기하학 보정 방법 및 장치{METHOD AND APPARATUS FOR GEOMETRIC CORRECTION BASED ON USER INTERFACE}

본 발명은 기하학 보정방법 및 장치에 관한 것이다. 구체적으로 본 발명은, 멀티프로젝션 기반 파노라마 렌더링 환경에서 일부 돌출되거나 일부 굴곡을 포함하는 비평면 스크린의 기하학 보정방법 및 장치에 관한 것이다.

최근 3차원(3-dimension, 3D) 및 초고화질(Ultra-High Definition, UHD) 영상 재생 기술의 활성화와 더불어 사용자에게 보다 광시야각의 영상을 제공할 수 있는 파노라마 기술에 대한 수요가 점차 증가하고 있다. 특히 전시관, 체험관 등을 중심으로 대화면의 원통형 스크린에 투사할 수 있는 실사 중심의 파노라마 영상에 대한 요구가 증대되고 있다. 또한, 영화관에서는 영화 상영용 중앙 스크린 양 옆의 벽을 통해 배경영상을 투사함으로써 관람객들에게 보다 현장감 있는 콘텐츠를 제공하기 위한 시도가 이루어지고 있다.

그러나, 멀티 프로젝션 기반 파노라마 영상을 투사하기 위해서는 비평면 스크린에 대한 기하학 보정(geometric correction)이 필요한데 현재 상용품의 대부분은 대형 스크린에 격자 영상을 투사한 후, 패턴이미지를 사용하지 않고, 사람이 직접 눈으로 일일이 보정하는 방법인 패시브(Passive) 방식으로 이루어지고 있다. 패시브 방식의 기하학 보정은 스크린의 크기, 격자의 개수, 숙련도에 따라 소요시간이 다르지만, 일반적으로 7K x 2K 정도의 파노라마 영상의 기하학 보정에는 최소 2 내지 3시간부터 최대 2 내지 3일까지 소요되고 있다. 한편, 패턴이미지를 사용하는 액티브(Active) 방식의 기하학 보정은 7K x 2K 정도의 파노라마 영상에 대하여 기하학 보정 소요시간이 30분 내외로 짧은 장점이 있으나, 일률적인 패턴 이미지를 사용하므로 균일하지 않은 스크린에 대해서는 기하학 보정 오류가 발생하게 된다.

본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 멀티 프로젝션 기반 파노라마 렌더링 환경에서 일부 돌출되거나 일부 굴곡을 포함하는 비평면 스크린의 기하학 보정 시, 사용자 UI를 이용하여 해당 영역의 특성에 따라 일부 다른 패턴을 사용함으로써 기하학 보정의 정확도를 높이기 위한 방법 및 장치를 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 멀티 프로젝션 스크린 영상의 기하학 보정 방법은, 상기 스크린의 굴곡 영역 또는 돌출 영역에 대한 패턴 이미지의 밀집도를 결정하는 단계, 결정된 상기 패턴 이미지를 프로젝터로 투사한 투사 이미지를 획득하는 단계 및 상기 투사 이미지, 상기 패턴 이미지 및 상기 돌출 영역에 대한 높이 정보를 기초로 왜곡 보정함수를 생성하는 단계를 포함한다.

본 발명의 다양한 실시 예에 따르면, 균일하지 않은 스크린에 대한 액티브 방식의 기하학 보정시 오류를 줄일 수 있다.

또한 본 발명의 다양한 실시 예에 따르면, 사용자 UI를 이용하여 해당 영역의 특성에 따라 일부 다른 패턴을 사용함으로써 기하학 보정의 정확도를 높일 수 있다.

도 1은 액티브 오프라인 방식의 기하학 보정 절차를 설명하기 위한 도면이다.
도 2a는 굴곡을 포함하는 스크린을 설명하기 위한 도면이다.
도 2b는 돌출된 부분을 포함하는 비평면 스크린을 설명하기 위한 도면이다.
도 3은 패턴 사이에 굴곡영역 또는 돌출영역이 존재하는 경우를 설명하기 위한 도면이다.
도 4는 본 발명에 일 실시 예에 따른 사용자 인터페이스(UI) 기반의 기하학 보정 방법의 개념을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 사용자 인터페이스 기반 기하학 보정 장치의 구조를 나타낸 블록도이다.
도 6은 본 발명에 따른 사용자 인터페이스 기반 기하학 보정 방법의 동작을 나타낸 순서도이다.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

본 명세서에서 비선형 스크린이라 함은 일부 돌출되거나 일부 굴곡을 포함하는 스크린을 의미할 수 있다.

본 명세서에서 멀티 프로젝션 기반의 파노라마 렌더링 환경은 적어도 하나 이상의 프로젝트를 이용하여 스크린에 투사하는 시스템을 의미할 수 있다. 여기서 스크린은 평평하지 않은 투사 표면일 수 있다. 따라서 평평하지 않은 투사 표면에 투사된 영상이 본래 영상과 다르게 표시될 수 있다. 즉, 투사 표면에 투사되는 영상에 왜곡(distortion)이 발생할 수 있는데, 이를 바로잡기 위한 보정을 기하학 보정 또는 기하 보정(geometrical correction)이라 한다.

도 1은 액티브 오프라인 방식의 기하학 보정 절차를 설명하기 위한 도면이다.

기하학 보정은 패턴 이미지의 사용 여부에 따라 액티브(Active, 사용할 경우) 방식과 패시브(Passive, 사용하지 않을 경우) 방식으로 구별될 수 있다. 또한 영상 재생 전 또는 영상 재생 중에 적용하는 경우에 따라 오프라인(offline) 방식과 온라인(online) 방식으로 구별될 수 있다.

도 1은 최근 가장 보편적으로 적용되는 기하학 보정은 AF(active-offline) 방식을 설명하기 위한 도면이다.

도 1에 따르면, AF방식의 기하학 보정은 먼저, 임의의 패턴 영상(100)을 복수의 프로젝트를 이용하여 순차적으로 스크린(200)에 투영한다. 투영상태를 스틸카메라(300)를 이용하여 획득한다. 도 1에서는 설명의 편의상 3개의 멀티 프로젝터가 사용되는 경우를 가정하여 나타내었으나, 프로젝터의 개수에 상관없이 본 발명이 적용될 수 있다. 즉, N개의 프로젝터로 구성된 멀티 프로젠션 시스템에서는 N개의 패턴이미지를 순차적으로 투사하여 이를 스틸 카메라로 획득할 수 있다. 그 후, 스틸카메라로 획득한 패턴 이미지와 원본 패턴 이미지와의 상관관계 비교를 통해 왜곡보정함수를 생성할 수 있다. 스크린의 형태에 따라 영상의 왜곡이 발생할 수 있으므로, 스틸카메라로 획득한 패턴 이미지가 원본 패턴 이미지로부터 보다 적게 왜곡될수록 스크린이 평면에 가깝다고 볼 수 있다. 스틸카메라로 획득한 패턴 이미지와 원본 패턴 이미지를 이용하여 왜곡 보정함수를 계산 한 뒤, 해당 보정함수를 이용하여 파노라마 영상을 보정해 가면서 스크린에 투사한다. 이렇게 투사된 영상은 비평면 스크린에 대하여 왜곡 보정됨으로써 사용자에게 자연스러운 영상을 제공할 수 있게 된다.

도 2a는 굴곡을 포함하는 스크린을 설명하기 위한 도면이다.

일반적으로 대화면 스크린의 경우 대부분 선형적으로 이루어져 있으나, 최근 영화관을 중심으로 시험서비스 되고 있는 파노라마 영화의 경우 영화관 좌우 벽면을 배경화면으로 사용하므로 많은 경우에 있어서 비선형적인 스크린에 영상을 투사하게 된다.

도 2a의 스크린의 형태는 스크린을 바라보는 관람객을 감싸는 형태의 실린더 스크린이다. 평면 스크린의 경우 N개의 프로젝터에서 왜곡 보정함수의 계산을 위해 투사하는 패턴이미지를 동일하게 사용하더라도 전체적으로 비슷한 왜곡 정도를 나타내므로 기하학 보정 오류가 크지 않다. 그러나 도 2a와 같은 비평면 스크린의 경우에는 스크린의 형태에 따라서 패턴 이미지가 왜곡 되는 정도가 서로 상이할 수 있다. 구체적으로 굴곡 영역(21)에서의 왜곡은 평평한 면에서의 왜곡량과 상이할 수 있다. 굴곡 영역(21)은 도 2a에서와 같이 패턴 이미지의 패턴 위치를 포함하는 영역일 수 있다. 굴곡 영역(21)에 포함된 패턴의 왜곡은 그 굴곡된 정도에 따라 상이할 수 있다. 이 경우 굴곡 영역(21)과 비 굴곡 영역에 동일한 패턴 이미지를 사용하는 경우 영상의 왜곡을 보정할 수 없는 경우가 발생할 수 있다.

도 2b는 돌출된 부분을 포함하는 비평면 스크린을 설명하기 위한 도면이다.

도 2b의 스크린은 비록 전체적으로는 평면 스크린의 형태를 띄고 있으나, 돌출부분(22)을 포함한다. 멀티 프로젝터를 이용한 파노라마 재생 시스템에서는 스크린을 초과하는 영역에까지 영상을 투사하는 경우가 발생할 수 있으며, 돌출부분(220)은 스피커 또는 벽의 돌출된 부분일 수 있다. 돌출부분(22)은 패턴 이미지 내의 패턴이 위치하는 영역에 존재할 수 있다. 돌출된 부분은 평평한 스크린에 비해 왜곡되는 양이 상이할 수 있으며 이 경우 동일한 패턴 이미지를 사용하여 기하학 보정을 하는 경우 영상의 왜곡 보정을 정확하게 할 수 없다.

도 3은 패턴 사이에 굴곡영역 또는 돌출영역이 존재하는 경우를 설명하기 위한 도면이다.

도 3에 따르면, 도 2a 및 2b에서와 상이하게 굴곡 영역(31) 및 돌출 영역(32)이 패턴 이미지의 패턴 상에 존재하는 것이 아니라, 패턴의 사이에 존재할 수 있다. 이 경우 굴곡 영역(31)과 돌출 영역(32)은 왜곡 보정함수로 찾는 것이 어렵다. 이는 일률적인 패턴이미지를 사용함으로써 발생하는 문제점이다. 특히, 돌출 영역(32)이 패턴 사이에 존재하는 경우에, 돌출된 영역이 패턴 이미지를 이용하여 정확하게 찾아졌다 하더라도 실제 왜곡 보정함수를 생성하는 것은 불가능하다. 왜냐하면 돌출된 영역의 돌출높이 정보는 스틸카메라로 획득할 수 없기 때문이다. 따라서 최종 파노라마 영상 투사 시에는 돌출된 영역의 돌출높이와 정비례하여 영상의 왜곡이 발생할 수 있다.

도 4는 본 발명에 일 실시 예에 따른 사용자 인터페이스(UI) 기반의 기하학 보정 방법의 개념을 설명하기 위한 도면이다.

도 4에 따르면, 비평면 스크린에는 패턴 사이에 존재하는 제1 굴곡 영역(41), 패턴 사이에 존재하는 돌출 영역(42) 및 패턴 상에 존재하는 제2 굴곡 영역(43)을 포함할 수 있다.

기하학 보정시 일률적인 패턴이미지를 사용할 경우에는 제1 굴곡 영역(41), 돌출 영역(42) 및 제2 굴곡 영역(43)에 해당하는 왜곡 보정함수를 생성할 수 없다. 따라서, 본 발명에서는 제1 굴곡 영역(41), 돌출 영역(42) 및 제2 굴곡 영역(43)에 대하여 사용자가 UI를 이용하여 왜곡 보정함수를 생성할 수 있도록 추가적인 패턴 이미지를 적용한다.

구체적으로 제1 굴곡 영역(41)의 경우 사용자가 직접 사용자가 굴곡 영역을 선택하고, 해당 영역을 검출할 수 있도록 패턴의 밀집도를 선택할 수 있다.

돌출 영역(42)의 경우 사용자가 돌출 영역(42)을 선택하고, 돌출 영역(42)의 각 패턴에 대한 돌출 높이를 입력할 수 있다. 제2 굴곡 영역(43)의 경우에는 제1 굴곡 영역(41)의 경우와 동일한 방법을 이용하여 패턴의 밀집도를 선택하고, 기존 패턴(큰 동그라미)을 생략할 수 있다.

이와 같이 기하학 보정에 일률적인 패턴이미지를 사용하지 않고 사용자가 선택한 특정 영역에 대해서는 서로 다른 밀집도를 가지는 패턴이미지를 사용함으로써 일부 굴곡 영역이나 돌출 영역을 포함한 스크린에 대하여 왜곡 보정함수를 찾을 수 있다.

도 5는 본 발명의 일 실시 예에 사용자 인터페이스 기반 기하학 보정 장치의 구조를 나타낸 블록도이다.

도 5에 따르면, 본 발명의 기하학 보정 장치는 입력부(510) 및 제어부(520)를 포함할 수 있다. 또한 제어부(520)는 투사영역 설정부(521), 밀집도 설정부(522), 높이 입력부(523) 및 왜곡 보정함수 생성부(524)를 포함할 수 있다. 다만 도 5에 나타난 투사영역 설정부(521), 밀집도 설정부(522), 높이 입력부(523) 및 왜곡 보정함수 생성부(524)는 본 발명에 따른 기하학 보정 장치의 동작을 쉽게 설명하기 위해 나타낸 것이지, 반드시 해당 모듈을 포함하여야만 본 발명이 성립하는 것은 아니다. 즉, 다양한 실시 예에서 투사영역 설정부(521), 밀집도 설정부(522), 높이 입력부(523) 및 왜곡 보정함수 생성부(524)의 각 모듈을 구별하지 않고 하나의 제어부(520)가 투사영역 설정부(521), 밀집도 설정부(522), 높이 입력부(523) 및 왜곡 보정함수 생성부(524)의 동작을 모두 수행할 수 있음을 명시한다.

입력부(510)는 스크린에 투사된 패턴 이미지를 획득한다. 다양한 실시 예에서 입력부(510)는 스틸 카메라일 수 있다.

제어부(520)는 본 발명이 적용되는 파노라마 대형 스크린이 선형의 평평한 평면 스크린인 경우에는 별도의 패턴 이미지를 생성하지 않고, 동일한 패턴 이미지를 이용하여 일반적인 액티브 기하학 보정을 수행할 수 있다. 구체적으로 제어부(520)는 패턴이미지를 각각의 프로젝터 별로 투사하면서 투사된 패턴 이미지를 입력부(510)를 통해 획득하고, 획득된 패턴 이미지와 원 패턴 이미지를 비교 및 분석하여 왜곡 보정함수를 생성할 수 있다. 생성된 왜곡 보정함수는 파노라마 영상의 투사 시 적용됨으로써, 평면 스크린에 대하여 왜곡 없는 영상을 투사할 수 있다.

이에 대해 본 발명이 적용되는 파노라마 대형 스크린이 일부 굴곡 영역을 포함하거나 일부분이 돌출된 비평면 스크린인 경우, 패턴이미지 투사 이전에 특정 영역에 특정 밀집도를 가지는 패턴이미지를 투사하고 이를 스틸카메라로 획득하여 왜곡 보정함수를 생성하게 된다.

구체적으로 투사 영역 설정부(521)은 굴곡 영역 또는 돌출 영역이 있는 경우 해당 영역에 적용할 패턴 이미지를 생성할 수 있다. 이때, 밀집도 설정부(522)는 굴곡 또는 돌출 영역의 크기나 위치에 따라 패턴의 밀집도를 결정하고 이를 반영한 패턴 이미지를 생성할 수 있다. 또한 높이 입력부(523)는 일부 돌출된 영역에 대해서 돌출된 영역의 각 위치에 따라 돌출 높이를 입력할 수 있다. 구체적으로 투사영역 설정부(521)에서 설정된 영역에 대해서 밀집도 설정부(522)에서 결정된 밀집도를 갖는 패턴 이미지를 프로젝터가 투사할 수 있다. 입력부(510)는 투사된 패턴 이미지를 획득하고 왜곡 보정함수 생성부(524)는 투사영역 설정부(521), 밀집도 설정부(522) 및 높이 입력부(523)를 통해 결정된 패턴이미지를 비교하여 왜곡 보정함수를 생성할 수 있다. 다양한 실시 예에서, 본 발명의 기하학 보정 장치는 사용자가 특정 굴곡 영역이나 특정 돌출영역을 선택할 때, 영상처리를 통하여 해당 부분에 대한 패턴 이미지를 자동으로 설정할 수도 있으며, 돌출 높이는 레이저 거리측정기를 통하여 자동으로 입력되도록 설정할 수도 있다.

도 6은 본 발명에 따른 사용자 인터페이스 기반 기하학 보정 방법의 동작을 나타낸 순서도이다.

기하학 보정 장치는 스크린에 굴곡 영역이 존재하는 지 여부를 판단할 수 있다(601). 스크린에 굴곡 영역이 존재하는 경우에는 패턴 이미지 투사영역을 설정하고 패턴 이미지의 밀집도를 설정하게 된다. 구체적으로 기하학 보정 장치는 602단계에서 패턴 이미지를 투사할 영역을 설정할 수 있다(602). 패턴 이미지 투사영역 설정은 사용자가 UI를 통하여 수행하게 되는데, 투사영역을 영상처리 알고리즘을 통하여 자동적으로 설정할 수도 있다. 이때, 굴곡 영역이 패턴 이미지의 패턴 사이에 존재하는 경우에는 패턴 이미지의 패턴 밀집도를 설정하여(603) 패턴 이미지를 결정할 수 있다. 패턴 이미지 밀집도는 굴곡영역을 잘 인지할 수 있도록 설정하여야 하며, 밀집도가 높을수록 복잡도는 증가하지만 보다 정밀한 기하학 보정이 가능하다.

기하학 보정 장치는 스크린에 돌출 영역이 존재하는 여부를 판단할 수 있다(604). 스크린에 돌출 영역이 존재하는 경우에는 돌출 영역의 높이에 대한 정보를 스틸카메라로 획득할 수 없으므로, 605 단계로 진행하여 돌출 영역의 높이를 입력할 수 있다. 즉, 스크린에 일부 돌출 영역이 존재하면 돌출 영역의 각 부위별로 높이를 설정하여 왜곡 보정함수를 생성하는 인자로 사용할 수 있다. 돌출 영역은 예를 들어, 파노라마 영상을 상영할 수 있는 영화관에서 양 옆쪽 벽면에 설치된 스피커 등일 수 있다. 다양한 실시 예에서, 돌출영역과 반대로 움푹 들어간 영역이 존재하는 경우, 들어간 영역의 깊이 값을 설정함으로써 왜곡 보정함수 생성에 사용할 수 있다.

다음으로, 기하학 보정 장치는 결정된 패턴 이미지를 해당 영역에 투사한다(606). 기하학 보정 장치는 스틸 카메라를 이용하여 투사된 패턴 이미지를 획득하고(607). 이를 606 단계에서 투사한 원본 패턴 이미지와 비교하여 왜곡 보정 함수를 생성할 수 있다. 여기서 왜곡 보정함수를 생성하는 방법은 본 발명의 요지가 아니므로 여기서는 자세한 설명을 생략한다.

이와 같이 상기 과정에 따라, 멀티 프로젝션 기반 파노라마 렌더링 환경에서 일부 돌출되거나 일부 굴곡을 포함하는 비평면 스크린의 기하학 보정 시, 사용자 인터페이스를 이용하여 해당 영역의 특성에 따라 일부 다른 패턴을 사용함으로써 기하학 보정의 정확도를 높이는 효과를 가질 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

상술한 실시 예들에서, 모든 단계는 선택적으로 수행의 대상이 되거나 생략의 대상이 될 수 있다. 또한 각 실시 예에서 단계들은 반드시 순서대로 일어날 필요는 없으며, 뒤바뀔 수 있다. 한편, 본 명세서와 도면에 개시된 본 명세서의 실시 예들은 본 명세서의 기술 내용을 쉽게 설명하고 본 명세서의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 즉 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

한편, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100: 패턴 이미지
200: 비평면 스크린
300: 스틸 카메라

Claims (1)

1. 멀티 프로젝션 스크린 영상의 기하학 보정 방법에 있어서,
   상기 스크린의 굴곡 영역 또는 돌출 영역에 대한 패턴 이미지의 밀집도를 결정하는 단계;
   결정된 상기 패턴 이미지를 프로젝터로 투사한 투사 이미지를 획득하는 단계; 및
   상기 투사 이미지, 상기 패턴 이미지 및 상기 돌출 영역에 대한 높이 정보를 기초로 왜곡 보정함수를 생성하는 단계;를 포함하는 기하학 보정 방법.

Images