KR20100100058A - 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템 - Google Patents

Abstract

본 발명은 실시간으로 움직이며 다양한 형태로 굽어져 있는 면에 프로젝터 영상을 투영하기 위한 실시간 기하 보정 계산이 가능한 시스템에 관한 것이다.

기존의 프로젝터 시스템의 경우, 고정되어 있으며 평면인 표면에 영상을 투영해야 하지만 용도와 목적에 따라서 대상이 평면의 고정된 대상이 아닌 경우 문제가 발생한다.

본 발명에서는 이러한 상황에서 간단한 조작을 통하여 움직이는 곡면의 대상에 프로젝터 영상을 정상적으로 투영하기 위하여 프로젝터의 상단에 카메라를 설치하고, 카메라로 입력 받은 영상을 이용하여 대상의 상태 및 위치를 실시간 파악하며, 그에 맞는 기하 정보를 계산하고 프로젝터의 출력 영상을 보정하여 목표 대상에 알맞은 영상을 투영함으로서, 사용자가 보다 자연스럽고 편리하게 영상을 감상 할 수 있도록 한다.

본 발명을 통하여 사용자는 기존의 프로젝터 사용상의 제약에서 벗어나서, 보다 다양한곳에서 효과적인 사용이 가능하게 된다.

실시간 기하보정, 기하보정, 영상투영, 프로젝터 영상, 곡면투영, 영상보정

Description

변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템{A Projector-Camera System for Real-time Geometric Correction of Deformable Surface}

본 발명은 기존의 고정된 면에 영상을 투사해야만 했던 프로젝터의 한계를 해결하기 위한 방법으로 고정되지 않고 변형이 가능한 곡면에 영상을 실시간으로 기하 보정하여 투영하는 방법에 대한 연구 결과 이다.

[문헌 1] R. Raskar, G. Welch, K .L. Low, D. Bandyopadhyay. "Shader Lamps: Animating real objects with image-based illumination" In Proceedings of Eurographics Workshop on Rendering, 2001.

[문헌 2] C. Pinhanez. "The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces", In Proceedings of Ubiquitous Computing 2001 (Ubicomp'01), September 2001.

[문헌 3] R. Sukthankar, R. Stockton, and M. Mullin. "Smarter Presentations: Exploiting Homography in Camera-Projector Systems," In Proceedings of International Conference on Computer Vision, 2001.

종래 기술은 프로젝터를 사용하여 고정되어 있는 평면에 한하여 원하는 영상을 투영 할 수 있었다. 하지만 기술이 발전하고 그에 따라 사용자는 보다 다양한 환경에서 프로젝터를 사용하여 영상을 출력해 보기를 원하지만, 기존의 기술로는 정확한 출력의 영상을 관람하기는 불가능 하였다. 프로젝션 기반의 변형 가능한 물체 추적 및 투영 영상 사전 보정에 관련된 연구가 전혀 시도되지 않았던 것은 아니지만, 기존의 연구들에서 제안된 방법은 대부분 실시간의 시스템에서 적용되기 어렵거나 가능성만을 보여주는 것에 그쳤다.

상기와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 사용자가 프로젝터를 통하여 영상을 투영시키기 원하는 대상이 변형 가능한 곡면일 경우에도 정상적인 출력이 가능하도록 함에 있다. 본 발명은 계속적으로 변화되는 기하 정보를 계산하고 출력될 영상을 보정하기 위한 계산을 중앙처리장치(CPU, Central Processing Unit)만으로 계산하지 않고 필요에 따라서 그래픽처리장치(GPU, Graphics Processing Unit)와 나누어 연산함으로써 많은 양의 실시간 처리 속도를 향상 시켰다.

또한, 영상 생성 과정에서 기하 정보 획득 및 계산 모듈(module)과 실시간 기하 보정 모듈은 서로 독립된 모듈로서 병렬 처리 과정을 거친다. 기하 정보 획득 및 영상의 기하 보정 과정이 순차적으로 구성되어 있는 시스템에서는 실시간에서의 영상 기하 보정 및 출력에 대한 성능이 소프트웨어 모듈의 자체 성능과는 상관없이 영상 입력부의 적외선 카메라 자체의 성능에 큰 영향을 받게 된다. 따라서 실시간에서 자연스러운 영상 출력이 가능하게 하기 위해서는 기하 정보 획득 및 계산 모듈과 실제 영상의 기하 보정 모듈을 병렬 처리를 하도록 설계하여 시스템의 성능이 카메라의 성능에 의존하지 않도록 하였다.

본 발명에서 개발한 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템은 카메라로 입력된 영상을 기반으로 영상이 투영될 대상의 기하 변형에 대한 정보를 계산하고 그에 따라 프로젝터 출력 영상을 보정하여 출력함으로써 평면이 아닌 변형 가능한 곡면에서도 만족스러운 영상을 보장한다.

개발한 시스템은 일반적인 경우 이외에도, 공간 증강 현실기반 입체 영상 디스플레이 시스템의 국산화로 고비용의 수입을 대체하여 시장 원가를 절감하고, 해외 수출 및 해외 시장 선점에 기여할 것이다.

또한, 본 발명을 이용하여 다양하고 효율적인 메시지 전달이 가능한 전시 및 광고 시스템으로 활용이 가능하며, 관련 콘텐츠 시장(미래형 게임 등)으로의 응용력이 높아 다양한 형태의 사업으로 발전이 가능하다.

본 발명에 따른 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템의 구성을 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.

하기에서는 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적 인 설명이 본 발명의 요지를 불필요하게 흐릴 수 없다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 볼 발명에서의 기능을 고려하여 정의된 용어들로서 이는 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명에 따른 카메라 입력 영상을 통한 기하 보정 결과를 프로젝터로 출력하는 시스템의 구성을 나타낸 개요도이고, 도 2는 본 발명에 따른 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템에 의해 구현된 내부 순서도이다.

도 1 및 도 2를 참고하면, 본 발명에 따른 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템은, 기하 정보 계산의 기반이 되는 적외선 물질로 표시된 프로젝터 스크린과 영상입력을 위한 카메라와 보정된 영상을 출력하기 위한 프로젝터로 구성된다.

먼저, 최종 출력을 위해 설치된 프로젝터 상단에 영상 입력을 위한 카메라를 설치한다. 이때, 카메라는 프로젝터의 영상 투영가능 화각과 동일하거나 그보다 더 넓은 화각의 영상 입력이 가능해야 한다.

설치된 카메라와 프로젝터가 향하고 있는 스크린에는 사람의 눈으로 볼 수 없는 적외선 물질로 특별한 마커가 그려져 있다. 이러한 적외선 마커는 카메라를 통해 보았을 경우에만 관찰이 가능하며, 프로젝터 스크린의 위치 및 기하 정보를 담고 있다. 또한, 일반적인 위치 인식을 위한 마커의 경우에는 프로젝터에서 출력된 영상이 마커 위에 투영되는 경우에 자연스러운 결과물을 얻을 수 없기에 마커 영역에 대한 전처리를 거쳐서 영상을 출력하게 되는데, 본 발명의 시스템의 마커는 사람의 눈에 보이지 않는 특징으로 인하여 프로젝터를 통한 영상을 출력함에 있어서 마커와 겹쳐지는 투영영상에 대한 이미지 보정을 하지 않아도 된다.

이렇게 적외선 마커를 이용한 기하 정보는 프로젝터 위에 설치되어 있는 카메라를 통해서 입력되는데, 잡음 및 불필요한 정보를 제거하기 위해서 본 발명에서 사용되는 카메라에서는 가시광선을 차단 해주는 적외선 필터를 사용한다. 일반적인 카메라의 경우 깨끗한 영상입력을 위하여 화상소자(CCD, Charge Coupled Device)의 전면에 적외선 차단 필터를 부착한다. 하지만, 본 발명에서 사용하는 카메라는 적외선 차단 필터를 제거하고, 가시광선 차단 필터를 사용함으로써, 깨끗한 적외선 영역의 영상입력이 가능하다.

이와 같이 입력된 적외선 영역의 이미지는 도 2에 도시된 바와 같이 내부적인 계산을 통해 프로젝터로 출력할 영상을 보정하게 된다. 카메라로 입력 받은 마커 영상을 이진화를 통하여 보다 선명하게 보정하고, 이를 통하여 실시간으로 스크린의 기하 정보를 계산한다. 계산된 결과에 맞추어 두 단계의 기하 변환을 한다. 그리고 마지막으로 영상 기하 보정을 하여 프로젝터로 출력할 영상을 생성하게 된다.

이러한 과정을 거쳐서 생성된 영상을 기하 변형이 이루어지는 스크린에 투영을 시키면, 관찰자는 실시간으로 기하 변형이 이루어지며 매순간 위치 이동을 하는 스크린에서도 자연스러운 출력 영상을 관람하게 된다.

도1 시스템 하드웨어 구성도

도2 시스템 내부 알고리즘 흐름도

도3 원본이미지 및 2차 기하 변환된 이미지

도4 다양한 곡면을 위해 3차 기하 변환된 이미지

<도면의 주요 부분에 대한 부호의 설명>

1 : 카메라

2 : 적외선 필터

3 : 프로젝터

4 : 적외선 물질로 마크가 되어 있는 스크린

Claims (5)

1. 일반 프로젝터 영상 출력이나, 광고 및 홍보를 위한 영상출력과 가상 현실 및 증강 현실을 위한 영상을 프로젝터를 통하여 출력할 때, 스크린에 인간의 눈으로 볼 수 없는 적외선 마커를 이용하여 스크린의 기하 정보를 표시하고, 이를 적외선 카메라를 통하여 스크린의 실시간 기하 정보를 계산하여 그에 알맞은 보정을 거친 영상을 프로젝터로 출력하여 다양한 공간에 원하는 영상을 투영시키는 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템.
2. 제 1항에 있어서, 적외선 물질로 표시한 마커는 가시광선을 차단하고 적외선 빛만을 입력받는 적외선 카메라를 이용하여 관찰하게 되며, 이렇게 입력된 적외선 영상은 이진화를 통하여 흑백이미지로 변환하여, 이를 통해 보다 극명한 마커 이미지를 획득하는 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템.
3. 제 2항에 있어서, 입력된 마커 이미지는 스크린의 기하 정보를 계산하기 위한 근거이며, 계산되어진 스크린의 기하 정보에 알맞은 영상 보정을 위하여 다항식 변환을 하여 2차 기하 변환을 통하여 도 3과 같이 직선으로부터 곡선으로 변환을 자연스럽게 하며, 3차 기하 변환을 통하여 도 4와 같은 다양한 곡면에 적용이 가능한 이미지로 보정하여 프로젝터로 영상을 출력하는 변형 가능한 곡면의 실시간 기 하 보정을 위한 프로젝터-카메라 시스템.
4. 제 2항에 있어서, 적외선 물질로 표시한 마커는 스크린의 모서리 및 테두리의 기하 정보를 표시하기 위해서 작지만 다량으로 구성되어 스크린 전면의 기하 정보를 나타내며, 마커는 모두 독립적으로 구성되어 카메라를 통한 입력에서 마커들의 혼선을 제거한 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템.
5. 제 1항에 있어서, 프로젝터를 통해 출력될 보정된 영상 생성은 그래픽처리장치(GPU, Graphics Processing Unit)를 이용한 정점 셰이더(Vertex Shader) 방식을 통하여 계산하여, 중앙처리장치(CPU, Central Processing Unit)의 부하를 줄임으로써 실시간 영상 보정이 가능한 변형 가능한 곡면의 실시간 기하 보정을 위한 프로젝터-카메라 시스템.

Images