KR101080040B1

KR101080040B1 - 공간 증강 현실 기반 인터랙티브 디스플레이 방법

Info

Publication number: KR101080040B1
Application number: KR1020100026969A
Authority: KR
Inventors: 이동훈; 윤태수; 한상헌; 김정훈; 현상균
Original assignee: 동서대학교산학협력단
Priority date: 2010-03-25
Filing date: 2010-03-25
Publication date: 2011-11-04
Also published as: KR20110107691A

Abstract

본 발명은 공간 증강 현실 기반 인터랙티브 디스플레이 시스템 및 그 방법에 관한 것으로, 전시공간상에 고정된 사물이나 유동적인 사물에 안내 게시물을 출력하여 관찰자가 전시물을 관람하는 것만으로 해당 전시물의 정보를 획득할 수 있고 한 공간상에 존재하는 다량의 피사체에 대해서 안내할 수 있다. 또한, 빔 프로젝터와 적외선 LED를 이용하여 멀티 터치스크린을 제작하며, 반투영 거울과 대형 영상출력장치를 사용하여 공간 증강 현실을 위한 디스플레이 환경을 구현함으로써, 몰입감과 현실감을 높일 수 있다.
본 발명에 따른 공간 증강 현실 기반 인터랙티브 디스플레이 시스템은, 사용자로부터 콘텐츠 진행을 위한 신호를 입력받는 멀티 터치 스크린과; 정지 또는 움직이는 피사체를 전시하는 전시공간과; 상기 전시공간의 피사체의 모습을 실시간 촬영하는 카메라와; 상기 멀티 터치 스크린을 통해 입력된 정보에 의해 만들어진 공간 증강을 위한 영상을 출력하는 영상출력장치와; 상기 전시공간의 모습과 상기 영상출력장치의 출력 영상이 겹쳐서 보이도록 하는 반투영 거울과; 상기 멀티 터치 스크린으로 콘텐츠 진행 화면을 출력하는 빔 프로젝터와; 상기 멀티 터치 스크린의 하부에 적외선 빛을 출력하여 인터랙션 막을 형성하는 적외선 LED 어레이 바와; 상기 멀티 터치 스크린에 손을 터치했을 때 상기 인터랙션 막에서 발산되는 적외선 빛을 영상 입력하는 적외선 카메라; 및 상기 카메라로부터 영상을 입력받아 상기 피사체의 위치 정보를 실시간으로 계산하고 상기 적외선 카메라로부터 영상을 입력받아 사용자의 터치 지점을 계산하여, 상기 멀티 터치 스크린을 통해 입력된 정보를 상기 피사체의 움직임과 같은 모양으로 움직이도록 상기 영상출력장치를 통해 출력하거나 또는 해당 터치 지점의 콘텐츠를 상기 영상출력장치를 통해 실행하는 제어 PC;를 포함하여 구성한다.

Description

공간 증강 현실 기반 인터랙티브 디스플레이 방법{METHOD FOR DISPLAY SPATIAL AUGMENTED REALITY-BASED INTERACTIVE}

본 발명은 공간 증강 현실 기반 인터랙티브 디스플레이 방법에 관한 것으로, 보다 상세하게는 관찰자가 전시되어 있는 사물을 보는 것만으로도 해당 사물에 대한 정보를 쉽게 획득할 수 있도록, 각각의 사물에 대한 정보를 전시되어 있는 사물의 측면에 출력해 주는 공간 증강 현실 기반 인터랙티브 디스플레이 방법에 관한 것이다.

또한, 본 발명은 빔 프로젝터와 적외선 LED를 이용하여 멀티 터치스크린을 제작하며, 반투영 거울과 대형 영상출력장치를 사용하여 공간 증강 현실을 위한 디스플레이 환경을 구현한 공간 증강 현실 기반 인터랙티브 디스플레이 방법에 관한 것이다.

일반적으로, 박물관이나 전시장 내의 전시물에 관한 정보는 전시장 벽면에 부착된 패널 상에 그림이나 문자 형태로 간단하게 설명되어 있어 전시물에 관해 깊이 있는 지식이나 정보를 얻는데 한계가 있다. 기존의 전시 시스템들은 개별적인 전시보다 유사 물품들에 대한 전반적인 구성과 각각의 안내가 필요할 경우가 일반적인데, 관람자가 전시물품에 대한 정보를 취득하기 위하여 각각의 전시물을 관찰하고 전시공간과 별도로 마련되어 있는 게시물에서 해당 정보를 찾아보기란 적지 않은 시간이 소요되며 쉽지 않은 일이다. 특히, 단체 관람 시 관찰자 각자가 원하는 정보를 획득하지 못하고 이동해야 하는 경우도 많이 볼 수 있다.

이러한 기존의 한계점들을 해결하고자 음성 안내 시스템이 구축되어 있지만 전시관 내부 여러 곳에서 동시에 음성 안내 시스템을 작동할 경우 관찰자는 본인에게 필요한 음성 안내를 듣기가 힘들며 원하는 정보를 지나쳤을 경우 많은 시간을 들여서 다시 음성 안내를 들어야 한다는 문제가 발생한다. 또한, 어린이들이 패널에 적힌 내용을 노트에 필기하느라 전시 부스 앞에 모여 있어 다른 관람객에게 방해가 되는 경우도 있으며, 전시물의 명칭만 영어로 표시되어 있어 전문가가 아닌 일반 외국인의 경우 전시물이 어떤 것인지 상세한 내용을 알 수 없는 문제가 발생한다.

이러한 문제점을 해결하기 위하여 국내 공개특허 제2005-0071114호(무선 단말기를 이용한 유물 안내 서비스시스템 및 그 방법)와, 국내 공개특허 제2002-0059150호(전시물 상세정보 안내 서비스 방법)와, 국내 공개특허 제2003-0055236호(전시물 현장 안내 서비스 제공 방법 및 시스템)와, 국내 공개특허 제2003-0057053호(이동통신을 이용한 관광 및 전시물 관람 정보제공 서비스 방법)에에는 전시물 또는 전시물의 주변에 태그 장치를 설치하고, 관람객 단말기(PDA, 핸드폰 등)를 이용하여 전시물에 근접하면 태그 장치를 통해 전시물의 안내를 제공하는 시스템에 대해 개시되어 있다.

그러나, 이러한 종래 기술은 이동통신 단말기를 이용하여 전시물의 정보를 제공함으로써 막대한 초기 비용이 소요될 뿐만 아니라 단순한 정보만을 제공하였다. 이에 따라, 종래에는 관람자의 몰입을 극대화하기 위해 가상현실 기술을 접목한 전시 환경 시스템이 개발되었다. 하지만, 이 경우에도 거대한 설치 공간과 막대한 비용 초래로 특수한 형태의 일부 전시물에 대한 표현이라는 한계를 지니고 있다. 특히 HMD(Head Mount Display) 등과 같은 고가의 장비가 부가적으로 필요할 뿐만 아니라 소수의 관람자를 대상으로 하고 있기 때문에 몰입의 극대화에는 한계를 지니고 있다.

또한, 종래의 전시 시스템은 전시물에 대한 안내를 위한 방법으로 전시공간과 별도로 마련되어 있는 사진과 글로 이루어진 안내판을 설치하여 단순한 고정된 물체에 대해서만 정보를 제공하고, 호기심을 가지고 관련 정보를 얻으려해도 짧은 시간에 원하는 정보를 획득하기에 많은 한계가 발생하였다.

최근에는 별도의 도구 없이 사용자의 손으로 자연스럽게 상호작용을 할 수 있는 멀티 터치 스크린에 대한 연구가 활발하다. 그리고 디스플레이를 위한 방법으로 기존의 2D 영상보다 더 현실감 있는 3D 영상이 주를 이루고 있으나, 최근에는 3D 영상보다 더 실제와 유사한 영상을 제공하기 위하여 공간 증강 현실을 이용한 디스플레이에 대한 연구가 활발하다.

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 전시공간상에 고정된 사물이나 유동적인 사물에 안내 게시물을 출력하는 형태로 구성하여 관찰자가 전시물을 관람하는 것만으로 해당 전시물의 정보를 획득할 수 있고 한 공간상에 존재하는 다량의 피사체에 대해서 안내하는 공간 증강 현실 기반 인터랙티브 디스플레이 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는 단순히 전시물에 대한 안내를 하는 것에 그치지 않고, 관람객의 흥미를 유발시키며 그와 더불어서 사용자가 직접 참여하여 시스템과 상호작용을 통한 진행으로 학습할 수 있는 형태의 교육용 플랫폼을 제공하는 공간 증강 현실 기반 인터랙티브 디스플레이 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 빔 프로젝터와 적외선 LED를 이용하여 멀티 터치스크린을 제작하며, 반투영 거울과 대형 영상출력장치를 사용하여 공간 증강 현실을 위한 디스플레이 환경을 구현한 공간 증강 현실 기반 인터랙티브 디스플레이 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 실제 영상을 기반으로 최소한의 가상영상을 증강시켜서 보여줌으로써 몰입감과 현실감을 높인 공간 증강 현실 기반 인터랙티브 디스플레이 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 사용자가 입력한 정보를 공간 증강 현실기반으로 조성된 실제 영상으로 확인 가능하게 함으로써 몰입감과 현실감을 높인 공간 증강 현실 기반 인터랙티브 디스플레이 방법을 제시하는 데 있다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

전술한 기술적 과제를 해결하기 위한 방안으로 본 발명은 공간 증강 현실 기반 인터랙티브 디스플레이 방법에 있어서,
(a) 전시공간의 피사체 모습을 카메라로 실시간 촬영하는 단계와;
(b) 멀티 터치 스크린을 통해 사용자로부터 콘텐츠 진행을 위한 신호를 입력받는 단계와;
(c) 상기 멀티 터치 스크린에 손을 터치했을 때 상기 멀티 터치 스크린의 하부에 적외선으로 형성된 인터랙션 막에서 발산되는 적외선 빛을 적외선 카메라로 영상 입력하는 단계와;
(d) 상기 카메라의 영상 신호를 영상 처리하여 상기 피사체의 위치 정보를 계산하고 상기 적외선 카메라로부터 영상을 입력받아 사용자의 터치 지점을 계산하여, 상기 멀티 터치 스크린을 통해 입력된 정보를 상기 피사체의 움직임과 같은 모양으로 움직이도록 영상출력장치를 통해 출력하거나 또는 해당 터치 지점의 콘텐츠를 상기 영상출력장치를 통해 출력하는 단계; 및
(e) 상기 전시공간의 모습과 상기 영상출력장치에서 출력되는 영상 정보를 반투영 거울을 통해 겹쳐서 보이도록 하는 단계;
를 포함하되,
상기 (d) 단계에서 피사체의 위치정보는 한 개의 피사체에 대해 백그라운드 모델링(Background Modeling) 트래킹 알고리즘을 통해 피사체의 위치 좌표를 계산하고, 여러 개의 피사체에 대해 캠시프트(CamShift) 트래킹 알고리즘을 통해 피사체의 위치 좌표를 계산하며,
또한 상기 (e)단계에서 영상출력장치에서 출력되는 영상정보는 반투영 거울의 기울기에 의해 왜곡될 정도를 미리 계산한 후 영상의 출력시 변형될 영상을 반대로 보정하는 반사 변환 행렬을 이용하여, 상기 반투영 거울의 기울기에 따라 알맞은 값으로 보정하여 출력하는 것을 특징으로 하는 공간 증강 현실 기반 인터랙티브 디스플레이 방법을 과제 해결 수단으로 한다.

삭제

본 발명에 따르면, 종래의 전시관 안내 시스템에 차세대 디스플레이 기술을 접목시켜 고정된 사물에만 적용하던 공간 증강 현실 기술을 동적인 사물에 적용함으로써 다양한 3차원 콘텐츠 제작에 효율적으로 사용할 수 있다. 이는 단순 관람형태의 수족관에서 빠르고 정확한 정보를 얻을 수 있는 교육적인 면에서도 효과적이다.

또한, 공간 증강 현실기반 입체 영상 디스플레이 시스템의 국산화로 고비용의 수입을 대체하여 시장원가를 절감하고 해외 수출 및 해외 시장 선점에 기여할 수 있다.

또한, 본 발명을 이용하여 다양하고 효율적인 메시지 전달이 가능 한 전시 및 광고 시스템으로 활용이 가능하며, 관련 유관 콘텐츠 시장(미래형 게임 등)으로의 응용력이 높아 다양한 형태의 사업으로 발전이 가능하다.

또한, 실제 영상을 기반으로 최소한의 가상영상을 증강시켜서 보여줌으로써, 가상 현실 환경에 비하여 저비용으로 구성이 가능하며, 몰입감과 현실감을 높여 학습에 대한 효율을 높일 수 있다.

또한, 콘텐츠의 주 캐릭터를 사용자의 입력을 통해서 생성함으로써 흥미와 관심을 유발시킬 수 있다.

또한, 음성 안내 시스템과 같이 다른 전시물을 관람중인 타인에게 피해를 주지 않으며, 단체 관람 시 모든 관찰자가 자신이 원하는 정보를 획득하는데 불편함이 없다.

또한, 전시되는 콘텐츠에 대한 관심과 호기심을 유도하고 해당 정보를 간편하게 얻을 수 있으며, 공간 증강현실 기술을 활용하여 부가적인 장비 없이 비교적 좁은 공간에서도 시연 가능하다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

도 1은 본 발명의 바람직한 실시 예에 의한 공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 구성도
도 2는 본 발명의 시스템 동작 원리를 나타낸 내부 순서도
도 3은 배경과 피사체를 분리하여 피사체의 위치 좌표를 알아내는 과정을 나타낸 도면
도 4는 캠시프트(CamShift) 알고리즘을 통한 각기 다른 두 피사체의 위치를 검출하는 모습을 나타낸 도면
도 5는 왜곡된 입력 영상 때문에 발생한 오류를 나타낸 도면
도 6은 보정된 영상을 기반으로 깊이 정보를 계산하는 방법을 나타낸 도면
도 7은 왜곡 보정이 적용된 카메라 입력 영상을 나타낸 사진
도 8은 피사체의 위치로 이동을 하던 중에 피사체의 위치에 변화가 생기면 계산되어진 좌표값을 향하여 피사체의 위치까지 유연한 움직임으로 추적하는 방법을 설명하기 위한 도면
도 9는 본 발명의 바람직한 다른 실시 예에 의한 공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 구성도
도 10은 적외선 LED 어레이 바(IR-LEDs Array Bar)의 제품 사진
도 11 내지 도 39는 본 발명에 의한 공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 구현 예를 나타낸 캡처 화면으로서,
도 11 내지 도 15는 멀티 터치 스크린을 통해 사용자가 입력한 정보를 시스템 내부의 전시공간에 콘텐츠로 실현한 예를 보인 캡처 화면이고,
도 16 내지 도 39는 전시공간의 전시 환경에 대한 교육 학습 콘텐츠의 구현 예를 보인 캡처 화면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명되는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.

공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 실시 예

도 1은 본 발명의 바람직한 실시 예에 의한 공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 구성도이고, 도 2는 본 발명의 시스템 동작 원리를 나타낸 내부 순서도이다.

도 1 및 도 2를 참고하면, 본 발명에 따른 공간 증강 현실 기반 인터랙티브 디스플레이 시스템은, 영상출력장치(110), 반투영 거울(120), CCD 카메라(130), 실제 전시공간(140)으로 구성된다.

먼저, 상기 영상출력장치(110)는 LCD 디스플레이 장치로 구성되며, 도 2의 알고리즘에 의해 계산되어 진 영상을 최종으로 출력하게 된다. 그 다음, 기울어진 상태로 설치되어 있는 상기 반투영 거울(120)은 상기 영상출력장치(110)에서 출력된 영상이 투영되는 면으로써, 거울의 특성상 반사되어 진 영상과 함께 거울 뒷면의 실제 공간의 모습을 관람자가 동시에 볼 수 있도록 한다. 그리고, 시스템의 천장에 설치되어 있는 상기 카메라(130)는 실제 전시공간(140)의 모습을 실시간으로 촬영을 하여 움직이는 물체의 위치 정보를 계산하기 위한 영상을 제공한다. 마지막으로, 상기 반투영 거울(120)의 뒤쪽에 설치된 상기 실제 전시공간(140)은 움직이는 피사체를 위한 공간으로 할당하여 전시를 위한 유동 피사체를 배치한다.

본 발명은 거울 뒷면의 실제 전시공간(140)상에 유동 피사체를 전시할 공간과 유동 피사체를 전시하고, 전시공간(140)의 윗면과 앞면을 천장에 설치되어 있는 카메라(120)로 실시간 영상을 입력받으며, 내부의 계산에 의해 생성된 영상을 상기 영상출력장치(110)로 출력하여, 상기 반투영 거울(120)에 투영함으로써 전시물을 안내하게 된다.

본 발명의 공간 증강 현실 기반 인터랙티브 디스플레이 시스템은 도 2에 도시된 바와 같이, 내부적인 계산을 통해 상기 영상출력장치(110)에 영상을 출력하게 된다. 이하, 이해를 돕기 위해 상기 전시공간(140)은 수족관을 예로 들어 설명하기로 한다.

먼저, 상기 카메라(130)를 통해 입력받은 영상에서 상기 수족관(140)의 앞면 영역을 기반으로, 실시간으로 피사체의 위치 좌표를 계산한다(단계 S100∼S110). 이와 동시에, 입력받은 영상의 수족관(140) 윗면에 해당하는 수면의 영역만을 기반으로 피사체의 깊이 정보를 계산한다(단계 S120).

여기서, 실시간 피사체의 위치 좌표를 계산하는 방법은 다음과 같다.

본 시스템에서는 한 개의 피사체에 대해서는 백그라운드 모델링(Background Modeling)이라는 트래킹 알고리즘을 통해 피사체의 위치 좌표를 계산하였으며, 여러 개의 피사체에 대해서는 캠시프트(CamShift)라는 트래킹 알고리즘을 통해 위치를 계산하였다. 아래는 알고리즘의 내용이다.

상기 CCD 카메라(130)로 입력되는 영상에서 배경을 분리하고 피사체의 위치좌표를 계산하기 위해 배경과 피사체 각각의 컬러 모델에 대한 학습을 해야 한다. 우선 RGB 컬러 모델에서 학습할 배경영상에 대해서 평균영상과 표준편차영상을 구한다. 본 과정에서 컬러의 채널 특성을 이용하기 때문에 영상의 R, G, B 컬러를 각각 분할한다.

하지만, 단순히 RGB 컬러 모델을 기반으로 평균영상과 표준편차 영상을 사용할 경우, 피사체에 의하여 발생하는 그림자로 인하여 피사체 영상 위치 계산에 오차가 발생한다. 이러한 문제를 해결하기 위하여 RGB 컬러 모델을 정규화하여 평균영상과 표준편차 영상을 아래의 수학식 1과 같은 방법으로 구한다.

상기 수학식 1에서

는 각각의 컬러 채널이며,

는 정규화 된 각각의 컬러 채널이다. 상기 수학식 1에서

를 나타낸다. 정규화된 rgb 컬러 모델에서는 밝기 성분이 제거되기 때문에 밝기에 대한 컬러 구분이 없다. 그 결과 입력되는 피사체의 영상으로부터 그림자 영역을 제거할 수 있다.

상기 수학식 2와 같은 방법으로 정규화된 rgb 컬러 모델의 평균영상과 표준편차 영상을 구한다.

는 학습 될 배경 영상,

은 학습할 전체 프레임 수를 나타낸다.

는 각 채널에 대한 평균 영상,

는 각 채널에 대한 표준편차 영상이다. 상기 수학식 3에서

는 정규화 된 각 채널에 대한 평균영상,

는 정규화 된 각 채널에 대한 표준편차 영상이다.

배경 학습을 통해서 배경의 평균영상과 표준편차 영상이 구해지면, 실시간으로 입력되는 영상과 비교한다. 계산되어 진 영상과 실시간으로 입력되는 영상에서 각각의 픽셀 차를 계산하여 기존 영상의 픽셀과 다른 값을 가진 픽셀들을 검출한다. 이때 검출된 픽셀들을 블랍(Blob)으로 지정하며, 크기 비교를 통하여 가장 큰 범위의 블랍(Blob)을 피사체로 지정하며, 나머지 블랍(Blob)들은 노이즈로 인한 오류 값으로 간주하여 제거한다. 최종적으로 피사체의 블랍을 구성하는 픽셀들의 평균값을 계산하여 피사체의 중심 좌표를 얻게 된다.

도 3은 배경과 피사체를 분리하여 피사체의 위치 좌표를 알아내는 과정을 나타낸 도면으로, (a)는 배경의 평균영상 검출, (b)는 피사체(물고기) 삽입, (c)는 배경과 피사체 분리, (d)는 피사체의 중심점 획득을 각각 나타낸다.

하지만, 이러한 배경 모델링 기법을 사용할 경우, 배경 영상의 변화를 계산하여 사용하기 때문에 목표 피사체가 한 개일 경우 배경 영상과 피사체를 분리하는데 지장 없지만 구분해야 하는 피사체가 두 개 이상일 경우 두 피사체가 조금이라도 겹쳐졌다가 분리 되는 경우, 계산된 위치 좌표와 해당 피사체가 일치 하지 않을 수 있는 문제가 발생한다.

앞에서 언급한 바와 같이 배경 모델링 기법을 사용할 경우 발생하는 문제점을 보완하기 위해서 캠시프트(CamShift) 기반 트래킹 기법을 사용한다.

도 4는 캠시프트(CamShift) 알고리즘을 통한 각기 다른 두 피사체의 위치를 검출하는 모습을 나타낸 도면이다.

컬러 모델이 여러 다른 조명 환경 상황에 적절히 조절된다면 컬러 정보는 특징 부분을 확인하기 위한 효율적인 도구가 될 것이다. 이러한 컬러 정보를 이용하는 알고리즘인 민시프트(MeanShift)와 캠시프트(CamShift) 알고리즘은 상대적으로 적은 계산으로 실시간 트래킹을 할 수 있다. 하지만 민시프트(MeanShift) 알고리즘의 경우, 피사체와 카메라의 거리 변화에 따른 피사체 크기변화를 새로 업데이트 하지 못하여 피사체의 중심을 찾을 수 없는 문제가 있다. 그러한 민시프트(MeanShift)의 단점을 보완한 캠시프트(CamShift)는 불규칙한 피사체의 움직임을 트래킹 할 수 있으며, 다른 물체가 현재 트래킹하는 피사체에 100% 겹치지 않는 한 트래킹 하던 피사체의 위치 좌표를 획득할 수 있다.

다음으로, 수면의 영역을 기반으로 피사체의 깊이 정보를 계산하기 위해서 본 발명에서는 전시되어 있는 사물의 윗면에서 모서리 4곳의 꼭지점을 지정하여 앞면과 뒷면의 경계선을 할당하고 해당 구간을 일정한 간격으로 나누어 앞면에서 뒷면으로 깊이 정보 값을 적용한다.

하지만, 도 5의 (a) 형태로 입력되는 영상은 도 5의 (b)와 같이 카메라가 피사체를 바라보는 각도에 의한 왜곡이 발생하기 때문에 입력된 영상을 도 5의 (c)와 같이 일방적으로 나눌 경우에는 도 5의 (d)와 같은 실질적인 거리와는 다른 오차가 발생하게 된다. 카메라의 시점에서 일관 되게 나눌 경우 실질적으로는 단위당 거리가 앞쪽일수록 짧게 되고 뒤쪽으로 갈수록 점차 길어지게 된다. 이러한 영상 왜곡에 의한 불규칙적으로 할당되는 오류를 수정하기 위하여 호모그래피 행렬(Homography Matrix)을 사용하여 카메라가 피사체를 바라보는 각도에 대한 입력 영상의 오류를 보정 한다.

어느 한 평면에 대하여 그 평면 위에 있는 점과 다른 한 평면의 대응점은 3×3 행렬로 표현이 가능하다. 여기에서 3×3 행렬은 두 평면 사이의 사영 변환 관계를 나타내는데, 이것을 호모그래피 라고 한다. 그러한 호모그래피 행렬을 사전식으로 배열한 9×1 벡터를 평면 위에 있는 점과 다른 한 평면의 대응점을 조합한 n×9 행렬에 곱하면 0이 된다. 이 과정에서 호모그래피 행렬을 사전식으로 배열한 9×1 벡터는 SVD (Singular Value Decomposition)를 통해 구할 수 있다. 하지만 여기서 평면 위에 있는 점과 다른 한 평면의 대응점을 조합한 n×9 행렬은 정방 행렬이 아니기 때문에 SVD를 바로 적용할 수 없다. 이를 해결하기 위하여 유사 역원을 이용한다.

상기 수학식 4와 같이,

에서

는

행렬을 사전식으로 배열한

벡터이며,

는

와

를 조합한

행렬이다. 여기서,

는 SVD를 통하여 계산을 하며, 호모그래피 행렬인

는

의 가장 작은 고유값에 해당하는 고유벡터들로 구성된다.

위와 같은 과정을 통해서 계산되어진 호모그래피 행렬을 이용하여 도 6의 (b)와 같은 보정된 영상을 구하고, 그 영상을 도 6의 (c)와 같이 일정한 간격으로 배분하여, 도 6의 (d)와 같은 기준면을 생성하여 피사체의 위치에 따른 깊이 정보 값을 산출한다. 이는 그림을 통하여 확인할 수 있다.

실제 입력 영상인 도 7의 (a)를 대상으로 호모그래피 행렬을 적용하여 도 7의 (b)를 생성하고, 그에 따른 피사체 위치를 기준으로 z좌표를 지정한다.

이러한 방법으로 계산된 피사체의 위치 좌표인 x, y, z값을 사용하여 대상에 알맞은 안내 영상을 출력하게 되는데, 이때 이동하는 피사체의 방향에 알맞은 변화를 주게 되어 더욱 자연스러운 결과를 얻게 된다. 이러한 과정에서 발생할 수 있는 프레임 저하로 인한 출력 영상의 끊김 현상을 방지하기 위하여 병렬처리를 통한 유연한 움직임의 추적 기법으로 영상을 출력하여 더욱 자연스러운 움직임의 결과를 확인할 수 있다.

여기서, 본 발명에서는 실시간으로 해당 좌표에 안내문을 출력하는 방식 대신에 계산되어 진 좌표값을 향하여 피사체의 위치까지 유연한 움직임으로 추적을 하는 알고리즘을 적용하였다.

도 8은 피사체의 위치로 이동(a)을 하던 중에 피사체의 위치에 변화가 생기면 질량과 가속도를 고려하여 방향을 전환(b)하여 피사체의 위치까지 유연한 움직임으로 도달하게 된다(c).

유동적인 피사체를 추적하는 피사체에 사용자가 적절한 값으로 질량을 설정하면, 해당 피사체는 자신의 가속도와 질량에 알맞은 유연한 움직임을 보여준다. 정지된 피사체가 피사체의 이동을 감지하고 추적을 시작할 때, 설정된 가속도에 따라서 민첩함이 변하고, 피사체의 진행 방향이 변하여 회전을 할 경우, 설정된 질량에 따라 회전하는 형태가 변한다. 그 결과 이동을 멈춘 피사체의 주변에 도착하면, 추적을 멈춘 피사체는 이동을 멈추고 피사체의 위치 좌표 변화를 주시하게 된다.

이러한 과정을 통하여 생성되는 영상을 기울어져 설치되어 있는 반투영 거울에 바로 투영을 할 경우, 반투영 거울의 기울기에 따른 왜곡이 발생하게 된다. 이처럼 거울의 기울기에 따라 발생하는 왜곡은 반사 변환 행렬을 이용하면 해당 기울기에 따라 알맞은 값으로 보정이 가능하다.

여기서, 상기 반투영 거울(120)을 이용하여 공간 증강 현실 환경을 제작할 경우 고려해야 하는 사항이 있다. 상기 반투영 거울(120)에 비춰 진 영상은 거울의 기울기에 의한 왜곡이 발생한다. 그러한 문제점을 해결하기 위한 방법으로 반사 변환 행렬(Reflection Matrix)을 사용한다. 기울어진 거울에 의해서 왜곡될 정도를 미리 계산하여, 영상을 출력 시에 변형될 영상을 반대로 보정 한 뒤에 출력하는 것이다.

본 발명에 적용한 반사 변환 행렬(수학식 3)은 컴퓨터 그래픽스 분야에서 널리 사용되고 있는 OpenGL의 모델 뷰 변환 과정(Model-view Transformation)에서 접목되어 사용된다.

상기 수학식 5의

는 일반적인 평면의 방정식을 통하여 계산할 수 있다. 상기 반투영 거울(120)이 바라보는 법선 벡터

와 상기 반투영 거울(120)상에 존재하는 임의의 점

와 원점 0, 0, 0이 있을 경우 평면의 방정식은

과 같다. 즉, 평면의 방정식을 이용하면 기울어진 거울로 인하여 생길 수 있는 왜곡을 보정 하기에 알맞은 반사 변환 행렬을 구할 수 있다.

일반적인 OpenGL에서는 물체별로 모델링에 편하게 설정된 좌표계가 모델 좌표계(Object Coordinates)이다. 개별 물체를 모았을 때 이를 한꺼번에 아우를 수 있는 좌표계가 전역 좌표계(World Coordinates)이며, 물체를 바라보는 시점을 기준으로 표현한 것이 시점 좌표계(Eye Coordinates)이다. 하지만 반사 변환 행렬을 접목 시킬 경우 전역 좌표계와 시점 좌표계에 작은 변화가 생긴다.

앞에서 설명한 바와 같이, 생성된 전역 좌표계에 반사 변환 행렬을 적용하여 반사된 전역 좌표계(Reflected World Coordinates)를 생성한다. 기존에 계산되어 진 시점 좌표계 또한 새로운 반사된 시점 좌표계(Reflected Eye Coordinates)로 사용하게 된다. 이러한 방법으로 거울의 기울기에 의해서 영상이 왜곡된 것을 변형하여 출력함으로써 거울의 기울기에 의한 왜곡 문제를 해결할 수 있다.

마지막으로, 반사 변환 행렬을 통하여 보정된 영상을 설치되어 있는 상기 반투영 거울(120)에 투영을 시키면, 관찰자는 거울 뒷면에 설치되어 있는 실제 공간에서 움직이는 피사체에 대한 정보를 공간 증강되어 나타나는 안내문에 의해 쉽게 얻을 수 있다.

공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 다른 실시 예

도 9는 본 발명의 바람직한 다른 실시 예에 의한 공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 구성도이다.

상기 공간 증강 현실 기반 인터랙티브 디스플레이 시스템은 도 9에 도시된 바와 같이, 공간 증강 현실 디스플레이 또는 시스템 내부의 실제 전시공간(201), 영상출력장치(202), 멀티 터치 스크린(203), 적외선 LED 어레이 바(IR-LEDs Array Bar: 204), 적외선 카메라(Infrared Camera: 205), 전반사 거울(206), 반투영 거울(207), 전반사 거울(208), 카메라(209), 백색 LED 조명(210), 수직이동장치(211), 빔 프로젝터(212), 제어 PC(213)를 포함하여 구성된다.

여기서, 상기 공간 증강 현실 디스플레이(201)는 사용자로 하여금 공간증강된 영상을 관람하게 한다. 즉, 상기 멀티 터치 스크린(203)을 통해 사용자가 입력한 정보(그림, 문자 등)가 상기 시스템 내부에 설치된 실제 전시공간(201) 안에 들어 있는 것처럼 보이는 공간증강 현실 환경을 관람할 수 있도록 한다.

상기 영상출력장치(202)은 상기 멀티 터치 스크린(203)을 통해 사용자가 입력한 정보를 가지고 상기 제어 PC(213)에서 만들어진 공간증강을 위한 영상을 상기 반투영 거울(207)로 출력한다.

상기 멀티 터치 스크린(203)은 모니터의 역할로 정보를 전달하며 콘텐츠 진행을 위한 사용자의 정보를 입력받는다. 상기 멀티 터치 스크린(203)에는 상기 빔 프로젝터(212)에서 출력된 영상이 상기 전반사 거울(206)에 반사되어 디스플레이되며, 사용자에게 콘텐츠 사용 방법에 대해 안내한다. 상기 멀티 터치 스크린(203)은 아크릴 판과 리어스크린으로 구성된다.

상기 적외선 LED 어레이 바(IR-LEDs Array Bar: 204)는 상기 멀티 터치 스크린(203)을 통해 입력되는 사용자의 터치 지점을 감지하기 위해 상기 멀티 터치 스크린(203)의 상단과 하단(또는, 좌측 및 우측)에 설치되어 적외선 빛을 출력하여 상기 멀티 터치 스크린(203)의 하부에 인터랙션 막(Interactive Surface)을 형성한다. 이때, 상기 멀티 터치 스크린(203)에 손을 터치했을 때 손이 터치 된 지점의 상기 인터랙션 막에서 적외선 빛이 발산되게 된다.

상기 적외선 LED 어레이 바(204)는 도 10의 사진과 같이, 복수 개의 적외선 LED(IR-LEDs: 220)를 일정 간격(예를 들어, 3cm 간격)을 두고 설치한다. 이때, 상기 적외선 LED(220)를 일정한 간격으로 배치하는 이유는 모든 영역에 대해서 적외선 빛의 양을 균일하게 하기 위해서이다. 그리고, 상기 적외선 LED(220)의 간격을 3cm로 하는 이유는 각 LED의 발열량을 고려하면서 충분한 적외선의 양을 공급받을 수 있는 거리를 시험한 결과, 3cm의 간격이 적당한 것으로 밝혀졌다. 하지만, 이값에 반드시 국한된 것은 아니며, LED 소자나 기타 다른 환경에 따라 변할 수도 있다.

상기 적외선 LED(220)는 일반적으로 45도 각도로 빛이 발산된다. 따라서, 본 발명의 적외선 LED 어레이 바(204)에서는 LED의 빛이 45°로 발산하는 것을 막기 위해 상기 적외선 LED(220)의 양쪽을 벽으로 차단함으로써 수직으로만 빛이 나갈 수 있도록 구성하여 빛의 직진성을 향상시켰다.

한편, 상기 적외선 LED 어레이 바(204)는 상기 멀티 터치 스크린(203)의 크기에 따라 상단 또는 하단에 1개만 설치하여 구성할 수도 있다.

상기 적외선 카메라(Infrared Camera: 205)는 상기 멀티 터치 스크린(203)에 사용자의 터치 지점을 영상 입력하기 위한 것으로, 상기 멀티 터치 스크린(203)에 손을 터치했을 때 상기 적외선 LED 어레이 바(204)에 의해 형성된 인터랙션 막(영역)에서 발산되는 적외선 빛을 영상 입력하게 된다.

상기 전반사 거울(206)은 상기 빔 프로젝터(212)에서 출력되는 영상을 상기 멀티 터치 스크린(203)으로 반사시키는 역할을 한다. 이때, 상기 빔 프로젝터(212)에서 출력되는 영상을 상기 전반사 거울(206)을 이용하여 반사하는 이유는 상기 빔 프로젝터(212)와 상기 멀티 터치 스크린(203)의 거리가 멀어질수록 넓은 화면의 영상을 얻을 수 있기 때문이다. 그리고, 빛의 감소가 발생하지 않기 위해서 일반거울이 아닌 전반사거울을 이용한다.

상기 반투영 거울(207)은 상기 영상출력장치(202)의 화면과 상기 실제 전시공간(201)의 사물을 겹쳐서 보이도록 하여 사용자로 하여금 공간증강 현실 환경을 관람할 수 있도록 한다.

상기 전반사 거울(208)은 상기 전반사 거울(206)과 비슷한 용도지만 반대의 동작을 한다. 즉, 상기 전반사 거울(208)은 상기 전시공간(201)의 모습을 상기 카메라(209)로 하여금 좁고 짧은 공간에서 넓은 화각의 영상을 입력받을 수 있도록 제공한다. 만약, 상기 카메라(209)의 렌즈를 광각렌즈로 사용하게 되면 이미지가 왜곡되기 때문에 왜곡된 이미지를 보정 하기 위한 장치가 더 필요하여 시스템에 불필요한 부하가 걸린다. 따라서, 상기 전반사 거울(208)을 이용하여 상기 카메라(209)의 설치 공간의 제약을 덜어내었다.

상기 카메라(209)는 상기 전반사 거울(208)을 통해 상기 전시공간(201)의 모습을 영상으로 입력하여, 유동적으로 움직이는 사물의 위치를 실시간으로 계산하기 위한 기반 영상을 입력한다.

상기 백색 LED 조명(210)은 상기 영상출력장치(202)에서 출력되는 영상의 밝기와 상기 전시공간(201)의 밝기가 유사하도록 상기 전시공간(210)의 밝기를 조절하는 조명이다. 즉, 상기 전시공간(210)과 상기 영상출력장치(202)의 밝기 차이를 줄여서 현실감을 높이기 위해 설치된 것으로, 밝기의 조절을 위해 가변저항이 설치되어 있다.

상기 반투영 거울(207)을 통해 상기 전시공간의 모습과 상기 영상출력장치(202)에서 출력되는 영상이 하나로 겹쳐서 보이기 때문에, 상기 전시공간(201)의 밝기와 상기 영상출력장치(202)에서 출력되는 영상의 밝기가 동일할수록 이질감을 느끼지 않게 된다. 그런데, 상기 영상출력장치(202)의 영상 밝기를 조절하는 데는 한계가 있기 때문에 상기 백색 LED 조명(210)을 이용하여 상기 전시공간(201)의 밝기를 상기 영상출력장치(202)에서 출력되는 영상의 밝기와 유사 또는 동일하도록 조절한다.

상기 수직이동장치(211)는 상기 영상출력장치(202)의 높낮이에 따라 사용자가 느껴지는 영상의 깊이가 달라지기 때문에 상기 영상출력장치(202)의 높낮이를 상황에 맞게 조절하기 위한 수직이동장치이다. 여기서, 증강되는 영상의 깊이 차이로 인하여 증강되는 영상이 상기 전시공간(201)의 사물과 일치하여 보이거나(알맞은 설정), 공중에 떠있거나 배경사물 안쪽으로 묻혀있는 것처럼 보일 수 있다. 그러므로, 상기 수직이동장치(211)를 이용하여 상기 영상출력장치(202)의 높낮이를 적절한 높이로 조절하게 된다.

상기 빔 프로젝터(212)는 상기 전반사 거울(206)을 통해 상기 멀티 터치 스크린(203)에 출력될 영상을 출력해 준다.

상기 제어 PC(213)는 상기 카메라(209)로부터 상기 전시공간(201)의 사물 영상을 실시간으로 입력받아 유동적으로 움직이는 사물의 위치를 실시간으로 계산하고, 상기 빔 프로젝터(212)를 통해 영상을 출력하여 상기 멀티 터치 스크린(203)에 출력한 영상이 디스플레이되도록 한다. 그리고, 상기 멀티 터치 스크린(203)에 입력되는 사용자의 터치 지점을 상기 적외선 카메라(205)를 통해 입력받아 터치 지점의 좌표값을 계산하여 해당 지점의 콘텐츠를 상기 영상출력장치(202)로 실행하거나 또는 사용자가 입력한 그림이나 문자 정보를 상기 영상출력장치(202)를 통해 디스플레이한다. 또한, 공간 증강 현실 프로그램에 따라 사용자가 상기 멀티 터치 스크린(203)에 입력한 그림 정보를 상기 전시공간(201)의 사물의 움직임과 같은 모양으로 움직이도록 상기 영상출력장치(202)에 디스플레이한다. 또한, 상기 제어 PC(213)는 상기 수직이동장치(211)를 통해 상기 영상출력장치(202)의 높낮이를 조절하며, 상기 백색 LED 조명(210)의 밝기를 제어한다. 이외에, 상기 제어 PC(213)는 시스템에서 필요한 출력 영상 및 각종 연산을 처리한다.

상기 적외선 카메라(205)는 상기 멀티 터치 스크린(203)에 손을 터치했을 때 상기 적외선 LED 어레이 바(204)에 의해 형성된 인터랙션 막(영역)에서 발산되는 적외선 빛을 영상으로 입력하여 상기 제어 PC(213)로 전송하게 된다. 상기 제어 PC(213)에서는 상기 적외선 카메라(205)에서 전송된 신호를 영상처리를 통해 손 영역의 좌표(x,y) 값을 계산하게 된다.

여기서, 손 영역의 좌표(x,y) 값을 계산하는 방법은 다음과 같다.

영상 이진화를 통하여 LED가 반사되는 영역과 그렇지 않은 영역을 나눈 뒤에 반사되는 영역에 한해서 블랍/라벨링을 거쳐 호모그래피 행렬을 이용하여 왜곡을 보정한 뒤 좌표의 최상위점을 인식하고 있는 좌표로 계산하여서 작동한다. 여기서, 상기 블랍은 영상 이진화를 하였을 때, LED가 반사된 영역들을 묶는 역할을 한다. 즉, 사람의 손이 하나의 픽셀(점)로 빛을 반사시키는 게 아니라 다수의 픽셀(면)로 빛을 반사시키기 때문에, 연속으로 LED가 반사되는 영역을 묶어주는 역할을 한다. 상기 라벨링은 상기 블랍을 통해 묶인 영역들에 대해 이름 그대로 번호를 지정하는 작업이다. 각 영역당 번호를 지정함으로써, 영역이 생겨서부터 사라질 때까지의 좌표값을 계산할 수 있다. 이때, 영상은 3차원이 아닌 2차원이기 때문에 (x,y)좌표로만 계산하여 (x,y)의 좌표정보 값만 계산된다.

상기 터치 지점의 좌표값을 계산한 후 해당 지점의 콘텐츠를 상기 영상출력장치(202)로 실행하거나 또는 사용자가 입력한 그림이나 문자 정보를 상기 영상출력장치(202)를 통해 디스플레이한다. 또한, 공간 증강 현실 프로그램에 따라 사용자가 상기 멀티 터치 스크린(203)에 입력한 그림 정보를 상기 전시공간(201)의 사물의 움직임과 같은 모양으로 움직이도록 상기 영상출력장치(202)에 디스플레이한다.

이하, 본 발명의 공간 증강 현실 기반 인터랙티브 디스플레이 시스템을 실제로 구현한 예를 첨부된 도면을 참조하여 설명하기로 한다.

공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 구현 예

도 11 내지 도 39는 본 발명에 의한 공간 증강 현실 기반 인터랙티브 디스플레이 시스템의 구현 예를 나타낸 캡처 화면으로서, 도 11 내지 도 15는 멀티 터치 스크린을 통해 사용자가 입력한 정보를 시스템 내부의 전시공간에 콘텐츠로 실현한 예를 보인 캡처 화면이고, 도 16 내지 도 39는 전시공간의 전시 환경에 대한 교육 학습 콘텐츠의 구현 예를 보인 캡처 화면이다.

먼저, 도 11과 같이 상기 멀티 터치 스크린(203)의 콘텐츠 화면에 "체험하기" 버튼을 누르면 상기 공간 증강 현실 디스플레이(201)에 도 12 및 도 13과 같이 보이게 된다. 이때, 도 12 및 도 13의 모습은 상기 전시공간(201)의 사물 모습과 상기 영상출력장치(202)의 영상 모습이 상기 반투영 거울(207)을 통해 겹쳐서 보이는 모습을 나타낸 것이다.

이후, 상기 멀티 터치 스크린(203)의 콘텐츠 화면이 도 14와 같이 바뀌게 된다. 도 14 내지 도 22는 사용자가 그린 물고기가 상기 전시공간(201)에 실제 물고기처럼 움직이도록 하는 콘텐츠이다.

도 14의 화면에서 하단의 "그려 보아요" 버튼을 누르면 도 15와 같은 그리기 화면이 나타난다. 상기 그리기 화면(도 80)에서 손가락으로 그림을 그릴 색을 선택한 후(도 16) 도 17과 같이 물고기 모양을 그리면 사용자가 선택한 색으로 물고기가 그려진다. 이후, "다 그렸어요" 버튼을 누르면 도 18과 같이 상기 전시공간(201)에 사용자가 그린 물고기가 실제로 살아있는 것과 같이 움직이게 된다. 이때, 사용자가 그린 물고기가 실제 물고기와 같이 움직이는 동작은 앞에서 설명한 바와 같이, 상기 전시공간(201)의 사물 모습을 실시간으로 촬영한 상기 카메라(209)의 영상 신호를 상기 제어 PC(213)에서 영상처리를 통해 움직이는 사물의 위치 정보(좌표)를 추출하여 상기 사용자가 입력한 물고기 모양의 그림에 적용하여 상기 영상출력장치(202)를 통해 출력함으로써 가능하다.

그 다음, 도 19의 화면은 손가락으로 물고기를 이용시키며 먹이를 주는 콘텐츠로서, 하단의 "넘어가기" 버튼을 누른 후 도 21과 같이 화면에 손가락을 대고 움직이면 도 24 내지 도 22와 같이 상기 물고기 모양의 그림이 손가락의 움직임에 따라 움직이면서 먹이를 먹게 된다. 이때, 먹이는 상기 영상출력장치(202)를 통해 출력되는 콘텐츠의 영상이다.

도 23 내지 도 39는 전시공간의 전시 환경에 대한 교육 학습 콘텐츠의 구현 예이다.

상기 멀티 터치 스크린(202)에 나타난 도 23의 화면은 강의 상류, 중류, 하류의 모습을 나타낸 것으로, 도 24와 같이 사용자가 화면에 표시된 상류, 중류, 하류 중 하나(예를 들어, 중류)를 터치하면 터치한 중류에 대한 간단한 설명이 풍선 말을 통해 화면이 표시된 다음, 상기 반투영 거울(207)을 통해 바라본 상기 전시공간(201)에 강의 중류가 나타난다. 물론, 상기 전시공간(201)에 나타난 강의 모습은 앞에서도 설명했듯이, 상기 영상출력장치(202)를 통해 출력된 영상이다.

다음으로, 도 26 내지 도 29는 지각과 지진에 대한 교육 학습 콘텐츠로서, 상기 멀티 터치 스크린(202)을 통해 지각의 모습과 생성과정을 순차적으로 보여준다. 도 30 내지 도 39는 사용자가 직접 체험할 수 있는 교육 학습 콘텐츠이다.

도 30과 같이, 상기 멀티 터치 스크린(202)의 화면에 그림으로 표시된 맨틀을 음성 안내에 따라 터치하면 도 31과 같이 화면이 바뀌면서 맨틀에 대한 구체적인 설명과 그림이 표시된다. 여기서, 하단의 선택 버튼을 누르면 도 32와 같이 맨틀 및 지층 구조가 그림으로 표시된다.

음성 안내에 따라 도 32의 화면에서 맨틀을 터치하면 도 33의 화면과 같이 지층 밀어 보기 창이 뜬다. 상기 지층 밀어 보기 창에서 선택 버튼을 누른 후 도 34와 같이 상기 멀티 터치 스크린(202)을 통해 양손으로 지층을 밀게 되면 도 35와 같이 지층이 밀려서 표시된다.

이어서, 지각 내부의 마그마가 지각 밖으로 분출하여 화산이 폭발하도록 도 36과 같이 상기 멀티 터치 스크린(202)을 통해 손(손가락)으로 지층 아래에서 지층 위로 선을 그어서 분출구를 만들면 도 37 내지 도 39의 화면과 같이, 상기 반투영 거울(207)을 통해 바라본 상기 전시공간(201)에 화산이 폭발하는 모습이 연출된다.

이와 같이 구성된 본 발명의 공간 증강 현실 기반 인터랙티브 디스플레이 시스템 및 그 방법은 전시공간상에 고정된 사물이나 유동적인 사물에 안내 게시물을 출력함으로서, 본 발명의 기술적 과제를 해결할 수가 있다.

또한, 본 발명의 다른 공간 증강 현실 기반 인터랙티브 디스플레이 시스템 및 그 방법은 빔 프로젝터와 적외선 LED를 이용하여 멀티 터치스크린을 제작하며, 반투영 거울과 대형 영상출력장치를 사용하여 공간 증강 현실을 위한 디스플레이 환경을 구현함으로써, 본 발명의 기술적 과제를 해결할 수가 있다.

이상에서 설명한 본 발명의 바람직한 실시 예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(당업자)라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

본 발명의 공간 증강 현실 기반 인터랙티브 디스플레이 시스템 및 그 방법은 다양하고 효율적인 메시지 전달이 가능 한 전시 및 광고 시스템으로 활용이 가능하며, 관련 유관 콘텐츠 시장(미래형 게임 등)으로의 응용력이 높아 다양한 형태의 사업으로 발전이 가능하다.

110 : 영상출력장치 120 : 반투영 거울
130 : CCD 카메라 140 : 전시공간
200 : 공간 증강 현실 기반 인터랙티브 디스플레이 시스템
201 : 공간 증강 현실 디스플레이 또는 시스템 내부의 실제 전시공간
202 : 영상출력장치 203 : 멀티 터치 스크린
204 : 적외선 LED 어레이 바(IR-LEDs Array Bar)
205 : 적외선 카메라(Infrared Camera)
206 : 전반사 거울 207 : 반투영 거울
208 : 전반사 거울 209 : 카메라
210 : 백색 LED 조명 211 : 수직이동장치
212 : 빔 프로젝터 213 : 제어 PC
220 : 적외선 LED(IR-LEDs)

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
공간 증강 현실 기반 인터랙티브 디스플레이 방법에 있어서,
(a) 전시공간의 피사체 모습을 카메라로 실시간 촬영하는 단계와;
(b) 멀티 터치 스크린을 통해 사용자로부터 콘텐츠 진행을 위한 신호를 입력받는 단계와;
(c) 상기 멀티 터치 스크린에 손을 터치했을 때 상기 멀티 터치 스크린의 하부에 적외선으로 형성된 인터랙션 막에서 발산되는 적외선 빛을 적외선 카메라로 영상 입력하는 단계와;
(d) 상기 카메라의 영상 신호를 영상 처리하여 상기 피사체의 위치 정보를 계산하고 상기 적외선 카메라로부터 영상을 입력받아 사용자의 터치 지점을 계산하여, 상기 멀티 터치 스크린을 통해 입력된 정보를 상기 피사체의 움직임과 같은 모양으로 움직이도록 영상출력장치를 통해 출력하거나 또는 해당 터치 지점의 콘텐츠를 상기 영상출력장치를 통해 출력하는 단계; 및
(e) 상기 전시공간의 모습과 상기 영상출력장치에서 출력되는 영상 정보를 반투영 거울을 통해 겹쳐서 보이도록 하는 단계;
를 포함하되,
상기 (d) 단계에서 피사체의 위치정보는 한 개의 피사체에 대해 백그라운드 모델링(Background Modeling) 트래킹 알고리즘을 통해 피사체의 위치 좌표를 계산하고, 여러 개의 피사체에 대해 캠시프트(CamShift) 트래킹 알고리즘을 통해 피사체의 위치 좌표를 계산하며,
또한 상기 (e)단계에서 영상출력장치에서 출력되는 영상정보는 반투영 거울의 기울기에 의해 왜곡될 정도를 미리 계산한 후 영상의 출력시 변형될 영상을 반대로 보정하는 반사 변환 행렬을 이용하여, 상기 반투영 거울의 기울기에 따라 알맞은 값으로 보정하여 출력하는 것을 특징으로 하는 공간 증강 현실 기반 인터랙티브 디스플레이 방법.
삭제
삭제