KR20100109420A

KR20100109420A - 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법

Info

Publication number: KR20100109420A
Application number: KR1020100026964A
Authority: KR
Inventors: 이동훈; 윤태수; 현상균; 윤창옥; 김기현; 김정훈; 강맹관; 박정필
Original assignee: 동서대학교산학협력단
Priority date: 2009-03-31
Filing date: 2010-03-25
Publication date: 2010-10-08
Also published as: KR20090038413A; KR101102953B1

Abstract

본 발명은 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법에 관한 것으로, 스크린 전면의 천장 또는 바닥에 적외선 LED 어레이 바(IR-LEDs Array Bar)를 설치하여 사용자가 인터랙션할 수 있는 인터랙티브 막(interactive surface)을 생성함으로써, 사용자가 콘텐츠와 인터랙션(interaction)을 자유롭게 할 수 있는 시스템을 제공한다. 본 발명에 따르면, 사용자가 디스플레이에서 멀리 있을 때에는 보통의 광고판 같은 역할을 하지만 사용자가 인터랙티브 영역에 들어오면 인터랙티브 막에서 사용자가 인터랙션을 할 수 있게 바뀌게 된다. 이를 통해, 개인 또는 다수의 사람이 다양하게 콘텐츠를 즐길 수 있다.
본 발명에 따른 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템은 영상을 디스플레이하는 스크린과; 상기 스크린의 앞쪽에 적외선을 발생하여 인터랙티브 막을 생성하는 적외선 LED 어레이 바와; 상기 스크린에 영상을 투영하는 프로젝터와; 상기 인터랙티브 막에 인체나 물체가 접촉되었을 때 반사되는 적외선 빛을 촬영하는 적외선 카메라와; 상기 적외선 카메라로부터 획득한 정보로 영상처리를 통하여 상기 인체나 물체의 인터랙션 위치의 좌표값을 추출한 후 해당 지점에 인터랙션을 발생하는 패킷을 생성하는 서버; 및 상기 서버로부터 전송받은 패킷을 분석하여 상기 패킷에 따른 콘텐츠를 상기 프로젝트를 통해 상기 스크린에 실행하는 클라이언트 PC;를 포함하여 구성하고 있다.

Description

멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법{LARGE SCALE INTERACTIVE DISPLAY SYSTEM BASED MULTI TOUCH AND METHOD OF THE SAME}

본 발명은 멀티 터치 기반의 대형 인터랙티브(interactive) 디스플레이 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 사용자가 스크린에서 멀리 떨어져 있으면 디스플레이 기능만 하고, 사용자가 스크린의 인터랙티브 영역(interactive Zone)에 들어오면 사용자에게 콘텐츠와 인터랙션(interaction)을 할 수 있는 기능을 제공하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법에 관한 것이다.

최근, 다양한 유비쿼터스 컴퓨팅 기술들이 제공하는 인터랙티브 디스플레이는 사용자에게 다양한 인터렉션 방식을 제공하고 있다. 즉, 보이지 않는 컴퓨팅으로 불리는 유비쿼터스 컴퓨팅 환경에서는 키보드나 마우스를 이용하는 기존의 명시적인 인터랙션(explicit interaction) 이외에, 자연적으로 발생하는 사용자의 행동이나 센서들에 의해 파악되는 사용자의 동작을 통한 암시적인 인터랙션(implicit interaction)방식이 요구되어 지고 있다.

인간이 시각, 청각, 촉각 등의 여러 감각을 통해 의사 소통하는 것처럼 유비쿼터스 컴퓨팅 환경의 인간-컴퓨터 상호작용에서는 다중기기로부터의 멀티 모달리티(modality)를 융합하여 종합적으로 분석하는 것이 더욱 중요해졌다. 예를 들어, 손 터치나 단순한 입력 장치만을 이용하여 사용자의 의도를 파악하는 것보다 사용자의 손의 움직임, 몸의 움직임, 얼굴 표정, 시선 방향 등을 함께 분석함으로써 전체적인 신뢰도를 높일 수 있다.

종래 기술에는 단순한 터치 방식의 디스플레이만을 제공하거나 다양한 센서 장치를 이용하여 사용자의 의도를 파악한다. 거리 센서를 이용한 Gossip Wall 등이 있고, 다양한 카메라를 이용하여 사용자의 위치 정보를 파악하는 공유형 인터랙티브 앰비언트 디스플레이 시스템이 있다.

구체적으로, 독일 프라운호퍼 연구소에서 개발한 Gossip Wall이 있다. 사용자와 디스플레이와의 거리가 아주 먼 앰비언트 영역에 있으면 일반적인 정보를 디스플레이하고, 사용자가 디스플레이에 좀 더 접근하게 되어 디스플레이가 사용자를 인지하게 되면 해당 사용자에게 적합한 콘텐츠를 보여주게 된다. 즉, 사용자가 디스플레이와 아주 근접한 인터랙션 영역으로 접근하게 되면, 모바일 단말기를 통해 보다 세부적인 정보를 얻을 수 있고 외부와의 연결도 가능하도록 되어 있다.

이와 같이, 상기 Gossip Wall은 사용자가 거리 센서 방식을 채택한 모바일 단말기를 이용하여 디스플레이에서 정보를 얻고, 모바일 단말기를 통해 사용자의 위치를 파악하게 된다. 하지만 상기 Gossip Wall은 사용자가 모바일 단말기를 항상 휴대하고 있어야만 사용자의 추적이 가능하고, 디스플레이 장치가 다양하게 제공되지 못하는 등의 문제점이 있다.

한편, Toronto 대학의 공유형 인터랙티브 앰비언트 디스플레이 시스템은 사용자와 디스플레이 간의 근접성에 따라 네 단계로 나누어 각기 다른 인터랙션을 할 수 있도록 설계하였다. 하지만 이 시스템은 사용자가 여러 타입의 인식 장치를 착용해야하는 큰 문제점이 있다.

또한, 종래 기술에 따른 디바이스 장치를 이용한 인식 방식을 채택한 인터랙션 방식은 사용자에게 자연스러운 인터랙션을 제공하지 못하는 문제점이 있다. 그리고 센서인식 방식을 통한 방법이기에 여러 사용자가 디바이스를 장착해야만 하기 때문에 다 같이 참여할 수 없다는 한계점도 발생한다.

[문헌 1] D.M. Russell, N. Streitz, T. Winograd, "Building Disappearing Compters", Communications ofthe ACM, Vol. 48, No. 3, pp. 42-48, 2005. [문헌 2] D. Vogel, R. Balakrishnan, "Interactive Public Ambient Displas: Transitioning from Implicit to Explicit Plublic to Personal, Interaction with Multiple Users", Proceedings of UIST 2004, pp.137-146, 2004. [문헌 3] E. Mynatt, J. Rowan, S. Craighill, "Digital Family Portraits: Supporting Peace of Mind ForExtend Family Members", Proceedings of HCI 2001, ACM Press, pp. 333-340, 2001. [문헌 4] Yoon, H.S. Ryu, S.J. Park, S.J. Yoo, S.M. Choi, "An Ambient Display for the Elderly", HCInternational 2007, LNCS 4555, Springer-Verlag, pp. 1043-1049, 2007. [문헌 5] S,M. Choi, Y.G. Kim, et al., "Non-photorealistic 3D Facial Animation on the PDA Based onFacial Expression Recognition", Smart Graphics 2004, LNCS 3031, pp. 11-20, 2004.

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 스크린의 전면에 인터랙티브 영역(interactive Zone)을 제공하여 사용자가 콘텐츠와 인터랙션(interaction)을 자유롭게 할 수 있도록 한 멀티 터치 기반의 대형 인터랙티브(interactive) 디스플레이 시스템 및 그 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는 사용자가 스크린에서 멀리 떨어져 있으면 디스플레이 기능만 하고, 사용자가 스크린의 인터랙티브 영역에 들어오면 사용자에게 콘텐츠와 인터랙션을 할 수 있는 기능을 제공하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 스크린 전면의 천장 또는 바닥에 적외선 LED 어레이 바(IR-LEDs Array Bar)를 설치하여 사용자가 인터랙션할 수 있는 인터랙티브 막(interactive surface)을 생성한 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법을 제시하는 데 있다.

또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 유비쿼터스 엠비언트 환경에서 사용자에게 다양한 멀티 터치를 제공함으로써, 인식을 위한 디바이스 장치의 도움없이 사용자의 단순한 터치 동작만으로 인터랙션 할 수 있는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법을 제시하는 데 있다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

전술한 기술적 과제를 해결하기 위한 수단으로서, 청구항 1에 기재된 발명은, 「멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템에 있어서, 영상을 디스플레이하는 스크린과; 상기 스크린의 앞쪽에 적외선을 발생하여 인터랙티브 막을 생성하는 적외선 LED 어레이 바와; 상기 스크린에 영상을 투영하는 프로젝터와; 상기 인터랙티브 막에 인체나 물체가 접촉되었을 때 반사되는 적외선 빛을 촬영하는 적외선 카메라와; 상기 적외선 카메라로부터 획득한 정보로 영상처리를 통하여 상기 인체나 물체의 인터랙션 위치의 좌표값을 추출한 후 해당 지점에 인터랙션을 발생하는 패킷을 생성하는 서버; 및 상기 서버로부터 전송받은 패킷을 분석하여 상기 패킷에 따른 콘텐츠를 상기 프로젝트를 통해 상기 스크린에 실행하는 클라이언트 PC;를 포함하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.」을 제공한다.

청구항 2에 기재된 발명은, 「제 1 항에 있어서, 상기 적외선 LED 어레이 바는 상기 스크린의 전면 상단 또는 천장에 설치되고, 상기 프로젝터와 상기 적외선 카메라는 상기 적외선 LED 어레이 바와 일정 거리만큼 떨어진 상단 또는 천장에 설치된 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.」을 제공한다.

청구항 3에 기재된 발명은, 「제 1 항에 있어서, 상기 적외선 LED 어레이 바는 상기 스크린의 전면 하단 또는 바닥에 설치되고, 상기 프로젝터와 상기 적외선 카메라는 상기 스크린의 후면 쪽 하단 또는 바닥에 설치되며, 상기 스크린은 유리창 또는 아크릴판 위에 리어 스크린(Rear Screen)으로 구성하는 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.」을 제공한다.

청구항 4에 기재된 발명은, 「제 1 항에 있어서, 상기 적외선 LED 어레이 바는: 복수 개의 적외선 LED(IR-LEDs)를 일정 간격으로 배열하여 구성되고, 상기 적외선 LED 양쪽에 격벽을 형성한 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.」을 제공한다.

청구항 5에 기재된 발명은, 「제 1 항에 있어서, 상기 적외선 카메라는: CCD 카메라, USB CCD 카메라, 웹 카메라를 포함한 카메라 중 하나이며, 상기 카메라의 렌즈 앞에 적외선 투과 필터(IR-Filter)를 장착한 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.」을 제공한다.

또한, 전술한 기술적 과제를 해결하기 위한 다른 수단으로서, 청구항 6에 기재된 발명은, 「멀티 터치 기반의 대형 인터랙티브 디스플레이 방법에 있어서, (a) 스크린 앞쪽에 적외선을 발생하여 인터랙티브 막을 생성하는 단계와; (b) 상기 인터랙티브 막에 인체나 물체가 접촉되었을 때 반사되는 적외선 빛을 적외선 카메라로 촬영하는 단계와; (c) 상기 적외선 카메라로부터 획득한 정보로 영상처리를 통하여 상기 인체나 물체의 인터랙션 위치의 좌표값을 추출한 후 해당 지점에 인터랙션을 발생하는 패킷을 생성하는 단계; 및 (d) 상기 패킷을 분석하여 상기 패킷에 따른 콘텐츠를 프로젝트를 통해 상기 스크린에 실행하는 단계;를 포함하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 방법.」을 제공한다.

청구항 7에 기재된 발명은, 「제 6 항에 있어서, 상기 (c)단계에서 인터랙션 위치정보를 추출하는 방법은: (c1) 상기 적외선 카메라로부터 획득한 정보를 영상 이진화를 통하여 LED 빛이 반사된 영역과 그렇지 않은 영역으로 분리하는 이진화 단계와; (c2) 상기 반사된 영역을 묶어주는 블랍 단계와; (c3) 상기 블랍을 통해 묶인 영역들에 대해 번호를 지정하는 라벨링 단계와; (c4) 상기 라벨링 이후 호모그래피 행렬을 이용하여 신호 왜곡을 보정하는 호모그래피 단계와; (c5) 상기 적외선 카메라가 보는 화면에서 영상의 각 모서리 4군데의 좌표를 입력하여 4개의 점으로 이루어진 사각형 내의 이미지를 새로운 4개의 점으로 이루어진 사각형으로 변환하여 왜곡을 보정하는 윈도우 API 좌표보정 단계; 및 (c6) 상기 인체나 물체의 인터랙션 위치를 파악하여 좌표값을 추출하는 단계;를 포함하는 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 방법.」을 제공한다.

청구항 8에 기재된 발명은, 「제 6 항 또는 제 7 항에 있어서, 상기 (c)단계에서 상기 패킷을 생성하는 방법은: (c7) 상기 인체나 물체의 인터랙션 위치의 좌표값을 네트워크로 콘텐츠에 전송하여 해당 지점에 인터랙션을 발생하도록 패킷을 생성하는 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 방법.」을 제공한다.

본 발명에 따르면, 사용자가 스크린에서 멀리 떨어져 있으면 디스플레이 기능만 하고, 사용자가 스크린의 인터랙티브 영역에 들어오면 사용자에게 콘텐츠와 인터랙션을 할 수 있는 기능을 제공할 수 있다.

또한, 개인 또는 대규모의 군중이 다양하게 콘텐츠를 즐길 수 있는 인터랙티브 앰비언트 디스플레이 환경으로도 제공이 가능하다.

또한, 다양한 인터랙션 정보들을 전처리 과정을 통해 인식하게 되며 스크린의 크기가 커지면 다수의 사용자가 함께 사용이 가능하다.

또한, 작은 공간에서 대규모 공간까지 아무런 제약 없이 운용 가능한 확장성을 가지고 있다.

또한, 스크린을 터치함으로써 사용자가 직접 다양한 콘텐츠를 직접 몸으로 느끼고 체험할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

도 1은 본 발명의 바람직한 실시 예에 의한 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템을 개략적으로 나타낸 구성도
도 2는 사용자가 콘텐츠와 인터랙션 할 수 있는 인터랙티브 막(Interactive Surface)을 나타낸 도면
도 3은 적외선 LED 어레이 바(IR-LEDs Array Bar)를 이용한 빛의 직진성 향상 원리를 개략적으로 나타낸 도면
도 4 및 도 5는 적외선 LED 어레이 바(IR-LEDs Array Bar)의 제품 사진과 설치 모습의 사진
도 6은 적외선 카메라를 통해 적외선 빛이 손에 반사되어 추출되어 지는 원리를 개략적으로 나타낸 도면
도 7은 본 발명의 바람직한 실시 예에 의한 멀티 터치 기반의 대형 인터랙티브 디스플레이 방법을 개략적으로 나타낸 흐름도
도 8은 영상 왜곡 보정을 위한 호모그래픽(Homography) 알고리즘 과정을 보여주는 예시도
도 9는 본 발명의 바람직한 다른 실시 예에 의한 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템을 개략적으로 나타낸 구성도

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명되는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.

멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템의 실시 예

도 1은 본 발명의 바람직한 실시 예에 의한 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템을 개략적으로 나타낸 구성도이고, 도 2는 사용자가 콘텐츠와 인터랙션 할 수 있는 인터랙티브 막(Interactive Surface: 160)을 나타낸 도면이다.

본 발명의 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템은 도 1에 도시된 바와 같이, 스크린 또는 벽면형 디스플레이 장치(이하, '스크린'이라 한다: 100), 적외선 LED 어레이 바(IR-LEDs Array Bar: 110), 프로젝터(projector: 120), 적외선 투과 필터(IR-Filter: 131)를 장착한 적외선 카메라(Infrared Camera: 130), 서버(140), 클라이언트 PC(150)를 포함하여 구성한다.

여기서, 상기 스크린(Screen: 100)은 상기 프로젝터(120)의 영상을 투영할 수 있도록 영상을 맺히도록 한다. 상기 적외선 LED 어레이 바(110)는 복수 개의 적외선 LED(IR-LEDs: 111)를 일정 간격으로 배열한 적외선 발생장치로서, 상기 스크린(100) 전면의 천장(10)에 설치되며, 상기 스크린(100) 앞쪽에 적외선을 발생하여 사용자가 콘텐츠와 인터랙션 할 수 있는 인터랙티브 막(Interactive Surface: 160)을 생성한다. 상기 프로젝터(120)는 상기 스크린(100)에 영상을 투영하는 기능을 하며, 상기 적외선 카메라(130)는 일반 카메라(예를 들어, USB CCD 카메라 등)의 렌즈 앞에 적외선 투과 필터(IR-Filter: 131)를 장착한 카메라로서, 상기 인터랙티브 막(160)에 사용자의 손이 닿을 때 사용자의 손(손등)에서 반사되는 적외선 빛을 촬영하여 상기 서버(140)로 촬영한 영상신호를 전송한다. 상기 서버(140)는 상기 적외선 카메라(130)에서 전송된 영상신호를 가지고 영상처리를 통해 사용자의 손 영역의 좌표(x,y) 값을 계산하여 사용자의 인터랙션 위치를 추출한 후 해당 지점에 인터랙션을 발생하는 패킷을 생성하여 상기 클라이언트 PC(150)로 전송한다. 상기 클라이언트 PC(150)는 상기 서버(140)로부터 전송받은 패킷을 분석하여 상기 프로젝터(120)를 통해 상기 패킷에 따른 콘텐츠를 실행하는 역할을 한다.

본 발명에서는 상기 적외선 LED 어레이 바(IR-LEDs Array Bar: 110)를 이용하여 상기 스크린(100) 전면에 인터랙티브 막(160)을 생성함으로써 다양한 인터랙션(Interaction) 기법을 제공한다. 이하, 상기 인터랙티브 막(160)에 사람의 손을 통해 터치 되는 영역들에 대해서는 인터랙티브 영역(Interactive Zone)이라 지칭하고 그 외에 터치가 되지 않는 영역을 앰비언트 영역(Ambient Zone)이라고 정의하기로 한다.

도 1 및 도 2를 참조하면, 상기 프로젝터(120)와 상기 적외선 카메라(130)는 사용자의 인터랙션을 하기 위한 최적의 장소를 찾아 위치시킨다. 이때, 상기 카메라(130)는 밴드 패스 필터(Band pass filter)의 사용 없이 화면 자체를 얻어오게 되면 빔 프로젝터에서 영사되는 모든 영상을 다 받아오기 때문에 밴드 패스 필터(Band pass filter; 예를 들어, 850nm 이하를 차단하는 필터)를 이용하여 상기 프로젝터(120)에서 나오는 영상을 차단하고 적외선 빛을 받을 수 있도록 하였다.

그 결과, 사용자가 콘텐츠와의 인터랙션을 위해 상기 스크린(100)에 손을 뻗게 되면, 상기 스크린(100) 위에 위치한 상기 적외선 LED 어레이 바(IR-LEDs Array Bar: 110)에서 내려오는 적외선이 손(손등)을 통과하지 못하고 막히게 된다. 이때 상기 적외선 카메라(130)는 손(손등)에서 반사되는 적외선 빛을 촬영하여 상기 서버(140)에 촬영된 영상 신호를 전송하게 된다. 상기 서버(140)에서는 상기 적외선 카메라(130)에서 전송된 신호를 영상처리를 통해 손 영역의 좌표(x,y) 값을 계산하게 된다.

여기서, 손 영역의 좌표(x,y) 값을 계산하는 방법은 다음과 같다.

영상 이진화를 통하여 LED가 반사되는 영역과 그렇지 않은 영역을 나눈 뒤에 반사되는 영역에 한해서 블랍/라벨링을 거쳐 호모그래피 행렬을 이용하여 왜곡을 보정한 뒤 좌표의 최상위점을 인식하고 있는 좌표로 계산하여서 작동한다. 여기서, 상기 블랍은 영상 이진화를 하였을 때, LED가 반사된 영역들을 묶는 역할을 한다. 즉, 사람의 손이 하나의 픽셀(점)로 빛을 반사시키는 게 아니라 다수의 픽셀(면)로 빛을 반사시키기 때문에, 연속으로 LED가 반사되는 영역을 묶어주는 역할을 한다. 상기 라벨링은 상기 블랍을 통해 묶인 영역들에 대해 이름 그대로 번호를 지정하는 작업이다. 각 영역당 번호를 지정함으로써, 영역이 생겨서부터 사라질 때까지의 좌표값을 계산할 수 있다. 이때, 영상은 3차원이 아닌 2차원이기 때문에 (x,y)좌표로만 계산하여 (x,y)의 좌표정보 값만 계산된다.

시스템의 전체적인 구성은 상기 적외선 카메라(130)로부터 획득한 정보로 영상처리를 통하여 사용자의 인터랙션 위치를 알아내는 상기 서버(140)와 콘텐츠를 진행하는 상기 클라이언트 PC(150)로 구성된다. 상기 적외선 카메라(130)는 상기 서버(140)에 연결을 한다. 그리고 상기 클라이언트 PC(150)에 상기 프로젝터(120)를 연결하여 상기 서버(140)로부터 전송받은 패킷을 분석하여 콘텐츠를 실행하게 된다.

적외선 LED 어레이 바( IR - LEDs Array Bar )

도 3은 적외선 LED 어레이 바(IR-LEDs Array Bar)를 이용한 빛의 직진성 향상 원리를 개략적으로 나타낸 도면이고, 도 4 및 도 5는 적외선 LED 어레이 바(IR-LEDs Array Bar)의 제품 사진과 설치 모습의 사진이다.

상기 적외선 LED 어레이 바(IR-LEDs Array Bar: 110)는 도 4의 사진과 같이, 복수 개의 적외선 LED(IR-LEDs)를 일정 간격(예를 들어, 3cm 간격)을 두고 설치한다. 이때, 상기 적외선 LED(IR-LEDs: 111)를 일정한 간격으로 배치하는 이유는 모든 영역에 대해서 적외선 빛의 양을 균일하게 하기 위해서이다. 그리고, 상기 적외선 LED(IR-LEDs)의 간격을 3cm로 하는 이유는 각 LED의 발열량을 고려하면서 충분한 적외선의 양을 공급받을 수 있는 거리를 시험한 결과, 3cm의 간격이 적당한 것으로 밝혀졌다. 하지만, 이값에 반드시 국한된 것은 아니며, LED 소자나 기타 다른 환경에 따라 변할 수도 있다.

상기 적외선 LED(IR-LEDs: 111)는 일반적으로 45도 각도로 빛이 발산된다. 따라서, 본 발명의 적외선 LED 어레이 바(IR-LEDs Array Bar: 110)에서는 LED의 빛이 45°로 발산하는 것을 막기 위해 상기 적외선 LED(IR-LEDs: 111)의 양쪽을 벽으로 차단함으로써 수직으로만 빛이 나갈 수 있도록 구성하여 빛의 직진성을 향상시켰다(도 3 참조).

상기 적외선 LED 어레이 바(IR-LEDs Array Bar: 110)는 상기 스크린(100) 전면의 상단 부분(천장 또는 측벽 상부)에 위치시킨다. 이는 사용자의 인터랙션을 포착하기 위해서 일정 간격을 두고(예를 들어, 3cm 정도) 전면부에 부착을 하며, 사용자의 인터랙션 영역을 구성하는 인터랙션 막(160)을 생성하게 된다. 이는 사용자가 손을 뻗었을 때 상기 인터랙션 막(160)에 사용자의 손이 닿음으로써, 사용자가 인터랙션을 자유롭게 할 수 있는 인터랙션 영역에 진입했다는 의미이다.

인터랙션 영역 추출 방법

도 6은 적외선 카메라를 통해 적외선 빛이 손에 반사되어 추출되어 지는 원리를 개략적으로 나타낸 도면이다.

상기 적외선 LED 어레이 바(110)의 적외선 빛은 ‘빛의 직진성’ 원리에 의해 직선으로 퍼져나간다. 그리고 앞에 물체가 가로막고 있으면 직진성의 성질을 잃어 물체의 반대편에 그림자가 생기게 된다. 본 발명은 이러한 원리를 이용하여 다음과 같이 구성하였다.

먼저, 사용자가 상기 스크린(100)에 인터랙션하기 위해 손으로 터치할 경우 상기 스크린(100) 전면에 형성된 상기 인터랙션 막(160)에 닿게 된다. 상기 인터랙션 막(160)은 앞에서 설명한 바와 같이, 상기 적외선 LED 어레이 바(110)에서 발생된 적외선 빛에 의해 형성된 인터랙션 영역이다.

도 6의 그림과 같이, 상기 인터랙션 막(160)에 손이 닿으면, 손 아래쪽에는 상기 적외선 LED(IR-LEDs)의 빛이 차단되어 그림자가 생기게 되고, 손 위쪽에는 상기 적외선 LED(IR-LEDs)의 빛이 손등에서 반사되게 된다. 이때, 상기 손등에서 반사되는 적외선 빛은 상기 인터랙션 영역을 촬영하는 상기 적외선 카메라(130)에 촬영되어 수집된다. 상기 적외선 카메라(130)는 촬영된 영상 신호를 상기 서버(140)에 전송하고, 상기 서버(140)에서는 상기 적외선 카메라(130)에서 전송된 신호를 영상처리를 통해 사용자의 손 영역을 검출함으로써, 손의 좌표(x,y) 값을 추출하게 된다.

상기와 같이, 상기 적외선 LED 어레이 바(110)는 복수 개의 적외선 LED(IR-LEDs)를 일정 간격(예, 3cm 간격)으로 위치시켜서 적외선 LED(111)에서 출력되는 빛의 영역들이 서로 겹쳐지게 함으로써, 넓은 영역의 적외선 빛 막을 제공한다.

멀티 터치 기반의 대형 인터랙티브 디스플레이 방법

도 7은 본 발명의 바람직한 실시 예에 의한 멀티 터치 기반의 대형 인터랙티브 디스플레이 방법을 개략적으로 나타낸 흐름도이다.

도 1, 도 2 및 도 6을 참조하여 설명하면, 상기 스크린(100) 앞쪽 상단에 설치된 상기 적외선 LED 어레이 바(110)에서 상기 스크린(100) 앞쪽에 수직으로 적외선을 발생하여 인터랙티브 막(160)을 생성한다. 그 후, 상기 인터랙티브 막(160)에 인체나 물체가 접촉하여 상기 인체 또는 물체에 부딪혀 반사되는 적외선 빛을 상기 적외선 카메라(120)로 촬영한다. 상기 적외선 카메라(120)에 촬영된 영상 신호는 상기 서버(140)로 전송된다.

다음, 도 7을 참조하여 설명하면, 상기 서버(140)에서는 상기 적외선 카메라(120)로부터 획득한 정보를 영상 이진화를 통하여 LED 빛이 반사된 영역과 그렇지 않은 영역으로 분리한다(단계 S10∼S20).

그 다음, 상기 반사된 영역을 블랍을 통하여 묶어준다(단계 S30). 즉, 사람의 손이나 물체가 하나의 픽셀(점)로 빛을 반사시키는 것이 아니라 다수의 픽셀(면)로 빛을 반사하기 때문에, 연속으로 LED가 반사되는 영역을 묶어주게 된다.

그 다음, 상기 블랍을 통해 묶인 영역들에 대해 라벨링을 통해 번호를 지정한다(단계 S40). 각 영역당 번호를 지정함으로써, 영역이 생겨서부터 사라질 때까지의 좌표값을 계산할 수 있다.

그 다음, 상기 라벨링 이후 호모그래피 행렬을 이용하여 신호 왜곡을 보정한다(단계 S50). 상기 호모그래피 행렬에 대해서는 후술하는 도 8에서 자세히 설명하기로 한다.

그 다음, 윈도우(Windows) API 레벨에서 좌표 보정을 하여 트래킹 한다(단계 S60∼S70). 이때, 상기 윈도우(Windows) API 레벨에서 좌표 보정하는 방법과 트래킹 방법은 다음과 같다. OpenCV 라이브러리에서 제공하는 cvWarpPerspective와 cvGetPerspectiveTransform을 통하여 상기 적외선 카메라(130)가 보는 화면에서 영상의 각 모서리 4군데의 좌표를 입력하여 4개의 점으로 이루어진 사각형 내의 이미지를 새로운 4개의 점으로 이루어진 사각형으로 변환하여 왜곡을 보정 한다. 상기 트래킹은 사람의 손이나 물체의 위치를 파악하여 얻은 좌표값을 네트워크로 좌표값을 콘텐츠에 보내서 해당되는 지점에 인터랙션을 발생하게 해준다.

그 다음, 상기 서버(140)에서 상기 트래킹 후 패킷을 생성하여 상기 클라이언트 PC(150)로 전송한다(단계 S80).

끝으로, 상기 클라이언트 PC(150)에서 상기 서버(140)로부터 수신된 패킷을 분석한 후 패킷 명령을 실행하여 패킷에 따른 콘텐츠를 상기 프로젝터(120)를 통해 상기 스크린(100)에 실행한다(단계 S90∼S120).

이와 같이, 본 발명에서는 카메라를 통해 획득된 영상을 인식하기 위한 영상 전처리(Image Processing) 모듈과, 상기 영상 처리 모듈에서 처리된 정보를 전송하기 위한 네트워크(Network) 통신 연결 모듈로 구분할 수 있다.

여기서, 영상 처리 모듈은, 상기 적외선 카메라(130)를 이용하여 영상을 획득한 후 획득 영상에서 보이는 실제 영사 화면의 영역을 지정한다. 이때, 발생하는 영상의 왜곡을 보정하기 위하여 호모그래피 행렬을 사용한다. 그 다음 일정한 조도 이외에 들어오는 영상은 이진화 과정을 거쳐 잡음을 제거한 후, 블랍/라벨링을 거쳐 손(손가락)이나 물체의 위치를 파악한다.

그러나, 실제 스크린의 왜곡현상은 호모그래피 행렬로 보정되었지만 추출되어 진 좌표는 카메라 뷰 영역에서의 좌표일 뿐, 실제 윈도우 좌표에 적용되는 좌표가 아니다. 이를 위해 API레벨에서 좌표계산하여 카메라 뷰와 실제 뷰 좌표를 일치시킨다. 구체제적으로 설명하면, 상기 프로젝터(120)가 바라보는 스크린(100)과 상기 적외선 카메라(130)가 바라보는 상기 스크린(100)의 화면은 모양과 크기가 서로 다르다. 이러한 영상의 왜곡을 보정하기 위하여 호모그래피 행렬을 사용하여 해결한다.

다음으로, 상기 적외선 카메라(130)가 바라보는 해상도의 크기는 640×480이지만, 실제 모니터(1024×768) 또는 프로젝터(120)에 보이는 화면의 크기가 달라 호모그래피 행렬을 사용하여 좌표보정을 하여도 올바르지 않다. 이를 위해, WindowsAPI 레벨에서 좌표 보정을 하게 되면 올바르게 트래킹이 된다. 여기서, 도 8을 통해 상기 호모그래피를 계산한다. 도 8은 영상에서의 왜곡 보정을 위한 호모그래피(Homography) 알고리즘 과정을 개략적으로 보여준다.

먼저, 실제 사용자가 바라보는 뷰 영역의 스크린과 상기 적외선 카메라(130)가 바라보는 뷰 영역의 스크린의 영상의 모양은 차이가 있다. 사용자가 바라보는 뷰 영역은 편의를 위해 직사각형의 영역으로 맞추지만(도 8의 a). 상기 적외선 카메라(130)로 바라보는 뷰 영역은 공간적 제약에 따른 사다리꼴의 영상왜곡이 생긴다(도 8의 b). 왜곡된 영상의 손가락(또는 물체) 좌표를 보정 없이 윈도우 시스템이 좌표로 적용하는 것은 원하는 위치의 좌표로 반환할 수 없다. 이러한 문제를 해결하기 위한 방법으로 호모그래피 행렬(Homography Matrix)을 적용한다.

상기 호모그래피 행렬은 어느 한 평면에 대하여 그 평면 위에 있는 점과 다른 한 평면의 대응점은 3×3 행렬로 표현이 가능하다. 여기에서 3×3 행렬은 두 평면 사이의 사용 변환 관계를 나타내는데, 이것을 호모그래피(Homography) 라고 한다. 호모그래피 행렬을 사전식으로 배열한 9×1 벡터를 평면 위에 있는 점과 다른 한 평면의 대응점을 조합한 n×9 행렬에 곱하면 0이 된다. 이 과정에서 호모그래피 행렬을 사전식으로 배열한 9×1 벡터는 SVD(Singular value Decomposition)를 통해 구한다.

이와 같이, 호모그래피 행렬을 이용하여 영상의 왜곡을 보정한다. 보정된 좌표는 상기 적외선 카메라(130)의 뷰 영역에서의 좌표일 뿐 실제 윈도우 좌표에 적용되는 좌표는 아니다. 만약, 상기 적외선 카메라(130)의 전체 뷰 영역이 640×480이고, 윈도우의 해상도가 1024×768이라면 위치의 오차는 많이 날 수밖에 없다. 이러한 위치를 줄이기 위해 마우스의 범위를 API레벨에서 계산하여 제어 가능하도록 하였다. 마우스의 실제 좌표는 상하좌우의 모든 영역은 해상도와 관계없이 0~65535의 영역을 가지기 때문에 현 해상도(width, height)를 나눠준 후 호모그래피의 계산 결과로 나온 좌표를 곱하면 해상도에 맞는 좌표가 계산된다(도 8의 c).

여기서, 네트워크 통신 모듈은, 사용자와 콘텐츠의 인터랙션을 위하여, 사용자들이 입력한 값들을 실시간으로 계속 콘텐츠에 전송을 한다. 서버/클라이언트 모델이 1:1, 1:N가 될 수 있지만 콘텐츠를 실행시키기 위한 환경이 갖춰진다면, 상기 적외선 카메라(130)와 상기 프로젝터(130)를 하나씩 더 늘리면서 사용할 수 있다. 사용자가 콘텐츠에 상호작용한 행동들은, 콘텐츠가 서버로부터 전송받은 패킷을 분석하여 패킷의 번호별로 콘텐츠를 진행하면 된다.

멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템의 다른 실시 예

도 9는 본 발명의 바람직한 다른 실시 예에 의한 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템을 개략적으로 나타낸 구성도이다.

먼저, 도 1에서 설명한 대형 인터랙티브 디스플레이 시스템의 경우에는 상기 스크린(100)의 전면 상단 또는 천장에 상기 적외선 LED 어레이 바(111)가 설치되고, 상기 적외선 LED 어레이 바(110)와 일정 거리만큼 떨어진 상단 또는 천장에 상기 프로젝터(120)와 상기 적외선 카메라(130)가 설치되었다. 하지만, 이 시스템에서는 사용자가 손으로 상기 인터랙티브 막(160)에 터치를 했을 때 이를 감지하는 상기 적외선 카메라(130)가 사용자의 등 뒤쪽에 위치하고 있기 때문에 사용자의 손에서 부딪혀 반사되는 적외선 빛을 감지(촬영)하지 못하는 경우가 발생한다.

이러한 문제점을 해결하기 위해, 본 발명에서는 도 9와 같은 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템을 제안한다.

도 9의 대형 인터랙티브 디스플레이 시스템에서는 상기 스크린(100) 전면의 하단 또는 바닥에 상기 적외선 LED 어레이 바(110)를 설치하여 상기 스크린(100) 전면에 인터랙티브 막(160)을 형성하고, 상기 스크린(100)의 후면 쪽 하단 또는 바닥에 상기 프로젝터(120)와 상기 적외선 카메라(130)를 설치하였다. 이때, 상기 스크린(100)은 유리창 또는 아크릴판 위에 리어 스크린(Rear Screen)을 설치하여 구성한다. 따라서, 상기 인터랙티브 막(160)에 사용자가 손으로(또는, 다른 물체로) 터치를 했을 때 손에서 부딪혀 반사되는 적외선 빛을 상기 적외선 카메라(130)가 감지(촬영)하여 서버(도 1의 140 참조)로 전송함으로써, 상기 손 영역의 좌표값을 추출할 수 있다. 이때, 상기 서버에서 손 영역의 좌표값을 추출하는 방법은 도 1 및 도 7에서 설명한 바와 동일하므로 여기서는 생략하기로 한다.

상기 서버(140)에서는 사용자의 인터랙션 위치를 추출한 후 해당 지점에 인터랙션을 발생하는 패킷을 생성하여 상기 클라이언트 PC(도 1의 150 참조)로 전송하고, 상기 클라이언트 PC(150)에서는 상기 서버(140)로부터 전송받은 패킷을 분석하여 상기 프로젝터(120)를 통해 패킷에 따른 콘텐츠를 실행한다.

이와 같이 구성된 본 발명에 의한 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법은 스크린 전면의 천장 또는 바닥에 적외선 LED 어레이 바(IR-LEDs Array Bar)를 설치하여 사용자가 인터랙션할 수 있는 인터랙티브 막(interactive surface)을 생성하여 사용자가 콘텐츠와 인터랙션(interaction)을 자유롭게 할 수 있도록 함으로써, 본 발명의 기술적 과제를 해결할 수가 있다.

이상에서 설명한 본 발명의 바람직한 실시 예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(당업자)라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

본 발명에 의한 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법은 개인 도는 대규모의 군중이 다양하게 콘텐츠를 즐길 수 있는 인터랙티브 앰비언트 디스플레이 환경으로 제공할 수 있으며, 멀티 카메라, 멀티 컴퓨터 등의 연동을 통한 패러럴 컴퓨팅 방식으로 확장을 할 수 있다.

10 : 천장
100 : 스크린 또는 벽면형 디스플레이 장치
110 : 적외선 LED 어레이 바(IR-LEDs Array Bar)
111 : 적외선 LED(IR-LEDs) 120 : 프로젝터(projector)
130 : 적외선 카메라(Infrared Camera)
131 : 적외선 투과 필터(IR-Filter)
140 : 서버 150 : 클라이언트 PC
160 : 인터랙티브 영역(interactive Zone) 또는 인터랙티브 막(interactive surface)

Claims

멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템에 있어서,
영상을 디스플레이하는 스크린과;
상기 스크린의 앞쪽에 적외선을 발생하여 인터랙티브 막을 생성하는 적외선 LED 어레이 바와;
상기 스크린에 영상을 투영하는 프로젝터와;
상기 인터랙티브 막에 인체나 물체가 접촉되었을 때 반사되는 적외선 빛을 촬영하는 적외선 카메라와;
상기 적외선 카메라로부터 획득한 정보로 영상처리를 통하여 상기 인체나 물체의 인터랙션 위치의 좌표값을 추출한 후 해당 지점에 인터랙션을 발생하는 패킷을 생성하는 서버; 및
상기 서버로부터 전송받은 패킷을 분석하여 상기 패킷에 따른 콘텐츠를 상기 프로젝트를 통해 상기 스크린에 실행하는 클라이언트 PC;
를 포함하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.
제 1 항에 있어서,
상기 적외선 LED 어레이 바는 상기 스크린의 전면 상단 또는 천장에 설치되고, 상기 프로젝터와 상기 적외선 카메라는 상기 적외선 LED 어레이 바와 일정 거리만큼 떨어진 상단 또는 천장에 설치된 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.
제 1 항에 있어서,
상기 적외선 LED 어레이 바는 상기 스크린의 전면 하단 또는 바닥에 설치되고, 상기 프로젝터와 상기 적외선 카메라는 상기 스크린의 후면 쪽 하단 또는 바닥에 설치되며, 상기 스크린은 유리창 또는 아크릴판 위에 리어 스크린(Rear Screen)으로 구성하는 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.
제 1 항에 있어서, 상기 적외선 LED 어레이 바는:
복수 개의 적외선 LED(IR-LEDs)를 일정 간격으로 배열하여 구성되고, 상기 적외선 LED 양쪽에 격벽을 형성한 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.
제 1 항에 있어서, 상기 적외선 카메라는:
CCD 카메라, USB CCD 카메라, 웹 카메라를 포함한 카메라 중 하나이며, 상기 카메라의 렌즈 앞에 적외선 투과 필터(IR-Filter)를 장착한 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템.
멀티 터치 기반의 대형 인터랙티브 디스플레이 방법에 있어서,
(a) 스크린 앞쪽에 적외선을 발생하여 인터랙티브 막을 생성하는 단계와;
(b) 상기 인터랙티브 막에 인체나 물체가 접촉되었을 때 반사되는 적외선 빛을 적외선 카메라로 촬영하는 단계와;
(c) 상기 적외선 카메라로부터 획득한 정보로 영상처리를 통하여 상기 인체나 물체의 인터랙션 위치의 좌표값을 추출한 후 해당 지점에 인터랙션을 발생하는 패킷을 생성하는 단계; 및
(d) 상기 패킷을 분석하여 상기 패킷에 따른 콘텐츠를 프로젝트를 통해 상기 스크린에 실행하는 단계;
를 포함하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 방법.
제 6 항에 있어서, 상기 (c)단계에서 인터랙션 위치정보를 추출하는 방법은:
(c1) 상기 적외선 카메라로부터 획득한 정보를 영상 이진화를 통하여 LED 빛이 반사된 영역과 그렇지 않은 영역으로 분리하는 이진화 단계와;
(c2) 상기 반사된 영역을 묶어주는 블랍 단계와;
(c3) 상기 블랍을 통해 묶인 영역들에 대해 번호를 지정하는 라벨링 단계와;
(c4) 상기 라벨링 이후 호모그래피 행렬을 이용하여 신호 왜곡을 보정하는 호모그래피 단계와;
(c5) 상기 적외선 카메라가 보는 화면에서 영상의 각 모서리 4군데의 좌표를 입력하여 4개의 점으로 이루어진 사각형 내의 이미지를 새로운 4개의 점으로 이루어진 사각형으로 변환하여 왜곡을 보정하는 윈도우 API 좌표보정 단계; 및
(c6) 상기 인체나 물체의 인터랙션 위치를 파악하여 좌표값을 추출하는 단계;
를 포함하는 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 방법.
제 6 항 또는 제 7 항에 있어서,
상기 (c)단계에서 상기 패킷을 생성하는 방법은:
(c7) 상기 인체나 물체의 인터랙션 위치의 좌표값을 네트워크로 콘텐츠에 전송하여 해당 지점에 인터랙션을 발생하도록 패킷을 생성하는 것을 특징으로 하는 멀티 터치 기반의 대형 인터랙티브 디스플레이 방법.