KR20090038413A - 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법 - Google Patents

멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법 Download PDF

Info

Publication number
KR20090038413A
KR20090038413A KR1020090027265A KR20090027265A KR20090038413A KR 20090038413 A KR20090038413 A KR 20090038413A KR 1020090027265 A KR1020090027265 A KR 1020090027265A KR 20090027265 A KR20090027265 A KR 20090027265A KR 20090038413 A KR20090038413 A KR 20090038413A
Authority
KR
South Korea
Prior art keywords
display system
user
touch
camera
infrared
Prior art date
Application number
KR1020090027265A
Other languages
English (en)
Inventor
이동훈
윤태수
현상균
윤창옥
김기현
김정훈
강맹관
박정필
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020090027265A priority Critical patent/KR20090038413A/ko
Publication of KR20090038413A publication Critical patent/KR20090038413A/ko
Priority to KR1020100026964A priority patent/KR101102953B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 사용자들의 멀티터치가 가능한 대규모 인터렉티브 디스플레이 시스템과 그 방법에 관한 것이다. 이를 위해 인터랙티브 영역(Interactive Zone)을 제공함으로써 사용자가 인터랙션(Interaction)을 자유롭게 할 수 있는 영역을 생성하게 된다. 이는 유비쿼터스 디스플레이의 큰 특징인 앰비언트 또는 사라지는 컴퓨팅 환경을 구축하기 위하여 사용자와 디스플레이와의 간격에 따라 상이한 인터랙션을 제공하는 시스템이라 할 수 있다. 사용자와 디스플레이와의 거리가 아주 먼 영역에 있으면 일반적인 정보를 디스플레이하고, 사용자가 디스플레이에 좀 더 접근하게 되어 디스플레이가 그 사용자를 인지하게 되면 해당 사용자에 적합한 콘텐츠를 보여주게 된다. 이를 위해 공간의 천정에 적외선 발생장치 배열판(IR-LEDs Array Bar)를 설치하여 인터랙티브 막(Interactive surface)을 생성하여 사용자가 콘텐츠와 인터랙션할 수 있도록 한다. 이때 사용자가 디스플레이와의 인터랙션을 충분히 할 수 있는 영역을 인터랙티브 영역(Interactive zone)이라 지칭하며 단지 사용자가 지켜보는 영역을 앰비언트 영역(Ambient zone)이라고 정의한다.
본 발명에서는 사용자가 디스플레이에서 멀리 있을 때, 보통의 광고판 같은 역할을 하며 아무런 작용을 하지 않는다. 하지만 사용자가 인터랙티브 영역에 들어오게 되면 인터랙티브 막에서 사용자가 인터랙션을 할 수 있도록 바뀌게 된다. 이는 개인 또는 대규모의 군중이 다양하게 콘텐츠를 즐길 수 있는 인터액티브 앰비언트 디스플레이 환경으로도 제공가능하다.
대규모 디스플레이, 적외선 발생장치(IR-LEDs), 멀티 터치스크린, 대규모 인터랙션, 인터랙션막, 영상보정

Description

멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법 {Multi-touch based large-scale interactive display system, and a method thereof}
본 발명은 사용자에게 멀티 터치를 제공하기 위한 대형 인터랙티브 디스플레이 시스템과 그에 따른 사용자 인터페이스 방법에 관한 것으로, 보다 구체적으로는, 프로젝터(Projector)기반의 대형 벽면 디스플레이 장치, 적외선 발생 장치(IR-LEDs)를 이용한 적외선 발생장치 배열판(IR-LEDs Array Bar), 적외선 투과 필터(IR-Filter)장치를 장착한 적외선 카메라(IR Camera) 등으로 구성된 시스템과 사용자 인터페이스 방법에 관한 것이다.
[문헌 1] D.M. Russell, N. Streitz, T. Winograd, "Building Disappearing Compters", Communications of the ACM, Vol. 48, No. 3, pp. 42-48, 2005.
[문헌 2] D. Vogel, R. Balakrishnan, "Interactive Public Ambient Displas : Transitioning from Implicit to Explicit Plublic to Personal, Interaction with Multiple Users", Proceedings of UIST 2004, pp. 137-146, 2004.
[문헌 3] E. Mynatt, J. Rowan, S. Craighill, "Digital Family Portraits: Supporting Peace of Mind For Extend Family Members", Proceedings of HCI 2001, ACM Press, pp. 333-340, 2001.
[문헌 4] Yoon, H.S. Ryu, S.J. Park, S.J. Yoo, S.M. Choi, "An Ambient Display for the Elderly", HCI International 2007, LNCS 4555, Springer-Verlag, pp. 1043-1049, 2007.
[문헌 5] S,M. Choi, Y.G. Kim, et al., "Non-photorealistic 3D Facial Animation on the PDA Based on Facial Expression Recognition", Smart Graphics 2004, LNCS 3031, pp. 11-20, 2004.
본 발명은 사용자에게 멀티 터치를 제공하기 위한 대형 인터랙티브 디스플레이 시스템과 그에 따른 사용자 인터페이스 방법 에 관한 것으로, 보다 구체적으로는, 여러 사용자의 조작 및 컴퓨터 비전기술 기반의 대규모 디스플레이에서의 멀티 터치를 제공하기위한 시스템 및 그 방법에 관한 것이다.
최근 다양한 유비쿼터스 컴퓨팅 기술들이 제공하는 인터랙티브 디스플레이는 사용자에게 다양한 인터렉션 방식을 제공하고 있다. 즉, 보이지 않는 컴퓨팅으로 불리는 유비쿼터스 컴퓨팅 환경에서는 키보드나 마우스를 이용하는 기존의 명시적인 인터랙션(explicit interaction)이외에, 자연적으로 발생하는 사용자의 행동이나 센서들에 의해 파악되는 사용자의 동작을 통한 암시적인 인터랙션(implicit interaction)방식이 요구되어지고 있다.
인간이 시각, 청각, 촉각등의 여러 감각을 통해 의사소통 하는 것처럼 유비쿼터스 컴퓨팅 환경의 인간-컴퓨터 상호작용에서는 다중기기로 부터의 멀티 모달리티를 융합하여 종합적으로 분석하는 것이 더욱 중요해졌다. 예를 들어 손 터치나 단순한 입력 장치만을 이용하여 사용자의 의도를 파악하는 것보다 사용자의 손의 움직임, 몸의 움직임, 얼굴 표정, 시선 방향 등을 함께 분석함으로써 전체적인 신뢰도를 높일 수 있다.
종래 기술에는 단순한 터치 방식의 디스플레이만을 제공하거나 다양한 센서 장치를 이용하여 사용자의 의도를 파악한다. 거리 센서를 이용한 Gossip Wall 등이 있고, 다양한 카메라를 이용하여 사용자의 위치 정보를 파악하는 공유형 인터랙티브 앰비언트 디스플레이 시스템이 있다.
구체적으로, 독일 프라운호퍼 연구소에서 개발한 Gossip Wall이 있다. 사용자와 디스플레이와의 거리가 아주 먼 앰비언트 영역에 있으면 일반적인 정보를 디스플레이하고, 사용자가 디스플레이에 좀 더 접근하게 되어 디스플레이가 그 사용자를 인지하게 되면 해당 사용자에 적합한 콘텐츠를 보여주게 된다. 사용자가 디스플레이와 아주 근접한 인터랙션 영역으로 접근하게 되면 모바일 단말기 디스플레이를 사용하여 보다 세부적인 정보를 얻을 수 있을 뿐 아니라 외부와 연결도 가능하다.
상기 Gossip Wall은 사용자가 거리 센서 방식을 채택한 모바일 단말기를 이용하여 디스플레이에서 정보를 얻고 사용자의 위치를 파악하게 된다. 하지만 상기 Gossip Wall은 사용자가 항상 모바일 단말기를 휴대해야만 사용자를 추적하는 점, 디스플레이 장치가 다양하게 제공되지 못하는 등의 문제점이 있다.
한편, 상기 Toronto 대학의 공유형 인터랙티브 앰비언트 디스플레이 시스템은 사용자와 디스플레이간의 근접성에 따라 네 단계로 나누어 각기 다른 인터랙션을 할 수 있도록 설계하였다. 하지만 이 시스템은 사용자가 여러 타입의 인식 장치를 착용해야하는 큰 문제점이 있다.
한편, 종래 기술에 따른 디바이스 장치를 이용한 인식 방식을 채택한 인터랙션 방식은 사용자에게 자연스러운 인터랙션을 제공하지 못하는 문제점이 있다. 또한 센서인식 방식을 통한 방법이기에 여러 사용자가 디바이스를 장착해야만하기 때 문에 다 같이 참여할 수 없다는 한계점도 발생한다.
상기 문제점을 해결하기 위한 본 발명의 목적은, 유비쿼터스 엠비언트 환경에서 사용자에게 다양한 멀티 터치를 제공함으로써, 인식을 위한 디바이스 장치의 도움없이 사용자의 단순한 터치 동작만으로 인터랙션 할 수 있는 인터랙티브 디스플레이 시스템 및 사용자 인터페이스 방법을 제공하기 위한 것이다.
다양한 인터랙션 정보들을 전처리 과정을 통해 인식하게 되며 스크린의 크기가 커지면 다수의 사용자가 함께 사용이 가능하다. 또한 작은 공간에서 대규모 공간까지 아무런 제약 없이 운용이 가능하다는 확장성을 가지고 있다. 스크린을 터치함으로써 사용자가 직접 다양한 콘텐츠를 직접 몸으로 느끼고 체험할 수 있다.
상기한 목적을 달성하기 위한 본 발명은 사용자에게 멀티 터치를 제공하기 위한 대형 인터랙티브 디스플레이 시스템과 그에 따른 사용자 인터페이스 방법에 관한 것이다. 이를 위해 본 발명의 시스템은 프로젝터(Projector)기반의 대형 벽면형 디스플레이 장치, 적외선 발생 장치(IR-LEDs)를 이용한 적외선 발생장치 배열판(IR-LEDs Array Bar), 적외선 투과 필터(IR-Filter)장치를 장착한 적외선 카메 라(IR Camera) 등으로 구성된다. 본 발명은 인터랙티브 영역(Interactive Zone)을 생성함으로써 다양한 인터랙션(Interaction) 기법을 제공한다. 즉, 인터랙티브 막(Interactive Surface)에서의 사람의 손을 통해 터치되는 영역들에 대해서는 인터랙티브 영역(Interactive Zone)이라 지칭하고 그 외에 터치가 되지 않는 영역을 앰비언트 영역(Ambient Zone)이라고 정의하게 된다.
이하 첨부된 도면을 참조하여 본 발명에 다른 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 실시 예에 의한 대규모 인터랙티브 디스플레이 시스템을 개략적으로 나타낸 것이다.
도 1을 참조하면, 프로젝터와 카메라는 사용자의 인터랙션을 하기위한 최적의 장소를 찾아 위치시킨다. 이때 카메라는 Band pass filter의 사용 없이 화면 자체를 얻어오게 되면 빔 프로젝터에서 영사되는 모든 영상을 다 받아오기 때문에 Band pass filter(850nm 이하를 차단하는 필터)를 이용하여 빔 프로젝터에서 나오는 영상을 차단하고 적외선 빛을 받을 수 있도록 하였다. 그 결과 사용자가 스크린에 사용자가 콘텐츠와의 인터랙션을 위해 손을 뻗게 되면, 스크린위에 위치한 적외선 발생장치 배열판(IR-LEDs Array Bar)에서 내려오는 적외선이 손등에서 통과를 하지 못하고 막히게 된다. 이때 카메라는 손등위에 적외선 빛을 영상처리를 통하여 좌표를 알아 낼 수 있다.
시스템의 전체적인 구성은 카메라로부터 획득한 정보로 영상처리를 통하여 사용자의 인터랙션 위치를 알아내는 서버와 콘텐츠를 진행하는 클라이언트로 구성된다. 적외선 카메라는 서버컴퓨터에 연결을 한다. 그리고 클라이언트 컴퓨터에 프로젝터를 연결하여 서버로부터 전송받은 패킷을 분석하여 콘텐츠를 실행하게 된다.
이때 적외선 발생장치 배열판(IR-LEDs Array Bar)는 3cm 간격으로 적외선 발생장치(IR-LEDs)를 위치시킨다. 그리고 45°로 빛을 발산하는 것을 막기 위하여 LED의 양쪽을 차단하여 수직으로만 빛이 나갈 수 있도록 구성한다.
도 4는 개략적인 적외선 발생장치(IR-LEDs)를 이용한 적외선 발생장치 배열판(IR-LEDs Array Bar)에 대한 개략적인 제작 모습과 설치 모습을 보여준다.
도 4를 참조하면, 적외선 발생장치 배열판(IR-LEDs Array Bar)를 대규모 디스플레이의 상단 부분에 전면부분에 위치를 시킨다. 이는 사용자의 인터랙션을 포착하기위해서 3cm정도 전면부에 부착을 하며 이때 사용자의 인터랙션 영역을 구성하는 인터랙션 막을 생성하게 된다. 이는 사용자가 손을 뻗었을 때 사용자가 인터랙션 막에 손이 닿으므로 써 사용자가 인터랙션을 자유롭게 할 수 있는 인터랙션 영역에 진입했다는 의미이다.
도 5는 적외선 카메라를 통해 적외선 빛이 손에 반사되어 추출되어 지는 원 리를 개략적으로 보여준다.
도 5를 참조하면, 이때 IR LED의 빛은 ‘빛의 직진성’ 원리에 의해 직선으로 빛이 퍼져 나간다. 그리고 앞에 물체가 가로막고 있으면 빛은 직진성의 성질을 잃어 물체의 반대편에 그림자가 생기게 됩니다. 이러한 원리를 이용하여 대규모 디스플레이에 인터랙션하기위해 터치하였을 때 적외선 발생장치(IR-LEDs)의 빛은 손에 의해 아래쪽에는 그림자가 생기며, 손등에는 적외선 발생장치(IR-LEDs)의 빛이 남아 있게 된다. 이때 대규모 디스플레이를 바라보는 적외선 카메라는 이러한 빛을 수집 할 수 있다. 이를 통해 사용자의 손의 영역을 검출함으로써 손의 좌표 정보값을 추출할 수 있게 된다.
상기와 같이, 적외선 발생장치 배열판(IR-LEDs Array Bar)는 적외선 발생장치(IR-LEDs)를 3cm 간격으로 일정하게 위치시켜서 빛에 대한 영역들이 겹쳐지게 하여 보다 넓은 영역의 적외선 기반의 적외선 빛 막을 제공한다. 이는 도 4에서와 같이 일정한 간격으로 제작을 하게 된다.
도 2는 본 발명에서 내부적인 알고리즘의 단계를 개략적으로 보여준다.
이하에서 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명은 사용자들의 멀티 터치 정보를 얻기 위한 디스플레이 시스템에 있어서 카메라를 통해 획득된 영상을 인식하기 위한 영상 전처리(Image Processing) 모듈;상기 영상 처리 모듈에서 처리된 정보를 전송하기 위한 네트워크(Network) 통신 연결 모듈;를 포함하는 것을 특징으로 한다.
여기서, 영상 처리 모듈은, 적외선 카메라를 이용하여 영상을 획득한 후 획득 영상에서 보이는 실제 영사 화면의 영역을 지정한다. 이때 발생하는 영상의 왜곡을 보정하기 위하여 호모그래피 행렬을 사용한다. 그 다음 일정한 조도 이외에 들어오는 영상은 이진화 과정을 거쳐 잡음을 제거 한 후, 블랍/라벨링을 거쳐 손가락의 위치를 파악한다. 그러나 실제 스크린의 왜곡현상은 호모그래피 행렬로 보정되었지만 추출되어진 좌표는 카메라 뷰 영역에서의 좌표일 뿐, 실제 윈도우 좌표에 적용되는 좌표가 아니다. 이를 위해 API레벨에서 좌표계산하여 카메라뷰와 실제뷰 좌표를 일치시킨다.
구체제적으로 설명하면, 빔 프로젝터가 바라보는 스크린과 카메라가 바라보는 스크린의 화면은 모양과 크기가 서로 다르다. 이러한 영상의 왜곡을 보정하기 위하여 호모그래피 행렬을 사용하여 해결한다.
다음으로, 카메라가 바라보는 해상도의 크기는 (640*480)이지만 실제 모니터(1024*768) 또는 프로젝터에 보이는 화면의 사이즈 크기가 달라 호모그래피 행렬을 사용하여 좌표보정을 하여도 올바르지 않다. 이를 위해 Windows API 레벨에서 좌표 보정을 하게 되면 올바르게 트래킹이 된다.
여기서, 도 3을 통해 상기 호모그래피를 계산한다.
도 3은 영상에서의 왜곡 보정을 위한 호모그래피(Homography) 알고리즘 과정 을 개략적으로 보여준다.
먼저, 실제 사용자가 바라보는 뷰 영역의 스크린과 적외선 카메라가 바라보는 뷰 영역의 스크린의 영상의 모양은 차이가 있다. 사용자가 바라보는 뷰 영역은 편의를 위해 직사각형의 영역으로 맞추지만(도3a). 적외선 카메라로 바라보는 뷰 영역은 공간적 제약에 따른 사다리꼴의 영상왜곡이 생긴다(도3b). 왜곡된 영상의 손가락 좌표를 보정없이 윈도우 시스템이 좌표로 적용하는 것은 원하는 위치의 좌표로 반환할 수 없다. 이러한 문제를 해결하기 위한 방법으로 호모그래피 행렬(Homography Matrix)을 적용한다.
이때, 호모그래피 행렬은 어느 한 평면에 대하여 그 평면 위에 있는 점과 다른 한 평면의 대응점은 3 x 3 행렬로 표현이 가능하다. 여기에서 3 x 3행렬은 두 평면 사이의 사용 변환 관계를 나타내는데, 이것을 호모그래피(Homography) 라고 한다. 호모그래피 행렬을 사전식으로 배열한 9 x 1 벡터를 평면 위에 있는 점과 다른 한 평면의 대응점을 조합한 n x 9 행렬에 곱하면 0 이 된다. 이 과정에서 호모그래피 행렬을 사전식으로 배열한 9 x 1 벡터는 SVD( Singular value Decomposition)를 통해 구한다.
이와 같이 호모그래피 행렬을 이용하여 영상의 왜곡을 보정한다. 보정된 좌표는 카메라의 뷰영역에서의 좌표일 뿐 실제 윈도우 좌표에 적용되는 좌표는 아니다. 만약 카메라의 전체 뷰 영역이 640*480이고, 윈도우의 해상도가 1024*768이라면 위치의 오차는 많이 날 수 밖에 없다. 이러한 위치를 줄이기 위해 마우스의 범위를 API레벨에서 계산하여 제어가 가능하도록 하였다. 마우스의 실제 좌표는 상하 좌우의 모든 영역은 해상도와 관계없이 0~65535의 영역을 가지기 때문에 현 해상도(width, height)를 나눠준 후 호모그래피의 계산 결과로 나온 좌표를 곱하면 해상도에 맞는 좌표가 계산된다..(도3c)
여기서, 네트워크 통신 모듈은, 사용자와 콘텐츠의 인터랙션을 위하여, 여러 사용자들이 입력한 값들을 실시간으로 계속 콘텐츠에 전송을 한다.
서버/클라이언트 모델이 1:1, 1:다 가 될 수 있지만 콘텐츠를 실행시키기 위한 환경이 갖춰진다면, 카메라와 프로젝터를 하나씩 더 늘리면서 사용 할 수 있다.
사용자가 콘텐츠에 상호작용한 행동들은, 콘텐츠가 서버로부터 전송받은 패킷을 분석하여 패킷의 번호별로 콘텐츠를 진행하면 된다.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.
도1은 대규모 인터랙티브 디스플레이 시스템 구성도를 개략적으로 나타낸 것이다.
도2는 대규모 인터랙티브 디스플레이 시스템 및 그 방법의 개략적인 단계를 나타낸 흐름도이다.
도3은 영상 왜곡 보정을 위한 호모그래픽(Homography) 알고리즘 과정을 보여주는 예시도이다.
도4는 적외선 발생장치(IR-LEDs)를 이용한 적외선 발생장치 배열판(IR-LEDs Array Bar) 제작 및 설치 모습을 나타낸 사진이다.
도5는 카메라를 통한 적외선 빛의 반사 영역을 추출하는 것을 개략적으로 나태낸 것이다.
도6은 적외선 발생장치 배열판(IR-LEDs Array Bar)를 이용한 빛의 직진성 향상 원리를 개략적으로 나타낸 것이다.

Claims (16)

  1. 사용자의 자연스러운 손의 움직임을 이용한 터치 시스템에 있어서, 프로젝터(Projector)기반의 대형 벽면형 디스플레이 장치;
    적외선 발생 장치(IR-LEDs)를 이용한 적외선 발생장치 배열판(IR-LEDs Array Bar);
    적외선 투과 필터(IR-Filter)장치를 장착한 적외선 카메라(IR Camera);
    를 포함하는 사용자에게 멀티 터치를 제공하기 위한 대형 인터랙티브 디스플레이 시스템.
  2. 사용자들의 멀티 터치 정보를 얻기 위한 디스플레이 시스템에 있어서,
    카메라를 통해 획득된 영상을 인식하기 위한 영상 전처리(Image Processing) 모듈;상기 영상 처리 모듈에서 처리된 정보를 전송하기 위한 네트워크(Network) 통신 연결 모듈;
    를 포함하는 대규모 사용자를 위한 멀티 터치 대규모 인터랙티브 디스플레이 시스템.
  3. 제 1항에 있어서, 프로젝터 기반의 대규모 벽면형 디스플레이 장치는,
    한 대 이상의 프로젝터;
    프로젝터의 영상을 처리할 수 있는 컴퓨터; 및영상이 투영될 스크린;
    을 포함하는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  4. 제 1항에 있어서, 적외선 발생 장치(IR-LEDs)를 이용한 적외선 발생장치 배열판(IR-LEDs Array Bar)은,
    적외선 발생 장치(IR-LEDs)를 3cm 간격으로 부착하여 만들어져 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  5. 제 4항에 있어서, 적외선 발생장치(IR-LEDs) 방식으로 외부에 적외선의 얇은 막을 구성하기 위한 적외선 발생장치 배열판(IR-LEDs Array Bar)을 포함하는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  6. 상기 적외선 발생 장치 배열판(IR-LEDs Array Bar)은 적외선 발생장치(IR-LEDs)를 3cm 간격으로 일정하게 위치시켜서 빛에 대한 영역들이 겹쳐지게 하여 보다 넓은 영역의 적외선 빛 막을 제공하는 것을 특징으로 하는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  7. 제 5항에 있어서, 상기 적외선 발생 장치 배열판(IR-LEDs Array Bar)는 인터랙션을 위한 공간 배치에 따라 다양한 위치에 설치가 가능하며 여러개를 사용하여 다양한 용도의 인터랙션을 구성하는 것을 특징으로 하는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  8. 제 1항에 있어서, 적외선 투과 필터장치를 장착한 적외선 카메라는,
    적외선 필터;
    일반 CCD 카메라 또는 일반 웹 카메라;
    를 포함하는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  9. 제 8항에 있어서, 상기 적외선 카메라는 적외선막과 부딪혀 반사하는 빛을 적외선 카메라가 포착하는 것을 특징으로 하는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  10. 제 2항에 있어서, 카메라를 통해 획득된 영상을 인식하기 위한 영상 전처리 모듈에서, 적외선 카메라에서의 대규모 디스플레이 영역 획득에 있어서 영상 왜곡에 대한 보정 방법
  11. 제 2항에 있어서, 영상 처리 모듈에서 처리된 정보를 전송하기 위한 네트워크 통신 연결 모듈에서, 대규모 인터랙션을 위한 데이터 처리 방법.
  12. 제 1항에 있어서, 확장을 위한 방법으로, 멀티 카메라, 멀티 컴퓨터 등의 연동을 통한 패러럴 컴퓨팅 방식을 포함하는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  13. 제 12항에 있어서, 이때 컴퓨터에 대한 과부하의 우려가 없고 간단하게 확장할 수 있다는 특징을 가지는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  14. 제 1항에 있어서, 확장을 위한 방법으로, 한 대의 카메라와 한대의 컴퓨터로 멀티 스크린 구현 방식을 포함하는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  15. 제 14항에 있어서, 이때 컴퓨터의 사양에 따라 성능이 저하될 우려가 있지만 가격 및 성능적인 면에서 효율적인 특징을 가지는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
  16. 대규모 사용자들이 다양하게 참가하여 인터랙티브 콘텐츠를 구성하기 위한 다양한 방법을 가지는 사용자에게 멀티 터치를 제공하기 위한 대규모 인터랙티브 디스플레이 시스템.
KR1020090027265A 2009-03-31 2009-03-31 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법 KR20090038413A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090027265A KR20090038413A (ko) 2009-03-31 2009-03-31 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법
KR1020100026964A KR101102953B1 (ko) 2009-03-31 2010-03-25 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090027265A KR20090038413A (ko) 2009-03-31 2009-03-31 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20090038413A true KR20090038413A (ko) 2009-04-20

Family

ID=40762625

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020090027265A KR20090038413A (ko) 2009-03-31 2009-03-31 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법
KR1020100026964A KR101102953B1 (ko) 2009-03-31 2010-03-25 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020100026964A KR101102953B1 (ko) 2009-03-31 2010-03-25 멀티 터치 기반의 대형 인터랙티브 디스플레이 시스템 및 그 방법

Country Status (1)

Country Link
KR (2) KR20090038413A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005438A2 (ko) * 2010-07-09 2012-01-12 (주)디스트릭트홀딩스 터치 스크린 및 프로젝터를 이용한 멀티미디어 광고 디스플레이 방법 및 시스템
WO2012118514A1 (en) * 2011-03-03 2012-09-07 Hewlett-Packard Development Company, L.P. Audio association systems and methods
KR101398252B1 (ko) * 2012-12-27 2014-06-25 (주)액티미디어 적외선 카메라를 이용한 현실 인식과 오차 수정 방법
US9141233B2 (en) 2010-03-17 2015-09-22 Samsung Display Co., Ltd. Touch controlled display device
CN105260021A (zh) * 2015-10-15 2016-01-20 深圳市祈锦通信技术有限公司 一种智能交互投影系统
CN107836112A (zh) * 2016-06-08 2018-03-23 松下知识产权经营株式会社 投影系统
US9927973B2 (en) 2014-02-12 2018-03-27 Samsung Electronics Co., Ltd. Electronic device for executing at least one application and method of controlling said electronic device
US9965028B2 (en) 2010-04-07 2018-05-08 Samsung Electronics Co., Ltd. Method for suspension sensing in interactive display, method for processing suspension sensing image, and proximity sensing apparatus
KR101886243B1 (ko) * 2018-02-20 2018-08-08 유성운 적외선을 이용하여 접촉 위치를 확인하는 영상출력장치
KR20190139383A (ko) * 2018-06-08 2019-12-18 주식회사 이미지마이닝 레이저를 이용한 인터랙티브 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2487043B (en) 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction and illumination system and method
KR101583527B1 (ko) * 2013-07-02 2016-01-11 경북대학교 산학협력단 미디어 파사드 구현 방법 , 미디어 파사드 구현 서버 및 미디어 파사드 구현 시스템
KR101481082B1 (ko) * 2013-10-11 2015-01-13 윤영기 투과 스크린을 이용한 적외선 터치 시스템 및 그 방법
CN104850275B (zh) * 2015-05-15 2019-06-14 深圳欧菲光科技股份有限公司 投影终端及其投影触控实现方法
JP2018005806A (ja) * 2016-07-08 2018-01-11 株式会社スクウェア・エニックス 位置特定プログラム、コンピュータ装置、位置特定方法、及び、位置特定システム
KR101894454B1 (ko) * 2017-02-20 2018-09-04 동서대학교산학협력단 앰비언트 인텔리전스 환경을 위한 스마트 인터랙션 스페이스 모델 시스템 및 그 방법
KR102518397B1 (ko) * 2023-01-31 2023-04-05 주식회사 팔레트온 공간 맞춤형 실감 콘텐츠 구축 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070024969A (ko) * 2005-08-31 2007-03-08 (주)제니텀 엔터테인먼트 컴퓨팅 적외선 감지 사용자 인터페이스를 갖는 벽면형 디스플레이장치 및 그 동작 방법
KR100900321B1 (ko) * 2007-08-20 2009-06-02 윤주영 적외선카메라를 이용한 멀티 터치스크린

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141233B2 (en) 2010-03-17 2015-09-22 Samsung Display Co., Ltd. Touch controlled display device
US9965028B2 (en) 2010-04-07 2018-05-08 Samsung Electronics Co., Ltd. Method for suspension sensing in interactive display, method for processing suspension sensing image, and proximity sensing apparatus
WO2012005438A2 (ko) * 2010-07-09 2012-01-12 (주)디스트릭트홀딩스 터치 스크린 및 프로젝터를 이용한 멀티미디어 광고 디스플레이 방법 및 시스템
WO2012005438A3 (ko) * 2010-07-09 2012-03-01 (주)디스트릭트홀딩스 터치 스크린 및 프로젝터를 이용한 멀티미디어 광고 디스플레이 방법 및 시스템
WO2012118514A1 (en) * 2011-03-03 2012-09-07 Hewlett-Packard Development Company, L.P. Audio association systems and methods
GB2502227A (en) * 2011-03-03 2013-11-20 Hewlett Packard Development Co Audio association systems and methods
US10528319B2 (en) 2011-03-03 2020-01-07 Hewlett-Packard Development Company, L.P. Audio association systems and methods
GB2502227B (en) * 2011-03-03 2017-05-10 Hewlett Packard Development Co Lp Audio association systems and methods
KR101398252B1 (ko) * 2012-12-27 2014-06-25 (주)액티미디어 적외선 카메라를 이용한 현실 인식과 오차 수정 방법
US9927973B2 (en) 2014-02-12 2018-03-27 Samsung Electronics Co., Ltd. Electronic device for executing at least one application and method of controlling said electronic device
CN105260021A (zh) * 2015-10-15 2016-01-20 深圳市祈锦通信技术有限公司 一种智能交互投影系统
CN107836112A (zh) * 2016-06-08 2018-03-23 松下知识产权经营株式会社 投影系统
CN107836112B (zh) * 2016-06-08 2019-03-12 松下知识产权经营株式会社 投影系统
KR101886243B1 (ko) * 2018-02-20 2018-08-08 유성운 적외선을 이용하여 접촉 위치를 확인하는 영상출력장치
KR20190139383A (ko) * 2018-06-08 2019-12-18 주식회사 이미지마이닝 레이저를 이용한 인터랙티브 시스템

Also Published As

Publication number Publication date
KR20100109420A (ko) 2010-10-08
KR101102953B1 (ko) 2012-01-11

Similar Documents

Publication Publication Date Title
KR20090038413A (ko) 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
US9195345B2 (en) Position aware gestures with visual feedback as input method
TWI393037B (zh) 光學觸控顯示裝置及其操作方法
Dohse et al. Enhancing multi-user interaction with multi-touch tabletop displays using hand tracking
US20130135199A1 (en) System and method for user interaction with projected content
US20130141327A1 (en) Gesture input method and system
US20100103099A1 (en) Pointing device using camera and outputting mark
US8269750B2 (en) Optical position input system and method
US20150089453A1 (en) Systems and Methods for Interacting with a Projected User Interface
TW201214243A (en) Optical touch system and object detection method therefor
Katz et al. A multi-touch surface using multiple cameras
TWI499938B (zh) 觸控系統
Liang et al. Turn any display into a touch screen using infrared optical technique
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
KR20090116544A (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
US8760437B2 (en) Sensing system
TWI448918B (zh) 光學觸控系統
US20130187854A1 (en) Pointing Device Using Camera and Outputting Mark
CN101819493B (zh) 交互式显示屏幕及其方法
Cheng et al. Real-time monocular tracking of view frustum for large screen human-computer interaction
Wang et al. A multi-touch platform based on four corner cameras and methods for accurately locating contact points
Winkler et al. Tangible mixed-reality desktop for digital media management
Pimpalkar et al. The design of touch detection HCI system based on Raspberry Pi module

Legal Events

Date Code Title Description
A201 Request for examination