KR20110046786A - 멀티포인트 사용자 인터페이스 장치 및 멀티포인트 사용자 인터페이싱 방법 - Google Patents

Abstract

복수의 사용자들의 공동 협업을 위한 멀티포인트 사용자 인터페이스 장치 및 그 방법이 개시된다. 본 발명에 따른 멀티포인트 사용자 인터페이스 장치는, 각각 특정 사용자와 관련된 복수의 입력 장치들로부터 발생하는 입력 이벤트들을 식별하는 입력 이벤트 식별부; 상기 입력 이벤트들 중 둘 이상을 융합하여 새로운 이벤트를 생성하는 입력 이벤트 융합부; 및 상기 입력 이벤트들 및 상기 새로운 이벤트 중 어느 하나 이상을 응용프로그램 별 이벤트 대기 큐로 전달하여 유사 실시간 처리되도록 하는 입력 이벤트 전송부를 포함한다. 따라서, 복수의 사용자가 효과적으로 복수의 포인터를 제어할 수 있다.

멀티포인트, 공동 협업, 비접촉 입력

Description

멀티포인트 사용자 인터페이스 장치 및 멀티포인트 사용자 인터페이싱 방법 {Multipoint user interface device and multipoint user interfacing method}

본 발명은 다중 사용자 인터페이스(user interface)에 관한 것으로서, 복수의 사용자들의 공동 협업(collaboration)을 위한 멀티포인트 사용자 인터페이스 프레임워크 기술에 관한 것이다.

최근 대형 디스플레이 장치가 보편화되면서, 많은 사용자들이 하나의 디스플레이 장치를 보는 경우가 점점 더 증가하고 있다. 한편, 현재 사용되고 있는 컴퓨터의 사용자 입력 인터페이스로는 보편적으로 마우스 및 키보드가 사용된다.

회의나 복수 사용자들의 공동 작업 등과 같이 복수의 사용자들이 공동으로 시스템을 컨트롤하여야 하는 경우, 종래의 마우스나 키보드를 이용하면 한 사람씩 번갈아 가며 입력 인터페이스를 사용하여야 하는 불편이 있었다. 디스플레이 장치의 대형화 추세로 복수 사용자의 공동 작업을 위한 사용자 인터페이스의 필요성은 점차 증대되어 가고 있다.

최근 복수의 마우스들을 인식하여 화면에 복수 개의 커서를 제공하는 시스템이 소개된 바 있으나, 이 시스템은 기존 윈도우 환경에서 하나의 마우스가 제어를 획득하면, 다른 마우스들은 시스템을 제어할 수 없는 문제점이 있다. 즉, 다중 커서(multi cursor)는 제공하지만, 시스템은 결국 하나의 커서에 의해서만 제어되기 때문에 사용자들은 순차적으로 작업을 할 수 밖에 없었다. 나아가, 작업 도중에 다른 사용자에 의하여 제어를 빼앗기는 경우 기존에 수행하던 작업내용을 잃게 될 위험이 있었다.

나아가, 마우스나 키보드 같은 입력 인터페이스 이외에 굽힘 센서, 포지션센서 또는 카메라 인식 등을 통한 사용자의 제스쳐(gesture)를 통한 입력도 가능해졌고, 그래픽 유저 인터페이스의 발달로 화면상에서 객체를 포인팅하는 것 만으로도 시스템상에서 대부분의 작업을 불편 없이 수행할 수 있다. 따라서, 한 명의 사용자가 복수 개의 입력 인터페이스들을 동시에 사용하는 어플리케이션이 보편화 될 것으로 기대되며, 이 경우 각각의 입력 인터페이스에서 발생하는 이벤트를 효율적으로 처리하여 입력 인터페이스들을 적절히 제어할 수 있는 사용자 인터페이스 기술의 필요성이 절실하게 대두된다.

상기한 과제를 해결하기 위한 본 발명의 목적은, 회의나 공동 작업 시에 복수의 사용자들이 각자의 인터페이스를 통해 동시에 화면 객체를 제어할 수 있도록 하여 공동 협업을 용이하게 하는 것을 목적으로 한다.

또한, 본 발명의 목적은 한 명의 사용자가 복수 개의 입력 장치를 사용하는 경우 등에 복수의 입력 장치들에서 발생하는 이벤트를 사용자 별로 관리함으로써 복수의 입력 장치에서 발생한 이벤트들을 적절히 융합하여 효과적으로 사용자가 멀티포인트를 제어할 수 있도록 하는 것이다.

또한, 본 발명의 목적은 복수개의 응용 프로그램이 수행되는 경우 응용 프로그램 별로 이벤트 대기 큐를 두어 다수의 입력 장치에서 발생하는 이벤트들을 효율적으로 제어하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 멀티포인트 사용자 인터페이스 장치는, 각각 특정 사용자와 관련된 복수의 입력 장치들로부터 발생하는 입력 이벤트들을 식별하는 입력 이벤트 식별부; 상기 입력 이벤트들 중 둘 이상을 융합하여 새로운 이벤트를 생성하는 입력 이벤트 융합부; 및 상기 입력 이벤트들 및 상기 새로운 이벤트 중 어느 하나 이상을 응용프로그램 별 이벤트 대기 큐로 전달하여 유사 실시간 처리되도록 하는 입력 이벤트 전송부를 포함하는 것을 특징으로 한다.

이 때, 멀티포인트는 상기 입력 장치들 중 하나 이상에 의하여 제어되는 것 일 수 있다.

이 때, 입력 이벤트 융합부는 식별된 입력 이벤트들과 관련된 사용자 정보를 고려하여 새로운 이벤트를 생성할 수 있다. 예를 들어, 입력 이벤트 융합부는 동일한 사용자에 의하여 제어되는 복수의 입력 장치에서 발생한 이벤트만을 융합하고, 같은 이벤트들의 조합이라도 상이한 사용자들로부터 발생된 이벤트들은 융합하지 아니할 수 있다.

이 때, 입력 장치들은 굽힘 센서, 포지션 센서 및 카메라 입력 장치 중 어느 하나 이상을 포함할 수 있다.

이 때, 멀티포인트 사용자 인터페이스 장치는 응용 프로그램으로부터 출력 요청을 수신하여 출력 장치로 출력 데이터를 전송하는 출력 제어부 및 사용자 입력과 관련된 화면상의 객체를 식별할 수 있도록 멀티포인트의 위치를 추적하는 멀티포인트 위치 추적부를 더 포함할 수 있다. 이 때, 출력 장치는 복수개이고, 사용자마다 대응되는 출력 장치가 설정될 수 있다.

이 때, 입력 이벤트 전송부는 상기 입력 이벤트들 및 상기 새로운 이벤트를 발생한 순서대로 상기 이벤트 대기 큐로 전달할 수 있다.

또한, 본 발명에 따른 멀티포인트 사용자 인터페이싱 방법은 각각 특정 사용자와 관련된 복수의 입력 장치들로부터 발생하는 입력 이벤트들을 식별하는 단계; 상기 입력 이벤트들 중 둘 이상을 융합하여 새로운 이벤트를 생성하는 단계; 및 상기 입력 이벤트들 및 상기 새로운 이벤트 중 어느 하나 이상을 응용프로그램 별 이벤트 대기 큐로 전달하여 유사 실시간 처리되도록 하는 단계를 포함하는 것을 특징 으로 한다.

이 때, 새로운 이벤트를 생성하는 단계는 상기 입력 이벤트들과 관련된 사용자 정보를 고려하여 상기 새로운 이벤트를 생성할 수 있다.

이 때, 멀티포인트 사용자 인터페이싱 방법은 응용 프로그램으로부터 출력 요청을 수신하여 출력 장치로 출력 데이터를 제공하는 단계를 더 포함할 수 있다. 이 때, 출력 장치는 복수개이고, 상기 사용자마다 대응하는 출력 장치가 설정될 수 있다.

이 때, 응용프로그램 별 이벤트 대기 큐로 전달하는 단계는 상기 입력 이벤트들 및 상기 새로운 이벤트를, 발생한 순서대로 상기 이벤트 대기 큐로 전달할 수 있다.

본 발명에 따르면, 회의나 공동 작업 시에 복수의 사용자들이 각자의 인터페이스를 통해 동시에 화면 객체를 제어할 수 있어 공동 협업을 용이하게 할 수 있다.

또한, 본 발명은 한 명의 사용자가 복수 개의 입력 장치를 사용하는 경우 등에 복수의 입력 장치들에서 발생하는 이벤트를 사용자 별로 관리함으로써, 복수의 입력 장치에서 발생한 이벤트들을 적절히 융합하여 효과적으로 사용자가 멀티포인트를 제어할 수 있도록 한다.

또한, 본 발명의 목적은 복수개의 응용 프로그램이 수행되는 경우 응용 프로그램 별로 이벤트 대기 큐를 두어 다수의 입력 장치에서 발생하는 이벤트들을 효율 적으로 제어할 수 있다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명에 따른 멀티포인트 사용자 인터페이스 환경을 나타낸 도면이다.

도 1을 참조하면, 멀티포인트 사용자 인터페이스 환경은 개별 사용장치들(120, 130), 공동 협업 장치(140), 멀티포인트 사용자 인터페이스(110) 및 응용 프로그램(150)을 포함한다.

개별 사용장치들(120, 130)은 각각 촉각출력장치, 제스쳐 입력기 등 개인이 사용하는 개별 입출력장치이다. 예를 들어, 개별 사용장치들(120, 130)은 각각 입력을 위해 굽힘 센서, 포지션 센서 및 카메라 입력 장치 등을 포함할 수 있다.

공동 협업 장치(140)는 스피커나 디스플레이 등과 같이 사용들이 공동으로 사용하는 장치이다. 공동 협업 장치(140)는 복수개의 장치로 구성될 수도 있다. 예를 들어, 복수개의 디스플레이가 여러 사용자들이 공동으로 사용하는 화면을 구성하는 경우, 이 복수개의 디스플레이는 공동 협업 장치(140)에 해당한다.

응용 프로그램(150)은 공동 협업을 위한 소프트웨어일 수 있다. 예를 들어, 응용 프로그램(150)은 실내 인테리어 디자인 툴일 수 있다.

실시예에 따라, 응용 프로그램(150)은 복수개가 동시에 실행될 수 있다. 특히, 최근 중앙처리장치의 성능이 눈부시게 발전함에 따라 복수개의 프로그램이 동시에 수행되는 것이 가능해졌고, 복수 사용자의 공동 작업을 위해서는 복수개의 응용 프로그램을 동시에 수행하여 사용자 제어를 적절히 분배하고, 응용 프로그램마다 이벤트 대기 큐로 이벤트를 관리함으로써 멀티 사용자 제어 성능을 향상시킬 수 있다.

응용 프로그램(150)은 각각 이벤트 대기 큐를 구비하며, 이벤트 대기 큐에 저장된 이벤트를 순차적으로 처리하고, 출력 요청을 생성하여 멀티포인트 사용자 인터페이스 장치(110)로 전송한다. 이 때, 응용 프로그램(150)은 복수 사용자의 입력 이벤트가 소위 유사 실시간(quasi-realtime)으로 처리될 수 있는 성능에서 실행되는 것이 바람직하다.

멀티 사용자 인터페이스(110)는 개별 사용 장치들(120, 130)로부터의 이벤트를 제공 받아 필요한 경우 복수 개의 이벤트를 융합하여 새로운 이벤트를 생성하고, 유사 실시간 처리를 위해 응용 프로그램의 이벤트 대기 큐로 이벤트를 제공한다. 또한, 멀티 사용자 인터페이스(110)는 응용 프로그램으로부터 출력 요청을 수 신하여 해당 출력 장치로 출력 데이터를 제공한다.

도 2는 도 1에 도시된 멀티포인트 사용자 인터페이스 장치의 일 예를 나타낸 블록도이다.

도 2를 참조하면, 멀티포인트 사용자 인터페이스 장치는 입력 제어부(210) 및 출력 제어부(220)를 포함한다.

입력 제어부(210)는 각각 특정 사용자와 관련된 복수의 입력 장치들로부터 발생하는 입력 이벤트들을 식별하고, 필요한 경우 입력 이벤트들 중에서 둘 이상을 융합하여 새로운 이벤트를 생성하고, 식별된 이벤트 및/또는 생성된 이벤트를 응용 프로그램 별 이벤트 대기 큐로 전달하여 유사 실시간 처리되도록 한다.

출력 제어부(220)는 응용 프로그램으로부터 수신된 출력 요청에 따라 적절한 출력 장치를 선별하여 출력 데이터를 제공한다. 이 때, 출력 장치는 공동 협업 장치일 수도 있고, 개별 사용 장치일 수도 있다.

특히, 출력 제어부(220)는 응용 프로그램으로부터의 출력 요청에 상응하는 입력 이벤트를 발생시킨 사용자에 해당하는 출력 장치로 출력 데이터를 제공할 수 있다. 복수의 사용자가 복수의 입력 장치를 사용하여 입력 이벤트를 발생시키고 복수의 디스플레이 장치를 통하여 공동 협업하는 경우, 해당 사용자에 알맞은 디스플레이 등의 출력 장치의 선정은 매우 중요한 문제이고, 이벤트에 상응하는 사용자 정보를 이용함으로써 효율적으로 적절한 출력 장치를 선정할 수 있다.

출력 제어부(220)는 멀티포인트 위치 추적 기능을 수행할 수도 있다. 즉, 출력 제어부(220)는 화면상의 멀티포인트들의 위치를 추적하여 특정 이벤트 발생시 해당 이벤트에 상응하는 위치의 객체를 선택하도록 할 수 있다.

도 3은 도 2에 도시된 입력 제어부의 일 예를 나타낸 블록도이다.

도 3을 참조하면, 입력 제어부는 입력 이벤트 식별부(310), 입력 이벤트 융합부(320) 및 입력 이벤트 전송부(330)를 포함한다.

입력 이벤트 식별부(310)는 각각 특정 사용자와 관련된 복수의 입력 장치들로부터 발생하는 입력 이벤트들을 식별한다. 예를 들어, A 입력 장치 및 B 입력 장치는 사용자 1과 관련된 장치일 수 있고, C 입력 장치 및 D 입력 장치는 사용자 2와 관련된 장치일 수 있다. 입력 이벤트 식별부(310)는 A, B, C 및 D 입력 장치 모두에서 발생하는 이벤트를 식별할 수 있고, 그 이벤트에 상응하는 사용자도 식별할 수 있다. 나아가, 입력 이벤트 식별부(310)는 입력 장치의 종류나 발생한 이벤트의 종류에 관한 정보도 식별할 수 있다.

이 때, 입력 장치들은 굽힘 센서, 포지션 센서 및 카메라 입력 장치 중 어느 하나 이상을 포함할 수 있다.

이 때, 멀티포인트는 입력 장치들 중 하나 이상에 의하여 제어될 수 있다. 예를 들어, 멀티포인트는 하나의 관성 센서에 의하여 제어될 수도 있고, 관성 센서 및 굽힘 센서에 의하여 제어될 수도 있다.

입력 이벤트 융합부(320)는 필요한 경우 입력 이벤트들 중 둘 이상을 융합하여 새로운 이벤트를 생성한다.

관성 센서나 카메라 인식 등을 통하여 손의 이동에 대한 감지가 가능하고, 굽힘 센서 등을 통하여 손가락의 움직임에 대한 감지도 가능한 바, 신체의 둘 이상부분의 움직임의 조합에 대응하는 이벤트가 정의될 수 있고, 이 경우 각각의 센서에서 발생한 이벤트를 조합하여 하나의 이벤트를 생성할 수 있다.

예를 들어, 오른손 검지를 굽힌 상태에서 왼손을 시계 방향으로 돌리는 움직임에 대한 이벤트가 정의될 수 있고, 이 경우 입력 이벤트 융합부는 오른손 검지를 굽힘으로써 발생한 이벤트와 왼손을 시계 방향으로 돌려서 발생한 이벤트를 조합하여 하나의 새로운 이벤트로 생성하여 응용 프로그램으로 제공할 수 있다.

특히, 마우스와 같이 단순한 포인팅 장치가 아닌 인체의 움직임을 통한 비접촉식 입력 장치의 경우 이와 같이 복수개의 입력 이벤트들의 조합을 정의하고 이에 상응하는 새로운 이벤트를 생성하여 응용 프로그램으로 전달하는 방식으로 멀티포인트 사용자 인터페이스 장치의 동작 효율성을 높일 수 있다.

특히, 비접촉식 입력 장치를 사용하는 경우 사용자의 위치 및 움직임의 제약을 최소화하는 한편, 대형화된 표시장치의 조작을 용이하게 할 수 있다.

이 때, 입력 이벤트 융합부(320)는 입력 이벤트 식별부(310)에서 식별된 입력 이벤트들과 관련된 사용자 정보를 고려하여 새로운 이벤트를 생성할 수 있다. 예를 들어, 입력 이벤트 융합부(320)는 손가락 굽힘과 손 움직임이 동일 사용자에 의하여 발생한 경우 두 이벤트를 융합하여 새로운 이벤트를 발생시키지만, 다른 사용자들이 각각 손가락을 굽히고, 손을 움직이는 경우에는 이벤트 융합을 수행하지 아니할 수 있다.

입력 이벤트 전송부(330)는 입력 장치들로부터 발생한 입력 이벤트들 및/또는 이벤트 융합부(320)에서 생성된 새로운 이벤트를 응용프로그램 별 이벤트 대기 큐로 전달하여 유사 실시간 처리되도록 한다.

유사 실시간(quasi-realtime) 처리는 엄밀히 말하면 실시간 처리는 아니지만 용인 가능한 시간 내에 이벤트를 처리함으로써 사용자가 이벤트 발생과 동시에 이벤트가 처리되는 것으로 인식하는 것을 말한다. 특히, 멀티포인트 사용자 인터페이스의 경우, 이벤트 대기 큐를 통한 이벤트 처리 속도가 충분히 빠르다면, 복수의 사용자는 각각의 입력이 동시에 처리되는 것으로 느낄 수 있다.

이 때, 입력 이벤트 전송부(330)는 입력 장치에 의하여 발생된 입력 이벤트들 및/또는 입력 이벤트 융합부(320)에 의하여 생성된 이벤트를, 이벤트가 발생한 순서대로 응용 프로그램 별 이벤트 대기 큐로 전달할 수 있다.

도 4는 도 2에 도시된 출력 제어부의 일 예를 나타낸 블록도이다.

도 4를 참조하면, 도 2에 도시된 출력 제어부는 출력 제어기(410) 및 멀티포인트 위치 추적부(420)를 포함한다.

출력 제어기(410)는 응용 프로그램으로부터의 출력 요청을 수신하여, 해당하는 출력 장치를 선별하고 선별된 장치로 출력 데이터를 제공한다.

이 때, 출력 장치는 복수개일 수 있고, 사용자마다 대응하는 출력 장치가 설정될 수 있다.

멀티포인트 위치 추적부(420)는 화면상의 멀티포인트들의 위치를 추적하여, 사용자 입력이 발생한 위치의 화면상의 객체를 추적한다. 예를 들어, 사용자가 제스쳐로 화면상의 객체를 선택하여 이동시키고자 하는 경우, 해당 지점을 인지하여 객체가 선택되어 사용자가 원하는 위치로 이동될 수 있도록 한다.

실시예에 따라, 출력 제어기(410)는 멀티포인트 위치 추적부(420)의 출력을 이용하여 출력 장치 선별 및 또는 출력 데이터 제공을 수행할 수 있다.

도 5는 입력 처리시 본 발명에 따른 멀티포인트 사용자 인터페이싱 방법을 나타낸 블록도이다.

도 5를 참조하면, 멀티포인트 사용자 인터페이싱 방법은 각각 특정 사용자와 관련된 복수의 입력 장치들로부터 발생하는 입력 이벤트들을 식별한다(S510).

이 때, 멀티포인트는 입력 장치들 중 하나 이상에 의하여 제어될 수 있다.

이 때, 입력 이벤트들의 식별은 각각 입력 장치들에 대하여 정의된 입력 동작에 해당하는지 여부를 판단함으로써 수행될 수 있다. 예를 들어, 굽힘 센서에 대하여 소정 각도 이상의 굽힘이 발생하는 경우, 관성 센서에 대하여 소정의 가속도로 소정 위치 이상의 움직임이 발생하는 경우 등에 입력 이벤트들이 발생할 수 있다.

또한, 멀티포인트 사용자 인터페이싱 방법은 입력 이벤트들의 융합이 필요한지 여부를 판단한다(S520).

즉, 효율적인 이벤트 관리를 위해 둘 이상의 이벤트 조합에 대하여 융합 이벤트가 정의되어 있을 수 있다. 이 경우, 저장된 이벤트 조합에 해당하는 이벤트 들이 입력되는 경우 이벤트 융합이 필요한 것으로 판단할 수 있다.

단계(S520)의 판단 결과 융합이 필요하다고 판단되면, 멀티포인트 사용자 인터페이싱 방법은 둘 이상의 입력 이벤트들을 융합한다(S530).

예를 들어, 멀티포인트 사용자 인터페이싱 방법은 둘 이상의 입력 이벤트들의 조합에 대하여 정의된 융합 이벤트를 DB에서 검색하여 새로운 융합 이벤트로 출력할 수 있다.

이 때, 단계(S530)는 입력 이벤트들과 관련된 사용자 정보를 고려하여 새로운 이벤트를 생성할 수 있다.

또한, 멀티포인트 사용자 인터페이싱 방법은 입력 장치들로부터 발생한 이벤트 및/또는 융합에 의하여 생성된 이벤트를 응용프로그램 별 이벤트 대기 큐로 전달하여 유사 실시간 처리되도록 한다(S540). 이 때, 포인트 위치나 객체 정보 등이 함께 응용 프로그램으로 전송될 수 있다. 예를 들어, 포인트 위치는 이벤트가 발생한 시점에서 이벤트를 발생시킨 입력 장치와 관련된 사용자에 해당하는 포인트 위치일 수 있고, 객체 정보는 이벤트가 발생한 시점에서 포인트의 위치에 상응하는 객체에 관한 정보일 수 있다.

이 때, 단계(S540)는 입력 이벤트들 및/또는 융합에 의하여 발생한 새로운 이벤트를 발생한 순서대로 이벤트 대기 큐로 전달할 수 있다.

단계(S520)의 판단 결과 이벤트 융합이 필요하지 않다고 판단되는 경우, 멀티포인트 사용자 인터페이싱 방법은 단계(S540)로 진행하여 입력 장치들로부터 발생한 이벤트, 포인트 위치 및 객체 정보 등을 응용 프로그램으로 전송한다.

이벤트, 포인트 위치 및 객체 정보 등을 제공 받은 응용 프로그램은 이벤트 대기 큐에서 이벤트를 꺼내어 처리하여 사용자에게 처리된 이벤트에 상응하는 출력이 제공되도록 출력 요청을 한다.

도 6은 출력 처리시 본 발명에 따른 멀티포인트 사용자 인터페이싱 방법을 나타낸 블록도이다.

도 6을 참조하면, 멀티포인트 사용자 인터페이싱 방법은 응용 프로그램으로부터 출력 요청을 수신한다(S610).

출력 요청을 수신한 멀티포인트 사용자 인터페이싱 방법은 출력 요청과 관련된 입력 이벤트에 상응하는 사용자를 식별한다(S620).

또한, 멀티포인트 사용자 인터페이싱 방법은 식별된 사용자가 이용 가능한 출력 장치를 선택한다(S630).

이와 같이 각 입력 장치에서 발생한 이벤트에 상응하는 사용자 정보를 이용하여 복수개의 출력 장치들 중 적절한 출력 장치의 선별이 가능하다.

또한, 멀티포인트 사용자 인터페이싱 방법은 선택된 출력 장치로 출력 데이터를 제공한다(S640).

도 6에는 도시되지 아니하였으나, 멀티포인트 사용자 인터페이싱 방법은 사용자 입력과 관련된 화면상의 객체를 식별할 수 있도록 멀티포인트의 위치를 추적하는 단계를 더 포함할 수 있다.

도 5 및 도 6에 도시된 멀티포인트 사용자 인터페이싱 방법들은 편의를 위하 여 둘로 나누어 설명 되었으나, 하나의 기기에서 수행되는 동작일 수 있다.

도 7은 두 개의 포인트가 동시에 작업을 수행하는 경우의 예를 나타낸 도면이다.

도 7을 참조하면, 화면에 두 개의 포인트들(710, 720)이 있어, 두 명의 사용자가 각각의 포인트를 이용하여 공동 협업 하는 것을 알 수 있다.

도 7에 도시된 예에서, 포인트(710)를 사용하는 사용자는 포인트(720)과 무관하게 원하는 아이템을 선택하여 설계 도면 상에 배치할 수 있다.

마찬가지로, 포인트(720)를 사용하는 사용자는 포인트(710)와 무관하게 원하는 아이템을 선택하여 설계 도면 상에 배치할 수 있다.

실시예에 따라, 포인트들(710, 720)은 각각 마우스와 같은 하나의 입력 장치를 통하여 제어되는 것일 수도 있고, 관성 센서 및 굽힘 센서 등과 같이 복수의 입력 장치를 통하여 제어되는 것일 수도 있다.

도 8은 4명의 사용자가 각각 두 개의 포인트를 이용하여 공동 작업을 수행하는 경우의 예를 나타낸 도면이다.

도 8을 참조하면, 복수 개의 표시장치(display)들(871, 872, 873, 874)을 이용한 공동 협업을 통하여 인테리어 디자인 작업을 수행하고 있는 것을 알 수 있다.

도 8에 도시된 예에서 한 명의 사용자는 두 개의 포인트를 제어한다. 이 때, 사용자는 양 손의 제스쳐를 통해서 두 개의 포인트를 제어할 수 있다. 또한, 각각의 사용자들은 디스플레이 화면 사이를 이동하며 작업할 수 있는 것을 알 수 있다.

도 8에 도시된 포인트들(811, 812)이 사용자(810)에 의하여 제어되고, 포인트들(821, 822)이 사용자(820)에 의하여 제어되며, 포인트들(831, 832)이 사용자(830)에 의하여 제어되고, 포인트들(841, 842)이 사용자(840)에 의하여 제어된다.

사용자(810)는 왼손으로 포인트(811)를 제어하여 표시장치(871)상에서 인테리어 디자인 작업을 수행하고, 오른손으로는 포인트(812)를 제어하여 표시장치(872)상에서 작업을 수행하고 있다. 사용자(810)는 표시장치(872) 상의 아이템을 표시장치(871) 상으로 옮겨 놓을 수도 있다.

사용자(820)는 표시장치(871) 상에서 두 개의 포인트들(821, 822)을 이용하여 인테리어 디자인 작업을 수행한다. 이 때, 사용자(820)는 다른 표시장치들(872, 873, 874)로부터 표시장치(871)로 아이템을 끌어다 놓고 작업하는 것일 수 있다.

사용자(830)는 왼손으로 포인트(831)를 제어하여 표시장치(872) 상의 아이템을 선택하고, 오른손으로는 포인트(832)를 제어하여 표시장치(874)에서 인테리어 디자인 작업을 수행하고 있다.

사용자(840)는 왼손으로 포인트(841)를 제어하여 표시장치(873) 상의 아이템을 선택하고, 오른손으로는 포인트(842)를 제어하여 표시장치(874)상에서 인테리어 디자인 작업을 수행하고 있다.

도 8에 도시된 예와 같이, 복수의 표시장치들을 공동으로 둘 이상의 입력 장치를 사용하는 복수의 사용자들이 사용하는 경우에, 입력 장치에서 발생하는 이벤트에 상응하는 사용자 정보를 이용함으로써 이벤트를 효과적으로 융합하고, 출력시 사용자에 상응하는 출력 장치를 선정할 수 있다.

이상에서와 같이 본 발명에 따른 멀티포인트 사용자 인터페이스 장치 및 그 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

도 1은 본 발명에 따른 멀티포인트 사용자 인터페이스 환경을 나타낸 도면이다.

도 2는 도 1에 도시된 멀티포인트 사용자 인터페이스 장치의 일 예를 나타낸 블록도이다.

도 3은 도 2에 도시된 입력 제어부의 일 예를 나타낸 블록도이다.

도 4는 도 2에 도시된 출력 제어부의 일 예를 나타낸 블록도이다.

도 5는 입력 처리시 본 발명에 따른 멀티포인트 사용자 인터페이싱 방법을 나타낸 블록도이다.

도 6은 출력 처리시 본 발명에 따른 멀티포인트 사용자 인터페이싱 방법을 나타낸 블록도이다.

도 7은 두 개의 포인트가 동시에 작업을 수행하는 경우의 예를 나타낸 도면이다.

도 8은 4명의 사용자가 각각 두 개의 포인트를 이용하여 공동 작업을 수행하는 경우의 예를 나타낸 도면이다.

Claims (15)

1. 각각 특정 사용자와 관련된 복수의 입력 장치들로부터 발생하는 입력 이벤트들을 식별하는 입력 이벤트 식별부;

   상기 입력 이벤트들 중 둘 이상을 융합하여 새로운 이벤트를 생성하는 입력 이벤트 융합부; 및

   상기 입력 이벤트들 및 상기 새로운 이벤트 중 어느 하나 이상을 응용프로그램 별 이벤트 대기 큐로 전달하여 유사 실시간 처리되도록 하는 입력 이벤트 전송부를 포함하는 것을 특징으로 하는 멀티포인트 사용자 인터페이스 장치.
2. 청구항 1에 있어서,

   상기 멀티포인트는 상기 입력 장치들 중 하나 이상에 의하여 제어되는 것을 특징으로 하는 멀티포인트 사용자 인터페이스 장치.
3. 청구항 1에 있어서,

   상기 입력 이벤트 융합부는

   상기 입력 이벤트 식별부에서 식별된 입력 이벤트들과 관련된 사용자 정보를 고려하여 상기 새로운 이벤트를 생성하는 것을 특징으로 하는 멀티포인트 사용자 인터페이스 장치.
4. 청구항 3에 있어서,

   상기 입력 장치들은

   굽힘 센서, 포지션 센서 및 카메라 입력 장치 중 어느 하나 이상을 포함하는 것을 특징으로 하는 멀티포인트 사용자 인터페이스 장치.
5. 청구항 3에 있어서,

   상기 응용 프로그램으로부터 출력 요청을 수신하여 출력 장치로 출력 데이터를 제공하는 출력 제어부를 더 포함하는 것을 특징으로 하는 멀티포인트 사용자 인터페이스 장치.
6. 청구항 5에 있어서,

   상기 출력 장치는 복수개이고, 상기 사용자마다 대응하는 출력 장치가 설정되는 것을 특징으로 하는 멀티포인트 사용자 인터페이스 장치.
7. 청구항 3에 있어서,

   사용자 입력과 관련된 화면상의 객체를 식별할 수 있도록 상기 멀티포인트의 위치를 추적하는 멀티포인트 위치 추적부를 더 포함하는 것을 특징으로 하는 멀티포인트 사용자 인터페이스 장치.
8. 청구항 3에 있어서,

   상기 입력 이벤트 전송부는

   상기 입력 이벤트들 및 상기 새로운 이벤트를, 발생한 순서대로 상기 이벤트 대기 큐로 전달하는 것을 특징으로 하는 멀티포인트 사용자 인터페이스 장치.
9. 각각 특정 사용자와 관련된 복수의 입력 장치들로부터 발생하는 입력 이벤트들을 식별하는 단계;

   상기 입력 이벤트들 중 둘 이상을 융합하여 새로운 이벤트를 생성하는 단계; 및

   상기 입력 이벤트들 및 상기 새로운 이벤트 중 어느 하나 이상을 응용프로그램 별 이벤트 대기 큐로 전달하여 유사 실시간 처리되도록 하는 단계를 포함하는 것을 특징으로 하는 멀티포인트 사용자 인터페이싱 방법.
10. 청구항 9에 있어서,

    상기 멀티포인트는 상기 입력 장치들 중 하나 이상에 의하여 제어되는 것을 특징으로 하는 멀티포인트 사용자 인터페이싱 방법.
11. 청구항 9에 있어서,

    상기 새로운 이벤트를 생성하는 단계는

    상기 입력 이벤트들과 관련된 사용자 정보를 고려하여 상기 새로운 이벤트를 생성하는 것을 특징으로 하는 멀티포인트 사용자 인터페이싱 방법.
12. 청구항 11에 있어서,

    상기 응용 프로그램으로부터 출력 요청을 수신하여 출력 장치로 출력 데이터를 제공하는 단계를 더 포함하는 것을 특징으로 하는 멀티포인트 사용자 인터페이싱 방법.
13. 청구항 12에 있어서,

    상기 출력 장치는 복수개이고, 상기 사용자마다 대응하는 출력 장치가 설정되는 것을 특징으로 하는 멀티포인트 사용자 인터페이싱 방법.
14. 청구항 11에 있어서,

    사용자 입력과 관련된 화면상의 객체를 식별할 수 있도록 상기 멀티포인트의 위치를 추적하는 단계를 더 포함하는 것을 특징으로 하는 멀티포인트 사용자 인터페이싱 방법.
15. 청구항 11에 있어서,

    상기 응용프로그램 별 이벤트 대기 큐로 전달하는 단계는

    상기 입력 이벤트들 및 상기 새로운 이벤트를, 발생한 순서대로 상기 이벤트 대기 큐로 전달하는 것을 특징으로 하는 멀티포인트 사용자 인터페이싱 방법.

Images