KR101412645B1 - Ｘｍｌ 기반의 ａｕｉ 데이터 통합처리시스템 - Google Patents

Abstract

본 발명은 다양한 입/출력 장치와 사용자 사이의 향상된 상호작용을 위해 서로 다른 AUI 데이터 포맷을 하나의 일관된 AUI 데이터 포맷으로 제공함으로써 장치들 간에 효과적인 연동 및 상호작용을 제공할 수 있도록 MPEG-U 표준 XML 기반의 AUI 데이터 통합처리시스템에 관한 것이다.
본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치는, 물리적 입력 정보 및 기 작성된 XML 문서 중 적어도 어느 하나를 제공받고, 상기 물리적 입력 정보를 AUI(Advanced User Interaction) 패턴 데이터로 처리하는 사용자 인터페이스 입력부와, 사용자 인터페이스 입력부에 처리된 상기 AUI 패턴 데이터를 MPEG-U 표준에 근거하여 표준 XML 문서로 생성하는 표준 XML 문서 생성부와, 상기 사용자 인터페이스 입력부에 제공된 상기 XML 문서 또는 표준 XML 문서 생성부에서 생성된 상기 표준 XML 문서를 해석하여 AUI 패턴 데이터와 파라미터를 파싱(parsing)하는 표준 XKL 문서 해석부 및 파싱된 상기 AUI 패턴 데이터와 파라미터를 그래픽 객체로 변환하여 출력하는 사용자 인터페이스 출력부를 포함하는 것을 특징으로 한다.

Description

ＸＭＬ 기반의 ＡＵＩ 데이터 통합처리시스템{PROCESSING SYSTEM FOR UNIFYING XML-BASED AUI DATA}

본 발명은 XML 기반의 AUI(Advanced User Interaction) 데이터 통합처리시스템에 관한 것으로, 보다 상세하게는, 다양한 입/출력 장치와 사용자 사이의 향상된 상호작용을 위해 서로 다른 AUI 데이터 포맷을 하나의 일관된 AUI 데이터 포맷으로 제공함으로써 장치들 간에 효과적인 연동 및 상호작용을 제공할 수 있도록 MPEG-U 표준 XML 기반의 AUI 데이터 통합처리시스템에 관한 것이다.

최근 멀티미디어 분야에서 다양한 입/출력 장치들이 개발됨에 따라 입/출력 장치와 사용자 사이의 향상된 상호작용(AUI : Advanced User Interaction)을 위한 방법들이 연구되고 있다.

이러한 사용자 상호작용 장치들은 키보드, 마우스와 같은 기본적인 물리적 입력 방식뿐만 아니라 멀티 터치, 손동작 인식, 가속도 센서 등과 같은 다양한 방식으로 사용자들에게 제공되고 있다

입/출력 장치와 사용자 사이의 상호작용에 대한 기술과 관련하여, 공개특허 제10-2010-0006847호는 움직임과 사용자의 조작을 이용하는 입력장치 및 이에 적용되는 입력방법에 관한 것으로, 움직임 검출부에서 검출된 움직임과 입력부에서 입력된 사용자의 조작을 이용하여 소정의 명령을 생성함으로써, 사용자가 움직임 검출이 가능한 입력장치를 보다 다양한 형태로 사용할 수 있는 기술이 개시되고 있다.

또한, 공개특허 제10-2010-0127382호는 터치 기기에서의 유저 인터페이스 장치 및 방법에 관한 것으로, 사용자에게 메뉴 아이템에 대한 접근 편의성 및 조작 편의성을 제공함과 동시에 사용자가 각 메뉴 아이템을 용이하게 분별할 수 있도록 하는 기술이 개시되고 있다.

그러나, 상기한 바와 같은 종래 기술에서는, 상호작용 방식이 장치마다 서로 다르게 정의되는 것으로, 특히 서로 다른 AUI 데이터 포맷을 따르기 때문에 각각의 장치들은 다른 종류 또는 다른 제조사의 장치와 서로 연동되기 어렵다는 문제점이 있다.

또한, AUI에서 정의되는 데이터는 입/출력 장치와 다양한 객체(비디오, 오디오, 2D 그래픽 객체, 애니메이션 등)로 표현되는 장면 기술(Scene Description) 사이에서 서로 정보를 주고 받기 위한 매체로 정의될 수 있다.

따라서, 다양한 입/출력 장치와 사용자 사이의 향상된 상호작용을 위해서 AUI 데이터 형식이 공통적으로 정의되어야 할 필요성이 있다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 서로 다른 장면 기술 장치들을 표준 기반으로 서로 연동시킬 수 있는 XML(eXtensible Markup Languag) 기반의 AUI(Advanced User Interaction) 데이터 통합처리시스템의 제공을 목적으로 한다.

또한, 본 발명은 사용자 인터페이스 장치와 장면 기술 장치 간에 표준 기반으로 상호작용할 수 있는 XML 기반의 AUI 데이터 통합처리시스템의 제공을 목적으로 한다.

그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 XML 기반의 AUI 데이터 통합처리장치는, 물리적 입력 정보 및 기 작성된 XML 문서 중 적어도 어느 하나를 제공받고, 상기 물리적 입력 정보를 AUI(Advanced User Interaction) 패턴 데이터로 처리하는 사용자 인터페이스 입력부와, 상기 사용자 인터페이스 입력부에서 처리된 AUI 패턴 데이터를 MPEG-U 표준에 근거하여 표준 XML 문서로 생성하는 표준 XML 문서 생성부와, 상기 사용자 인터페이스 입력부에 제공된 XML 문서 또는 상기 표준 XML 문서 생성부에서 생성된 표준 XML 문서를 해석하여 AUI 패턴 데이터와 파라미터를 파싱(parsing)하는 표준 XML 문서 해석부 및 상기 표준 XML 문서 해석부에서 파싱된 AUI 패턴 데이터와 파라미터를 그래픽 객체로 변환하여 출력하는 사용자 인터페이스 출력부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치는, 상기 물리적 입력 정보가 이벤트의 좌표값 및 동작 인식 파라미터 중 어느 하나를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치는, 상기 사용자 인터페이스 입력부에서 처리된 AUI 패턴 데이터는 Geometric, Symbolic, Hand Posture, Hand Gesture, Touch 및 Compsite 중 어느 하나의 패턴 타입을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치는, 상기 표준 XML 문서 생성부가, 상기 AUI 패턴 데이터에 대해 JAXB(Java Architecture for XML Binding)의 마샬링(Mashalling)을 이용하여 MPEG-U 해당 데이터 타입의 스키마 구조로 파싱하여 XML 문서를 생성하는 제 1 파싱모듈을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치는, 상기 표준 XML 문서 해석부가, 상기 사용자 인터페이스 입력부에 제공된 기 작성된 XML 문서가 MPEG-U 표준에 해당하는 표준 문서인지를 JAXB를 이용하여 검사하는 XML 문서 호환성 체킹모듈 및 상기 XML 문서 호환성 체킹모듈에 의해 표준 문서로 판단된 기 작성된 XML 문서 또는 상기 표준 XML 문서 생성부에 의해 생성된 표준 XML 문서에 대해, JAXB의 언마샬링(Unmashalling)을 이용하여 AUI 패턴 데이터 및 파라미터를 파싱하는 제 2 파싱모듈을 포함하는 것을 특징으로 한다.

아울러, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치는, 상기 사용자 인터페이스 출력부를 통해 출력되는 그래픽 객체가 장면기술(Scene Description) 및 2차원(2D) 그래픽 객체 중 어느 하나인 것을 특징으로 한다.

본 발명에 따른 XML 기반의 AUI 데이터 통합처리시스템은, 청구항 제 1 항 내지 제 6 항 중 어느 한 항에 따른 XML 기반의 AUI 데이터 통합처리장치와, 이벤트의 좌표값 또는 동작 인식 파라미터를 포함하는 물리적 입력 정보를 취득하여 상기 AUI 데이터 통합처리장치에 제공하는 사용자 상호작용 장치(User Interaction Deviece, UID)와, 네트워크를 통해 기 작성된 XML 문서를 상기 AUI 데이터 통합처리장치에 제공하는 XML 외부 입력장치 및 상기 AUI 데이터 통합처리장치로부터 출력되는 그래픽 객체를 디스플레이하는 디스플레이 장치;를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리시스템은, XML 외부 입력장치가, 웹(Web), 어플리케이션, 데이터베이스, 멀티미디어 중 적어도 어느 하나로 이루어지는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리시스템은, 상기 사용자 상호작용 장치가 키넥트(Kinect)의 손동작 인식 알고리즘을 이용하여 상기 동작 인식 파라미터를 포함하는 물리적 입력 정보를 취득하는하는 것을 특징으로 한다.

본 발명에 따른 XML 기반의 AUI 데이터 통합처리방법은, 사용자 인터페이스 입력부가 상호작용 장치(User Interaction Deviece, UID)로부터 물리적 입력 정보 또는 XML 외부 입력장치로부터 네트워크를 통해 기 작성된 XML 문서를 제공받는 제 1 단계와, 상기 사용자 인터페이스 입력부가 상기 물리적 입력 정보를 AUI(Advanced User Interaction) 패턴 데이터로 처리하는 제 2 단계와, 표준 XML 문서 생성부가 상기 제 2 단계에서 처리된 상기 AUI 패턴 데이터를 MPEG-U 표준에 근거하여 표준 XML 문서로 생성하는 제 3 단계와, 표준 XML 문서 해석부가 상기 사용자 인터페이스 입력부에서 제공된 기 작성된 XML 문서 또는 표준 XML 문서 생성부에서 생성된 표준 XML 문서를 해석하여 AUI 패턴 데이터와 파라미터를 파싱(parsing)하는 제 4 단계 및 사용자 인터페이스 출력부가 파싱된 AUI 패턴 데이터와 파라미터를 그래픽 객체로 변환하고, 변환된 그래픽 객체를 디스플레이 장치에 출력하여 디스플레이하는 제 5 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리방법은, 상기 제 3 단계에서, 제 1 파싱모듈이 상기 AUI 패턴 데이터에 대해 JAXB(Java Architecture for XML Binding)의 마샬링(Mashalling)을 이용하여 MPEG-U 해당 데이터 타입의 스키마 구조로 파싱하여 XML 문서를 생성하는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리방법은, 상기 제 4 단계에서, 상기 사용자 인터페이스 입력부에서 제공된 기 작성된 XML 문서가 MPEG-U 표준 문서에 해당하는지 여부를 XML 문서 호환성 체킹모듈이 JAXB를 이용하여 검사하는 공정과, 상기 XML 문서 호환성 체킹모듈에 의해 표준 문서로 검사된 기 작성된 XML 문서에 대해 제 2 파싱모듈이 JAXB의 언마샬링(Unmashalling)을 이용하여 XML 문서에 포함된 AUI 패턴 데이터 및 파라미터를 파싱하는 공정 및 상기 XML 문서 호환성 체킹모듈에 의해 비표준 문서로 검사된 기 작성된 XML 문서에 대해 에러 메시지(Error Message)를 출력하는 공정을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리방법은, 상기 제 4 단계에서, 상기 표준 XML 문서 생성부에 의해 생성된 표준 XML 문서에 대해, 제 2 파싱모듈이 JAXB의 언마샬링(Unmashalling)을 이용하여 상기 표준 XML 문서에 포함된 AUI 패턴 데이터 및 파라미터를 파싱하는 것을 특징으로 한다.

본 발명의 XML 기반의 AUI 데이터 통합처리시스템에 따르면, 표준 XML문서를 통해 입출력 장치와 사용자 사이의 향상된 상호작용을 수행함으로써 서로 다른 장면 기술 장치들을 표준 기반으로 서로 연동시킬 수 있는 이점이 있다.

또한, 본 발명에 따르면, 사용자 인터페이스 장치와 장면 기술 장치 간에 표준 기반으로 상호작용할 수 있는 이점이 있다.

도 1은, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치를 개략적으로 나타내는 블럭도이다.
도 2는, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치에서 표준 XML문서 생성부의 구성을 개략적으로 나타내는 블럭도이다.
도 3은, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치의 표준 XML문서 해석부의 구성을 개략적으로 나타내는 블럭도이다.
도 4는, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리시스템의 구성을 개략적으로 나타내는 블럭도이다.
도 5는, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리방법을 나타내는 흐름도이다.
도 6은, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리시스템의 동작을 나타내는 예시도이다.
도 7은, Geometric 패턴의 Line XML을 나타내는 예시도이다.

이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명에 따른 AUI 데이터 포맷들은 XML 기반의 스키마 구조에 따라 정의될 수 있다. XML은 충분한 인프라를 갖추고 있는 인터넷 환경에서 XML 특유의 유연성을 바탕으로 모든 사물에 대한 상황정보를 효과적으로 표현할 수 있고, 형식에 맞추어 정보를 교환함으로써 객체 간의 정보 전달을 위한 매체로 이용되고 있다.

XML 문서를 처리하기 위해 사용되는 API(Application Programing Interface)는 크게 SAX(Simple API for XML)와 DOM(document Object Model)과 같은 파서(Paser) 방식, 그리고 데이터 바인딩(Binding)에 입각한 Quick, JAXB, JIBX, Castor 등으로 구분될 수 있다.

도 1은 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치를 개략적으로 나타내는 블럭도이고, 도 2는 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치에서 표준 XML문서 생성부의 구성을 개략적으로 나타내는 블럭도이며, 도 3은 본 발명에 따른 XML 기반의 AUI 데이터 통합처리장치의 표준 XML문서 해석부의 구성을 개략적으로 나타내는 블럭도이다.

도시한 바와 같이, 본 발명의 일 실시예에 따른 XML 기반의 AUI 데이터 통합처리장치(1)는, 사용자 인터페이스(User Interface) 입력부(10), 표준 XML 문서 생성부(20), 표준 XML 문서 해석부(30) 및 사용자 인터페이스 출력부(40)를 포함할 수 있다.

사용자 인터페이스 입력부(10)는 물리적 입력 정보, 예를 들면, 이벤트의 좌표값 또는 동작 인식 파라미터 등을 포함하는 입력정보를 수신하고, 수신한 물리적 입력 정보를 AUI(Advanced User Interaction) 패턴 데이터로 처리하여 표준 XML 문서 생성부(20)로 전송한다. 또한, 사용자 인터페이스 입력부(10)는 도시하지는 않았지만, 물리적 입력 정보를 수신하기 위해 유선 또는 무선의 통신모듈을 포함할 수 있다.

사용자 인터페이스 입력부(10)에서 처리되는 AUI 패턴 데이터는, Geometric, Symbolic, Hand Posture, Hand Gesture, Touch 및 Compsite 등의 MPEG-U에서 정의되고 있는 AUI 데이터 포맷 형태를 포함할 수 있다.

예를 들어, Geometric 패턴은 「Point, Line, Rect, Arc, Circle」등의 타입을 포함하고, Symbolic 패턴은 「Victory, Heart, Rock, Scissors, Paper, Okay」등의 타입을 포함하며, Hand Posture 패턴은 「OpenPalm, Fist, Pointing, Thumb-Up, Thumb-Down, Grab」등의 타입을 포함한다. 또한, Hand Gesture 패턴은 「Push, Pull, Slap right, Slap top, Slap bottom, Circle, Clockwise, Circle anti-Clockwise, Waving, Check」등의 타입을 포함하고, Touch 패턴은 「Tap, DoubleTap, Press, Drag, Rotate, Flick」등의 타입을 포함하며, 특히 Compsite 패턴의 경우, 다양한 타입으로 구현될 수 있음은 물론이다.

표준 XML 문서 생성부(20)는 사용자 인터페이스 입력부(10)에서 처리된 AUI 패턴 데이터를 수신하여, MPEG-U 표준에 근거하여 표준 XML 문서로 생성할 수 있다. 특히, 표준 XML 문서 생성부(20)는 제 1 파싱모듈(210)을 포함하고, 이 제 1 파싱모듈(210)에서는 AUI 패턴 데이터에 대해 JAXB(Java Architecture for XML Binding)의 마샬링(Mashalling)을 이용하여 MPEG-U 해당 데이터 타입의 스키마 구조로 파싱하여 XML 문서를 생성할 수 있다.

표준 XML 문서 해석부(30)는 표준 XML 문서를 해석하여 AUI 패턴 데이터와 파라미터를 파싱(parsing)하며, 이러한 표준 XML 문서 해석부(30)는 JAXB를 이용하여 XML 문서가 MPEG-U 표준에 해당하는 표준 문서인지를 검사하는 XML 문서 호환성 체킹모듈(310)과, 표준 XML 문서에 대해, JAXB의 언마샬링(Unmashalling)을 이용하여 AUI 패턴 데이터 및 파라미터를 파싱하는 제 2 파싱모듈(320)을 포함할 수 있다.

또한, 사용자 인터페이스 출력부(40)에서는 파싱된 AUI 패턴 데이터와 파라미터를 장면기술(Scene Description) 또는 2차원(2D) 그래픽 객체 등으로 변환하여 출력할 수 있다. 또한, 사용자 인터페이스 출력부(40)는 표준 XML 문서 해석부(30)에서 검사되는 XML 문서가 표준 문서가 아닌 것으로 판단되는 경우, 에러메시지(Error Message)를 출력할 수 있다.

도 4는, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리시스템의 구성을 개략적으로 나타내는 블럭도이다.

도 1 내지 도 4를 참조하면, XML 기반의 AUI 데이터 통합처리시스템(100)은 XML 기반의 AUI 데이터 통합처리장치(1), 사용자 상호작용 장치(User Interaction Deviece, UID)(2), XML 외부 입력장치(3) 및 디스플레이 장치(4)를 포함할 수 있다. XML 기반의 AUI 데이터 통합처리장치(1)는 도 1 내지 도 3을 참조하여 상술한 동일한 기술내용을 포함하고 있어, 중복되는 설명은 생략한다.

사용자 상호작용 장치(User Interaction Deviece, UID)(2)는 도시하지는 않았지만, 마우스와 같은 직접적인 입력장치 또는 3차원 영상 장치인 키넥트(Kinect) 외에 모션 센서, 멀티 터치 인터페이스, 지능형 카메라 밴드 센서 등을 포함할 수 있다. 예를 들어, 마우스를 이용하여 원, 사각형, 또는 선 등을 입력하는 경우, 이 입력정보가 좌표정보와 함께 데이터를 생성하여 물리적 입력 정보로 XML 기반의 AUI 데이터 통합처리장치(1)에 제공되고, 3차원 영상으로 사용자의 동작을 감지하면, 동작 인식 장치인 키넥트와 OpenNI로 구현된 손동작 인식 알고리즘으로 입력 정보가 제공될 수 있다. 이러한 3차원 영상장치인 키넥트를 이용하는 경우, 컬러 영상뿐만 아니라 깊이 영상을 제공하기 때문에 보다 효과적으로 사용자의 동작을 인식할 수 있다.

또한, XML 기반의 AUI 데이터 통합처리장치(1)는 유선 또는 무선의 네트워크로 연결된, 예를 들어, 웹(Web), 어플리케이션, 데이터베이스, 멀티미디어 등의 XML 외부 입력장치(3)에 저장된 XML 문서를 수신할 수 있다.

이 경우, XML 기반의 AUI 데이터 통합처리장치(1)의 표준 XML 문서 해석부(30)에서는 문서 호환성 체킹모듈(310)에서 JAXB를 이용하여 수신된 XML 문서가 MPEG-U 표준에 해당하는 표준 문서인지를 검사한다.

XML 기반의 AUI 데이터 통합처리장치(1)는 XML 문서 호환성 체킹모듈에 의해 표준 문서로 판단된 XML 문서 또는 사용자 상호작용 장치(2)를 통해 입력된 물리적 입력 정보로 생성된 표준 XML 문서를 AUI 패턴 데이터와 파라미터로 파싱(parsing)하여 변환된 그래픽 객체로 출력하면, 디스플레이 장치(4)에서 출력된 그래픽 객체를 디스플레이할 수 있다.

도 5는, 본 발명에 따른 XML 기반의 AUI 데이터 통합처리방법을 나타내는 흐름도이다.

도 1 내지 도 5를 참조하면, XML 기반의 AUI 데이터 통합처리방법은, 입력장치로서 사용자 상호작용 장치(2)로부터 물리적 입력 정보가 사용자 인터페이스 입력부(10)에 입력되면(S101), 사용자 인터페이스 입력부(10)는 입력된 물리적 입력 정보를 AUI(Advanced User Interaction) 패턴 데이터를 생성한다(S102).

사용자 인터페이스 입력부(10)는 생성된 AUI 패턴 데이터를 표준 XML 문성 생성부(20)에 제공하고(S103), 표준 XML 문성 생성부(20)에서는 제공된 AUI 패턴 데이터에 대해 JAXB(Java Architecture for XML Binding)의 마샬링(Mashalling)을 이용하여 MPEG-U 해당 데이터 타입의 스키마 구조로 파싱하여 표준 XML 문서를 생성한다(S104).

이후, 표준 XML 문서 해석부(30)는 생성된 표준 XML 문서를 표준 XML 문성 생성부(20)로부터 제공받아(S105), JAXB의 언마샬링(Unmashalling)을 이용하여 XML 문서에 포함된 AUI 패턴 데이터 및 파라미터를 파싱한 후(S106), 파싱된 AUI 패턴 데이터 및 파라미터를 사용자 인터페이스 출력부(40)에 제공한다(S107).

사용자 인터페이스 출력부(40)에서는 파싱된 AUI 패턴 데이터 및 파라미터를 장면기술 또는 2차원 그래픽 객체로 변환하여 디스플레이 장치(4)로 출력하고(S108), 디스플레이 장치(4)에서는 그래픽 객체를 GUI(Graphic User Interface)로 디스플레이한다(S109).

또한, 사용자 상호작용 장치(2) 외에 네트워크로 연결된 XML 외부 입력장치(3)로부터 기 작성된 XML 문서를 수신하면(S201), 사용자 인터페이스 입력부(10)는 수신된 XML 문서를 표준 XML 문서 해석부(30)에 제공하고(S202), 표준 XML 문서 해석부(30)에서는 제공된 XML 문서에 대해 JAXB를 이용하여 MPEG-U 표준에 해당하는 표준 문서인지를 검사하고(S203), 표준 문서에 해당하는 것으로 판단되면 단계(S106) 내지 단계(S109)의 공정을 수행하고, 표준 문서에 해당하지 않는 것으로 판단되면, 에러 메시지를 출력할 수 있다(S204).

도 6 및 도 7은 본 발명에 따른 XML 기반의 AUI 데이터 통합처리시스템의 동작을 나타내는 예시도이다.

예를 들어, 마우스를 이용한 입력이 주어지는 경우, 마우스의 이벤트가 발생하고, 마우스를 클릭했을 때의 좌표값이 XML 기반의 AUI 데이터 통합처리(1)에 전달된다. 도 6의 (a)에서와 같이, 마우스를 MPEG-U에서 정의하는 스키마 구조에 맞게 클릭했을 때 GUI를 그려주는 것을 확인할 수 있다. Rect의 경우 Top Left Position과 Bottom Right Position의 클릭으로 Rect GUI를 나타낸다.

XML 생성부에서는 GUI의 좌표 값이 전달되면 마샬 작업을 통해 XML로 문서화시킨다.

또한, 키넥트를 이용하는 경우, 키넥트로부터 사용자 동작을 인식하고 MPEG-U에서 정의한 패턴의 파라미터 값을 얻는다. 예를 들어 손의 위치를 왼쪽에서 오른쪽으로 일직선상으로 이동시키면 MPEG-U 스키마의 'Line'으로 인식할 수 있다. 손으로 모양을 그렸을 때 발생한 MPEG-U 스키마의 Geometric Pattern Rect으로 사용자 동작을 인식하면, 이벤트를 발생시켜 손의 좌표값을 XML 기반의 AUI 데이터 통합처리에 전달하고, XML 기반의 AUI 데이터 통합처리장치에서는 이를 JAXB의 마샬 작업을 통해 MPEG-U 표준에 준수하는 XML로 문서화시킨다.

도 7은 MPEG-U 스키마에 적합한 Geometric 패턴의 Line XML을 나타내는 일예로, 이러한 XML은 W3C(World Wide Web Consortium)에서 규격하는 DOM(Document Object Model)과 XML 스키마에 적합해야 하고, 이에 추가적으로 도 6의 (b)에 나타낸 바와 같이 MPEG-U AUI의 패턴 파라미터를 정의할 수 있다. XML이 전달되면 언마샬을 통해 해당되는 각 좌표값이 도 6의 (c)에 나타낸 바와 같이 추출되어, 도 6의 (a)에 나타낸 바와 같이 GUI로 출력할 수 있다.

또한, XML문서를 수신하는 경우, MPEG-U 표준 적합성을 검사하고, 오류가 있는 경우, 도 6의 (d)에서와 같이, 오류 메시지를 출력할 수 있다.

상술한 바와 같이, 본 발명에 따르면, 다양한 장치들 사이에서 표현되는 데이터를 MPEG-U 스키마 표준에 따르는 XML로 표현함으로써 효과적인 응용이 가능하다. 예를 들어, 스마트 TV 또는 스마트 폰 등에서 MPEG-U를 활용함으로써 다양하고 향상된 AUI를 제공할 수 있는 특징이 있다.

상기 본 발명의 내용은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

1 : XML 기반의 AUI 데이터 통합처리장치
2 : 사용자 상호작용 장치 3 : XML 외부 입력장치
4 : 디스플레이 장치
10 : 사용자 인터페이스 입력부 20 : 표준 XML 문서 생성부
30 : 표준 XML 문서 해석부 40 : 사용자 인터페이스 출력부
100 : XML 기반의 AUI 데이터 통합처리시스템
210 : 제 1 파싱모듈 310 : 문서 호환성 체킹모듈
320 : 제 2 파싱모듈

Claims (15)

1. XML 기반의 향상된 사용자 상호작용인 AUI(Advanced User Interaction) 데이터 통합처리장치;
   이벤트의 좌표값 및 동작 인식 파라미터 중 어느 하나를 포함하는 물리적 입력 정보를 취득하여 상기 AUI 데이터 통합처리장치에 제공하는 사용자 상호작용 장치(User Interaction Deviece, UID);
   기 작성된 XML 문서를 네트워크를 통해 상기 AUI 데이터 통합처리장치에 제공하는 XML 외부 입력장치; 및
   상기 AUI 데이터 통합처리장치로부터 출력되는 그래픽 객체를 디스플레이하는 디스플레이 장치;를 포함하고,
   상기 AUI 데이터 통합처리장치는,
   상기 사용자 상호작용 장치로부터 물리적 입력 정보를 제공받아 물리적 입력 정보를 향상된 사용자 상호작용인 AUI(Advanced User Interaction) 패턴 데이터로 처리하고, 상기 XML 외부 입력장치로부터 기 작성된 XML 문서를 제공받아 기 작성된 XML 문서를 표준 XML 문서 해석부에 제공하는 사용자 인터페이스 입력부;
   상기 사용자 인터페이스 입력부에서 처리된 AUI 패턴 데이터를 제공받아 AUI 패턴 데이터를 MPEG-U 표준에 근거하여 표준 XML 문서로 생성하는 표준 XML 문서 생성부;
   상기 사용자 인터페이스 입력부에서 제공된 기 작성된 XML 문서 또는 상기 표준 XML 문서 생성부에서 제공된 표준 XML 문서를 해석하여 AUI 패턴 데이터와 파라미터를 파싱(parsing)하는 표준 XML 문서 해석부; 및
   상기 표준 XML 문서 해석부에서 파싱된 AUI 패턴 데이터와 파라미터를 그래픽 객체로 변환하여 상기 디스플레이 장치로 출력하는 사용자 인터페이스 출력부;를 포함하며,
   상기 표준 XML 문서 생성부는,
   상기 AUI 패턴 데이터에 대해 JAXB(Java Architecture for XML Binding)의 마샬링(Mashalling)을 이용하여 MPEG-U 해당 데이터 타입의 스키마 구조로 파싱하여 XML 문서를 생성하는 제 1 파싱모듈;을 포함하고,
   상기 표준 XML 문서 해석부는,
   상기 사용자 인터페이스 입력부에서 제공된 기 작성된 XML 문서가 MPEG-U 표준에 해당하는 표준 문서인지를 JAXB를 이용하여 검사하는 XML 문서 호환성 체킹모듈; 및
   상기 XML 문서 호환성 체킹모듈에 의해 표준 문서로 판단된 기 작성된 XML 문서 및 상기 표준 XML 문서 생성부에 의해 생성된 표준 XML 문서에 대해, JAXB의 언마샬링(Unmashalling)을 이용하여 AUI 패턴 데이터 및 파라미터를 파싱하는 제 2 파싱모듈;을 포함하며,
   상기 XML 문서 호환성 체킹모듈은,
   상기 사용자 인터페이스 입력부에서 제공된 기 작성된 XML 문서가 MPEG-U 표준에 해당하는 표준 문서로 판단되지 않은 경우 상기 디스플레이장치로 에러 메시지를 출력하는 것을 특징으로 하는 XML 기반의 AUI 데이터 통합처리시스템.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 사용자 인터페이스 입력부에서 처리된 AUI 패턴 데이터는 Geometric, Symbolic, Hand Posture, Hand Gesture, Touch 및 Compsite 중 어느 하나의 패턴 타입을 포함하는 것을 특징으로 하는 XML 기반의 AUI 데이터 통합처리시스템.
   
4. 삭제
5. 삭제
6. 제 1 항에 있어서,
   상기 사용자 인터페이스 출력부를 통해 출력되는 그래픽 객체는 장면기술(Scene Description) 및 2차원(2D) 그래픽 객체 중 어느 하나인 것을 특징으로 하는 XML 기반의 AUI 데이터 통합처리시스템.
   
7. 삭제
8. 제 1 항에 있어서,
   상기 XML 외부 입력장치는,
   웹(Web), 어플리케이션, 데이터베이스, 멀티미디어 중 적어도 어느 하나로 이루어지는 것을 특징으로 하는 XML 기반의 AUI 데이터 통합처리시스템.
   
9. 제 1 항에 있어서,
   상기 사용자 상호작용 장치는 키넥트(Kinect)의 손동작 인식 알고리즘을 이용하여 상기 동작 인식 파라미터를 포함하는 물리적 입력 정보를 취득하는 것을 특징으로 하는 XML 기반의 AUI 데이터 통합처리시스템.
   
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images