WO2014035041A1

WO2014035041A1 - 증강현실 기술과 대용량 데이터의 통합을 위한 상호작용 방법 및 장치

Info

Publication number: WO2014035041A1
Application number: PCT/KR2013/006014
Authority: WO
Inventors: 조근식; 이기성
Original assignee: 인하대학교 산학협력단
Priority date: 2012-08-28
Filing date: 2013-07-05
Publication date: 2014-03-06
Also published as: KR20140029598A; EP2891946A1; US20140247283A1; KR101382703B1; EP2891946A4; US9727992B2

Abstract

본 발명은 증강현실에서 사용자와의 상호작용을 위한 가상 객체들과의 통합을 위한 상호작용 방법 및 그 장치에 관한 것이다. 증강현실과 대용량 데이터 간의 통합을 위한 상호작용 방법에 있어서, 증강현실의 화면에 표시되는 가상 객체와 사용자의 인터렉션을 제공하기 위한 요소를 정의하는 단계; 증강현실의 화면에 가상 객체를 실제적으로 등록하는 단계; 및 증강현실과 상기 대용량 데이터와의 인터렉션을 위한 통신 프로토콜을 정의하는 단계를 포함하는 상호작용 방법이 제공될 수 있다.

Description

증강현실 기술과 대용량 데이터의 통합을 위한 상호작용 방법 및 장치{INTERACTION METHOD AND SYSTEM FOR UNIFYING AUGMENTED REALITY TECHNOLOGY AND BIG DATA}

본 발명은 증강현실에서 사용자와의 상호작용을 위한 가상 객체들과의 통합을 위한 상호작용 방법 및 그 장치에 관한 것이다.

본 발명은 인하대 항공공학연구소(AIER: Aerospace Institute for Engineering Research)의 연구사업으로 추진된 IAR(Enhanced Aircraft Maintenance and Training Effectiveness with Augmented Reality and Knowledge-Based Systems) 연구과제의 지원에 의해 도출된 발명이다.

증강현실 기술은 마커 기반의 접근 방법과 비마커 기반의 접근 방법이 존재하는데, 마커 기반은 비마커 기반 연구 범주에 포함될 수 있는 것으로, 본 발명이 적용되기에 비마커 접근 방법 중 관심점 기반 기술을 일례로 들 수 있다.

증강현실의 구현 및 동작을 위한 기술적인 7단계는 이하와 같다.

1. 시나리오 또는 순차적인 절차에 의해 증강현실 시스템이 동작하는 경우, 인식할 장면(Image)들과 부품의 위치들에 대한 시나리오를 작성하는 단계로써, 항공기 또는 잠수함 정비와 같이 순차적인 절차에 의해 작업을 수행해야 하는 경우를 의미한다.

2. 실세계(Real world)에서 인식할 객체를 포함하는 장면을 다양한 각도에서 수집하여 데이터베이스를 구축하는 단계로써, 다양한 각도의 장면을 정면(대표 이미지), 좌, 우, 위, 아래의 방향으로 카메라를 이동하여 촬영한 이미지를 의미한다.

3. 구축된 데이터 베이스에 존재하는 정면 이미지 위에, 실세계의 영상에 증강될 가상 객체(Information artifacts)의 요약 정보(Label, Circle, Button, Thumbnail, Video, Image, Text 등)를 등록 및 저작하는 단계이다.

4. 증강될 가상 객체들을 이질감 없고, 정확한 위치에 표시(Display)하기 위해 호모그래피 행렬(Homography Matrix)를 대표 이미지와 다양한 각도에서 수집된 이미지와의 매칭점(Match point)을 수동/반자동으로 연결하는 단계로서, 자동으로 호모그래피를 계산하는 경우에는 생략이 가능하다.

5. 카메라를 이용하여 인식하고자 하는 객체를 비추면, 실시간으로 들어오는 이미지와 데이터베이스에 저장된 이미지와 비교하는 단계로 실시간으로 들어온 실세계의 영상과 데이터베이스에 저장된 이미지 중에서 대표이미지를 찾는 단계, 이 단계는 다양한 각도에서 수집된 이미지(대표이미지, 좌, 우, 위, 아래의 방향)중에서 좌, 우, 위, 아래의 방향과 일치되는 이미지를 발견하게 되는 경우에도 대표 이미지를 찾는 과정을 수행한다.

6. 데이터 베이스에서 대표 이미지를 발견한 후, 대표 이미지와 실시간으로 들어온 실세계의 영상과의 호모그래피 행렬(Homography Matrix)를 계산하는 단계로서, 대표 이미지 위에 증강될 가상 객체들의 이질감 없고, 정확한 위치에 표시(Display)하기 위해서 호모그래피 행렬을 이용하여 방향과 위치를 변경하는 과정을 의미한다.

7. 실시간으로 가상 객체와 상호작용하는 단계로서, 사용자가 선택한 가상 객체의 자세한 정보를 사용자의 행위(마우스 클릭, 더블클릭, 마우스 인, 마우스 아웃, 음성컨트롤, 제스쳐 등)를 기반으로 제공(Display)한다.

증강현실 기술의 발달로 실제적인 산업 분야에 증강현실 기술을 적용하는 시도가 지속적으로 이루어지고 있으나, 가상객체 정보의 양이 방대한 경우에는 일반적인 증강현실기술과 가상객체 정보와의 통합을 위한 상호작용 방법으로 해결이 어렵다.

현재까지의 증강현실은 매우 적은 양의 데이터를 다루었기 때문에, 가상객체 정보를 다루기 쉬웠으나, 대용량의 데이터를 증강현실에서 다루게 되면서, 가상객체 정보와의 통합을 위한 상호작용 방법의 필요성이 나타난다.

일반적으로 증강현실(AR)기술은 컴퓨터 비젼(Computer Vision)기술로서 AR기술의 핵심 엔진은 객체 인식, 추적, 합성하는 기술(5단계, 6단계)에 초점을 맞추어 연구를 진행하고 있다. 반면, 가상 객체가 위에서 언급한 바와 같이 방대한 양의 문서와 큰 멀티미디어 데이터인 경우 데이터의 실 시간적 관리 및 추론을 통해 컨텍스트에 맞는 해당 특정 데이터를 증강시키기 위해서는 인공지능의 지식기반시스템(Knowledge Base System, KBS)의 관리 기능들이 요구된다.

KBS 기술은 컴퓨터 비젼(Computer Vision)기술과는 다른 독립적이고 이질적 S/W 플랫폼에서 관리되어야 한다. 특히 이러한 KBS의 방대한 데이터가 인터넷 매체를 통해 지속적으로 생성 및 수정 보완 관리 되기 때문에 구조화되어 전자 문서는 시멘틱 웹(Semantic web) 기반에서 온톨로지(Ontology) 기술을 통해 관리되는 방향으로 기술이 진보하고 있다.

증강현실 기술의 S/W플랫폼은 KBS기반 S/W의 플랫폼과 본질적으로 다르고 프로그래밍 언어도 상이한 경우가 많기 때문에, 본 발명에서는 두 개의 서로 다른 플랫폼인 AR기술과 KBS가 서로 독립적으로 개발된 후 두 시스템을 서로 연결할 수 있는 상호작용 방법 및 프로토콜을 정의하여 AR의 컨텍스트(7단계)에 맞는 가상객체 정보(3단계)를 KBS에서 제공할 수 있도록 하는 인터렉션 방법 및 통합 가능한 프로토콜을 통한 문제 해결 방법을 제공하고자 한다.

증강현실과 대용량 데이터 간의 통합을 위한 상호작용 방법에 있어서, 증강현실의 화면에 표시되는 가상 객체와 사용자의 인터렉션을 제공하기 위한 요소를 정의하는 단계; 증강현실의 화면에 가상 객체를 실제적으로 등록하는 단계; 및 증강현실과 상기 대용량 데이터와의 인터렉션을 위한 통신 프로토콜을 정의하는 단계를 포함하는 상호작용 방법이 제공될 수 있다.

일측에 있어서, 인터렉션을 제공하기 위한 요소를 정의하는 단계는 가상 객체의 종류나 상황에 따른 상기 사용자의 행위에 대해 정의할 수 있다.

또 다른 측면에 있어서, 사용자의 행위는 마우스의 클릭(Click), 오버(Over), 더블 클릭(Double-click), 스크롤(Scroll), 제스쳐(Gestures), 음성(Voice) 컨트롤을 포함할 수 있다.

또 다른 측면에 있어서, 실제적으로 등록하는 단계는 가상 객체를 인터렉션을 위해 정의된 요소와 연결하며, 명시적 또는 묵시적으로 연결할 수 있다.

또 다른 측면에 있어서, 인터렉션을 위해 정의된 요소를 표현하기 위한 구조로서, 증강현실의 화면의 핫스팟(Hotspot)은 아이디(ID), 이름(Name), 포지션(Position), 파트번호(Part number), 어노테이션(Annotation) 요소를 가지며, 어노테이션 요소는 다양한 타입을 가지고, 아이디, 이름, 포지션, 컬러(Color)의 속성을 포함할 수 있다.

또 다른 측면에 있어서, 통신 프로토콜을 정의하는 단계는 증강현실에서 발생한 이벤트의 응답에 대한 구조를 정의하며, 프로토콜은 필드(Field) 부분과 필드값(Field Value) 부분으로 구분될 수 있다.

증강현실과 대용량 데이터 간의 통합을 위한 상호작용 시스템에 있어서, 증강현실의 화면에 표시되는 가상 객체와 사용자의 인터렉션을 제공하기 위한 요소를 정의하는 요소 정의부; 증강현실의 화면에 가상 객체를 실제적으로 등록하는 요소 등록부; 및 증강현실과 대용량 데이터와의 인터렉션을 위한 통신 프로토콜을 정의하는 프로토콜 정의부를 포함하는 상호작용 시스템이 제공될 수 있다.

증강현실과 대용량의 데이터간의 통합에 있어서, AR 클라이언트 인터렉션의 요소의 정의, AR 클라이언트 인터렉션 요소 등록, 통신 프로토콜 정의 및 인터렉션 단계 정의의 3단계로 나누어 문제를 해결할 수 있다.

언급한 세 가지 단계를 통해 증강현실과 대용량 데이터의 효과적인 통합 및 상호작용을 수행할 수 있다.

도 1은 일반적인 증강현실기술과 가상 객체 정보와의 통합을 위한 상호작용 방법을 설명하기 위한 예시 도면이다.

도 2는 본 발명의 실시예에 있어서, 증강현실 기술과 대용량 데이터와의 상호작용 방법의 각 단계를 도시한 흐름도이다.

도 3은 본 발명의 실시예에 있어서, 증강현실에서 가상의 객체 또는 인터렉션 요소를 표현하기 위한 도면이다.

도 4는 본 발명의 실시예에 있어서, 어노테이션(Annotation) 객체와 인터렉션 요소를 등록 및 연결하고, XML 형태로 표현한 예시이다.

도 5는 본 발명의 실시예에 있어서, AR과 KBS간의 초기 통신 방법과 이에 따른 화면을 디스플레이하는 일례를 나타낸 도면이다.

도 6은 본 발명의 실시예에 있어서, 컨텍스트를 4번으로 변경할 때의 통신 방법과 이에 따른 화면을 디스플레이하는 일례를 나타낸 도면이다.

도 7은 본 발명의 실시예에 있어서, 컨텍스트를 8번으로 변경하는 통신 방법과 이와 관련된 화면을 디스플레이하는 일례를 나타낸 도면이다.

도 8은 본 발명의 실시예에 있어서, 도 7의 화면에서 마우스 오버를 실행할 때의 통신 방법과 이에 따른 화면을 디스플레이하는 일례를 나타낸 도면이다.

도 9는 본 발명의 실시예에 있어서, 도 8의 화면에서 버튼의 클릭 이벤트를 통한 통신 방법과 이에 따른 화면을 디스플레이하는 일례를 나타낸 도면이다.

도 10은 본 발명의 실시예에 있어서, 증강현실 기술과 대용량 데이터와의 상호작용 시스템의 구성을 도시한 블록도이다.

이하, 증강현실과 대용량 데이터 간의 통합을 위한 상호작용 방법 및 그 시스템에 대해서 첨부된 도면을 참조하여 자세히 설명한다.

도 1은 일반적인 증강현실기술과 가상객체 정보와의 통합을 위한 상호작용 방법으로, AR엔진은 앞서 설명한 증강현실의 구현 및 동작을 위한 기술적인 단계의 5단계, 6단계에 해당하는 객체 인식, 추적, 합성하는 기술에 초점을 맞추어 연구를 진행하고 있으며, 3단계에서 가상객체 정보는 단순한 XML형태로 저장하여 사용하고 있다.

그러나, 증강현실 기술의 발달로 실제적인 산업 분야에 증강현실 기술을 적용하는 시도가 지속적으로 이루어지고 있으나, 가상객체 정보의 양이 방대한 경우에는 도 1과 같은 형태의 일반적인 증강현실기술과 가상객체 정보와의 통합을 위한 상호작용 방법으로는 해결이 어렵다.

이러한 원인은, 데이터의 양이 방대해졌기 때문에 데이터를 방대한 데이터 량을 처리하기에 기술적, 시간적으로 부족함이 있기 때문이다.

기술적인 측면으로는, 대용량의 데이터에는 이기종 형태의 데이터가 존재하며, 대용량의 이기종 형태의 데이터로부터 직접적으로 획득할 수 없는 의미적인 형태의 데이터가 존재하는데, 이러한 데이터들은 추론을 통해서 획득해야 하며, 또한 대용량의 데이터들은 일정한 주기로 업데이트가 되는 상황이다.

또한, 시간적인 측면으로는, 개발시간의 효과적인 단축을 하기 위한 증강현실 모듈과 대용량 데이터 처리 모듈의 개발이 동시에 진행되어야 한다.

예를 들어, 항공기 유지보수를 위한 증강현실 시스템을 개발하고자 한다면, AR엔진 모듈과 항공기 매뉴얼의 대용량 데이터 처리 모듈에 대한 개발이 동시에 진행되어야 개발 소요시간을 효과적으로 줄일 수 있을 것이다.

따라서, 현재까지의 증강현실은 매우 적은 양의 데이터를 다루었기 때문에, 가상객체 정보를 다루기 쉬웠으나, 대용량의 데이터를 증강현실에서 다루게 되면서, 가상객체 정보와의 통합을 위한 상호작용 방법 및 그 시스템의 필요성이 나타난다.

본 발명의 실시예에 있어서, 증강현실과 대용량 데이터 간의 통합을 위한 상호작용 방법은 도 2와 같은 단계를 포함할 수 있다. 앞서 설명한 증강현실을 구현하기 위한 7단계 중 3단계와 7단계 사이의 연결을 의미하며, 3단계는 KBS(Knowledge Base System)에 저장되어 있는 대용량의 데이터들에 관한 것이며, 7단계는 증강현실 시스템에서 사용자와의 상호작용을 위한 인터페이스에 관한 것이다.

증강현실의 화면에 표시되는 가상 객체와 사용자의 인터렉션을 제공하기 위한 요소, 즉 인터렉션 요소를 정의하는 단계(S210)와 증강현실 인터렉션 요소 등록 단계로서, 증강현실의 화면에 가상 객체를 실제적으로 등록하는 단계(S220), 그리고 통신 프로토콜 및 인터렉션을 정의하는 단계로서, 증강현실과 대용량 데이터와의 인터렉션을 위한 통신 프로토콜을 정의하는 단계(S230)를 포함할 수 있다.

단계(S210)는 가상 객체의 종류 또는 특정한 상황에서 사용자의 행위, 즉 마우스 클릭, 마우스 오버, 더블 클릭 등에 대한 정의를 할 수 있는데, 특히 사용자의 행위는 마우스를 포함하여, 제스쳐, 음성 등의 행위를 포함한다.

실시예에 있어서, 증강현실 엔진에서 발생할 수 있는 인터렉션의 요소는 크게 두 가지로 나타낼 수 있는데, 그 첫 번째로 마우스 오버(Mouse over) 이벤트이다. 마우스 오버 이벤트는 현재 실시간으로 보이는 실세계 영상에 가상의 객체를 합성함에 있어서 디폴트 값으로, 보이지 않게 설정을 하는 것이다.

이벤트 실행 시에 너무 많은 데이터가 한번에 보이게 되면, 사용자로 하여금 집중력과, 너무 많은 데이터로 인해 거부감을 느낄 수 있으며, 또한 한 화면에 여러 개의 가상객체를 증강하면서 중복되는 문제를 해결하는 방법이기도 하다. 이러한 이유로, 증강되는 객체가 보이지 않다가 사용자가 증강되는 객체의 영역에 마우스를 이동하게 되면, 해당 정보에 대한 요청으로 인식하고 해당 가상객체를 보이게 한다.

두 번째 요소로는 증강된 객체를 마우스로 클릭하는 마우스 클릭(Mouse Click) 이벤트이다. 이것은 실시간으로 보이는 가상 객체에 대한 정보 또는 다음 화면으로 이동을 원하는 경우 사용자에 의해서 발생되는 이벤트이다.

다시 말해, 마우스 오버 이벤트는 눈에 보이거나 보이는 가상 객체를 식별하기 위한 것으로 원과 객체를 설명하는 라벨로 나타날 수 있으며, 마우스 클릭 이벤트를 통해서는 하위 메뉴를 띄우거나, 외부로 연결되는 소스에 대한 링크로 사용하거나, 사용자의 관점을 변경하는 등 다음 작업으로 전환할 수 있다.

발명의 청구항에서 지칭하는 사용자는 마우스 등의 장치를 의미할 수 있으며, 사용자의 행위는 마우스를 포함하여 제스쳐, 음성 등의 행위를 포함할 수 있다.

본 발명의 실시예에 있어서, 증강현실의 화면에 가상 객체를 실제적으로 등록하는 단계(S220)는 사용자와 인터렉션을 위해, 단계(S210)에서 정의한 인터렉션 요소와의 연결이 필요하다. 도 3은 발명의 실시예에 있어서, 증강현실에서 가상의 객체 또는 인터렉션 요소를 표현하기 위한 구조를 나타낸 것이다.

인터렉션 요소를 표현하기 위한 구조로서, 증강현실 화면은 아이디(ID), 파일 이름(File name), 핫스팟(Hot Spot) 등의 속성값을 가질 수 있는데, 실시예에 있어서 핫스팟(Hotspot)은 아이디(ID), 이름(Name), 포지션(Position), 파트번호(Part number), 어노테이션(Annotation) 요소를 가지며, 또한 어노테이션 요소는 원(Circle), 라벨(Label), 버튼(Button), 메뉴(Menu) 등의 다양한 타입을 가지고, 각각 아이디, 이름, 포지션, 컬러(Color) 등의 속성을 포함하여 표현될 수 있다.

실시예에 있어서, 하기의 표 1은 어노테이션 객체와 인터렉션 요소와의 관계를 나타낸 것이다.

표 1

Circle
Description	Represents position of hotspot
Interaction	-
Attributes	id, name, position, color, radius
Label
Description	Hotspot name
Interaction	-
Attributes	id, name, position, text, txtcolor, bgcolor
Button
Description	interactive annotation which accepts event
Interaction	mouse click - link to extermal source or next task
Attributes	id, name, position, text, txtcolor, bgcolor
Menu
Description	interactive annotation which accepts event
Interaction	mouse click - popup submenu or link to extemal source
Attributes	id, name, position, text, txtcolor, bgcolor
Animation
Description	Animated image, vidio, instruction
Interaction	-
Attributes	id, name, image, start and end position, rotation etc.

이때, 가상 객체와 인터렉션의 연결은 XML이나 RDF 등의 어노테이션(Annotation) 파일에 직접적으로 표현하는 등 명시적으로 연결하거나 코딩 레벨 등의 묵시적으로 연결할 수 있다. 실시예에 있어서, 도 4는 어노테이션 객체와 인터렉션 요소를 등록 및 연결하고, XML 형태의 명시적으로 연결한 것을 나타낸 일례이다.

또한, 단계(S230)에서는 통신 프로토콜을 정의하고 인터렉션을 정의하는 단계로서, 증강현실에서 발생한 이벤트의 응답에 대한 구조를 정의할 수 있다. 단계(S230)에서 정의되는 프로토콜은 필드(Field) 부분과 필드 값(Field Value) 부분으로 구분될 수 있다.

표 2

FIELD Name	Field Value
MESSAGE_ID(MID)	100 : Hello Message110 : ACK Hello Message120 : View Change Message130 : ACK View Change Message140 : Mouse Click Event Message150 : ACK Mouse Click Event Message160 : Mouse Over Event Message170 : ACK Mouse Over Event Message180 : Instruction Information Message190 : ACK Instruction Information Message200 : AR Control Message201 : ACK AR Control Message
SOURCE(S)	1 : KBS2 : AR:
DESTINATION(D)	1 : KBS2 : AR
SLIDE_ID	String (e.g. 1, 2, 3 ...)
BUTTON_NAME	String (e.g. rv2_hsp1_bt1)
MOUSE_OVER_TYPE	1 : in2 : out
INSTRUCTION_NUMBER	String (e.g. INS-01, INS-03 ... ISN-10...)
EVENT_TYPE	1 : Previous2 : Next
ACTION_TYPE	1 : SHOW2 : HIDDEN3 : CLOSE

표 2는 증강현실에서 발생한 이벤트를 KBS에 전달하고 또는 KBS에서 수신한 이벤트를 처리하고 이에 대한 응답을 증강현실로 전달하기 위한 구조를 정의한 것으로, 더욱 자세하게는 대용량 데이터와 증강현실과의 인터렉션을 위한 통신 프로토콜에 대한 정의를 나타낸 것이다.

필드 부분에는 MESSAGE_ID, SOURCE, DESTINATION, SLIDE_ID, BUTTON_NAME, MOUSE_OVER_TYPE, INSTRUCTION_NUMBER, EVENT_TYPE, ACTION_TYPE이 포함 될 수 있다. 필드와 필드 값 부분에는 문자열과 숫자 및 특수 문자가 포함될 수 있으며, 특히, 필드 부분에서 정의된 단어는 문자 자체로써의 의미보다는 해당 정보를 표현하는 의미적인 부분이 중요하다.

발명의 실시예에 있어서, 도 5에서 도 9의 도면을 통해 통신 프로토콜을 이용한 인터렉션의 일례를 들어 발명을 설명할 수 있다. 하기의 실시예는 표 2에 나타낸 프로토콜을 참조하여 설명할 수 있다.

도 5의 그림 (a)는 증강현실과 KBS 간의 초기 통신 방법을 나타낸 것이며, 그림 (b)는 그림 (a)의 초기 통신 방법에 따라 나타나는 증강 객체에 대한 정보를 화면에 디스플레이하는 것을 도시한 것이다.

실시예에 있어서, 그림 (a)의 프로토콜은 표 2를 참조할 수 있다. 초기 신호로 HELLO Message 와 ACK HELLO Message를 송수신할 수 있으며, 각 신호의 방향에 있어서, HELLO Message는 KBS에서 증강현실로, ACK HELLO Message는 증강현실에서 KBS로의 방향이다. 실시예에 있어서, ACK 신호는 송신 측에 대하여 수신 측에서 긍정적 응답으로 보내지는 전송 제어용 캐릭터로서, 데이터가 오차 없이 수신되었다라는 내용을 전달할 수 있는 신호이다.

그림 (b)의 증강현실에서 'Gear and Door' 버튼을 클릭하게 되면, 도 6의 그림 (a)와 같은 통신 방법이 나타날 수 있다.

마우스 클릭 이벤트에 대한 'Mouse Click Event Message' 프로토콜을 증강현실에서 KBS로 전송하며, 이에 대한 응답 프로토콜을 KBS에서 증강현실로 전달할 수 있다. 또한, 실시예에 있어서, 실시간의 증강현실의 컨텍스트가 4번으로 진행해야 하기 때문에, 마우스 클릭에 대한 화면 전환을 위해서 KBS에서 화면 전환에 대한 프로토콜 'View Change Message'를 증강현실로 전달하게 되며, 증강현실은 그림 (b)와 같이 하위 메뉴를 디스플레이하는 화면 전환을 수행하고, ACK Message를 KBS로 전송한다.

증강현실의 마우스 오버 이벤트는 디스플레이해야 하는 많은 정보들을 사용자의 요구에 의해서 부분적으로 표시할 때 사용할 수 있다. 따라서, 사용자는 관심이 있는 부품의 위치로 마우스를 이동하여 정보를 확인할 수 있다. 도 6의 그림 (b)의 증강현실 화면에서 원하는 부분으로 마우스를 이동하면, 도 7의 그림 (a)와 같은 통신 방법이 나타날 수 있다.

마우스가 특정한 영역에 위치하게 되면, 마우스가 위치한 곳의 주석을 표시하고, 'Mouse Over Event Message(In)'의 프로토콜을 증강현실에서 KBS로 전송할 수 있다. 이 메시지를 받은 KBS는 응답 메시지를 증강현실로 전송하고, 실시간 증강현실의 컨텍스트를 바탕으로, 해당 메시지에 대한 응답으로 컨텍스트를 8번으로 이동하라는 'View Change Message'를 증강현실로 전달한다. 이에 따라, 증강현실은 수신한 메시지를 기반으로 그림 (b)와 같이, 화면을 8번으로 이동하여 디스플레이하고, 메시지에 대한 응답을 KBS로 전송한다.

발명의 실시예에 있어서, 도 7의 그림 (b)와 같은 증강현실 화면 영역에서 마우스가 다른 곳으로 이동하게 되면, 도 8의 그림 (a)와 같은 'Mouse Over Event Message(Out)' 프로토콜을 KBS로 전송한다.

이 메시지를 받은 KBS는 증강현실로 응답 메시지를 전송하고, 실시간 증강현실의 컨텍스트를 바탕으로 하여 해당 메시지에 대한 응답으로서 컨텍스트를 8번으로 이동하라는 'View Change Message'를 증강현실로 전달한다. 메시지를 수신한 증강현실은 그림 (b)와 같이, 표시되었던 주석을 제거하고, 증강현실 화면을 디스플레이할 수 있다.

실시예에 있어서, 도 9의 그림 (b)와 같은 실시간 증강현실 화면에서(오른쪽의 이미지를 제외한 증강현실 화면) 'pitch trimmer(26)'의 버튼을 마우스 클릭 이벤트를 통해서 pitch trimmer에 대한 정보를 볼 수 있다.

도 9의 그림 (a)와 같이 'Mouse Over Event Message'를 증강현실에서 KBS로 전송하고, 이 메시지를 받은 KBS는 ACK 메시지를 증강현실로 전송하고, 실시간 증강현실의 컨텍스트를 바탕으로, 마우스 오버 이벤트 메시지에 대한 응답으로 컨텍스트를 8번으로 이동하라는 'View Change Message'를 증강현실로 전달한다.

또한, 증강현실은 수신한 메시지를 기반으로 그림 (b)와 같이 'pitch trimmer'에 대한 정보를 화면에 표시할 수 있는데, 이때, pitch trimmer에 대한 정보는 증강현실 화면 위에 표시될 수 있으며, 그림 (b)와 달리, 증강현실 화면과 별도의 팝업 창으로 나타나거나, 왼쪽, 아래, 위쪽 중 어느 곳에 표시될 수 있다.

본 발명의 실시예에 있어서, 도 10은 증강현실과 대용량 데이터 간의 통합을 위한 상호작용 시스템(1000)의 구조를 도시한 것으로서, 상호작용 시스템(1000)은 요소 정의부(1010), 요소 등록부(1020), 그리고 프로토콜 정의부(1030)를 포함하여 구성될 수 있다.

상호작용 시스템(1000)은 도 2에 도시된 상호작용 방법을 실시하는 구성을 가지는 장치로서, 시스템(1000)의 각 구성은 나뉘어 지거나 합쳐서 발명을 실시할 수 있다.

요소 정의부(1010)는 증강현실의 화면에 표시되는 가상 객체와 사용자의 인터렉션을 제공하기 위한 요소, 즉 인터렉션 요소를 정의하고, 요소 등록부(1020)는 증강현실 인터렉션 요소를 등록하는데, 즉 증강현실의 화면에 가상 객체를 실제적으로 등록하는 역할을 수행하며, 그리고 프로토콜 정의부(1030)는 통신 프로토콜 및 인터렉션을 정의하는 단계로서, 증강현실과 대용량 데이터와의 인터렉션을 위한 통신 프로토콜을 정의할 수 있다.

실시예에 있어서, 요소 정의부(1010)는 가상 객체의 종류 또는 특정한 상황에서 사용자의 행위, 즉 마우스 클릭, 마우스 오버, 더블 클릭 등에 대한 정의를 할 수 있는데, 특히 사용자의 행위는 마우스를 포함하여, 제스쳐, 음성 등의 행위에 대한 요소를 포함한다.

또한, 증강현실의 화면에 가상 객체를 실제적으로 등록하는 요소 등록부(1020)는 사용자와 인터렉션을 위해, 요소 정의부(1010)에서 정의한 인터렉션 요소와의 연결이 필요하다.

실시예에 있어서, 인터렉션 요소를 표현하기 위한 구조로서, 증강현실 화면은 아이디(ID), 파일 이름(File name), 핫스팟(Hot Spot) 등의 속성값을 가질 수 있는데, 실시예에 있어서 핫스팟(Hotspot)은 아이디(ID), 이름(Name), 포지션(Position), 파트번호(Part number), 어노테이션(Annotation) 요소를 가지며, 또한 어노테이션 요소는 원(Circle), 라벨(Label), 버튼(Button), 메뉴(Menu) 등의 다양한 타입을 가지고, 각각 아이디, 이름, 포지션, 컬러(Color) 등의 속성을 포함하여 표현될 수 있다.

프로토콜 정의부(1030)에서는 통신 프로토콜을 정의하고 인터렉션을 정의하는데, 증강현실에서 발생한 이벤트의 응답에 대한 구조, 자세하게는 대용량 데이터와 증강현실과의 인터렉션을 위한 통신 프로토콜에 대해 정의할 수 있다.

실시예에 따른 증강현실과 대용량 데이터 간의 통합을 위한 상호작용 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

증강현실과 대용량 데이터 간의 통합을 위한 상호작용 방법에 있어서,

증강현실의 화면에 표시되는 가상 객체와 사용자의 인터렉션을 제공하기 위한 요소를 정의하는 단계;

상기 증강현실의 화면에 상기 가상 객체를 실제적으로 등록하는 단계; 및

상기 증강현실과 상기 대용량 데이터와의 인터렉션을 위한 통신 프로토콜을 정의하는 단계

를 포함하는 상호작용 방법.
제1항에 있어서,

상기 인터렉션을 제공하기 위한 요소를 정의하는 단계는

상기 가상 객체의 종류나 상황에 따른 상기 사용자의 행위에 대해 정의하는 것

을 특징으로 하는 상호작용 방법.
제2항에 있어서,

상기 사용자의 행위는 마우스의 클릭(Click), 오버(Over), 더블 클릭(Double-click), 스크롤(Scroll), 제스쳐(Gestures), 음성(Voice) 컨트롤을 포함하는 것

을 특징으로 하는 상호작용 방법.
제1항에 있어서,

상기 실제적으로 등록하는 단계는

상기 가상 객체를 상기 인터렉션을 위해 정의된 요소와 연결하며, 명시적 또는 묵시적으로 연결하는 것

을 특징으로 하는 상호작용 방법.
제4항에 있어서,

상기 인터렉션을 위해 정의된 요소를 표현하기 위한 구조로서,

상기 증강현실의 화면의 핫스팟(Hotspot)은 아이디(ID), 이름(Name), 포지션(Position), 파트번호(Part number), 어노테이션(Annotation) 요소를 가지며,

상기 어노테이션 요소는 다양한 타입을 가지고, 아이디, 이름, 포지션, 컬러(Color)의 속성을 포함하는 것

을 특징으로 하는 상호작용 방법.
제1항에 있어서,

상기 통신 프로토콜을 정의하는 단계는

상기 증강현실에서 발생한 이벤트의 응답에 대한 구조를 정의하며,

상기 프로토콜은 필드(Field) 부분과 필드값(Field Value) 부분으로 구분되는 것

을 특징으로 하는 상호작용 방법.
증강현실과 대용량 데이터 간의 통합을 위한 상호작용 시스템에 있어서,

증강현실의 화면에 표시되는 가상 객체와 사용자의 인터렉션을 제공하기 위한 요소를 정의하는 요소 정의부;

상기 증강현실의 화면에 상기 가상 객체를 실제적으로 등록하는 요소 등록부; 및

상기 증강현실과 상기 대용량 데이터와의 인터렉션을 위한 통신 프로토콜을 정의하는 프로토콜 정의부

를 포함하는 상호작용 시스템.
제7항에 있어서,

상기 요소 정의부는,

상기 가상 객체의 종류나 상황에 따른 상기 사용자의 행위에 대해 정의하는 것

을 특징으로 하는 상호작용 시스템.
제8항에 있어서,

상기 사용자의 행위는 마우스의 클릭(Click), 오버(Over), 더블 클릭(Double-click), 스크롤(Scroll), 제스쳐(Gestures), 음성(Voice) 컨트롤을 포함하는 것

을 특징으로 하는 상호작용 시스템.
제7항에 있어서,

상기 요소 등록부는,

상기 가상 객체를 상기 인터렉션을 위해 정의된 요소와 연결하며, 명시적 또는 묵시적으로 연결하는 것

을 특징으로 하는 상호작용 시스템.
제10항에 있어서,

상기 인터렉션을 위해 정의된 요소를 표현하기 위한 구조로서,

상기 증강현실의 화면의 핫스팟(Hotspot)은 아이디(ID), 이름(Name), 포지션(Position), 파트번호(Part number), 어노테이션(Annotation) 요소를 가지며,

상기 어노테이션 요소는 다양한 타입을 가지고, 아이디, 이름, 포지션, 컬러(Color)의 속성을 포함하는 것

을 특징으로 하는 상호작용 시스템.
제7항에 있어서,

상기 프로토콜 정의부는,

상기 증강현실에서 발생한 이벤트의 응답에 대한 구조를 정의하며,

상기 프로토콜은 필드(Field) 부분과 필드값(Field Value) 부분으로 구분되는 것

을 특징으로 하는 상호작용 시스템.
제1항 내지 제6항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.