KR20120072126A - 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법 - Google Patents

간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법 Download PDF

Info

Publication number
KR20120072126A
KR20120072126A KR1020100133935A KR20100133935A KR20120072126A KR 20120072126 A KR20120072126 A KR 20120072126A KR 1020100133935 A KR1020100133935 A KR 1020100133935A KR 20100133935 A KR20100133935 A KR 20100133935A KR 20120072126 A KR20120072126 A KR 20120072126A
Authority
KR
South Korea
Prior art keywords
surrogate
control space
control
command
virtual object
Prior art date
Application number
KR1020100133935A
Other languages
English (en)
Inventor
주상현
김상원
김재환
정효택
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100133935A priority Critical patent/KR20120072126A/ko
Priority to US13/331,670 priority patent/US20120167014A1/en
Publication of KR20120072126A publication Critical patent/KR20120072126A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

간접체험에 있어서 현실 세계에 대한 모사 없이도 간접체험을 이용할 수 있는 기술을 제공한다. 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 장치는, 제어 공간에 표시되는 원격의 사용자를 대신하는 서로게이트 및 현실 객체에 대응하는 가상 객체와, 서로게이트 및 현실 객체의 동기화 모델을 설정하는 동기화 설정부; 서로게이트 및 현실 객체에 대한 명령 입력과, 서로게이트가 센싱한 주변 정보의 출력을 위한 제어 공간을 생성하는 제어 공간 생성부; 및 동기화 모델 및 제어 공간을 패키지화한 어플리케이션을 생성하는 서비스 제공부를 포함하는 것을 특징으로 한다.

Description

간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법{VISUAL SURROGATE FOR INDIRECT EXPERIENCE, APPARATUS AND METHOD FOR PROVIDING THEREOF}
본 발명은 가상현실 및 증강현실로 대표되는 간접체험 기술에 관한 것으로, 더욱 자세하게는 가상세계와 현실세계를 융합하는 과정에서 발생하는 기술적인 제약점을 극복하기 위한 기술에 관한 것이다.
가상 체험은 과거에, 게임 및 짧은 시간의 시뮬레이션 등 일종의 장치를 이용하여 부정확한 간접체험을 진행하는 것에서만 가능했었다. 그러나 최근 미디어의 보편화와 다양한 멀티미디어 컨텐츠의 디지털화 및 통신망의 발전 등의 기술 흐름에 따라서, 가상 체험 기술 역시 급속도로 발전하고 있다.
특히 자신이 체험하지 못하는 시간적 공간적 제약이 있는 경험을 체험하는 방법으로 가상 세계의 발전과 개발이 부각되고 있다. 가상의 환경을 구성하여 사용자의 간접체험을 제공하는 것으로는 가상현실(VR, Virtual Reality) 기술과 현실 환경에 가상의 정보를 부가하는 증강현실(AR, Augmented Reality) 기술이 있다.
가상현실 및 증강현실 기술은 꾸준히 발전하고 있다. 그러나 이러한 기술들은 사용자의 1인칭 시점에서 가상 체험을 진행하게 된다. 사용자의 공간적 제약을 극복하기 위하여 만들어진 것이 세컨드라이프와 같은 가상세계 서비스이며, 이러한 서비스의 경우 사용자가 원하는 곳으로 공간이동이 가능하고 그 환경에서 아바타를 통한 3인칭 체험이 가능하다. 또한, 현실세계를 그대로 가상세계로 모사하여 현실세계에서 불가능한 공간이동을 가능하게 하며, 그 공간 안에서 다양한 체험 역시 가능하다.
그러나 이러한 경우에도, 현실과 모사된 가상세계를 구축하는 데에는 많은 시간, 노동력 및 장비가 소요되며, 현실세계의 변화를 가상세계에 반영하는 데 역시 많은 자원이 소비된다.
따라서, 가상세계의 구축에 따른 자원 소모를 줄이고, 더욱 현실세계를 정확하게 반영하여, 사용자로 하여금 간접체험에 있어서 신뢰도를 높일 수 있는 기술에 대한 필요성이 증가하고 있다.
본 발명은, 가상세계가 현실세계를 일일이 전부 반영하여 모사할 필요 없이, 현실세계의 객체 등을 그대로 사용할 수 있는 간접체험기술을 제공하는 데 그 목적이 있다. 이에 따라서, 가상세계의 구축에 필요한 자원을 거의 소비하지 않고, 가상세계와 현실세계의 구분을 없앰으로써, 더욱 신뢰도 있는 간접체험 기술을 제공하는 데 그 목적이 또한 있다.
상기 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 장치는, 제어 공간에 표시되는 원격의 사용자를 대신하는 서로게이트 및 현실 객체에 대응하는 가상 객체와, 서로게이트 및 현실 객체의 동기화 모델을 설정하는 동기화 설정부; 서로게이트 및 현실 객체에 대한 명령 입력과, 서로게이트가 센싱한 주변 정보의 출력을 위한 제어 공간을 생성하는 제어 공간 생성부; 및 동기화 모델 및 제어 공간을 패키지화한 어플리케이션을 생성하는 서비스 제공부를 포함하는 것을 특징으로 한다.
동기화 설정부는, 기설정된 템플릿을 이용하여, 가상 객체와 서로게이트 및 현실 객체를 정합 및 매핑하여 동기화 모델을 설정한다.
제어 공간 생성부는, 멀티모달(Multimodal) 인터페이스를 이용하여 가상 객체를 조작함으로써 서로게이트 및 현실 객체에 대한 명령을 입력하는 제어 공간을 생성한다.
서로게이트는 주변의 영상, 음성, 온도 및 습도를 포함하는 주변 정보를 센싱할 수 있는 장치와 근거리 및 장거리 통신 수단을 포함하는 이동 가능한 유형의 기기이다. 또는, 주변 정보를 센싱할 수 있는 장치, 근거리 및 장거리 통신 수단, 이동수단 및 3차원 영상 출력 수단을 포함하는 기기이고, 사람 형태의 3차원 영상을 기기 외부에 출력하여 사람으로 보이도록 한다.
서비스 제공부는, 어플리케이션을 사용자와 서로게이트에 각각 송신할 수 있다.
본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트는, 제어 공간에 존재하는 가상 객체에 대한 원격의 사용자로부터의 명령을 분석하는 명령 분석부; 가상 객체와 대응하는 현실 객체를 외부로부터 수신한 동기화 모델을 이용하여 정합 및 매핑하고, 분석된 명령에 따라 현실 객체를 조작하기 위한 제어 명령을 생성하는 서로게이트 제어부; 제어 명령에 따라서 현실 객체를 조작하는 객체 제어부; 및 제어 명령에 따라 현실 객체를 조작하기 위한 물리적 동작을 제어하는 동작 제어부를 포함하는 것을 특징으로 한다.
제어 공간은, 원격의 사용자의 입력 장치에 생성되고, 멀티모달(Multimodal) 인터페이스를 기반으로 서로게이트 제어 명령을 입력하는 공간이다.
명령 분석부는, 비주얼 서로게이트에 대응하는 가상 객체에 대한 사용자로부터의 명령을 분석하는 기능을 더 포함할 수 있다.
서로게이트 제어부는, 가상 객체가 비주얼 서로게이트인 경우, 비주얼 서로게이트에 대한 동작 제어 명령을 생성하게 된다.
객체 제어부는, 유무선 통신을 이용하여 현실 객체를 원격 조작하는 기능을 포함한다. 동작 제어부는, 물리적 동작을 통해 현실 객체를 직접 조작할 수도 있다.
비주얼 서로게이트는, 주변의 영상, 음성, 온도 및 습도를 포함하는 주변 정보를 센싱하는 센서부를 더 포함할 수 있으며, 이때 서로게이트 제어부는, 센싱된 주변 정보를 제어 공간에 표시하기 위해 출력하는 기능을 더 포함할 수 있다.
서로게이트 제어부는, 3차원 이미지 출력 수단을 포함하고, 3차원 이미지 출력 수단은 비주얼 서로게이트의 외부에 사람 영상의 3차원 영상을 출력하는 기능을 수행한다.
동작 제어부는, 비주얼 서로게이트의 이동 수단, 다관절 암(Arm) 및 암에 연결되어 있고 현실 객체를 물리적으로 조작할 수 있는 로봇 핸드(Hand)의 동작을 제어하는 기능을 수행한다.
본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 방법은, 제어 공간 생성부가 제어 공간에 원격의 사용자를 대신하는 서로게이트에 대응하는 가상 객체를 생성하는 단계; 동기화 설정부가 제어 공간에 표시되는 서로게이트 및 현실 객체에 대응하는 가상 객체와, 서로게이트 및 현실 객체의 동기화 모델을 설정하는 단계; 제어 공간 생성부가 서로게이트 및 현실 객체에 대한 명령 입력과, 서로게이트가 센싱한 주변 정보의 출력을 위한 제어 공간을 생성하는 단계; 서비스 제공부가 동기화 모델 및 제어 공간을 패키지화한 어플리케이션을 생성하는 단계를 포함하는 것을 특징으로 한다.
동기화 모델을 설정하는 단계는, 기설정된 템플릿을 이용하여, 가상 객체와 서로게이트 및 현실 객체를 정합 및 매핑하여 동기화 모델을 설정하는 단계이다.
제어 공간을 생성하는 단계는, 멀티모달(Multimodal) 인터페이스를 이용하여 가상 객체를 조작함으로써 서로게이트 및 현실 객체에 대한 명령을 입력하는 제어 공간을 생성하는 단계이다.
서로게이트는 주변의 영상, 음성, 온도 및 습도를 포함하는 주변 정보를 센싱할 수 있는 장치와 근거리 및 장거리 통신 수단을 포함하는 이동 가능한 유형의 기기이거나, 주변의 영상, 음성, 온도 및 습도를 포함하는 주변 정보를 센싱할 수 있는 장치, 근거리 및 장거리 통신 수단, 이동수단 및 3차원 영상 출력 수단을 포함하는 기기이고, 사람 형태의 3차원 영상을 상기 기기 외부에 출력하여 사람으로 보이도록 하는 기기이다.
본 발명에 의하면, 간접체험이나 유비쿼터스 환경에 있어서, 현실공간을 일일이 모사할 필요가 없이 간접체험이 가능한 효과가 있다. 서로게이트가 촬영한 영상이 표시되는 제어 공간 속에서 현실 객체를 촬영한 결과인 가상 객체를 조작하여 간접체험을 진행하기 때문이다. 따라서, 간접체험에 있어서 소비되는 자원을 최소한으로 줄일 수 있으며, 더욱 현실적으로 사용자의 간접체험을 유도할 수 있는 효과를 기대할 수 있다.
도 1은 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 장치에 대한 블록도이다.
도 2는 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트에 대한 블록도이다.
도 3은 멀티모달 인터페이스를 이용한 서로게이트 조작의 예를 도시한 것이다.
도 4는 제어 공간이 사용자 입력 화면에 표시된 예를 도시한 것이다.
도 5는 제어 공간, 가상 객체, 서로게이트 및 현실 객체 간의 상호 관계를 개략적으로 도시한 것이다.
도 6는 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 방법에 대한 플로우차트이다.
도 7은 제어 공간에서 서로게이트를 제어하는 흐름을 도시한 것이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법에 대하여 설명하기로 한다. 이하의 설명에서 동일한 참조부호는 동일한 구성을 의미한다.
도 1은 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 장치에 대한 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 장치는, 동기화 설정부(130), 제어 공간 생성부(120) 및 서비스 제공부(140)를 포함하는 것을 특징으로 한다. 추가적으로 서로게이트 생성부(110) 역시 포함될 수 있다.
먼저 서로게이트 생성부(110)는, 원격의 사용자를 대신할 유무형의 대체물인 서로게이트(200)에 대한 가상 객체를 제어 공간 상에 표시하기 위하여, 서로게이트(200)의 정보를 수신하여 가상 객체에 대응하는 데이터를 생성하게 된다. 또한, 서로게이트(200)의 제어를 위한 기본적인 세팅을 한다.
예를 들어, 서로게이트(200)가 원격의 유명 수족관에 있는 관람 로봇이라고 가정해 본다. 이 때, 서로게이트 생성부(110)는 사용자가 유명 수족관을 관람하는 것처럼 간접 체험을 할 수 있도록, 수족관 내에 비치된 이동 가능한 영상 및 음성 촬영 로봇인 서로게이트(200)의 제어를 위하여 서로게이트(200)에 접속 가능하도록 기본적인 세팅을 진행하게 된다.
예를 들어, 서로게이트 생성부(110)는 사용자 입력 장치의 입력을 분석하여, 초기에 사용자가 체험하기 원하는 공간에 서로게이트(200)가 존재하는지 판단할 수 있다. 또한, 사용자가 제어 공간 상에서 서로게이트(200)를 제어할 수 있도록 하는 사람 형상 또는 특정 형상의 가상 객체 정보를 생성할 수 있도록 한다.
본 발명의 실시 예에서 서로게이트(200)는 유무형의 사용자 대체물을 의미한다. 사용자의 간접 체험을 위해, 서로게이트(200)는 이동 가능해야 하며, 주변 정보를 획득할 수 있고 현실 객체를 조작할 수 있는 기능을 포함해야 한다. 또한, 사용자 입력 장치(300)에 획득한 주변 정보를 송신하고, 사용자 입력 장치(300)로부터 명령을 수신하는 기능 또는 현실 객체를 원격 조작하기 위한 기능을 수행하기 위한 통신 장치를 포함해야 할 것이다.
따라서 예를 들어 서로게이트(200)는 주변의 영상, 음성, 온도 및 습도를 포함하는 주변 정보를 센싱할 수 있는 복수의 센서 등의 장치, 근거리 및 원거리 통신 수단을 포함하는 이동 가능한 유형의 로봇 등을 포함하는 기기일 수 있다.
또한, 서로게이트(200)는 서로게이트가 존재하는 현실 세계에서 다른 사람들에게 사람의 형상처럼 보일 수 있도록 하기 위해, 상기의 장치 및 수단과 함께, 3차원 영상 출력 수단을 포함할 수 있다. 이때 3차원 영상 출력 수단은, 사람 형태의 3차원 영상을 서로게이트(200)의 외부에 출력하여, 사람으로 보이도록 할 수 있다. 이때 3차원 영상은, 서로게이트 생성부(110) 및 제어 공강 생성부(120)에 의해 표시되는 사람 형상과 동일한 형상일 수 있다.
동기화 설정부(130)는, 제어 공간에 표시되고 원격의 사용자를 대신하는 서로게이트(200) 및 현실 객체에 대응하는 가상 객체와, 서로게이트(200) 및 현실 객체의 동기화 모델을 설정하는 기능을 수행한다. 즉 동기화 설정부(130)는 사용자가 제어 공간 상에서, 가상 객체를 조작하는 것과 동시에, 서로게이트(200) 및 현실 객체를 실제로 제어할 수 있도록 동기화시키는 설정을 진행하는 것이다.
예를 들어, 상기 서로게이트 생성부(110)에 의해 생성된 가상 객체에 대한 정보를 수신하게 된다. 동기화 설정부(130)가 수신하는 가상 객체에 대한 정보는, 가상 객체의 형태, 가상 객체를 제어 공간 상에서 인식할 수 있는 모델, 가상 객체에 대응하는 서로게이트(200)의 정보인 서로게이트(200)의 위치, 형태, 기능 등에 대한 정보를 수신할 수 있다.
또한, 동기화 설정부(130)는, 서로게이트(200)의 종류에 따라서, 서로게이트(200)가 촬영 또는 인식한 현실 객체를 제어 공간에 표현하기 위하여 가상 객체로서 생성할 수 있다. 즉, 서로게이트(200)가 조작 가능한 것으로 판단된 현실 세계 상의 객체만을 가상 객체로서 표현하게 되는 것이다. 가상 객체로서 표현하는 것은 본 발명의 실시 예에서 서로게이트(200)가 촬영한 주변 환경에서 조작 가능한 기기 또는 물체를 제어 공간에서 선택 가능하도록 객체화하는 것을 의미한다. 그러나 조작 가능한 기기 또는 물체를 새로운 객체로서 생성하여 제어 공간 상에 표시하는 방법 또한 사용될 수 있을 것이다.
동기화 설정부(130)는 기설정된 템플릿을 이용하여 서로게이트(200) 또는 현실 객체에 대응하여 생성된 가상 객체와, 실제 서로게이트(200) 또는 현실 객체를 정합 및 매핑하게 된다. 상기 언급한 바와 같이 서로게이트(200) 및 현실 객체는 사용자와 원격에 존재하는 물체이다. 따라서, 제어 공간 상에서 존재하는 가상 객체의 조작을 통해서 서로게이트(200) 및 현실 객체를 조작 및 제어하기 위해서, 동기화 설정부(130)는 동기화 모델을 생성하게 된다.
즉 동기화 모델은, 가상 객체와 현실 객체간의 매핑, 가상 객체의 조작과 현실 객체의 실질적인 조작의 매핑 및 시공간의 정합을 위해 생성되는 모델을 의미한다.
동기화 모델은 일정한 템플릿을 이용하여, 가상 객체의 조작에 대응하는 명령을 서로게이트(200)에 대한 명령으로 변환하고, 가상 객체의 조작과 동기화한다. 따라서 사용자는 제어 공간 상에서 가상 객체만을 조작함으로써, 서로게이트(200)를 조작하여 현실 객체 역시 조작할 수 있도록 하는 것이다.
제어 공간 생성부(120)는, 서로게이트(200) 및 현실 객체에 대한 명령 입력과, 서로게이트(200)가 센싱한 주변 정보의 출력을 위한 제어 공간을 생성하는 기능을 수행한다. 즉, 실질적인 사용자 입력 화면을 제공하기 위한 환경을 생성하게 되는 것이다.
제어 공간 생성부(120)는 사용자가 상기 언급한 가상 객체를 조작할 수 있도록 하기 위하여, 이미 생성된 가상 객체에 대한 정보를 수신하여 사용자 입력 화면 상에 가상 객체를 표현할 수 있도록 이미지 또는 텍스트 정보를 생성하게 된다.
제어 공간은 동기화 설정부(130)에 의해 설정된 서로게이트(200) 및 현실 세계와 가상 객체간의 동기화된 모델을 이용하게 된다. 제어 공간은 제어 공간 생성부(120)에 의해 재구성될 수 있으며, 제어 공간의 편집을 위한 툴이 사용자에게 제공될 수도 있을 것이다.
제어 공간은 사용자와 서로게이트(200) 간의 인터페이스를 제공하는 역할을 하는 공간이다. 제어 공간은 기본적으로 컴퓨터 등 사용자 입력 장치(300)의 표시부에 표현될 수 있다. 사용자는 제어 공간을 활용하여 서로게이트(200)를 조작하거나 서로게이트(200)를 통해 원격의 현실 객체를 조작할 수 있을 것이다.
본 발명의 실시 예에서, 제어 공간 생성부(120)는 멀티모달(Multimodal) 인터페이스를 이용하여 가상 객체를 조작함으로써, 서로게이트(200) 및 현실 객체에 대한 명령을 입력하는 제어 공간을 생성하게 된다.
멀티모달 인터페이스는 인간과 컴퓨터 도는 단말기기 사이의 인터페이스를, 키보드, 펜, 마우스, 그래픽, 음성 등 다양한 매체를 이용하여 정보를 입력하고, 음성, 그래픽, 3차원 영상 등 다양한 매체를 이용하여 출력할 수 있도록 하는 것을 의미한다. 멀티모달 인터페이스는 현재, 월드 와이드 웹 컨소시움(W3C)의 멀티모달 인터액션 워킹 그룹에서, 멀티 모달 인터액션 프레임워크(Multimodal Interaction Framework), EMMA(Extensible Multimodal Annotation) 및 잉크 마크 업 언어(Ink Markup Language) 등의 표준화를 진행하고 있다.
또한 제어 공간은, 사용자가 간접 체험을 위해 서로게이트(200)가 촬영한 영상 및 음성 등이 출력되는 것을 지원한다. 제어 공간 생성부(120)에 의해 생성된 제어 공간 공급 프로그램이 사용자 입력 장치(300)에서 실행되면, 사용자는 서로게이트(200)가 센싱한 주변 정보를 확인할 수 있으며, 사용자를 대신하는 서로게이트(200)를 3인칭 시점에서 조작하여 원격의 현실 세계에 대해 간접 체험을 할 수 있는 것이다.
예를 들어, 사용자는 제어 공간 상에서 원격의 수족관에 존재하는 서로게이트(200)를 통해, 수족관을 관람할 수 있다. 또한, 수족관에 존재하는 컴퓨터 화면 또는 서비스 제공 장치를 서로게이트(200)를 통해 조작하여, 수족관 내에서 활용할 수 있는 기능을 사용자 입력 장치(300)를 통해 표현되는 제어 공간 상에서 이용할 수 있게 되는 것이다.
제어 공간 생성부(120)는 가상 객체와 서로게이트(200) 및 현실 객체간의 상호 작용 기술을 위해 동기화 모델을 이용하여 사용자의 의도를 해석하고, 현실 객체의 시공간과 제어 공간의 시공간을 동기화하도록 제어 공간을 생성하게 된다.
서비스 제공부(140)는, 동기화 모델 및 제어 공간을 패키지화한 어플리케이션을 생성하는 기능을 수행한다. 즉, 서비스 제공부(140)는, 실질적으로 사용자 입력 장치(300)를 이용하여 사용자가 서로게이트(200)를 조작할 수 있도록, 생성된 동기화 모델 및 제어 공간 이용 가능 프로그램을 사용자 입력 장치(300)에 공급하기 위해, 어플리케이션을 생성하게 되는 것이다. 동시에 서비스 제공부(140)는, 서로게이트(200)에도 어플리케이션을 송신할 수 있다. 서로게이트(200)는 어플리케이션을 입력 받아, 사용자가 표시하기 원하는 3차원 영상을 출력하여, 사용자에 대응하는 사람 형상의 3차원 영상을 외부에 출력할 수도 있을 것이다. 또한, 사용자에 따라서 커스터마이즈된 제어 공간 및 동기화 모델에 따라서 다양한 기능을 수행할 수 있도록 어플리케이션을 수신하여 사용자의 명령에 따라서 조작될 수 있을 것이다.
도 2는 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트에 대한 블록도이다. 이하의 설명에서, 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 2를 참조하면, 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트(200)는, 명령 분석부(220), 서로게이트 제어부(240), 객체 제어부(250) 및 동작 제어부(260)를 포함하는 것을 특징으로 한다. 서로게이트(200)의 추가적인 동작을 위해, 센서부(210), 통신 장치(230) 및 모델 관리부(270)가 더 포함되어 있을 수 있다.
명령 분석부(220)는 제어 공간에 존재하는 가상 객체에 대한 원격의 사용자로부터의 명령을 분석하게 된다. 제어 공간은 사용자 입력 장치(300)의 표시부에 표시될 것이며, 사용자는 제어 공간 상에 존재하는 가상 객체를 조작하게 될 것이다.
가상 객체를 조작한 결과는 실시간으로 통신 장치(230)를 통해 명령 분석부(220)에 전달된다. 명령 분석부(220)는 사용자의 가상 객체에 대한 조작을 분석하여, 가상 객체에 대해 어떠한 명령이 내려졌는지를 분석하게 된다.
예를 들어, 사용자가 제어 공간을 통해 가상 객체를 조작하여 서로게이트(200)에 대응하는 가상 객체와 이격되어 있는 에어컨에 대응하는 가상 객체를 조작하여, 에어컨을 끄도록 명령하는 조작을 했음을 가정해본다. 이때 명령 분석부(220)는, 가상 객체가 에어컨의 가상 객체에 접근하는 과정 및 에어컨의 가상 객체를 조작하여 에어컨을 끄도록하는 과정에 대한 정보를 입력 받는다.
이때 명령 분석부(220)는 서로게이트 제어부(240)에 가상 객체에 대해 사용자가 어떠한 조작을 했는지를 분석한 결과를 전달하게 된다. 상기의 예를 들면, 서로게이트(200)에 대응하는 가상 객체를 에어컨에 대응하는 가상 객체로 이동하도록 한 명령, 에어컨에 대응하는 가상 객체를 끄도록 한 명령 등이 사용자 입력 장치(300)에 의해 제어 공간 상에 입력되어 있음을 전달하게 되는 것이다.
도 1에 대한 설명과 마찬가지로, 제어 공간에서의 가상 객체에 대한 제어 명령의 입력은 멀티모달 인터페이스를 기반으로 하여 사용자의 입력 장치(300)에 의해 입력될 수 있다.
명령 분석부(220)는 본 발명의 실시 예에서 실시간으로 서로게이트 제어부(240)에 가상 객체에 대한 사용자의 입력 명령을 전달하여, 실시간으로 사용자의 제어 공간 상의 입력이 실제 서로게이트(200) 및 외부 객체(400)인 현실 객체에 반영될 수 있도록 할 것이다.
서로게이트 제어부(240)는, 가상 객체와, 가상 객체와 대응하는 현실 객체를 동기화 모델을 이용하여 정합 및 매핑하고, 분석된 명령에 따라서 현실 객체를 조작하기 위한 제어 명령을 생성하게 된다.
명령 분석부(220)에서는 가상 객체에 대한 명령이 어떤 것이 있는지를 실시간으로 분석하여 서로게이트 제어부(240)에 전달된다. 서로게이트 제어부(240)는 미리 저장된 동기화 모델을 이용하여 명령이 입력된 가상 객체가 어떤 현실 객체인지를 인식하여 정합 및 매핑하게 된다. 또한, 가상 객체가 사용자 입력 장치(300)를 통해 입력된 명령에 따라서 일련의 동작을 수행 시, 가상 객체의 동작이 가상 객체에 대응하는 서로게이트 및 현실 객체의 어떤 동작과 일치하는지를 파악하여 매핑하게 된다.
예를 들어, 사용자가 조작한 가상 객체가 서로게이트(200)라면, 서로게이트(200)에 자체에 대한 동작 제어 명령 생성을 준비할 것이다. 또한 가상 객체가 에어컨을 끄는 동작을 취한다면, 이에 대응하는 명령으로는 서로게이트(200)가 다관절의 로봇 암을 뻗어 에어컨 전원 버튼을 클릭하여 전원을 끄도록 하는 동작 또는 서로게이트(200)의 근거리 통신을 이용한 에어컨 원격 조작을 통해 에어컨의 동작을 끄는 제어 등이 매핑될 수 있을 것이다.
명령 분석부(220)로부터 분석된 가상 객체에 대한 명령이 전달되면, 서로게이트 제어부(240)는 상기와 같은 과정을 통해 실제 서로게이트(200) 및 현실 객체의 조작을 위한 제어 명령을 생성하게 된다.
서로게이트 제어부(240)는, 센서부(210)에 의해 센싱된 서로게이트(200)의 주변 정보를 제어 공간에 표시하기 위하여, 센싱된 주변 정보를 출력하는 기능을 더 포함할 수 있다. 제어 공간에는 본 발명의 특징 상 현실 세계의 모습이 그대로 촬영되어 표시되어야 하기 때문에, 서로게이트 제어부(240)는 센서부(210)에 의해 획득된 주변 정보를 통신 장치(230)를 통해 사용자 입력 장치(300)에 전달하여, 사용자 입력 장치(300)에서 실행되고 있는 제어 공간에 표시될 수 있도록 할 수 있는 것이다.
따라서, 본 발명의 실시 예에서 비주얼 서로게이트(200)는 서로게이트(200) 주변의 영상, 음성, 온도 및 습도를 포함하는 주변 정보를 센싱하는 센서부(210)를 포함할 수 있을 것이다. 특히, 주변의 영상을 촬영하는 장치는, 단일의 카메라거나, 3차원 입체 영상 구현을 위한 복수개의 카메라가 사용될 수도 있을 것이다. 바람직하게는, 서로게이트(200)를 3인칭에서 바라보고 사용자가 조작할 수 있도록, 복수개의 카메라가 설치되어 있어야 할 것이다.
또한 서로게이트(200)는 모델 관리부(270)를 포함할 수 있다. 모델 관리부(270)는 서로게이트(200)에 대한 복수의 제어 모델 및 제어 모델에 대응하는 동기화 모델을 저장하고, 제어 공간 또는 사용자에 따라 적합한 제어 모델 및 동기화 모델을 서로게이트 제어부(240)에 제공하는 기능을 수행할 수 있다. 제어 모델은 동기화 모델을 통해 서로게이트(200)가 수행할 수 있는 제어 기능에 대한 목록을 의미한다. 이를 통해, 사용자별로 커스터마이즈 된 제어를 수행할 수 있어, 서로게이트(200)를 이용한 간접 체험에 있어서 사용자가 더욱 자신이 그 체험을 하는 것과 같이 느낄 수 있고, 사용자의 편의성을 높일 수 있는 효과를 얻을 수 있게 될 것이다.
객체 제어부(250)는, 외부 객체(400)를 서로게이트(200)를 통해 조작하게 된다. 본 발명의 실시 예에서 객체 제어부(250)는 통신 장치(230)와 연결되어 있을 수 있다. 즉, 객체 제어부(250)는 서로게이트(200)를 통해 조작할 외부 객체(400), 즉 현실 객체에 소정의 제어 명령을 통신 기능을 통해 전달하여, 원격으로 외부 객체(400)를 조작하는 기능을 수행한다.
예를 들어, 사용자가 서로게이트(200)에 대응하는 가상 객체를 제어 공간에서 조작하여 에어컨에 대응하는 가상 객체를 조작함으로써, 에어컨을 끄도록 하는 제어를 수행하면, 상기 언급한 바와 같이 서로게이트 제어부(240)는 이에 매핑된 실제 제어 명령을 생성하게 된다.
즉, 서로게이트 제어부(240)에서는 서로게이트(200)의 객체 제어부(250)에, 원격으로 에어컨을 끄는 신호를 발생하도록 하는 제어 명령을 생성할 수 있는 것이다. 객체 제어부(250)는 제어 명령을 수신함과 동시에, 에어컨 조작 기능을 활성화하여 원격으로 리모콘을 조작하는 것과 같은 형태로 에어컨을 끄도록 제어할 것이다.
본 발명의 실시 예에서는 서로게이트(200)의 동작을 구분하기 위하여, 객체 제어부(250)는 통신 장치(230)를 통해 현실 객체를 원격으로 조작하는 기능을 수행하는 것으로 한정하고 있으나, 객체 제어부(250)는 동작 제어부(260)와 동일한 의미를 가질 수 있다. 즉, 객체를 서로게이트(200)의 통신 장치(230)를 통해 제어할 수 없는 경우라면, 동작 제어부(260)를 통해 서로게이트(200)의 물리적 동작을 제어하여, 객체를 조작할 수 있도록 할 수 있을 것이다.
동작 제어부(260)는 서로게이트(200)의 물리적인 구성의 동작을 서로게이트 제어부(240)에서 생성된 명령에 따라서 제어하는 기능을 수행한다. 즉, 서로게이트 제어부(240)는 가상 객체가 제어 대상인 현실 객체인 경우 서로게이트(200)를 제어하여 현실 객체에 대한 제어 및 조작을 하고, 가상 객체가 단순히 서로게이트(200)일 경우 서로게이트(200)에 대한 동작 제어 명령을 생성할 수 있게 된다. 서로게이트(200)를 현실 객체에 대한 조작 없이 단순히 이동시키는 제어를 그 예로 들 수 있을 것이다.
또한 동작 제어부(260)는 객체 제어부(250)와 연동하여, 서로게이트(200)가 현실 객체를 제어하기 위하여 일정의 동작을 취하도록 제어하는 기능을 수행할 수 있다. 예를 들어, 청소기를 이용하여 집을 청소해야 하는 경우, 통신 기능만으로는 일반 청소기를 작동 시킬 수 없다.
따라서, 객체 제어부(250)가 청소기의 전원 및 동작 상태 여부를 제어하는 동시에, 동작 제어부(260)는 다관절의 로봇 암 및 이동 수단을 이용하여 청소기를 가지고 소정 영역을 이동할 수 있도록 서로게이트(200)를 제어할 수 있게 되는 것이다.
이를 통해, 사용자는 3인칭의 시점에서 자신을 대신하는 서로게이트(200)를 통하여, 원격에서 가사일을 하거나, 수족관을 관람하는 등의 간접 체험을 효율적으로 실행할 수 있게 될 것이다.
서로게이트(200)는 사용자가 구입을 하거나, 일반적으로 간접 체험 서비스를 제공하는 지역에 복수대가 존재하여, 사용자가 간접 체험 서비스에 접속 시 사용자마다 사용시간 동안 서로게이트(200)에 접속할 수 있도록 할 수 있도록 할 수 있다. 이에 따라 사용자는 자신이 직접 그 공간에 가지 않고, 또한 가상 체험을 위해 현실 세계를 일일이 모사하는 일 없이 현실 세계를 그대로 간접체험할 수 있게 되는 것이다.
도 3은 멀티모달 인터페이스를 이용한 서로게이트 조작의 예를 도시한 것이다. 이하의 설명에서 도 1 및 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 3을 참조하면, 제어 공간이 사용자 입력 장치(300)의 표시부(310)에 표시되어 있다. 제어 공간은 일종의 프로그램화된 공간으로서, 사용자 입력 장치(300)의 표시부(310)마다 적합하게 변형되어 표시될 수 있을 것이다. 제어 공간은 사용자가 가상 객체를 조작할 수 있는 환경을 의미한다.
사용자는, 표시부(310)에 따라서, 터치 입력 방식을 사용하거나, 키보드(321), 마우스(322) 및 펜 마우스(324) 또는 마이크(323)를 통해 가상 객체를 조작하는 입력을 할 수 있다. 도 3에 도시된 입력 수단 이외에도, 멀티모달 인터페이스 상에서 사용 가능한 입력 수단이라면 어느 것이나 사용 가능할 것이다.
표시부(310)에 표시된 가상 객체의 조작이 이루어지는 동시에, 서로게이트(200)의 제어가 시작될 것이다. 서로게이트(200)에서는 3차원 영상 출력 장치(미도시)를 통해 홀로그램을 포함하는 3차원 영상(250)이 출력되고 있어, 다른 사람은 서로게이트(200)와 3차원 영상(250)을 동시에 보거나, 3차원 영상(250)만을 보면서 서로게이트(200)가 다른 사람을 통해 제어되고 있고, 사람의 형태를 가지는 것으로 인식할 수 있을 것이다.
서로게이트(200)에는 물리적 동작 수단(210) 및 통신 장치(220)가 존재할 수 있다. 통신 장치(220)는 현실 객체(410)의 제어를 위해 객체 제어부(250)와 연결되어 제어 명령 신호를 현실 객체(410)에 송신할 수도 있으나, 도 1 내지 2에 대한 설명에서 언급한 바와 같이 서로게이트 공급 장치(100) 및 사용자 입력 장치(300)와도 통신을 수행할 수 있을 것이다.
서로게이트(200)는 물리적 동작 수단(210) 또는 통신 장치(220)를 통해 현실 객체(410)를 조작할 수 있을 것이다. 이를 통해, 사용자는 표시부(310)에서의 가상 객체의 조작을 통해서, 자신이 직접 현실 객체를 조작하는 것과 같은 간접 체험을 할 수 있게 될 것이다.
도 4는 제어 공간이 사용자 입력 화면에 표시된 예를 도시한 것이다. 이하의 설명에서, 도 1 내지 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 4를 참조하면, 사용자 입력 화면, 즉 사용자 입력 장치(300)의 표시부(310)에는, 다양한 메뉴 및 이미지가 표시될 수 잇다. 제어 공간의 편집 및 이용을 위한 메뉴(320)가 존재할 수 있을 것이다. 도 1에 대한 설명에서 언급한 바와 같이, 제어 공간에 대한 편집 툴이 사용자 입력 장치(300)에 공급될 수도 있기 때문에, 사용자는 편집 메뉴를 통해 제어 공간을 자신의 취향에 맞게 편집할 수 있을 것이다.
또한 다양한 입력 수단을 표시하는 입력 수단 표시메뉴(311, 312, 313)들이 표시될 수 있다. 마우스의 커서(311), 키보드를 이용한 문자 입력창(313) 및 음성 입력창(312) 등이 존재할 수 있을 것이다. 표시부(310)가 터치 스크린인 경우, 사용자는 직접 표시부(310)의 터치를 통해 입력을 수행할 수도 있을 것이다.
표시부(310)에는 제어 공간에 존재할 수 있는 다양한 가상 객체(250, 251, 411, 421, 422)가 표시될 수 있다. 먼저, 서로게이트(200)에 대한 3차원 영상(250, 251)이 표시될 수 있다. 사용자는 서로게이트(200)를 직접 인식할 필요가 없이, 3차원 영상(250, 251)만을 조작하게 됨으로서, 사용자가 직접 3인칭 화면을 통해 사람을 조작하는 것과 같은 효과를 느낄 수 있게 될 것이다. 그러나 사용자의 선택에 따라서, 3차원 영상(250, 251) 대신 서로게이트(200)의 형상을 그래도 사용할 수도 있을 것이다.
또한, 서로게이트(200)를 통해 조작이 가능한 다양한 현실 객체(411, 421, 422)가 표시될 수 있다. 물론 도 4에는 표시되지 않았으나, 서로게이트(200)에 의해 조작이 불가능한 벽면, 바닥면 등을 포함한 현실 세계의 영상 또한 표시될 수 있을 것이다.
조작 가능한 현실 객체(411, 421, 422)는 일정의 표시 수단(예를 들어 진한 실선 또는 점멸하는 실선)을 통해 표시될 수 있을 것이다. 조작 가능한 현실 객체에 대한 여부는 서로게이트 공급 장치(100)의 제어 공간 생성부(120) 및 동기화 설정부(130)에 의해 정해질 수 있을 것이다.
도 5는 제어 공간, 가상 객체, 서로게이트 및 현실 객체 간의 상호 관계를 개략적으로 도시한 것이다.
도 5를 참조하면, 제어 공간인 표시부에 표시되는 서로게이트(200)의 가상 객체인 3차원 영상(250)과 서로게이트(200)는 서로 동기화 되어 있을 것이다. 이와 마찬가지로, 조작 대상이 되는 현실 객체(410)는 사용자 입력 장치(300)의 표시부 상에 표시되는 가상 객체(미도시)와 동기화 되어 있을 것이다.
사용자 입력 장치(300)의 표시부에 표시되는 제어 공간을 통해 에어컨인 현실 객체(410)의 동작을 끄라는 명령을 입력하면, 표시부에는 도 5의 우측 최상단의 이미지와 같이 서로게이트(200)의 가상 객체(250)가 움직여 에어컨의 전원 버튼을 눌러 에어컨이 꺼지는 이미지가 표시될 수 있다.
이와 동시에, 현실 세계에서는, 서로게이트(200)가 움직여 현실 객체(410)에 접근하고, 로봇 암(240) 또는 통신 장치(230) 및 객체 제어부(250)의 근거리 통신 기능 및 원격 조작 기능을 이용하여 가상 객체에 대응하는 현실 객체(410)인 에어컨의 전원을 끄는 동작이 수행될 것이다. 사용자는 실시간으로 이를 영상 등으로 확인할 수 있으며, 정상 수행 여부 또한 표시부를 통해 확인할 수 있게 될 것이다.
도 6는 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 방법에 대한 플로우차트이다. 이하의 설명에서, 도 1 내지 5에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 6을 참조하면, 본 발명의 실시 예에 따른 간접체험을 위한 비주얼 서로게이트 공급 방법은 먼저, 서로게이트 생성부(110)가 원격의 사용자를 대신할 유무형의 대체물인 서로게이트(200)에 대한 가상 객체를 제어 공간 상에 표시하기 위하여, 서로게이트(200)의 정보를 수신하여 가상 객체에 대응하는 데이터를 생성하는 단계와, 제어 공간 생성부(120)가 제어 공간에 원격의 사용자는 대신하는 서로게이트에 대응하는 가상 객체를 생성하는 단계(S1)가 수행된다.
이후, 동기화 설정부(130)는 서로게이트 및 조작 대상 현실 객체와, 제어 공간 상의 서로게이트 및 조작 대상 현실 객체에 대응하는 가상 객체 사이의 동기화 모델을 설정하는 단계(S2) 및 제어 명령과 서로게이트의 제어 형태 사이의 동기화 모델을 설정하는 단계(S3)를 수행한다. 동기화 모델에 대한 설명은 도 1 내지 5에 설명된 바와 같을 것이다.
이후, 제어 공간 생성부(120)는 서로게이트(200) 및 서로게이트(200)를 통한 현실 객체의 제어를 위한 멀티모달 인터페이스 기반의 제어 공간을 생성하는 단계(S4)를 수행하게 된다. 제어 공간은, 상기 언급한 바와 같이 사용자 입력 장치(300)에서 동기화 모델과 함께 실행되어 표시부(310)를 통해 표시될 것이다.
이후, 서비스 제공부(140)는 동기화 모델 및 제어 공간을 패키지화한 어플리케이션을 생성하고, 이를 사용자 입력 장치(300) 또는 서로게이트(200)에 공급하게 될 것이다(S5).
도 7은 제어 공간에서 서로게이트를 제어하는 흐름을 도시한 것이다. 도 7은 사용자 입력 장치(300)의 표시부(310) 및 서로게이트(200)에서 실행되는 일련의 간접 체험에 대한 흐름을 도시한 것이다.
도 7을 참조하면, 센서부(210)에 의해 센싱된 주변 정보가 서로게이트 제어부(240) 및 통신 장치(230)를 통해 사용자 입력 장치(300)에 전달되고(S6) 사용자 입력 장치(300)는 제어 공간 상에 주변 정보를 표시하게 된다.
이후, 사용자 명령이 멀티모달 인터페이스 기반의 입력 체계를 통해 입력된다(S7). 예를 들어, 영상, 문자, 음성 등을 이용한 모든 입력 방식을 통하여 제어 공간 상의 가상 객체를 사용자가 조작하게 되는 것이다.
명령 분석부(220)는 사용자의 가상 객체에 대한 조작을 분석하여 생성한 일련의 조작 과정을 서로게이트 제어부(240)에 송신하게 된다. 서로게이트 제어부(240)는, 조작 과정과 함께, 수신하거나 모델 관리부(270)에서 선택한 동기화 모델을 이용하여, 실제 서로게이트(200) 및 현실 객체에 대한 제어 명령을 생성하게 된다(S8).
이후, 서로게이트(200)에 포함된 객체 제어부(250) 및 동작 제어부(260)는 서로게이트 제어부(240)로부터 수신한 제어 명령을 이용하여, 서로게이트(200)의 동작 또는 현실 객체를 제어하게 된다(S9).
상기 언급한 본 발명에 대한 설명은 본 발명의 특허청구범위를 제한하는 것이 아니다. 또한, 본 발명의 실시 예 이외에도, 본 발명과 동일한 기능을 수행하는 균등한 발명 역시 본 발명의 권리 범위에 속할 것은 당연할 것이다.

Claims (20)

  1. 제어 공간에 표시되고 원격의 사용자를 대신하는 서로게이트 및 현실 객체에 대응하는 가상 객체와, 상기 서로게이트 및 상기 현실 객체의 동기화 모델을 설정하는 동기화 설정부;
    상기 서로게이트 및 상기 현실 객체에 대한 명령 입력과, 상기 서로게이트가 센싱한 주변 정보의 출력을 위한 상기 제어 공간을 생성하는 제어 공간 생성부; 및
    상기 동기화 모델 및 상기 제어 공간을 패키지화한 어플리케이션을 생성하는 서비스 제공부를 포함하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 장치.
  2. 청구항 1에 있어서,
    상기 동기화 설정부는,
    기설정된 템플릿을 이용하여, 상기 가상 객체와 상기 서로게이트 및 상기 현실 객체를 정합 및 매핑하여 상기 동기화 모델을 설정하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 장치.
  3. 청구항 1에 있어서,
    상기 제어 공간 생성부는,
    멀티모달(Multimodal) 인터페이스를 이용하여 상기 가상 객체를 조작함으로써 상기 서로게이트 및 상기 현실 객체에 대한 명령을 입력하는 제어 공간을 생성하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 장치.
  4. 청구항 1에 있어서,
    상기 서로게이트는,
    주변의 영상, 음성, 온도 및 습도를 포함하는 상기 주변 정보를 센싱할 수 있는 장치와 근거리 및 장거리 통신 수단을 포함하는 이동 가능한 유형의 기기인 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 장치.
  5. 청구항 1에 있어서,
    상기 서로게이트는,
    주변의 영상, 음성, 온도 및 습도를 포함하는 상기 주변 정보를 센싱할 수 있는 장치, 근거리 및 장거리 통신 수단, 이동수단 및 3차원 영상 출력 수단을 포함하는 기기이고, 사람 형태의 3차원 영상을 상기 기기 외부에 출력하여 사람으로 보이도록 하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 장치.
  6. 청구항 1에 있어서,
    상기 서비스 제공부는,
    상기 어플리케이션을 상기 사용자와 상기 서로게이트에 각각 송신하는 기능을 포함하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 장치.
  7. 제어 공간에 존재하는 가상 객체에 대한 원격의 사용자로부터의 명령을 분석하는 명령 분석부;
    상기 가상 객체와, 상기 가상 객체와 대응하는 현실 객체를 외부로부터 수신한 동기화 모델을 이용하여 정합 및 매핑하고, 분석된 상기 명령에 따라 상기 현실 객체를 조작하기 위한 제어 명령을 생성하는 서로게이트 제어부;
    상기 제어 명령에 따라서 상기 현실 객체를 조작하는 객체 제어부; 및
    상기 제어 명령에 따라 상기 현실 객체를 조작하기 위한 물리적 동작을 제어하는 동작 제어부를 포함하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트.
  8. 청구항 7에 있어서,
    상기 제어 공간은,
    상기 원격의 사용자의 입력 장치에 생성되고, 멀티모달(Multimodal) 인터페이스를 기반으로 상기 서로게이트 제어 명령을 입력하는 공간인 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트.
  9. 청구항 7에 있어서,
    상기 명령 분석부는,
    상기 비주얼 서로게이트에 대응하는 가상 객체에 대한 상기 사용자로부터의 명령을 분석하는 기능을 더 포함하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트.
  10. 청구항 7에 있어서,
    상기 서로게이트 제어부는,
    상기 가상 객체가 상기 비주얼 서로게이트인 경우, 상기 비주얼 서로게이트에 대한 동작 제어 명령을 생성하는 기능을 포함하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트.
  11. 청구항 7에 있어서,
    상기 객체 제어부는,
    유무선 통신을 이용하여 상기 현실 객체를 원격 조작하는 기능을 포함하는 것을 특징으로 하는 비주얼 서로게이트.
  12. 청구항 7에 있어서,
    주변의 영상, 음성, 온도 및 습도를 포함하는 주변 정보를 센싱하는 센서부를 더 포함하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트.
  13. 청구항 12에 있어서,
    상기 서로게이트 제어부는,
    센싱된 상기 주변 정보를 상기 제어 공간에 표시하기 위해 출력하는 기능을 더 포함하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트.
  14. 청구항 7에 있어서,
    상기 서로게이트 제어부는,
    3차원 이미지 출력 수단을 포함하고,
    상기 3차원 이미지 출력 수단은 상기 비주얼 서로게이트의 외부에 사람 영상의 3차원 영상을 출력하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트.
  15. 청구항 7에 있어서,
    상기 동작 제어부는,
    상기 비주얼 서로게이트의 이동 수단, 다관절 암(Arm) 및 상기 암에 연결되어 있고 현실 객체를 물리적으로 조작할 수 있는 로봇 핸드(Hand)의 동작을 제어하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트.
  16. 제어 공간 생성부가 제어 공간에 원격의 사용자를 대신하는 서로게이트에 대응하는 가상 객체를 생성하는 단계;
    동기화 설정부가 상기 제어 공간에 표시되는 상기 서로게이트 및 현실 객체에 대응하는 가상 객체와, 상기 서로게이트 및 상기 현실 객체의 동기화 모델을 설정하는 단계;
    상기 제어 공간 생성부가 상기 서로게이트 및 상기 현실 객체에 대한 명령 입력과, 상기 서로게이트가 센싱한 주변 정보의 출력을 위한 제어 공간을 생성하는 단계;
    서비스 제공부가 상기 동기화 모델 및 상기 제어 공간을 패키지화한 어플리케이션을 생성하는 단계를 포함하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 방법.
  17. 청구항 16에 있어서,
    상기 동기화 모델을 설정하는 단계는,
    기설정된 템플릿을 이용하여, 상기 가상 객체와 상기 서로게이트 및 상기 현실 객체를 정합 및 매핑하여 상기 동기화 모델을 설정하는 단계인 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 제어 방법.
  18. 청구항 16에 있어서,
    상기 제어 공간을 생성하는 단계는,
    멀티모달(Multimodal) 인터페이스를 이용하여 상기 가상 객체를 조작함으로써 상기 서로게이트 및 상기 현실 객체에 대한 명령을 입력하는 제어 공간을 생성하는 단계인 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 방법.
  19. 청구항 16에 있어서,
    상기 서로게이트는
    주변의 영상, 음성, 온도 및 습도를 포함하는 상기 주변 정보를 센싱할 수 있는 장치와 근거리 및 장거리 통신 수단을 포함하는 이동 가능한 유형의 기기인 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 방법.
  20. 청구항 16에 있어서,
    상기 서로게이트는,
    주변의 영상, 음성, 온도 및 습도를 포함하는 상기 주변 정보를 센싱할 수 있는 장치, 근거리 및 장거리 통신 수단, 이동수단 및 3차원 영상 출력 수단을 포함하는 기기이고, 사람 형태의 3차원 영상을 상기 기기 외부에 출력하여 사람으로 보이도록 하는 것을 특징으로 하는 간접체험을 위한 비주얼 서로게이트 공급 방법.
KR1020100133935A 2010-12-23 2010-12-23 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법 KR20120072126A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100133935A KR20120072126A (ko) 2010-12-23 2010-12-23 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법
US13/331,670 US20120167014A1 (en) 2010-12-23 2011-12-20 Visual surrogate for indirect experience and apparatus and method for providing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100133935A KR20120072126A (ko) 2010-12-23 2010-12-23 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120072126A true KR20120072126A (ko) 2012-07-03

Family

ID=46318602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100133935A KR20120072126A (ko) 2010-12-23 2010-12-23 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법

Country Status (2)

Country Link
US (1) US20120167014A1 (ko)
KR (1) KR20120072126A (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948885B2 (en) * 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
EP3659681A1 (en) 2011-01-05 2020-06-03 Sphero, Inc. Self-propelled device with actively engaged drive system
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US20120244969A1 (en) 2011-03-25 2012-09-27 May Patents Ltd. System and Method for a Motion Sensing Device
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
KR20150012274A (ko) 2012-05-14 2015-02-03 오보틱스, 아이엔씨. 이미지 내 원형 객체 검출에 의한 계산장치 동작
US9292758B2 (en) * 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
US10223821B2 (en) * 2017-04-25 2019-03-05 Beyond Imagination Inc. Multi-user and multi-surrogate virtual encounters
US10169850B1 (en) 2017-10-05 2019-01-01 International Business Machines Corporation Filtering of real-time visual data transmitted to a remote recipient
JP7196894B2 (ja) * 2020-11-20 2022-12-27 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device

Also Published As

Publication number Publication date
US20120167014A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
KR20120072126A (ko) 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법
US11507195B2 (en) Augmented reality interaction techniques
US9696813B2 (en) Gesture interface robot
Kamel Boulos et al. Web GIS in practice X: a Microsoft Kinect natural user interface for Google Earth navigation
JP6469706B2 (ja) 深度センサを用いた構造のモデル化
CN103093658B (zh) 一种面向儿童实物交互的故事创建方法和系统
TWI540534B (zh) 虛擬導覽控制系統與方法
CA3204400A1 (en) Gestural interface with virtual control layers
US20190240573A1 (en) Method for controlling characters in virtual space
CN108885521A (zh) 跨环境共享
CN106573378A (zh) 通过机器人反馈增强编程教育的系统和方法
US20210255328A1 (en) Methods and systems of a handheld spatially aware mixed-reality projection platform
JP2009134718A5 (ko)
US10964104B2 (en) Remote monitoring and assistance techniques with volumetric three-dimensional imaging
JP2010257081A (ja) 画像処理方法及び画像処理装置
CN111951374A (zh) 房屋装修数据的处理方法、装置、电子设备及存储介质
KR20160084991A (ko) 마스터 기기, 슬레이브 기기 및 그 제어 방법
KR20190000069A (ko) 가상 체험 콘텐츠 제공 방법 및 이를 위한 장치
US20200334396A1 (en) Method and system for providing mixed reality service
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
KR101964192B1 (ko) 시뮬레이션용 스마트 테이블 장치
KR20190014895A (ko) 가상 현실 기반의 고인 맞춤형 추모 시스템
KR102010023B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
KR20200074557A (ko) 음성/동작인식 적용한 건축공간 가상현실 시스템
CN115731349A (zh) 户型图的展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid