KR101669816B1 - 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법 - Google Patents

소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법 Download PDF

Info

Publication number
KR101669816B1
KR101669816B1 KR1020150163531A KR20150163531A KR101669816B1 KR 101669816 B1 KR101669816 B1 KR 101669816B1 KR 1020150163531 A KR1020150163531 A KR 1020150163531A KR 20150163531 A KR20150163531 A KR 20150163531A KR 101669816 B1 KR101669816 B1 KR 101669816B1
Authority
KR
South Korea
Prior art keywords
data
server
client
sensors
data processing
Prior art date
Application number
KR1020150163531A
Other languages
English (en)
Inventor
조경은
여동현
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020150163531A priority Critical patent/KR101669816B1/ko
Application granted granted Critical
Publication of KR101669816B1 publication Critical patent/KR101669816B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 관한 것으로, 클라이언트와 서버로 구성되는 소환현실 공간을 구축하기 위한 데이터 변환방법에 있어서 상기 클라이언트가 복수 개의 센서를 이용하여 사용자의 동작, 위치, 음성에 대한 데이터를 각각 측정하는 단계와, 상기 클라이언트가 상기 측정된 데이터를 기설정된 센서 규약에 따라 제 1 데이터로 변환하여 서버로 전송하는 단계와, 상기 클라이언트가 상기 서버로부터 상기 제 1 데이터에 대한 데이터 처리가 수행된 결과값인 제 2 데이터를 수신하는 단계 및 상기 클라이언트가 상기 제 2 데이터를 이용하여 동작 수행 장치를 제어하는 단계를 포함하되, 상기 제 1 데이터는 상기 서버에서 수행될 데이터 처리의 종류를 나타내는 목적 정보를 포함하는 것을 특징으로 한다.
상기와 같이 구성된 본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 의하면, 소환현실 공간에서 측정되는 데이터를 그 목적에 맞게 식별할 수 있으며, 데이터 처리 후 사용자의 소환현실 공간 내 동작 수행 장치가 인식 결과를 식별할 수 있다.

Description

소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법 {DATA CONVERSION METHOD FOR CONSTRUCTING OF SPACE THAT INTERACT WIHT INVOKED REALITY}
본 발명은 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 관한 것으로, 더욱 상세하게는 소환현실이 적용되는 공간에서 측정된 데이터를 이용하여 상기 소환현실이 적용되는 공간을 제어하는 방법에 관한 것이다.
ICT(Information and Communications Technologies) 기술의 급진적인 발전과 함께 디바이스를 제어하는 멀티모달 기반 실감형 인터페이스 기술(Tangible Interface Technologies based on Multimodal)이 최근 주목을 받고 있다.
특히 소환현실 기술은 실세계 공간에서 사람의 제스처에 따라 가상 공간의 객체들을 실세계에 프로젝션하여 마치 스마트폰이나 PC를 사용하여 서비스를 받는 것과 같은 상황을 현실에 재현해 주는 기술로, 비착용형이며 실세계 사람과의 인터랙션으로 서비스되므로 사용자에게 몰입감을 제공하며 현실감과 편리함을 극대화 시킬 수 있다.
이러한 소환현실 기술은 사용자의 직관적인 상호작용이 가능하도록 인터랙티브 게임, 가상현실 공간 제어, 스마트홈 제어 등에 소환현실 관련 기술을 응용한 다양한 사례가 있으며, 이 외에도 다양한 분야에 접목할 수 있는 가능성을 지닌 멀티모달 기술이다.
소환현실 기술에 활용되는 대표적인 장비로는 Microsoft Kinect, Leap motion 등의 3D 센서와 2D 카메라, 음성 인식 장치 등이 있으며, 이러한 장비들은 센싱 시 다양한 타입의 데이터를 생성한다.
상기와 같은 소환현실 공간에서 활용되는 인식 센서는 고용량의 데이터를 실시간으로 생성하며, 인식 시 기계학습 알고리즘에 의해 처리된다. 기존의 단일 컴퓨팅 처리 환경은 이러한 다양한 센서에서 발생하는 고용량 센싱 데이터들을 동시에 처리하기에 성능 면에서 부적합하다는 문제점이 있다.
따라서 소환현실 공간에서의 데이터 처리는 일반적으로 분산 또는 병렬 처리 기술을 활용한 별도의 처리 방법이 필요하다.
대한민국 공개특허공보 제10-2013-0000025호 (2013년 01월 02일)
본 발명은 상술한 종래기술의 문제점을 극복하기 위한 것으로, 소환현실 공간에서 측정되는 데이터를 그 목적에 맞게 식별할 수 있는 방법과 데이터 처리 후 사용자의 소환현실 공간 내 동작 수행 장치가 인식 결과를 식별하여 소환현실 효과를 구현할 수 있는 방법을 제공하는 것에 그 목적이 있다.
또한 본 발명은 센서로부터 측정된 데이터를 클라우드 시스템으로 구성된 서버에서 대용량 데이터를 분산 처리함으로써, 클라이언트의 처리 비중이 감소되고 대용량 데이터를 처리하는 속도가 향상되는 방법을 제공하는 것에 그 목적이 있다.
상기 목적을 달성하기 위해 본 발명은 클라이언트와 서버로 구성되는 소환현실 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 클라이언트가 복수 개의 센서를 이용하여 사용자의 동작, 위치, 음성에 대한 데이터를 각각 측정하는 단계와, 상기 클라이언트가 상기 측정된 데이터를 기설정된 센서 규약에 따라 제 1 데이터로 변환하여 서버로 전송하는 단계와, 상기 클라이언트가 상기 서버로부터 상기 제 1 데이터에 대한 데이터 처리가 수행된 결과값인 제 2 데이터를 수신하는 단계 및 상기 클라이언트가 상기 제 2 데이터를 이용하여 동작 수행 장치를 제어하는 단계를 포함하되, 상기 제 1 데이터는 상기 서버에서 수행될 데이터 처리의 종류를 나타내는 목적 정보를 포함하고, 상기 서버는 클라우드 시스템으로 구현되고, 상기 제1 데이터에 대한 데이터 처리를 수행 시, 상기 제1 데이터에 포함된 상기 목적 정보를 이용하여 상기 클라우드 시스템 내에서 데이터 처리를 수행하기로 설정된 장치를 탐색하고, 탐색된 장치에 작업을 할당하여 상기 제1 데이터에 대한 데이터 처리를 수행하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 데이터를 각각 측정하는 단계는 상기 복수 개의 센서가 이기종 센서로 구성되어 상기 소환현실 공간에서 수행될 동작에 대한 서로 다른 데이터를 측정하는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 제 1 데이터로 변환하여 서버로 전송하는 단계는 상기 복수 개의 센서로부터 측정된 각각의 데이터를 수집하는 단계와, 상기 수집된 데이터를 기설정된 센서 규약에 따라 제 1 데이터로 변환하는 단계 및 상기 제 1 데이터를 상기 서버로 전송함으로써, 상기 서버로 하여금 상기 제 1 데이터에 대한 데이터 처리를 수행하도록 유도하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 제 1 데이터로 변환하여 서버로 전송하는 단계는 상기 복수 개의 센서 각각에 대한 센서 IP 주소, 센서 종류, 센서 번호, 목적 정보를 포함하는 상기 기설정된 센서 규약을 데이터베이스에 저장하고, 상기 데이터베이스에서 상기 기설정된 센서 규약을 참조하여 상기 측정된 데이터를 상기 제 1 데이터로 변환하는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 제 1 데이터는 클라이언트 IP 주소, 센서의 종류, 센서 번호, 측정된 원시 데이터를 포함하는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 제 2 데이터는 목적지 클라이언트 IP 주소, 센서의 종류, 센서 번호, 측정된 데이터의 목적, 인식 성공 여부, 인식 결과값 및 에러 메시지를 포함하는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 동작 수행 장치를 제어하는 단계는 상기 제 2 데이터에 포함된 인식 성공 여부가 성공인 경우에는 상기 동작 수행 장치가 기설정된 동작을 수행함으로써 소환현실 효과를 실행하고, 상기 제 2 데이터에 포함된 인식 성공 여부가 실패인 경우에는 상기 제 2 데이터의 에러 메시지를 디스플레이하는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 동작 수행 장치를 제어하는 단계는 상기 복수 개의 센서 중 하나의 동작 수행에 필요한 적어도 두 개 이상의 센서들을 하나의 그룹으로 설정하고, 설정된 그룹의 센서들로부터 측정된 데이터를 이용하여 하나의 동작 수행 장치를 제어하는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 제 2 데이터를 수신하는 단계는 상기 설정된 그룹의 센서들로부터 측정된 데이터 중 누락된 값이 존재하는 경우 상기 설정된 그룹의 센서들로부터 측정된 데이터에 대한 상기 제 2 데이터에 에러 메시지가 포함되는 것을 특징으로 한다.
또한 본 발명은 클라이언트와 서버로 구성되는 소환현실 공간을 구축하기 위한 데이터 변환 방법에 있어서, 상기 서버가 상기 클라이언트로부터 상기 클라이언트에 포함된 복수 개의 센서로 측정된 사용자의 동작, 위치, 음성에 대한 데이터를 기설정된 센서 규약에 따라 변환시킨 제 1 데이터를 수신하는 단계와, 상기 서버가 상기 제 1 데이터에 대한 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계 및 상기 서버가 제 2 데이터를 상기 클라이언트로 전송함으로써, 상기 클라이언트가 동작 수행 장치를 제어하도록 유도하는 단계를 포함하되, 상기 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계는 상기 제 1 데이터에 포함된 데이터 처리 종류를 나타내는 목적 정보를 이용하여 데이터 처리를 수행하고, 상기 서버는 클라우드 시스템으로 구현되고, 상기 제1 데이터에 대한 데이터 처리를 수행 시, 상기 제1 데이터에 포함된 상기 목적 정보를 이용하여 상기 클라우드 시스템 내에서 데이터 처리를 수행하기로 설정된 장치를 탐색하고, 탐색된 장치에 작업을 할당하여 상기 제1 데이터에 대한 데이터 처리를 수행하는 단계를 더 포함하는는 것을 특징으로 한다.
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계는 상기 서버가 상기 제 1 데이터에 포함된 목적 정보를 이용하여 상기 제 1 데이터가 수행될 데이터 처리의 종류를 식별하는 단계와, 상기 서버가 상기 제 1 데이터를 식별된 종류에 따라 데이터 처리를 수행하는 단계 및 상기 서버가 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계를 포함하는 것을 특징으로 한다.
삭제
본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 있어서, 상기 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계는 상기 서버가 상기 설정된 그룹의 데이터에 대해서 데이터 처리를 수행한 결과 누락된 값이 존재하는 경우 상기 제 2 데이터로 변환 시 에러 메시지를 포함시키는 것을 특징으로 한다.
상기와 같이 구성된 본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 의하면, 소환현실 공간에서 측정되는 데이터를 그 목적에 맞게 식별할 수 있으며, 데이터 처리 후 사용자의 소환현실 공간 내 동작 수행 장치가 인식 결과를 식별하여 소환현실 효과를 구현할 수 있다.
또한 본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 의하면, 센서로부터 측정된 데이터를 클라우드 시스템으로 구성된 서버에서 대용량 데이터를 분산 처리함으로써, 클라이언트의 처리 비중이 감소되고 대용량 데이터를 처리하는 속도가 향상되는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환장치를 나타내는 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 복수 개의 센서가 설치된 소환환경 공간을 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 측정된 데이터를 수집하여 큐에 저장하는 과정을 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 클라이언트의 데이터베이스에 저장되는 센서 규약을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 측정된 데이터를 제 1 데이터로 변환하는 과정을 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 제 1 데이터의 구조를 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 클라이언트에서 서버로 제 1 데이터를 전송하는 과정을 나타내는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 데이터 식별 과정을 나타내는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 데이터 처리 수행 및 제 2 데이터 변환 과정을 나타내는 도면이다.
도 11은 본 발명의 일 실시 예에 따른 제 2 데이터의 구조를 나타내는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 센서가 추가된 사용자 위치 추적 결과 데이터를 나타내는 도면이다.
본 발명은 다양한 변형 및 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시 예에 대해서 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환장치를 나타내는 구성도이다. 도 1을 참조하여 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환장치의 각 구성에 대해서 설명하겠다. 먼저, 소환현실 공간을 구축하기 위한 데이터 변환장치는 클라이언트(100)와 서버(200)로 구성된다.
여기서 클라이언트(100)는 센서부(110), 데이터 수집부(120), 제 1 데이터 변환부(130), 데이터베이스(140), 제 1 데이터 전송부(150), 제 2 데이터 수신부(160), 제어부(170)을 포함하여 구성된다.
또한, 서버(200)는 제 1 데이터 수신부(210), 데이터 식별부(220), 데이터 처리부(230), 제 2 데이터 변환부(240), 제 2 데이터 전송부(250)을 포함하여 구성된다.
구체적으로 클라이언트(100)에 구성을 먼저 살펴보면, 센서부(110)는 복수 개의 센서로 구성되어 사용자의 동작, 위치, 음성에 대한 데이터를 각각 측정한다. 여기서 복수 개의 센서는 소환현실 공간에서 수행될 동작에 대한 서로 다른 데이터를 측정하는 이기종 센서로 구성될 수 있다.
다음으로 데이터 수집부(120)는 센서부(110)에 포함된 복수 개의 센서로부터 측정된 각각의 데이터를 수집하고, 제 1 데이터 변환부(130)는 수집부(120)에서 수집한 데이터를 기설정된 센서 규약에 따라 제 1 데이터로 변환한다.
여기서 기설정된 센서 규약은 센서부(110)에 포함된 복수 개의 센서 각각에 대한 센서 IP 주소, 센서 종류, 센서 번호를 포함하며, 이러한 기설정된 센서 규약은 데이터베이스(140)에 미리 저장하고 추후 제 1 데이터 변환시 저장된 센서 규약을 참조하여 수집된 데이터를 제 1 데이터로 변환할 수 있다.
더불어 제 1 데이터는 클라이언트 IP 주소, 센서의 종류, 센서 번호, 측정된 원시 데이터, 목적 정보를 포함하되, 목적 정보는 서버(200)에서 수행될 데이터 처리의 종류를 나타내는 정보를 의미한다.
다음으로 제 1 데이터 전송부(150)는 제 1 데이터를 서버(200)의 제 1 데이터 수신부(210)로 전송하고, 제 2 데이터 수신부(160)는 서버(200)로부터 제 2 데이터를 수신하며, 제어부(170)는 수신된 제 2 데이터를 이용하여 동작 수행 장치를 제어한다.
여기서 제어부(170)는 제 2 데이터에 포함된 목적지 클라이언트 IP 주소, 센서의 종류, 센서 번호, 측정된 데이터의 목적, 인식 성공 여부, 인식 결과값 및 에러 메시지를 이용하여 동작 수행 장치를 제어한다.
다음으로 서버(200)에 대해서 살펴보겠다. 제 1 데이터 수신부(210)는 클라이언트(100)로부터 제 1 데이터를 수신하고, 데이터 식별부(220)는 수신한 제 1 데이터에 대해서 어떤 데이터 처리가 필요한지 식별한다.
여기서 데이터 식별부(220)는 제 1 데이터에 포함된 목적 정보를 이용하여 어떤 데이터 처리가 필요한지를 식별할 수 있으며, 목적 정보가 포함되지 않은 경우에는 제 1 데이터의 센서의 종류와 센서 번호를 이용하여 어떤 데이터 처리가 필요한지를 식별할 수 있다.
다음으로 데이터 처리부(230)는 데이터 식별부(220)에서 식별된 데이터의 종류에 따라서 데이터 처리를 수행한다.
즉, 데이터 식별부(220)에서 식별된 데이터의 종류가 제스처 인식과 관련된 데이터는 데이터 처리부(230)에 포함된 제스처 인식 처리부에서 데이터를 분석하여 제스처를 인식할 수 있으며, 데이터 식별부(220)에서 식별된 데이터의 종류가 동작 인식과 관련된 데이터는 데이터 처리부(230)에 포함된 동작 인식 처리부에서 데이터를 분석하여 동작을 인식할 수 있다.
또한, 데이터 식별부(220)에서 식별된 데이터의 종류가 음성 인식과 관련된 데이터는 데이터 처리부(230)에 포함된 음성 인식 처리부에서 데이터를 분석하여 음성을 인식할 수 있다.
다음으로 제 2 데이터 변환부(240)는 데이터 처리부(230)에서 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하고, 제 2 데이터 전송부(250)는 제 2 데이터 변환부(240)에서 변환된 제 2 데이터를 클라이언트(100)의 제 2 데이터 수신부(160)로 전송한다.
이상과 같이 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환장치의 각 구성에 대해서 설명하였다. 다음으로는 도 2를 참조하여 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 대해서 자세하게 설명하겠다.
도 2는 본 발명의 바람직한 실시 예에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법을 나타내는 흐름도이다. 도 2를 참조하면 먼저 클라이언트(100)의 센서부에 포함된 복수 개의 센서를 이용하여 사용자의 동작, 위치, 음성에 대한 데이터를 각각 측정한다(S10).
여기서 복수 개의 센서는 소환현실 공간에서 수행될 동작에 대한 서로 다른 데이터를 측정하는 이기종 센서로 구성될 수 있으며, 복수 개의 센서 중 하나의 동작 수행에 필요한 적어도 두 개 이상의 센서들을 하나의 그룹으로 설정될 수도 있다.
구체적으로 센서의 설치 및 데이터 측정에 대해서는 도 3을 참조하여 설명하겠다. 도 3 은 본 발명의 일 실시 예에 따른 복수 개의 센서가 설치된 소환환경 공간을 나타내는 도면이다. 도 3을 참조하면 사용자의 위치 추적과 제스처 인식을 위한 3개의 Kinect 센서(111, 112, 113)와 사용자의 제스처 인식을 위한 Leap motion 센서(114) 및 사용자의 음성 인식을 위한 음성 입력 장치(115)가 설치되어 있다.
여기서 3개의 Kinect 센서(111, 112, 113)는 각각 사용자의 제스처를 인식하여 향후 서로 다른 동작 수행 장치를 제어함으로써 소환공간 효과를 구현할 수 있으며, 3개의 Kinect 센서(111, 112, 113)를 하나의 그룹으로 설정하고 3개의 Kinect 센서(111, 112, 113)로부터 측정된 데이터를 그룹으로 설정된 데이터로 인식하여 향후 하나의 동작 수행 장치를 제어하여 소환현실 효과를 구현할 수 있다.
또한, Leap motion 센서(114)는 사용자의 손동작을 측정하여 향후 손동작과 관련된 동작 수행 장치를 제어함으로써 소환현실 효과를 구현할 수 있으며, 음성 입력 장치(115)는 사용자의 음성을 인식하여 음성 인식을 통해 동작 수행 장치를 제어할 수 있다.
여기서 음성 인식과 제스처 인식 등의 서로 다른 센서로 측정한 데이터를 하나의 그룹으로 설정하고, 설정된 그룹의 제스처와 음성의 결합된 데이터를 이용하여 하나의 동작 제어 장치를 제어함으로써, 소환현실 효과를 구현할 수 있다.
다시 도 2로 돌아와 클라이언트(100)는 복수 개의 센서를 이용하여 사용자의 데이터 측정 후 측정된 데이터를 수집한다(S20). 보다 구체적으로 복수 개의 센서로부터 측정된 데이터를 수집하는 과정에 대해서는 도 4를 참조하여 설명하겠다.
도 4는 본 발명의 일 실시 예에 따른 측정된 데이터를 수집하여 큐에 저장하는 과정을 나타내는 도면이다. 도 4를 참조하면, 클라이언트의 데이터 수집부는 센서부에 포함된 복수 개의 센서들이 생성하는 데이터를 실시간으로 수신하여 데이터 변환을 위한 큐(Queue)에 저장한다. 예를 들면 도 3에 설치된 센서들로부터 각각의 데이터를 수집하는데 각각의 센서들은 센서의 종류 이외에 센서 번호가 부여되어 같은 종류의 센서도 서로 다른 데이터로 분리할 수 있으며, 큐에는 각각의 센서의 IP를 기준으로 분리하여 저장할 수도 있다.
다시 도 2로 돌아와 클라이언트(100)는 수집된 데이터를 기설정된 센서 규약에 따라 제 1 데이터로 변환한다(S30). 여기서 기설정된 센서 규약은 데이터베이스에 저장된 데이터를 의미하며, 클라이언트(100)는 데이터베이스에 저장된 센서 규약을 참조하여 사용자로부터 측정된 데이터를 제 1 데이터로 변환할 수 있다. 구체적으로 데이터베이스에 저장되는 센서 규약은 도 5를 참조하여 설명하겠다.
도 5는 본 발명의 일 실시 예에 따른 클라이언트의 데이터베이스에 저장되는 센서 규약을 나타내는 도면이다. 도 5를 참조하면 데이터베이스에 저장되는 센서 규약에는 소환현실 공간에 설치된 각각의 센서들에 대한 센서 IP 주소, 센서 종류, 센서 번호, 목적 정보를 포함한다.
도 5와 같이 데이터베이스에 저장된 센서 규약을 이용하여 클라이언트가 수집한 데이터를 제 1 데이터로 변환하는 과정은 도 6을 참조하여 설명하겠다.
도 6은 본 발명의 일 실시 예에 따른 측정된 데이터를 제 1 데이터로 변환하는 과정을 나타내는 도면이다. 도 6을 참조하면, 데이터 수집부의 각 큐에 저장된 데이터에 대해서 도 5의 센서 규약을 참조하여 제 1 데이터로 변환한다. 제 1 데이터로 변환하는 과정은 먼저 각각의 큐에 저장된 센서의 IP 정보를 통해 클라이언트 내 데이터베이스를 참조하여 센서의 종류와 센서 번호 및 목적 정보 등의 정보를 파악한다.
정보 파악한 후 큐에 저장된 데이터 스크림을 각각 일정 크기로 분할하고, 분할된 데이터는 서버에서 식별을 위해 구조체 형태로 변환되는데 변환된 제 1 데이터의 구조체는 도 7를 참조하여 설명하겠다.
도 7은 본 발명의 일 실시 예에 따른 제 1 데이터의 구조를 나타내는 도면이다. 도 7을 참조하면 변환된 제 1 데이터는 현재 클라이언트 IP 주소, 센서의 종류, 센서 번호, 분할된 데이터를 포함한다. 또한 제 1 데이터에는 서버에서 수행될 데이터 처리의 종류를 나타내는 목적 정보를 포함한다.
다시 도 2로 돌아와 클라이언트(100)는 변환된 제 1 데이터를 서버(200)로 전송한다. 구체적으로 도 8과 같이 클라이언트의 제 1 데이터 전송부에서 일정한 크기로 분할된 제 1 데이터를 서버로 전송한다(S40).
클라이언트에서 전송된 제 1 데이터는 서버(200)의 제 1 데이터 수신부에서 수신하여 데이터 처리부에서 어떤 종류로 데이터 처리를 수행할지 데이터 식별을 수행한다(S50). 구체적으로 데이터 식별을 수행하는 과정은 도 9를 참조하여 설명하겠다.
도 9는 본 발명의 일 실시 예에 따른 데이터 식별 과정을 나타내는 도면이다. 도 9를 참조하면, 서버의 데이터 식별부는 데이터 수신부의 제 1 데이터에 대해서 목적지를 결정한다. 즉 제 1 데이터가 데이터 처리부의 제스처 인식, 위치 인식, 음성 인식 등 어떤 종류로 처리되는 데이터인지를 식별한다. 예를 들면 도 9에서는 현재 식별된 데이터가 Kinect 센서 데이터이며, 사용자 위치 추적을 위한 데이터이므로 Kinect 위치 추적 데이터를 처리하는 데이터 처리부로 보내지며, 각각의 데이터 처리부에서 제 1 데이터를 이용하여 인식을 수행한다.
여기서 데이터 식별부는 제 1 데이터에 저장된 센서의 종류와 센서 번호 및 목적 정보 등을 이용하여 제 1 데이터를 식별할 수 있으며, 도면에서는 한 개의 데이터에 대해서만 도식화하였으나, 다중 데이터에 대해 병렬적으로 식별 처리가 가능하다.
다시 도 2로 돌아와 서버는 식별이 완료된 제 1 데이터에 대해서 데이터 처리를 수행하고(S60), 데이터 처리 수행 결과값을 제 2 데이터로 변환한다(S70). 구체적으로 데이터 처리 수행 및 제 2 데이터 변환 과정에 대해서는 도 10을 참조하여 설명하겠다.
도 10은 본 발명의 일 실시 예에 따른 데이터 처리 수행 및 제 2 데이터 변환 과정을 나타내는 도면이다. 도 10을 참조하면, 서버의 데이터 처리부는 식별된 제 1 데이터에 대해서 데이터 처리를 수행한다. 즉 식별된 종류에 따라 제스처 인식 처리부, 위치 인식 처리부, 음성 인식 처리부 등의 각각의 목적에 따라 데이터에 대한 인식을 수행한다.
데이터 처리가 완료되면, 데이터 처리를 수행한 결과값을 제 2 데이터 변환부에서 제 2 데이터로 변환한다. 즉, 데이터 처리부에서 적합한 인식이 수행되면 처리 결과를 리턴하고, 클라이언트로 전송하기 위해 제 2 데이터로 변환한다.
여기서 제 2 데이터는 한 종류의 센서로 다중 인식을 수행하였을 경우 클라이언트가 어떠한 인식의 결과 데이터인지 식별하고, 인식 결과에 성공 여부를 제공하기 위한 것으로 구체적인 제 2 데이터의 구조는 도 11을 같다. 즉 제 2 데이터는 목적지 클라이언트 IP 주소, 센서의 종류, 센서 번호, 측정된 데이터의 목적, 인식 성공 여부, 인식 결과값 및 에러 메시지를 포함한다.
더불어 제 2 데이터에는 클라이언트의 동작 수행 장치가 한 대의 센서에서 생성된 데이터가 아닌 다수의 센서로부터 생성된 데이터가 필요한 경우가 있다. 특히 사용자의 위치 추적과 같은 경우에는 복수 개의 센서로부터 생성된 데이터를 통해 인식을 수행한다.
여기서 센서의 수는 제 2 데이터의 센서 번호를 이용하여 파악하며, 만약 수신한 제 2 데이터의 센서 번호가 일치하지 않거나 누락된 값이 존재하면 오류를 반환할 수 있다. 즉, 도 10과 같이 인식 결과에 대한 예를 보면, 인식이 성공적인 경우에는 제 2 데이터의 인식 성공 여부가 'true'로 나타나며, 인식이 실패한 경우에는 제 2 데이터의 인식 성공 여부가 'false'로 나타나고 에러 메시지에는 '1개의 장비 부족'이 표시된다.
다시 도 2로 돌아와 서버(200)는 데이터 처리를 수행하고 결과값을 제 2 데이터로 변환한 후 클라이언트(100)로 변환된 제 2 데이터를 전송하고(S80), 클라이언트(100)는 수신한 제 2 데이터를 이용하여 동작 수행 장치를 제어한다(S90).
보다 구체적으로 서버(200)는 제 2 데이터 전송부에서 제 2 데이터의 목적지 클라이언트 IP를 참조하여 해당 클라이언트(100)에 변환된 제 2 데이터를 전송한다. 또한, 클라이언트(100)는 제 2 데이터 수신부에서 서버(200)로부터 전송된 제 2 데이터를 수신하고 제어부에서 제 2 데이터를 분석한다.
클라이언트(100)의 제어부에서는 제 2 데이터를 분석한 결과 인식이 성공적으로 수행된 경우 제어부에 포함된 동작 수행 장치를 제어하여 소환현실 효과를 실행한다. 만약 인식 과정에서 오류가 있는 경우에는 오류에 대한 에러 메시지를 사용자에게 디스플레이한다. 이 경우 사용자는 메시지를 확인하여 센서의 추가 설치 또는 제거를 함으로써 문제를 해결할 수 있다.
여기서 센서의 추가 설치가 필요한 경우를 설명하면, 예를 들어 사용자 위치 추적 기술 활용을 위해 한 대의 Kinect 센서를 추가 설치할 경우 센서를 설치하고 클라이언트의 데이터베이스에 센서의 IP 주소와 센서 종류 및 센서 번호를 저장한다. 이후 해당 센서로부터 측정된 데이터에 대해서 데이터 처리를 수행하여 클라이언트에서 해당 센서의 대한 데이터 처리 결과값인 제 2 데이터를 수신한 경우에는 도 12와 같이 사용자 위치 추적의 결과값을 수신함으로써, 도 10에서 센서가 부족하여 인식이 실패한 과정을 센서 추가를 통해 인식을 성공시켜 소환현실 효과를 구현할 수 있다.
또한, 상기와 같이 구성된 서버는 클라우드 시스템으로 구현되어 데이터 처리를 수행 시 제 1 데이터에 포함된 목적 정보를 이용하여 클라우드 시스템 내에서 데이터 처리를 수행하기 적합한 장치를 탐색하고, 탐색된 장치에 작업을 할당하여 제 1 데이터에 대한 데이터 처리를 수행할 수 있다. 즉, 클라우드 시스템 내에서 분산 처리를 수행할 수 있다.
이상으로, 본 발명의 바람직한 실시 예에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 대해서 설명하였다.
상기와 같이 구성된 본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 의하면, 소환현실 공간에서 측정되는 데이터를 그 목적에 맞게 식별할 수 있으며, 데이터 처리 후 사용자의 소환현실 공간 내 동작 수행 장치가 인식 결과를 식별하여 소환현실 효과를 구현할 수 있다.
또한 본 발명에 따른 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법에 의하면, 센서로부터 측정된 데이터를 클라우드 시스템으로 구성된 서버에서 대용량 데이터를 분산 처리함으로써, 클라이언트의 처리 비중이 감소되고 대용량 데이터를 처리하는 속도가 향상되는 효과가 있다.
본 명세서에 기재된 본 발명의 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해해야 한다. 따라서 본 발명은 상술한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.
100: 클라이언트 110: 센서부
120: 데이터 수신부 130: 제 1 데이터 변환부
140: 데이터베이스 150: 제 1 데이터 전송부
160: 제 2 데이터 수신부 170: 제어부
200: 서버 210: 제 1 데이터 수신부
220: 데이터 식별부 230: 데이터 처리부
240: 제 2 데이터 변환부 250: 제 2 데이터 전송부

Claims (15)

  1. 클라이언트와 서버로 구성되는 소환현실 공간을 구축하기 위한 데이터 변환방법에 있어서,
    상기 클라이언트가 복수 개의 센서를 이용하여 사용자의 동작, 위치, 음성에 대한 데이터를 각각 측정하는 단계;
    상기 클라이언트가 상기 측정된 데이터를 기설정된 센서 규약에 따라 제 1 데이터로 변환하여 서버로 전송하는 단계;
    상기 클라이언트가 상기 서버로부터 상기 제 1 데이터에 대한 데이터 처리가 수행된 결과값인 제 2 데이터를 수신하는 단계; 및
    상기 클라이언트가 상기 제 2 데이터를 이용하여 동작 수행 장치를 제어하는 단계;를 포함하되,
    상기 제 1 데이터는,
    상기 서버에서 수행될 데이터 처리의 종류를 나타내는 목적 정보를 포함하고,
    상기 서버는 클라우드 시스템으로 구현되고, 상기 제1 데이터에 대한 데이터 처리를 수행 시, 상기 제1 데이터에 포함된 상기 목적 정보를 이용하여 상기 클라우드 시스템 내에서 데이터 처리를 수행하기로 설정된 장치를 탐색하고, 탐색된 장치에 작업을 할당하여 상기 제1 데이터에 대한 데이터 처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  2. 제 1 항에 있어서,
    상기 데이터를 각각 측정하는 단계는,
    상기 복수 개의 센서가 이기종 센서로 구성되어 상기 소환현실 공간에서 수행될 동작에 대한 서로 다른 데이터를 측정하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  3. 제 1 항에 있어서,
    상기 제 1 데이터로 변환하여 서버로 전송하는 단계는,
    상기 복수 개의 센서로부터 측정된 각각의 데이터를 수집하는 단계;
    상기 수집된 데이터를 기설정된 센서 규약에 따라 제 1 데이터로 변환하는 단계; 및
    상기 제 1 데이터를 상기 서버로 전송하므로써, 상기 서버로 하여금 상기 제 1 데이터에 대한 데이터 처리를 수행하도록 유도하는 단계;를 포함하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  4. 제 1 항에 있어서,
    상기 제 1 데이터로 변환하여 서버로 전송하는 단계는,
    상기 복수 개의 센서 각각에 대한 센서 IP 주소, 센서 종류, 센서 번호, 목적 정보를 포함하는 상기 기설정된 센서 규약을 데이터베이스에 저장하고, 상기 데이터베이스에서 상기 기설정된 센서 규약을 참조하여 상기 측정된 데이터를 상기 제 1 데이터로 변환하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  5. 제 1 항에 있어서,
    상기 제 1 데이터는,
    클라이언트 IP 주소, 센서의 종류, 센서 번호, 측정된 원시 데이터를 포함하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  6. 제 1 항에 있어서,
    상기 제 2 데이터는,
    목적지 클라이언트 IP 주소, 센서의 종류, 센서 번호, 측정된 데이터의 목적, 인식 성공 여부, 인식 결과값 및 에러 메시지를 포함하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  7. 제 6 항에 있어서,
    상기 동작 수행 장치를 제어하는 단계는,
    상기 제 2 데이터에 포함된 인식 성공 여부가 성공인 경우에는 상기 동작 수행 장치가 기설정된 동작을 수행함으로써 소환현실 효과를 실행하고,
    상기 제 2 데이터에 포함된 인식 성공 여부가 실패인 경우에는 상기 제 2 데이터의 에러 메시지를 디스플레이하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  8. 제 1 항에 있어서,
    상기 동작 수행 장치를 제어하는 단계는,
    상기 복수 개의 센서 중 하나의 동작 수행에 필요한 적어도 두 개 이상의 센서들을 하나의 그룹으로 설정하고,
    설정된 그룹의 센서들로부터 측정된 데이터를 이용하여 하나의 동작 수행 장치를 제어하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  9. 제 8 항에 있어서,
    상기 제 2 데이터를 수신하는 단계는,
    상기 설정된 그룹의 센서들로부터 측정된 데이터 중 누락된 값이 존재하는 경우 상기 설정된 그룹의 센서들로부터 측정된 데이터에 대한 상기 제 2 데이터에 에러 메시지가 포함되는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  10. 클라이언트와 서버로 구성되는 소환현실 공간을 구축하기 위한 데이터 변환 방법에 있어서,
    상기 서버가 상기 클라이언트로부터 상기 클라이언트에 포함된 복수 개의 센서로 측정된 사용자의 동작, 위치, 음성에 대한 데이터를 기설정된 센서 규약에 따라 변환시킨 제 1 데이터를 수신하는 단계;
    상기 서버가 상기 제 1 데이터에 대한 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계; 및
    상기 서버가 제 2 데이터를 상기 클라이언트로 전송함으로써, 상기 클라이언트가 동작 수행 장치를 제어하도록 유도하는 단계;를 포함하되,
    상기 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계는,
    상기 제 1 데이터에 포함된 데이터 처리 종류를 나타내는 목적 정보를 이용하여 데이터 처리를 수행하고,
    상기 서버는 클라우드 시스템으로 구현되고, 상기 제 1 데이터에 대한 데이터 처리를 수행 시, 상기 제1 데이터에 포함된 상기 목적 정보를 이용하여 상기 클라우드 시스템 내에서 데이터 처리를 수행하기로 설정된 장치를 탐색하고, 탐색된 장치에 작업을 할당하여 상기 제1 데이터에 대한 데이터 처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  11. 제 10 항에 있어서,
    상기 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계는,
    상기 서버가 상기 제 1 데이터에 포함된 목적 정보를 이용하여 상기 제 1 데이터가 수행될 데이터 처리의 종류를 식별하는 단계;
    상기 서버가 상기 제 1 데이터를 식별된 종류에 따라 데이터 처리를 수행하는 단계; 및
    상기 서버가 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계;를 포함하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  12. 삭제
  13. 제 10 항에 있어서,
    상기 클라이언트가 동작 수행 장치를 제어하도록 유도하는 단계는,
    상기 서버가 상기 클라이언트에 포함된 복수 개의 센서 중 하나의 동작 수행에 필요한 적어도 두 개 이상의 센서로 설정된 그룹의 데이터에 대해서 데이터 처리를 수행하고,
    상기 데이터 처리를 수행한 결과값인 상기 제 2 데이터를 상기 클라이언트로 전송함으로써, 상기 클라이언트가 하나의 동작 수행 장치를 제어하도록 유도하는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  14. 제 13 항에 있어서,
    상기 데이터 처리를 수행한 결과값을 제 2 데이터로 변환하는 단계는,
    상기 서버가 상기 설정된 그룹의 데이터에 대해서 데이터 처리를 수행한 결과 누락된 값이 존재하는 경우 상기 제 2 데이터로 변환 시 에러 메시지를 포함시키는 것을 특징으로 하는 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법.
  15. 삭제
KR1020150163531A 2015-11-20 2015-11-20 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법 KR101669816B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163531A KR101669816B1 (ko) 2015-11-20 2015-11-20 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163531A KR101669816B1 (ko) 2015-11-20 2015-11-20 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법

Publications (1)

Publication Number Publication Date
KR101669816B1 true KR101669816B1 (ko) 2016-10-27

Family

ID=57247240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163531A KR101669816B1 (ko) 2015-11-20 2015-11-20 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법

Country Status (1)

Country Link
KR (1) KR101669816B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130000025A (ko) 2011-06-22 2013-01-02 주식회사 브레인넷 유비쿼터스 센서 네트워크 시스템에서 이기종 장비를 통합 관리하는 방법
KR20130120705A (ko) * 2012-04-26 2013-11-05 주식회사 플러 인터렉티브 전시환경을 위한 통합 미디어 프레임 제공장치
KR101368470B1 (ko) * 2007-06-29 2014-03-12 주식회사 케이티 원격지 센서에서 측정된 대용량 데이터 처리 시스템 및 그방법
KR20140068855A (ko) * 2011-06-23 2014-06-09 오블롱 인더스트리즈, 인크 공간 입력 장치를 위한 적응적 추적 시스템
KR20140105812A (ko) * 2011-12-05 2014-09-02 알까뗄 루슨트 제스쳐 제어 방법, 제스쳐 서버 장치 및 센서 입력 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101368470B1 (ko) * 2007-06-29 2014-03-12 주식회사 케이티 원격지 센서에서 측정된 대용량 데이터 처리 시스템 및 그방법
KR20130000025A (ko) 2011-06-22 2013-01-02 주식회사 브레인넷 유비쿼터스 센서 네트워크 시스템에서 이기종 장비를 통합 관리하는 방법
KR20140068855A (ko) * 2011-06-23 2014-06-09 오블롱 인더스트리즈, 인크 공간 입력 장치를 위한 적응적 추적 시스템
KR20140105812A (ko) * 2011-12-05 2014-09-02 알까뗄 루슨트 제스쳐 제어 방법, 제스쳐 서버 장치 및 센서 입력 장치
KR20130120705A (ko) * 2012-04-26 2013-11-05 주식회사 플러 인터렉티브 전시환경을 위한 통합 미디어 프레임 제공장치

Similar Documents

Publication Publication Date Title
CN110582078B (zh) 一种蓝牙配对方法、装置、存储介质及电子设备
US9652133B2 (en) Method and apparatus for designating entire area using partial area touch in a portable equipment
CN111708366B (zh) 机器人及其行动控制方法、装置和计算机可读存储介质
CN107786430B (zh) 机器人聊天方法及系统
JP6434640B2 (ja) メッセージ表示方法、メッセージ表示装置、およびメッセージ表示デバイス
CN106488539A (zh) 终端中WiFi资源的处理方法和系统
JP6691400B2 (ja) ケーブル加工用の改善された精密機構を備えたケーブル加工機モニタリング
CN103822433A (zh) 一种信息处理方法及冰箱
KR101669816B1 (ko) 소환현실과 상호작용하는 공간을 구축하기 위한 데이터 변환방법
US20170026617A1 (en) Method and apparatus for real-time video interaction by transmitting and displaying user interface correpsonding to user input
CN111601129B (zh) 控制方法、装置、终端及存储介质
KR20150082085A (ko) 명령-감지 메카니즘을 갖는 컴퓨팅 시스템 및 그 동작방법
CN114880422B (zh) 基于机器人流程自动化的兴趣点信息处理方法、相关装置
CN104468645A (zh) 一种控制方法、电子设备及一种信息传输方法、装置
CN113641439A (zh) 文本识别和展示方法、装置、电子设备和介质
US11403230B2 (en) Information processing device and information processing method
CN111061451A (zh) 一种信息处理方法及装置、系统
CN111913574A (zh) 用于控制设备的方法、装置、电子设备和计算机可读介质
CN109873958A (zh) 相机快门控制方法、装置及系统
CN111200826A (zh) 一种面向移动边缘计算的方法
CN104102339A (zh) 基于直观触摸手势的设备间数据传送
CN111142664B (zh) 一种多人实时手部追踪系统及追踪方法
CN113778679B (zh) 资源调度方法、资源调度装置、电子设备和可读存储介质
EP3156894A1 (en) View display processing method, apparatus, and projection device
CN116756282A (zh) 任务处理方法、服务器、语言预测系统和人机交互系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant