KR100868775B1 - 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및그 시스템 - Google Patents

햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및그 시스템 Download PDF

Info

Publication number
KR100868775B1
KR100868775B1 KR1020070047480A KR20070047480A KR100868775B1 KR 100868775 B1 KR100868775 B1 KR 100868775B1 KR 1020070047480 A KR1020070047480 A KR 1020070047480A KR 20070047480 A KR20070047480 A KR 20070047480A KR 100868775 B1 KR100868775 B1 KR 100868775B1
Authority
KR
South Korea
Prior art keywords
haptic
priority
haptic event
event
virtual environment
Prior art date
Application number
KR1020070047480A
Other languages
English (en)
Other versions
KR20080097103A (ko
Inventor
김종원
이석희
Original Assignee
광주과학기술원
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원, 인천대학교 산학협력단 filed Critical 광주과학기술원
Publication of KR20080097103A publication Critical patent/KR20080097103A/ko
Application granted granted Critical
Publication of KR100868775B1 publication Critical patent/KR100868775B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 이벤트 전송 방법 및 그 시스템에 관한 것이다. 더욱 상세하게는, 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송에 있어서 햅틱 이벤트의 우선순위 및 네트워크 상태에 따라 햅틱 이벤트를 필터링하고 패킷화하며 전송 오류를 제어하도록 하는 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 이벤트 전송 방법 및 그 시스템에 관한 것이다.
본 발명은, 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법에 있어서, (a) 송신측에서 햅틱 이벤트의 우선순위를 설정하는 단계; (b) 상기 우선순위에 따라 상기 햅틱 이벤트를 전송할 필요가 있는지를 판단하여 필터링하는 단계; (c) 상기 필터링된 상기 햅틱 이벤트들을 패킷화하는 단계; 및 (d) 패킷화된 상기 햅틱 이벤트들의 패킷을 통신 네트워크를 통해 수신측으로 송신하는 단계를 포함하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법 및 이를 위한 시스템을 제공한다.
협업, 가상 환경, 햅틱, 네트워크, 우선 순위, 필터링, 오류 제어

Description

햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및 그 시스템{Haptic Event Transport Method for Haptic-based Collaborative Virtual Environments and System therefor}
도 1은 서버-클라이언트 구조에 따른 햅틱 기반 협업 가상 환경의 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 데이터 전송 시스템에 있어서 햅틱 이벤트의 송신측과 수신측의 구성을 도시한 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 데이터 전송 방법의 순서도,
도 4는 본 발명의 바람직한 다른 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 이벤트 전송 시스템의 블록도,
도 5는 본 발명의 바람직한 다른 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 이벤트 전송 시스템에 있어서 우선순위 설정부의 상세 구성을 도시한 블록도,
도 6은 본 발명의 바람직한 다른 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 이벤트 전송 시스템에 있어서 손실지연 우선순위를 설정하는 과정을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : CVE 서버 102 : 메인 반력 계산부
104 : 메인 객체위치 갱신부 106 : 메인 송수신부
110 : 통신 네트워크 120 : CVE 클라이언트
122 : 로컬 송수신부 124 : 햅틱 렌더링부
126 : 충돌 검출부 128 : 제 1 반력 계산부
130 : 제 2 반력 계산부 132 : 로컬 객체위치 갱신부
134 : 햅틱 디바이스 136 : 그래픽 렌더링부
138 : 그래픽 디스플레이 200 : 햅틱 이벤트 전송부(송신측)
202 : 우선순위 설정부 204 : 우선순위 기반 필터링부
206 : 네트워크 적응형 패킷타이저 208 : 제 1 에러 제어부
210 : 제 1 피드백 관리부 220 : 햅틱 이벤트 전송부(수신측)
222 : 제 2 에러 제어부 224 : 디패킷타이저
226 : 우선순위 기반 버퍼 228 : 제 2 피드백 관리부
230 : 햅틱 이벤트 보상부
본 발명은 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및 그 시스템에 관한 것이다. 더욱 상세하게는, 햅틱 기반 협업 가상 환경에서의 햅틱 이벤 트 전송에 있어서 햅틱 이벤트의 우선순위 및 네트워크 상태에 따라 햅틱 이벤트를 필터링하고 패킷화하며 전송 오류를 제어하도록 하는 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및 그 시스템에 관한 것이다.
인간은 시각, 청각, 후각, 미각, 촉각의 오감을 이용하여 주변 환경을 감각한다. 이러한 오감 중에서도 시각과 청각은 인간이 주변 상황에 대한 정보 획득에 있어서 가장 크게 의지하는 감각 요소이다. 그러나 현실 세계에 있어서는 촉각 정보가 중요한 역할을 하는 경우가 많이 있다. 촉각에 의지하여 물체의 위치나 형상을 판단하기도 하며, 물체의 질감을 느끼기도 하고, 온도를 파악하기도 한다. 따라서 현실적인 감각을 전달하기 위해서는 시각이나 청각뿐만 아니라 촉각 정보의 제공이 필요하다고 할 수 있다. 이에 따라 최근에는 교육, 훈련, 오락 등에 있어서 시각 정보와 청각 정보와 함께 촉각 정보를 제공하여 사용자가 화면 속의 영상과 직접적인 상호작용이 가능하도록 하는 햅틱(Haptic) 기술이 많은 관심을 받고 있다.
햅틱 기술은 사용자에게 촉감(Tactile)과 역감(Kinesthetic)을 통해 가상 또는 실제 환경의 다양한 정보를 제공하도록 하는 것과 관련된 것이다. 'Haptics'이라는 단어는 그리스어로 촉각을 뜻하는 것으로서, 촉감과 역감을 모두 포함하는 개념이다. 촉감은 피부 감각을 통하여 접촉 표면의 기하형상, 거칠기, 온도, 및 미끄러짐 등에 관한 정보를 제공하고, 역감은 근육과 뼈 및 관절의 수용감각을 통하여 전체 접촉력, 유연성, 및 무게감 등에 관한 정보를 제공한다.
한편, 향상된 초고속 컴퓨터의 등장에 따라 네트워크로 연결된 협업 가상 환 경(networked Collaborative Virtual Environments)이 많은 관심을 받고 있다. 협업 가상 환경의 참여자들은 오디오, 비디오 및 3차원 그래픽 정보들을 서로 교환함으로써 협동 작업을 하게 된다. 최근에는 협업 가상 환경의 참여자들에게 가상 객체를 촉각으로 느낄 수 있도록 하는 햅틱 기반의 상호작용이 피드백 미디어로서 추가되고 있다. 협업 가상 환경에서의 이러한 햅틱 상호작용은 원격 수술, 다자간 조정, 스포츠 훈련 및 멀티 플레이어 온라인 게임 등 다양한 가상 현실 응용분야에서의 효율성을 증대시킨다.
그러나 최근의 활발한 발전에도 불구하고 협업 가상 환경에 햅틱 인터페이스를 부가하기 위해서는 해결하여야 할 많은 문제점이 존재한다. 인체공학적 햅틱 인터페이스의 설계나 햅틱 자극을 생성하고 렌더링하는 기술 등의 개발이 필요하다.
특히, 네트워크 환경에서의 햅틱 데이터(햅틱 이벤트)의 전송 기술은 원활한 햅틱 정보의 제시를 위해서는 필수적으로 확보되어야 할 필요성이 있다. 사용자가 햅틱 인터페이스를 통해 자연스러운 반력을 얻기 위해서는 1kHz 이상의 속도로 햅틱 데이터 업데이트가 필요한 것으로 알려져 있다. 따라서 협업 가상 환경에서 햅틱 인터페이스를 이용하여 상호작용하기 위해서는 네트워크로부터 상당한 수준의 QoS(Quality of Service)를 보장받을 필요가 있다. 그러나, 인터넷은 원활한 햅틱 이벤트 전송을 위한 네트워크 신뢰성을 갖지 못하고 있다. 특히 인터넷상의 네트워크 지연 지터(jitter) 및 패킷 손실은 협업 가상 환경에서의 햅틱 상호작용의 출력 품질을 심각하게 저하시키는 문제점이 있다.
종래 네트워크 햅틱을 위한 네트워크 전송에 대하여 Z. Cen, B. Hennion 및 A. Guerraz는 "Predictive algorithms for distant touching <Proc . EuroHaptics, page 1-5, 2002>"에서 오버레이 네트워크에서의 원격 조작을 위한 수퍼미디어 전송에 대하여 제안한 바 있으며, S. Dodeller 및 N. Georganas는 "Transport layer protocols for telehaptic update messages <Proc . BiennealSymp . On Communic ., June 2004>"에서 동기화된 협업 전송 프로토콜에 대하여 제안한 바 있다. 그러나 상기 제안된 내용들은 비디오, 오디오 및 이벤드와 같은 종래의 미디어를 햅틱 데이터와 같이 고려하기 때문에 햅틱 기반의 협업 가상 환경에 있어서는 큰 플레이아웃 지연(playout delay)과 전송율을 요구하는 문제점이 있다.
상기와 같은 문제점을 해결하기 위해 본 발명은, 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송에 있어서 햅틱 이벤트의 우선순위 및 네트워크 상태에 따라 햅틱 이벤트를 필터링하고 패킷화하며 전송 오류를 제어하도록 함으로써 플레이아웃 지연을 최소화하고 전송 효율을 향상시킨 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및 그 시스템을 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위해 본 발명은, 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법에 있어서, (a) 송신측에서 햅틱 이벤트의 우선순위를 설정하는 단계; (b) 상기 우선순위에 따라 상기 햅틱 이벤트를 전송할 필요가 있는지를 판단하여 필터링하는 단계; (c) 상기 필터링된 상기 햅틱 이벤트들을 패킷화하는 단계; 및 (d) 패킷화된 상기 햅틱 이벤트들의 패킷을 통신 네트워크를 통해 수신측으로 송신하는 단계를 포함하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법을 제공한다.
본 발명의 일 실시예에 따르면, 상기 (a) 단계의 상기 우선순위는 상기 협업 가상 환경의 가상 객체의 실제 위치와 데드 레코닝 기법에 의해 예측된 상기 가상 객체의 위치를 비교하여 설정되는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 상기 (a) 단계의 상기 우선순위는, 상기 가상 객체와 햅틱 디바이스의 HIP의 거리차에 따른 햅틱모드 우선순위와, 상기 통신 네트워크의 손실률을 기반으로 한 손실지연 우선순위로 설정되는 것을 특징으로 한다.
또한 본 발명은 상기한 바에 추가적으로 (e) 수신측에서 수신된 상기 패킷을 디패킷화하는 단계; (f) 수신측에서의 플레이아웃 지연을 감소시키기 위하여 높은 우선순위를 갖는 상기 햅틱 이벤트의 존재 확률을 이용하여 상기 햅틱 이벤트의 버퍼링 시간을 제어하는 단계; 및 (g) 수신측에서 데드 레코닝 기법에 의하여 수신측에서의 가상 객체의 이동을 예측하는 단계를 포함하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법을 제공한다.
본 발명에 따른 햅틱 데이터 전송 방법은 크게 햅틱 이벤트에 대한 우선순위 설정과 이에 따른 햅틱 이벤트 보상 과정, 그리고 네트워크 적응형 햅틱 이벤트 전송으로 구분됨을 특징으로 한다. 햅틱 이벤트에 대한 우선순위 설정은 송신측의 우선순위 설정부에서 이루어지며, 이에 따른 햅틱 이벤트의 보상은 수신측의 햅틱 이 벤트 보상부에서 이루어진다. 또한, 네트워크 적응형 햅틱 이벤트 전송은 네트워크 상태에 따라 네트워크 적응형 패킷타이저에서 패킷화 인터벌을 조절하고, 제 1 에러 제어부 및 제 2 에러 제어부에서 네트워크 상태에 따라 패킷 수준에서의 FEC 오류 제어를 수행하며, 우선순위 기반 버퍼에서 햅틱 이벤트의 버퍼링 시간을 조절함으로써 이루어짐을 특징으로 한다.
이를 위해 본 발명은, 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템에 있어서, 상기 햅틱 이벤트의 송신측에는, 상기 햅틱 이벤트의 우선순위를 설정하는 우선순위 설정부; 및 상기 우선순위에 기반하여 전송될 햅틱 이벤트를 필터링하는 우선순위 기반 필터링부와, 필터링된 상기 햅틱 이벤트들을 통신 네트워크의 상태에 따라 적응적으로 패킷화하는 네트워크 적응형 패킷타이저와, 오류 제어를 위한 제 1 에러 제어부와, 상기 통신 네트워크를 통한 전송 상태를 확인하기 위한 제 1 피드백 관리부를 포함하는 송신측 햅틱 이벤트 전송부가 구비되는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템을 제공한다.
또한, 본 발명에 따른 햅틱 이벤트 전송 시스템은, 상기 햅틱 이벤트의 수신측에는, 상기 제 1 에러 제어부와 연동하여 오류 제어를 수행하는 제 2 에러 제어부와, 패킷화된 패킷을 디패킷하는 디패킷타이저와, 상기 우선순위가 높은 상기 햅틱 이벤트의 확률을 이용하여 상기 햅틱 이벤트를 버퍼링하는 우선순위 기반 버퍼와, 상기 통신 네트워크를 통한 전송 상태를 확인하기 위한 제 2 피드백 관리부를 포함하는 수신측 햅틱 이벤트 전송부; 및 데드 레코닝에 기반하여 수신측에서의 가상 객체의 이동을 예측하는 햅틱 이벤트 보상부가 포함되는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 우선순위 설정부는, 상기 송신측에서 협업 가상 환경의 가상 객체의 실제 위치와 데드 레코닝에 의해 예측된 상기 가상 객체의 위치를 비교하여 소정의 기준값보다 큰 경우 높은 우선순위를 부여하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 상기 우선순위 설정부는, 상기 가상 객체와 햅틱 디바이스의 HIP의 거리차에 따른 햅틱모드 우선순위를 설정하는 햅틱모드 우선순위 설정부와, 상기 통신 네트워크의 네트워크 손실률을 기반으로 한 손실지연 우선순위를 설정하는 손실지연 우선순위 설정부를 포함하는 것을 특징으로 한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명의 바람직한 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워 크 적응형 햅틱 데이터 전송 방법 및 그 시스템을 구체적으로 설명하기에 앞서 본 발명이 적용될 수 있는 햅틱 기반 협업 가상 환경의 구성을 설명한다.
일반적으로 협업 가상 환경을 구성함에 있어서는 서버-클라이언트 구조 또는 피어-투-피어(peer-to-peer) 구조를 채용할 수 있다.
서버-클라이언트 구조는 가상 공간에 관한 정보는 모두 서버에서 관리하고 참여자는 서버와의 통신을 통해 가상 환경에 접근하고 서버의 관리하에 가상 환경에 조작을 가하는 모델이다. 이 모델은 설계 및 구현이 쉽고 한 곳에서 가상 환경의 조작을 관리하므로 일관성 유지에 유리한 반면, 참여자의 증가에 따라 서버에 과부하가 발생하는 단점이 있다. 피어-투-피어 구조는 각 참여자 노드가 다른 참여자에 관한 정보를 개별적으로 관리하며 변경되는 내용은 네트워크를 통하여 다른 참여자들에게 직접 전달하는 방식이다. 전달해야 하는 정보들이 서버로 집중되지 않으므로 병목 현상을 해결할 수 있지만 다수의 가상 환경 정보간의 일관성 유지가 어렵다는 단점이 있다.
후술하게 될 본 발명에 따른 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및 그 시스템은 서버-클라이언트 구조나 피어-투-피어 구조에 모두 적용될 수 있는 것임은 물론이다. 그러나, 본 발명의 이해의 편의를 위해 서버-클라이언트 구조에 따른 햅틱 기반 협업 가상 환경의 구성을 일례로 설명하기로 한다.
도 1은 서버-클라이언트 구조에 따른 햅틱 기반 협업 가상 환경의 구성도이다.
서버-클라이언트 구조에 따른 햅틱 기반 협업 가상 환경(Haptic-based Collaborative Virtual Environment : Haptic-based CVE)은, CVE 서버(100)와 CVE 클라이언트(120) 및 CVE 서버(100)와 CVE 클라이언트(120)를 연결하는 통신 네트워크(110)를 포함하여 이루어진다.
CVE 서버(100)는 메인 반력 계산부(102)와 메인 객체 위치 갱신부(104) 및 메인 송수신부(106)를 포함한다. CVE 서버(100)는 협업 가상 환경에 참여하는 참여자가 접속하는 CVE 클라이언트(120)로부터 햅틱 상호작용 포인터(Haptic Interaction Point : HIP)의 이동 데이터를 메인 송수신를 통해 수집한다. 이러한 HIP 입력 정보들을 바탕으로 하여 CVE 서버(100)의 메인 반력 계산부(102)는 가상 객체에 가해지는 반력을 계산한다. 그리고 메인 객체 위치 갱신부(104)는 가상 객체에 가해지는 반력으로부터 가상 객체의 이동량을 계산한 후 가상 객체의 위치를 갱신한다. 가상 객체의 이동 데이터는 메인 송수신부(106)를 통해 통신 네트워크(110)를 거쳐 CVE 클라이언트(120)로 전송된다. 여기서 가상 객체의 이동 데이터는 이동된 가상객체의 위치 및 회전의 형태로 표현될 수 있다.
통신 네트워크(110)는 CVE 서버(100)와 다수의 CVE 클라이언트(120)들을 연결하는 네트워크로서 인터넷, 인트라넷과 같은 통신망이 사용될 수 있다.
CVE 클라이언트(120)는 협업 가상 환경의 참여자가 접속하는 단말기로서, CVE 서버(100)의 메인 송수신부(106)와 데이터의 송수신을 수행하기 위한 로컬 송수신부(122)가 구비되며, 가상 객체와의 충돌을 검출하고 반력을 계산하기 위한 햅틱 렌더링부(124)와, 가상 객체를 시각적으로 표현하기 위한 계산을 수행하는 그래픽 렌더링부(136)를 포함한다. 햅틱 렌더링부(124)는 햅틱 디스플레이를 통해 햅틱 정보를 참여자에게 제공하고, 그래픽 렌더링부(136)는 가상 환경의 시각 정보를 그래픽 디스플레이(138)를 통해 참여자에게 제공한다.
햅틱 렌더링부(124)는 충돌 검출부(126), 제 1 반력 계산부(128), 제 2 반력 계산부(130), 및 로컬 객체 위치 갱신부(132)를 포함한다.
충돌 검출부(126)는 가상 객체와 참여자의 HIP와의 충돌이 발생하는지 여부를 검출한다.
충돌이 발생한 경우 제 1 반력 계산부(128)는 충돌에 따라 HIP에 미치는 반력을 계산하는 기능을 수행하고, 제 1 반력 계산부(128)에서 계산된 반력은 햅틱 디바이스(134)를 통해 참여자에게 제시된다. 한편, 제 2 반력 계산부(130)는 대상이 되는 CVE 클라이언트(120)뿐만 아니라 다른 참여자들에 의해 가상 객체에 가해지는 힘 정보를 계산하고, 로컬 객체 위치 갱신부(132)는 제 2 반력 계산부(130)의 계산 결과를 바탕으로 가상 객체의 위치를 갱신한다. 갱신된 가상 객체의 위치 정보는 그래픽 렌더링부(136)로 전달되고, 그래픽 렌더링부(136)는 이를 반영한 결과를 그래픽 디스플레이(138)를 통해 사용자에게 제시한다. 한편, CVE 클라이언트(120)의 햅틱 디바이스(134) HIP의 위치 정보는 로컬 송수신부(122)를 통해 CVE 서버(100)로 전송된다.
원격에 위치하는 다수의 참여자가 참여하는 협업 가상 환경에 있어서 가상 객체를 조종하기 위해서는 이 협업 가상 환경에 참여하는 모든 참여자가 서로 햅틱 이벤트를 서로 통신할 필요가 있다. 특히 참여자들 사이에서는 두 가지 종료의 햅틱 이벤트들이 교환된다. 그 하나는 모든 이동가능한 가상 객체의 이동 정보이며, 다른 하나는 HIP의 이동 정보이다. 여기서 가상 객체와 HIP의 이동 정보는 위치와 회전으로 표현할 수 있다.
정리하면, CVE 서버(100)에서는 모든 참여자들의 HIP 이동 데이터를 수집하여 이에 영향을 받는 모든 가상 객체에 대한 반력을 계산하고 최종적인 위치 및 회전을 결정한다. 한편, 각각의 CVE 클라이언트(120)는 가상 객체의 위치 및 회전 정보 즉 가상 객체의 이동 정보를 수신하여 HIP와의 충돌 검출 및 사용자에게 제시한 반력을 계산하는 등의 기능을 수행하게 된다.
햅틱 기반의 협업 가상 환경에서의 햅틱 이벤트의 효과적인 전송을 위해서는 다음의 요건을 포함한 다수의 요건을 충족하여야 한다.
먼저, 낮은 프로세싱 지연(low processing delay)를 구비한 오류 제어 및 버퍼링 기술이 요구된다. 네트워크 패킷 손실 및 지터(jitter)는 햅틱 상호작용의 출력 품질을 현저하게 저하시키기 때문에 햅틱 이벤트 전송 기술은 에러 제어와 버퍼링 기술이 요구된다. 그러나, 에러 제어와 버퍼링은 매우 큰 플레이아웃 지연(playout delay)을 발생시키므로 패킷 손실과 지연을 보상하기 위한 프로세싱 지연은 낮을 필요성이 있다.
다음으로 네트워크 적응형 햅틱 이벤트 통합(aggregation)이 요구된다. 통합된 패킷화(aggregated packetization) 기술은 패킷화 인터벌을 줄임으로써 햅틱 데이터의 전송율을 감소시킬 수 있다. 그렇지만 이는 플레이아웃 지연을 증가시킬 수 있다. 따라서, 패킷화 인터벌은 현재의 네트워크 상태에 따라 적응적으로 변화될 필요가 있다.
세 번째로, 햅틱 이벤트 필터링이 요구된다. 햅틱 렌더링의 높은 업데이트 레이트(약 1kHz)는 통합된 패킷화가 사용되는 경우에도 상당한 양의 전송율을 필요로 한다. 그러나, 햅틱 이벤트는 많은 양의 직선 운동을 포함하고, 이러한 직선 운동은 수신측에서 실제적으로 수신하지 않더라도 예측될 수 있다. 따라서, 데드 레코닝(dead reckoning)에 기반한 햅틱 이벤트 필터링 기법이 사용된다면 추가적인 햅틱 이벤트의 전송을 줄일 수 있다.
도 2는 본 발명의 바람직한 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 데이터 전송 시스템에 있어서 햅틱 이벤트의 송신측과 수신측의 구성을 도시한 블록도이다.
전술한 서버-클라이언트 구조에 따른 협업 가상 환경을 예로 설명한 바와 같이 햅틱 이벤트는 서버에서 클라이언트로 전송될 뿐만 아니라 클라이언트에서 서버로도 전송된다. 즉, 서버와 클라이언트는 필요에 따라 햅틱 이벤트를 송신도 하고 수신도 하게 된다. 이러한 것은 피어-투-피어 구조에 따른 협업 가상 환경에서도 마찬가지이다. 따라서, 도 2에 도시된 블록도에 있어서 송신측과 수신측은 데이터의 송수신 역할에 따른 구분으로 이해되어야 한다.
햅틱 기반 협업 가상 환경에 있어서 햅틱 이벤트 송신측에는 우선 순위 결정부(202) 및 송신측 햅틱 이벤트 전송부(200)가 구비된다. 송신측 햅틱 이벤트 전송부(200)는 우선순위 기반 필터링부(204), 네트워크 적응형 패킷타이저(206), 제 1 에러 제어부(208), 및 제 1 피드백 관리부(210)를 포함한다. 송신측 햅틱 이벤트 전송부(200)는 통신 네트워크(110)를 통해 수신측 햅틱 이벤트 전송부(220)와 연결된다. 햅틱 기반 협업 가상 환경의 햅틱 이벤트 수신측에는 수신측 햅틱 이벤트 전송부(220) 및 햅틱 이벤트 보상부(230)가 구비된다. 수신측 햅틱 이벤트 전송부(220)는 제 2 에러 제어부(222), 디패킷타이저(224), 우선순위 기반 버퍼(226) 및 제 2 피드백 관리부(228)를 포함한다.
송신측의 우선순위 설정부(202)는 데드 레코닝에 기반하여 햅틱 이벤트의 우선순위를 설정한다. 데드 레코닝이란 신호가 없는 동안 이전에 받았던 신호를 바탕으로 추산하여 상태 정보를 갱신하는 것을 의미한다. 우선순위 설정부(202)는 이러한 데드 레코닝을 이용하여 이전의 위치 정보를 바탕으로 이동하는 객체의 위치를 예측한다. 우선순위 설정부(202)는 예측된 객체의 위치 정보를 실체의 위치 정보와 비교하고 그 차이를 이용하여 햅틱 이벤트의 우선순위를 설정한다. 햅틱 이벤트의 업데이트 레이트(update rate)를 고려할 때 이러한 우선순위 설정은 1ms 이하의 시간마다 이루어지는 것이 바람직하다.
햅틱 이벤트의 우선순위는 필요에 따라 다양한 수준으로 결정할 수 있다. 발명의 실시예로서 우선순위 설정의 예를 들면 다음과 같다. 우선순위를 0, 1, 2의 3 개의 수준으로 설정한다. 예측된 객체의 위치 정보가 실제 객체의 위치 정보와 비교하여 그 차이가 제 1 기준값(예컨대, 0.001)보다 작으면 우선순위를 0으로 설정한다. 이는 수신측에서 실제 햅틱 이벤트에 대한 정보를 수신하지 않고서도 객체의 위치를 갱신할 수 있음을 의미하며, 이러한 경우에는 햅틱 이벤트를 전송하지 않아 도 무방하다. 만약, 상기 차이가 제 1 기준값 이상이고 제 2 기준값(예컨대, 0.1)보다 작은 경우에는 우선순위를 1로 설정한다. 이러한 경우에는 전송 계층에서 누락 기법을 이용하여 전송율 제어에 햅틱 이벤트가 사용될 수 있다. 만약 상기 차이가 제 2 기준값 이상이면, 햅틱 이벤트가 손실되면 햅틱 상호작용의 품질이 심각하게 저하되므로 햅틱 이벤트는 신뢰성있게 전송될 필요가 있다.
우선순위 기반 필터링부(204)는 우선순위에 기반하여 햅틱 이벤트의 전송을 필터링하는 기능을 수행한다. 우선순위 기반 필터링부(204)는 우선순위가 0인 경우 햅틱 이벤트의 전송을 누락시키는데, 이는 수신측에서 보상될 수 있기 때문이다. 만약 우선순위가 1인 경우 우선순위 기반 필터링부(204)는 네트워크의 상태에 따라 햅틱 이벤트의 전송을 누락시킬지 여부를 결정한다. 만약 네트워크 상태가 좋지 않다면 우선순위가 1인 햅틱 이벤트를 전송할 필요가 있다.
네트워크 적응형 패킷타이저(206)는 패킷화 인터벌 동안 햅틱 이벤트를 패킷으로 통합한다. 이 때 네트워크 적응형 패킷타이저(206)는 네트워크의 상태에 따라 패킷화 인터벌을 적응적으로 변화시킨다. Y. Ishibashi 등은 "Packetization interval of haptic media in networked virtual environments<Proc. ACM NetGames, pages 1-6, October 2005>"에서 패킷화 인터벌이 8ms일 때 가장 좋음을 실험적으로 제시하였는데, 본 발명에 있어서는 패킷화 인터벌은 현재의 네트워크 손실 및 지연에 따라 적응적으로 변화된다. 이에 따라 네트워크 손실 및 지연이 큰 경우에는 패킷화 인터벌을 감소시키고, 네트워크 손실 및 지연이 크지 않은 경우에는 패킷화 인터벌을 증가시킴으로써 네트워크에 적응적인 햅틱 데이터 패킷을 생성 한다.
제 1 에러 제어부(208)와 제 2 에러 제어부(222)는 패킷-수준 FEC(packet-level Forward Error Correction)를 이용하여 낮은 프로세싱 지연으로 높은 우선순위(즉, 우선순위 2)를 가진 중요한 햅틱 이벤트의 신뢰성있는 전송을 지원한다. 제 1 에러 제어부(208)는 우선순위가 높은(즉, 우선순위 2) 경우 햅틱 이벤트에 대해 여분의 데이터(redundant data)를 생성하는 기능을 수행한다. 제 2 에러 제어부(222)는 제 1 에러 제어부(208)에서 전송된 데이터를 바탕으로 신호를 복구하는 기능을 수행한다. 한편, 제 1 에러 제어부(208)에서 생성되는 여분의 데이터는 네트워크의 지연 정도에 따라 증감되는 것이 바람직한데, 네트워크 손실이 많거나 지연이 큰 경우에는 여분의 데이터를 증가시키고 지연이 낮은 경우에는 여분의 데이터를 감소시킨다.
송신측의 제 1 피드백 관리부(210)와 수신측의 제 2 피드백 관리부(228)는 햅틱 데이터의 송수신 정보를 교환하여 네트워크에서 발생하는 데이터 손실 및 네트워크 지연 정도를 검출하는 기능을 수행한다.
수신측의 디패킷타이저(224)는 패킷화된 햅틱 이벤트 데이터를 디패킷하는 기능을 수행한다.
우선순위 기반 버퍼(226)는 플레이아웃 지연을 감소시키기 위하여 높은 우선순위를 가진 햅틱 이벤트의 확률을 이용하여 햅틱 이벤트의 버퍼링 시간을 제어한다. 본 발명에 있어서, 네트워크 지연에 따른 플레이아웃 지연의 변동을 방지하기 위하여 가상 시간 지연 법칙을 사용한다.
햅틱 이벤트의 도착 시간을 An, 타켓 출력 시간을 tn, 슬라이드 시간을 ΔSn, 및 기준값을 Th라 하자. 만약, 도착 시간과 출력 시간의 차가 기준값보다 큰 경우(An-tn>Th)에는 햅틱 이벤트가 여분의 데이터로부터 복구되었는지 여부(FEC 적용 여부)를 검사해 볼 필요가 있다. 만약 그렇다면, 슬라이드 시간 ΔSn = An-tn로 설정함으로써 손실된 패킷의 복구를 위한 시간을 확보할 필요가 있다. 그렇지 않은 경우에는 슬라이드 시간(ΔSn)은 우선순위 2를 갖는 햅틱 이벤트의 확률을 적용하여 결정한다.
우선순위 2를 갖는 햅틱 이벤트의 확률을 Ph라 할 때 슬라이드 시간(ΔSn)은 다음의 수학식 1와 같이 설정한다.
Figure 112007035991514-pat00001
수신측의 햅틱 이벤트 보상부(230)는 손실 또는 지연된 햅틱 이벤트를 데드 레코닝을 이용하여 보상하는 기능을 수행한다. 햅틱 이벤트 보상부(230)는 우선순위 기반 버퍼(226)에 현재 시간에 대응하는 햅틱 이벤트가 존재하는지 점검한다. 만약, 우선순위 기반 버퍼(226)에 현재 시간에 대응하는 햅틱 이벤트가 존재하지 않는 경우라면, 햅틱 이벤트 보상부(230)는 데드 레코닝을 이용하여 현재 시간에서의 객체의 이동(위치 및 회전 정보)을 예측한다.
햅틱 이벤트 보상부(230)에서의 객체의 이동 예측을 위해서는 다음의 수학식과 같은 예측 알고리즘을 이용할 수 있다.
Figure 112007035991514-pat00002
여기서, xp(t)와 x(t)는 시간 t에서의 예측된 위치 및 실제 위치를 나타낸다. 시간 t-δ에서 패킷이 마지막으로 수신된 경우, 시간 t에서의 예측된 위치(xp(t))는 시간 t-δ에서의 1차 미분(x'(t-δ)), 2차 미분(x''(t-δ)), 및 3차 미분(x'''(t-δ))을 이용하여 예측할 수 있다.
다음으로 본 발명의 바람직한 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 데이터 전송 방법을 설명한다.
본 발명의 바람직한 실시예에 따른 햅틱 데이터 전송 방법은 크게 햅틱 이벤트에 대한 우선순위 설정과 이에 따른 햅틱 이벤트 보상 과정, 그리고 네트워크 적응형 햅틱 이벤트 전송으로 구분할 수 있다.
햅틱 이벤트에 대한 우선순위 설정은 송신측의 우선순위 설정부(202)에서 이루어지며, 이에 따른 햅틱 이벤트의 보상은 수신측의 햅틱 이벤트 보상부(230)에서 이루어진다.
또한, 네트워크 적응형 햅틱 이벤트 전송은 네트워크 상태에 따라 네트워크 적응형 패킷타이저(206)에서 패킷화 인터벌을 조절하고, 제 1 에러 제어부(208) 및 제 2 에러 제어부(222)에서 네트워크 상태에 따라 패킷 수준에서의 FEC 오류 제어를 수행하며, 우선순위 기반 버퍼(226)에서 햅틱 이벤트의 버퍼링 시간을 조절함으로써 이루어진다.
이러한 햅틱 이벤트에 대한 우선순위 설정과 보상 및 네트워크 적응형 햅틱 이벤트 전송에 따른 햅틱 이벤트의 전송 과정을 설명하면 다음과 같다.
도 3은 본 발명의 바람직한 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 데이터 전송 방법의 순서도이다.
먼저 송신측의 우선순위 설정부(202)는 데드 레코닝에 기반하여 햅틱 이벤트의 우선 순위를 설정한다(S300).
우선순위 기반 필터링부(204)는 햅틱 이벤트의 우선순위에 따라 우선순위가 낮은 햅틱 이벤트를 필터링한다(S302). 전술한 바를 참고하면, 우선순위가 0인 햅틱 데이터는 누락시켜도 수신측에서 충분히 보상하여 복구할 수 있으나 우선순위가 2인 햅틱 데이터는 누락시킬 경우 수신측에서의 햅틱 이벤트 재생에 있어서 문제가 발생할 가능성이 농후함으로 누락시켜서는 안된다.
필터링된 햅틱 이벤트는 패킷화 인터벌에 따라 네트워크 적응형 패킷타이저(206)에서 패킷화된다(S304). 네트워크 적응형 패킷타이저(206)는 네트워크 상태에 따라 패킷화 인터벌을 설정하는데, 네트워크 손실 또는 지연으로 인해 네트워크 상태가 좋지 않을 경우에는 패킷화 인터벌을 감소시킨다.
햅틱 이벤트 패킷은 송신측에서 수신측으로 통신 네트워크(110)를 통해 전송 되는데, 우선순위가 높은 햅틱 이벤트에 대해서는 송신측의 제 1 오류 제어부(208) 및 수신측의 제 2 오류 제어부(222)에 의한 오류 제어가 이루어진다(S306). 이러한 오류 제어는 FEC 방식에 의해 이루어짐이 바람직하며, 네트워크 상태에 따라 제 1 오류 제어부(208)에서 생성되는 여분의 데이터가 증감된다.
수신된 패킷은 수신측의 디패킷타이저(224)에서 디패킷화된다(S308).
디패킷화된 햅틱 이벤트는 우선순위 기반 버퍼(226)에 버퍼링되는데, 햅틱 이벤트가 여분의 데이터를 이용하여 재구성되었는지를 점검하는 한편, 높은 우선순위를 가진 햅틱 이벤트의 확률에 따라 버퍼링 시간이 제어된다(S310).
마지막으로 햅틱 이벤트 보상부(230)는 데드 레코닝에 기반하여 햅틱 이벤트를 보상한다(S312).
다음으로 본 발명의 다른 실시예에 따른 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및 그 시스템을 설명하도록 한다.
이상의 설명에 있어서 송신측의 우선순위 설정부(202)는 가상 객체의 예측된 위치와 실제 위치를 비교하여 햅틱 이벤트의 우선순위를 설정하는 것을 특징으로 하였다. 이에 대해 후술하는 본 발명의 다른 실시예에 따르면 가상 객체와 햅틱 디바이스의 HIP 위치의 거리차에 따른 햅틱모드 우선순위와 햅틱 이벤트의 손실지연효과를 바탕으로 한 손실지연 우선순위를 바탕으로 햅틱 이벤트의 우선순위를 설정하는 것을 특징으로 한다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 이벤트 전송 시스템의 블록도이며, 도 5는 본 발명의 바람직한 다른 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 이벤트 전송 시스템에 있어서 우선순위 설정부의 상세 구성을 도시한 블록도이다.
본 발명의 바람직한 다른 실시예에 따른 네트워크 적응형 햅틱 이벤트 전송 시스템은 전술한 바와 같은 송신측 햅틱 이벤트 전송부(200)와 수신측 햅틱 이벤트 전송부(220)를 포함하되, 햅틱 이벤트 예측부(410)와 송신측 햅틱 렌더링부(430)의 정보를 바탕으로 우선순위를 설정하는 우선순위 설정부(420)가 포함되는 햅틱 렌더링 및 우선순위 설정부(400)를 포함하는 것을 특징으로 한다. 이에 따라 송신측 햅틱 이벤트 전송부(200)와 수신측 햅틱 이벤트 전송부(220)의 각 부의 구체적인 기능이 일부 변경된다.
햅틱 이벤트 예측부(410)는 과거에 전송한 햅틱 이벤트 정보와 속도 정보에 기반하여 현재 전송할 햅틱 이벤트 정보를 예측하는 기능을 수행한다. 이러한 예측은 전술한 수학식 2와 같은 방법에 의해 수행될 수 있다.
송신측 햅틱 렌더링부(430)는 현재 시간에서의 햅틱 디바이스의 HIP 위치 및 가상 객체의 위치를 기초로 하여 햅틱 렌더링을 수행하며 우선순위 설정부(420)로 현재 시간에서의 햅틱 디바이스의 HIP 위치 및 가상 객체의 위치를 제공한다.
우선순위 설정부(420)는 송신측 햅틱 렌더링부(430)와 햅틱 이벤트 예측부(410)로부터 전달받은 촉감 이벤트 정보를 바탕으로 우선순위를 설정하는 기능을 수행한다. 이를 위해 우선순위 설정부(420)는 햅틱모드 우선순위화부(500) 및 손실지연 우선순위화부(510)를 포함한다.
햅틱모드 우선순위화부(500)는 충돌거리 계산부(502) 및 햅틱모드 우선순위 설정부(504)를 포함한다. 충돌거리 계산부(502)는 송신측 햅틱 렌더링부(430)로부터 햅틱 디바이스의 HIP 위치 및 가상 객체의 위치를 입력받아 양자간의 차이를 계산한다. 햅틱모드 우선순위 설정부(504)는 충돌거리 계산부(502)에서 계산된 차이값이 기준값과 비교하여 우선순위를 부여한다. 상기 계산값이 기준값보다 작으면 높은 우선순위를 부여하고 크면 낮은 우선순위를 부여한다.(예컨대, 높은 우선순위로 1을 부여하고 낮은 우선순위로 0을 부여하는 것으로 하자.) 이는 햅틱 디바이스의 HIP 위치와 가상 객체의 위치가 멀리 떨어진 경우에는 충돌 발생 가능성이 적으므로 엄격한 네트워크 QoS를 충족시킬 필요가 없기 때문이다.
손실지연 우선순위화부(510)는 손실지연효과 계산부(512), 손실지연 우선순위 설정부(514), 가중치 계산부(516), 및 추정간격 계산부(518)를 포함한다.
추정간격 계산부(518)는 제 1 피드백 관리부(210)로부터 현재 네트워크 손실률 정보를 전달받아 현재에서부터 어느 정도 떨어진 과거의 햅틱 이벤트 정보까지 손실지연효과 계산에 포함시킬지에 대한 추정 간격을 계산하여 손실지연효과 계산부(512)로 전달한다. 추정 간격을 계산하는 일례로서 다음의 수학식 3을 이용할 수 있다. 수학식 3에서
Figure 112007035991514-pat00003
는 추정 간격이고, L은 현재 네트워크 손실률이며, α는 특정 상수값이다.
Figure 112007035991514-pat00004
가중치 계산부(516)는 제 1 피드백 관리부(210)로부터 현재 네트워크의 손실률 정보를 전달받아 과거로부터 예측된 현재 시간에서의 촉감 이벤트 정보에 대한 가중치를 계산하여 손실지연효과 계산부(512)로 전달하는 기능을 수행한다. 가중치는 수학식 4와 같이 계산할 수 있다. 수학식 4에서 w는 가중치이고 L은 현재 네트워크 손실률이며, i는 현재부터 몇 번째 떨어진 과거의 햅틱 이벤트 정보인지를 표시한다.
Figure 112007035991514-pat00005
수학식 4에 따른 가중치(w)는 현재로부터 많이 떨어진 정보일수록 가중치가 낮음을 알 수 있다.
손실지연효과 계산부(512)는 가중치 계산부(516)에서 전달받은 가중치(w), 추정간격 계산부(518)로부터 전달받은 추정 간격(
Figure 112007035991514-pat00006
), 햅틱 이벤트 예측부(410)로부터 전달받은 과거 i번째 햅틱 이벤트 정보로부터 예측된 현재 시간(t)에서의 햅틱 이벤트 정보(
Figure 112007035991514-pat00007
), 및 송신측 햅틱 렌더링부(430)로부터 전달받은 현재 시간(t)에서의 실제 햅틱 이벤트 정보(
Figure 112007035991514-pat00008
)를 바탕으로 손실지연효과(LE)를 계산한다. 현재 시간(t)에서의 손실지연효과(LEt)는 수학식 5와 같이 계산될 수 있다.
Figure 112007035991514-pat00009
손실지연 우선순위 설정부(514)는 상기의 손실지연효과를 바탕으로 햅틱 이벤트에 대하여 손실지연 우선순위를 설정한다. 일례로서 손실지연 우선순위는 0, 1, 2의 3단계로 부여할 수 있으며, 손실지연 우선순위가 높을수록 더욱 신뢰성있는 전송이 요구된다.
도 6은 본 발명의 바람직한 다른 실시예에 따른 햅틱 기반 협업 가상 환경에서의 네트워크 적응형 햅틱 이벤트 전송 시스템에 있어서 손실지연 우선순위를 설정하는 과정을 도시한 도면이다.
도 6을 참조하면, 먼저 손실지연효과 계산부(512)는 추정간격 계산부(518)로 추정 간격(
Figure 112007035991514-pat00010
)을 요청하면 추정간격 계산부(518)는 제 1 피드백 관리부(210)에 현재 네트워크 손실률 정보를 요청하여 수신받고 추정 간격을 계산하여 손실지연효과 계산부(512)로 전달한다(S600).
다음으로 손실지연효과 계산부(512)는 송신측 햅틱 렌더링부(430)로 현재시간(t)에서의 햅틱 이벤트 정보(즉, N번째 햅틱 데이터)를 요청하여 수신한다(S602).
손실지연효과 계산부(512)는 햅틱 이벤트 예측부(410)로 N-1번째 햅틱 데이터부터 예측된 N번째 햅틱 데이터를 요청하여 수신한다(S604-1). 또한 손실지연효과 계산부(512)는 가중치 계산부(516)로 N-1번째 데이터의 가중치를 요청하고, 가중치 계산부(516)는 현재 네트워크 손실률로부터 N-1번째 데이터에 대한 가중치를 계산하여 손실지연효과 계산부(512)로 전달한다(S606-1). 이 과정은 N-
Figure 112007035991514-pat00011
번째 햅틱 데이터에 대해서까지 계속된다(S604-2, S606-2, ... , S604-
Figure 112007035991514-pat00012
, S606-
Figure 112007035991514-pat00013
).
손실지연효과 계산부(512)는 N번째 햅틱 데이터에 대한 손실지연효과를 계산한다(S608).
손실지연 우선순위 설정부(514)는 N번째 햅틱 데이터에 대하여 손실지연 우선순위를 설정한다(S610).
다음으로 이러한 본 발명의 바람직한 다른 실시예에 따른 우선순위 설정부(420)에서 설정된 우선순위를 바탕으로 하여 송신측 햅틱 이벤트 전송부(200)에서 햅틱 이벤트를 전송하는 과정 및 각 구성요소의 기능을 설명한다.
우선순위 기반 필터링부(204)는 우선순위 설정부(420)에서 설정된 햅틱모드 우선순위와 손실지연 우선순위를 바탕으로 햅틱 이벤트 정보를 필터링한다. 햅틱 이벤트 정보의 햅틱모드 우선순위가 높거나 손실지연 우선순위가 높은 경우에는 수신측으로 전송되도록 하는 것이 바람직하다.
햅틱모드 우선순위가 낮은 경우(예컨대 0인 경우)에는 햅틱 이벤트 정보는 30ms에 한번씩 전송되도록 할 수 있다. 따라서 햅틱모드 우선순위가 낮은 햅틱 이 벤트 정보는 우선순위 기반 필터링부(204)에서 대기하다가 손실지연 우선순위가 높은(예컨대 1 또는 2인) 햅틱 이벤트 정보만 네트워크 적응형 패킷타이저(206)로 전달한다.
한편 햅틱모드 우선순위가 1인 햅틱 이벤트 정보에 대해서, 손실지연 우선순위가 낮은 경우(예컨대 0인 경우)에는 실제적인 전송없이도 수신측에서 예측가능하므로 필터링한다. 그러나 손실지연 우선순위가 중간인 경우(예컨대 1인 경우)에는 현재 네트워크 상황이 혼잡하면 필터링하고, 충분한 대역폭이 지원되는 경우에는 손실지연 우선순위가 높은 경우(예컨대 2인 경우)의 햅틱 이벤트 정보와 함께 네트워크 적응형 패킷타이저(206)로 전달한다.
네트워크 적응형 패킷타이저(206)는 네트워크 상태에 따라 패킷화 인터벌을 조절하며 햅틱 이벤트를 패킷화한다. 제 1 에러제어부(208)는 우선순위가 높은 패킷, 예컨대 손실지연 우선순위가 2인 패킷에 대해서는 신뢰성있는 전송을 위해 여분의 데이터를 추가 생성한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의하면, 햅틱 이벤트의 우선순위에 따라 전송될 햅틱 이벤트를 필터링하여 데이터 전송량을 최소화하며, 네트워크 상태에 따라 햅틱 이벤트의 패킷화 인터벌을 조절하고 에러를 제어하고, 우선순위에 따라 햅틱 이벤트의 버퍼링 시간을 제어함으로써 햅틱 이벤트의 전송 효율을 개선하고 플레이아웃 지연을 최소화할 수 있는 효과가 있다.

Claims (24)

  1. 삭제
  2. 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법에 있어서,
    (a) 송신측에서 송신 대상 햅틱 이벤트의 우선순위를 설정하는 단계;
    (b) 상기 우선순위에 따라 상기 송신 대상 햅틱 이벤트를 전송할 필요가 있는지를 판단하여 필터링하는 단계;
    (c) 상기 (b) 단계에 따라 필터링된 상기 송신 대상 햅틱 이벤트들을 패킷화하여 햅틱 이벤트 패킷을 생성하는 단계; 및
    (d) 상기 햅틱 이벤트 패킷을 통신 네트워크를 통해 수신측으로 송신하는 단계를 포함하며,
    상기 (a) 단계의 상기 우선순위는 상기 협업 가상 환경의 가상 객체의 실제 위치와 데드 레코닝 기법에 의해 예측된 상기 가상 객체의 위치를 비교하여 설정되는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  3. 제 2 항에 있어서,
    상기 (b) 단계는 상기 우선순위가 낮은 경우 상기 송신 대상 햅틱 이벤트를 누락시키고, 우선순위가 중간 단계인 경우에는 상기 통신 네트워크의 상태에 따라 상기 송신 대상 햅틱 이벤트의 전송 여부를 결정하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  4. 제 2 항에 있어서,
    상기 (a) 단계의 상기 우선순위는, 상기 가상 객체와 햅틱 디바이스의 HIP의 거리차에 따른 햅틱모드 우선순위와, 상기 통신 네트워크의 네트워크 손실률을 기반으로 한 손실지연 우선순위로 설정되는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  5. 제 4 항에 있어서,
    상기 햅틱모드 우선순위는 송신측 햅틱 렌더링부로부터 상기 햅틱 디바이스의 상기 HIP 위치와 상기 가상 객체의 위치에 대한 정보를 전달받아 계산되는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  6. 제 4 항에 있어서,
    상기 손실지연 우선순위는 현재 시간에서의 실제 햅틱 이벤트 정보와 과거의 햅틱 이벤트 정보로부터 예측된 예측 햅틱 이벤트 정보와의 차에 상기 현재 네트워크 손실률 정보를 이용한 가중치를 곱하여 계산된 손실지연효과를 바탕으로 설정되는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  7. 제 6 항에 있어서,
    상기 손실지연효과를 계산하기 위한 추정 간격(
    Figure 112007035991514-pat00014
    )은 상기 현재 네트워크 손실률을 L, 특정 상수값을 α로 할 때, 수학식
    Figure 112007035991514-pat00015
    로 결정되는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  8. 제 4 항에 있어서,
    상기 (b) 단계는, 상기 햅틱모드 우선순위와 상기 손실지연 우선순위를 바탕으로 하여 상기 송신 대상 햅틱 이벤트를 필터링하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  9. 제 2 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 (c) 단계는 통신 네트워크 상태에 따라 패킷화 인터벌을 조절하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  10. 제 2 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 (d) 단계에 있어서 상기 송신 대상 햅틱 이벤트의 상기 우선순위가 높은 경우 상기 햅틱 이벤트 패킷에 에러 정정을 위하여 상기 송신 대상 햅틱 이벤트에 대한 여분의 데이터를 포함시키되, 상기 통신 네트워크 상태가 좋지 않은 경우 상기 여분의 데이터를 증가시키는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  11. 제 2 항 내지 제 8 항 중 어느 한 항에 있어서,
    (e) 수신측에서 상기 햅틱 이벤트 패킷을 수신한 후 디패킷화하여 수신 햅틱 이벤트를 추출하는 단계;
    (f) 수신측에서의 플레이아웃 지연을 감소시키기 위하여 상기 수신 햅틱 이벤트 중에서 높은 우선순위를 갖는 상기 수신 햅틱 이벤트의 존재 확률을 이용하여 상기 수신 햅틱 이벤트의 버퍼링 시간을 제어하는 단계; 및
    (g) 수신측에서 데드 레코닝 기법에 의하여 수신측에서의 가상 객체의 이동을 예측하는 단계
    를 추가로 포함하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  12. 제 11 항에 있어서,
    상기 (f) 단계에서의 상기 버퍼링 시간을 결정하기 위한 슬라이드 시간을 설정함에 있어서,
    상기 수신 햅틱 이벤트의 도착 시간을 An, 타켓 출력 시간을 tn, 상기 슬라이드 시간을 ΔSn, 및 기준값을 Th라 할 때,
    ⅰ)An-tn>Th이고, 상기 송신 대상 햅틱 이벤트에 대한 것으로서 에러 정정을 위하여 상기 햅틱 이벤트 패킷에 포함된 여분의 데이터로부터 상기 수신 햅틱 이벤트가 복구되었는지 여부를 검사하여 값이 참인 경우, ΔSn = An-tn로 설정하고,
    ⅱ)그 이외의 경우에는 높은 우선순위를 갖는 상기 수신 햅틱 이벤트의 확률을 Ph라 할 때 상기 슬라이드 시간(ΔSn)은,
    Figure 112008053781477-pat00016
    로서 설정되는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  13. 제 11 항에 있어서,
    상기 (g)단계는, 상기 수신 햅틱 이벤트 중에서 현재 시간에 대응하는 햅틱 이벤트가 버퍼에 존재하는지 점검하여 현재 시간에 대응하는 햅틱 이벤트가 존재하지 않는 경우에, 상기 데드 레코닝 기법을 이용하여 상기 가상 객체의 위치를 예측하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 방법.
  14. 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템에 있어서,
    송신측에는,
    송신 대상 햅틱 이벤트의 우선순위를 설정하는 우선순위 설정부; 및
    상기 우선순위에 기반하여 상기 송신 대상 햅틱 이벤트를 필터링하는 우선순위 기반 필터링부와, 필터링된 상기 송신 대상 햅틱 이벤트들을 통신 네트워크의 상태에 따라 적응적으로 패킷화하여 햅틱 이벤트 패킷을 생성하는 네트워크 적응형 패킷타이저와, 오류 제어를 위한 제 1 에러 제어부와, 상기 통신 네트워크를 통한 전송 상태를 확인하기 위한 제 1 피드백 관리부를 포함하는 송신측 햅틱 이벤트 전송부가 구비되며,
    상기 우선순위 설정부는, 상기 송신측에서 협업 가상 환경의 가상 객체의 실제 위치와 데드 레코닝에 의해 예측된 상기 가상 객체의 위치를 비교하여 소정의 기준값보다 큰 경우 높은 우선순위를 부여하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  15. 제 14 항에 있어서,
    수신측에는,
    상기 제 1 에러 제어부와 연동하여 오류 제어를 수행하는 제 2 에러 제어부와, 상기 햅틱 이벤트 패킷을 디패킷하여 수신 햅틱 이벤트를 추출하는 디패킷타이저와, 상기 수신 햅틱 이벤트 중에서 우선순위가 높은 상기 수신 햅틱 이벤트의 확률을 이용하여 상기 수신 햅틱 이벤트를 버퍼링하는 우선순위 기반 버퍼와, 상기 통신 네트워크를 통한 전송 상태를 확인하기 위한 제 2 피드백 관리부를 포함하는 수신측 햅틱 이벤트 전송부; 및
    상기 데드 레코닝에 기반하여 상기 수신측에서의 상기 가상 객체의 이동을 예측하는 햅틱 이벤트 보상부
    가 포함되는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  16. 삭제
  17. 제 14 항 또는 제 15 항에 있어서,
    상기 우선순위 기반 필터링부는 상기 우선순위가 낮은 경우 상기 송신 대상 햅틱 이벤트를 누락시키는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  18. 제 14 항 또는 제 15 항에 있어서,
    상기 우선순위 기반 필터링부는 상기 통신 네트워크 상태에 따라 패킷화 인터벌을 조절하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  19. 제 14 항 또는 제 15 항에 있어서,
    상기 제 1 에러 제어부는 상기 송신 대상 햅틱 이벤트의 상기 우선순위가 높은 경우 상기 햅틱 이벤트 패킷에 에러 정정을 위하여 상기 송신 대상 햅틱 이벤트에 대한 여분의 데이터를 포함시키되, 상기 통신 네트워크 상태가 좋지 않은 경우 상기 여분의 데이터를 증가시키는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  20. 제 15 항에 있어서,
    상기 우선순위 기반 버퍼는 버퍼링 시간을 결정하기 위한 슬라이드 시간을 설정함에 있어서,
    ⅰ)An-tn>Th이고, 상기 송신 대상 햅틱 이벤트에 대한 것으로서 에러 정정을 위하여 상기 햅틱 이벤트 패킷에 포함된 여분의 데이터로부터 상기 수신 햅틱 이벤트가 복구되었는지 여부를 검사하여 값이 참인 경우, ΔSn = An-tn로 설정하고,
    ⅱ)그 이외의 경우에는 높은 우선순위를 갖는 상기 수신 햅틱 이벤트의 확률을 Ph라 할 때 상기 슬라이드 시간(ΔSn)은,
    Figure 112008053781477-pat00017
    로서 설정하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  21. 제 15 항에 있어서,
    상기 햅틱 이벤트 보상부는, 상기 우선순위 기반 버퍼에 저장된 상기 수신 햅틱 이벤트 중에서 현재 시간에 대응하는 햅틱 이벤트가 존재하는지 점검하여 현재 시간에 대응하는 햅틱 이벤트가 존재하지 않는 경우에 상기 데드 레코닝 기법을 이용하여 현재 시간에서의 상기 수신측에서의 상기 가상 객체의 위치를 예측하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  22. 제 14 항 또는 제 15 항에 있어서,
    상기 우선순위 설정부는, 상기 가상 객체와 햅틱 디바이스의 HIP의 거리차에 따른 햅틱모드 우선순위를 설정하는 햅틱모드 우선순위화부와, 상기 통신 네트워크의 네트워크 손실률을 기반으로 한 손실지연 우선순위를 설정하는 손실지연 우선순위화부를 포함하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  23. 제 22 항에 있어서,
    상기 햅틱모드 우선순위화부는 송신측 햅틱 렌더링부로부터 상기 햅틱 디바이스의 HIP 위치와 상기 가상 객체의 위치에 대한 정보를 전달받는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
  24. 제 22 항에 있어서,
    상기 손실지연 우선순위화부는 상기 제 1 피드백 관리부로부터 상기 네트워크 손실률을 전달받아 추정 간격을 계산하는 추정간격 계산부와, 가중치를 계산하는 가중치 계산부와, 상기 가중치 계산부로부터 전달받은 가중치와 현재 햅틱 이벤트 정보 및 예측된 예측 햅틱 이벤트 정보의 차를 곱하여 손실지연효과를 계산하는 손실지연효과 계산부, 및 상기 손실지연효과를 바탕으로 상기 손실지연 우선순위를 설정하는 손실지연 우선순위 설정부를 포함하는 것을 특징으로 하는 햅틱 기반 협업 가상 환경의 햅틱 이벤트 전송 시스템.
KR1020070047480A 2007-04-30 2007-05-16 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및그 시스템 KR100868775B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070041873 2007-04-30
KR1020070041873 2007-04-30

Publications (2)

Publication Number Publication Date
KR20080097103A KR20080097103A (ko) 2008-11-04
KR100868775B1 true KR100868775B1 (ko) 2008-11-13

Family

ID=40285150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070047480A KR100868775B1 (ko) 2007-04-30 2007-05-16 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및그 시스템

Country Status (1)

Country Link
KR (1) KR100868775B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292375B2 (en) 2012-09-04 2016-03-22 Electronics And Telecommunications Research Institute Memory management method and apparatus for receiving multi channel hybrid automatic repeat request (HARQ) packet

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102367965B1 (ko) * 2019-11-22 2022-02-25 주식회사 코이노 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017704A (ko) * 2001-08-22 2003-03-04 엘지전자 주식회사 데이터전송시스템의 음성패킷신호 누락방지장치 및 그제어방법
JP2004328022A (ja) * 2003-04-21 2004-11-18 Matsushita Electric Ind Co Ltd 無線伝送システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017704A (ko) * 2001-08-22 2003-03-04 엘지전자 주식회사 데이터전송시스템의 음성패킷신호 누락방지장치 및 그제어방법
JP2004328022A (ja) * 2003-04-21 2004-11-18 Matsushita Electric Ind Co Ltd 無線伝送システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292375B2 (en) 2012-09-04 2016-03-22 Electronics And Telecommunications Research Institute Memory management method and apparatus for receiving multi channel hybrid automatic repeat request (HARQ) packet

Also Published As

Publication number Publication date
KR20080097103A (ko) 2008-11-04

Similar Documents

Publication Publication Date Title
KR102077754B1 (ko) 원격 디바이스 입력 동기화를 통한 애플리케이션 환경을 스트리밍하는 방법 및 시스템
CN109819322A (zh) 视频传输方法、装置、计算机可读存储介质及电子设备
CN103181177A (zh) 图像处理系统、图像处理方法、运动图像发送装置、运动图像接收装置、信息存储介质以及程序
US20200351384A1 (en) System and method for managing virtual reality session technical field
US20130050062A1 (en) Apparatus and method for implementing haptic-based networked virtual environment which supports high-resolution tiled display
JP5357752B2 (ja) データ伝送システムおよびその方法
Gokhale et al. HoIP: A point-to-point haptic data communication protocol and its evaluation
EP3542264B1 (en) Streaming application environment with recovery of lost or delayed input events
CN104145253B (zh) 图像发送方法、以及装置
US9501946B1 (en) Systems and methods for stable haptic feedback over packet-switched networks
KR100868775B1 (ko) 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및그 시스템
Selinis et al. On the Internet-scale streaming of holographic-type content with assured user quality of experiences
Fujimoto et al. The effect of stereoscopic viewing of a virtual space on a networked game using haptic media
Pazzi et al. Implementation, measurement, and analysis of an image-based virtual environment streaming protocol for wireless mobile devices
Lee et al. Intra-media synchronization scheme for haptic interactions in distributed virtual environments
KR101133055B1 (ko) 햅틱 데이터를 동기화하는 방법 및 햅틱 시스템
Zhang et al. A multiplayer MR application based on adaptive synchronization algorithm
EP2888660B1 (en) Systems and methods for data synchronization in a network application
CN108667795B (zh) 一种虚拟现实视频的多人分享系统及虚拟现实设备
Tang et al. Distributed haptic interactions with physically based 3d deformable models over lossy networks
Liberatore et al. GiPSiNet: An open source/open architecture network middleware for surgical simulations
Wongwirat et al. Moving average based adaptive buffer for haptic media synchronization in telehaptics
Fujimoto et al. Influences of inter-stream synchronization error on collaborative work in haptic and visual environments
Choi et al. Haptic Interactions for Probing Real Objects in Remote Places
WO2018225245A1 (ja) 送信装置、受信装置、送信方法、受信方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120928

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151002

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee