KR101108145B1 - 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법 - Google Patents

고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법 Download PDF

Info

Publication number
KR101108145B1
KR101108145B1 KR1020100043112A KR20100043112A KR101108145B1 KR 101108145 B1 KR101108145 B1 KR 101108145B1 KR 1020100043112 A KR1020100043112 A KR 1020100043112A KR 20100043112 A KR20100043112 A KR 20100043112A KR 101108145 B1 KR101108145 B1 KR 101108145B1
Authority
KR
South Korea
Prior art keywords
haptic
display
virtual environment
sampling time
based network
Prior art date
Application number
KR1020100043112A
Other languages
English (en)
Other versions
KR20110123564A (ko
Inventor
김종원
이석희
손석호
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020100043112A priority Critical patent/KR101108145B1/ko
Priority to PCT/KR2010/008957 priority patent/WO2011139012A1/ko
Priority to US13/696,715 priority patent/US9041621B2/en
Publication of KR20110123564A publication Critical patent/KR20110123564A/ko
Application granted granted Critical
Publication of KR101108145B1 publication Critical patent/KR101108145B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Abstract

본 발명의 적어도 일 실시예에 따른 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법은 가상 환경상의 햅틱장비 사용자와 하나 이상의 가상 객체들 각각간의 충돌을 감지하고 감지 결과에 상응하는 물리력을 햅틱 장비에 제공하는 햅틱 렌더링 과정을 수행하는 한편, 3차원 데이터인 그 가상 객체들 각각을 2차원상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고 변환된 객체 스트림들 각각마다 우선 순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당하는 그래픽 렌더링 과정을 수행하고, 그 가상 객체들의 객체 스트림들 및 배경 픽셀들을 포함하는 표시 영상을 복수의 디스플레이들(타일드(tiled) 디스플레이부)을 통해 디스플레이함으로써, 햅틱 장비 사용자가 보다 시각적으로 몰입될 수 있음은 물론 촉각적으로도 몰입될 수 있는 가상환경을 한정된 자원을 활용하여서도 효과적으로 구현할 수 있다.

Description

고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법 {Apparatus and method for cost effective haptic-based Networked Virtual Environments with High Resolution Display}
본 발명은 햅틱에 관한 것으로 보다 상세하게는 햅틱기반 네트워크 가상환경(haptic-based Networked Virtual Environments)의 구현에 관한 것이다.
컴퓨팅 파워(computing power), 네트워크 용량, 사용자 몰입 가능 디스플레이 기술 등의 발전에 힘입어 현대인은 가정이나 직장에서 네트워크 가상환경(NVE : Networked Virtual Environments)과 같은 차세대 어플리케이션을 접할 수 있게 되었다. 네트워크 가상환경은 비록 다수의 사용자들이 전 세계에 분산되어 위치할지라도 서로 실시간으로 상호 교류할 수 있도록 하는 환경을 의미하며, 현실감 있는 3차원 그래픽 데이터와 스테레오 사운드 데이터를 결합함으로써 구현되며 사용자가 몰입 가능한 환경이다.
한편 햅틱 기술은 휴먼 컴퓨터 분야(human-computer interaction)에서 특히 주목받고 있는 기술이다. 햅틱 기술은 피드백으로서 사용자에게 물리력을 가하여 사용자가 가상 환경(virtual environments)에 보다 몰입될 수 있도록 한다.
이러한 햅틱 기술이 네트워크 가상환경에 결합되어 구현된 햅틱기반 네트워크 가상환경은 사용자가 기존의 일반적인 네트워크 가상환경의 경우보다 더욱 몰입할 수 있는 가상환경인바 최근 매우 각광받고 있다.
다만 현재의 햅틱기반 네트워크 가상환경 구현 방안은 고해상도 타일드(tiled) 디스플레이를 지원하는 햅틱기반 네트워크 가상환경을 효율적으로 구현하기 위한 방안과 가상환경 구현하는 자원(제한된 자원)을 효율적으로 사용하기 위한 방안을 제시하지 못하는 문제점을 갖고 있다.
이를 보다 구체적으로 설명하면 다음과 같다.
다양한 종류의 디스플레이들을 통합하여 사용자가 원하는 조합의 디스플레이로서 기능할 수 있도록 하는 타일드 디스플레이 시스템에 관한 발명은 현재 활발히 이루어지고 있지만, 햅틱기반 네트워크 가상환경 시스템을 고해상도 타일드 디스플레이 상에서 재생하기 위한 연구는 아직 미흡하다. 한편 사용자에게 안정적으로 촉감 정보를 제공하기 위해서는 1 kHz 이상의 갱신률을 가지는 햅틱 랜더링 프로세스가 필요하다. 또한 가상 환경에 대한 사용자의 시각적인 몰입감을 위해서는 고해상도 타일드 디스플레이를 구성하는 다수의 디스플레이들을 동기화하고 적정 수준의 프레임률 (30 fps)을 제공하는 그래픽 랜더링 프로세스가 필요하다. 하지만 시스템의 하드웨어적 성능은 제한되어 있기 때문에 두 프로세스를 안정적으로 실행하기에 한계가 있는 것이며, 현재의 햅틱기반 네트워크 가상환경 구현 방안은 이와 같은 한계를 극복하기 위한 방안을 제시하지 못하고 있는 것이다.
본 발명의 적어도 일 실시예가 이루고자 하는 기술적 과제는, 제한된 자원을 효율적으로 사용함으로써 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경을 효율적으로 구현할 수 있는 햅틱 기반 네트워크 가상환경 구현 장치를 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 다른 기술적 과제는, 제한된 자원을 효율적으로 사용함으로써 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경을 효율적으로 구현할 수 있는 햅틱 기반 네트워크 가상환경 구현 방법을 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 또 다른 기술적 과제는 제한된 자원을 효율적으로 사용함으로써 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경을 효율적으로 구현할 수 있는 햅틱 기반 네트워크 가상환경 구현 방안을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치는 가상 환경상의 햅틱 장비 사용자와 하나 이상의 가상 객체들 각각간의 충돌을 감지하고, 감지 결과에 상응하는 물리력을 상기 햅틱 장비에 제공하는 햅틱 렌더링부; 3차원 데이터인 상기 가상 객체들 각각을 2차원상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고 변환된 객체 스트림들 각각마다 우선 순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당하는 그래픽 렌더링부; 및 복수의 디스플레이들로서 구현되고, 상기 객체 스트림들 각각을 해당 상기 우선 순위 및 상기 프레임 레이트에 따라 전달받고, 상기 디스플레이들 각각은 상기 가상 객체들의 상기 객체 스트림들 및 배경 픽셀들을 포함하는 표시 영상 중 상기 디스플레이들 각각에 해당하는 영역의 영상을 디스플레이하는 타일드 디스플레이부를 포함한다.
여기서, 상기 그래픽 렌더링부는 상기 가상 객체들을 포함하는 3차원 영상을 상기 객체 스트림들을 포함한 2차원 영상인 상기 표시 영상으로 변환하는 프로젝팅부; 및 상기 디스플레이들이 일체로서 상기 표시 영상을 디스플레이 하도록 상기 디스플레이들 각각에 상기 표시 영상 중 일부 영상을 할당하고 상기 디스플레이들 각각에 해당 상기 일부 영상을 제공하는 픽셀 분배부를 포함한다.
여기서, 상기 픽셀 분배부는 상기 객체 스트림들 각각을 추적하며 상기 객체 스트림들 각각에 사용자 선호 정보에 상응하는 우선 순위를 할당하는 객체근간 장면 세그먼테이션부; 및 현재의 햅틱 샘플링 시간을 고려하여 상기 객체 스트림들 각각에 프레임 레이트를 할당하는 프레임 레이트 제어부를 포함한다.
여기서, 상기 프레임 레이트 제어부는 상기 현재의 햅틱 샘플링 시간을 최대 허용가능 샘플링 시간 또는 최소 허용가능 샘플링 시간과 대비하고 대비 결과에 따라 동작한다.
여기서, 상기 프레임 레이트 제어부는 상기 현재의 햅틱 샘플링 시간이 최대 허용가능 샘플링 시간을 초과하는 경우 상기 프레임 레이트의 수치를 일정 수치만큼 감소하고, 상기 현재의 햅틱 샘플링 시간이 최소 허용가능 샘플링 시간 미만인 경우 상기 프레임 레이트를 일정 수치만큼 증가한다.
여기서, 상기 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치는 상기 객체 스트림들과 상기 배경 픽셀들을 결합하여 상기 표시 영상을 생성하는 표시 클러스터를 더 포함한다.
여기서, 하나 이상의 상기 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치들이 서버에 연결되며, 상기 가상 객체들의 위치 정보는 상기 서버가 상기 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치들 각각에 제공한 정보이다.
상기 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법은 (a)가상 환경상의 햅틱 장비 사용자와 하나 이상의 가상 객체들 각각간의 충돌을 감지하고, 감지 결과에 상응하는 물리력을 상기 햅틱 장비에 제공하는 단계; (b) 3차원 데이터인 상기 가상 객체들 각각을 2차원상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고 변환된 객체 스트림들 각각마다 우선 순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당하는 단계; 및 (c) 상기 객체 스트림들 각각을 해당 상기 우선 순위 및 상기 프레임 레이트에 따라 전달받고, 복수의 디스플레이들 각각이 상기 가상 객체들의 상기 객체 스트림들 및 배경 픽셀들을 포함하는 표시 영상 중 상기 디스플레이들 각각에 해당하는 영역의 영상을 디스플레이하는 단계를 포함한다.
여기서, 상기 (b) 단계는 (b1) 상기 가상 객체들을 포함하는 3차원 영상을 상기 객체 스트림들을 포함한 2차원 영상인 상기 표시 영상으로 변환하는 단계; 및 (b2) 상기 디스플레이들이 일체로서 상기 표시 영상을 디스플레이 하도록 상기 디스플레이들 각각에 상기 표시 영상 중 일부 영상을 할당하고 상기 디스플레이들 각각에 해당 상기 일부 영상을 제공하는 단계를 포함한다.
여기서 상기 (b2) 단계는 (b21) 상기 객체 스트림들 각각을 추적하며 상기 객체 스트림들 각각에 사용자 선호 정보에 상응하는 우선 순위를 할당하는 단계; 및 (b22) 현재의 햅틱 샘플링 시간을 고려하여 상기 객체 스트림들 각각에 프레임 레이트를 할당하는 단계를 포함한다.
여기서, 상기 (b22) 단계는 상기 현재의 햅틱 샘플링 시간을 최대 허용가능 샘플링 시간 또는 최소 허용가능 샘플링 시간과 대비하고 대비 결과에 따라 수행된다.
여기서, 상기 (b22) 단계는 상기 현재의 햅틱 샘플링 시간이 최대 허용가능 샘플링 시간을 초과하는 경우 상기 프레임 레이트의 수치를 일정 수치만큼 감소하고, 상기 현재의 햅틱 샘플링 시간이 최소 허용가능 샘플링 시간 미만인 경우 상기 프레임 레이트를 일정 수치만큼 증가한다.
여기서, 상기 객체 스트림들과 상기 배경 픽셀들을 결합하여 상기 표시 영상을 생성하는 단계를 더 포함하고, 상기 (c) 단계는 상기 생성된 표시 영상을 디스플레이한다.
여기서, 상기 가상 객체들의 위치 정보는 상기 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법이 수행되는 장치가 서버로부터 제공받은 정보이다.
상기 또 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 컴퓨터로 읽을 수 있는 기록매체는, 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법은 가상 환경상의 햅틱 장비 사용자와 하나 이상의 가상 객체들 각각간의 충돌을 감지하고, 감지 결과에 상응하는 물리력을 상기 햅틱 장비에 제공하는 단계; 3차원 데이터인 상기 가상 객체들 각각을 2차원상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고 변환된 객체 스트림들 각각마다 우선 순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당하는 단계; 및 상기 객체 스트림들 각각을 해당 상기 우선 순위 및 상기 프레임 레이트에 따라 전달받고, 복수의 디스플레이들 각각이 상기 가상 객체들의 상기 객체 스트림들 및 배경 픽셀들을 포함하는 표시 영상 중 상기 디스플레이들 각각에 해당하는 영역의 영상을 디스플레이하는 단계를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한다.
본 발명의 적어도 일 실시예에 따르면 제한된 자원을 효율적으로 사용함으로써 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경을 효율적으로 구현할 수 있다. 이로써 본 발명에 따르면 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경의 구축 시에 비용효율을 높일 수 있는 효과가 있다.
도 1은 본 발명의 적어도 일 실시예에 따른 햅틱 기반 네트워크 가상환경 구현 장치의 시스템도이다.
도 2는 본 발명의 적어도 일 실시예에 따른 자원 운용 방안을 도 1을 이용하여 설명하기 위한 참고도이다.
도 3은 본 발명의 적어도 일 실시예에 따른 우선 순위 할당의 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 적어도 일 실시예에 따른 프레임 레이트 제어 원리를 설명하기 위한 플로우챠트이다.
도 5는 도 1에 대응되는 플로우챠트로서 본 발명의 적어도 일 실시예에 따른 햅틱기반 네트워크 가상환경 구현 방법을 나타내는 플로우챠트이다.
도 6은 도 3에 따라 우선 순위 할당 원리를 설명할 때의 참고도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.
이하, 본 발명의 적어도 일 실시예 의한 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명의 적어도 일 실시예에 따른 햅틱 기반 네트워크 가상환경 구현 장치의 시스템도이다.
도 1에 도시된 바에 따르면, 서버(110)에 클라이언트(120)가 네트워크 상에 연결되어 있다. 도 1에 따르면, 서버(110)에 하나의 클라이언트(120)만 연결되어 있으나 이는 설명의 편의를 위한 것에 간략 도시된 것에 불과하며, 실제 구현례상에서는 서버(110)에 복수의 클라이언트(120)들이 연결되어 있을 수 있다. 여기서 네트워크는 WAN(Wide Area Network)일 수 있다. 이하에서는, 도 1에 도시된 바대로 서버(110)에 하나의 클라이언트(120)가 연결되어 있으며, 클라이언트(120) 측에는 햅틱(haptic) 장비가 마련되어 있고, 햅틱 장비 사용자는 햅틱 장비의 조작을 통해 가상 환경을 느끼거나 운영할 수 있으며 가상 환경상에는 여러 가상 객체들이 존재한다고 가정한다. 예를 들어, 햅틱 장비 사용자는 다수의 다른 사용자들과 함께 가상 환경상에서 자동차 경주를 즐기는 상황 하의 사용자이다.
햅틱 장비 사용자가 햅틱 장비를 조작하면(움직이면), 햅틱 장비의 HIP(Haptic Interaction Point)도 그에 따라 움직이게 된다. HIP란 햅틱 장비상의 일정 지점(tip point)이 가상 환경상에 투영된 가상 지점을 의미한다.
서버(110)는 햅틱 장비 사용자에 의해 조작되는 햅틱 장비의 조작 내용(엄밀히 말하면, HIP 위치의 변동 내용)은 서버(110)에 전달되며 서버(110)는 가상 환경 상의 햅틱 장비 사용자(엄밀하게는, 햅틱 장비 사용자가 조작하는 햅틱 장비의 HIP)와 가상 객체간의 충돌을 감지한다. 본 명세서에서, 가상 객체는 가상 환경 하에 하나 이상 존재하며, 앞서 언급한 가상 자동차 경주 게임 상의 장애물들 모두가 가상 객체들의 일 례가 된다. 가상 객체는 3차원 데이터일 수 있다.
만일, 서버(110)에 복수의 클라이언트(120)들이 연결되어 있다면, 서버(110)는 그 복수의 클라이언트(120)들 모두로부터 각각의 HIP 변동 데이터를 수집한 후, 클라이언트(120)들 각각의 HIP와 가상 객체간의 충돌을 감지한다.
서버(110)는 가상 객체와 가상 환경상의 햅틱 장비 사용자(엄밀하게는, HIP)간의 충돌을 감지한 경우, 다음의 수학식 1에서의 spring-damper 모델을 이용하여 그 충돌된 가상 객체로부터 가상 환경상의 햅틱 장비 사용자가 피드백(feedback)으로서 받게 되는 물리력을 계산한다.
Figure 112010029540173-pat00001
여기서, fe(n)은 햅틱 장비 사용자가 피드백으로서 받게 되는 물리력을 의미하고,
Figure 112010029540173-pat00002
,
Figure 112010029540173-pat00003
,
Figure 112010029540173-pat00004
, K, B, d1 각각은 서버(110)로 전달된 '지연된 HIP 위치'값, 클라이언트(120) 측 HIP의 위치값, (충돌된) 가상 객체의 위치값, 스프링 계수, 댐핑 계수, 클라이언트(120)에서 서버(110)로의 경로 지연값 각각을 의미한다.
서버(110)는 그러한 피드백 물리력을 계산한 뒤, 가상 객체의 갱신된 위치를 다음의 수학식 2를 통해 계산한다.
Figure 112010029540173-pat00005
여기서,
Figure 112010029540173-pat00006
,
Figure 112010029540173-pat00007
각각은 가상 객체의 mass, friction 각각을 의미하고, 우측항은 서버(110)에 연결된 하나 이상의 클라이언트(120)들 각각에 의해 발생된 피드백 물리력의 총 합을 의미한다. 이와 같이 갱신된 가상 객체 위치값은 서버(110)에 연결된 모든 클라이언트(120)들에 전달된다.
클라이언트(120)는 어플리케이션 노드(application node)(130), 표시 클러스터(164), 타일드 디스플레이(166)를 포함한다. 여기서, 어플리케이션 노드(130)는 햅틱 렌더링부(haptic rendering (controller))(140), 그래픽 렌더링부(graphic rendering)(150), 타일드 디스플레이 제어부(160)를 포함하고 그래픽 렌더링부(150)는 프로젝팅부(projection)(152), 및 픽셀 분배부(pixel distribution)(154)를 포함한다. 어플리케이션 노드(130)는 햅틱 장비 사용자가 사용하는 컴퓨터(예를 들어, 개인용 컴퓨터)로서 구현될 수도 있다.
어플리케이션 노드(130)는 서버(110)로부터 전달받은 가상 객체를 그대로 사용할 뿐 그 가상 객체의 현 위치에 대해 (재차) 계산하지 않는다.
햅틱 렌더링부(140)는 가상 환경상의 햅틱 장비 사용자(엄밀하게는, HIP) 와 하나 이상의 가상 객체들 각각간의 충돌을 감지하고 감지된 결과에 상응하는 물리력(fd)을 다음의 수학식 3을 통해 계산한다. 여기서, 물리력(fd) 이란 햅틱 장비가 받는 물리력을 의미하고, 햅틱 장비 사용자가 HIP가 가상 객체와 충돌함으로써 느낄 물리력을 햅틱 장비 사용자에게 제공하고자 햅틱 장비에 가해지는 물리력을 의미하며, 이는 햅틱 렌더링부(140)에 의해 발생된다.
Figure 112010029540173-pat00008
여기서,
Figure 112010029540173-pat00009
,
Figure 112010029540173-pat00010
각각은 햅틱 장비의 HIP 위치, 서버(110)로부터 클라이언트(120)로의 경로 지연값 각각을 의미한다.
그래픽 렌더링부(150)는 (3차원 데이터인) '가상 객체들' 및 '가상 환경의 배경'을 2차원 화면상에 표시하기 위한 그래픽 렌더링 작업을 수행한다. 본 명세서에서, 표시 영상은 그래픽 렌더링부(150)가 그러한 그래픽 렌더링 작업 결과 생성한 2차원 영상 데이터를 의미하고, 객체 스트림(object stream)이란 '가상 환경상에서 햅틱 장비의 HIP를 표현하는 3차원 데이터' 또는 '3차원 데이터인 가상 객체'에 대해 그러한 그래픽 렌더링 작업이 수행된 결과로서의 데이터를 의미하고, 배경 픽셀이란 표시 영상에서 가상 환경의 배경(background)에 해당하는 픽셀을 의미한다.
본 발명의 적어도 일 실시예에 따른 그래픽 렌더링부(150)는 3차원 데이터인 가상 객체들 각각을 2차원상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고 변환된 객체 스트림들 각각마다 우선 순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당한다.
한편 그래픽 렌더링부(150)는 프로젝팅부(152) 및 픽셀 분배부(154)를 포함한다.
프로젝팅부(152)는 가상 객체들을 포함하는 3차원 영상을 어떠한 일정 평면에 프로젝팅함으로써 그 3차원 영상을 객체 스트림들을 포함한 2차원 영상인 표시 영상으로 변환한다.
픽셀 분배부(154)는 타일드 디스플레이부(166)를 구성하는 디스플레이들이 일체로서 그 하나의 표시 영상을 디스플레이 하도록 그 디스플레이들 각각에 그 하나의 표시 영상 중 일부 영상을 할당하고 그 디스플레이들 각각에 해당 일부 영상을 제공한다.
픽셀 분배부(154)가 표시 영상을 타일드 디스플레이부(166)의 디스플레이들 각각에 어떻게 할당 및 분배하는지에 대해서는 타일드 디스플레이 제어부(160)에 의해 결정되고, 이에 따라, 픽셀 분배부(154)의 동작은 타일드 디스플레이 제어부(160)에 의해 제어된다.
타일드 디스플레이 제어부(tiled display controller)(160)는 타일드 디스플레이부(166)의 디스플레이들 각각이 해당 일부 영상의 디스플레이를 개시하는 시점의 시간차를 최소화하기 위해 표시 클러스터(display cluster)(164)를 제어한다.
표시 클러스터(164)는 픽셀 분배부(154)로부터 표시 영상의 픽셀들을 랜(162)을 통해 전달받고, 픽셀 분배부(154)에서 분배된 바에 따라 그 하나의 표시 영상을 타일드 디스플레이부(tiled display)(166)의 디스플레이들을 통해 디스플레이한다.
즉, 타일드 디스플레이부(166)는 디스플레이들로서 구현되고 그 디스플레이들 각각은 가상 객체들의 객체 스트림들 및 배경 픽셀들을 포함하는 표시 영상 중 그 디스플레이들 각각에 해당하는 영역의 영상을 디스플레이한다.
타일드 디스플레이부(166)는 그래픽 렌더링부(150)로부터 객체 스트림들 각각을 해당 우선 순위 및 프레임 레이트에 따라 전달받고 타일드 디스플레이부(166)의 디스플레이들 각각은 표시 영상 중 그 디스플레이들 각각에 해당하는 영역의 영상을 디스플레이한다.
한편, 햅틱 장비 사용자는 타일드 디스플레이부(166)의 디스플레이들의 디스플레이 패턴을 사용자가 원하는 대로 변경할 수 있다. 디스플레이 패턴이란, 예컨대 표시 영상을 움직이며 디스플레이할지 아니면, 축소/확대하여 디스플레이할지 아니면, 회전시켜 디스플레이할지 등의 디스플레이 형태를 의미한다. 이러한 변경된 디스플레이 패턴은 타일드 디스플레이 제어부(160), 및 표시 클러스터(164)를 통해 타일드 디스플레이부(166)의 동작에 반영될 수 있다.
도 2는 본 발명의 적어도 일 실시예에 따른 자원 운용 방안을 도 1을 이용하여 설명하기 위한 참고도이고, 도 3은 본 발명의 적어도 일 실시예에 따른 우선 순위 할당의 원리를 설명하기 위한 도면이고, 도 4는 본 발명의 적어도 일 실시예에 따른 프레임 레이트 제어 원리를 설명하기 위한 플로우챠트이다.
앞서 설명한 바와 같이 햅틱기반 가상환경 구현 장치의 하드웨어적 성능은 제한되어 있기 마련이므로, 햅틱 렌더링 프로세스와 그래픽 렌더링 프로세스 모두를 안정적으로 실행하기에는 한계가 있다. 따라서 본 발명은 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 시스템을 효율적으로 구축하기 위한 시스템을 도 1에서와 같이 제안하는 바이며 이와 함께 도 2에서와 같이 '제한된 자원을 효율적으로 사용하는 기법'도 제안한다. 이하 상술한다.
본 발명의 적어도 일 실시예에 따른 자원 운용 방안을 이하의 본 명세서에서는 '객체기반 디스플레이 스킴(object-based display scheme)'이라 명명한다.
본 발명의 적어도 일 실시예에 따른 어플리케이션 노드(130)는 객체기반 디스플레이 스킴에 따라 자원을 운용함으로써, 햅틱 장비 사용자가 보다 시각적으로 몰입될 수 있음은 물론 촉각적으로도 몰입될 수 있는 가상환경을 '한정된 자원'을 활용하여서도 효과적으로 구현할 수 있는 것이다.
구체적으로, 본 발명의 적어도 일 실시예에 따른 어플리케이션 노드(130)는 가상 환경상의 햅틱 장비 사용자와 하나 이상의 가상 객체들 각각간의 충돌을 감지하고 감지 결과에 상응하는 물리력을 햅틱 장비에 제공하는 햅틱 렌더링 과정을 수행하는 한편, 도 6에 도시한 바와 같이 3차원 데이터인 그 가상 객체들 각각을 도면부호 210과 같이 2차원 상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고 변환된 객체 스트림들(220) 각각마다 우선순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당하는 그래픽 렌더링 과정을 수행하고, 그 가상 객체의 객체 스트림들(230)과 배경 픽셀들(240)을 포함하는 표시 영상(250)을 복수의 디스플레이들(타일드(tiled) 디스플레이부(166))을 통해 디스플레이함으로써, 햅틱 장비 사용자가 보다 시각적으로 몰입될 수 있음은 물론 촉각적으로도 몰입될 수 있는 가상환경을 '한정된 자원'을 활용하여서도 효과적으로 구현할 수 있다. 상기에서, 도면 부호 230의 객체 스트림들은 서로 다른 프레임률을 갖는 복수개의 객체 스트림들(multiple object streams with differnet frame rates)로서, 우선순위 값이 다른 오브젝트 픽셀들(object pixels with different priorities)을 의미한다.
이를 위해, 픽셀 분배부(154)는 객체근간 장면 세그먼테이션부(object-based scene segmentation)(156)와 프레임 레이트 제어부(frame rate control)(158)를 포함한다.
객체근간 장면 세그먼테이션부(156)는 객체 스트림들 각각을 추적하며(object tracking) 그 객체 스트림들 각각에 사용자 선호 정보(user preference information)에 상응하는 우선순위를 할당한다(priority assignment). 도 3을 예로 들어 설명하면, 햅틱 장비 사용자는 햅틱 장비를 조작하는 동안에는 햅틱 장비의 HIP가 디스플레이되는 것에 대해 가장 큰 관심을 갖기 마련이고(이를 표현하는 것이 도 3에 기재된 "Priority 1, contact 'yes or no'(=HIP는 가상 객체와 충돌한 상황 하의 HIP일 수도 있고 충돌하지 않은 상황 하의 HIP일 수도 있음), Object=HIP(즉, 우선순위 1의 객체 스트림은 햅틱 장비의 HIP임)"임) 그 다음으로 관심을 갖는 것은 'HIP에 보다 근접한 가상 객체의 객체 스트림이 HIP에 덜 근접한 가상 객체의 객체 스트림보다 먼저 혹은 최소한 동시에는 디스플레이 되는 것'이기 마련이다(이를 표현하는 것이 도 3의 "Priority 1, object= contact object with HIP", ..., "Priority (N-1), object= Nth object from HIP").
프레임 레이트 제어부(158)는 햅틱 샘플링 타임을 모니터링하며(haptic sampling time monitoring), 현재의 햅틱 샘플링 시간(Tc)을 고려하여 객체 스트림들 각각에 프레임 레이트를 할당한다(frame rate assignment).
구체적으로, 프레임 레이트 제어부(158)는 현재의 햅틱 샘플링 시간(Tc)을 최대 허용가능 샘플링 시간(Tmax) 또는 최소 허용가능 샘플링 시간(Tmin)과 대비하고 대비 결과에 따라 동작한다.
보다 구체적으로, 프레임 레이트 제어부(158)는 '우선순위 i'의 객체 스트림을 디스플레이하기 위한 '프레임 레이트(Ri)', 즉, '우선순위 i의 객체 스트림이 타일드 디스플레이부(166)에 제공되는 프레임률(frame rate)' 역시 제어할 수 있는데, 이를 상세히 설명하면, 현재의 햅틱 샘플링 시간(Tc)이 최대 허용가능 샘플링 시간(Tmax)을 초과하는 경우 프레임 레이트(Ri)의 수치를 일정 수치만큼 감소하고(Ri-1), 현재의 햅틱 샘플링 시간(Tc)이 최소 허용가능 샘플링 시간(Tmin) 미만인 경우 프레임 레이트(Ri)를 일정 수치만큼 증가한다(Ri+1), 현재의 햅틱 샘플링 시간(Tc)이 최대 허용가능 샘플링 시간(Tmax)을 초과하지 않으면서 최소 허용가능 샘플링 시간(Tmin) 이상인 경우에는 프레임 레이트(Ri) 값을 조정하지 않고 그대로 사용한다(도 4 참조). Tmax, Tmin 각각은 미리 설정된 값이다. 여기서 부연 설명하면, Tc>Tmax 인 경우는 햅틱기반 네트워크 가상환경 시스템이 불안정한(unstable) 상태에 있는 경우이고 이 경우는 이상에서 설명한 프레임 레이트 조절 기법(객체기반 디스플레이 스킴)이 햅틱 렌더링 과정에 보다 많은 자원을 할당하고자 프레임 레이트(Ri)의 값을 상기한 바와 같이 줄이는 것이다. 이와 비슷하게, 만일 Tc<Tmin 인 경우는 햅틱기반 네트워크 가상환경 시스템이 안정(stable)한 상태이고, 이 경우는 그래픽 프레임 레이트가 (햅틱 장비) 사용자가 가상 환경에 몰입되는 것을 방해 받을 정도로 너무 낮은 경우이므로 이상에서 설명한 프레임 레이트 조절 기법(객체기반 디스플레이 스킴)이 그래픽 렌더링 과정에 보다 많은 자원을 할당하고자 프레임 레이트(Ri)의 값을 상기한 바와 같이 늘리는 것이다.
한편, 표시 클러스터(164)는 객체 스트림들과 배경 픽셀들을 결합하여 표시 영상을 생성한다.
도 5는 도 1에 대응되는 플로우챠트로서 본 발명의 적어도 일 실시예에 따른 햅틱기반 네트워크 가상환경 구현 방법을 나타내는 플로우챠트이다.
우선, 본 발명의 적어도 일 실시예에 의한 햅틱기반 네트워크 가상환경 구현 장치는 가상 환경상의 햅틱 장비 사용자 및 하나 이상의 가상 객체들 각각간의 충돌을 감지하고, 감지 결과에 상응하는 물리력을 햅틱 장비에 제공한다(제510 단계).
제510 단계 후에, 본 발명의 적어도 일 실시예에 의한 햅틱기반 네트워크 가상환경 구현 장치는 3차원 데이터인 그 가상 객체들 각각을 2차원상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고, 변환된 객체 스트림들 각각마다 우선순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당한다(제520 단계).
제520 단계 후에, 본 발명의 적어도 일 실시예에 의한 햅틱기반 네트워크 가상환경 구현장치의 복수의 디스플레이들 각각은 그 가상 객체들의 그 객체 스트림들 및 배경 픽셀들을 포함하는 표시 영상 중 그 디스플레이들 각각에 해당하는 영역의 영상을 디스플레이한다(제530 단계).
이상에서 언급된 본 발명에 의한 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다.
여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.
110 : 서버 120 : 클라이언트
130 : application node 140 : Haptic rendering (Controller)
150 : Graphic rendering 152 : 프로젝팅부
154 : 픽셀 분배부 156 : Object-based scene segmentation
158 : Frame rate control 160 : 타일드 디스플레이 제어부
162 : LAN 164 : 표시 클러스터
166 : Tiled display

Claims (15)

  1. 가상 환경상의 햅틱 장비 사용자와 하나 이상의 가상 객체들 각각간의 충돌을 감지하고, 감지 결과에 상응하는 물리력을 상기 햅틱 장비에 제공하는 햅틱 렌더링부;
    3차원 데이터인 상기 가상 객체들 각각을 2차원상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고 변환된 객체 스트림들 각각마다 우선 순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당하는 그래픽 렌더링부; 및
    복수의 디스플레이들로서 구현되고, 상기 객체 스트림들 각각을 해당 상기 우선 순위 및 상기 프레임 레이트에 따라 전달받고, 상기 디스플레이들 각각은 상기 가상 객체들의 상기 객체 스트림들 및 배경 픽셀들을 포함하는 표시 영상 중 상기 디스플레이들 각각에 해당하는 영역의 영상을 디스플레이하는 타일드 디스플레이부를 포함하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치.
  2. 제1 항에 있어서, 상기 그래픽 렌더링부는
    상기 가상 객체들을 포함하는 3차원 영상을 상기 객체 스트림들을 포함한 2차원 영상인 상기 표시 영상으로 변환하는 프로젝팅부; 및
    상기 디스플레이들이 일체로서 상기 표시 영상을 디스플레이 하도록 상기 디스플레이들 각각에 상기 표시 영상 중 일부 영상을 할당하고 상기 디스플레이들 각각에 해당 상기 일부 영상을 제공하는 픽셀 분배부를 포함하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치.
  3. 제2 항에 있어서, 상기 픽셀 분배부는
    상기 객체 스트림들 각각을 추적하며 상기 객체 스트림들 각각에 사용자 선호 정보에 상응하는 우선 순위를 할당하는 객체근간 장면 세그먼테이션부; 및
    현재의 햅틱 샘플링 시간을 고려하여 상기 객체 스트림들 각각에 프레임 레이트를 할당하는 프레임 레이트 제어부를 포함하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치.
  4. 제3 항에 있어서, 상기 프레임 레이트 제어부는
    상기 현재의 햅틱 샘플링 시간을 최대 허용가능 샘플링 시간 또는 최소 허용가능 샘플링 시간과 대비하고 대비 결과에 따라 동작하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치.
  5. 제3 항에 있어서, 상기 프레임 레이트 제어부는
    상기 현재의 햅틱 샘플링 시간이 최대 허용가능 샘플링 시간을 초과하는 경우 상기 프레임 레이트의 수치를 일정 수치만큼 감소하고, 상기 현재의 햅틱 샘플링 시간이 최소 허용가능 샘플링 시간 미만인 경우 상기 프레임 레이트를 일정 수치만큼 증가하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치.
  6. 제1 항에 있어서,
    상기 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치는 상기 객체 스트림들과 상기 배경 픽셀들을 결합하여 상기 표시 영상을 생성하는 표시 클러스터를 더 포함하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치.
  7. 제1 항에 있어서, 하나 이상의 상기 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치들이 서버에 연결되며, 상기 가상 객체들의 위치 정보는 상기 서버가 상기 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치들 각각에 제공한 정보인 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치.
  8. (a) 가상 환경상의 햅틱 장비 사용자와 하나 이상의 가상 객체들 각각간의 충돌을 감지하고, 감지 결과에 상응하는 물리력을 상기 햅틱 장비에 제공하는 단계;
    (b) 3차원 데이터인 상기 가상 객체들 각각을 2차원상에 디스플레이하기 위한 2차원 데이터인 객체 스트림으로 변환하고 변환된 객체 스트림들 각각마다 우선 순위 및 프레임 레이트를 기 설정된 할당 기준에 따라 할당하는 단계; 및
    (c) 상기 객체 스트림들 각각을 해당 상기 우선 순위 및 상기 프레임 레이트에 따라 전달받고, 복수의 디스플레이들 각각이 상기 가상 객체들의 상기 객체 스트림들 및 배경 픽셀들을 포함하는 표시 영상 중 상기 디스플레이들 각각에 해당하는 영역의 영상을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법.
  9. 제8 항에 있어서, 상기 (b) 단계는
    (b1) 상기 가상 객체들을 포함하는 3차원 영상을 상기 객체 스트림들을 포함한 2차원 영상인 상기 표시 영상으로 변환하는 단계; 및
    (b2) 상기 디스플레이들이 일체로서 상기 표시 영상을 디스플레이 하도록 상기 디스플레이들 각각에 상기 표시 영상 중 일부 영상을 할당하고 상기 디스플레이들 각각에 해당 상기 일부 영상을 제공하는 단계를 포함하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법.
  10. 제9 항에 있어서, 상기 (b2) 단계는
    (b21) 상기 객체 스트림들 각각을 추적하며 상기 객체 스트림들 각각에 사용자 선호 정보에 상응하는 우선 순위를 할당하는 단계; 및
    (b22) 현재의 햅틱 샘플링 시간을 고려하여, 상기 객체 스트림들 각각에 프레임 레이트를 할당하는 단계를 포함하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법.
  11. 제10 항에 있어서, 상기 (b22) 단계는
    상기 현재의 햅틱 샘플링 시간을 최대 허용가능 샘플링 시간 또는 최소 허용가능 샘플링 시간과 대비하고 대비 결과에 따라 수행되는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법.
  12. 제10 항에 있어서, 상기 (b22) 단계는
    상기 현재의 햅틱 샘플링 시간이 최대 허용가능 샘플링 시간을 초과하는 경우 상기 프레임 레이트의 수치를 일정 수치만큼 감소하고, 상기 현재의 햅틱 샘플링 시간이 최소 허용가능 샘플링 시간 미만인 경우 상기 프레임 레이트를 일정 수치만큼 증가하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법.
  13. 제 8 항에 있어서,
    상기 (b) 단계와 상기 (c) 단계의 중간 단계로서,
    상기 객체 스트림들과 상기 배경 픽셀들을 결합하여 상기 표시 영상을 생성하는 단계
    를 더욱 포함하는 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법.
  14. 제8 항에 있어서, 상기 가상 객체들의 위치 정보는 상기 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법이 수행되는 장치가 서버로부터 제공받은 정보인 것을 특징으로 하는 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 방법.
  15. 제8 항 내지 제14 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100043112A 2010-05-07 2010-05-07 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법 KR101108145B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100043112A KR101108145B1 (ko) 2010-05-07 2010-05-07 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법
PCT/KR2010/008957 WO2011139012A1 (ko) 2010-05-07 2010-12-15 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법
US13/696,715 US9041621B2 (en) 2010-05-07 2010-12-15 Apparatus and method for implementing haptic-based networked virtual environment which supports high-resolution tiled display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100043112A KR101108145B1 (ko) 2010-05-07 2010-05-07 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110123564A KR20110123564A (ko) 2011-11-15
KR101108145B1 true KR101108145B1 (ko) 2012-02-06

Family

ID=44903855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100043112A KR101108145B1 (ko) 2010-05-07 2010-05-07 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법

Country Status (3)

Country Link
US (1) US9041621B2 (ko)
KR (1) KR101108145B1 (ko)
WO (1) WO2011139012A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8830188B2 (en) * 2011-06-21 2014-09-09 Microsoft Corporation Infrastructural haptics on wall scale interactive displays
US20150269258A1 (en) * 2011-12-23 2015-09-24 Prioria Robotics, Inc. Automated Self-Censoring of Remotely-Sensed Data Based on Automated ROI Awareness and People Detection Using a Prioritized Contact Transport Stream
KR102024006B1 (ko) 2012-02-10 2019-09-24 삼성전자주식회사 진동 장치간 진동 전달을 제어하는 장치 및 방법
JP6071269B2 (ja) * 2012-06-26 2017-02-01 キヤノン株式会社 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム
US9310872B2 (en) * 2013-02-01 2016-04-12 Nvidia Corporation Processor frequency mainly depending on a target frame rate while processing a graphics application
JP2015001549A (ja) * 2013-06-13 2015-01-05 ソニー株式会社 信号出力装置、信号出力方法、及び映像表示装置
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
EP3118723A1 (en) 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050054731A (ko) * 2003-12-05 2005-06-10 한국전자통신연구원 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감지원 방법
KR100787952B1 (ko) 2006-08-11 2007-12-24 광주과학기술원 지역 점유맵 인스턴스를 이용한 햅틱 렌더링 방법과 장치,및 이를 이용한 햅틱 시스템
KR20090085419A (ko) * 2008-02-04 2009-08-07 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687737A (en) * 1992-10-09 1997-11-18 Washington University Computerized three-dimensional cardiac mapping with interactive visual displays
US5625576A (en) * 1993-10-01 1997-04-29 Massachusetts Institute Of Technology Force reflecting haptic interface
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
US7215637B1 (en) * 2000-04-17 2007-05-08 Juniper Networks, Inc. Systems and methods for processing packets
US7386429B1 (en) * 2001-12-07 2008-06-10 Iwao Fujisaki Wrinkle simulation software
KR100538351B1 (ko) * 2004-04-20 2005-12-21 광주과학기술원 햅틱 인터페이스의 안정화 방법 및 이를 적용한 햅틱시스템
US7990374B2 (en) * 2004-06-29 2011-08-02 Sensable Technologies, Inc. Apparatus and methods for haptic rendering using data in a graphics pipeline
JP4956913B2 (ja) * 2005-04-28 2012-06-20 ソニー株式会社 表示装置および方法、プログラム、記録媒体並びに複合表示装置
US8264493B2 (en) * 2008-05-12 2012-09-11 Playcast Media Systems, Ltd. Method and system for optimized streaming game server
US8872812B2 (en) * 2009-11-12 2014-10-28 Marvell World Trade Ltd. Power saving in mobile devices by optimizing frame rate output

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050054731A (ko) * 2003-12-05 2005-06-10 한국전자통신연구원 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감지원 방법
KR100787952B1 (ko) 2006-08-11 2007-12-24 광주과학기술원 지역 점유맵 인스턴스를 이용한 햅틱 렌더링 방법과 장치,및 이를 이용한 햅틱 시스템
KR20090085419A (ko) * 2008-02-04 2009-08-07 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템

Also Published As

Publication number Publication date
US9041621B2 (en) 2015-05-26
KR20110123564A (ko) 2011-11-15
WO2011139012A1 (ko) 2011-11-10
US20130050062A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
KR101108145B1 (ko) 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법
US10567818B2 (en) Video content distribution system and content management server
CN111052750B (zh) 用于点云流传输的方法和装置
Wallace et al. Tools and applications for large-scale display walls
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
WO2019037515A1 (zh) 一种基于虚拟空间场景的信息交互方法、计算机设备及计算机可读存储介质
KR101507242B1 (ko) 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
WO2017012360A1 (zh) 一种虚拟现实显示设备响应外设设备操作的方法
US10338879B2 (en) Synchronization object determining method, apparatus, and system
JP2018160853A (ja) 動画変換システム、動画変換方法及び動画変換プログラム
Park et al. NAVER: Networked and Augmented Virtual Environment aRchitecture; design and implementation of VR framework for Gyeongju VR Theater
CN116758201A (zh) 三维场景的渲染处理方法、设备、系统及计算机存储介质
Fujimoto et al. The effect of stereoscopic viewing of a virtual space on a networked game using haptic media
US20180232193A1 (en) Object-Based Presentation System
Isakovic et al. X-rooms
KR100761022B1 (ko) 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템
CN114053694A (zh) 应用服务器及其应用服务方法、计算机可读存储介质
JP7072706B1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
JP7354186B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
EP3506054A1 (en) Enabling rendering, for consumption by a user, of mediated reality content
Lubos et al. The interactive spatial surface-blended interaction on a stereoscopic multi-touch surface
US20240107098A1 (en) Xr streaming system for lightweight xr device and operation method therefor
JP7123222B1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
WO2023204013A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
Vasudevan et al. Streaming and Rendering of 3D Dynamic Scene in a Network Virtual Environment by Predictive Modelling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 8