KR100761022B1 - 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템 - Google Patents

깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템 Download PDF

Info

Publication number
KR100761022B1
KR100761022B1 KR1020060076705A KR20060076705A KR100761022B1 KR 100761022 B1 KR100761022 B1 KR 100761022B1 KR 1020060076705 A KR1020060076705 A KR 1020060076705A KR 20060076705 A KR20060076705 A KR 20060076705A KR 100761022 B1 KR100761022 B1 KR 100761022B1
Authority
KR
South Korea
Prior art keywords
image
haptic
depth
depth image
proxy
Prior art date
Application number
KR1020060076705A
Other languages
English (en)
Inventor
차종은
류제하
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020060076705A priority Critical patent/KR100761022B1/ko
Application granted granted Critical
Publication of KR100761022B1 publication Critical patent/KR100761022B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Abstract

본 발명은 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를 이용한 촉각 방송 시스템에 관한 것이다. 더욱 상세하게는, 깊이 정보를 포함하는 깊이 영상을 기반으로 하여 현재 시각의 영상 정보와 다음번의 영상 정보를 이용하여 햅틱 정보를 제시하기 위한 햅틱 렌더링시에 설정된 중간 표면의 높이 변화에 따라 프록시의 위치를 업데이트한 후 충돌 검출 및 반력 계산을 수행하는 햅틱 렌더링 방법과 이를 위한 장치, 및 이를 이용한 촉각 방송 시스템에 관한 것이다.
본 발명은, 깊이 정보를 포함하는 깊이 영상을 기반으로 한 햅틱 렌더링 방법에 있어서, (a) 현재 깊이 영상의 정보와 다음번 깊이 영상의 정보를 저장하는 단계; (b) 상기 현재 깊이 영상의 정보와 상기 다음번 깊이 영상의 정보를 이용하여 현재 시각(t)에서의 중간 표면의 깊이값을 결정하고, 햅틱 렌더링 간격(Δth) 동안 상기 중간 표면의 깊이값의 변화량에 따라 프록시를 1차 업데이트시키는 단계; 및 (c) 1차 업데이트된 프록시와 상기 중간 표면을 이용하여 HIP의 충돌 여부를 검출하고, 반력을 계산하는 단계를 포함하는 깊이 영상 기반의 햅틱 렌더링 방법과 그 장치 및 이를 이용한 촉각 방송 시스템을 제공한다.
깊이 영상, 햅틱, 촉각, 방송, 프록시, HIP, 실감 방송, 햅틱 렌더링

Description

깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를 이용한 촉각 방송 시스템{Haptic Rendering Method Based on Depth Image, Device therefor, and Haptic Broadcasting System using Them}
도 1은 깊이 영상 기반 표현법을 적용한 영상의 일례를 도시한 도면,
도 2는 종래 전형적인 프록시 기반의 햅틱 렌더링 방법을 설명하기 위한 도면,
도 3은 본 발명의 바람직한 실시예에 따른 깊이 영상 기반의 햅틱 렌더링 방법을 실행하기 위한 햅틱 렌더링 장치의 구성을 도시한 블록도,
도 4는 본 발명의 바람직한 실시예에 따른 깊이 영상 기반의 햅틱 렌더링 방법을 도시한 순서도,
도 5는 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법에 있어서, 현재 깊이 영상과 다음번 깊이 영상의 깊이 정보를 이용하여 중간 표면의 깊이값을 설정하는 상태를 도시한 도면,
도 6은 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법에 있어서, 프록시의 위치를 업데이트하는 방법을 도시한 도면,
도 7은 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법에 있어서 충돌 검출을 할 국부 영역을 도시한 도면,
도 8은 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법에 있어서 프록시의 급격한 변화 및 이에 따른 프록시의 설정을 도시한 도면,
도 9는 본 발명의 바람직한 실시예에 따른 촉각 방송 시스템을 나타낸 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
10 : 햅틱 렌더링 장치 12 : 주제어부
14 : 제 1 영상 버퍼 16 : 제 2 영상 버퍼
18 : 햅틱 연산부 20 : 디바이스 제어부
30 : 햅틱 인터페이스 디바이스 100 : 촉각 방송 시스템
102 : 영상 획득 장치 104 : 영상 분배기
106 : 깊이 영상 처리기 108 : 컬러 영상 처리기
110 : 인코더 112 : 제 1 인코더
114 : 제 2 인코더 116 : 멀티플렉서
118 : 전송 채널 120 : 디멀티플렉서
122 : 디코더 124 : 제 1 디코더
126 : 제 2 디코더 128 : 영상 합성기
130 : 그래픽 렌더링 장치 132 : 디스플레이
본 발명은 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를 이용한 촉각 방송 시스템에 관한 것이다. 더욱 상세하게는, 깊이 정보를 포함하는 깊이 영상을 기반으로 하여 현재 시각의 영상 정보와 다음번의 영상 정보를 이용하여 햅틱 정보를 제시하기 위한 햅틱 렌더링시에 설정된 중간 표면의 높이 변화에 따라 프록시의 위치를 업데이트한 후 충돌 검출 및 반력 계산을 수행하는 햅틱 렌더링 방법과 이를 위한 장치, 및 이를 이용한 촉각 방송 시스템에 관한 것이다.
종래의 방송 기술은 단순히 아날로그 영상을 전송하는 것에 머물렀으나 최근에는 디지털 멀티미디어의 발전에 힘입어 화질과 음질이 획기적으로 향상된 시청각 미디어가 제공되고 있다. 화질에 있어서는 고화질(High Definition : HD) 방송이 가능하게 되어 아날로그 방송보다 5배 가량의 화소를 가진 화면이 제공되고, 음질에 있어서는 5.1 채널의 서라운드 음향이 제공되어 현장감있는 방송의 제공이 가능하게 되었다. 또한 디지털 압축기술과 3차원 디스플레이의 개발에 힘입어 기존의 2차원 컬러 영상에 깊이 정보를 부가하고 스테레오스코픽(Steroscopic) 비전 기술을 적용하여 3차원 TV를 통해 생생한 영상을 제공하도록 하는 기술들이 개발되고 있다.
이러한 방송기술은 시청자에게 현장감과 현실감을 증대시킬 수 있도록 하는 방향으로 진화하고 있다. 인간은 주위 환경과 상호작용을 하게 되면 그 환경에 좀 더 몰입할 수 있게 된다. 따라서 현실감에 영향을 주는 중요한 요소인 상호작용이 최근에 여러 면에서 시도되고 있다. 예컨대, 상호작용형 TV(Interactive TV)를 통 해 시청자에게 방송 프로그램과 관련된 부가적인 정보나 인터넷 연결 서비스를 제공하기도 하고 시청자가 간단하게 방송 프로그램에서 진행되는 투표에 참가할 수 있는 등의 상호작용이 제공되고 있다.
그러나 기존의 방송은 시청각 정보의 제공에만 국한되어 있고 정보추구형 상호작용과 미디어와의 간접적인 상호작용만을 고려하고 있다. 시청자와 영상간의 직접적인 상호작용은 시청자가 영상에 몰입하도록 도와준다. 이를 위해 최근에는 시청자가 화면 속의 영상과 직접적인 상호작용이 가능하도록 하는 햅틱(Haptic) 기술이 많은 관심을 받고 있다.
햅틱 기술은 사용자에게 촉감(Tactile)과 역감(Kinesthetic)을 통해 가상 또는 실제 환경의 다양한 정보를 제공하도록 하는 것과 관련된 것이다. 'Haptics'이라는 단어는 그리스어로 촉각을 뜻하는 것으로서, 촉감과 역감을 모두 포함하는 개념이다. 촉감은 피부 감각을 통하여 접촉 표면의 기하형상, 거칠기, 온도, 및 미끄러짐 등에 관한 정보를 제공하고, 역감은 근육과 뼈 및 관절의 수용감각을 통하여 전체 접촉력, 유연성, 및 무게감 등에 관한 정보를 제공한다.
만약 미디어가 3차원 정보를 포함하고 있는 경우에는 더 유용한 상호작용이 가능하게 된다. 예컨대 시청자는 물체의 독특한 형상이나 유명한 배우의 얼굴과 같은 관심있는 객체를 만지거나 체험하는 것이 가능하게 된다.
일반적으로 다각형의 3차원 메쉬(Mesh)가 3차원 영상을 제공하는데 많이 사용된다. 그러나, 이러한 3차원 메쉬를 이용한 영상 표현은 정보의 연결이나 복잡한 LOD(Level-of-Detail), 전송과 압축의 문제 등으로 인해 3차원 영상 미디어에는 적 합하지 않다. 이에 따라 비디오 객체의 2차원적인 표현과 3차원 모델링의 차이를 연결하기 위해 깊이 영상 기반 표현법(Depth Image-Based Representationo)을 활용하는 방법이 모색되고 있다. 깊이 영상 기반 표현법은 3차원 영상을 일반적인 컬러 영상(RGB Video))과 각각의 RGB 영상 픽셀의 깊이 정보를 포함하고 있는 깊이 영상(Depth Video)으로 표현하는 방법을 말한다.
도 1은 깊이 영상 기반 표현법을 적용한 영상의 일례를 도시한 도면이다.
도 1의 (a)는 RGB 영상이고, 도 1의 (b)는 RGB 영상 픽셀의 깊이 정보를 포함하는 깊이 영상이다. 도 1의 (b)와 같은 깊이 영상은 보통 8비트 회색 영상으로 표현되는데 깊이 값이 클수록 카메라로부터의 거리가 가깝다.
도 1에서 보는 바와 같이 3차원 영상은 일반적인 컬러 비디오 영상과 이러한 컬러 비디오 영상에 정합되고 각 픽셀마다의 깊이 정보를 포함하는 깊이 영상의 조합으로 나타낼 수 있다.
시각적으로 보여지는 영상에 대한 촉각 정보를 사용자에게 제공하기 위해서는 햅틱 렌더링이 수행되어야 한다. 햅틱 렌더링은 가상 객체의 형상 정보를 사용자에게 제시하여 촉감이나 역감을 통해 느낄 수 있도록 하는 것으로서, 가상 객체의 표면 및 재질 특성에 대한 속성을 제공하는 것도 포함될 수 있다.
햅틱 렌더링 방법은 필수적으로 충돌 검출과 가상 객체와 햅틱 인터랙션 포인트(Haptic Interaction Point, HIP)의 반력 계산을 포함한다. 여기서 상기 HIP란 가상 환경에서의 사용자의 손의 위치를 의미하는 것으로서, 사용자에게 햅틱 정보를 제시하는 단말기인 햅틱 인터페이스 디바이스의 프로브(probe)의 위치를 의미하 는 것으로 이해될 수 있다. 가상 객체와 HIP의 충돌이 발생한 이후, 가상 객체와 HIP의 사이에 상호 작용에 의해 발생한 힘은 사용자가 가상 객체를 만지고 탐험할 수 있도록 계산된다. 종래 햅틱 렌더링 방법 중 대표적인 것인 프록시 기반의 햅틱 렌더링 방법은 이러한 개념에 기초한 것이다.
도 2는 종래 전형적인 프록시 기반의 햅틱 렌더링 방법을 설명하기 위한 도면이다.
종래 프록시 기반의 햅틱 렌더링 방법은, HIP와 프록시(proxy)와의 관계를 이용하여 충돌 검출에 따른 반력을 계산한다. 여기서, 프록시란 다른 용어로 'god-object' 또는 '이상적 햅틱 인터랙션 포인트(ideal haptic interaction point, IHIP'라고도 불리우는 것으로서, 가상 객체의 표면에 구속되어 움직이는 가상의 포인트를 의미한다. HIP는 가상 객체를 통과할 수 있으나, 프록시는 가상 객체를 통과하여 이동하지 못한다. 따라서, HIP가 가상 객체와 충돌하기 전에는 HIP와 프록시는 일치하나, HIP가 가상 객체와 충돌하여 가상 객체의 내부에 위치하는 경우 프록시는 가상 객체의 표면에 구속되게 된다.
도 2의 (a)를 참조하면, 충돌 검출 과정은 HIP와 이전 프록시(previous proxy)를 연결한 라인 선분(line segment)과 가상 객체의 표면(surface)과의 충돌 여부를 검사한다. 상기 라인 선분은 1회의 햅틱 렌더링 업데이트 시간 동안 HIP가 이동한 경로로 이해될 수 있다. 충돌이 일어나지 않은 경우 HIP와 프록시는 일치하고 HIP에 아무런 반력이 가해지지 않는다.
도 2의 (b)를 참조하면, HIP가 이동하여 가상 객체의 내부에 위치하여 충돌 이 발생한다. 그러나, 프록시는 표면 상에 머무르게 되는데, 프록시의 위치는 HIP와 가장 가까운 가상 객체의 표면 상에 위치하게 된다. 즉, 업데이트 중인 프록시(proxy in updating)는 이전의 프록시와 현재의 HIP를 연결한 라인 선분 상에 위치하게 되며, 업데이트가 완료된 이후의 최종적인 프록시는 HIP와 가장 가까운 표면에 위치하게 되는 것이다. 이때, 사용자에게 가해질 반력은 프록시와 HIP와의 벡터 차이를 이용하여 계산하게 되는데, 도 2의 (b)와 같이 일종의 스프링 모델로 반력을 계산할 수 있게 된다.
상기와 같은 프록시 기반의 햅틱 렌더링 방법은 도 1에 도시한 깊이 영상에 대해 적용할 수 있다. 그러나 종래의 프록시 기반의 햅틱 렌더링 방법은 깊이 영상과 HIP와의 충돌을 일부 검출하지 못하는 문제점이 존재한다. 또한, 종래의 프록시 기반의 햅틱 렌더링 방법은 정지한 상태의 가상 객체에 대한 이미지에 대해 적용할 수 있는 것이어서, 동적인 영상에 대해서는 적용하기 어려운 문제점이 존재한다. 전술한 설명에 있어서, 종래의 프록시 기반의 햅틱 렌더링 방법은 현재의 HIP와 이전의 프록시를 연결한 라인 선분이 가상 객체의 표면과 충돌하는지 여부로 HIP와 가상 객체와의 충돌을 검출하였는데, 다음으로 업데이트된 영상에 있어서 가상 객체의 표면이 상기 라인 선분을 지나쳐 버리는 경우에는 충돌을 검출하지 못하는 단점이 있었다.
또한, 비디오 영상의 갱신 주기와 햅틱 렌더링 갱신 주기가 상호 달라 사용자에게 단속적인 반력을 제공하여 부자연스러운 역감을 제시하게 되는 문제가 존재한다. 통상적으로 비디오 영상의 갱신 주기는 15 내지 60 Hz인데 반하여 안정적인 역감을 사용자에게 제시하기 위해서는 햅틱 렌더링 갱신 주기는 1 kHz 이상이 되어야 하는 것으로 알려져 있다.
그런데 종래의 햅틱 렌더링 방법으로는 동적으로 변하는 영상에 대해 사용자에게 자연스러운 햅틱 정보를 제시하는 것이 용이하지 않은 문제점이 존재하였다. 또한 종래의 햅틱 렌더링 방법을 이용할 경우에는 많은 계산을 수행하여야 하는 문제점이 존재하였다.
상기와 같은 문제점을 해결하기 위해 본 발명은, 깊이 정보를 포함하는 깊이 영상을 기반으로 하여 현재 시각의 영상 정보와 다음번의 영상 정보를 이용하여 햅틱 정보를 제시하기 위한 햅틱 렌더링시에 임시적인 중간 표면을 설정하고 그 높이 변화량만큼 프록시의 위치를 업데이트한 후 충돌 검출 및 반력 계산을 수행하는 햅틱 렌더링 방법을 제공함을 그 목적으로 한다.
또한, 본 발명은 상기한 햅틱 렌더링 방법을 이용하여 햅틱 인터페이스 디바이스에 원활한 역감을 제시할 수 있는 햅틱 정보를 제공하는 햅틱 렌더링 장치를 제공함을 그 목적으로 한다.
또한, 본 발명은 컬러 영상과 컬러 영상의 각 픽셀에 해당하는 깊이 정보를 포함하는 깊이 영상을 획득하여 코딩한 후 전송채널을 통해 전송하는 송신측과 송신측으로부터 전송된 깊이 영상을 처리하여 사용자에게 영상과 함께 햅틱 정보를 제시하는 것이 가능한 촉각 방송 시스템과 그 수신기를 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위해 본 발명은, 깊이 정보를 포함하는 깊이 영상을 기반으로 한 햅틱 렌더링 방법에 있어서, (a) 현재 깊이 영상의 정보와 다음번 깊이 영상의 정보를 저장하고, 상기 현재 깊이 영상에 대한 상기 다음번 깊이 영상의 그래픽 업데이트 간격(Δtg)을 결정하는 단계; (b) 상기 현재 깊이 영상의 정보와 상기 다음번 깊이 영상의 정보를 이용하여 현재 시각(t)에서의 중간 표면의 깊이값을 결정하고, 햅틱 렌더링 간격(Δth) 동안 상기 중간 표면의 깊이값의 변화에 따라 프록시를 1차 업데이트시키는 단계; 및 (c) 1차 업데이트된 프록시와 상기 중간 표면을 이용하여 햅틱 인터랙션 포인트(Haptic Interaction Point, 이하 'HIP'라 함)의 충돌 여부를 검출하고, 충돌이 검출된 경우 반력을 계산하는 단계를 포함하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법을 제공한다.
또한, 본 발명은, 전송된 깊이 영상을 처리하여 상기 깊이 영상 내의 가상 객체와 햅틱 인터페이스 디바이스의 프로브의 충돌 여부를 검출하고 반력을 계산하는 햅틱 렌더링 장치에 있어서, 현재 깊이 영상을 임시 저장하는 제 1 영상 버퍼(14); 다음번 깊이 영상을 임시 저장하는 제 2 영상 버퍼(16); 충돌 여부를 검출하고 반력 계산을 수행하되, 상기 제 1 영상 버퍼(14)에 저장된 상기 현재 깊이 영상과 상기 제 2 영상 버퍼(16)에 저장된 상기 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 변화되는 중간 표면을 설정하고, 상기 중간 표면의 깊이 변화에 따라 프록시의 위치를 1차 업데이트시켜 충돌 여부를 검출하는 햅틱 연산부(18); 상기 햅틱 인터페이스 디바이스(30)를 제어하기 위한 디바이스 제어부(20); 및 상기 각 구성요소의 작동을 제어하는 주제어부(12)를 포함하는 것을 특징으로 하는 햅틱 렌더링 장치를 제공한다.
또한, 본 발명은, 영상 정보와 이에 따른 햅틱 정보를 동시에 전달하기 위한 촉각 방송 시스템에 있어서, 깊이 영상과 컬러 영상을 획득하는 영상 획득 장치(102), 상기 영상 획득 장치(102)에서 획득된 영상을 깊이 영상과 컬러 영상으로 분배하는 영상 분배기(104), 상기 깊이 영상을 영상 기반 모델링 기법을 이용하여 처리하는 깊이 영상 처리기(106), 상기 컬러 영상을 전송하기 위한 형태로 변환하는 컬러 영상 처리기(108), 상기 깊이 영상 처리기(106)와 상기 컬러 영상 처리기(108)에서 처리된 정보를 인코딩하는 인코더(110), 및 상기 인코더(110)에서 처리된 신호를 먹싱하는 멀티플렉서(116)를 포함하는 송신측; 상기 송신측에서 전송된 신호를 디먹싱하는 디멀티플렉서(120), 디멀티플레서(120)에서 디먹싱된 신호를 디코딩하는 디코더(122), 디코딩된 신호를 합성하는 영상 합성기(128), 디스플레이(132)에 영상을 디스플레이하도록 렌더링하는 그래픽 렌더링 장치(130), 및 현재 깊이 영상과 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 프록시의 위치를 업데이트시키고 이에 따른 충돌 검출과 반력 계산을 수행하여 햅틱 인터페이스 디바이스(30)에 햅틱 정보를 제공하는 햅틱 렌더링 장치(10)를 포함하는 수신측; 및 상기 송신측과 수신측을 연결하는 전송 채널(118)을 포함하는 촉각 방송 시스템을 제공한다.
또한, 본 발명은, 영상 정보와 이에 따른 햅틱 정보를 동시에 전달하기 위한 촉각 방송 시스템의 수신기에 있어서, 송신측에서 전송된 신호를 디먹싱하는 디멀티플렉서(120), 디멀티플레서(120)에서 디먹싱된 신호를 디코딩하는 디코더(122), 디코딩된 신호를 합성하는 영상 합성기(128), 디스플레이(132)에 영상을 디스플레이하도록 렌더링하는 그래픽 렌더링 장치(130), 및 현재 깊이 영상과 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 프록시의 위치를 업데이트시키고 이에 따른 충돌 검출과 반력 계산을 수행하여 햅틱 인터페이스 디바이스(30)에 햅틱 정보를 제공하는 햅틱 렌더링 장치(10)를 포함하는 것을 특징으로 하는 촉각 방송 시스템의 수신기를 제공한다.
깊이 영상 기반 표현법이란 전술한 바와 같이 3차원 영상을 일반적인 컬러 영상(RGB Video)과 각각의 RGB 영상 픽셀의 깊이 정보를 포함하고 있는 깊이 영상(Depth Video)으로 표현하는 방법을 말한다. 이렇게 획득된 깊이 영상은 컬러 영상의 각 픽셀에 해당하는 깊이 정보를 포함하게 된다. 깊이 영상은 2D와 3D의 중간적 성격을 가지므로 2.5D 영상으로 부를 수 있다. 깊이 영상을 이루는 각각의 픽셀은 가로, 세로에 대한 위치 정보와 함께 깊이에 대한 정보를 함께 포함한다. 본 발명에 따른 햅틱 렌더링 방법은 이러한 깊이 영상을 기반으로 하여 햅틱 렌더링을 수행하도록 한다. 그러나, 본 발명에 따른 햅틱 렌더링 방법은 반드시 깊이 영상에 기반한 영상뿐 아니라, 다른 방식으로 표현된 3D 영상에도 적용할 수 있음은 물론이다.
본 발명에 따른 햅틱 렌더링 방법은 깊이 영상 내의 가상 객체의 움직임에 따라 프록시의 위치를 보정함으로써 가상 객체와 HIP의 충돌 검출의 오류를 감소시 킴에 그 특징이 있다.
또한, 본 발명에 따른 햅틱 렌더링 방법은 계속적으로 업데이트되는 영상 정보에 대해 원활한 햅틱 연산을 수행하여 사용자에게 자연스러운 역감을 제시하도록 함에 그 특징이 있다. 영상 정보는 통상적으로 15 내지 60 Hz로 갱신되는데 영상 정보의 갱신 주기를 기본으로 햅틱 연산을 수행하게 되면 사용자에게 효과적인 햅틱 제시가 곤란할 뿐만 아니라 햅틱 인터랙션 포인트(HIP)와 가상 객체의 충돌을 검출하지 못하는 문제점이 있게 된다. 이를 보상하기 위해서 본 발명은 현재의 깊이 영상과 이후 갱신될 깊이 영상을 이용하여 임시적인 가상 객체의 깊이 정보를 보간(interpolation)하여 획득함을 특징으로 한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 3은 본 발명의 바람직한 실시예에 따른 깊이 영상 기반의 햅틱 렌더링 방법을 실행하기 위한 햅틱 렌더링 장치의 구성을 도시한 블록도이고, 도 4는 본 발 명의 바람직한 실시예에 따른 깊이 영상 기반의 햅틱 렌더링 방법을 도시한 순서도이다.
햅틱 연산을 수행하는 햅틱 렌더링 장치(10)는 전송된 영상을 처리하여 HIP와 객체와의 충돌 여부를 검출하고 충돌이 발생하는 경우 햅틱 인터페이스 디바이스(30)를 제어하여 사용자에게 역감을 제시하는 기능을 수행한다.
햅틱 렌더링 장치(10)는 각 구성요소의 작동을 제어하는 주제어부(12), 깊이 영상(22)을 임시 저장하는 제 1 영상 버퍼(14)와 제 2 영상 버퍼(16), 충돌 여부를 검출하고 반력 계산을 수행하는 햅틱 연산부(18), 및 햅틱 인터페이스 디바이스(30)를 제어하기 위한 디바이스 제어부(20)를 포함한다.
깊이 영상(22)은 각 픽셀에 대한 깊이 정보를 포함하는 영상으로서 햅틱 렌더링 장치(10)에 제공된다. 햅틱 렌더링 장치(10)는 전송된 깊이 영상(22)을 처리하여 햅틱 인터페이스 디바이스(30)에 햅틱 정보를 제공한다. 깊이 영상(22)은 주기적 또는 비주기적으로 업데이트되면서 제공되는데 현재 시간에서의 깊이 영상 정보와 함께 다음번 갱신될 깊이 영상 정보가 제공되도록 한다. 이에 따라 제 1 영상 버퍼(14)는 현재 시간에서의 깊이 영상 정보를 임시 저장하고, 제 2 영상 버퍼(16)는 현재 시간 이후 갱신될 다음번 깊이 영상 정보를 임시 저장한다.
주제어부(12)는 각 구성요소의 작동을 전반적으로 제어하는 기능을 수행한다. 주제어부(12)는 제 1 영상 버퍼(14)와 제 2 영상 버퍼(16)에 저장되는 깊이 영상 정보가 업데이트되도록 제어하고 햅틱 연산부(18) 및 디바이스 제어부(20)의 작동을 제어한다.
햅틱 연산부(18)는 제 1 영상 버퍼(14)와 제 2 영상 버퍼(16)에 저장된 깊이 영상 정보를 이용하여 프록시의 위치를 보정하고, HIP의 위치정보와 프록시를 이용하여 HIP와 깊이 영상(22) 내의 가상 객체와의 충돌 여부를 검출하고, 충돌이 발생한 경우 반력을 계산하는 기능을 수행한다. 또한 햅틱 연산부(18)는 매 햅틱 이터레이션(haptic iteration)마다 영상 객체의 임시적인 표면과 임시적인 깊이 정보를 연산, 설정하도록 한다. 임시적인 표면과 깊이 정보의 설정에 대한 자세한 설명은 후술한다.
디바이스 제어부(20)는 햅틱 인터페이스 디바이스(30)의 프로브(probe)의 위치 정보를 획득한 후 순기구학적 해석을 통해 상기 프로브의 위치를 의미하는 HIP의 값을 계산하며, HIP와 가상 객체와의 충돌이 검출되고 반력이 계산되면 이를 햅틱 인터페이스 디바이스(30)의 액츄에이터에 발생시켜야 할 커맨드 토크로 변환하여 햅틱 인터페이스 디바이스(30)로 전달하는 기능을 수행한다. 햅틱 인터페이스 디바이스(30)의 대표적인 예로는 SensAble Technology, Inc.의 PHANToM 햅틱 장치를 들 수 있다. 상기 PHANToM 햅틱 장치의 경우 사용자는 장치의 말단에 부착된 심블(thimble)을 이용하여 햅틱 정보를 제시받을 수 있게 된다.
한편, 이상에서 설명한 햅틱 렌더링 장치(10)의 각 구성요소는 수행하는 기능별로 구분한 것이며, 각 구성요소의 기능을 통합하거나 특정 기능을 분리한 별도의 구성요소를 설정할 수 있음은 물론이다.
다음으로 도 4를 참고하여 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법을 설명하면 다음과 같다.
먼저, 제 1 영상 버퍼(14)에는 현재 깊이 영상을 저장하고 제 2 영상 버퍼(16)에는 다음번 깊이 영상을 저장한다(S40). 여기서 현재 깊이 영상과 다음번 깊이 영상은 순차적으로 갱신되는 깊이 영상을 의미하는 것으로서, 다음번 깊이 영상은 현재 시각의 깊이 영상에 이어 전송되는 깊이 영상 프레임을 말한다. 이때 현재 깊이 영상과 다음번 깊이 영상의 시각 정보, 즉 타임 스탬프(time stamp) 값도 함께 취득되어 저장함으로써 현재 깊이 영상과 다음번 깊이 영상 간의 영상 갱신 간격을 획득할 수 있도록 한다.
한편, 현재 시각(t)을 제 2 영상 버퍼(16)에 저장된 다음번 깊이 영상의 시각 정보(즉, 다음번 깊이 영상의 타임 스탬프 값)와 비교하여(S42), 현재 시각(t)이 다음번 깊이 영상의 시각 정보보다 큰 경우에는 제 1 영상 버퍼(14)와 제 2 영상 버퍼(16)를 갱신한다(S44). 제 1 영상 버퍼(14)에는 제 2 영상 버퍼(16)에 저장되어 있던 깊이 영상을 저장하고, 제 2 영상 버퍼(16)에는 그 다음번 깊이 영상을 저장함으로써 제 1 영상 버퍼(14)와 제 2 영상 버퍼(16)를 갱신한다.
제 1 영상 버퍼(14)와 제 2 영상 버퍼(16)에 갱신된 깊이 영상의 각 시각 정보를 이용하여 그래픽 업데이트 간격(Δtg)을 결정한다(S46). 만약 그래픽 업데이트 간격(Δtg)이 일정한 경우에는 별도의 계산이 필요없이 정해진 시간 간격을 이용하면 되나 업데이트 간격이 일정하지 않은 경우에는 별도의 계산을 통해 그래픽 업데이트 간격(Δtg)을 결정하여야 한다.
다음으로 햅틱 연산부(18)는 햅틱 렌더링을 수행하는 시점에서의 임시적인 표면인 중간 표면의 깊이값을 계산하고 프록시의 위치를 업데이트한다(S48). 인간의 손은 300 Hz 이하의 진동을 느낄 수 있기 때문에 보통 햅틱 렌더링은 사용자게에 부드럽고 안정적인 힘을 제공하기 위해 1000 Hz 이상으로 수행된다. 그러나 햅틱 렌더링이 1000 Hz 이상으로 수행된다 하더라도 만지는 대상인 깊이 정보를 포함하는 깊이 영상이 15 내지 60 Hz로 갱신되기 때문에 사용자는 불연속적이고 부자연스로운 힘을 느끼게 된다. 이를 보완하기 위해 본 발명은 깊이 영상에 대한 임시적인 표면을 설정하고 이를 이용하여 프록시의 위치를 업데이트시킴으로써 보다 확실한 충돌 검출이 가능하도록 하는 것이다. 이러한 과정에 있어서 깊이 영상에 대한 임시적인 표면을 설정하기 위한 깊이값을 구하는 과정을 도 5를 참조하여 보다 상세하게 설명한다.
도 5는 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법에 있어서, 현재 깊이 영상과 다음번 깊이 영상의 깊이 정보를 이용하여 중간 표면의 깊이값을 설정하는 상태를 도시한 도면이다.
제 1 영상 버퍼(14)에 저장된 현재 깊이 영상의 시각 정보를 tg c라 하고, 제 2 영상 버퍼(16)에 저장된 다음번 깊이 영상의 시각 정보를 tg n이라 하면, 그래픽 업데이트 간격은, Δtg = tg n - tg c이다. 또한 현재 깊이 영상의 표면(Surface(tg c))의 깊이 정보를 z(tg c)라 하고, 다음번 깊이 영상의 표면(Surface(tg n))의 깊이 정보 를 z(tg n)라고 설정하면, 그래픽 업데이트 간격(Δtg)에 따른 깊이값의 차이 Δzg = z(tg n) - z(tg c)이다. 여기서 깊이 정보는 깊이 영상을 이루는 픽셀의 깊이값을 의미한다.
이러한 값을 기초로 하여 현재 시각(t)에서의 중간 표면(Surface(t))의 깊이값(z(t))은 다음의 수학식 1과 같이 결정할 수 있다.
Figure 112006057899547-pat00001
수학식 1에서, Δzhg는 현재 시각(t)에서의 중간 표면의 깊이값(z(t))과 현재 깊이 영상의 표면(Surface(tg c))의 깊이값(z(tg c))과의 차이며, Δthg는 현재 시각(t)과 현재 깊이 영상의 시각 정보(tg c)와의 차이다.
상기와 같은 계산에 의해 현재 시각의 중간 표면의 깊이값(z(t))을 구하게 되면, 이를 바탕으로 하여 현재 시각의 중간 표면(Surface(t))을 설정할 수 있게 된다. 깊이 영상에 포함된 가상 객체의 표면은 삼각 메쉬로 표현될 수 있는데, 표면의 꼭지점에 해당하는 부분의 깊이값을 알게 되면 깊이값을 상호 연결함으로써 가상 객체의 표면을 설정할 수 있게 된다. 따라서, 상기와 같은 방법에 의해 삼각 메쉬로 표현되는 중간 표면의 세 꼭지점의 깊이값(z(t))을 알게 되면, 중간 표면을 설정할 수 있게 되는 것이다.
한편, 이와 같이 중간 표면의 깊이값(z(t))를 구한 후 프록시의 업데이트는 다음과 같이 이루어질 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법에 있어서, 프록시의 위치를 업데이트하는 방법을 도시한 도면이다.
종래 프록시 그래프 알고리즘에 의한 햅틱 렌더링 방법에 있어서 프록시의 위치를 설정하는 방법은, 종전 프록시와 현재 HIP를 연결하는 라인 선분이 가상 객체의 표면과 충돌하는 경우 종전 프록시의 위치를 현재 HIP와 가장 가까운 가상 객체의 표면상에 위치시킴으로써 이루어졌다. 이에 반해 본 발명은 중간 표면의 깊이값을 구하고, 햅틱 렌더링을 수행하는 시간 간격, 즉 햅틱 업데이트 간격 동안 상기 중간 표면의 깊이값이 변화하는 데 따라 종전 프록시의 위치를 1차 업데이트시킨 후 충돌 여부를 검출하여 충돌이 발생한 경우 프록시의 위치를 다시 설정하는 것을 특징으로 한다.
도 6에 있어서 햅틱 렌더링 간격(Δth)은 현재 시각과 이전 햅틱 렌더링을 수행한 시각과의 차이다. 만약 햅틱 렌더링이 1000 Hz로 일정하게 수행된다면, Δth는 1 ms가 될 것이다. 그러나, 햅틱 렌더링의 수행 간격이 일정하지 않다면 현재와 이전의 햅틱 렌더링 수행 시각의 차이로 상기 햅틱 렌더링 간격을 설정하여야 한다.
프록시의 위치를 1차 업데이트시키는 방법으로서, 중간 표면의 승강(昇降)에 따라 프록시의 위치도 승강시키는 방법과, 프록시를 깊이 방향으로 이동시켜 중간 표면과 충돌이 발생하는 지점에 프록시를 위치시키는 방법의 두 가지 예를 들 수 있다. 전자는 중간 표면의 높이 변화량에 따라 프록시의 위치를 업데이트시키는 것이고, 후자는 프록시와 중간 표면의 충돌을 확인하여 프록시의 위치를 업데이트시키는 것이다.
먼저, 중간 표면의 높이 변화량에 따라 프록시의 위치를 업데이트시키는 방법을 설명한다. 현재 중간 표면(Surface(t))의 양단의 깊이값이 z1(t), z2(t)이고, 이전 중간 표면(Surface(t-Δth)의 양단의 깊이값이 z1(t-Δth), z2(t-Δth)라면, 각각의 깊이값의 차이를 이용하여 햅틱 렌더링 간격(Δth)에 따른 중간 표면의 높이 변화량(Δz)을 구하고, 그 높이 변화량(Δz)만큼 이전 프록시(proxy(t-Δth))의 위치를 보정하여 1차 업데이트된 프록시(1st updated proxy)를 구한다. 여기서 높이 변화량(Δz)은 중간 표면 양단의 높이 변화량의 평균치를 이용하거나 양단의 높이 변화량 중 높은 값을 채택할 수 있다. 실제 적용에 있어서, 중간 표면(Surface(t))은 중간 표면을 나타내기 위한 삼각 메쉬의 세 꼭지점에 의해 표현될 수 있다. 이런 경우에 1차 업데이트되는 프록시의 높이 변화량은 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 높이 변화량 중 가장 큰 값일 수 있다.
다음으로, 프록시를 깊이 방향으로 이동시켜 중간 표면과 충돌이 발생하는 지점으로 프록시의 위치를 업데이트시키는 방법을 설명한다. 이전 프록시(proxy(t- Δth))를 깊이 방향으로 상승 또는 하강시키면 현재 중간 표면(Surface(t))과 충돌하는 위치를 결정할 수 있다. 이에 따라 이전 프록시(proxy(t-Δth))를 깊이 방향으로 이동시켜 현재 중간 표면(Surface(t))과 충돌하는 위치로 프록시를 1차 업데이트시킨다.
상기한 설명에 있어서, 전자의 방법에 의하면, 이전 중간 표면(Surface(t-Δth)과 현재 중간 표면(Surface(t))의 위치 변화량에 따라 프록시의 위치를 업데이트시키므로 중간 표면의 변화량만 계산하면 프록시를 1차 업데이트시킬 수 있게 된다. 한편, 후자의 방법에 의하면, 현재 중간 표면(Surface(t))의 정보만 알면 이전 프록시(proxy(t-Δth))를 깊이 방향으로 이동시켜 현재 중간 표면(Surface(t))과 충돌하는 지점에 프록시를 1차 업데이트시킬 수 있게 된다.
이후 햅틱 연산부(18)는 상기 1차 업데이트된 프록시를 이용하여 HIP와 깊이 영상의 중간 표면(Surface(t))과의 충돌 여부를 검출하고 충돌이 검출된 경우 반력을 계산한다(S50). S50 단계는 종래의 프록시 기반 햅틱 렌더링 방법에서 사용하는 과정을 동일하게 적용하여 수행될 수 있다. 다만 종래의 프록시 기반 햅틱 렌더링 방법은 이전의 프록시를 이용하였으나, 본 발명에서는 1차 업데이트된 프록시를 이용하는 점에서 큰 차이점이 존재한다. 즉, 본 발명에 있어서는 HIP와 1차 업데이트된 프록시를 연결하는 라인 선분과 객체와의 충돌이 발생한 경우 1차 업데이트된 프록시를 HIP와 가장 가까운 객체의 표면으로 이동시켜 2차 업데이트된 프록시를 생성하고 2차 업데이트된 프록시와 HIP를 이용하여 반력을 계산하게 된다. 만약, HIP와 1차 업데이트된 프록시를 연결하는 라인 선분과 객체와의 충돌이 발생하지 않은 경우에는 현재 시각(t)에서의 최종 프록시는 1차 업데이트된 프록시로 설정되고 이후 햅틱 렌더링을 수행하게 된다.
한편, 상술한 S48 단계와 S50 단계에 있어서, 현재 깊이 영상의 표면과 다음번 깊이 영상의 표면의 깊이값을 바탕으로 하여 중간 표면을 설정(생성)하고, 충돌 검출을 수행하는 대상은 깊이 영상 내의 전체 객체를 대상으로 하지 않고 충돌이 예상되는 특정 영역만을 대상으로 하는 것이 바람직하다. 전체 객체를 대상으로 상기와 같은 단계를 수행하는 것은 계산량의 폭주 문제가 존재하고 실효성도 크지 않기 때문이다.
도 7은 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법에 있어서 충돌 검출을 할 국부 영역을 도시한 도면이다.
도 7은 깊이 정보를 포함하는 깊이 영상에 대한 x-y 평면도로서, 깊이 영상 픽셀(70) 각각은 z 방향의 깊이 정보를 포함한다. 도 7에서는 깊이 영상 픽셀(70)을 삼각 메쉬에 의한 방법으로 표현하였다.
현재 시각의 HIP(t)와 이전 햅틱 렌더링에서 최종적으로 결정된 프록시(proxy(t-Δth))를 연결하는 라인 선분(72)을 설정하고, 라인 선분(72)을 깊이 영상의 2D 화면에 투영시킨다. 그러면, 상기 라인 선분(72)이 접하는 충돌 예상 픽 셀(74)에 대해서만 상기 S48 단계와 S50 단계를 수행하면 된다. 즉, 실제 충돌이 예상되는 픽셀에 대해서만 중간 표면을 설정하고 충돌 검출을 수행한 후 반력 계산을 하면 된다. 이에 따라 햅틱 렌더링에 필요한 계산 과정을 감소시킬 수 있는 효과가 있다.
추가적으로, 상기 충돌 예상 픽셀(74) 중 상기 라인 선분(72)의 깊이값보다 하방에 위치하는 픽셀에 대해서는 상기와 같은 S48 및 S50 단계를 수행하지 않아도 된다. 이는 상기 라인 선분보다 낮은 위치에 있는 픽셀은 HIP와 충돌이 발생하지 않기 때문이다. 이를 통해 계산량을 더 감축할 수 있다.
한편, 이상에서 설명한 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법은 다음과 같은 과정을 추가로 포함할 수 있다.
도 8은 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 방법에 있어서 프록시의 급격한 변화 및 이에 따른 프록시의 설정을 도시한 도면이다.
도 8의 (a)는 장면이 갑작스럽게 바뀐 상태를 표시한 것으로서, 현재 시각(t)의 표면(Surface(t))이 그 이전 햅틱 렌더링 시간(t-Δth)에서의 표면(Surface(t-Δth))보다 급격하게 높아져서 1차 업데이트된 프록시(1st updated Proxy)의 높이가 급격하게 상승한 경우를 나타낸 것이다. 한편, 도 8의 (b)는 시간 t-Δth에서의 표면(Surface(t-Δth))의 구석에 있던 프록시(proxy(t-Δth))가 시간 t에서의 표면(Surface(t))의 높은 위치로 이동하여 업데이트된 상태를 나타낸다.
이러한 경우에, 실제 상황에 따라 현재 시간 t에서의 프록시의 위치를 구하 고 HIP(t)에 대한 반력을 계산하게 되면 급격하게 상승한 반력이 햅틱 인터페이스 디바이스(30)에 작용하여 햅틱 인터페이스 디바이스(30)의 고장이나 사용자의 부상을 발생시킬 우려가 있다.
이러한 문제점을 해소하기 위해 충돌 검출에 따라 계산된 반력이 일정 수치를 초과하는 경우에는 프록시의 위치를 HIP의 위치와 일치시켜 작용되는 반력을 "0"으로 만들어주도록 한다. 즉, 도 8에 있어서 시간 t에서의 프록시(proxy(t))를 HIP(t)와 일치시켜 안전성을 도모한다.
다음으로 이상에서 설명한 햅틱 렌더링 장치(10)를 구비한 촉각 방송 시스템에 대해 설명한다.
도 9는 본 발명의 바람직한 실시예에 따른 촉각 방송 시스템을 나타낸 블록도이다.
촉각 방송은 영상과 음성을 포함한 방송 정보에 햅틱 정보를 포함시켜 전송하고 이를 재생함으로써 시청자가 일반 방송과 함께 햅틱 정보를 함께 느낄 수 있도록 하는 방송이다. 이러한 촉각 방송은 컨텐츠 생성, 압축, 전송 및 재현 과정으로 이루어진다.
이를 위해 본 발명에 따른 촉각 방송 시스템(100)은, 컬러 영상과 깊이 영상을 획득하기 위한 영상 획득 장치(102), 영상 획득 장치에서 획득된 영상을 깊이 영상과 컬러 영상으로 분배하는 영상 분배기(104), 깊이 영상과 컬러 영상을 처리하는 깊이 영상 처리기(106)와 컬러 영상 처리기(108), 처리된 정보를 인코딩하는 인코더(110), 신호를 먹싱하는 멀티플렉서(116)를 포함하는 송신측 방송 시스템을 구비한다. 또한, 본 발명에 따른 촉각 방송 시스템(100)은 전송된 신호를 디먹싱하는 디멀티플렉서(120), 전송된 신호를 디코딩하는 디코더(122), 디코딩된 신호를 합성하는 영상 합성기(128), 디스플레이(132)에 영상을 디스플레이하도록 렌더링하는 그래픽 렌더링 장치(130)와, 전술한 바와 같은 햅틱 렌더링 장치(10)를 포함하는 수신측 방송 시스템을 구비한다.
영상 획득 장치(102)는 깊이 정보와 컬러 영상을 포함하는 영상 정보를 획득하는 장치이다. 이러한 영상 획득 장치(102)는 3DV 시스템의 ZcamTM이나 NHK Axivision HDTV 카메라와 같이 영상과 영상의 각 픽셀에 대한 깊이 정보를 동시에 획득하는 장치일 수 있으며, 컬러 영상과 깊이 영상을 포함하는 영상을 렌더링하는 영상 렌더링 장치일 수 있다. ZcamTM과 카메라는 통상의 방송용 카메라에 초고속 펄스의 적외선 발생 장치를 부가하고, 촬영되는 객체에 조사된 적외선이 반사되어 오는 시간으로부터 영상의 깊이 정보를 획득한다. 한편, 영상 렌더링 장치는 컴퓨터 그래픽 애니메이션 장치와 같이 영상 객체를 3차원 그래픽 이미지로 작성하는 도구이다. 그러나, 본 발명에 있어서 영상 획득 장치(102)는 상기한 바에 한정되는 것은 아니며, 컬러 영상과 깊이 영상을 획득할 수 있는 다른 방식의 영상 장치일 수 있음은 물론이다.
영상 분배기(104)는 영상 획득 장치(102)에서 획득된 영상을 컬러 영상과 깊이 영상으로 분배하는 기능을 수행하며, 분배된 영상은 깊이 영상 처리기(106)와 컬러 영상 처리기(108)로 전달된다.
깊이 영상 처리기(106)는 깊이 영상에 포함되어 있는 노이즈를 제거하고 왜곡된 형상을 보완하기 위해 깊이 영상 기반 모델링(depth image-based modeling, DIBR) 기법을 이용하여 깊이 정보를 처리한다. 카메라에 의해 획득된 깊이 영상에는 양자화 오류와 광학 노이즈를 포함하게 된다. 이는 촬영되는 객체의 반사율 또는 컬러 변화 때문이다. 따라서 매끄러운 햅틱 상호 작용이 가능하도록 하기 위해서는 깊이 데이터 인핸스먼트(depth data enhancement)가 필요하다. 이러한 깊이 데이터 인핸스먼트 기법의 예로서는 본 발명자가 공동 발표한 "Depth video enhancement for haptic interaction using smooth surface reconstruction, IEICE Trans. Inf. Syst., vol E89-D, no.1, pp.37-44, Jan. 2006"의 기재 내용을 들 수 있으며, 이 논문의 내용은 본 발명의 설명에 포함되는 것으로 이해되어야 한다.
한편, 컬러 영상 처리기(108)는 컬러 영상을 전송하기 위한 전 단계로서 컬러 영상을 변환하는 기능을 수행한다. 통상적으로는 컬러 영상 처리기(108)는 RGB 형식의 컬러 영상을 YUV 공간 상의 컬러 영상으로 변환하는 기능을 수행한다. 그러나 본 발명에 있어서 컬러 영상 처리기(108)는 컬러 영상을 YUV 방식으로 변환하는 외에 컬러 영상을 압축하기 위한 다른 다양한 방식으로 컬러 영상을 처리하는 것도 가능하다.
깊이 영상 처리기(106)와 컬러 영상 처리기(108)에 의해 처리된 깊이 영상과 컬러 영상은 인코더(110)에서 인코딩(encoding)된다. 인코더(110)는 깊이 영상 처리기(106)에서 처리된 깊이 영상을 인코딩하기 위한 제 1 인코더(112)와, 컬러 영 상 처리기(108)에서 처리된 컬러 영상을 인코딩하기 위한 제 2 인코더(114)로 이루어질 수 있다. 깊이 영상과 컬러 영상의 코딩을 위해서는 MPEG-2, MPEG-4 Visual 또는 AVC(Advanced Video Codec)과 같은 표준 비디오 코딩 알고리즘을 사용할 수 있다. 또한, 바람직하기로는 MPEG-4의 H.264 코더를 사용할 수 있다. MPEG의 3DAV(3D audio video)의 EE(Experimental Exploration)에 의하면, H.264는 컬러 및 깊이 영상의 코딩에 사용되는 다른 MPEG 표준에 비해 더 나은 성능을 제공한다. 컬러 영상은 대부분 RGB 영역에서 획득되므로 전술한 바와 같이 컬러 영상은 제 2 인코더에서 인코딩되기 전에 컬러 영상 처리기에서 YUV 영역으로 변환되는데, 이때 'YUV 4:2:0'이 사용된다. 한편, 깊이 영상은 음영 이미지로 취급되므로 'YUV 4:0:0'이 사용된다.
인코더(110)에서 인코딩된 깊이 영상과 컬러 영상은 멀티플렉서(Multiplexer, MUX : 116))에서 먹싱된 후 전송 채널(118)을 통해 수신측으로 전달된다. 전송 채널(118)은 디지털 비디오 방송망(Digital Video Broadcasting Network), 인터넷망, 디지털 미디어 방송망(Digital Multimedia Broadcasting Network) 등이 이용될 수 있다.
전송 채널(118)을 거쳐 전송된 비트 스트림 형태의 신호는 수신측의 디멀티플렉서(Demultiplexer, DEMUX : 120)에서 디먹싱된 후 디코더(122)에서 디코딩된다. 디코더(122)는 깊이 영상의 디코딩(decoding)을 위한 제 1 디코더(124)와, 컬러 영상의 디코딩을 위한 제 2 디코더(126)으로 이루어질 수 있다. 디코딩된 신호는 영상 합성기(128)에서 합성되어, 컬러 영상과 깊이 정보를 포함하는 깊이 영상 으로 변환된다.
그래픽 렌더링 장치(130)는 전송된 영상 신호를 처리하여 디스플레이(132)를 통해 시각적 영상을 디스플레이한다. 그래픽 렌더링 장치(130)는 2차원적인 컬러 영상만을 처리하여 2차원의 시각 디스플레이 장치에 2D 화면을 제공할 수도 있으나, 그래픽 렌더링 장치(130)는 3D 화면을 생성하여 3차원의 시각 디스플레이 장치에 3D 화면을 제공하도록 하는 것도 바람직하다. 그래픽 렌더링 장치(130)는 3D 화면의 재생을 위해서 컬러 영상과 깊이 정보를 바탕으로 각각 OpenGL 영역의 x, y, 및 z 위치에 할당하고 OpenGL API 사용하여 두 대의 가상 카메라로부터 입체 영상을 생성하도록 할 수 있다. 이 경우 3D 디스플레이(132)로는 넌-글래스 타입의 3D LCD를 사용할 수 있다.
햅틱 렌더링 장치(10)는 전술한 바와 같은 햅틱 렌더링 방법을 수행하는 장치로서 깊이 정보를 포함한 깊이 영상에 대해 햅틱 렌더링을 수행하여 햅틱 인터페이스 디바이스(30)를 통해 사용자에게 햅틱 정보를 제시하는 기능을 수행한다.
한편, 본 발명의 바람직한 실시예에 따른 햅틱 렌더링 장치(10)는 현재의 깊이 영상 정보를 제 1 영상 버퍼(14)에 저장하고 다음번 깊이 영상 정보를 제 2 영상 버퍼(16)에 저장하여 햅틱 렌더링을 수행함을 특징으로 한다. 이에 따라 햅틱 렌더링 장치(10)에는 최소한 한 프레임의 영상 정보가 더 전달되어야 한다. 따라서, 수신측에는 영상 정보를 최소한 한 프레임 이상 더 수신하여 저장할 수 있도록 하는 버퍼가 필요하다. 또한, 그래픽 렌더링 장치(130)는 햅틱 렌더링 장치(10)에서 제공하는 영상 정보와 같은 프레임의 영상 정보가 디스플레이(132)에 나타나도 록 햅틱 렌더링 장치(10)와 정합시키는 것이 바람직하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의하면, 동적으로 변화하는 깊이 영상에 대해 효과적으로 햅틱 렌더링을 수행하여 사용자에게 햅틱 정보를 제시할 수 있는 효과가 있다. 특히 햅틱 렌더링 시에 깊이 영상의 변화를 파악하여 프록시의 위치를 업데이트시킴으로써 충돌 검출의 오류를 최소화함과 동시에 햅틱 렌더링에 필요한 연산량을 줄임으로써 사용자에게 안정적인 역감을 제시할 수 있는 효과가 있다.
또한, 본 발명에 따른 햅틱 렌더링 장치와 이를 이용한 촉각 방송 시스템에 따르면 깊이 기반 표현법에 따른 영상 정보를 처리하여 영상 정보와 함께 햅틱 정보를 사용자에게 제시함으로써 사용자의 몰입감을 증대시키고 가상 환경을 직접 체험할 수 있는 실감 방송을 제공할 수 있는 효과가 있다.

Claims (27)

  1. 깊이 정보를 포함하는 깊이 영상을 기반으로 한 햅틱 렌더링 방법에 있어서,
    (a) 현재 깊이 영상의 정보와 다음번 깊이 영상의 정보를 저장하고, 상기 현재 깊이 영상에 대한 상기 다음번 깊이 영상의 그래픽 업데이트 간격(Δtg)을 결정하는 단계;
    (b) 상기 현재 깊이 영상의 정보와 상기 다음번 깊이 영상의 정보를 이용하여 현재 시각(t)에서의 중간 표면의 깊이값을 결정하고, 햅틱 렌더링 간격(Δth) 동안 상기 중간 표면의 깊이값의 변화에 따라 프록시를 1차 업데이트시키는 단계; 및
    (c) 1차 업데이트된 프록시와 상기 중간 표면을 이용하여 햅틱 인터랙션 포인트(Haptic Interaction Point, 이하 'HIP'라 함)의 충돌 여부를 검출하고, 충돌이 검출된 경우 반력을 계산하는 단계
    를 포함하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  2. 제 1 항에 있어서,
    (d) 상기 현재 시각이 상기 다음번 깊이 영상의 시간 정보에 따른 시각을 초과한 경우 상기 현재 시각의 깊이 영상 정보와 상기 다음번 깊이 영상 정보를 각각 갱신하는 단계를 추가로 포함하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  3. 제 1 항에 있어서,
    상기 (b) 단계는, 상기 그래픽 업데이트 간격(Δtg)에 따른 상기 현재 깊이 영상의 깊이값(z(tg c))과 상기 다음번 깊이 영상의 깊이값(z(tg n)의 차이를 Δzg, 햅틱 렌더링을 수행하는 상기 현재 시각(t)과 상기 현재 깊이 영상의 시간 정보(tg c)의 차를 Δthg, 상기 Δthg에 따른 높이 변화량을 Δzhg라 할 경우, 상기 중간 표면의 깊이값(z(t))은,
    Figure 112006057899547-pat00002
    인 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  4. 제 3 항에 있어서,
    상기 1차 업데이트되는 프록시의 위치 변화량은, 상기 중간 표면을 나타내는 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 최고값인 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  5. 제 1 항에 있어서,
    상기 (b) 단계에서, 상기 프록시를 깊이 방향으로 이동시켜 상기 중간 표면과 충돌하는 지점으로 상기 프록시를 1차 업데이트시키는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  6. 제 1 항에 있어서,
    상기 (b) 단계와 상기 (c)단계는, 햅틱 렌더링이 수행되는 시점의 상기 HIP와 그 이전 시점의 상기 프록시를 연결한 라인 선분을 상기 깊이 영상의 2D 화면에 투영시켜 생성된 라인 선분이 접하는 픽셀에 대해서만 수행하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  7. 제 6 항에 있어서,
    상기 라인 선분의 깊이값보다 작은 픽셀에 대해서는 상기 (b) 단계 또는 상기 (c) 단계를 수행하지 않는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  8. 제 1 항에 있어서,
    상기 (b) 단계에 따라 1차 업데이트되는 상기 프록시의 높이 변화가 급격하게 이루어지는 경우, 새롭게 설정되는 프록시의 위치를 상기 HIP와 일치시키는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  9. 제 1 항에 있어서,
    상기 (c) 단계에 따라 계산되는 반력이 일정치를 초과하는 경우 그 반력을 영(zero)으로 하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법.
  10. 전송된 깊이 영상을 처리하여 상기 깊이 영상 내의 가상 객체와 햅틱 인터페이스 디바이스의 프로브의 충돌 여부를 검출하고 반력을 계산하는 햅틱 렌더링 장치에 있어서,
    현재 깊이 영상을 임시 저장하는 제 1 영상 버퍼(14);
    다음번 깊이 영상을 임시 저장하는 제 2 영상 버퍼(16);
    충돌 여부를 검출하고 반력 계산을 수행하되, 상기 제 1 영상 버퍼(14)에 저장된 상기 현재 깊이 영상과 상기 제 2 영상 버퍼(16)에 저장된 상기 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 변화되는 중간 표면을 설정하고, 상기 중간 표면의 깊이 변화에 따라 프록시의 위치를 1차 업데이트시켜 충돌 여부를 검출하는 햅틱 연산부(18);
    상기 햅틱 인터페이스 디바이스(30)를 제어하기 위한 디바이스 제어부(20); 및
    상기 각 구성요소의 작동을 제어하는 주제어부(12)
    를 포함하는 것을 특징으로 하는 햅틱 렌더링 장치.
  11. 제 10 항에 있어서,
    상기 햅틱 연산부(18)는, 상기 그래픽 업데이트 간격(Δtg)에 따른 상기 현 재 깊이 영상의 깊이값(z(tg c))과 상기 다음번 깊이 영상의 깊이값(z(tg n)의 차이를 Δzg, 햅틱 렌더링을 수행하는 상기 현재 시각(t)과 상기 현재 깊이 영상의 시간 정보(tg c)의 차를 Δthg, 상기 Δthg에 따른 높이 변화량을 Δzhg라 할 경우, 상기 중간 표면의 깊이값(z(t))은,
    Figure 112006057899547-pat00003
    에 의해 결정하는 것을 특징으로 하는 햅틱 렌더링 장치.
  12. 제 11 항에 있어서,
    상기 햅틱 연산부(18)는, 상기 1차 업데이트되는 프록시의 위치 변화량을, 상기 중간 표면을 나타내는 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 최고값인 것으로 결정하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 장치.
  13. 제 10 항에 있어서,
    상기 햅틱 연산부(18)는, 상기 프록시를 깊이 방향으로 이동시켜 상기 중간 표면과 충돌하는 지점으로 상기 프록시를 1차 업데이트시키는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 장치.
  14. 제 10 항에 있어서,
    상기 햅틱 연산부(18)는, 햅틱 렌더링이 수행되는 현재 시각(t)의 햅틱 인터랙션 포인트(HIP)와, 상기 1차 업데이트된 프록시를 연결한 라인 선분을 상기 깊이 영상의 2D 화면에 투영시켜 생성된 라인 선분이 접하는 픽셀에 대해서만 충돌 검출을 수행하는 것을 특징으로 하는 햅틱 렌더링 장치.
  15. 제 10 항에 있어서,
    상기 1차 업데이트된 프록시의 높이 변화가 급격하게 이루어지는 경우, 상기 햅틱 연산부(18)는 새롭게 설정되는 프록시의 위치를 상기 HIP와 일치시키는 것을 특징으로 하는 햅틱 렌더링 장치.
  16. 제 10 항에 있어서,
    상기 햅틱 연산부(18)에서 계산된 반력이 일정치를 초과할 경우 상기 디바이스 제어부(20)는 상기 햅틱 인터페이스 디바이스(30)에 힘을 전달하지 않는 것을 특징으로 하는 햅틱 렌더링 장치.
  17. 영상 정보와 이에 따른 햅틱 정보를 동시에 전달하기 위한 촉각 방송 시스템에 있어서,
    깊이 영상과 컬러 영상을 획득하는 영상 획득 장치(102), 상기 영상 획득 장치(102)에서 획득된 영상을 깊이 영상과 컬러 영상으로 분배하는 영상 분배 기(104), 상기 깊이 영상을 영상 기반 모델링 기법을 이용하여 처리하는 깊이 영상 처리기(106), 상기 컬러 영상을 전송하기 위한 형태로 변환하는 컬러 영상 처리기(108), 상기 깊이 영상 처리기(106)와 상기 컬러 영상 처리기(108)에서 처리된 정보를 인코딩하는 인코더(110), 및 상기 인코더(110)에서 처리된 신호를 먹싱하는 멀티플렉서(116)를 포함하는 송신측;
    상기 송신측에서 전송된 신호를 디먹싱하는 디멀티플렉서(120), 디멀티플레서(120)에서 디먹싱된 신호를 디코딩하는 디코더(122), 디코딩된 신호를 합성하는 영상 합성기(128), 디스플레이(132)에 영상을 디스플레이하도록 렌더링하는 그래픽 렌더링 장치(130), 및 현재 깊이 영상과 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 프록시의 위치를 업데이트시키고 이에 따른 충돌 검출과 반력 계산을 수행하여 햅틱 인터페이스 디바이스(30)에 햅틱 정보를 제공하는 햅틱 렌더링 장치(10)를 포함하는 수신측; 및
    상기 송신측과 수신측을 연결하는 전송 채널(118)
    을 포함하는 촉각 방송 시스템.
  18. 제 17 항에 있어서,
    상기 햅틱 렌더링 장치(10)는,
    상기 현재 깊이 영상을 임시 저장하는 제 1 영상 버퍼(14);
    상기 다음번 깊이 영상을 임시 저장하는 제 2 영상 버퍼(16);
    상기 충돌 검출과 상기 계산을 수행하되, 상기 제 1 영상 버퍼(14)에 저장된 상기 현재 깊이 영상과 상기 제 2 영상 버퍼(16)에 저장된 상기 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 변화되는 중간 표면을 설정하고, 상기 중간 표면의 깊이 변화에 따라 프록시의 위치를 1차 업데이트시켜 충돌을 검출하는 햅틱 연산부(18);
    상기 햅틱 인터페이스 디바이스(30)를 제어하기 위한 디바이스 제어부(20); 및
    상기 각 구성요소의 작동을 제어하는 주제어부(12)
    를 포함하는 것을 특징으로 하는 촉각 방송 시스템.
  19. 제 18 항에 있어서,
    상기 햅틱 연산부(18)는, 상기 1차 업데이트되는 프록시의 위치 변화량을, 상기 중간 표면을 나타내는 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 최고값인 것으로 결정하는 것을 특징으로 하는 촉각 방송 시스템.
  20. 제 18 항에 있어서,
    상기 햅틱 연산부(18)는, 상기 프록시를 깊이 방향으로 이동시켜 상기 중간 표면과 충돌하는 지점으로 상기 프록시를 1차 업데이트시키는 것을 특징으로 하는 촉각 방송 시스템.
  21. 제 17 항 내지 20 항 중 어느 한 항에 있어서,
    상기 영상 획득 장치(102)는 깊이 정보와 컬러 영상을 동시에 획득하는 카메라 또는 깊이 영상 렌더링 장치 중 어느 하나인 것을 특징으로 하는 촉각 방송 시스템.
  22. 제 17 항 내지 20 항 중 어느 한 항에 있어서,
    상기 인코더(110)는 상기 깊이 정보를 인코딩하는 제 1 인코더(112)와 상기 컬러 영상을 인코딩하는 제 2 인코더(114)로 이루어지며, 상기 디코더(122)는 상기 깊이 정보를 디코딩하는 제 1 디코더(124)와 상기 컬러 영상을 디코딩하는 제 2 디코더(126)를 포함하여 이루어지는 것을 특징으로 하는 촉각 방송 시스템.
  23. 제 17 항 내지 20 항 중 어느 한 항에 있어서,
    상기 인코더(110)와 상기 디코더(122)의 코딩은 MPEG-4의 H.264에 의해 이루어지는 것을 특징으로 하는 촉각 방송 시스템.
  24. 영상 정보와 이에 따른 햅틱 정보를 동시에 전달하기 위한 촉각 방송 시스템의 수신기에 있어서,
    송신측에서 전송된 신호를 디먹싱하는 디멀티플렉서(120), 디멀티플레서(120)에서 디먹싱된 신호를 디코딩하는 디코더(122), 디코딩된 신호를 합성하는 영상 합성기(128), 디스플레이(132)에 영상을 디스플레이하도록 렌더링하는 그래픽 렌더링 장치(130), 및 현재 깊이 영상과 다음번 깊이 영상을 이용하여 매 햅틱 이 터레이션마다 프록시의 위치를 업데이트시키고 이에 따른 충돌 검출과 반력 계산을 수행하여 햅틱 인터페이스 디바이스(30)에 햅틱 정보를 제공하는 햅틱 렌더링 장치(10)를 포함하는 것을 특징으로 하는 촉각 방송 시스템의 수신기.
  25. 제 24 항에 있어서,
    상기 햅틱 렌더링 장치(10)는,
    상기 현재 깊이 영상을 임시 저장하는 제 1 영상 버퍼(14); 상기 다음번 깊이 영상을 임시 저장하는 제 2 영상 버퍼(16); 상기 충돌 검출과 상기 계산을 수행하되, 상기 제 1 영상 버퍼(14)에 저장된 상기 현재 깊이 영상과 상기 제 2 영상 버퍼(16)에 저장된 상기 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 변화되는 중간 표면을 설정하고, 상기 중간 표면의 깊이 변화에 따라 프록시의 위치를 1차 업데이트시켜 충돌을 검출하는 햅틱 연산부(18); 상기 햅틱 인터페이스 디바이스(30)를 제어하기 위한 디바이스 제어부(20); 및 상기 각 구성요소의 작동을 제어하는 주제어부(12)를 포함하여 이루어지는 것을 특징으로 하는 촉각 방송 시스템의 수신기.
  26. 제 25 항에 있어서,
    상기 햅틱 연산부(18)는, 상기 1차 업데이트되는 프록시의 위치 변화량을, 상기 중간 표면을 나타내는 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 최고값인 것으로 결정하는 것을 특징으로 하는 촉각 방송 시스템의 수신기.
  27. 제 25 항에 있어서,
    상기 햅틱 연산부(18)는, 상기 프록시를 깊이 방향으로 이동시켜 상기 중간 표면과 충돌하는 지점으로 상기 프록시를 1차 업데이트시키는 것을 특징으로 하는 촉각 방송 시스템의 수신기.
KR1020060076705A 2006-08-14 2006-08-14 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템 KR100761022B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060076705A KR100761022B1 (ko) 2006-08-14 2006-08-14 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060076705A KR100761022B1 (ko) 2006-08-14 2006-08-14 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템

Publications (1)

Publication Number Publication Date
KR100761022B1 true KR100761022B1 (ko) 2007-09-21

Family

ID=38738517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060076705A KR100761022B1 (ko) 2006-08-14 2006-08-14 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템

Country Status (1)

Country Link
KR (1) KR100761022B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010011045A2 (ko) * 2008-07-24 2010-01-28 Park Sun Ho 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법
WO2009157701A3 (en) * 2008-06-24 2010-04-15 Samsung Electronics Co,. Ltd. Image generating method and apparatus and image processing method and apparatus
KR101428401B1 (ko) 2013-07-12 2014-08-14 한양대학교 산학협력단 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050112148A (ko) * 2004-05-24 2005-11-29 한국과학기술연구원 2차원 이미지에서의 햅틱 벡터 필드 생성방법 및 3차원높이 정보 추출방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050112148A (ko) * 2004-05-24 2005-11-29 한국과학기술연구원 2차원 이미지에서의 햅틱 벡터 필드 생성방법 및 3차원높이 정보 추출방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009157701A3 (en) * 2008-06-24 2010-04-15 Samsung Electronics Co,. Ltd. Image generating method and apparatus and image processing method and apparatus
WO2010011045A2 (ko) * 2008-07-24 2010-01-28 Park Sun Ho 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법
WO2010011045A3 (ko) * 2008-07-24 2010-05-06 Park Sun Ho 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법
KR101428401B1 (ko) 2013-07-12 2014-08-14 한양대학교 산학협력단 영상 정보를 촉각 신호로 변환하여 제공하는 장치 및 방법

Similar Documents

Publication Publication Date Title
JP5763184B2 (ja) ３次元画像に対する視差の算出
US9648346B2 (en) Multi-view video compression and streaming based on viewpoints of remote viewer
JP3229162B2 (ja) 圧縮ビデオ・ビットストリーム合成のシステムおよび方法
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
CN113099204B (zh) 一种基于vr头戴显示设备的远程实景增强现实方法
EP2384001A1 (en) Providing of encoded video applications in a network environment
US11232625B2 (en) Image processing
KR100517517B1 (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
JP2014505917A (ja) ３ｄヒューマンマシンインターフェースのためのハイブリッドリアリティ
KR20140133770A (ko) 동화상 배신 서버, 동화상 재생 장치, 제어 방법, 및 컴퓨터 판독 가능한 기록 매체
JP2019537294A (ja) 全方位ビデオのための補正された動き補償方法および装置
CN113170213A (zh) 图像合成
EP4186228A1 (en) 3d conversations in an artificial reality environment
EP3857898A1 (en) Apparatus and method for generating and rendering a video stream
CN114009012A (zh) 用于编码、传递和/或使用图像的方法和装置
KR100761022B1 (ko) 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템
US11328488B2 (en) Content generation system and method
EP3742404A1 (en) Content coding system and method
EP3932081B1 (en) Apparatus and method of generating an image signal
CN116018619A (zh) 信息处理装置、信息处理方法和程序
Desai et al. Network adaptive textured mesh generation for collaborative 3d tele-immersion
JP2011228821A (ja) 多視点画像符号化装置
KR20200053498A (ko) 전방위 비디오를 위한 움직임 벡터 예측기의 적응을 위한 방법 및 장치
WO2022259632A1 (ja) 情報処理装置及び情報処理方法
US11823323B2 (en) Apparatus and method of generating an image signal

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130710

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee