KR101305735B1 - 촉각 효과의 제공 방법 및 장치 - Google Patents

촉각 효과의 제공 방법 및 장치 Download PDF

Info

Publication number
KR101305735B1
KR101305735B1 KR1020120064031A KR20120064031A KR101305735B1 KR 101305735 B1 KR101305735 B1 KR 101305735B1 KR 1020120064031 A KR1020120064031 A KR 1020120064031A KR 20120064031 A KR20120064031 A KR 20120064031A KR 101305735 B1 KR101305735 B1 KR 101305735B1
Authority
KR
South Korea
Prior art keywords
map
tactile
image
temporal
attention
Prior art date
Application number
KR1020120064031A
Other languages
English (en)
Inventor
최승문
김명찬
이성길
Original Assignee
성균관대학교산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단, 포항공과대학교 산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020120064031A priority Critical patent/KR101305735B1/ko
Application granted granted Critical
Publication of KR101305735B1 publication Critical patent/KR101305735B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

촉각 효과의 제공 방법 및 장치가 개시된다. 본 발명의 일 실시예는, 영상의 주목도에 따른 특징 지도를 생성하는 단계, 상기 특징 지도를 기반으로, 공간적 주목도에 따른 공간 주목도 지도를 생성하는 단계 및 상기 공간 주목도 지도를 기반으로, 시간적 주목도에 따른 시간 주목도 지도를 생성하는 단계를 포함한다. 본 발명에 의하면, 영상의 주목도에 따라 촉각 효과를 자동으로 저작할 수 있으므로, 촉각 효과를 저작하는데 소요되는 비용과 시간을 줄일 수 있다.

Description

촉각 효과의 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING OF TACTILE EFFECT}
본 발명은 촉각 효과를 제공하는 기술에 관한 것으로, 더욱 상세하게는 영상 정보를 기반으로 한 촉각 효과의 제공 방법 및 장치에 관한 것이다.
일반적으로, 4D(4 Dimension) 영화는 영상과 함께 여러가지 촉각(Tactile) 효과(예를 들어, 진동, 바람, 안개, 간지럼 등)를 관객에게 제공하며, 이와 같은 촉각 효과를 제공함으로써 기존의 2D 영화 또는 3D 영화보다 영화의 내용을 보다 실감나게 전달할 수 있다.
이러한, 4D 영화의 촉각 효과를 저작하기 위하여, 개발자들은 영상의 내용을 일일이 분석하고 분석한 결과와 관객의 흥미를 고려하여 촉각 효과를 저작한다. 즉, 4D 영화의 촉각 효과는 자동으로 저작되는 것이 아니라 개발자들의 수작업으로 저작되므로, 영상의 내용에 대응하는 촉각 효과를 저작하기 위하여 상당한 비용과 시간이 소요되는 문제점이 있었다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 영상의 주목도(Saliency)에 따라 촉각 효과를 저작하고, 저작한 촉각 효과를 동기에 맞게 제공하기 위한 촉각 효과의 제공 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 영상의 주목도(Saliency)에 따라 촉각 효과를 저작하고, 저작한 촉각 효과를 동기에 맞게 제공하기 위한 촉각 효과의 제공 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예는, 영상의 주목도에 따른 특징 지도를 생성하는 단계, 상기 특징 지도를 기반으로, 공간적 주목도에 따른 공간 주목도 지도를 생성하는 단계 및 상기 공간 주목도 지도를 기반으로, 시간적 주목도에 따른 시간 주목도 지도를 생성하는 단계를 포함한다.
여기서, 촉각 효과의 제공 방법은, 상기 시간 주목도 지도를 기반으로, 촉각 효과를 제공하는 촉각 장치의 배열에 대응하는 촉각 지도를 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 특징 지도를 생성하는 단계는, 상기 영상의 색공간을 CIE Lab 색공간으로 변경하는 단계 및 상기 CIE Lab 색공간에서, 영상의 주목도에 따른 특징 지도를 생성하는 단계를 포함할 수 있다.
여기서, 상기 공간 주목도 지도를 생성하는 단계는, 상기 특징 지도를 기반으로, 서로 다른 크기를 가지는 영상의 모임인 공간 영상 피라미드를 생성하는 단계, 상기 공간 영상 피라미드에 포함된 영상들 간의 픽셀 값 차이를 기반으로 공간 대조 지도를 생성하는 단계 및 상기 공간 대조 지도를 정규화하여 공간 주목도 지도를 생성하는 단계를 포함할 수 있다.
여기서, 상기 시간 주목도 지도를 생성하는 단계는, 상기 공간 주목도 지도를 기반으로, 서로 다른 크기를 가지는 영상의 모임인 시간 영상 피라미드를 생성하는 단계, 현재 시점의 시간 영상 피라미드와 과거 시점의 시간 영상 피라미드에 포함된 영상들을 기반으로 하나의 시간 영상 피라미드를 생성하는 단계, 상기 하나의 시간 영상 피라미드에 포함된 영상들 간의 픽셀 값 차이를 기반으로 시간 대조 지도를 생성하는 단계 및 상기 시간 대조 지도를 정규화하여 시간 주목도 지도를 생성하는 단계를 포함할 수 있다.
여기서, 상기 시간 대조 지도를 정규화하여 시간 주목도 지도를 생성하는 단계는, 정규화한 영상 내에서 미리 정해진 값보다 작은 값을 가지는 픽셀을 제거하여 시간 주목도 지도를 생성할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예는, 영상의 주목도에 따른 특징 지도를 생성하는 제1 생성부, 상기 특징 지도를 기반으로, 공간적 주목도에 따른 공간 주목도 지도를 생성하는 제2 생성부 및 상기 공간 주목도 지도를 기반으로, 시간적 주목도에 따른 시간 주목도 지도를 생성하는 제3 생성부를 포함한다.
여기서, 촉각 효과의 제공 장치는, 상기 시간 주목도 지도를 기반으로, 촉각 효과를 제공하는 촉각 장치의 배열에 대응하는 촉각 지도를 생성하는 제4 생성부를 더 포함할 수 있다.
여기서, 촉각 효과의 제공 장치는, 상기 촉각 지도에 따라 동작하는 상기 촉각 장치의 구동지연시간을 측정하고, 영상과 영상에 대응하는 촉각 효과가 동시에 제공되도록, 상기 구동지연시간을 기반으로 상기 촉각 지도의 제공 시점을 조절하는 제공부를 더 포함할 수 있다.
본 발명에 의하면, 영상의 주목도(Saliency)에 따라 촉각 효과를 자동으로 저작할 수 있으므로, 촉각 효과를 저작하는데 소요되는 비용과 시간을 줄일 수 있다.
또한, 영상의 주목도에 따라 촉각 효과를 자동으로 저작하는 과정은 간단한 알고리즘을 통해 수행되므로, 관객에게 제공되는 영상이 렌더링(Rendering) 되는 동안에 상기 영상에 대응하는 촉각 효과를 실시간으로 저작할 수 있고, 렌더링된 영상과 함께 실시간으로 저작된 촉각 효과를 관객에게 제공할 수 있다.
또한, 촉각 효과를 제공하는 촉각 장치의 동작 지연 시간을 고려하여, 영상과 상기 영상에 대응하는 촉각 효과 간의 동기를 맞출 수 있으므로, 보다 실감나는 영상을 관객에게 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 촉각 효과의 제공 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따라 출력되는 영상의 흐름을 도시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 결과를 도시한 영상이다.
도 4는 본 발명의 일 실시예에 따라 촉각 효과를 제공하는 방법을 도시한 개념도이다.
도 5는 촉각 효과를 제공하는 촉각 장치를 도시한 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 촉각 효과의 제공 장치를 도시한 블록도이다.
도 7은 관객에게 제공한 촉각 영화를 도시한 영상이다.
도 8은 촉각 영화를 감상한 관객의 감상 결과를 조사한 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
촉각 영화는 기존 영화의 시청각 콘텐츠와 그에 연계되는 촉각 콘텐츠를 추가하여 관객이 영화를 보면서 영화 속의 콘텐츠를 몸으로 체험할 수 있는 영화를 의미한다. 이러한 촉각 영화를 관객에게 제공하기 위해, 먼저, 촬영한 영상 및 획득한 음원을 저작(Authoring) 단계에서 편집하고 각 장면에 삽입될 음향효과를 편집하는 것과 같이, 제작한 영화 장면 및 음악에 힘 센서 혹은 위치 센서를 통해 획득한 촉각 데이터를 시공간적으로 동기화하거나, 마우스 또는 타블렛 펜 등의 다양한 입력 장치를 이용하여 촉각 데이터를 저작한다. 이렇게 저작한 촉각 컨텐츠는 영상과 동일하거나 다른 프레임 수를 가지는 다른 매체로 저장되며, 다른 시청각 콘텐츠와 같이 인코딩(Encoding)되고 영화를 재생하는 플레이어에서 디코딩(Decoding)되어, 촉각 장치를 통해 촉각 효과를 관객에게 제공한다.
상술한 촉각 비디오는 본 발명의 일 실시예에 따라 생성되는 촉각 지도(Map)를 의미하고, 상술한 촉각 콘텐츠는 촉각 지도에 따라 생성되는 촉각 효과를 의미한다.
도 1은 본 발명의 일 실시예에 따른 촉각 효과의 제공 방법을 도시한 흐름도이고, 도 2는 본 발명의 일 실시예에 따라 출력되는 영상의 흐름을 도시한 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 촉각 효과의 제공 방법은 크게 영상의 주목도(Saliency)에 따른 특징 지도(Feature map)를 생성하는 단계(S100), 특징 지도를 기반으로, 공간적 주목도에 따른 공간 주목도 지도(Spatial saliency map)를 생성하는 단계(S200) 및 공간 주목도 지도를 기반으로, 시간적 주목도에 따른 시간 주목도 지도(Temporal saliency map)를 생성하는 단계(S300)를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 촉각 효과의 제공 방법은, 시간 주목도 지도를 기반으로, 촉각 효과를 제공하는 촉각 장치의 배열과 대응하는 촉각 지도(Tactile map)를 생성하는 단계(S400)를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 촉각 효과의 제공 방법은, 촉각 지도의 제공 시점을 조절하는 단계를 더 포함할 수 있다.
여기서, 본 발명의 일 실시예에 따른 촉각 효과의 제공 방법은 촉각 효과의 제공 장치에서 수행될 수 있다.
먼저, 촉각 효과의 제공 장치는 동영상(Video)으로부터 영상(Image)을 획득할 수 있고, 획득한 영상의 색공간을 CIE(Commission Internationale de I'Eclairage) Lab 색공간으로 변경할 수 있다(S110). 여기서, CIE Lab 색공간이란, 색을 빛의 물리량과 인간의 시감각 신경을 자극하는 심리량으로 나타낸 색공간으로, 'L'은 명도(또는, 밝음)를 나타내고, 'a, b'는 색상과 채도를 나타낸다. 또한, '+a'는 빨강(Red) 방향을 나타내고, '-a'는 초록(Green) 방향을 나타내고, '+b'는 노랑(Yellow) 방향을 나타내고, '-b'는 파랑(Blue) 방향을 나타낸다. 영상의 색공간을 CIE Lab 색공간으로 변경한 영상은, 도 2에 도시된 영상(110)과 동일하다.
영상의 색공간을 CIE Lab 색공간으로 변경한 후, 촉각 효과의 제공 장치는 CIE Lab 색공간에서 영상 주목도에 따른 특징 지도를 생성할 수 있으며(S120), 특히 영상 주목도가 상대적으로 높은 부분을 중심으로 하여 특징 지도를 생성할 수 있다. 여기서, 주목도란, 영상 내에서 다른 부분보다 특이성(Salient)이 두드러지는 부분을 의미하는 것으로, 예를 들어, CIE Lab 색공간에서 'L, a, b' 모두를 고려한 결과 그 차이가 상대적으로 큰 부분을 주목도가 높은 부분으로 볼 수 있다. 즉, 검은색 부분과 흰색 부분을 포함하는 영상에서, 검은색 부분과 흰색 부분 간의 차이가 크기 때문에 흰색 부분을 주목도가 높은 부분으로 볼 수 있다. 영상 주목도에 따라 생성한 특징 지도는, 도 2에 도시된 영상(120)과 동일하다.
이와 같이, 색공간으로 CIE Lab 색공간을 사용함으로써 하나의 영상에 대해 하나의 특징 지도를 생성할 수 있으므로, 종래 복수의 특징 지도(예를 들어, RGB 색공간의 경우, R에 대한 특징 지도, G에 대한 특징 지도 및 B에 대한 특징 지도를 사용함)를 기반으로 촉각 지도를 생성하는 것에 비해 간단한 알고리즘을 통해 촉각 지도를 생성할 수 있다.
영상 주목도에 따른 특징 지도를 생성한 후, 촉각 효과의 제공 장치는 특징 지도를 기반으로 서로 다른 크기를 가지는 영상의 모임인 공간 영상 피라미드(Pyramid)를 생성할 수 있다(S210). 즉, 촉각 효과의 제공 장치는 특징 지도를 1/4 크기로 다운샘플링(Downsampling)하여 공간 영상 피라미드를 생성할 수 있으며, 픽셀의 크기가 1×1이 될 때까지 다운샘플링을 수행할 수 있다. 예를 들어, 영상의 해상도(Resolution)가 2N×2N인 경우, 공간 영상 피라미드 내에는 '0'부터 'N'까지 해상도를 가지는 영상(1×1, 2×2, 4×4, … ,2N×2N)이 포함될 수 있다. 또한, 촉각 효과의 제공 장치는 저대역 필터를 통과한 특정 지도를 다운샘플링하여 공간 영상 피라미드를 생성할 수 있다. 특징 지도를 기반으로 생성한 공간 영상 피라미드는, 도 2에 도시된 영상(210)과 동일하다.
특징 지도를 기반으로 공간 영상 피라미드를 생성한 후, 촉각 효과의 제공 장치는 공간 영상 피라미드를 기반으로 공간 대조 지도를 생성할 수 있다(S220). 즉, 촉각 효과의 제공 장치는 공간 영상 피라미드에 포함된 영상을 구성하고 있는 각 픽셀들이 주변 픽셀들과 어느 정도 차이가 있는지를 계산하여 공간 대조 지도를 생성할 수 있으며, 이때, 중심 차분 연산(Center-surround Difference Operation(θ))을 이용하여 공간 대조 지도를 생성할 수 있다.
공간 영상 피라미드에 포함된 영상들은 중간 레벨(C)과 주변 레벨(S)로 분류할 수 있으며, 'C'와 'S'의 관계는 아래 수학식 1과 같이 나타낼 수 있다.
Figure 112012047542313-pat00001
여기서, 'δ'는 중간 레벨(C)와 주변 레벨(S)의 차이로, 이를 공간 대조 지도라 부른다.
공간 대조 지도를 생성하는 방법에 대해 구체적으로 살펴보면, 공간 영상 피라미드에 포함된 영상을 동일한 크기로 맞춘 뒤 각각에 대응하는 픽셀 값의 차이를 산출하고, 산출한 값의 절대값으로 공간 대조 지도를 구성한다. 예를 들어, 'C'는 '2'이고 'S'는 '5'인 경우, 공간 영상 피라미드에 포함된 2번째 영상과 5번째 영상을 동일한 크기로 맞춘 뒤 각각에 대응하는 픽셀 값의 차이를 산출하고, 산출한 값의 절대값으로 공간 대조 지도를 구성한다. 공간 영상 피라미드를 기반으로 생성한 공간 대조 지도는, 도 2에 도시된 영상(220)과 동일하다.
공간 영상 피라미드를 기반으로 공간 대조 지도를 생성한 후, 촉각 효과의 제공 장치는 공간 대조 지도를 기반으로 공간 주목도 지도를 생성할 수 있다(S230). 이때, 촉각 효과의 제공 장치는 공간 대조 지도에 정규화(Normalization)을 적용(예를 들어, 공간 대조 지도의 픽셀 값을 [0 … M]으로 정규화할 수 있고, 이때, 'M'을 '255'로 정의할 수 있음)하여 공간 주목도 지도를 생성할 수 있다. 공간 영상 피라미드를 기반으로 생성한 공간 대조 지도는, 도 2에 도시된 영상(230)과 동일하다.
상술한 단계 S210, S220, S230을 통해 공간 주목도 지도를 생성할 수 있으며, 동영상을 구성하는 각 영상당 하나의 공간 주목도 지도를 생성할 수 있다. 예를 들어, 동영상이 30FPS(Frame Per Second)인 경우, 동영상의 길이가 10초이면 300개의 공간 주목도 지도를 생성할 수 있다.
공간 대조 지도를 기반으로 공간 주목도 지도를 생성한 후, 촉각 효과의 제공 장치는 공간 주목도 지도를 기반으로 시간 영상 피라미드를 생성할 수 있다(S310). 즉, 촉각 효과의 제공 장치는 공간 주목도 지도를 1/4 크기로 다운샘플링하여 시간 영상 피라미드를 생성할 수 있으며, 픽셀의 크기가 1×1이 될 때까지 다운샘플링을 수행할 수 있다. 예를 들어, 영상의 해상도가 2N×2N인 경우, 시간 영상 피라미드 내에는 '0'부터 'N'까지 해상도를 가지는 영상(1×1, 2×2, 4×4, … ,2N×2N)이 포함될 수 있다. 또한, 촉각 효과의 제공 장치는 저대역 필터를 통과한 공간 주목도 지도를 다운샘플링하여 시간 영상 피라미드를 생성할 수 있다.
공간 주목도 지도를 기반으로 시간 영상 피라미드를 생성한 후, 촉각 효과의 제공 장치는 시간 축 상으로 존재하는 복수의 시간 영상 피라미드를 하나의 시간 영상 피라미드로 생성할 수 있다(S320). 즉, 촉각 제공 장치는 현재 시점의 시간 영상 피라미드에 포함된 영상부터 2n 이전 시점의 시간 영상 피라미드에 포함된 영상까지를 평균하여 하나의 영상 피라미드를 생성할 수 있다. 여기서, 'n'은 '0'부터 'N'까지의 값이며, 예를 들어, 'n'이 '2'인 경우에 촉각 제공 장치는 현재 시점의 시간 영상 피라미드에 포함된 영상부터 4프레임(Frame) 이전 시점의 시간 영상 피라미드에 포함된 영상을 평균하여 하나의 시간 영상 피라미드를 생성할 수 있다.
하나의 시간 영상 피라미드를 생성한 후, 촉각 효과의 제공 장치는 하나의 시간 영상 피라미드를 기반으로 시간 대조 지도를 생성할 수 있다(S330). 즉, 촉각 효과의 제공 장치는 시간 영상 피라미드에 포함된 영상을 구성하고 있는 각 픽셀들이 주변 픽셀들과 어느 정도 차이가 있는지를 계산하여 시간 대조 지도를 생성할 수 있으며, 이때, 중심 차분 연산을 이용하여 시간 대조 지도를 생성할 수 있다. 중심 차분 연산을 이용하여 시간 대조 지도를 생성하는 방법은, 상술한 단계 S220에서 수행되는 방법과 동일하다.
하나의 시간 영상 피라미드를 기반으로 시간 대조 지도를 생성한 후, 촉각 효과의 제공 장치는 시간 대조 지도를 기반으로 시간 주목도 지도를 생성할 수 있다(S340). 이때, 촉각 효과의 제공 장치는 시간 대조 지도에 정규화를 적용하여 시간 주목도 지도를 생성할 수 있다. 정규화를 적용하여 시간 주목도 지도를 생성하는 방법은, 상술한 단계 S230에서 수행되는 방법과 동일하다.
시간 대조 지도를 기반으로 시간 주목도 지도를 생성한 후, 촉각 효과의 제공 장치는 시간 주목도 지도를 구성하는 픽셀 중 미리 정해진 값보다 작은 값을 가지는 픽셀을 제거할 수 있다.
이때, 촉각 효과의 제공 장치는 역치 방법을 사용하여 시간 주목도 지도를 구성하는 픽셀 중 미리 정해진 값보다 작은 값을 가지는 픽셀을 제거할 수 있다.
역치 방법에 대해 구체적으로 살펴보면, 먼저 시간 주목도 지도의 픽셀 값을 [0 … M]으로 정규화할 수 있고, 이때, 'M'을 '255'로 정의할 수 있다. 그 후, 영상에서 가장 밝은 부분인 'M'의 위치를 추출하고, 영상을 일정 크기의 지역으로 나누어, 각 지역 최대값(Local Maxima)의 평균인
Figure 112012047542313-pat00002
을 산출할 수 있다. 여기서, 글로벌 최대값(Global Maxima)은 영상에서 가장 밝은 부분인 'M'을 의미하고, 지역 최대값은 각 지역에서 주변 픽셀에 비해 값이 큰 픽셀을 의미한다. 그 후, 영상을 구성하는 모든 픽셀에
Figure 112012047542313-pat00003
을 곱하여 최종 시간 주목도 지도를 생성할 수 있다.
이와 같이, 시간에 따른 주목도를 고려한 시간 주목도 지도를 생성함으로써, 종래에 비해 영상의 주목도를 보다 잘 반영한 촉각 지도를 저작할 수 있다.
상술한 단계 S210, S220, S230을 통해 공간 주목도 지도를 생성할 수 있으며, 동영상을 구성하는 각 영상당 하나의 공간 주목도 지도를 생성할 수 있다. 예를 들어, 동영상이 30FPS(Frame Per Second)인 경우, 동영상의 길이가 10초이면 300개의 공간 주목도 지도를 생성할 수 있다.
상술한 단계 S310, S320, S330, S340을 통해 생성된 시간 주목도 지도는, 도 2에 도시된 영상(300)과 동일하다.
시간 대조 지도를 기반으로 시간 주목도 지도를 생성한 후, 촉각 효과의 제공 장치는 시간 주목도 지도를 기반으로 촉각 지도를 생성할 수 있다(S400). 이때, 촉각 효과 제공 장치는 시간 주목도 지도를 기반으로, 촉각 효과를 제공하는 촉각 장치의 배열에 대응하는 촉각 지도를 생성할 수 있다. 시간 주목도 지도를 기반으로 생성된 촉각 지도는, 도 2에 도시된 영상(400)과 동일하다.
이하, 본 발명의 일 실시예에 따른 촉각 효과의 제공 장치를 도시한 도 6을 참조하여, 촉각 장치의 배열에 대응하는 촉각 지도를 생성하는 방법에 대하여 설명한다.
도 6(a)에 도시된 장갑은 4×4 배열을 가지므로 촉각 효과의 제공 장치는 시간 주목도 지도를 기반으로 4×4 해상도를 가지는 촉각 지도를 생성할 수 있고, 도 6(b)에 도시된 조끼는 3×4 배열을 가지므로 촉각 효과의 제공 장치는 시간 주목도 지도를 기반으로 3×4 해상도를 가지는 촉각 지도를 생성할 수 있고, 도 6(c)에 도시된 의자는 3×5 배열을 가지므로 촉각 효과의 제공 장치는 시간 주목도 지도를 기반으로 3×5 해상도를 가지는 촉각 지도를 생성할 수 있다.
상술한 단계 S100, S200, S300, S400을 통해 생성된 촉각 지도는 도 3에 도시된 영상(500)과 동일하다. 즉, 도 3에서 상대적으로 밝은 부분은 영상(500)에서 다른 부분보다 밝게 나타날 수 있다.
시간 주목도 지도를 기반으로 촉각 지도를 생성한 후, 촉각 효과의 제공 장치는 촉각 지도를 시청각 콘텐츠와 함께 관객에게 제공할 수 있으며, 이때, 촉각 효과의 제공 장치는 촉각 지도에 따라 제공되는 촉각 효과와 시청각 콘텐츠의 동기가 맞도록 촉각 지도를 제공하는 시점을 조절할 수 있다.
먼저, 촉각 효과의 제공 장치는 촉각 지도에 따라 촉각 효과를 제공하는 촉각 장치의 구동지연시간을 측정할 수 있다. 여기서, 구동지연시간은, 촉각 장치의 전압이 초기 전압에서 목표 전압의 90%까지 도달하는데 걸리는 시간이다.
촉각 장치의 구동지연시간을 측정한 후, 촉각 효과의 제공 장치는 구동지연시간을 기반으로 촉각 지도를 제공하는 시점을 조절할 수 있다. 즉, 구동지연시간이 길어 촉각 지도에 따른 촉각 효과와 시청각 콘텐츠의 동기가 맞지 않는다고 판단된 경우, 촉각 효과의 제공 장치는 촉각 지도를 제공하는 시점을 앞당길 수 있다. 한편, 구동지연시간이 짧아 촉각 지도에 따른 촉각 효과와 시청각 콘텐츠의 동기가 맞지 않는다고 판단된 경우, 촉각 효과의 제공 장치는 촉각 지도를 제공하는 시점을 늦출 수 있다.
촉각 효과의 제공 장치는 여러가지 방법을 사용하여 촉각 지도를 촉각 장치에 적용시킬 수 있다. 첫 번째 방법은, 촉각 지도를 구성하는 픽셀 값의 크기를 전압 신호로 사용하여, 촉각 장치를 구성하는 각 구성에 선형으로 전압을 전달하여 촉각 장치를 동작시킬 수 있다. 이때, 픽셀 값이 클수록 높은 전압이 촉각 장치에 제공되도록 할 수 있다. 또한, 전압 신호 대신 주파수 신호를 사용할 수 있으며, 전압 신호와 주파수 신호를 함께 사용할 수 있다.
두 번째 방법은, 시네마토그래피(Cinematography)에 따르면 영상의 가운데 부분에 사물이 위치하는 경우가 많은데, 특정 사물이 미리 정해진 시간을 초과하여 영상의 가운데 부분에 위치하는 경우에 이 부분을 확대하고, 확대한 부분 전체에 촉각 효과가 전달되도록 할 수 있다. 즉, 도 4(a)와 같이 특정 사물이 미리 정해진 시간을 초과하여 영상의 가운데 부분에 위치하는 경우, 도 4(b), (c), (d)와 같이 넓은 부분에 촉각 효과가 전달되도록 할 수 있다.
세 번째 방법은, 사물이 영상의 특정 부분에 위치하는 경우에 이 부분을 축소하고, 축소한 부분에만 촉각 효과가 전달되도록 할 수 있다. 도 4(e), (f)와 같이 축소한 부분에만 촉각 효과가 전달되도록 할 수 있다.
네 번째 방법은, 촉각 장치가 미리 정해진 시간을 초과하여 동작하는 경우, 촉각 장치에 제공되는 전압을 기하급수적으로 감소시킬 수 있으며, 결국 촉각 지도에 따른 촉각 효과가 발생하여야 하는 경우에도 촉각 장치는 동작하지 않을 수 있다. 도 4(g)와 같이 촉각 장치에 제공되는 전압을 기하급수적으로 감소시킬 수 있다.
이상 본 발명의 일 실시예에 따른 촉각 효과의 제공 방법에 대해 상세하게 설명하였다. 이하 본 발명의 다른 실시예에 따른 촉각 효과의 제공 장치에 대해 상세하게 설명한다.
도 6은 본 발명의 다른 실시예에 따른 촉각 효과의 제공 장치를 도시한 블록도이다.
도 6을 참조하면, 촉각 효과의 제공 장치(10)는 제1 생성부(11), 제2 생성부(12), 제3 생성부(13), 제4 생성부(14) 및 제공부(15)를 포함할 수 있다.
제1 생성부(11)는 영상의 색공간을 CIE Lab 색공간으로 변경할 수 있고, CIE Lab 색공간에서 영상의 주목도에 따른 특징 지도를 생성할 수 있다. 여기서, 제1 생성부(11)가 수행하는 기능은 상술한 단계 S110, S120에서 수행되는 내용과 동일하다.
제2 생성부(12)는 특징 지도를 기반으로 서로 다른 크기를 가지는 영상의 모임인 공간 영상 피라미드를 생성할 수 있고, 공간 영상 피라미드에 포함된 영상들 간의 픽셀 값 차이를 기반으로 공간 대조 지도를 생성할 수 있고, 공간 대조 지도를 정규화하여 공간 주목도 지도를 생성할 수 있다. 여기서, 제2 생성부(12)가 수행하는 기능은 상술한 단계 S210, S220, S230에서 수행되는 내용과 동일하다.
제3 생성부(13)는 공간 주목도 지도를 기반으로 서로 다른 크기를 가지는 영상의 모임인 시간 영상 피라미드를 생성할 수 있고, 현재 시점의 시간 영상 피라미드와 과거 시점의 시간 영상 피라미드에 포함된 영상들을 기반으로 하나의 시간 영상 피라미드를 생성할 수 있고, 하나의 시간 영상 피라미드에 포함된 영상들 간의 픽셀 값 차이를 기반으로 시간 대조 지도를 생성할 수 있고, 시간 대조 지도를 정규화하여 시간 주목도 지도를 생성할 수 있다. 여기서, 제3 생성부(13)가 수행하는 기능은 상술한 단계 S310, S320, S330, S340에서 수행되는 내용과 동일하다.
제4 생성부(14)는 시간 주목도 지도를 기반으로 촉각 지도를 생성할 수 있다. 여기서, 제4 생성부(14)가 수행하는 기능은 상술한 단계 S400에서 수행되는 내용과 동일하다.
제공부(15)는 촉각 지도에 따라 동작하는 촉각 장치의 구동지연시간을 측정할 수 있고, 영상과 영상에 대응하는 촉각 효과가 동시에 제공되도록, 구동지연시간을 기반으로 촉각 지도의 제공 시점을 조절할 수 있다.
촉각 지도의 제공 시점을 조절하는 방법에 대해 구체적으로 살펴보면, 먼저 제공부(15)는 촉각 지도에 따라 촉각 효과를 제공하는 촉각 장치의 구동지연시간을 측정할 수 있다. 여기서, 구동지연시간은, 촉각 장치의 전압이 초기 전압에서 목표 전압의 90%까지 도달하는데 걸리는 시간이다.
촉각 장치의 구동지연시간을 측정한 후, 제공부(15)는 구동지연시간을 기반으로 촉각 지도를 제공하는 시점을 조절할 수 있다. 즉, 구동지연시간이 길어 촉각 지도에 따른 촉각 효과와 시청각 콘텐츠의 동기가 맞지 않는다고 판단된 경우, 제공부(15)는 촉각 지도를 제공하는 시점을 앞당길 수 있다. 한편, 구동지연시간이 짧아 촉각 지도에 따른 촉각 효과와 시청각 콘텐츠의 동기가 맞지 않는다고 판단된 경우, 제공부(15)는 촉각 지도를 제공하는 시점을 늦출 수 있다.
제1 생성부(11), 제2 생성부(12), 제3 생성부(13), 제4 생성부(14) 및 제공부(15)가 수행하는 기능은 임의의 프로세서(예를 들어, CPU)에서 수행될 수 있으며, 도 1의 각 단계는 상기 임의의 프로세서에서 수행될 수 있다.
또한, 제1 생성부(11), 제2 생성부(12), 제3 생성부(13), 제4 생성부(14) 및 제공부(15)는 하나의 단일한 형태, 하나의 물리적인 장치 또는 하나의 모듈로 구현될 수 있다. 이뿐만 아니라, 제1 생성부(11), 제2 생성부(12), 제3 생성부(13), 제4 생성부(14) 및 제공부(15)는 각각 하나의 물리적인 장치 또는 집단이 아닌 복수의 물리적 장치 또는 집단으로 구현될 수 있다.
이하, 도 7, 8을 참조하여, 본 발명의 일 실시예에 따라 생성된 촉각 지도가 적용된 촉각 영화를 관객에게 제공한 경우, 촉각 영화를 감상한 관객이 느끼는 촉각 효과에 대해 설명한다.
도 7은 관객에게 제공한 촉각 영화를 도시한 영상으로, 도 7(a)는 두 개의 공이 서로 다른 부분에 위치하는 정적-모션 영화(Static-motion movie)이고, 도 7(b)는 하나의 공이 서로 다른 속도로 움직이는 동적-모션 영화(Dynamic-motion movie)이고, 도 7(c)는 동물원에 두 마리의 곰이 있는 실제-세계 영화(Real-world movie)이다.
도 8은 촉각 영화를 감상한 관객의 감상 결과를 조사한 그래프이다. 즉, 도 8에 도시된 그래프는, 도 7(a), 7(b), 7(c)에 도시된 영화를 촉각 효과를 제공하는 시스템 또는 촉각 효과를 제공하지 않는 시스템을 통해 관객에게 제공하고, 이러한 영화를 감상한 관객의 감상 결과를 조사한 것이다. 여기서, MOVIE 1은 도 7(a)에 도시된 영상을 의미하고, MOVIE 2는 도 7(b)에 도시된 영상을 의미하고, MOVIE 3은 도 7(c)에 도시된 영상을 의미한다.
질문(Question) 1은 관객이 어떤 시스템(촉각 효과를 제공하는 시스템, 촉각 효과를 제공하지 않는 시스템)에 더 흥미를 느끼는지에 대한 것으로, 도 8의 그래프에 따르면 촉각 효과를 제공하는 시스템에 더 큰 흥미를 느끼는 것을 알 수 있다.(Y축 상의 수치가 높을수록 더 큰 흥미를 느끼는 것을 의미함)
질문 2는 관객이 어떤 시스템을 더 선호하는지에 대한 것으로, 도 8의 그래프에 따르면 촉각 효과를 제공하는 시스템을 더 선호하는 것을 알 수 있다.(Y축 상의 수치가 높을수록 선호도가 높은 것을 의미함)
질문 3은 어떤 시스템이 보다 실감나는 영상을 제공하는지에 대한 것으로, 도 8의 그래프에 따르면 촉각 효과를 제공하는 시스템이 보다 실감나는 영상을 제공하는 것을 알 수 있다.(Y축 상의 수치가 높을수록 보다 실감나는 영상을 제공하는 것을 의미함)
질문 4는 관객이 어떤 영화의 내용을 잘 이해했는지에 대한 것으로, 도 8의 그래프에 따르면 촉감 효과를 제공한 영화의 내용을 잘 이해한 것을 알 수 있다.(Y축 상의 수치가 높을수록 영화의 내용을 잘 이해한 것을 의미함)
질문 A는, 촉각 효과를 제공하는 시스템에서, 어떤 촉각 효과가 영화에 잘 매칭(Matching)되는지에 대한 것으로, 도 8의 그래프에 따르면 MOVIE 1에서 촉각 효과가 잘 매칭된 것을 알 수 있다.(Y축 상의 수치가 높을수록 촉각 효과가 잘 매칭된 것을 의미함)
질문 B는, 촉각 효과를 제공하는 시스템에서, 어떤 촉각 효과가 영화를 보다 실감나게 하는지에 대한 것으로, 도 8의 그래프에 따르면 MOVIE 2에서 촉각 효과가 영화를 보다 실감나게 하는 것을 알 수 있다.(Y축 상의 수치가 높을수록 촉각 효과가 영화를 보다 실감나게 하는 것을 의미함)
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
11: 제1 생성부
12: 제2 생성부
13: 제3 생성부
14: 제4 생성부
15: 제공부

Claims (9)

  1. 촉각 효과의 제공 장치가 수행하는 촉각 효과의 제공 방법에 있어서,
    영상의 주목도(Saliency)에 따른 특징 지도(Feature map)를 생성하는 단계;
    상기 특징 지도를 기반으로, 공간적 주목도에 따른 공간 주목도 지도(Spatial saliency map)를 생성하는 단계; 및
    상기 공간 주목도 지도를 기반으로, 시간적 주목도에 따른 시간 주목도 지도(Temporal saliency map)를 생성하는 단계를 포함하는 촉각 효과의 제공 방법.
  2. 청구항 1에 있어서, 상기 촉각 효과의 제공 방법은,
    상기 시간 주목도 지도를 기반으로, 촉각 효과를 제공하는 촉각 장치의 배열에 대응하는 촉각 지도(Tactile map)를 생성하는 단계를 더 포함하는 촉각 효과의 제공 방법.
  3. 청구항 1에 있어서, 상기 특징 지도를 생성하는 단계는,
    상기 영상의 색공간을 CIE(Commission Internationale de I'Eclairage) Lab 색공간으로 변경하는 단계; 및
    상기 CIE Lab 색공간에서, 영상의 주목도에 따른 특징 지도를 생성하는 단계를 포함하는 촉각 효과의 제공 방법.
  4. 청구항 1에 있어서, 상기 공간 주목도 지도를 생성하는 단계는,
    상기 특징 지도를 기반으로, 서로 다른 크기를 가지는 영상의 모임인 공간 영상 피라미드(Pyramid)를 생성하는 단계;
    상기 공간 영상 피라미드에 포함된 영상들 간의 픽셀 값 차이를 기반으로 공간 대조 지도(Spatial contrast map)를 생성하는 단계; 및
    상기 공간 대조 지도를 정규화하여 공간 주목도 지도를 생성하는 단계를 포함하는 촉각 효과의 제공 방법.
  5. 청구항 1에 있어서, 상기 시간 주목도 지도를 생성하는 단계는,
    상기 공간 주목도 지도를 기반으로, 서로 다른 크기를 가지는 영상의 모임인 시간 영상 피라미드를 생성하는 단계;
    현재 시점의 시간 영상 피라미드와 과거 시점의 시간 영상 피라미드에 포함된 영상들을 기반으로 하나의 시간 영상 피라미드를 생성하는 단계;
    상기 하나의 시간 영상 피라미드에 포함된 영상들 간의 픽셀 값 차이를 기반으로 시간 대조 지도(Temporal contrast map)를 생성하는 단계; 및
    상기 시간 대조 지도를 정규화하여 시간 주목도 지도를 생성하는 단계를 포함하는 촉각 효과의 제공 방법.
  6. 청구항 5에 있어서, 상기 시간 대조 지도를 정규화하여 시간 주목도 지도를 생성하는 단계는,
    정규화한 영상 내에서 미리 정해진 값보다 작은 값을 가지는 픽셀을 제거하여 시간 주목도 지도를 생성하는 것을 특징으로 하는 촉각 효과의 제공 방법.
  7. 영상의 주목도(Saliency)에 따른 특징 지도(Feature map)를 생성하는 제1 생성부;
    상기 특징 지도를 기반으로, 공간적 주목도에 따른 공간 주목도 지도(Spatial saliency map)를 생성하는 제2 생성부; 및
    상기 공간 주목도 지도를 기반으로, 시간적 주목도에 따른 시간 주목도 지도(Temporal saliency map)를 생성하는 제3 생성부를 포함하는 촉각 효과의 제공 장치.
  8. 청구항 7에 있어서, 상기 촉각 효과의 제공 장치는,
    상기 시간 주목도 지도를 기반으로, 촉각 효과를 제공하는 촉각 장치의 배열에 대응하는 촉각 지도(Tactile map)를 생성하는 제4 생성부를 더 포함하는 촉각 효과의 제공 장치.
  9. 청구항 8에 있어서, 상기 촉각 효과의 제공 장치는,
    상기 촉각 지도에 따라 동작하는 상기 촉각 장치의 구동지연시간을 측정하고, 영상과 영상에 대응하는 촉각 효과가 동시에 제공되도록, 상기 구동지연시간을 기반으로 상기 촉각 지도의 제공 시점을 조절하는 제공부를 더 포함하는 촉각 효과의 제공 장치.
KR1020120064031A 2012-06-15 2012-06-15 촉각 효과의 제공 방법 및 장치 KR101305735B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120064031A KR101305735B1 (ko) 2012-06-15 2012-06-15 촉각 효과의 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120064031A KR101305735B1 (ko) 2012-06-15 2012-06-15 촉각 효과의 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101305735B1 true KR101305735B1 (ko) 2013-09-06

Family

ID=49455468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120064031A KR101305735B1 (ko) 2012-06-15 2012-06-15 촉각 효과의 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101305735B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714537A (zh) * 2013-12-19 2014-04-09 武汉理工大学 一种图像显著性的检测方法
CN112861733A (zh) * 2021-02-08 2021-05-28 电子科技大学 一种基于时空双编码的夜间交通视频显著性检测方法
EP4047455A1 (en) * 2016-09-06 2022-08-24 Apple Inc. Devices, methods, and graphical user interfaces for generating tactile outputs
US11735014B2 (en) 2016-06-12 2023-08-22 Apple Inc. Devices, methods, and graphical user interfaces for providing haptic feedback
US11790739B2 (en) 2014-09-02 2023-10-17 Apple Inc. Semantic framework for variable haptic output

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080071374A (ko) * 2007-01-30 2008-08-04 삼성전자주식회사 압축 영상의 화질 검출장치 및 방법
KR20090057878A (ko) * 2007-12-03 2009-06-08 한국전자통신연구원 단일 미디어 다중 디바이스 기반 유비쿼터스 홈 미디어재현 방법 및서비스 방법
KR20100012013A (ko) * 2008-07-14 2010-02-04 한국전자통신연구원 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
KR20100114482A (ko) * 2009-04-15 2010-10-25 한국전자통신연구원 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080071374A (ko) * 2007-01-30 2008-08-04 삼성전자주식회사 압축 영상의 화질 검출장치 및 방법
KR20090057878A (ko) * 2007-12-03 2009-06-08 한국전자통신연구원 단일 미디어 다중 디바이스 기반 유비쿼터스 홈 미디어재현 방법 및서비스 방법
KR20100012013A (ko) * 2008-07-14 2010-02-04 한국전자통신연구원 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
KR20100114482A (ko) * 2009-04-15 2010-10-25 한국전자통신연구원 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714537A (zh) * 2013-12-19 2014-04-09 武汉理工大学 一种图像显著性的检测方法
US11790739B2 (en) 2014-09-02 2023-10-17 Apple Inc. Semantic framework for variable haptic output
US11735014B2 (en) 2016-06-12 2023-08-22 Apple Inc. Devices, methods, and graphical user interfaces for providing haptic feedback
EP4047455A1 (en) * 2016-09-06 2022-08-24 Apple Inc. Devices, methods, and graphical user interfaces for generating tactile outputs
US11662824B2 (en) 2016-09-06 2023-05-30 Apple Inc. Devices, methods, and graphical user interfaces for generating tactile outputs
CN112861733A (zh) * 2021-02-08 2021-05-28 电子科技大学 一种基于时空双编码的夜间交通视频显著性检测方法

Similar Documents

Publication Publication Date Title
CN108322788B (zh) 一种视频直播中的广告展示方法及装置
Waltl et al. An end-to-end tool chain for Sensory Experience based on MPEG-V
KR101305735B1 (ko) 촉각 효과의 제공 방법 및 장치
US10362283B2 (en) Virtual cinema and implementation method thereof
JP6672305B2 (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
US10863212B2 (en) Method and system for fusing user specific content into a video production
KR20090120492A (ko) 3차원 콘텐츠와 텍스트를 조합하기 위한 시스템 및 방법
Kim et al. Saliency-driven real-time video-to-tactile translation
US8982187B2 (en) System and method of rendering stereoscopic images
JP2021532642A (ja) 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム
US20120307023A1 (en) Disparity distribution estimation for 3d tv
Timmerer et al. Assessing the quality of sensory experience for multimedia presentations
US20140298379A1 (en) 3D Mobile and Connected TV Ad Trafficking System
Eilertsen The high dynamic range imaging pipeline
US20190220954A1 (en) Apparatus, method, and computer program code for producing composite image
EP2575358B1 (en) Display apparatus and control method thereof
US20120268557A1 (en) 3d image processing apparatus and method for adjusting 3d effect thereof
CN111292280B (zh) 用于输出信息的方法和装置
JP6567461B2 (ja) 認識装置、映像コンテンツ提示システム、プログラム
US9288473B2 (en) Creating apparatus and creating method
Cheng et al. 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System
Cui et al. No-reference video shakiness quality assessment
US20200294264A1 (en) Gaze based rendering for audience engagement
Timmerer et al. Immersive future media technologies: from 3D video to sensory experiences
Saeed et al. A study on presence quality and cybersickness in 2D, smartphone, and VR.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160704

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180618

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 7