KR20120090565A - 영상 데이터의 실감 효과 처리장치 및 방법 - Google Patents

영상 데이터의 실감 효과 처리장치 및 방법 Download PDF

Info

Publication number
KR20120090565A
KR20120090565A KR1020110011053A KR20110011053A KR20120090565A KR 20120090565 A KR20120090565 A KR 20120090565A KR 1020110011053 A KR1020110011053 A KR 1020110011053A KR 20110011053 A KR20110011053 A KR 20110011053A KR 20120090565 A KR20120090565 A KR 20120090565A
Authority
KR
South Korea
Prior art keywords
image
user
motion
texture
information
Prior art date
Application number
KR1020110011053A
Other languages
English (en)
Inventor
박정훈
최광철
윤제한
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110011053A priority Critical patent/KR20120090565A/ko
Priority to US13/368,820 priority patent/US9261974B2/en
Publication of KR20120090565A publication Critical patent/KR20120090565A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 영상 데이터의 실감 효과 처리장치는 영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 데이터를 분석하는 영상 분석부와, 사용자의 동작을 분석하는 동작 분석부와, 상기 영상에 상기 사용자의 동작을 매칭시키는 영상 매칭 처리부와, 상기 사용자의 동작이 매칭된 영상을 출력하는 영상 출력부와, 사용자의 신체와 접촉되는 객체의 질감을 상기 대응하는 사용자의 신체로 출력하는 실감효과 출력부를 포함한다.

Description

영상 데이터의 실감 효과 처리장치 및 방법{APPARATUS FOR PROCESSING SENSORY EFFECT OF IMAGE DATA AND METHOD FOR THE SAME}
본 발명은 영상 데이터의 처리장치 및 방법에 관한 것으로써, 특히 영상 데이터의 실감 효과를 표현하는 장치 및 방법에 관한 것이다.
일반적으로 영상 미디어 콘텐츠는 음성 데이터 및 영상 데이터(동영상, 정지영상 등)를 포함한다. 영상 미디어 콘텐츠의 재생은 통상적으로 영상을 출력하는 디스플레이 장치와 음성을 출력하는 스피커 장치에 의존하여 사용자에게 제공되었다.
최근에는, 사용자에게 좀 더 실감나는 영상 미디어 콘텐츠를 제공하기 위하여, 영상에 포함된 객체를 입체적으로 표현할 수 있는 입체 영상을 포함하는 영상 미디어 콘텐츠가 제작되고 있으며, 입체 영상을 포함하는 영상 미디어 콘텐츠를 사용자에게 제공할 수 있는 다양한 장치들이 연구되고 있다. 더 나아가, 이러한 영상 미디어 콘텐츠는 단순하게 영상을 3차원의 입체로 표현하는 것을 넘어서, 영상에 나타나는 다양한 효과를 사용자에게 직접 제공할 수 있도록 제작되고 있다.
그러나, 이러한 영상에 나타나는 다양한 효과는 단순하게 바람, 진동, 또는 물 등의 변화를 제한적인 장소와 제한적인 위치에 고정된 장치를 통해서 제공하고 있을 뿐이다.
이와 같이, 종래에는 제한적인 위치에 고정된 장치를 통해서 영상에 나타나는 효과를 제공하기 때문에, 영상에 나타나는 다양한 효과를 사용자에게 제공하는데는 한계가 있으며, 바람, 진동, 또는 물 등의 변화와 같은 단순한 효과만을 제공할 뿐이다. 또한, 제한적인 위치에 고정된 장치를 통해서 영상에 나타나는 효과를 제공하기 때문에, 사용자가 효과를 제공하는 장치를 벗어나게 되면, 영상 미디어 콘텐츠를 통해 사용자에게 전달하고자 하는 효과가 제대로 전달되지 않는 문제가 야기될 수 있다.
결국, 제한적인 위치에 고정된 장치를 통해서 영상에 나타나는 효과를 제공하는 것은, 영상에 나타나는 다양한 효과를 사용자에게 사실적으로 전달하는 데에는 한계가 있으며, 사용자의 움직임이나 동작을 반영할 수 없는 한계가 있다.
본 발명은 전술한 점을 고려하여 안출된 것으로써, 사용자의 동작이 반영된 영상을 제공함과 동시에 영상에 포함되는 사물의 특성을 반영한 실감효과를 제공할 수 있는 장치 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 영상에 포함된 사물의 표면 질감을 사용자에게 직접 제공할 수 있는 장치 및 방법을 제공하는데 또 다른 목적이 있다.
상기한 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 영상 데이터의 실감 효과 처리장치는 영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 데이터를 분석하는 영상 분석부와, 사용자의 동작을 분석하는 동작 분석부와, 상기 영상에 상기 사용자의 동작을 매칭시키는 영상 매칭 처리부와, 상기 사용자의 동작이 매칭된 영상을 출력하는 영상 출력부와, 사용자의 신체와 접촉되는 객체의 질감을 상기 대응하는 사용자의 신체로 출력하는 실감효과 출력부를 포함한다.
본 발명의 다른 측면에 따른 실감 영상 처리 방법은 영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 데이터를 분석하는 과정과, 사용자의 동작을 분석하는 과정과, 상기 영상에 상기 사용자의 동작을 매칭시키는 과정과, 상기 사용자의 동작이 매칭된 영상과, 사용자의 신체와 접촉되는 객체의 질감을 상기 대응하는 사용자의 신체로 출력하는 과정을 포함한다.
본 발명의 영상 데이터의 실감 효과 처리장치 및 방법에 따르면, 사용자의 동작이 반영된 영상을 제공함과 동시에 영상에 포함되는 사물의 특성을 반영한 실감효과를 사용자에게 제공할 수 있다.
또한, 영상에 포함된 사물의 표면 질감을 사용자에게 직접적으로 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리장치의 구성을 도시하는 블록도,
도 2는 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리장치의 메모리에 저장되는 데이터를 예시하는 도면,
도 3은 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리장치에 구비된 영상 매칭 처리부의 구체적인 구성을 예시하는 블록도,
도 4는 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리방법의 진행 순서를 도시하는 흐름도.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리장치의 구성을 도시하는 블록도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리장치는 영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 데이터를 분석하는 영상 분석부(101), 사용자의 동작을 분석하는 동작 분석부(103), 상기 영상 분석부(101) 및 동작 분석부(103)로부터 분석된 데이터를 저장하는 메모리(104), 상기 영상에 상기 사용자의 동작을 매칭시키는 영상 매칭 처리부(105), 상기 사용자의 동작이 매칭된 영상을 출력하는 영상 출력부(107), 사용자의 신체와 접촉되는 객체의 질감을 상기 대응하는 사용자의 신체로 출력하는 실감효과 출력부(109)를 포함한다.
우선, 영상 분석부(101)는 메모리(104)에 저장된 영상 데이터를 읽어들여, 상기 화상에 포함되는 적어도 하나의 객체를 확인한다.
나아가, 영상 데이터는 상기 화상에 포함된 객체의 깊이 정보(Depth) 및 질감 정보를 포함할 수 있으며, 영상 분석부(101)는 영상 데이터로부터 상기 객체에 대한 깊이 정보(Depth) 및 질감 정보를 추출할 수 있다. 예컨대, 상기 영상 데이터는 상기 객체의 깊이 정보(Depth) 및 질감 정보에 대한 메타 데이터를 포함하여 구성할 수 있다. 그리고, 영상 분석부(101)는 상기 메타 데이터로부터 상기 객체에 대한 깊이 정보(Depth) 및 질감 정보를 추출할 수 있다.
본 발명의 일 실시예에서, 영상에 포함된 객체의 깊이 정보(Depth)는 디스플레이 장치의 표면을 기준으로 영상의 안쪽으로 떨어진 거리를 지시한다.
또한, 이에 대한 대안으로써, 상기 영상 데이터는 화상에 포함된 객체의 색상 정보만을 포함하며, 별도로 상기 객체의 깊이 정보(Depth) 및 질감 정보를 포함하지 않을 수도 있다. 이 경우, 상기 영상 분석부(101)는 상기 화상에 대한 영상 처리 알고리즘을 적용하여 상기 화상에 포함된 객체를 확인하고, 상기 객체에 대한 깊이(Depth)를 각각 연산하고, 상기 객체의 질감 정보를 검출할 수 있다. 예컨대, 상기 객체의 질감 정보는, 상기 화상으로부터 검출된 객체를, 다양한 객체(사물)에 대해 미리 모델링된 데이터와 비교하고, 미리 모델링된 데이터와 일치하는 객체를 검출한 후, 상기 검출된 객체의 질감 정보를 결정할 수 있다.
동작 분석부(103)는 상기 영상 출력부(107)로부터 출력되는 영상을 시청하는 사용자의 동작을 검출하는 모듈로써, 사용자의 실시간 이미지를 검출하는 이미지 입력부를 포함할 수 있다. 예컨대, 상기 이미지 입력부는 일반적인 디지털 카메라 기능을 수행하여, 외부 촬영 대상으로부터 입력되는 가시광을 촬영하기 위한 CCD 촬상소자 또는 CMOS 촬상소자 등으로 구성되는 이미지 센서부, 조도 측정을 위한 조도 센서부, 피사체와의 초점거리 측정을 위한 거리 센서부, 및 상기 센서부들에서 입력되는 데이터를 조합하여 적절한 포맷의 디지털 이미지를 생성한다.
특히, 동작 분석부(103)는 상기 이미지 입력부에 의해 생성된 이미지에 대해 영상 처리 알고리즘을 적용하여, 사용자의 위치정보 및 사용자의 신체의 동작을 검출하는 동작 추출부를 더 포함한다. 구체적으로, 상기 동작 추출부는 상기 이미지로부터 상기 사용자의 신체 영역을 검출하고, 상기 신체 영역을 미리 정해진 크기 단위로 구분한 후, 상기 구분된 신체 영역의 이미지를 검출한다. 그리고, 상기 구분된 신체 영역에 대한 각각의 거리 정보와, 움직임 정보를 검출한다. 예컨대, 사용자의 신체를 손, 팔, 발, 다리, 가슴, 배, 등, 및 얼굴 영역 등으로 분리하고, 상기 각 영역에 대해 움직이기 시작한 지점을 기준으로 미리 정해진 시간 단위마다 상대적이 거리를 연산하여, 거리 정보와 움직임 정보를 검출한다.
본 발명의 일 실시예에서, 상기 거리 정보는 상기 사용자 신체의 이미지를 검출하는 동작 분석부(103)로부터 상기 사용자 신체까지의 거리 값 또는 소정의 지점(예컨대, 사용자의 신체가 움직이기 시작한 지점)으로부터 상기 사용자 신체까지의 거리 값을 지시하는 정보일 수 있다. 그리고, 상기 움직임 정보는 상기 구분된 신체 영역의 이동을 나타내는 값으로써 예컨대 상기 구분된 신체 영역에 대한 움직임 백터값 일 수 있다.
메모리(104)는 상기 영상 분석부(101)나 동작 분석부(103)의 동작에 필요한 데이터를 저장할 수 있다. 또한, 메모리(104)는 상기 영상 분석부(101)나 동작 분석부(103)로부터 생성된 데이터를 저장할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리장치의 메모리에 저장되는 데이터를 예시한다.
도 2를 참조하면, 상기 메모리(104)는 상기 영상 분석부(101)에 제공할 영상 데이터(201)를 저장할 수 있다. 또한, 상기 메모리(104)는 상기 영상 분석부(101)로부터 제공되는 영상 객체 깊이 정보(Depth) 데이터(202) 및 영상 객체 질감 데이터(203)를 저장한다. 상기 메모리(104)는 동작 분석부(103)의 동작에 필요한 신체 모델 데이터, 즉 일반적인 복수의 사용자의 신체에 대한 이미지를 모델링한 신체 모델(206)을 저장한다. 또한, 상기 메모리(104)는 동작 분석부(103)에 의해 검출된 사용자의 신체 모델에 대한 거리 정보와 움직임 정보를 포함하는 신체 트랙 데이터(205)를 저장한다. 나아가, 상기 영상 데이터(201), 영상 객체 깊이 정보(Depth) 데이터(202), 영상 객체 질감 데이터(203), 및 신체 트랙 데이터(205)는 영상 매칭 처리부(105)에 제공될 수 있다.
한편, 영상 매칭 처리부(105)는 상기 메모리(104)로부터 영상 데이터(201)를 읽어 들이고, 상기 동작 분석부(103)로부터 상기 신체 영역의 이미지와, 신체 영역에 대한 각각의 거리 정보와 움직임 정보를 실시간으로 입력받는다. 그리고, 상기 영상 데이터에 포함된 화상에 상기 신체 영역의 이미지를 매칭시켜 출력 영상을 생성한다. 또한, 영상 매칭 처리부(105)는 상기 신체 영역에 대한 각각의 거리 정보와 움직임 정보에 기초하여 상기 신체 영역이 상기 화상에 포함된 객체와 접촉하게 되면, 상기 접촉된 객체의 질감 정보를 상기 메모리(104)로부터 읽어 들인다. 그리고, 상기 객체의 질감 정보와 함께, 상기 화상에 포함된 객체와 접촉된 상기 신체 영역의 거리 정보를 실감 효과 출력부(109)에 출력한다.
영상 출력부(107)는 액정표시장치(Liquid Crystal Display: LCD) 등과 같은 표시장치로 이루어질 수 있으며, 출력 영상을 표시한다. 특히, 출력 영상은 화상에 포함된 객체 등의 깊이 정보(Depth)나 위치를 입체적으로 표현하는 입체화된 영상일 수 있으며, 영상 출력부(107)는 상기 입체화된 영상을 출력을 지원할 수 있다.
실감효과 출력부(109)는 상기 객체의 질감 정보를 출력할 수 있는 모듈로써, 예컨대 초음파 음향 방사압을 다양한 위치에 출력할 수 있다. 실감효과 출력부(109)는 다양한 객체의 질감 종류에 대해 각각 서로 다른 초음파 음향 방사압을 출력하도록 마련되며, 영상 매칭 처리부(105)로부터 객체의 질감 종류를 지시하는 데이터를 입력받고, 상기 객체의 질감 종류에 대응하는 초음파 음향 방사압을 출력한다. 예컨대, 상기 객체가 풍선임을 가정할 때, 실감효과 출력부(109)는 영상 매칭 처리부(105)로부터 상기 객체의 질감 종류(예컨대, 탄력성 있는 고무 표면을 표현하는 질감)와, 상기 객체가 접촉되는 사용자의 신체의 거리 정보를 입력받고, 상기 객체의 질감 종류(예컨대, 탄력성 있는 고무 표면을 표현하는 질감)를 느낄 수 있는 초음파 음향 방사압을 생성하여 상기 사용자의 신체의 거리 정보에 대응하는 영역으로 상기 초음파 방사압을 출력한다.
도 3은 상기 영상 매칭 처리부(105)의 구체적인 구성을 예시하는 블록도이다. 도 3을 참조하면, 상기 영상 매칭 처리부(105)는 영상/동작 매칭부(301)와 질감 효과 데이터 생성부(302)를 포함한다.
영상/동작 매칭부(301)는 상기 영상 데이터에 포함된 화상에, 동작 분석부(103)에 의해 실시간으로 촬영되는 사용자의 신체 이미지를 조합한다. 예컨대, 영상/동작 매칭부(301)는 상기 화상에 동작 분석부(103)에 의해 실시간으로 촬영되는 사용자의 손과 팔의 일부 영역을 조합하여, 상기 화상 내에서 사용자의 손과 팔의 일부 영역이 움직이는 상태를 그대로 반영한 출력 영상을 생성할 수 있다.
질감 효과 데이터 생성부(302)는 영상 객체 깊이 정보(Depth) 데이터(202)와, 동작 분석부(103)에 의해 검출된 사용자의 신체 영역에 대한 거리 정보와 움직임 정보를 포함하는 신체 트랙 데이터(205)를 상기 메모리(104)로부터 읽어 들인다. 그리고, 상기 영상 객체 깊이 정보(Depth) 데이터(202)와 신체 트랙 데이터(205)를 고려하여, 상기 화상 내에서 상기 사용자의 신체 영역이 상기 화상에 포함된 객체와 접촉하게 되는지를 확인하고, 상기 사용자의 신체 영역이 상기 화상에 포함된 객체와 접촉하게 될 경우 상기 접촉된 객체의 질감 종류를 상기 영상 객체 질감 데이터(203)로부터 추출한다. 그리고, 상기 객체에 접촉된 상기 사용자의 신체의 거리 정보와 상기 접촉된 객체의 질감 종류를 실감효과 출력부(109)로 출력한다.
이하, 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리방법의 진행과정을 설명함으로써, 전술한 본 발명의 실시예에 따른 영상 데이터의 실감 효과 처리장치의 동작에 대해 설명한다.
도 4는 본 발명의 일 실시예에 따른 영상 데이터의 실감 효과 처리방법의 진행 순서를 도시하는 흐름도이다.
우선, 401단계에서, 영상 분석부(101)는 영상 데이터를 입력받는다. 상기 영상데이터는 외부로부터 전송되는 영상 또는 메모리(104)에 저장된 영상 데이터(201)일 수 있다.
402단계에서, 영상 분석부(101)는 상기 영상 데이터로부터 화상에 포함되는 적어도 하나의 객체를 확인한다.
상기 영상 데이터는 상기 화상에 포함된 객체의 깊이 정보(Depth) 및 질감 정보를 포함할 수 있으며, 영상 분석부(101)는 영상 데이터로부터 상기 객체에 대한 깊이 정보(Depth) 및 질감 정보를 추출할 수 있다. 예컨대, 상기 영상 데이터는 상기 객체의 깊이 정보(Depth) 및 질감 정보에 대한 메타 데이터를 포함하여 구성할 수 있으며, 영상 분석부(101)는 상기 메타 데이터를 분석하여, 상기 객체에 대한 깊이 정보(Depth) 및 질감 정보를 추출할 수 있다.
나아가, 이에 대한 대안으로써, 상기 영상 데이터는 화상에 포함된 객체의 색상 정보만을 포함하며, 별도로 상기 객체의 깊이 정보(Depth) 및 질감 정보를 포함하지 않을 수도 있다. 따라서, 상기 영상 분석부(101)는 상기 화상에 대한 영상 처리 알고리즘을 적용하여 상기 화상에 포함된 객체를 확인하고, 상기 객체에 대한 깊이 정보(Depth)를 각각 연산하고, 상기 객체의 질감 정보를 검출할 수 있다. 예컨대, 상기 객체의 질감 정보는, 상기 화상으로부터 검출된 객체를, 다양한 객체(사물)에 대해 미리 모델링된 데이터와 비교하고, 미리 모델링된 데이터와 일치하는 객체를 검출한 후, 상기 검출된 객체의 질감 정보를 결정할 수 있다. 402단계에서 확인된 상기 객체에 대한 깊이 정보(Depth)와 질감 정보는 메모리(104)에 저장될 수 있다.
다음으로, 403단계는 사용자의 동작을 검출하는 과정으로써, 동작 분석부(103)에 의해 수행될 수 있다. 동작 분석부(103)는 이미지 센서부를 통해 피사체의 색상정보를 검출하고, 피사체와의 초점거리 측정 및 조합하여 적절한 포맷의 디지털 이미지를 생성한다. 그리고, 동작 분석부(103)는 상기 생성된 이미지에 대해 영상 처리 알고리즘을 적용하여, 상기 사용자의 신체 영역을 검출하고, 상기 신체 영역을 미리 정해진 크기 단위로 구분한 후, 상기 구분된 신체 영역의 이미지를 검출한다. 그리고, 상기 구분된 신체 영역에 대한 각각의 거리 정보와, 움직임 정보를 검출한다. 403단계에서 확인된 상기 구분된 신체 영역에 대한 각각의 거리 정보와, 움직임 정보는 메모리(104)에 저장될 수 있다.
404단계는 영상 매칭 처리부(105)에 의해 처리될 수 있다. 404단계에서, 영상 매칭 처리부(105)는 상기 메모리(104)로부터 영상 데이터(201)를 읽어 들이고, 상기 동작 분석부(103)로부터 상기 신체 영역의 이미지와, 신체 영역에 대한 각각의 거리 정보와 움직임 정보를 실시간으로 입력받는다. 그리고, 상기 영상 데이터에 포함된 화상에 상기 신체 영역의 이미지를 매칭시켜 출력 영상을 생성한다.
405단계에서, 영상 매칭 처리부(105)는 상기 신체 영역에 대한 각각의 거리 정보와 움직임 정보에 기초하여 상기 신체 영역이 상기 화상에 포함된 객체와 접촉하는지를 확인하게 된다. 상기 신체 영역이 상기 화상에 포함된 객체와 접촉하게 되면(405-예), 상기 접촉된 객체의 질감 정보를 상기 메모리(104)로부터 읽어 들인다. 그리고, 상기 객체의 질감 정보와 함께, 상기 화상에 포함된 객체와 접촉된 상기 신체 영역의 위치 정보를 실감 효과 출력부(109)에 출력한다. 이에 대응하여, 실감효과 출력부(109)는 상기 신체 영역의 위치 정보에 대응하는 영역에, 상기 객체의 질감 종류에 대응하는 초음파 음향 방사압을 출력한다.
407단계에서는, 상기 404단계에서 생성된 출력 영상을 영상 출력부(107)에 제공하고, 영상 출력부(107)는 상기 출력 영상을 디스플레이 등을 통해 출력한다.
한편, 상기 신체 영역이 상기 화상에 포함된 객체와 접촉하지 않으면(405-아니오), 실감효과를 제공하는 406단계를 진행하지 않고, 상기 출력 영상을 디스플레이하는 407단계를 진행한다.
본 발명의 영상 처리방법의 진행과정에서 406단계와 407단계를 분리하여 설명하였지만, 상기 406 및 407단계는 동시에 수행되는 것이 바람직하다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.

Claims (15)

  1. 영상 데이터의 실감 효과 처리장치에 있어서,
    영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 데이터를 분석하는 영상 분석부와,
    사용자의 동작을 분석하는 동작 분석부와,
    상기 영상에 상기 사용자의 동작을 매칭시키는 영상 매칭 처리부와,
    상기 사용자의 동작이 매칭된 영상을 출력하는 영상 출력부와,
    사용자의 신체와 접촉되는 객체의 질감을 상기 대응하는 사용자의 신체로 출력하는 실감효과 출력부를 포함함을 특징으로 하는 영상 데이터의 실감 효과 처리장치.
  2. 제1항에 있어서,
    상기 영상은 객체의 깊이 정보(Depth) 및 질감에 대한 정보를 포함하며,
    영상 분석부는 상기 영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 정보를 추출하는 것을 특징으로 하는 영상 데이터의 실감 효과 처리장치.
  3. 제1항에 있어서, 영상 분석부는,
    영상에 포함된 객체를 확인하고, 상기 객체의 깊이 정보(Depth)를 연산하고, 상기 객체의 질감을 검출하는 것을 특징으로 하는 영상 데이터의 실감 효과 처리장치.
  4. 제1항에 있어서, 상기 동작 분석부는,
    사용자의 이미지를 실시간으로 입력받는 사용자 이미지 입력부와,
    상기 사용자의 이미지로부터, 사용자의 거리 정보 및 사용자의 신체의 동작을 검출하는 동작 추출부를 포함함을 특징으로 하는 영상 데이터의 실감 효과 처리장치.
  5. 제4항에 있어서, 상기 동작 추출부는
    일반적인 복수의 사용자의 신체 모델을 미리 저장하고, 상기 신체 모델과 대응하는 객체를 상기 사용자의 이미지로부터 검출하고, 상기 검출된 객체의 이동을 추적하는 것을 특징으로 하는 영상 데이터의 실감 효과 처리장치.
  6. 제4항에 있어서, 상기 영상 매칭 처리부는,
    상기 영상에 포함된 객체의 깊이 정보(Depth)와, 사용자의 신체 동작을 고려하여, 상기 영상에 상기 사용자 이미지를 매칭시키는 영상/동작 매칭부와,
    사용자의 신체 동작에 의해, 상기 사용자의 신체와 접촉되는 객체를 검출하고, 상기 검출된 객체의 질감에 대한 실감효과를 제공하기 위한 데이터를 생성하는 실감 효과 데이터 생성부를 포함함을 특징으로 하는 영상 데이터의 실감 효과 처리장치.
  7. 제1항에 있어서, 상기 실감효과 출력부는,
    초음파 음향 방사압을 사용하여 객체의 질감을 사용자의 신체에 제공하는 것을 특징으로 하는 영상 데이터의 실감 효과 처리장치.
  8. 영상 데이터의 실감 효과 처리방법에 있어서,
    영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 데이터를 분석하는 과정과,
    사용자의 동작을 분석하는 과정과,
    상기 영상에 상기 사용자의 동작을 매칭시키는 과정과,
    상기 사용자의 동작이 매칭된 영상과, 사용자의 신체와 접촉되는 객체의 질감을 상기 대응하는 사용자의 신체로 출력하는 과정을 포함함을 특징으로 하는 영상 데이터의 실감 효과 처리방법.
  9. 제8항에 있어서, 상기 영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 데이터를 분석하는 과정은,
    상기 영상에 포함된 객체의 깊이 정보(Depth) 및 질감에 대한 정보를 추출하는 것을 특징으로 하는 영상 데이터의 실감 효과 처리방법.
  10. 제8항에 있어서,
    영상에 포함된 객체를 확인하고, 상기 객체의 깊이 정보(Depth)를 연산하고, 상기 객체의 질감을 검출하는 것을 특징으로 하는 영상 데이터의 실감 효과 처리방법.
  11. 제8항에 있어서, 상기 사용자의 동작을 분석하는 과정은,
    사용자의 이미지를 실시간으로 입력받는 과정과,
    상기 사용자의 이미지로부터, 사용자의 거리 정보 및 사용자의 신체의 동작을 검출하는 과정을 포함함을 특징으로 하는 영상 데이터의 실감 효과 처리방법.
  12. 제11항에 있어서, 상기 사용자의 신체의 동작을 검출하는 과정은,
    일반적인 복수의 사용자의 신체 모델을 미리 저장하고, 상기 신체 모델과 대응하는 객체를 상기 사용자의 이미지로부터 검출하고, 상기 검출된 객체의 이동을 추적하는 것을 특징으로 하는 영상 데이터의 실감 효과 처리방법.
  13. 제11항에 있어서, 상기 영상에 상기 사용자의 동작을 매칭시키는 과정은,
    상기 영상에 포함된 객체의 깊이 정보(Depth)와, 사용자의 신체 동작을 고려하여, 상기 영상에 상기 사용자 이미지를 매칭시키는 과정을 포함함 특징으로 하는 영상 데이터의 실감 효과 처리방법.
  14. 제13항에 있어서, 상기 사용자의 신체와 접촉되는 객체의 질감을 상기 대응하는 사용자의 신체로 출력하는 과정은,
    사용자의 신체 동작에 의해, 상기 사용자의 신체와 접촉되는 객체를 검출하는 과정과,
    상기 검출된 객체의 질감을 확인하는 과정과,
    상기 질감에 대한 실감효과를 제공하기 위한 데이터를 생성하는 과정을 포함함을 특징으로 하는 영상 데이터의 실감 효과 처리방법.
  15. 제14항에 있어서, 상기 사용자의 신체와 접촉되는 객체의 질감을 상기 대응하는 사용자의 신체로 출력하는 과정은,
    상기 객체의 질감을 상기 객체에 접촉되는 사용자의 신체로 초음파 음향 방사압을 출력하는 과정을 포함함을 특징으로 하는 영상 데이터의 실감 효과 처리방법.
KR1020110011053A 2011-02-08 2011-02-08 영상 데이터의 실감 효과 처리장치 및 방법 KR20120090565A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110011053A KR20120090565A (ko) 2011-02-08 2011-02-08 영상 데이터의 실감 효과 처리장치 및 방법
US13/368,820 US9261974B2 (en) 2011-02-08 2012-02-08 Apparatus and method for processing sensory effect of image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110011053A KR20120090565A (ko) 2011-02-08 2011-02-08 영상 데이터의 실감 효과 처리장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120090565A true KR20120090565A (ko) 2012-08-17

Family

ID=46600647

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110011053A KR20120090565A (ko) 2011-02-08 2011-02-08 영상 데이터의 실감 효과 처리장치 및 방법

Country Status (2)

Country Link
US (1) US9261974B2 (ko)
KR (1) KR20120090565A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201248A1 (en) * 2013-01-16 2014-07-17 Myongji University Industry And Academia Cooperation Foundation Method and apparatus for representing bubble effect using metadata
US10346680B2 (en) * 2013-04-12 2019-07-09 Samsung Electronics Co., Ltd. Imaging apparatus and control method for determining a posture of an object
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
KR102231676B1 (ko) * 2014-12-23 2021-03-25 한국전자통신연구원 실감 효과 메타데이터 생성 장치 및 방법
KR102228919B1 (ko) 2017-03-30 2021-03-18 스노우 주식회사 이미지에 동적 효과를 적용하는 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5097252A (en) * 1987-03-24 1992-03-17 Vpl Research Inc. Motion sensor which produces an asymmetrical signal in response to symmetrical movement
US5184319A (en) * 1990-02-02 1993-02-02 Kramer James F Force feedback and textures simulating interface device
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
US20020028003A1 (en) * 2000-03-27 2002-03-07 Krebs David E. Methods and systems for distinguishing individuals utilizing anatomy and gait parameters
JP4177598B2 (ja) * 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
US8619140B2 (en) * 2007-07-30 2013-12-31 International Business Machines Corporation Automatic adjustment of area monitoring based on camera motion
US8031172B2 (en) * 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
WO2010033006A2 (ko) 2008-09-22 2010-03-25 한국전자통신연구원 실감 효과 표현 방법 및 장치
US8442267B2 (en) * 2008-12-24 2013-05-14 Electronics And Telecommunications Research Institute Apparatus and method for detecting upper body posture and hand posture
US8290208B2 (en) * 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
JP2011090408A (ja) * 2009-10-20 2011-05-06 Canon Inc 情報処理装置、その行動推定方法及びプログラム

Also Published As

Publication number Publication date
US9261974B2 (en) 2016-02-16
US20120201417A1 (en) 2012-08-09

Similar Documents

Publication Publication Date Title
US10475249B2 (en) Safety for wearable virtual reality devices via object detection and tracking
US10223834B2 (en) System and method for immersive and interactive multimedia generation
US10600248B2 (en) Wearable augmented reality devices with object detection and tracking
US9613262B2 (en) Object detection and tracking for providing a virtual device experience
CN102959616B (zh) 自然交互的交互真实性增强
US9495008B2 (en) Detecting a primary user of a device
CN204480228U (zh) 运动感测和成像设备
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
TW201732499A (zh) 表情辨識系統、表情辨識方法及表情辨識程式
KR101563312B1 (ko) 시선 기반 교육 콘텐츠 실행 시스템
KR20140053235A (ko) 레이저 깊이 지도 레인지를 확대하는 방법
JP2013050881A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
IL263302A (en) Digital camera with analysis of sound, image and motion
KR20120090565A (ko) 영상 데이터의 실감 효과 처리장치 및 방법
CN110796005A (zh) 在线教学监控的方法、装置、电子设备及介质
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
KR102183692B1 (ko) 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법
US20200211275A1 (en) Information processing device, information processing method, and recording medium
TWI687904B (zh) 互動式訓練及檢測裝置
CN116109974A (zh) 体积视频展示方法以及相关设备
KR101050107B1 (ko) 영상 제어 장치
KR20120092960A (ko) 가상 캐릭터 제어 시스템 및 방법
RU2018125899A (ru) Система и способ для отслеживания медицинского устройства
US9551922B1 (en) Foreground analysis on parametric background surfaces
Kopniak The use of multiple cameras for motion capture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application