KR101507242B1 - 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법 - Google Patents

영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법 Download PDF

Info

Publication number
KR101507242B1
KR101507242B1 KR1020130125156A KR20130125156A KR101507242B1 KR 101507242 B1 KR101507242 B1 KR 101507242B1 KR 1020130125156 A KR1020130125156 A KR 1020130125156A KR 20130125156 A KR20130125156 A KR 20130125156A KR 101507242 B1 KR101507242 B1 KR 101507242B1
Authority
KR
South Korea
Prior art keywords
motion
image
person
view image
viewpoint
Prior art date
Application number
KR1020130125156A
Other languages
English (en)
Inventor
최승문
이재봉
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020130125156A priority Critical patent/KR101507242B1/ko
Priority to US14/518,238 priority patent/US20150109528A1/en
Application granted granted Critical
Publication of KR101507242B1 publication Critical patent/KR101507242B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

영상을 분석하여 모션 햅틱 효과를 제공하는 장치 및 방법이 개시된다. 모션 햅틱 효과 제공 장치는, 입력 영상에 대한 카메라 시점을 분석하여 입력 영상을 1인칭 시점 영상과 3인칭 시점 영상으로 구분하는 카메라 시점 구분부와, 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 1인칭 시점 영상 처리부와, 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 3인칭 시점 영상 처리부를 포함한다. 따라서, 모션 햅틱 효과를 제공할 수 있는 멀티미디어 콘텐츠를 효과적으로 생성할 수 있다.

Description

영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING MOTION HAPTIC EFFECT USING VIDEO ANALYSIS}
본 발명은 햅틱 효과 제공에 관한 것으로, 더욱 상세하게는 영상을 분석하여 모션 햅틱 효과를 제공하는 장치 및 방법에 관한 것이다.
최근 게임, 영화, 음악 등과 같은 다양한 멀티미디어 콘텐츠에 햅틱 기술이 적용되고 있다. 예를 들어, 다양한 진동 이어폰 및 헤드폰, 홈씨어터 시스템, 4D 영화관, 실감형 게임기, 스마트 폰 및 태블릿과 같은 제품에 햅틱 기술이 적용되고 있다.
특히 영화 산업에 있어서 오감 체험형 상영관이 다수 오픈하였다. 이러한 오감 체험형 상영관은 진동, 물, 바람, 향기 등 다양한 오감 자극 효과를 제공하나 그 중에서도 가장 기본적이고도 중요한 효과는 의자를 상하좌우로 움직여서 실감나는 움직임을 재현해 주는 모션 햅틱 효과이다.
현재 모션 햅틱 효과를 제공하기 위해서는 콘텐츠에 맞는 효과를 전문가가 직접 제작하여야 한다. 즉, 콘텐츠에 적합한 모션 햅틱 효과를 제공하기 위해서는 많은 시간과 비용이 소요되며, 이는 양질의 모션 햅틱 효과가 적용된 다양한 콘텐츠를 제공하는데 어려움을 주고 있다.
또한, 종래에 디지털 오디오 신호로부터 햅틱 이벤트를 자동으로 만들어주는 기술과 같이 멀티미디어 콘텐츠에 어울리는 햅틱 효과를 자동으로 생성해주는 기술들이 개발되고 있다.
그러나, 이러한 기술들은 모두 진동 햅틱 효과를 생성하는데 국한된 기술로 콘텐츠에 적합한 모션 햅틱 효과를 효과적으로 생성하는 데는 한계가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 모션 햅틱 효과를 제공할 수 있는 멀티미디어 콘텐츠를 효과적으로 생성할 수 있는 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 모션 햅틱 효과를 제공할 수 있는 멀티미디어 콘텐츠를 효과적으로 생성할 수 있는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 모션 햅틱 효과 장치는, 입력 영상에 대한 카메라 시점을 분석하여 입력 영상을 1인칭 시점 영상과 3인칭 시점 영상으로 구분하는 카메라 시점 구분부와, 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 1인칭 시점 영상 처리부와, 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 3인칭 시점 영상 처리부를 포함한다.
여기에서, 상기 모션 햅틱 효과 장치는, 1인칭 시점 영상을 위한 카메라 자체 운동 또는 대상 물체의 전역 움직임을 가속도 정보로 변환하는 속도 정보 변환부를 더 포함할 수 있다.
여기에서, 상기 모션 햅틱 효과 장치는, 입력 영상을 시청하는 시청자의 시점에서 가속도 정보에 기반한 모션 햅틱 피드백을 생성하는 모션 햅틱 피드백부를 더 포함할 수 있다.
여기에서, 상기 1인칭 시점 영상 처리부는, 1인칭 시점 영상의 옵티컬 플로우(Optical flow)를 산출하고 옵티컬 플로우에 기반하여 1인칭 시점 영상을 위한 카메라 자체 운동을 추정할 수 있다.
여기에서, 상기 3인칭 시점 영상 처리부는, 대상 물체를 배경 영역과 분리할 수 있다.
여기에서, 상기 3인칭 시점 영상 처리부는, 대상 물체의 움직임을 산출하고, 배경 영역에 기반하여 3인칭 시점 영상을 위한 카메라 자체 운동을 추정할 수 있다.
여기에서, 상기 3인칭 시점 영상 처리부는, 3인칭 시점 영상을 위한 카메라 자체 운동을 대상 물체의 움직임에 고려하여 전역 좌표계 상의 대상 물체의 전역 움직임을 추정할 수 있다.
여기에서, 상기 입력 영상은, 2D 또는 3D 영상일 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 모션 햅틱 효과 제공 방법은, 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 단계와, 1인칭 시점 영상을 위한 카메라 자체 운동을 가속도 정보로 변환하는 단계와, 1인칭 시점 영상을 시청하는 시청자의 시점에서 가속도 정보에 기반한 모션 햅틱 피드백을 생성하는 단계를 포함한다.
상기 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 모션 햅틱 효과 제공 방법은, 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 단계와, 대상 물체의 전역 움직임을 가속도 정보로 변환하는 단계와, 3인칭 시점 영상을 시청하는 시청자의 시점에서 가속도 정보에 기반한 모션 햅틱 피드백을 생성하는 단계를 포함한다.
상기 다른 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 모션 햅틱 효과 제공 방법은, 입력 영상에 대한 카메라 시점을 분석하여 입력 영상을 1인칭 시점 영상과 3인칭 시점 영상으로 구분하는 단계와, 1인칭 시점 영상으로 구분된 경우, 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 단계와, 3인칭 시점 영상으로 구분된 경우, 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 단계를 포함한다.
상기와 같은 본 발명의 실시예에 따른 모션 햅틱 효과 제공 장치 및 방법은 실시간으로 컴퓨터, TV 또는 영화관 장비에 구현될 수 있으며, 게임기 또는 홈씨어터에서 사용할 수도 있다.
또한, 본 발명의 실시예에 따른 모션 햅틱 효과 제공 장치는 멀티미디어 콘텐츠를 위한 전문 제작 도구의 구성 요소로 포함되어, 모션 햅틱 효과를 제공할 수 있는 콘텐츠를 효과적으로 제작할 수 있도록 한다.
도 1은 본 발명의 실시예에 따른 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 영상 분석을 통하여 모션 햅틱 효과의 제공을 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
먼저, 본 명세서에서 사용되는 용어를 설명하면 다음과 같다.
햅틱기술(haptics)은 조이스틱, 마우스, 키보드, 터치스크린 등과 같은 각종 게임기나 컴퓨터의 입력장치를 조작하면서 사용자가 진동, 운동감, 힘 등을 느낄 수 있게 조작되어 사용자에게 컴퓨터 가상체험 등과 같이 보다 실감나는 정보를 전달하는 기술을 의미한다.
모션 햅틱 효과는 상하좌우 등과 같은 방향의 운동을 사용자가 느낄 수 있도록 하는 정보 또는 자극을 의미할 수 있다.
1인칭 시점은 입력 영상을 촬영한 카메라의 움직임을 기준으로 하는 시점(view point)을 의미하며, 3인칭 시점은 입력 영상에 포함된 특정 물체의 움직임을 기준으로 하는 시점(view point)를 의미한다.
따라서, 1인칭 시점 영상은 1인칭 시점이 기준이 되는 영상을 의미하고, 3인칭 시점 영상은 3인칭 시점이 기준이 되는 영상을 의미한다.
자체 운동(egomotion)은 관찰자 자신의 신체나 머리의 움직임을 나타내는 것으로, 본 발명에 있어서는 입력 영상을 촬영하는 카메라의 움직임을 나타낼 수 있다.
옵티컬 플로우(Optical flow)는 사람이나 동물의 시각을 모델링한 영상처리 기법의 하나로써 영상에서 전후 프레임을 비교함으로써 물체나 어떤 표면, 모서리 등의 운동 패턴을 추출하여 대상물이 움직이는 정도와 방향에 대한 정보를 얻어내는 프로세스를 의미할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치(이하, '모션 햅틱 효과 제공 장치'라 함)는 카메라 시점 구분부(100), 1인칭 시점 영상 처리부(200), 3인칭 시점 영상 처리부(300), 속도 정보 변환부(400) 및 모션 햅틱 피드백부(500)를 포함한다.
카메라 시점 구분부(100)는 입력 영상에 대한 카메라 시점을 분석하여 입력 영상을 1인칭 시점 영상과 3인칭 시점 영상으로 구분할 수 있다. 여기서, 입력 영상은 2D 또는 3D 영상일 수 있다.
상세하게는, 카메라 시점 구분부(100)는 물체 인식(object recognition)이나 장면 인식(action recognition) 알고리즘을 입력 영상에 적용하여 자동으로 시점(view point)를 구분하는 것이 가능하다.
예를 들어, 다수의 자동차가 인식되고 현재 장면이 자동차 추격 장면인 것으로 인식이 되면 3인칭 시점 영상일 확률이 높을 수 있다. 반면에 자동차 핸들이나 내부의 인터리어 모습 등이 아래쪽이나 가장자리에 인식되고 가운데에는 도로가 인식된다면 1인칭 시점 영상일 확률이 높다. 또한, 경우에 따라 사람이 직접 시점 모드를 정해줄 수도 있다.
1인칭 시점 영상 처리부(200)는 1인칭 시점 영상을 위한 카메라 자체 운동을 추정할 수 있다. 즉, 1인칭 시점 영상의 경우, 입력 영상을 촬영한 카메라 시점의 움직임만 분석하여 활용할 수 있다.
상세하게는, 1인칭 시점 영상 처리부(200)는 1인칭 시점 영상의 옵티컬 플로우(Optical flow)를 산출하고, 옵티컬 플로우에 기반하여 1인칭 시점 영상을 위한 카메라 자체 운동을 추정할 수 있다.
다만, 본 발명의 실시예에 따른 1인칭 시점 영상을 위한 카메라 자체 운동을 추정은, 옵티컬 플로우에 기반하는 것에 한정되는 것은 아니며, 인접한 두 프레임 사이의 특징점(feature)을 매칭(matching) 하는 방법을 활용할 수도 있다. 예컨대, Scale-invariant feature transform(SIFT) 알고리즘이 활용될 수도 있다.
3인칭 시점 영상 처리부(300)는 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정할 수 있다.
상세하게는, 3인칭 시점 영상 처리부(300)는 먼저 추적할 대상 물체를 인식할 수 있으며, 예컨대, 사용자가 직접 추적할 대상 물체를 선택할 수도 있고 영상 주목도 지도(visual saliency map)에서 주목도가 가장 높은 지점의 물체를 선택하여 자동으로 찾아낼 수도 있다.
다음으로, 대상 물체를 배경 영역과 분리할 수 있고, 대상 물체의 움직임을 산출할 수 있다. 예컨대, 3차원 자세 추적 방법을 추적 대상 물체의 영역에 적용하여 대상 물체의 3차원 움직임을 계산할 수 있다.
또한, 배경 영역에 기반하여 3인칭 시점 영상을 위한 카메라 자체 운동을 추정할 수 있다. 따라서, 3인칭 시점 영상 처리부(300)는 3인칭 시점 영상을 위한 카메라 자체 운동을 대상 물체의 움직임에 고려하여 전역 좌표계 상의 대상 물체의 전역 움직임을 추정할 수 있다. 즉, 대상 물체의 움직임은 카메라 시점을 기준으로 하기 때문에 카메라의 움직임을 고려해서 빼주지 않으면 실제 정확한 움직임을 얻을 수 없게 된다. 따라서 배경 영역에서 3인칭 시점 영상을 위한 카메라 자체 운동을 도출하여 활용할 수 있다.
속도 정보 변환부(400)는 1인칭 시점 영상을 위한 카메라 자체 운동 또는 대상 물체의 전역 움직임을 가속도 정보로 변환할 수 있다. 예를 들어, 속도 정보 변환부(400)는 3차원 위치 정보인 1인칭 시점 영상을 위한 카메라 자체 운동 또는 대상 물체의 전역 움직임을 프레임율에 따라 먼저 3차원 속도 정보로 바꾸고 이를 다시 3차원 가속도 정보로 변환할 수 있다.
모션 햅틱 피드백부(500)는 입력 영상을 시청하는 시청자의 시점에서 가속도 정보에 기반한 모션 햅틱 피드백을 생성할 수 있다. 즉, 1인칭 시점에서 계산된 가속도를 시청자가 실감나게 느낄 수 있도록 모션 플랫폼을 상하좌우 움직임으로 변환할 수 있다. 예를 들어, 모션 햅틱 피드백부(500)는 사용자에게 모션 효과를 제공하기 위한 물리적인 기구이거나 물리적인 기구와 연동될 수 있다. 여기서, 물리적인 기구는 사용자가 착석할 수 있는 의자의 형태를 가질 수 있으나, 이에 한정되는 것은 아니다.
본 발명에 있어서, 대상 물체의 인식 및 움직임 추정은 옵티컬 플로우(optical flow), 씬 플로우(scene flow), 자체 운동 분석(ego-motion estimation), 물체 추적(object tracking), 자세 추적 (pose tracking)등과 같은 기법이 활용될 수 있다.
본 발명의 실시예에 따른 모션 햅틱 효과 제공 장치의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 설명하였으나, 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 본 발명의 실시예에 따른 모션 햅틱 효과 제공 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
도 2는 본 발명의 실시예에 따른 영상 분석을 통하여 모션 햅틱 효과의 제공을 설명하기 위한 개념도이다.
도 2를 참조하여, 입력 영상이 3인칭 시점 영상의 경우에 있어, 모션 햅틱 효과를 생성하는 방법을 설명한다.
2D 또는 3D의 입력 영상을 수신할 수 있고, 입력 영상이 3인칭 시점 영상으로 구분되면 3인칭 시점 영상으로부터 추적할 대상 물체를 인식할 수 있다.
대상 물체의 인식은 사용자가 직접 추적할 대상 물체를 선택할 수도 있고 영상 주목도 지도(visual saliency map)에서 주목도가 가장 높은 지점의 물체를 선택하여 자동으로 찾아낼 수도 있다.
3인칭 시점 영상에서 대상 물체와 배경 영역을 분리(image segmentation)할 수 있다.
다음으로, 대상 물체에 대한 자세 추적((pose tracking)을 통하여 대상 물체의 움직임을 추정할 수 있다. 또한, 배경 영역에 대한 자체 운동 분석(ego-motion estimation)을 통하여 3인칭 시점 영상을 위한 카메라 자체 운동을 추정할 수 있다.
대상 물체의 움직임은 카메라 시점을 기준으로 하기 때문에 카메라의 움직임을 고려하는 것이 필요하다. 따라서, 3인칭 시점 영상을 위한 카메라 자체 운동을 대상 물체의 움직임에 고려하여 전역 좌표계(global coordinate) 상의 대상 물체의 전역 움직임을 추정할 수 있다.
도 3은 본 발명의 실시예에 따른 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법을 설명하기 위한 흐름도이다.
본 발명의 실시예에 따른 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법(이하, '모션 햅틱 효과 제공 방법'이라 함)은, 입력 영상에 대한 카메라 시점을 분석하여 입력 영상을 1인칭 시점 영상과 3인칭 시점 영상으로 구분하는 단계와, 1인칭 시점 영상으로 구분된 경우 상기 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 단계 및 3인칭 시점 영상으로 구분된 경우 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 단계를 포함한다.
또한, 1인칭 시점 영상을 위한 카메라 자체 운동 또는 대상 물체의 전역 움직임을 가속도 정보로 변환하는 단계와, 입력 영상을 시청하는 시청자의 시점에서 가속도 정보에 기반한 모션 햅틱 피드백을 생성하는 단계를 더 포함할 수 있다.
도 3을 참조하면, 수신된 입력 영상의 카메라 시점이 1인칭 시점인지 3인칭 시점인지 구분할 수 있다(S310).
먼저, 입력 영상의 카메라 시점이 1인칭 시점인 경우, 1인칭 시점 영상의 옵티컬 플로우(Optical flow)를 산출하고(S320), 옵티컬 플로우에 기반하여 1인칭 시점 영상을 위한 카메라 자체 운동을 추정할 수 있다(S321). 입력 영상을 촬영한 카메라의 3차원 자체 운동을 추정할 수 있다. 즉, 1인칭 시점 영상의 경우, 입력 영상을 촬영한 카메라 시점의 움직임만 분석하여 활용할 수 있다.
따라서, 카메라의 자체 운동에 기반하여 추정된 움직임을 속도 및 가속도 정보로 변환하고(S380), 변환된 가속도 정보를 이용하여 모션 햅틱 피드백을 생성하여 사용자에게 모션 햅틱 효과를 제공할 수 있다(S390).
다음으로, 입력 영상의 카메라 시점이 3인칭 시점인 경우, 대상 물체를 배경 영역과 분리하는 단계와, 대상 물체의 움직임을 산출하는 단계와, 배경 영역에 기반하여 3인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 단계와, 3인칭 시점 영상을 위한 카메라 자체 운동을 대상 물체의 움직임에 고려하여 전역 좌표계 상의 대상 물체의 전역 움직임을 추정하는 단계를 포함할 수 있다.
상세하게는, 3인칭 시점 영상으로부터 추적할 대상 물체를 인식할 수 있다(S330). 예를 들어, 대상 물체의 인식은 사용자가 직접 추적할 대상 물체를 선택할 수도 있고 영상 주목도 지도(visual saliency map)에서 주목도가 가장 높은 지점의 물체를 선택하여 자동으로 찾아낼 수도 있다.
대상 물체와 배경 영역을 분리하고(S340), 대상 물체의 3차원 움직임을 추정할 수 있다(S350). 여기서, 움직임 추정을 위하여 옵티컬 플로우(optical flow), 물체 추적(object tracking) 및 자세 추적 (pose tracking) 기법이 활용될 수 있다.
또한, 배경 영역에 기반하여 3인칭 시점 영상을 위한 카메라 자체 운동을 추정할 수 있으며(S360), 이를 위하여 자체 운동 분석(ego-motion estimation) 기법을 활용할 수 있다.
3인칭 시점 영상을 위한 카메라 자체 운동을 대상 물체의 움직임에 고려하여 전역 좌표계(global coordinate) 상의 대상 물체의 전역 움직임을 추정할 수 있다(S370).
대상 물체의 전역 움직임을 속도 및 가속도 정보로 변환하고(S380), 변환된 가속도 정보를 이용하여 모션 햅틱 피드백을 생성하여 사용자에게 모션 햅틱 효과를 제공할 수 있다(S390).
본 발명의 실시예에 따른 모션 햅틱 효과 제공 장치 및 방법은 실시간으로 컴퓨터, TV 또는 영화관 장비에 구현될 수 있다. 또한, 게임기 또는 홈씨어터에서 사용할 수도 있다.
예를 들어, 집에서 영화를 보다가 자동차 추격 장면이 나오면 "자동 햅틱" 버튼을 누르면 앉아있는 의자가 움직이면서 자동차 입장에서의 움직임을 물리적으로 재현해 주어 실감나는 영화 감상이 가능하게 된다.
한편, 본 발명의 실시예에 따른 모션 햅틱 효과 제공 장치 및 방법은 멀티미디어 콘텐츠를 위한 전문 제작 도구의 구성 요소로 포함될 수 있다. 예를 들어, 모션 햅틱 효과를 제공할 수 있는 콘텐츠의 제작자는 먼저 자동 생성 기능을 통해 대략적인 모션 햅틱 효과를 생성해 낸 후, 생성된 효과를 세부적으로 수정해서 최종 결과물을 완성할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 카메라 시점 구분부 200: 1인칭 시점 영상 처리부
300: 3인칭 시점 영상 처리부 400: 속도 정보 변환부
500: 모션 햅틱 피드백부

Claims (17)

  1. 입력 영상에 대한 카메라 시점을 분석하여 상기 입력 영상을 1인칭 시점 영상과 3인칭 시점 영상으로 구분하는 카메라 시점 구분부;
    상기 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 1인칭 시점 영상 처리부; 및
    상기 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 3인칭 시점 영상 처리부를 포함하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치.
  2. 청구항 1에 있어서,
    상기 1인칭 시점 영상을 위한 카메라 자체 운동 또는 상기 대상 물체의 전역 움직임을 가속도 정보로 변환하는 속도 정보 변환부를 더 포함하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치.
  3. 청구항 2에 있어서,
    상기 입력 영상을 시청하는 시청자의 시점에서 상기 가속도 정보에 기반한 모션 햅틱 피드백을 생성하는 모션 햅틱 피드백부를 더 포함하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치.
  4. 청구항 1에 있어서,
    상기 1인칭 시점 영상 처리부는,
    상기 1인칭 시점 영상의 옵티컬 플로우(Optical flow)를 산출하고 상기 옵티컬 플로우에 기반하여 상기 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치.
  5. 청구항 1에 있어서,
    상기 3인칭 시점 영상 처리부는,
    상기 대상 물체를 배경 영역과 분리하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치.
  6. 청구항 5에 있어서,
    상기 3인칭 시점 영상 처리부는,
    상기 대상 물체의 움직임을 산출하고, 상기 배경 영역에 기반하여 상기 3인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치.
  7. 청구항 6에 있어서,
    상기 3인칭 시점 영상 처리부는,
    상기 3인칭 시점 영상을 위한 카메라 자체 운동을 상기 대상 물체의 움직임에 고려하여 전역 좌표계 상의 상기 대상 물체의 전역 움직임을 추정하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치.
  8. 청구항 1에 있어서,
    상기 입력 영상은,
    2D 또는 3D 영상인 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치.
  9. 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 단계;
    상기 1인칭 시점 영상을 위한 카메라 자체 운동을 가속도 정보로 변환하는 단계; 및
    상기 1인칭 시점 영상을 시청하는 시청자의 시점에서 상기 가속도 정보에 기반한 모션 햅틱 피드백을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
  10. 청구항 9에 있어서,
    상기 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 단계는,
    상기 1인칭 시점 영상의 옵티컬 플로우(Optical flow)를 산출하고 상기 옵티컬 플로우에 기반하여 상기 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
  11. 청구항 9에 있어서,
    상기 1인칭 시점 영상은,
    2D 또는 3D 영상인 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
  12. 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 단계;
    상기 대상 물체의 전역 움직임을 가속도 정보로 변환하는 단계; 및
    상기 3인칭 시점 영상을 시청하는 시청자의 시점에서 상기 가속도 정보에 기반한 모션 햅틱 피드백을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
  13. 청구항 12에 있어서,
    상기 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 단계는,
    상기 대상 물체를 배경 영역과 분리하는 단계;
    상기 대상 물체의 움직임을 산출하는 단계;
    상기 배경 영역에 기반하여 상기 3인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 단계; 및
    상기 3인칭 시점 영상을 위한 카메라 자체 운동을 상기 대상 물체의 움직임에 고려하여 전역 좌표계 상의 상기 대상 물체의 전역 움직임을 추정하는 단계를 포함하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
  14. 청구할 12에 있어서,
    상기 3인칭 시점 영상은,
    2D 또는 3D 영상인 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
  15. 입력 영상에 대한 카메라 시점을 분석하여 상기 입력 영상을 1인칭 시점 영상과 3인칭 시점 영상으로 구분하는 단계;
    상기 1인칭 시점 영상으로 구분된 경우, 상기 1인칭 시점 영상을 위한 카메라 자체 운동을 추정하는 단계; 및
    상기 3인칭 시점 영상으로 구분된 경우, 상기 3인칭 시점 영상에 포함된 추적할 대상 물체의 전역 움직임을 추정하는 단계를 포함하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
  16. 청구항 15에 있어서,
    상기 1인칭 시점 영상을 위한 카메라 자체 운동 또는 상기 대상 물체의 전역 움직임을 가속도 정보로 변환하는 단계를 더 포함하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
  17. 청구항 16에 있어서,
    상기 입력 영상을 시청하는 시청자의 시점에서 상기 가속도 정보에 기반한 모션 햅틱 피드백을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 분석을 통하여 모션 햅틱 효과를 제공하는 방법.
KR1020130125156A 2013-10-21 2013-10-21 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법 KR101507242B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130125156A KR101507242B1 (ko) 2013-10-21 2013-10-21 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
US14/518,238 US20150109528A1 (en) 2013-10-21 2014-10-20 Apparatus and method for providing motion haptic effect using video analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130125156A KR101507242B1 (ko) 2013-10-21 2013-10-21 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101507242B1 true KR101507242B1 (ko) 2015-03-31

Family

ID=52825886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130125156A KR101507242B1 (ko) 2013-10-21 2013-10-21 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법

Country Status (2)

Country Link
US (1) US20150109528A1 (ko)
KR (1) KR101507242B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102365162B1 (ko) * 2016-02-29 2022-02-21 삼성전자주식회사 멀미 저감을 위한 영상 표시 장치 및 방법
US10600290B2 (en) * 2016-12-14 2020-03-24 Immersion Corporation Automatic haptic generation based on visual odometry
US9983687B1 (en) * 2017-01-06 2018-05-29 Adtile Technologies Inc. Gesture-controlled augmented reality experience using a mobile communications device
US10430966B2 (en) * 2017-04-05 2019-10-01 Intel Corporation Estimating multi-person poses using greedy part assignment
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
JP7068586B2 (ja) * 2019-01-09 2022-05-17 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
US11463980B2 (en) * 2019-02-22 2022-10-04 Huawei Technologies Co., Ltd. Methods and apparatuses using sensing system in cooperation with wireless communication system
JP7394046B2 (ja) * 2020-11-25 2023-12-07 株式会社ソニー・インタラクティブエンタテインメント システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム
US20230214020A1 (en) * 2022-01-06 2023-07-06 Qualcomm Incorporated Audio-video-haptics recording and playback

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325661A (ja) * 1999-05-24 2000-11-28 Taito Corp 視界映像型のゲーム装置
JP2008033964A (ja) * 2007-10-09 2008-02-14 Namco Bandai Games Inc 画像生成装置及び情報記憶媒体
KR20130052769A (ko) * 2011-11-14 2013-05-23 한국전자통신연구원 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969036A (en) * 1989-03-31 1990-11-06 Bir Bhanu System for computing the self-motion of moving images devices
DE69330513D1 (de) * 1992-03-20 2001-09-06 Commw Scient Ind Res Org Gegenstands-überwachungsystem
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
JP3833786B2 (ja) * 1997-08-04 2006-10-18 富士重工業株式会社 移動体の３次元自己位置認識装置
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7542040B2 (en) * 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
US20130218456A1 (en) * 2006-02-16 2013-08-22 John S. Zelek Wearable tactile navigation system
FR2976355B1 (fr) * 2011-06-09 2013-06-21 Jean Luc Desbordes Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant.
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325661A (ja) * 1999-05-24 2000-11-28 Taito Corp 視界映像型のゲーム装置
JP2008033964A (ja) * 2007-10-09 2008-02-14 Namco Bandai Games Inc 画像生成装置及び情報記憶媒体
KR20130052769A (ko) * 2011-11-14 2013-05-23 한국전자통신연구원 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법

Also Published As

Publication number Publication date
US20150109528A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
KR101507242B1 (ko) 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
Sharp et al. Accurate, robust, and flexible real-time hand tracking
US8213680B2 (en) Proxy training data for human body tracking
CN102222431B (zh) 用于翻译手语的计算机实现的方法
CN102270275A (zh) 在虚拟环境中选择对象的方法
US9323352B1 (en) Child-appropriate interface selection using hand recognition
CN114651284A (zh) 轻量级多分支和多尺度人员重识别
Gonzalez-Franco et al. Movebox: Democratizing mocap for the microsoft rocketbox avatar library
Kim et al. Saliency-driven real-time video-to-tactile translation
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
WO2017084319A1 (zh) 手势识别方法及虚拟现实显示输出设备
JP6908183B2 (ja) 学習用画像生成装置、学習用画像生成方法及びプログラム
Reimat et al. Cwipc-sxr: Point cloud dynamic human dataset for social xr
WO2020145224A1 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
Ahad Vision and sensor-based human activity recognition: challenges ahead
US20160182769A1 (en) Apparatus and method for generating motion effects by analyzing motions of objects
Haggag et al. An adaptable system for rgb-d based human body detection and pose estimation: Incorporating attached props
WO2014006786A1 (ja) 特徴量抽出装置および特徴量抽出方法
Rasool et al. Haptic interaction with 2D images
Hsu et al. A multimedia presentation system using a 3D gesture interface in museums
KR20230095197A (ko) 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치
KR101807813B1 (ko) 동작 인식 서비스 제공 시스템 및 제공 방법
Guerrero et al. Human Activity Recognition via Feature Extraction and Artificial Intelligence Techniques: A Review
Lee et al. Toward immersive telecommunication: 3D video avatar with physical interaction
US20190377935A1 (en) Method and apparatus for tracking features

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 6