KR20100130620A - 비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치 - Google Patents

비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR20100130620A
KR20100130620A KR1020107022426A KR20107022426A KR20100130620A KR 20100130620 A KR20100130620 A KR 20100130620A KR 1020107022426 A KR1020107022426 A KR 1020107022426A KR 20107022426 A KR20107022426 A KR 20107022426A KR 20100130620 A KR20100130620 A KR 20100130620A
Authority
KR
South Korea
Prior art keywords
motion
audio
stimulus
user
data
Prior art date
Application number
KR1020107022426A
Other languages
English (en)
Inventor
더크 브로켄
랄프 브라스펜닝
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20100130620A publication Critical patent/KR20100130620A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

종래의 오디오 비주얼 소스(10)로부터의 오디오 스트림(14) 및 비디오 스트림(12)은 처리기(20)에 의해 처리된다. 움직임 처리기(30)는 적어도 하나의 움직임 특징을 확립하고, 자극 생성기(34)에서 자극을 생성하는 자극 제어기(32)에 이를 출력한다. 자극 생성기(34)는 전기 전정 자극 생성기가 될 수 있다.

Description

비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치{METHOD AND APPARATUS TO PROVIDE A PHYSICAL STIMULUS TO A USER, TRIGGERED BY A MOTION DETECTION IN A VIDEO STREAM}
본 발명은 비디오 신호를 처리하기 위한 방법 및 장치에 관한 것이다.
종래의 시네마의 오디오-비주얼 컨텐트를 종래의 TV 상으로 또는 심지어 더욱 최근의 오디오-비주얼 컨텐트를 컴퓨터 또는 모바일 디바이스 상으로 시청하는 것은 완전한 몰입형 경험(fully immersive experience)이 아니다. 예를 들면 IMAX 시네마를 이용함으로써 경험을 개선시키기 위한 다수의 시도들이 이루어졌다. 그러나, 그러한 시네마 서라운드 사운드에서도, "거기 있는(being there)"의 환상을 완전히 생성할 수 없다.
특별한 어려움은 가속도의 장면을 재생성하기가 매우 어렵다는 점이다.
가상 환경에서 부가의 자극을 공급하기 위한 제안은, 전기 전정 자극(Galvanic Vestibular Stimulation)을 개시하는 US 5 762 612호에 기재되어 있다. 이러한 방식에서, 가상 현실 환경을 향상시킬 수 있는 전정 불균형의 상태를 도출하기 위한 전정 신경을 자극하기 위해 특히 적어도 귀 뒤의 머리 상의 영역들에 자극이 인가된다.
사용자에 대한 이미지들의 시퀀스를 표현하는 비디오 데이터 스트림을 재생하기 위한 방법이 제공된다.
본 발명에 따라, 청구항 제1항에 따른 방법이 제공된다.
본 발명자들은 오디오-비주얼 데이터 스트림의 현실성을 증가시키기 위한 부가의 신호를 생성시켜야 하는 것이 불편하다는 것을 알았다. 임의의 영화들 또는 텔레비전 프로그램들이 종래의 비디오 및 오디오 스트림들 외에 부가의 스트림들을 포함하는 경우는 거의 없다. 더욱이, 컴퓨터들용 게임들 프로그램들이 그러한 부가의 스트림들을 생성하는 경우도 또한 거의 없다. 매우 특정한 디바이스들에 대한 게임 프로그램들에 대해서만 예외이다.
이미지들의 비디오 스트림으로부터 자극 데이터를 자동으로 생성함으로써 기존 및 새로운 컨텐트 둘다의 현실성이 향상될 수 있다.
따라서, 이 방식은 임의의 오디오-비주얼 스트림에 기초하여 인간의 신체 또는 환경에 인가될 수 있는 물리적인 자극들을 재생성한다. 특별한 오디오-비주얼 데이터는 요구되지 않는다.
움직임 데이터는:
- 복수의 픽셀들의 블록들의 각각의 움직임 데이터를 계산함으로써 장면의 우세한 움직임을 추정하고;
- 움직임 데이터의 분포를 분석하고;
- 움직임 데이터의 분포에서 우세한 피크가 있는 경우 그 피크의 움직임을 움직임 특징으로서 식별함으로써 추출될 수 있다.
움직임 데이터를 추출하는 다른 방법은 배경으로부터 전경을 움직임 세그먼트화하는 단계 및 전경 및 배경의 각각의 움직임을 움직임 특징으로서 계산하는 단계를 포함한다.
비 오디오-비주얼 자극은 전기 전정 자극이 될 수 있다. 이 방법은 과도한 센서들 및 장치를 필요로 하지 않고 사용자 경험을 향상시킨다. 실제로, 전기 전정 자극 생성기는 헤드셋에 통합될 수 있다.
대안적으로, 비 오디오-비주얼 자극은 사용자의 피부의 촉각 자극이 될 수 있다.
비 오디오-비주얼 자극에 대한 또 다른 대안은 사용자의 신체 또는 그 일부를 물리적으로 움직이는 것을 포함하는 비 오디오-비주얼 자극을 인가하는 것이다.
본 발명의 더욱 양호한 이해를 위해, 실시예들이 지금부터 첨부된 도면들을 참조하여 순전히 예의 방식으로 기술될 것이다.
도 1은 본 발명에 따른 장치의 제 1 실시예를 도시한 도면.
도 2는 도 1의 배열에 이용된 전기 전정 자극 유닛을 도시한 도면.
도 3은 본 발명에 따른 장치의 제 2 실시예를 도시한 도면.
도 4는 움직임 특징들을 추출하는데 이용되는 방법의 제 1 실시예를 도시한 도면.
도 5는 움직임 특징들을 추출하는데 이용되는 방법의 다른 실시예를 도시한 도면.
도면들은 개략적이며 비례적으로 도시되지 않았다. 동일하거나 유사한 구성요소들에는 상이한 도면들에서 동일한 참조 번호들이 제공되며, 그에 관한 기술은 반드시 반복될 필요는 없다.
도 1로 돌아가서, 본 발명의 제 1 실시예는 오디오 비주얼 생성기(10)를 포함하며, 오디오 비주얼 생성기(10)는 비디오 스트림(12) 및 하나 이상의 오디오 스트림들(14)을 포함하는 오디오-비주얼 컨텐트를 공급한다. 오디오 비주얼 생성기는 컴퓨터, DVD 플레이어 또는 오디오 비주얼 데이터의 임의의 적당한 소스가 될 수 있다. 이 경우, 용어 "비디오 스트림(video stream)"(12)이 비디오 데이터, 즉 이미지들의 시퀀스를 엄격하게 의미하기 위해 이용되며, 오디오 스트림(14)을 포함하지 않는다. 당연히, 오디오 및 비디오 스트림들은 임의의 특정한 응용들에서 요구되는 바와 같이 개별적으로 전송되거나 단일 데이터 스트림으로서 혼합 및 전송될 수 있다.
오디오-비주얼 처리기(20)는 오디오 및 비디오 스트림들(12, 14)을 수용한다. 그것은 오디오-비주얼 렌더링 엔진(22)을 포함하며, 오디오-비주얼 렌더링 엔진(22)은 오디오 및 비디오 스트림들(12, 14)을 수용하고, 이들을 출력 장치(24), 여기서는 컴퓨터 모니터(26) 및 라우드스피커들(28)에 출력한다. 대안적으로, 출력 장치(24)는 예를 들면 일체형 스피커들을 구비한 텔레비전 세트가 될 수 있다.
비디오 스트림(12)은 또한 움직임 처리기(30)에 공급되며, 움직임 처리기(30)는 비디오 스트림에 의해 표현되는 이미지들의 시퀀스로부터 움직임 특징의 형태로 움직임 정보를 추출한다. 통상적으로, 움직임 특징은 전경의 움직임 및/또는 이미지에 표현된 우세한 움직임에 관련될 것이다. 다른 세부사항들은 하기에 논의된다.
움직임 처리기(30)는 자극 제어기(32)에 접속되고, 자극 제어기(32)는 자극 생성기(34)에 접속된다. 자극 제어기는 움직임 특징을 자극 신호로 변환하도록 배열되고, 자극 신호는 이용중 사용자(36)를 자극하는 자극 생성기(34)에 공급된다. 따라서, 자극 제어기(34)의 출력은 비-오디오-비주얼 물리적 자극을 사용자에게 인가하기 위하여 자극 생성기(34)를 제어하도록 적응되는 제어 신호이다.
실시예에서, 자극 생성기는 US 5 762 612호에 기재된 것과 유사한 전기 전정 자극(GVS) 생성기이다. 도 2를 참조하면, 이 생성기는 헤드 스트랩(head strap; 38)에 일체화된 플렉시블 도전성 패치들(flexible conductive patches; 40)을 포함하며, 헤드 스트랩(38)은 고정기(fastener; 42)에 의해 목 뒤에 고정되는 귀들 위에 그리고 이마로부터 사용자의 머리 주위에 고정될 수 있다. 대안적으로, 헤드폰은 이러한 목적을 위해 이용될 수 있다. GVS는 전정 신경을 향해 귀 뒤의 사용자의 머리의 전기 자극에 의한 가속도의 감각을 생성하기 위한 비교적 간단한 방법을 제공한다. 이러한 방식으로, 사용자는 그가 있는(앉아있고, 서있고, 누워있는) 위치에 단순히 남아 있을 수 있고, 비디오-장면과 연관된 가속도의 장면을 여전히 경험할 수 있다.
도 3에 도시된 대안적인 실시예는 다음과 같은 다른 특징들을 제공한다. 일부 또는 모든 이들 부가의 특징들이 개별적으로 제공될 수 있다.
먼저, 자극 생성기(32)는 다수의 자극 생성기들을 구동하기 위한 다수의 출력들을 가진다. 일반적으로, 이들은 상이한 형태들이 될 수 있지만, 일부 또는 모든 자극 생성기들이 동일한 형태인 것을 배제하지 않는다.
도 3의 실시예에서, "세기(strength)" 제어(52)가 제공되며, 즉 사용자가 자극의 '세기'를 선택하기 위한 수단이 제공된다. 이것은 사용자가 자극의 '양(volume)' 또는 크기를 선택할 수 있게 한다. 이것은 또한, 다수의 자극 방향들 또는 채널들의 각각에 대한 세기의 선택을 포함할 수 있다. 세기 제어(52)는 디스플레이되는 장면의 컨텐트를 분석하는 자극 제어기(32)에 접속될 수 있다(예를 들면, 액션 차량 추격을 위한 직접 맵핑, 서스펜스 설정들을 위한 역 맵핑, 및 공포 장면들을 위한 랜덤 맵핑).
다른 개선은 자극 크기의 자동 조정을 위한 '과-자극(over-stimulation)' 방지 유닛(54)이다. 이것은 사용자의 신체적 및/또는 정신적 상태를 반영하는 신체적 또는 정신-생리학적 측정들을 수집하는 센서들(56) 또는 사용자에 대한 자극의 사용자 조정 가능한 제한들에 기초할 수 있다.
이 실시예에서, 비디오 스트림으로부터 검출된 움직임은 다중-스피커 셋업들 또는 지적 오디오 렌더링 알고리즘들을 이용하여 움직임의 감각을 향상시키기 위해 이와 연관된 오디오 스트림을 지시하거나 변경하기 위하여 적용된다. 비디오 신호로부터의 움직임은 또한, 더 많은 오디오 채널들을 인위적으로 생성하기 위해 이용될 수 있다.
이용될 수 있는 다수의 적당한 자극 생성기들(34)이 있고, 이들이 임의의 실시예와 함께 이용될 수 있다는 것을 알 것이다. 이들은 다른 자극 생성기들(34)에 더하여 또는 그들 단독으로 이용될 수 있다.
경험을 강화하기 위한 움직임 특징을 렌더링하는 것은 (방) 환경을 변경함으로써 또는 사용자의 물리적 자극에 의해 수행될 수 있다. 하나 이상의 이러한 자극 생성기들은 필요에 따라 이용될 수 있다. 이들은 선택 제어(50)의 제어 하에 자극 제어기(32)에 의해 제어될 수 있다.
하나의 대안적인 자극 생성기(34)는 신체 접촉 오브젝트(90)에 내장된 적어도 하나의 기계적 액추에이터(62)를 포함한다. 사용시, 신체 접촉 오브젝트는 사용자의 피부와 접촉하게 되고, 기계적 액추에이터(들)(92)는 촉각 자극을 생성한다. 적당한 신체 접촉 오브젝트들은 옷 및 가구를 포함한다.
다른 대안적인 자극 생성기(34)는, 사용자가 앉아 있거나, 서 있는 지면 또는 대안적으로 또는 부가적으로 가구나 다른 큰 오브젝트를 움직이거나 기울이도록 배열되는 구동기(94)를 포함한다. 이러한 형태의 자극 생성기는 신체의 실질적인 물리적 움직임을 실현한다.
대안적으로(또는 부가적으로), 비디오 스트림에서 검출된 움직임은 또한, 예를 들면 다음의 옵션들 중 하나를 이용함으로써 환경을 변화시키는데 이용될 수 있다.
다른 대안적인 자극 생성기(34)는, 움직임 특징에 기초하여 TV(Ambilight) 상에서 또는 방에서 조명을 조정하도록 배열되는 조명 제어기이다. 이것은 움직임 특징이 조명 패턴들을 움직이는데 관련될 때 특히 적당하다.
또 다른 대안적인 자극 생성기(34)는, 비디오 스트림에서 움직임에 합동하는 공기 움직임을 시뮬레이팅함으로써 움직임 감지를 향상시키는 송풍기(wind blower) 또는 팬들이다.
가속도의 환상을 강화하기 위한 다른 방법은 물리적으로 움직이는(사용자의 면전에 디스플레이되는 이미지를 변형 또는 회전) 것이 될 수 있다. 이것은 디스플레이 마운트 또는 푸트(mount or foot)에서 기계적 액추에이션을 이용하여 전체 디스플레이를 이동시킴으로써 수행될 수 있다. 프로젝션 디스플레이들을 위해, 광 경로의 작은 조정들(바람직하게, 광 구성요소들을 이동시키기 위해 전용 액추에이터들을 이용함)은 프로젝팅된 이미지를 이동시키거나 왜곡시키기(warp) 위해 이용될 수 있다.
움직임 처리기(30)의 동작은 지금부터 도 4 및 도 5를 참조하여 더욱 상세히 논의될 것이다.
제 1 방식에서, 움직임 처리기(30)는 비디오로부터, 즉 비디오 스트림에 의해 표현되는 이미지들의 시퀀스로부터, 우세한 변형 움직임을 추출하도록 배열된다. 이것은 스트림으로부터 직접, 또는 스트림의 이미지들을 렌더링하고 이들을 처리함으로써 행해질 수 있다.
우세한 변형 움직임은 카메라의 움직임이 필수적이지는 않다. 그것은 장면에서 명백한 가장 큰 오브젝트의 움직임이다. 이것은 카메라의 움직임과 동일한 경우 배경이 될 수 있거나, 큰 전경 오브젝트의 움직임이 될 수 있다.
적당한 방법의 제 1 실시예는 우세한 움직임의 추출을 달성하기 위한 비용 효과적인 방법인 적분 프로젝션들(integral projections)을 이용한다. 적당한 방법들은 2003년 Journal of Mathematical Imaging and Vision 제18권 제1번 35-54쪽의 D. Robinson 및 P. Milanfar에 의한, “Fast Local and Global Projection-Based Methods for Affine Motion Estimation”와, 2004년 Proceeding of the ICIP 제5권 3371-3374쪽의 AJ. Crawford에 의한 “Gradient based dominant motion estimation with integral projections for real time video stabilization”에 기재되어 있다.
그러나, 이들 방법들의 결함은 상이한 움직임들을 가진 다중 오브젝트들이 그 장면에 존재할 때, 그들이 관련된 적분 동작으로 인해 하나의 우세한 움직임을 추려낼 수 없다는 점이다. 흔히, 추정된 움직임은 그 장면에 존재하는 움직임들의 혼합이다. 그러므로, 이러한 경우들에서, 이들 방법들은 부정확한 결과들을 생성하려는 경향이 있다. 변형적 움직임들 외에도, 이들 방법들은 또한 주밍 움직임(zooming motion)을 추정하기 위해 이용될 수 있다.
따라서, 제 2 실시예에서 이들 문제들을 극복하기 위하여, 효율적인 국부적 실제 움직임 추정 알고리즘(local true motion estimation algorithm)이 이용된다. 1994년 Signal Processing: Image Communication 6의 229-239쪽에 G. de Haan 및 P. Biezen에 의한 “Sub-pixel motion estimation with 3-D recursive search block-matching”에 적당한 3차원 순환적 검색(3DRS: three-dimensional recursive search) 알고리즘이 기술된다.
이 방법은 통상적으로 이미지의 픽셀들의 블록마다 움직임 필드를 생성한다. 우세한 움직임은 추정된 움직임 필드의 히스토그램의 분석에 의해 발견될 수 있다. 특히, 우리는 우세한 움직임으로서 히스토그램의 우세한 피크를 이용하는 것을 제안한다. 히스토그램의 다른 분석은 이 피크가 실제로 우세한 움직임이고, 많은 상이한 움직임들 중 하나일 뿐인지를 나타낼 수 있다. 이것은 히스토그램에 하나의 분명한 피크가 존재하지 않을 때 추정된 우세한 움직임을 영으로 다시 스위칭하는 폴백 메커니즘들(fallback mechanisms)에 이용될 수 있다.
도 4는 이 발명의 개략적인 흐름도이다. 먼저, 프레임들 사이의 픽셀들의 각 블록의 움직임이 비디오 데이터 스트림(12)으로부터 계산된다(60). 그 후에, 움직임은 복수의 “빈들(bins)”, 즉 움직임의 범위들로 나누어지고, 각 빈의 계산된 움직임을 가진 블록들의 수가 결정된다(62). 빈들과 블록들의 수의 관계는 히스토그램이 보통 그래픽으로 도시되지 않을지라도, 히스토그램인 것으로 생각될 수 있다.
다음, 히스토그램의 피크들이 식별된다(64). 단일의 우세한 피크가 존재한다면, 우세한 피크의 움직임은 움직임 특징으로 식별된다(68).
그렇지 않고, 우세한 피크가 식별될 수 없다면, 움직임 특징은 식별되지 않는다(단계 70).
장면에서 분명한 주밍은 평면 히스토그램을 유발할 것이다. 원칙적으로 줌(주밍 속도)을 기술하는 파라미터들이 히스토그램으로부터 추정될 수 있지만, 우리는 이를 위해 더욱 강력한 방법을 이용하는 것을 제안한다. 이 방법은 1998년 3월 IEEE tr. on Circ. and Syst. for Video Techn.의 제8권 제1호의 85-91쪽에서 G. de Haan 및 P.W.A.C. Biezen에 의한 "An efficient true-motion estimator using candidate vectors from a parametric motion model"에 기재된 바와 같은 줌 파라미터들의 하나의 강력한 추정을 최종적으로 획득하기 위하여 움직임 필드로부터 다수의 가능한 파라미터 세트들을 추정한다. 추정된 우세한 변형 움직임이 좌우 및 상하 움직임들을 나타내는 반면에, 줌 파라미터들은 전후 움직임들을 나타낸다. 그러므로, 함께 이들은 자극을 위해 이용된 3D 움직임 정보를 구성한다. 줌 파라미터들을 추정하는데 이용되는 방법은 또한, 회전 파라미터들을 추정하기 위해 이용될 수 있다. 그러나, 공동으로 비디오 자료 또는 광축 주위의 게이밍 컨텐트 회전은 팬(pan) 및 줌보다 훨씬 덜 빈번하게 발생한다.
따라서, 변형 움직임의 계산 후에, 줌이 계산되고(단계 72), 줌 및 변형 움직임은 움직임 특징들로서 출력된다(단계 74).
움직임 특징들을 식별한 후에, 자극 데이터가 생성될 수 있고(단계 88) 사용자에게 인가될 수 있다(단계 89).
다른 세트의 실시예들은 장면에서 우세한 움직임을 추정하는 것에 기초하는 것이 아니라, 대신 배경에 비해 전경 오브젝트의 관련 움직임을 추정하는 것에 기초한다. 이것은 우세한 움직임을 추정하는 것과 반대로, 전경 오브젝트를 추적하는 카메라 및 고정 카메라 둘다에 대한 적당한 결과들을 생성한다. 카메라가 고정되고 전경 오브젝트가 움직이고 있는 경우, 두 방법들은 전경 오브젝트(전경 오브젝트가 장면에서 우세한 오브젝트인 순간을 가정함)의 움직임을 유발한다. 그러나, 카메라가 전경 오브젝트를 추적할 때, 우세한 움직임은 전경 오브젝트의 관련 움직임이 전경 움직임으로 남아 있는 경우에 영이 된다.
전경 오브젝트를 찾기 위하여, 어떤 형태의 세그먼테이션이 요구된다. 일반적으로, 세그먼테이션은 매우 어려운 문제이다. 그러나, 본 발명자들은 이 경우, 움직임 기반 세그먼테이션이 그것이 관심있는 양이기 때문에 충분하다는 것을 이해했다(고정 배경으로부터 고정 전경 오브젝트를 세그먼트할 필요가 없다). 달리 말하면, 필요한 것은 전경을 식별하기보다 상당히 더 쉬운 움직임 오브젝트의 픽셀들을 식별하는 것이다.
추정된 깊이 필드(depth field)의 분석은 전경 및 배경 오브젝트를 나타낼 것이다. 그들 각각의 움직임의 간단한 비교는 배경에 대한 전경 오브젝트의 관련 움직임을 산출할 것이다. 이 방법은 배경이 주밍되고 있을 때 변형 전경 오브젝트를 다룰 수 있다. 그러므로, 부가적으로, 배경의 추정된 줌 파라미터들은 자극에 대한 3D 움직임 파라미터들의 전체 세트를 획득하는데 이용될 수 있다.
따라서, 도 5로 돌아가서, 먼저, 깊이 필드가 계산된다(단계82). 그 후에, 전경 및 배경을 식별하기 위해 움직임 세그먼테이션이 발생하고(단계 84), 그 후에, 전경 및 배경의 움직임은 움직임 특징들로서 계산된다(단계 86). 그 후에, 배경 줌이 계산되고(단계 70) 움직임 특징들이 출력된다(단계72).
우세한 오브젝트가 전경인 경우 고정 카메라를 이용하면, 우세한 움직임은 전경 움직임이 될 것이고, 이것은 움직임 특징으로서 우세한 움직임 출력이 된다. 반대로, 배경이 이미지의 우세한 특징이면, 우세한 움직임은 영이지만 전경 오브젝트는 여전히 배경에 대해 이동하고, 그래서 도 5의 방법은 도 4의 방법이 우세한 움직임으로 영을 출력하는 경우에도 적당한 움직임 특징을 출력할 것이다.
유사하게, 카메라가 전경 오브젝트를 따르고 있다면, 전경 오브젝트가 우세한 움직임인 경우, 우세한 움직임은 여전히 영이 될 것이다. 이 경우, 그러나, 전경은 배경에 대해 여전히 움직이고, 그래서 도 5의 방법은 여전히, 도 4의 방법이 다시 그러하지 않는 경우 움직임 특징을 출력한다. 배경이 우세하다면, 도 4의 우세한 움직임 방법은 전경의 움직임에 반대되는 움직임을 제공하는 반면, 도 5의 방법은 배경에 대해 계속 전경의 움직임을 제공할 것이다.
따라서, 많은 상황들에서, 도 5의 방법은 일관된 움직임 특징 출력을 제공할 수 있다.
최종적으로, 사용자의 움직임 인식을 개선시키기 위해, 일시적 후처리 또는 필터링이 추정된 움직임 파라미터들에 적용될 수 있다. 예를 들면, 시간의 추정된 파라미터들의 적응형 지수 평탄화가 더욱 안정한 파라미터들을 산출한다.
상술된 처리는 미디어 스트림에서 움직임의 추정을 표현하는 추출된 움직임 특징(또는 하나 이상의 움직임 특징)을 유발할 것이다.
자극 제어기(32)는 사용자 또는 방을 표현할 수 있는 검출된 움직임 특징을 다수의 방법들 중 하나의 그 출력으로 맵핑한다. 이것은, 자극 제어기에 접속된 선택 제어(50)를 이용하여 사용자 제어 가능할 수 있다.
한 방식은 사용자가 카메라 움직임을 경험하도록(사용자가 액션의 방관자임) 검출된 배경 움직임의 사용자 또는 환경으로의 직접 맵핑이다.
대안적으로, 자극 제어기는 사용자들이 비디오에서 본 주요 오브젝트의 움직임을 경험하도록 검출된 주요 오브젝트 움직임을 사용자 또는 환경으로 직접 맵핑할 수 있다.
대안적으로, 상술된 것 중 어느 하나는 움직임의 특별히 향상된 느낌을 위해 역으로 맵핑될 수 있다.
혼돈 또는 두려움의 느낌을 생성하기 위해, 스트림에서 폭발 장면, 차량 충돌 또는 다른 폭력 사건에 관련될 수 있는 바와 같이 움직임의 랜덤한 맵핑이 혼미한 장면을 트리거하기 위해 이용될 수 있다.
상기 방법은 전체 움직임 비디오를 렌더링하게 하는 임의의 비디오-스크린에 적용될 수 있다. 이것은 모바일 폰들, mp3/비디오 플레이어들, 휴대용 콘솔들 및 임의의 유사한 디바이스와 같은 게임 또는 가상 현실 또는 모바일 무비-플레이어들에 대한 텔레비전 세트들 컴퓨터 모니터들을 포함한다.
상기 실시예들은 제한되지 않으며, 본 기술분야의 통상의 기술자는 많은 변형들이 가능하다는 것을 이해할 것이다. 참조 번호들은 이해를 돕기 위해 제공되며 제한되지 않는다.
장치는 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 방법들은 상술된 장치만이 아니라 임의의 적당한 장치로 실행될 수 있다.
특허청구범위들의 특징들은 특허청구범위들에 명시적으로 기재된 것들뿐 아니라 임의의 조합으로 조합될 수 있다.
10; A/V 생성기
12; 비디오 스트림
14; 오디오 스트림
20; A/V 처리기
30; 움직임 처리기
32; 자극 제어기
34; 자극 생성기

Claims (15)

  1. 사용자에 대한 이미지들의 시퀀스를 표현하는 비디오 데이터 스트림을 재생하기 위한 방법에 있어서:
    - 상기 비디오 데이터 스트림(12)으로부터 움직임을 표현하는 적어도 하나의 움직임 특징을 추출하는 단계;
    - 상기 움직임 특징으로부터 자극 데이터(stimulus data)를 생성하는 단계(88); 및
    - 상기 자극 데이터에 기초하여 사용자(36)에게 비 오디오-비주얼 물리적 자극(non audio-visual physical stimulus)을 인가하는 단계(89)를 포함하는, 비디오 데이터 스트림 재생 방법.
  2. 제 1 항에 있어서, 상기 움직임 특징을 추출하는 단계는:
    - 복수의 픽셀들의 블록들의 각각의 움직임 데이터를 계산함으로써(60) 장면의 우세한 움직임을 추정하는 단계;
    - 상기 움직임 데이터의 분포를 분석하는 단계(62, 64); 및
    - 상기 움직임 데이터의 분포에 우세한 피크가 존재한다면, 그 피크의 움직임을 움직임 특징으로서 식별하는 단계(68)를 포함하는, 비디오 데이터 스트림 재생 방법.
  3. 제 1 항에 있어서, 상기 움직임 특징을 추출하는 단계는:
    - 배경으로부터 전경을 움직임 세그먼트하는 단계(84); 및
    - 전경 및 배경의 각각의 움직임을 움직임 특징으로서 계산하는 단계(86)를 포함하는, 비디오 데이터 스트림 재생 방법.
  4. 제 1 항에 있어서,
    상기 비 오디오-비주얼 물리적 자극을 인가하는 단계(89)는 사용자에게 전기 전정 자극(Galvanic Vestibular Stimulus)을 인가하는, 비디오 데이터 스트림 재생 방법.
  5. 제 1 항에 있어서,
    상기 비 오디오-비주얼 물리적 자극을 인가하는 단계(89)는 사용자의 피부의 촉각 자극을 인가하는 단계를 포함하는, 비디오 데이터 스트림 재생 방법.
  6. 제 1 항에 있어서,
    상기 비 오디오-비주얼 물리적 자극을 인가하는 단계(89)는 사용자의 신체 또는 그 일부를 물리적으로 움직이는 단계를 포함하는, 비디오 데이터 스트림 재생 방법.
  7. 제 1 항에 있어서,
    상기 비디오 데이터 스트림(12)에는 오디오 스트림(14)이 수반되고:
    - 상기 오디오 스트림 및 상기 추출된 움직임 데이터를 수신하는 단계;
    - 상기 추출된 움직임 데이터에 기초하여 상기 오디오 스트림에서 오디오 데이터를 수정하는 단계; 및
    - 오디오 재생 유닛을 통해 상기 수정된 오디오 데이터를 출력하는 단계를 더 포함하는, 비디오 데이터 스트림 재생 방법.
  8. 비 오디오-비주얼 자극을 사용자에게 인가하기 위한 자극 생성기에 접속된 컴퓨터로 하여금 제 1 항에 따른 방법을 실행하도록 구성된 컴퓨터 프로그램 제품.
  9. 사용자에 대한 이미지들의 시퀀스를 표현하는 비디오 데이터 스트림을 재생하기 위한 장치에 있어서:
    - 상기 비디오 데이터 스트림으로부터 움직임을 표현하는 적어도 하나의 움직임 특징을 추출하도록 구성된 움직임 처리기(30); 및
    - 비 오디오 비주얼 자극을 제공하도록 구성된 자극 생성기(34)를 포함하고,
    상기 움직임 처리기(30)는 상기 추출된 움직임 특징에 기초하여 상기 자극 생성기를 구동하도록 구성되는, 비디오 데이터 스트림 재생 장치.
  10. 제 9 항에 있어서,
    상기 자극 생성기(34)는 헤드폰에 일체화된 전기 전정 자극 생성기인, 비디오 데이터 스트림 재생 장치.
  11. 제 9 항에 있어서,
    상기 자극 생성기(34)는 사용자의 피부의 촉각 자극을 인가를 위해 신체-접촉 오브젝트(60)에 내장된 적어도 하나의 기계적 액추에이터(62)를 포함하는, 비디오 데이터 스트림 재생 장치.
  12. 제 9 항에 있어서,
    상기 자극 생성기(34)는 사용자의 신체 또는 그 일부를 물리적으로 움직이는 것을 포함하는 비 오디오-비주얼 자극을 인가하기 위해 지표면 또는 가구를 물리적으로 이동시키도록 구성된 액추에이터(64)를 포함하는, 비디오 데이터 스트림 재생 장치.
  13. 제 9 항에 있어서,
    상기 움직임 처리기는 상기 움직임 데이터의 분포를 분석하기 위해 복수의 픽셀들의 블록들의 각각의 움직임 데이터를 계산함으로써 장면의 우세한 움직임을 추정하도록 구성되고; 상기 움직임 데이터의 분포에 우세한 피크가 존재한다면, 그 피크의 움직임을 상기 움직임 특징으로 식별하도록 구성되는, 비디오 데이터 스트림 재생 장치.
  14. 제 9 항에 있어서,
    상기 움직임 처리기(30)는 배경으로부터 전경을 움직임 세그먼트하고, 전경 및 배경의 각각의 움직임을 상기 움직임 특징으로서 계산하도록 구성되는, 비디오 데이터 스트림 재생 장치.
  15. 제 9 항에 있어서,
    - 오디오 데이터 스트림을 수신하고, 효과 처리기(effects processor)로부터 상기 추출된 움직임 특징을 수신하고, 상기 추출된 움직임 특징에 기초하여 상기 오디오 스트림에서 수신된 오디오 데이터를 수정하도록 구성된 오디오 처리기(48); 및
    - 상기 수정된 오디오 데이터를 출력하기 위한 오디오 재생 유닛을 더 포함하는, 비디오 데이터 스트림 재생 장치.
KR1020107022426A 2008-03-10 2009-03-04 비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치 KR20100130620A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08152539.6 2008-03-10
EP08152539 2008-03-10

Publications (1)

Publication Number Publication Date
KR20100130620A true KR20100130620A (ko) 2010-12-13

Family

ID=41065611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107022426A KR20100130620A (ko) 2008-03-10 2009-03-04 비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치

Country Status (10)

Country Link
US (1) US20110044604A1 (ko)
EP (1) EP2266308A2 (ko)
JP (1) JP2011523515A (ko)
KR (1) KR20100130620A (ko)
CN (1) CN101971608A (ko)
BR (1) BRPI0910822A2 (ko)
MX (1) MX2010009872A (ko)
RU (1) RU2010141546A (ko)
TW (1) TW200951763A (ko)
WO (1) WO2009112971A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007957A (ko) * 2014-07-10 2016-01-21 한림대학교 산학협력단 3차원 가상현실 환경에서 사이버 멀미 경감을 위한 갈바닉 전정자극 시스템 및 그 방법
KR20160106838A (ko) * 2015-03-02 2016-09-13 한림대학교 산학협력단 사용자 중심의 모션 유발을 위한 갈바닉 전류 조절 장치
KR20160109223A (ko) * 2015-03-10 2016-09-21 한림대학교 산학협력단 가상현실 환경에서 사이버 멀미 경감을 위한 머리 장착형 사이버 멀미 경감 장치
KR20170101757A (ko) * 2016-02-29 2017-09-06 삼성전자주식회사 멀미 저감을 위한 영상 표시 장치 및 방법
WO2017150795A1 (en) * 2016-02-29 2017-09-08 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing vr sickness
KR20180057870A (ko) * 2016-11-23 2018-05-31 삼성전자주식회사 움직임 정보 생성 방법 및 이를 지원하는 전자 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
CN103003775A (zh) * 2010-06-28 2013-03-27 Tp视觉控股有限公司 增强内容观看体验
US8578299B2 (en) * 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
EP2961503B1 (en) * 2013-02-27 2019-08-07 InterDigital CE Patent Holdings Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
WO2017112593A1 (en) 2015-12-23 2017-06-29 Mayo Foundation For Medical Education And Research System and method for integrating three dimensional video and galvanic vestibular stimulation
JP2017182130A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10067565B2 (en) * 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
US11262088B2 (en) * 2017-11-06 2022-03-01 International Business Machines Corporation Adjusting settings of environmental devices connected via a network to an automation hub
US10660560B2 (en) * 2018-08-27 2020-05-26 International Business Machiness Corporation Predictive fall prevention using corrective sensory stimulation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH053968A (ja) * 1991-06-25 1993-01-14 Pioneer Electron Corp 映像表示、及びその表示に連動する運動装置
US5389865A (en) * 1992-12-02 1995-02-14 Cybernet Systems Corporation Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor
US5490784A (en) * 1993-10-29 1996-02-13 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
US5762612A (en) * 1997-02-28 1998-06-09 Campbell; Craig Multimodal stimulation in virtual environments
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP4245695B2 (ja) * 1998-09-24 2009-03-25 シャープ株式会社 画像動きベクトル検出方法およびその装置
US6077237A (en) * 1998-11-06 2000-06-20 Adaboy, Inc. Headset for vestibular stimulation in virtual environments
JP4672094B2 (ja) * 1999-01-22 2011-04-20 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
JP2001154570A (ja) * 1999-11-30 2001-06-08 Sanyo Electric Co Ltd 疑似体験装置及び疑似体験方法
US8113839B2 (en) * 2000-07-21 2012-02-14 Sony Corporation Information processing apparatus, information processing method, information processing system, and storage medium
JP2002035418A (ja) * 2000-07-21 2002-02-05 Sony Corp 情報処理装置および方法、情報処理システム、および記録媒体
US6738099B2 (en) * 2001-02-16 2004-05-18 Tektronix, Inc. Robust camera motion estimation for video sequences
JP4263921B2 (ja) * 2003-02-25 2009-05-13 独立行政法人科学技術振興機構 身体誘導装置
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
JP2006270711A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 情報提供装置及び情報提供装置の制御用プログラム
JP4777433B2 (ja) * 2005-10-27 2011-09-21 エヌイーシー ラボラトリーズ アメリカ インク ビデオ前景の分割方法
US8467570B2 (en) * 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
ITMI20070009A1 (it) * 2007-01-05 2008-07-06 St Microelectronics Srl Un sistema elettronico interattivo di intrattenimento
US9214030B2 (en) * 2007-05-07 2015-12-15 Thomson Licensing Method and apparatus for processing video sequences
KR20090015455A (ko) * 2007-08-08 2009-02-12 삼성전자주식회사 오디오 신호 및 비디오 신호를 상호 의존적으로 제어하는방법과 그 장치
HUE037450T2 (hu) * 2007-09-28 2018-09-28 Dolby Laboratories Licensing Corp Videó információ kezelése

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007957A (ko) * 2014-07-10 2016-01-21 한림대학교 산학협력단 3차원 가상현실 환경에서 사이버 멀미 경감을 위한 갈바닉 전정자극 시스템 및 그 방법
KR20160106838A (ko) * 2015-03-02 2016-09-13 한림대학교 산학협력단 사용자 중심의 모션 유발을 위한 갈바닉 전류 조절 장치
KR20160109223A (ko) * 2015-03-10 2016-09-21 한림대학교 산학협력단 가상현실 환경에서 사이버 멀미 경감을 위한 머리 장착형 사이버 멀미 경감 장치
KR20170101757A (ko) * 2016-02-29 2017-09-06 삼성전자주식회사 멀미 저감을 위한 영상 표시 장치 및 방법
WO2017150795A1 (en) * 2016-02-29 2017-09-08 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing vr sickness
US10248202B2 (en) 2016-02-29 2019-04-02 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing VR sickness
KR20180057870A (ko) * 2016-11-23 2018-05-31 삼성전자주식회사 움직임 정보 생성 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
MX2010009872A (es) 2010-09-28
WO2009112971A2 (en) 2009-09-17
CN101971608A (zh) 2011-02-09
US20110044604A1 (en) 2011-02-24
JP2011523515A (ja) 2011-08-11
WO2009112971A3 (en) 2010-02-25
RU2010141546A (ru) 2012-04-20
TW200951763A (en) 2009-12-16
EP2266308A2 (en) 2010-12-29
BRPI0910822A2 (pt) 2015-10-06

Similar Documents

Publication Publication Date Title
KR20100130620A (ko) 비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치
JP7132280B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US10957104B2 (en) Information processing device, information processing system, and information processing method
EP3253468B1 (en) Motion sickness monitoring and application of supplemental sound to counteract sickness
KR102077108B1 (ko) 콘텐츠 체험 서비스 제공 장치 및 그 방법
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
JP2017518663A (ja) 立体ビューイング
EP3573026B1 (en) Information processing apparatus, information processing method, and program
TWI831796B (zh) 用於產生場景之影像的設備及方法
CN108885339B (zh) 用于使用自适应焦平面渲染虚拟现实的配置
JP7465067B2 (ja) 仮想オブジェクトを表示するための方法およびシステム
JP6915165B2 (ja) ビュー画像を生成するための装置および方法
US10536682B2 (en) Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
WO2019235106A1 (ja) ヒートマップ提示装置およびヒートマップ提示用プログラム
JP2022077380A (ja) 画像処理装置、画像処理方法、およびプログラム
EP3467791A1 (en) Information processing device, information processing method, and program
CN112245910B (zh) 一种基于Quest头显的建模、极限运动方法和系统
US9609313B2 (en) Enhanced 3D display method and system
GB2585060A (en) Audio generation system and method
Harvey et al. The Effect of Discretised and Fully Converged Spatialised Sound on Directional Attention and Distraction.

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid