RU2010141546A - Обработки видеоданных - Google Patents

Обработки видеоданных Download PDF

Info

Publication number
RU2010141546A
RU2010141546A RU2010141546/07A RU2010141546A RU2010141546A RU 2010141546 A RU2010141546 A RU 2010141546A RU 2010141546/07 A RU2010141546/07 A RU 2010141546/07A RU 2010141546 A RU2010141546 A RU 2010141546A RU 2010141546 A RU2010141546 A RU 2010141546A
Authority
RU
Russia
Prior art keywords
motion
stimulus
data
user
property
Prior art date
Application number
RU2010141546/07A
Other languages
English (en)
Inventor
Дирк БРОККЕН (NL)
Дирк БРОККЕН
Ралф БРАСПЕННИНГ (NL)
Ралф БРАСПЕННИНГ
Original Assignee
Конинклейке Филипс Электроникс Н.В. (Nl)
Конинклейке Филипс Электроникс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Электроникс Н.В. (Nl), Конинклейке Филипс Электроникс Н.В. filed Critical Конинклейке Филипс Электроникс Н.В. (Nl)
Publication of RU2010141546A publication Critical patent/RU2010141546A/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

1. Способ воспроизведения потока видеоданных, представляющего последовательность изображений для пользователя, содержащий этапы, на которых: ! выделяют по меньшей мере одно свойство движения, представляющее движение, из потока (12) видеоданных, причем этап выделения содержит этапы, на которых: ! (а) выполняют оценку доминирующего движения сцены путем расчета (60) данных движения каждого из множества блоков пикселей; и ! (b) анализируют (62, 64) распределение данных движения; и ! (с) если существует доминирующий пик в распределении данных движения, идентифицируют (68) движение этого пика в качестве свойства движения; и ! генерируют (88) данные стимула из свойства движения; и ! применяют (89) неаудиовизуальный физический стимул к пользователю (36) на основе данных стимула. ! 2. Способ воспроизведения потока видеоданных, представляющего последовательность изображений для пользователя, содержащий этапы, на которых: ! выделяют по меньшей мере одно свойство движения, представляющее движение, из потока (12) видеоданных, содержащее: сегментирование (84) движения на передний план и задний план, и вычисление (86) соответствующего движения на переднем плане и заднем плане как свойство движения; и ! генерируют (88) данные стимула из свойства движения; и ! применяют (89) неаудиовизуальный физический стимул к пользователю (36) на основе данных стимула. ! 3. Способ по п.1 или 2, в котором на этапе применения (89) неаудиовизуального стимула к пользователю применяют гальванический вестибулярный стимул. ! 4. Способ по п.1 или 2, в котором этап применения (89) неаудиовизуального стимула включает в себя применение тактильной стимуляции кожи пользователя. ! 5. Сп�

Claims (13)

1. Способ воспроизведения потока видеоданных, представляющего последовательность изображений для пользователя, содержащий этапы, на которых:
выделяют по меньшей мере одно свойство движения, представляющее движение, из потока (12) видеоданных, причем этап выделения содержит этапы, на которых:
(а) выполняют оценку доминирующего движения сцены путем расчета (60) данных движения каждого из множества блоков пикселей; и
(b) анализируют (62, 64) распределение данных движения; и
(с) если существует доминирующий пик в распределении данных движения, идентифицируют (68) движение этого пика в качестве свойства движения; и
генерируют (88) данные стимула из свойства движения; и
применяют (89) неаудиовизуальный физический стимул к пользователю (36) на основе данных стимула.
2. Способ воспроизведения потока видеоданных, представляющего последовательность изображений для пользователя, содержащий этапы, на которых:
выделяют по меньшей мере одно свойство движения, представляющее движение, из потока (12) видеоданных, содержащее: сегментирование (84) движения на передний план и задний план, и вычисление (86) соответствующего движения на переднем плане и заднем плане как свойство движения; и
генерируют (88) данные стимула из свойства движения; и
применяют (89) неаудиовизуальный физический стимул к пользователю (36) на основе данных стимула.
3. Способ по п.1 или 2, в котором на этапе применения (89) неаудиовизуального стимула к пользователю применяют гальванический вестибулярный стимул.
4. Способ по п.1 или 2, в котором этап применения (89) неаудиовизуального стимула включает в себя применение тактильной стимуляции кожи пользователя.
5. Способ по п.1 или 2, в котором этап применения (89) неаудиовизуального стимула включает в себя физическое перемещение тела или части тела пользователя.
6. Способ по п.1 или 2, в котором поток (12) видеоданных сопровождается аудиопотоком (14), дополнительно содержащий этапы, на которых:
принимают аудиопоток и выделенные данные движения;
модифицируют аудиоданные в аудиопотоке на основе выделенных данных движения; и
выводят модифицированные аудиоданные через модуль воспроизведения звука.
7. Компьютерный программный продукт, выполненный с возможностью обеспечения для компьютера, подключенного к генератору стимула для применения неаудиовизуального стимула к пользователю, возможности выполнения способа по п.1 или 2.
8. Устройство для воспроизведения потока видеоданных, представляющее последовательность изображений для пользователя, содержащее:
процессор (30) движения, выполненный с возможностью выделения по меньшей мере одного свойства движения, представляющего движение, из потока видеоданных путем оценки доминирующего движения сцены путем расчета данных движения каждого из множества блоков пикселей для анализа распределения данных движения и, если в распределении данных движения существует доминирующий пик, идентификации движения этого пика в качестве свойства движения; и
генератор (34) стимула, выполненный с возможностью обеспечения неаудиовизуального стимула; при этом процессор (30) движения выполнен с возможностью управления генератором стимула на основе выделенного свойства движения.
9. Устройство для воспроизведения потока видеоданных, представляющее последовательность изображений для пользователя, содержащее:
процессор (30) движения, выполненный с возможностью выделения по меньшей мере одного свойства движения, представляющего движение, из потока видеоданных путем сегментирования по движению переднего плана от заднего плана и расчета соответствующего движения на переднем плане и заднем плане как свойство движения; и
генератор (34) стимула, выполненный с возможностью обеспечения неаудиовизуального стимула, в котором процессор (30) движения выполнен с возможностью управления генератором стимула на основе выделенного свойства движения.
10. Устройство по п.8 или 9, в котором генератор (34) стимула представляет собой генератор гальванического вестибулярного стимула, интегрированный в головной телефон.
11. Устройство по п.8 или 9, в котором генератор (34) стимула включает в себя по меньшей мере один механический, исполнительный элемент (62), встроенный в объект (60) контакта с телом, для приложения тактильной стимуляции к коже пользователя.
12. Устройство по п.8 или 9, в котором генератор (34) стимула включает в себя исполнительный элемент (64), выполненный с возможностью физического перемещения поверхности земли или мебели для применения неаудиовизуального стимула, включающего в себя физическое перемещение тела пользователя или его части.
13. Устройство по п.8 или 9, дополнительно содержащее:
аудиопроцессор (48), выполненный с возможностью приема потока аудиоданных и приема выделенного свойства движения из процессора эффекта и модификации принятых аудиоданных в аудиопотоке на основе выделенного свойства движения; и
модуль воспроизведения звука для вывода модифицированных аудиоданных.
RU2010141546/07A 2008-03-10 2009-03-04 Обработки видеоданных RU2010141546A (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08152539.6 2008-03-10
EP08152539 2008-03-10

Publications (1)

Publication Number Publication Date
RU2010141546A true RU2010141546A (ru) 2012-04-20

Family

ID=41065611

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010141546/07A RU2010141546A (ru) 2008-03-10 2009-03-04 Обработки видеоданных

Country Status (10)

Country Link
US (1) US20110044604A1 (ru)
EP (1) EP2266308A2 (ru)
JP (1) JP2011523515A (ru)
KR (1) KR20100130620A (ru)
CN (1) CN101971608A (ru)
BR (1) BRPI0910822A2 (ru)
MX (1) MX2010009872A (ru)
RU (1) RU2010141546A (ru)
TW (1) TW200951763A (ru)
WO (1) WO2009112971A2 (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
US20140085414A1 (en) * 2010-06-28 2014-03-27 Xiaoming Zhou Enhancing content viewing experience
US8578299B2 (en) * 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
CN105228711A (zh) * 2013-02-27 2016-01-06 汤姆逊许可公司 用于再现具有触觉致动器控制参数的视听内容的项目的方法和实现该方法的装置
KR101635266B1 (ko) * 2014-07-10 2016-07-01 한림대학교 산학협력단 3차원 가상현실 환경에서 사이버 멀미 경감을 위한 갈바닉 전정자극 시스템 및 그 방법
KR101663410B1 (ko) * 2015-03-02 2016-10-07 한림대학교 산학협력단 사용자 중심의 모션 유발을 위한 갈바닉 전류 조절 장치
KR101663414B1 (ko) * 2015-03-10 2016-10-06 한림대학교 산학협력단 가상현실 환경에서 사이버 멀미 경감을 위한 머리 장착형 사이버 멀미 경감 장치
KR20240042156A (ko) * 2015-12-23 2024-04-01 메이오 파운데이션 포 메디칼 에쥬케이션 앤드 리써치 3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법
KR102365162B1 (ko) * 2016-02-29 2022-02-21 삼성전자주식회사 멀미 저감을 위한 영상 표시 장치 및 방법
WO2017150795A1 (en) * 2016-02-29 2017-09-08 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing vr sickness
JP2017182130A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10067565B2 (en) 2016-09-29 2018-09-04 Intel Corporation Methods and apparatus for identifying potentially seizure-inducing virtual reality content
KR102544779B1 (ko) * 2016-11-23 2023-06-19 삼성전자주식회사 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
US11262088B2 (en) * 2017-11-06 2022-03-01 International Business Machines Corporation Adjusting settings of environmental devices connected via a network to an automation hub
US10660560B2 (en) * 2018-08-27 2020-05-26 International Business Machiness Corporation Predictive fall prevention using corrective sensory stimulation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH053968A (ja) * 1991-06-25 1993-01-14 Pioneer Electron Corp 映像表示、及びその表示に連動する運動装置
US5389865A (en) * 1992-12-02 1995-02-14 Cybernet Systems Corporation Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor
US5490784A (en) * 1993-10-29 1996-02-13 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
US5762612A (en) * 1997-02-28 1998-06-09 Campbell; Craig Multimodal stimulation in virtual environments
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP4245695B2 (ja) * 1998-09-24 2009-03-25 シャープ株式会社 画像動きベクトル検出方法およびその装置
US6077237A (en) * 1998-11-06 2000-06-20 Adaboy, Inc. Headset for vestibular stimulation in virtual environments
JP4672094B2 (ja) * 1999-01-22 2011-04-20 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
JP2001154570A (ja) * 1999-11-30 2001-06-08 Sanyo Electric Co Ltd 疑似体験装置及び疑似体験方法
US8113839B2 (en) * 2000-07-21 2012-02-14 Sony Corporation Information processing apparatus, information processing method, information processing system, and storage medium
JP2002035418A (ja) * 2000-07-21 2002-02-05 Sony Corp 情報処理装置および方法、情報処理システム、および記録媒体
US6738099B2 (en) * 2001-02-16 2004-05-18 Tektronix, Inc. Robust camera motion estimation for video sequences
JP4263921B2 (ja) * 2003-02-25 2009-05-13 独立行政法人科学技術振興機構 身体誘導装置
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
JP2006270711A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 情報提供装置及び情報提供装置の制御用プログラム
US7440615B2 (en) * 2005-10-27 2008-10-21 Nec Laboratories America, Inc. Video foreground segmentation method
US8467570B2 (en) * 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
ITMI20070009A1 (it) * 2007-01-05 2008-07-06 St Microelectronics Srl Un sistema elettronico interattivo di intrattenimento
US9214030B2 (en) * 2007-05-07 2015-12-15 Thomson Licensing Method and apparatus for processing video sequences
KR20090015455A (ko) * 2007-08-08 2009-02-12 삼성전자주식회사 오디오 신호 및 비디오 신호를 상호 의존적으로 제어하는방법과 그 장치
JP5524063B2 (ja) * 2007-09-28 2014-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ情報処理

Also Published As

Publication number Publication date
CN101971608A (zh) 2011-02-09
JP2011523515A (ja) 2011-08-11
BRPI0910822A2 (pt) 2015-10-06
MX2010009872A (es) 2010-09-28
WO2009112971A3 (en) 2010-02-25
US20110044604A1 (en) 2011-02-24
TW200951763A (en) 2009-12-16
WO2009112971A2 (en) 2009-09-17
EP2266308A2 (en) 2010-12-29
KR20100130620A (ko) 2010-12-13

Similar Documents

Publication Publication Date Title
RU2010141546A (ru) Обработки видеоданных
US9749684B2 (en) Multimedia processing method and multimedia apparatus
JPWO2011027535A1 (ja) 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
Pan et al. Selective listening by synchronizing speech with lips
CA2575211A1 (en) Apparatus and method for processing video data
EP3238011B1 (en) System and method for automatically localizing haptic effects on a body
US11482086B2 (en) Drive control device, drive control method, and program
Borsos et al. Speechpainter: Text-conditioned speech inpainting
CN110717067B (zh) 视频中音频聚类的处理方法和装置
WO2020003727A1 (ja) 復号装置、復号方法、プログラム
Coutrot et al. An efficient audiovisual saliency model to predict eye positions when looking at conversations
EP4207195A1 (en) Speech separation method, electronic device, chip and computer-readable storage medium
CN115691544A (zh) 虚拟形象口型驱动模型的训练及其驱动方法、装置和设备
US11967976B2 (en) Coding device, coding method, decoding device, decoding method, and program
Li et al. VCSE: Time-domain visual-contextual speaker extraction network
CN115938385A (zh) 一种语音分离方法、装置及存储介质
EP2123022A4 (en) METHOD AND APPARATUS FOR ADAPTIVE CONTENT FILTERING WITH DETAIL ENLARGEMENT FOR DIGITAL IMAGES
US20180352361A1 (en) Signal processing apparatus, signal processing method, and computer program
WO2020157777A3 (en) A method and system for performing image based analysis of card game state information
CN102880288A (zh) 一种3d显示的人机交互的方法、装置以及设备
KR20210020003A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
Mallol-Ragolta et al. Performance analysis of unimodal and multimodal models in valence-based empathy recognition
Potempski et al. Quantifying music-dance synchrony during salsa dancing with a deep learning-based 2D pose estimator
Młynarski Efficient coding of spectrotemporal binaural sounds leads to emergence of the auditory space representation
Serafin et al. Extraction of ground reaction forces for real-time synthesis of walking sounds