KR102575318B1 - 모션효과제공장치 및 방법 - Google Patents

모션효과제공장치 및 방법 Download PDF

Info

Publication number
KR102575318B1
KR102575318B1 KR1020220055380A KR20220055380A KR102575318B1 KR 102575318 B1 KR102575318 B1 KR 102575318B1 KR 1020220055380 A KR1020220055380 A KR 1020220055380A KR 20220055380 A KR20220055380 A KR 20220055380A KR 102575318 B1 KR102575318 B1 KR 102575318B1
Authority
KR
South Korea
Prior art keywords
motion
sound event
effect providing
sound
video
Prior art date
Application number
KR1020220055380A
Other languages
English (en)
Other versions
KR20220152160A (ko
Inventor
최승문
윤겨레
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to US17/738,594 priority Critical patent/US12053695B2/en
Publication of KR20220152160A publication Critical patent/KR20220152160A/ko
Application granted granted Critical
Publication of KR102575318B1 publication Critical patent/KR102575318B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 모션효과제공장치는 컨텐츠의 비디오에서 특정 객체의 움직임을 검출하는 제1검출부; 상기 컨텐츠의 오디오에서 사운드이벤트를 검출하는 제2검출부; 및 상기 특정 객체의 움직임에 대응하는 제 1 모션과 상기 사운드이벤트를 기초로 생성된 제 2 모션을 합성하여 합성모션을 생성하는 모션합성부;를 포함하는 것을 특징으로 한다.

Description

모션효과제공장치 및 방법{Method and Device for providing Motion Effect}
본 발명은 다중감각미디어시스템에서 컨텐츠를 실시간 분석하여 모션효과를 제공하는 방법에 관한 것이다.
게임플레이 영상은 일반적으로 캐릭터의 이동 외에도 주목도가 높은 다양한 시청각적 이벤트가 존재한다. 예를 들어, 1인칭 슈팅 게임(First-Person Shooter, FPS)에서는 총기 및 다양한 기술의 사용, 주변 폭발음, 피격 등의 주목도 높은 이벤트가 있다. 그러나, 종래의 자동 저작 알고리즘을 이용하는 경우에는 게임의 시청각적 이벤트가 모션효과에 반영이 되지 않으므로, 게임의 몰입도가 높지 않았다.
KR 10-2217414
본 발명의 바람직한 일 실시예에서는 컨텐츠를 실시간으로 분석하고, 이와 어울리는 모션효과를 자동으로 생성하고자 한다.
본 발명의 바람직한 일 실시예로서, 모션효과제공장치는 컨텐츠의 비디오에서 특정 객체의 움직임을 검출하는 제1검출부; 상기 컨텐츠의 오디오에서 사운드이벤트를 검출하는 제2검출부; 및 상기 특정 객체의 움직임에 대응하는 제 1 모션과 상기 사운드이벤트를 기초로 생성된 제 2 모션을 합성하여 합성모션을 생성하는 모션합성부;를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 모션효과제공장치는 상기 합성모션을 모션플랫폼의 동작 범위 내에서 구현 가능한 모션 명령(mn)으로 변환하여 모션효과를 제공하는 모션효과제공부;를 더 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 제 2 모션은 상기 사운드이벤트 및 상기 사운드이벤트가 검출된 시점의 비디오 프레임 내에서 상기 사운드이벤트에 대응하는 시각피드백을 기초로 생성되는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 제 2 모션은 상기 사운드이벤트의 음원 방향 및 소리의 크기 중 적어도 하나를 기초로 생성되는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 시각 피드백은 상기 사운드이벤트에 대응하는 픽셀 내의 이벤트객체 또는 이벤트객체의 움직임을 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 제 2 모션은 시맨틱 세그멘테이션 및 사운드 소스 세그멘테이션를 이용하여 생성되는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 모션합성부는 상기 제 1 모션과 상기 제 2 모션의 가중치를 상이하게 적용하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 컨텐츠는 게임플레이 영상이며, 상기 특정 객체는 상기 게임플레이 영상의 캐릭터인 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 컨텐츠는 게임플레이 영상이며, 사용자는 게임실행부를 통해 상기 게임플레이 영상 내의 캐릭터를 이동시키고 액션을 실행시키는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 모션효과제공방법은 게임실행부를 통해 게임플레이 영상에서 캐릭터가 이동하면서 액션이 실행되는 단계; 제1검출부에서 상기 게임플레이 영상의 비디오에서 상기 캐릭터의 이동을 검출하는 단계;제2검출부에서 상기 게임플레이 영상의 오디오에서 사운드이벤트를 검출하는 단계; 및 모션합성부에서 상기 캐릭터의 이동에 대응하는 제 1 모션과 상기 사운드이벤트를 기초로 생성된 제 2 모션을 합성하여 합성모션을 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 모션효과제공방법은 모션효과제공부에서 상기 합성모션을 모션플랫폼의 동작 범위 내에서 구현 가능한 모션 명령(mn)으로 변환하여 모션효과를 제공하는 단계;를 더 포함한다.
본 발명의 바람직한 일 실시예로서, 모션효과제공장치는 컨텐츠를 실시간 이용하면서 컨텐츠에서 제공되는 비디오 뿐만 아니라 오디오에 대응하는 모션효과를 제공함으로써 사용자가 몰입감있게 이용할 수 있는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 모션효과제공장치가 구현된 다중감각미디어시스템의 일 예를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 모션효과제공장치의 일 예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 비디오에서 특정 객체의 움직임을 검출하는 과정을 도시한다.
도 4는 본 발명의 바람직한 일 실시예로서, 캐릭터가 들고 있는 칼을 휘두를 때 제 1 모션을 검출하는 일 예를 도시한다.
도 5는 본 발명의 바람직한 일 실시예로서, 캐릭터가 들고 있는 총을 쏠 때 반동에 의해 들리는 모습의 일 예를 도시한다.
도 6은 본 발명의 바람직한 일 실시예로서, 합성모션을 생성하는 일 예를 도시한다.
도 7 내지 8 은 본 발명의 바람직한 일 실시예로서, 도 5의 이벤트에 대응하는 모션효과를 생성한 일 예를 도시한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 모션효과제공방법이 구현되는 다중감각미디어시스템(100)의 일 예를 도시한다. 다중감각미디어시스템(100)은 4 차원(4D) 플랫폼, 게임 플랫폼, 가상 현실 플랫폼 등을 포함한다.
도 1에 도시된 1인칭 슈팅 게임(First-Person Shooter, FPS)이 실행되는 다중감각미디어시스템(100)에서는 게임영상 속 캐릭터가 겪는 액션, 이벤트에 대응하여 모션플랫폼(3)을 이동하거나, 진동시키거나, 흔들리는 등의 모션효과를 제공함으로써 모션플랫폼(3)을 이용하는 게임플레이어(2)나 게임시청자(7)들에게 게임에 몰입되는 경험을 제공할 수 있다.
다중감각미디어시스템(100)에서는 게임 영상 내의 캐릭터가 취할 수 있는 액션, 캐릭터가 경험하는 이벤트, 캐릭터의 주변 환경에서 일어나는 시청각적 주목도가 높은 이벤트에 기초하여 모션효과를 생성할 수 있다. 이벤트의 예로는 총기 및 무기의 이용, 상대방으로부터의 피격, 주변 폭발음 등이 있다.
다중감각미디어시스템(100)은 게임플레이 영상(5)을 표시하는 스크린(6), 모션플랫폼(3), 모션효과를 생성하는 모션효과제공장치(110)를 포함한다. 스크린(6)은 다양한 형태의 디스플레이를 포함한다. 모션플랫폼(3)은 모션 시뮬레이터로도 알려져 있으며, 모션체어 등을 포함한다.
다중감각미디어시스템(100)은 게임플레이 영상(5)을 통해 생성된 합성모션을 기초로 생성된 모션효과를 모션플랫폼(3)에 제공할 수 있다. 예를 들어, 사용자(2)가 게임실행부를 통해 게임플레이 영상(5)의 특정 개릭터를 이동시키면서 액션을 실행하는 경우, 캐릭터의 이동과 액션에 따라 모션플랫폼(3)에 모션효과를 제공할 수 있다.
모션효과제공장치(110)는 게임플레이 영상(5)의 비디오에서 캐릭터의 움직임을 검출하는 제 1 검출부(111), 게임플레이 영상(5)의 오디오에서 사운드이벤트를 검출하는 제 2 검출부(112) 및 모션합성부(113)를 포함한다. 모션합성부(113)는 비디오에서 캐릭터의 움직임에 대응하는 제 1 모션과 사운드이벤트를 기초로 생성된 제 2 모션을 합성하여 합성모션을 생성한다. 모션효과제공장치(110)에 대해서는 도 2에서 더 상세히 살펴본다.
도 2 는 본 발명의 바람직한 일 실시예로서, 모션효과제공장치(200)의 일 예를 도시한다.
본 발명의 바람직한 일 실시예로서, 모션효과제공장치(200)는 제 1 검출부(220), 제 2 검출부(230) 및 모션합성부(240)를 포함한다. 그리고, 실시예에 따라 모션효과제공부(250)를 더 포함한다.
모션효과제공장치(200)는 컨텐츠를 수신하고, 수신한 컨텐츠를 실시간으로 분석하여 모션효과를 생성하여 출력한다. 모션효과제공장치(200)에서 생성한 모션효과는 모션플랫폼을 제어하는 제어신호로 이용될 수 있다.
모션효과제공장치(200)가 수신하는 컨텐츠는 영화, 4D 어트랙션, 게임 등을 포함한다. 모션효과제공장치(200)는 수신한 컨텐츠를 비디오와 오디오로 분리한다. 모션효과제공장치(200)는 수신한 컨텐츠가 게임인 경우 게임실행부(210)를 더 포함할 수 있다. 사용자는 게임실행부(210)를 통해 게임플레이 영상 내의 캐릭터를 이동시키고 액션을 실행할 수 있다.
제 1 검출부(220)는 컨텐츠의 비디오에서 특정 객체의 움직임을 검출한다. 제 1 검출부(220)는 제 1 모션생성부(222)를 더 포함하고, 제 1 모션생성부(222)는 특정 객체의 움직임에 대응하는 제 1 모션을 생성한다.
제 2 검출부(230)는 컨텐츠의 오디오에서 사운드이벤트를 검출한다. 제 2 검출부(230)는 제 2 모션생성부(232)를 더 포함하고, 제 2 모션생성부(232)는 사운드이벤트를 기초로 제 2 모션을 생성한다.
모션합성부(240)는 제 1 모션과 제 2 모션을 합성하여 합성모션을 생성한다.
모션효과제공부(250)는 모션합성부(240)에서 생성한 합성모션을 수신하여 모션플랫폼의 동작 범위 내에서 구현 가능한 모션 명령(mn)으로 변환하여 모션효과를 제공한다.
도 2 의 각 구성요소를 더 살펴보면 다음과 같다.
제 1 검출부(220)는 비디오에서 특정 객체의 움직임을 검출한다. 제 1 검출부(220)에서는 특정객체의 움직임을 검출하기 위하여 기계학습을 수행할 수 있다. 또한, 1인칭 게임 내에서는 캐릭터의 움직임이 카메라의 움직임과 일치하기 때문에 캐릭터의 움직임을 검출하고자 하는 경우 도 3에 도시된 일 실시예와 같은 카메라 시점 이동 분석방법을 이용할 수 있다.
도 3의 분석방법은 다음과 같다. 광학흐름추정부(320)에서는 현재 프레임 및 이전 프레임(310)을 입력받아 프레임 내의 각 픽셀의 이동추정값을 파악한다. 현재프레임 및 이전 프레임은 제 1 검출부(도 2, 220)에서 수신한 비디오의 현재프레임 및 이전 프레임을 의미한다. 코너검출부(330)는 FAST 알고리즘을 이용하여 프레임 내에서 고속으로 특징점이 될 수 있는 코너 포인트들을 선택한다. RANSAC부(340)는 코너검출부(330)에서 검출된 코너 포인트들을 입력받아 카메라의 이동을 추정하는 필수행렬(Essential Matrix)과 현재프레임 및 이전프레임 간의 최소오차(inliers)를 출력한다. RT추정부(350)는 입력받은 필수행렬로부터 회전행렬과 변환행렬을 추정한다. 칼만필터(360)는 회전행렬과 변환행렬을 가공하여 카메라 모션의 각속도, 선형속도 및 선형가속도를 획득한다. 제 1 모션생성부(222)는 카메라 모션의 각속도, 선형속도 및 선형가속도 중 적어도 하나를 기초로 제 1 모션을 생성한다.
도 4는 본 발명의 바람직한 일 실시예로서, 캐릭터가 들고 있는 칼을 휘두를 때 제 1 모션을 검출하는 일 예를 도시한다.
제 1 검출부(220)는 비디오에서 특정 객체의 움직임을 검출한다. 특정 객체의 움직임은 캐릭터의 액션을 포함한다. 도 4를 참고하면, 캐릭터(400)가 무기(410)을 휘두른 경우, 제 1 검출부(220)는 무기(410)를 휘두르는 액션(S410)을 검출할 수 있다. 제 1 모션생성부(222)는 무기의 움직임에 대응하는 제 1 모션을 생성한다. 이를 위해 ,이미지 세그멘테이션 기법 또는 자세 추정 기법 등이 활용될 수 있다.
도 4에서 무기가 큰 원을 그리는 제 1 모션만이 검출되고 사운드이벤트 등이 검출되지 않았다고 가정할 경우, 모션효과제공장치는 모션플랫폼이 제 1 모션에 대응하는 큰 원을 그리도록 모션효과를 생성할 수 있다.
제 2 검출부(230)는 컨텐츠의 오디오에서 사운드이벤트를 검출한다. 본 발명의 바람직한 일 실시예에서, 사운드이벤트는 사용자가 사전에 기설정한 음향을 지칭한다. 기설정된 사운드이벤트의 예로는 총성, 폭발음, 타격음과 같이 거칠고 짧은 순간 발생하는 충격음들이 있다. 컨텐츠의 오디오에서 사운드이벤트는 DNN 과 같은 기계학습을 통해 검출될 수 있다.
본 발명의 바람직한 일 실시예로서, 제 2 검출부(230)는 사운드이벤트가 검출되면, 사운드이벤트가 검출된 시점의 비디오 프레임 내에서 사운드이벤트에 대응하는 시각피드백이 존재하는지를 판단한다.
시각피드백이 존재하지 않는 경우, 제 2 모션생성부(232)는 제 2 검출부(230)에서 사운드이벤트만 검출된 경우에는 사운드이벤트만을 기초로 제 2 모션을 생성한다. 또한, 제 2 모션생성부(232)는 제 2 검출부(230)에서 사운드이벤트 외에 사운드이벤트에 대응하는 시각피드백을 검출한 경우 사운드이벤트 및 시각피드백을 기초로 제 2 모션을 생성한다.
수학식 1을 참고하면, 제 2 모션은 제 2 청각모션과 제 2 시각모션의 벡터합으로 정의할 수 있다.
Figure 112022047913271-pat00001
수학식 2에서 α는 가중치를 나타낸다.
사운드이벤트만 존재하는 경우 제 2 모션은 제 2 청각모션과 같다. 사운드이벤트와 시각피드백이 모두 존재하는 경우에는 제 2 모션은 제 2 청각모션과 제 2 시각모션의 벡터합이 된다. 사운드이벤트로 인해 생성되는 제 2 청각모션과 시각피드백으로 인해 생성되는 제 2 시각모션에 각각 가중치를 부여할 수 있다. 가중치는 기설정된 값을 부여할 수 있다.
본 발명의 바람직한 일 실시예로서, 사운드이벤트만 존재하는 경우 제 2 모션을 생성하는 과정은 다음과 같다.
제 2 모션생성부(232)는 수학식 1에서 제 2 시각모션 값을 0으로 설정한다. 따라서, 제 2 모션은 사운드이벤트의 소리정보만으로 생성된 제 2 청각모션 값이 된다.
제 2 모션생성부(232)는 사운드 세그멘테이션 기법 내지 음원위치추정기법(sound source localization) 등을 이용하여 음원의 방향을 찾아내고, 제 2 모션의 크기를 사운드이벤트의 음원의 크기에 대응하도록 생성한다. 그리고, 제 2 모션의 방향을 음원의 방향과 반대방향으로 생성한다.
예를 들어, 게임플레이어가 피격당한 경우, 사운드이벤트는 검출되었으나 사운드이벤트에 대응하는 시각피드백이 존재하지 않는다. 제 2 모션생성부(232)는 제 2 모션의 크기를 피격 이벤트의 소리 크기에 대응하도록 생성하고, 피격 음원의 방향을 찾아낸 후 그 반대 방향으로 제 2 모션의 방향을 생성한다. 모션효과제공장치에서 제 2 모션을 기초로 모션효과를 제공할 경우 사용자는 피격을 당하는 것과 같은 반동 힘을 느낄 수 있다.
본 발명의 또 다른 바람직한 일 실시예로서, 사운드이벤트가 검출되고, 시각피드백이 검출된 경우 제 2 모션을 생성하는 과정을 도 5를 참고하여 설명한다. 도 4는 본 발명의 바람직한 일 실시예로서, 캐릭터가 들고 있는 총을 쏠 때 반동에 의해 들리는 모습(S520)의 일 예를 도시한다.
제 2 검출부(230)는 사운드이벤트로 총소리를 검출한 경우, 총소리가 검출된 t시점의 프레임 및 (t+1)시점의 프레임에서 총소리에 대응하는 시각피드백(S420)이 존재하는지 여부를 판단한다. 도 4에서 시각피드백은 t시점의 프레임 또는 (t+1)시점의 프레임에서 검출된 이벤트객체일 수 있다. 또는 t시점의 프레임 및 (t+1)시점의 프레임에서 검출된 이벤트객체의 이동일 수 있다. 이벤트객체는 사운드이벤트를 생성한 객체를 나타낸다. 도 4에서는 총기가 이벤트객체이다.
제 2 검출부(230)는 사운드이벤트가 검출된 적어도 하나의 프레임 내에서 시각피드백을 검출하기 위하여 영상 내의 물체를 의미 단위로 분할해주는 시멘틱 세그멘테이션(semantic segmentation) 기술, 영상 내에서 청각 신호가 발생하는 주체의 위치를 특정화하는 사운드 소스 세그멘테이션(sound source segmentation) 기술 등을 이용할 수 있다.
제 2 검출부(230)에서 총소리를 t 시점(500) 및 t+1 시점(510)의 프레임에서 검출한 경우, 제 2 검출부(230)는 t 시점(500) 및 t+1 시점(510)의 프레임 각각에서 총소리에 대응하는 총기가 있는지 더 판단한다. 제 2 검출부(230)는 t 시점의 프레임(500)과 t+1시점의 프레임(510)에서 총소리가 검출된 음원의 위치에 대응하는 픽셀 내에서 총기를 각각를 검출한 후, t시점의 프레임(500)과 t+1 시점의 프레임(510) 간에서 총기(511)의 움직임(S520)을 검출할 수 있다.
제 2 모션생성부(232)는 총소리의 크기 및 방향을 기초로 제 2 청각모션을 생성하고, 총기가 들리는 시각적피드백(S520)을 기초로 제 2 시각모션을 생성한다. 그리고, 제 2 청각모션과 제 2 시각모션을 기초로 제 2 모션을 생성한다. 제 2 청각모션과 제 2 시각모션에는 각각 기설정된 가중치값을 부여할 수 있다.
예를 들어, 컨텐츠의 오디오로부터 총소리가 검출되고 비디오에서 총기의 반동이 검출된 경우, 모션효과제공장치는 모션체어를 총기의 반동에 맞추어 위로 순식간에 들린 후 잠깐 멈춰있다가 밑으로 천천히 부드럽게 내려오는 효과를 제공할 수 있다. 이에 대해서는 도 7을 더 참고한다.
모션합성부(240)는 제 1 모션의 벡터값과 제 2 모션의 벡터값을 합성하여 합성모션을 생성한다. 도 6은 본 발명의 바람직한 일 실시예로서, 모션합성부에서 제 1 모션과 제 2 모션을 합성하는 일 예를 도시한다.
도 6을 참고하면, 모션합성부(240)는 캐릭터가 이동 중에 검출된 제 1 모션 M1, ta 시점(601)에 검출된 총소리를 기초로 검출된 제 2 모션 M2_ta, tb 시점(602)에 검출된 폭발음 기초로 검출된 제 2 모션 M2_tb 를 합성한다.
M1은 비디오 내의 캐릭터가 일정 속도로 이동할 경우 검출된 제 1 모션이다.
M2_ta는 도 5의 일 실시예와 같이 총소리가 검출되고, 총소리에 대응하는 총기까지 검출되어 생성된 제 2 모션이다.
M2_tb는 폭발음은 검출되었으나, 폭발음에 대응하는 시각적피드백은 검출되지 않은 경우 생성된 제 2 모션이다.
모션합성부(240)는 M1,M2_ta 및 M2_tb를 합성하여 합성모션 M_합성(640)을 생성한다. 모션합성부(240)에서는 M1,M2_ta 및 M2_tb각각에 상이한 가중치를 부여할 수 있다. 또한 모션합성부(240)는 모델 예측제어(Model predictive control, MPC)방식을 이용할 수 있다. 예를 들어, 도 6의 tb시점에서 캐릭터가 총기를 발사한 후 총기에 의해 반동이 크게 생성된 시점에 폭탄이 터지는 경우, M1,M2_ta 및 M2_tb의 모션크기의 합은 모션체어의 최대 변이를 초과하므로, M1,M2_ta 및 M2_tb의 합이 모션체어의 최대 변이 또는 기설정된 최대모션크기 값 이내가 되도록 M1,M2_ta 및 M2_tb에 부가되는 가중치를 조절한다.
도 6을 참고하면, 모션합성부(240)에서 생성된 합성모션 M_합성(640)은 캐릭터가 ta 시점까지 이동하다가 총을 발사한 경우, 총기가 반동에 의해 들린 후 tb시점에서 캐릭터 주변에 폭팔이 발생한 경우, 순간적으로 급격하게 모션크기가 상승한 후 급강하는 합성모션을 생성한다.
합성모션은 3차원 카메라 공간에서 6자유도(Degree Of Freedom, DoF)의 움직임을 갖는다. 반면, 모션 플랫폼은 모션명령 mn으로 표시되는 n개의 제한된 자유도만을 지닌다.
m2 = (roll, pitch)T,
m3 = (roll, pitch, heave)T,
m4 = (roll, pitch, sway, heave)T,
m6 = (roll, pitch, yaw, surge, sway, heave)T
모션플랫폼은 움직일 수 있는 축의 자유도에 따라 2자유도, 3자유도, 4자유도 및 6자유도의 움직임을 표현할 수 있으나, 일반적으로 제한된 3자유도를 지닌다. 따라서, 합성모션의 6자유도 움직임을 모션플랫폼의 3자유도로 표시하기 위해 자유도를 축소 또는 변환하는 과정이 요구된다.
본 발명의 바람직한 일 실시예로서, 모션효과제공부(250)는 모션큐잉알고리즘을 이용하여 6자유도의 합성모션을 3자유도의 모션플랫폼에 맞도록 변환 또는 축약(reduce)한 모션명령으로 변환하여 모션플랫폼에 제공한다. 모션명령이 모션체어에 전달되면 모션체어는 모션명령에 따라 롤, 피치 및 히브 등의 움직임을 제어하여 모션효과로 재생된다. 모션효과는 실시간으로 플레이되는 게임 내의 캐릭터의 움직임과 액션과 함께 실시간으로 구현될 수 있다.
본 발명의 바람직한 일 실시예로서, 모션큐잉알고리즘은 속도워시아웃 필터, 가속도워시아웃 필터 및 틸트코디네이션가속도워시아웃 필터 중 적어도 하나를 이용할 수 있다. 또한, 도 3에서 구한 카메라 모션의 각속도, 선형속도 및 선형가속도 중 적어도 하나를 입력으로 사용하여 고주파 성분만 남기는 워시아웃필터를 더 포함할 수 있다.
본 발명의 또 다른 바람직한 일 실시예로서, 모션큐잉알고리즘은 모델 예측제어(Model predictive control, MPC)방식을 더 이용할 수 있다. 모델예측제어(MPC)방식을 이용하는 경우에도, 속도입력의 모델예측제어(MPC)방식, 가속도입력의 모델예측제어(MPC)방식 및 틸트코디네이션이 있는 가속도 입력의 모델예측제어(MPC)방식 중 적어도 하나를 이용할 수 있다.
예를 들어, 게임플레이 영상에서 캐릭터가 이동하다가 총을 발사한 경우, 비디오에서 검출된 캐릭터의 움직임에 대응하는 제 1 모션과 오디오에서 검출된 총소리에 대응하는 제 2 모션을 합성한 합성모션이 생성된다. 모션효과제공부(250)는 모델예측제어방식을 이용하여 합성모션의 움직임 크기가 모션체어의 최대변위 이내가 되도록 축소시킨다.
도 7은 본 발명의 바람직한 일 실시예로서, 도 5의 사운드이벤트에 대응하는 모션효과를 생성한 일 예를 도시한다.
도 5의 일 실시예에서, 제 2 검출부는 컨텐츠의 오디오로부터 총소리를 사운드이벤트로 검출하고, 총소리에 대응하는 비디오 프레임에서 총기가 빠르게 들어 올린 다음 일시 중지되고 원래 위치로 내려가는 시각피드백을 더 검출할 수 있다.
이를 참고하여, 모션합성부는 총기가 빠르게 들어올려지는 구간인 어택구간 Tattack(710), 일시 중지되는 구간인 스테디 구간 Tsteady(720), 그리고 총기가 원래의 위치로 내려가는 릴리즈 구간 Trelease(730)에 대응하는 합성모션을 생성할 수 있다.
모션효과제공장치는 합성모션을 모션플랫폼의 동작 범위 내에서 구현 가능한 모션 명령(mn)으로 변환하여 모션효과를 제공한다. 예를 들어, 모션효과제공장치는 총기의 반동력은 일반적으로 사수 몸의 앞뒤 방향으로 작용하기 때문에 3자유도 모션체어에 피치 모션으로 매핑한 모션명령을 제공한다. 모션효과제공장치는 어택구간 Tattack(710)은 반동으로 인한 순간적인 충격력을 정현파의 1/4 주기로 표현하여 Pitchattack(740)으로 표현할 수 있다. 스테디 구간 Tsteady(720)은 피치값을 유지시키고, 릴리즈 구간 Trelease(730)은 코사인 함수의 반주기를 따라 모션체어를 초기값으로 이동시킨다.
도 8은 본 발명의 또 다른 바람직한 일 실시예로서, 도 5에서 총소리를 단기간에 반복적으로 검출한 경우 모션효과를 생성한 일 예를 도시한다.
기설정된 짧은 시간 이내에 반복적으로 총소리를 검출한 경우, 모션효과제공장치는 모션플랫폼이 초기 위치로 돌아가기 전에 새로운 모션 효과를 제공해야 한다. 도 8은 도 7에서 첫번째 총소리를 검출한 후, 첫번째 총소리의 최대피치값(740)에 도달하기 이전에 두번째 총소리(810)를 검출한 경우 모션효과를 제공하는 일 예를 도시한다. 두번째 총소리(810)가 검출되면, 모션효과제공부는 모델 예측 컨트롤(Model Predictive Control)기법을 이용하여 모션플랫폼의 구동범위를 제한한다. 두번째 총소리(810)가 검출되면 해당 순간에 pitchprev모션효과(820)를 제공하고, 두번째 총소리(810)로 인한 모션효과의 최대값은 pitchnew attack(830)= pitchprev(820)+(c%)pitchmzx(840)로 설정할 수 있다. 여기서, c%는 모션예측컨트롤 기법을 이용하여 기설정된 기준에 따라 모션플랫폼의 최대 변이를 벗어나지 않는 범위내에서 선택될 수 있다. 그리고, pitchmzx(840)는 도 7의 Pitchattack(740)값을 이용할 수 있다. 그리고, 도 7과 비교할 때 △Trelease(850)만큼 증가된 Tnew release(860)로 모션효과를 제공하는 시간을 조정할 수 있다. 모션효과제공부는 두번째 총소리(810)가 검출된 경우 모션플랫폼에 피치의 단순한 반복 운동을 제공한다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 정보가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

  1. 컨텐츠의 비디오에서 특정 객체의 움직임을 검출하는 제1검출부;
    상기 컨텐츠의 오디오에서 사운드이벤트를 검출하는 제2검출부; 및
    상기 특정 객체의 움직임에 대응하는 제 1 모션과 상기 사운드이벤트를 기초로 생성된 제 2 모션을 합성하여 합성모션을 생성하는 모션합성부;를 포함하고,
    상기 모션합성부는 상기 제 1 모션과 상기 제 2 모션의 가중치를 상이하게 적용하는 것을 특징으로 하는 모션효과제공장치.
  2. 제 1 항에 있어서,
    상기 합성모션을 모션플랫폼의 동작 범위 내에서 구현 가능한 모션 명령(mn)으로 변환하여 모션효과를 제공하는 모션효과제공부;를 더 포함하는 것을 특징으로 하는 모션효과제공장치.
  3. 제 1 항에 있어서, 상기 제 2 모션은
    상기 사운드이벤트 및 상기 사운드이벤트가 검출된 시점의 비디오 프레임 내에서 상기 사운드이벤트에 대응하는 시각피드백을 기초로 생성되는 것을 특징으로 하는 모션효과제공장치.
  4. 제 1 항에 있어서, 상기 제 2 모션은
    상기 사운드이벤트의 음원 방향 및 소리의 크기 중 적어도 하나를 기초로 생성되는 것을 특징으로 하는 모션효과제공장치.
  5. 제 3 항에 있어서, 상기 시각 피드백은
    상기 사운드이벤트에 대응하는 픽셀 내의 이벤트객체의 움직임을 포함하는 것을 특징으로 하는 모션효과제공장치.
  6. 제 3 항에 있어서, 상기 제 2 모션은
    시맨틱 세그멘테이션 및 사운드 소스 세그멘테이션를 이용하여 생성되는 것을 특징으로 하는 모션효과제공장치.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 컨텐츠는 게임플레이 영상이며, 상기 특정 객체는 상기 게임플레이 영상의 캐릭터인 것을 특징으로 하는 모션효과제공장치.
  9. 제 8 항에 있어서, 상기 컨텐츠는 게임플레이 영상이며,
    사용자는 게임실행부를 통해 상기 게임플레이 영상 내의 캐릭터를 이동시키고 액션을 실행시키는 것을 특징으로 하는 모션효과제공장치.
  10. 게임실행부를 통해 게임플레이 영상에서 캐릭터가 이동하면서 액션이 실행되는 단계;
    제1검출부에서 상기 게임플레이 영상의 비디오에서 상기 캐릭터의 이동을 검출하는 단계;
    제2검출부에서 상기 게임플레이 영상의 오디오에서 사운드이벤트를 검출하는 단계; 및
    모션합성부에서 상기 캐릭터의 이동에 대응하는 제 1 모션과 상기 사운드이벤트를 기초로 생성된 제 2 모션을 합성하여 합성모션을 생성하는 단계;를 포함하고, 상기 모션합성부는 상기 제 1 모션과 상기 제 2 모션의 가중치를 상이하게 적용하는 것을 특징으로 하는 모션효과제공방법.
  11. 제 10 항에 있어서,
    모션효과제공부에서 상기 합성모션을 모션플랫폼의 동작 범위 내에서 구현 가능한 모션 명령(mn)으로 변환하여 모션효과를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 모션효과제공방법.
  12. 제 10 항에 있어서, 상기 제 2 모션은
    상기 사운드이벤트 및 상기 사운드이벤트가 검출된 시점의 비디오 프레임 내에서 상기 사운드이벤트에 대응하는 시각피드백을 기초로 생성되는 것을 특징으로 하는 모션효과제공방법.
  13. 제 12항에 있어서, 상기 시각 피드백은
    상기 사운드이벤트에 대응하는 픽셀 내의 이벤트객체의 움직임을 포함하는 것을 특징으로 하는 모션효과제공방법.
  14. 제 12 항에 있어서, 상기 제 2 모션은
    시맨틱 세그멘테이션 및 사운드 소스 세그멘테이션를 이용하여 생성되는 것을 특징으로 하는 모션효과제공방법.
  15. 제 10 항 내지 제 14항 중 어느 한 항에 기재된 모션효과제공방법을 실행하기 위한 프로그램을 기록한 것을 특징으로 하는 기록매체.
KR1020220055380A 2021-05-07 2022-05-04 모션효과제공장치 및 방법 KR102575318B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/738,594 US12053695B2 (en) 2021-05-07 2022-05-06 Method and device for providing motion effect

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210059090 2021-05-07
KR20210059090 2021-05-07

Publications (2)

Publication Number Publication Date
KR20220152160A KR20220152160A (ko) 2022-11-15
KR102575318B1 true KR102575318B1 (ko) 2023-09-07

Family

ID=84041707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220055380A KR102575318B1 (ko) 2021-05-07 2022-05-04 모션효과제공장치 및 방법

Country Status (2)

Country Link
US (1) US12053695B2 (ko)
KR (1) KR102575318B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102217414B1 (ko) * 2019-12-24 2021-02-19 광운대학교 산학협력단 4d 영화 이펙트 자동 생성장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135221B2 (en) * 2009-10-07 2012-03-13 Eastman Kodak Company Video concept classification using audio-visual atoms
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
KR101507242B1 (ko) 2013-10-21 2015-03-31 포항공과대학교 산학협력단 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
KR101608342B1 (ko) * 2014-02-26 2016-04-04 주식회사 포디월드넷 무인 부스 형태의 체감형 모션 라이딩 시스템과 그의 작동방법
KR20160025731A (ko) * 2014-08-28 2016-03-09 임성진 실감 체험형 4d 라이더 장치 및 방법
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
KR101969504B1 (ko) 2017-05-02 2019-04-16 서강대학교산학협력단 심층 신경망을 기반으로 한 사운드 이벤트 검출 방법 및 사운드 이벤트 검출 장치
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US11468611B1 (en) * 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102217414B1 (ko) * 2019-12-24 2021-02-19 광운대학교 산학협력단 4d 영화 이펙트 자동 생성장치

Also Published As

Publication number Publication date
KR20220152160A (ko) 2022-11-15
US20220370904A1 (en) 2022-11-24
US12053695B2 (en) 2024-08-06

Similar Documents

Publication Publication Date Title
US10819946B1 (en) Ad-hoc dynamic capture of an immersive virtual reality experience
US9990816B2 (en) Virtual sensor in a virtual environment
EP3760287B1 (en) Method and device for generating video frames
JP4425274B2 (ja) トラッキングされている頭部の動作に従って表示中のシーンのビューを調整する方法及び装置
US20160110922A1 (en) Method and system for enhancing communication by using augmented reality
KR20220170774A (ko) 메타버스 기술 기반 드론 전술 훈련 체계 및 이를 이용한 메타버스 공간에서의 드론 훈련 시스템
US11458400B2 (en) Information processing device, information processing method, and program for generating an added related to a predicted future behavior
CN106843790B (zh) 一种信息展示系统和方法
CN113198177B (zh) 游戏控件显示方法及装置、计算机存储介质、电子设备
KR101926074B1 (ko) 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체
KR102575318B1 (ko) 모션효과제공장치 및 방법
CN112274917B (zh) 游戏的显示控制方法、装置、电子设备和存储介质
US11086587B2 (en) Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space
JP2019063378A (ja) ゲームを提供するためのプログラム、システム、及び方法
CN108721890B (zh) Vr动作适配方法、装置及可读存储介质
US20230360316A1 (en) Information processing device, information processing method, and information distribution system
US11836848B2 (en) Augmented reality wall with combined viewer and camera tracking
WO2019241712A1 (en) Augmented reality wall with combined viewer and camera tracking
EP4421755A1 (en) Apparatus and methods for content description
JP2002090092A (ja) 映像型訓練装置、及び、映像型訓練方法
KR102284913B1 (ko) 360도 영상에서의 사용자 시야각 선택 방법 및 그 장치
US11989356B2 (en) Method and device for transforming degree of freedom in mulsemedia system
CN115382212A (zh) 一种虚拟角色的控制方法和装置
CN110941333A (zh) 基于眼部动作的交互方法、装置、介质和电子设备
JP2019063476A (ja) ゲームを提供するためのプログラム、システム、及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right