KR20230123219A - 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법 - Google Patents

공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20230123219A
KR20230123219A KR1020220020077A KR20220020077A KR20230123219A KR 20230123219 A KR20230123219 A KR 20230123219A KR 1020220020077 A KR1020220020077 A KR 1020220020077A KR 20220020077 A KR20220020077 A KR 20220020077A KR 20230123219 A KR20230123219 A KR 20230123219A
Authority
KR
South Korea
Prior art keywords
tactile
spatial
value
acoustic
sound
Prior art date
Application number
KR1020220020077A
Other languages
English (en)
Inventor
신승용
김무섭
정치윤
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220020077A priority Critical patent/KR20230123219A/ko
Priority to US17/844,208 priority patent/US20230259210A1/en
Publication of KR20230123219A publication Critical patent/KR20230123219A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones

Abstract

본 발명은 공연이나 영상 정보를 공간 정보와 사용자 위치를 활용하여 체감형 콘텐츠로 실감할 수 있도록, 촉각과 청각의 이질감 없이도 공간에서 연주되는 음악의 음향을 촉각으로 실시간으로 변환하고 사용자의 위치와 공간 특성을 반영하여 촉각 정보를 자동으로 보정함으로써, 사용자로 하여금 촉감으로 느끼는 음악의 실감을 높일 수 있는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법에 대한 것이다.

Description

공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법{SYSTEM AND METHOD FOR REPRODUCING TACTILE CONTENT USING SPATIAL INFORMATION}
본 발명은 공연이나 영상 정보에서의 음향 정보를 촉각 정보로 변환하여 추가적으로 전달하는 감각치환 시스템 및 방법에 관한 것으로서, 구체적으로는 공간 정보를 활용하여 실감을 높일 수 있는 촉감 실감 콘텐츠 제공 시스템 및 방법에 관한 것이다.
최근, 소리를 촉각 정보로 전달해주는 연구 및 제품이 최근 다양하게 나오고 있다. 촉각은 청각으로만 제공되던 소리 정보를 더욱 실감나게 전달해주는 역할을 할 수 있으며, 청각 기능의 저하 및 소실로 음악을 접하지 못하는 사용자에게 소리 정보를 전달할 수 있는 매우 효과적인 감각이다.
한편, 음악을 즐길 수 있는 가장 좋은 방법은 실제 공연장에서 음악을 직접 듣는 것인데, 공연장의 음향은 공연장의 구조 및 크기, 착석 위치와 공연과의 거리 등 다양한 공간 정보의 영향을 받으며 실제 공연장에서 감상하게 되면 인체의 시각, 청각 및 공간감 등의 감각과 조화되어 더욱 실감있게 감상할 수 있기 때문이다.
따라서, 청각을 촉각으로 대체하는 감각 대체의 경우에도 공간에 따른 차이를 반영해주면 변환된 촉각과 인체의 시각, 청각 및 공간감 등의 감각이 조화되어 더욱 실감있게 감상할 수 있다.
하지만, 기존 음향-촉각 변환 장치의 경우, 사용자의 위치 및 공연 공간에 따라 변화하는 음향에 대한 정보를 반영하지 않고, 단순이 재생 음원의 데이터를 촉각신호로 변환하는데 제한되어 촉각과 청각의 이질감이 존재하는 문제점 및 한계점이 있었다.
따라서, 촉각과 청각의 이질감이 없거나 최소화된 상태로 공연장 등 대형 공간에서 연주되는 음악의 음향을 촉각으로 실시간으로 변환하고 사용자의 위치와 공간 특성을 반영하여 촉각 정보를 자동으로 보정하여 촉각으로 느끼는 음악의 실감을 높일 수 있도록 하는 기술 개발이 요구되고 있다.
본 발명은 상기의 문제점을 해결하기 위함으로써, 공연이나 영상의 음향 정보를 공간 정보와 사용자 위치를 활용하여 실감형 촉각 정보로 변환하여 제공하는 촉감 실감 콘텐츠 제공 시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템은, 공간상 특정 위치에서 발생하는 음향 정보를 변환하여 각 관람자 별 위치에 대응되는 하나 이상의 공간 촉각값을 생성하는 음향-촉각 변환 장치; 및 각 관람자들에 제공되며, 상기 하나 이상의 공간 촉각값 중 자신의 위치에 대응되는 공간 촉각값을 수신하여 이를 토대로 촉각 자극을 생성하는 하나 이상의 촉각 재생 장치;를 포함한다.
일 실시예에서, 음향-촉각 변환 장치는, 상기 음향 정보를 수신하여 음향 촉각 변환을 실시하여 음향-촉각 변환값을 생성하는 음향-촉각 변환기; 상기 하나 이상의 각 촉각 재생 장치로부터 위치 정보를 획득하는 위치 분석기; 및 각 촉각 재생 장치의 위치 정보를 토대로 상기 음향-촉각 변환값을 재변환하여 하나 이상의 위치별 공간 촉각값을 생성하는 공간 촉각값 생성기;를 포함한다.
일 실시예에서, 공간 촉각값 생성기는, 상기 음향-촉각 변환기에 의해 실시간으로 변환되는 음향-촉각 변환값 및 공간 정보를 반영한 위치별 공간 촉각 변화값을 토대로 각 위치별 공간 촉각값을 생성한 후, 각 위치에 배치된 상기 하나 이상의 촉각 재생 장치로 대응되는 공간 촉각값을 송신한다.
일 실시예에서, 공간 촉각값 생성기는, 공간 내 분산 배치된 복수의 최적화기가 스테레오 마이크를 통해 입력되는 참조 음향을 수신하여 변환한 복수의 실측 음향-촉각 변환값과, 공간내 상기 촉각 재생 장치의 위치 배치도를 기반으로 추정한 각 위치 별 추정 음향-촉각 변환값을 포함하는 음향-촉각 변환맵을 생성하고, 상기 음향-촉각 변환기가 상기 참조 음향을 곧바로 변환한 참조 음향-촉각 변환값 및 상기 음향-촉각 변환맵 내의 각 위치별 음향-촉각 변환값의 차행렬을 구하여 각 위치별 공간 촉각 변화값을 산출하여 최적화한다.
상기 복수의 최적화기는, 공간내 세 개 이상 배치되는 것이 좋다.
공간 촉각값 생성기는, 상기 촉각 재생 장치로부터 수신된 관람자 피드백을 수신하고, 이를 더 고려하여 상기 공간 촉각값을 생성할 수 있다.
일 실시예에서, 촉각 재생 장치는, 상기 음향-촉각 변환 장치로 자신의 위치 정보를 전송하는 위치 정보 발신기; 상기 공간 촉각값을 토대로 촉각 자극을 생성하기 위한 제어 신호를 발생한는 제어 신호 생성기; 및 상기 제어 신호에 따라 촉각 자극을 생성하는 촉각 재생기;를 포함한다.
일 실시예에서, 관람자로부터 공간 촉각 재생의 사용 여부, 촉각 자극에 포함된 진동의 강도 및 주기 중 하나 이상에 대한 피드백을 입력 받아 상기 음향-촉각 변환 장치로 전달하는 사용자 피드백 전달기를 더 포함할 수 있다.
상기 촉각 재생 장치는, 파지형, 착용형, 부착형 중 어느 하나의 형태로 구성된다.
본 발명의 다른 면에 따라, 음향-촉각 변환 장치를 통해, 공간내 특정 위치에서 발생되는 음향을 변환하여 각 관람자 별 위치에 상응하는 하나 이상의 공간 촉각값을 생성하고 대응되는 각 위치별 촉각 재생 장치로 송신하는 단계; 및 각 관람자들에게 제공된 하나 이상의 촉각 재생 장치를 통해, 상기 공간 촉각값을 토대로 촉각 자극을 생성하는 단계;를 포함하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법이 제공된다.
일 실시예에서, 송신하는 단계는, 사전에, 각 관람자별 위치에 따른 공간상의 촉각 변화값인 공간 촉각 변화값을 상기 촉각 재생 장치의 각 위치별로 산출하는 최적화 단계; 공간내 음향 발생시, 음향을 촉각으로 변환한 음향-촉각 변환값을 상기 공간 촉각 변화값을 기초로 재변환하여 위치별 공간 촉각값을 생성하는 단계; 및 상기 공간 촉각값을 송신하는 단계를 포함한다.
최적화 단계는, 공연장 내 특정 위치에서 스피커를 통해 재생된 참조 음향을 변환하여 참조 음향-촉각 변환값을 생성하는 단계; 상기 각 촉각 재생 장치의 위치별로 상이하게 전파되는 상기 참조 음향을 변환하여 각 위치별 상기 촉각 재생 장치 배치 상태에 대응하는 음향-촉각 변환맵을 생성하는 단계; 및 상기 참조 음향-촉각 변환값과 상기 음향-촉각 변환맵에 포함되는 위치별 음향-촉각 변환값의 차를 구하여 위치별 공간 촉각 변화값을 산출하는 단계를 포함한다.
일 실시예에서, 음향-촉각 변환맵을 생성하는 단계는, 공연장 내 분산 배치된 다수 개의 마이크를 통해 입력되는 상기 참조 음향을 촉각으로 변환하여 실측 음향-촉각 변환값을 생성하는 단계; 상기 실측 음향-촉각 변환값 및 해당 공간 내 좌석 배치 상태를 기초로 상기 마이크가 배치되지 않은 위치의 음향-촉각 변환값을 추정하는 단계; 및 상기 촉각 재생 장치의 위치 상황에 맞추어, 상기 실측 음향-촉각 변환값과 추정된 음향-촉각 변환값을 포함하는 음향 촉각 변환맵을 생성하는 단계;를 포함한다.
일 실시예에서, 공간 촉각값을 생성하는 단계는, 공간상 발생하는 음향을 촉각으로 변환한 음향-촉각 변환값을 실시간으로 생성하는 단계; 및 상기 음향-촉각 변환값과 최적화 단계에서 구한 위치별 공간 촉각 변화값의 합행렬로서 위치별 공간 촉각값을 생성하는 단계;를 포함하며, 상기 촉각 재생 장치에서 전달되는 관람자 피드백을 더 고려하여 공간 촉각값을 생성할 수 있다.
송신하는 단계에서, 상기 촉각 재생 장치의 아이디 및 상기 촉각 재생 장치의 위치에 대응되는 공간 촉각값을 함께 송신할 수 있다.
본 발명의 또 다른 면에 따라, 공간내 발생한 음향을 촉각으로 변환하여 공간내 다수 위치에 배치되는 촉각 재생 장치를 통하여 각 위치별 실감 촉각을 제공하기 위한 실감형 촉각 제공 방법으로서, 공간상 각 위치에 따른 음향-촉각 변환값에 대한 변화값인 공간 촉각 변화값을 산출하는 최적화 단계; 공간내 특정 위치에서 발생되는 음향을 실시간으로 변환하고, 상기 공간 촉각 변화값을 적용하여 각 관람자 별 위치에 상응하는 하나 이상의 공간 촉각값을 생성하는 단계; 및 상기 공간 촉각값에 따라 촉각 자극을 제공하는 단계;를 포함하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법이 제공된다.
일 실시예에서, 공간 촉각값을 생성하는 단계는, 음향-촉각 변환 장치가, 공간상 발생되는 음향을 실시간으로 촉각으로 변환한 음향-촉각 변환값과 상기 공간 촉각 변화값을 합하여 공간 촉각값을 생성하는 단계이다.
이와 달리, 각 촉각 재생 장치가, 자신의 위치에 상응하는 공간 촉각 변화값을 미리 저장하는 단계; 모든 촉각 재생 장치가 상기 음향-촉각 변환 장치로부터 공통으로 동일한 음향-촉각 변환값을 수신하는 단계; 및 각 촉각 재생 장치가 상기 음향-촉각 변환값과 상기 공간 촉각 변화값을 합하여 공간 촉각값을 생성하는 단계;를 수행하여 공간 촉각값을 생성할 수 있다.
본 발명의 일 측면에 따르면, 촉각과 청각의 이질감 없이 공연장 등의 공간에서 연주되는 음악의 음향을 촉각으로 실시간으로 변환하고 사용자의 위치와 공간 특성을 반영하여 자동으로 보정함으로써, 사용자로 하여금 촉감으로 느끼는 음악의 실감을 높일 수 있는 이점을 가진다.
또한 본 발명의 일 측면에 따르면, 공간 정보를 반영한 음향-촉각 변환 기술 제공으로 공연장에서의 촉각 장치의 실감 및 음향 동기화 성능을 향상시킬 수 있는 이점을 가진다.
또한 본 발명의 일 측면에 따르면, 청각장애인을 위한 공연장을 모사한 가상 공간에서의 촉각을 통한 음악 공연 제공이 가능한 이점을 가진다.
도 1은 본 발명에 따른 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템(100)의 구성을 나타낸 도면이다.
도 2는 공간 촉각값 생성기(113)를 최적화하는 과정을 나타낸 도면이다.
도 3은 도 2에 도시된 공간 촉각값 생성기(113)의 처리 과정에 대한 예시를 나타낸 도면이다.
도 4는 공간 촉각값 생성기(113)를 이용하여 실시간으로 공간 촉각값을 재생성하는 과정을 나타낸 도면이다.
도 5는 도 4에 도시된 공간 촉각값 생성기(113)를 이용하여 실시간으로 공간 촉각값을 재생성하는 과정에 대한 예시를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
이하, 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시한다. 그러나 하기의 실시예는 본 발명을 보다 쉽게 이해하기 위하여 제공되는 것일 뿐, 실시예에 의해 본 발명의 내용이 한정되는 것은 아니다.
도 1은 본 발명에 따른 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템(100)의 구성을 나타낸 도면이다.
도 1을 살펴보면, 본 발명에 따른 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템(100)은 음향-촉각 변환 장치(110) 및 하나 이상의 촉각 재생 장치(120)를 포함하여 구성될 수 있다.
음향-촉각 변환 장치(110)는 공연장 내 공연 음향 제어 장치에서 발생되는 음향 정보를 각 사용자 별 위치(예를 들어, 각 좌석 별 위치)에 상응하는 촉각값으로 변환하는 역할을 한다.
보다 구체적으로, 음향-촉각 변환 장치(110)는 크게 3가지 구성으로 구성될 수 있다.
음향 촉각 변환기(111)는 공연 음향 제어 장치로부터 음향 정보를 수신하여 이에 대해 음향-촉각 변환을 수행하여 촉각 재생이 가능한 음향-촉각 변환값을 생성한다.
위치 분석기(112)는 사용자마다 휴대하거나 착용하는 각 촉각 재생 장치(120)로부터 위치 정보를 획득하여 각 촉각 재생 장치(120)의 위치를 파악한다. 공연장 내에는 다수의 관람객이 존재할 수 있으며, 이 경우 촉각 재생 장치(120)는 각 관람객의 수 혹은 좌석수에 상응하게 마련될 수 있다. 따라서, 위치 분석기(112)는 각 촉각 재생 장치(120)의 위치를 파악한다. 이때, 위치 분석기(112)에서 촉각 재생 장치(120)의 위치를 파악하는 방법에는 여러 방법들이 존재한다. 예를 들어, 각 촉각 재생 장치(120)를 좌석 별로 고정적으로 할당 및 설치하는 방법과, 블루투스 비콘 방식을 이용한 위치 인식 방법, 또는 무선랜을 이용한 위치 인식 방법 등을 채택할 수 있다.
공간 촉각값 생성기(113)는 음향 촉각 변환기(111)가 실시간으로 변환한 촉각값을 각 촉각 재생 장치(120)의 위치 정보와 공간 특성을 고려하여 자동으로 변환하여 공간 촉각값을 생성한다. 즉, 음향 촉각 변환기(111)가 변환한 촉각값을 각 촉각 재생 장치(120)의 위치와 공간 특성을 고러하여 재변환하여 각 위치에서의 실감 재생을 위한 공간 촉각값을 생성한다. 구체적인 공간 촉각값 생성 방법과 절차는 후술한다. 또한, 공간 촉각값 생성기(113)는 촉각 재생 장치(120)로부터의 사용자 피드백(촉각 재생 사용여부, 선호 진동 강도/주기 등)을 수신하여 이를 추가로 반영하여 공간 촉각값을 생성할 수도 있다.
촉각 재생 장치(120)는 각각의 사용자들(공연장의 경우 관람객에 해당함)에게 제공되며, 음향-촉각 변환 장치(110)를 통해 전달된 공간 촉각값을 토대로 촉각 자극(예를 들어, 진동)을 생성하여 각 사용자들에게 전달한다. 촉각 재생 장치(120)는 휴대형, 파지형이나 사용자들에게 착용 가능한 의류 형태 혹은 반지와 같은 부착형 악세서리 형태로 마련될 수 있으며, 이에 한정되지 않는다.
촉각 재생 장치(120)는 공간 촉각값 생성기(113)를 통해 전달된 공간 촉각값을 기초로 촉각 자극을 발생하기 위한 제어 신호를 생성하는 제어 신호 생성기(122), 제어 신호 생성기(122)의 제어 신호에 따라 촉각 자극을 재생하여 실제 관람객들이 이를 인지할 수 있도록 하는 촉각 재생기(123) 및 사용자로부터 공간 촉각 재생의 사용 여부, 촉각 자극에 포함된 진동의 강도 및 주기에 대한 피드백을 입력받아 음향-촉각 변환 장치(110)에 전달하는 사용자 피드백 전달기(124)를 포함하여 구성될 수 있다. 제어 신호 생성기(122) 및 촉각 재생기(123)는 무선으로 송신 받은 공간 촉각값을 실제의 촉각 자극으로 재생시키게 되며, 촉각을 재생하는 기존의 제품이 이용될 수 있다.
한편, 촉각 재생 장치(120)의 위치 확인 방식이 자신의 위치를 음향-촉각 변환 장치(110)로 전달하는 경우에는, 현재 위치에 대한 위치 정보를 파악하여 이를 위치 분석기(112)로 전송하는 위치 정보 발신기(121)를 더 포함하는 것이 좋다.
앞서 살펴본 음향-촉각 변환 장치(110) 및 촉각 재생 장치(120)가 활용되는 예를 살펴보면 다음과 같다. 예를 들어, 관람객(사용자)이 의류 형태 혹은 악세서리 형태의 촉각 재생 장치(120)를 착용하고 공연장에 입장하여 지정된 좌석 또는 원하는 좌석으로 이동한다. 음향-촉각 변환 장치(110)의 위치 분석기(112)는 촉각 재생 장치(120)로부터 위치 정보를 실시간으로 획득하여 공연장 내부의 스피커를 통해 공연 음향이 출력되는 경우 해당 위치에 맞게 보정된 촉각값(공간 촉각값)을 관람객이 착용한 촉각 재생 장치(120)로 전송하고, 관람객은 자신이 위치한 공간에서 실제로 들을 수 있는 음향에 대한 촉각 자극을 촉각 재생 장치(120)를 통해 느낄 수 있게 된다. 이럼으로써 관람객이 공연장 내에서의 자신의 위치에서 시각적으로 느끼는 감각 또는 느낌과 대체 감각으로서 느끼는 청각이 일치하게 되어 보다 실감나는 공연 관람을 할 수 있다.
본 발명의 핵심은 공간상 위치 및 공간 특성에 따라 음향을 변환한 촉각값(음향-촉각 변환값)을 재변환하여 사용자 위치가 반영된 공간 촉각값을 생성하는 데 있다. 이를 위해, 촉각값 생성에 앞서 각 공연 장소에 최적화하는 과정, 즉 공간-촉각 변화값을 구하는 과정을 선행하는 것이 필요하며, 도 2 및 도 3을 참조하여 설명한다.
도 2는 공간 촉각값 생성기(113)를 최적화하는 과정을 나타낸 도면이고, 도 3은 도 2에 도시된 공간 촉각값 생성기(113)의 최적화 예시를 나타낸 도면이다.
최적화 과정은 정확성을 위해 공연 관객 입장전 조용한 환경에서 수행되는 것이 좋으며, 또는 편의성을 위해 마이크가 내장된 촉각 재생 장치(120)를 활용하여 관객 입장 이후 공연 음향이 나오기 전에 수행될 수 있다.
먼저, 공연장의 스피커를 통해서 참조 음향 신호[21]가 재생된다. 여기에서, 참조 음향 신호[21]는 다양한 음향 신호로 사용 가능하며, 일 예로는 모든 주파수 영역을 순차적으로 순회하는 주파수 스위프 신호가 사용될 수 있다. 참조 음향 신호[21]는 스피커를 통해 공연장으로 전파되며, 이와 동시에 음향-촉각 변환 장치(111)를 통해 참조 음향-촉각 변환값[22]을 생성한다.
최적화를 위해 스테레오 마이크(131), 음향-촉각 변환기(132), 음향-촉각 변환값을 송신하는 송신기(미도시)를 포함하는 최적화기가 이용된다. 최적화기는 전술한 촉각 재생 장치(120)와 다른 별개의 기기일 수 있으며, 또는 촉각 재생 장치(120)에 마이크와 음향-촉각 변환기를 부가하여 최적화기로 이용할 수도 있다.
스피커로부터 발생하는 참조 음향[21]은 공연장의 좌석에 분산 배치된 최적화기의 스테레오 마이크(131)로 전달된다. 분산 배치된 스테레오 마이크의 수는 제한되지 않으며, 최소 3개 이상의 위치를 사용하는 것이 나머지 좌석(스테레오 마이크가 설치되지 않은 위치)에서의 추정 값을 도출하는데 유리하며, 개수가 많을수록 추정 값이 정확해진다.
이때, 공연장 내에서 스테레오 마이크의 위치가 각각 상이 하기 때문에 동일한 참조 음향을 입력 받더라도 사용자의 위치에 따라 다른 음향 입력 값을 가지게 되며, 각 위치에서의 음향 신호를 최적화기의 음향-촉각 변환기(132)를 통해서 촉각값(실측 음향-촉각 변환값)[23]으로 변환한다. 실측 음향-촉각 변환값[23]은 각 위치에서 수신되는 참조 음향을 변환한 것으로서 동일 참조 음향에 대해서도 공간상 위치마다 상이한 값을 가지므로 공간 특이성을 반영한 변환값이다.
마이크가 배치되지 않은 좌석에 대한 변환값은 주변의 마이크 위치에서 변환된 실측 음향-촉각 변환값과 해당 공연장 내 좌석 배치도를 기반으로 각 좌석 별로 추정한다. 마이크가 배치되지 않은 좌석 별 참조 음향-촉각 변환값[24]을 추정하는 방법은 종래의 다양한 함수 기반 추정 방식이 적용될 수 있다.
마이크로 실측하여 변환한 셋 이상의 실측 참조 음향-촉각 변환값[23]과 이로부터 추정된 하나 이상의 추정 참조 음향-촉각 변환값[24]을 토대로 좌석 배치도에 대응하는 음향-촉각 변환맵[25]을 생성한다.
그 후, 좌석 배치도(또는 촉각 재생 장치 배치도)에 대응하는 음향-촉각 변환맵[25]에서 각 위치별 음향-촉각 변환값[23, 24]을 추출하고, 도 3에 도시된 바와 같이, 음향 촉각 변환기(111)가 참조 음향 신호를 곧바로 변환한 참조 음향-촉각 변환값[22]과의 차를 구해서 각 위치별 공간 촉각 변화값[26]을 산출한다.
변환맵의 생성 및 공간 촉각 변화값[26]의 산출은 음향-촉각 변환장치(110)가 수행하거나 또는 별도의 서버(미도시)가 수행할 수 있다.
공간 촉각값 생성기(113)는 각 촉각 재생 장치(120)의 위치별(좌석별) 공간 촉각 변화값[26]을 기초로 최적화되며, 실제 공연 중에는, 공연 음향을 변환한 공연 음향-촉각 변환값[31]과 최적화 과정에서 얻어진 공간 촉각 변화값[26]을 기초로 공간상 각 위치에 따른 실감 재생을 위한 최적 촉각값, 즉 공간 촉각값[40]을 생성한다.
도 4 및 도 5를 참조하여 공연이 진행되는 가운데 실시간으로 공간 촉각값[40]을 생성하고 이로부터 촉각 패턴을 재생하는 과정을 상술한다.
도 4에 도시된 바와 같이, 공연에서 실제로 사용되는 공연 음향[30]이 발생되면(S410), 음향 촉각 변환기(111)에 의해 실시간으로 공연 음향-촉각 변환값[31]으로 변환된다(S420). 위치 분석기(112)는 관람자가 착용하고 있는 촉각 재생 장치(120)의 위치 정보를 획득 및 분석한다(S430). 공간 촉각값 생성기(113)는 해당 위치별로 전술한 최적화 과정에서 도출한 공간 촉각 변화값[26]을 확인하고(S440), 공연 음향-촉각 변환값[31]과 위치별 공간 촉각 변화값[26]을 이용하여 각 위치별 촉각 재생 장치(120)의 공간 촉각값[40]을 도출하여 각 위치의 촉각 재생 장치(120)로 발신한다(S460).
촉각 재생 장치(120)는 자신의 위치에 대응되는 공간 촉각값[40]을 수신하고(S470), 이를 이용하여 촉각 패턴을 재생한다(S480).
도 5는 공간 촉각값[40]을 구하는 예시도로서, 각 위치에서 실시간 공연 음향-촉각 변환값[31]과 공간 촉각 변화값[26]을 이용하여 위치별 공간 촉각값[40]을 구하는 실 사례가 도시되어 있다.
공간 촉각값[40]은 음향-촉각 변화값[31]과 공간 촉각 변화값[26]을 통해 계산될 수 있으며, 도 3에 도시된 최적화 방법의 역순을 통해 도출할 수 있다. 즉, 음향-촉각 변화값[31]과 위치별 공간 촉각 변화값[26]의 합행렬로 위치별 실감 촉각 재생이 가능한 공각 촉각값[40]을 구한다.
한편, 전술한 바와 같이, 공간 촉각값 생성기(113)는 이와 같이 구해진 위치별 공간 촉각값을 해당 위치별 촉각 재생 장치(120)로 전송하는데, 이를 위해서 공간 촉각값 생성기(113)기는 최적화 과정에서 각 촉각 재생 장치(120)의 식별자를 인덱스로 하고 각 촉각 재생 장치(120)별 공간 촉각 변화값을 저장하는 테이블(미도시)을 마련하고, 공연 중에는 실시간으로 공연 음향-촉각 변환값을 테이블에 있는 각 공간 촉각 변화값과 합하여 공간 촉각값을 생성하여 이를 촉각 재생 장치(120) 아이디와 함께 전송한다.
각 촉각 재생 장치(120)는 송출되는 복수의 공간 촉각값들을 아이디로 식별하여 자신의 위치에 맞는 공간 촉각값을 수신하고 이를 기초로 촉각 패턴을 재생한다.
다른 실시예로서, 촉각 재생 장치(120)가 최적화 과정에서 산출된 공간 촉각 변화값 중 자신에 해당하는 공간 촉각 변화값을 미리 저장하고, 실제 공연 중에는 음향-촉각 변환 장치(110)로부터는 공간 특성과 위치를 고려하지 않은 공연 음향-촉각 변환값을 모든 촉각 재생 장치(120)가 공통으로 수신하고, 각 촉각 재생 장치(120)가 미리 저장된 자신의 공간 촉각 변화값과 실시간으로 수신되는 공연 음향-촉각 변환값을 더하여 자신의 위치가 고려된 공간 촉각값을 각각 생성하고 이를 이용하여 촉각 자극을 생성하도록 구성할 수 있다.
이 경우, 음향-촉각 변환 장치(110)는 공연중에 실시간으로 공연 음향-촉각 변환값을 방송하기만 하면 되므로 각 촉각 재생 장치(120)별 공간 촉각값을 생성하고 개별 전송할 필요가 없어서 실시간성을 향상시킬 수 있고, 각 촉각 재생 장치(120)별 공간 촉각 변화값을 저장/관리할 필요가 없어 구성 및 동작상의 단순화도 꾀할 수 있다. 다만, 각 촉각 재생 장치(120)의 연산량이 늘어나 각 촉각 재생 장치(120)의 컴퓨팅 리소스가 더 필요하여 촉각 재생 장치(120)의 제조 원가 등 상승이 있을 수 있다. 또한 통상의 기술자라면 본 발명의 기술 사상의 범주 내에서 그 외의 다양한 변형과 변경이 가능함은 물론이므로 본 발명이 적용될 각 상황의 공간 특성과 필요한 촉각 재생 장치(120)의 수를 고려하여 적합한 세부 구성을 선택하여 운용하는 것이 좋다.
도 6은 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
도 6을 참조하면, 발명의 실시예에 따른 방법은 컴퓨터 시스템으로 구현될 수 있다. 또한, 도 1에 도시된 시스템에 포함된 구성들 중 일부 또는 모두는 컴퓨터 시스템(1300)에 임베딩될 수 있다.
컴퓨터 시스템(1300)은, 버스(1370)를 통해 통신하는 프로세서(1310), 메모리(1330), 입력 인터페이스 장치(1350), 출력 인터페이스 장치(1360), 및 저장 장치(1340) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(1300)은 또한 네트워크에 결합된 통신 장치(1320)를 포함할 수 있다. 프로세서(1310)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(1330) 또는 저장 장치(1340)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(1330) 및 저장 장치(1340)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
통신 장치(1320)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
상기에서는 몇몇 바람직한 실시예를 참조하여 본 발명의 구성에 대하여 설명하였지만, 이는 예시에 불과한 것으로서 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있을 것인바, 본 발명의 보호 범위는 이하의 특허청구범위의 기재에 의하여 정하여져야 할 것이다.
100: 공간정보를 활용한 촉감 실감 컨텐츠 재현 시스템
110: 음향 촉각 변환 장치
111: 음향 촉각 변환기
112: 위치 분석기
113: 공간 촉각 음향 재생성기
120: 촉각 재생 장치
121: 위치 정보 발신 장치
122: 제어 신호 생성기
123: 촉각 재생기
124: 사용자 보정 정보기

Claims (19)

  1. 공간상 특정 위치에서 발생하는 음향 정보를 변환하여 각 관람자 별 위치에 대응되는 하나 이상의 공간 촉각값을 생성하는 음향-촉각 변환 장치; 및
    각 관람자들에 제공되며, 상기 하나 이상의 공간 촉각값 중 자신의 위치에 대응되는 공간 촉각값을 수신하여 이를 토대로 촉각 자극을 생성하는 하나 이상의 촉각 재생 장치;를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  2. 제1항에 있어서, 상기 음향-촉각 변환 장치는,
    상기 음향 정보를 수신하여 음향 촉각 변환을 실시하여 음향-촉각 변환값을 생성하는 음향-촉각 변환기;
    상기 하나 이상의 각 촉각 재생 장치로부터 위치 정보를 획득하는 위치 분석기; 및
    각 촉각 재생 장치의 위치 정보를 토대로 상기 음향-촉각 변환값을 재변환하여 하나 이상의 위치별 공간 촉각값을 생성하는 공간 촉각값 생성기;를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  3. 제2항에 있어서, 상기 공간 촉각값 생성기는,
    상기 음향-촉각 변환기에 의해 실시간으로 변환되는 음향-촉각 변환값 및 공간 정보를 반영한 위치별 공간 촉각 변화값을 토대로 각 위치별 공간 촉각값을 생성한 후, 각 위치에 배치된 상기 하나 이상의 촉각 재생 장치로 대응되는 공간 촉각값을 송신하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  4. 제2항에 있어서, 상기 공간 촉각값 생성기는,
    공간 내 분산 배치된 복수의 최적화기가 스테레오 마이크를 통해 입력되는 참조 음향을 수신하여 변환한 복수의 실측 음향-촉각 변환값과, 공간내 상기 촉각 재생 장치의 위치 배치도를 기반으로 추정한 각 위치 별 추정 음향-촉각 변환값을 포함하는 음향-촉각 변환맵을 생성하고,
    상기 음향-촉각 변환기가 상기 참조 음향을 곧바로 변환한 참조 음향-촉각 변환값 및 상기 음향-촉각 변환맵 내의 각 위치별 음향-촉각 변환값의 차행렬을 구하여 각 위치별 공간 촉각 변화값을 산출하여 최적화하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  5. 제4항에 있어서, 상기 복수의 최적화기는,
    공간내 세 개 이상 배치되는 것을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  6. 제2항에 있어서, 상기 공간 촉각값 생성기는,
    상기 촉각 재생 장치로부터 수신된 관람자 피드백을 수신하고, 이를 더 고려하여 상기 공간 촉각값을 생성하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  7. 제1항에 있어서, 상기 촉각 재생 장치는,
    상기 음향-촉각 변환 장치로 자신의 위치 정보를 전송하는 위치 정보 발신기;
    상기 공간 촉각값을 토대로 촉각 자극을 생성하기 위한 제어 신호를 발생한는 제어 신호 생성기; 및
    상기 제어 신호에 따라 촉각 자극을 생성하는 촉각 재생기;를 포함하는 것을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  8. 제7항에 있어서, 상기 촉각 재생 장치는,
    관람자로부터 공간 촉각 재생의 사용 여부, 촉각 자극에 포함된 진동의 강도 및 주기 중 하나 이상에 대한 피드백을 입력 받아 상기 음향-촉각 변환 장치로 전달하는 사용자 피드백 전달기;를 더 포함하는 것을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  9. 제1항에 있어서, 상기 촉각 재생 장치는,
    파지형, 착용형, 부착형 중 어느 하나의 형태로 구성되는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템.
  10. 음향-촉각 변환 장치를 통해, 공간내 특정 위치에서 발생되는 음향을 변환하여 각 관람자 별 위치에 상응하는 하나 이상의 공간 촉각값을 생성하고 대응되는 각 위치별 촉각 재생 장치로 송신하는 단계; 및
    각 관람자들에게 제공된 하나 이상의 촉각 재생 장치를 통해, 상기 공간 촉각값을 토대로 촉각 자극을 생성하는 단계;를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  11. 제10항에 있어서, 상기 송신하는 단계는,
    사전에, 각 관람자별 위치에 따른 공간상의 촉각 변화값인 공간 촉각 변화값을 상기 촉각 재생 장치의 각 위치별로 산출하는 최적화 단계;
    공간내 음향 발생시, 음향을 촉각으로 변환한 음향-촉각 변환값을 상기 공간 촉각 변화값을 기초로 재변환하여 위치별 공간 촉각값을 생성하는 단계; 및
    상기 공간 촉각값을 송신하는 단계를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  12. 제11항에 있어서, 상기 최적화 단계는,
    공연장 내 특정 위치에서 스피커를 통해 재생된 참조 음향을 변환하여 참조 음향-촉각 변환값을 생성하는 단계;
    상기 각 촉각 재생 장치의 위치별로 상이하게 전파되는 상기 참조 음향을 변환하여 각 위치별 상기 촉각 재생 장치 배치 상태에 대응하는 음향-촉각 변환맵을 생성하는 단계; 및
    상기 참조 음향-촉각 변환값과 상기 음향-촉각 변환맵에 포함되는 위치별 음향-촉각 변환값의 차를 구하여 위치별 공간 촉각 변화값을 산출하는 단계를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  13. 제12항에 있어서, 상기 음향-촉각 변환맵을 생성하는 단계는,
    공연장 내 분산 배치된 다수 개의 마이크를 통해 입력되는 상기 참조 음향을 촉각으로 변환하여 실측 음향-촉각 변환값을 생성하는 단계;
    상기 실측 음향-촉각 변환값 및 해당 공간 내 좌석 배치 상태를 기초로 상기 마이크가 배치되지 않은 위치의 음향-촉각 변환값을 추정하는 단계; 및
    상기 촉각 재생 장치의 위치 상황에 맞추어, 상기 실측 음향-촉각 변환값과 추정된 음향-촉각 변환값을 포함하는 음향 촉각 변환맵을 생성하는 단계;를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  14. 제11항에 있어서, 상기 공간 촉각값을 생성하는 단계는,
    공간상 발생하는 음향을 촉각으로 변환한 음향-촉각 변환값을 실시간으로 생성하는 단계; 및
    상기 음향-촉각 변환값과 최적화 단계에서 구한 위치별 공간 촉각 변화값의 합행렬로서 위치별 공간 촉각값을 생성하는 단계;를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  15. 제11항에 있어서, 상기 공간 촉각값을 생성하는 단계는,
    상기 촉각 재생 장치에서 전달되는 관람자 피드백을 더 고려하여 공간 촉각값을 생성하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  16. 제11항에 있어서, 상기 송신하는 단계는,
    상기 촉각 재생 장치의 아이디 및 상기 촉각 재생 장치의 위치에 대응되는 공간 촉각값을 함께 송신하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  17. 공간내 발생한 음향을 촉각으로 변환하여 공간내 다수 위치에 배치되는 촉각 재생 장치를 통하여 각 위치별 실감 촉각을 제공하기 위한 실감형 촉각 제공 방법으로서,
    공간상 각 위치에 따른 음향-촉각 변환값에 대한 변화값인 공간 촉각 변화값을 산출하는 최적화 단계;,
    공간내 특정 위치에서 발생되는 음향을 실시간으로 변환하고, 상기 공간 촉각 변화값을 적용하여 각 관람자 별 위치에 상응하는 하나 이상의 공간 촉각값을 생성하는 단계; 및
    상기 공간 촉각값에 따라 촉각 자극을 제공하는 단계;를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  18. 제17항에 있어서, 상기 공간 촉각값을 생성하는 단계는,
    음향-촉각 변환 장치가, 공간상 발생되는 음향을 실시간으로 촉각으로 변환한 음향-촉각 변환값과 상기 공간 촉각 변화값을 합하여 공간 촉각값을 생성하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
  19. 제17항에 있어서, 상기 공간 촉각값을 생성하는 단계는,
    각 촉각 재생 장치가, 자신의 위치에 상응하는 공간 촉각 변화값을 미리 저장하는 단계;
    모든 촉각 재생 장치가 상기 음향-촉각 변환 장치로부터 공통으로 동일한 음향-촉각 변환값을 수신하는 단계; 및
    각 촉각 재생 장치가 상기 음향-촉각 변환값과 상기 공간 촉각 변화값을 합하여 공간 촉각값을 생성하는 단계;를 포함하는 것
    을 특징으로 하는 공간정보를 활용한 촉감 실감 콘텐츠 제공 방법.
KR1020220020077A 2022-02-16 2022-02-16 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법 KR20230123219A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220020077A KR20230123219A (ko) 2022-02-16 2022-02-16 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법
US17/844,208 US20230259210A1 (en) 2022-02-16 2022-06-20 System and method for reproducing tactile content using spatial information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220020077A KR20230123219A (ko) 2022-02-16 2022-02-16 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230123219A true KR20230123219A (ko) 2023-08-23

Family

ID=87558525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220020077A KR20230123219A (ko) 2022-02-16 2022-02-16 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법

Country Status (2)

Country Link
US (1) US20230259210A1 (ko)
KR (1) KR20230123219A (ko)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1533678A1 (en) * 2003-11-24 2005-05-25 Sony International (Europe) GmbH Physical feedback channel for entertaining or gaming environments
JP4360497B2 (ja) * 2005-03-09 2009-11-11 国立大学法人 東京大学 電気触覚提示装置及び電気触覚提示方法
WO2013041123A1 (de) * 2011-09-20 2013-03-28 Friedrich-Alexander-Universität Erlangen-Nürnberg System und verfahren zur unterstützung einer bewegungsübung
WO2013158456A1 (en) * 2012-04-17 2013-10-24 E-Vision Smart Optics, Inc. Systems, devices, and methods for managing camera focus
US9122330B2 (en) * 2012-11-19 2015-09-01 Disney Enterprises, Inc. Controlling a user's tactile perception in a dynamic physical environment
DE102013214148A1 (de) * 2013-07-18 2015-01-22 Technische Universität Dresden Verfahren und Vorrichtung zur haptischen Interaktion mit visualisierten Daten
US11471088B1 (en) * 2015-05-19 2022-10-18 The Board Of Trustees Of The Leland Stanford Junior University Handheld or wearable device for recording or sonifying brain signals
EP3432590A4 (en) * 2016-03-14 2019-02-27 Sony Corporation DISPLAY DEVICE AND TERMINAL INFORMATION PROCESSING DEVICE
KR102573933B1 (ko) * 2016-10-04 2023-09-05 한국전자통신연구원 기계 학습 기반의 실감 미디어 저작 방법 및 장치
US20210121656A1 (en) * 2019-10-24 2021-04-29 Electronics And Telecommunications Research Institute Sensory substitution apparatus and method
KR102490536B1 (ko) * 2019-12-26 2023-01-20 한국전자통신연구원 감각 치환 장치 및 그 방법
US20220264055A1 (en) * 2021-02-12 2022-08-18 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Video Conference Apparatus, Video Conference Method and Computer Program Using a Spatial Virtual Reality Environment

Also Published As

Publication number Publication date
US20230259210A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
US11684112B2 (en) Vibrating footwear device and entertainment system for use therewith
US7181297B1 (en) System and method for delivering customized audio data
JP4643987B2 (ja) スマートスピーカ
JP6285574B2 (ja) エンドポイントミキシングシステムおよびその再生方法
EP1216599A1 (en) Producing and storing hearing profiles and customized audio data based
CN105101027A (zh) 声学环境的实时控制
WO2016027366A1 (ja) 振動信号生成装置及び振動信号生成方法
JP2006509439A (ja) パーソナライズされたサラウンドサウンドヘッドホンシステム
JP6737342B2 (ja) 信号処理装置および信号処理方法
KR20230123219A (ko) 공간정보를 활용한 촉감 실감 콘텐츠 제공 시스템 및 방법
JP4127835B2 (ja) ゲームシステム
KR102324816B1 (ko) 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
CN115834775A (zh) 在线通话管理装置以及存储有在线通话管理程序的存储介质
JP2021056294A (ja) 楽器用椅子、駆動信号生成方法、プログラム
US20240135912A1 (en) Audio cancellation system and method
EP4358084A1 (en) Audio cancellation system and method
WO2021111965A1 (ja) 音場生成システム、音声処理装置および音声処理方法
JP6817282B2 (ja) 音声生成プログラム、および音声生成装置
KR101377006B1 (ko) 외재화 음원 제공 시스템 및 음원 외재화 제공 방법
CN106162448A (zh) 自带蓄电功能且智能化管理的5.1声道音响系统
JP2008092122A (ja) 体感音響システム
KR20090015880A (ko) 멀티채널 음원파일 제공서버 및 이의 멀티채널 음원파일 서비스 제공방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal