KR20220118411A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20220118411A
KR20220118411A KR1020227019243A KR20227019243A KR20220118411A KR 20220118411 A KR20220118411 A KR 20220118411A KR 1020227019243 A KR1020227019243 A KR 1020227019243A KR 20227019243 A KR20227019243 A KR 20227019243A KR 20220118411 A KR20220118411 A KR 20220118411A
Authority
KR
South Korea
Prior art keywords
tactile presentation
signal
channel
channels
predetermined number
Prior art date
Application number
KR1020227019243A
Other languages
English (en)
Inventor
가즈아키 도바
겐 이치무라
이쿠오 야마노
오사무 이토
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220118411A publication Critical patent/KR20220118411A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C15/00—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
    • G08C15/06—Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path successively, i.e. using time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/16—Time-division multiplex systems in which the time allocation to individual channels within a transmission cycle is variable, e.g. to accommodate varying complexity of signals, to vary number of channels transmitted
    • H04J3/1676—Time-division multiplex with pulse-position, pulse-interval, or pulse-width modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/26—Spatial arrangements of separate transducers responsive to two or more frequency ranges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전송할 수 있는 촉각 진동 신호의 채널 수보다 많은 위치에서의 촉각 제시를 가능하게 한다. 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를 생성한다. 이 전송 신호를, 소정 전송로를 통해 수신 측으로 송신한다. 예를 들어, 메타데이터를 동적으로 변경하여, 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 동적으로 변화시킨다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법
본 기술은, 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 상세하게는, 오디오 신호와 함께 촉각 제시 신호를 취급하는 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것이다.
5.1 채널, 7.1 채널 등의 멀티채널 오디오 애플리케이션에서는, 각각의 채널 이용법을 식별하기 위해 이름이 붙여져서 운용되고 있다. 예를 들어, 라이트 채널, 레프트 채널, 센터 채널, LFE(Low Frequency Effect) 채널 등이다. 이들은 그 이름이 나타내는 위치에 배치된 라우드 스피커에 보내져서, 소리로서 재생되는 것이 기대되고 있다.
근년, 멀티미디어 애플리케이션이 제안되었고, 그 중에는, 종래의 오디오 비디오와 동기하여 이용되는 촉각 제시 애플리케이션 등이 있다. 예를 들어, 특허문헌 1에는, 촉각 진동 신호(촉각 신호)를 송신하고, 수신 측에서는, 그 촉각 진동 신호에 기초하여 진동부를 진동시키는 기술에 대한 기재가 있다.
일본 특허 공개 제2018-060313호 공보
가장 보급되어 있는 멀티채널 오디오 전송 시스템은, 5.1 채널(합계 6 채널)이다. 이 멀티채널 오디오 전송 시스템을 사용하여, 스테레오 오디오 신호와 함께, 그 빈 채널에 촉각 제시 신호를 넣어서 전송하는 방법에서는, 단순히 4 위치에서의 촉각 제시가 이루어지는 것이 되어, 충분한 촉각 연출은 불가능하다.
본 기술의 목적은, 전송할 수 있는 촉각 제시 신호의 채널 수보다 많은 위치에서의 촉각 제시를 가능하게 하는 데에 있다.
본 기술의 개념은,
소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를 생성하는 전송 신호 생성부와,
소정 전송로를 통해 상기 전송 신호를 수신 측으로 송신하는 송신부를 구비하는
송신 장치에 있다.
본 기술에 있어서, 전송 신호 생성부에 의해, 전송 신호가 생성된다. 이 전송 신호에는, 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호가 포함되고, 또한 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된다. 예를 들어, 메타데이터는, 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치로서, 0개, 1개 또는 복수의 촉각 제시 위치를 지정하도록 되어도 된다.
송신부에 의해, 이 전송 신호가 소정 전송로를 통해 수신 측으로 송신된다. 예를 들어, 소정 전송로는, 동축 케이블, 광케이블, 이더넷(IEC 61883-6) 케이블, HDMI 케이블, MHL 케이블 또는 디스플레이 포트 케이블이도록 되어도 된다.
예를 들어, 전송 신호는, 복수 프레임으로 이루어지는 블록마다의 전송 신호이고, 송신부는, 블록마다의 전송 신호를 순차 소정 전송로를 통해 수신 측으로 송신하고, 전송 신호 생성부는, 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 메타데이터를 부가하도록 되어도 된다. 이 경우, 예를 들어, 복수 프레임은, 소정수의 프레임으로 이루어지는 멀티채널 그룹의 반복으로 구성되고, 송신부는, 소정 채널 수의 오디오 신호 및 소정 채널 수의 촉각 제시 신호를, 멀티채널 그룹마다, 소정수의 프레임의 전부 또는 일부에 채널별로 시분할적으로 배치하여 송신하도록 되어도 된다.
이와 같이 본 기술에서는, 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하는 전송 신호에 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 부가하여 송신하는 것이다. 그 때문에, 수신 측에서는, 메타데이터에 기초하여, 소정 채널 수의 촉각 제시 신호를, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력할 수 있고, 전송할 수 있는 촉각 제시 신호의 채널 수보다 많은 위치에서의 촉각 제시가 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어, 전송 신호 생성부는, 메타데이터를 동적으로 변경하여, 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 동적으로 변화시키도록 되어도 된다. 이에 의해, 수신 측에서는, 소정 채널 수의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치를 메타데이터에 기초하여 동적으로 변화시키는 것이 가능하게 된다.
이 경우, 예를 들어, 전송 신호 생성부는, 메타데이터를 제1 상태로부터 제2 상태로 변경할 때, 소정 채널 수의 촉각 제시 신호에 대하여 페이드아웃·페이드인의 처리를 하거나, 소정 채널 수의 촉각 제시 신호에 대하여 뮤트 신호를 삽입하도록 되어도 된다. 이에 의해, 소정 채널 수의 촉각 제시 신호가 비연속으로 변화하는 것으로 인한 유저의 위화감을 완화시키는 것이 가능하게 된다.
또한, 이 경우, 예를 들어, 전송 신호 생성부는, 메타데이터를, 오디오 신호에 관한 콘텐츠의 씬에 동기하여 동적으로 변경하도록 되어도 된다. 이에 의해, 씬에 적합한 촉각 제시 위치를 효과적으로 구동할 수 있어, 유저에의 적절한 촉각 제시가 가능하게 된다.
또한, 본 기술의 다른 개념은,
소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를, 송신 측으로부터 소정 전송로를 통해 수신하는 수신부와,
상기 전송 신호로부터 상기 소정 채널의 오디오 신호를 취출하여 출력함과 함께, 상기 전송 신호로부터 상기 소정 채널의 촉각 제시 신호를 취출하고, 해당 소정 채널의 촉각 제시 신호 각각을, 상기 메타데이터에 기초하여, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력하는 처리부를 구비하는
수신 장치에 있다.
본 기술에 있어서, 수신부에 의해, 송신 측으로부터 소정 전송로를 통해 전송 신호가 수신된다. 이 전송 신호에는, 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호가 포함되고, 또한 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가되어 있다. 예를 들어, 소정 전송로는, 동축 케이블, 광케이블, 이더넷(IEC 61883-6) 케이블, HDMI 케이블, MHL 케이블 또는 디스플레이 포트 케이블이도록 되어도 된다.
또한, 예를 들어, 전송 신호는, 복수 프레임으로 이루어지는 블록마다의 전송 신호이고, 수신부는, 블록마다의 전송 신호를 송신 측으로부터 순차 소정 전송로를 통해 수신하고, 메타데이터는, 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 부가되어 있도록 되어도 된다. 이 경우, 예를 들어, 복수 프레임은, 소정수의 프레임으로 이루어지는 멀티채널 그룹의 반복으로 구성되고, 소정 채널 수의 오디오 신호 및 소정 채널 수의 촉각 제시 신호는, 멀티채널 그룹마다, 소정수의 프레임의 전부 또는 일부에 채널별로 시분할적으로 배치되어 있도록 되어도 된다.
처리부에 의해, 전송 신호로부터 소정 채널의 오디오 신호가 취출되어 출력된다. 또한, 이 처리부에 의해, 전송 신호로부터 소정 채널의 촉각 제시 신호가 취출되고, 이 소정 채널의 촉각 제시 신호 각각이, 메타데이터에 기초하여, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력된다.
이와 같이 본 기술에서는, 전송 신호로부터 취출되는 소정 채널의 촉각 제시 신호 각각을, 메타데이터에 기초하여, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력하는 것이다. 그 때문에, 촉각 제시 신호의 채널 수보다 많은 위치에서의 촉각 제시가 가능하게 된다.
도 1은 실시 형태로서의 AV 시스템의 구성예를 도시하는 블록도이다.
도 2는 촉각 제시 위치 범위의 일례를 도시하는 도면이다.
도 3은 각 촉각 제시 위치를 개략적으로 도시하는 도면이다.
도 4는 오디오 앰프에서의 SPDIF 수신 회로, 오디오 DA 컨버터, 셀렉터 및 드라이버의 부분의 구성예를 도시하는 블록도이다.
도 5는 셀렉터가 구비하는 촉각 제시 신호의 배분 기능을 설명하기 위한 도면이다.
도 6은 셀렉터의 구성예를 도시하는 도면이다.
도 7은 SPDIF 수신 회로, 셀렉터 및 드라이버의 경로의 일부를 무선화하는 경우의 구성예를 도시하는 블록도이다.
도 8은 오디오비주얼 콘텐츠 재생의 일례를 설명하기 위한 도면이다.
도 9는 씬 1, 2에서의, 4 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치의 예를 도시하는 도면이다.
도 10은 씬 전환 시에 행해지는 촉각 제시 신호에의 페이드아웃·페이드인 처리나 뮤트 신호 삽입 처리를 설명하기 위한 도면이다.
도 11은 오디오 앰프에서의 SPDIF 수신 회로, 오디오 DA 컨버터, 셀렉터 및 드라이버의 부분의 다른 구성예를 도시하는 블록도이다.
도 12는 텔레비전 수신기의 HDMI 수신부와 오디오 앰프의 HDMI 송신부의 구성예를 도시하는 블록도이다.
도 13은 텔레비전 수신기의 고속 버스 인터페이스의 구성예를 도시하는 도면이다.
도 14는 오디오 앰프의 고속 버스 인터페이스의 구성예를 도시하는 도면이다.
도 15는 IEC 60958 규격에 있어서의 프레임 구성을 도시하는 도면이다.
도 16은 IEC 60958 규격에 있어서의 서브프레임 구성을 도시하는 도면이다.
도 17은 2 채널 스테레오 오디오 신호와 4 채널의 촉각 제시 신호를 동시에 전송하는 경우의 멀티채널 전송 포맷의 프레임 구성의 일례를 도시하는 도면이다.
도 18은 IEC 60958 규격에 있어서의 채널 스테이터스의 포맷을 개략적으로 도시하는 도면이다.
도 19는 「Haptic channel mapping type」의 8 비트 필드로 나타내어지는, 4 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치를 지정하는 매핑 타입을 설명하기 위한 도면이다.
도 20은 각 타입에 미리 정의되어 있는 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 설명하기 위한 도면이다.
도 21은 IEC 60958 규격에 있어서의 채널 스테이터스의 포맷을 개략적으로 도시하는 도면이다.
도 22는 「Haptic channel 0 allocation」 내지 「Haptic channel 3 allocation」의 각 8 비트 필드로 나타내어지는 촉각 제시 위치를 설명하기 위한 도면이다.
도 23은 「Haptic channel 0 allocation」 내지 「Haptic channel 3 allocation」의 각 8 비트 필드로 나타내어지는 촉각 제시 위치를 설명하기 위한 도면이다.
도 24는 IEC 60958 규격에 있어서의 채널 스테이터스의 포맷을 개략적으로 도시하는 도면이다.
도 25는 포지션 번호와 진동 위치의 대응 관계의 일례를 도시하는 도면이다.
도 26은 오디오비주얼 콘텐츠 재생의 다른 일례를 설명하기 위한 도면이다.
도 27은 오디오비주얼 콘텐츠 재생의 또 다른 일례를 설명하기 위한 도면이다.
도 28은 오디오비주얼 콘텐츠 재생의 또 다른 일례를 설명하기 위한 도면이다.
도 29는 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 각각의 촉각 제시 신호에 부가하는 예를 설명하기 위한 도면이다.
도 30은 촉각 제시 위치 지정 플래그의 각 파트와 촉각 제시 위치의 대응 관계의 일례를 도시하는 도면이다.
도 31은 촉각 제시 위치 지정 플래그의 각 파트의 상태(플래그 구성)의 일례를 도시하는 도면이다.
도 32는 촉각 제시 위치 지정 플래그의 각 파트의 상태(플래그 구성)의 다른 일례를 도시하는 도면이다.
도 33은 콘텐츠에 따라 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치가 전환되는 예를 설명하기 위한 도면이다.
도 34는 오디오 앰프 측이 실제로 구비하는 촉각 제시 위치에 맞추어 처리된 촉각 제시 신호 및 메타데이터를 텔레비전 수신기 측으로부터 오디오 앰프 측으로 송신하는 예를 설명하기 위한 블록도이다.
도 35는 텔레비전 수신기 측에서의 처리의 일례를 설명하기 위한 도면이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라고 함)에 대하여 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[AV 시스템의 구성예]
도 1은 실시 형태로서의 AV(Audio/Visual) 시스템(10)의 구성예를 도시하고 있다. 이 AV 시스템(10)은 텔레비전 수신기(100)와 오디오 앰프(200)를 갖고 있다. 텔레비전 수신기(100)에는, 텔레비전 방송의 수신 안테나(121)와, BD(Blu-ray Disc) 플레이어(122)와, 인터넷(123)이 접속되어 있다. 또한, 오디오 앰프(200)에는, 2 채널 혹은 멀티채널의 스피커 시스템(250)과, 1 채널 또는 복수 채널의 촉각 제시 시스템(260)이 접속되어 있다. 또한, 「Blu-ray」는 등록상표이다.
텔레비전 수신기(100) 및 오디오 앰프(200)는 HDMI(High-Definition Multimedia Interface) 케이블(300)을 통해 접속되어 있다. 또한, 「HDMI」는 등록상표이다. 텔레비전 수신기(100)에는, HDMI 수신부(HDMI RX)(102)와, 통신부를 구성하는 고속 버스 인터페이스(103)가 접속된 HDMI 단자(101)가 마련되어 있다. 오디오 앰프(200)에는, HDMI 송신부(HDMI TX)(202)와, 통신부를 구성하는 고속 버스 인터페이스(203)가 접속된 HDMI 단자(201)가 마련되어 있다. HDMI 케이블(300)의 일단은 텔레비전 수신기(100)의 HDMI 단자(101)에 접속되고, 그 타단은 오디오 앰프(200)의 HDMI 단자(201)에 접속되어 있다.
텔레비전 수신기(100)는 HDMI 수신부(102)와, 고속 버스 인터페이스(103)와, SPDIF(Sony Philips Digital InterFace) 송신 회로(104)를 갖고 있다. 또한, 텔레비전 수신기(100)는 시스템 컨트롤러(105)와, 디지털 방송 수신 회로(107)와, 콘텐츠 재생 회로(108)와, 표시부(109)와, 이더넷 인터페이스(110)를 갖고 있다. 또한, 「이더넷」 및 「Ethernet」는 등록상표이다. 또한, 도시의 예에서는, 설명의 간단화를 위해, 화상계의 각 부에 대해서는 적절히 생략되어 있다.
시스템 컨트롤러(105)는 텔레비전 수신기(100)의 각 부의 동작을 제어한다. 디지털 방송 수신 회로(107)는 수신 안테나(121)로부터 입력된 텔레비전 방송 신호를 처리하여, 방송 콘텐츠에 관한 비디오 신호, 멀티채널 오디오 신호(리니어 PCM 신호) 및 소정 채널 수의 촉각 제시 신호와, 이 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 출력한다.
이더넷 인터페이스(110)는 인터넷(123)을 통해 외부 서버와 통신을 행하여, 넷 콘텐츠에 관한 비디오 신호, 멀티채널 오디오 신호(리니어 PCM 신호) 및 소정 채널 수의 촉각 제시 신호와, 이 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 출력한다. BD 플레이어(122)는 재생 동작에 의해, 재생 콘텐츠에 관한 비디오 신호, 멀티채널 오디오 신호(리니어 PCM 신호) 및 소정 채널 수의 촉각 제시 신호와, 이 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 출력한다.
각 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치(촉각 제시 부위)는, 예를 들어, 미리 정의된 촉각 제시 위치 범위에 한정된다. 도 2는 촉각 제시 위치 범위의 일례를 도시하고 있다. 이 예에서는, 촉각 제시 위치 범위로서, 풀사이즈(32 디바이스) 버전, 파트 1 사이즈(24 디바이스) 버전, 파트 2 사이즈(16 디바이스) 버전, 파트 3 사이즈(8 디바이스) 버전을 도시하고 있다. 도 3은 각 촉각 제시 위치를 개략적으로 도시하고 있다.
여기서, 풀사이즈 버전에는, (0) 머리 앞 「Head front」, (1) 머리 뒤 「Head back」, (2) 머리 좌측 「Head left」, (3) 머리 우측 「Head right」, (4) 어깨 좌측 「Shoulder left」, (5) 어깨 우측 「Shoulder right」, (6) 손 좌측 「Hand left」, (7) 손 우측 「Hand right」, (8) 손목 좌측 「Wrist left」, (9) 손목 우측 「Wrist right」, (10) 가슴 상부 좌측 「Chest upper-left」, (11) 가슴 상부 우측 「Chest upper-right」, (12) 가슴 하부 좌측 「Chest lower-left」, (13) 가슴 하부 우측 「Chest lower-right」, (14) 복부 좌측 「Stomach left」, (15) 복부 우측 「Stomach right」, (16) 등 상부 좌측 「Back upper-left」, (17) 등 상부 우측 「Back upper-right」, (18) 등 하부 좌측 「Back lower-left」, (19) 등 하부 우측 「Back lower-right」, (20) 무릎 좌측 「Knee left」, (21) 무릎 우측 「Knee right」, (22) 발 좌측 「Foot left」, (23) 발 우측 「Foot right」, (24) 내지 (31) 기타의 32 촉각 제시 위치가 포함된다.
또한, 파트 1 사이즈 버전에는, (0) 머리 앞 「Head front」, (1) 머리 뒤 「Head back」, (2) 머리 좌측 「Head left」, (3) 머리 우측 「Head right」, (4) 어깨 좌측 「Shoulder left」, (5) 어깨 우측 「Shoulder right」, (6) 손 좌측 「Hand left」, (7) 손 우측 「Hand right」, (8) 손목 좌측 「Wrist left」, (9) 손목 우측 「Wrist right」, (10) 가슴 상부 좌측 「Chest upper-left」, (11) 가슴 상부 우측 「Chest upper-right」, (12) 가슴 하부 좌측 「Chest lower-left」, (13) 가슴 하부 우측 「Chest lower-right」, (14) 복부 좌측 「Stomach left」, (15) 복부 우측 「Stomach right」, (16) 등 상부 좌측 「Back upper-left」, (17) 등 상부 우측 「Back upper-right」, (18) 등 하부 좌측 「Back lower-left」, (19) 등 하부 우측 「Back lower-right」, (20) 무릎 좌측 「Knee left」, (21) 무릎 우측 「Knee right」, (22) 발 좌측 「Foot left」, (23) 발 우측 「Foot right」의 24 촉각 제시 위치가 포함된다.
또한, 파트 2 사이즈 버전에는, (6) 손 좌측 「Hand left」, (7) 손 우측 「Hand right」, (8) 손목 좌측 「Wrist left」, (9) 손목 우측 「Wrist right」, (10) 가슴 상부 좌측 「Chest upper-left」, (11) 가슴 상부 우측 「Chest upper-right」, (12) 가슴 하부 좌측 「Chest lower-left」, (13) 가슴 하부 우측 「Chest lower-right」, (14) 복부 좌측 「Stomach left」, (15) 복부 우측 「Stomach right」, (16) 등 상부 좌측 「Back upper-left」, (17) 등 상부 우측 「Back upper-right」, (18) 등 하부 좌측 「Back lower-left」, (19) 등 하부 우측 「Back lower-right」, (22) 발 좌측 「Foot left」, (23) 발 우측 「Foot right」의 16 촉각 제시 위치가 포함된다.
또한, 파트 3 사이즈 버전에는, (10) 가슴 상부 좌측 「Chest upper-left」, (11) 가슴 상부 우측 「Chest upper-right」, (12) 가슴 하부 좌측 「Chest lower-left」, (13) 가슴 하부 우측 「Chest lower-right」, (14) 복부 좌측 「Stomach left」, (15) 복부 우측 「Stomach right」, (16) 등 상부 좌측 「Back upper-left」, (17) 등 상부 우측 「Back upper-right」의 8 촉각 제시 위치가 포함된다.
소정수 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치는, 콘텐츠에 따라 변경되고, 혹은 콘텐츠의 씬에 동기하여 동적으로 변경된다. 메타데이터는, 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 것이지만, 1개의 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치로서는, 0개, 1개 또는 복수의 촉각 제시 위치를 생각할 수 있다.
콘텐츠 재생 회로(108)는 디지털 방송 수신 회로(107), 이더넷 인터페이스(110) 혹은 BD 플레이어(122)로 얻어진 비디오 신호, 멀티채널 오디오 신호 및 소정 채널 수의 촉각 제시 신호, 나아가 메타데이터를 선택적으로 취출한다. 그리고, 콘텐츠 재생 회로(108)는 비디오 신호를 표시부(109)에 보낸다. 표시부(109)는 이 비디오 신호에 의한 화상을 표시한다.
또한, 콘텐츠 재생 회로(108)는 멀티채널 오디오 신호 및 소정 채널 수의 촉각 제시 신호를 SPDIF 송신 회로(104)에 보낸다. SPDIF 송신 회로(104)는 IEC 60958 규격의 디지털 오디오 전송 신호(이하, 적절히, 「SPDIF 신호」라고 함)를 송신하기 위한 회로이다. 이 SPDIF 송신 회로(104)는 IEC 60958 규격에 준거한 송신 회로이다. 또한, SPDIF 신호의 상세는 후술한다.
SPDIF 송신 회로(104)는 멀티채널 오디오 신호 및 소정수의 촉각 제시 신호를, 메타데이터(촉각 제시 위치 정보)를 부가한 상태로, 오디오 앰프(200)에 동시에 송신한다. 이 경우, SPDIF 신호로서, 복수 프레임, 여기서는 192 프레임으로 이루어지는 블록마다의 전송 신호가 순차 송신된다. 그리고, 이 전송 신호에, 멀티채널 오디오 신호 및 소정수의 촉각 제시 신호가 포함되고, 나아가 상술한 메타데이터(촉각 제시 위치 정보)가 부가된다. 예를 들어, 메타데이터는, 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 부가된다.
또한, 촉각 제시 신호는, 주파수 대역은 DC-1kHz라고 말해지고 있다. 리니어 PCM을 전송할 수 있는 디지털 오디오 인터페이스라면 촉각 제시 신호도 전송할 수 있다. 이 경우, 예를 들어 햅틱 촉각을 제시하는 경우에는, DC 영역에 관해서는 플러스로 "밀다", 마이너스로 "끌다" 혹은 "당기다"라는 것 같은 표현이 가능하다.
여기서, 복수 프레임은, 소정수의 프레임으로 이루어지는 멀티채널 그룹의 반복으로 구성되어 있다. 멀티채널 오디오 신호 및 소정 채널 수의 촉각 제시 신호는, 멀티채널 그룹마다, 소정수의 프레임의 전부 또는 일부에 채널별로 시분할적으로 배치되어 있다.
HDMI 수신부(102)는 HDMI에 준거한 통신에 의해, HDMI 케이블(300)을 통해 HDMI 단자(101)에 공급되는 비디오나 오디오의 데이터를 수신한다. 고속 버스 인터페이스(103)는 HDMI 케이블(300)을 구성하는 리저브 라인 및 HPD(Hot Plug Detect) 라인을 사용하여 구성되는 쌍방향 통신로의 인터페이스이다. 또한, HDMI 수신부(102)와 고속 버스 인터페이스(103)의 상세는 후술한다.
오디오 앰프(200)는 HDMI 송신부(202)와, 고속 버스 인터페이스(203)와, SPDIF 수신 회로(204)를 갖고 있다. 또한, 오디오 앰프(200)는 시스템 컨트롤러(205)와, 오디오 DA 컨버터(206)와, 셀렉터(207)와, 드라이버(208)와, 이더넷 인터페이스(210)를 갖고 있다.
시스템 컨트롤러(205)는 오디오 앰프(200)의 각 부의 동작을 제어한다. HDMI 송신부(202)는 HDMI에 준거한 통신에 의해, 비디오나 오디오의 데이터를, HDMI 단자(201)로부터 HDMI 케이블(300)로 송출한다. 고속 버스 인터페이스(203)는 HDMI 케이블(300)을 구성하는 리저브 라인 및 HPD(Hot Plug Detect) 라인을 사용하여 구성되는 쌍방향 통신로의 인터페이스이다. 또한, HDMI 송신부(202)와 고속 버스 인터페이스(203)의 상세는 후술한다.
SPDIF 수신 회로(204)는 SDPIF 신호(IEC 60958 규격의 디지털 오디오 신호)로서의 전송 신호를 수신하고, 그것에 포함되는 멀티채널 오디오 신호 및 소정 채널 수의 촉각 제시 신호, 나아가 메타데이터를 취득한다.
오디오 DA 컨버터(206)는 SPDIF 수신 회로(204)에 의해 취출된 멀티채널 오디오 신호를 채널마다 DA 변환하여 증폭하고, 각각의 채널에 대응한 스피커를 갖는 스피커 시스템(250)에 보낸다. 이에 의해, 스피커 시스템(250)에서, 멀티채널 오디오 신호에 의한 음성 재생이 행해진다.
또한, 셀렉터(207)는 SPDIF 수신 회로(204)에 의해 취출된 소정 채널 수의 촉각 제시 신호를, 마찬가지로 SPDIF 수신 회로(204)에 의해 취출된 메타데이터에 기초하여, 각각이 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 배분하여 출력한다. 드라이버(208)는 셀렉터(207)에 의해 배분된 소정 채널 수의 촉각 제시 신호를 DA 변환하여 증폭하고, 각각의 촉각 제시 위치의 촉각 제시 디바이스를 갖는 촉각 제시 시스템(260)에 보낸다.
이에 의해, 촉각 제시 시스템(260)에서, 소정 채널 수의 촉각 제시 신호에 의해, 각각이 대상으로 하는 촉각 제시 위치에서의 촉각 제시 재생이 행해진다. 이 경우, 상술한 바와 같이, 소정 채널 수의 촉각 제시 신호가 멀티채널 오디오 신호와 동시에 보내져 오는 것이라는 점에서, 이 촉각 제시 재생은 음성 재생과 올바르게 동기된 것이 되고, 또한 텔레비전 수신기(100)의 표시부(109)에서의 영상 표시와도 동기된 것이 된다.
이하, 이 실시 형태에서는, 멀티채널 오디오 신호는 2 채널 스테레오 오디오 신호이고, 소정 채널 수의 촉각 제시 신호는 4 채널의 촉각 제시 신호인 것으로 하여 설명한다. 또한, 본 기술은, 이에 한정되는 것은 아님은 물론이다.
도 4는 오디오 앰프(200)에서의 SPDIF 수신 회로(204), 오디오 DA 컨버터(206), 셀렉터(207) 및 드라이버(208)의 부분의 구성예를 도시하고 있다. SPDIF 수신 회로(204)에 의해 취출된 2 채널 스테레오 오디오 신호(채널 0, 1의 신호)는 오디오 DA 컨버터(206)에 공급된다. 그리고, 이 오디오 DA 컨버터(206)에서는, 2 채널 스테레오 오디오 신호(좌측 음성 신호, 우측 음성 신호)가 DA 변환되고 증폭되어, 스피커 시스템(250)으로서의 헤드폰(251)에 공급된다. 이에 의해, 헤드폰(251)에서, 2 채널 스테레오 오디오 신호에 의한 음성 재생이 행해진다.
또한, SPDIF 수신 회로(204)에 의해 취출된, 4 채널의 촉각 제시 신호(채널 2 내지 5의 신호)와, 이 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터는, 셀렉터(207)에 공급된다. 셀렉터(207)에서는, 4 채널의 촉각 제시 신호가, 메타데이터에 기초하여, 각각이 대상으로 하는 촉각 제시 위치(6개소의 촉각 제시 위치에 포함됨)의 촉각 제시 신호로서 배분되어 출력된다.
셀렉터(207)에 의해 배분된 4 채널의 촉각 제시 신호는, 드라이버(208)에 의해 DA 변환되어 증폭된 후에, 촉각 제시 시스템(260)으로서의, 촉각 제시 디바이스를 갖는 촉각 제시 베스트(261) 및 촉각 제시 소파(262)의 대응하는 촉각 제시 디바이스에 공급된다. 이에 의해, 4 채널의 촉각 제시 신호에 의해, 각각이 대상으로 하는 촉각 제시 위치에서의 진동 재생이 행해진다.
또한, 촉각 제시 베스트(261) 및 촉각 제시 소파(262)에 있어서, 「동그라미 표시」는 촉각 제시 위치(촉각 제시 디바이스의 배치 위치)를 나타내고 있고, 합해서 6개소의 촉각 제시 위치가 존재하고 있다. 도시의 예에 있어서, 6개소의 촉각 제시 위치는, 소파 좌측, 소파 우측, 가슴 좌측, 가슴 우측, 복부 좌측, 복부 우측이다.
도 5는 셀렉터(207)가 구비하는 촉각 진동 신호의 배분 기능을 도시하고 있다. 셀렉터(207)는 도 5의 (a)에 도시하는 바와 같이, 메타데이터에 기초하여, 어떤 채널(채널 x)의 촉각 제시 신호를, 소정의 촉각 제시 위치의 촉각 제시 신호로서 출력하는 것이 가능하게 구성된다. 또한, 셀렉터(207)는 도 5의 (b)에 도시하는 바와 같이, 메타데이터에 기초하여, 어떤 촉각 제시 위치의 촉각 제시 신호로서, 복수의 채널의 촉각 제시 신호를 출력하는 것이 가능하게 구성된다.
도 6은 셀렉터(207)의 구성예를 도시하고 있다. 셀렉터(207)는 입력 단자로서, 4 채널의 촉각 제시 신호를 입력하기 위한 4개의 입력계 In1 내지 In4를 갖는다. 또한, 셀렉터(207)는 6개의 출력계 Out1 내지 Out6을 갖고 있다. 그리고, 각 출력계는, 메타데이터에 기초하여, 4 입력계 In1 내지 In4에 입력되는 4 채널의 촉각 제시 신호 중, 0개, 1개 또는 복수 개를 선택적으로 입력하는 입력부와, 입력된 각 촉각 제시 신호를 합산하여 출력하는 합산부를 구비하고 있다. 이 구성에 의해, 셀렉터(207)는 상술한 도 5의 (a), (b)에 도시한 배분 기능을 발휘한다.
도 7은 SPDIF 수신 회로(204), 셀렉터(207) 및 드라이버(208)의 경로의 일부를 무선화하는 경우의 구성예를 도시하고 있다. 여기서, 「Tx」는 무선의 송신기를 나타내고, 「Rx」는 무선의 수신기를 나타내고 있다. 도 7의 (a)에서는, 셀렉터(207)의 6개의 출력과 드라이버(208)의 6개의 입력 사이에 6 경로가 모두 무선화되어 있다. 도 7의 (b)에서는, 셀렉터(207)의 6개의 출력과 드라이버(208)의 6개의 입력 사이의 일부의 경로, 도시의 예에서는 4 경로만이 무선화되어 있다.
도 7의 (c)에서는, SPDIF 수신 회로(204)의 4개의 출력과 드라이버(208)의 6개의 입력 사이가 무선화되어 있다. 이 경우, SPDIF 수신 회로(204)의 4개의 출력에 관한 송신기가 셀렉터(207)의 기능을 구비하고, 메타데이터에 기초하여, 드라이버(208)의 6개의 입력에 관한 수신기에 선택적으로 촉각 제시 신호를 송신한다.
도 8은 오디오비주얼 콘텐츠 재생의 일례를 도시하고 있다. 도 8의 (a)는 시계열적으로 연속하는 씬 1(서로 치고 받고 있는 씬) 및 씬 2(다운된 씬)를 개략적으로 도시하고 있다. 도 8의 (b)는 연속적인 2 채널 스테레오 오디오 신호와, 씬에 동기하여 동적으로 변화하는 4 채널의 촉각 제시 신호를 나타내고 있다.
씬 1에 대응하는 4 채널의 촉각 제시 신호는 타입 1(Type 1)로 나타내어진다. 이 타입 1에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 도 9에 도시하는 바와 같이, 가슴 좌측, 가슴 우측, 복부 좌측, 복부 우측의 진동 위치를 대상으로 한다. 또한, 도 9에 있어서, 동그라미 숫자의 0, 1, 2 및 3은, 각각, 제0 채널, 제1 채널, 제2 채널 및 제3 채널을 나타내고 있다.
그 때문에, 씬 1에서는, 메타데이터에 기초하여, 셀렉터(207)에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 각각 가슴 좌측, 가슴 우측, 복부 좌측, 복부 우측의 진동 위치의 촉각 제시 신호로서 출력된다. 이에 의해, 씬 1에서는, 도 8의 (c)에 도시하는 바와 같이, 가슴 좌측, 가슴 우측, 복부 좌측, 복부 우측의 촉각 제시 위치(백색의 「동그라미 표시」 참조)에서, 얻어맞은 감각을 연출하기 위한 촉각 제시 재생이 행해진다.
한편, 씬 2에 대응하는 4 채널의 촉각 제시 신호는 타입 2(Type 2)로 나타내어진다. 이 타입 2에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 도 9에 도시하는 바와 같이, 가슴 좌측, 가슴 우측, 소파 좌측, 소파 우측의 촉각 제시 위치를 대상으로 한다.
그 때문에, 씬 2에서는, 메타데이터에 기초하여, 셀렉터(207)에서는, 4 채널의 촉각 제시 신호는, 각각 가슴 좌측, 가슴 우측, 소파 좌측, 소파 우측의 촉각 제시 위치의 촉각 제시 신호로서 출력된다. 이에 의해, 씬 2에서는, 도 8의 (c)에 도시하는 바와 같이, 가슴 좌측, 가슴 우측, 소파 좌측, 소파 우측의 촉각 제시 위치(백색의 「동그라미 표시」 참조)에서, 앞에서 뒤로 촉각을 이동시킴으로써, 충격 후에 뒤로 쓰러져 가는 다운 촉각을 연출하기 위한 촉각 제시 재생이 행해진다.
또한, 도 8의 (b)에 도시하는 바와 같이, 2 채널 스테레오 오디오 신호는 끊임없이 연속하여 재생되고 있고, 촉각 제시 신호만이 비연속으로 전환된다. 씬 1과 씬 2 사이에서 촉각 제시 신호가 비연속이 되기 때문에, 도 10의 (a)에 도시하는 바와 같이, 그 전환 시에, 촉각 제시 신호에 대하여 페이드아웃·페이드인 처리를 하거나, 혹은 도 10의 (b)에 도시하는 바와 같이, 그 전환 시에, 촉각 제시 신호에 대하여 뮤트 신호 삽입 처리를 하는 것이 바람직하다. 이에 의해, 촉각 제시 신호가 비연속으로 변화하는 것으로 인한 유저의 위화감을 완화시키는 것이 가능하게 된다.
또한, 페이드아웃·페이드인 처리나 뮤트 신호 삽입 처리는, 텔레비전 수신기(100) 측에서 미리 행해져도 되고, 오디오 앰프(200)의 셀렉터(207)나 드라이버(208)에 의해 행해져도 되고, 또는 촉각 제시 베스트(261)나 촉각 제시 소파(262)에 의해 행해져도 된다.
도 11은 오디오 앰프(200)에서의 SPDIF 수신 회로(204), 오디오 DA 컨버터(206), 셀렉터(207) 및 드라이버(208)의 부분의 다른 구성예를 도시하고 있다. 이 도 11에 있어서, 도 4와 대응하는 부분에는 동일 부호를 붙여서 도시하고 있다. 이 다른 구성예에서는, 도 4의 구성예에 대하여 셀렉터(207)와 드라이버(208)의 접속 순서가 반대로 되고 있는 점이 상이하고, 그 외에 대해서는 마찬가지이다.
「HDMI 송신부/수신부의 구성예」
도 12는 도 1의 AV 시스템(10)에서의, 텔레비전 수신기(100)의 HDMI 수신부(102)와 오디오 앰프(200)의 HDMI 송신부(202)의 구성예를 도시하고 있다.
HDMI 송신부(202)는 어떤 수직 동기 신호로부터 다음 수직 동기 신호까지의 구간(이하, 적절히, 「비디오 필드」라고 함)으로부터, 수평 블랭킹 기간 및 수직 블랭킹 기간을 제거한 구간인 유효 화상 구간(이하, 적절히, 「액티브 비디오 구간」이라고 함)에 있어서, 베이스밴드(비압축)의 1화면분의 화상 데이터의 차동 신호를, 복수의 채널을 통해, HDMI 수신부(102)에 일방향으로 송신한다. 또한, HDMI 송신부(202)는 수평 블랭킹 기간 및 수직 블랭킹 기간에 있어서, 화상 데이터에 부수되는 음성 데이터 및 제어 패킷(Control Packet), 또한 기타의 보조 데이터 등에 대응하는 차동 신호를, 복수의 채널을 통해, HDMI 수신부(102)에 일방향으로 송신한다.
HDMI 송신부(202)는 소스 신호 처리부(71) 및 HDMI 트랜스미터(72)를 갖는다. 소스 신호 처리부(71)에는, 베이스밴드의 비압축의 화상(Video) 및 음성(Audio)의 데이터가 공급된다. 소스 신호 처리부(71)는 공급되는 화상 및 음성의 데이터에 필요한 처리를 실시하고, HDMI 트랜스미터(72)에 공급한다. 또한, 소스 신호 처리부(71)는 HDMI 트랜스미터(72)와의 사이에서, 필요에 따라, 제어용의 정보나 스테이터스를 알리는 정보(Control/Status) 등을 주고받기한다.
HDMI 트랜스미터(72)는 소스 신호 처리부(71)로부터 공급되는 화상 데이터를, 대응하는 차동 신호로 변환하고, 복수의 채널인 3개의 TMDS 채널 #0, #1, #2를 통해, HDMI 케이블(300)을 통해 접속되어 있는 HDMI 수신부(102)에, 일방향으로 송신한다.
또한, HDMI 트랜스미터(72), 소스 신호 처리부(71)로부터 공급되는, 비압축의 화상 데이터에 부수되는 음성 데이터나 제어 패킷, 기타의 보조 데이터(auxiliary data)와, 수직 동기 신호(VSYNC), 수평 동기 신호(HSYNC) 등의 제어 데이터(control data)를 대응하는 차동 신호로 변환하고, 3개의 TMDS 채널 #0, #1, #2를 통해, HDMI 케이블(300)을 통해 접속되어 있는 HDMI 수신부(102)에, 일방향으로 송신한다.
또한, HDMI 트랜스미터(72)는 3개의 TMDS 채널 #0, #1, #2를 통해 송신하는 화상 데이터에 동기된 픽셀 클럭을, TMDS 클럭 채널을 통해, HDMI 케이블(300)을 통해 접속되어 있는 HDMI 수신부(102)에 송신한다.
HDMI 수신부(102)는 액티브 비디오 구간에 있어서, 복수 채널을 통해, HDMI 송신부(202)로부터 일방향으로 송신되어 오는, 화상 데이터에 대응하는 차동 신호를 수신함과 함께, 수평 블랭킹 기간 및 수직 블랭킹 기간에 있어서, 복수의 채널을 통해, HDMI 송신부(202)로부터 송신되어 오는, 보조 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다.
HDMI 수신부(102)는 HDMI 리시버(81) 및 싱크 신호 처리부(82)를 갖는다. HDMI 리시버(81)는 TMDS 채널 #0, #1, #2를 통해, HDMI 케이블(300)을 통해 접속되어 있는 HDMI 송신부(202)로부터 일방향으로 송신되어 오는, 화상 데이터에 대응하는 차동 신호와, 보조 데이터나 제어 데이터에 대응하는 차동 신호를, 동일하게 HDMI 송신부(202)로부터 TMDS 클럭 채널을 통해 송신되어 오는 픽셀 클럭에 동기하여 수신한다. 또한, HDMI 리시버(81)는 차동 신호를, 대응하는 화상 데이터, 보조 데이터, 제어 데이터로 변환하고, 필요에 따라, 싱크 신호 처리부(82)에 공급한다.
싱크 신호 처리부(82)는 HDMI 리시버(81)로부터 공급되는 데이터에 필요한 처리를 실시하여 출력한다. 그 밖에, 싱크 신호 처리부(82)는 HDMI 리시버(81)와의 사이에서, 필요에 따라, 제어용의 정보나 스테이터스를 알리는 정보(Control/Status) 등을 주고받기한다.
HDMI의 전송 채널에는, HDMI 송신부(202)로부터 HDMI 수신부(102)에 대하여, 화상 데이터, 보조 데이터, 및 제어 데이터를, 픽셀 클럭에 동기하여, 일방향으로 시리얼 전송하기 위한 3개의 TMDS 채널 #0, #1, #2와, 픽셀 클럭을 전송하는 전송 채널로서의 TMDS 클럭 채널 이외에, DDC(Display Data Channel)(83), 나아가, CEC 라인(84)이라고 불리는 전송 채널이 있다.
DDC(83)는, HDMI 케이블(300)에 포함되는 도시하지 않은 2개의 라인(신호선)으로 이루어지고, 소스 기기가, HDMI 케이블(300)을 통해 접속된 싱크 기기로부터, E-EDID(Enhanced-Extended Display Identification)를 판독하기 위해 사용된다. 즉, 싱크 기기는, EDID ROM(85)을 갖고 있다. 소스 기기는, HDMI 케이블(300)을 통해 접속되어 있는 싱크 기기로부터, EDID ROM(85)이 기억하고 있는 E-EDID를, DDC(83)을 통해 판독, 당해 E-EDID에 기초하여, 싱크 기기의 설정, 성능을 인식한다.
CEC 라인(84)은 HDMI 케이블(300)에 포함되는 도시하지 않은 1개의 라인으로 이루어지고, 소스 기기와 싱크 기기 사이에서, 제어용의 데이터의 쌍방향 통신을 행하기 위해 사용된다.
또한, HDMI 케이블(300)에는, HPD(Hot Plug Detect)라고 불리는 핀에 접속되는 라인(86)이 포함되어 있다. 소스 기기는, 당해 라인(86)을 이용하여, 싱크 기기의 접속을 검출할 수 있다. 또한, HDMI 케이블(300)에는, 소스 기기로부터 싱크 기기에 전원을 공급하기 위해 사용되는 라인(87)이 포함되어 있다. 또한, HDMI 케이블(300)에는, 리저브 라인(88)이 포함되어 있다.
「고속 버스 인터페이스의 구성예」
도 13은 도 1의 AV 시스템(10)에서의 텔레비전 수신기(100)의 고속 버스 인터페이스(103)의 구성예를 도시하고 있다. 이더넷 인터페이스(110)는 HDMI 케이블(300)을 구성하는 복수의 라인 중, 리저브 라인 및 HPD 라인의 한 쌍의 라인에 의해 구성된 전송로를 사용하여 LAN(Local Area Network) 통신, 즉 이더넷 신호의 송수신을 행한다. SPDIF 송신 회로(104)는 상술한 한 쌍의 라인에 의해 구성된 전송로를 사용하여, SPDIF 신호를 송신한다.
텔레비전 수신기(100)는 LAN 신호 송신 회로(441), 종단 저항(442), AC 결합 용량(443, 444), LAN 신호 수신 회로(445), 감산 회로(446), 가산 회로(449, 450) 및 증폭기(451)를 갖고 있다. 이들은 고속 버스 인터페이스(103)를 구성하고 있다. 또한, 텔레비전 수신기(100)는 플러그 접속 전달 회로(128)를 구성하는, 초크 코일(461), 저항(462) 및 저항(463)을 갖고 있다.
HDMI 단자(101)의 14 핀 단자(521)와 19 핀 단자(522) 사이에는, AC 결합 용량(443), 종단 저항(442) 및 AC 결합 용량(444)의 직렬 회로가 접속된다. 또한, 전원선(+5.0V)과 접지선 사이에는, 저항(462) 및 저항(463)의 직렬 회로가 접속된다. 그리고, 이 저항(462)과 저항(463)의 서로의 접속점은, 초크 코일(461)을 통해, 19 핀 단자(522)와 AC 결합 용량(444)의 접속점 Q4에 접속된다.
AC 결합 용량(443)과 종단 저항(442)의 서로의 접속점 P3은, 가산 회로(449)의 출력 측에 접속됨과 함께, LAN 신호 수신 회로(445)의 플러스 입력 측에 접속된다. 또한, AC 결합 용량(444)과 종단 저항(442)의 서로의 접속점 P4는, 가산 회로(450)의 출력 측에 접속됨과 함께, LAN 신호 수신 회로(445)의 마이너스 입력 측에 접속된다.
가산 회로(449)의 한쪽의 입력 측은 LAN 신호 송신 회로(441)의 플러스 출력 측에 접속되고, 이 가산 회로(449)의 다른 쪽의 입력 측에는 SPDIF 송신 회로(104)로부터 출력되는 SPDIF 신호가 증폭기(451)를 통해 공급된다. 또한, 가산 회로(450)의 한쪽의 입력 측은 LAN 신호 송신 회로(441)의 마이너스 출력 측에 접속되고, 이 가산 회로(450)의 다른 쪽의 입력 측에는 SPDIF 송신 회로(104)로부터 출력되는 SPDIF 신호가 증폭기(451)를 통해 공급된다.
LAN 신호 송신 회로(441)의 입력 측에는, 이더넷 인터페이스(110)로부터 송신 신호(송신 데이터) SG417이 공급된다. 또한, 감산 회로(446)의 플러스 측 단자에는, LAN 신호 수신 회로(445)의 출력 신호 SG418이 공급되고, 이 감산 회로(446)의 마이너스 측 단자에는, 송신 신호 SG417이 공급된다. 이 감산 회로(446)에서는, LAN 신호 수신 회로(445)의 출력 신호 SG418로부터 송신 신호 SG417이 감산되어, 수신 신호(수신 데이터) SG419가 얻어진다. 이 수신 신호 SG419는, 리저브 라인 및 HPD 라인을 통해 LAN 신호(이더넷 신호)가 차동 신호로서 송신되어 올 경우에는, 당해 LAN 신호가 된다. 이 수신 신호 SG419는, 이더넷 인터페이스(110)에 공급된다.
도 14는 도 1의 AV 시스템(10)에서의 오디오 앰프(200)의 고속 버스 인터페이스(203)의 구성예를 도시하고 있다. 이더넷 인터페이스(210)는 HDMI 케이블(300)을 구성하는 복수의 라인 중, 리저브 라인 및 HPD 라인의 한 쌍의 라인에 의해 구성된 전송로를 사용하여 LAN(Local Area Network) 통신, 즉 이더넷 신호의 송수신을 행한다. SPDIF 수신 회로(204)는 상술한 한 쌍의 라인에 의해 구성된 전송로를 사용하여, SPDIF 신호를 수신한다.
오디오 앰프(200)는 LAN 신호 송신 회로(411), 종단 저항(412), AC 결합 용량(413, 414), LAN 신호 수신 회로(415), 감산 회로(416), 가산 회로(419) 및 증폭기(420)를 갖고 있다. 이들은 고속 버스 인터페이스(203)를 구성하고 있다. 또한, 오디오 앰프(200)는 플러그 접속 검출 회로(221)를 구성하는, 풀다운 저항(431), 저항(432), 용량(433) 및 비교기(434)를 갖고 있다. 여기서, 저항(432) 및 용량(433)은 저역 통과 필터를 구성하고 있다.
HDMI 단자(201)의 14 핀 단자(511)와 19 핀 단자(512) 사이에는, AC 결합 용량(413), 종단 저항(412) 및 AC 결합 용량(414)의 직렬 회로가 접속된다. AC 결합 용량(413)과 종단 저항(412)의 서로의 접속점 P1은, LAN 신호 송신 회로(411)의 플러스 출력 측에 접속됨과 함께, LAN 신호 수신 회로(415)의 플러스 입력 측에 접속된다.
AC 결합 용량(414)과 종단 저항(412)의 서로의 접속점 P2는, LAN 신호 송신 회로(411)의 마이너스 출력 측에 접속됨과 함께, LAN 신호 수신 회로(415)의 마이너스 입력 측에 접속된다. LAN 신호 송신 회로(411)의 입력 측에는, 이더넷 인터페이스(210)로부터 송신 신호(송신 데이터) SG411이 공급된다.
감산 회로(416)의 플러스 측 단자에는, LAN 신호 수신 회로(415)의 출력 신호 SG412가 공급되고, 이 감산 회로(416)의 마이너스 측 단자에는, 송신 신호(송신 데이터) SG411이 공급된다. 이 감산 회로(416)에서는, LAN 신호 수신 회로(415)의 출력 신호 SG412로부터 송신 신호 SG411이 감산되어, 수신 신호 SG413이 얻어진다. 이 수신 신호 SG413은, 리저브 라인 및 HPD 라인을 통해, LAN 신호(이더넷 신호)가 차동 신호로서 송신되어 올 경우에는, 당해 LAN 신호가 된다. 이 수신 신호 SG413은, 이더넷 인터페이스(210)에 공급된다.
AC 결합 용량(414)과 19 핀 단자(512)의 접속점 Q2는, 풀다운 저항(431)을 통해 접지선에 접속됨과 함께, 저항(432) 및 용량(433)의 직렬 회로를 통해 접지선에 접속된다. 그리고, 저항(432) 및 용량(433)의 서로의 접속점에 얻어지는 저역 통과 필터의 출력 신호는 비교기(434)의 한쪽의 입력 단자에 공급된다. 이 비교기(434)에서는, 저역 통과 필터의 출력 신호가 다른 쪽의 입력 단자에 공급되는 기준 전압 Vref2(+1.4V)와 비교된다. 이 비교기(434)의 출력 신호 SG415는, 오디오 앰프(200)의 도시하지 않은 제어부(CPU)에 공급된다.
또한, AC 결합 용량(413)과 종단 저항(412)의 서로의 접속점 P1은, 가산 회로(419)의 한쪽의 입력 단자에 접속된다. 또한, AC 결합 용량(414)과 종단 저항(412)의 서로의 접속점 P2는, 가산 회로(419)의 다른 쪽의 입력 단자에 접속된다. 이 가산 회로(419)의 출력 신호는, 증폭기(420)를 통해 SPDIF 수신 회로(204)에 공급된다. 이 가산 회로(419)의 출력 신호는, 리저브 라인 및 HPD 라인을 통해, SPDIF 신호가 동상 신호로서 송신되어 올 경우에는, 당해 SPDIF 신호가 된다.
「SPDIF 신호의 상세」
우선, IEC 60958 규격의 개요에 대하여 설명한다. 도 15는 IEC 60958 규격에 있어서의 프레임 구성을 도시하고 있다. 각 프레임은 2개의 서브프레임으로 구성된다. 2 채널 스테레오 음성의 경우, 첫 번째 서브프레임에 좌측 채널 신호가 포함되고, 두 번째 서브프레임에 우측 채널 신호가 포함된다.
서브프레임의 선두에는 후술하는 바와 같이 프리앰블이 마련되고, 좌측 채널 신호에는 프리앰블로서 「M」이, 우측 채널 신호에는 프리앰블로서 「W」가 부여된다. 단, 192 프레임마다 선두의 프리앰블에는 블록의 개시를 나타내는 「B」가 부여된다. 즉, 1 블록은 192 프레임에 의해 구성된다. 블록은, 후술하는 채널 스테이터스를 구성하는 단위이다.
도 16은 IEC 60958 규격에 있어서의 서브프레임 구성을 도시하고 있다. 서브프레임은, 제0 내지 제31의 총 32개의 타임 슬롯으로 구성된다. 제0 내지 제3 타임 슬롯은, 프리앰블(Sync preamble)을 나타낸다. 이 프리앰블은, 상술한 바와 같이 좌우 채널의 구별이나 블록의 개시 위치를 나타내기 위해, 「M」, 「W」 또는 「B」 중 어느 것을 나타낸다.
제4 내지 제27 타임 슬롯은 메인 데이터 필드이고, 24 비트 코드 레인지가 채용되는 경우에는 전체가 오디오 데이터를 나타낸다. 또한, 20 비트 코드 레인지가 채용되는 경우에는 제8 내지 제27 타임 슬롯이 오디오 데이터(Audio sample word)를 나타낸다. 후자의 경우, 제4 내지 제7 타임 슬롯은 추가 정보(Auxiliary sample bits)로서 이용할 수 있다. 도시의 예는, 후자의 경우를 도시하고 있다.
제28 타임 슬롯은, 메인 데이터 필드의 유효 플래그(Validity flag)이다. 제29 타임 슬롯은, 유저 데이터(User data)의 1 비트분을 나타낸다. 각 프레임에 걸쳐 이 제29 타임 슬롯을 누적함으로써 일련의 유저 데이터를 구성할 수 있다. 이 유저 데이터의 메시지는 8 비트의 정보 유닛(IU: Information Unit)을 단위로 하여 구성되고, 1개의 메시지에는 3 내지 129개의 정보 유닛이 포함된다.
정보 유닛 간에는 0 내지 8 비트의 「0」이 존재할 수 있다. 정보 유닛의 선두는 개시 비트 「1」에 의해 식별된다. 메시지 내의 최초의 7개의 정보 유닛은 예약되어 있고, 8개째 이후의 정보 유닛에 유저는 임의의 정보를 설정할 수 있다. 메시지 간은 8 비트 이상의 「0」에 의해 분할된다.
제30 타임 슬롯은, 채널 스테이터스(Channel status)의 1 비트분을 나타낸다. 각 프레임에 걸쳐 블록마다 제30 타임 슬롯을 누적함으로써 일련의 채널 스테이터스를 구성할 수 있다. 또한, 블록의 선두 위치는, 상술한 바와 같이, 「B」의 프리앰블(제0 내지 제3 타임 슬롯)에 의해 나타내어진다.
제31 타임 슬롯은, 패리티 비트(Parity bit)이다. 제4 내지 제31 타임 슬롯에 포함되는 「0」 및 「1」의 수가 짝수가 되도록, 이 패리티 비트가 부여된다.
이 실시 형태에서는, IEC 60958 규격을 기초로 하는 멀티채널 전송 포맷을 이용하여, 상술한 2 채널 스테레오 오디오 신호 및 4 채널의 촉각 제시 신호를, 그 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 부가한 상태로, 동시에 전송한다.
도 17은 2 채널 스테레오 오디오 신호와 4 채널의 촉각 제시 신호를 동시에 전송하는 경우의 멀티채널 전송 포맷의 프레임 구성의 일례를 도시하고 있다.
IEC 60958 규격에서는, 192 프레임으로 1개의 블록이 구성되지만, 이 192 프레임은 소정수의 서브프레임으로 이루어지는 멀티채널 그룹(Multichannel group)의 반복으로 이루어진다. 각각의 서브프레임 부분은 멀티채널 오더(Multichannel Order)를 구성하고 있다. 멀티채널 그룹에 포함되는 서브프레임의 수를 몇 개로 할지는, 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 나타낼 수 있다.
또한, 멀티채널 그룹 내에, 각각 멀티채널 오디오 신호를 전송하기 위한 1개 또는 복수의 멀티채널 서브그룹(Multichannel subgroup)이 형성된다. 멀티채널 서브그룹은, 1개 또는 복수의 멀티채널 오더로 이루어진다. 이 멀티채널 서브그룹을 구성하는 각각의 멀티채널 오더에 멀티채널 오디오 신호의 각 채널의 신호가 순차 배치된다. 멀티채널 그룹 내에 어떤 멀티채널 서브그룹이 형성될지는, 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 나타낼 수 있고 또한 소정수의 프레임의 유저 데이터 비트를 사용하여 나타낼 수도 있다.
도시의 예에서는, 1개의 멀티채널 그룹이 6 서브프레임, 즉 멀티채널 오더 1 내지 6으로 구성되어 있다. 또한, 멀티채널 그룹 내에, 멀티채널 서브그룹 1 중 하나의 멀티채널 서브그룹이 형성되어 있다. 그리고, 이 예에서는, 그 1개의 멀티채널 서브그룹에 의해, 2 채널 스테레오 오디오 신호와 4 채널의 촉각 제시 신호가 동시에 전송된다.
멀티채널 서브그룹 1을 구성하는 멀티채널 오더 1 내지 6에, 프론트 레프트(FL)의 오디오 신호, 프론트 라이트(FR)의 오디오 신호, 제0 채널(Haptic_0)의 촉각 제시 신호, 제1 채널(Haptic_1)의 촉각 제시 신호, 제2 채널(Haptic_2)의 촉각 제시 신호 및 제3 채널(Haptic_3)의 촉각 제시 신호가, 이 순으로 배치되어 있다.
상술한 바와 같이, 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터는, 예를 들어, 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 부가된다. 채널 스테이터스의 소정 비트 영역을 사용하는 메타데이터의 부가 방법으로서, 예를 들어, 이하의 제1 내지 제3 방법을 생각할 수 있다.
「제1 방법」
제1 방법은, 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 매핑 타입으로 지정하는 방법이다.
도 18은 IEC 60958 규격에 있어서의 채널 스테이터스의 포맷을 개략적으로 도시하고 있다. 채널 스테이터스는, 서브프레임에서의 제30 타임 슬롯을 블록마다 누적한 것이다(도 16 참조). 이 도면에서는, 채널 스테이터스의 내용이 세로 방향으로 1 바이트씩 배치되고, 가로 방향으로는 각 바이트에서의 비트 구성이 나타내어져 있다. 또한, 여기서는, 민생용(Consumer use)의 포맷을 상정하여 설명한다.
제0 비트(bit 0)의 a는 "0"으로 되고, 이 채널 스테이터스가 민생용인 것을 나타낸다. 또한, 제1 비트(bit 1)의 b는 "0"으로 되고, 리니어 PCM의 샘플인 것을 나타낸다. 또한, 제6 및 7 비트(bit 6-7)는 채널 스테이터스의 모드를 나타낸다.
또한, 제44 비트 내지 제47 비트(bit 44-47)는 「Multichannel Count」의 4 비트 필드를 구성하고 있고, 멀티채널 그룹에 포함되는 서브프레임의 수가 나타내어진다. 여기서는, 멀티채널 그룹에 포함되는 서브프레임의 수가 「6」인 것이 나타내어진다.
또한, 제53 비트 내지 제60 비트는, 「Multichannel configuration value」의 8 비트 필드를 구성하고 있고, 멀티채널 서브그룹의 구성이 나타내어진다. 여기서는, 2 채널 스테레오 오디오 신호 및 4 채널의 촉각 제시 신호로 이루어지는 6 채널의 신호 구성인 것이 나타내어진다.
또한, 제x 바이트의 제xx 비트 내지 제xx+7 비트는, 「Haptic channel mapping type」의 8 비트 필드를 구성하고 있고, 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 매핑 타입이 나타내어진다. 예를 들어, 도 19에 도시하는 바와 같이, 「00000001」은 타입 1(Type-1)을 나타내고, 「00000010」은 타입 2(Type-2)를 나타내고, 「00000011」은 타입 3(Type-3)을 나타내고, 「00000100」은 타입 4(Type-4)를 나타내고 있다.
이 경우, 각 타입에는, 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치가 미리 정의되어 있다. 예를 들어, 도 20에 도시하는 바와 같이, 타입 1(Type-1)의 경우, 제0, 1, 2, 3의 채널 촉각 제시 신호는, 각각, 가슴 좌측(Chest left), 가슴 우측(Chest right), 복부 좌측(Stomach left), 복부 우측(Stomach right)을 대상으로 하고, 타입 2(Type-2)의 경우, 제0, 1, 2, 3의 채널 촉각 제시 신호는, 각각, 가슴 좌측, 가슴 우측, 소파 좌측(Sofa left), 소파 우측(Sofa right)을 대상으로 하고, 타입 3(Type-3)의 경우, 제0, 1, 2, 3의 채널 촉각 제시 신호는, 각각, 복부 좌측, 복부 우측, 소파 좌측, 소파 우측을 대상으로 하고, 타입 4(Type-4)의 경우, 제0, 1, 2, 3의 채널 촉각 제시 신호는, 각각, 가슴 좌측, 복부 좌측, 소파 좌측을 대상으로 하고, 제3 채널은 N.A.(not available)인 것을 나타낸다.
「제2 방법」
제2 방법은, 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를, 채널 얼로케이션의 해당하는 비트에 플래그를 설정하는 것에 의해 지정하는 방법이다.
도 21은 IEC 60958 규격에 있어서의 채널 스테이터스의 포맷을 개략적으로 도시하고 있다. 이 도 21에 있어서, 도 18과 대응하는 부분에 대해서는, 적절히, 그 설명을 생략한다.
제44 비트 내지 제47 비트(bit 44-47)는, 「Multichannel Count」의 4 비트 필드를 구성하고 있고, 멀티채널 그룹에 포함되는 서브프레임의 수가 나타내어진다. 여기서는, 멀티채널 그룹에 포함되는 서브프레임의 수가 「6」인 것이 나타내어진다.
또한, 제53 비트 내지 제60 비트는, 「Multichannel configuration value」의 8 비트 필드를 구성하고 있고, 멀티채널 서브그룹의 구성이 나타내어진다. 여기서는, 2 채널 스테레오 오디오 신호 및 4 채널의 촉각 제시 신호로 이루어지는 6 채널의 신호 구성인 것이 나타내어진다.
또한, 제x 바이트의 제xx 비트 내지 제xx+7 비트는, 「Haptic channel 0 allocation」의 8 비트 필드를 구성하고 있고, 제0 채널의 촉각 제시 신호의 채널 얼로케이션이 나타내어진다. 예를 들어, 도 22, 도 23에 도시하는 바와 같이, 제xx 비트, 제xx+1 비트, 제xx+2 비트, 제xx+3 비트, 제xx+4 비트, 제xx+5 비트는, 각각, 가슴 좌측(Chest left), 가슴 우측(Chest right), 복부 좌측(Stomach left), 복부 우측(Stomach right), 소파 좌측(Sofa left), 소파 우측(Sofa right)의 진동 위치에 대응하고, 해당하는 비트에 플래그를 설정하는, 즉 "1"을 세트하는 것에 의해 제0 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치가 지정된다.
또한, 제x+1 바이트의 제xx+8 비트 내지 제xx+15 비트는, 「Haptic channel 1 allocation」의 8 비트 필드를 구성하고 있고, 제1 채널의 촉각 제시 신호의 채널 얼로케이션이 나타내어진다. 예를 들어, 도 22, 도 23에 도시하는 바와 같이, 제xx+8 비트, 제xx+9 비트, 제xx+10 비트, 제xx+11 비트, 제xx+12 비트, 제xx+13 비트는, 각각, 가슴 좌측(Chest left), 가슴 우측(Chest right), 복부 좌측(Stomach left), 복부 우측(Stomach right), 소파 좌측(Sofa left), 소파 우측(Sofa right)의 촉각 제시 위치에 대응하고, 해당하는 비트에 플래그를 설정하는, 즉 "1"을 세트하는 것에 의해 제1 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치가 지정된다.
또한, 제x+2 바이트의 제xx+16 비트 내지 제xx+23 비트는, 「Haptic channel 2 allocation」의 8 비트 필드를 구성하고 있고, 제2 채널의 촉각 제시 신호의 채널 얼로케이션이 나타내어진다. 예를 들어, 도 22, 도 23에 도시하는 바와 같이, 제xx+16 비트, 제xx+17 비트, 제xx+18 비트, 제xx+19 비트, 제xx+20 비트, 제xx+21 비트는, 각각, 가슴 좌측(Chest left), 가슴 우측(Chest right), 복부 좌측(Stomach left), 복부 우측(Stomach right), 소파 좌측(Sofa left), 소파 우측(Sofa right)의 진동 위치에 대응하고, 해당하는 비트에 플래그를 설정하는, 즉 "1"을 세트하는 것에 의해 제2 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치가 지정된다.
또한, 제x+3 바이트의 제xx+24 비트 내지 제xx+31 비트는, 「Haptic channel 3 allocation」의 8 비트 필드를 구성하고 있고, 제3 채널의 촉각 제시 신호의 채널 얼로케이션이 나타내어진다. 예를 들어, 도 22, 도 23에 도시하는 바와 같이, 제xx+24 비트, 제xx+25 비트, 제xx+26 비트, 제xx+27 비트, 제xx+28 비트, 제xx+29 비트는, 각각, 가슴 좌측(Chest left), 가슴 우측(Chest right), 복부 좌측(Stomach left), 복부 우측(Stomach right), 소파 좌측(Sofa left), 소파 우측(Sofa right)의 진동 위치에 대응하고, 해당하는 비트에 플래그를 설정하는, 즉 "1"을 세트하는 것에 의해 제3 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치가 지정된다.
「제3 방법」
제3 방법은, 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를, 그 촉각 제시 위치에 미리 정의되어 있는 번호로 지정하는 방법이다.
도 24는 IEC 60958 규격에 있어서의 채널 스테이터스의 포맷을 개략적으로 도시하고 있다. 이 도 24에 있어서, 도 18과 대응하는 부분에 대해서는, 적절히, 그 설명을 생략한다.
제44 비트 내지 제47 비트(bit 44-47)는, 「Multichannel Count」의 4 비트 필드를 구성하고 있고, 멀티채널 그룹에 포함되는 서브프레임의 수가 나타내어진다. 여기서는, 멀티채널 그룹에 포함되는 서브프레임의 수가 「6」인 것이 나타내어진다.
또한, 제53 비트 내지 제60 비트는, 「Multichannel configuration value」의 8 비트 필드를 구성하고 있고, 멀티채널 서브그룹의 구성이 나타내어진다. 여기서는, 2 채널 스테레오 오디오 신호 및 4 채널의 촉각 제시 신호로 이루어지는 6 채널의 신호 구성인 것이 나타내어진다.
또한, 제x 바이트의 제xx 비트 내지 xx+3 비트는, 「Haptic channel 0 position number_1」의 4 비트 필드를 구성하고 있고, 제0 채널의 촉각 제시 신호가 대상으로 하는 제1 번째의 촉각 제시 위치의 포지션 번호가 나타내어지고, 제x 바이트의 제xx+4 비트 내지 xx+7 비트는, 「Haptic channel 0 position number_2」의 4 비트 필드를 구성하고 있고, 제0 채널의 촉각 제시 신호가 대상으로 하는 제2 번째의 촉각 제시 위치의 포지션 번호가 나타내어진다.
도 25는 포지션 번호와 촉각 제시 위치의 대응 관계의 일례를 도시하고 있다. 예를 들어, 포지션 번호 「0000」은 가슴 좌측(Chest left)을 나타내고, 포지션 번호 「0001」은 가슴 우측(Chest right)을 나타내고, 포지션 번호 「0010」은 복부 좌측(Stomach left)을 나타내고, 포지션 번호 「0011」은 복부 우측(Stomach right)을 나타내고, 포지션 번호 「0100」은 소파 좌측(Sofa left)을 나타내고, 포지션 번호 「0101」은 소파 우측(Sofa right)을 나타낸다. 또한, 대상의 촉각 제시 위치가 없는 경우에는, 예를 들어 「1111」로 된다.
또한, 제x+1 바이트의 제xx+8 비트 내지 xx+11 비트는, 「Haptic channel 1 position number_1」의 4 비트 필드를 구성하고 있고, 제1 채널의 촉각 제시 신호가 대상으로 하는 제1 번째의 촉각 제시 위치의 포지션 번호가 나타내어지고, 제x+1 바이트의 제xx+12 비트 내지 xx+15 비트는, 「Haptic channel 1 position number_2」의 4 비트 필드를 구성하고 있고, 제1 채널의 촉각 제시 신호가 대상으로 하는 제2 번째의 촉각 제시 위치의 포지션 번호가 나타내어진다.
또한, 제x+2 바이트의 제xx+16 비트 내지 xx+19 비트는, 「Haptic channel 2 position number_1」의 4 비트 필드를 구성하고 있고, 제2 채널의 촉각 제시 신호가 대상으로 하는 제1 번째의 촉각 제시 위치의 포지션 번호가 나타내어지고, 제x+2 바이트의 제xx+20 비트 내지 xx+23 비트는, 「Haptic channel 2 position number_2」의 4 비트 필드를 구성하고 있고, 제2 채널의 촉각 제시 신호가 대상으로 하는 제2 번째의 촉각 제시 위치의 포지션 번호가 나타내어진다.
또한, 제x+3 바이트의 제xx+24 비트 내지 xx+27 비트는, 「Haptic channel 3 position number_1」의 4 비트 필드를 구성하고 있고, 제3 채널의 촉각 제시 신호가 대상으로 하는 제1 번째의 촉각 제시 위치의 포지션 번호가 나타내어지고, 제x+3 바이트의 제xx+28 비트 내지 xx+31 비트는, 「Haptic channel 3 position number_2」의 4 비트 필드를 구성하고 있고, 제3 채널의 촉각 제시 신호가 대상으로 하는 제2 번째의 촉각 제시 위치의 포지션 번호가 나타내어진다.
상술한 바와 같이, 도 1에 도시하는 AV 시스템(10)에서는, 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하는 전송 신호에 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 부가하여, 텔레비전 수신기(100)로부터 오디오 앰프(200)로 송신하는 것이다. 그 때문에, 수신 측에서는, 메타데이터에 기초하여, 소정 채널 수의 촉각 제시 신호를, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력할 수 있고, 전송할 수 있는 촉각 제시 신호의 채널 수보다 많은 위치에서의 촉각 제시가 가능하게 된다.
또한, 도 1에 도시하는 AV 시스템(10)에서는, 전송 신호에 부가되는 메타데이터를, 예를 들어 콘텐츠 내의 씬에 동기하여 동적으로 변경하여, 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 동적으로 변화시킬 수 있다. 이에 의해, 수신 측에서는, 소정 채널 수의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치를 메타데이터에 기초하여 동적으로 변화시키는 것이 가능하게 되어, 효과적인 촉각 제시를 할 수 있다.
<2. 변형예>
또한, 상술 실시 형태에서는, 오디오비주얼 콘텐츠 재생의 일례로서, 촉각 제시 위치(촉각 제시 디바이스)가 가슴 좌측, 가슴 우측, 복부 좌측, 복부 우측, 소파 좌측, 소파 우측의 6개소 존재하는 경우에 대하여 설명하였다(도 8, 도 9 참조).
도 26은 오디오비주얼 콘텐츠 재생의 다른 일례를 도시하고 있다. 이 예는, 촉각 제시 위치(촉각 제시 디바이스)가 머리 앞 「Head front」, 머리 뒤 「Head back」, 머리 좌측 「Head left」, 머리 우측 「Head right」, 어깨 좌측 「Shoulder left」, 어깨 우측 「Shoulder right」, 손 좌측 「Hand left」, 손 우측 「Hand right」, 손목 좌측 「Wrist left」, 손목 우측 「Wrist right」, 가슴 상부 좌측 「Chest upper-left」, 가슴 상부 우측 「Chest upper-right」, 가슴 하부 좌측 「Chest lower-left」, 가슴 하부 우측 「Chest lower-right」, 복부 좌측 「Stomach left」, 복부 우측 「Stomach right」, 등 상부 좌측 「Back upper-left」, 등 상부 우측 「Back upper-right」, 등 하부 좌측 「Back lower-left」, 등 하부 우측 「Back lower-right」, 무릎 좌측 「Knee left」, 무릎 우측 「Knee right」, 발 좌측 「Foot left」 및 발 우측 「Foot right」의 24개소 존재하는 경우의 예이다. 또한, 도 26에 있어서, 동그라미 숫자의 0, 1, 2 및 3은, 각각, 제0 채널, 제1 채널, 제2 채널 및 제3 채널을 나타내고 있다.
씬 1(Scene-1)에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 각각, 무릎 좌측, 무릎 우측, 발 좌측, 발 우측의 촉각 제시 위치를 대상으로 한다. 또한, 씬 2(Scene-2)에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 각각, 무릎 좌측, 무릎 우측, 복부 좌측, 복부 우측의 촉각 제시 위치를 대상으로 한다. 또한, 씬 3(Scene-3)에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 각각, 가슴 하부 좌측, 가슴 하부 우측, 복부 좌측, 복부 우측의 촉각 제시 위치를 대상으로 한다.
또한, 씬 4(Scene-4)에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 각각, 가슴 하부 좌측, 가슴 하부 우측, 가슴 상부 좌측, 가슴 상부 우측의 촉각 제시 위치를 대상으로 한다. 또한, 씬(5)(Scene-5)에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 각각, 어깨 좌측, 어깨 우측, 가슴 하부 좌측, 가슴 하부 우측의 촉각 제시 위치를 대상으로 한다. 또한, 씬(6)(Scene-6)에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 각각, 어깨 좌측, 어깨 우측, 머리 좌측, 머리 우측의 촉각 제시 위치를 대상으로 한다. 또한, 씬 7(Scene-7)에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호는, 각각, 머리 앞, 머리 뒤, 머리 좌측, 머리 우측의 촉각 제시 위치를 대상으로 한다.
이 경우, 씬 1으로부터 씬 7로 상태가 변화해감으로써, 발로부터 머리로 씬마다 4 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치가 이동해가고, 촉각의 제시가 발로부터 머리로 순차 올라가는 감각을 미세하게 표현할 수 있다.
도 27은 오디오비주얼 콘텐츠 재생의 또 다른 일례를 도시하고 있다. 이 예는, 도 26의 예와 마찬가지로, 촉각 제시 위치(촉각 제시 디바이스)가 24개소 존재하는 경우의 예이다. 또한, 도 27에 있어서, 동그라미 숫자의 0, 1, 2 및 3은, 각각, 제0 채널, 제1 채널, 제2 채널 및 제3 채널을 나타내고 있다.
씬 1(Scene-1)에서는, 제0 채널의 촉각 제시 신호는 머리 앞, 머리 뒤, 머리 좌측, 머리 우측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 어깨 좌측, 어깨 우측, 손 좌측, 손 우측, 손목 좌측 및 손목 우측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 가슴 상부 좌측, 가슴 상부 우측, 가슴 하부 좌측, 가슴 하부 우측, 복부 좌측, 복부 우측, 등 상부 좌측, 등 상부 우측, 등 하부 좌측 및 등 하부 우측의 촉각 제시 위치를 대상으로 하고, 제3 채널의 촉각 제시 신호는 무릎 좌측, 무릎 우측, 발 좌측 및 발 우측의 촉각 제시 위치를 대상으로 한다. 이에 의해, 씬 1에서는, 모든 촉각 제시 위치가 제0 채널로부터 제3 채널까지의 촉각 제시 신호 중 어느 것의 대상으로 되고, 예를 들어, 전신에 충격을 주는 촉각 제시를 행할 수 있다.
또한, 씬 2(Scene-2)에서는, 제0 채널의 촉각 제시 신호는 가슴 상부 좌측 및 가슴 상부 우측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 가슴 하부 좌측 및 가슴 하부 우측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 복부 좌측 및 복부 우측의 촉각 제시 위치를 대상으로 하고, 제3 채널의 촉각 제시 신호는 무릎 좌측 및 무릎 우측의 촉각 제시 위치를 대상으로 한다. 이에 의해, 씬 2에서는, 가슴 상부, 가슴 하부, 복부 및 무릎에 각각 상이한 촉각을 줌으로써, 예를 들어, 전신을 상부에서 하부로, 혹은 하부에서 상부로 이동하는 촉각 제시를 행할 수 있다.
또한, 씬 3(Scene-3)에서는, 제0 채널의 촉각 제시 신호는 머리 좌측, 어깨 좌측, 손 좌측, 손목 좌측, 가슴 상부 좌측, 가슴 하부 좌측, 복부 좌측, 등 상부 좌측, 등 하부 좌측, 무릎 좌측 및 발 좌측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 머리 우측, 어깨 우측, 손 우측, 손목 우측, 가슴 상부 우측, 가슴 하부 우측, 복부 우측, 등 상부 우측, 등 하부 우측, 무릎 우측 및 발 우측의 촉각 제시 위치를 대상으로 한다. 이에 의해, 좌측과 우측에 상이한 촉각 제시 신호를 적용시킴으로써, 전신을 좌측에서 우측으로, 혹은 우측에서 좌측으로 이동하는 촉각 제시를 행할 수 있다.
또한, 씬 4(Scene-4)에서는, 제0 채널의 촉각 제시 신호는 가슴 상부 좌측, 가슴 상부 우측, 가슴 하부 좌측, 가슴 하부 우측, 복부 좌측 및 복부 우측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 가슴 상부 좌측 및 가슴 상부 우측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 무릎 좌측 및 무릎 우측의 촉각 제시 위치를 대상으로 하고, 제3 채널의 촉각 제시 신호는 발 좌측 및 발 우측의 촉각 제시 위치를 대상으로 한다. 이에 의해, 가슴 상부 좌측 및 가슴 상부 우측은 제0 채널의 촉각 제시 신호 및 제1 채널의 촉각 제시 신호의 대상이라는 점에서, 상반신에는 복잡한 충격을 주고, 무릎, 발에는 다른 충격을 주도록 촉각 제시를 행할 수 있다.
도 28은 오디오비주얼 콘텐츠 재생의 또 다른 일례를 도시하고 있다. 이 예는, 촉각 제시 위치(촉각 제시 디바이스)가 머리 앞 「Head front」, 머리 뒤 「Head back」, 머리 좌측 「Head left」, 머리 우측 「Head right」, 어깨 좌측 「Shoulder left」, 어깨 우측 「Shoulder right」, 손 좌측 「Hand left」, 손 우측 「Hand right」, 손목 좌측 「Wrist left」, 손목 우측 「Wrist right」, 가슴 상부 좌측 「Chest upper-left」, 가슴 상부 우측 「Chest upper-right」, 가슴 하부 좌측 「Chest lower-left」, 가슴 하부 우측 「Chest lower-right」, 복부 좌측 「Stomach left」, 복부 우측 「Stomach right」, 등 상부 좌측 「Back upper-left」, 등 상부 우측 「Back upper-right」, 등 하부 좌측 「Back lower-left」, 등 하부 우측 「Back lower-right」, 무릎 좌측 「Knee left」, 무릎 우측 「Knee right」, 발 좌측 「Foot left」, 발 우측 「Foot right」의 24개소 외에, 소파·백레스트 좌측 「Sofa backrest left」, 소파·백레스트 우측 「Sofa backrest right」, 소파·시트·프론트 좌측 「Sofa seat front left」, 소파·시트·프론트 우측 「Sofa seat front right」, 소파·시트·백 좌측 「Sofa seat back left」, 소파·시트·백 우측 「Sofa seat back right」, 플로어·프론트 좌측 「Floor front left」, 플로어·프론트 우측 「Floor front right」, 플로어·백 좌측 「Floor back left」, 플로어·백 우측 「Floor back right」, 테이블 좌측 「Table left」, 테이블 우측 「Table right」, 테이블 먼 곳 좌측 「Table far left」, 테이블 먼 곳 우측 「Table far right」, 컨트롤러 좌측 「Controller left」, 컨트롤러 우측 「controller right」, 쿠션 A 「Cushion A」 및 쿠션 B 「Cushion B」의 18개소 존재하는 경우의 예이다. 또한, 도 28에 있어서, 동그라미 숫자의 0, 1, 2 및 3은, 각각, 제0 채널, 제1 채널, 제2 채널 및 제3 채널을 나타내고 있다.
씬 1(Scene-1)에서는, 제0 채널의 촉각 제시 신호는 플로어·프론트 좌측 및 플로어·프론트 우측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 플로어·백 좌측 및 플로어·백 우측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 발 좌측 및 발 우측의 촉각 제시 위치를 대상으로 하고, 제3 채널의 촉각 제시 신호는 소파·시트·프론트 좌측, 소파·시트·프론트 우측, 소파·시트·백 좌측 및 소파·시트·백 우측의 촉각 제시 위치를 대상으로 한다. 이 경우, 예를 들어, 발밑이나 아래로부터를 중시한, 땅울림의 촉각 제시를 행할 수 있다.
또한, 씬 2(Scene-2)에서는, 제0 채널의 촉각 제시 신호는 컨트롤러 좌측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 컨트롤러 우측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 가슴 상부 좌측, 가슴 하부 좌측 및 복부 좌측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 가슴 상부 우측, 가슴 하부 우측 및 복부 우측의 촉각 제시 위치를 대상으로 한다. 이 경우, 예를 들어, 아이템을 파지한 액션 씬에 대응한 촉각 제시를 행할 수 있다.
또한, 씬 3(Scene-3)에서는, 제0 채널의 촉각 제시 신호는 테이블 좌측 및 테이블 먼 곳 좌측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 테이블 우측 및 테이블 먼 곳 우측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 소파·백레스트 좌측의 촉각 제시 위치를 대상으로 하고, 제3 채널의 촉각 제시 신호는 소파·백레스트 우측의 촉각 제시 위치를 대상으로 한다. 이 경우, 예를 들어, 테이블에 손을 둠으로써, 호러의 연출을 행할 수 있다.
또한, 씬 4(Scene-4)에서는, 제0 채널의 촉각 제시 신호는 소파·백레스트 좌측 및 소파·시트·백 좌측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 소파·백레스트 우측 및 소파·시트·백 우측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 소파·시트·프론트 좌측의 촉각 제시 위치를 대상으로 하고, 제3 채널의 촉각 제시 신호는 소파·시트·프론트 우측의 촉각 제시 위치를 대상으로 한다. 이 경우, 예를 들어, 시트로부터의 진동을 받는, 라이드형 씬에 대응한 촉각 제시를 행할 수 있다.
또한, 씬(5)(Scene-5)에서는, 제0 채널의 촉각 제시 신호는 쿠션 A의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 쿠션 B의 촉각 제시 위치를 대상으로 한다. 이 경우, 예를 들어, 쿠션을 자유롭게 진동시켜, 릴랙스 씬에 대응한 촉각 제시를 행할 수 있다.
또한, 씬(6)(Scene-6)에서는, 제0 채널의 촉각 제시 신호는 소파·백레스트 좌측, 소파·시트·프론트 좌측 및 소파·시트·백 좌측의 촉각 제시 위치를 대상으로 하고, 제1 채널의 촉각 제시 신호는 소파·백레스트 우측, 소파·시트·프론트 우측 및 소파·시트·백 우측의 촉각 제시 위치를 대상으로 하고, 제2 채널의 촉각 제시 신호는 가슴 상부 좌측, 가슴 하부 좌측 및 복부 좌측의 촉각 제시 위치를 대상으로 하고, 제3 채널의 촉각 제시 신호는 가슴 상부 우측, 가슴 하부 우측 및 복부 우측의 촉각 제시 위치를 대상으로 한다. 이 경우, 예를 들어, 저음을 신체로 체감할 수 있는 음악 시청에 대응한 촉각 제시를 행할 수 있다.
또한, 상술한 실시 형태에서는, 제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 부가하는 예를 나타내었다. 예를 들어, 제1 방법에서는, 4 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치가 매핑 타입으로 지정된다(도 18 내지 도 20 참조). 이 경우, 조합의 많음으로 인해, 타입 수가 과대해질 가능성이 있다.
제0 채널, 제1 채널, 제2 채널 및 제3 채널의 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터를 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 부가하는 것이 아니라, 도 29에 도시하는 바와 같이, 4 채널의 촉각 제시 신호의 각각에 부가하는 것도 생각할 수 있다.
이 경우, 각 채널의 촉각 제시 신호에, 촉각 제시 위치 지정 플래그가 부여된다. 각각의 채널의 촉각 제시 위치 지정 플래그는, 지정 가능한 촉각 제시 위치의 수분의 파트로 구성된다. 도시의 예는, 지정 가능한 촉각 제시 위치의 수가 24개소 있는 경우이고, 파트 1(Part 0) 내지 파트 23(Part 23)이 있다. 도 30은 파트와 촉각 제시 위치의 대응 관계의 일례를 도시하고 있다. 이 경우, 각각의 채널에 있어서 해당하는 파트에 "1"을 설정하는 것에 의해, 그 채널의 촉각 제시 신호가 대상으로 하는 1개 또는 복수의 촉각 제시 위치를 지정할 수 있다.
도 31은 상술한 도 27의 예의 씬 1에서의 각 파트의 상태(플래그 구성)를 도시하고 있다. 또한, 도 32는 상술한 도 27의 예의 씬 4에서의 각 파트의 상태(플래그 구성)를 도시하고 있다.
또한, 상술한 실시 형태에서는, 1개의 콘텐츠 중에서 씬에 동기하여 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 전환하는 예를 나타내었다. 그러나, 1개의 콘텐츠에서는 씬에 관계없이 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치가 고정이고, 콘텐츠에 따라 4 채널의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치가 전환되는 예도 생각할 수 있다.
예를 들어, 도 33의 (a1)에 도시하는 바와 같은 복싱 시합의 콘텐츠에서는, 상반신 앞면에 대한 촉각 제시의 표현력을 중시하여, 도 33의 (a2)에 도시하는 바와 같이, 제0 채널, 제1 채널, 제2 채널, 제3 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치를, 각각, 가슴 우측, 가슴 좌측, 복부 우측, 복부 좌측으로 한다. 이에 의해, 우측 가슴에 충격을 제시한 후에 좌측 복부에 충격을 제시하는, 등, 상반신 앞면 내에서 미세한 촉각 표현이 가능해진다.
또한, 도 33의 (b1)에 도시하는 바와 같은 액션계의 영화 콘텐츠에서는, 상반신의 앞뒷면에 대한 촉각 제시의 표현력을 중시하여, 도 33의 (a2)에 도시하는 바와 같이, 제0 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치를 가슴 우측, 가슴 좌측으로 하고, 제1 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치를 복부 우측, 복부 좌측으로 하고, 제2 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치를 등 상부 우측, 등 상부 좌측으로 하고, 제3 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치를 등 하부 우측, 등 하부 좌측으로 한다. 이에 의해, 감촉이 상반신의 위아래로 이동해가는 감각이나, 앞뒤로 빠져나가는 감촉을 표현할 수 있다.
상기 예의 경우, 콘텐츠의 제2 채널 및 제3 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치는 등 상부와 등 하부로 나누어져 있다. 그러나, 단말기 측(오디오 앰프(200) 측)에서는 촉각 제시 위치가 상하로 나누어져 있지 않은 경우도 상정된다. 그 경우에는, 단말기 측의 촉각 제시 위치 정보를 소스 측(텔레비전 수신기(100)) 측에 보내고, 소스 측에서 제2 채널 및 제3 채널의 촉각 제시 신호에 다운 믹스 처리를 실시하고, 그 처리 후의 촉각 제시 신호를 단말기 측에 보내는 것도 생각할 수 있다. 이 경우, 다운 믹스 처리된 촉각 제시 신호에 의해, 등의 좌우 촉각 제시 위치에서 촉각 제시 재생이 행해진다. 또한, 이 경우, 다운 믹스 처리를 단말기 측에서 행하는 것도 생각할 수 있다.
또한, 상술한 실시 형태에서는, 메타데이터에 의해 지정되는 각 채널의 촉각 제시 신호가 대상으로 하는 촉각 제시 위치가 오디오 앰프(200) 측(단말기 측)에 구비되어 있는 것으로서 설명하였다. 그러나, 오디오 앰프(200) 측에, 텔레비전 수신기(100) 측(소스 측)이 상정하는 촉각 제시 위치가 구비되어 있지 않은 경우도 생각할 수 있다.
그 경우에는, 도 34에 도시하는 바와 같이, 오디오 앰프(200) 측으로부터 텔레비전 수신기(100) 측에, 무엇인가의 수단, 예를 들어 HDMI의 통신 라인 등을 사용하여, 촉각 제시 위치 정보(촉각 제시 디바이스 정보)를 통지하고, 텔레비전 수신기(100) 측에서는 그 촉각 제시 위치 정보에 기초하여, 오디오 앰프(200) 측이 실제로 구비하는 촉각 제시 위치에 맞추어 처리된 촉각 제시 신호 및 메타데이터를 송신하도록 해도 된다.
이 처리는, 텔레비전 수신기(100)에 있어서, 예를 들어, 시스템 컨트롤러(105)의 제어 하에, SPDIF 송신 회로(104)에 의해 행해진다. 이 처리에는, 복수의 채널의 촉각 제시 신호를 모두 더하여 가까운 장소의 촉각 제시 위치를 대상으로 하는 처리(다운 믹스 처리)나, 적당한 촉각 제시 위치가 없는 채널의 촉각 제시 신호를 파기하는 처리나, 나아가 해당하는 촉각 제시 위치가 없는 채널의 촉각 제시 신호를 가까운 위치 중 하나 또는 복수의 촉각 제시 위치로 배분하는 처리 등이 포함된다.
도 35는 처리의 일례를 도시하고 있다. 콘텐츠의 촉각 제시 개소(촉각 제시 위치))로서 베스트(Vest)와 소파(Sofa)가 있는 것으로 한다. 단말기 측(오디오 앰프(200) 측)으로부터의 촉각 제시 위치 정보에서는 촉각 제시 위치로서 베스트와 소파가 있는 경우, SPDIF 송신 회로(104)는 베스트나 소파를 촉각 제시 위치로 하는 소정 채널의 촉각 제시 신호를 그대로 출력한다. 한편, 단말기 측(오디오 앰프(200) 측)으로부터의 촉각 제시 위치 정보에서는 촉각 제시 위치로서 베스트는 있지만 소파가 없는 경우, SPDIF 송신 회로(104)는 베스트를 촉각 제시 위치로 하는 소정 채널의 촉각 제시 신호는 그대로 출력하지만, 소파를 촉각 제시 위치로 하는 소정 채널의 촉각 제시 신호에 관해서는 촉각 제시 위치를 베스트로 변경하는 처리를 하여 출력한다.
또한, 상술한 실시 형태에서는, 멀티채널 오디오 신호는 2 채널 스테레오 오디오 신호이고, 소정 채널 수의 촉각 제시 신호는 4 채널의 촉각 제시 신호인 예를 설명했지만, 본 기술의 적용은 이 조합에 한정되지는 않는다.
또한 상술한 실시 형태에서는, 촉각 제시 신호로서 주로 진동 등의 표현을 사용하는 것을 상정한 예를 설명했지만, 본 기술의 적용은 그에 한정되는 것은 아니며, 열감이나 압감 등이 표현되는 경우도 있다.
또한, 상술한 실시 형태에서는, IEC 60958 전송로로서 HDMI ARC를 이용하는 예를 나타냈지만, IEC 60958 전송로로서, 동축 케이블이나 광케이블을 이용하는 예도 생각할 수 있다. 또한, IEC 60958 전송로로서, HDMI 전송로를 이용하는 예도 생각할 수 있다. 이 경우, SPDIF 신호(IEC 60958 신호)는 오디오 샘플 패킷(audio sample packet)에 매핑되어, 비디오 전송과 동일한 순방향으로 전송된다. 마찬가지로, IEC 60958 전송로로서, IEC 61883-6 전송으로, MHL 전송로, 디스플레이 포트 전송로(DP 전송로) 등을 이용하는 예도 생각할 수 있다. 이들 경우도, SPDIF 신호(IEC 60958 신호)는 오디오 샘플 패킷(audio sample packet)에 매핑되어, 비디오 전송과 동일한 순방향으로 전송된다.
또한, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지는 않는다. 본 개시의 기술분야에서의 통상의 지식을 가진 자라면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명확하여, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것으로서 한정적이지는 않다. 즉, 본 개시에 관한 기술은, 상기의 효과와 함께 또는 상기의 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명백한 다른 효과를 발휘할 수 있다.
또한, 기술은, 이하와 같은 구성도 취할 수 있다.
(1) 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를 생성하는 전송 신호 생성부와,
소정 전송로를 통해 상기 전송 신호를 수신 측으로 송신하는 송신부를 구비하는
송신 장치.
(2) 상기 전송 신호 생성부는, 상기 메타데이터를 동적으로 변경하여, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 동적으로 변화시키는
상기 (1)에 기재된 송신 장치.
(3) 상기 전송 신호 생성부는, 상기 메타데이터를 제1 상태로부터 제2 상태로 변경할 때, 상기 소정 채널 수의 촉각 제시 신호에 대하여 페이드아웃·페이드인의 처리를 하는
상기 (1) 또는 (2)에 기재된 송신 장치.
(4) 상기 전송 신호 생성부는, 상기 메타데이터를 제1 상태로부터 제2 상태로 변경할 때, 상기 소정 채널 수의 촉각 제시 신호에 대하여 뮤트 신호를 삽입하는
상기 (1) 또는 (2)에 기재된 송신 장치.
(5) 상기 전송 신호 생성부는, 상기 메타데이터를, 상기 오디오 신호에 관한 콘텐츠의 씬에 동기하여 동적으로 변경하는
상기 (2) 내지 (4) 중 어느 것에 기재된 송신 장치.
(6) 상기 메타데이터는, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치로서, 0개, 1개 또는 복수의 촉각 제시 위치를 지정하는
상기 (1) 내지 (5) 중 어느 것에 기재된 송신 장치.
(7) 상기 전송 신호는, 복수 프레임으로 이루어지는 블록마다의 전송 신호이고,
상기 송신부는, 상기 블록마다의 전송 신호를 순차적으로 상기 소정 전송로를 통해 상기 수신 측으로 송신하고,
상기 전송 신호 생성부는, 상기 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 상기 메타데이터를 부가하는
상기 (1) 내지 (6) 중 어느 것에 기재된 송신 장치.
(8) 상기 복수 프레임은, 소정수의 프레임으로 이루어지는 멀티채널 그룹의 반복으로 구성되고,
상기 송신부는, 상기 소정 채널 수의 오디오 신호 및 상기 소정 채널 수의 촉각 제시 신호를, 상기 멀티채널 그룹마다, 상기 소정수의 프레임의 전부 또는 일부에 채널별로 시분할적으로 배치하여 송신하는
상기 (7)에 기재된 송신 장치.
(9) 상기 소정 전송로는, 동축 케이블, 광케이블, 이더넷(IEC 61883-6) 케이블, HDMI 케이블, MHL 케이블 또는 디스플레이 포트 케이블인
상기 (1) 내지 (8) 중 어느 것에 기재된 송신 장치.
(10) 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를 생성하는 수순과,
소정 전송로를 통해 상기 전송 신호를 수신 측으로 송신하는 수순을 갖는
송신 방법.
(11) 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를, 송신 측으로부터 소정 전송로를 통해 수신하는 수신부와,
상기 전송 신호로부터 상기 소정 채널의 오디오 신호를 취출하여 출력함과 함께, 상기 전송 신호로부터 상기 소정 채널의 촉각 제시 신호를 취출하고, 해당 소정 채널의 촉각 제시 신호 각각을, 상기 메타데이터에 기초하여, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력하는 처리부를 구비하는
수신 장치.
(12) 상기 처리부는, 상기 메타데이터가 제1 상태로부터 제2 상태로 변경될 때, 상기 소정 채널 수의 촉각 제시 신호에 대하여 페이드아웃·페이드인의 처리를 하는
상기 (11)에 기재된 수신 장치.
(13) 상기 처리부는, 상기 메타데이터가 제1 상태로부터 제2 상태로 변경될 때, 상기 소정 채널 수의 촉각 제시 신호에 대하여 뮤트 신호를 삽입하는
상기 (11)에 기재된 수신 장치.
(14) 상기 전송 신호는, 복수 프레임으로 이루어지는 블록마다의 전송 신호이고,
상기 수신부는, 상기 블록마다의 전송 신호를 상기 송신 측으로부터 순차적으로 상기 소정 전송로를 통해 수신하고,
상기 메타데이터는, 상기 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 부가되어 있는
상기 (11) 내지 (13) 중 어느 것에 기재된 수신 장치.
(15) 상기 복수 프레임은, 소정수의 프레임으로 이루어지는 멀티채널 그룹의 반복으로 구성되고,
상기 소정 채널 수의 오디오 신호 및 상기 소정 채널 수의 촉각 제시 신호는, 상기 멀티채널 그룹마다, 상기 소정수의 프레임의 전부 또는 일부에 채널별로 시분할적으로 배치되어 있는
상기 (14)에 기재된 수신 장치.
(16) 상기 메타데이터는, 상기 오디오 신호에 관한 콘텐츠의 씬에 동기하여 동적으로 변경되어 있는
상기 (11) 내지 (15) 중 어느 것에 기재된 수신 장치.
(17) 상기 메타데이터는, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치로서, 0개, 1개 또는 복수의 촉각 제시 위치를 지정하는
상기 (11) 내지 (16) 중 어느 것에 기재된 수신 장치.
(18) 상기 소정 전송로는, 동축 케이블, 광케이블, 이더넷(IEC 61883-6) 케이블, HDMI 케이블, MHL 케이블 또는 디스플레이 포트 케이블인
상기 (11) 내지 (17) 중 어느 것에 기재된 수신 장치.
(19) 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를, 송신 측으로부터 소정 전송로를 통해 수신하는 수순과,
상기 전송 신호로부터 상기 소정 채널의 오디오 신호를 취출하여 출력함과 함께, 상기 전송 신호로부터 상기 소정 채널의 촉각 제시 신호를 취출하고, 해당 소정 채널의 촉각 제시 신호 각각을, 상기 메타데이터에 기초하여, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력하는 수순을 갖는
수신 방법.
10: AV 시스템
100: 텔레비전 수신기
101: HDMI 단자
102: HDMI 수신부
103: 고속 버스 인터페이스
104: SPDIF 송신 회로
105: 시스템 컨트롤러
107: 디지털 방송 수신 회로
108: 콘텐츠 재생 회로
109: 표시부
110: 이더넷 인터페이스
111: 촉각 제시 신호 생성부
121: 수신 안테나
122: BD 플레이어
123: 인터넷
200: 오디오 앰프
201: HDMI 단자
202: HDMI 송신부
203: 고속 버스 인터페이스
204: SPDIF 수신 회로
205: 시스템 컨트롤러
206: 오디오 DA 컨버터
207: 셀렉터
208: 드라이버
210: 이더넷 인터페이스
250: 스피커 시스템
251: 헤드폰
260: 촉각 제시 시스템
261: 촉각 제시 베스트
262: 촉각 제시 소파
300: HDMI 케이블

Claims (19)

  1. 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를 생성하는 전송 신호 생성부와,
    소정 전송로를 통해 상기 전송 신호를 수신 측으로 송신하는 송신부를 구비하는
    송신 장치.
  2. 제1항에 있어서,
    상기 전송 신호 생성부는, 상기 메타데이터를 동적으로 변경하여, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 동적으로 변화시키는
    송신 장치.
  3. 제2항에 있어서,
    상기 전송 신호 생성부는, 상기 메타데이터를 제1 상태로부터 제2 상태로 변경할 때, 상기 소정 채널 수의 촉각 제시 신호에 대하여 페이드아웃·페이드인의 처리를 하는
    송신 장치.
  4. 제2항에 있어서,
    상기 전송 신호 생성부는, 상기 메타데이터를 제1 상태로부터 제2 상태로 변경할 때, 상기 소정 채널 수의 촉각 제시 신호에 대하여 뮤트 신호를 삽입하는
    송신 장치.
  5. 제2항에 있어서,
    상기 전송 신호 생성부는, 상기 메타데이터를, 상기 오디오 신호에 관한 콘텐츠의 씬에 동기하여 동적으로 변경하는
    송신 장치.
  6. 제1항에 있어서,
    상기 메타데이터는, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치로서, 0개, 1개 또는 복수의 촉각 제시 위치를 지정하는
    송신 장치.
  7. 제1항에 있어서,
    상기 전송 신호는, 복수 프레임으로 이루어지는 블록마다의 전송 신호이고,
    상기 송신부는, 상기 블록마다의 전송 신호를 순차적으로 상기 소정 전송로를 통해 상기 수신 측으로 송신하고,
    상기 전송 신호 생성부는, 상기 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 상기 메타데이터를 부가하는
    송신 장치.
  8. 제7항에 있어서,
    상기 복수 프레임은, 소정수의 프레임으로 이루어지는 멀티채널 그룹의 반복으로 구성되고,
    상기 송신부는, 상기 소정 채널 수의 오디오 신호 및 상기 소정 채널 수의 촉각 제시 신호를, 상기 멀티채널 그룹마다, 상기 소정수의 프레임의 전부 또는 일부에 채널별로 시분할적으로 배치하여 송신하는
    송신 장치.
  9. 제1항에 있어서,
    상기 소정 전송로는, 동축 케이블, 광케이블, 이더넷(IEC 61883-6) 케이블, HDMI 케이블, MHL 케이블 또는 디스플레이 포트 케이블인
    송신 장치.
  10. 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를 생성하는 수순과,
    소정 전송로를 통해 상기 전송 신호를 수신 측으로 송신하는 수순을 갖는
    송신 방법.
  11. 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를, 송신 측으로부터 소정 전송로를 통해 수신하는 수신부와,
    상기 전송 신호로부터 상기 소정 채널의 오디오 신호를 취출하여 출력함과 함께, 상기 전송 신호로부터 상기 소정 채널의 촉각 제시 신호를 취출하고, 해당 소정 채널의 촉각 제시 신호 각각을, 상기 메타데이터에 기초하여, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력하는 처리부를 구비하는
    수신 장치.
  12. 제11항에 있어서,
    상기 처리부는, 상기 메타데이터가 제1 상태로부터 제2 상태로 변경될 때, 상기 소정 채널 수의 촉각 제시 신호에 대하여 페이드아웃·페이드인의 처리를 하는
    수신 장치.
  13. 제11항에 있어서,
    상기 처리부는, 상기 메타데이터가 제1 상태로부터 제2 상태로 변경될 때, 상기 소정 채널 수의 촉각 제시 신호에 대하여 뮤트 신호를 삽입하는
    수신 장치.
  14. 제11항에 있어서,
    상기 전송 신호는, 복수 프레임으로 이루어지는 블록마다의 전송 신호이고,
    상기 수신부는, 상기 블록마다의 전송 신호를 상기 송신 측으로부터 순차적으로 상기 소정 전송로를 통해 수신하고,
    상기 메타데이터는, 상기 블록마다 구성되는 채널 스테이터스의 소정 비트 영역을 사용하여 부가되어 있는
    수신 장치.
  15. 제14항에 있어서,
    상기 복수 프레임은, 소정수의 프레임으로 이루어지는 멀티채널 그룹의 반복으로 구성되고,
    상기 소정 채널 수의 오디오 신호 및 상기 소정 채널 수의 촉각 진동 신호는, 상기 멀티채널 그룹마다, 상기 소정수의 프레임의 전부 또는 일부에 채널별로 시분할적으로 배치되어 있는
    수신 장치.
  16. 제11항에 있어서,
    상기 메타데이터는, 상기 오디오 신호에 관한 콘텐츠의 씬에 동기하여 동적으로 변경되어 있는
    수신 장치.
  17. 제11항에 있어서,
    상기 메타데이터는, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치로서, 0개, 1개 또는 복수의 촉각 제시 위치를 지정하는
    수신 장치.
  18. 제11항에 있어서,
    상기 소정 전송로는, 동축 케이블, 광케이블, 이더넷(IEC 61883-6) 케이블, HDMI 케이블, MHL 케이블 또는 디스플레이 포트 케이블인
    수신 장치.
  19. 소정 채널 수의 오디오 신호와 소정 채널 수의 촉각 제시 신호를 포함하고, 상기 소정 채널 수의 촉각 제시 신호 각각이 대상으로 하는 촉각 제시 위치를 지정하는 메타데이터가 부가된 전송 신호를, 송신 측으로부터 소정 전송로를 통해 수신하는 수순과,
    상기 전송 신호로부터 상기 소정 채널의 오디오 신호를 취출하여 출력함과 함께, 상기 전송 신호로부터 상기 소정 채널의 촉각 제시 신호를 취출하고, 해당 소정 채널의 촉각 제시 신호 각각을, 상기 메타데이터에 기초하여, 대상으로 하는 촉각 제시 위치의 촉각 제시 신호로서 출력하는 수순을 갖는
    수신 방법.
KR1020227019243A 2019-12-25 2020-12-10 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR20220118411A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019235306 2019-12-25
JPJP-P-2019-235306 2019-12-25
PCT/JP2020/046175 WO2021131767A1 (ja) 2019-12-25 2020-12-10 送信装置、送信方法、受信装置および受信方法

Publications (1)

Publication Number Publication Date
KR20220118411A true KR20220118411A (ko) 2022-08-25

Family

ID=76575890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227019243A KR20220118411A (ko) 2019-12-25 2020-12-10 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (6)

Country Link
US (1) US20230004340A1 (ko)
JP (1) JP7559772B2 (ko)
KR (1) KR20220118411A (ko)
CN (1) CN114830068A (ko)
DE (1) DE112020006284T5 (ko)
WO (1) WO2021131767A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2610591A (en) * 2021-09-09 2023-03-15 Sony Interactive Entertainment Inc Apparatus, systems and methods for haptics

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
JP2015231098A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
JP6977312B2 (ja) * 2016-10-07 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP7559772B2 (ja) 2024-10-02
CN114830068A (zh) 2022-07-29
WO2021131767A1 (ja) 2021-07-01
JPWO2021131767A1 (ko) 2021-07-01
DE112020006284T5 (de) 2022-12-15
US20230004340A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
KR20110005205A (ko) 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치
US12003886B2 (en) Transmission device, transmission method, reception device, and reception method
KR20220118411A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP7439758B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2017147594A (ja) オーディオ機器
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
US12014709B2 (en) Transmission device, transmission method, reception device and reception method
WO2019225448A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2016163329A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2019225449A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR101765566B1 (ko) 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법
JP2001292460A (ja) 立体映像信号処理装置
WO2023189162A1 (ja) 送信装置、受信装置および送受信システム
US12081960B2 (en) Transmission device, transmission method, reception device, and reception method
JP6074899B2 (ja) 音データ処理装置
WO2016163327A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP2016513930A (ja) データ送信装置、データ受信装置、データ送受信システム、データ送信方法及びデータ受信方法

Legal Events

Date Code Title Description
A201 Request for examination