KR20210005573A - 표시 제어 장치, 표시 제어 방법 및 프로그램 - Google Patents

표시 제어 장치, 표시 제어 방법 및 프로그램 Download PDF

Info

Publication number
KR20210005573A
KR20210005573A KR1020207029315A KR20207029315A KR20210005573A KR 20210005573 A KR20210005573 A KR 20210005573A KR 1020207029315 A KR1020207029315 A KR 1020207029315A KR 20207029315 A KR20207029315 A KR 20207029315A KR 20210005573 A KR20210005573 A KR 20210005573A
Authority
KR
South Korea
Prior art keywords
display control
sound source
control unit
display
sound
Prior art date
Application number
KR1020207029315A
Other languages
English (en)
Inventor
카즈아키 타구치
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20210005573A publication Critical patent/KR20210005573A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 소정의 공간 내에 있어서의 상기 음원의 정위 위치의 변화를 나타내는 궤적을 표시하는 표시 제어부를 갖는 표시 제어 장치이다.

Description

표시 제어 장치, 표시 제어 방법 및 프로그램
본 개시는, 표시 제어 장치, 표시 제어 방법 및 프로그램에 관한 것이다.
복수의 스피커 유닛으로 이루어지는 어레이 스피커를 사용하여 파면 합성에 의해 음장(sound field)을 재생하는 기술이 제안되고 있다(예를 들면, 특허문헌 1을 참조). 이러한 기술을 이용하여, 마치 귓전에 음원이 있는 것과 같은 연출(오브젝트 오디오 등으로 지칭됨)이나, 에리어마다 다른 음성을 인접 에리어에서 재생되는 음성과 혼합되지 않고 명료하게 재생하는 연출(오디오 파티션 등으로 지칭됨)이 가능해진다.
특허문헌 1: 일본특허공개 2013-128314호 공보
이러한 분야에서는, 영상이나 음성(이하, 이들을 총칭하여 「컨텐츠」라고 적절히 칭함)을 제작하는 컨텐츠 제작자가 의도하는 컨텐츠를 용이하게 작성, 편집 등이 가능한 툴을 이용할 수 있는 것이 요망된다.
본 개시는, 예를 들면, 컨텐츠 제작자가 의도하는 컨텐츠를 용이하게 작성, 편집 등이 가능하도록 하는 표시 제어 장치, 표시 제어 방법 및 프로그램을 제공하는 것을 목적의 하나로 한다.
본 개시는, 예를 들면, 표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 소정의 공간 내에 있어서의 음원의 정위 위치(localization point)의 변화를 나타내는 궤적을 표시하는 표시 제어부를 갖는 표시 제어 장치이다.
본 개시는, 예를 들면, 표시부에, 어레이 스피커의 위치와, 어레이 스피커로부터 재생되는 복수의 음성에 대응하는 복수의 재생 에리어를 표시하는 표시 제어부를 갖고, 재생 에리어의 크기가 변경 가능한 표시 제어 장치이다.
본 개시는, 예를 들면, 표시 제어부가, 표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 소정의 공간 내에 있어서의 음원의 정위 위치의 변화를 나타내는 궤적을 표시하는 표시 제어 방법이다.
본 개시는, 예를 들면, 표시 제어부가, 표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 소정의 공간 내에 있어서의 음원의 정위 위치의 변화를 나타내는 궤적을 표시하는 표시 제어 방법을 컴퓨터에 실행시키는 프로그램이다.
본 개시의 적어도 일 실시형태에 의하면, 컨텐츠 제작자가 의도하는 컨텐츠를 용이하게 작성, 편집 등을 할 수 있다. 한편, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어떠한 효과이어도 된다. 또한, 예시된 효과에 의해 본 개시의 내용이 한정하여 해석되는 것은 아니다.
도 1은, 실시형태에 따른 재생 시스템의 구성예를 나타내는 블록도이다.
도 2는, 실시형태에 따른 퍼스널 컴퓨터의 구성예를 나타내는 블록도이다.
도 3은, 제1 실시형태에 따른 GUI의 일례를 설명하기 위한 도면이다.
도 4는, 제1 실시형태에 따른 GUI의 일부 확대도이다.
도 5A는 제1 실시형태에 따른 GUI의 일부 확대도이며, 도 5B는 유효 에리어의 일례를 설명하기 위한 도면이며, 도 5C는 청취 에리어의 일례를 설명하기 위한 도면이다.
도 6은 변형예에 따른 GUI를 설명하기 위한 도면이다.
도 7은 변형예에 따른 GUI를 설명하기 위한 도면이다.
도 8은 변형예에 따른 GUI를 설명하기 위한 도면이다.
도 9는 변형예에 따른 GUI를 설명하기 위한 도면이다.
도 10은 변형예에 따른 GUI를 설명하기 위한 도면이다.
도 11은 제2 실시형태에 따른 GUI의 일례를 설명하기 위한 도면이다.
도 12는 음성 재생 에리어를 실제 공간 상에 반영시키는 방법의 일례를 설명하기 위한 도면이다.
도 13은, 음성 재생 에리어를 실제 공간 상에 반영시키는 다른 방법을 설명하기 위한 도면이다.
도 14는, 변형예를 설명하기 위한 도면이다.
이하, 본 개시의 실시형태 등에 대해 도면을 참조하면서 설명한다. 한편, 설명은 이하의 순서로 한다.
<제1 실시형태>
<제2 실시형태>
<변형예>
이하에 설명하는 실시형태 등은 본 개시의 바람직한 구체예이며, 본 개시의 내용이 이들 실시형태 등에 한정되는 것은 아니다.
<제1 실시형태>
[재생 시스템의 구성예]
도 1은, 실시형태에 따른 재생 시스템(재생 시스템(1A))의 구성예를 나타내는 도면이다. 재생 시스템(1A)은, 표시 제어 장치의 일례인 퍼스널 컴퓨터(10)와, 재생 장치(20)를 갖고 있다. 퍼스널 컴퓨터(10)는, 컨텐츠 제작자가 의도하는 컨텐츠를 용이하게 작성, 편집 등이 가능한 장치, 보다 구체적으로는, 재생 장치(20)로부터 재생되는 음원의 이동이나 배치에 관한 설계를 행하는 오서링(authoring) 장치로서 기능한다. 한편, 표시 제어 장치는, 컴퓨터에 한하지 않고, 태블릿형 컴퓨터, 노트형 컴퓨터 등이어도 상관없다. 퍼스널 컴퓨터(10) 및 재생 장치(20)에 대해, 적어도 하나의 음원에 대응하는 데이터(이하, 음원 데이터(30)로 적절히 칭함)가 입력된다.
재생 장치(20)는, 컨텐츠를 재생하는 재생 장치이다. 재생 장치(20)는, 외부와의 인터페이스를 제공하는 인터페이스(I/F)(21)와, 신호 처리부(22)와, 어레이 스피커(23)를 갖고 있다. 어레이 스피커(23)는, 복수(예를 들면, 192개나 256개)의 스피커 유닛을 갖고 있다. 한편, 어레이 스피커(23)는, 각각의 스피커 장치가 복수의 위치에 배치된 것이어도 된다.
재생 시스템(1A)의 동작에 대해 개략적으로 설명한다. 퍼스널 컴퓨터(10)를 사용하여, 컨텐츠 제작에 관한 오서링(authoring)이 행하여진다. 한편, 오서링 시에 사용되는 GUI(Graphical User Interface)의 상세에 대해서는 후술한다. 퍼스널 컴퓨터(10)를 사용한 오서링에 의해, 메타 데이터(MD)(오서링 결과 파일)가 생성된다. 이 메타 데이터(MD)가 I/F(21)를 통해 재생 장치(20)에 입력된다. 또한, 상술한 바와 같이 음원 데이터(30)가 I/F(21)를 통해 재생 장치(20)에 입력된다.
신호 처리부(22)는, 메타 데이터(MD)에 기초하여 음원 데이터(30)에 대한 처리를 행한다. 메타 데이터(MD)에 기초하여 음원 데이터(30)에 대해 행하는 신호 처리로서는, 공지의 신호 처리를 적용할 수 있다. 일례를 들면, 소정의 위치에 음원의 음상(音像; sound image)을 정위(定位)시키는 정위 처리(localization processing)나, 음원의 재생 레벨을 조정하는 처리를 들 수 있다. 신호 처리부(22)에 의한 신호 처리가 실시된 음원 데이터(30)가 어레이 스피커(23)로 공급되어, 어레이 스피커(23)로부터 재생된다. 이와 같이 하여, 메타 데이터(MD)에 기초하는 재생 환경에 의해 컨텐츠가 재생된다.
[퍼스널 컴퓨터의 구성예]
도 2는, 퍼스널 컴퓨터(10)의 구성예를 나타내는 블록도이다. 퍼스널 컴퓨터(10)는, 예를 들면, 제어부(101)와, I/F(102)와, 통신부(103)와, 표시부(104)와, 입력부(105)와, 기억부(106)를 갖고 있다.
제어부(101)는, CPU(Central Processing Unit) 등으로 구성되어 있으며, 도시하지 않는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 갖고 있다. ROM에는, CPU에 의해 판독되어 실행되는 프로그램 등이 기억되어 있다. RAM은, CPU의 워크 메모리로서 사용된다. 제어부(101)는, 후술하는 GUI 등의 표시부(104)에 표시되는 내용을 제어하는 표시 제어부로서 기능한다.
I/F(102)는, 외부의 장치와의 인터페이스를 제공한다. 예를 들면, 퍼스널 컴퓨터(10)에 의해 생성된 메타 데이터(MD)가 I/F(102)를 통해 재생 장치(20)에 공급된다.
통신부(103)는, 퍼스널 컴퓨터(10)가 다른 장치와 통신을 하기 위한 구성이며, 안테나, 변조/복조기능 등, 통신을 행하기 위해 필요한 기능을 갖는 것이다. 통신부(103)를 통해, 퍼스널 컴퓨터(10)는, 인터넷 등의 네트워크에 접속 가능하도록 되어 있다.
표시부(104)는, 액정 모니터, 유기 EL 디스플레이 등으로 구성되는 것이다. 표시부(104)에는, 후술하는 오서링 용의 GUI가 표시된다. 한편, 표시부(104)가 터치스크린으로서 구성되어, 각종의 입력을 접수 가능하도록 구성되어도 된다.
입력부(105)는, 예를 들면, 누름 가능 버튼, 슬라이드 버튼 등의 물리적인 버튼이나, 키보드, 터치스크린 등이며, 유저의 조작 입력을 접수하는 구성을 총칭한 것이다. 입력부(105)에 대한 입력이 행해지면, 해당 입력에 따른 조작 신호가 생성되어 제어부(101)로 출력된다. 제어부(101)는, 해당 조작 신호에 대응한 연산 처리나 표시 제어 등을 실행한다. 입력부(105)를 사용하여, 후술하는 GUI에서의 각종 설정이 이루어진다.
기억부(106)는, 예를 들면, 하드 디스크, 메모리스틱(소니 주식회사의 등록상표), SD 메모리카드, USB(Universal Serial Bus) 메모리 등이다. 기억부(106)는, 퍼스널 컴퓨터(10)에 내장된 것이어도 되고, 퍼스널 컴퓨터(10)에 착탈 가능하게 되는 것이어도 되며, 양쪽 모두이어도 된다.
한편, 퍼스널 컴퓨터(10)가 상술한 구성 이외의 구성을 갖고 있어도 된다. 예를 들면, 퍼스널 컴퓨터(10)가 스피커 장치 등을 갖고 있어도 된다.
[GUI의 일례]
(GUI에 있어서의 주된 표시)
도 3은, 표시부(104)에 표시되는 GUI의 일례를 나타내는 도면이다. 또한, 도 4는, 도 3에 있어서의 참조 부호(AA)가 붙여진 위치를 확대한 도면이다. 한편, 이하의 설명에 있어서, 참조 부호(AA)가 붙여진 위치를, 오브젝트 맵(object map)이라고 적절히 칭한다. 오브젝트 맵은, 메타 데이터(MD)에 기초하여 컨텐츠가 재생되는 실제의 공간에 대응하는 맵(공간을 위에서 본 X-Y 공간에 대응하는 맵)이다.
도 3 및 도 4를 참조하여, GUI의 일례에 대해 상세하게 설명한다. 오브젝트 맵에는, 어레이 스피커(23)의 위치가 표시된다. 예를 들면, 오브젝트 맵의 중앙 부근에, 어레이 스피커(23)의 위치로서, 수평 방향으로 연장하는 점선이 표시된다. 또한, 유저의 청취 포지션(LP; listening position)가 표시된다. 청취 포지션(LP)은, 도시하는 한 군데에 한정되지 않으며, 적절히 설정 가능하다. 한편, 어레이 스피커(23)의 크기나, GUI 상에 표시되는 범위 등은, 실제의 재생 장소를 소정의 축척으로 축소하여 나타낸 것이다.
표시부(104)에 표시되는 GUI는, 적어도 하나의 음원의 시간 파형의 표시를 포함한다. 본 실시형태에서는, 4개의 음원(이하, 오브젝트 음원이라고 적절히 칭함)의 시간 파형의 표시가 포함된다. 도 3에 나타낸 바와 같이, 오브젝트 음원(1)의 시간 파형에 관한 표시(31), 오브젝트 음원(2)의 시간 파형에 관한 표시(32), 오브젝트 음원(3)의 시간 파형에 관한 표시(33), 오브젝트 음원(4)의 시간 파형에 관한 표시(34)가 표시되어 있다. 시간 파형에 관한 표시(31)~표시(34)는, 예를 들면, 표시부(104)의 하측에 표시된다. 물론, 표시 위치는 적절히 변경 가능하다. 또한, GUI는, 시간 파형에 관한 표시(31~34) 위를 재생시간의 경과에 따라 좌측에서 우측으로 이동하는 수직 방향의 재생 라인(PL)을 포함한다.
또한, 퍼스널 컴퓨터(10)는, 오브젝트 음원(1~4)을 개별로 혹은, 동시에 재생할 수 있도록 구성되어 있다. 또한, 시간 파형에 관한 표시(31~34)는, 예를 들면, 퍼스널 컴퓨터(10)에 입력된 각 오브젝트 음원을 제어부(101)가 FFT(Fast Fourier Transform)함으로써 취득하도록 하여도 되고, 표시(31~34)에 대응하는 표시 데이터를 퍼스널 컴퓨터(10)에 입력하여, 제어부(101)가 입력된 표시 데이터를 표시부(104)에 표시하도록 하여도 된다.
시간 파형에 관한 표시의 아래에 시간축이 표시된다. 예를 들면, 시간 파형에 관한 표시(32) 아래에 시간축(LN32a)이 병렬적으로 표시된다. 시간축(LN32a) 상에서, 마크(이하, 키프레임이라고 적절히 칭함)의 설정이 가능하도록 되어 있다. 본 실시형태에서는, 오브젝트 음원(2)의 재생시간의 경과에 따라, 시간축(LN32a) 상에 5개의 키프레임(키프레임(KF1, KF2, … KF5))이 설정되어 있다. 시간축(LN32a)의 키프레임(KF1~KF5)은, 오브젝트 음원(2)의 소정의 재생 타이밍에 대응하고 있다. 키프레임(KF1~KF5)은, 예를 들면, 동그라미 표시로 표시된다.
나아가, 오브젝트 맵 상에서 키프레임(KF1~KF5)의 위치가 설정 가능하도록 되어 있다. 도 4에 나타낸 바와 같이, 설정된 위치에 키프레임(KF1~KF5)이 표시된다. 대응 관계를 알기 쉽게 하기 위해, 오브젝트 맵 상의 키프레임(KF1~KF5)도, 시간축(LN32a) 상의 키프레임(KF1~KF5)과 마찬가지의 동그라미 표시로 표시된다. 이에 의해, 시간축(LN32a) 상에 붙여진 소정의 키프레임(KF)의 재생 타이밍으로 재생되는 오브젝트 음원(2)에 대응하는 소리를, 재생 공간에서의 어느 위치에서 재생할지를 설정할 수 있다. 예를 들면, 오브젝트 음원(2)이 있는 재생 위치를 청취 포지션(LP)에 있는 유저의 근처에서 재생하고 싶을 경우에는, 해당 재생 위치에 키프레임(KF)을 설정하고, 해당 키프레임(KF)을 오브젝트 맵 상의 청취 포지션(LP)의 근처에 설정하면 된다. 또한, 시간 파형이 표시되어 있으므로, 오브젝트 음원의 위치와 오브젝트 음원의 강약 정도를 고려한 오서링이 용이하게 된다.
본 실시형태에서는, 각 키프레임(KF) 사이를 직선으로 접속함으로써 궤적(38)이 설정되고, 설정된 궤적(38)이 자동적으로 표시된다. 따라서, 유저는, 키프레임(KF)을 설정하는 것만으로, 궤적(38)을 정의할 수 있다. 궤적(38)은, 오브젝트 음원(2)의 음상(sound image)의 정위 위치(localization point)의 변화를 나타내는 궤적이다.
본 실시형태에 따른 GUI는, 궤적을 이동하는 이동 마크(이하, 커런트 포지션(current position)이라고 적절히 칭함)를 포함한다. 예를 들면, 궤적(38) 위를 커런트 포지션(CP)이 이동한다. 도 3 및 도 4에서는, 커런트 포지션(CP)이 검은 동그라미로 표시되어 있다. 물론, 다른 형상(별 형상 등)으로 커런트 포지션(CP)이 표시되어도 된다. 커런트 포지션(CP)은, 재생 타이밍에 따른 오브젝트 음원(2)의 음상 정위 위치(sound image localization position)를 나타내고 있다. 따라서, 커런트 포지션(CP)은, 오브젝트 음원(2)의 재생시간의 경과에 따라 궤적(38) 위를 이동한다.
예를 들면, 유저가 퍼스널 컴퓨터(10)를 사용하여 오브젝트 음원(2)을 재생한다. 오브젝트 음원(2)의 재생시간의 경과에 따라, 궤적(38) 위를 커런트 포지션(CP)이 이동한다. 이러한 표시에 의해, 유저는, 재생 공간 내에서 어떻게 음원(보다 구체적으로는, 해당 음원에 대응하는 음상의 위치)이 이동할지를 시각적으로 이해할 수 있다.
본 실시형태에서는, 커런트 포지션(CP)은, 각 키프레임(KF) 사이를 등속으로 이동하도록 하고 있다. 예를 들면, 키프레임(KF1, KF2)의 각각의 재생 타이밍의 차이로부터, 커런트 포지션(CP)의 이동 시간이 판별된다. 또한, 오브젝트 맵 상의 키프레임(KF1, KF2)의 각각의 위치로부터 키프레임(KF1, KF2) 간의 거리가 판별된다. 판별된 이동 시간과 거리에 기초하여, 커런트 포지션(CP)의 이동 속도가 자동으로 설정된다.
또한, 궤적(38) 위를 이동하는 커런트 포지션(CP)의 표시 양태를, 오브젝트 음원(2)의 소리의 강약에 따라 변화시키도록 하여도 된다. 예를 들면, 소리가 강한 위치(소리의 레벨이 큰 위치)는, 커런트 포지션(CP)의 검은 동그라미의 크기가 크게 되도록 하고, 소리가 약한 위치(소리의 레벨이 작은 위치)는, 커런트 포지션(CP)의 검은 동그라미의 크기가 작게 되도록 한다. 커런트 포지션(CP)의 크기를 소리의 강약과 링크시킴으로써, GUI에서 소리의 강약을 나타내는 레벨 미터 등을 표시시킬 필요가 없어지고, 표시 스페이스의 유효 활용을 도모할 수 있다.
사용 케이스의 일례로서, 오브젝트 음원(2)이 「개가 달리는 소리」인 경우를 상정한다. 도 3 및 도 4에 나타내는 설정 예에서는, 청취 포지션(LP)에 있는 유저에 대해서는, 개가 달리는 소리가 우측 멀리에서부터 가까이로 향하도록 들리고, 최종적으로 자신의 좌측을 달려 지나가도록, 오브젝트 음원(2)이 실제로 재생된다.
상술한 설명에서는, 오브젝트 음원(2)에 관한 표시예에 대해 설명하였으나, 다른 오브젝트 음원에 관한 표시도 마찬가지로 행해진다. 이러한 표시에 의해, 공간 내에 음원이 어떻게 배치되고 있는지 시각적으로 이해할 수 있다.
(GUI에 있어서의 각종 설정에 관한 표시)
그런데, 오브젝트 음원의 수가 많아질수록, 오브젝트 맵 상에 표시되는 궤적이 많아져, 어느 오브젝트 음원에 대응하는 궤적인지를 식별하기 어렵게 될 우려가 있다. 이에, 본 실시형태에서는, 복수의 오브젝트 음원의 각각에 대응하는 궤적을 식별 가능하도록 표시한다.
예를 들면, 복수의 오브젝트 음원의 각각에 대응하는 궤적의 색을 다르게 한다. 본 실시형태에서는, 궤적의 색을 같은 GUI 상에서 설정 가능하게 하고 있다. 예를 들면, 도 3에 나타낸 바와 같이, 「Color」라는 문자가 표시되어 있는 표시(51)의 위치에서, 각 오브젝트 음원에 대응하는 색이 설정 가능하도록 되어 있다. 오브젝트 음원에 대응하는 색이 설정되면, 해당 오브젝트 음원에 대응하는 궤적이 설정된 색으로 표시된다. 나아가, 본 실시형태에서는, 오브젝트 음원의 명칭을 설정 가능하게 하고 있다. 예를 들면, 도 3에 나타낸 바와 같이, 「Name」이라는 문자가 표시되어 있는 표시(52)의 위치에서 각 오브젝트 음원에 대응하는 명칭이 설정 가능하도록 되어 있다. 또한, 오브젝트 음원에 대응하는 궤적의 표시/비표시가 설정 가능하도록 되어 있어도 된다. 예를 들면, 오브젝트 음원(2)에 대응하는 궤적(38)만을 오브젝트 맵에 표시시키고 싶을 경우에는, 오브젝트 음원(2)에 대응하는 궤적(38)만을 표시 설정으로 하고, 다른 오브젝트 음원에 대응하는 궤적을 비표시 설정으로 하면 된다.
이상, 설명한 설정을 가능하게 하고, 설정에 따른 제어부(101)에 의한 표시 제어가 행하여짐으로써, 오브젝트 음원이 다수 존재하고, 각 오브젝트 음원에 대응하는 궤적을, 한정된 영역의 오브젝트 맵 상에 표시하는 경우에도, 각각의 오브젝트 음원 또는 오브젝트 음원에 대응하는 궤적의 식별을 용이하게 할 수 있다.
또한, 본 실시형태에서는, 커런트 포지션(CP)의 이동 패턴이 설정 가능하도록 되어 있다. 예를 들면, 표시(52)의 우측에 위치하는 「Interpolation」이라는 문자가 표시되어 있는 표시(53)의 위치에서, 커런트 포지션(CP)의 이동 패턴이 설정 가능하도록 되어 있다. 본 실시형태에서는, 커런트 포지션(CP)의 이동 패턴으로서, 3종류의 이동 패턴이 설정 가능하도록 되어 있다. 3종류의 패턴은, 예를 들면, 「Linear」, 「Step」, 「Spline」이라고 각각 칭하는 패턴이다.
「Linear」라고 칭하는 패턴은, 상술한 커런트 포지션(CP)이 각 키프레임(KF) 사이를 등속으로 이동하는 패턴이다. 「Step」이라고 칭하는 패턴은, 커런트 포지션(CP)이 스텝 형상으로 이동하는 패턴이다. 예를 들면, 키프레임(KF1) 상에 있는 커런트 포지션(CP)은, 키프레임(KF1)에 대응하는 오브젝트 음원(2)의 재생 타이밍이 경과하여도 이동하지 않는다. 그리고, 현재의 재생시간이, 키프레임(KF2)에 대응하는 오브젝트 음원(2)의 재생 타이밍에 도달하였을 때, 커런트 포지션(CP)이 키프레임(KF1, KF2) 사이를 뛰어넘듯이 하여 이동한다. 「Spline」이라고 칭하는 패턴은, 각 키프레임(KF) 사이를, 커런트 포지션(CP)이 2차 곡선을 그리듯이 하여 이동하는 패턴이다.
또한, 각 오브젝트 음원에 대한 설정은, 설정 대상의 오브젝트 음원에 대해 커서(55)를 맞추어 선택한 후 수행된다. 도 3에서는, 오브젝트 음원(2)에 대해 커서(55)가 맞추어진 상태, 즉, 오브젝트 음원(2)이 선택된 상태가 도시되어 있다. 이 상태에서, 오브젝트 음원(2)에 대응하는 궤적의 색, 이름, 오브젝트 음원(2)에 대응하는 궤적 위를 이동하는 커런트 포지션(CP)의 이동 패턴 등의 설정이 가능하게 된다. 커서(55)는, 예를 들면, 입력부(105)를 사용하여 적절히 이동된다.
(GUI에 있어서의 그 밖의 표시)
「키프레임에 관한 정보의 표시」
GUI에 있어서의 그 밖의 표시에 대해 설명한다. 상술한 바와 같이, 커서(55)를 적절히 이동시킴으로써, 소정의 오브젝트 음원을 선택할 수 있다. 본 실시형태에서는, 선택된 오브젝트 음원에 대해 설정되어 있는 키프레임(KF)에 관한 정보를 표시한다. 도 3에서는, 키프레임(KF)에 관한 정보로서, 표시(61)가 도시되어 있다. 예를 들면, 키프레임(KF1, KF2, … KF5)에 관한 정보의 표시가 위에서부터 순서대로 배치된다.
표시(61)는, 키프레임(KF)에 대응하는 재생 타이밍(재생시간)에 관한 표시(62)와, 키프레임(KF)의 오브젝트 맵 상의 X-Y좌표에 관한 표시(63)를 포함한다. 또한, 각 키프레임(KF)에 관한 정보 표시의 좌측에는, 체크박스가 나타내진 표시(64)가 배치되어 있다. 표시(64)에 있어서의 소정의 체크박스를 체크함으로써, 체크된 체크박스에 대응하는 키프레임(KF)을 선택할 수 있다. 도 3에서는, 키프레임(KF3)에 대응하는 체크박스가 체크된 예, 즉, 키프레임(KF3)이 선택된 예가 나타내져 있다. 한편, 본 실시형태에서는, 도 4에 나타낸 바와 같이, 선택된 키프레임(KF3)이 다른 키프레임(KF)보다 강조하여 표시된다. 예를 들면, 키프레임(KF3)이 이중 동그라미로 강조하여 표시된다. 이러한 표시에 의해, 유저는, 자신이 선택한 키프레임(KF)의 오브젝트 맵 상의 위치를 시각적으로 용이하게 식별할 수 있다.
또한, 본 실시형태에서는, 각 키프레임(KF)에 코멘트를 설정하는 것이 가능하도록 되어 있다. 예를 들면, 표시(63)의 우측 옆에 코멘트를 설정하기 위한 표시(65)가 배치되어 있다. 유저는, 키프레임(KF1~KF5) 중에서 적절한 키프레임(KF)을 선택하고, 입력부(105)를 사용하여, 선택한 키프레임(KF)에 대한 코멘트를 설정할 수 있다. 예를 들면, 어떤 재생 타이밍에, 공간상의 어떤 특정한 위치에 오브젝트 음원을 배치하고자 한다는 등의 강한 의사를 갖고 설정한 키프레임(KF)에 코멘트를 설정하는 것이 가능하다. 그리고, 컨텐츠의 사용자에게 코멘트에 대응하는 컨텐츠 제작자의 의도를 간단히 전달할 수 있다. 또한, 키프레임(KF)의 관리를 용이하게 할 수 있다.
「유효 에리어(effective area)의 표시」
오브젝트 맵 상에는, 유효 에리어(EA)가 표시된다. 도 5A는, 오브젝트 맵 상의 유효 에리어(EA)의 일례를 포함하는 도면이며, 도 5B는, 도 5A에 포함되는 유효 에리어(EA)만을 추출하여 나타낸 도면이다.
퍼스널 컴퓨터(10)의 GUI 상에서 메타 데이터(MD)를 생성한 경우에도, 재생 장치(20) 측의 신호 처리부(22)에 있어서의 신호 처리에서, 정위 처리 등에 사용되는 계수는 유한하다. 즉, 재생 장치(20) 측에서의 신호 처리의 효과가 얻어지는 범위가 유한하게 된다. 이에, 본 실시형태에서는, 신호 처리의 효과가 얻어지는 범위를 유효 에리어(EA)로서 표시하도록 하고 있다. 어레이 스피커(23)로부터 파면 합성에 의해 소리가 재생되는 경우에는, 파면 합성이 가능하게 되는 에리어가 유효 에리어(EA)로서 표시된다. 이러한 표시에 의해, 유저는 파면 합성이 가능한 에리어를 시각적으로 이해할 수 있다.
「청취 에리어의 표시」
오브젝트 맵 상에는, 청취 에리어(LA)가 표시된다. 도 5A는, 오브젝트 맵 상의 청취 에리어(LA)의 일례를 포함하는 도면이며, 도 5C는, 도 5A에 포함되는 청취 에리어(LA) 만을 추출하여 나타낸 도면이다. 청취 에리어(LA)는, 어떤 청취 포지션(LP)에 대해, 어레이 스피커(23)로부터 재생된 소리가 효과적으로 들리는 범위를 나타낸다. 어레이 스피커(23)로부터 파면 합성에 의해 소리가 재생되는 경우에는, 청취 에리어(LA)는, 청취 포지션(LP)의 위치에 대해 파면 합성이 유효하게 되는 에리어를 나타낸다. 청취 에리어(LA)의 형상, 크기 등은, 오브젝트 맵 상에서 설정되는 청취 포지션(LP)에 따라 변화한다. 이러한 표시에 의해, 유저는 청취 포지션(LP)에 대해 파면 합성이 유효가 되는 에리어를 시각적으로 이해할 수 있다. 한편, 오브젝트 맵 상에 있어서의 궤적과 유효 에리어(EA)나 청취 에리어(LA)를 식별 가능하도록 표시하여도 된다. 한편, 청취 에리어(LA) 밖에서 재생되는 소리라도 실제로는 유저에게 청취되기는 하지만, 유저가 느끼는 정위감(sense of localization)은 청취 에리어(LA) 내에서 재생되는 소리에 비해 약하다.
[제1 실시형태의 변형예]
(제1 변형예)
상술한 GUI는, 다음의 변형이 가능하다. 소정의 키프레임(KF) 사이에 그 구간에 대응하는 오브젝트 음원의 시간 파형을 표시하여도 된다. 예를 들면, 도 6에 나타낸 바와 같이, 오브젝트 맵 상의 키프레임(KF4, KF5) 사이에, 키프레임(KF4)과 키프레임(KF5)의 구간에 대응하는 오브젝트 음원(2)의 시간 파형(68)이 궤적(38)에 중첩되어 표시된다. 이러한 표시에 의해, 유저는 소정의 키프레임(KF) 사이에서 재생되는 소리의 이미지를 상기할 수 있다. 이러한 표시의 표시/비표시에 관한 설정이 가능하게 되어도 된다.
(제2 변형예)
오브젝트 음원(1~4)이 실제로 재생되는 회장(會場)의 배치도를, 오브젝트 맵에 표시하여도 된다. 예를 들면, 도 7에 도시된 바와 같이, 오브젝트 맵의 배경으로서, 콘서트홀의 평면도(floor plan)가 표시(71)로서 표시된다. 이러한 표시에 의해, 유저는, 실제의 재생 환경을 의식하면서 오브젝트 음원의 배치 등을 할 수 있고, 또한, 실제의 재생 환경에 있어서의 물리적인 배치에 따른 음원의 배치 등을 할 수 있다. 예를 들면, 유저가 콘서트홀의 통로를 소리(예를 들면, 동물이 달리는 소리)가 전방으로부터 후방으로 지나가듯이 재생하고 싶은 경우에는, 오브젝트 맵 상의 콘서트홀의 통로에, 키프레임(KF)을 설정하거나, 궤적을 설정하면 된다.
(제3 변형예)
상술한 바와 같이, 재생 환경을 오브젝트 맵 상에 표시하는 경우에는, 물리적인 배치뿐만 아니라, 음향적인 재생 환경을 오브젝트 맵 상에 표시하여도 된다. 음향적인 재생 환경으로서는, 예를 들면, 콘서트홀의 천장, 바닥, 벽 등의 반사 계수이다. 반사 계수의 표시를 온으로 하면, 도 8에 나타낸 바와 같이, 소정의 콘서트홀에 있어서의 반사 계수의 분포에 관한 표시(72)가 표시된다. 이러한 표시에 의해, 반사 계수를 고려한 오서링이 가능하게 된다. 예를 들면, 유저는, 반사 계수가 큰 위치 주변에서 소리가 재생되지 않도록 하기 위해서는, 반사 계수가 큰 위치 주변을 소리가 통과하지 않도록 궤적을 설정하면 된다. 이와 같이, 회장의 배치도나 반사 계수를 참고로 하여, 유저는 오브젝트 음원의 배치 등을 설정할 수 있다. 한편, 회장의 배치도 데이터나, 반사 계수 데이터는, 퍼스널 컴퓨터(10)의 외부로부터 취득된다. 예를 들면, 퍼스널 컴퓨터(10)의 통신부(103)에 의해 네트워크에 접속되고, 네트워크 상의 서버 장치로부터 회장의 배치도 데이터나 반사 계수의 분포를 나타내는 데이터를 취득할 수 있다.
상술한 설명에서는, 키프레임(KF) 사이를 직선으로 접속함으로써, 궤적(38)이 자동적으로 표시되는 예에 대해 설명하였으나, 이에 한정되는 것은 아니다. 예를 들면, 유저는, 입력부(105)를 사용하여 임의의 궤적을 그릴 수 있고, 이 입력에 따른 궤적이 표시된다. 입력부(105)는, 스타일러스 펜, 터치 패널 등이 상정된다. 도 9는, 이러한 궤적의 일례인 궤적(75)을 나타내는 도면이다. 예를 들면, 유저는, 표시부(104)와는 다른 모니터에 표시되어 있는 동영상(예를 들면, 오브젝트 음원과 동기하여 재생되는 동영상)에 시점을 향하면서, 터치 패널과 같은 입력 디바이스 상에 프리 핸드로 궤적을 입력할 수 있다. 이에 의해, 동영상에 표시되는 동체(moving body)에 맞춘 궤적의 부여를 용이하게 할 수 있다.
동영상 내의 동체를 화상 인식에 의해 자동으로 인식하고, 인식 결과에 따라, 궤적을 자동으로 생성하여 표시하도록 하여도 된다. 예를 들면, 어느 오브젝트 음원이, 고양이가 달리는 소리인 경우를 상정한다. 도 10의 우측 하단에 나타낸 바와 같이, 동영상 내에서는, 고양이(81)가 도로(82)를 좌측 위에서부터 우측 아래로 달리는 것으로 한다. 한편, 동영상은, GUI와 함께 표시되어도 되고, GUI가 표시되는 표시부(104)와는 다른 표시부에 표시되어도 되고, 표시되지 않아도 된다.
동영상 내에 있어서의 동체(움직이는 피사체)인 고양이(81)가 공지의 피사체 검출 처리에 의해 검출되고, 고양이(81)의 움직임이 공지의 움직임 검출 처리에 의해 검출된다. 이러한 화상 처리는, 예를 들면, 제어부(101)에 의해 행하여진다. 제어부(101)는 인식 결과에 기초하여 궤적을 자동으로 생성하고 표시한다. 예를 들면, 설정되어 있는 청취 포지션(LP)에 대해, 고양이가 달리는 소리가 좌측 후방(좌측 안 쪽)으로부터 우측 전방으로 이동하도록, 궤적(83)이 생성된다. 그리고, 생성된 궤적(38)이 오브젝트 맵 상에 표시된다. 이에 의해, 동영상에 맞춘 오브젝트 음원의 궤적을 충실하고 간단하게 작성할 수 있다.
<제2 실시형태>
제2 실시형태는, 파면 합성을 이용하여, 에리어마다 다른 컨텐츠를, 인접하는 에리어에서 재생되는 소리와 혼합되지 않도록 재생하는 재생 시스템에 대해, 본 개시를 적용한 예이다. 한편, 제1 실시형태와 동일, 동질인 구성에는, 동일한 참조 부호를 붙인다. 또한, 제1 실시형태에서 설명한 사항은, 달리 언급하지 않는 한, 제2 실시형태에 대해서도 적용할 수 있다.
본 예에서는, 역이나 비행장에서 재생되는 안내에 관한 음성을, 3개의 언어(일본어, 영어, 중국어)로 동시에 재생할 경우를 상정한다. 도 11은, 제2 실시형태에 따른 GUI의 일례를 제시하고 있다. 오브젝트 맵 상에는, 어레이 스피커(23)가 표시된다. 어레이 스피커(23)로부터, 음성의 재생 방향에 대해 3개의 음성 재생 에리어(음성 재생 에리어(AR1, AR2, AR3))가 예를 들면 사각형의 틀로 표시된다. 음성 재생 에리어(AR1)는, 예를 들면, 일본어의 음성 안내가 들리는 에리어이다. 또한, 음성 재생 에리어(AR2)는, 예를 들면, 영어의 음성 안내가 들리는 에리어이다. 또한, 음성 재생 에리어(AR3)는, 예를 들면, 중국어의 음성 안내가 들리는 에리어이다. 음성 재생 에리어(AR1) 등은, 음성 안내가 청취 가능한 범위를 분할함으로써 규정되는 음성 분할 에리어이다. 유저는, 분할 패턴을 적절하게 조정함으로써, 음성 재생 에리어(AR1) 등의 크기나 형상을 변화시킬 수 있다. 이에 의해, 유저는 에리어 분할의 모습을 시각적으로 이해할 수 있다. 또한, 소리가 재생되는 장소(예를 들면, 외국인이 많은 관광지)에 따라, 음성 재생 에리어(AR1) 등을 적절하게 설정할 수 있다.
설정된 음성 분할 에리어가, 재생 장치(20)에 메타 데이터(MD)로서 공급된다. 재생 장치(20)의 신호 처리부(22)는, 메타 데이터(MD)에 따라, 소정의 신호 처리(예를 들면, 상술한 특허문헌에 기재되어 있는 신호 처리)를 행한다. 이에 의해, 메타 데이터(MD)에 기초한 음성 분할 에리어에 있어서의 소리의 재생이 행하여진다.
한편, 음성 재생 에리어(AR1, AR2, AR3)를 식별 가능하게 하기 위해, 색을 변경하여 표시 등을 하도록 하여도 된다. 또한, 분할되는 에리어는 3개로 한정되는 것이 아니고, 적절히 변경 가능하다.
재생 장치(20) 측에서, 메타 데이터(MD)에 기술되어 있는 에리어 분할 정보를 판독하여, 실제 공간상에서 에리어 분할의 모습이 나타나도록 하여도 된다. 예를 들면, 재생 장치(20)(별도의 장치이어도 된다)가 천장에 설치된 프로젝터를 갖는다. 도 12에 나타낸 바와 같이, 이 프로젝터(85)가 에리어 분할 정보를 판독하고, 음성 재생 에리어(AR1, AR2, AR3)의 각각에 대응하는 색을 바닥에 투영한다. 이러한 처리에 의해, GUI에서 설정된 음성 재생 에리어(AR1) 등이 실제 공간에 반영되므로, 에리어 분할의 모습이 실제 공간에서 시각적으로 인식 가능하게 된다.
또한, 도 13에 나타낸 바와 같이, 어레이 스피커(23) 상에 LED(Light Emitting Diode) 어레이(86)를 설치하여, LED(Light Emitting Diode)의 발광색이나 점등 범위를 적절히 설정함으로써, 실제 공간 상에서 음성 재생 에리어(AR1) 등을 반영하여도 된다. 예를 들면, LED의 발광색이 적색(참조 부호(86a)가 붙여진 위치)의 전방이 음성 재생 에리어(AR1)에 대응하고, 적색의 LED 앞에 유저가 있으면 해당 유저에게 일본어에 의한 음성 안내가 청취 가능하게 된다. 한편, 적색의 LED의 위치에 대응하는 스피커 유닛뿐만 아니라, 다른 색의 LED의 위치에 대응하는 스피커 유닛으로부터도 일본어의 음성 성분은 적절한 레벨로 재생된다.
<변형예>
이상, 본 개시의 복수의 실시형태에 대해 구체적으로 설명하였으나, 본 개시의 내용은 상술한 실시형태에 한정되는 것이 아니고, 본 개시의 기술적 사상에 기초한 각종의 변형이 가능하다. 이하, 변형예에 대해 설명한다.
상술한 실시형태에 있어서의 GUI에 있어서, 소정의 BGM(Background Music) 음원을 어레이 스피커(23)의 어느 스피커 유닛에 할당하는 것이 가능하도록 되어도 된다. 예를 들면, 도 14에 나타낸 바와 같이, 오브젝트 맵 상에 어레이 스피커(23)를 구성하는 각각의 스피커 유닛(23a)이 표시된다. 유저는, BGM 음원이 재생되는 스피커 유닛(23a)을 선택할 수 있다. 선택된 스피커 유닛(23a)으로부터 BGM 음원이 일정한 레벨로 재생된다. 이러한 표시에 의해, 어레이 스피커(23) 중의 어느 스피커 유닛(23a)으로부터 BGM을 출력할지를 유저가 시각적으로 이해할 수 있다.
실시형태에서 설명한 GUI에 있어서의 표시는, 모두가 필수일 필요는 없으며, 상술한 표시 중 일부가 없어도 되고, 그 밖의 표시가 추가되어도 된다.
제1 실시형태에서 설명한 GUI에 관한 표시와, 제2 실시형태에서 설명한 GUI에 관한 표시가 전환 가능하도록 되어도 된다.
상술한 GUI가 표시되는 표시부는, 퍼스널 컴퓨터(10)가 갖는 표시부와는 다른 표시부이어도 된다. 입력부에 대해서도 마찬가지이다. 또한, 상술한 실시형태에 있어서, 복수의 어레이 스피커가 있어도 되고, 각 어레이 스피커로부터 동기하여 음성이 재생되도록 하여도 된다.
상술한 실시형태에서 설명한 구성은 일례에 불과하며, 이에 한정되는 것은 아니다. 본 개시의 취지를 벗어나지 않는 범위에서, 구성의 추가, 삭제 등이 행하여져도 됨은 말할 필요도 없다. 본 개시는, 장치, 방법, 프로그램, 시스템 등이 임의의 형태로 실현할 수도 있다. 프로그램은, 예를 들면, 제어부를 갖는 메모리나 적절한 기록 매체에 저장될 수 있다.
본 개시는, 이하의 구성도 취할 수 있다.
(1)
표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 소정의 공간 내에 있어서의 상기 음원의 정위 위치의 변화를 나타내는 궤적을 표시하는 표시 제어부를 갖는 표시 제어 장치.
(2)
상기 표시 제어부는, 상기 음원의 재생시간의 경과와 함께 상기 궤적 위를 이동하는 이동 마크를 표시하는 (1)에 기재된 표시 제어 장치.
(3)
상기 표시 제어부는, 상기 음원에 포함되는 소리의 강약에 따라, 상기 이동 마크의 표시 양태를 변화시키는 (2)에 기재된 표시 제어 장치.
(4)
상기 표시 제어부는, 상기 음원에 포함되는 소리의 강약에 따라, 상기 이동 마크의 크기를 변화시키는 (3)에 기재된 표시 제어 장치.
(5)
상기 표시 제어부는, 복수의 상기 음원이 존재하는 경우, 상기 복수의 음원에 대응하는 각각의 궤적을 식별 가능하도록 표시하는 (1) 내지 (4) 중 어느 하나에 기재된 표시 제어 장치.
(6)
상기 복수의 음원의 각각에 대응하는 궤적의 색, 상기 복수의 음원의 각각에 대응하는 궤적의 표시/비표시 및 상기 복수의 음원의 각각에 대한 명칭에 관한 설정이 가능하도록 되어 있는 (5)에 기재된 표시 제어 장치.
(7)
상기 표시 제어부는, 상기 음원이 재생되는 회장을 표시하는 (1) 내지 (6) 중 어느 하나에 기재된 표시 제어 장치.
(8)
상기 표시 제어부는, 상기 회장에 있어서의 소리의 반사 계수를 표시하는 (7)에 기재된 표시 제어 장치.
(9)
상기 표시 제어부는, 상기 음원에 대한 신호 처리의 효과가 얻어지는 유효 에리어를 표시하는 (1) 내지 (8) 중 어느 하나에 기재된 표시 제어 장치.
(10)
상기 표시 제어부는, 설정된 청취 포지션에 대응하는 청취 에리어를 표시하는 (1) 내지 (9) 중 어느 하나에 기재된 표시 제어 장치.
(11)
상기 표시 제어부는, 상기 음원의 소정의 재생 타이밍을 나타내는 마크를 상기 시간 파형과 병렬적으로 표시하고, 또한, 상기 재생 타이밍에서 재생되는 소리의 상기 공간 내에 있어서의 재생 위치를 나타내는 마크를 표시하는 (1) 내지 (10) 중 어느 하나에 기재된 표시 제어 장치.
(12)
상기 궤적은, 상기 음원에 대응하여 설정되는 복수의 마크가 접속되어 이루어지는 (11)에 기재된 표시 제어 장치.
(13)
상기 표시 제어부는, 상기 마크에 대응하는 재생 타이밍의 시간 및 상기 재생 위치에 대응하는 좌표를 표시하는 (11) 또는 (12)에 기재된 표시 제어 장치.
(14)
상기 마크 사이를 이동하는 이동 마크의 이동 패턴이 설정 가능하도록 되어 있는 (12)에 기재된 표시 제어 장치.
(15)
상기 마크에 대한 코멘트가 설정 가능하도록 되어 있는 (11) 내지 (14) 중 어느 하나에 기재된 표시 제어 장치.
(16)
상기 표시 제어부는, 입력부에 대한 입력에 따라 설정되는 궤적을 표시하는 (1) 내지 (15) 중 어느 하나에 기재된 표시 제어 장치.
(17)
상기 표시 제어부는, 소정의 동영상에 있어서의 동체에 대한 인식 결과에 기초하여 상기 궤적을 자동적으로 표시하는 (1) 내지 (15) 중 어느 하나에 기재된 표시 제어 장치.
(18)
상기 표시 제어부에 의한 표시가 오서링용의 유저 인터페이스인 (1) 내지 (17) 중 어느 하나에 기재된 표시 제어 장치.
(19)
상기 스피커 어레이는, 파면 합성 처리된 음성을 재생하는 (1) 내지 (18) 중 어느 하나에 기재된 표시 제어 장치.
(20)
표시부에, 어레이 스피커의 위치와, 상기 어레이 스피커로부터 재생되는 복수의 음성에 대응하는 복수의 재생 에리어를 표시하는 표시 제어부를 갖고,
상기 재생 에리어의 크기가 변경 가능하도록 되어 있는 표시 제어 장치.
(21)
표시 제어부가, 표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 소정의 공간 내에 있어서의 상기 음원의 정위 위치의 변화를 나타내는 궤적을 표시하는 표시 제어 방법.
(22)
표시 제어부가, 표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 소정의 공간 내에 있어서의 상기 음원의 정위 위치의 변화를 나타내는 궤적을 표시하는 표시 제어 방법을 컴퓨터에 실행시키는 프로그램.
10: 퍼스널 컴퓨터
20: 재생 장치
22: 신호 처리부
23: 어레이 스피커
30: 음원 데이터
101: 제어부
104: 표시부
105: 입력부

Claims (22)

  1. 표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 미리 정해진 공간 내에 있어서의 상기 음원의 정위(定位) 위치(localization point)의 변화를 나타내는 궤적을 표시하는 표시 제어부를 갖는 표시 제어 장치.
  2. 제1항에 있어서,
    상기 표시 제어부는, 상기 음원의 재생시간의 경과와 함께 상기 궤적 위를 이동하는 이동 마크를 표시하는 표시 제어 장치.
  3. 제2항에 있어서,
    상기 표시 제어부는, 상기 음원에 포함되는 소리의 강약에 따라, 상기 이동 마크의 표시 양태를 변화시키는 표시 제어 장치.
  4. 제3항에 있어서,
    상기 표시 제어부는, 상기 음원에 포함되는 소리의 강약에 따라, 상기 이동 마크의 크기를 변화시키는 표시 제어 장치.
  5. 제1항에 있어서,
    상기 표시 제어부는, 복수의 상기 음원이 존재하는 경우, 상기 복수의 음원에 대응하는 각각의 궤적을 식별 가능하도록 표시하는 표시 제어 장치.
  6. 제5항에 있어서,
    상기 복수의 음원의 각각에 대응하는 궤적의 색, 상기 복수의 음원의 각각에 대응하는 궤적의 표시/비표시 및 상기 복수의 음원의 각각에 대한 명칭에 관한 설정이 가능하도록 되어 있는 표시 제어 장치.
  7. 제1항에 있어서,
    상기 표시 제어부는, 상기 음원이 재생되는 회장(會場)을 표시하는 표시 제어 장치.
  8. 제7항에 있어서,
    상기 표시 제어부는, 상기 회장에 있어서의 소리의 반사 계수를 표시하는 표시 제어 장치.
  9. 제1항에 있어서,
    상기 표시 제어부는, 상기 음원에 대한 신호 처리의 효과가 얻어지는 유효 에리어를 표시하는 표시 제어 장치.
  10. 제1항에 있어서,
    상기 표시 제어부는, 설정된 청취 포지션에 대응하는 청취 에리어를 표시하는 표시 제어 장치.
  11. 제1항에 있어서,
    상기 표시 제어부는, 상기 음원의 미리 정해진 재생 타이밍을 나타내는 마크를 상기 시간 파형과 병렬적으로 표시하고, 또한, 상기 재생 타이밍에서 재생되는 소리의 상기 공간 내에 있어서의 재생 위치를 나타내는 마크를 표시하는 표시 제어 장치.
  12. 제11항에 있어서,
    상기 궤적은, 상기 음원에 대응하여 설정되는 복수의 마크가 접속되어 이루어지는 표시 제어 장치.
  13. 제11항에 있어서,
    상기 표시 제어부는, 상기 마크에 대응하는 재생 타이밍의 시간 및 상기 재생 위치에 대응하는 좌표를 표시하는 표시 제어 장치.
  14. 제12항에 있어서,
    상기 마크 사이를 이동하는 이동 마크의 이동 패턴이 설정 가능하도록 되어 있는 표시 제어 장치.
  15. 제11항에 있어서,
    상기 마크에 대한 코멘트가 설정 가능하도록 되어 있는 표시 제어 장치.
  16. 제1항에 있어서,
    상기 표시 제어부는, 입력부에 대한 입력에 따라 설정되는 궤적을 표시하는 표시 제어 장치.
  17. 제1항에 있어서,
    상기 표시 제어부는, 미리 정해진 동영상에 있어서의 동체(moving body)에 대한 인식 결과에 기초하여 상기 궤적을 자동적으로 표시하는 표시 제어 장치.
  18. 제1항에 있어서,
    상기 표시 제어부에 의한 표시가 오서링(authoring)용의 유저 인터페이스인 표시 제어 장치.
  19. 제1항에 있어서,
    상기 스피커 어레이는, 파면 합성 처리된 음성을 재생하는 표시 제어 장치.
  20. 표시부에, 어레이 스피커의 위치와, 상기 어레이 스피커로부터 재생되는 복수의 음성에 대응하는 복수의 재생 에리어를 표시하는 표시 제어부를 갖고,
    상기 재생 에리어의 크기가 변경 가능하도록 되어 있는 표시 제어 장치.
  21. 표시 제어부가, 표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 미리 정해진 공간 내에 있어서의 상기 음원의 정위 위치의 변화를 나타내는 궤적을 표시하는 표시 제어 방법.
  22. 표시 제어부가, 표시부에, 어레이 스피커의 위치와, 적어도 하나의 음원에 대응하는 시간 파형과, 미리 정해진 공간 내에 있어서의 상기 음원의 정위 위치의 변화를 나타내는 궤적을 표시하는 표시 제어 방법을 컴퓨터에 실행시키는 프로그램.
KR1020207029315A 2018-04-24 2019-03-04 표시 제어 장치, 표시 제어 방법 및 프로그램 KR20210005573A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018082731 2018-04-24
JPJP-P-2018-082731 2018-04-24
PCT/JP2019/008394 WO2019207959A1 (ja) 2018-04-24 2019-03-04 表示制御装置、表示制御方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20210005573A true KR20210005573A (ko) 2021-01-14

Family

ID=68295159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029315A KR20210005573A (ko) 2018-04-24 2019-03-04 표시 제어 장치, 표시 제어 방법 및 프로그램

Country Status (7)

Country Link
US (1) US20210048976A1 (ko)
EP (1) EP3787317A4 (ko)
JP (1) JP7294328B2 (ko)
KR (1) KR20210005573A (ko)
CN (1) CN111989936B (ko)
TW (1) TW201945899A (ko)
WO (1) WO2019207959A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195568A1 (ja) * 2019-03-25 2020-10-01 ヤマハ株式会社 オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法
EP3742271B1 (en) * 2019-05-23 2024-02-28 Nokia Technologies Oy A control element
CN111627178A (zh) * 2020-06-30 2020-09-04 深圳市联丰科技有限公司 一种声音识别定位警戒系统及其方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013128314A (ja) 2013-02-18 2013-06-27 Sony Corp 波面合成信号変換装置および波面合成信号変換方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3205625B2 (ja) * 1993-01-07 2001-09-04 パイオニア株式会社 スピーカ装置
JP3525653B2 (ja) * 1996-11-07 2004-05-10 ヤマハ株式会社 音響調整装置
JP3055557B2 (ja) * 1999-09-21 2000-06-26 ヤマハ株式会社 音処理装置
DE102005008366A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten
JP5389322B2 (ja) * 2006-10-12 2014-01-15 ヤマハ株式会社 音像移動装置
WO2010075634A1 (en) * 2008-12-30 2010-07-08 Karen Collins Method and system for visual representation of sound
JP2012054829A (ja) * 2010-09-02 2012-03-15 Sharp Corp 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2013157730A (ja) * 2012-01-27 2013-08-15 Yamaha Corp 音響解析装置
EP2955934B1 (en) * 2013-02-05 2017-09-20 Toa Corporation Amplification system
WO2014160576A2 (en) * 2013-03-28 2014-10-02 Dolby Laboratories Licensing Corporation Rendering audio using speakers organized as a mesh of arbitrary n-gons
RU2716037C2 (ru) * 2013-07-31 2020-03-05 Долби Лэборетериз Лайсенсинг Корпорейшн Обработка пространственно-диффузных или больших звуковых объектов
US9338541B2 (en) * 2013-10-09 2016-05-10 Voyetra Turtle Beach, Inc. Method and system for in-game visualization based on audio analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013128314A (ja) 2013-02-18 2013-06-27 Sony Corp 波面合成信号変換装置および波面合成信号変換方法

Also Published As

Publication number Publication date
CN111989936B (zh) 2022-12-06
WO2019207959A1 (ja) 2019-10-31
EP3787317A1 (en) 2021-03-03
EP3787317A4 (en) 2021-06-09
JP7294328B2 (ja) 2023-06-20
CN111989936A (zh) 2020-11-24
US20210048976A1 (en) 2021-02-18
TW201945899A (zh) 2019-12-01
JPWO2019207959A1 (ja) 2021-05-13

Similar Documents

Publication Publication Date Title
JP7294328B2 (ja) 表示制御装置、表示制御方法及びプログラム
US9301069B2 (en) Immersive 3D sound space for searching audio
US9430954B1 (en) System for presenting visual items
KR101378493B1 (ko) 영상 데이터에 동기화된 텍스트 데이터 설정 방법 및 장치
US8799774B2 (en) Translatable annotated presentation of a computer program operation
CN104408983A (zh) 基于录播设备的智能教学信息处理装置和方法
US20190335292A1 (en) An Apparatus and Associated Methods
KR20150041249A (ko) 가상 체험북 시스템과 그 동작 방법
US20200322688A1 (en) An apparatus and associated methods
WO2014061931A1 (ko) 음향 재생 장치 및 음향 재생 방법
US20170188176A1 (en) Sound object control apparatus and method based on additional image object
US11849301B2 (en) Information processing apparatus and method, and program
US20220246135A1 (en) Information processing system, information processing method, and recording medium
JP2020053792A (ja) 情報処理装置、および情報処理方法、プログラム、情報処理システム
US9472113B1 (en) Synchronizing playback of digital content with physical content
JP2013161205A (ja) 情報処理装置、情報処理方法、及びプログラム
Chattopadhyay The auditory spectacle: designing sound for the ‘dubbing era’of Indian cinema
JP2008131515A (ja) 情報処理装置、情報処理方法およびプログラム
KR101753986B1 (ko) 다국어 가사 서비스 제공 방법, 이를 수행하는 단말기 및 서버
JP2020053791A (ja) 情報処理装置、および情報処理方法、プログラム、情報処理システム
KR102400962B1 (ko) 음표 인식 시스템
JP2014224958A (ja) 表示制御装置、表示方法及びプログラム
KR20170059609A (ko) 휴대용 터치패널에서 구현된 악기 애플리케이션 연주 방법 및 장치
JP3083840U (ja) コンピュータ制御によるマルチメディア掲示板
Black et al. Locating Sounds Around the Screen

Legal Events

Date Code Title Description
E902 Notification of reason for refusal