JP2024042045A - 情報処理装置および方法、プログラム、並びに情報処理システム - Google Patents

情報処理装置および方法、プログラム、並びに情報処理システム Download PDF

Info

Publication number
JP2024042045A
JP2024042045A JP2024010939A JP2024010939A JP2024042045A JP 2024042045 A JP2024042045 A JP 2024042045A JP 2024010939 A JP2024010939 A JP 2024010939A JP 2024010939 A JP2024010939 A JP 2024010939A JP 2024042045 A JP2024042045 A JP 2024042045A
Authority
JP
Japan
Prior art keywords
setting
display state
solo
display
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024010939A
Other languages
English (en)
Inventor
実 辻
徹 知念
光行 畠中
優樹 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2024042045A publication Critical patent/JP2024042045A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/46Volume control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/106Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters
    • G10H2220/111Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters for graphical orchestra or soundstage control, e.g. on-screen selection or positioning of instruments in a virtual orchestra, using movable or selectable musical instrument icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Abstract

【課題】より効率よく編集を行う情報処理装置及び方法、プログラム並びに情報処理システムを提供する。【解決手段】情報処理装置11は、ユーザの指定に応じて、1または複数の音源に対するミュート設定またはソロ設定を行う制御部23と、前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする表示制御部42と、を備え、表示制御部42は、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする。【選択図】図1

Description

本技術は、情報処理装置および方法、プログラム、並びに情報処理システムに関し、特に、より効率よく編集を行うことができるようにした情報処理装置および方法、プログラム、並びに情報処理システムに関する。
近年、オブジェクトベースのオーディオ技術が注目されている。
オブジェクトベースオーディオでは、オーディオオブジェクトに対する波形信号と、所定の基準となる聴取位置からの相対位置により表されるオーディオオブジェクトの定位情報を示すメタ情報とによりオブジェクトオーディオのデータが構成されている。
そして、オーディオオブジェクトの波形信号が、メタ情報に基づいて例えばVBAP(Vector Based Amplitude Panning)により所望のチャンネル数の信号にレンダリングされて再生される(例えば、非特許文献1および非特許文献2参照)。
オブジェクトベースオーディオでは、オーディオコンテンツの制作において、オーディオオブジェクトを3次元空間内の様々な方向に配置することが可能である。
例えばDolby Atoms Panner plus-in for Pro Tools(例えば非特許文献3参照)では、3Dグラフィックのユーザインターフェース上においてオーディオオブジェクトの位置を指定することが可能である。この技術では、ユーザインターフェース上に表示された仮想空間の画像上の位置をオーディオオブジェクトの位置として指定することで、オーディオオブジェクトの音の音像を3次元空間内の任意の方向に定位させることができる。
一方、従来の2チャンネルステレオに対する音像の定位は、パニングと呼ばれる手法により調整されている。例えば所定のオーディオトラックに対する、左右の2チャンネルへの按分比率をユーザインターフェースによって変更することで、音像を左右方向のどの位置に定位させるかが決定される。
ISO/IEC 23008-3 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997 Dolby Laboratories, Inc., "Authoring for Dolby Atmos(R) Cinema Sound Manual"、[online]、[平成30年8月1日検索]、インターネット< https://www.dolby.com/us/en/technologies/dolby-atmos/authoring-for-dolby-atmos-cinema-sound-manual.pdf >
ところで、オブジェクトベースのオーディオでは、オーディオオブジェクトごとに、オーディオオブジェクトの空間内の位置、つまり音像定位位置を変更したり、オーディオオブジェクトの波形信号のゲインを調整したりといった編集が可能である。
しかしながら、実際のオブジェクトベースのオーディオコンテンツの制作においては多数のオーディオオブジェクトが扱われるため、それらのオーディオオブジェクトの位置調整やゲイン調整等の編集には時間がかかってしまう。
例えばオーディオオブジェクトごとに空間内の位置を指定して、各オーディオオブジェクトの音像の定位位置を決定する作業は面倒であった。
このようなことから、オーディオコンテンツを制作する際に、オーディオオブジェクトに関する編集を効率よく行うことのできる方法が望まれている。
本技術は、このような状況に鑑みてなされたものであり、より効率よく編集を行うことができるようにするものである。
本技術の第1の側面の情報処理装置は、ユーザの指定に応じて、1または複数の音源に対するミュート設定またはソロ設定を行う制御部と、前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする表示制御部とを備え、前記表示制御部は、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする。
本技術の第1の側面の情報処理方法またはプログラムは、ユーザの指定に応じて、1または複数の音源に対するミュート設定またはソロ設定を行い、前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とするステップを含み、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする。
本技術の第1の側面においては、ユーザの指定に応じて、1または複数の音源に対するミュート設定またはソロ設定が行われ、前記音源の表示状態が第1の表示状態とされるか、または第2の表示状態とされる。また、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態が前記第2の表示状態とされ、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態が前記第2の表示状態とされる。
本技術の第2の側面の情報処理装置は、ユーザによる1または複数の音源に対する操作に関する操作情報の受信を制御し、前記操作情報に応じて前記音源に対するミュート設定またはソロ設定を制御するための設定制御信号を生成し、前記ミュート設定または前記ソロ設定に応じて前記音源の表示状態を第1の表示状態とさせるか、または第2の表示状態とさせる表示制御信号を生成し、前記設定制御信号および前記表示制御信号の送信を制御する制御部を備え、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態が前記第2の表示状態とされ、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態が前記第2の表示状態とされる。
本技術の第2の側面の情報処理方法は、ユーザによる1または複数の音源に対する操作に関する操作情報を受信し、前記操作情報に応じて前記音源に対するミュート設定またはソロ設定を制御するための設定制御信号を生成し、前記ミュート設定または前記ソロ設定に応じて前記音源の表示状態を第1の表示状態とさせるか、または第2の表示状態とさせる表示制御信号を生成し、前記設定制御信号および前記表示制御信号を送信するステップを含み、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態が前記第2の表示状態とされ、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態が前記第2の表示状態とされる。
本技術の第2の側面においては、ユーザによる1または複数の音源に対する操作に関する操作情報が受信され、前記操作情報に応じて前記音源に対するミュート設定またはソロ設定を制御するための設定制御信号が生成され、前記ミュート設定または前記ソロ設定に応じて前記音源の表示状態を第1の表示状態とさせるか、または第2の表示状態とさせる表示制御信号が生成され、前記設定制御信号および前記表示制御信号が送信される。また、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態が前記第2の表示状態とされ、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態が前記第2の表示状態とされる。
本技術の第3の側面の情報処理装置は、ユーザによる1または複数の音源に対する操作に関する操作情報の送信を制御し、前記操作情報の送信に応じて送信されてきた設定制御信号および表示制御信号の受信を制御し、前記設定制御信号に応じて、前記音源に対するミュート設定またはソロ設定を行う制御部と、前記表示制御信号に応じて、前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする表示制御部とを備え、前記表示制御部は、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする。
本技術の第3の側面の情報処理方法は、ユーザによる1または複数の音源に対する操作に関する操作情報を送信し、前記操作情報の送信に応じて送信されてきた設定制御信号および表示制御信号を受信し、前記設定制御信号に応じて、前記音源に対するミュート設定またはソロ設定を行い、前記表示制御信号に応じて、前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とするステップを含み、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする。
本技術の第3の側面においては、ユーザによる1または複数の音源に対する操作に関する操作情報が送信され、前記操作情報の送信に応じて送信されてきた設定制御信号および表示制御信号が受信され、前記設定制御信号に応じて、前記音源に対するミュート設定またはソロ設定が行われ、前記表示制御信号に応じて、前記音源の表示状態が第1の表示状態とされるか、または第2の表示状態とされる。また、前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態が前記第2の表示状態とされ、前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態が前記第2の表示状態とされる。
本技術の第4の側面の情報処理システムは、本技術の第2の側面の情報処理装置と、第3の側面の情報処理装置とからなる情報処理システムである。
情報処理装置の構成例を示す図である。 編集画面の例を示す図である。 POV画像の例を示す図である。 グループ化処理を説明するフローチャートである。 グループ化されたオブジェクトの移動について説明する図である。 グループ化されたオブジェクトの移動について説明する図である。 グループ化されたオブジェクトの移動について説明する図である。 オブジェクト移動処理を説明するフローチャートである。 L/Rペアについて説明する図である。 L/Rペアについて説明する図である。 L/Rペアについて説明する図である。 L/Rペアについて説明する図である。 グループ化処理を説明するフローチャートである。 オフセット量単位でのオブジェクト位置情報の変更について説明する図である。 オフセット量単位でのオブジェクト位置情報の変更について説明する図である。 オフセット量単位でのオブジェクト位置情報の変更について説明する図である。 オフセット量単位でのオブジェクト位置情報の変更について説明する図である。 オフセット移動処理を説明するフローチャートである。 オブジェクト位置情報の補間処理について説明する図である。 オブジェクト位置情報の補間処理について説明する図である。 オブジェクト位置情報の補間処理について説明する図である。 補間方法選択処理を説明するフローチャートである。 編集画面の例を示す図である。 POV画像の例を示す図である。 ミュート設定とソロ設定について説明する図である。 ミュート設定とソロ設定について説明する図である。 ミュート設定とソロ設定について説明する図である。 設定処理を説明するフローチャートである。 オーディオファイルのインポートについて説明する図である。 トラック種別選択画面の例を示す図である。 編集画面の例を示す図である。 トラック種別選択画面の例を示す図である。 編集画面の例を示す図である。 POV画像の例を示す図である。 インポート処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈情報処理装置の構成例〉
本技術は、複数のオブジェクトをグループ化し、グループ化した複数のオブジェクトの3次元空間内における相対的な位置関係を維持したまま、それらの複数のオブジェクトの位置を変更することで、より効率よく編集を行うことができるようにするものである。
なお、ここでいうオブジェクトとは、音源等であるオーディオオブジェクトや、画像上の被写体である画像オブジェクトなど、空間内の位置を示す位置情報を付与することが可能なオブジェクトであれば、どのようなものであってもよい。
以下では、具体的な例としてオブジェクトがオーディオオブジェクトである場合について説明を行う。また、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。
図1は、本技術を適用した情報処理装置の一実施の形態の構成例を示す図である。
図1に示す情報処理装置11は入力部21、記録部22、制御部23、表示部24、通信部25、およびスピーカ部26を有している。
入力部21は、スイッチやボタン、マウス、キーボード、表示部24に重畳して設けられたタッチパネルなどからなり、コンテンツの制作者であるユーザの入力操作に応じた信号を制御部23に供給する。
記録部22は、例えばハードディスクなどの不揮発性のメモリからなり、制御部23から供給されたオーディオコンテンツのデータ等の各種のデータを記録したり、記録しているデータを制御部23に供給したりする。なお、記録部22は、情報処理装置11に対して着脱可能なリムーバブル記録媒体であってもよい。
制御部23は、例えばプロセッサ等により実現され、情報処理装置11全体の動作を制御する。制御部23は、位置決定部41および表示制御部42を有している。
位置決定部41は、入力部21から供給された信号に基づいて、各オブジェクトの空間内の位置、すなわち各オブジェクトの音の音像定位位置を決定する。表示制御部42は、表示部24を制御して、表示部24における画像等の表示を制御する。
表示部24は、例えば液晶表示パネルなどからなり、表示制御部42の制御に従って各種の画像等を表示する。
通信部25は、例えば通信インターフェースなどからなり、インターネット等の有線または無線の通信網を介して外部の装置と通信する。例えば通信部25は、外部の装置から送信されてきたデータを受信して制御部23に供給したり、制御部23から供給されたデータを外部の装置に送信したりする。
スピーカ部26は、例えば所定のチャンネル構成のスピーカシステムの各チャンネルのスピーカからなり、制御部23から供給されたオーディオ信号に基づいてコンテンツの音を再生(出力)する。
〈オブジェクトのグループ化について〉
情報処理装置11は、少なくとも複数のオブジェクトのオブジェクトデータからなる、オブジェクトベースのオーディオコンテンツの編集を実現する編集装置として機能することができる。
なお、オーディオコンテンツのデータには、オブジェクトデータではないデータ、具体的には各チャンネルのオーディオ信号からなるチャンネルオーディオデータが含まれるようにしてもよい。
また、オーディオコンテンツは、映像等が付随しない音楽等の単体のコンテンツであっても勿論よいが、ここではオーディオコンテンツには、対応するビデオコンテンツも存在するものとする。すなわち、オーディオコンテンツのオーディオ信号は、静止画像または動画像(映像)からなるビデオデータ、つまりビデオコンテンツのビデオデータに付随するオーディオ信号であるものとする。例えばビデオコンテンツがライブ映像である場合には、そのビデオコンテンツに対応するオーディオコンテンツは、ライブ映像の音声などとされる。
オーディオコンテンツのデータに含まれる各オブジェクトデータは、オブジェクトの音の波形信号であるオーディオ信号と、オブジェクトのメタ情報とからなる。
また、メタ情報には、例えば3次元空間である再生空間内におけるオブジェクトの位置を示すオブジェクト位置情報と、オブジェクトのオーディオ信号のゲインを示すゲイン情報と、オブジェクトの優先度を示す優先度情報とが含まれている。
さらに、この実施の形態では、オブジェクトの位置を示すオブジェクト位置情報は、再生空間内におけるオーディオコンテンツの音を聴取する聴取者の位置(以下、聴取位置とも称する)を基準とする極座標系の座標により表されるとする。
すなわち、オブジェクト位置情報は水平角度、垂直角度、および半径からなる。なお、ここではオブジェクト位置情報が極座標により表される例について説明するが、これに限らずオブジェクト位置情報は絶対座標により表される絶対位置情報など、どのようなものであってもよい。
水平角度は、聴取位置から見たオブジェクトの水平方向(左右方向)の位置を示す水平方向の角度(Azimuth)であり、垂直角度は、聴取位置から見たオブジェクトの垂直方向(上下方向)の位置を示す垂直方向の角度(Elevation)である。また、半径は、聴取位置からオブジェクトまでの距離(Radius)である。以下では、オブジェクト位置情報としての座標を(Azimuth,Elevation,Radius)と表すこととする。
例えばオーディオコンテンツの再生時には、オブジェクトの音の音像がオブジェクト位置情報により示される位置に定位するように、VBAP等により各オブジェクトのオーディオ信号に基づくレンダリングが行われる。
また、オーディオコンテンツの編集時には、基本的には1つのオブジェクトデータ、つまり1つのオブジェクトのオーディオ信号が1つのオーディオトラックとして扱われる。これに対して、チャンネルオーディオデータについては、そのチャンネルオーディオデータを構成する複数のオーディオ信号が1つのオーディオトラックとして扱われる。なお、以下では、オーディオトラックを単にトラックとも称することとする。
通常、オーディオコンテンツのデータには、数十や数百など多数のオブジェクトのオブジェクトデータが含まれている。
そこで情報処理装置11では、オーディオコンテンツの編集時に、より効率よく編集を行うことができるように複数のオブジェクトをグループ化できるようになされている。すなわち、再生空間内に存在する複数のオブジェクトのなかから選択した複数個のオブジェクトを1つのグループとして扱うことができるように、選択した複数個のオブジェクトをグループ化できるようになされている。
情報処理装置11では、グループ化された複数のオブジェクト、つまり同じグループに属す複数のオブジェクトについては、再生空間内においてそれらのオブジェクトの相対的な位置関係が維持されたままオブジェクト位置情報が変更される。
このようにすることで、情報処理装置11ではオーディオコンテンツの編集時に、グループ単位でオブジェクト位置情報の編集、つまりオブジェクトの音像定位位置の指定(変更)を行うことができる。この場合、オブジェクトごとにオブジェクト位置情報を編集する場合と比較して、オブジェクト位置情報を指定する操作の回数を大幅に削減することができる。したがって情報処理装置11によれば、より効率よく簡単にオーディオコンテンツの編集を行うことができる。
なお、ここではオブジェクト位置情報がグループ単位で編集される例について説明するが、優先度情報やゲイン情報もグループ単位で編集されるようにしてもよい。
そのような場合、例えば所定のオブジェクトの優先度情報が指定されると、その所定のオブジェクトと同じグループに属す他の全てのオブジェクトの優先度情報も、所定のオブジェクトの優先度情報と同じ値に変更される。なお、同じグループに属すオブジェクトの優先度の相対的な関係が維持されたまま、それらのオブジェクトの優先度情報が変更されるようにしてもよい。
また、例えば所定のオブジェクトのゲイン情報が指定されると、その所定のオブジェクトと同じグループに属す他の全てのオブジェクトのゲイン情報も変更される。このとき、グループに属す全オブジェクトのゲイン情報の相対的な大小関係が維持されたまま、それらの全オブジェクトのゲイン情報が変更される。
以下、オーディオコンテンツの編集時におけるオブジェクトのグループ化と、グループ化されたオブジェクトのオブジェクト位置情報の指定(変更)について、より具体的に説明する。
例えばオーディオコンテンツの編集時には、表示制御部42はコンテンツ制作ツールの表示画面として、各トラックのオーディオ信号の時間波形が表示される編集画面を表示部24に表示させる。また、表示制御部42は、コンテンツ制作ツールの表示画面として、聴取位置または聴取位置近傍の位置からの視点ショット(Point of View Shot)であるPOV画像も表示部24に表示させる。なお、編集画面とPOV画像は、互いに異なるウィンドウに表示されてもよいし、同じウィンドウに表示されてもよい。
編集画面は、例えばオーディオコンテンツの各トラックについてオブジェクト位置情報やゲイン情報、優先度情報を指定したり変更したりするための画面(画像)である。また、POV画像は再生空間を模した3Dグラフィックの画像、すなわち聴取者の聴取位置、または聴取者近傍の位置から見た再生空間の画像である。
なお、ここでは説明を簡単にするため、再生空間内における位置、つまりオブジェクト位置情報が予め付与されているオブジェクトのオブジェクトデータからなるオーディオコンテンツの編集が行われるものとする。
一例として、例えば表示制御部42は、表示部24に図2に示す編集画面ED11を表示させる。
この例では、編集画面ED11にはトラックに関する情報が表示されるトラック領域と、そのトラックについてのオーディオ信号の時間波形、オブジェクト位置情報、ゲイン情報、および優先度情報が表示されるタイムライン領域とがトラックごとに設けられている。
具体的には、例えば編集画面ED11における図中、左側にある領域TR11は1つのトラックについてのトラック領域となっており、その領域TR11の図中、右側に隣接して設けられた領域TM11は、領域TR11に対応するトラックのタイムライン領域となっている。
また、各トラック領域には、グループ表示領域と、オブジェクト名表示領域と、座標系選択領域とが設けられている。
グループ表示領域はトラック、すなわちトラックに対応するオブジェクトが属すグループを示す情報が表示される領域である。
例えば領域TR11では、領域TR11内の図中、左側にある領域GP11がグループ表示領域となっており、領域GP11内の文字(数字)「1」はオブジェクト(トラック)が属すグループを示す情報、すなわちグループIDを示している。ユーザはグループ表示領域に表示されるグループIDを見ることで、瞬時にオブジェクトが属しているグループを把握することができる。
なお、グループを示す情報、つまりグループを識別するための情報は数字で表されるグループIDに限らず文字や色情報など、他のどのような情報であってもよい。
さらに編集画面ED11では、同じグループに属すオブジェクト(トラック)のトラック領域は、同じ色で表示されている。例えばグループごとに、それらのグループを表す色が予め定められており、入力部21が操作されてオブジェクトのグループがユーザにより選択(指定)されると、表示制御部42はオブジェクトのトラック領域を、そのオブジェクトに対して選択されたグループを表す色で表示させる。
図2の例では、編集画面ED11における図中、上側の4つのトラック領域が同じ色で表示されており、ユーザはそれらのトラック領域に対応する4つのオブジェクト(トラック)が同じグループに属していることを瞬時に把握することができる。なお、以下、複数のオブジェクトからなるグループに対して定められている色、つまりグループを表す色を特にグループカラーとも称することとする。
オブジェクト名表示領域はトラック、すなわちトラックに対応するオブジェクトに対して付与された、そのオブジェクトの名前(名称)を示すオブジェクト名が表示される領域である。
例えば領域TR11では、領域OB11がオブジェクト名表示領域となっており、この例では領域OB11内に表示された文字「Kick」がオブジェクト名となっている。このオブジェクト名「Kick」は、ドラム(ドラムセット)を構成するバスドラム、すなわち、いわゆるキックを表している。したがって、ユーザはオブジェクト名「Kick」を見ることで、オブジェクトがキックであることを瞬時に把握することができる。
なお、以下では、オブジェクトがどのようなオブジェクト名のものであるかを明確にしたい場合には、オブジェクト名が「Kick」であるオブジェクトを、オブジェクト「Kick」と記すなど、オブジェクトという単語の後にオブジェクト名を付加して記すこととする。
編集画面ED11では、オブジェクト名表示領域にオブジェクト名「OH_L」、「OH_R」、および「Snare」が表示されたオブジェクトのグループIDが、オブジェクト「Kick」のグループIDと同じ「1」となっている。
オブジェクト「OH_L」は、ドラムの演奏者の頭上左側に設けられたオーバーヘッドマイクロホンにより収音された音のオブジェクトである。また、オブジェクト「OH_R」は、ドラムの演奏者の頭上右側に設けられたオーバーヘッドマイクロホンにより収音された音のオブジェクトであり、オブジェクト「Snare」はドラムを構成するスネアドラムである。
このようにオブジェクト名が「Kick」、「OH_L」、「OH_R」、および「Snare」である各オブジェクトはドラムを構成するものであるので、それらのオブジェクトはグループIDが「1」である同じグループに纏められている。
通常、ドラム(ドラムセット)を構成するキックやスネアドラムなどのオブジェクトの相対的な位置関係は変化しない。そのため、それらのオブジェクトを同じグループとし、相対的な位置関係を維持したままオブジェクト位置情報が変更されるようにすれば、1つのオブジェクトのオブジェクト位置情報を変更するだけで、他のオブジェクトのオブジェクト位置情報も適切に変更することができる。
座標系選択領域は、編集時におけるオブジェクト位置情報の座標系を選択するための領域である。例えば座標系選択領域では、ドロップダウンリスト形式により複数の座標系のなかから任意のものを選択できるようになっている。
領域TR11では、領域PS11が座標系選択領域となっており、この例では領域PS11内には選択された座標系である極座標系を示す文字「Polar」が表示されている。
なお、ここでは極座標系が選択される例について説明する。しかし、例えば編集画面ED11上では座標系選択領域で選択された座標系の座標でオブジェクト位置情報が編集され、その後、オブジェクト位置情報が極座標系で表された座標に変換されてメタ情報のオブジェクト位置情報とされてもよいし、座標系選択領域で選択された座標系の座標がそのままメタ情報のオブジェクト位置情報とされてもよい。
また、トラックに対応するオブジェクトのグループを指定(選択)する場合、例えばユーザは入力部21を操作してグループ選択ウィンドウGW11を表示させる。
具体的には、例えばグループを指定しようとする場合、ユーザはポインタやカーソル等により所望のトラックのグループ表示領域を指定することで、対象とするトラックを選択するとともにグループ化のためのメニューを表示させる。
図2の例では、グループ化のためのメニューとして、文字「Group」が表示されたメニュー項目ME11と、文字「L/R pair」が表示されたメニュー項目ME12とからなるメニューが表示されている。
メニュー項目ME11は、ポインタやカーソル等により選択状態となっているトラックに対応するオブジェクトのグループIDを指定するためのグループ選択ウィンドウGW11を表示させるときに選択される。これに対してメニュー項目ME12は、ポインタやカーソル等により選択状態となっているトラックに対応するオブジェクトを後述するL/Rペアとするときに選択(操作)される。
ここでは、メニュー項目ME11が選択されたため、編集画面ED11に重畳されてグループ選択ウィンドウGW11が表示されている。
グループ選択ウィンドウGW11上には、選択され得るグループを表す複数のグループアイコンと、それらのグループアイコンのうちの何れか1つを選択するためのカーソルCS11とが表示されている。
この例ではグループアイコンは四角形状となっており、そのグループアイコン内にはグループIDが表示されている。例えばグループアイコンGA11はグループIDが「1」であるグループを表しており、グループアイコンGA11内にはグループID「1」が表示されている。また、各グループアイコンはグループカラーで表示されている。
ユーザは、入力部21を操作することでカーソルCS11を移動させ、所望のグループアイコンを選択することで、トラックに対応するオブジェクトが属すグループを選択する。
また、表示部24には、例えば編集画面ED11に対応するPOV画像として図3に示す画像が表示される。
図3に示す例では所定のウィンドウにPOV画像P11が表示されている。POV画像P11では、聴取位置Oのやや後方から見た再生空間である部屋の壁等が表示されており、部屋における聴取者前方の位置には、ビデオコンテンツの映像が重畳表示されたスクリーンSC11が配置されている。POV画像P11では、実際の聴取位置O近傍から見た再生空間がほぼそのまま再現されている。
スクリーンSC11上にはビデオコンテンツの映像内の被写体としてドラム、エレキギター、およびアコースティックギターと、それらの楽器の演奏者が表示されている。
特に、この例ではスクリーンSC11上に各楽器の演奏者として、ドラムの演奏者PL11と、エレキギターの演奏者PL12と、1つ目のアコースティックギターの演奏者PL13と、2つ目のアコースティックギターの演奏者PL14とが表示されている。
また、POV画像P11には、オブジェクトを表すマーク、より詳細にはオブジェクトの位置を表すマークであるオブジェクトボールBL11乃至オブジェクトボールBL19も表示されている。この例では、これらのオブジェクトボールBL11乃至オブジェクトボールBL19がスクリーンSC11上に位置している。
各オブジェクトボールには、それらのオブジェクトボールに対応するオブジェクトのオブジェクト名を示す文字も表示されている。
具体的には、例えばオブジェクトボールBL11には、オブジェクト名「Kick」が表示されており、このオブジェクトボールBL11は、図2の領域TR11のトラックに対応するオブジェクト、より詳細にはそのオブジェクトの再生空間内における位置を表している。オブジェクトボールBL11は、POV画像P11上においてオブジェクト「Kick」のオブジェクト位置情報により示される位置に表示される。
また、オブジェクトボールBL12には、オブジェクト名「OH_L」が表示されており、このオブジェクトボールBL12はオブジェクト「OH_L」を表していることが分かる。
同様にオブジェクトボールBL13にはオブジェクト名「OH_R」が表示されており、オブジェクトボールBL14にはオブジェクト名「Snare」が表示されている。
POV画像P11においては、同じグループに属すオブジェクトのオブジェクトボールは同じ色で表示されている。換言すれば、グループ化されたオブジェクトのオブジェクトボールは、それらのオブジェクトが属すグループのグループカラーで表示される。
ここでは、図2に示した編集画面ED11においてグループID「1」により示されるグループに属している、オブジェクト名が「Kick」、「OH_L」、「OH_R」、および「Snare」である各オブジェクトのオブジェクトボールBL11乃至オブジェクトボールBL14が同じ色で表示されている。特に、これらのオブジェクトについては、オブジェクトボールBL11乃至オブジェクトボールBL14と、編集画面ED11におけるトラック領域とがグループID「1」により示されるグループのグループカラーで表示されている。
したがって、ユーザは編集画面ED11やPOV画像P11において、どのオブジェクトが同じグループに属しているかを簡単に把握することができる。また、ユーザは編集画面ED11とPOV画像P11との間で、どのオブジェクトボールがどのトラックに対応するものであるかも容易に把握することができる。
さらに、図3では特にグループ化されていない、つまりグループに属していないオブジェクトのオブジェクトボールBL15乃至オブジェクトボールBL19については、予め定められた色、すなわち何れのグループカラーとも異なる色で表示されている。
ユーザは編集画面ED11やPOV画像P11を見ながら入力部21を操作し、各トラックについてオブジェクト位置情報の座標を入力したり、オブジェクトボールの位置を直接操作して移動させたりすることで、音像の定位位置を指定することができる。このようにすることで、ユーザは適切な音像の定位位置を容易に決定(指定)することができる。
なお、図3ではユーザは入力部21を操作することで、POV画像P11における視線方向を任意の方向に変更することができる。この場合、表示制御部42は変更後の視線方向の再生空間の画像をPOV画像P11として表示させる。
このとき、POV画像P11の視点位置が聴取位置Oの近傍の位置とされた場合には、POV画像P11における手前側の領域には必ず聴取位置Oが表示されるようになされる。これにより、視点位置が聴取位置Oとは異なる場合であっても、POV画像P11を見ているユーザは、表示されているPOV画像P11がどの位置を視点位置とした画像であるかを容易に把握することができる。
さらに、図3の例ではPOV画像P11上において、聴取位置Oの前方左側と前方右側にスピーカが表示されている。これらのスピーカは、ユーザが想定している、オーディオコンテンツ再生時に用いられるスピーカシステムを構成する各チャンネルのスピーカとなっている。
また、この実施の形態では編集画面ED11においてグループ選択ウィンドウGW11を表示させ、トラックごとにグループIDを指定することによりオブジェクトのグループ化が行われる例について説明した。
しかし、ユーザが入力部21を操作することにより、POV画像P11上において1または複数のオブジェクトボールを選択した状態でグループ選択ウィンドウを表示させ、グループIDを指定することによりオブジェクトのグループ化が行われるようにしてもよい。
さらに、複数のグループをグループ化し、それらの複数のグループからなる大グループを形成することができるようにしてもよい。そのような場合、例えば大グループを単位としてオブジェクトのオブジェクト位置情報を変更することで、大グループに属す複数のオブジェクトの相対的な位置関係を維持したまま、各オブジェクト位置情報を同時に変更することができる。
このような大グループは、一時的に複数のグループのオブジェクトの相対的な位置関係を維持したまま、各オブジェクトのオブジェクト位置情報を変更したいときに特に有用である。この場合、大グループが必要でなくなったときには、その大グループのグループ化を解除し、個々のグループを単位としてその後の編集を行うことができる。
〈グループ化処理の説明〉
次に、以上において説明したオブジェクトのグループ化時に情報処理装置11により行われる動作について説明する。すなわち、以下、図4のフローチャートを参照して、情報処理装置11によるグループ化処理について説明する。なお、グループ化処理が開始される時点では、既に表示部24に編集画面が表示されている状態であるとする。
ステップS11において、制御部23は入力部21に対する入力操作によるグループ化するオブジェクトとグループの指定を受け付ける。
例えばユーザは、入力部21を操作して図2に示した編集画面ED11からグループ化しようとする所望のオブジェクトに対応するトラックのグループ表示領域を指定(選択)することにより、グループ化するオブジェクトを指定する。制御部23は、入力部21から供給された信号により、指定されたオブジェクトを特定する。
また、ユーザは、グループ表示領域を指定することにより表示されたグループ選択ウィンドウGW11において、カーソルCS11を移動させてグループアイコンを指定することによりグループを指定する。
このとき、制御部23の表示制御部42は、入力部21から供給された信号に基づいてグループ選択ウィンドウGW11を表示部24に表示させ、制御部23は、入力部21から供給された信号に基づいて指定されたグループを特定する。
ステップS12において制御部23は、ステップS11で指定されたオブジェクトが、ステップS11で指定されたグループに属すようにオブジェクトのグループ化を行い、グループ情報を生成する。
例えばグループ情報は、どのオブジェクトがどのグループに属しているかを示す情報であり、グループIDと、そのグループIDにより示されるグループに属すオブジェクトを示す情報とからなる。なお、オブジェクトを示す情報は、オブジェクトそのものを識別するオブジェクトID等であってもよいし、オブジェクトを間接的に識別するトラックID等のトラックを示す情報であってもよい。
制御部23は、生成したグループ情報を必要に応じて記録部22に供給し、記録させる。なお、記録部22に既にグループ情報が記録されている場合には、制御部23は指定されたグループのグループ情報に対して、新たに指定されたオブジェクトを示す情報が追加されるようにそのグループ情報を更新する。
このようにしてグループ情報を生成することにより、オブジェクトがグループ化されたことになる。
ステップS13において表示制御部42は、新たに生成または更新されたグループ情報に基づいて、既に表示部24に表示されている編集画面およびPOV画像の表示を更新する。
例えば表示制御部42は表示部24を制御して、図2に示したように編集画面ED11における各トラック領域のうち、同じグループに属すオブジェクトのトラック領域をそのグループのグループカラーで表示させる。
同様に表示制御部42は表示部24を制御して、図3に示したようにPOV画像P11における各オブジェクトボールのうち、同じグループに属すオブジェクトのオブジェクトボールをそのグループのグループカラーで表示させる。これにより、同じグループに属すオブジェクト、すなわち関連性の高いオブジェクトを容易に判別することができる。
以上のようにしてオブジェクトのグループ化が行われ、それに伴い編集画面やPOV画像の表示が更新されると、グループ化処理は終了する。
以上のように情報処理装置11は、入力部21に対する入力操作により指定されたオブジェクトが、指定されたグループに属すようにオブジェクトのグループ化を行う。
このようなグループ化を行うことで、グループ単位でオブジェクト位置情報等の編集を行うことができるようになり、より効率よく編集を行うことができる。
〈オブジェクト位置情報の編集について〉
オブジェクトのグループ化が行われると、情報処理装置11ではグループを単位としてオブジェクト位置情報等のオブジェクトに関する情報の編集ができるようになる。
具体的には、例えばグループ化された複数のオブジェクトについて、それらの複数のオブジェクトの相対的な位置関係を維持したまま、各オブジェクトのオブジェクト位置情報を変更することが可能である。
例えば表示部24に図5に示す編集画面とPOV画像が表示されているとする。なお、図5において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図5に示す例では表示部24には編集画面ED21とPOV画像P21とが表示されている。なお、ここでは図を見やすくするため編集画面ED21は一部のみが図示されている。
編集画面ED21には、図2に示した場合と同様にトラック領域とタイムライン領域とがトラックごとに設けられている。
すなわち、ここではオブジェクト名が「Vo」であるボーカルのオブジェクトのトラックと、オブジェクト名が「EG」であるエレキギターのオブジェクトのトラックについて、それぞれトラック領域とタイムライン領域が表示されている。
例えば領域TR21は、ボーカルのオブジェクトのトラックについてのトラック領域であり、領域TM21はボーカルのオブジェクトのトラックについてのタイムライン領域である。
この例では領域TR21内には、グループ表示領域である領域GP21、オブジェクト名表示領域である領域OB21、および座標系選択領域である領域PS21に加えて、さらにトラックカラー表示領域TP21、ミュートボタンMU21、およびソロボタンSL21も表示されている。
ここで、トラックカラー表示領域TP21はトラックカラー番号が表示される領域である。トラックカラー番号は、トラックごとに付与することができる、トラックを識別するための色であるトラックカラーを示す情報である。
後述するように情報処理装置11では、POV画像上のオブジェクトボールをグループカラーで表示させるか、またはトラックカラーで表示させるかを選択することができるようになっている。
そのため、ユーザは入力部21を操作して編集画面ED21上のトラックカラー表示領域を操作することでトラックごとにトラックカラーを指定することができるようになっている。すなわち、例えばユーザは、図2に示したグループ選択ウィンドウGW11と同様のトラックカラー選択ウィンドウを表示させ、そのトラックカラー選択ウィンドウからトラックカラー番号を選択することにより、トラックのトラックカラーを選択する。
例えばトラックカラー表示領域TP21内に記された数字「3」はトラックカラー番号を示しており、そのトラックカラー番号により示されるトラックカラーでトラックカラー表示領域TP21が表示される。
なお、トラックごとに任意のトラックカラーを選択することができ、例えば同じグループに属す2つのオブジェクトに対応するトラックに対して、互いに異なるトラックカラーを選択(指定)することができる。また、例えば互いに異なるグループに属す2つのオブジェクトに対応するトラックに対して、同じトラックカラーを選択することも可能である。
ミュートボタンMU21は後述するミュート設定を行うときに操作されるボタンであり、ソロボタンSL21は後述するソロ設定を行うときに操作されるボタンである。
また、例えばボーカルのオブジェクトのトラックについてのタイムライン領域である領域TM21には、トラック、すなわちオブジェクトのオーディオ信号の時間波形L21と、オブジェクトの時系列の水平角度、垂直角度、および半径を表す折れ線L22乃至折れ線L24とが表示されている。
特に折れ線L22、折れ線L23、および折れ線L24上の点は、その点のある時刻(タイミング)におけるオブジェクト位置情報の水平角度、垂直角度、および半径を指定することが可能となっている編集点を表している。この編集点は、予め定められた時刻が編集点とされるようにしてもよいし、ユーザにより指定された時刻が編集点とされるようにしてもよい。また、ユーザが編集点を削除することができるようにしてもよい。
さらに各トラックの編集時には、ユーザはレンダリング後のオーディオコンテンツの音を再生し、その再生された音を聞きながら編集を行うことができるようになっており、編集画面ED21にはオーディオコンテンツの音の再生位置、つまり再生中の時刻を示す再生カーソルTC21も表示されている。POV画像P21では、再生カーソルTC21により示される時刻(タイミング)のオブジェクト位置情報基づいて、各オブジェクトのオブジェクトボールが表示される。
図5に示す例では、ボーカルとエレキギターの各オブジェクトについて、それらのオブジェクトに対応するトラックのグループ表示領域に同じグループID「3」が表示されており、それらのオブジェクトが同じグループに属していることが分かる。
そのため、POV画像P21においては、エレキギターのオブジェクトのオブジェクトボールBL15と、ボーカルのオブジェクトのオブジェクトボールBL16とが同じグループカラーで表示されている。
また、図5に示す例では、再生カーソルTC21は時刻「13197」に位置している。
この時刻においてボーカルのオブジェクトのオブジェクト位置情報が座標(Azimuth,Elevation,Radius)=(-5.62078,1.36393,1)であり、エレキギターのオブジェクトのオブジェクト位置情報が座標(-3.57278,-3.79667,1)であるとする。
このような図5に示す状態から、例えば図6に示すようにユーザが入力部21を操作し、時刻「20227」におけるボーカルのオブジェクトのオブジェクト位置情報を変更したとする。なお、図6において図5における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
例えばユーザは、入力部21を操作して編集点の位置を移動させたり、オブジェクトボールを移動させたり、直接、変更後のオブジェクト位置情報を入力したりすることにより、オブジェクト位置情報の変更を指示する。すなわち、変更後のオブジェクト位置情報が入力される。
図6の例では、ユーザは時刻「20227」におけるボーカルのオブジェクトの変更後のオブジェクト位置情報として座標(-22.5,1.36393,1)を指定したとする。
すると、位置決定部41は、ユーザの操作に応じて入力部21から供給された信号に応じて、ボーカルのオブジェクトの時刻「20227」におけるオブジェクト位置情報を、ユーザにより指定された座標(-22.5,1.36393,1)に決定する。
同時に位置決定部41は、記録部22に記録されているグループ情報を参照することで、オブジェクト位置情報を変更したボーカルのオブジェクトと同じグループに属している他のオブジェクトを特定する。ここでは、エレキギターのオブジェクトが、ボーカルのオブジェクトと同じグループのオブジェクトであると特定される。
位置決定部41は、このようにして特定した同じグループに属すエレキギターのオブジェクトのオブジェクト位置情報を、ボーカルのオブジェクトとの相対的な位置関係が維持されるように変更(決定)する。このとき、ボーカルのオブジェクトの変更後のオブジェクト位置情報である座標(-22.5,1.36393,1)に基づいて、エレキギターのオブジェクトのオブジェクト位置情報が決定される。
したがって、この例では時刻「20227」におけるエレキギターのオブジェクトのオブジェクト位置情報は、座標(-20.452,-3.79667,1)とされる。
このようにしてグループ化されたオブジェクトのオブジェクト位置情報が変更(決定)されると、表示制御部42は表示部24を制御して、変更後のオブジェクト位置情報により示される位置へとそれらのオブジェクトのオブジェクトボールを移動させる。
図6に示す例では、同グループに属すボーカルのオブジェクトのオブジェクトボールBL16と、エレキギターのオブジェクトのオブジェクトボールBL15とが、それらのオブジェクトの相対的な位置関係を維持したまま、図中、右方向に移動されている。
さらに図6に示す状態から、例えば図7に示すようにユーザが入力部21を操作し、時刻「27462」におけるボーカルのオブジェクトのオブジェクト位置情報を変更したとする。なお、図7において図5における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図7の例では、ユーザは時刻「27462」におけるボーカルのオブジェクトの変更後のオブジェクト位置情報として座標(-56,1.36393,1)を指定したとする。
すると、位置決定部41は、ユーザの操作に応じて入力部21から供給された信号に応じて、ボーカルのオブジェクトの時刻「27462」におけるオブジェクト位置情報を、ユーザにより指定された座標(-56,1.36393,1)に決定する。
同時に位置決定部41は、ボーカルのオブジェクトと同じグループに属すエレキギターのオブジェクトのオブジェクト位置情報を、ボーカルのオブジェクトとの相対的な位置関係が維持されるように変更(決定)する。
したがって、この例では時刻「27462」におけるエレキギターのオブジェクトのオブジェクト位置情報は座標(-53.952,-3.79667,1)とされる。
このようにしてグループ化されたオブジェクトのオブジェクト位置情報が変更されると、表示制御部42は表示部24を制御して、変更後のオブジェクト位置情報により示される位置へとそれらのオブジェクトのオブジェクトボールを移動させる。
図7に示す例では、同グループに属すボーカルのオブジェクトのオブジェクトボールBL16と、エレキギターのオブジェクトのオブジェクトボールBL15とが、それらのオブジェクトの相対的な位置関係を維持したまま、図6における場合よりもさらに図中、右方向に移動されている。
図6や図7の例では、ユーザはボーカルのオブジェクトの変更後のオブジェクト位置情報を入力する必要はあるが、そのボーカルのオブジェクトと同じグループに属すエレキギターのオブジェクトについては、変更後のオブジェクト位置情報等の入力は必要としない。
つまり、1つのオブジェクトのオブジェクト位置情報を変更するだけで、ユーザから見れば特に何も指示しなくても自動的に、そのオブジェクトと同じグループに属す他の全てのオブジェクトのオブジェクト位置情報も一括で変更される。換言すれば、ユーザはいちいち全てのオブジェクトのオブジェクト位置情報を入力して変更する作業を行わなくて済む。しかも、それらのオブジェクトの相対的な位置関係を維持したまま、適切にオブジェクト位置情報を変更することができる。
以上のように同じグループに属す全オブジェクトのオブジェクト位置情報を、それらの相対的な位置関係を維持したまま変更することで、より効率よく簡単にオブジェクト位置情報の編集を行うことができる。
なお、図6および図7では、ボーカルのオブジェクトのオブジェクト位置情報を変更するときに、その変更に合わせて同グループに属すエレキギターのオブジェクトのオブジェクト位置情報が変更される例について説明した。
しかし、逆にユーザによりエレキギターのオブジェクトのオブジェクト位置情報が変更されたときには、その変更に応じてボーカルのオブジェクトのオブジェクト位置情報が変更される。
〈オブジェクト移動処理の説明〉
ここで、図5乃至図7を参照して説明したようにオブジェクト位置情報を変更して、再生空間におけるオブジェクトの位置を移動させる場合に行われる処理について説明する。すなわち、以下、図8のフローチャートを参照して、情報処理装置11によるオブジェクト移動処理について説明する。なお、このオブジェクト移動処理が開始されるときには、少なくとも表示部24に編集画面が表示された状態となっている。
ステップS41において制御部23は、オブジェクト位置情報の変更対象とするオブジェクトと、そのオブジェクトの変更後のオブジェクト位置情報の指定を受け付ける。
例えばユーザは、入力部21を操作して編集画面上のトラック領域等を選択することにより変更対象とするオブジェクトを指定し、制御部23は入力部21から供給された信号に基づいて、指定されたオブジェクトを特定する。
また、例えばユーザは入力部21を操作して、編集画面のタイムライン領域に表示されているオブジェクト位置情報を構成する水平角度や、垂直角度、半径の編集点の位置を移動させる等の入力を行うことで、変更後のオブジェクト位置情報を指定する。
ステップS42において制御部23は、記録部22に記録されているグループ情報を参照して、ステップS41で指定されたオブジェクトと同じグループに属すオブジェクトを特定する。
ステップS43において位置決定部41は、変更後のオブジェクト位置情報を指定する操作に応じて入力部21から供給された信号に基づいて、指定されたオブジェクトのオブジェクト位置情報を変更(更新)する。
また位置決定部41は、指定されたオブジェクトのオブジェクト位置情報の変更に応じて、ステップS42で特定された同じグループに属す他の全てのオブジェクトのオブジェクト位置情報も変更する。このとき、グループに属す全オブジェクトの相対的な位置関係が維持(保持)されるように、オブジェクト位置情報が変更される。
ステップS44において表示制御部42は、表示部24を制御して、ステップS43におけるオブジェクト位置情報の変更に応じて、表示部24に表示されている編集画面およびPOV画像の表示を更新し、オブジェクト移動処理は終了する。
例えば表示制御部42は、編集画面のタイムライン領域におけるオブジェクト位置情報を構成する水平角度や、垂直角度、半径の位置の表示を更新するとともに、POV画像上のオブジェクトボールの位置を移動させる。このようにしてオブジェクト位置情報が変更されると、再生空間においてオブジェクトが移動されたことになる。
以上のようにして情報処理装置11は、1つのオブジェクトのオブジェクト位置情報を変更するときには、そのオブジェクトだけでなく、そのオブジェクトと同じグループに属す他の全てのオブジェクトのオブジェクト位置情報も変更する。このとき情報処理装置11は、同じグループに属す全オブジェクトの相対的な位置関係が変更前後で維持されるように、それらのオブジェクトのオブジェクト位置情報を変更する。
このように同じグループに属すオブジェクトのオブジェクト位置情報を、それらのオブジェクトの相対的な位置関係を維持したまま同時に変更することで、より効率よく編集を行うことができる。
〈L/Rペアについて〉
ところで、ペアとなる2つのオブジェクトをグループ化する場合、それらの2つのオブジェクトの再生空間上における位置を、所定の基準となる基準面に対して左右対称に配置したいことがある。ここでいう基準面とは、例えば聴取位置Oから見た正面の方向と平行な直線を含む正中面である。
例えばリバーブ成分、つまりアンビエンスなどについては、2つのアンビエンスをそれぞれペアとなるオブジェクトとし、それらのオブジェクトを基準面に対して左右対称に配置したいという要望も多い。
そこで、基準面に対して左右対称に配置したい2つのオブジェクトを、L/Rペアを構成するオブジェクトとして指定することができるようにしてもよい。
L/Rペアとなる2つのオブジェクトは1つのグループを構成する。そして、それらの2つのオブジェクトの一方のオブジェクト位置情報の変更が指示された場合には、再生空間において基準面に対して左右対称となるように、一方のオブジェクトのオブジェクト位置情報だけでなく他方のオブジェクトのオブジェクト位置情報も変更される。
具体的には、例えばグループ化するオブジェクトをL/Rペアを構成するオブジェクトとして指定する場合、ユーザは図9に示すようにメニュー項目ME12を指定する操作を行う。なお、図9において図2における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図9では、表示部24に表示された編集画面ED31の一部分が示されており、この例では編集画面ED31には、2つの各トラックについてのトラック領域とタイムライン領域とが表示されている。
例えば領域TR31は、オブジェクト名が「Amb_L」である、聴取位置Oから見て正面左側に配置されるアンビエンスのオブジェクトに対応するトラックのトラック領域となっている。同様に、領域TR32は、オブジェクト名が「Amb_R」である、聴取位置Oから見て正面右側に配置されるアンビエンスのオブジェクトに対応するトラックのトラック領域となっている。
さらに図9では、領域TR32、つまりオブジェクト「Amb_R」に対応するトラックが選択(指定)された状態で、メニュー項目ME11およびメニュー項目ME12と、グループ選択ウィンドウGW11が表示されている。
このような状態でユーザが入力部21を操作して、L/Rペアとして指定するためのメニュー項目ME12を操作すると、メニュー項目ME12における文字「L/R pair」の図中、左側にチェックマークが表示される。これにより、オブジェクト「Amb_R」は、L/Rペアを構成するオブジェクトとされる。
また、ここではグループ選択ウィンドウGW11において、カーソルCS11によってグループIDが「9」であるグループアイコンが指定(選択)されている。そのため、オブジェクト「Amb_R」は、グループIDが「9」であるグループに属し、かつL/Rペアを構成するオブジェクトとなる。
図9の例では、オブジェクト「Amb_L」に対応するトラックについても、領域TR31内のグループ表示領域にはグループID「9」が表示されている。
したがって、オブジェクト「Amb_L」とオブジェクト「Amb_R」はグループIDが「9」であるグループに属し、かつL/Rペアを構成するオブジェクトとなっていることが分かる。
このように各オブジェクトに対して、所属するグループだけでなくL/Rペアとするか否かも指定することができる場合、各オブジェクトがL/Rペアを構成するオブジェクトであるか否かを示す情報であるL/Rペアフラグもグループ情報に含まれるようにすればよい。
そのような場合、例えばグループ情報にはグループIDと、グループに属すオブジェクトを示す情報と、L/Rペアフラグとが含まれるようにされる。
例えばL/Rペアフラグの値「1」は、グループに属す2つのオブジェクトはL/Rペアであることを示しており、L/Rペアフラグの値「0」は、グループに属す複数のオブジェクトはL/Rペアでないことを示している。
特に、値が「1」であるL/Rペアフラグを含むグループ情報に対応するグループは、必ず2つのオブジェクトから構成されるようにされる。換言すれば、2つのオブジェクトによって1つのグループが構成されている場合にのみ、それらの2つのオブジェクトをL/Rペアとして指定することが可能である。したがってL/Rペアであることは、グループの1つの特性を示しているということができる。
以上のようにオブジェクト「Amb_L」とオブジェクト「Amb_R」がL/Rペアとされた場合、それらのオブジェクトのオブジェクト位置情報は、ユーザの操作に応じて例えば図10乃至図12に示すように変更される。なお、図10乃至図12において図9における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
例えば図10に示す例では、表示部24には編集画面ED31とPOV画像P31とが表示された状態となっている。
編集画面ED31では、オブジェクト「Amb_L」のトラック領域である領域TR31と、オブジェクト「Amb_R」のトラック領域である領域TR32とが、それらのオブジェクトが属すグループIDが「9」であるグループのグループカラーで表示されている。また、編集画面ED31上のタイムライン領域では、再生カーソルTC31は時刻「0」に位置している。
このような状態において、ユーザが入力部21を操作し、時刻「0」におけるオブジェクト「Amb_L」のオブジェクト位置情報として座標(30,0,1)を指定したとする。
すると位置決定部41は、時刻「0」におけるオブジェクト「Amb_L」のオブジェクト位置情報を座標(30,0,1)に決定する。同時に位置決定部41は、オブジェクト「Amb_R」の再生空間内における位置がオブジェクト「Amb_L」の位置と基準面に対して左右対称となるように、時刻「0」におけるオブジェクト「Amb_R」のオブジェクト位置情報を決定する。換言すれば、オブジェクト「Amb_R」のオブジェクト位置情報が変更される。
ここでは、時刻「0」におけるオブジェクト「Amb_R」のオブジェクト位置情報は座標(-30,0,1)とされる。
このようにして同一グループに属し、L/Rペアであるオブジェクト「Amb_L」とオブジェクト「Amb_R」のオブジェクト位置情報が決定されると、表示制御部42は、それらの決定されたオブジェクト位置情報に基づいてPOV画像P31の表示を更新する。
ここでは、POV画像P31上における座標(30,0,1)に対応する位置には、オブジェクト「Amb_L」のオブジェクトボールBL31が表示されている。
このオブジェクトボールBL31には、オブジェクト名「Amb_L」が表示されており、またオブジェクトボールBL31は、グループIDが「9」であるグループのグループカラーで表示されている。
これに対して、POV画像P31上における座標(-30,0,1)に対応する位置には、オブジェクト「Amb_R」のオブジェクトボールBL32が表示されている。
このオブジェクトボールBL32には、オブジェクト名「Amb_R」が表示されており、またオブジェクトボールBL32は、グループIDが「9」であるグループのグループカラーで表示されている。
特に、ここでは聴取位置Oと、図中、奥行き方向に対して平行な直線とを含む平面が基準面とされており、オブジェクトボールBL31とオブジェクトボールBL32とが基準面に対して左右対称となる位置に配置されている。
また、図10に示す状態から、図11に示すようにユーザが入力部21を操作し、時刻「20000」におけるオブジェクト「Amb_L」のオブジェクト位置情報として座標(56.5,0,1)を指定したとする。
すると、位置決定部41はオブジェクト「Amb_L」のオブジェクト位置情報としての座標(56.5,0,1)に応じて、時刻「20000」におけるオブジェクト「Amb_R」のオブジェクト位置情報を座標(-56.5,0,1)とする。
そして表示制御部42は、変更後のオブジェクト位置情報としての座標(56.5,0,1)および座標(-56.5,0,1)に基づいて表示部24を制御し、POV画像P31の表示を更新する。
これにより、オブジェクトボールBL31はPOV画像P31上における座標(56.5,0,1)に対応する位置に移動され、オブジェクトボールBL32はPOV画像P31上における座標(-56.5,0,1)に対応する位置に移動される。これらのオブジェクトボールBL31およびオブジェクトボールBL32は、移動後においても図10における場合と同様に、基準面に対して左右対称の位置に配置された状態となっている。
さらに、図11に示す状態から、図12に示すようにユーザが入力部21を操作し、時刻「40000」におけるオブジェクト「Amb_L」のオブジェクト位置情報として座標(110,25,1)を指定したとする。
すると、位置決定部41はオブジェクト「Amb_L」のオブジェクト位置情報としての座標(110,25,1)に応じて、時刻「40000」におけるオブジェクト「Amb_R」のオブジェクト位置情報を座標(-110,25,1)とする。
そして表示制御部42は、変更後のオブジェクト位置情報としての座標(110,25,1)および座標(-110,25,1)に基づいて表示部24を制御し、POV画像P31の表示を更新する。
これにより、オブジェクトボールBL31はPOV画像P31上における座標(110,25,1)に対応する位置に移動され、オブジェクトボールBL32はPOV画像P31上における座標(-110,25,1)に対応する位置に移動される。これらのオブジェクトボールBL31およびオブジェクトボールBL32は、移動後においても図10や図11における場合と同様に、基準面に対して左右対称の位置に配置された状態となっている。
なお、ここではL/Rペアであるオブジェクト「Amb_L」とオブジェクト「Amb_R」のうちのオブジェクト「Amb_L」のオブジェクト位置情報を指定したときに、それに合わせてオブジェクト「Amb_R」のオブジェクト位置情報を変更する例について説明した。しかし、逆にオブジェクト「Amb_R」のオブジェクト位置情報が指定されたときには、位置決定部41は、それに合わせてオブジェクト「Amb_L」のオブジェクト位置情報を変更する。
以上のようにグループに属すオブジェクトが2つである場合、ユーザはそれらの2つのオブジェクトをL/Rペアとして指定することができる。換言すれば、グループの特性としてL/Rペアをセット(設定)することができる。
L/Rペアの設定を行えば、L/Rペアの一方のオブジェクトのオブジェクト位置情報を変更するだけで、ユーザから見れば特に何も指示しなくても自動的に、他方のオブジェクトのオブジェクト位置情報も変更される。しかも、L/Rペアとなる2つのオブジェクトは、基準面に対して左右対称となる位置に配置されるようになるので、ユーザは左右対称の音像位置を容易に設定することができる。
〈グループ化処理の説明〉
ここで、以上のようにL/Rペアを指定することができる場合に情報処理装置11により行われるグループ化処理について説明する。すなわち、以下、図13のフローチャートを参照して、情報処理装置11によるグループ化処理について説明する。
グループ化処理が開始されると、ステップS71の処理が行われるが、このステップS71の処理は図4のステップS11の処理と同様であるので、その説明は省略する。但し、ステップS71では、ユーザは適宜、編集画面上においてL/Rペアとして指定するためのメニュー項目を操作することで、L/Rペアを指定する。
ステップS72において制御部23は、入力部21から供給される信号に基づいて、グループ化するオブジェクトとして指定されたオブジェクトが2つであるか否かを判定する。
ステップS72において2つでない、つまり3以上のオブジェクトがグループ化されると判定された場合、その後、処理はステップS75へと進む。
これに対して、ステップS72において2つであると判定された場合、ステップS73において制御部23はグループ化する2つのオブジェクトをL/Rペアとするか否かを判定する。例えば2つのオブジェクトをグループ化するときに、図9に示したメニュー項目ME12が操作されてL/Rペアの指定が行われた場合、L/Rペアとすると判定される。
ステップS73においてL/Rペアとすると判定された場合、ステップS74において制御部23は、グループ化する2つのオブジェクトが属すグループのL/Rペアフラグの値を「1」とする。すなわち、値が「1」であるL/Rペアフラグが生成される。
ステップS74の処理が行われると、その後、処理はステップS76へと進む。
一方、ステップS73においてL/Rペアとしないと判定された場合、その後、処理はステップS75に進む。
ステップS73においてL/Rペアとしないと判定されたか、またはステップS72において、指定されたオブジェクトが2つでないと判定された場合、ステップS75の処理が行われる。
ステップS75において制御部23は、グループ化する複数のオブジェクトが属すグループのL/Rペアフラグの値を「0」とする。すなわち、値が「0」であるL/Rペアフラグが生成される。
ステップS75の処理が行われると、その後、処理はステップS76に進む。
ステップS74またはステップS75においてL/Rペアフラグが生成されると、その後、ステップS76およびステップS77の処理が行われてグループ化処理は終了する。
なお、これらのステップS76およびステップS77の処理は図4のステップS12およびステップS13の処理と同様であるので、その説明は省略する。但し、ステップS76では、制御部23はステップS71におけるユーザの指定操作に応じて、グループIDと、グループに属すオブジェクトを示す情報と、ステップS74またはステップS75で生成されたL/Rペアフラグとからなるグループ情報を生成する。
以上のようにして情報処理装置11は、入力部21に対する入力操作に応じてグループ化を行い、L/Rペアフラグが含まれるグループ情報を生成する。
このようにしてグループ化を行うことで、オブジェクト位置情報等をグループ単位で、より効率よく編集することができる。しかも、L/Rペアとされたオブジェクト対については、ユーザは一方のオブジェクトの位置を指定するだけで、左右対称の位置にオブジェクトを配置することができるようになる。
また、図13を参照して説明したグループ化処理が行われる場合においても、オブジェクト位置情報の変更が指示されたときには、基本的には図8を参照して説明したオブジェクト移動処理と同様の処理が行われる。
但し、この場合、オブジェクトがL/Rペアを構成するオブジェクトであるときには、ステップS43ではL/Rペアとされた2つのオブジェクトが基準面に対して左右対称となるように、それらの2つのオブジェクトのオブジェクト位置情報が変更される。すなわち、2つのオブジェクトが基準面に対して左右対称となる関係を維持したまま、それらのオブジェクトのオブジェクト位置情報が変更される。したがって、この場合においても、ユーザはより効率よく簡単に編集を行うことができる。
〈複数時刻のオブジェクト位置情報の同時編集について〉
ところで、編集画面においてはユーザは時刻ごと、つまり編集点ごとにオブジェクト位置情報を構成する水平角度や、垂直角度、半径を指定(変更)することが可能である。
さらに情報処理装置11では、オブジェクト位置情報を変更する場合、時間方向に並ぶ複数の編集点を含む変更範囲を指定することで複数の編集点を選択し、それらの複数の編集点の位置(座標値)を同時に所定の変更量ずつオフセット(変更)することができる。
以下では、指定された変更範囲に含まれる複数の編集点の座標値、すなわち水平角度や、垂直角度、半径を1度の操作で同時に変更させる変更量を特にオフセット量と称することとする。また、変更範囲に含まれる編集点を特に選択編集点とも称することとする。
ここで、図14乃至図17を参照して、変更範囲を指定することで互いに異なる複数の時刻の編集点を同時に選択し、それらの選択した編集点の座標値をオフセット量ずつ変更する場合の具体的な例について説明する。なお、図14乃至図17において互いに対応する部分には同一の符号を付してあり、その説明は適宜省略する。
まず、例えば図14に示すように、表示部24に表示されている編集画面ED41上にオブジェクト「Amb_L」のトラックについて、トラック領域である領域TR41と、タイムライン領域である領域TM41とが表示されているとする。
図14では、タイムライン領域である領域TM41内の折れ線L41、折れ線L42、および折れ線L43は、オブジェクト「Amb_L」の時系列の水平角度、垂直角度、および半径を表している。
特に、ここではオブジェクト位置情報を構成する水平角度を示す折れ線L41上には、時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」のそれぞれにおける水平角度を示す編集点EP41-1乃至編集点EP41-4が設けられている。なお、以下、編集点EP41-1乃至編集点EP41-4を特に区別する必要のない場合、単に編集点EP41とも称する。
同様に折れ線L42上には、時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」のそれぞれにおける垂直角度を示す編集点EP42-1乃至編集点EP42-4が設けられている。なお、以下、編集点EP42-1乃至編集点EP42-4を特に区別する必要のない場合、単に編集点EP42とも称する。
さらに、折れ線L43上には、時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」のそれぞれにおける半径を示す編集点EP43-1乃至編集点EP43-4が設けられている。なお、以下、編集点EP43-1乃至編集点EP43-4を特に区別する必要のない場合、単に編集点EP43とも称する。
いま、オブジェクト「Amb_L」についての時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」の各時刻におけるオブジェクト位置情報としての座標が、それぞれ(Azimuth,Elevation,Radius)=(56.5,0,1)、(65.0,0,1)、(35.0,0,1)、および(90.0,0,1)であったとする。
このような状態で、ユーザが入力部21を操作し、例えば入力部21としてのマウスによる範囲選択等の操作を行うことで、複数の編集点を含む範囲を変更範囲として選択すると、図15に示すような変更範囲を示す枠W41が表示される。
この例では折れ線L42上にある4つの編集点EP42-1乃至編集点EP42-4を含む範囲が枠W41で囲まれており、この枠W41で囲まれた範囲が変更範囲として指定されている。
なお、1つの編集点EP42のみが含まれる範囲を変更範囲として指定することも可能であるし、水平角度や垂直角度など、互いに異なる種別(座標成分)の編集点を含む範囲を変更範囲として指定することも可能である。すなわち、例えば複数の編集点EP41、編集点EP42、および編集点EP43を含む範囲を変更範囲として指定することもできる。
その他、例えば所定時刻の編集点が変更範囲内に含まれているときには、その編集点と同じ時刻の他の座標成分の編集点も変更範囲内に含まれているものとして選択されるようにしてもよい。
また、変更範囲の指定、すなわち変更範囲に含める編集点の指定の方法は、例えばキーボードのコントロールキーを押した状態で、マウスを操作することで各編集点をポインタによりクリック等で指定していくようにするなど、どのような方法であってもよい。
変更範囲が指定されると、表示制御部42は表示部24を制御して、編集画面ED41上に、例えば図16に示すオフセット画面OF41を表示させる。
図16に示す例では、編集画面ED41のタイムライン領域である領域TM41上に重畳されてオフセット画面OF41が表示されている。
このオフセット画面OF41には、選択編集点の時間方向の位置を移動させる、つまり選択編集点の時刻を変更させるときのオフセット量を示すオフセット表示領域OFT41が設けられている。オフセット表示領域OFT41内には選択編集点の時刻のオフセット量(以下、特に時間オフセット量とも称する)を示す文字「100」が表示されている。
また、オフセット画面OF41におけるオフセット表示領域OFT41の両端には、選択編集点の時間方向の位置を時間オフセット量「100」ずつ移動させるためのボタンBT41-1およびボタンBT41-2が設けられている。
例えばユーザが入力部21を操作してボタンBT41-1を1度ずつ押していくたびに、選択編集点の時間方向の位置は未来方向に時間オフセット量「100」ずつ移動していく。つまり、オブジェクト位置情報の時刻が時間オフセット量「100」ずつ増加していく。
逆に例えばユーザが入力部21を操作してボタンBT41-2を1度ずつ押していくたびに、選択編集点の時間方向の位置は過去方向に時間オフセット量「100」ずつ移動していく。つまり、オブジェクト位置情報の時刻が時間オフセット量「100」ずつ減少していく。なお、以下、ボタンBT41-1およびボタンBT41-2を特に区別する必要のない場合、単にボタンBT41とも称することとする。
オフセット画面OF41には、選択編集点により示される水平角度を変更させる、つまり選択編集点の位置を移動させるときのオフセット量を示すオフセット表示領域OFT42が設けられている。オフセット表示領域OFT42内には水平角度のオフセット量(以下、特に水平角度オフセット量とも称する)を示す文字「10」が表示されている。
オフセット画面OF41におけるオフセット表示領域OFT42の両端には、選択編集点の値である水平角度、つまり選択編集点の図中、上下方向の位置を水平角度オフセット量「10」ずつ移動させるためのボタンBT42-1およびボタンBT42-2が設けられている。
例えばユーザが入力部21を操作してボタンBT42-1を1度ずつ押していくたびに、選択編集点の位置は図中、上方向に水平角度オフセット量「10」ずつ移動していく。つまり、オブジェクト位置情報の水平角度が水平角度オフセット量「10」ずつ増加していく。
逆に例えばユーザが入力部21を操作してボタンBT42-2を1度ずつ押していくたびに、選択編集点の位置は図中、下方向に水平角度オフセット量「10」ずつ移動していく。つまり、オブジェクト位置情報の水平角度が水平角度オフセット量「10」ずつ減少していく。なお、以下、ボタンBT42-1およびボタンBT42-2を特に区別する必要のない場合、単にボタンBT42とも称することとする。
オフセット画面OF41には、選択編集点により示される垂直角度を変更させる、つまり選択編集点の位置を移動させるときのオフセット量を示すオフセット表示領域OFT43が設けられている。オフセット表示領域OFT43内には垂直角度のオフセット量(以下、特に垂直角度オフセット量とも称する)を示す文字「10」が表示されている。
オフセット画面OF41におけるオフセット表示領域OFT43の両端には、選択編集点の値である垂直角度、つまり選択編集点の図中、上下方向の位置を垂直角度オフセット量「10」ずつ移動させるためのボタンBT43-1およびボタンBT43-2が設けられている。
例えばユーザが入力部21を操作してボタンBT43-1を1度ずつ押していくたびに、選択編集点の位置は図中、上方向に垂直角度オフセット量「10」ずつ移動していく。つまり、オブジェクト位置情報の垂直角度が垂直角度オフセット量「10」ずつ増加していく。
逆に例えばユーザが入力部21を操作してボタンBT43-2を1度ずつ押していくたびに、選択編集点の位置は図中、下方向に垂直角度オフセット量「10」ずつ移動していく。つまり、オブジェクト位置情報の垂直角度が垂直角度オフセット量「10」ずつ減少していく。なお、以下、ボタンBT43-1およびボタンBT43-2を特に区別する必要のない場合、単にボタンBT43とも称することとする。
オフセット画面OF41には、選択編集点により示される半径を変更させる、つまり選択編集点の位置を移動させるときのオフセット量を示すオフセット表示領域OFT44が設けられている。オフセット表示領域OFT44内には半径のオフセット量(以下、特に半径オフセット量とも称する)を示す文字「0.1」が表示されている。
オフセット画面OF41におけるオフセット表示領域OFT44の両端には、選択編集点の値である半径、つまり選択編集点の図中、上下方向の位置を半径オフセット量「0.1」ずつ移動させるためのボタンBT44-1およびボタンBT44-2が設けられている。
例えばユーザが入力部21を操作してボタンBT44-1を1度ずつ押していくたびに、選択編集点の位置は図中、上方向に半径オフセット量「0.1」ずつ移動していく。つまり、オブジェクト位置情報の半径が半径オフセット量「0.1」ずつ増加していく。
逆に例えばユーザが入力部21を操作してボタンBT44-2を1度ずつ押していくたびに、選択編集点の位置は図中、下方向に半径オフセット量「0.1」ずつ移動していく。つまり、オブジェクト位置情報の半径が半径オフセット量「0.1」ずつ減少していく。なお、以下、ボタンBT44-1およびボタンBT44-2を特に区別する必要のない場合、単にボタンBT44とも称することとする。
また、ユーザが入力部21を操作することで、オフセット表示領域OFT41乃至オフセット表示領域OFT44内の数値、すなわちオフセット量を任意の値に変更できるようにしてもよい。
以上のように枠W41で囲まれた範囲が変更範囲として指定され、オフセット画面OF41が表示された状態となると、ユーザは入力部21を操作することで、オフセット画面OF41上に設けられたボタンBT41やボタンBT42、ボタンBT43、ボタンBT44を操作する。
これにより、ユーザはオブジェクト位置情報の成分ごとに、オフセット量単位での変更を指示することができる。すなわち、ユーザはオフセット画面OF41というユーザインターフェースに対する操作を行い、選択編集点を他の編集点に対して相対移動させることができる。
例えばユーザが図15に示した状態、つまり時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」のオブジェクト位置情報としての座標が(56.5,0,1)、(65.0,0,1)、(35.0,0,1)、および(90.0,0,1)である状態で、ボタンBT43-1を5回操作したとする。すなわち、ユーザが選択編集点である4つの各編集点EP42により示される垂直角度を50度だけ増加させる操作を行ったとする。
このような操作が行われると、位置決定部41は、入力部21から供給された信号に基づいて、選択編集点に対応するオブジェクト「Amb_L」の時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」のオブジェクト位置情報の垂直角度を50だけ増加させる。
これにより、オブジェクト「Amb_L」の時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」のオブジェクト位置情報としての座標は(56.5,50,1)、(65.0,50,1)、(35.0,50,1)、および(90.0,50,1)に変更される。
この例では、ユーザはボタンBT43を操作するだけで、4つの時刻のオブジェクト位置情報を同時に垂直角度オフセット量ずつ変更させることができる。
このようにしてオブジェクト位置情報が変更されると、表示制御部42は表示部24を制御して編集画面ED41の表示を更新させる。すなわち、表示制御部42は、図16に示すように編集点EP42-1乃至編集点EP42-4が、図15に示した場合よりも図中、上側に移動するように編集画面ED41の表示を更新させる。
さらに、この状態においてユーザがボタンBT41-1を10回操作したとする。すなわち、ユーザが選択編集点の時刻を1000だけ増加させる操作を行ったとする。
このような操作が行われると、位置決定部41は、入力部21から供給された信号に基づいて選択編集点に対応するオブジェクト「Amb_L」のオブジェクト位置情報の時刻を1000だけ増加させる。
すなわち、これまで時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」のものであったオブジェクト「Amb_L」のオブジェクト位置情報を、時刻「21000」、時刻「26000」、時刻「31000」、および時刻「36000」のオブジェクト位置情報へと変更する。
その結果、オブジェクト「Amb_L」の時刻「21000」、時刻「26000」、時刻「31000」、および時刻「36000」におけるオブジェクト位置情報としての座標が(56.5,50,1)、(65.0,50,1)、(35.0,50,1)、および(90.0,50,1)となる。
同時に、これまで編集点があった時刻「20000」、時刻「25000」、時刻「30000」、および時刻「35000」には編集点はなくなり、それらの時刻のオブジェクト位置情報は、後述する補間処理により求められるようになる。
なお、ここでは垂直角度の編集点EP42のみが選択編集点とされているが、編集点の時刻を変更する場合には、それらの編集点EP42と同時刻の編集点EP41および編集点EP43も選択編集点であるものとされてオブジェクト位置情報の時刻が変更される。
このようにしてオブジェクト位置情報が変更されると、表示制御部42は表示部24を制御して編集画面ED41の表示を更新させる。すなわち、表示制御部42は、図17に示すように編集点EP41乃至編集点EP43が、図16に示した場合よりも図中、右側に移動するように編集画面ED41の表示を更新させる。
以上のように変更範囲に含まれる複数の編集点をまとめてオフセット量ずつ変更できるようにすることで、時刻の異なる複数のオブジェクト位置情報を1つずつ編集する場合と比べて簡単に効率よく編集を行うことができる。
なお、1つのオブジェクトの複数の時刻のオブジェクト位置情報をまとめてオフセット量ずつ変更した場合、そのオブジェクトと同じグループに属す他のオブジェクトがあるときには、他のオブジェクトの複数の時刻のオブジェクト位置情報も変更される。
例えばオブジェクト「Amb_L」とオブジェクト「Amb_R」が同じグループに属しており、オフセット画面OF41に対する操作によってオブジェクト「Amb_L」の時刻A1と時刻A2のオブジェクト位置情報の変更が指示されたとする。
この場合、位置決定部41は、オブジェクト「Amb_L」とオブジェクト「Amb_R」の相対的な位置関係を維持したまま、オブジェクト「Amb_L」およびオブジェクト「Amb_R」の時刻A1と時刻A2のオブジェクト位置情報をオフセット量単位で変更する。
〈オフセット移動処理の説明〉
次に、以上において説明したオフセット画面に対する操作により、複数の異なる時刻のオブジェクト位置情報をまとめて同時に変更するときの情報処理装置11の動作について説明する。すなわち、以下、図18のフローチャートを参照して、情報処理装置11によるオフセット移動処理について説明する。
ステップS101において制御部23は、オブジェクト位置情報の変更対象とするオブジェクトと、そのオブジェクトについての変更範囲の指定を受け付ける。
例えばユーザは入力部21を操作して、編集画面のタイムライン領域に表示されている1または複数の編集点を直接指定したり、1または複数の編集点を含む領域を指定したりすることにより変更範囲を指定する。制御部23は入力部21から供給された信号に基づいて、変更対象として指定されたオブジェクトと、そのオブジェクトについて指定された変更範囲、つまり同時に座標値を変更する選択編集点を特定する。
ステップS102において表示制御部42は、表示部24を制御して、表示部24に表示されている編集画面のタイムライン領域上にオフセット画面を重畳表示させる。これにより、例えば図16に示したオフセット画面OF41が表示される。
ステップS103において制御部23は、オフセット画面に対する操作による選択編集点の位置の変更操作、つまり座標値の変更量の入力を受け付ける。
オフセット画面が表示されるとユーザは入力部21を操作し、オフセット量単位で選択編集点を変更させる変更量を入力する。例えば図16に示した例では、ユーザはボタンBT41や、ボタンBT42、ボタンBT43、ボタンBT44を操作することにより座標値の変更を指示する。
ステップS104において位置決定部41は、入力部21から供給された信号に基づいて、指定されたオブジェクトの変更範囲内に含まれる選択編集点の値、すなわちオブジェクト位置情報をオフセット量単位で同時に変更する。ステップS104では、1または複数の各時刻のオブジェクト位置情報が、オフセット量を単位とするユーザにより指定された変更量だけ同時に変更される。
例えば図15に示した状態において、図16に示したボタンBT43-1がユーザにより1度だけ操作された場合には、位置決定部41は選択編集点に対応する時刻のオブジェクト位置情報を構成する垂直角度を10度だけ増加させる。
ステップS105において制御部23は、オブジェクト位置情報の変更対象となっているオブジェクトと、記録部22に記録されているグループ情報に基づいて、変更対象のオブジェクトがグループに属しているか否かを判定する。換言すれば、変更対象のオブジェクトと同じグループに属している他のオブジェクトがあるか否かが判定される。
ステップS105においてグループに属していない、つまり同じグループに属す他のオブジェクトがないと判定された場合、処理はステップS107に進む。
これに対して、ステップS105においてグループに属している、つまり同じグループに属す他のオブジェクトがあると判定された場合、処理はステップS106に進む。
ステップS106において位置決定部41は、変更対象のオブジェクトと同じグループに属す他の全てのオブジェクトのオブジェクト位置情報を変更する。このとき、位置決定部41は、グループに属す全オブジェクトの再生空間内における相対的な位置関係が維持されるように、変更対象のオブジェクトのオブジェクト位置情報の変更に応じて他のオブジェクトのオブジェクト位置情報をオフセット量単位で変更する。なお、変更対象のオブジェクトがL/Rペアのオブジェクトである場合には、L/Rペアとなる2つのオブジェクトが基準面に対して左右対称となるように、変更対象のオブジェクトに対してL/Rペアとなる他のオブジェクトのオブジェクト位置情報が変更される。
他のオブジェクトのオブジェクト位置情報が変更されると、その後、処理はステップS107に進む。
ステップS105においてグループに属していないと判定されたか、またはステップS106の処理が行われると、その後、ステップS107の処理が行われてオフセット移動処理は終了する。なお、ステップS107の処理は図8のステップS44の処理と同様であるので、その説明は省略する。
以上のようにして情報処理装置11は、変更範囲に含まれる1または複数の編集点に対応するオブジェクト位置情報を同時にオフセット量単位で変更する。このようにすることで、編集点の位置、すなわち座標値を1つずつ変更する場合と比較してユーザの操作回数を低減させることができ、より効率よく簡単に編集を行うことができる。
〈オブジェクト位置情報の補間処理について〉
ところで、情報処理装置11では基本的には編集点が存在する時刻についてオブジェクト位置情報、すなわちメタ情報が保持されており、編集点がない時刻のメタ情報は保持されていない。
しかし、オーディオコンテンツのレンダリング時には全時刻のオブジェクト位置情報が必要となる。そこで情報処理装置11では、オーディオコンテンツのレンダリング時や、オーディオコンテンツの出力時に編集点のない時刻のオブジェクト位置情報が補間処理により求められる。
例えば図19に示すように、2つの隣接する編集点を選択し、それらの編集点間の各時刻における座標値を線形補間により求めることが一般的である。
図19では、編集画面ED51上にはオブジェクト名が「Vo」であるオブジェクトのトラックについて、時系列のオブジェクト位置情報を構成する水平角度、垂直角度、および半径を表す折れ線L51乃至折れ線L53が表示されている。
例えば折れ線L51により示される時系列の水平角度に注目すると、編集点EP51-1がある時刻の水平角度(オブジェクト位置情報)と、その編集点EP51-1に隣接する編集点EP51-2がある時刻の水平角度とは情報処理装置11で保持されている。
これに対して、それらの編集点EP51-1と編集点EP51-2の間にある時刻の水平角度は保持されていないので、それらの時刻の水平角度が編集点EP51-1における座標値と編集点EP51-2における座標値とに基づく線形補間により求められる。なお、以下、編集点EP51-1および編集点EP51-2を特に区別する必要のない場合、単に編集点EP51とも称することとする。
線形補間が行われる場合、2つの編集点EP51の間では、オブジェクトの水平角度が一定の速度で変化する、つまり一定の角速度でオブジェクトが水平角方向に移動していることが前提となっている。換言すれば、水平角度が直線的に変化することは、オブジェクトが水平角方向に一定の角速度で移動していることを示している。
しかしながら、オブジェクトは常に一定の角速度で移動するとは限らないので、オブジェクトの移動パターンに応じた複数の補間方法のなかからオブジェクト位置情報の補間処理の方法(補間方法)を選択することができると便利である。
そこで情報処理装置11では、オブジェクト位置情報を構成する各成分について、互いに隣接する編集点間の区間ごとに補間方法を選択することができるようになっている。
具体的には、例えば図20に示すようにユーザは入力部21を操作し、編集画面ED51のタイムライン領域において互いに隣接する2つの編集点間の区間を選択する等の操作を行うことで補間方法選択画面SG51を表示させることができる。
なお、図20において図19における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。補間方法選択画面SG51を表示させるための操作は、クリック操作など、どのような操作であってもよい。
図20の例では、編集点EP51-1と編集点EP51-2の間の区間が指定されており、補間方法選択画面SG51ではその区間における水平角度の補間方法を選択することができる。
具体的には補間方法選択画面SG51には、補間方法として4つの異なる補間方法のそれぞれを指定するときに操作されるメニュー項目ME51乃至メニュー項目ME54が設けられており、ユーザはこれらのメニュー項目のうちの何れかを指定することで補間方法を指定する。
例えばメニュー項目ME51は線形補間を示しており、メニュー項目ME52はコサイン関数を用いた補間であるコサイン補間を示している。
また、メニュー項目ME53は補間対象の区間の開始から終了直前までは継続して同じ座標値をとり、区間の終了直前に急激に座標値が変化するような矩形状の座標値変化を実現する補間方法を示している。メニュー項目ME54は補間対象の区間の開始直後に急激に座標値が変化し、その後は区間の終了まで継続して同じ座標値となるような矩形状の座標値変化を実現する補間方法を示している。
各メニュー項目では、それらのメニュー項目に対応する補間方法により補間処理を行ったときの座標値の変化を表す直線や曲線、折れ線が描かれており、ユーザはそのメニュー項目を見るだけで直感的に補間方法を把握することができるようになっている。例えばコサイン補間を示すメニュー項目ME52にはコサインカーブが描かれており、ユーザは補間方法がコサイン補間であることを直感的に把握することができる。
なお、補間処理の方法(補間方法)は、図20で説明した方法に限らず、他の2次関数等を利用した補間方法など、他のどのような方法であってもよい。
また、図20に示すように編集点EP51-1と編集点EP51-2の間の区間が指定されている状態で、ユーザが入力部21を操作することでメニュー項目ME52を選択(指定)すると、位置決定部41は入力部21から供給される信号に応じてコサイン補間を行う。
すなわち、位置決定部41は編集点EP51-1により示される水平角度と、編集点EP51-2により示される水平角度とに基づいて、それらの編集点EP51-1から編集点EP51-2の間の各時刻の水平角度をコサイン関数を用いたコサイン補間により求める。なお、ここではオブジェクト位置情報のうちの水平角度のみがコサイン補間される例について説明したが、コサイン補間が行われる区間について水平角度と同時に垂直角度および半径についてもコサイン補間されるようにしてもよい。つまり、1つの区間についてコサイン補間等の1つの補間方法が指定された場合には、その区間におけるオブジェクト位置情報の水平角度、垂直角度、および半径について、指定された補間方法で補間が行われてもよい。
以上のようにして補間処理としてコサイン補間が行われると、編集画面ED51の表示は、例えば図21に示すように更新される。なお、図21において図19における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図21に示す例では、コサイン補間が行われた編集点EP51-1と編集点EP51-2の間の区間が直線ではなくコサインカーブで描かれている。
なお、特に補間方法が指定されない場合には初期設定で定められた補間方法、例えば線形補間などで編集点間の座標値が補間されるようにすることができる。
また、この場合、初期設定とは異なる他の補間方法が選択された区間では、隣接する2つの編集点を結ぶライン(直線や曲線、折れ線)が初期設定で定められた線形補間が行われた区間のラインとは異なる色で表示されるようにしてもよい。その他、選択された補間方法ごとに異なる色で編集点を結ぶラインが表示されるようにしてもよい。このようにすることで、ユーザはどの補間方法を指定したかなどを瞬時に判別することができる。
〈補間方法選択処理の説明〉
続いて、ユーザが編集点間の区間について補間方法を選択するときの情報処理装置11の動作について説明する。すなわち、以下、図22のフローチャートを参照して、情報処理装置11により行われる補間方法選択処理について説明する。なお、この補間方法選択処理が開始されるときには、表示部24に編集画面が表示された状態となっている。
ステップS131において制御部23は編集画面のタイムライン領域上に表示された2つの編集点の指定を受け付ける。
例えばユーザは、所望の区間に対して補間方法を選択する場合、入力部21を操作して2つの編集点を指定することにより、補間方法の選択対象となる区間を指定する。制御部23は、ユーザの操作に応じて入力部21から供給される信号に基づいて、補間方法の選択対象となる区間の開始位置および終了位置となる編集点を特定する。
ステップS132において表示制御部42は、表示部24を制御して、編集画面のタイムライン領域上に補間方法選択画面を重畳して表示させる。これにより、例えば図20に示した補間方法選択画面SG51が表示される。
補間方法選択画面が表示されると、ユーザは入力部21を操作して補間方法選択画面上の所望のメニュー項目を選択(指定)することで補間方法を指定する。
ステップS133において制御部23は、ユーザの操作に応じて入力部21から供給された信号に基づいて、ステップS131で指定された2つの編集点の間の区間に対する補間方法を選択し、その選択結果を示す補間方法指定情報を生成する。制御部23は、このようにして生成した補間方法指定情報を記録部22に供給する。
ステップS134において記録部22は、制御部23から供給された補間方法指定情報をオーディオコンテンツのデータの一部として記録する。
また、補間方法指定情報が生成されると、表示制御部42は表示部24を制御し、編集画面の表示を更新させる。これにより、例えば図21に示したように処理対象となっている区間のライン、つまり2つの編集点を結ぶラインが補間方法指定情報により示される補間方法に対応する形状および色で表示される。
また、オーディオコンテンツのレンダリング時など、適切なタイミングでオブジェクト位置情報、より詳細にはオブジェクト位置情報を構成する水平角度、垂直角度、および半径の各成分の補間処理が行われる。
すなわち、ステップS135において位置決定部41は、オブジェクト位置情報が保持されていない各時刻について補間処理を行い、全オブジェクトのオブジェクト位置情報を生成する。
このとき位置決定部41は、保持されている他の時刻のオブジェクト位置情報に基づいて、記録部22に記録されている補間方法指定情報により示される補間方法によりオブジェクト位置情報の成分ごとの補間処理を行う。
補間処理により各時刻のオブジェクト位置情報が得られると、補間方法選択処理は終了する。そしてその後、適宜、オーディオコンテンツのデータが出力されたり、オーディオコンテンツのデータに基づいてレンダリングが行われたりする。
以上のようにして情報処理装置11は、オブジェクト位置情報を構成する各成分について区間ごとに指定された補間方法を示す補間方法指定情報を生成して記録する。そして、情報処理装置11は、補間方法指定情報により示される補間方法により補間処理を行い、各時刻のオブジェクト位置情報を求める。このようにすることで、オブジェクトの移動(動き)をより正確に表現することができるようになる。すなわち、オブジェクトの移動の表現の自由度を高めることができ、様々な音像表現が可能となる。
〈トラックカラーでの表示について〉
ところで、図5に示した例では、編集画面ED21のトラック領域には各トラックのトラックカラー表示領域が設けられていると説明した。
このトラックカラー表示領域内にはトラックカラー番号が表示されており、各トラックカラー表示領域は、それらのトラックカラー番号に対して予め定められたトラックカラーで表示される。
また、上述したように情報処理装置11では、POV画像上のオブジェクトボールをグループカラーで表示させるか、またはトラックカラーで表示させるかを選択することができるようになっている。
例えばPOV画像上のオブジェクトボールをトラックカラーで表示させる設定とされた場合、図4のステップS13や図8のステップS44など、POV画像の表示を更新するタイミングにおいて、表示制御部42はトラックカラーでオブジェクトボールが表示されるように表示部24による表示を制御する。
このようにオブジェクト、すなわちトラックに対して個別にトラックカラーを指定することができれば、ユーザはトラックカラーを見ることで、各トラックを容易に判別することができるようになる。特に、オーディオコンテンツを構成するオブジェクトの数が多い場合でも、ユーザはどのオブジェクトボールがどのトラックに対応するものであるかを容易に判別することができる。
また、図5では、各トラック領域にトラックカラー表示領域とグループ表示領域とが表示される例について説明した。しかし、オブジェクトボールをトラックカラーで表示させる設定とされている場合には、トラック領域にトラックカラー表示領域は表示されるが、グループ表示領域は表示されないようにしてもよい。
そのような場合、例えば図23に示す編集画面ED61が表示部24に表示される。
図23に示す例では、編集画面ED61には11個のトラックのトラック領域と、それらのトラックのタイムライン領域とが表示されている。
特に、ここではオブジェクト名が「Kick」、「OH_L」、「OH_R」、「Snare」、「Vo」、「EG」、「Cho」、「AG1」、「AG2」、「Amb_L」、および「Amb_R」である11個の各オブジェクトのトラック領域とタイムライン領域とが表示されている。
各オブジェクトのトラック領域には、トラックカラー表示領域が設けられており、そのトラックカラー表示領域内にはトラックカラー番号が表示されている。また、各トラックカラー表示領域は、それらのトラックカラー番号に対して予め定められたトラックカラーで表示されている。
具体的には、例えば領域TR61は、オブジェクト「Kick」のトラックのトラック領域となっている。そして領域TR61内にはオブジェクト名表示領域である領域OB61と、トラックカラー表示領域TP61とが設けられている。領域OB61にはオブジェクト名「Kick」が表示されており、トラックカラー表示領域TP61にはトラックカラー番号「1」が表示されている。そして、トラックカラー表示領域TP61を含む領域TR61全体が、トラックカラー番号「1」に対して定められたトラックカラーで表示されている。
図23では、ドラムを構成するオブジェクト名が「Kick」、「OH_L」、「OH_R」、および「Snare」である4つのオブジェクト、より詳細には4つのオブジェクトのトラックに対してトラックカラー番号「1」が指定されている。また、エレキギターの演奏者によるボーカルに対応するオブジェクト「Vo」、およびそのエレキギターのオブジェクト「EG」に対してトラックカラー番号「3」が指定されている。
アコースティックギターの演奏者によるコーラスに対応するオブジェクト「Cho」、およびそのアコースティックギターのオブジェクト「AG1」に対してトラックカラー番号「6」が指定されている。
同様に他のアコースティックギターのオブジェクト「AG2」に対してトラックカラー番号「22」が指定されている。さらにアンビエンスに対応するオブジェクト「Amb_L」およびオブジェクト「Amb_R」に対してトラックカラー番号「9」が指定されている。
図23に示すような編集画面ED61が表示されている場合、表示部24には、例えば図24に示すPOV画像P61が表示される。なお、図24において図3または図10における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図24ではオブジェクト名が「Kick」、「OH_L」、「OH_R」、および「Snare」である、ドラムを構成する各オブジェクトのオブジェクトボールBL11乃至オブジェクトボールBL14が、トラックカラー番号「1」に対応するトラックカラー「青」で表示されている。
また、オブジェクト「EG」のオブジェクトボールBL15およびオブジェクト「Vo」のオブジェクトボールBL16が、トラックカラー番号「3」に対応するトラックカラー「橙」で表示されている。
オブジェクト「AG1」のオブジェクトボールBL17およびオブジェクト「Cho」のオブジェクトボールBL18が、トラックカラー番号「6」に対応するトラックカラー「緑」で表示されており、オブジェクト「AG2」のオブジェクトボールBL19が、トラックカラー番号「22」に対応するトラックカラー「紺」で表示されている。
さらにオブジェクト「Amb_L」のオブジェクトボールBL31およびオブジェクト「Amb_R」のオブジェクトボールBL32が、トラックカラー番号「9」に対応するトラックカラー「紫」で表示されている。
表示制御部42はPOV画像P61を表示させる場合、各オブジェクトのトラックに対して指定(選択)されたトラックカラー番号に基づいて、各オブジェクトのオブジェクトボールをトラックカラー番号に対して定められているトラックカラーで表示させる。
このように各オブジェクトのオブジェクトボールをトラックカラーで表示することで、オブジェクト数が多い場合であっても、どのオブジェクトボールがどのオブジェクト(トラック)に対応するものであるかを容易に判別することができる。
なお、以上においてはオブジェクトボールがグループカラーまたはトラックカラーで表示される例について説明したが、オブジェクトボールがグループカラーとトラックカラーで表示されるようにしてもよい。
そのような場合、例えば表示制御部42は、オブジェクトボールの中心部分をトラックカラーで表示させ、残りの部分、つまりオブジェクトボールにおけるトラックカラーで表示された部分の外側にある部分をグループカラーで表示させる。これにより、ユーザは各オブジェクトボールに対応するオブジェクトがどのトラックのオブジェクトであり、またそのオブジェクトがどのグループに属しているかを瞬時に判別することができる。
その他、グループカラーやトラックカラー等の色に限らず、グループ、トラックカラー番号に対応するトラックを識別する情報、またはそれらの組み合わせに対して定まる表示形式でオブジェクトボールが表示されるようにしてもよい。具体的には、例えばオブジェクトボールがグループに対して定められた形状で表示されるようにしてもよい。
〈ミュート設定およびソロ設定について〉
また、図5に示したように編集画面にはミュート設定を行うためのミュートボタンと、ソロ設定を行うためのソロボタンとが設けられている。
ミュート設定とは、オーディオコンテンツの編集時において、オーディオコンテンツを再生するときに、指定したオブジェクトの音をミュートさせる、つまりオブジェクトの音を再生(出力)しないようにすることである。以下では、特にミュートするオブジェクトとして指定することをミュート設定をオンするとも称し、ミュート設定がオンとされた状態をミュート状態とも称することとする。
情報処理装置11では、ミュート状態とされたオブジェクトについては、そのオブジェクトのオブジェクトボールがPOV画像上において非表示とされる。すなわち、オブジェクトに対するミュート設定がPOV画像上のオブジェクトボールにも反映される。なお、オーディオコンテンツのデータの出力時には、ミュート状態とされたオブジェクトのオブジェクトデータはオーディオコンテンツのデータに含まれないようにしてもよい。
これに対して、ソロ設定とはオーディオコンテンツの編集時において、オーディオコンテンツを再生するときに、指定したオブジェクトの音のみが再生(出力)され、他のオブジェクトの音をミュートさせるようにすることである。以下では、特に音を再生するオブジェクトとして指定することをソロ設定をオンするとも称し、ソロ設定がオンとされた状態をソロ状態とも称することとする。
情報処理装置11では、ソロ状態とされたオブジェクトについては、そのオブジェクトのオブジェクトボールがPOV画像上に表示され、それ以外のソロ状態となっていないオブジェクトは非表示とされる。すなわち、オブジェクトに対するソロ設定がPOV画像上のオブジェクトボールにも反映される。なお、オーディオコンテンツのデータの出力時には、ソロ状態とされたオブジェクトのオブジェクトデータのみがオーディオコンテンツのデータに含まれるようにしてもよい。
また、ミュート設定とソロ設定は、一方の設定が行われているときには他方の設定は無効とされるようになされている。すなわち、例えばミュート設定が行われるとソロ設定は解除され、逆にソロ設定が行われるとミュート設定は解除される。
このようにミュート設定やソロ設定を行い、音が再生されないミュートされたオブジェクトのオブジェクトボールについては非表示とし、音が再生されるオブジェクトのオブジェクトボールのみをPOV画像上に表示させることで使い勝手を向上させることができる。
すなわち、ミュートされているオブジェクトは、現時点ではユーザが注目していないオブジェクトであり、ミュートされていないオブジェクトがユーザにより注目されているオブジェクトであるはずである。
したがって、POV画像上にミュートされていないオブジェクトのオブジェクトボールのみを表示させることで、ユーザは注目するオブジェクトの位置の遷移等を容易に把握することができるようになる。これによりコンテンツ制作ツールの使い勝手を向上させることができる。
ここで、図25乃至図27を参照して、ミュート設定とソロ設定の具体例について説明する。なお、図25乃至図27において図5または図24における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図25乃至図27において互いに対応する部分には同一の符号を付してあり、その説明は適宜省略する。
例えばソロ設定もミュート設定も行われていない状態では、図25に示すように全てのトラックに対応するオブジェクトボールがPOV画像P71に表示される。なお、図25では編集画面ED21の一部のみが表示されている。
図25に示す例では、オブジェクト「Vo」のトラックについてのミュートボタンMU21や、オブジェクト「EG」のトラックについてのミュートボタンMU22を含む、全てのオブジェクトのトラックのミュートボタンは操作されていない状態となっている。すなわち、何れのオブジェクトもミュート状態とされていない状態となっている。
同時に、オブジェクト「Vo」のトラックについてのソロボタンSL21や、オブジェクト「EG」のトラックについてのソロボタンSL22を含む、全てのオブジェクトのトラックのソロボタンは操作されていない状態となっている。すなわち、何れのオブジェクトに対してもソロ状態の設定は行われていない。
このような状態では、POV画像P71には全てのオブジェクトのオブジェクトボールが表示されている。
ここではPOV画像P71にはオブジェクト名が「Kick」、「OH_L」、「OH_R」、「Snare」、「EG」、「Vo」、「AG1」、「Cho」、「AG2」、「Amb_L」、および「Amb_R」である各オブジェクトのオブジェクトボールBL11乃至オブジェクトボールBL19、オブジェクトボールBL31、およびオブジェクトボールBL32が表示されている。
このような状態でユーザが入力部21を操作し、編集画面ED21上におけるミュートボタンMU21およびミュートボタンMU22をクリック等により操作することで、オブジェクト「Vo」とオブジェクト「EG」のミュート設定をオンとしたとする。すなわち、オブジェクト「Vo」とオブジェクト「EG」がミュート状態とされたとする。
すると、編集画面ED21では例えば図26に示すように、操作されたミュートボタンMU21およびミュートボタンMU22が、操作前とは異なる色で表示される。
例えばミュート設定が行われると、ミュート設定がオンされていないオブジェクトのミュートボタンはミュート設定が行われる前と同じ色で表示され、ミュート設定がオンされたオブジェクトのミュートボタンはミュート設定が行われる前と異なる色で表示される。
図26の例ではオブジェクト「Vo」とオブジェクト「EG」のミュート設定がオンとされ、他のオブジェクトのミュート設定はオンとされていない。そのため、表示制御部42は図26の図中、右側に示すPOV画像P71が表示部24に表示されるように、表示部24を制御してPOV画像P71の表示を更新する。
すなわち、図26の例ではPOV画像P71では、これまで表示されていたが、ミュート状態とされたオブジェクト「EG」のオブジェクトボールBL15とオブジェクト「Vo」のオブジェクトボールBL16とが表示されない状態、つまり非表示とされている。
これに対して、ミュート状態とされていない他のオブジェクトのオブジェクトボール、すなわちオブジェクトボールBL11乃至オブジェクトボールBL14、オブジェクトボールBL17乃至オブジェクトボールBL19、オブジェクトボールBL31、およびオブジェクトボールBL32はPOV画像P71に表示されたままとなっている。
また、例えば図25に示した状態においてユーザが入力部21を操作し、編集画面ED21上におけるソロボタンSL21およびソロボタンSL22をクリック等により操作することで、オブジェクト「Vo」とオブジェクト「EG」のソロ設定をオンとしたとする。すなわち、オブジェクト「Vo」とオブジェクト「EG」がソロ状態とされたとする。
すると、編集画面ED21では例えば図27に示すように、操作されたソロボタンSL21およびソロボタンSL22が操作前とは異なる色で表示される。
例えばソロ設定が行われると、ソロ設定がオンされていないオブジェクトのソロボタンはソロ設定が行われる前と同じ色で表示され、ソロ設定がオンされたオブジェクトのミュートボタンはソロ設定が行われる前と異なる色で表示される。
図27の例ではオブジェクト「Vo」とオブジェクト「EG」のソロ設定がオンとされ、他のオブジェクトのソロ設定はオンとされていない。そのため、表示制御部42は図27の図中、右側に示すPOV画像P71が表示部24に表示されるように、表示部24を制御してPOV画像P71の表示を更新する。
すなわち、図27の例ではPOV画像P71では、ソロ設定がオンとされ、ソロ状態とされたオブジェクト「EG」およびオブジェクト「Vo」に対応するオブジェクトボールBL15およびオブジェクトボールBL16のみが表示された状態とされている。
したがって、これまで表示されていたがソロ状態となっていない他のオブジェクトのオブジェクトボールは表示が消去され、非表示状態となっている。すなわち、図27のPOV画像P71では、オブジェクトボールBL11乃至オブジェクトボールBL14、オブジェクトボールBL17乃至オブジェクトボールBL19、オブジェクトボールBL31、およびオブジェクトボールBL32は表示されていない状態となっている。
このようにミュート設定やソロ設定と連動させてPOV画像上のオブジェクトボールを表示状態または非表示状態とすることで、ユーザはどのオブジェクトに対応するトラックがミュート状態やソロ状態となっているかを視覚的に容易に理解することができる。これにより使い勝手を向上させることができる。
〈設定処理の説明〉
次に、ユーザがミュート設定やソロ設定を行うときの情報処理装置11の動作について説明する。すなわち、以下、図28のフローチャートを参照して、情報処理装置11により行われる設定処理について説明する。なお、この設定処理が開始されるときには、表示部24に編集画面が表示された状態となっている。
ステップS161において制御部23は、入力部21から供給された信号に基づいて、編集画面上のミュートボタンが操作されたか否かを判定する。
例えば制御部23は、図25に示したミュートボタンMU21やミュートボタンMU22に対してクリック等の操作が行われた場合、ミュートボタンが操作されたと判定する。
ステップS161においてミュートボタンが操作されていないと判定された場合、ステップS162の処理は行われず、その後、処理はステップS163に進む。
これに対してステップS161においてミュートボタンが操作されたと判定された場合、ステップS162において制御部23は、ユーザのミュートボタンに対する操作により指定されたオブジェクト(トラック)をミュート状態とする。
具体的には、例えば図25に示したようにオブジェクト「Vo」がミュート状態となっていない状態でミュートボタンMU21が操作された場合、制御部23はオブジェクト「Vo」をミュート状態とする。なお、例えばオブジェクト「Vo」がミュート状態であるときにミュートボタンMU21が操作された場合には、制御部23はオブジェクト「Vo」のミュート状態を解除する。
このようにミュートボタンに対する操作に応じたミュート設定が行われると、その後、処理はステップS163に進む。
ステップS161においてミュートボタンが操作されていないと判定されたか、またはステップS162の処理が行われると、ステップS163の処理が行われる。
ステップS163において制御部23は、入力部21から供給された信号に基づいて、編集画面上のソロボタンが操作されたか否かを判定する。例えば制御部23は、図25に示したソロボタンSL21やソロボタンSL22に対してクリック等の操作が行われた場合、ソロボタンが操作されたと判定する。
ステップS163においてソロボタンが操作されていないと判定された場合、ステップS164の処理は行われず、その後、処理はステップS165に進む。
これに対してステップS163においてソロボタンが操作されたと判定された場合、ステップS164において制御部23は、ユーザのソロボタンに対する操作により指定されたオブジェクト(トラック)をソロ状態とする。
具体的には、例えば図25に示したようにオブジェクト「Vo」がソロ状態となっていない状態でソロボタンSL21が操作された場合、制御部23はオブジェクト「Vo」をソロ状態とする。なお、例えばオブジェクト「Vo」がソロ状態であるときにソロボタンSL21が操作された場合には、制御部23はオブジェクト「Vo」のソロ状態を解除する。
このようにソロボタンに対する操作に応じたソロ設定が行われると、その後、処理はステップS165に進む。
なお、ミュート状態またはソロ状態とするオブジェクトがグループに属している場合には、制御部23が、そのオブジェクトと同じグループに属す他の全てのオブジェクトもミュート状態またはソロ状態とするようにしてもよい。この場合、制御部23は、グループ情報を参照して処理対象のオブジェクトがグループに属しているか否かを特定し、その特定結果に応じてオブジェクト単位とグループ単位の何れでミュート設定やソロ設定を行うかを決定する。
ステップS163においてソロボタンが操作されていないと判定されたか、またはステップS164の処理が行われると、ステップS165において表示制御部42は、制御部23によるミュート設定やソロ設定に応じて表示部24を制御し、編集画面およびPOV画像の表示を更新する。
具体的には、例えばミュートボタンに対する操作によりオブジェクトがミュート状態とされたとする。そのような場合、表示制御部42は編集画面上のミュート状態とされたオブジェクトのトラック領域内のミュートボタンの表示形式を変更させるとともに、POV画像上のミュート状態とされたオブジェクトのオブジェクトボールを非表示とさせる。
このようにしてミュート設定やソロ設定が編集画面やPOV画像の表示に反映されると、設定処理は終了する。
以上のようにして情報処理装置11は、ミュートボタンやソロボタンに対する操作に応じてミュート設定やソロ設定を行い、その設定内容を編集画面やPOV画像の表示に反映させる。このようにすることで、ユーザはどのオブジェクト(トラック)がミュート状態やソロ状態であるかを容易に把握することができ、使い勝手を向上させることができる。
〈トラックのインポートについて〉
ところで情報処理装置11では、任意のオーディオ信号のファイル、つまり任意のオーディオファイルを、オーディオコンテンツを構成するオブジェクトデータやチャンネルオーディオデータとしてインポート(取り込む)ことが可能である。
例えばインポート対象とされるオーディオファイルは、記録部22に記録されているオーディオファイルや、通信部25により受信されたオーディオファイル、外部のリムーバブル記録媒体から読み込まれたオーディオファイルなどとすることができる。
具体的には、例えば記録部22に記録されているオーディオファイルをオーディオコンテンツを構成するデータとしてインポートする場合、図29に示すようにドラッグアンドドロップ操作等によりインポートを実行することができる。
図29に示す例では、編集画面ED81と、記録部22に記録されているオーディオファイルの一覧が表示されたウィンドウWD81とが表示部24に表示されている。
例えばユーザは、入力部21を操作することで矢印Q11に示すように、ウィンドウWD81内の任意のオーディオファイルをドラッグするとともに、そのオーディオファイルを編集画面ED81にドロップすることで、オーディオファイルのインポートを指示することができる。なお、インポートするオーディオファイルの指定およびインポートの指示のための操作は、ドラッグアンドドロップ操作に限らず、ファイルメニューから所望のオーディオファイルを選択(指定)するなど、他のどのような操作であってもよい。
このようなドラッグアンドドロップ操作が行われると、制御部23は、記録部22からユーザにより指定されたオーディオファイルを取得し、その取得したオーディオファイルを、編集中のオーディオコンテンツを構成するデータとして取り込む。
この例では、ファイル名が「Congas.wav」であるWAV形式のオーディオファイルがオーディオコンテンツのデータとして取り込まれる。
例えば制御部23は、指定されたオーディオファイルがモノラルのオーディオ信号、つまり1チャンネルのオーディオ信号のファイルである場合、そのオーディオファイルをオブジェクトデータを構成するオーディオ信号として編集画面ED81上に展開すればよい。すなわち、制御部23は、オーディオファイルをオブジェクトデータのオーディオ信号として、オーディオコンテンツのデータに加えればよい。
しかし、指定されたオーディオファイルが2チャンネルのオーディオ信号など、複数チャンネルのオーディオ信号のファイル、つまりマルチチャンネルファイルであることもある。そのような場合には、指定されたオーディオファイルをチャンネル数分のオブジェクトデータとしてインポートするのか、またはチャンネルオーディオデータとしてインポートするのかの指定が必要となる。
そのため、指定されたオーディオファイルがマルチチャンネルファイルであった場合、表示制御部42は表示部24を制御し、表示部24に例えば図30に示すトラック種別選択画面CO81を表示させる。
図30に示す例では、トラック種別選択画面CO81には、3つのボタンBT81乃至ボタンBT83が設けられている。
ボタンBT81は、指定したオーディオファイルをオブジェクトデータ、つまりオブジェクトトラックとしてインポートするときに操作されるボタンである。
ボタンBT82は、指定したオーディオファイルをチャンネルオーディオデータ、つまりチャンネルトラックとしてインポートするときに操作されるボタンである。また、ボタンBT83は、指定したオーディオファイルのインポートをキャンセルするときに操作されるボタンである。
さらにトラック種別選択画面CO81には、指定したオーディオファイルをオブジェクトデータとしてインポートする場合に、特定の位置を示すオブジェクト位置情報を付与してインポートするときに操作されるチェックボックスCB81も表示されている。
この例では、指定されたマルチチャンネルファイルが2チャンネルのオーディオ信号のファイルであるため、チェックボックスCB81の図中、右側には文字メッセージ「set 2ch WAV(s) with L/R position (Azimuth +30/-30)」が表示されている。この文字メッセージにおける「L/R position (Azimuth +30/-30)」は、オブジェクト位置情報として水平角度「30」と「-30」が付与されることを示している。このような表示を見ることで、ユーザはインポートにより新たに追加されたオブジェクトに対して、どのようなオブジェクト位置情報が付与されるかを簡単に把握することができる。
その他、例えば指定されたオーディオファイル、つまりマルチチャンネルファイルを構成する複数のチャンネルのオーディオ信号を、同じグループに属す複数のオブジェクトのオブジェクトデータとしてインポートするかを指定可能なチェックボックス等もトラック種別選択画面CO81に表示されるようにしてもよい。
また、例えば指定されたオーディオファイルが、2チャンネルのオーディオ信号からなるマルチチャンネルファイルである場合には、それらの2チャンネルのオーディオ信号を、L/Rペアのオブジェクトデータとしてインポートするかを指定可能なチェックボックスもトラック種別選択画面CO81に表示されるようにしてもよい。
例えばユーザが入力部21を操作して、チェックボックスCB81にチェックマークが表示されていない状態で、トラック種別選択画面CO81上のボタンBT81を操作(選択)したとする。
すると制御部23は、指定されたオーディオファイルのチャンネル数に合わせて、そのオーディオファイルを複数のオブジェクトのトラックとして展開する。
具体的には制御部23は、入力部21から供給された信号に基づいて、指定されたマルチチャンネルファイルを構成する各チャンネルのオーディオ信号を記録部22等から読み出して、各オブジェクトのオブジェクトデータとして取り込む。すなわち、複数のチャンネルのオーディオ信号のそれぞれが、複数のオブジェクトのオーディオ信号のそれぞれとされる。これにより、マルチチャンネルファイルのチャンネル数分の新たなオブジェクトが生成されたことになる。
このようにしてオーディオファイルがインポートされると、表示制御部42はインポートの実行に応じて表示部24を制御し、編集画面やPOV画像の表示を更新する。
図29および図30に示した例では、ボタンBT81が操作されて2チャンネルのオーディオファイルのインポートが行われると、更新後の編集画面ED81は例えば図31に示すようになる。なお、図31において図29における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
ここでは、インポートが指示された、ファイル名が「Congas.wav」であるオーディオファイルは2チャンネルのファイルであるため、制御部23ではインポートによりオブジェクト「Congas-0」とオブジェクト「Congas-1」の2つのオブジェクトが生成されている。
そして、それらのオブジェクトに対応するトラックごとにトラック領域とタイムライン領域とが設けられるように編集画面ED81の表示が更新されている。
すなわち、図31に示す例においては、編集画面ED81の領域TR81および領域TM81がオブジェクト「Congas-0」のトラックのトラック領域およびタイムライン領域となっている。同様に、領域TR82および領域TM82がオブジェクト「Congas-1」のトラックのトラック領域およびタイムライン領域となっている。
なお、指定されたオーディオファイルに音像定位位置等の位置情報が含まれている場合には、その位置情報がオブジェクト位置情報として用いられてオブジェクトのメタ情報が生成されるようにすればよい。
これに対して、指定されたオーディオファイルが位置情報、つまり再生空間内の位置を有していない場合、聴取位置Oの正面の位置など、予め定められた位置がオブジェクトの再生空間内の位置として付与されるようにすることができる。この場合、複数の各オブジェクトに対して同じオブジェクト位置情報が付与されることになる。
また、指定されたオーディオファイルが、2チャンネルや6チャンネル、8チャンネルなど、特定のチャンネル数のマルチチャンネルファイルであることがある。
そのような場合には、指定されたオーディオファイルを複数のオブジェクトのトラックとして展開するときに、複数の各オブジェクトに対して、オブジェクトごとに特定の位置を初期値として付与することで編集の手間を省くことができるようにしてもよい。
例えばオーディオファイルが2チャンネルのファイルである場合、一般的に、そのオーディオファイルを構成する2チャンネルのオーディオ信号は、左右のチャンネル、つまりLチャンネルのオーディオ信号とRチャンネルのオーディオ信号であることが多い。
そこで、それらの2つのチャンネルに対応するオブジェクトに対して、再生空間内の位置を示すオブジェクト位置情報として、一般的な左右(LR)のチャンネル配置の位置である座標(Azimuth,Elevation,Radius)=(30,0,1)と(-30,0,1)を付与するようにしてもよい。これらの座標(30,0,1)により示される位置と、座標(-30,0,1)により示される位置とは、再生空間内において上述した基準面に対して左右対称となる位置である。
このように特定の位置を付与すれば、ユーザはインポートにより新たに追加されたオブジェクトに対して、いちいち各時刻のオブジェクト位置情報を入力しなくて済む。
なお、ここでは2チャンネルのオーディオファイルのインポートにより追加された2つのオブジェクトに対して、それぞれ座標(30,0,1)および(-30,0,1)により示される位置を付与する例について説明するが、他のどのような位置が付与されてもよい。
また、2チャンネルにおける場合と同様に、オーディオファイルが6チャンネルであるときには、それらのチャンネルに対応する6個のオブジェクトのオブジェクト位置情報として、例えば座標(Azimuth,Elevation,Radius)=(30,0,1)、(-30,0,1)、(0,0,1)、(0,-30,0)、(110,0,1)、および(-110,0,1)を付与することが考えられる。
さらにオーディオファイルが8チャンネルであるときには、それらのチャンネルに対応する8個のオブジェクトのオブジェクト位置情報として、例えば座標(30,0,1)、(-30,0,1)、(0,0,1)、(0,-30,0)、(110,0,1)、(-110,0,1)、(30,30,1)、(-30,30,1)を付与することが考えられる。
このようにインポートにより新たに追加されたオブジェクトに対して、初期値として再生空間内の特定の位置を示すオブジェクト位置情報を付与することができるように、トラック種別選択画面CO81にはチェックボックスCB81が設けられている。
例えば図29に示したようにファイル名が「Congas.wav」である2チャンネルのオーディオファイルをインポートする操作が行われたとする。そして、その操作に応じて表示部24にトラック種別選択画面CO81が表示されたときに、ユーザが入力部21を操作して、図32に示すようにチェックボックスCB81にチェックマークを表示させた後、ボタンBT81を操作(選択)したとする。なお、図32において図30における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図32に示すようにチェックボックスCB81にチェックマークを表示させた後、ボタンBT81が操作されると、制御部23は、指定されたオーディオファイルのチャンネル数に合わせて、そのオーディオファイルを複数のオブジェクトのトラックとして展開する。
すなわち、上述したチェックボックスCB81にチェックマークが表示されていない場合と同様に、制御部23は指定された2チャンネルのオーディオファイルを構成する各チャンネルのオーディオ信号を、新たに追加する各オブジェクトのオーディオ信号として取り込む。
さらに位置決定部41は、新たに追加された2つのオブジェクトのうちのLチャンネルに対応するオブジェクトに対して、座標(30,0,1)をオブジェクト位置情報として付与する。同様に位置決定部41は、新たに追加された2つのオブジェクトのうちのRチャンネルに対応するオブジェクトに対して、座標(-30,0,1)をオブジェクト位置情報として付与する。
このようにしてオーディオファイルがインポートされると、表示制御部42はインポートの実行に応じて表示部24を制御し、編集画面やPOV画像の表示を更新する。
図29および図32に示した例では、ボタンBT81が操作されて2チャンネルのオーディオファイルのインポートが行われると、更新後の編集画面およびPOV画像は、それぞれ例えば図33および図34に示すようになる。なお、図33において図29における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図33では、インポートが指示されたファイル名が「Congas.wav」であるオーディオファイルは2チャンネルのファイルであるため、制御部23ではインポートによりオブジェクト「Congas-L」とオブジェクト「Congas-R」の2つのオブジェクトが生成されている。
そして、それらのオブジェクトに対応するトラックごとにトラック領域とタイムライン領域とが設けられるように編集画面ED81の表示が更新されている。
すなわち、図33では編集画面ED81の領域TR91および領域TM91がオブジェクト「Congas-L」のトラックのトラック領域およびタイムライン領域となっており、特にオブジェクト「Congas-L」の各時刻のオブジェクト位置情報は座標(30,0,1)となっている。
同様に、領域TR92および領域TM92がオブジェクト「Congas-R」のトラックのトラック領域およびタイムライン領域となっており、特にオブジェクト「Congas-R」の各時刻のオブジェクト位置情報は座標(-30,0,1)となっている。
さらに、表示制御部42は、図33に示した編集画面ED81に対応するPOV画像として、図34に示すPOV画像P91を表示部24に表示させる。
図34では、聴取位置Oから見て図中、前方左側にオブジェクト「Congas-L」の位置を示すオブジェクトボールBL91が配置されており、聴取位置Oから見て図中、前方右側にオブジェクト「Congas-R」の位置を示すオブジェクトボールBL92が配置されている。
インポートするオーディオファイルが特定のチャンネル数のファイルである場合には、ユーザの指示に応じて、インポートにより新たに追加するオブジェクトに対して特定の位置を初期値として付与すれば、ユーザによるオブジェクト位置情報の入力作業の手間を削減することができる。これにより、より効率よく簡単に編集を行うことができる。
なお、上述したようにオーディオファイルのインポート時に、オブジェクトのグループ化を行ったり、L/Rペアとしたりしてもよい。
〈インポート処理の説明〉
続いて、以上において説明した所望のオーディオファイルのインポート、特に再生空間内における位置を有さないオーディオ信号からなるオーディオファイルのインポートを行うときの情報処理装置11の動作について説明する。
すなわち、以下、図35のフローチャートを参照して、情報処理装置11によるインポート処理について説明する。このインポート処理は、例えば図29に示したように所望のオーディオファイルに対するドラッグアンドドロップなどの操作により、インポートが指示されると開始される。
ステップS191において制御部23は、入力部21から供給された信号に基づいて、インポートが指示されたオーディオファイルがマルチチャンネルファイルであるか否かを判定する。
ステップS191においてマルチチャンネルファイルでないと判定された場合、すなわちモノラルのオーディオファイルのインポートが指示された場合、ステップS192の処理が行われる。
ステップS192において制御部23は、指示されたオーディオファイルを1つのオブジェクトデータとしてインポートする。
例えば制御部23は、インポートが指示されたモノラルのオーディオファイルを構成する1つのオーディオ信号を、新たに追加する1つのオブジェクトのオブジェクトデータ、すなわちオブジェクトのオーディオ信号として取り込む。このとき制御部23は、適宜、オーディオ信号に対して、予め定められた所定の位置のオブジェクト位置情報やゲイン情報、優先度情報などを付与してメタ情報とし、メタ情報およびオーディオ信号からなるオブジェクトデータを生成する。
このようにしてオブジェクトデータが追加されると、その後、処理はステップS199に進む。
これに対して、ステップS191においてマルチチャンネルファイルであると判定された場合、ステップS193において表示制御部42は、表示部24にトラック種別選択画面を表示させる。
これにより、例えば図30に示したトラック種別選択画面CO81が表示される。すると、ユーザは、入力部21を操作することで、適宜、トラック種別選択画面CO81におけるチェックボックスCB81やボタンBT81などに対する操作を行う。
ステップS194において制御部23は、ユーザのトラック種別選択画面に対する操作に応じて入力部21から供給された信号に基づいて、オブジェクトデータとしてインポートするか否かを判定する。
例えば制御部23は、図30に示したトラック種別選択画面CO81のボタンBT81が操作された場合、ステップS194においてオブジェクトデータとしてインポートすると判定する。
ステップS194においてオブジェクトデータとしてインポートしないと判定された場合、すなわちユーザによりチャンネルオーディオデータとしてのインポートが指示された場合、処理はステップS195に進む。
ステップS195において制御部23は、指定されたオーディオファイルを1つのチャンネルオーディオデータとしてインポートする。この場合、複数の各チャンネルのオーディオ信号が1つのチャンネルオーディオデータ、つまり1つのトラックのデータとして取り込まれる。このようにしてチャンネルオーディオデータが追加されると、その後、処理はステップS199に進む。
これに対して、ステップS194においてオブジェクトデータとしてインポートすると判定された場合、ステップS196の処理が行われる。
ステップS196において制御部23は、指定されたオーディオファイルを、そのオーディオファイルのチャンネル数に応じた数のオブジェクトのオブジェクトデータとしてインポートする。
例えば制御部23は、インポートが指示されたオーディオファイルを構成する複数のチャンネルのオーディオ信号を、それらのチャンネルに対応する複数のオブジェクトのオブジェクトデータを構成するオーディオ信号として取り込む。すなわち、オーディオファイルのチャンネル数分のオブジェクトが生成され、オーディオコンテンツに対してそれらのオブジェクトが追加される。
ステップS197において位置決定部41は、ステップS196で生成されたオブジェクトに対して、再生空間内の特定の位置を付与するか否かを判定する。
例えば図32に示したようにトラック種別選択画面CO81のチェックボックスCB81にチェックマークが表示されている状態でボタンBT81が操作された場合、ステップS197において特定の位置を付与すると判定される。
ステップS197において特定の位置を付与しないと判定された場合、ステップS198の処理は行われず、その後、処理はステップS199に進む。
この場合、位置決定部41は、ステップS196の処理で新たに追加されたオブジェクトに対して、再生空間内の正面の位置などの予め定められた位置を付与する。
すなわち、位置決定部41は新たに追加された複数の各オブジェクトに対して、予め定められた位置を示すオブジェクト位置情報を含むメタ情報を生成し、メタ情報とオーディオ信号とからなるオブジェクトデータとする。特にこの場合、新たに追加された複数の全オブジェクトに対して同じ位置が付与される。
これに対して、ステップS197において特定の位置を付与すると判定された場合、ステップS198において位置決定部41は、ステップS196の処理で新たに追加されたオブジェクトに対して、それらのオブジェクトごとに再生空間内の特定の位置を付与する。
すなわち、例えば位置決定部41は新たに追加された複数の各オブジェクトに対して、オブジェクトごとに異なる特定の位置を示すオブジェクト位置情報を含むメタ情報を生成し、メタ情報とオーディオ信号とからなるオブジェクトデータとする。
具体的には、例えば新たに追加されるオブジェクトが2つである場合、上述した例のように一方のオブジェクトに対しては座標(30,0,1)により示される位置が付与され、他方のオブジェクトに対しては座標(-30,0,1)により示される位置が付与される。特に、ここでは各オブジェクトに対して、左右対称となる位置など、オブジェクトごとに異なる位置が付与される。各オブジェクトに対して付与される特定の位置は、インポートが指示されたオーディオファイルの各チャンネルに対して定められた位置である。すなわち、インポートするオーディオファイルのチャンネル数に応じた特定の位置がオブジェクトに対して付与される。
このように特定の位置を付与することで、ユーザは新たに追加したオブジェクトのオブジェクト位置情報をいちいち入力しなくても済むので、オブジェクト位置情報の設定が容易になる。すなわち、編集効率を向上させることができる。
なお、インポートにより新たにオブジェクトが追加された場合、制御部23がそれらのオブジェクトをグループ化するようにしてもよい。この場合、ユーザの指示に応じてグループ化が行われるようにしてもよいし、特にユーザの指示がなくても新たに複数のオブジェクトが同時に追加されるときには、無条件にそれらのオブジェクトがグループ化されるようにしてもよい。さらに、新たに追加されたオブジェクトが2つである場合には、ユーザの指示等に応じて、それらの2つのオブジェクトをL/Rペアとしてもよい。
グループ化が行われる場合、再生空間内の位置を有さない複数のオブジェクトをグループ化するとともに、それらのグループ化した複数のオブジェクトに対して再生空間内における位置を付与する処理が制御部23により行われるともいうことができる。
特に、グループ化されるオブジェクトが2つである場合には、2つのオブジェクトが再生空間において所定の基準面に対して左右対称となる位置関係を有するように、それらの2つのオブジェクトに対して再生空間内における位置を付与することができる。
ステップS198においてオブジェクトに対して特定の位置が付与されると、その後、処理はステップS199に進む。
ステップS192、ステップS195、若しくはステップS198の処理が行われたか、またはステップS197において特定の位置を付与しないと判定された場合、ステップS199の処理が行われる。
ステップS199において表示制御部42は、オーディオファイルのインポートに応じて表示部24を制御し、表示部24に表示されている編集画面およびPOV画像の表示を更新し、インポート処理は終了する。
例えばステップS199では、図31や図33、図34に示したように編集画面やPOV画像の表示が更新される。
以上のようにして情報処理装置11は、オーディオファイルのチャンネル数やトラック種別選択画面に対するユーザの操作に応じてオーディオファイルをインポートし、新たなオブジェクトデータ等を追加する。
このようにオーディオファイルのチャンネル数やユーザの操作に応じて適切にインポートを行うことで、ユーザによるオブジェクト位置情報の入力等の手間を削減し、より効率よく簡単に編集を行うことができるようになる。
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図36は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
(1)
所定の空間内に存在する複数のオブジェクトを選択してグループ化し、グループ化された前記複数の前記オブジェクトの前記空間内における相対的な位置関係を維持したまま前記複数の前記オブジェクトの位置を変更する制御部を備える
情報処理装置。
(2)
前記制御部は、前記空間内の位置を有さない複数の前記オブジェクトをグループ化し、グループ化した前記複数の前記オブジェクトに対して前記空間内における位置を付与する
(1)に記載の情報処理装置。
(3)
前記制御部は、2つの前記オブジェクトをグループ化した場合、前記空間内において前記2つの前記オブジェクトが所定の面に対して左右対称となる関係を維持したまま前記2つの前記オブジェクトの位置を変更する
(1)に記載の情報処理装置。
(4)
前記制御部は、前記空間内の位置を有さない2つの前記オブジェクトをグループ化し、グループ化した前記2つの前記オブジェクトが前記空間内において所定の面に対して左右対称となる位置関係を有するように、前記2つの前記オブジェクトに対して前記空間内における位置を付与する
(1)に記載の情報処理装置。
(5)
前記制御部は、前記空間内における位置を有する複数の前記オブジェクトをグループ化する
(1)に記載の情報処理装置。
(6)
前記制御部は、所定時刻における前記オブジェクトの位置と、前記所定時刻とは異なる他の時刻における前記オブジェクトの位置とに基づいて、前記所定時刻と前記他の時刻との間の時刻における前記オブジェクトの位置を補間処理により求める
(1)乃至(5)の何れか一項に記載の情報処理装置。
(7)
前記制御部は、複数の補間方法のなかから選択された補間方法により前記補間処理を行う
(6)に記載の情報処理装置。
(8)
前記制御部は、前記オブジェクトの互いに異なる複数の時刻の位置が選択されて位置の変更が指示された場合、選択された前記複数の時刻の位置を指定された変更量だけ同時に変更する
(1)乃至(7)の何れか一項に記載の情報処理装置。
(9)
前記空間内の所定の位置を視点位置とする、前記オブジェクトが配置された前記空間の画像の表示を制御する表示制御部をさらに備える
(1)乃至(8)の何れか一項に記載の情報処理装置。
(10)
前記表示制御部は、前記画像上において同じグループに属す前記オブジェクトを同じ色で表示させる
(9)に記載の情報処理装置。
(11)
前記表示制御部は、前記画像上において前記オブジェクトを、前記オブジェクトに対応するオーディオトラックに対して選択された色で表示させる
(9)に記載の情報処理装置。
(12)
前記表示制御部は、前記画像上において前記オブジェクトを、前記オブジェクトに対応するオーディオトラックに対して選択された色と、前記オブジェクトが属すグループに対して定められた色とで表示させる
(9)に記載の情報処理装置。
(13)
前記表示制御部は、前記空間内に存在する前記複数の前記オブジェクトのうち、指定された前記オブジェクトのみを前記画像上に表示させる
(9)乃至(12)の何れか一項に記載の情報処理装置。
(14)
前記オブジェクトはオーディオオブジェクトである
(1)乃至(13)の何れか一項に記載の情報処理装置。
(15)
情報処理装置が、
所定の空間内に存在する複数のオブジェクトを選択してグループ化し、グループ化された前記複数の前記オブジェクトの前記空間内における相対的な位置関係を維持したまま前記複数の前記オブジェクトの位置を変更する
情報処理方法。
(16)
所定の空間内に存在する複数のオブジェクトを選択してグループ化し、グループ化された前記複数の前記オブジェクトの前記空間内における相対的な位置関係を維持したまま前記複数の前記オブジェクトの位置を変更する
ステップを含む処理をコンピュータに実行させるプログラム。
11 情報処理装置, 21 入力部, 23 制御部, 24 表示部, 41 位置決定部, 42 表示制御部

Claims (19)

  1. ユーザの指定に応じて、1または複数の音源に対するミュート設定またはソロ設定を行う制御部と、
    前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする表示制御部と
    を備え、
    前記表示制御部は、
    前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、
    前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする
    情報処理装置。
  2. 前記表示制御部は、前記ミュート設定が行われた場合、前記ミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、前記ミュート状態とされていない前記音源の表示状態を前記第1の表示状態とする
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記ユーザにより指定された前記音源を前記ミュート状態とする
    請求項2に記載の情報処理装置。
  4. 前記表示制御部は、前記ソロ設定が行われた場合、前記ソロ状態とされた前記音源の表示状態を前記第1の表示状態とし、前記ソロ状態とされていない前記音源の表示状態を前記第2の表示状態とする
    請求項1に記載の情報処理装置。
  5. 前記制御部は、前記ユーザにより指定された前記音源を前記ソロ状態とする
    請求項4に記載の情報処理装置。
  6. 前記第1の表示状態は、前記音源が表示される表示状態であり、前記第2の表示状態は、前記音源が非表示とされる表示状態である
    請求項1から請求項5の何れか一項に記載の情報処理装置。
  7. 前記制御部は、前記ミュート設定と前記ソロ設定のうちの一方の設定が行われた場合、他方の設定を解除する
    請求項1から請求項5の何れか一項に記載の情報処理装置。
  8. 前記音源はオブジェクトである
    請求項1から請求項5の何れか一項に記載の情報処理装置。
  9. 前記オブジェクトはオーディオオブジェクトである
    請求項8に記載の情報処理装置。
  10. 前記制御部は、前記ミュート状態とされた前記音源の音をミュートさせるか、または前記ミュート状態とされた前記音源のデータはコンテンツのデータとして出力されないようにする
    請求項9に記載の情報処理装置。
  11. 前記制御部は、前記ソロ状態とされた前記音源の音のみを再生させるか、または前記ソロ状態とされた前記音源のデータのみをコンテンツのデータとして出力する
    請求項9に記載の情報処理装置。
  12. 前記制御部は、複数の前記音源のからなるグループに属す1つの前記音源が前記ユーザにより前記ミュート状態または前記ソロ状態とする前記音源として指定された場合、前記グループに属す全ての前記音源を前記ミュート状態または前記ソロ状態とする
    請求項1から請求項5の何れか一項に記載の情報処理装置。
  13. 情報処理装置が、
    ユーザの指定に応じて、1または複数の音源に対するミュート設定またはソロ設定を行い、
    前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする
    ステップを含み、
    前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、
    前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする
    情報処理方法。
  14. ユーザの指定に応じて、1または複数の音源に対するミュート設定またはソロ設定を行い、
    前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする
    ステップを含む処理をコンピュータに実行させ、
    前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、
    前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする
    プログラム。
  15. ユーザによる1または複数の音源に対する操作に関する操作情報の受信を制御し、
    前記操作情報に応じて前記音源に対するミュート設定またはソロ設定を制御するための設定制御信号を生成し、前記ミュート設定または前記ソロ設定に応じて前記音源の表示状態を第1の表示状態とさせるか、または第2の表示状態とさせる表示制御信号を生成し、
    前記設定制御信号および前記表示制御信号の送信を制御する
    制御部を備え、
    前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態が前記第2の表示状態とされ、
    前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態が前記第2の表示状態とされる
    情報処理装置。
  16. 情報処理装置が、
    ユーザによる1または複数の音源に対する操作に関する操作情報を受信し、
    前記操作情報に応じて前記音源に対するミュート設定またはソロ設定を制御するための設定制御信号を生成し、前記ミュート設定または前記ソロ設定に応じて前記音源の表示状態を第1の表示状態とさせるか、または第2の表示状態とさせる表示制御信号を生成し、
    前記設定制御信号および前記表示制御信号を送信する
    ステップを含み、
    前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態が前記第2の表示状態とされ、
    前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態が前記第2の表示状態とされる
    情報処理方法。
  17. ユーザによる1または複数の音源に対する操作に関する操作情報の送信を制御し、前記操作情報の送信に応じて送信されてきた設定制御信号および表示制御信号の受信を制御し、前記設定制御信号に応じて、前記音源に対するミュート設定またはソロ設定を行う制御部と、
    前記表示制御信号に応じて、前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする表示制御部と
    を備え、
    前記表示制御部は、
    前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、
    前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする
    情報処理装置。
  18. 情報処理装置が、
    ユーザによる1または複数の音源に対する操作に関する操作情報を送信し、
    前記操作情報の送信に応じて送信されてきた設定制御信号および表示制御信号を受信し、
    前記設定制御信号に応じて、前記音源に対するミュート設定またはソロ設定を行い、
    前記表示制御信号に応じて、前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする
    ステップを含み、
    前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、
    前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とする
    情報処理方法。
  19. 第1の情報処理装置と第2の情報処理装置を有する情報処理システムであって、
    前記第1の情報処理装置は、
    ユーザによる1または複数の音源に対する操作に関する操作情報の前記第2の情報処理装置への送信を制御し、前記操作情報の送信に応じて前記第2の情報処理装置から送信されてきた設定制御信号および表示制御信号の受信を制御し、前記設定制御信号に応じて、前記音源に対するミュート設定またはソロ設定を行う第1の制御部と、
    前記表示制御信号に応じて、前記音源の表示状態を第1の表示状態とするか、または第2の表示状態とする表示制御部と
    を備え、
    前記表示制御部は、
    前記ミュート設定が行われた場合、前記ミュート設定によりミュート状態とされた前記音源の表示状態を前記第2の表示状態とし、
    前記ソロ設定が行われた場合、前記ソロ設定によりソロ状態とされた前記音源以外の前記音源の表示状態を前記第2の表示状態とし、
    前記第2の情報処理装置は、
    前記第1の情報処理装置から送信された前記操作情報の受信を制御し、前記操作情報に応じて前記設定制御信号を生成し、前記ミュート設定または前記ソロ設定に応じて前記表示制御信号を生成し、前記設定制御信号および前記表示制御信号の前記第1の情報処理装置への送信を制御する第2の制御部を備える
    情報処理システム。
JP2024010939A 2018-08-30 2024-01-29 情報処理装置および方法、プログラム、並びに情報処理システム Pending JP2024042045A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018160969 2018-08-30
JP2018160969 2018-08-30
JP2020539355A JPWO2020045126A1 (ja) 2018-08-30 2019-08-16 情報処理装置および方法、並びにプログラム
PCT/JP2019/032132 WO2020045126A1 (ja) 2018-08-30 2019-08-16 情報処理装置および方法、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020539355A Division JPWO2020045126A1 (ja) 2018-08-30 2019-08-16 情報処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2024042045A true JP2024042045A (ja) 2024-03-27

Family

ID=69643222

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020539355A Pending JPWO2020045126A1 (ja) 2018-08-30 2019-08-16 情報処理装置および方法、並びにプログラム
JP2024010939A Pending JP2024042045A (ja) 2018-08-30 2024-01-29 情報処理装置および方法、プログラム、並びに情報処理システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020539355A Pending JPWO2020045126A1 (ja) 2018-08-30 2019-08-16 情報処理装置および方法、並びにプログラム

Country Status (7)

Country Link
US (3) US11368806B2 (ja)
EP (1) EP3846501A4 (ja)
JP (2) JPWO2020045126A1 (ja)
KR (1) KR20210049785A (ja)
CN (1) CN112585999A (ja)
BR (1) BR112021003091A2 (ja)
WO (1) WO2020045126A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585999A (zh) 2018-08-30 2021-03-30 索尼公司 信息处理设备、信息处理方法和程序
US20220400352A1 (en) * 2021-06-11 2022-12-15 Sound Particles S.A. System and method for 3d sound placement

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3492404B2 (ja) * 1993-12-24 2004-02-03 ローランド株式会社 音響効果装置
JPH08140199A (ja) 1994-11-08 1996-05-31 Roland Corp 音像定位設定装置
EP1134724B1 (en) * 2000-03-17 2008-07-23 Sony France S.A. Real time audio spatialisation system with high level control
JP4304845B2 (ja) 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
US8068105B1 (en) * 2008-07-18 2011-11-29 Adobe Systems Incorporated Visualizing audio properties
US9564138B2 (en) 2012-07-31 2017-02-07 Intellectual Discovery Co., Ltd. Method and device for processing audio signal
EP2770498A1 (en) * 2013-02-26 2014-08-27 Harman International Industries Ltd. Method of retrieving processing properties and audio processing system
KR20230144652A (ko) * 2013-03-28 2023-10-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링
CN105210388A (zh) 2013-04-05 2015-12-30 汤姆逊许可公司 管理沉浸式音频的混响场的方法
EP3261367B1 (en) 2016-06-21 2020-07-22 Nokia Technologies Oy Method, apparatus, and computer program code for improving perception of sound objects in mediated reality
EP3336834A1 (en) * 2016-12-14 2018-06-20 Nokia Technologies OY Controlling a sound object
CN112585999A (zh) 2018-08-30 2021-03-30 索尼公司 信息处理设备、信息处理方法和程序

Also Published As

Publication number Publication date
US20220394415A1 (en) 2022-12-08
US20210329397A1 (en) 2021-10-21
US11849301B2 (en) 2023-12-19
JPWO2020045126A1 (ja) 2021-08-10
US20240073639A1 (en) 2024-02-29
EP3846501A1 (en) 2021-07-07
US11368806B2 (en) 2022-06-21
EP3846501A4 (en) 2021-10-06
CN112585999A (zh) 2021-03-30
KR20210049785A (ko) 2021-05-06
WO2020045126A1 (ja) 2020-03-05
BR112021003091A2 (pt) 2021-05-11

Similar Documents

Publication Publication Date Title
JP2024042045A (ja) 情報処理装置および方法、プログラム、並びに情報処理システム
EP1866742B1 (en) System and method for forming and rendering 3d midi messages
US9924289B2 (en) System and method for forming and rendering 3D MIDI messages
JP4643987B2 (ja) スマートスピーカ
JP7192786B2 (ja) 信号処理装置および方法、並びにプログラム
US10924875B2 (en) Augmented reality platform for navigable, immersive audio experience
JP7230799B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3313101B1 (en) Distributed spatial audio mixing
JP2022083443A (ja) オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法
WO2022248729A1 (en) Stereophonic audio rearrangement based on decomposed tracks
CN113821190B (zh) 音频播放方法、装置、设备及存储介质
EP3255905A1 (en) Distributed audio mixing
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
JP4426159B2 (ja) ミキシング装置
WO2023085140A1 (ja) 情報処理装置および方法、並びにプログラム
EP4174841A1 (en) Systems and methods for generating a mixed audio file in a digital audio workstation
WO2023181571A1 (ja) データ出力方法、プログラム、データ出力装置および電子楽器
JP2022090748A (ja) 録音装置、音再生装置、録音方法、および音再生方法
JP2017138522A (ja) 楽曲演奏装置、楽曲演奏用プログラム及び楽曲演奏方法
Lopes INSTRUMENT POSITION IN IMMERSIVE AUDIO: A STUDY ON GOOD PRACTICES AND COMPARISON WITH STEREO APPROACHES
US20200120435A1 (en) Audio triangular system based on the structure of the stereophonic panning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240201