TW202325370A - 資訊處理裝置及方法、以及程式 - Google Patents

Abstract

[課題] 實現基於內容製作者之意圖的內容再生。 [解決手段] 資訊處理裝置係具備控制部，其係將由含有物件位置資訊的複數個物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從控制視點所看到的物件之位置；針對複數個各控制視點，生成控制視點資訊，其係含有：表示空間中的控制視點之位置的控制視點位置資訊、和表示複數個後設資料集之中的與控制視點建立關連之後設資料集的資訊；生成內容資料，其係含有：彼此互異之複數個後設資料集、和含有複數個控制視點之控制視點資訊的構成資訊。本技術係可適用於資訊處理裝置。

Description

資訊處理裝置及方法、以及程式

本技術係有關於資訊處理裝置及方法、以及程式，特別是有關於，能夠實現基於內容製作者之意圖的內容再生的資訊處理裝置及方法、以及程式。

先前，自由視點音訊係以在遊戲中的利用為大宗，其係在遊戲中所被顯示的影像上的位置關係，亦即影音一致甚為重要，因此使用了絕對座標系的物件音訊(例如參照專利文獻1)。

另一方面，在音樂內容的世界中則是異於遊戲，為了提高音樂性，聽感上的平衡會比影音一致還要優先。因此，不僅在2聲道立體聲就連在5.1ch多聲道的內容中，都沒有講究影音一致。

又，於3DoF(Degree of Freedom)的商用服務中也是以音樂性為優先，是僅依靠聲音即成立內容的世界，影音不一致者係有多數存在。 [先前技術文獻] [專利文獻]

[專利文獻1] 國際公開第2019/198540號

[發明所欲解決之課題]

順便一提，在上述的將物件的位置以絕對座標系之座標來加以表現的手法中，雖然可以獲得高臨場感，但反面來說，要製作出滿足音樂製作者所意圖之音樂性的自由視點內容，係為困難。亦即，於自由視點內容中，難以實現基於內容製作者之意圖的內容再生。

本技術係有鑑於此種狀況而研發，目的在於能夠實現基於內容製作者之意圖的內容再生。 [用以解決課題之手段]

本技術之第1側面的資訊處理裝置，係具備：控制部，其係將由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置；針對複數個各前記控制視點，生成控制視點資訊，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊；生成內容資料，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。

本技術之第1側面的資訊處理方法或程式，係含有以下步驟：將由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置；針對複數個各前記控制視點，生成控制視點資訊，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊；生成內容資料，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。

於本技術的第1側面中，由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，係被複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置；針對複數個各前記控制視點，控制視點資訊係被生成，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊；內容資料係被生成，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。

本技術之第2側面的資訊處理裝置，係具備：取得部，係將表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，加以取得；和受聽者位置資訊取得部，係將表示前記空間中的受聽位置的受聽者位置資訊，加以取得；和位置算出部，係基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊，予以算出。

本技術之第2側面的資訊處理方法或程式，係含有以下步驟：將表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，加以取得；將表示前記空間中的受聽位置的受聽者位置資訊，加以取得；基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊，予以算出。

於本技術的第2側面中，表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，係被取得；表示前記空間中的受聽位置的受聽者位置資訊係被取得；基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊係被算出。

以下參照圖式來說明適用了本技術的實施形態。

〈第1實施形態〉 〈關於本技術〉 本技術係用來實現具備藝術性的自由視點內容。

首先，參照圖1，說明2D音訊與3D音訊。

例如如圖1的左側所示，在2D音訊中，音源係只能夠配置在受聽者的耳朵之高度的位置。在2D音訊中，可以表現音源往前後或左右之運動。

相對於此，在3D音訊中，如圖中的右側所示，身為音源的物件可以配置在比受聽者的耳朵之高度更為上方或下方的位置，因此還可以表現出音源(物件)的上下方向之運動。

又，作為利用3D音訊的內容，係有3DoF之內容和6DoF之內容。

例如在3DoF的內容中，使用者係可於空間內使自己的頭部朝上下左右或斜向方向做旋轉而觀賞內容。如此的3DoF之內容亦被稱作固定視點內容。

相對於此，在6DoF的內容中，使用者係除了可於空間內使自己的頭部朝上下左右或斜向方向做旋轉以外，還可朝空間內的任意之位置進行移動而觀賞內容。如此的6DoF之內容亦被稱作自由視點內容。

於以下所說明的內容，係亦可為僅由音訊所成之音訊內容，亦可為由視訊、和附隨於該視訊的音訊所成之內容，但以下並未將這些內容做特地區別，都簡稱為內容。尤其是，以下是以製作6DoF之內容，亦即自由視點內容為例，來做說明。又，以下也將音訊物件簡稱為物件。

於內容的製作過程中為了提高藝術(音樂)性，而不會拘泥於物件的實體性配置，有時候會刻意在異於眼睛所見之場所的位置上，意圖性地配置物件。

如此的物件之配置係藉由使用極座標系物件配置技術，就可容易地加以表現。圖2係使用實際的樂團演奏之例子，來圖示絕對座標與極座標的物件之配置的差異。

例如如圖2所示，以樂團的演奏為例的情況下，並非在主唱或吉他的位置上，將對應於這些主唱或吉他的物件(音訊物件)做實體性地配置，而是採取考慮到音樂性的配置。

在圖2中，圖中的左側係圖示了演奏樂曲的樂團成員於3維空間中的實體性的配置位置，亦即在實體空間(絕對座標空間)中的配置位置。亦即物件OV11係為主唱(歌手)，物件OD11係為鼓手，物件OG11係為吉他，物件OB11係為貝斯。

特別是，在此例中身為內容之受聽者的使用者的從正面(正中面)偏向右側之位置上係被配置有物件OV11(主唱)，從使用者來看，在右側之邊端附近係被配置有物件OG11(吉他)。

在內容製作時，係考慮到音樂性而如圖中右側所示般地，將對應於樂團之各成員(樂器)的物件(音訊物件)進行配置。此外，所謂考慮到音樂性係意味著，使得樂曲本身聽起來較為清楚的意思。

圖中右側係圖示了，在極座標空間中的音訊物件之配置。

具體而言，物件OV21係表示對應於物件OV11的音訊物件，亦即主唱的聲(音)的定位位置。

雖然物件OV11係相對於正中面而被配置在偏右，但製作者係考量主唱係為內容的最為核心的存在，而把對應於主唱的物件OV21，以較為醒目的方式而配置在藉由極座標表現的正中面的較高的位置，亦即從使用者來看而為中央的較高之位置上。

物件OG21-1及物件OG21-2，係對應於物件OG11，係為吉他所致之和弦伴奏音的音訊物件。此外，以下在不需要特地區別物件OG21-1及物件OG21-2的情況下，亦簡稱為物件OG21。

此處，並非在3維空間之實體性的吉他手的位置，亦即物件OG11之位置上直接配置單聲道之物件OG21，而是考慮到音樂上的見解，是從使用者來看位於前方之左右的2個位置上的配置。亦即，從使用者來看是在前方左右之各位置上帶有寬度而配置物件OG21，藉此可實現像是包圍著受聽者(使用者)般的音訊表現。換言之，可表現出拓展感(包圍感)。

物件OD21-1及物件OD21-2，係為對應於物件OD11(鼓手)的音訊物件，物件OB21-1及物件OB21-2，係為對應於物件OB11(貝斯)的音訊物件。

此外，以下在不需要區別物件OD21-1及物件OD21-2的情況下，亦簡稱為物件OD21，在不需要區別物件OB21-1及物件OB21-2的情況下，亦簡稱為物件OB21。

物件OD21，係為了使其安定為目的，而在從使用者來看位於左右之較低位置上帶有寬度而被配置，物件OB21，係為了使其安定，而被配置在靠近中央且較鼓手(物件OD21)稍微提高的位置。

如此，製作者(創作者)係考慮到音樂性而將各物件配置在極座標空間中，製作自由視點內容。

如此一來，與其實體性地唯一決定物件位置的絕對座標系中的物件配置，不如極座標系中的物件配置，更適合於製作者所意圖之附加了藝術性(音樂性)的自由視點內容之製作。本技術係為，基於上記的極座標系中的物件配置手法，藉由使用複數個極座標系之物件配置模態而實現的自由視點音訊技術。

順便一提，極座標系物件配置所致之3DoF內容的製作中，製作者係想定空間內的1個受聽位置，使用以受聽者(受聽位置)為中心的極座標系，來進行各物件的配置。

此時，各物件的後設資料，係主要是由Azimuth、Elevation、及Gain這3個要素所構成。

此處，Azimuth係為表示從受聽者所看到的物件之位置的水平方向之角度，Elevation係為表示從受聽者所看到的物件之位置的垂直方向之角度，Gain係為物件的音訊資料之增益。

製作工具，係針對各物件，而將上記的後設資料、和對應於該後設資料的物件之聲音進行再生所需之音訊資料(物件音訊資料)，當作成果物而輸出。

此處，考量3DoF內容之製作手法的往自由視點(6DoF)之展開，亦即往自由視點內容之展開。

例如如圖3所示，自由視點內容的製作者在自由視點空間(3維空間)內所想要表現的視點之位置，稱作控制視點(Control Viewpoint(以下亦稱作CVP))，而假設定有複數個CVP。

例如CVP，係為在內容之再生時欲設成受聽位置的位置等。以下，將第i個CVP，也特地記作CVPi。

在圖3的例子中，身為受聽者的使用者在受聽內容的自由視點空間內，定有3個CVP(控制視點)也就是CVP1乃至CVP3。

現在，若把表示自由視點空間內的絕對位置的絕對座標之座標系視為共通絕對座標系，則如圖中的中央所示，共通絕對座標系係為，以自由視點空間內的所定之位置為原點O，以彼此正交的X軸、Y軸、及Z軸為軸的正交座標系。

在此例中，X軸係為圖中橫方向的軸，Y軸係為縱深方向的軸，Z軸係為圖中縱方向的軸。又，自由視點空間中的原點O之位置的設定，係全部交由內容的製作者之意圖而為之，但亦可被設定在所被想定的作為自由視點空間之會場的中央等。

此處，表示共通絕對座標系中的CVP1乃至CVP3之各位置的座標，亦即各CVP的絕對座標位置，係為(X1,Y1,Z1)、(X2,Y2,Z2)、及(X3,Y3,Z3)。

又，內容的製作者，係將自由視點空間中的1個位置(1個點)，決定成想定會從所有CVP觀看的目標位置TP。目標位置TP，係為物件之位置資訊的補插處理所需之作為基準的位置，尤其是假設位於各CVP上的假想之受聽者，係全部都會朝向目標位置TP之方向。

在此例中，表示共通絕對座標系中的目標位置TP的座標(絕對座標位置)，係為(x _tp,y _tp,z _tp)。

又，在各CVP上，形成有以CVP之位置為中心的極座標空間(以下亦稱作CVP極座標空間)。

CVP極座標空間內的位置，係藉由例如CVP之位置，亦即以CVP之絕對座標位置為原點O’，由彼此正交的x軸、y軸、及z軸所成之極座標系(以下亦稱作CVP極座標系)之座標(極座標)，來加以表現。

尤其是，此處，從CVP之位置朝向目標位置TP的方向係為y軸之正的方向，從位於CVP的假想之受聽者所看去的左右方向的軸係為x軸，從位於CVP的假想之受聽者所看去的上下方向的軸係為z軸。

一旦藉由內容製作者而設定(指定)了CVP與目標位置TP，則作為表示CVP與目標位置TP之間的位置關係的資訊，水平方向之角度Yaw、與垂直方向之角度Pitch之關係係被決定。

水平方向之角度「Yaw」，係為共通絕對座標系之Y軸、與CVP極座標系之y軸所夾的水平方向之角度。亦即，角度「Yaw」係為，表示相對於共通絕對座標系中的Y軸，位於CVP上，正在觀看目標位置TP的假想之受聽者的臉部之朝向的水平方向之角度。

又，垂直方向之角度「Pitch」係為，相對於包含共通絕對座標系之X軸與Y軸的XY平面，CVP極座標系之y軸所夾的角度。亦即，角度「Pitch」係為，表示相對於共通絕對座標系中的XY平面，位於CVP上，正在觀看目標位置TP的假想之受聽者的臉部之朝向的垂直方向之角度。

具體而言，假設表示目標位置TP之絕對座標位置的座標為(x _tp,y _tp,z _tp)，表示所定之CVP之絕對座標位置的座標，亦即共通絕對座標系之座標為(x _cvp,y _cvp,z _cvp)。

如此的情況下，CVP的水平方向之角度「Yaw」及垂直方向之角度「Pitch」，係可藉由下式(1)而求出。換言之，下式(1)的關係會成立。

在圖3中，例如虛線所表示的將CVP2的CVP極座標系之y軸投影至XY平面所得的直線、與虛線所表示的平行於共通絕對座標系之Y軸的直線所夾的角度「Yaw2」，就是藉由式(1)所求出的關於CVP2的水平方向之角度「Yaw」。同樣地，CVP2的CVP極座標系之y軸、與XY平面所夾的角度「Pitch2」，就是藉由式(1)所求出的關於CVP2的垂直方向之角度「Pitch」。

自由視點內容之送訊側(生成側)，作為構成資訊，係將表示共通絕對座標系中的CVP之絕對座標位置的CVP位置資訊，和含有藉由式(1)所求出之CVP之Yaw及Pitch的CVP朝向資訊，傳輸至收訊側(再生側)。

此外，作為CVP朝向資訊之傳輸的替代手段，亦可設計成，將表示共通絕對座標系中的目標位置TP的座標(絕對座標值)，從送訊側傳輸至收訊側。亦即，亦可取代CVP朝向資訊，而改為將表示共通絕對座標系(自由視點空間)中的目標位置TP的目標位置資訊，儲存在構成資訊中。如此的情況下，在收訊側(再生側)中，基於所接收到的表示目標位置TP的座標，而每一CVP地藉由上述的式(1)而算出Yaw及Pitch。

又，CVP朝向資訊中係亦可不只含有CVP的Yaw及Pitch，還包含有以CVP極座標系之y軸為旋轉軸的，相對於共通絕對座標系的CVP極座標系之旋轉角度(Roll)。以下，將CVP朝向資訊中所含之Yaw、Pitch、及Roll，特別亦稱作CVP Yaw資訊、CVP Pitch資訊、及CVP Roll資訊。

此處，著眼於圖3所示的CVP3，進一步說明CVP朝向資訊。

圖4係圖示了圖3所示的目標位置TP與CVP3之位置關係。

一旦CVP3被設定(指定)，則以該CVP3為中心的CVP極座標系，亦即1個極座標空間就被決定，在該極座標空間中從CVP3所看去的目標位置TP之方向即為正中面之方向(水平方向之角度Azimuth=0，垂直方向之角度Elevation=0的方向)。換言之，從CVP3面向目標位置TP的方向，即是以CVP3為中心的CVP極座標系之y軸之正的方向。

此處，包含有CVP3，亦即CVP3的CVP極座標系之原點O’，且與包含有共通絕對座標系之X軸及Y軸的XY平面呈平行的平面若令其為X’Y’平面，則直線LN11係為，將CVP3的CVP極座標系之y軸投影至X’Y’平面上所得的直線。又，直線LN12係為，X’Y’平面上的與共通絕對座標系之Y軸呈平行的直線。

此時，直線LN11與直線LN12所夾的角度「Yaw3」，即為藉由式(1)所求出的關於CVP3的CVP Yaw資訊，y軸與直線LN11所夾的角度「Pitch3」，即為藉由式(1)所求出的關於CVP3的CVP Pitch資訊。

由如此所得的CVP Yaw資訊或CVP Pitch資訊所成之CVP朝向資訊係為，表示位於CVP3上的假想之受聽者所面朝的方向，亦即自由視點空間中的從CVP3面向目標位置TP之方向的資訊。換言之，CVP朝向資訊係可說是，關於共通絕對座標系與CVP極座標系之朝向(方向)的表示相對關係的資訊。

又，一旦各CVP的CVP極座標系被定出，則在CVP與各物件(音訊物件)之間，表示從CVP所看到的物件之位置(方向)的，使用水平方向之角度Azimuth與垂直方向之角度Elevation而被表示的相對性的位置關係，就會成立。

參照圖5，說明從CVP3所看到的所定之物件的相對位置。此外，在圖5中，目標位置TP與CVP3是以和圖3中的情況相同的位置關係而被圖示。

在此例中，在自由視點空間內，配置有包含物件obj1的4個音訊物件。

圖中左側係圖示了自由視點空間全體之樣子，此處尤其是，物件obj1是被配置在目標位置TP的附近。

內容的製作者，係即使是相同的物件，仍有可能以使得該物件在自由視點空間中的絕對性之配置位置會是隨著每一CVP而為不同之位置的方式，對各CVP來設定(指定)物件之配置位置。

例如製作者，係可將從CVP1觀看時的自由視點空間中的物件obj1之配置位置、與從CVP3觀看時的自由視點空間中的物件obj1之配置位置做個別地指定，這些配置位置並不一定會一致。

圖中右側係圖示在CVP3的CVP極座標空間中，從CVP3觀看目標位置TP或物件obj1時的樣子，可知物件obj1係為從CVP3來看是被配置在左前方。

此情況下，在CVP3與物件obj1之間，藉由水平方向角度Azimuth_obj1與垂直方向角度Elevation_obj1而被決定的相對性的位置關係，就會成立。換言之，從CVP3所看到的物件obj1之相對性的位置，係可藉由水平方向角度Azimuth_obj1及垂直方向角度Elevation_obj1所成的CVP極座標系之座標(極座標)來加以表示。

如此的極座標表現所致之物件配置，係與在3DoF內容製作時所被使用的配置手法相同。換言之，在本技術中，即使是6DoF內容，仍可用與3DoF內容時的情況相同的極座標表現，來進行物件配置。

如以上所述，在本技術中，針對自由視點空間內所設定的複數個各CVP，可藉由與3DoF內容之情況相同的手法，在3維空間內配置物件。藉此而生成對應於複數個CVP的物件位置模態。

在自由視點內容的製作時，製作者係會對自己所設定的各CVP，逐一指定所有物件的配置位置。

此外，各CVP上的物件之配置模態，係不限定於分別對應至1個CVP，亦可在複數個CVP間是被指派相同的配置模態。若此，則可有效率地削減製作成本同時對位於自由視點空間內的更廣範圍中的複數個CVP，指定物件位置。

圖6係圖示了，管理CVP的構成資訊(CVP set)，與物件位置模態(Object Set)的建立關連之例子。

圖中左側係圖示了(N+2)個的各CVP，構成資訊中係儲存有關於這些(N+2)個之CVP的資訊。具體而言，例如構成資訊中係含有：各CVP的CVP位置資訊或CVP朝向資訊。

相對於此，圖中右側係圖示了彼此互異的N個之各物件位置模態，亦即物件之配置模態。

例如文字「OBJ Positions 1」所示的物件位置模態資訊係表示，使用製作者等所設定的特定之1個配置模態來配置物件之情況下的，CVP極座標系中的所有物件之配置位置。

因此，例如「OBJ Positions 1」所示的物件之配置模態，與「OBJ Positions 2」所示的物件之配置模態，係為不同的配置模態。

又，從圖中左側所示的各CVP，往圖中右側所示的物件位置模態所指去的箭頭，係表示了CVP與物件位置模態的連結之關係。在本技術中，關於各個CVP的資訊與物件之位置資訊的組合模態係為各自獨立而存在，如圖6所示般地將兩者的關係進行連結管理而被實作。

具體而言，在本技術中，係例如按照每一物件之配置模態，而準備有物件後設資料集。

例如物件後設資料集，係由每一物件的物件後設資料所成，各物件後設資料中係含有，相應於配置模態的物件之物件位置資訊。

該物件位置資訊係被設成，使用對應之配置模態來配置物件之情況下的，表示CVP極座標系中的物件之配置位置的極座標等。更詳言之，例如物件位置資訊係為，藉由與CVP極座標系相同的極座標系之座標(極座標)而被表現的，表示以自由視點空間中的從CVP面向目標位置TP之方向為正中面之方向時的從CVP所看到的物件之位置的座標資訊。

又，構成資訊中，係按照每一CVP而被儲存有，表示製作者針對CVP所設定之物件位置模態(物件之配置模態)所對應之物件後設資料集的後設資料集索引。然後在收訊側(再生側)，係基於構成資訊中所含之後設資料集索引，而獲得對應之物件位置模態下的物件後設資料集。

藉由如此的後設資料集索引，來使CVP與物件位置模態(物件後設資料集)做連結，係可說成是帶有CVP與物件位置模態之間的對映資訊。藉由如此設計，在資料管理或實作面上可提高作為格式的視認性，同時可削減記憶體量。

例如，若按照每一物件位置模態來準備物件後設資料集，則在製作工具上，內容的製作者可將已經存在的複數個物件之物件位置資訊之組合模態，在複數個CVP間做共用。

具體而言，例如對於圖中左側所示的CVP2，是被指定有圖中右側所示的「OBJ Positions 2」所示的物件位置模態，但對CVPN+1也可以指定和CVP2的情況相同的「OBJ Positions 2」所示的物件位置模態。

此情況下，CVP2所參照(與CVP2建立關連)的物件位置模態，與CVPN+1所參照的物件位置模態，係同樣都是「OBJ Positions 2」。因此，從CVP2所看到的「OBJ Positions 2」所示的物件之相對性的配置位置、與從CVPN+1所看到的「OBJ Positions 2」所示的物件之相對性的配置位置，係為相同。

可是，CVP2上的「OBJ Positions 2」所示的物件在自由視點空間中的配置位置、與CVPN+1上的「OBJ Positions 2」所示的物件在自由視點空間中的配置位置，會是彼此互異的位置。這是因為，例如物件位置模態「OBJ Positions 2」時的物件位置資訊，係是藉由極座標系之極座標而被表現，但該極座標系的在自由視點空間中的原點之位置與y軸之方向(正中面之方向)，係在CVP2是參照「OBJ Positions 2」時、與CVPN+1是參照「OBJ Positions 2」時，會有所不同。換言之，是因為在CVP2與CVPN+1之間，CVP極座標系的原點之位置與y軸之方向為不同的緣故。

再者，此處雖然準備了N個物件位置模態，但其後，即使有新的物件位置模態被追加而生成，CVP或物件後設資料之管理仍可不會變得煩雜，可建立體系來進行處理。藉此，可提高軟體上的資料之視認性，可容易實作。

如以上所述，若依據本技術，則可使用3DoF之手法，只需在與各CVP建立關連的極座標上進行物件配置，就能製作6DoF內容(自由視點內容)。

各CVP上所被使用的物件所對應之音訊資料群雖然是藉由內容製作者而被選定，但這些音訊資料係可在複數個CVP間共通地使用。此外，亦可追加只有在特定之CVP上做使用的物件所對應之音訊資料。

如此在各CVP間使用共通的音訊資料，而按照每一CVP來控制物件的位置或增益等，藉此，冗餘性低的傳輸就成為可能。

隨應於製作者之操作而生成6DoF內容(自由視點內容)的製作工具，係將構成資訊及物件後設資料集這2個資料結構體，以檔案或二進位資料的方式進行輸出。

圖7係為構成資訊之格式(語法)例的圖示。

在圖7所示的例子中，構成資訊中係含有：音框長度索引「FrameLengthIndex」、物件數資訊「NumOfObjects」、CVP數資訊 「NumOfControlViewpoints」、及後設資料集數資訊 「NumOfObjectMetaSets」。

音框長度索引「FrameLengthIndex」係為，表示用來再生物件之聲音所需之音訊資料的1音框之長度，亦即1音框是由多少個樣本所構成的索引。

例如音框長度索引「FrameLengthIndex」的各值、與音框長度索引所代表的音框長度之對應，係如圖8所示。

在此例中，例如音框長度索引之值為「5」的情況下，音框長度係被設成「1024」。亦即，1個音框是由1024個樣本所構成。

回到圖7的說明，物件數資訊 「NumOfObjects」係為，表示構成內容的音訊資料之數量，亦即物件(音訊物件)之數量的資訊。CVP數資訊「NumOfControlViewpoints」係為，表示藉由製作者所被設定的CVP之數量(個數)的資訊。後設資料集數資訊「NumOfObjectMetaSets」係為，表示物件後設資料集之數量(個數)的資訊。

又，在構成資訊中，CVP數資訊 「NumOfControlViewpoints」所示的CVP之數量有多少，就會含有多少筆關於CVP的資訊也就是CVP資訊 「ControlViewpointInfo(i)」。亦即，按照藉由製作者所被設定的每一CVP，而被儲存有CVP資訊。

再者，在構成資訊中，係針對各CVP而被儲存有，按照每一物件而表示物件後設資料中所含之物件位置資訊之描述方法的旗標資訊也就是座標模式資訊「CoordinateMode[i][j]」。

例如座標模式資訊之值「0」係表示，物件位置資訊是藉由共通絕對座標系之絕對座標而被描述。相對於此，座標模式資訊之值「1」係表示，物件位置資訊是藉由CVP極座標系之極座標而被描述。此外，以下是假設座標模式資訊之值為「1」而繼續說明。

又，構成資訊中所含之CVP資訊 「ControlViewpointInfo(i)」之格式(語法)之例子，示於圖9。

在此例中，CVP資訊中係含有CVP索引「ControlViewpointIndex[i]」及後設資料集索引 「AssociatedObjectMetaSetIndex[i]」。

CVP索引「ControlViewpointIndex[i]」，係為用來識別CVP資訊所對應之CVP所需之索引資訊。

後設資料集索引 「AssociatedObjectMetaSetIndex[i]」係為，表示對於CVP索引所代表之CVP而被製作者所指定之物件後設資料集的索引資訊(指定資訊)。換言之，後設資料集索引係為，表示與CVP建立關連之物件後設資料集的資訊。

又，CVP資訊中係含有CVP位置資訊與CVP朝向資訊。

亦即，作為CVP位置資訊係被儲存有：表示共通絕對座標系中的CVP之位置的X座標「CVPosX[i]」、Y座標「CVPosY[i]」、及Z座標「CVPosZ[i]」。

又，作為CVP朝向資訊係被儲存有：CVP Yaw資訊「CVYaw[i]」、CVP Pitch資訊「CVPitch[i]」、及CVP Roll資訊「CVRoll[i]」。

圖10係為物件後設資料集，更詳言之係為物件後設資料集群之格式(語法)例的圖示。

在此例中，「NumOfObjectMetaSets」係表示所被儲存的物件後設資料集之數量。該物件後設資料集之數量，係可從構成資訊中所含之後設資料集數資訊而獲得。又，「ObjectMetaSetIndex[i]」係表示物件後設資料集之索引，「NumOfObjects」係表示物件之數量。

「NumOfChangePoints」係表示物件後設資料集之內容會發生變化的時刻也就是變化點之數量。

在此例中，變化點間的物件後設資料集係沒有被儲存。又，關於各物件後設資料集，關於物件的每一變化點，係被儲存有：用來特定變化點所需之音框索引「frame_index[i][j][k]」、和表示物件之位置的 「PosA[i][j][k]」、「PosB[i][j][k]」、及 「PosC[i][j][k]」、和物件之增益「Gain[i][j][k]」。該增益「Gain[i][j][k]」，係為從CVP觀看時的物件(音訊資料)之增益。

音框索引「frame_index[i][j][k]」係為，表示身為變化點的物件的音訊資料之音框的索引。在收訊側(再生側)，係基於該音框索引「frame_index[i][j][k]」、及構成資訊中所含之音框長度索引 「FrameLengthIndex」，而特定出身為變化點的音訊資料的樣本位置。

表示物件之位置的「PosA[i][j][k]」、 「PosB[i][j][k]」、及「PosC[i][j][k]」係表示了，表示CVP極座標系中的物件之位置(極座標)的水平方向角度Azimuth、垂直方向角度Elevation、及半徑Radius。亦即，「PosA[i][j][k]」、「PosB[i][j][k]」、及 「PosC[i][j][k]」所成之資訊，係為物件位置資訊。

但是，此處係假設座標模式資訊之值為「1」。座標模式資訊之值為「0」的情況下，則 「PosA[i][j][k]」、「PosB[i][j][k]」、及 「PosC[i][j][k]」係被視為表示共通絕對座標系中的物件之位置的X座標、Y座標、及Z座標。

如以上所述，在圖10所示的格式中，針對各物件後設資料集，是按照每一變化點而被儲存有每一物件的音框索引、和關於各物件的物件位置資訊及增益。

雖然也有物件之位置係為總是固定的情況，但也有在時間方向上物件之位置是呈現動態變化的情況。

在圖10所示的格式例中，物件之位置發生變化的時刻之位置，亦即上述的變化點之位置，是作為音框索引「frame_index[i][j][k]」而被記錄。又，變化點間的物件位置資訊或增益，係例如在收訊側(再生側)，基於變化點上的物件位置資訊或增益，藉由直線所致之補插處理而被求出。

如此，若採用圖10所示的格式，則物件之位置是呈現動態變化的情況下也能夠對應，不需要保持全時刻(音框)的資料，因此可縮小檔案大小。

圖11係圖示了，作為自由視點內容來製作實際的演唱會內容時的自由視點空間中的CVP之配置例。

在此例中，包含演唱會會場全體的空間係成為自由視點空間，在演唱會會場中係在舞台ST11上，作為物件的藝人係會進行樂曲之演奏等。又，在演唱會會場中，是以圍繞著舞台ST11的方式，而設置有座位。

自由視點空間，亦即共通絕對座標系中的原點O之位置的設定，雖然全部交由內容的製作者之意圖而為之，但在此例中是把演唱會會場之中央，設成原點O之位置。

又，在此例中，是藉由製作者而在舞台ST11上設定了目標位置TP，在演唱會會場內設定了7個的CVP1乃至CVP7。

如上述，在各CVP(CVP極座標系)中，從CVP面向目標位置TP之方向是被設成正中面之方向。

因此，例如以CVP1為視點位置(受聽位置)，面向目標位置TP之方向的使用者，係會提示出如箭頭Q11所示般地彷彿自己是從正面觀看舞台ST11的內容映像。

同樣地，例如以CVP4為視點位置，面向目標位置TP之方向的使用者，係會提示出如箭頭Q12所示般地彷彿自己是從斜向前方觀看舞台ST11的內容映像。再例如以CVP5為視點位置，面向目標位置TP之方向的使用者，係會提示出如箭頭Q13所示般地彷彿自己是從斜向後方觀看舞台ST11的內容映像。

在製作如此的自由視點內容的情況下，製作者所致之對1個CVP的物件之配置作業，是與3DoF內容的製作作業等價。

在圖11的例子中，自由視點內容的製作者，係除了對1個CVP的物件配置作業以外，為了對應於6DoF，只需要再另外設定6個CVP，並對這些CVP進行物件配置作業即可。如此，在本技術中，可藉由和3DoF內容的情況相同的作業，來製作自由視點內容。

順便一提，空間內的殘響成分，原本是藉由實體性的空間內的傳播或反射，而被生成。

因此，在把藉由作為自由視點空間的演奏會會場內的反射或傳播而抵達的實體性的殘響成分視為物件的情況下，則CVP極座標系(CVP極座標空間)中的殘響物件之配置，係為例如如圖12所示。此外，圖12係使用與圖3所示之目標位置TP與CVP3相同的位置關係，而被圖示。

在圖12中，從位於目標位置TP之附近的音源(演者)發出並朝向CVP3的殘響音，是藉由虛線的箭頭而被表示。亦即，圖中的箭頭，係表示實體性的殘響路徑。尤其是，此處係描繪了4個殘響路徑。

因此，若將這些殘響音視為殘響物件而直接配置在CVP3的CVP極座標空間，則各殘響物件就會被配置在位置P11乃至位置P14上。

然而，在如此直接使用狹窄領域(自由視點空間)的殘響成分較強的訊號的情況下，雖然可以獲得高臨場感，但是會導致原本的音樂訊號會被殘響蓋過，而經常會降低音樂性。

若使用本技術的製作工具中的CVP極座標系中的物件配置，則內容的製作者，係可將殘響成分視為物件(殘響物件)，從音樂性的觀點而決定認為最佳的到來方向，隨應於該決定結果來配置物件。藉此，就可演出空間內的殘響效果。

具體而言，例如以CVP3為受聽位置的情況下，若將殘響物件配置在位置P11乃至位置P14，則以殘響音為主的聲音就會集中在演奏會會場前方之狹窄領域中。於是，製作者係將這些殘響物件，配置在位於CVP3之受聽者的後方也就是位置P’11乃至位置P’14上。換言之，考慮殘響路徑等，而為了音樂性的附加，殘響物件的配置位置係從位置P11乃至位置P14被移動到位置P’11乃至位置P’14。

如此，藉由意圖性地將殘響物件整體地配置在受聽者的後方，就可避免殘響成分所致之掩蓋，亦即避免音樂本身變得聽不清楚。

〈資訊處理裝置之構成例〉 接下來說明，將製作工具予以實現，並製作如以上所說明之自由視點內容的資訊處理裝置。

如此的資訊處理裝置，係由例如個人電腦等所成，係被構成為如圖13所示。

圖13所示的資訊處理裝置11係具有：輸入部21、顯示部22、記錄部23、通訊部24、音響輸出部25、及控制部26。

輸入部21係由例如滑鼠、鍵盤、觸控面板、按鈕、開關等所成，係將內容的製作者之操作所相應的訊號，供給至控制部26。顯示部22，係依照控制部26之控制，而將內容的製作工具的顯示畫面等任意之影像，加以顯示。

記錄部23，係將內容製作所需之各物件的音訊資料、從控制部26所被供給之構成資訊或物件後設資料集等之各種資料加以記錄，並且將已記錄的資料，適宜地供給至控制部26。

通訊部24，係與伺服器等之外部裝置，進行通訊。例如通訊部24，係將從控制部26所被供給之資料發送至伺服器等，或將從伺服器等所被發送過來的資料予以接收並供給至控制部26等等。

音響輸出部25，係由例如揚聲器所成，係基於從控制部26所被供給之音訊資料，而輸出聲音。

控制部26，係控制資訊處理裝置11全體的動作。例如控制部26，係基於隨著製作者之操作而從輸入部21所被供給之訊號，而生成(製作)自由視點內容。

〈內容製作處理之說明〉 接著，說明資訊處理裝置11的動作。亦即，以下參照圖14的流程圖，說明資訊處理裝置11所致之內容製作處理。

例如一旦控制部26將記錄部23中所被記錄之程式予以讀出並執行，則用來製作自由視點內容所需之製作工具就被實現。

一旦製作工具被啟動，則控制部26係將所定之影像資料供給至顯示部22，而令製作工具的顯示畫面被顯示。該顯示畫面中係被顯示有例如自由視點空間之影像等。

又例如，控制部26，係隨應於製作者之操作，適宜地將構成現在開始想要製作之自由視點內容的各物件的音訊資料，從記錄部23予以讀出並供給至音響輸出部25，令物件的聲音被再生。

製作者係適宜地一面聆聽物件的聲音，或確認顯示畫面上的自由視點空間之影像等，而一面操作輸入部21，藉此以進行內容製作所需之操作。

於步驟S11中，控制部26係設定目標位置TP。

例如製作者，係藉由操作輸入部21而將自由視點空間上的任意之位置(點)，指定成為目標位置TP。

一旦藉由製作者而進行了用來指定目標位置TP之操作，則從輸入部21往控制部26係會供給相應於製作者之操作的訊號，因此控制部26係基於從輸入部21所被供給之訊號，而將自由視點空間上的已被製作者所指定之位置，設成目標位置TP。亦即，控制部26係設定目標位置TP。

此外，亦可隨應於製作者之操作，控制部26就會進行自由視點空間(共通絕對座標系)中的原點O之位置的設定。

於步驟S12中，控制部26係將CVP數與物件後設資料集數設成0。亦即，控制部26係將CVP數資訊「NumOfControlViewpoints」之值設成0，並且將後設資料集數資訊「NumOfObjectMetaSets」之值設成0。

於步驟S13中，控制部26係基於來自輸入部21的訊號，判定藉由製作者之操作而被選擇的編輯模式，是否為CVP編輯模式。

此處，假設編輯模式中係有：進行CVP之編輯的CVP編輯模式、進行物件後設資料集之編輯的物件後設資料集編輯模式、及進行CVP與物件後設資料集之建立關連(綁定)的綁定編輯模式。

於步驟S13中若判定為是CVP編輯模式的情況下，則於步驟S14中，控制部26係判定是否要變更CVP構成。

例如，製作者於CVP編輯模式下，進行了新的CVP之追加(設定)、或既存之CVP之刪除的指示操作的情況下，則判定為要變更CVP構成。

於步驟S14中若判定為不變更CVP構成的情況下，則處理係回到步驟S13，重複進行上述的處理。

相對於此，於步驟S14中若判定為要變更CVP構成的情況下，則其後，處理係往步驟S15前進。

於步驟S15中，控制部26，係基於隨著製作者之操作而從輸入部21所被供給之訊號，而將CVP數予以更新。

例如，製作者進行了新的CVP的追加(設定)操作的情況下，控制部26係將正在保持中的CVP數資訊「NumOfControlViewpoints」之值加算1，以更新CVP數。相對於此，例如製作者進行了將既存之1個CVP予以刪除之操作的情況下，控制部26係將正在保持中的CVP數資訊「NumOfControlViewpoints」之值減算1，以更新CVP數。

於步驟S16中，控制部26係隨應於製作者的操作而進行CVP之編輯。

例如控制部26，係一旦藉由製作者而被進行了CVP的指定(追加)操作，就基於從輸入部21所被供給之訊號，而將自由視點空間上的已被製作者所指定之位置，設成新追加的CVP之位置。亦即，控制部26設定新的CVP。又，例如控制部26，係一旦藉由製作者而被進行了CVP的刪除操作，就基於從輸入部21所被供給之訊號，而將自由視點空間上的已被製作者所指定之CVP予以刪除。

一旦CVP之編輯被進行，則其後，處理係回到步驟S14，重複進行上述的處理。亦即，進行新的CVP之編輯。

又，於步驟S13中若判定為並非CVP編輯模式的情況下，則於步驟S17中，控制部26係判定是否為物件後設資料集編輯模式。

於步驟S17中若判定為是物件後設資料集編輯模式的情況下，則於步驟S18中，控制部26係判定是否要變更物件後設資料集。

例如，製作者於物件後設資料集編輯模式下，進行了新的物件後設資料集之追加(設定)、或既存之物件後設資料集之刪除的指示操作的情況下，則判定為要變更物件後設資料集。

於步驟S18中若判定為不變更物件後設資料集的情況下，則處理係回到步驟S13，重複進行上述的處理。

相對於此，於步驟S18中若判定為要變更物件後設資料集的情況下，則其後，處理係往步驟S19前進。

於步驟S19中，控制部26，係基於隨著製作者之操作而從輸入部21所被供給之訊號，而將物件後設資料集數予以更新。

例如，製作者進行了新的物件後設資料集的追加(設定)操作的情況下，控制部26係將正在保持中的後設資料集數資訊「NumOfObjectMetaSets」之值加算1，以更新物件後設資料集數。相對於此，例如製作者進行了將既存之1個物件後設資料集予以刪除之操作的情況下，控制部26係將正在保持中的後設資料集數資訊「NumOfObjectMetaSets」之值減算1，以更新物件後設資料集數。

於步驟S20中，控制部26係隨應於製作者的操作而進行物件後設資料集之編輯。

例如控制部26，係一旦藉由製作者而被進行了新的物件後設資料集的設定(追加)操作，就基於從輸入部21所被供給之訊號，而生成新的物件後設資料集。

此時，例如控制部26係適宜，令CVP極座標空間之影像被顯示於顯示部22，製作者係將CVP極座標空間之影像上的位置(點)，指定成為關於新的物件後設資料集的物件之配置位置。

控制部26，係一旦藉由製作者而被進行了1或複數個各物件之配置位置的指定操作，就將CVP極座標空間上的已被製作者所指定之位置，設成物件之配置位置，藉此以生成新的物件後設資料集。

又，例如控制部26，係一旦藉由製作者而被進行了物件後設資料集的刪除操作，就基於從輸入部21所被供給之訊號，而將已被製作者所指定之物件後設資料集予以刪除。

一旦物件後設資料集之編輯被進行，則其後，處理係回到步驟S18，重複進行上述的處理。亦即，進行新的物件後設資料集之編輯。此外，作為物件後設資料集之編輯，亦可進行既存的物件後設資料集之變更。

又，於步驟S17中若判定為並非物件後設資料集編輯模式的情況下，則於步驟S21中，控制部26係判定是否為綁定編輯模式。

於步驟S21中若判定為是綁定編輯模式的情況下，則於步驟S22中，控制部26係隨應於製作者之操作，而將CVP與物件後設資料集建立關連。

具體而言，例如控制部26，係基於從輸入部21所被供給之訊號，而針對已被製作者所指定之CVP，生成表示已被製作者所指定之物件後設資料集的後設資料集索引「AssociatedObjectMetaSetIndex[i]」。藉此，進行CVP與物件後設資料集之綁定。

一旦步驟S22之處理被進行，其後，處理係回到步驟S13，重複進行上述的處理。

相對於此，於步驟S21中若判定為並非綁定編輯模式的情況下，亦即被指示了自由視點內容的製作作業之結束的情況下，則處理係往步驟S23前進。

於步驟S23中，控制部26係藉由通訊部24而將內容資料予以輸出。

例如控制部26，係基於目標位置TP、CVP、及物件後設資料集之設定結果、或CVP與物件後設資料集之綁定結果，而生成構成資訊。

具體而言，例如控制部26係生成參照圖7或圖9所說明的，含有音框長度索引或物件數資訊、CVP數資訊、後設資料集數資訊、CVP資訊、座標模式資訊的構成資訊。此時，控制部26係適宜進行和上述的式(1)相同之計算而算出CVP朝向資訊，並生成含有CVP索引、後設資料集索引、CVP位置資訊、及CVP朝向資訊的CVP資訊。

又，在控制部26中，藉由步驟S20之處理，如參照圖10所說明，針對每一變化點，而將含有每一物件之音框索引、和關於各物件之物件位置資訊、及增益的物件後設資料集，予以複數生成。

藉此，針對1個自由視點內容，就會生成由各物件的音訊資料、構成資訊、及彼此互異之複數個物件後設資料集所成的內容資料。控制部26，係將已生成之內容資料，適宜地供給至記錄部23而加以記錄，並且供給至通訊部24。

通訊部24，係將從控制部26所被供給之內容資料予以輸出。亦即，通訊部24，係在任意的時序上，透過網路而將內容資料發送至伺服器。此外，內容資料係亦可被供給至記錄媒體等，透過記錄媒體而被提供給伺服器。

一旦內容資料被輸出，內容製作處理就結束。

如以上所述，資訊處理裝置11係隨應於製作者之操作而進行目標位置TP之設定或CVP之設定、物件後設資料集之設定等，生成由音訊資料、構成資訊、及物件後設資料集所成之內容資料。

藉由如此設計，於再生側就可基於已被製作者所指定之物件配置來進行自由視點內容之再生。因此，可實現基於內容製作者之意圖的，具有音樂性的內容再生。

〈伺服器之構成例〉 接著說明，從資訊處理裝置11接受自由視點內容的內容資料之供給，將該內容資料傳遞至客戶端的伺服器。

如此的伺服器，係被構成為例如圖15所示。

圖15所示的伺服器51，係由例如電腦等之資訊處理裝置所成。伺服器51係具有：通訊部61、控制部62、及記錄部63。

通訊部61，係依照控制部62之控制，而與資訊處理裝置11或客戶端進行通訊。例如，通訊部61係將從資訊處理裝置11發送過來的自由視點內容之內容資料予以接收並供給至控制部62，或將從控制部62所被供給之編碼位元串流發送至客戶端等等。

控制部62，係控制伺服器51全體的動作。例如控制部62係具有編碼部71，編碼部71係將自由視點內容之內容資料進行編碼，以生成編碼位元串流。

記錄部63，係將例如從控制部62所被供給之自由視點內容之內容資料等各種資料加以記錄，因應需要而將所記錄的資料，供給至控制部62。此外，以下假設，從資訊處理裝置11所接收到的自由視點內容之內容資料，會被記錄在記錄部63中。

〈傳遞處理之說明〉 伺服器51，係一旦從透過網路而被連接的客戶端，有自由視點內容的傳遞之要求，就隨應於該要求而進行將自由視點內容予以傳遞的傳遞處理。以下，參照圖16的流程圖，說明伺服器51所致之傳遞處理。

於步驟S51中，控制部62係生成編碼位元串流。

亦即，控制部62，係從記錄部63讀出自由視點內容的內容資料。然後控制部62的編碼部71，係將已讀出之構成內容資料的各物件的音訊資料、構成資訊、及複數個物件後設資料集進行編碼，以生成編碼位元串流。控制部62，係將所得到的編碼位元串流供給至通訊部61。

此情況下，例如編碼部71，係依照MPEG (Moving Picture Experts Group)-I或MPEG-H中所被使用的編碼方式，來進行音訊資料或構成資訊、物件後設資料集之編碼。藉此，可削減資料的傳輸。又，物件的音訊資料，係在全部的CVP間為共通，因此不會依循CVP之個數，對於1個物件只要儲存1個音訊資料即可。

於步驟S52中，通訊部61係將從控制部62所被供給之編碼位元串流，發送至客戶端，傳遞處理係結束。

此外，此處雖然說明已被編碼的音訊資料、構成資訊、及物件後設資料集是被多工化而生成1個編碼位元串流的例子，但構成資訊或物件後設資料集，係亦可在與音訊資料不同的時序上被發送至客戶端。例如，亦可先把構成資訊或物件後設資料集發送至客戶端後，然後只把音訊資料發送至客戶端。

如以上所述，伺服器51係生成含有音訊資料、構成資訊、及物件後設資料集的編碼位元串流，並往客戶端進行送訊。藉由如此設計，在客戶端上，可實現基於內容製作者之意圖的，具有音樂性的內容再生。

〈客戶端之構成例〉 然後，從伺服器51接收編碼位元串流而將自由視點內容之再生所需之再生音訊資料予以生成的客戶端，係例如如圖17所示般地被構成。

圖17所示的客戶端101，係由例如個人電腦或智慧型手機等之資訊處理裝置所成。客戶端101係具有：受聽者位置資訊取得部111、通訊部112、解碼部113、位置算出部114、及演繹處理部115。

受聽者位置資訊取得部111，係將從身為受聽者的使用者所輸入的，表示自由視點空間內的受聽者之絕對位置，亦即受聽位置的受聽者位置資訊，加以取得，並供給至位置算出部114。

例如受聽者位置資訊係為，表示自由視點空間亦即共通絕對座標系中的受聽位置的絕對座標等。

此外，受聽者位置資訊取得部111，係亦可也將表示自由視點空間(共通絕對座標系)中的受聽者的臉部之朝向(方向)的受聽者朝向資訊加以取得，供給至位置算出部114。

通訊部112，係將從伺服器51所被發送過來的編碼位元串流予以接收並供給至解碼部113。亦即，通訊部112係成為，將編碼位元串流中所含之，已被編碼之各物件的音訊資料、構成資訊、及物件後設資料集加以取得的取得部而發揮機能。

解碼部113，係對從通訊部112所被供給之編碼位元串流，亦即已被編碼之各物件的音訊資料、構成資訊、及物件後設資料集，進行解碼。解碼部113，係將編碼所得的各物件的音訊資料供給至演繹處理部115，將編碼所得的構成資訊及物件後設資料集供給至位置算出部114。

位置算出部114，係基於從受聽者位置資訊取得部111所被供給之受聽者位置資訊、和從解碼部113所被供給之構成資訊及物件後設資料集，而將表示從受聽者(受聽位置)所看到的各物件之位置的受聽者基準物件位置資訊，予以算出。

藉由受聽者基準物件位置資訊而被表示的物件之位置係為，藉由以受聽位置為原點(基準)的極座標系之座標(極座標)而被表現的，表示從受聽者(受聽位置)所看到的物件之相對位置的資訊。

例如受聽者基準物件位置資訊，係根據全部之CVP或一部之CVP的CVP位置資訊、及物件位置資訊、與受聽者位置資訊，藉由補插處理而被算出。補插處理，係可為向量合成等，無論哪種處理皆可。此外，受聽者基準物件位置資訊的算出時，亦可使用CVP朝向資訊與受聽者朝向資訊。

又，位置算出部114，係基於從解碼部113所被供給之物件後設資料集中所含之每一物件的增益，藉由補插處理，而將位於受聽者位置資訊所表示之受聽位置上的各物件之受聽者基準增益，予以算出。受聽者基準增益，係為從受聽位置觀看時的物件之增益。

位置算出部114，係將受聽位置上的各物件之受聽者基準增益與受聽者基準物件位置資訊，供給至演繹處理部115。

演繹處理部115，係基於從解碼部113所被供給之各物件的音訊資料、和從位置算出部114所被供給之受聽者基準增益及受聽者基準物件位置資訊，而進行演繹處理，生成再生音訊資料。

在演繹處理部115中，係進行例如VBAP (Vector Based Amplitude Panning)等，MPEG-H中所被規定的極座標系中的演繹處理，以生成再生音訊資料。該再生音訊資料係為，用來再生包含所有物件之聲音的自由視點內容之聲音所需之音訊資料。

〈再生音訊資料生成處理之說明〉 接著，說明客戶端101的動作。亦即，以下，參照圖18的流程圖，說明客戶端裝置101所致之再生音訊資料生成處理。

於步驟S81中，通訊部112係將從伺服器51所被發送過來的編碼位元串流予以接收並供給至解碼部113。

於步驟S82中，解碼部113係進行從通訊部112所被供給之編碼位元串流之解碼。

解碼部113，係將編碼所得的各物件的音訊資料供給至演繹處理部115，將編碼所得的構成資訊及物件後設資料集供給至位置算出部114。

此外，構成資訊及物件後設資料集亦可在與音訊資料不同的時序上被收訊。

於步驟S83中，受聽者位置資訊取得部111，係將現在時刻上的受聽者位置資訊加以取得，並供給至位置算出部114。此外，受聽者位置資訊取得部111，係亦可也將受聽者朝向資訊加以取得並供給至位置算出部114。

於步驟S84中，位置算出部114，係基於從受聽者位置資訊取得部111所被供給之受聽者位置資訊、和從解碼部113所被供給之構成資訊及物件後設資料集，來進行補插處理。

具體而言，例如位置算出部114，係進行向量合成來作為補插處理，藉此以算出受聽者基準物件位置資訊，並且還藉由補插處理而算出受聽者基準增益，將這些受聽者基準物件位置資訊與受聽者基準增益，供給至演繹處理部115。

此外，在補插處理進行時，會有現在時刻(樣本)係為變化點間的時刻，物件後設資料中並未儲存有現在時刻之物件位置資訊或增益的情況。如此的情況下，位置算出部114，係根據現在時刻的前一個或後一個等，接近於現在時刻的複數個變化點上的物件位置資訊或增益，來進行補插處理，藉此以算出現在時刻上的CVP上的物件位置資訊及增益。

於步驟S85中，演繹處理部115係基於從解碼部113所被供給之各物件的音訊資料、和從位置算出部114所被供給之受聽者基準增益及受聽者基準物件位置資訊，而進行演繹處理。

例如演繹處理部115，係基於各物件的受聽者基準增益，而對這些各物件的音訊資料，進行增益補正。

然後，演繹處理部115，係基於增益補正後的各物件的音訊資料、和受聽者基準物件位置資訊，來進行VBAP等之演繹處理，生成再生音訊資料。

演繹處理部115，係將已生成之再生音訊資料，往揚聲器等之後段的區塊進行輸出。

藉由如此設計，以自由視點空間內的任意之位置為受聽位置，亦即在多視點上的自由視點內容(6DoF內容)之再生，就成為可能。

於步驟S86中，客戶端101係判定是否結束處理。例如在步驟S86中，針對自由視點內容的全部音框都已經接收到編碼位元串流，並生成了再生音訊資料的情況下，則判定為結束處理。

於步驟S86中，在判定為不結束處理的情況下，則處理係回到步驟S81，重複進行上述處理。

相對於此，於步驟S86中判定為要結束處理的情況下，則客戶端101係令各部之動作結束，再生音訊資料生成處理就結束。

如以上所述，客戶端101係基於受聽者位置資訊、構成資訊、及物件後設資料集來進行補插處理，將受聽位置上的受聽者基準增益及受聽者基準物件位置資訊，予以算出。

藉此，就不是隨著受聽者與物件的單純之實體性關係，而是可隨應於受聽位置，實現基於內容製作者之意圖的具有音樂性的內容再生，並可將內容的有趣性，充分地傳達給受聽者。

〈關於補插處理〉 此處，說明圖18的步驟S84中所被進行的補插處理之具體的例子。此處係特別說明，極座標向量合成被進行的情況。

例如如圖19所示，假設自由視點空間(共通絕對座標系)中的受聽者位置資訊所表示的任意之視點位置，亦即現在時刻的受聽者之位置，係為受聽位置LP11。此外，圖19係圖示了，從上方俯瞰自由視點空間的樣子。

例如若將所定之物件視為注目物件，則為了將受聽位置LP11上的再生音訊資料藉由演繹處理來加以生成，則需要將以受聽位置LP11為原點之極座標系中的注目物件之位置PosF加以表示的受聽者基準物件位置資訊。

於是，位置算出部114，係將例如位於受聽位置LP11之周圍的複數個CVP，選擇作為補插處理中所使用的CVP。在此例中CVP0乃至CVP2之3個CVP，是被選擇作為補插處理中所使用的CVP。

例如位於圍繞受聽位置LP11之位置上的，從受聽位置LP11起算之距離為最短的3以上之所定個數之CVP被選擇等，CVP的選擇係亦可任意地進行。又，亦可使用全部的CVP來進行補插處理。此時，位置算出部114，係藉由參照構成資訊中所含之CVP位置資訊，就可特定出共通絕對座標系中的各CVP之位置。

一旦作為補插處理中所使用的CVP而選擇了CVP0乃至CVP2，位置算出部114就會求出例如圖20所示的物件3維位置向量。

在圖20中，圖中左側係圖示了CVP0之極座標空間中的注目物件之位置。在此例中，位置Pos0係成為從CVP0觀看時的注目物件之配置位置，位置算出部114係將以CVP0的CVP極座標系之原點O’為起點、以位置Pos0為終點的向量V11，當作關於CVP0的物件3維位置向量而予以算出。

又，圖中中央係圖示了CVP1之極座標空間中的注目物件之位置。在此例中，位置Pos1係成為從CVP1觀看時的注目物件之配置位置，位置算出部114係將以CVP1的CVP極座標系之原點O’為起點、以位置Pos1為終點的向量V12，當作關於CVP1的物件3維位置向量而予以算出。

同樣地，圖中右側係圖示了CVP2之極座標空間中的注目物件之位置。在此例中，位置Pos2係成為從CVP2觀看時的注目物件之配置位置，位置算出部114係將以CVP2的CVP極座標系之原點O’為起點、以位置Pos2為終點的向量V13，當作關於CVP2的物件3維位置向量而予以算出。

此處，說明物件3維位置向量之具體的算出方法。

例如以CVPi的CVP極座標系之原點O’為原點，將該CVPi的CVP極座標系之x軸、y軸、及z軸直接當作x軸、y軸、及z軸的絕對座標系(正交座標系)，將其稱作CVP絕對座標系(CVP絕對座標空間)。

物件3維位置向量，係為藉由CVP絕對座標系之座標而被表現的向量。

例如假設將CVPi之CVP極座標系中的注目物件之位置Posi予以表示的極座標，係為 (Azi[i],Ele[i],rad[i])。這些Azi[i]、Ele[i]、及rad[i]，係對應於參照圖10所說明的PosA[i][j][k]、PosB[i][j][k]、及PosC[i][j][k]。又，假設將從CVPi觀看時的注目物件之增益，記作g[i]。該增益g[i]，係對應於參照圖10所說明的Gain[i][j][k]。

再者，假設將CVPi之CVP絕對座標系中的注目物件之位置Posi予以表示的絕對座標，係為 (vx[i],vy[i],vz[i])。

此情況下，關於CVPi的物件3維位置向量，係為(vx[i],vy[i],vz[i])，該物件3維位置向量，係可藉由下式(2)而獲得。

位置算出部114，係從構成資訊中所含之CVPi的CVP資訊，讀出表示該CVPi所參照之物件後設資料集的後設資料集索引。又，位置算出部114，係從將已讀出之後設資料集索引所表示之物件後設資料集予以構成的注目物件之物件後設資料，讀出CVPi上的注目物件的物件位置資訊及增益。

然後，位置算出部114，係基於CVPi上的注目物件之物件位置資訊來計算式(2)，獲得物件3維位置向量(vx[i],vy[i],vz[i])。如此的式(2)之計算，係為從極座標往絕對座標之轉換。

位置算出部114，係一旦藉由式(2)而求出圖20所示的物件3維位置向量也就是向量V11乃至向量V13，就例如圖21所示般地，求出這些向量V11乃至向量V13的向量和。此外，圖21中，和圖20對應的部份，係標示同一符號，並適宜地省略其說明。

在此例中，向量V11乃至向量V13的向量和係被求出，作為其結果是得到向量V21。亦即藉由基於向量V11乃至向量V13的向量合成，而求出向量V21。

更詳言之，表示位置PosF的向量V21之算出時的各CVP(物件3維位置向量)之貢獻率是被當作權重，基於這些權重而將向量V11乃至向量V13進行合成，藉此而求出向量V21。此外，在圖21中為了簡化說明，各CVP的貢獻率是被設成1。

該向量V21係為，表示從受聽位置LP11觀看時的絕對座標系中的注目物件之位置PosF的向量。該絕對座標系係為，以受聽位置LP11為原點，從受聽位置LP11往目標位置TP之方向為y軸之正的方向的座標系。

例如若將表示以受聽位置LP11為原點的絕對座標系中的位置PosF的絕對座標令作(vxF,vyF,vzF)，則向量V21係為(vxF,vyF,vzF)。

又，若將從受聽位置LP11觀看時的注目物件之增益令作gF，將CVP0乃至CVP2之貢獻率令作dep[0]乃至dep[2]，則向量(vxF,vyF,vzF)，亦即向量V21及增益gF，係可藉由下式(3)而獲得。

藉由將如此所得的向量V21，轉換至表示以受聽位置LP11為原點的極座標系中的注目物件之位置PosF的極座標，就可獲得受聽者基準物件位置資訊。又，藉由式(3)所獲得的增益gF，即為受聽者基準增益。

在本技術中，藉由設定全部CVP間為共通的1個目標位置TP，就可藉由簡單的計算而獲得目的之受聽者基準物件位置資訊及受聽者基準增益。

此處，進一步說明向量合成。

例如如圖22的左側所示，假設自由視點空間上的位置LP21係為受聽位置。又，假設在自由視點空間上設定有CVP1乃至CVP5，這些CVP1乃至CVP5係被使用來求出受聽者基準物件位置資訊。此外，在圖22中，為了簡化說明，而是在2維平面上配置了CVP的例子。

在此例中，以目標位置TP為中心，在該目標位置TP之周圍有CVP1乃至CVP5存在。又，各CVP的CVP極座標系之y軸之正的方向，係為從CVP面向目標位置TP之方向。

然後，從CVP1乃至CVP5之各者觀看時的相同注目物件之位置之各者，係為位置OBP1乃至位置OBP5。亦即，表示位置OBP1乃至位置OBP5的CVP極座標系之極座標，係為CVP1乃至CVP5的物件位置資訊。

此時，假設針對各CVP，以使得CVP極座標系之y軸會變成垂直方向，亦即變成圖中上方向的方式，進行軸旋轉。又，若以使得旋轉後的各CVP的CVP極座標系之原點O’會變成同1個CVP極座標系之原點的方式來重新配置注目物件，則從CVP極座標系之原點所看到的各CVP上的注目物件之位置OBP1乃至位置OBP5之關係，係變成如圖中右側所示。亦即，圖中右側係圖示了，以各CVP為原點並以正中面為Y軸正方向時的物件位置。

在各CVP的CVP極座標系中，由於係有正中面之方向是朝向目標位置TP之方向的此一限制，因此圖中右側所示的位置關係是可容易地求出。

然後，於圖中右側中，CVP之位置，亦即以原點起點，以注目物件之位置OBP1乃至位置OBP5為終點的向量，係令作向量V41乃至向量V45。這些向量V41乃至向量V45，係相當於圖20所示的向量V11乃至向量V13。

因此，如圖23所示，把各向量(CVP)之貢獻率當作權重來使用，將向量V41乃至向量V45進行合成，藉此可獲得表示從受聽位置LP21觀看時的注目物件之位置的向量V51。該向量V51，係相當於圖21所示的向量V21。此外，在圖23中為了簡化說明，各CVP的貢獻率是被設成1。

又，向量合成時的各CVP之貢獻率係亦可為例如，根據自由視點空間(共通絕對座標系)中的從受聽位置到CVP為止的距離之比而求出。

具體而言，例如假設如圖24所示般地，藉由受聽者位置資訊而被表示的受聽位置係為位置F，被使用於補插處理的3個CVP之位置係為位置A乃至位置C。又，假設共通絕對座標系中的位置F的絕對座標為(xf,yf,zf)，位置A、位置B、及位置C於共通絕對座標系中的絕對座標為(xa,ya,za)、(xb,yb,zb)、及(xc,yc,zc)。此外，表示各CVP於共通絕對座標系中之位置的絕對座標，係可藉由構成資訊中所含之CVP位置資訊而獲得。

此時，位置算出部114係求出從位置F到位置A為止的距離AF、與從位置F到位置B為止的距離BF、與從位置F到位置C為止的距離CF之比(距離比)，將該距離比之倒數，當作位於各位置上的CVP的貢獻率之比(依賴比)。

亦即，位置算出部114，係令AF:BF:CF＝a:b:c，將關於位於位置A乃至位置C上的各CVP之受聽位置(受聽者基準物件位置資訊)的依賴度令作dp(AF)、dp(BF)、及dp(CF)，來計算下式(4)。

其中，式(4)中的a、b、及c，係如同下式(5)所示。

然後，位置算出部114係藉由計算下式(6)，將式(4)所示的依賴度dp(AF)、dp(BF)、及dp(CF)進行正規化，將正規化後的依賴度也就是ndp(AF)、ndp(BF)、及ndp(CF)，當作最終的貢獻率而予以求出。此外，式(6)中的a、b、及c也是藉由式(5)而求出。

如此所得的貢獻率ndp(AF)乃至ndp(CF)，係相當於式(3)的貢獻率dep[0]乃至dep[2]，從受聽位置到CVP為止的距離越短，該CVP的貢獻率就會是越接近於1的值。此外，各CVP的貢獻率，係不限於上述的例子，亦可藉由其他任意方法而求出。

位置算出部114，係基於受聽者位置資訊與CVP位置資訊，而求出從受聽位置到CVP為止的距離之比，以算出各CVP的貢獻率。

若將以上所述做個總結，首先，位置算出部114係基於受聽者位置資訊、和構成資訊中所含之CVP位置資訊，來選擇補插處理中所使用的CVP。此外，補插處理中所使用的CVP，係亦可為全CVP之中的位於受聽位置之周圍的一部分之CVP，亦可使用全部的CVP來進行補插處理。

位置算出部114，係針對已選擇之各CVP，基於物件位置資訊而將物件3維位置向量予以算出。

例如關於從第i個CVPi所看到之第j個物件的物件3維位置向量若令作 (Obj_vector_x[i][j],Obj_vector_y[i][j],Obj_vector_z[i][j])，則物件3維位置向量係可藉由計算以下的式(7)而獲得。

此外，此處係假設，藉由從第i個CVPi所看到之第j個之物件之物件位置資訊而被表示的極座標為(Azi[i][j],Ele[i][j],rad[i][j])。

如此的式(7)，係為和上述的式(2)相同的式子。

接著，位置算出部114係基於受聽者位置資訊、和構成資訊中所含之各CVPi的CVP位置資訊，來進行和上述的式(4)乃至式(6)相同的計算，將補插處理時作為權重係數的各CVPi之貢獻率dp(i)，予以求出。貢獻率dp(i)係為，藉由從受聽位置到CVPi為止的距離之比，更詳言之係藉由距離之倒數比，而被決定的權重係數。

然後位置算出部114，係基於藉由式(7)之計算所得的物件3維位置向量、和各CVPi的貢獻率dp(i)、和從CVPi所看到的第j個物件的增益Obj_gain[i][j]，來計算以下的式(8)。藉此，就會獲得關於第j個物件的受聽者基準物件位置資訊(Intp_x(j),Intp_y(j),Intp_z(j))及受聽者基準增益Intp_gain(j)。

在式(8)中係會求出加權向量和。亦即，已被乘算了貢獻率dp(i)的各CVPi之物件3維位置向量之總和是被當作受聽者基準物件位置資訊而求出，已被乘算了貢獻率dp(i)的各CVPi之增益之總和是被當作受聽者基準增益而求出。該式(8)係為和上述的式(3)相同的式子。

此外，藉由式(8)所求出的受聽者基準物件位置資訊係為，以受聽位置為原點，以從受聽位置面向目標位置TP之方向為y軸之正方向，亦即正中面之方向的絕對座標系之絕對座標。

可是，在演繹處理部115中，會進行極座標系中的演繹處理，因此極座標表現之受聽者基準物件位置資訊係為必要。

於是，位置算出部114，係將藉由式(8)所得的絕對座標表現之受聽者基準物件位置資訊 (Intp_x(j),Intp_y(j),Intp_z(j))，藉由計算下式(9)而轉換成極座標表現之受聽者基準物件位置資訊 (Intp_azi(j),Intp_ele(j),Intp_rad(j))。

位置算出部114，係將如此所得的受聽者基準物件位置資訊(Intp_azi(j),Intp_ele(j),Intp_rad(j))，當作最終的受聽者基準物件位置資訊而輸出至演繹處理部115。

此外，藉由式(9)所得的極座標表現之受聽者基準物件位置資訊係為，以受聽位置為原點，以從受聽位置面向目標位置TP之方向為y軸之正方向，亦即正中面之方向的極座標系之極座標。

可是，實際位於受聽位置的受聽者，並不一定會正在面朝目標位置TP之方向。於是，以受聽者位置資訊取得部111獲得受聽者朝向資訊的情況下，係亦可對式(9)所得的極座標表現之受聽者基準物件位置資訊，再施以座標系之旋轉處理等，作為最終的受聽者基準物件位置資訊。

此情況下，例如位置算出部114，係以根據在客戶端101側為已知的目標位置TP之位置、和受聽者位置資訊、和受聽者朝向資訊而決定的旋轉角度，來使從受聽位置所看到的物件之位置做旋轉。此時的旋轉角度(補正量)係為，於自由視點空間中，從受聽位置面向目標位置TP之方向、與藉由受聽者朝向資訊而被表示的受聽者的臉部之朝向(方向)，所夾的角度。

此外，共通絕對座標系(自由視點空間)中的目標位置TP，係可於位置算出部114中，根據關於複數個CVP的CVP位置資訊與CVP朝向資訊而予以算出。

藉由以上的處理，最終可獲得，表示從受聽者所看到的，較為正確的物件之位置的極座標表現之受聽者基準物件位置資訊。

此處，參照圖25及圖26，說明相應於受聽者的臉部之朝向的受聽者基準物件位置資訊的具體算出例。此外，於圖25及圖26中彼此對應之部分係標示同一符號，並適宜地省略其說明。

例如，觀看自由視點空間(共通絕對座標系)之XY平面時，假設目標位置TP、各CVP、及受聽位置LP41係被設成如圖25所示的配置。

此外，在此例中未被塗滿陰影(斜線)的各圓係表示CVP，假設關於各CVP的構成CVP朝向資訊之CVP Pitch資訊所表示的垂直方向之角度係為0度。亦即，假設自由視點空間係實質性為2維平面。又，此處係以目標位置TP為共通絕對座標系的原點O之位置。

然後，將連結目標位置TP與受聽位置LP41的直線令作直線LN31，將表示受聽者朝向資訊所示之受聽者的臉部之朝向的直線令作直線LN32，將通過受聽位置LP41，且與共通絕對座標系之Y軸平行的直線令作直線LN33。

以Y軸正方向為水平方向角度＝0度之情況的表示受聽者的臉部之朝向的水平方向角度，亦即直線LN32與直線LN33所夾的角度，係為θcur_az。又，以Y軸正方向為水平方向角度=0度之情況下的，表示從任意之受聽位置LP41所看到的目標位置TP之方向的水平方向角度，亦即直線LN31與直線LN33所夾的角度，係為θtp_az。

此時，由於是以從任意之受聽位置LP41面向目標位置TP之方向為正中面之方向，因此將直線LN31與直線LN32所夾的角度令作補正量θcor_az，該補正量θcor_az有多少度，就將關於各物件的受聽者基準物件位置資訊的水平方向之角度Intp_azi(j)補正多少度即可。亦即，位置算出部114，係對水平方向之角度Intp_azi(j)加算補正量θcor_az，當作最終的受聽者基準物件位置資訊的水平方向之角度。

補正量θcor_az，係藉由計算以下的式(10)就可獲得。

又，例如將自由視點空間(共通絕對座標系)從與XY平面平行的方向觀看時，假設目標位置TP與受聽位置LP41是被設成如圖26所示般的配置。

此處，將連結目標位置TP與受聽位置LP41的直線令作直線LN41，將表示受聽者朝向資訊所示之受聽者的臉部之朝向的直線令作直線LN42，將通過受聽位置LP41，且與共通絕對座標系之XY平面平行的直線令作直線LN43。

又，假設構成受聽者位置資訊的，表示共通絕對座標系中的受聽位置LP41的Z座標為Rz，表示共通絕對座標系中的目標位置TP的Z座標為TPz。

此時，自由視點空間內的從受聽位置LP41所看到的目標位置TP的垂直方向之角度(仰角)的絕對值，係為直線LN41與直線LN43所夾的角度θtp_el。

又，表示自由視點空間中的受聽者的臉部之朝向的垂直方向之角度(仰角)，係為水平線也就是直線LN43，與表示受聽者的臉部之朝向的直線LN42所夾的角度θcur_el。此情況下，受聽者朝向較水平線還要上方時，則角度θcur_el係為正的值，受聽者朝向較水平線還要下方時，則角度θcur_el係為負的值。

在此例中，將直線LN41與直線LN42所夾的角度當作補正量θcor_el，該補正量θcor_el有多少度，就將關於各物件的受聽者基準物件位置資訊的垂直方向之角度Intp_ele(j)予以補正多少度即可。亦即，位置算出部114，係對垂直方向之角度Intp_ele(j)加算補正量θcor_el，當作最終的受聽者基準物件位置資訊的垂直方向之角度。

補正量θcor_el，係藉由計算以下的式(11)就可獲得。

此外，以上雖然說明使用向量合成作為補插處理的例子，但除此以外，亦可使用位於受聽位置之周圍的CVP，藉由利用塞瓦定理的補插處理，來求出受聽者基準物件位置資訊。

例如在利用了塞瓦定理的補插處理中，藉由圍繞受聽位置的3個CVP而構成三角形，並且在由對應於這3個CVP的物件位置所形成的三角形中使用塞瓦定理來進行映射，以實現補插處理。

此情況下，CVP的三角形之外側的領域中若有受聽位置存在就無法進行補插處理，但在上述的向量合成的手法中，即使受聽位置是位於被CVP所圍繞之領域外的情況下，仍可求出受聽者基準物件位置資訊。又，在向量合成的手法中，可以較少的處理量而簡單地獲得受聽者基準物件位置資訊。

〈第2實施形態〉 〈關於CVP群組〉 順便一提，藉由使用本技術，例如在演唱會會場之建築物等所封閉的空間內，可一面對受聽者重現製作者所意圖之視點的音場，一面讓受聽者的位置做自由移動。再者，若考慮受聽者往演唱會會場之外移動的情況，演唱會會場內外的音場的差異係很大，演唱會會場內的許多聲音在演唱會會場外應該聽不見才是。

可是，在上述的第1實施形態的手法中，即使設定了演唱會會場外的聲音，在演唱會會場外的任意位置上的音場重現時，有時候會因為演唱會會場內的物件位置資訊的組合模態之影響，導致原本不應該混入的演唱會會場內的聲音也會被聽見。

於是，亦可例如設置演唱會會場內、演唱會會場外、及從演唱會會場內往演唱會會場外遷移的領域這3個領域，將各個領域中所使用的CVP加以分別。在如此的情況下，配合受聽者的位置，受聽者現在所存在的領域會被選擇，僅使用該領域中所屬之CVP來求出受聽者基準物件位置資訊。此外，區分的領域的數量係可由創作者側來任意設定，但亦可隨應於各演唱會會場而被設定。

藉此，可一面避免在演唱會會場內、演唱會會場外的兩者間的聲音之混入，一面藉由適切的受聽者基準物件位置資訊及受聽者基準增益而實現自由視點內容的音訊再生。

此外，將自由視點空間予以分割之領域的定義係可想到數種方法，從所定之中心座標起算的同心圓或多角形等被認為是一般的例子。又，亦可設置除此以外的任意數量之任意各種形狀的小領域等。

以下，針對將自由視點空間分成複數個領域而選擇補插處理中所使用之CVP的例子，具體說明。

例如圖27所示般地，自由視點空間是被分成3個群組領域R11乃至群組領域R13。此外，於圖27中，各小圓係表示CVP。

群組領域R11係為圓形狀之領域(空間)，群組領域R12係為圍繞群組領域R11之外側的圓環狀之領域，群組領域R13係為圍繞群組領域R12之外側的圓環狀之領域。

在此例中，群組領域R12係被設成是，在群組領域R11與群組領域R13之間的遷移區間之領域。因此，例如可將演唱會會場內之領域(空間)視為群組領域R11，將演唱會會場外之領域視為群組領域R13，將演唱會會場內與演唱會會場外之間的領域視為群組領域R12。此外，各群組領域係被設定成沒有彼此重疊的部分(領域)。

在此例中，隨應於受聽者之位置，被使用於補插處理的CVP係被群組化。換言之，藉由製作者來指定群組領域之範圍，就可使用群組領域而把CVP予以群組化。

例如被配置在自由視點空間內的CVP，係會隸屬於對應於群組領域R11的CVP群組GP1、對應於群組領域R12的CVP群組GP2、及對應於群組領域R13的CVP群組GP3之至少任1者的方式，而被進行群組化。此情況下，1個CVP係有可能隸屬於複數個不同的CVP群組中。

具體而言，位於群組領域R11內的CVP係隸屬於CVP群組GP1，位於群組領域R12內的CVP係隸屬於CVP群組GP2，位於群組領域R13內的CVP係隸屬於CVP群組GP3，而被群組化。

因此，例如位於群組領域R11內之位置P61上的CVP係隸屬於CVP群組GP1，位於群組領域R11與群組領域R12之交界位置也就是位置P62上的CVP，係隸屬於CVP群組GP1與CVP群組GP2。

又，位於群組領域R12與群組領域R13之交界位置也就是位置P63上的CVP，係隸屬於CVP群組GP2與CVP群組GP3，位於群組領域R13內之位置P64上的CVP係隸屬於CVP群組GP3。

若將如此的群組化適用於圖11所示的設成自由視點空間的演唱會會場，則會變成例如如圖28所示。

在此例中，例如圖中的黑色圓點所代表的CVP1乃至CVP7係被對應於演唱會會場內的群組領域(群組空間)所包含，圖中的白色圓點所代表的CVP係被對應於演唱會會場外的群組領域所包含。

此外，例如於構成資訊中，特定之演唱會會場內的CVP與演唱會會場外的CVP之間，亦可拉上連結(建立關連)。如此的情況下，例如受聽者位於這2個CVP間時，則藉由使用這2個CVP來進行向量合成，就可求出受聽者基準物件位置資訊。又，此情況下，所定之設成靜音的物件之增益係亦可被設成0。

參照圖29及圖30，更具體說明圖28的例子。此外，於圖29及圖30中彼此對應之部分係標示同一符號，並適宜地省略其說明。

例如如圖29所示，自由視點空間中的以共通絕對座標系之原點O為中心的圓形狀之領域係設成演唱會會場內之領域。

此處尤其是，以虛線描繪的圓形狀之領域R31係成為演唱會會場內之領域，領域R31外之領域係成為演唱會會場外之領域。

又，在演唱會會場內係被配置有CVP1乃至CVP15，在演唱會會場外係被配置有CVP16乃至CVP23。

此時，例如以原點O為中心的半徑 Area1_border的圓內部之領域是被設成1個群組領域R41，該群組領域R41內所包含的CVP1乃至CVP15所成之CVP的群組，係被設成對應於群組領域R41的CVP群組GPI。群組領域R41，係為演唱會會場內之領域。

又，如圖中右側所示般地以原點O為中心的半徑Area1_border的圓之交界起，到以原點O為中心的半徑Area2_border的圓之交界為止之間的領域，是被設成群組領域R42。該群組領域R42，係為演唱會會場內與演唱會會場外之間的遷移領域。

由群組領域R42內所包含的CVP8乃至CVP23所成之CVP之群組，是被設成對應於群組領域R42的CVP群組GPM。

尤其是在此例中，CVP8乃至CVP15係正位於群組領域R41與群組領域R42之交界，因此這些CVP8乃至CVP15係既隸屬於CVP群組GPI也隸屬於CVP群組GPM。

再者，如圖30所示般地，包含有以原點O為中心的半徑Area2_border的圓之交界的，該圓的外側之領域，係被設成群組領域R43。群組領域R43，係為演唱會會場外之領域。

由群組領域R43內所包含的CVP16乃至 CVP23所成之CVP之群組，是被設成對應於群組領域R43的CVP群組GPO。尤其是在此例中，CVP16乃至CVP23係正位於群組領域R42與群組領域R43之交界，因此這些CVP16乃至CVP23係既隸屬於CVP群組GPM也隸屬於CVP群組GPO。

如以上所述般地設定了群組領域與CVP群組的情況下，位置算出部114係如以下般地進行補插處理，求出受聽者基準物件位置資訊或受聽者基準增益。

亦即，例如如圖29的左側所示，在受聽位置是位於群組領域R41內時，則位置算出部114係利用CVP群組GPI中所屬之CVP1乃至CVP15之一部或全部來進行補插處理。

又，例如如圖29的右側所示，在受聽位置是位於群組領域R42內時，則位置算出部114係利用CVP群組GPM中所屬之CVP8乃至CVP23之一部或全部來進行補插處理。

再者，例如如圖30所示，在受聽位置是位於群組領域R43內時，則位置算出部114係利用CVP群組GPO中所屬之CVP16乃至CVP23之一部或全部來進行補插處理。

此外，以上雖然針對群組領域是被決定成同心圓狀的例子來做說明，但亦可例如如圖31所示，設定中心位置為彼此互異，且帶有彼此重疊之遷移領域的圓形狀之領域R71與領域R72。

在此例中，在領域R71內包含有CVP1乃至CVP7，在領域R72內包含有CVP5、CVP6、及CVP8乃至CVP12。又，在領域R71與領域R72所重疊的領域也就是遷移領域內，係包含有CVP5及CVP6。

此處，假設將領域R71內的遷移領域除外之領域、領域R72內之遷移領域除外之領域、及遷移領域，設成群組領域。

如此的情況下，例如當受聽位置是位於領域R71中的遷移領域除外之領域內時，則會使用CVP1乃至CVP7之一部或全部來進行補插處理。

又，例如當受聽位置是位於遷移領域內時，則使用CVP5及CVP6來進行補插處理。再者當受聽位置是位於領域R72中的遷移領域除外之領域內時，則使用CVP5、CVP6、及CVP8乃至CVP12之一部或全部來進行補插處理。

如以上所述，在可讓製作者來指定群組領域，亦即CVP群組的情況下，構成資訊的格式係變成例如如圖32所示。

在圖32所示的例子中，基本上係為與圖7中的情況相同的格式，在構成資訊中係含有：音框長度索引「FrameLengthIndex」、物件數資訊「NumOfObjects」、CVP數資訊「NumOfControlViewpoints」、後設資料集數資訊「NumOfObjectMetaSets」、CVP資訊 「ControlViewpointInfo(i)」、及座標模式資訊 「CoordinateMode[i][j]」。

然後在圖32所示的構成資訊中係還含有CVP群組資訊存在旗標「cvp_group_present」。

該CVP群組資訊存在旗標 「cvp_group_present」係為，表示關於CVP群組的資訊也就是CVP群組資訊「CvpGroupInfo2D()」是否有被包含在構成資訊中的旗標資訊。

例如CVP群組資訊存在旗標之值為「1」的情況下，構成資訊中係被儲存有CVP群組資訊「CvpGroupInfo2D()」，CVP群組資訊存在旗標之值為「0」的情況下，構成資訊中則未儲存有CVP群組資訊「CvpGroupInfo2D()」。

又，構成資訊中所含之CVP群組資訊 「CvpGroupInfo2D()」之格式，係為例如如圖33所示。此外，此處為了簡化說明，是以自由視點空間為2維之領域(空間)的情況為例來做說明，但當然也可將圖33所示的CVP群組資訊，擴充成自由視點空間是3維之領域(空間)的情況。

在此例中，「numOfCVPGroup」係表示CVP群組的數量，亦即CVP群組數，在CVP群組資訊中，CVP群組的數量有多少，則以下所說明的關於CVP群組的資訊就會被儲存有多少個。

「vertex_idx」係表示頂點數索引。頂點數索引係為，表示CVP群組所對應之群組領域所擁有之頂點之數量的索引資訊。

例如頂點數索引之值為0乃至5的情況下，群組領域係被設成，對頂點數索引之值加算3而成之頂點數的多角形之領域。又，例如頂點數索引之值為255的情況下，則群組領域係被設成圓形狀之領域。

頂點數索引之值為255的情況，亦即群組領域之形狀類型為圓的情況下，在CVP群組資訊中，作為用來特定圓形狀的群組領域(群組領域之交界)所需之資訊，係被儲存有正規化X座標「center_x[i]」、正規化Y座標「center_y[i]」、及正規化半徑「radius[i]」。

例如正規化X座標「center_x[i]」及正規化Y座標「center_y[i]」係為表示共通絕對座標系(自由視點空間)中的群組領域也就是圓的中心之X座標及Y座標的資訊，正規化半徑「radius[i]」係為群組領域也就是圓的半徑。藉此，於自由視點空間中，可以特定出哪個領域就是群組領域。

又，頂點數索引之值為0乃至5之任一者的情況，亦即群組領域為多角形之領域的情況下，則CVP群組資訊中，係針對群組領域之各頂點而被儲存有正規化X座標「border_pos_x[j]」及正規化Y座標「border_pos_y[j]」。

例如正規化X座標「border_pos_x[j]」及正規化Y座標「border_pos_y[j]」係為，表示共通絕對座標系(自由視點空間)中的群組領域也就是多角形之領域的第j個頂點之X座標及Y座標的資訊。

從這些各頂點的正規化X座標及正規化Y座標，就可特定出自由視點空間中的作為群組領域的多角形之領域。

又，CVP群組資訊中係被儲存有，表示CVP群組中所屬之CVP之數量的群組內CVP數資訊 「numOfCVP_ingroup[i]」，再者，藉由群組內CVP數資訊而被表示的數量有多少，群組內CVP索引 「CvpIndex_ingroup[i][j]」就被儲存有多少個。群組內CVP索引「CvpIndex_ingroup[i][j]」，係為用來識別第i個CVP群組中所屬之第j個CVP的索引資訊。

例如，表示所定之CVP的群組內CVP索引之值係可設成，CVP資訊中所包含的，與表示該所定之CVP的CVP索引之值相同的值。

如以上所述，CVP群組資訊中係包含有：CVP群組數、表示群組領域之形狀類型的頂點數索引、用來特定群組領域所需之資訊、群組內CVP數資訊、及群組內CVP索引。尤其是，用來特定群組領域所需之資訊係可說成是，用來特定群組領域之交界所需之資訊。

此外，在圖32所示的格式的構成資訊被生成的情況下也是，在資訊處理裝置11中基本上係進行參照圖14所說明的內容製作處理。

其中，此情況下，例如步驟S11或步驟S16等，在任意之時序上藉由製作者而進行了用來指定群組領域或CVP群組中所屬之CVP的操作。

如此一來，控制部26係隨應於製作者的操作，而將群組領域或CVP群組中所屬之CVP加以決定(設定)。然後，在步驟S23中，控制部26係基於群組領域或CVP群組中所屬之CVP的設定結果，而適宜地包含有圖33所示的CVP群組資訊，生成圖32所示的構成資訊。

〈再生音訊資料生成處理之說明〉 又，構成資訊是被設成圖32所示之格式的情況下，在客戶端101中係會進行例如圖34所示的再生音訊資料生成處理。

以下，參照圖34的流程圖，說明客戶端裝置101所致之再生音訊資料生成處理。

此外，步驟S121乃至步驟S123之處理，係和圖18的步驟S81乃至步驟S83之處理相同，因此省略其說明。

於步驟S124中，位置算出部114係基於受聽者位置資訊和構成資訊，而將受聽位置所被包含的群組領域所對應之CVP群組，加以特定。

例如位置算出部114，係基於構成資訊內的CVP群組資訊中所含之，用來特定被設成各群組領域之領域所需之資訊也就是正規化X座標或正規化Y座標，而將包含有受聽位置的群組領域(以下亦稱作對象群組領域)，加以特定。

此外，受聽位置是位於複數個群組領域之交界位置時，則這些複數個群組領域都被視為對象群組領域。

一旦如此特定出對象群組領域，則對應於該對象群組領域的CVP群組就被特定。

於步驟S125中，位置算出部114，係將已被特定之CVP群組中所屬之各CVP當作對象CVP，將與這些對象CVP建立關連的物件後設資料集加以取得。

例如位置算出部114係將對象群組領域所對應之CVP群組之群組內CVP索引，從CVP群組資訊予以讀出，藉此以特定出CVP群組中所屬之CVP，亦即對象CVP。

又，位置算出部114係將關於對象CVP的後設資料集索引，從CVP資訊予以讀出，藉此以特定出與各對象CVP建立關連的物件後設資料集，並將該已被特定之物件後設資料集予以讀出。

一旦步驟S125之處理被進行，則其後，步驟S126至步驟S128之處理會被進行而結束再生音訊資料生成處理，但這些處理係和圖18的步驟S84乃至步驟S86之處理相同，因此省略其說明。

但是，在步驟S126中，藉由步驟S124及步驟S125而被特定之對象CVP之中的一部或全部，係會被使用來進行補插處理。亦即，使用對象CVP的CVP位置資訊或物件位置資訊，算出受聽者基準物件位置資訊或受聽者基準增益。

藉此，例如受聽者位於演唱會會場內的情況、或受聽者位於演唱會會場外的情況等，可獲得能夠隨應於受聽者之位置而將適切的音場予以重現的再生音訊資料。

如以上所述，客戶端101係基於受聽者位置資訊、構成資訊、及物件後設資料集來進行使用了適切之CVP的補插處理，將受聽位置上的受聽者基準增益及受聽者基準物件位置資訊，予以算出。

藉由如此設計，可實現基於內容製作者之意圖的具有音樂性的內容再生，可向受聽者充分傳達內容之趣味性。

〈第3實施形態〉 〈關於物件位置資訊與增益之補插處理〉 順便一提，在自由視點空間內係存在有，內容製作者所預先設定的複數個CVP。以上，作為具體的一例，說明了在用來求出受聽者基準物件位置資訊或受聽者基準增益所需之補插處理中，使用從現在的受聽者的任意位置(受聽位置)起到各個CVP為止的距離之倒數比的例子。

在如此的例子中，例如假設針對從受聽位置到CVP為止的距離較遠的CVP，物件的增益是被設定成較大的值。

此情況下，明明本來就距離較遠，可是關於位於從受聽位置遠離之位置上的CVP的物件之增益所致之，對於受聽者基準增益造成的影響，亦即對於受聽者所聽取之物件之聲音在聽感上的影響，有時候仍無法減少。如此一來，結果對受聽者所被提示的物件之聲音的音像移動係會變得不自然，導致內容的聲音之品質降低。

以下，由於如此的受聽位置與CVP之位置關係而導致發生不自然的音像移動的案例，亦稱之為案例A。

又，內容製作者將特定之CVP上的物件之增益設成0時，就會沒有意識到該物件的物件位置，結果，物件位置有時候就會變成被棄置的狀態。亦即，藉由內容製作者而增益被設成0的物件的物件位置之設定係未被進行而被棄置，結果導致物件位置資訊係被設定成不適切的值。

可是，此種被棄置的物件位置資訊，仍會被使用於用來求出受聽者基準物件位置資訊所需之補插處理。如此一來，由於已被棄置之不適切的物件位置資訊之影響，從受聽者所看到的物件之位置，有時候也會變成非內容製作者之意圖的位置。

以下，藉由受聽者基準物件位置資訊而被表示的，從受聽者所看到的物件之位置，係因為已被棄置之物件位置之影響而變成非內容製作者之意圖之位置的案例，亦稱之為案例B。

若能夠抑制如以上的案例A或案例B之發生，則可實現基於內容製作者之意圖的更高品質的內容再生。

於是，在第3實施形態中，係設計成能夠抑制如此的案例A或案例B之發生。

例如，對於若從現在之受聽位置遠離的CVP上的物件之增益為較大，則會對受聽者基準增益造成影響的案例A，係使用全部CVP並適用了以距離之N次方來將感度進行調整的感度係數。

藉此，在用來求出受聽者基準增益所需之補插處理中，就會對各CVP的依賴度(貢獻率)進行加權。以下，將藉由適用感度係數來抑制案例A之發生的手法，特別稱作手法SLA1。

藉由適切地控制感度係數，就可進一步降低從現在之受聽位置遠離的CVP之影響度，而可抑制案例A的發生。藉此，例如當受聽者在CVP間移動等時候，可抑制發生不自然的增益變動。

此外，感度係數的值，亦即N的值，係被設成Float值等。每一CVP的感度係數之值係亦可作為內容製作者之意圖而在構成資訊中以預設值的方式而被描述、並被傳輸給客戶端101，亦可設計成感度係數的值是在受聽者側被設定。

又，每一CVP的感度係數雖然亦可使用在全部物件間為共通的值，但亦可針對各CVP，根據內容製作者之意圖而按照每一物件來個別地設定感度係數。甚至，亦可針對由1或複數個CVP所成之每一群組，來設定在全部物件間為共通的感度係數或每一物件的感度係數。

另一方面，對於若不慎將增益為0等之棄置狀態的物件的物件位置資訊，納入補插處理中的向量和之要素，則會算出非依照內容製作者之意圖的受聽者基準物件位置資訊的案例B，則是設計成增益會被追加至貢獻因素，或是只使用增益大於0的物件。亦即，藉由以下所示的手法SLB1或手法SLB2，來抑制案例B之發生。

在手法SLB1中，CVP上的增益為所定之閾值以下的物件，係被視作增益為0的物件(以下亦稱作靜音物件)。然後，針對已被視作靜音物件的CVP，該CVP上的物件位置資訊係不會被使用於補插處理。亦即，從被使用於補插處理的CVP之對象中被排除。

在手法SLB2中，藉由內容製作者等而被指定的，物件之增益是否為0，亦即表示是否為靜音物件的Mute旗標(靜音旗標)，係被使用。

具體而言，針對藉由Mute旗標而變成靜音物件的CVP，該CVP上的物件位置資訊係不被使用於補插處理。亦即，預先得知不被使用的物件所對應之CVP，係從被使用於補插處理的CVP之對象中被排除。

若依據如此的手法SLB1或手法SLB2，則藉由把已被棄置之增益被視作0的物件之CVP從處理之對象中予以排除，就可進行只有增益未被視作0的物件之CVP所致之正確的補插處理。

尤其是在手法SLB2中，可以避免在手法SLB1中針對每一音框所進行的，針對全CVP之各物件所進行的，增益是否被視作0之確認的處理，可更加減輕處理負荷。

〈CVP配置模態PTT1〉 接著說明，會發生上述的案例A或案例B的實際之CVP的配置模態之例子。

首先，圖35中圖示了第1種CVP的配置模態(以下亦稱作CVP配置模態PTT1)。在此例中係在各CVP之前方配置物件。

在圖35中，標有數值的圓係表示1個CVP，尤其是在表示CVP的圓內所標記的數值係表示了這是第幾個CVP。以下，被標記了數值k(其中，k＝1,2,…,6)的第k個CVP，係亦特別稱之為CVPk。

在此例中，假設是注目著位於自由視點空間內的1個物件OBJ71。

例如在自由視點空間中所被配置的CVP1乃至CVP6上，針對物件OBJ71，從各CVP觀看時的物件位置資訊與增益係分別已被決定。

現在，關於所定之受聽位置LP71，考慮基於CVP1乃至CVP6上的物件位置資訊與增益而藉由上述的式(7)乃至式(11)來進行補插處理，求出受聽者基準物件位置資訊及受聽者基準增益。

如此的情況下，例如於CVP1乃至CVP6上，物件OBJ71之增益為0以外之相同值時，則上述的案例A及案例B均不會發生。

相對於此，例如CVP1乃至CVP3上的物件OBJ71之增益，是比CVP5及CVP6上的物件OBJ71之增益還大時，則有時會發生案例A。

這是因為，從受聽位置LP71到CVP1乃至CVP3為止的距離係為較長(遠)，因此這些CVP的按分比率係較低，亦即藉由與式(4)乃至式(6)相同之計算所求出的貢獻率dp(i)係為較小，但原本的增益就較大因此對受聽者基準增益會造成很大的影響。

又，例如在CVP6上雖然物件OBJ71是被視作靜音物件，但作為物件位置資訊的水平方向之角度Azimuth係為-180度等，與其他CVP上的角度Azimuth有很大的差異時，案例B就會發生。這是因為，在受聽者基準物件位置資訊的算出時，離受聽位置LP71最近的CVP6上的物件位置資訊之影響變大的緣故。

此處，自由視點空間為實質性2維平面，受聽者或CVP之位置關係係為圖35所示的關係(CVP配置模態PTT1)時的共通絕對座標系中的CVP等之配置例，示於圖36。此外，圖36中，和圖35對應的部份，係標示同一符號，並適宜地省略其說明。

在圖36中，橫軸及縱軸係表示共通絕對座標系中的X軸及Y軸。又，若將共通絕對座標系之位置(座標)以(x,y)來表示，則例如受聽位置LP71係藉由(0,-0.8)而被表示。

對於如此的共通絕對座標系中的配置，案例A或案例B發生時的各CVP上的物件OBJ71的物件位置與增益、及物件OBJ71的受聽者基準物件位置資訊與受聽者基準增益之例子，示於圖37。此外，在圖37的例子中，藉由與上述的式(4)乃至式(6)相同之計算而求出貢獻率dp(i)。

在圖37中，文字「CaseA」的欄中係表示，案例A發生時的物件OBJ71的物件位置與增益之例子。

尤其是，「azi(0)」係表示物件OBJ71的作為物件位置資訊的角度Azimuth，「Gain(0)」係表示物件OBJ71的增益。

在此例中，CVP1乃至CVP3上的增益 (Gain(0))係為「1」，CVP5及CVP6上的增益(Gain(0))係為「0.2」。亦即，距離受聽位置LP71較遠的CVP1乃至CVP3上的增益，係大於距離受聽位置LP71較近的CVP5及CVP6上的增益。因此，於受聽位置LP71上的受聽者基準增益(Gain(0))係為「0.37501」。

在此例中，受聽位置LP71係位於增益為0.2的CVP5與CVP6之間。因此，受聽者基準增益，係為接近於這些CVP5與CVP6上的增益「0.2」的值為理想，但是實際上會受到增益較大的CVP1乃至CVP3之影響，而變成「0.37501」此一大於「0.2」的值。

又，文字「CaseB」的欄中係表示，案例B發生時的物件OBJ71的物件位置與增益之例子。

尤其是，「azi(1)」係表示物件OBJ71的作為物件位置資訊的角度Azimuth，「Gain(1)」係表示物件OBJ71的增益。

在此例中，CVP1乃至CVP5上的增益 (Gain(1))及角度Azimuth(azi(1))，係分別為「1」及「0」。亦即，在CVP1乃至CVP5上，物件OBJ71並未變成靜音物件。

相對於此，CVP6上的增益(Gain(1))及角度Azimuth(azi(1))，係分別為「0」及「120」。亦即，在CVP6上，物件OBJ71係為靜音物件。

又，受聽位置LP71上的作為受聽者基準物件位置資訊的角度Azimuth(azi(1))，係變成「67.87193」。

在此例中，由於在CVP6上增益(Gain(1))係為「0」，因此該CVP6上的角度Azimuth(azi(1))「120」雖然希望被忽視，但實際上CVP6上的角度Azimuth仍會被使用於受聽者基準物件位置資訊之算出。因此，受聽位置LP71上的角度Azimuth(azi(1))，係會變成遠大於「0」的「67.87193」。

〈CVP配置模態PTT2〉 接著，第2種CVP的配置模態(以下亦稱作CVP配置模態PTT2)，示於圖38。在此例中是以圍繞物件的方式來配置各CVP。

於圖38中，也是和圖35的情況同樣地，被標記了數值的圓係表示1個CVP，被標記了數值k(其中，k＝1,2,…,8)的第k個CVP係亦特別稱之為CVPk。

在此例中，注目於1個物件OBJ81，針對受聽位置LP81，考慮基於CVP1乃至CVP8上的物件位置資訊與增益並藉由上述的式(7)乃至式(11)來進行補插處理。

如此的情況下，例如於CVP1乃至CVP8上，物件OBJ81之增益為0以外之相同值時，則上述的案例A及案例B均不會發生。

相對於此，例如CVP1、CVP2、CVP6、CVP8上的物件OBJ81之增益，是比CVP3及CVP4上的物件OBJ81之增益還大時，則有時會發生案例A。

這是因為，從受聽位置LP81到CVP1、CVP2、CVP6、CVP8為止的距離係為較長(遠)，因此這些CVP的按分比率係較低，但原本的增益就較大因此對受聽者基準增益會造成很大的影響。

又，例如在CVP3上雖然物件OBJ81是被視作靜音物件，但作為物件位置資訊的水平方向之角度Azimuth係為-180度等，與其他CVP上的角度Azimuth有很大的差異時，案例B就會發生。這是因為，在受聽者基準物件位置資訊的算出時，離受聽位置LP81最近的CVP3上的物件位置資訊之影響變大的緣故。

此處，自由視點空間為實質性2維平面，受聽者或CVP之位置關係係為圖38所示的關係(CVP配置模態PTT2)時的共通絕對座標系中的CVP等之配置例，示於圖39。此外，圖39中，和圖38對應的部份，係標示同一符號，並適宜地省略其說明。

在圖39中，橫軸及縱軸係表示共通絕對座標系中的X軸及Y軸。又，若將共通絕對座標系之位置(座標)以(x,y)來表示，則例如受聽位置LP81係藉由(-0.1768, 0.176777)而被表示。

對於如此的共通絕對座標系中的配置，案例A或案例B發生時的各CVP上的物件OBJ81的物件位置與增益、及物件OBJ81的受聽者基準物件位置資訊與受聽者基準增益之例子，示於圖40。此外，在圖40的例子中，藉由與上述的式(4)乃至式(6)相同之計算而求出貢獻率dp(i)。

在圖40中，文字「CaseA」的欄中係表示，案例A發生時的物件OBJ81的物件位置與增益之例子。

尤其是，「azi(0)」係表示物件OBJ81的作為物件位置資訊的角度Azimuth，「Gain(0)」係表示物件OBJ81的增益。

在此例中，CVP1、CVP2、CVP6、CVP8上的增益(Gain(0))係為「1」，CVP3及CVP4上的增益(Gain(0))係為「0.2」。因此，於受聽位置LP81上的受聽者基準增益(Gain(0))係為「0.501194」。

在此例中，受聽位置LP81係位於增益為0.2的CVP3與CVP4之間。因此，受聽者基準增益，係為接近於這些CVP3與CVP4上的增益「0.2」的值為理想，但是實際上會受到增益較大的CVP1或CVP2之影響，而變成「0.501194」此一大於「0.2」的值。

又，文字「CaseB」的欄中係表示，案例B發生時的物件OBJ81的物件位置與增益之例子。

尤其是，「azi(1)」係表示物件OBJ81的作為物件位置資訊的角度Azimuth，「Gain(1)」係表示物件OBJ81的增益。

在此例中，CVP3以外的CVP上的增益 (Gain(1))及角度Azimuth(azi(1))，係分別為「1」及「0」。亦即，在CVP3以外的CVP上，物件OBJ81並未變成靜音物件。

相對於此，CVP3上的增益(Gain(1))及角度Azimuth(azi(1))，係分別為「0」及「120」。亦即，在CVP3上，物件OBJ81係為靜音物件。

又，受聽位置LP81上的作為受聽者基準物件位置資訊的角度Azimuth(azi(1))，係變成「20.05743」。

在此例中，由於在CVP3上增益(Gain(1))係為「0」，因此該CVP3上的角度Azimuth(azi(1))「120」雖然希望被忽視，但實際上CVP3上的角度Azimuth仍會被使用於受聽者基準物件位置資訊之算出。因此，受聽位置LP81上的角度Azimuth(azi(1))，係會變成遠大於「0」的「20.05743」。

在本實施形態中，是藉由手法SLA1或手法SLB1、手法SLB2，來抑制如以上的案例A或案例B之發生。

在手法SLA1中，令感度係數為N，基於從受聽位置到CVP為止的距離的N次方之倒數，而求出貢獻率dp(i)。此時，例如內容製作者亦可將任意的正的實數指定作為感度係數，並在構成資訊中儲存感度係數，在許可藉由受聽者等進行感度係數之變更的情況下，亦可在客戶端101側進行感度係數之設定。

又，在手法SLB1中，係於各音框中按照每一物件而判定CVP上的物件之增益是否為0，或是否為可視為0之值。然後，物件之增益為0、或可視為0之值的CVP，係不會被使用於補插處理。亦即，CVP係從補插處理中的向量和之演算對象中被排除。

在手法SLB2中，係在構成資訊中針對各CVP，按照每一物件而儲存有用來傳訊是否為靜音物件的Mute旗標。然後，Mute旗標為1的物件，亦即已經成為靜音物件的CVP，係從補插處理中的向量和之演算對象中被排除。

在這些手法SLB1或手法SLB2中，係例如如圖41所示般地選擇被使用於補插處理的CVP。

亦即，例如在未適用手法SLB1或手法SLB2的情況下，則如圖中左側所示般地，在將受聽位置LP91之受聽者基準物件位置資訊予以求出的補插處理中，位於該受聽位置LP91之周圍的CVP1乃至CVP4係全部都被使用。亦即，CVP1乃至CVP4之各CVP的物件位置資訊都被使用來進行補插處理。

相對於此，在適用手法SLB1或手法SLB2的情況下，則如圖中右側所示般地，已被設成靜音物件的CVP4係從補插處理之對象中被排除。亦即，在將受聽位置LP91的受聽者基準物件位置資訊予以求出的補插處理中，會使用CVP4除外的3個CVP1乃至CVP3上的物件位置資訊。

手法SLA1、與手法SLB1或手法SLB2同時進行的情況下，在圖37及圖40之各者所示的例子中，作為補插處理之結果，就會獲得如圖42及圖43之各者所示的結果。此外，於圖42及圖43之各者中，關於與圖37及圖40之各者相對應的部分係適宜省略其說明。

圖42係圖示，於圖36或圖37所示的CVP配置模態PTT1下，適用了手法SLA1、與手法SLB1或手法SLB2之情況的例子。

在圖42中，箭頭Q71所示的部分，係針對「CaseA」與「CaseB」，表示各CVP上的角度Azimuth與增益。

又，箭頭Q72所示的部分，係針對 「CaseA」與「CaseB」，表示在感度係數之值改變的情況下的作為受聽者基準物件位置資訊之角度Azimuth、與受聽者基準增益，可得知案例A或案例B之發生係有被抑制。

例如於「CaseA」中，將感度係數之值設成「3」的情況，亦即若注目於「1/距離之3次方比」之欄的部分，則於受聽位置LP71上的受聽者基準增益(Gain(0))係變成「0.205033」。

在此例中，藉由手法SLA1之適用，位於距離受聽位置LP71較遠之位置上的CVP1乃至CVP3之影響會大幅降低，可知受聽者基準增益會變成接近於位於附近的CVP5與CVP6上的增益「0.2」的理想的值。

亦即，位於CVP5與CVP6之間的受聽位置LP71上的受聽者基準增益，係變成接近於這些CVP5與CVP6上的增益的值，可抑制不自然的音像移動之發生。

又，若注目於「CaseB」，則受聽位置LP71上的作為受聽者基準物件位置資訊的角度 Azimuth(azi(1))，係不依循著感度係數之值而都是為「0」。

在此例中，藉由手法SLB1或手法SLB2之適用，增益為「0」的CVP6上的角度Azimuth(azi(1))之值「120」，係不被使用於補插處理。亦即，CVP6上的角度Azimuth「120」，係從補插處理時的對象中被排除。

因此，受聽位置LP71上的角度Azimuth (azi(1))，係變成與未被從對象中排除的所有CVP上的角度Azimuth相同的值「0」，可知能夠獲得適切的受聽者基準物件位置資訊。

圖43係圖示，於圖39或圖40所示的CVP配置模態PTT2下，適用了手法SLA1、與手法SLB1或手法SLB2之情況的例子。

在圖43中，箭頭Q81所示的部分，係針對「CaseA」與「CaseB」，表示各CVP上的角度Azimuth與增益。

又，箭頭Q82所示的部分，係針對 「CaseA」與「CaseB」，表示在感度係數之值改變的情況下的作為受聽者基準物件位置資訊之角度Azimuth、與受聽者基準增益，可得知案例A或案例B之發生係有被抑制。

例如於「CaseA」中，若注目於將感度係數之值設成「3」的情況，則於受聽位置LP81上的受聽者基準增益(Gain(0))係變成「0.25492」。

在此例中，藉由手法SLA1之適用，位於距離受聽位置LP81較遠之位置上的CVP1、CVP2、CVP6、及CVP8之影響會大幅降低，可知受聽者基準增益會變成接近於位於附近的CVP3或CVP4上的增益「0.2」的理想的值。

亦即，藉由控制感度係數，位於CVP3與CVP4之間的受聽位置LP81上的受聽者基準增益，係變成接近於這些CVP3與CVP4上的增益的值，可知不自然的音像移動之發生係被抑制。

又，若注目於「CaseB」，則受聽位置LP81上的作為受聽者基準物件位置資訊的角度 Azimuth(azi(1))，係不依循著感度係數之值而都是為「0」。

在此例中，藉由手法SLB1或手法SLB2之適用，增益為「0」的CVP3上的角度Azimuth(azi(1))之值「120」，係不被使用於補插處理。亦即，CVP3上的角度Azimuth「120」，係從補插處理時的對象中被排除。

因此，受聽位置LP81上的角度 Azimuth(azi(1))，係變成與未被從對象中排除的所有CVP上的角度Azimuth相同的值「0」，可知能夠獲得適切的受聽者基準物件位置資訊。

〈構成資訊之格式例〉 又，在適用手法SLB2的情況下，構成資訊中係被儲存有例如圖44所示的構成(資訊)。

此外，圖44係圖示了在適用手法SLB2之情況下的構成資訊之一部分之格式(語法)例。

更詳言之，構成資訊中，係除了圖44所示的構成以外，還包含有圖7所示的構成。換言之，構成資訊中，係在圖7所示的構成之一部分中，包含有圖44所示的構成。除此以外，亦可在圖32所示的構成資訊之一部分中，包含有圖44所示的構成。

在圖44的例子中， 「NumOfControlViewpoints」係表示CVP數資訊，亦即藉由製作者所被設定的CVP之數量，「numOfObjs」係表示物件的數量。

在構成資訊中，係針對各CVP，物件的數量有多少，這些CVP與物件之組合所對應之Mute旗標「MuteObjIdx[i][j]」就會被儲存有多少個。

Mute旗標「MuteObjIdx[i][j]」係為，從第i個CVP觀看時，亦即受聽位置(視點位置)是位於第i個CVP時，表示第j個物件是否被設成靜音物件(是有已經成為靜音物件)的旗標資訊。具體而言，Mute旗標 「MuteObjIdx[i][j]」之值「0」，係表示物件並非靜音物件；Mute旗標「MuteObjIdx[i][j]」之值「1」，係表示物件是靜音物件，亦即是處於靜音狀態。

此外，此處是說明了，作為用來特定出在CVP上已被設成靜音物件之物件所需之靜音資訊，是將Mute旗標儲存在構成資訊中的例子。可是，不限於此，例如「MuteObjIdx[i][j]」係亦可被當成是，表示已被設成靜音物件之物件的索引資訊。

在如此的情況下，在構成資訊中就不需要針對全部的物件而儲存「MuteObjIdx[i][j]」，只需要針對已被設成靜音物件之物件，而在構成資訊中儲存「MuteObjIdx[i][j]」即可。於此例中也是，在客戶端101側，藉由參照「MuteObjIdx[i][j]」，就可特定出在CVP上各物件是否已被設成靜音物件。

〈貢獻係數算出處理之說明〉 接下來，說明在適用手法SLA1、與手法SLB1或手法SLB2之情況下的資訊處理裝置11及客戶端101之動作。

例如在手法SLB2被適用的情況下，資訊處理裝置11係進行參照圖14所說明的內容製作處理。

其中，此情況下，例如控制部26，係在任意的時序上，受理在CVP上是否將物件設成靜音物件的指定操作，在步驟S23中，生成含有指定操作所相應之值的Mute旗標的構成資訊。

又，例如在構成資訊中被儲存有感度係數的情況下，則控制部26，係在任意的時序上受理感度係數的指定操作，在步驟S23中，生成含有已被指定操作所指定之感度係數的構成資訊。

又，在手法SLA1、與手法SLB1或手法SLB2被適用的情況下，客戶端101基本上是進行參照圖18或圖34所說明的再生音訊資料生成處理。其中，在圖18的步驟S84、或圖34的步驟S126中，會進行基於手法SLA1、與手法SLB1或手法SLB2的補插處理。

具體而言，首先客戶端101係藉由進行圖45所示的貢獻係數算出處理，而將用來獲得貢獻率所需之貢獻係數，予以算出。

以下，參照圖45的流程圖，說明藉由客戶端101而被進行的貢獻係數算出處理。

於步驟S201中，位置算出部114係將表示要當作處理對象之CVP的索引cvpidx，予以初期化。藉此，索引cvpidx之值就被設成0。

於步驟S202中，位置算出部114係判定，表示處理對象之CVP的索引cvpidx之值是否未滿全部CVP之數量numOfCVP，亦即是否為cvpidx＜numOfCVP。

此外，CVP之數量numOfCVP，係為被使用於補插處理的CVP的候補之數量。具體而言，藉由CVP數資訊而被表示的數量、或位於受聽位置之周圍等之滿足特定之條件的CVP之數量、對應於對象群組領域的CVP群組中所屬之CVP之數量等，係被當作numOfCVP。

於步驟S202中判定為cvpidx＜numOfCVP的情況下，由於尚未針對補插處理中所使用的作為候補的所有CVP都已經算出貢獻係數，因此處理係往步驟S203前進。

於步驟S203中，位置算出部114，係基於受聽者位置資訊與處理對象之CVP的CVP位置資訊，而算出從受聽位置到處理對象之CVP為止的歐幾里德距離，將該算出結果當作距離資訊dist[cvpidx]而加以保持。例如位置算出部114係藉由進行和上述的式(5)相同之計算，而將距離資訊dist[cvpidx]予以算出。

於步驟S204中，位置算出部114係基於距離資訊dist[cvpidx]、與感度係數WeightRatioFactor，而將處理對象之CVP的貢獻係數cvp_contri_coef[cvpidx]，予以算出。

例如感度係數WeightRatioFactor，係亦可從構成資訊而被讀出，亦可藉由對未圖示之輸入部等的受聽者等的指定操作而被指定。除此以外，亦可基於受聽位置與各CVP之位置關係、及各CVP上的物件之增益等，而由位置算出部114來算出感度係數WeightRatioFactor。

此外，此處，感度係數WeightRatioFactor係被設成例如值為2以上的實數等。可是，並非限定於此，感度係數WeightRatioFactor係可設成任意之值。

例如，位置算出部114係將感度係數WeightRatioFactor當作指數而算出距離資訊dist[cvpidx]之冪乘，將所得到的冪乘之值以1進行除算，亦即求出冪乘之值的倒數，藉此而算出貢獻係數 cvp_contri_coef[cvpidx]。

亦即，藉由進行cvp_contri_coef[cvpidx]= 1.0/pow(dist[cvpidx],WeightRatioFactor)之演算，以求出貢獻係數cvp_contri_coef[cvpidx]。此處pow()係表示進行冪乘計算的函數。

於步驟S205中，位置算出部114係將CVP的索引cvpidx之值予以增值。

一旦步驟S205之處理被進行，其後，處理係回到步驟S202，重複進行上述的處理。亦即，針對新被當作處理對象的CVP，算出貢獻係數 cvp_contri_coef[cvpidx]。

又，於步驟S202中判定為並非 cvpidx＜numOfCVP的情況下，則所有的CVP當已被當作處理對象，貢獻係數cvp_contri_coef[cvpidx]都已經被算出，因此貢獻係數算出處理係結束。

如以上所述，客戶端101係將受聽位置與CVP之距離所相應之貢獻係數，予以算出。藉由如此設計，就可進行基於手法SLA1的補插處理，可抑制不自然的音像移動之發生。

〈正規化貢獻係數算出處理之說明〉 又，客戶端101，係一旦進行參照圖45所說明的貢獻係數算出處理，接著就基於手法SLB1或手法SLB2，進行正規化貢獻係數算出處理，而將已被正規化的貢獻係數當作貢獻率而予以求出。

此處，首先參照圖46的流程圖，說明藉由客戶端101而被進行的，基於手法SLB2的正規化貢獻係數算出處理。

此處所謂基於手法SLB2的正規化貢獻係數算出處理，係指基於構成資訊中所含之Mute旗標的正規化貢獻係數算出處理。

於步驟S231中，位置算出部114係將表示要當作處理對象之CVP的索引cvpidx，予以初期化。藉此，索引cvpidx之值就被設成0。

此外，於正規化貢獻係數算出處理中，與圖45之貢獻係數算出處理中被當作處理對象之CVP相同者，是被當作處理對象之CVP而進行處理。因此，會成為處理對象的CVP之數量numOfCVP，也是和圖45的貢獻係數算出處理時的情況相同。

於步驟S232中，位置算出部114係將表示要當作處理對象之物件的索引objidx，予以初期化。

藉此，索引objidx之值就被設成0。此處，被當作處理對象之物件的數量numOfObjs係被設成，構成內容的全部物件之數量，亦即藉由構成資訊內的物件數資訊而被表示的數量。此後，針對藉由索引cvpidx而被表示的CVP、與從CVP觀看時的藉由索引objidx而被表示的物件，會依序進行處理。

於步驟S233中，位置算出部114係判定，索引objidx之值是否未滿全部物件之數量numOfObjs，亦即是否為objidx＜numOfObjs。

於步驟S233中判定為是objidx＜numOfObjs的情況下，則於步驟S234中，位置算出部114係將係數總和變數total_coef之值予以初期化。藉此，關於藉由索引objidx而被表示的處理對象之物件的係數總和變數total_coef之值，係被設成0。

係數總和變數total_coef係為，針對藉由索引objidx而被表示的處理對象之物件，而將各CVP之貢獻係數cvp_contri_coef[cvpidx]進行正規化所需使用的係數。如後述，最終，關於1個物件而在補插處理中所被使用之全部CVP的貢獻係數cvp_contri_coef[cvpidx]之總和，係成為係數總和變數total_coef。

於步驟S235中，位置算出部114係判定，表示處理對象之CVP的索引cvpidx之值是否未滿全部CVP之數量numOfCVP，亦即是否為cvpidx＜numOfCVP。

於步驟S235中判定為是cvpidx＜numOfCVP的情況下，則往步驟S236前進。

於步驟S236中，位置算出部114係判定，藉由索引cvpidx而被表示的CVP上的，藉由索引objidx而被表示的處理對象之物件的Mute旗標之值是否為1，亦即是否為靜音物件。

於步驟S236中並非判定為Mute旗標之值為1的情況，亦即並非靜音物件的情況下，則於步驟S237中，位置算出部114係對正在保持的係數總和變數之值加算處理對象之CVP的貢獻係數，藉此以更新係數總和變數。

具體而言，係計算total_coef+= cvp_contri_coef[cvpidx]。亦即，對於位置算出部114所正在保持的，藉由索引objidx而被表示的處理對象之物件的係數總和變數total_coef的現在之值，會加算藉由索引cvpidx而被表示的處理對象之CVP的貢獻係數 cvp_contri_coef[cvpidx]，其加算結果就被當成更新後的係數總和變數total_coef。

一旦步驟S237之處理被進行，其後，處理係往步驟S238前進。

又，於步驟S236中判定為Mute旗標之值為1的情況，亦即是靜音物件的情況下，則不進行步驟S237之處理，其後，處理係往步驟S238前進。這是因為，處理對象之物件已經成為靜音物件的CVP，係被從補插處理之對象排除的緣故。

步驟S237之處理已被進行、或於步驟S236中判定為Mute旗標之值為1的情況下，則於步驟S238中，位置算出部114係將表示成為處理對象之CVP的索引cvpidx，予以增值。

一旦步驟S238之處理被進行，其後，處理係回到步驟S235，重複進行上述的處理。

藉由重複進行步驟S235乃至步驟S238之處理，針對處理對象之物件，會求出未變成靜音物件之CVP的貢獻係數之總和，所得到的總和就被當作處理對象之物件的最終的係數總和變數。該係數總和變數，係對應於上述的式(6)中的變數t。

又，於步驟S235中判定為並非cvpidx＜numOfCVP的情況下，則於步驟S239中，位置算出部114係將表示要當作處理對象之CVP的索引cvpidx，予以初期化。藉此，針對處理對象之物件，就會重新把各CVP依序當作處理對象而進行其後的處理。

於步驟S240中，位置算出部114係判定是否為cvpidx＜numOfCVP。

於步驟S240中判定為是cvpidx＜numOfCVP的情況下，則往步驟S241前進。

於步驟S241中，位置算出部114係判定，藉由索引cvpidx而被表示的CVP上的，藉由索引objidx而被表示的處理對象之物件的Mute旗標之值是否為1。

於步驟S241中並非判定為Mute旗標之值為1的情況，亦即並非靜音物件的情況下，則於步驟S242中，位置算出部114係算出正規化貢獻係數 contri_norm_ratio[objidx][cvpidx]。

例如，進行 contri_norm_ratio[objidx][cvpidx]=cvp_contri_coef[cvpidx]/total_coef之計算而將貢獻係數予以正規化，正規化後的貢獻係數係被當作正規化貢獻係數。

換言之，位置算出部114係將藉由索引cvpidx而被表示的處理對象之CVP的貢獻係數cvp_contri_coef[cvpidx]，以藉由索引objidx而被表示的處理對象之物件的係數總和變數total_coef進行除算，藉此以進行正規化。藉此，針對藉由索引objidx而被表示的處理對象之物件，就可獲得藉由索引cvpidx而被表示的處理對象之CVP的正規化貢獻係數 contri_norm_ratio[objidx][cvpidx]。

在本實施形態中，正規化貢獻係數 contri_norm_ratio[objidx][cvpidx]是作為式(8)中的貢獻率dp(i)，亦即CVP的貢獻度，而被使用。換言之，正規化貢獻係數，係於補插處理中，作為關於各物件的CVP之權重而被使用。

更詳言之，在式(8)中係針對相同的CVP，是使用在全部物件間為共通的相同的貢獻率dp(i)，但在本實施形態中則是由於成為靜音物件的CVP會從補插處理中排除，因此即使是相同的CVP，仍按照每一物件而求出正規化貢獻係數(貢獻率dp(i))。

此情況下，在圖45的貢獻係數算出處理中，基於根據以感度係數為指數的距離資訊之冪乘值而被求出的貢獻係數，而算出正規化貢獻係數，因此可以實現基於手法SLA1的補插處理。

一旦步驟S242之處理被進行，其後，處理係往步驟S244前進。

又，於步驟S241中判定為Mute旗標之值為1的情況，亦即是靜音物件的情況下，則不進行步驟S242之處理，其後，處理係往步驟S243前進。

於步驟S243中，位置算出部114，係將針對藉由索引objidx而被表示的處理對象之物件的藉由索引cvpidx而被表示的處理對象之CVP的正規化貢獻係數contri_norm_ratio[objidx][cvpidx]之值設成0。

藉此，物件已經變成靜音物件的CVP係從補插處理之對象中被排除，就可實現基於手法SLB2的補插處理。

一旦步驟S242或步驟S243之處理被進行，則於步驟S244中，位置算出部114係將表示要當作處理對象之CVP的索引cvpidx予以增值。

一旦步驟S244之處理被進行，其後，處理係回到步驟S240，重複進行上述的處理。

藉由重複進行步驟S240乃至步驟S244之處理，針對處理對象之物件，就會求出各CVP的正規化貢獻係數。

又，於步驟S240中判定為並非cvpidx＜numOfCVP的情況下，則於步驟S245中，位置算出部114係將表示要當作處理對象之物件的索引objidx，予以增值。藉此，尚未被當成處理對象的新的物件，就會被當成處理對象。

一旦步驟S245之處理被進行，其後，處理係回到步驟S233，重複進行上述的處理。

又，於步驟S233中判定為並非objidx＜numOfObjs的情況下，則針對全部的物件，各CVP的正規化貢獻係數，亦即貢獻率dp(i)都已經獲得，所以正規化貢獻係數算出處理係結束。

如以上所述，客戶端101係隨應於各物件的Mute旗標，針對每一物件而將各CVP的正規化貢獻係數予以算出。藉由如此設計，就可實現基於手法SLB2的補插處理，可獲得適切的受聽者基準物件位置資訊。

以上雖然說明了基於手法SLB2的正規化貢獻係數算出處理，但與手法SLB2之情況相同的處理，是作為基於手法SLB1的正規化貢獻係數算出處理而被進行。

以下，參照圖47的流程圖，說明藉由客戶端101而被進行的，基於手法SLB1的正規化貢獻係數算出處理。

圖47所示的，基於手法SLB1的正規化貢獻係數算出處理，亦即在步驟S271乃至步驟S285中，基本上是進行和參照圖46所說明的正規化貢獻係數算出處理的步驟S231乃至步驟S245相同的處理。

但是，在步驟S276及步驟S281中，並非判定Mute旗標之值是否為1，而是判定藉由索引cvpidx而被表示的CVP上的，藉由索引objidx而被表示的處理對象之物件之增益，是否可視為0。

具體而言，物件的增益之值為所定之閾值以下的情況，則判定為物件的增益是可視為0。

於步驟S276中判定為增益不可視為0的情況下，由於並非已經變成靜音物件的CVP，因此處理係往步驟S277前進，係數總和變數係被更新。

相對於此，於步驟S276中判定為增益是可視為0的情況下，由於是已經變成靜音物件的CVP，因此該CVP係被從補插處理之對象中排除，其後，處理係往步驟S278前進。

又，於步驟S281中判定為增益不可視為0的情況下，由於並非已經變成靜音物件的CVP，因此處理係往步驟S282前進，正規化貢獻係數係被算出。

相對於此，於步驟S281中判定為增益可視為0的情況下，由於是已經變成靜音物件的CVP，因此處理係往步驟S283前進，正規化貢獻係數係被設成0而CVP係被從補插處理之對象中排除。

若依據如以上的基於手法SLB1的正規化貢獻係數算出處理，就可實現基於手法SLB1的補插處理，可獲得適切的受聽者基準物件位置資訊。

在圖18的步驟S84、或圖34的步驟S126中，基於手法SLB1或手法SLB2的正規化貢獻係數算出處理一旦被進行，則其後，位置算出部114係使用所得到的正規化貢獻係數，來進行補插處理。

亦即，位置算出部114，係藉由進行式(7)的計算而求出物件3維位置向量，並且取代貢獻率dp(i)，改為使用藉由上述的處理所得到的正規化貢獻係數contri_norm_ratio[objidx][cvpidx]，來進行式(8)的計算。亦即，正規化貢獻係數係被使用來進行式(8)的補插處理。

然後位置算出部114係基於式(8)的計算結果來進行式(9)的計算，並且還會適宜地基於式(10)或式(11)之計算所求出的補正量而進行補正。

藉此，可獲得手法SLA1、與手法SLB1或手法SLB2已被適用的，最終的受聽者基準物件位置資訊及受聽者基準增益。

因此，可抑制上述的案例A或案例B之發生。亦即，可抑制不自然的音像移動之發生，並可獲得適切的受聽者基準物件位置資訊。

無論在手法SLB1與手法SLB2之哪一者中，位置算出部114係實質上基於物件並未變成靜音物件之CVP的CVP位置資訊、物件位置資訊、及物件之增益、與受聽者位置資訊，來進行補插處理，算出受聽者基準物件位置資訊及受聽者基準增益。

此時，在手法SLB2中，位置算出部114，係基於作為靜音資訊的Mute旗標，而將物件並未變成靜音物件之CVP，加以特定。相對於此，在手法SLB1中，位置算出部114，係基於從CVP觀看時的物件之增益，亦即增益是否為閾值以下之判定結果，而將物件並未變成靜音物件之CVP，加以特定。

〈第4實施形態〉 〈關於物件位置資訊與增益之補插處理〉 順便一提，用來求出受聽者基準物件位置資訊或受聽者基準增益所需之補插處理進行時，再生側，亦即受聽者側亦可意圖性地選擇被使用於補插處理的CVP。

如此一來，受聽者係可配合自己的喜好，限定性地僅利用想要聆聽的CVP來享受內容。例如，可以只使用作為物件的全部的藝人之配置位置會是在受聽者之附近的CVP來進行內容再生等。

具體而言，例如圖48所示般地，在自由視點空間中的和圖11所示的例子相同的位置上，配置有舞台ST11、目標位置TP、及各CVP，並設計成可讓受聽者(使用者)來選擇補插處理中所使用的CVP。此外，圖48中，和圖11對應的部份，係標示同一符號，並適宜地省略其說明。

在圖48所示的例子中，例如如圖中左側所示，原始的CVP構成，亦即作為藉由內容製作者所被設定的CVP，假設有CVP1乃至CVP7。

此情況下，例如如圖中右側所示，假設受聽者係在這些CVP1乃至CVP7之中，選擇了位於舞台ST11之附近的CVP1、CVP3、CVP4、及CVP6。

如此一來，內容實際被再生之際，相較於全部的CVP都被使用於補插處理的情況，可讓人感覺到作為物件的藝人像是位於更靠近受聽者之附近的感覺。

又，在受聽者所致之CVP的選擇時，係亦可例如將如圖49所示的CVP選擇畫面，顯示於客戶端101。

在此例中，在圖中左側係圖示了，針對圖48所示的各CVP，表示從這些CVP來觀看目標位置TP亦即舞台ST11時之樣子的複數個視點影像，所排列而成的CVP選擇畫面DSP11。

例如視點影像SPC11乃至視點影像SPC14，係為將CVP5、CVP7、CVP2、及CVP6之各者當作視點位置(受聽位置)時的視點影像。又，在CVP選擇畫面DSP11中係還顯示有，用來催促CVP之選擇的訊息「請選擇所欲再生的視點」。

一旦如此的CVP選擇畫面DSP11被顯示，受聽者(使用者)係藉由選擇所喜好之CVP所對應之視點影像，以選擇在補插處理中所使用的CVP。藉此，例如圖中左側所示的CVP選擇畫面DSP11之顯示係被更新，而會顯示出圖中右側所示的CVP選擇畫面DSP12。

在CVP選擇畫面DSP12中，未被受聽者所選擇的CVP的視點影像會被變淡變灰顯示等，是以和已被選擇之CVP之視點影像不同的顯示形式而被顯示。

此處，例如視點影像SPC11乃至視點影像SPC13所對應之CVP5、CVP7、及CVP2未被選擇，這些CVP的視點影像係被變灰顯示。又，已被受聽者所選擇的CVP6、CVP1、CVP3、及CVP4所對應之視點影像之顯示，係和CVP選擇畫面DSP11中的情況相同不變地顯示。

藉由顯示出如此的CVP選擇畫面，受聽者係可一面視覺性確認從CVP所看到的樣子一面適切地進行CVP的選擇操作。又，CVP選擇畫面中亦可顯示出如圖48所示的整個會場，亦即自由視點空間全體之影像。

甚至，在設計成可讓受聽者來選擇補插處理中所使用之CVP的情況下，構成資訊中亦可儲存關於CVP之選擇可否的資訊。如此一來，就可對受聽者(客戶端101)側，傳輸內容製作者之意圖。

構成資訊中儲存有關於CVP之選擇可否的資訊的情況下，則於再生側，只有被許可選擇的CVP會成為對象而進行受聽者所致之CVP的選擇，並測知(特定出)受聽者所致之CVP的選擇之有無。然後，被許可選擇的CVP之中若有未被受聽者所選擇的CVP(以下亦稱作非選擇CVP)的情況下，則非選擇CVP係被排除而進行用來算出受聽者基準物件位置資訊或受聽者基準增益所需之補插處理。

〈構成資訊之格式例〉 在本實施形態中，構成資訊中係有例如圖50所示的資訊，是被當作關於CVP之選擇可否的資訊，亦即選擇可否資訊而被儲存。

此外，圖50係圖示了構成資訊之一部分的格式(語法)例。

更詳言之，構成資訊中係除了圖50所示的構成以外，還包含有圖7所示的構成。換言之，構成資訊中，係在圖7所示的構成之一部分中包含有圖50所示的構成。除此以外，亦可在圖32所示的構成資訊之一部分中包含有圖50所示的構成，亦可在構成資訊中還儲存有圖44所示的資訊。

在圖50的例子中， 「CVPSelectAllowPresentFlag」係表示CVP選擇資訊存在旗標。CVP選擇資訊存在旗標係為，表示關於可在受聽者側上做選擇之CVP的資訊是否有存在於構成資訊內，亦即在受聽者側是否可進行CVP之選擇的旗標資訊。

CVP選擇資訊存在旗標之值「0」係表示，構成資訊中不含(未被儲存)關於可選擇之CVP的資訊。

又，CVP選擇資訊存在旗標之值「1」係表示，構成資訊中含有關於可選擇之CVP的資訊。

CVP選擇資訊存在旗標之值為「1」的情況下，構成資訊中係還被儲存有：表示受聽者可選擇之CVP之數量的「numOfAllowedCVP」、與表示受聽者可選擇之CVP的索引資訊「AllowedCVPIdx[i]」。

例如索引資訊「AllowedCVPIdx[i]」係被設成，將受聽者可選擇之CVP加以表示的，圖9所示的CVP索引「ControlViewpointIndex[i]」之值等。又，在構成資訊中，「numOfAllowedCVP」所示的數量有多少，表示可選擇之CVP的索引資訊「AllowedCVPIdx[i]」就被儲存有多少個。

如以上所述，在圖50的例子中，作為關於受聽者基準物件位置資訊或受聽者基準增益之算出中所使用的CVP之選擇可否的選擇可否資訊，係有CVP選擇資訊存在旗標「CVPSelectAllowPresentFlag」、可選擇之CVP之數量「numOfAllowedCVP」、及索引資訊 「AllowedCVPIdx[i]」，被包含在構成資訊中。

若使用如此的構成資訊，則在客戶端101上，在構成內容的CVP之中，可以特定出哪些個CVP是被許可選擇的CVP。

此外，本實施形態，係可和上述的第1實施形態乃至第3實施形態之中的任意1個以上做組合。

構成資訊中含有圖50所示之構成的情況下，資訊處理裝置11也是進行參照圖14所說明的內容製作處理。

其中，此情況下，例如控制部26，係在步驟S16等之任意的時序上，受理是否要設成許可選擇之CVP的指定操作。然後在步驟S23中，控制部26係隨應於指定操作而生成含有CVP選擇資訊存在旗標、可選擇之CVP之數量、表示可選擇之CVP的索引資訊之中的必要之資訊的構成資訊。

〈客戶端之構成例〉 又，在客戶端101(受聽者)側可以選擇補插處理中所使用之CVP的情況下，客戶端101係被設成例如圖51所示的構成。此外，圖51中，和圖17對應的部份，係標示同一符號，並適宜地省略其說明。

圖51所示的客戶端101之構成，係在圖17所示的構成中，新設置了輸入部201及顯示部202的構成。

輸入部201，係由例如觸控面板或滑鼠、鍵盤、按鈕等之輸入裝置所成，可將受聽者(使用者)的輸入操作所相應之訊號，供給至位置算出部114。

顯示部202，係由顯示器所成，隨應於來自位置算出部114等之指示而將CVP選擇畫面等之各種影像，加以顯示。

〈選擇性補插處理之說明〉 在客戶端101側，適宜地，在補插處理中所使用的CVP之選擇為可能的情況下，客戶端101基本上也是進行參照圖18或圖34所說明的再生音訊資料生成處理。

其中，在圖18的步驟S84、或圖34的步驟S126中，會進行圖52所示的選擇性補插處理，而求出受聽者基準物件位置資訊及受聽者基準增益。

以下，參照圖52的流程圖，說明客戶端101所致之選擇性補插處理。

於步驟S311中，位置算出部114係從解碼部113，取得構成資訊。

於步驟S312中，位置算出部114，係基於構成資訊，來判定可選擇之CVP之數量是否大於0，亦即是否numOfAllowedCVP＞0。

於步驟S312中判定為numOfAllowedCVP＞0的情況下，亦即有受聽者可選擇之CVP的情況下，則於步驟S313中，位置算出部114係進行可選擇之CVP之提示，並受理受聽者所致之CVP的選擇。

例如位置算出部114，係基於構成資訊中所含之表示可選擇之CVP的索引資訊 「AllowedCVPIdx[i]」，而生成把該索引資訊表示的CVP當作可選擇之CVP而予以提示的CVP選擇畫面，並令其被顯示於顯示部202。此情況下，顯示部202係將例如圖49所示的CVP選擇畫面，加以顯示。

受聽者(使用者)，係一面觀看顯示部202中所被顯示的CVP選擇畫面而一面操作輸入部201，藉此以將所望之CVP，選擇成為補插處理中所使用的CVP。

如此一來，從輸入部201向位置算出部114係會供給相應於受聽者之選擇操作的訊號，因此位置算出部114係隨應於來自輸入部201之訊號而使顯示部202的畫面做更新。藉此，例如顯示部202之顯示，會從圖49的左側所示之顯示，被更新成圖49的右側所示之顯示。

此外，CVP選擇畫面中的受聽者所致之CVP的選擇，係亦可在內容的再生前就被進行，亦可在內容的再生中的任意時序上，被進行任意次數。

於步驟S314中，位置算出部114係基於隨著受聽者之選擇操作而從輸入部201所被供給之訊號，來判定在可選擇之CVP之中是否有從補插處理被排除的CVP，亦即是否有未被受聽者所選擇之CVP。

於步驟S314中判定為有已被排除之CVP的情況下，其後，處理係往步驟S315前進。

於步驟S315中，位置算出部114係使用無法選擇的CVP、和已被受聽者所選擇的CVP來實施補插處理，求出受聽者基準物件位置資訊及受聽者基準增益。

更詳言之，基於由無法選擇的CVP和已被受聽者所選擇的CVP所成之複數個各CVP的CVP位置資訊或物件位置資訊、物件之增益等、和受聽者位置資訊，來進行補插處理。

此處，所謂無法選擇的CVP，係指在構成資訊內未含有索引資訊「AllowedCVPIdx[i]」的CVP。換言之，所謂無法選擇的CVP係指，未藉由構成資訊中所含之選擇可否資訊而被特定成可選擇的CVP。

因此，在步驟S315中，從全CVP中將未被受聽者所選擇之CVP，亦即非選擇CVP予以排除而剩下的所有之CVP，係被使用來進行補插處理。

亦即，例如非選擇CVP除外的所有的CVP係被使用，和第1實施形態或第3實施形態中的情況同樣地進行補插處理，求出受聽者基準物件位置資訊及受聽者基準增益。

此外，不限於從全CVP中排除非選擇CVP的例子，亦可為例如：從位於受聽位置之周圍等之滿足特定之條件的CVP中排除非選擇CVP所獲得之CVP、或從對象群組領域所對應之CVP群組中所屬之CVP中排除非選擇CVP所獲得之CVP，被使用來進行補插處理。

一旦步驟S315之處理被進行，則選擇性補插處理係結束。

又，於步驟S312中判定為並非 numOfAllowedCVP＞0的情況，亦即沒有可選擇之CVP的情況，或於步驟S314中判定為沒有已被排除之CVP的情況下，則其後，處理係往步驟S316前進。

於步驟S316中，位置算出部114係使用所有的CVP來實施補插處理，求出受聽者基準物件位置資訊及受聽者基準增益，選擇性補插處理係結束。

在步驟S316中，只是被使用於補插處理的CVP為不同，而進行和步驟S315中的情況相同的補插處理。此外，亦可於步驟S316中也是使用滿足特定之條件的CVP、或對象群組領域所對應之CVP群組中所屬之CVP，來進行補插處理。

如以上所述，客戶端101係選擇性地使用受聽者之選擇等所相應之CVP，來進行補插處理。藉由如此設計，就可實現反映出內容製作者之意圖，同時也反映出受聽者(使用者)之喜好的內容再生。

〈電腦之構成例〉 順便一提，上述一連串處理，係可藉由硬體來執行，也可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。

圖53係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。

於電腦中，CPU(Central Processing Unit) 501、ROM(Read Only Memory)502、RAM(Random Access Memory)503，係藉由匯流排504而被彼此連接。

在匯流排504上係還連接有輸出入介面505。輸出入介面505上係連接有：輸入部506、輸出部507、記錄部508、通訊部509、及驅動機510。

輸入部506，係由鍵盤、滑鼠、麥克風、攝像元件等所成。輸出部507係由顯示器、揚聲器等所成。記錄部508，係由硬碟或非揮發性記憶體等所成。通訊部509係由網路介面等所成。驅動機510係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式記錄媒體511。

在如以上構成的電腦中，藉由CPU501而例如將記錄部508中所記錄之程式透過輸出入介面505及匯流排504，而載入至RAM503裡並加以執行，就可進行上述一連串處理。

電腦(CPU501)所執行的程式，係可記錄在例如封裝媒體等之可移除式記錄媒體511中而提供。又，程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。

在電腦中，程式係藉由將可移除式記錄媒體511裝著至驅動機510，就可透過輸出入介面505，安裝至記錄部508。又，程式係可透過有線或無線之傳輸媒體，以通訊部509接收之，安裝至記錄部508。除此以外，程式係可事前安裝在ROM502或記錄部508中。

此外，電腦所執行的程式，係可為依照本說明書所說明之順序而在時間序列上進行處理的程式，也可平行地，或呼叫進行時等必要之時序上進行處理的程式。

又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。

例如，本技術係亦可將1個機能透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。

又，上述的流程圖中所說明的各步驟，係可由1台裝置來執行以外，亦可由複數台裝置來分擔執行。

甚至，若1個步驟中含有複數處理的情況下，該1個步驟中所含之複數處理，係可由1台裝置來執行以外，也可由複數台裝置來分擔執行。

甚至，本技術係亦可採取以下構成。

(1) 一種資訊處理裝置，係 具備：控制部，其係 將由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置； 針對複數個各前記控制視點，生成控制視點資訊，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊； 生成內容資料，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。 (2) 如(1)所記載之資訊處理裝置，其中， 前記後設資料中係含有前記物件之增益。 (3) 如(1)或(2)所記載之資訊處理裝置，其中， 前記控制視點資訊中係含有：表示前記空間中的從前記控制視點面向前記目標位置之方向的控制視點朝向資訊、或表示前記空間中的前記目標位置的目標位置資訊。 (4) 如(1)乃至(3)之任一項所記載之資訊處理裝置，其中， 前記構成資訊中係含有：表示構成內容的前記物件之數量的物件數資訊、表示前記控制視點之數量的控制視點數資訊、及表示前記後設資料集之數量的後設資料集數資訊之其中至少任1者。 (5) 如(1)乃至(4)之任一項所記載之資訊處理裝置，其中， 前記構成資訊中係含有：控制視點群組資訊，其係有關於，前記空間內的所定之群組領域中所包含之前記控制視點所成之控制視點群組； 前記控制視點群組資訊中，係針對1或複數個前記控制視點群組，含有：表示前記控制視點群組中所屬之前記控制視點的資訊、和用來特定前記控制視點群組所對應之前記群組領域所需之資訊。 (6) 如(5)所記載之資訊處理裝置，其中， 前記構成資訊中係含有：表示是否含有前記控制視點群組資訊的資訊。 (7) 如(5)或(6)所記載之資訊處理裝置，其中， 前記控制視點群組資訊中係含有：表示前記控制視點群組中所屬之前記控制視點之數量的資訊、及表示前記控制視點群組之數量的資訊之至少任一者。 (8) 如(1)乃至(7)之任一項所記載之資訊處理裝置，其中， 前記構成資訊中係含有：用來特定從前記控制視點觀看時被設成靜音物件之前記物件所需之靜音資訊。 (9) 如(1)乃至(8)之任一項所記載之資訊處理裝置，其中， 前記構成資訊中係含有：選擇可否資訊，其係有關於，表示從受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊之算出、或從前記受聽位置觀看時的前記物件之增益之算出中所使用的前記控制視點之選擇可否。 (10) 一種資訊處理方法，係 由資訊處理裝置： 將由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置； 針對複數個各前記控制視點，生成控制視點資訊，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊； 生成內容資料，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。 (11) 一種程式，係令電腦執行以下處理： 將由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置； 針對複數個各前記控制視點，生成控制視點資訊，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊； 生成內容資料，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。 (12) 一種資訊處理裝置，係具備： 取得部，係將表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，加以取得；和 受聽者位置資訊取得部，係將表示前記空間中的受聽位置的受聽者位置資訊，加以取得；和 位置算出部，係基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊，予以算出。 (13) 如(12)所記載之資訊處理裝置，其中， 前記取得部，係將由含有前記物件位置資訊的複數個前記物件之後設資料所成之後設資料集、前記控制視點位置資訊、及表示與前記控制視點建立關連之前記後設資料集的指定資訊，加以取得； 前記位置算出部，係在彼此互異之複數個前記後設資料集之中，基於藉由前記指定資訊而被指示的前記後設資料集中所含之前記物件位置資訊，而將前記受聽者基準物件位置資訊予以算出。 (14) 如(12)或(13)所記載之資訊處理裝置，其中， 前記位置算出部，係藉由基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊的補插處理，而將前記受聽者基準物件位置資訊予以算出。 (15) 如(14)所記載之資訊處理裝置，其中， 前記補插處理係為向量合成。 (16) 如(15)所記載之資訊處理裝置，其中， 前記位置算出部，係使用根據前記受聽者位置資訊及複數個前記控制視點之前記控制視點位置資訊所求出的權重，來進行前記向量合成。 (17) 如(14)乃至(16)之任一項所記載之資訊處理裝置，其中， 前記位置算出部，係基於前記物件不會變成靜音物件的前記控制視點之前記控制視點位置資訊及前記物件位置資訊，而進行前記補插處理。 (18) 如(17)所記載之資訊處理裝置，其中， 前記取得部，係還將用來特定從前記控制視點觀看時被設成前記靜音物件之前記物件所需之靜音資訊，加以取得； 前記位置算出部，係基於前記靜音資訊，而將前記物件不會變成前記靜音物件的前記控制視點，加以特定。 (19) 如(17)所記載之資訊處理裝置，其中， 前記取得部，係針對複數個前記控制視點，還將從前記控制視點觀看時的前記物件之增益，加以取得； 前記位置算出部，係基於前記增益，而將前記物件不會變成前記靜音物件的前記控制視點，加以特定。 (20) 如(14)乃至(19)之任一項所記載之資訊處理裝置，其中， 前記取得部，係還將關於前記受聽者基準物件位置資訊之算出中所使用的前記控制視點之選擇可否的選擇可否資訊，加以取得； 前記位置算出部，係基於藉由前記選擇可否資訊而被設成可選擇的前記控制視點之中的已被受聽者所選擇的前記控制視點之前記控制視點位置資訊及前記物件位置資訊，而進行前記補插處理。 (21) 如(20)所記載之資訊處理裝置，其中， 前記位置算出部，係基於未藉由前記選擇可否資訊而被設成可選擇的前記控制視點之前記控制視點位置資訊及前記物件位置資訊、和已被前記受聽者所選擇的前記控制視點之前記控制視點位置資訊及前記物件位置資訊，而進行前記補插處理。 (22) 如(12)乃至(21)之任一項所記載之資訊處理裝置，其中， 前記受聽者位置資訊取得部，係將表示前記空間中的受聽者之朝向的受聽者朝向資訊，加以取得； 前記位置算出部，係基於前記受聽者朝向資訊、前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將前記受聽者基準物件位置資訊予以算出。 (23) 如(22)所記載之資訊處理裝置，其中， 前記取得部，係針對複數個前記控制視點，還將表示前記空間中的從前記控制視點面向前記目標位置之方向的控制視點朝向資訊，加以取得； 前記位置算出部，係基於複數個前記控制視點之前記控制視點朝向資訊、前記受聽者朝向資訊、前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將前記受聽者基準物件位置資訊予以算出。 (24) 如(12)乃至(23)之任一項所記載之資訊處理裝置，其中， 前記取得部，係針對複數個前記控制視點，還將從前記控制視點觀看時的前記物件之增益，加以取得； 前記位置算出部，係藉由基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記增益的補插處理，而將從前記受聽位置觀看時的前記物件之增益，予以算出。 (25) 如(24)所記載之資訊處理裝置，其中， 前記位置算出部，係基於從以所定之感度係數作為指數的，從前記受聽位置到前記控制視點為止之距離的冪乘值之倒數所求出的權重，而進行前記補插處理。 (26) 如(25)所記載之資訊處理裝置，其中， 前記感度係數，係針對每一前記控制視點，或針對每一前記控制視點所看到的前記物件，而被設定。 (27) 如(24)乃至(26)之任一項所記載之資訊處理裝置，其中， 前記取得部，係還將關於從前記受聽位置觀看時的前記物件之前記增益之算出中所使用的前記控制視點之選擇可否的選擇可否資訊，加以取得； 前記位置算出部，係基於藉由前記選擇可否資訊而被設成可選擇的前記控制視點之中的已被受聽者所選擇的前記控制視點之前記控制視點位置資訊及前記增益，而進行前記補插處理。 (28) 如(27)所記載之資訊處理裝置，其中， 前記位置算出部，係基於未藉由前記選擇可否資訊而被設成可選擇的前記控制視點之前記控制視點位置資訊及前記增益、和已被前記受聽者所選擇的前記控制視點之前記控制視點位置資訊及前記增益，而進行前記補插處理。 (29) 如(12)乃至(28)之任一項所記載之資訊處理裝置，其中， 還具備：演繹處理部，係基於前記物件的音訊資料、和前記受聽者基準物件位置資訊，來進行演繹處理。 (30) 如(12)乃至(29)之任一項所記載之資訊處理裝置，其中， 前記受聽者基準物件位置資訊係為，藉由以前記受聽位置為原點的極座標系之座標而被表現的，表示前記物件之位置的資訊。 (31) 如(12)乃至(30)之任一項所記載之資訊處理裝置，其中， 前記取得部，係還將關於前記空間內的所定之群組領域中所包含之前記控制視點所成之控制視點群組的控制視點群組資訊，加以取得，該控制視點群組資訊係針對1或複數個前記控制視點群組，含有表示前記控制視點群組中所屬之前記控制視點的資訊、及用來特定前記控制視點群組所對應之前記群組領域所需之資訊； 前記位置算出部，係基於包含前記受聽位置的前記群組領域所對應之前記控制視點群組中所屬之前記控制視點的前記控制視點位置資訊及前記物件位置資訊、和前記受聽者位置資訊，而將前記受聽者基準物件位置資訊予以算出。 (32) 如(31)所記載之資訊處理裝置，其中， 前記位置算出部，係取得構成資訊，其係含有：含有前記控制視點位置資訊的複數個各前記控制視點之控制視點資訊、和表示是否含有前記控制視點群組資訊的資訊； 前記構成資訊中，係隨應於表示是否含有前記控制視點群組資訊的資訊，而含有前記控制視點群組資訊。 (33) 如(31)或(32)所記載之資訊處理裝置，其中， 前記控制視點群組資訊中係含有：表示前記控制視點群組中所屬之前記控制視點之數量的資訊、及表示前記控制視點群組之數量的資訊之至少任一者。 (34) 如(12)乃至(33)之任一項所記載之資訊處理裝置，其中， 前記取得部，係取得構成資訊，其係含有： 含有前記控制視點位置資訊的複數個各前記控制視點之控制視點資訊；和 表示構成內容的前記物件之數量的物件數資訊、表示前記控制視點之數量的控制視點數資訊、及表示由含有前記物件位置資訊的複數個前記物件之後設資料所成之後設資料集之數量的後設資料集數資訊之其中至少任1者。 (35) 一種資訊處理方法，係 由資訊處理裝置： 將表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，加以取得； 將表示前記空間中的受聽位置的受聽者位置資訊，加以取得； 基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊，予以算出。 (36) 一種程式，係令電腦執行以下處理： 將表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，加以取得； 將表示前記空間中的受聽位置的受聽者位置資訊，加以取得； 基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊，予以算出。

11:資訊處理裝置 21:輸入部 22:顯示部 23:記錄部 24:通訊部 25:音響輸出部 26:控制部 51:伺服器 61:通訊部 62:控制部 63:記錄部 71:編碼部 101:客戶端 111:受聽者位置資訊取得部 112:通訊部 113:解碼部 114:位置算出部 115:演繹處理部 201:輸入部 202:顯示部 501:CPU 502:ROM 503:RAM 504:匯流排 505:輸出入介面 506:輸入部 507:輸出部 508:記錄部 509:通訊部 510:驅動機 511:可移除式記錄媒體 CVP1~CVP23:控制視點 LN11,LN12,LN31,LN32,LN33,LN41,LN42,LN43:直線 LP11,LP21,LP41,LP71,LP81,LP91:受聽位置 OB11,OB21,OBJ,obj1,OBJ71,OBJ81,OBP1,OBP5,OD11,OD21,OG11,OG21,OV11,OV21:物件 P11~P14,P’11~P’14,P61~P64:位置 Q11,Q12,Q13,Q71,Q72,Q81,Q82:箭頭 R11,R12,R13,R41,R42,R43:群組領域 R31,R71,R72:領域 ST11:舞台 TP:目標位置 V11~V13,V21,V41~V45,V51:向量

[圖1]2D音訊與3D音訊的說明圖。 [圖2]物件配置的說明圖。 [圖3]CVP與目標位置TP的說明圖。 [圖4]目標位置TP與CVP之位置關係的說明圖。 [圖5]物件配置的說明圖。 [圖6]CVP與物件位置模態的說明圖。 [圖7]構成資訊之格式例的圖示。 [圖8]音框長度索引之例子的圖示。 [圖9]CVP資訊之格式例的圖示。 [圖10]物件後設資料集之格式例的圖示。 [圖11]自由視點空間中的CVP之配置例的圖示。 [圖12]殘響物件之配置例的圖示。 [圖13]資訊處理裝置之構成例的圖示。 [圖14]內容製作處理的說明用流程圖。 [圖15]伺服器之構成例的圖示。 [圖16]傳遞處理的說明用流程圖。 [圖17]客戶端之構成例的圖示。 [圖18]再生音訊資料生成處理的說明用流程圖。 [圖19]補插處理中所使用的CVP之選擇的說明圖。 [圖20]物件3維位置向量的說明圖。 [圖21]物件3維位置向量之合成的說明圖。 [圖22]向量合成的說明圖。 [圖23]向量合成的說明圖。 [圖24]向量合成時的各向量之貢獻率的說明圖。 [圖25]相應於受聽者的臉部之朝向的受聽者基準物件位置資訊的說明圖。 [圖26]相應於受聽者的臉部之朝向的受聽者基準物件位置資訊的說明圖。 [圖27]CVP之群組化的說明圖。 [圖28]CVP群組與補插處理的說明圖。 [圖29]CVP群組與補插處理的說明圖。 [圖30]CVP群組與補插處理的說明圖。 [圖31]CVP群組與補插處理的說明圖。 [圖32]構成資訊之格式例的圖示。 [圖33]CVP群組資訊之格式例的圖示。 [圖34]再生音訊資料生成處理的說明用流程圖。 [圖35]CVP之配置模態例的圖示。 [圖36]共通絕對座標系中的CVP等之配置例的圖示。 [圖37]受聽者基準物件位置資訊與受聽者基準增益之例子的圖示。 [圖38]CVP之配置模態例的圖示。 [圖39]共通絕對座標系中的CVP等之配置例的圖示。 [圖40]受聽者基準物件位置資訊與受聽者基準增益之例子的圖示。 [圖41]被使用於補插處理的CVP之選擇例的圖示。 [圖42]受聽者基準物件位置資訊與受聽者基準增益之例子的圖示。 [圖43]受聽者基準物件位置資訊與受聽者基準增益之例子的圖示。 [圖44]構成資訊之例子的圖示。 [圖45]貢獻係數算出處理的說明用流程圖。 [圖46]正規化貢獻係數算出處理的說明用流程圖。 [圖47]正規化貢獻係數算出處理的說明用流程圖。 [圖48]再生側的CVP之選擇的說明圖。 [圖49]CVP的選擇畫面之例子的圖示。 [圖50]構成資訊之例子的圖示。 [圖51]客戶端之構成例的圖示。 [圖52]選擇性補插處理的說明用流程圖。 [圖53]電腦之構成例的圖示。

CVP1,CVP2,CVP3:控制視點

TP:目標位置

Claims (36)

1. 一種資訊處理裝置，係 具備：控制部，其係 將由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置； 針對複數個各前記控制視點，生成控制視點資訊，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊； 生成內容資料，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。
2. 如請求項1所記載之資訊處理裝置，其中， 前記後設資料中係含有前記物件之增益。
3. 如請求項1所記載之資訊處理裝置，其中， 前記控制視點資訊中係含有：表示前記空間中的從前記控制視點面向前記目標位置之方向的控制視點朝向資訊、或表示前記空間中的前記目標位置的目標位置資訊。
4. 如請求項1所記載之資訊處理裝置，其中， 前記構成資訊中係含有：表示構成內容的前記物件之數量的物件數資訊、表示前記控制視點之數量的控制視點數資訊、及表示前記後設資料集之數量的後設資料集數資訊之其中至少任1者。
5. 如請求項1所記載之資訊處理裝置，其中， 前記構成資訊中係含有：控制視點群組資訊，其係有關於，前記空間內的所定之群組領域中所包含之前記控制視點所成之控制視點群組； 前記控制視點群組資訊中，係針對1或複數個前記控制視點群組，含有：表示前記控制視點群組中所屬之前記控制視點的資訊、和用來特定前記控制視點群組所對應之前記群組領域所需之資訊。
6. 如請求項5所記載之資訊處理裝置，其中， 前記構成資訊中係含有：表示是否含有前記控制視點群組資訊的資訊。
7. 如請求項5所記載之資訊處理裝置，其中， 前記控制視點群組資訊中係含有：表示前記控制視點群組中所屬之前記控制視點之數量的資訊、及表示前記控制視點群組之數量的資訊之至少任一者。
8. 如請求項1所記載之資訊處理裝置，其中， 前記構成資訊中係含有：用來特定從前記控制視點觀看時被設成靜音物件之前記物件所需之靜音資訊。
9. 如請求項1所記載之資訊處理裝置，其中， 前記構成資訊中係含有：選擇可否資訊，其係有關於，表示從受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊之算出、或從前記受聽位置觀看時的前記物件之增益之算出中所使用的前記控制視點之選擇可否。
10. 一種資訊處理方法，係 由資訊處理裝置： 將由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置； 針對複數個各前記控制視點，生成控制視點資訊，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊； 生成內容資料，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。
11. 一種程式，係令電腦執行以下處理： 將由含有物件位置資訊的複數個前記物件之後設資料所成之後設資料集，予以複數生成，該物件位置資訊係表示，空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置； 針對複數個各前記控制視點，生成控制視點資訊，其係含有：表示前記空間中的前記控制視點之位置的控制視點位置資訊、和表示複數個前記後設資料集之中的與前記控制視點建立關連之前記後設資料集的資訊； 生成內容資料，其係含有：彼此互異之複數個前記後設資料集、和含有複數個前記控制視點之前記控制視點資訊的構成資訊。
12. 一種資訊處理裝置，係具備： 取得部，係將表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，加以取得；和 受聽者位置資訊取得部，係將表示前記空間中的受聽位置的受聽者位置資訊，加以取得；和 位置算出部，係基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊，予以算出。
13. 如請求項12所記載之資訊處理裝置，其中， 前記取得部，係將由含有前記物件位置資訊的複數個前記物件之後設資料所成之後設資料集、前記控制視點位置資訊、及表示與前記控制視點建立關連之前記後設資料集的指定資訊，加以取得； 前記位置算出部，係在彼此互異之複數個前記後設資料集之中，基於藉由前記指定資訊而被指示的前記後設資料集中所含之前記物件位置資訊，而將前記受聽者基準物件位置資訊予以算出。
14. 如請求項12所記載之資訊處理裝置，其中， 前記位置算出部，係藉由基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊的補插處理，而將前記受聽者基準物件位置資訊予以算出。
15. 如請求項14所記載之資訊處理裝置，其中， 前記補插處理係為向量合成。
16. 如請求項15所記載之資訊處理裝置，其中， 前記位置算出部，係使用根據前記受聽者位置資訊及複數個前記控制視點之前記控制視點位置資訊所求出的權重，來進行前記向量合成。
17. 如請求項14所記載之資訊處理裝置，其中， 前記位置算出部，係基於前記物件不會變成靜音物件的前記控制視點之前記控制視點位置資訊及前記物件位置資訊，而進行前記補插處理。
18. 如請求項17所記載之資訊處理裝置，其中， 前記取得部，係還將用來特定從前記控制視點觀看時被設成前記靜音物件之前記物件所需之靜音資訊，加以取得； 前記位置算出部，係基於前記靜音資訊，而將前記物件不會變成前記靜音物件的前記控制視點，加以特定。
19. 如請求項17所記載之資訊處理裝置，其中， 前記取得部，係針對複數個前記控制視點，還將從前記控制視點觀看時的前記物件之增益，加以取得； 前記位置算出部，係基於前記增益，而將前記物件不會變成前記靜音物件的前記控制視點，加以特定。
20. 如請求項14所記載之資訊處理裝置，其中， 前記取得部，係還將關於前記受聽者基準物件位置資訊之算出中所使用的前記控制視點之選擇可否的選擇可否資訊，加以取得； 前記位置算出部，係基於藉由前記選擇可否資訊而被設成可選擇的前記控制視點之中的已被受聽者所選擇的前記控制視點之前記控制視點位置資訊及前記物件位置資訊，而進行前記補插處理。
21. 如請求項20所記載之資訊處理裝置，其中， 前記位置算出部，係基於未藉由前記選擇可否資訊而被設成可選擇的前記控制視點之前記控制視點位置資訊及前記物件位置資訊、和已被前記受聽者所選擇的前記控制視點之前記控制視點位置資訊及前記物件位置資訊，而進行前記補插處理。
22. 如請求項12所記載之資訊處理裝置，其中， 前記受聽者位置資訊取得部，係將表示前記空間中的受聽者之朝向的受聽者朝向資訊，加以取得； 前記位置算出部，係基於前記受聽者朝向資訊、前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將前記受聽者基準物件位置資訊予以算出。
23. 如請求項22所記載之資訊處理裝置，其中， 前記取得部，係針對複數個前記控制視點，還將表示前記空間中的從前記控制視點面向前記目標位置之方向的控制視點朝向資訊，加以取得； 前記位置算出部，係基於複數個前記控制視點之前記控制視點朝向資訊、前記受聽者朝向資訊、前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將前記受聽者基準物件位置資訊予以算出。
24. 如請求項12所記載之資訊處理裝置，其中， 前記取得部，係針對複數個前記控制視點，還將從前記控制視點觀看時的前記物件之增益，加以取得； 前記位置算出部，係藉由基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記增益的補插處理，而將從前記受聽位置觀看時的前記物件之增益，予以算出。
25. 如請求項24所記載之資訊處理裝置，其中， 前記位置算出部，係基於從以所定之感度係數作為指數的，從前記受聽位置到前記控制視點為止之距離的冪乘值之倒數所求出的權重，而進行前記補插處理。
26. 如請求項25所記載之資訊處理裝置，其中， 前記感度係數，係針對每一前記控制視點，或針對每一前記控制視點所看到的前記物件，而被設定。
27. 如請求項24所記載之資訊處理裝置，其中， 前記取得部，係還將關於從前記受聽位置觀看時的前記物件之前記增益之算出中所使用的前記控制視點之選擇可否的選擇可否資訊，加以取得； 前記位置算出部，係基於藉由前記選擇可否資訊而被設成可選擇的前記控制視點之中的已被受聽者所選擇的前記控制視點之前記控制視點位置資訊及前記增益，而進行前記補插處理。
28. 如請求項27所記載之資訊處理裝置，其中， 前記位置算出部，係基於未藉由前記選擇可否資訊而被設成可選擇的前記控制視點之前記控制視點位置資訊及前記增益、和已被前記受聽者所選擇的前記控制視點之前記控制視點位置資訊及前記增益，而進行前記補插處理。
29. 如請求項12所記載之資訊處理裝置，其中， 還具備：演繹處理部，係基於前記物件的音訊資料、和前記受聽者基準物件位置資訊，來進行演繹處理。
30. 如請求項12所記載之資訊處理裝置，其中， 前記受聽者基準物件位置資訊係為，藉由以前記受聽位置為原點的極座標系之座標而被表現的，表示前記物件之位置的資訊。
31. 如請求項12所記載之資訊處理裝置，其中， 前記取得部，係還將關於前記空間內的所定之群組領域中所包含之前記控制視點所成之控制視點群組的控制視點群組資訊，加以取得，該控制視點群組資訊係針對1或複數個前記控制視點群組，含有表示前記控制視點群組中所屬之前記控制視點的資訊、及用來特定前記控制視點群組所對應之前記群組領域所需之資訊； 前記位置算出部，係基於包含前記受聽位置的前記群組領域所對應之前記控制視點群組中所屬之前記控制視點的前記控制視點位置資訊及前記物件位置資訊、和前記受聽者位置資訊，而將前記受聽者基準物件位置資訊予以算出。
32. 如請求項31所記載之資訊處理裝置，其中， 前記位置算出部，係取得構成資訊，其係含有：含有前記控制視點位置資訊的複數個各前記控制視點之控制視點資訊、和表示是否含有前記控制視點群組資訊的資訊； 前記構成資訊中，係隨應於表示是否含有前記控制視點群組資訊的資訊，而含有前記控制視點群組資訊。
33. 如請求項31所記載之資訊處理裝置，其中， 前記控制視點群組資訊中係含有：表示前記控制視點群組中所屬之前記控制視點之數量的資訊、及表示前記控制視點群組之數量的資訊之至少任一者。
34. 如請求項12所記載之資訊處理裝置，其中， 前記取得部，係取得構成資訊，其係含有： 含有前記控制視點位置資訊的複數個各前記控制視點之控制視點資訊；和 表示構成內容的前記物件之數量的物件數資訊、表示前記控制視點之數量的控制視點數資訊、及表示由含有前記物件位置資訊的複數個前記物件之後設資料所成之後設資料集之數量的後設資料集數資訊之其中至少任1者。
35. 一種資訊處理方法，係 由資訊處理裝置： 將表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，加以取得； 將表示前記空間中的受聽位置的受聽者位置資訊，加以取得； 基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊，予以算出。
36. 一種程式，係令電腦執行以下處理： 將表示空間中的從控制視點面向目標位置之方向視為正中面之方向時的從前記控制視點所看到的物件之位置的物件位置資訊、和表示前記空間中的前記控制視點之位置的控制視點位置資訊，加以取得； 將表示前記空間中的受聽位置的受聽者位置資訊，加以取得； 基於前記受聽者位置資訊、複數個前記控制視點之前記控制視點位置資訊、及複數個前記控制視點之前記物件位置資訊，而將表示前記受聽位置所看到的前記物件之位置的受聽者基準物件位置資訊，予以算出。

Images