JP6531257B2 - 情報伝達補強システム。 - Google Patents
情報伝達補強システム。 Download PDFInfo
- Publication number
- JP6531257B2 JP6531257B2 JP2017243919A JP2017243919A JP6531257B2 JP 6531257 B2 JP6531257 B2 JP 6531257B2 JP 2017243919 A JP2017243919 A JP 2017243919A JP 2017243919 A JP2017243919 A JP 2017243919A JP 6531257 B2 JP6531257 B2 JP 6531257B2
- Authority
- JP
- Japan
- Prior art keywords
- performer
- motion
- group
- audience
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title claims description 123
- 230000002787 reinforcement Effects 0.000 title claims description 54
- 230000033001 locomotion Effects 0.000 claims description 106
- 238000001514 detection method Methods 0.000 claims description 56
- 238000004364 calculation method Methods 0.000 claims description 31
- 230000009471 action Effects 0.000 claims description 20
- 238000012546 transfer Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 230000008054 signal transmission Effects 0.000 claims description 11
- 230000019771 cognition Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 57
- 230000006854 communication Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 35
- 230000000694 effects Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 29
- 230000000007 visual effect Effects 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 230000003993 interaction Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000002441 reversible effect Effects 0.000 description 8
- 230000033764 rhythmic process Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 241001310793 Podium Species 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000002889 sympathetic effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000005728 strengthening Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000000763 evoking effect Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 244000145845 chattering Species 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009291 secondary effect Effects 0.000 description 2
- 230000015541 sensory perception of touch Effects 0.000 description 2
- 238000001179 sorption measurement Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000000222 aromatherapy Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000005351 kimble Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Illuminated Signs And Luminous Advertising (AREA)
- Optical Communication System (AREA)
Description
<技術分野>
本発明は複数アイドルのコンサート、選挙で各政党党首が演壇にたつ政治討論会など複数人の演者(P(i) i=1,2,・・)が複数人の観客(A(j) j=1,2,・・)に対し情報伝達する場にて、『演者のひとり(P(ix))と観客のひとり(A(jy))との一体感』を強化して共感空間を『共創する』ための情報伝達を補強するシステムに関する。
["ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す]
演者及び観客双方が体感する演者のひとり(P(ix))と観客のひとり(A(jy))との一体感をより強め、さらなる芸術的愉悦または(共感による)思想や意見の一致、連帯を強化するために役立てる工学的システムの提供を目的とする。
演者も含めた、演者および観客および"群"全体へ視覚・聴覚に訴えかける大掛かりな舞台装置等々をもちいた劇場向けシステムもあるが、これも演者と観客との効果的な情報伝達を助けるものとは言い難い、単なる演出技法に過ぎないものであった。
J-PLATPATを利用して、キーワード「複数のアイドル 複数の演奏者 複数の演技者 複数アイドル 複数演奏者 複数演技者」、「ステージ 演壇 会場」、「発光 点滅 LED ペンライト」等々をピックアップし、類似の技術が記載されている特許文献を抽出した。その結果、以下の特許文献1から3の文献を発見した。(調査の実施日は、2017年10月10日)
しかしながら、前述のような、「"ひとりからひとりへの"情報伝達を補強する」という観点から構築されたシステムは発見できなかった。
本案システムには、内照式看板(特許文献7−8参照)を改良した内照式情報表示器が好適に用いられる。これは、いわゆる"100均ショップ"で購入できる樹脂製ファイル・フォルダーと、それに収納された発光体、たとえばルミカライト(登録商標)やサイリューム(登録商標)等の棒状ケミカルライト(化学発光棒状光源)、あるいはキングブレード(登録商標)等の棒状LEDライトによって、廉価かつ軽量の内照式看板となしたものである。
しかしながら、当該内照式情報表示器と類似した情報を開示しているウェッブサイトは発見できず、かろうじて発見できた非特許文献11には、ペンライトの表示交換の工夫が示されているものの、複数枚の表示シートに対応できるものではなかった。
その派生課題に関する文献調査も行った。その結果、非特許文献12−18を得ることができ、そのうち非特許文献12−17は、自動切替えに用いる動作・音声の"類似"や"模倣"の定量化に関して記載されたものであった。
非特許文献18は、親密二人ペア"Dyads"の自発的な類似動作が、良好な情報伝達のみならず創造性までもたらし重要だ、と示唆がなされており、本発明のモチベーションをあげた文献として参考に挙げた。
たとえば複数アイドルの・ライブステージやコンサート、選挙で各政党党首が演壇にたつ政治討論会など、複数人の演者(P(i) i=1,2,・・)が複数人の観客(A(j) j=1,2,・・)に対し情報伝達する場にて、『演者のひとり(P(ix))と観客のひとり(A(jy))との一体感』を強化して共感空間を『共創する』ための情報伝達を補強するシステムの提案を課題とする。["ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す]
すなわち、"演者のひとり(P(ix))と観客のひとり(A(jy))が体感する一体感"をより強め、さらなる芸術的愉悦または(共感による)思想や意見の一致、連帯を強化するために役立てる工学的なシステムの提供を課題とした。
また、副課題は以下である。すなわち、複数アイドルのコンサートで気が多い観客が、複数アイドルのどのメンバー応援か、政党党首が演壇にたつ政治討論会で柔軟思想の観客が、演壇にたつ政党党首の誰の意見に賛同するか、が時時刻刻として変化する場合がある。
身近な例としては、公開クイズショーの一問一答で、演者群が回答者となって観客群が回答群のなかから一つを選んで賛同(応援)する、といった場合である。この場合は、明らかに一問一答ごとに賛同(応援)相手が変化する。
また、観客動作・観客声援の分析にて、観客個別の"ノリノリ度(気分高揚度・ハイテンション度)"、演者個別の応援受動の多さ("人気度")を定量化して、各度数にて場を盛り上げる演出の提案も副課題とした。
[ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す]
[1] 前記演者(P(i) i=1,2,・・)に、該演者の(動作と音声による)伝達情報を検知する伝達情報シグナル検知手段(S(i) i=1,2,・・)。
[2] 前記伝達情報シグナル検知手段が検知した前記演者の(動作と音声による)伝達情報シグナルデータ(Sdata(i) i=1,2,・・)から、該伝達情報シグナルデータの特徴を抽出して伝達情報シグナル特徴データ(Vdata(i) i=1,2,・・)に変換する伝達情報シグナルの特徴抽出手段(SV)。
[3] 前記演者から前記観客にむけて前記の伝達情報シグナル特徴データ(Vdata(i) i=1,2,・・)を発信して該発信情報を伝送する複数の情報発信手段兼伝送手段(C(i) i=1,2,・・)。
[4] 前記応援グッズ(G(ix))に、
演者の(動作と音声による)伝達情報にもとづいて物理的に作動する物理作動手段(PA)と、前記複数の情報発信手段兼伝送手段のうちひとつ(C(ix))を選択し、該情報発信手段兼伝送手段(C(ix))より前記の伝達情報シグナル特徴データのうちひとつ(Vdata(ix))を選択的に受信する選択的受信手段(R)と、前記選択的受信手段(R)で受信された伝達情報シグナル特徴データ(Vdata(ix))にもとづいて前記物理作動手段(PA)の物理的作動を制御する手段(PSC)が配設されている。
そして、アクチュエイション(動作・物質生成)技術では、視覚アクチュエイションは画像生成機器、聴覚アクチュエイションは音声発生機器が十分な実用可能レベルである一方、触覚は手触り・風合いなど細部がいまだに研究課題が多く、味覚と臭覚は合成すべき化学物質自体が研究段階である。
ただし、触覚はバイブレータによる低周波数物理振動の触覚アクチュエータは利用可能なので、その利用は想定している。
たとえば、障害をもつ演者が文字・図形を提示して演技(情報伝達)する場合に、情報提示する機器、および、提示された文字・図形の情報を認識する機器は実用的なものがある。
とは言うものの、いまのところこれらは研究段階であるので、以下の記載は文字・図形による情報伝達も含む、主として"動作と音声"を認知対象とした視覚と聴覚による情報伝達を対象とし、触覚はバイブレータによる低周波数物理振動によるアクチュエータも利用できる、として説明する。
その場合、演者から離隔した部位に配備されたカメラで動画像を撮影して、その動画像データを分析して動作データを抽出して利用すればよい(図17)。
音声についても演者から離隔した部位に設置されたマイクでひろえばよい。
遠隔設置されたカメラのビデオ動画像から動作のデータを得ることは公知の技術で可能であるし、音声についても、遠隔設置されていても音声データを採取できる高性能マイクも公知である。
[1] 前記演者(P(i) i=1,2,・・)の伝達情報を検知する伝達情報シグナル検知手段(S(i) i=1,2,・・)。
[8] 前記観客のひとり(A(jy))から演者に逆伝達すべき共感情報を検知する共感情報シグナル検知手段(SY)。
さて(請求項2、図16)、本情報伝達補強システムにて、前述の基本構成に加え、複数人の演者(P(i) i=1,2,・・)から演者のひとり(P(ix))を選択する選択手段(Ex)も兼備されるのが好適である。
図16に、演者のひとり(P(i1)[x=1]←→演者のひとり(P(i2))[x=2]の切替え選択を示した、この切替えが選択手段(Ex)により行われる。
その一方、システムが観客のひとり(A(jy))に対しての情報伝達を補強するのに適切な演者のひとり(P(ix))を自動選択する第二態様もあって、これも採用できる。
いずれにせよ(マニュアルであれ自動であれ)、複数人の演者(P(i) i=1,2,・・)から演者のひとり(P(ix))を選択する選択手段(Ex)の兼備が望ましい。
また(請求項3、図1−4)、前記応援グッズ(G(ix))に、演者に向かって観客の共感を認知させる認知信号を発信する、共感認知信号発信手段(SG)が兼備され、前記の物理作動手段(PA)の物理的作動を制御する制御手段(PSC)が共感認知信号発信手段(SG)の共感認知信号発信も制御するものであってもよい。観客からこの共感認知信号が発信され、それを演者側が認知する。すなわちこれが演者←→観客双方向の情報伝達補強である。
演者からの情報伝達の仮想的な経路"PAq"に対し逆経路である"SGq"が、共感認知信号発信手段(SG)によって形成される。演者が観客と一体感を共感する経路である。両経路("PAq"と"SGq")で双方向の強い情報伝達補強が達成される。
発光体である応援グッズの典型例はペンライトで、図8はペンライトの応援イメージを演者側から観た状況である。
図8は、4人の演者の固有色で発光するペンライトによるシステム稼働状況を演者側から観た模式図である。図8(a)では、4人の演者へほぼ均等に応援がなされていているが、図8(b)では、(黒色で示す)P(1)への応援が優勢であることが一目瞭然にわかる。
[5] 前記の、演者に向かって観客の共感を認知させる認知信号を発信する共感認知信号発信手段(SG)の共感認知信号を受信する共感認知信号受信手段(RX)。
[6] 前記共感認知信号受信手段(RX)で受信された共感認知信号にもとづいて [7]の物理作動手段(PAX)の物理的作動を制御する制御手段(PCX)。
[7] [6]の物理的作動を制御する制御手段(PCX)によって制御され物理的に作動する物理作動手段(PAX)。
[8] 前記観客のひとり(A(jy))に接触又は近接配備され、該観客の(動作と音声によってなる)演者に逆伝達すべき共感情報を検知する共感情報シグナル検知手段(SY)。
[9] 前記共感情報シグナル検知手段が検知した前記観客の(動作と音声による)共感情報シグナルデータ(SYdata)から、該共感情報シグナルデータの特徴を抽出して共感情報シグナル特徴データ(VYdata)に変換する共感情報シグナルの特徴抽出手段(SVY)。
[8]の共感情報シグナル検知手段(SY)は、観客に接触又は近接配備されていてもよいし、観客から遠隔部位に配設してもよい。すなわち、遠隔部位から動作をカメラで動画像を撮影して動画像から動作データを抽出してもよい。
また、前記応援グッズ(G(ix))が前記発光体(L)を発光源として文字・図形情報を発光表示する内照式情報表示器(H)であり、[8][9]が、内照式情報表示器(H)に配設されたものであってもよい
本情報伝達補強システムは、以上のようにひとりの観客対ひとりの演者間の情報伝達補強を好適な適用例とするが、個人の集合であるグループ間の情報伝達補強も好適に適用できる。すなわち、観客の集団(グループ)対ひとりの演者、または、ひとりの観客対演者の集団(グループ)、あるいは、観客の集団(グループ)対演者の集団(グループ)として、本案同様の情報伝達強化システムを構成してもよい。
また、本情報伝達補強システムを舞台装置と連動させて、観客から演者への情報伝達にさらなる補強因子を追加してもよい。具体例としては、演者への観客からの応援が多い場合に演者にスポットライト照明を浴びせて応援集中演者が光り輝いた状態にする、といった照明装置の演出技法との連動連携が挙げられる。
また、演者への観客からのノリノリの応援状況や応援で感激している演者を撮影した画像を劇場の大型モニターに映し出す、といった映像(ビジュアル)舞台装置との連動連携も盛り上げ効果があって、情報伝達もより強化されるので好適である。
同様に、図1(b)には総勢N人の演者のなかから特定のひとり(P(ix))からのシグナルS_data(i)を、特徴抽出手段(SV)で特徴を抽出して、シグナル特徴データV_data(i)を得て、情報発信手段兼伝送手段(C(i))で送信することを示している。
そして、観客の応援グッズ(G(ix))の、選択的受信手段(R)によって、ひとつの(C(ix))を選択して受信することが示されている。
無線通信は、種々の周波数帯域の電波通信のみならず、光通信(特に赤外線領域の赤外通信)、音波通信(特に超音波領域の超音波通信)のそれぞれ無線通信技術を援用した通信装置を適宜利用すればよい。
ここで補強されるのは、演者→観客への情報伝達のながれ"PAq"である。
この演者←→観客『双方向』の情報伝達補強の態様と『単方向』との差異は補足して後述する。そして、これも後述する"モダリティ(modality)"変換を踏まえた情報伝達の流れを図5に示した。さらにそれを補足説明する図として図30を描いたので参照されたい。
そして、これを情報発信手段兼伝送手段"C(i)"によって、発信・伝送するというフローである。この伝送情報は特定の観客のみが、伝達情報シグナル特徴データの選択的受信手段"R"で受信する。受信された伝達情報シグナル特徴データVdata(i)によって、いわゆる"モダリティ"を変換された出力を特定の観客が受けるということになる。
ここでいう"モダリティ(modality)"とは、感覚・五感を意味する外語で、視覚、聴覚、触覚などの感覚を用いて外界を知覚する手段、すなわち、感覚に働きかける情報伝達手段を示す。
"モダリティ(modality)"を変換するとは、感覚に働きかける個々の感覚を同一感覚で維持したまま伝達形態を変えることはもちろん、ひとつの感覚から他の感覚に変えることも含まれる。
後者の他の感覚に変える変換はたとえば、視覚情報である光のピカピカを、聴覚情報のピカピカという言葉で発声したり、低周波機械振動のビリビリ振動に変えてバイブレータを振動させたりすることである。
図中の観客の持つ応援グッズ(G(ix))と、演者の応援受動グッズ"GX"との対称関係を明確化したものを図30に示す。
このように対称的に双方向に、かつまた、"モダリティ(modality)"変換された上で行うことで、演者のひとり(P(ix))と観客のひとり(A(jy))との一体感をより強め、さらなる芸術的愉悦または(共感による)思想や意見の一致、連帯を強化できる。
まずは、演者から観客への『単方向』の”補強”を説明する。
特に、他の感覚に"モダリティ(modality)"変換されることが、「おや、これはどういうことだ」「なんだかイイカンジ」といった新鮮な感覚を与える。これが、情報伝達の補強が有効になされる効果の源泉である。
具体的には、前述の、視覚情報である光のピカピカが、聴覚情報のピカピカという言葉で発声させたり、低周波機械振動のビリビリ振動に変えてバイブレータを振動させたりすることから生じる「なんだかイイカンジ」である。
観客は、従来同様の演者の歌声・ダンスの視覚聴覚情報に加え、時間的にほぼ同時に、持っているペンライトのピカピカ発光の視覚情報、バイブレータのビリビリ振動の触覚情報を受ける。
本システムのさらなる特徴として、観客と演者との一体感が共創されるべく、経路"PAq"とともに逆経路の"SGq"が形成されることを強調しておきたい。
この"SGq"の形成には、演者の視覚聴覚による非工学的なものと、工学装置が絡むシステム的なものがある。"SGq"は、図1−図4にて図の"上→下への矢印"で示されている。
この"SGq"は、演者に観客の共感認知信号を発信する手段"SG"によって生じる経路である。共感認知信号を発信する手段"SG"のもっとも簡素な例は、観客が持つ応援グッズが具備するペンライトなどの発光手段の発光である。
つまり、演者が自らの視覚で見て共感するということで、その視覚による発光認知→観客との共感喚起、を"SGq"経路として示しており、注意すべきは、その経路"SGq"自体には工学的な情報伝送装置等の伝達手段はないということである。
すなわち、前記物理作動手段(PA)の物理的な作動の対象が発光であると共に、前記共感認知信号発信手段(SP)の共感を認知させるために発信する認知信号も発光であり、かつ、発光体(L)が応援グッズ(G(ix))に配設されていて、前記物理的作動と共感認知信号発信を制御する手段(PSC)が前記発光体(L)の発光を制御するという、演者←→観客"準"双方向情報伝達補強システムである。
これに対し本案は、"準"双方向情報伝達補強にさらなる工夫を加えている。すなわち、演者(P(i))に個別の色彩(Pcolar(i))が割り振られ、該個別色彩(Pcolar(ix))にもとづいて発光制御する態様が好適である(図8参照)。
そして、その発光で演者に個別の文字(Ptext(i))あるいは個別の図形(Pgraphic(i))が表示され、その表示が目に入るとなると、さらなる共感が喚起される。(図9参照)
個別文字(Ptext(i))あるいは個別図形(Pgraphic(i))の発光は、たとえば、図14−15に例示されるファイル・フォルダー型内照式情報表示器(H)を利用する態様が好適である。
なお、聴覚で、たとえば、劇場に配設したスピーカで演者への逆経路情報伝達"SGq"経路を形成するアイデアはある。
すなわち、高指向性の音波発信ができる特殊スピーカで、劇場内で個別に各演者へ観客の音声を伝達することは不可能ではなく、これを援用すれば、前記の視覚による実施例と同様の態様を実施可能である。
高度かつ緻密に音場設計された劇場での緻密な実施で経済性も問題だが、将来的にコストダウンされれば実用化の可能性をもっている。
4人メンバーのアイドルグループ模擬コンサートにてデータを採取すると同時に模擬コンサート中のビデオを撮影した。
被験者がビデオを観られる状態にて採取データによって本システムを作動させ、被験者32人それぞれにアイドルの一人のメンバーを割り当て、ペンライト型応援グッズによって被験者にアイドルを応援させる実験を行った。
被験者が持つペンライトは、[1]一定のリズムで振る、[2]特定の演者一人の動きに対応して振る、とし、質問に回答してもらった結果が図6であって、臨場感がより感じられた等の良好な効果が検証できた。
この図7は、実施状況の参考写真を図13に示す4人グループのアイドルのステージコンサートにて、本案システムを動作させたときに採取したデータを模式的に示したものである。
ここで、本システムによって、演者P(1)に対して観客A(1)、演者P(2)に対して観客A(2)、演者P(3)に対して観客A(3)、演者P(4)に対して観客A(4)への情報伝達が補強されている。
それに対して、比較例である最下欄の従来システムでは、メリハリがなくほぼ常時中程度の動作音声の活性が認められるものの、特定の演者と特定の観客との動作音声の活性タイミングの相関は全く認められず、特定の演者と特定の観客との情報伝達の補強はなされていないと考えられる。
図8が、4人の演者群(P(1)〜P(4))それぞれに個別の色彩(Pcolar(1)〜Pcolar(4))が割り振られていて、前記物理的作動と共感認知信号発信を制御する手段(PSC)による発光体(L)の発光制御が、演者のひとり(P(ix))の個別の色彩(Pcolar(ix))にもとづいて発光制御している例で、演者側から観客群を見た状況である。
図8(a)では、4人の演者の応援者はほほ均等であるが、図8(b)ではPcolar(1)の黒色が多く見えるので、演者P(1)の応援者が多く、人気が優勢であることがわかる。
すなわち図18にては、各観客が応援グッズ(G(ix))として選択手段(Ex)を兼備した棒状光源であるペンライトを所持していて、その選択手段(Ex)にて、自らの意思に基づき人為的に(マニュアルで)情報伝達補強を望む演者のひとり(P(ix))を選択できる。応援グッズ(G(ix))に兼備される選択手段(Ex)は、図18に図示されるようなマニュアル(手動)選択スイッチ(押し釦や選択スイッチ等)であればよい。
これは、左方の時点から右方の時点間で各観客が応援グッズ(G(ix))の選択手段(Ex)で演者の選択を演者P(1)に切り替えた結果である。
さらに、演者への応援受動程度(人気度)の変化がどのタイミングで起こるのかも、演者から一目瞭然にわかる。したがって、各演者はどのような演技が観客にウケるのかがとてもよくわかり、オン・ザ・ジョブの演技トレーニングとなって演技の向上に役立つ。
そして図19−20が、前記図9のケースにて、応援グッズ(G(ix))に演者群(P(1)〜P(4))から演者のひとり(P(ix))を選択する選択手段(Ex)を兼備させ、それをコンサートや講演会の観客に利用させた実施例である。
観客群は、内照式情報表示器(H)の選択手段(Ex)にて、自らの意思に基づき人為的に(マニュアルで)情報伝達補強を望む演者のひとり(P(ix))を選択できる。
反対側の面でもよいというのは、演者群を応援中には、演者群側に各演者の個別の文字・個別の図形を向けているので、選択手段(Ex)はその反対側の観客側にあったほうが操作しやすいからである。
図20の左方の時点では、応援対象の演者群(P(1)〜P(4))に応援受動程度(人気度)に差異がないが、図20の右方の時点では、"ハートマーク"を固有図形とした演者P(1)の応援受動程度(人気度)が高まっていることがわかる。
これは、左方の時点から右方の時点間で各観客が内照式情報表示器(H)の選択手段(Ex)で演者の選択を切り替えた結果である。
したがって、各演者はどのような演技が観客に受けるのかがとてもよくわかり、オン・ザ・ジョブの演技トレーニングとなって演技の向上に役立つという従来技術では得られない副次効果が得られる。
当然ながら、たとえば柔軟思想の観客が、政党党首が演壇にたつ政治討論会で政党党首の誰の意見に賛同するか、が時時刻刻と変化する場合も同様に、政党党首の政策説明や方針演説にてどのような説明の仕方が観客に受けいれられるのかがとてもよくわかる。
オン・ザ・ジョブの説明・演説トレーニングとなって、説明や演説の説得力向上につながる、という従来システムでは得られない副次効果が得られる。
ここまで記載した、『演者→観客『単方向』の"補強"』と『演者←→観客"準"双方向"補強"』に対比して、『演者←→観客双方向"補強"』を説明する。
『単方向』では、観客から演者への伝達はなく、"準"双方向"では演者の視覚が伝達を担っていた。これらに対して、演者の視覚の部分も工学的手段としたのが、『双方向』"補強"である。
[5] 前記の、演者に向かって観客の共感を認知させる認知信号を発信する共感認知信号発信手段(SG)の共感認知信号を受信する共感認知信号受信手段(RX)。
[6] 前記共感認知信号受信手段(RX)で受信された共感認知信号にもとづいて [7]の物理作動手段(PAX)の物理的作動を制御する制御手段(PCX)。
[7] [6]の物理的作動を制御する制御手段(PCX)によって制御され物理的に作動する物理作動手段(PAX)。
なおここで、[5][6][7]と観客の持つ応援グッズ(G(ix))との対称関係を簡単化するため、"GX"を「演者側応援受動グッズ」と定義する。
すなわち、"GX"は、好ましくは演者(P(i) i=1,2,・・)に接触又は近接して配備される上記の[5][6][7]、および、同様に好ましくは演者(P(i) i=1,2,・・)に接触又は近接して配備されるS(i)を加えた手段の総称である。
[5][6][7]は、[5]=RX、[6]=PCX、[7]=PAXであるので、"GX"は、RXとPCXとPAXにS(i)を加えたものとなる。もちろん"GX"には、演者に接触又は近接して配備されないビデオカメラなども含まれる。
図30が、応援グッズ(G(ix))と"GX"の対称関係を示すことを主眼に描いたものであるので参照されたい。
"GX"が、小型化されたデバイスとして構成され、軽量なポシェット等々や衣装に組み込んで、演者の演技の妨げにならないようならとても好適である。すなわち演者の小道具であるブレスレット/リストバンド等々に小型軽量化して組み込むのがよい。もちろん、演者の衣装、帽子、靴、あるいは、いわゆる被り物のなかに組み込んでもよい。
図30(b)に、情報処理手段を遠隔地のパソコン(personal computerと図示)に置き、接触又は近接配備するデバイスを極力小型軽量化し無線通信によって遠隔地にて情報処理する態様を例示した。
また、演者(P(i) i=1,2,・・)が発光体(L)を発光源として文字・図形情報を発光表示する内照式情報表示器(H)を所持し、[7]の物理作動手段(PAX)の物理的な作動の対象が発光で、該物理作動手段(PAX)が前記発光体(L)の発光を制御する、という態様も好適である。
すなわち、内照式情報表示器(H)を演者が所持する小道具として、内照式情報表示器(H)が、共感認知信号受信手段(RX)・物理作動手段(PAX)の物理的作動を制御する制御手段(PCX)・物理作動手段(PAX)の一部、または、全部を内蔵している、という態様である(図10(b)参照)。
そして、応援グッズ(G(ix))に配設されるべき、物理作動手段(PA)・選択的受信手段(R)・制御手段(PSC)も内照式情報表示器(H)に配設される態様としてもよい。
このように、さきに定義した応援受動グッズ"GX"が、観客の応援グッズG(ix)と対称的に具備され、これが双方向での情報伝達(共感認知伝達)を補強するものである。
本発明システムの観客からの情報逆伝達に要する構成要素を再記する。すなわち;
応援グッズ(G(ix))に、演者に向かって観客の共感を認知させる認知信号を発信する、共感認知信号発信手段(SG)が兼備されており(請求項3)、さらに、
本システムにおいて(請求項8)、さらに以下の[8]と[9]が兼備され、前記の共感認知信号発信手段(SG)の共感認知信号が、下記[9]の、共感情報シグナル特徴データ(VYdata)にもとづく信号であるという構成要素群である。
[8] 前記観客のひとり(A(jy))から演者に逆伝達すべき共感情報を検知する共感情報シグナル検知手段(SY)。
[9] 前記共感情報シグナル検知手段が検知した前記観客の共感情報シグナルデータ(SYdata)から、該共感情報シグナルデータの特徴を抽出して共感情報シグナル特徴データ(VYdata)に変換する共感情報シグナルの特徴抽出手段(SVY)。
発光制御手段(LC)は、前記のPAとSGの作動と発信を制御する手段(PSC)に含まれるものである。
そして、Vの振動も、C(i)を経由して選択的受信手段(R)で選択的に受信された、Vdata(i)にもとづいて制御される。
振動制御手段(VC)は、前記のPAとSGの作動と発信を制御する手段(PSC)に含まれるものである。
[1] 前記演者(P(i) i=1,2,・・)の伝達情報を検知する伝達情報シグナル検知手段(S(i) i=1,2,・・)。
[2] 前記伝達情報シグナル検知手段が検知した前記演者の伝達情報シグナルデータ(S_data(i) i=1,2,・・)から、該伝達情報シグナルデータの特徴を抽出して伝達情報シグナル特徴データ(V_data(i) i=1,2,・・)に変換する伝達情報シグナルの特徴抽出手段(SV)。
[3] 前記演者から前記観客にむけて前記の伝達情報シグナル特徴データ(V_data(i) i=1,2,・・)を発信して該発信情報を伝送する複数の情報発信手段兼伝送手段(C(i) i=1,2,・・)。
さて、図11(a)は本システムの相乗効果を示すもので、観客群にて観客のひとり(A(jy))の周囲に波及する効果があることを示すものである。
そして、図11(b)は、(演者←→観客双方向"補強"で)演者群にて演者のひとり(P(ix)) の周囲に波及する効果があることを示すものである。
同様に、特定演者の、双方向の本システムによる特定観客との一体感強化によって、その特定演者を基点として、周囲の演者群とも共感空間が『共創』されていくと考えられる。
同様に図11(a)の右方は、演者から特定観客に送られたジングル音(Jingle sound)信号によって、周囲の観客群の興味が喚起されて、共感空間『共創』のきっかけになる例である。
観客に送られるピカピカ信号は、演者(P(ix))のノリノリのパフォーマンスの絶頂に応援観客のG(ix)に送るのがよい。
かかるジングル音(Jingle sound)も、演者(P(ix))のノリノリのパフォーマンスの絶頂に応援観客のG(ix)へ送るジングル信号にて発生させるとよい。大音量ではやかましいだけだが、適切な音量で応援観客のみならず、周囲の観客にも聞こえるようにすると盛り上げ効果がある。
すなわち、前記のような観客の盛り上がりにて強い共感認知信号が発信され、それを演者側の共感認知信号受信手段(RX)が受信し、物理作動手段(PAX)が物理的作動を制御する手段(PCX)を作動させる。
この発光が、演者"7"ちゃん((P(i7)))の周囲の演者にも視覚認知され、"7"ちゃんには負けられない!!、と演者間の競争心を喚起して、演者群のパフォーマンスが向上する例である。
この発生音が、演者"9"ちゃん((P(i9)))の周囲の演者にも聴覚認知され、"9"ちゃんガンバってる ワタシもガンバる!!!"と連帯感を高めて、演者群のパフォーマンスが向上する例である。
そして、演者群パフォーマンス向上が、コンサート会場や劇場全体に波及して大きな共感空間『共創』のきっかけともなる。
図12は、本システムの通信構成例であって、図12(a)は、無線・赤外線などで観客と演者に付帯させた通信ハードウェア同士が直接に通信する構成例であり、図12(b)と(c)はパソコンをコントロール基点として受送信する構成例である。
天井や演壇、そして図12(c)のように、ステージとは逆側の、映画館では映写室と呼べる部位、すなわち観客からみて背面という意味合いで「バックサイド」と呼べるような位置にパソコンを置いてもよい。
そして、図12(d)はいわゆるIoTデバイスを利用したインターネット経由の通信構成例である。
たとえば、天井からの俯瞰カメラ画像によって、演者や観客の動きを捉え、送受信の必要な状況を察知し、そのとき、および、その対象部分だけに(時間空間的に)高速度で安定確実な大容量情報通信を集中的にセットアップするようにするのも好適である。
応援対象の切替えの第二態様は、システムによる自動切替えである。
前提条件として、前述の"双方向"システムの援用にて、演者及び観客双方の伝達情報ないしは共感発信情報の生データおよびそれらの特徴抽出データが入手される、とする。
伝達情報ないしは共感発信情報は、主として動作・音声データであって、それぞれの生データおよびそれらの特徴抽出データである(図21−22)。
すなわち、演者の動作と観客の伝達情報ないしは共感発信情報がどれだけ似ているか、を定量化、あるいは、観客の共感発信情報が、演者の伝達情報に影響されて、どれだけ真似されている(模倣されている)か、を定量化して優劣比較ができる得点として算出できる。
この得点で情報伝達補強する演者・観客ペアを自動選択する。
分析工程群を後述するが、そのまえに"類似度"について説明する。
そして、非特許文献18には、"Dyads"という二人(ペア)の自然な動作類似が、創造性の発揮にまで至る重要な"自生する(自然発生的に起こる)"、"相互行為(複数人による連動動作)"であるとしていて、自然に類似動作する二人(ペア)は、他の二人(ペア)よりも潜在的に創造にまで至る可能性を秘めていると示唆している。
以下の記述で、"類似"/"模倣"程度の得点を"類似度"と統一表記する。"類似度"は"模倣度"と換言してもよいし、それを含むものである。
そして以下に"類似度"の計算方法、すなわち、"類似"/"模倣"程度の定量化手法を説明する。これらはすべて公知技術である。
"類似度"計算は、複数対象についてある"基本dataパターン"と同じか異なるか、を判定するdataパターンの"認識"技術を援用すればよい。すなわち、公知のパターン認識技術で、複数対象ごとに"基本dataパターン"からどの程度異なるかが数値化できるので、その数値の差異を"類似度"に置き換えればよい。
動作や音声は時系列dataなので、認識には前記のような空間軸伸縮を時間軸にも行うのが一般的であり、時間伸縮を伴う時系列dataのマッチング手法という意味合いで、動的時間軸伸縮("Dynamic Time Warping": DTW)法と呼ばれる。
そして時間伸縮も許容した状態数・状態遷移・状態出力ベクトル等モデルを仮定して分析する隠れマルコフモデル ("Hidden Markov Model": HMM)分析もよく使われる。
さらに、近年多数の実用化例が報告されているディープラーニング(深層学習(deep learning))を応用し、より適切な"類似度"計算モデルを構築してもよい。
ディープラーニング(深層学習(deep learning))とは、脳神経回路をモデルとしたアルゴリズムを多層構造化したディープニューラルネットワーク(Deep Neural Network :DNN)をもちいた機械学習(mashine learning)である。
"生"データ採取のためのアピールタイミングを設けるための劇場やコンサートの演出については、基本データと関連するので後述する。
"類似度"計算に要する"基本dataパターン"のデータベースをあらかじめ用意する。データベースは、"類似度"計算対象の動作や音声の典型例を実験的に採取して、それら動作や音声の種類ごとに整理蓄積して構築すべきである。このデータベース構築工程を[00]とする。
そして、図21に模式的に示すように演者群・観客群の動作データ、あるいは、図22に模式的に示すように演者群・観客群の音声データを同時に採取して分析する。データ採取工程を[01]とする。分析は前述の"類似度"によるもので以下に説明する。
得られたM人の観客とN人の演者間の、M×N個の"類似度"の数値から、M行N列の行列"MAPS"を作成する。
"MAPS"は、観客(Audience)演者(Performer)類似度(degree of Similarity)行列(Matrix)から命名した(MAPS = Matrix of Audience-Performer Similarity)
この"MAPS"作成工程を[03]とする。すなわち;
[00]基本dataのdata baseを構築する工程、
[01]演者と観客のdataを取得する工程、
[02]両者dataの"類似度"を計算する工程、
[03]"類似度"data群から"MAPS"を作成する工程である。
観客A(1)-演者P(N)の"類似度"は、"MAPS"の(1,N)[第1行第N列]の値であって、・・、
観客A(M)-演者P(1)の"類似度"は、"MAPS"の(M,1)[第M行第1列]の値、観客A(M)-演者P(2)の"類似度"は、"MAPS"の(M,2)[第行第2列]の値、・・、
観客A(M)-演者P(N)の"類似度"は、"MAPS"の(M,N)[第M行第N列]の値である。
図24では、各行列の値が実数の"類似度"であるが、図23の簡素例のように"類似度"の低いものから順に自然数をあてはめてもよい。
図23は、3人観客と3人演者間の3行-3列"MAPS"で、最高"類似度"値は9となる。
ここでは、類似性の高い場合に大きい値、類似性が低いときに小さい値としている。これはもちろん定義の問題で、これと逆に小さいほど類似性が高いとしてもよい。
同様に、図23(a)の観客A(2)行で最高値9を与える演者、第2列の演者P(2)が観客A(2)ともっとも類似であるので、ここでは観客A(2)に演者P(2)が選ばれる。
同様に、図23(a)の観客A(3)行で最高値8を与える演者、第1列の演者P(1)が観客A(3)ともっとも類似であるので、ここでは観客A(3)に演者P(1)が選ばれる。
同様に、図23(b)の観客A(2)行で最高値6を与える演者、第2列の演者P(2)が観客A(2)ともっとも類似であるので、ここでは観客A(2)に演者P(2)が選ばれる。
同様に、図23(b)の観客A(3)行で最高値7を与える演者、第3列の演者P(3)が観客A(3)ともっとも類似であるので、ここでは観客A(3)に演者P(3)が選ばれる。
また、音声の類似を強め(重視して)評価したいなら、図23(b)の結果に重み付け係数を、加えたり乗じたりして両者の和をとればよい。図23(d)に、重み付け係数2.5を乗じて和をとった結果を示す[(a)+2.5×(b)]。
このように、複数の採取データによる類似度計算値を組合せて演者/観客ペアを選んでもよく、組み合わせによってペア選定結果が変わることを図23(a)-(d)で示した。
もちろん"ペアリング"は、"類似度"計算値そのものにもとづいて行ってもよい。
[04]観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程、
[05]観客A(jy)に演者P(ix)を振り当てるペアリング工程とする。
この観客に対応する演者の切替えまたはプリセットする工程を;
[06]観客A(jy)に演者P(ix)を自動イニシャル振り当てする または 観客A(jy)に演者P(ix)を自動切替する工程とする。
すなわち、[[1]]
複数人の演者(P(i) i=1,2,・・)が複数人の観客(A(j) j=1,2,・・)に対して情報伝達する場において、前記[1][8]の手段によって得られるデータ群を採取する[01]の工程を含む、
以下の[00][01][02][03][04][05][06]の工程を行う、演者と観客の"ペアリング"方法である。
[00]基本dataのdata baseを構築する工程、
[01]演者と観客のdataを取得する工程、
[02]両者dataの"類似度"を計算する工程、
[03]"類似度"data群から"MAPS"を作成する工程、
[04]観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程、
[05]観客A(jy)に演者P(ix)を振り当てるペアリング工程。
[ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す]
[2][9]の手段で得られた特徴抽出データ群にて"類似度"を計算する。
すなわち、[[2]]
複数人の演者(P(i) i=1,2,・・)が複数人の観客(A(j) j=1,2,・・)に対して情報伝達する場において、前記[1][8]の手段によって得られるデータ群を採取する[01]の工程を含む、
以下の[01][02][03][04][05][06]の工程をコンピュータに実行させるように記述したプログラム。
[01]演者と観客のdataを取得する工程、
[02]両者dataの"類似度"を計算する工程、
[03]"類似度"data群から"MAPS"を作成する工程、
[04]観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程、
[05]観客A(jy)に演者P(ix)を振り当てるペアリング工程。
[ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す]
この演者アピールタイムを、会場開演当初に設けて第二態様を実施すれば、応援対象の自動イニシャル振り当て(自動初期設定)となる。
そのアピール時間内にデータ群を採取する[01]の工程を実施して、第二態様にて応援対象をシステムが自動切替するものである。
前記の"MAPS"として得られた、ひとりの観客対ひとりの演者の、動作・音声の"類似"/"模倣"の程度を定量化し順位を決めた結果を劇場の大型モニターに映し出して、応援の多さ、すなわち人気度、あるいは、観客と演者との一体感の順列、等々を数値化して明示するシステムとして構成して劇場・コンサートホール、ライブハウスの演出として利用できる。
同様に、多くの演者から第一位の応援の多い演者、二番目に応援の多い演者、三番目に応援の多い演者、等々、会場劇場での人気度の定量的評価を劇場の大型モニターに映し出して、盛り上げる演出としてもよい。
観客と演者の、動作・音声dataの類似に関する行列"MAPS" (Matrix of A-P Similarity)によって、以下のような劇場等向け演出ができる。
1 演者列(i)の観客行(j)"類似度"の総和(ΣP)を計算することで、演者の被応援熱烈度、すなわち人気の高さがわかる。ΣPを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
2 観客行(j)の演者列の"類似度"の総和(ΣA)を計算することで、観客の応援ノリノリ度がわかる。ΣAを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
3 行列内で"類似度"最大値である演者列(i)観客行(j)を探すことで、今回のbest大人気&ノリノリ応援演者&観客ペアがわかり、そのペアを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
4 演者列(i)で高い"類似度"である観客行(j)を探すことで、熱烈ファンがわかる。演者から特別プレゼントするなどして、適切な熱烈ファン向けサービスができる。
[07]演者列(i)で高い"類似度"である観客行(j)を探す工程、
[08]演者列(i)の観客行(j) "類似度"の総和(ΣP)を計算する工程。
この工程後、ΣPを劇場monitorに表示する。
この工程後、ΣAを劇場monitorに表示する。
[10]max"類似度"である演者列(i)観客行(j)を探す工程。
この工程後、max"類似度"ペアを劇場monitorに表示する。
ここで、図25(b)で表示される数値は、行列”MAPS”観客行(j)、演者列(i)のすべての"類似度"の総和(ΣΣAP)である。
図28の簡略例で示すように、前述のノリノリ大賞・bestペア・bestアイドルは、様々な結果となるので劇場が盛り上がる。
すなわち、図28(a)では、ノリノリ大賞はA(1)さん!・bestペアは、A(2)さん-P(2)ちゃん!・bestアイドルは、P(1)ちゃん!である一方、図28(b)では、ノリノリ大賞・bestアイドル・bestペアは、A(2)さん-P(2)ちゃんペアが独占!!である。
ここまでに説明したように演者/観客の動作/音声が類似して高い"類似度"が得られる組合せでは、強い情報伝達(共感の共創)がなされている。
したがって、その強さにもとづいて、さらに情報伝達を強化すべく、補強するのが好適である。
[11]振り当てした、または、自動切替すべき観客A(jy)-演者P(ix)ペア間情報伝達強化の重み付け係数を情報伝達強化システムに送信する工程。
また、そのmax(最大値の)"類似度"の値にもとづいて決めた"類似度"順位でもよい。さらに"類似度"の値を適切な調整係数で標準化したものでもよい。
その考え方にもとづくなら、前記の"類似度"の値の調整係数で、小さな類似であるペアほど大きな重み付けで補強されるように調整すればよい。
いずれにせよ、"類似度"という値による劇場等の演者-観客間の情報伝達(共感共創)の状態の定量値の利用で大きな効果が期待でき、きわめて有効である。
なお、"類似度"は絶対的な数値ではないことに留意すべきである。すなわち"類似度"は、前述のように公知のdataパターン認識技術の基本dataパターン、すなわち、基本データに強く依存する。ゆえに、図26のフローの最上部にある"基本dataのdata baseを構築する工程"の基本データのデータベース構築が極めて重要である。
逆に、基本となる動作、基本となる音声が単独であると多数の状況に対処できない。つまり、類似度計算に誤り、または、どれが類似かの判定が困難になる。
たとえば、類似判定対象の動作がダンス、対象音声が歌であるとして、あらかじめ、ダンスではランバダダンス・フラメンコダンス・クラシックダンス・・の基本ダンス動作データをデータベースに整えておく。
同様に、あらかじめ、ロック調の歌・バラード調の歌・テクノポップ調の歌・演歌調の歌の基本歌唱音声データをデータベースに整えておく。
また、ダンスと歌は往々にして演者が組み合わせてほぼ同時に演技されて観客に提示されるものであるから、ダンスリズムや歌のリズム、ないしは、盛り上がりタイミングなど、基本リズムデータ・基本盛り上がりタイミングデータとしてデータベースを整えておくのもよい。
そして、その都度、基本データを前記のあらかじめ整えた基本ダンス動作・基本歌唱音声データをデータベースから、かかるタイミングで採取された両者の動作音声データの演出によるアピールテーマにあわせて選択的に採用して類似度を計算するのが好適である。
最後に演者の受動応援状態(人気度)を評定するシステムを以下に記述する。
ゆえに、近年流行している複数アイドルによる"グループアイドル"の評定にも用いることができる。
演者の受動応援状態(人気度)を評定するシステムが、下記のように記述できる。すなわち;
演者群と観客群の動作/音声の"類似度"にもとづいて観客状態を評定するシステム、あるいは、演者の受動応援状態(人気度)を評定するシステムであって、
動作"類似度"では;
[[B1]]
複数人の演者(P(i) i=1,2,・・)が複数人の観客(A(j) j=1,2,・・)に対して情報伝達する場において、下記[b1]から[b3]を具備した演者の受動応援状態(人気度)を評定するシステム。
[ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す]
[b1] 前記演者(P(i) i=1,2,・・)の動作を検知する手段。(カメラでもよい)
[b2] 前記観客(A(j) j=1,2,・・)の動作を検知する手段。(カメラでもよい)
[b3] 前記[b1][b2]の動作検知データにもとづいて複数人の演者(P(i) i=1,2,・・)と複数人の観客(A(j) j=1,2,・・)との、動作の"類似度"を計算してスコアリングする類似評定手段。
[[B2]]
[[B1]]に記載された、
[b1]の、前記演者(P(i) i=1,2,・・)の動作を検知する手段の、動作の検知が、複数の演者のグループの集団動作である、及び/又は、
[b2]の、前記観客(A(j) j=1,2,・・)の動作を検知する手段の、動作の検知が、複数の観客のグループの集団動作であって、
[[B1]]に記載された、[b3]の類似評定手段が、
前記の複数の演者のグループの集団動作、及び/又は、複数の観客のグループの集団動作の動作検知データにもとづいて判定してスコアリングする類似評定手段であるのが好適である。
[[C1]]
複数人の演者(P(i) i=1,2,・・)が複数人の観客(A(j) j=1,2,・・)に対して情報伝達する場において、下記[c1]から[c3]を具備した演者の受動応援状態(人気度)を評定するシステム。
[ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す]
[c1] 前記演者(P(i) i=1,2,・・)の音声を検知する手段。(マイクなど)
[c2] 前記観客(A(j) j=1,2,・・)の音声を検知する手段。(マイクなど)
[c3] 前記[c1][c2]の動作検知データにもとづいて複数人の演者(P(i) i=1,2,・・)と複数人の観客(A(j) j=1,2,・・)との、音声の"類似度"を計算してスコアリングする類似評定手段。
[[C2]]
[[C1]]に記載された、
[c1]の、前記演者(P(i) i=1,2,・・)の音声を検知する手段の、音声の検知が、複数の演者のグループの集団音声である、及び/又は、
[c2]の、前記観客(A(j) j=1,2,・・)の音声を検知する手段の、音声の検知が、複数の観客のグループの集団音声であって、
[[C1]]に記載された、[c3]の類似評定手段が、
前記の複数の演者のグループの集団音声、及び/又は、複数の観客のグループの集団動作の動作検知データにもとづいて判定してスコアリングする類似評定手段であるのが好適である。
そして、前記の動作同様に複数の演者のグループの集団音声、及び/又は、複数の観客のグループの集団音声の音声検知データを採取して、その集団音声データにもとづいて"類似度"計算してスコアリングする。
もちろん、集団動作と集団音声を組合せた集団動作音声"類似度"計算のアルゴリズムを構築して、それを採用してもよい。
学術的に言えば、社会学的に"自生する""相互行為"は重要であって、たとえば、複数アイドルのコンサート、選挙で各政党党首が演壇にたつ政治討論会など複数人の演者(P(i) i=1,2,・・)が複数人の観客(A(j) j=1,2,・・)に対し情報伝達する場にて、『演者のひとり(P(ix))と観客のひとり(A(jy))との一体感』が"自生する""相互行為"の帰結として強化され共感空間が共創できる。
1 演者列(i)の観客行(j)"類似度"の総和(ΣP)を計算することで、演者の被応援熱烈度、すなわち人気の高さがわかる。ΣPを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
2 観客行(j)の演者列の"類似度"の総和(ΣA)を計算することで、観客の応援ノリノリ度がわかる。ΣAを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
3 行列内で"類似度"最大値である演者列(i)観客行(j)を探すことで、今回のbest大人気&ノリノリ応援演者&観客ペアがわかり、そのペアを劇場monitorに表示することで劇場が盛り上がる好適な演出ができる。
4 演者列(i)で高い"類似度"である観客行(j)を探すことで、熱烈ファンがわかる。演者から特別プレゼントするなどして、適切な熱烈ファン向けサービスができる。
A(2) 第二の観客
A(j) j番目の観客 ["j"は自然数 最大観客数は"M"]
C(i) i番目の情報発信手段兼伝送手段
Ex "ix"を初期セットする、または、"ix"を切替える切替手段
G(ix) 演者(P(ix))を応援する応援グッズ ["ix"は自然数"i"のひとつ]
GX 演者側応援受動グッズ(RXとPCXとPAXにS(i)を加えた総称)
H Lを発光源とした内照式情報表示器
L 発光体
LC Lの発光を制御する発光制御手段
MAPS 観客と演者dataの類似に関する判定行列(Matrix of A-P Similarity)
MAPS(3-3) 3行3列MAPS[観客A(1)-A(3)と演者P(1)-P(3)]
MAPS(100-8) 100行8列MAPS[観客A(1)-A(100)と演者P(1)-P(8)]
P(1) 第一の演者
P(2) 第二の演者
P(i) i番目の演者 ["i"は自然数 最大演者数は"N"]
Pcolar(i) i番目の演者に割振られた色彩
Pgraphic(i) i番目の演者に割振られた固有の図形
Ptext(i) i番目の演者に割振られた固有の文字
PA 演者の伝達情報にて物理的に作動する手段
PAq PAによって観客が演者と一体感を共感する経路
PAX 共感を認知させる認知信号にもとづいて物理的に作動する物理作動手段
PCX PAXの物理的作動を制御する手段
PSC PAとSGの作動と発信を制御する手段
R 伝達情報シグナル特徴データの選択的受信手段
RX 共感認知信号を受信する共感認知信号受信手段
S(1) 第一演者の伝達情報シグナルを検知する手段
S(2) 第一演者の伝達情報シグナルを検知する手段
S(i) i番目の演者の伝達情報シグナルを検知する手段
SG 演者に観客の共感認知信号を発信する手段
SGq SGによって演者が観客と一体感を共感する経路
SV 伝達情報シグナルの特徴抽出手段
Sdata(i) S(i)によって得られた伝達情報シグナルデータ
SY 共感情報シグナル検知手段
SVY 共感情報シグナルの特徴抽出手段
V 振動発生手段
VC Vの振動を制御する振動制御手段
Vdata(i) Sdata(i)を特徴抽出した伝達情報シグナル特徴データ
VYdata 共感情報シグナル特徴データ
ΣA MAPSの演者に対し観客行方向に類似度総和した総和を示す欄
ΣP MAPSの観客に対し演者列方向に類似度総和した総和を示す欄
[1]伝達情報シグナル検知手段(S(i) i=1,2,・・)。
[2]伝達情報シグナルの特徴抽出手段(SV)。
[3]情報発信手段兼伝送手段(C(i) i=1,2,・・)。
[4]物理作動手段(PA)・選択的受信手段(R)・制御手段(PSC)[ (G(ix))に配設]
[5]共感認知信号受信手段(RX)。
[6]物理作動手段(PAX)の制御手段(PCX)。
[7]物理作動手段(PAX)。
[8]共感情報シグナル検知手段(SY)
[9]共感情報シグナルの特徴抽出手段(SVY)
<<[工程numbers]>>
[00]基本dataのdata baseを構築する工程
[01]演者と観客のdataを取得する工程
[02]両者dataの"類似度"を計算する工程
[03]"類似度"data群から"MAPS"を作成する工程
[04]観客行(j)でmax(最大値の)"類似度"である演者列(i)を探す工程
[05]観客A(jy)→演者P(ix)を振り当てるペアリング工程
[06]観客A(jy)→演者P(ix)を振り当てる又は観客A(jy)→演者P(ix)自動切替え工程
[07]演者列(i)で高い"類似度"である観客行(j)を探す工程
[08]演者列(i)の観客行(j)"類似度"の総和(ΣP)を計算する工程
[09]観客行(j)の演者列の"類似度"の総和(ΣA)を計算する工程
[10]max"類似度"である演者列(i)観客行(j)を探す工程
[11]振り当てた又は自動切替した観客A(jy)-演者P(ix)ペア間情報伝達強化の重み付け係数を情報伝達強化システムに送信する工程
Claims (2)
- 複数人の演者(P(i) i=1,2,・・)が複数人の観客(A(j) j=1,2,・・)に対して情報伝達する場において、
以下の[1]から[3]、および、[d1]、又は[d2]、又は[d3]を満たす[bc1]から[bc3]を具備すると共に前記観客のひとり(A(jy))が、演者のひとり(P(ix))を応援する応援グッズ(G(ix))を所持し、
該応援グッズ(G(ix))が[4]の態様であり、
前記[bc3]の類似度計算手段で得られる類似度の計算値にもとづいて前記観客のひとり(A(jy))に対する演者のひとり(P(ix))を選択する選択手段(Ex)と、
前記[bc3]の類似度計算手段で得られる類似度の計算値によって演者又は観客の順位を決める演者又は観客の順位決定手段を兼備して、
前記[3]の情報発信手段兼伝送手段(C(i) i=1,2,・・)によって観客のひとり(A(jy))に発信伝送される情報が、前記順位決定手段による演者又は観客の順位にもとづく係数で調整されたものである、情報伝達補強システム。
[ここで"ix"は自然数"i"のひとつ、"jy"は自然数"j"のひとつを示す]
[1] 前記演者(P(i) i=1,2,・・)の伝達情報を検知する伝達情報シグナル検知手段(S(i) i=1,2,・・)。
[2] 前記伝達情報シグナル検知手段が検知した前記演者の伝達情報シグナルデータ(S_data(i) i=1,2,・・)から、該伝達情報シグナルデータの特徴を抽出して伝達情報シグナル特徴データ(V_data(i) i=1,2,・・)に変換する伝達情報シグナルの特徴抽出手段(SV)。
[3] 前記演者から前記観客にむけて前記の伝達情報シグナル特徴データ(V_data(i) i=1,2,・・)を発信して該発信情報を伝送する複数の情報発信手段兼伝送手段(C(i) i=1,2,・・)。
[4] 前記応援グッズ(G(ix))に、
演者の伝達情報にもとづいて物理的に作動する物理作動手段(PA)と、
前記複数の情報発信手段兼伝送手段のうちひとつ(C(ix))を選択し、該情報発信手段兼伝送手段(C(ix))より前記の伝達情報シグナル特徴データのうちひとつ(V_data(ix))を選択的に受信する選択的受信手段(R)と、
前記選択的受信手段(R)で受信された伝達情報シグナル特徴データ(V_data(ix))にもとづいて前記物理作動手段(PA)の物理的作動を制御する制御手段(PSC)が配設されている。
[bc1] 前記の演者(P(i) i=1,2,・・)の動作又は音声を検知する手段。
[bc2] 前記の観客(A(j) j=1,2,・・)の動作又は音声を検知する手段。
[bc3] 前記[bc1]の手段によって得られる演者の動作又は音声の検知データ、及び、前記[bc2]の手段によって得られる観客の動作又は音声の検知データにもとづいて演者の動作又は音声と観客の動作又は音声との類似の程度を示す類似度の値を計算する、類似度計算手段。
[d1]
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる演者のグループの集団動作又は集団音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる観客のグループの集団動作又は集団音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる複数人からなる演者のグループの集団動作又は集団音声の検知データ、及び、前記[bc2]の手段によって得られる複数人からなる観客のグループの集団動作又は集団音声の検知データにもとづいて演者の集団動作又は集団音声と観客の集団動作又は集団音声との類似度計算手段であり、
前記類似度総和手段が、
複数人からなる演者のグループに対する複数の複数人からなる観客のグループの類似度の値の総和を計算する、又は、
複数人からなる観客のグループに対する複数の複数人からなる演者のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者のグループ順位又は観客のグループ順位を決める手段である。
[d2]
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、演者のひとり(P(ix))の動作又は音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる観客のグループの集団動作又は集団音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる演者のひとり(P(ix))の動作又は音声の検知データ、及び、前記[bc2]の手段によって得られる複数人からなる観客のグループの集団動作又は集団音声の検知データにもとづいて演者のひとり(P(ix))の動作又は音声と観客の集団動作又は集団音声との類似度計算手段であり、
前記類似度総和手段が、演者のひとり(P(ix))に対する複数の複数人からなる観客のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者の順位又は観客のグループ順位を決める手段である。
[d3]
前記[bc1]の演者の動作又は音声を検知する手段の、動作又は音声の検知が、複数人からなる演者のグループの集団動作又は集団音声の検知で、
前記[bc2]の観客の動作又は音声を検知する手段の、動作又は音声の検知が、観客のひとり(A(jy) )の動作又は音声の検知で、
前記[bc3]の類似度計算手段が、前記[bc1]の手段によって得られる複数人からなる演者のグループの集団動作又は集団音声の検知データ、及び、前記[bc2]の手段によって得られる観客のひとり(A(jy))の動作又は音声の検知データにもとづいて演者の集団動作又は集団音声と観客のひとり(A(jy))の動作又は音声との類似度計算手段であり、
前記類似度総和手段が、観客のひとり(A(jy) )に対する複数の複数人からなる演者のグループの類似度の値の総和を計算する手段であり、
前記順位決定手段が、前記類似度総和手段の計算値によって演者のグループ順位又は観客の順位を決める手段である。
- 前記応援グッズ(G(ix))に、演者に向かって観客の共感を認知させる認知信号を発信する、共感認知信号発信手段(SG)が兼備され、前記の物理作動手段(PA)の物理的作動を制御する制御手段(PSC)が共感認知信号発信手段(SG)の共感認知信号発信も制御するものであり、
前記演者(P(i) i=1,2,・・)に、さらに以下の[5]から[7]が配備され、
前記[5]の共感認知信号発信手段(SG) によって演者のひとり(P(ix))に発信される共感認知信号が、前記順位決定手段による演者又は観客の順位にもとづく係数で調整されたものである、請求項1に記載された、システム。
[5] 前記の、演者に向かって観客の共感を認知させる認知信号を発信する共感認知信号発信手段(SG)の共感認知信号を受信する共感認知信号受信手段(RX)。
[6] 前記共感認知信号受信手段(RX)で受信された共感認知信号にもとづいて [7]の物理作動手段(PAX)の物理的作動を制御する制御手段(PCX)。
[7] [6]の物理的作動を制御する手段(PCX)によって制御され物理的に作動する物理作動手段(PAX)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017208689 | 2017-10-28 | ||
JP2017208689 | 2017-10-28 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084602A Division JP6531258B2 (ja) | 2017-10-28 | 2018-04-25 | 演者動作・音声と観客動作・音声との類似度による情報伝達場の演出装置並びに演出方法。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019080894A JP2019080894A (ja) | 2019-05-30 |
JP6531257B2 true JP6531257B2 (ja) | 2019-06-19 |
Family
ID=66669836
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017243919A Expired - Fee Related JP6531257B2 (ja) | 2017-10-28 | 2017-12-20 | 情報伝達補強システム。 |
JP2018084602A Expired - Fee Related JP6531258B2 (ja) | 2017-10-28 | 2018-04-25 | 演者動作・音声と観客動作・音声との類似度による情報伝達場の演出装置並びに演出方法。 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084602A Expired - Fee Related JP6531258B2 (ja) | 2017-10-28 | 2018-04-25 | 演者動作・音声と観客動作・音声との類似度による情報伝達場の演出装置並びに演出方法。 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6531257B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4215256B2 (ja) * | 2004-04-13 | 2009-01-28 | 日本電信電話株式会社 | 一体感を伝える通信システム |
JP4594157B2 (ja) * | 2005-04-22 | 2010-12-08 | 日本電信電話株式会社 | 運動支援システムとその利用者端末装置及び運動支援プログラム |
JP6707731B2 (ja) * | 2014-10-11 | 2020-06-10 | 株式会社アーティエンス・ラボ | 画像記録媒体及び画像表示装置 |
JP2016197350A (ja) * | 2015-04-03 | 2016-11-24 | シャープ株式会社 | 情報伝送装置、行動体感システム、情報伝送方法および行動体感方法 |
JP3198483U (ja) * | 2015-04-23 | 2015-07-02 | 株式会社三洋 | 携帯型照明装置用装飾具 |
US20170076629A1 (en) * | 2015-09-14 | 2017-03-16 | Electronics And Telecommunications Research Institute | Apparatus and method for supporting choreography |
JP6591327B2 (ja) * | 2016-03-22 | 2019-10-16 | 株式会社東芝 | イベント用グッズ及びイベント演出方法 |
JP6835070B2 (ja) * | 2016-04-07 | 2021-02-24 | ソニー株式会社 | システム、端末装置、方法及び記録媒体 |
-
2017
- 2017-12-20 JP JP2017243919A patent/JP6531257B2/ja not_active Expired - Fee Related
-
2018
- 2018-04-25 JP JP2018084602A patent/JP6531258B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP6531258B2 (ja) | 2019-06-19 |
JP2019080899A (ja) | 2019-05-30 |
JP2019080894A (ja) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
McKinney et al. | Scenography expanded: An introduction to contemporary performance design | |
Salter | Entangled: technology and the transformation of performance | |
US20160364087A1 (en) | Multi-view display cueing, prompting, and previewing | |
TWI486904B (zh) | 律動影像化方法、系統以及電腦可讀取記錄媒體 | |
Campbell | The theatre of the oppressed in practice today: An introduction to the work and principles of Augusto Boal | |
Sparacino et al. | Augmented performance in dance and theater | |
Danjoux | Choreography and sounding wearables | |
JP6531258B2 (ja) | 演者動作・音声と観客動作・音声との類似度による情報伝達場の演出装置並びに演出方法。 | |
Krueger | Computer controlled responsive environments. | |
Campana et al. | Puccini’s Things: Materials and Media in Il trittico | |
Dickinson | Cédric Andrieux: With Bel, Benjamin, and Brecht in Vancouver | |
Hilton | Presence, Rhetoric, Difference: Jérôme Bel and Theater HORA’s Disabled Theater | |
Torpey | Disembodied performance: Abstraction of representation in live theater | |
Newhall | Uniform bodies: mass movement and modern totalitarianism | |
Bigé | How Do I Know When I Am Dancing? | |
McKendrick et al. | Waiting in the Wings: Drones in Live Performance | |
TWM579798U (zh) | Trigger system for each mobile device in the gathering | |
US20240257658A1 (en) | Systems and methods to specify interactive page locations by pointing a light beam using a handheld device | |
Rodriguez Fielder | The Revolution Will Be Improvised: The Intimacy of Cultural Activism | |
McCarthy | Textured voices and the performance of ethical life in the case of the Laff Box (1966) | |
Zile | Network gestures. Critical and creative responses to the networked body | |
Petralia | Reshaping Spatiality: cognitive perception and the fracturing of theatrical space | |
Brook | Robert Wilson and an aesthetic of human behaviour in the performing body | |
Coleman | Examining Patriarchal and White Supremacist Structures in Social and Commercial Jazz Dance Forms | |
Xie | Sonic Interaction Design in Immersive Theatre |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20171223 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180110 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180912 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6531257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |