JP6567461B2 - 認識装置、映像コンテンツ提示システム、プログラム - Google Patents
認識装置、映像コンテンツ提示システム、プログラム Download PDFInfo
- Publication number
- JP6567461B2 JP6567461B2 JP2016086862A JP2016086862A JP6567461B2 JP 6567461 B2 JP6567461 B2 JP 6567461B2 JP 2016086862 A JP2016086862 A JP 2016086862A JP 2016086862 A JP2016086862 A JP 2016086862A JP 6567461 B2 JP6567461 B2 JP 6567461B2
- Authority
- JP
- Japan
- Prior art keywords
- visual information
- predetermined
- information
- video content
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
図1は第一実施形態に係る映像コンテンツ提示システム1の機能ブロック図を、図2はその処理フローを示すフローチャートである。
視聴者端末91は、映像コンテンツ(例えば、動画)を見る者(例えば、動画の視聴者)によって操作され、入力部(キーボード、マウス、タッチパネル等)と、表示部(ディスプレイ、タッチパネル等)を含み、例えば、パーソナルコンピュータ、スマートホン、タブレット等で実現できる。視聴者は、視聴者端末91の入力部を介して、映像コンテンツ配信サーバ92に対して映像コンテンツの再生を要求することができる。視聴者は、視聴者端末91の表示部を介して、映像コンテンツを視聴することができる。さらに、視聴者は、入力部を介して、映像コンテンツに重畳して表示される視覚情報(例えば、コメント)を入力することができる。ここで、「視覚情報」とは、表示部を介して視覚的に認識可能な情報であって、例えば、文字、図形、記号、色彩、またはこれらの結合などである。視覚情報は、静止画に限らず、動く画像であってもよい。例えば、(1)「笑い」や「拍手」等の所定の行為を意味するテキスト情報(例えば「w」や「8」等)、(2)テキスト情報以外の「笑い」や「拍手」等の所定の行為を意味し、識別するためのコンピュータ上のビット情報、(3)顔文字、絵文字など、通常のテキスト情報で無いもの、例えばキャリアの異なる携帯端末間で共通する絵文字(参考非特許文献1参照)、(4)アスキーアート等、様々なテキストを適切な位置に配置して組み合わせ、全体を一枚の絵のように認識させるもの(参考非特許文献2参照)、(5)ネットスラング。例えば、「笑い」を意味するテキスト情報「wwwww…」に対して「草生えた」等のネットスラングがある。
(参考非特許文献1:「docomo/au共通絵文字」、株式会社NTTドコモ、[online]、[平成28年4月19日検索]、インターネットURL:https://www.nttdocomo.co.jp/service/developer/smart_phone/make_contents/pictograph/)
(参考非特許文献2:「アスキーアート」、[online]、2015年2月2日、ウィキペディア、[平成28年4月19日検索]、インターネットURL:http://ja.wikipedia.org/wiki/%E3%82%A2%E3%82%B9%E3%82%AD%E3%83%BC%E3%82%A2%E3%83%BC%E3%83%88)
映像コンテンツ配信サーバ92の内部、あるいは外部に映像コンテンツデータベース記憶部922が存在するものとする。図1では、映像コンテンツ配信サーバ92内部に映像コンテンツデータベース記憶部922を備える構成とした。この他のバリエーションとして、映像コンテンツ配信サーバ92の外部にビデオカメラなどの撮影装置が存在し、撮影装置が映像コンテンツ配信サーバ92に接続されていてもよい。映像コンテンツ配信サーバ92は、データベース生成部921を備えていてもよい。データベース生成部921については後述する。
視聴者端末100は、映像コンテンツ(例えば、動画)を見る者(例えば、動画の視聴者、図1における視聴者8)によって操作される。視聴者端末100は、表示部(ディスプレイ、タッチパネル等)110と、脳波計測部120(脳波計測装置120)と、認識部130と、表示サイズ取得部140を含み、例えば、パーソナルコンピュータ、スマートホン、タブレット等で実現可能である。視聴者端末100は上記に加え、視覚情報データベース記憶部150を含んでもよい。視覚情報データベース記憶部150は、後述する視覚情報データベースを予め記憶する。視聴者8は、視聴者端末100の入力部(キーボード、マウス、タッチパネル等)を介して、映像コンテンツ配信サーバ92に対して映像コンテンツの再生を要求することができる。視聴者8は、視聴者端末100の表示部110を介して、映像コンテンツを視聴することができる。視聴者8は、入力部を介して、映像コンテンツに重畳して表示される視覚情報(例えば、コメント)を入力することができる。
認識部130は、脳波x(t)を受け取り、この脳波x(t)に基づき、所定の視覚情報v(t)を取得し(S130)、v(t)を通信回線を介して映像コンテンツ配信サーバ92に送信する。
本実施形態では脳の活動状態を表す、脳波の特定の周波数成分の強度(これにはα波、β波、γ波の強度などが含まれる、α波などについては、参考特許文献1[0003]などを参照)をx(t)より求め、その値が所定の閾値を超えたときに視聴により脳が反応したと判定する。例えば、上記の強度が所定の閾値以上となる時刻において、映像コンテンツに既に重畳されている1種類以上の視覚情報の中から1種類の視覚情報を選択し、所定の視覚情報とする。例えば、(1−1)同時刻において重畳されている数が最も多い種類の視覚情報を、所定の視覚情報として選択する。また、(1−2)同時刻において重畳されている視覚情報の割合に応じて、ランダムに所定の視覚情報を選択する。(1−3)同時刻において重畳されている1種類以上の視覚情報の中からランダムに所定の視覚情報を選択する。
(参考特許文献1:特許第5317277号公報)
認識部130は、所定の視覚情報を、映像コンテンツに重畳して表示するために予め用意されている1種類以上の視覚情報から取得してもよい。例えば、図4に示すような視覚情報データベースを予め用意しておき(例えば前述した視覚情報データベース記憶部150に予め記憶しておく)、(2)1種類以上の視覚情報の中からランダムに所定の視覚情報を選択する。なお、所定の視覚情報として、所定の行為、例えば、「笑い」を意味する情報のみを選択したい場合には、視覚情報データベースに「笑い」を意味する情報のみ、例えば、「w」「(笑)」「:−)」「(^o^)」等を用意しておけばよい。
脳波x(t)がどのような脳の状態を表すのかを認識する処理を組み合わせてもよい。
(取得方法1)と、(取得方法2)または(取得方法3)を組合せてもよい。
(取得方法1)と、(取得方法2)または(取得方法3)との組合せとしては以下のような方法も考えられる。
上記以外に、認識部130は、映像コンテンツの場面に応じて予め定められている所定の視覚情報を取得することとしてもよい。
表示サイズ取得部140は、脳波x(t)を取得し、脳の活動状態を表す、脳波の特定の周波数成分の強度(例えば、α波、β波)を求め、脳の活動状態を表す指標と所定の閾値との大小関係に基づき、視聴者の脳が大きな影響を受けているか否かを判定する。脳が大きな影響を受けていると判定した場合、表示サイズ取得部140は、脳の活動状態を表す指標に基づいて、大きさの情報s(t)を取得する。この大きさの情報s(t)は、視聴者端末91の表示部または視聴者端末100の表示部110を介して表示される視覚情報の大きさを表す情報である。表示サイズ取得部140は、大きさの情報s(t)を、通信回線を介して映像コンテンツ配信サーバ92に送信する。
以上の構成により、コメント投稿ボタンのクリックまたはエンターキーの押下を行わずに、視覚情報を映像コンテンツに適切なタイミングで重畳して表示することができる。
本実施形態では、表示部110は、映像コンテンツと共にこれに重畳される視覚情報を表示しているが、映像コンテンツのみを表示する表示部を別途設けてもよい。また、取得した脳波に対する閾値は視聴者8の脳波の特性(個人差)に合わせて調整してもよい。例えば脳波計測部120(脳波計測装置120)装着から視聴開始直前までの視聴者のα波とβ波の強度の平均値の2倍を閾値として設定するなど、脳波の個人差によるノイズが軽減されるように、閾値を調整してもよい。
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD−ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
Claims (11)
- 映像コンテンツを視聴する視聴者の脳波を計測する脳波計測部と、
前記計測された脳波に基づき、前記映像コンテンツに既に重畳されている1種類以上の視覚情報、前記映像コンテンツに重畳して表示するために予め用意されている1種類以上の視覚情報の少なくとも何れかから所定の視覚情報を取得する認識部であって、前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報が複数種類ある場合には、重畳されている数が最も多い種類の視覚情報を、前記所定の視覚情報として取得する認識部を含み、
前記所定の視覚情報は、前記映像コンテンツに重畳して表示するために取得される
認識装置。 - 映像コンテンツを視聴する視聴者の脳波を計測する脳波計測部と、
(1−a)前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報が1種類である場合、
または、
(1−b)前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報が複数種類あるが、そのうち1種類の割合が所定の割合を超える場合、
の少なくとも何れかの場合には、前記何れかの場合に該当する視覚情報を所定の視覚情報として取得し、
(2)前記何れかの場合以外の場合には、映像コンテンツに重畳して表示するために予め用意されている複数種類の視覚情報から所定の視覚情報を取得する認識部を含み、
前記所定の視覚情報は、前記映像コンテンツに重畳して表示するために取得される
認識装置。 - 映像コンテンツを視聴する視聴者の脳波を計測する脳波計測部と、
前記計測された脳波に基づき、前記映像コンテンツに既に重畳されている1種類以上の視覚情報、前記映像コンテンツに重畳して表示するために予め用意されている1種類以上の視覚情報の少なくとも何れかから所定の視覚情報を取得する認識部であって、
(1)前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応する映像コンテンツの時刻に、既に重畳されている視覚情報に占める1種類の視覚情報の割合が所定の割合を超える場合には、所定の割合を超える視覚情報を前記所定の視覚情報として取得することを優先し、
(2)前記以外の場合には、映像コンテンツに重畳して表示するために予め用意されている複数種類の視覚情報から前記所定の視覚情報を取得することを優先することで、前記所定の視覚情報を取得する認識部を含み、
前記所定の視覚情報は、前記映像コンテンツに重畳して表示するために取得される
認識装置。 - 映像コンテンツを視聴する視聴者の脳波を計測する脳波計測部と、
前記計測された脳波に基づき、前記映像コンテンツに既に重畳されている1種類以上の視覚情報から所定の視覚情報を取得する認識部を含み、
前記所定の視覚情報は、前記映像コンテンツに重畳して表示するために取得される
認識装置。 - 請求項1から請求項4の何れかに記載の認識装置であって、
前記脳波に基づいて、前記所定の視覚情報が表示部を介して表示される際の大きさの情報を取得する表示サイズ取得部を含む、
認識装置。 - 人間が持つ感覚器で受け取ることができる刺激により提示されるコンテンツをメディアコンテンツというものとし、
前記メディアコンテンツを知覚する対象者の脳波を計測する脳波計測部と、
前記計測された脳波に基づき、前記メディアコンテンツに既に重畳されている1種類以上の知覚情報、前記メディアコンテンツに重畳して提示するために予め用意されている1種類以上の知覚情報の少なくとも何れかから所定の知覚情報を取得する認識部であって、前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応するメディアコンテンツの時刻に、既に重畳されている知覚情報が複数種類ある場合には、重畳されている数が最も多い種類の知覚情報を、前記所定の知覚情報として取得する認識部を含み、
前記所定の知覚情報は、前記メディアコンテンツに重畳して提示するために取得される認識装置。 - 人間が持つ感覚器で受け取ることができる刺激により提示されるコンテンツをメディアコンテンツというものとし、
前記メディアコンテンツを知覚する対象者の脳波を計測する脳波計測部と、
(1−a)前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応するメディアコンテンツの時刻に、既に重畳されている知覚情報が1種類である場合、
または、
(1−b)前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応するメディアコンテンツの時刻に、既に重畳されている知覚情報が複数種類あるが、そのうち1種類の割合が所定の割合を超える場合、
の少なくとも何れかの場合には、前記何れかの場合に該当する知覚情報を所定の知覚情報として取得し、
(2)前記何れかの場合以外の場合には、メディアコンテンツに重畳して提示するために予め用意されている複数種類の知覚情報から所定の知覚情報を取得する認識部を含み、
前記所定の知覚情報は、前記メディアコンテンツに重畳して提示するために取得される認識装置。 - 人間が持つ感覚器で受け取ることができる刺激により提示されるコンテンツをメディアコンテンツというものとし、
前記メディアコンテンツを知覚する対象者の脳波を計測する脳波計測部と、
前記計測された脳波に基づき、前記メディアコンテンツに既に重畳されている1種類以上の知覚情報、前記メディアコンテンツに重畳して提示するために予め用意されている1種類以上の知覚情報の少なくとも何れかから所定の知覚情報を取得する認識部であって、
(1)前記脳波の特定の周波数成分の強度が所定の閾値以上となる時刻に対応するメディアコンテンツの時刻に、既に重畳されている知覚情報に占める1種類の知覚情報の割合が所定の割合を超える場合には、所定の割合を超える知覚情報を前記所定の知覚情報として取得することを優先し、
(2)前記以外の場合には、メディアコンテンツに重畳して提示するために予め用意されている複数種類の知覚情報から前記所定の知覚情報を取得することを優先することで、前記所定の知覚情報を取得する認識部を含み、
前記所定の知覚情報は、前記メディアコンテンツに重畳して提示するために取得される認識装置。 - 人間が持つ感覚器で受け取ることができる刺激により提示されるコンテンツをメディアコンテンツというものとし、
前記メディアコンテンツを知覚する対象者の脳波を計測する脳波計測部と、
前記計測された脳波に基づき、前記メディアコンテンツに既に重畳されている1種類以上の知覚情報から所定の知覚情報を取得する認識部を含み、
前記所定の知覚情報は、前記メディアコンテンツに重畳して提示するために取得される認識装置。 - 請求項1から請求項5の何れかに記載の認識装置を含む映像コンテンツ提示システムであって、
前記映像コンテンツを表示する第一の表示部と、
請求項1から請求項5の何れかに記載の認識装置が取得した所定の視覚情報を重畳した映像コンテンツを表示する第二の表示部を含む
映像コンテンツ提示システム。 - コンピュータを、請求項1から9の何れかに記載の認識装置として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016086862A JP6567461B2 (ja) | 2016-04-25 | 2016-04-25 | 認識装置、映像コンテンツ提示システム、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016086862A JP6567461B2 (ja) | 2016-04-25 | 2016-04-25 | 認識装置、映像コンテンツ提示システム、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017199058A JP2017199058A (ja) | 2017-11-02 |
JP6567461B2 true JP6567461B2 (ja) | 2019-08-28 |
Family
ID=60239397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016086862A Active JP6567461B2 (ja) | 2016-04-25 | 2016-04-25 | 認識装置、映像コンテンツ提示システム、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6567461B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6965374B2 (ja) * | 2018-02-13 | 2021-11-10 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および表示画像生成方法 |
JP7181005B2 (ja) * | 2018-05-29 | 2022-11-30 | Necソリューションイノベータ株式会社 | 家畜の出荷判定表示装置、出荷判定表示方法、プログラム、および記録媒体 |
-
2016
- 2016-04-25 JP JP2016086862A patent/JP6567461B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017199058A (ja) | 2017-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aitamurto et al. | Sense of presence, attitude change, perspective-taking and usability in first-person split-sphere 360 video | |
US10368123B2 (en) | Information pushing method, terminal and server | |
JP7440020B2 (ja) | 情報処理方法、端末装置、情報処理装置、及び情報処理システム | |
US11343595B2 (en) | User interface elements for content selection in media narrative presentation | |
CN111131876B (zh) | 视频直播的控制方法、装置、终端及计算机可读存储介质 | |
US20200104030A1 (en) | User interface elements for content selection in 360 video narrative presentations | |
Lo et al. | Stats on-site—Sports spectator experience through situated visualizations | |
JP6567461B2 (ja) | 認識装置、映像コンテンツ提示システム、プログラム | |
US11315607B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
Chen et al. | Product placement in virtual reality videos from the perspective of dialogic engagement | |
JP7408506B2 (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
JP2011205601A (ja) | 画像処理装置及び画像処理方法 | |
US20130209070A1 (en) | System and Method for Creating Composite Video Test Results for Synchronized Playback | |
CN112988008A (zh) | 一种信息展示方法、装置、计算机设备和存储介质 | |
JP6367748B2 (ja) | 認識装置、映像コンテンツ提示システム | |
McIlvenny | Video interventions in “everyday life”: semiotic and spatial practices of embedded video as a therapeutic tool in reality TV parenting programmes | |
TWI549498B (zh) | Variable audio and video playback method | |
Jocuns | Aroi mai? The multimodality of thainess in Thai tourism videos | |
Gu et al. | [Retracted] Artificial Intelligence in Construction of English Classroom Situational Teaching Mode Based on Digital Twin Technology | |
JP2013232904A (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP6745393B1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN116137662A (zh) | 页面展示方法及装置、电子设备、存储介质和程序产品 | |
JP5289527B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
Singla | Assessment of Visual Quality and Simulator Sickness for Omnidirectional Videos | |
CN114513682B (zh) | 多媒体资源展示方法、发送方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6567461 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |