JP6236875B2 - コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置 - Google Patents

コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置 Download PDF

Info

Publication number
JP6236875B2
JP6236875B2 JP2013110023A JP2013110023A JP6236875B2 JP 6236875 B2 JP6236875 B2 JP 6236875B2 JP 2013110023 A JP2013110023 A JP 2013110023A JP 2013110023 A JP2013110023 A JP 2013110023A JP 6236875 B2 JP6236875 B2 JP 6236875B2
Authority
JP
Japan
Prior art keywords
content
viewing
viewer
providing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013110023A
Other languages
English (en)
Other versions
JP2014230203A (ja
Inventor
尚子 林田
尚子 林田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013110023A priority Critical patent/JP6236875B2/ja
Priority to US14/286,217 priority patent/US9491507B2/en
Publication of JP2014230203A publication Critical patent/JP2014230203A/ja
Application granted granted Critical
Publication of JP6236875B2 publication Critical patent/JP6236875B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252Processing of multiple end-users' preferences to derive collaborative data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras

Description

本発明は,コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置に関する。
講演や講義などのコンテンツを多数の受講者に提供する場合,従来は,講演会場や教室でコンテンツの提供者である講師がコンテンツの視聴者である受講者に直接コンテンツを提供することが行われていた。このような場合は,講師は,受講者の疲労の度合を見ながら,柔軟にコンテンツ内容を変更することが可能である。また,受講者は,講義時間中は外部からの割り込みをほぼ受けることなく着席して受講可能である。
一方,近年において,コンテンツの提供者と視聴者が遠隔の別の場所にいて,イー・ラーニング(E-learning)や講演映像などのコンテンツを配信することが盛んに行われるようになっている。この場合は,コンテンツの提供者と視聴者が別の場所にいるため,コンテンツの提供者は視聴者の状況を知ることができず,視聴者がコンテンツを受け取れる状態にあるか,例えば,居眠りして重要な個所を聞き逃している視聴者はいないか,講義室の後方の視聴者にも聞こえているか等,を確認しながら,コンテンツの内容を調整するといった柔軟な対応は難しい。
視聴者側も,自席でのコンテンツ再生中に電話着信がある等コンテンツへの集中が乱される場合もあり,コンテンツの重要な部分をもらさないような形で,コンテンツの重要度にあわせて集中して受講するといった調整は難しい。
コンテンツの各シーンにおける視聴者の視聴状況を観察するシステムは,従来から提案されている。例えば,以下の特許文献などである。
特開2005−56205号公報 特開2007−82022号公報
映画等の娯楽コンテンツを配信により提供する場合,どのくらい視聴者の感情が刺激されたかどうかによってユーザの視聴状況を認識し,ユーザの感情的な視聴状況に合わせてコンテンツを評価し,その評価に基づいてコンテンツ提供サービスを構築することが行われる。
ところが,イー・ラーニングや講演のコンテンツを配信により提供する場合は,視聴者に感情的な視聴反応があまり見られないので,感情的な視聴状況に基づいてコンテンツ提供サービスを変更することはできない。また,イー・ラーニングや講演のコンテンツの提供の場合は,コンテンツには視聴者に伝えるべき重要な内容が含まれており,視聴者がその部分を見逃さないようにコンテンツを提供することが望まれる。
視聴者に,コンテンツの重要な部分を見逃さずに視聴させるには,以下の二点が課題としてあげられる。すなわち,(1)イー・ラーニングや講演に対しては,感情的な視聴反応があまり見られないため,他の利用者の感情的な視聴反応を参考にして,コンテンツの重要な個所を推測することは困難である。(2)イー・ラーニングや講演のコンテンツを自席で閲覧する場合には,電話着信などによって視聴が阻害され,結果的に重要なコンテンツを見逃すことがある。
本実施の形態の一つの側面は,イー・ラーニングや講演のコンテンツの配信において,ユーザの視聴状況に応じて,ユーザが見逃した可能性のある重要なコンテンツを,ユーザに確実に提供するコンテンツ提供プログラム,コンテンツ提供方法,コンテンツ提供装置を提供することにある。
本実施の形態の第1の側面は,コンテンツを視聴者に提供するコンテンツ提供処理をコンピュータに実行させるコンテンツ提供プログラムであって,
前記コンテンツ提供処理は,
プロセッサが,提供されるコンテンツへの視聴者の視聴状況を,前記コンテンツの提供される時間に対応付けて取得する第1の視聴状況取得工程と,
プロセッサが,前記視聴状況に基づいて前記視聴者が視聴できなかった可能性がある時間区間の見逃しコンテンツをフィードバック対象コンテンツとして登録するフィードバック対象コンテンツ登録工程と,
プロセッサが,前記視聴者の視聴状況に基づいて前記視聴者が視聴できる状態を推定する視聴可能状態推定工程と,
プロセッサが,前記視聴者が視聴可能状態と推定される時間区間に,前記フィードバック対象コンテンツを前記視聴者に提供するフィードバック対象コンテンツ提供工程とを有する。
第1の側面によれば,ユーザが見逃した可能性のある重要なコンテンツを,ユーザに確実に提供することができる。
コンテンツ提供装置の構成図である。 本実施の形態における第1のコンテンツ提供処理のフローチャート図である。 本実施の形態における第2のコンテンツ提供処理のフローチャート図である。 本実施の形態における第3のコンテンツ提供処理のフローチャート図である。 処理工程S2,S12,S22のフローチャート図である。 処理工程S3のフローチャート図である。 具体例としてユーザAのコンテンツC1のコンテンツ重要度がタイムスロット別に評価された例を示す図である。 フィードバック対象コンテンツ登録工程S14-1のフローチャート図である。 フィードバック対象コンテンツ登録処理を説明する図である。 合成コンテンツ作成工程S23のフローチャート図である。 合成コンテンツ作成工程を説明するための図である。 フィードバック対象コンテンツ提供処理工程S24-2のフローチャート図である。 フィードバック対象コンテンツ提供処理工程を説明するための図である。 本実施の形態におけるサーバ側情報処理装置(サーバTs)の構成図である。 実視聴センシングデータの一例を示す図である。 スクリーン内のウインドウ座標履歴とコンテンツ表示履歴の一例を示す図である。 サーバTsの登録データの一つのコンテンツの一例を示す図である。 ユーザ実視点推定マップとウインドウ座標データとを示す図である。 視聴スコアと視聴受容可能レベルの算出のフローチャート図である。 評価データの一つである視聴スコアの一例を示す図である。 評価データの一つである視聴状況の一例を示す図である。 登録データの一つである視聴制御可能レベルの制御データの一例を示す図である。 コンテンツの重要度評価データの一例を示す図である。 フィードバック用コンテンツの登録例を示す図である。 コンテンツ表示前処理S2310のフローチャート図である。 フィードバック予約データの一例を示す図である。 処理工程S2408のフローチャート図である。
[実施の形態の概略]
最初に,本実施の形態におけるコンテンツ提供装置とコンテンツ提供プログラムの処理の概略について説明する。
図1は,コンテンツ提供装置の構成図である。コンテンツ提供装置は,クライアント側の情報処理装置Tcに対してコンテンツを提供するサーバ側情報処理装置Tsである。サーバ側情報処理装置Ts(以下単にサーバTs)は,例えば,パソコンやサーバなどであり,プロセッサであるCPU20と,メモリ21と,通信装置22と,キーボードや表示装置などのユーザインターフェース24と,サーバ側のコンテンツ提供プログラムなどを記憶する記憶媒体23を有する。
一方,クライアント側情報処理装置Tcは,例えば,コンテンツの視聴者が所有する携帯電話,スマートフォン,パッド端末,パソコンなどであり,プロセッサであるCPU10と,コンテンツを表示する表示装置や音声出力装置などの出力装置11と,視聴者の実視聴センシングデータを感知する情報収集装置12と,クライアント側プログラムを記憶する記憶媒体13と,メモリ14と,入力装置15と,通信装置16とを有する。
サーバTsは,コンテンツを通信回線を介してクライアント側情報処理装置Tc(以下単にクライアントTc)に送信し,クライアントTcが出力装置11から視聴者にコンテンツを提供する。また,クライアントTcは,情報収集装置12によりコンテンツ提供中の視聴者の実視聴センシングデータを収集し,それを通信回線を介してサーバTsに送信する。情報収集装置12は,例えば,視聴者の表示画面への視点情報や,視聴者が表示画面の前に居るのか否か,表示画面外の方向を向いているか否か,割り込みの電話や来客で表示画面の前から立ち去ったか否か,表示画面の前に戻ったか否かなどの視聴者の状況の情報などを収集する,カメラや録音機などである。
サーバTsは,収集された実視聴センシングデータを処理して,視聴者のコンテンツに対する視聴状況を算出する。そして,サーバTsは,この視聴状況に基づいて視聴者が視聴できなかった可能性があると推定できる時間区間のコンテンツをフィードバック対象コンテンツとして登録する。その後,サーバTsは,同じまたは異なるコンテンツ提供中の同じ視聴者の視聴状況に基づいて視聴者が視聴可能状態にあると推定できる時間区間にフィードバック対象コンテンツを,クライアントTcの出力装置11から視聴者に提供させる。
さらに,サーバTsは,複数の視聴者の視聴状況に基づいて視聴者らが自らの意思で視聴した可能性のある時間区間のコンテンツは重要であると評価する。そして,サーバTsは,重要であると評価されたコンテンツに前述のフィードバック対象コンテンツを絞り,クライアントTcの出力装置11から視聴者に提供させる。
図1において,サーバTsとクライアントTcとが一つの情報処理装置であってもよい。また,サーバTsに対して複数のクライアントTcが通信回線を介して接続可能にされ,複数のクライアントTcそれぞれに対して,コンテンツの提供,実視聴センシングデータの収集,フィードバックコンテンツの提供を行うようにしてもよい。
また,クライアントTcは,視聴者であるユーザに応じたコンテンツを提供する。また,クライアントTcが収集する実視聴センシングデータは,ユーザと紐づけてクライアントTcまたはサーバTsのシステム上に保管される。つまり,あるユーザであることがクライアントTcやサーバTsによって確認され,確認されたユーザに対して,データ収集やコンテンツ提供が行われる。
同様に,クライアントTcが提示するコンテンツは,出力装置11のディスプレイに応じて提供される。また,クライアントTcの情報収集装置12が収集する実視聴センシングデータは,ディスプレイと紐づけてクライアントTcやサーバTsのシステム上に保管される。つまり,ある出力装置11のディスプレイのスクリーンであることがクライアントTcやサーバTsによって確認され,確認されたディスプレイに対して,データ収集やコンテンツ提供が行われる。
[第1のコンテンツ提供処理]
図2は,本実施の形態における第1のコンテンツ提供処理のフローチャート図である。サーバTsのプロセッサ20が,プログラム記憶媒体23内のコンテンツ提供処理プログラムを実行することで,このコンテンツ提供処理を行う。フローチャートの各処理工程S10-S24について以下説明する。
処理工程S10
図1において,視聴者DがクライアントTcの出力装置11のスクリーンの前に着席して,視聴者DにコンテンツC1が提供されている状況にある。つまり,サーバTsが,視聴者DのクライアントTcに対してコンテンツC1を送信し,出力装置11のスクリーンに出力させて,コンテンツC1を提供中である(S10)。
処理工程S12:視聴状況取得工程
上記のように視聴者DにそのクライアントTcの出力装置11のスクリーンを介してコンテンツC1を提供中に,サーバTsが,クライアントTcの情報収集装置12が収集する視聴者DのコンテンツC1への情報接触量計測用の実視聴センシングデータを受信し,コンテンツに対する視聴者の視聴状況を取得,つまり算出し記録する(S12)。実視聴センシングデータは,後で詳述するが,視聴者Dであるユーザの視点が注がれた実視点領域データ,ユーザの離席などユーザに起きたイベント認識データ,スクリーンセーバ機能をオン・オフしたなどのプロパティデータなどを有する。サーバTsは,これらの実視聴センシングデータに基づいて,コンテンツC1に対する視聴者Dの視聴状況を取得する。算出方法は後で詳述する。
本実施の形態では,この視聴状況には,視聴受容可能レベルと視聴制御可能レベルとが含まれる。視聴受容可能レベルとは,どの程度視聴者が各コンテンツを視聴できる状態にあるかを示す指標である。また,視聴制御可能レベルとは,どの程度視聴者が視聴状況を制御可能であるかを示す指標である。
視聴受容可能レベルは,上記の実視点領域データに基づいて,視点がコンテンツの表示領域に滞留している程度で測定される。また,視聴制御可能レベルは,上記のイベント認識データやプロパティデータに基づいて,離席しておらずスクリーンセーバも起動していないように視聴するか否かを視聴者本人が制御できる程度で測定される。したがって,これら視聴受容可能レベルと視聴制御可能レベルについても,後で詳述する。
処理工程S14:フィードバック対象コンテンツ登録工程
サーバTsが,視聴者Dのスクリーン内のコンテンツC1に対する視聴状況に基づいて,視聴者DがコンテンツC1を視聴できなかった可能性がある時間区間のコンテンツをフィードバック対象コンテンツFXとして登録する。視聴できなかった可能性がある時間区間とは,視聴状況の視聴受容可能レベルが低い場合であり,例えば,コンテンツを表示しているスクリーン内の領域に視点が滞留した時間が短い場合である。
または,視聴者が視聴状況を制御できない可能性があること,つまり視聴状況の視聴制御可能レベルが低いことも,視聴受容可能レベルが低いという条件に加えて,それらの条件を満たす時間区間のコンテンツをフィードバック対象コンテンツFXとして登録しても良い。
処理工程S20
次に,サーバTsが,視聴者DにそのクライアントTcのスクリーンを介してコンテンツC1またはC2を提供中である(S20)。コンテンツC1は,処理工程S10,12,14で提供中のコンテンツC1と同じコンテンツであり,コンテンツC2は,異なるコンテンツである。
処理工程S22:視聴状況取得工程
上記のように視聴者DにそのクライアントTcの出力装置11のスクリーンを介してコンテンツC1またはC2を提供中に,サーバTsが,クライアントTcの情報収集装置12が収集する視聴者DのコンテンツC1またはC2への情報接触量計測用の実視聴センシングデータを受信し,コンテンツに対する視聴者の視聴状況を取得,つまり算出し記録する(S22)。この視聴状況は,処理工程S12で取得する処理状況と同じであり,視聴受容可能レベルと視聴制御可能レベルとが含まれる。
処理工程S24:フィードバック対象コンテンツ提供処理工程
サーバTsが,視聴者DのクライアントTcのスクリーン内のコンテンツC1またはC2に対する視聴状況に基づいて,視聴者Dがスクリーンを視聴可能状態と推定される時間区間に,登録したコンテンツC1のフィードバック対象コンテンツFXを,視聴者Dに視聴者Dのスクリーンを介して提供する(S24)。このフィードバック対象コンテンツFXは,例えば,視聴中のコンテンツC1またはC2を表示するウインドウの横に,別のウインドウで提供される。また,フィードバック対象コンテンツFXは,フィードバックすべきコンテンツそのものを提供してもよく,そのコンテンツのダイジェストを提供してもよく,または,そのコンテンツをお知らせする画面でもよい。
上記の第1のコンテンツ提供処理では,サーバTsが,視聴者DにコンテンツC1を提供中に,実視聴センシングデータから算出した視聴状況に基づいて視聴者が見逃した可能性がある時間区間のコンテンツをフィードバック対象コンテンツFXとして登録しておき,その後,同じ視聴者Dに同じコンテンツC1または異なるコンテンツC2を提供中に,同様に算出した視聴状況に基づいて視聴者が視聴可能状態と推定される時間区間をねらって,フィードバック対象コンテンツFXを視聴者Dに提供する。したがって,講義やイー・ラーニングのような感情的視聴状況が得られにくいコンテンツであっても,コンテンツに対する感情計測用の実視聴センシングデータではなく,情報接触量計測用の実視聴センシングデータを利用することで,視聴者Dが見逃した可能性のある時間区間のコンテンツを検出することができる。さらに,情報接触量計測用の実視聴センシングデータを利用することで,視聴者Dが視聴可能状態と推定される時間区間にフィードバック対象コンテンツを提供することができる。
[第2のコンテンツ提供処理]
図3は,本実施の形態における第2のコンテンツ提供処理のフローチャート図である。サーバTsのプロセッサ20が,プログラム記憶媒体23内のコンテンツ提供処理プログラムを実行することで,このコンテンツ提供処理を行う。フローチャートの処理工程S1-S3は,コンテンツC1の重要度(コンテンツ重要度)を評価する処理工程であり,処理工程S10-S24-1は,図2の第1のコンテンツ提供処理のS10-S24と同様であるが,但しコンテンツ重要度を考慮して処理工程S14-1,S24-1を行う。これらの処理工程について以下説明する。
処理工程S1
図1において,複数の視聴者AらがそれぞれのクライアントTcの出力装置11のスクリーンの前に着席して,視聴者AらにコンテンツC1が提供されている状況にある。つまり,サーバTsが,視聴者AらのクライアントTcに対してコンテンツC1を送信し,出力装置11のスクリーンに出力させて,コンテンツC1を提供中である(S1)。
処理工程S2:視聴状況取得工程
上記のように視聴者Aらに視聴者AらのクライアントTcの出力装置11のスクリーンを介してコンテンツC1を提供中に,サーバTsが,クライアントTcの情報収集装置12が収集する視聴者AらのコンテンツC1への情報接触量計測用の実視聴センシングデータを受信し,コンテンツC1に対する視聴者Aらそれぞれの視聴状況を取得,つまり算出し,記録する(S2)。処理工程S12と同様に,算出される視聴状況は,視聴受容可能レベルと視聴制御可能レベルとが含まれる。
処理工程S3:コンテンツ評価工程
サーバTsが,取得した視聴者Aらの視聴状況に基づいて,視聴者Aらが自らの意思で視聴した可能性のある時間区間のコンテンツを,視聴重要度大と評価する(S3)。つまり,サーバTsは,算出し記録された視聴者Aらそれぞれの視聴状況データを集計し,コンテンツC1の各時間区間を視聴した複数の視聴者の視聴状況に基づいて,各時間区間の視聴重要度を算出する。この視聴重要度は,コンテンツの重要度(コンテンツ重要度)を意味する。または,この視聴重要度に,コンテンツの提供者が重要と指定する提供重要度を考慮してコンテンツ重要度を算出してもよい。具体的には,後述する。
視聴者毎の視聴重要度の判断は,例えば,視聴制御可能レベルが高く,視聴受容可能レベルが高い時間区間のコンテンツを,視聴重要度が高いと評価し,視聴制御可能レベルが高いにもかかわらず,視聴受容可能レベルが低い時間区間のコンテンツを,視聴重要度が低いと評価するなどにより行われる。つまり,視聴制御可能レベルが高く視聴者が視聴可能な状況下にあるときに,視聴受容可能レベルが高く視聴者が自らの意思で視点をスクリーンのコンテンツC1に向けているときが,重要なコンテンツが提供されている時間区間であると見なすことができる。逆に,視聴制御可能レベルが高く視聴者が視聴可能な状況下にあるにもかかわらず,視聴受容可能レベルが低く視聴者が自らの意思で視点をスクリーンのコンテンツC1に向けていないときが,重要でないコンテンツが提供されている時間区間であると見なすことができる。
視聴者Aらが,複数の属性を有する場合は,それぞれの属性の視聴者らの視聴状況データを集計して,同じ属性の視聴者に対するコンテンツ重要度の評価を行うことが望ましい。例えば,視聴者Aらが営業部隊に属する者と,開発部隊に属する者の場合は,営業部隊に属する視聴者らの視聴状況データに基づいてコンテンツ重要度の評価を行い,そのコンテンツ重要度の評価は,同じ営業部隊に属する別の視聴者に対するフィードバック対象コンテンツの判断に利用し,開発部隊に属する視聴者らの視聴状況データに基づくコンテンツ重要度の評価は,同じ開発部隊に属する別の視聴者に対するフィードバック対象コンテンツの判断に利用する。
上記のコンテンツC1の時間区分毎のコンテンツ重要度は,例えば,以下の処理工程S14-1でフィードバック対象コンテンツを絞り込むときに考慮され,更に,以下の処理工程S24-1でフィードバック対象コンテンツを提供するタイミングを検出するときにも考慮される。
サーバTsは,上記の処理工程S1-S3を,コンテンツC1以外のコンテンツC2に対しても同様に実行して,コンテンツC2についてもコンテンツ重要度を算出しておく。このコンテンツC2のコンテンツ重要度は,例えば,以下の処理工程S24-1でコンテンツC2を提供中にコンテンツC1のフィードバック対象コンテンツを提供する時間区間を判定する際に,考慮することが行われる。
処理工程S10
図1において,視聴者DがクライアントTcの出力装置11のスクリーンの前に着席して,視聴者DにコンテンツC1が提供されている状況にある。つまり,サーバTsが,視聴者DのクライアントTcに対してコンテンツC1を送信し,出力装置11のスクリーンに出力させて,コンテンツC1を提供中である(S10)。この視聴者Dは,視聴者Aらと同じ属性の視聴者である。なぜなら,その視聴者Aらの視聴状況データに基づいて評価したコンテンツ重要度に基づいて,視聴者Aらと同じ属性の視聴者Dに対してコンテンツC1を提供中に,フィードバック対象コンテンツ登録処理工程S14-1やフィードバック対象コンテンツのフィードバック処理工程S24-1の判断をするからである。また,ここでのコンテンツC1は,処理工程S1-S3でのコンテンツ評価対象のコンテンツC1と同じである。
処理工程S12:視聴状況取得工程
図2と同様に,視聴者Dに視聴者DのクライアントTcの出力装置11のスクリーンを介してコンテンツC1を提供中に,サーバTsが,クライアントTcの情報収集装置12が収集する視聴者DのコンテンツC1への情報接触量計測用の実視聴センシングデータを受信し,コンテンツに対する視聴者の視聴状況を取得,つまり算出し記録する(S12)。
処理工程S14-1:フィードバック対象コンテンツ登録工程
第2のコンテンツ提供処理では,視聴状況に基づき視聴できなかった可能性がある時間区分で,且つコンテンツ重要度が大きい時間区分のコンテンツをフィードバック対象コンテンツFXとして登録する。つまり,フィードバック対象コンテンツFXの判断に,コンテンツ重要度を考慮して絞り込み,コンテンツ重要度が大きい時間区分のコンテンツのうち,視聴者Dが視聴できなかった可能性がある時間区分(視聴受容レベルが低い時間区分)のコンテンツが,フィードバック対象コンテンツと判定される。
処理工程S20
次に,サーバTsが,視聴者DにそのクライアントTcのスクリーンを介してコンテンツC1またはC2を提供中である(S20)。図2の処理工程S20と同じである。
処理工程S22:視聴状況取得工程
上記のように視聴者DにそのクライアントTcの出力装置11のスクリーンを介してコンテンツC1またはC2を提供中に,サーバTsが,クライアントTcの情報収集装置12が収集する視聴者DのコンテンツC1またはC2への情報接触量計測用の実視聴センシングデータを受信し,コンテンツに対する視聴者の視聴状況を取得,つまり算出し記録する(S22)。図2の処理工程S22と同じである。
処理工程S24-1:フィードバック対象コンテンツ提供処理工程
サーバTsが,視聴者DのクライアントTcのスクリーン内のコンテンツC1またはC2に対する視聴状況に基づいて視聴者Dがスクリーンを視聴可能状態と推定される時間区間で,且つ,提供中のコンテンツC1またはC2のコンテンツ重要度が小さい時間区間に,登録したコンテンツC1のフィードバック対象コンテンツFXを,視聴者Dに視聴者Dのスクリーンを介して提供する(S24-1)。
第1のコンテンツ提供処理の処理工程S24と異なり,提供中のコンテンツC1またはC2に対する視聴状況に基づいて視聴者Dがスクリーンを視聴可能状態と推定される時間区間であることに加えて,提供中のコンテンツC1またはC2のコンテンツ重要度が小さい時間区間に,フィードバック対象コンテンツを提供する。これにより,視聴者Dが視聴可能状態であって,提供中のコンテンツの重要度が低い時間区間であれば,視聴者Dはフィードバック対象コンテンツを視聴する可能性が高くなるので,見逃した重要なコンテンツのフィードバックを有効に行うことができる。
以上のように,第2のコンテンツ提供処理によれば,予めコンテンツC1やC2について視聴者Aらの視聴状況に基づいて各時間区間別にコンテンツ重要度を評価しているので,フィードバック対象コンテンツの判定ではコンテンツ重要度が高い時間区間をフィードバック対象と判定することができ,適切にフィードバック対象コンテンツを抽出でき,フィードバック対象コンテンツを提供すべきか否かの判定ではコンテンツ重要度が低い時間区間を提供すべきタイミングと判定することができ,適切にフィードバックタイミングを検出できる。
[第3のコンテンツ提供処理]
図4は,本実施の形態における第3のコンテンツ提供処理のフローチャート図である。サーバTsのプロセッサ20が,プログラム記憶媒体23内のコンテンツ提供処理プログラムを実行することで,このコンテンツ提供処理を行う。フローチャートの処理工程S1-S3は,図3の第2のコンテンツ提供処理と同じであり,コンテンツC1の重要度(コンテンツ重要度)を評価する処理工程である。また,処理工程S10〜S24-2は,図3の第2のコンテンツ提供処理S10-S24-1と同様であるが,フィードバック対象コンテンツFXを提供中のコンテンツC1またはC2に合成して合成コンテンツを作成する合成コンテンツ作成処理S23が追加されている。そこで,追加されている合成コンテンツ作成処理S23について以下説明する。
処理工程S23:合成コンテンツ作成工程
この処理工程では,サーバTsが視聴者DにコンテンツC1またはC2を提供中であり(S20),実視聴センシングデータを受信してそのコンテンツC1またはC2に対する視聴者Dの視聴状況を算出し記録中である(S22)。そこで,サーバTsは,その視聴状況に基づいて視聴者Dが視聴可能状態と推定される時間区間になると,それ以降において提供中のコンテンツC1またはC2のコンテンツ重要度が低い時間区分に,登録されているコンテンツC1のフィードバック対象コンテンツFXを,提供中のコンテンツC1またはC2に合成する(S23)。視聴者Dが視聴可能状況と推定される時間区間は,図2の処理工程S24や図3の処理工程S24-1と同じように,視聴受容可能レベルが高く,視聴制御可能レベルも高い時間区間である。そのような視聴可能な状況をトリガにして,サーバTsは,トリガ後の提供中のコンテンツC1またはC2のコンテンツ重要度が低い時間区間に,コンテンツC1のフィードバック対象コンテンツFXを,提供中のコンテンツC1またはC2に合成する。
処理工程S24-2:フィードバック対象コンテンツ提供処理工程
その後,図3の処理工程S24-1と同様に,サーバTsは,処理工程S24-2で,適切なタイミングで合成コンテンツを提供することでフィードバック対象コンテンツFXを提供する。
したがって,サーバTsは,視聴状況に基づいて,合成コンテンツの作成を開始するタイミングを検出して,それをトリガにして合成コンテンツを作成するので,サーバTsは,処理工程S24-1でその合成コンテンツを提供すればよい。
[具体例]
上記の第2のコンテンツ提供処理について,具体例を示すと次の通りである。まず,サーバTsは,社内のイー・ラーニングの動画コンテンツC1を各拠点の事務所の自席のクライアント端末で視聴している受講者Aらに提供している。そして,サーバTsは,その視聴者Aらの実視聴センシングデータを取得して記録し,そのデータから受講者Aらの視聴状況(視聴受容可能レベルと視聴制御可能レベル)を算出し,記録する(S2)。
1日目の受講者Aら100名の視聴状況から,サーバTsは,視聴受容可能レベルと視聴制御可能レベルが共にHレベルになる割合が高い時間区間を,動画コンテンツAの視聴重要度が高い時間区間と判定した。視聴重要度は,原則としてコンテンツ重要度と同じである。
2日目の受講者Dに対しては,サーバTsは,その視聴者Dが自席で動画コンテンツC1を視聴している時に,電話着信があるなどで,視聴者Dの視聴状況の視聴受容可能レベルと視聴制御可能レベルが共に低いレベルになったとき,その時間区間が,提供されているコンテンツのコンテンツ重要度が高い時間区間であったため,動作コンテンツC1のフィードバック対象コンテンツの時間区間として登録した。
その後,視聴者Dが電話を切り,ヘッドフォンを再装着してスクリーン画面に向き直ると,視聴者Dの視聴状況は,視聴受容可能レベルと視聴制御可能レベルが共にHレベルになった。さらに,同時に,動作コンテンツAのシーンは,コンテンツ重要度がLレベルの時間区間になった。そこで,サーバTsは,フィードバック対象コンテンツまたはそのダイジェストを視聴者Dに提供して,重要なコンテンツを見逃している可能性があることを視聴者Dに通知した。
第1のコンテンツ提供処理の場合は,コンテンツ重要度の算出(S3)が行われないで,それを考慮した判定が行われない点で,第2のコンテンツ提供処理と異なる。
第3のコンテンツ提供処理の場合は,合成コンテンツを前もって作成する処理工程S23が追加的に行われる点で,第2のコンテンツ提供処理と異なる。
[サーバ側情報処理装置の構成]
図14は,本実施の形態におけるサーバ側情報処理装置(サーバTs)の構成図である。サーバTsは,図1に示した通信部22,UI部24に加えて,受信した実視聴センシングデータなどの入力データ前処理部30と,外部のコンテンツサーバと連携を行う外部連携部31とを有する。さらに,サーバTsは,実視聴センシングデータ管理処理34,視聴状況取得処理35,コンテンツ評価処理36,ユーザ視聴状況確認処理37,フィードバック対象コンテンツ登録処理38,フィードバック対象コンテンツ提供処理39,合成コンテンツ作成処理40,UIまたはコンテンツ表示処理32,登録データ管理処理33を行うプログラムを記録媒体23に保管し,それらを実行することで対応する処理を行う。
サーバTsは,蓄積データ41と,生成データ42と,認識・評価データ43と,登録データ45とを,記録媒体23またはメモリ21内に記憶している。登録データ45は,視聴可能制御レベルの制御データ(図22参照)と,フィードバック対象コンテンツのフィードバック態様を示すフィードバックタイプ(図示せず)と,使用する重要度ラベル指定(図23参照)と,コンテンツ(図17参照)と,視聴者のタイプを示すユーザタイプ(図示せず)を有する。
サーバTsが保持する蓄積データ41は,実視聴センシングデータ(図15参照)と,コンテンツ表示履歴(図16参照)とを有する。また,生成データ42は,フィードバック箇所マークデータ(図24参照)と,フィードバック予約データ(図26参照)と,フィードバックコンテンツデータ(図示せず)とを有する。そして,評価データ43は,視聴スコアのデータ(図20参照)と,視聴状況データ(図21参照)と,コンテンツの重要度(図23参照)と,コンテンツの視聴重要度(図23参照)とを有する。
サーバTsは,上記のデータ類を参照してコンテンツ提供処理のプログラムを実行してデータを生成する。以下,そのコンテンツ提供処理について詳述する。
[コンテンツ提供処理の各処理工程]
次に,上記のコンテンツ提供処理工程の各処理工程について説明する。上記の通り,第3のコンテンツ提供処理が,第1,第2のコンテンツ提供処理の全ての処理工程と同じまたは類似の処理工程を有しているので,第3のコンテンツ提供処理の各処理工程S2,S3,S14-1,S23,S24-2について,具体的に詳述する。
[処理工程S2,S12,S22:視聴状況取得工程]
図5は,処理工程S2,S12,S22のフローチャート図である。処理工程S2は,対象となる視聴者やコンテンツが異なる場合があるものの,処理工程S12とS22と同じ視聴状況取得処理である。
処理工程S2では,サーバTsは,視聴者AらにコンテンツC1を提供しているときに,クライアントTsから実視聴センシングデータを受信し,コンテンツC1に対する視聴者Aらの視聴状況を取得,つまり算出し記録する。サーバTsは,処理工程S2として以下の処理を実行する。
S201:実視聴センシングデータ取得工程
サーバTsは,視聴者AらにコンテンツC1を提供しているときに,クライアントTsから実視聴センシングデータを受信し,記録する(S201)。
実視聴センシングデータは,クライアントTsの情報収集装置12により収集される。実視聴センシングデータのうち,視聴者の感情の度合いを計測するのに用いるセンシングデータ(ユーザの表情や周囲の完成音など)は,感情計測用の実視聴センシングデータとして蓄積される。一方,視聴者の離着席ステータス,視聴者の視点領域,端末操作等,視聴者が視聴しているコンテンツに対する情報接触の度合を計測するために用いるセンシングデータは,情報接触量計測用の実視聴センシングデータとして蓄積される。本実施の形態では,この情報接触量計測用の実視聴センシングデータを利用する。講義やイー・ラーニングでは,感情計測用のデータは取得が困難だからである。
図15は,実視聴センシングデータの一例を示す図である。図15では,実視聴センシングデータは,実視聴領域データと,イベント認識データと,プロパティデータとを有する。
第1に,実視点領域データは,例えば視聴者であるユーザの視線の観察によって得られる。視線の観察は,特殊な眼球の動きを測定する機器を用いることで可能であり,また,コンテンツの表示装置のスクリーンBの上に設置されたWebカメラを用いて,簡易的にユーザの視線方向を特定することも可能である。例えば,Stylianos Asteriadis et al., “Estimation of behavioral user state based on eye gaze and head pose application in an e-learning environment”, Multimed Tools Appl, 2009などに記載された技術である。
これらの視線検出技術において,コンテンツに注がれた視点データは,視点が注がれた時間が,単位時間当たりに視点が注がれた位置を囲む円の面積と,その円の重なりの強度で表現されるヒートマップと呼ばれるデータとして表現される。本実施の形態では,単位時間に視点が注がれた複数の位置の中心を円の中心として,視点が注がれた位置を覆う円を当該単位時間の視点情報として記録する。
図18に時刻t0からt1までの間のユーザ実視点推定マップの一例が示されている。図15に示されるように,時刻t1に記録されたユーザ実視点推定マップには,前回の記録t0以降に記録された円情報がファイル中に記録されている。時刻t0から時刻t1の間に視点記録の単位時間が5回含まれているとすると,円情報は最大5個記録される。
第2に,イベント認識データは,コンテンツの表示装置のスクリーンBの上に設置されたWebカメラが記録した映像に対する映像解析ソフトウェアの出力結果や,離着席記録ソフトウェアから受信したデータである。視聴者であるユーザAのスクリーンBの前方での様子を記録している映像を解析すると,人間の顔の位置,人間の視線の方向から,どちらを向いているかを求めることができる。ユーザAの背後に別のユーザが表れ,ユーザAが別のユーザの方向を向いた場合には,ユーザAはスクリーンBに表示されているコンテンツから興味がそれている状態といえる。こういったコンテンツへの情報接触量を増減させるようなイベントがイベント認識結果として記録される。
図15には,ユーザAが別のユーザの方向を向いたイベントと,離席したイベントとがイベント認識結果として記録されている。
第3に,プロパティデータは,コンテンツの表示装置のスクリーンBの表示情報量にかかわるようなシステムプロパティの変更を記録したものである。例えば,コンテンツ視聴中にスクリーンセーバが起動すれば,ユーザAはスクリーンセーバ起動期間中,コンテンツを視聴することができない。このようにコンテンツへの情報接触量を増減させるようなプロパティ変更が変更後プロパティ値とともに記録される。プロパティの変更は,システムが自動的に行った変更でもよいし,ユーザが自発的に行った変更を含んでも良い。
図15には,スクリーンセーバが起動したことを示す変更後のプロパティが記録されている。
S202:コンテンツ表示履歴登録工程
サーバTsは,視聴者Aらが視聴しているスクリーン内のコンテンツ表示履歴を登録する(S202)。
図16は,スクリーン内のウインドウ座標履歴とコンテンツ表示履歴の一例を示す図である。図17は,サーバTsの登録データの一つのコンテンツの一例を示す図である。そして,図18は,ユーザ実視点推定マップとウインドウ座標データとを示す図である。図18には,時刻t0からt1までの間の実視点推定マップとウインドウ座標の一例が示されている。
図16の視聴スクリーン中のウインドウ座標履歴とコンテンツ表示履歴について説明する。ユーザは,同時に複数のスクリーンを視聴している場合がある。また,ユーザは,1つのスクリーン内に複数のウインドウを表示することもある。したがって,どのユーザがどのスクリーン内のどのウインドウを視聴しているかについて区別して履歴が記録される。そして,ここでは,これらのウインドウがどのような状態でスクリーン上に配置され,各ウインドウ中にどのコンテンツが表示されたのかを履歴として蓄積する。この場合,第1のウインドウ中にコンテンツが表示されている場合であってもその第1のウインドウが他の第2のウインドウの下に隠れ,実際にはユーザAは隠れた第1のウインドウ中のコンテンツは見ていない場合もある。そのため,ウインドウ座標のテーブルには,ウインドウの表示位置,表示サイズを表すデータばかりではなく,ウインドウの重なり順も記録する。
コンテンツ表示履歴には,どのユーザがどのスクリーンにどのウインドウを表示しているかを記録している。図16の例では,時間t0ではウインドウID:1とID:2とを同時に表示していて,時間t1ではウインドウID:1だけを表示していることが記録されている。
図17には,登録データであるコンテンツに関して,コンテンツID(C1,C2など)毎にそのコンテンツが格納されているURIと,コンテンツの時間区間(タイムスロット)毎の提供重要度とが記録されている。このうち,コンテンツIDがコンテンツ表示履歴で引用されている。
また,コンテンツの提供重要度とは,コンテンツを提供する側にとって視聴者に伝えたい重要性を示すデータであり,コンテンツ提供者から提供される。
S203:関連づけ工程
サーバTsは,図15の実視聴センシングデータと,図16のコンテンツ表示履歴とを時刻でひもづける(S203)。
S204:視聴受容可能レベル算出工程
そして,サーバTsは,視聴者Aらの視聴しているスクリーン内のウインドウで表示中のコンテンツC1への視聴スコアを実視点領域データから算出し,視聴スコアに基づいて視聴状況のうち視聴受容可能レベルを算出する(S204)。視聴スコアとは,各コンテンツがどのくらいの量,ユーザAに視聴されたかを表す数値である。
図18には,時刻t0からt1までの間のユーザ実視点推定マップとウインドウ座標データの一例が示されている。視聴スコアのうち,視覚を用いてユーザAがコンテンツC1をどのくらい視聴していたかのスコアを,ユーザの視点滞留面積によって求める例を示している。ただし,コンテンツの表示スクリーンBの音量や周辺の雑音レベルを考慮することで,聴覚を用いたスコアを算出しても良い。
時刻t0からt1のスクリーンBのユーザ実視点推定マップ30は5つの円を記録している。この円は,前述のとおり,時刻t0からt1までの間の5区間それぞれで,視点が滞留した領域をそれぞれ示している。したがって,円が重なる程,視点が滞留した時間が長くなることを意味している。
また,時刻t0のスクリーンB31ではウインドウが2つ表示され,時刻t1のスクリーンB32では,ウインドウが1つ表示されている。時刻t0からt1のどのタイミングでウインドウID:2が消失したのかについては記録されていない場合を前提にすると,ウインドウID:1とウインドウID:2で表示されたコンテンツC1とコンテンツC2がそれぞれ,どのくらいの分量で視聴されたかは正確に算出することができない。本実施の形態では,時刻t0からt1の間が微小であるという想定の元に,時刻t1の時点の視聴スコアは,時刻t1に存在するウインドウID:1に表示されているコンテンツC1についてのみ算出する。
合成画像33は,時刻t0とt1のスクリーンのウインドウと実視点推定マップの円を合成した画像である。
図19は,視聴スコアと視聴受容可能レベルの算出のフローチャート図である。ウインドウID:1に表示されているコンテンツC1への視聴スコアは,工程S42に示されるとおり,図18の合成画像33に示される黒枠34内に位置する円の延べ面積SESを,コンテンツC1を表示しているウインドウID:1の面積の黒枠34の面積に対する割合で分配して求める。
すなわち,ウインドウID:1に表示されているコンテンツC1への視聴スコアは,黒枠34内に位置する円の延べ面積SESに,時刻t0から時刻t1の間において表示された全ウインドウの最端で囲んだ矩形34の面積SDWに対する時刻t1におけるウインドウID:1の面積S1Wの比率(S1W/SDW)を乗じて求める(S40,S41,S42)。
図20は,評価データの一つである視聴スコアの一例を示す図である。図20には,時刻t0からt1の時間区間におけるユーザAのスクリーンB内のコンテンツC1に対する視聴スコアとして,[8000]が記録されている。
前述のとおり,本実施の形態では,視聴状況を視聴受容可能レベルと視聴制御可能レベルの2つで表現する。視聴受容可能レベルは,どの程度,各コンテンツを視聴できる状態にあるかを示し,視聴制御可能レベルは,どの程度,当該視聴状況を,視聴している本人が制御可能でるかを示す。当該両レベルは,連続量で表現しても良いし,離散量で表現しても良い。本実施の形態では,3段階のレベル(Low, Mid, High)で表現する。
例えば,視聴受容可能レベルが高い状態には,コンテンツを表示しているウインドウに視点が滞留しており,そのウインドウが視聴スクリーン全体に広がっているような場合がある。また,視聴制御可能レベルが低い状態には,離席状態にあってコンテンツ視聴にかかわる制御が困難であるような場合がある。
図19では,工程S42で算出した視聴スコアを用いて,視聴受容可能レベルの評価を行う。この例では,時刻t0からt1におけるユーザAのスクリーンBにおける視聴受容可能レベルは,時刻t1において表示されているウインドウの視聴スコア(一種の面積)がスクリーン面積内にどの程度拡がっているかを基準にして評価する。図19の例では,ウインドウID:Yについての視聴スコアSCOREが,スクリーン面積SSCRNに対してある一定値(1/4)を超えている場合にはHigh(S44のYES,S45),次の一定値(1/8)を超えている場合にはMiddle(S44のNO,S46),いずれも下回る場合にはLow(S43のNO,S47)としている。一定値は,視聴スコアの最大スコアの近傍値が視聴スクリーンの面積になることを想定し,その最大スコアの1/4を超える量がウインドウID:Yの視聴スコアである場合には,視聴受容可能レベルがHighレベルであるとしている。時刻t1において,ウインドウが複数存在する場合には,各ウインドウの中で最大の視聴受容可能レベルをスクリーン全体の視聴受容可能レベルとして算出できる。
図21は,評価データの一つである視聴状況の一例を示す図である。図21には,時刻t0からt1の時間区間におけるユーザAのスクリーンB内のコンテンツC1に対する視聴状況として,視聴受容可能レベルがMiddleであり,視聴制御可能レベルがMiddleであることが記録されている。
S205:視聴制御可能レベル算出工程
図5に戻り,サーバTsは,実視聴センシングデータのイベント認識データと,プロパティデータに基づいて,視聴状況のもう一つである視聴制御可能レベルを算出する(S205)。
図22は,登録データの一つである視聴制御可能レベルの制御データの一例を示す図である。この例では,他人へ顔を向けた(Facing to other people),離席(Away their seat),スクリーンへ顔を向けた(Facing to Screen),席に戻る(Back to their seat),スクリーン電源OFF(ScreenON:False),スクリーンセーバ起動(ScreenSaverOFF:False),ログイン状態ON(LoginON:True)などが登録されている。
視聴制御可能レベルは,登録された視聴制御可能レベルを加算または減算するイベントであるプロパティに基づいて変更される。例えば,図22に示されるように,登録済のイベント“Facing to other people”は,他のユーザの方に顔を向けているので,視聴制御可能レベルをLowに変更すべきイベントである。また,ログイン状態がONに変更されるというプロパティ変更“LoginON:True”は,視聴制御可能レベルをHighに変更すべきプロパティ変更である。
時刻t0から時刻t1の間に起ったイベントやプロパティ変更は,図15に示したような実視聴センシングデータとして蓄積されている。この中に視聴制御可能レベルに影響を与えるようなイベント,プロパティ変更があると,図22で示されたイベント,プロパティと関連付けられて,図22にあらかじめ登録されたイベントに対する制御値が,その時間区間の視聴制御可能レベルとして採用される。
図22の例では,制御フラグを「絶対値変更」としているので,イベントやプロパティ変更が発生すると直ちに視聴制御可能レベルの値がその制御値になる。それに対して,例えば,一定時間内に複数のイベントやプロパティ変更があった場合には,それらの制御値を現在のレベルに加減算して相対値で変更するようにしても良い。
絶対値変更を行う場合には,一定時間内に複数のイベントやプロパティ変更があった場合,一定時間内の最後のイベントやプロパティを優先して制御値を決定して良いし,最も厳しいまたは最も緩い制御値を採用しても良い。また,図21に示した視聴状況の評価データの例は,ある時間区間のあるユーザあるスクリーンにおける視聴受容可能レベルと視聴制御可能レベルとを紐づけて記録している。必要な場合には,スクリーン中の表示コンテンツそれぞれについて,視聴状況を評価し,記録しても良い。
図5の工程S2の説明は以上のとおりである。工程S12,S22は,視聴者と提供中のコンテンツが異なるだけであり,図5と同様にして視聴状況を算出する。
[処理工程S3:コンテンツ評価工程]
図6は,処理工程S3のフローチャート図である。処理工程S3では,サーバTsが,算出した視聴状況に基づいて,視聴者らが自らの意思で視聴した可能性のある時間区間のコンテンツをコンテンツ重要度大と評価する。すなわち,視聴状況の視聴受容可能レベルと視聴制御可能レベルが共にHレベルになる視聴状況Goodの率が高いことを示す視聴状況Good率に基づいて,視聴重要度を算出する。そして,この視聴重要度が高い時間区間(タイムスロット)のコンテンツがコンテンツ重要度が高いと評価する。さらに,コンテンツの提供者側にとっての重要度である提供重要度を考慮して,コンテンツ重要度を評価してもよい。
また,図23は,コンテンツの重要度評価データの一例を示す図である。図23には,一時的に作成されるコンテンツ視聴状況一覧と,登録データの一つである使用する重要度ラベル指定と,評価データであるコンテンツ重要度とが示されている。図23中のタイムスロットは一定時間であっても良いし,不定間隔の時間であっても良い。ここでは,コンテンツC1のタイムスロット:1は,コンテンツの開始0秒から1秒,タイムスロット:2は,開始1秒から2秒という具合に一定時間であるとする。これらを参照して,以下,図6の各処理工程S301-S304を説明する。
S301:視聴状況データ収集工程
サーバTsは,視聴者Aらのうちコンテンツ評価したいグループの視聴者のコンテンツC1に対する視聴状況のデータを収集する(S301)。例えば,営業グループの視聴者のコンテンツC1への視聴状況のデータを収集する。
具体的には,サーバTsは,図16で示したようなデータを元に,コンテンツID:C1に関するウィンドウ・コンテンツ表示履歴を収集する。コンテンツ表示履歴中には,すべてのユーザのすべての記録が含まれている。そのため,コンテンツ評価を行うにあたっては,あるユーザグループに向けて評価する場合に,そのユーザグループに関するデータのみを用いて評価するのが好ましい。例えば,評価対象となるコンテンツが,製品Eに関する説明映像であった場合に,製品Eの営業を担当するユーザにとって重要な個所と,製品Eを購入する予定のユーザにとって重要な個所とは異なることが想定される。例えば,コンテンツC1について,既に営業担当者が多く在籍する事業所での視聴実績があり,データベース上からは,図16に示されるような2012年7月12日収集データのみを抽出することで,当該視聴実績データの視聴状況データのみを抽出する。そして,以下のとおり,サーバTsは,コンテンツID:1の2012年7月12日の視聴状況から,各タイムスロットにおけるコンテンツの重要度を算出する。
S302:視聴状況Good率算出工程
サーバTsは,視聴状況が良い(Good)率を求める(S302)。図23に示されるとおり,視聴状況が良い(視聴状況Good)とは,2012年7月12日収集データの中から,対応する各タイムスロットで,視聴受容可能レベルと視聴制御可能レベルの両方がHレベルであった場合である。この時のタイムスロット1の視聴状況Good率は,2012年7月12日収集データのタイムスロット1の視聴状況データ全数に対する当該タイムスロット1における視聴状況Goodのパーセンテージとして求められる。
S303:視聴重要度算出工程
サーバTsは,視聴状況Good率に基づき視聴重要度を算出する(S303)。図6に示されるとおり,この視聴重要度は,例えば,視聴状況Good率が40%から60%の間ではMiddle,それ以下であればLow,それ以上であればHighと決定される。
S304:コンテンツ重要度算出工程
サーバTsは,視聴重要度に基づいてコンテンツ重要度を算出する(S304)。基本的には,コンテンツ重要度は視聴重要度と同じである。ただし,部分的に提供重要度を考慮して算出してもよい。その場合,コンテンツの各タイムスロットの重要度は,提供重要度と視聴重要度を元に決定する。例えば,図6に示されるように,基本的には視聴重要度がコンテンツ重要度となる。つまり,コンテンツ重要度=視聴重要度である。ただし,提供側で提供重要度がHレベルであると指定しているタイムスロットについては,今回対象となった視聴済のユーザグループの視聴重要度がMiddleレベルであっても,コンテンツ重要度をHレベルと評価する。このように,視聴重要度の方を重視したコンテンツ評価を行う。
コンテンツ評価後には,図22で示すような一時作成データをすべて残しても良いが,どのユーザグループ向けに評価した重要度であるのかを,重要度ラベルとして管理し,評価したコンテンツの各タイムスロットの重要度と重要度ラベルを紐づけておく。それにより,ユーザグループ毎にコンテンツの重要度評価データを管理することができる。
また,視聴重要度は,時間,ユーザ,画面などにより算出に用いるデータに制約をかけるようにしてもよい。
図23には,ユーザグループ毎の使用する重要度ラベルの登録データの例が示され,コンテンツ重要度が,重要度ラベル毎に,コンテンツC1の各タイムスロット別に記録されている。
図7は,具体例としてユーザAのコンテンツC1のコンテンツ重要度がタイムスロット別に評価された例を示す図である。横方向がタイムスロットtslの1〜Nに対応し,それに対応した提供重要度,視聴重要度が示され,それらに基づいて評価されたコンテンツ重要度が示されている。この具体例では,タイムスロットtslが3-10でコンテンツ重要度がHレベルと評価されている。特に,タイムスロットtsl=10では,視聴重要度がMiddleであるが,提供重要度がHighレベルであるため,コンテンツ重要度はHighレベルになっている。
[処理工程S14,S14-1:フィードバック対象コンテンツ登録工程]
図8は,フィードバック対象コンテンツ登録工程S14-1のフローチャート図である。フィードバック対象コンテンツ登録工程S14-1は,図3,図4の第2,第3のコンテンツ提供処理での登録工程である。また,図1の第1のコンテンツ提供処理での登録工程S14はコンテンツ重要度を考慮していないことを除いて工程S14-1と同等である。
また,図9は,フィードバック対象コンテンツ登録処理を説明する図である。図9には,(1)(2)コンテンツ評価処理工程S3で保存されているコンテンツ重要度データと,(3)現在のユーザDのコンテンツC1の視聴状況と,(4)フィードバック箇所マークデータの一例が示されている。
フィードバック対象コンテンツ登録工程S14-1では,サーバTsは,視聴状況に基づいて視聴できなかった可能性がある時間区間で,且つコンテンツ重要度が高い時間区間のコンテンツを,フィードバック対象コンテンツFXとして登録する。すなわち,視聴者が来客や電話中など,視聴制御できない状態で,あまりコンテンツを視ることができないと判断できるような視聴状況におかれている場合には,そのような時間帯で表示していたコンテンツを,今後フィードバック表示する箇所として登録する。以下,図8の処理工程S1401-S1407について,図9を参照して説明する。
S1401
サーバTsは,工程S12で保存した時刻t0-t1での視聴者DのスクリーンBについての視聴状況を抽出または確認する(S1401)。このスクリーンBには,例えば複数のコンテンツが表示されているとすると,そのうちコンテンツC1の視聴状況が図9の(3)に示されている。
S1402
サーバTsは,上記の視聴状況のうち視聴受容可能レベルがLレベルか否か判定する(S1402)。この場合は,視聴者が視点をスクリーンに留めていない状況であることが判定される。この判定は,視聴受容可能レベルと視聴制御可能レベルが共にLレベルか否か判定するようにしてもよい。この場合は,電話により離席したなど不可抗力により視聴者が視聴できない状況であることが判定される。
S1403
サーバTsは,視聴受容可能レベルがLレベルの場合は(S1402のYES),その視聴者DにスクリーンBで表示している全てのコンテンツに対して,以下の処理を繰り返す。
S1404,S14-105,S1406
サーバTsは,時刻t0-t1におけるコンテンツC1のタイムスロットtsl毎に(S1404),コンテンツC1のタイムスロットtslのコンテンツ重要度がHレベルであれば(S14-105のYES),コンテンツC1のタイムスロットtslのフィードバック用フラグをtrueにする(S1406)。サーバTsは,この処理をコンテンツのタイムスロット全てについて行う。
S1407
サーバTsは,上記の処理S1404,S14-105,S1406を,スクリーンBで表示している全てのコンテンツに対して実行する(S1407)。
図9の例では,評価されたユーザAらへのコンテンツC1のコンテンツ重要度データは,そのコンテンツのタイムスロットtsl=3−10でHレベルになっている。そして,現在の視聴状況の視聴受容可能レベルは,現在のコンテンツC1のタイムスロットtsl=3−10でHレベルになっている。そこで,フィードバック箇所マークデータでは,タイムスロットtsl=3−10でフィードバック用フラグがtrueになっている。
図24は,フィードバック用コンテンツの登録例を示す図である。図24には,ユーザDのスクリーンBに表示されているコンテンツC1のタイムスロット3-5でフィードバック用フラグがtrueになっている。これは,図9と整合している。
図2の第1のコンテンツ提供処理では,フィードバック対象コンテンツ登録処理S14でコンテンツ重要度は考慮していない。したがって,第1のコンテンツ提供処理では,視聴受容可能レベルがLレベルになると,そのときのコンテンツのタイムスロットがフィードバック対象コンテンツとして登録される。
[処理工程S23:合成コンテンツ作成工程]
図10は,合成コンテンツ作成工程S23のフローチャート図である。合成コンテンツ作成工程S23では,サーバTsが,視聴状況に基づき視聴可能状態と推定される時間区分になると,フィードバック対象コンテンツFXを,提供中のコンテンツのコンテンツ重要度が低い時間区分で,提供中のコンテンツに合成する。すなわち,視聴者が何の妨害もなく,集中してコンテンツを見ていると判断できるような視聴状況におかれている場合には,フィードバック対象コンテンツがあれば,現在視聴中のコンテンツのコンテンツ重要度が下がったタイミングでそれを提供するために,そのタイミングに向けて表示前処理して,フィードバック対象コンテンツを提供中のコンテンツに合成して表示の準備する。
または,上記とは逆に,重要度の低いコンテンツ部分にあらかじめフィードバック対象コンテンツを合成して表示できるように準備しておき,ユーザの視聴状況の確認後,視聴状況がフィードバック情報受け取りに問題ないと判定された後すぐにフィードバック情報の提示を行うようにしてもよい。
図11は,合成コンテンツ作成工程を説明するための図である。図11には,(1)現在の視聴者DへのコンテンツC1またはC2の視聴状況と,(2)視聴者Dの提供中のコンテンツC1またはC2のコンテンツ重要度と,(3)フィードバック候補のタイムスロット群と,(4)視聴者Dの提供中のコンテンツC1またはC2への合成コンテンツとが示されている。これらを参照して,図10のフローチャートを説明する。
まず,前提として,サーバTsがほぼリアルタイムに算出する視聴者の視聴状況を記録している。サーバTsは,記録した時刻t0からt1の時間区間の現在提供中のコンテンツについて視聴状況を取得し(S2301),視聴者がフィードバック対象コンテンツを受け入れられるような視聴状況か否かの判定処理と,フィードバック対象コンテンツがあるか否かの判定処理を開始する(S2302)。視聴状況について,ユーザDのスクリーンBの視聴受容可能レベル,視聴制御可能レベルの両レベルがHレベルである場合には,視聴者Dは,スクリーンB上のコンテンツに対する視聴状況が良い状態にあることを意味する。このような視聴状況が良い場合は,視聴者DのスクリーンBに表示しているコンテンツに組み込んでフィードバック対象コンテンツを提供した場合にも,やはりフィードバック対象コンテンツを良い状態で視聴できる可能性が高い。
そこで,サーバTsは,視聴受容可能レベルと視聴制御可能レベルとが共にHレベルであることをトリガにして,現在視聴中のコンテンツについて,その後コンテンツ重要度が低いタイミングがいつになるかを検出し,コンテンツ重要度が低いタイムスロットにフィードバック対象コンテンツを合成して表示できるように,事前にコンテンツの編集を行う。
本実施の形態では,直近のコンテンツ重要度が低いタイミングで,フィードバックを行う例について述べるが,フィードバックを行う箇所は,視聴重要度や提供重要度のいずれかの重要度のH,Lレベルによって判定しても良い。または,これら視聴重要度や提供重要度のようにコンテンツに対してあらかじめ割り当てられているデータばかりではなく,視聴者Dの視聴時の状況と他の利用者の視聴時の状況を基に,コンテンツ重要度の低いコンテンツを視聴した時に特有の視聴状況や実視聴センシングデータとの類似性などに基づいて,ユーザがコンテンツの重要度を低いと判断していると高い確率で推定できる状況等,動的なデータを用いて判定しても良い。
この時,合成して埋め込むフィードバック対象コンテンツと,現在表示中のコンテンツが同じである必要はないし,また,埋め込むフィードバック対象コンテンツのタイムスロットの全長と,現在表示中のコンテンツのタイムスロットの全長とは必ずしも同じである必要はない。
まず,ユーザD,スクリーンBが表示しているコンテンツがコンテンツC1とコンテンツC2と2つであったとすると,いずれかのコンテンツにおいて,時刻t1からz秒後までの間のタイムスロット(t0+i)-(t1+i)(但しi=0-z)に,コンテンツ重要度の低いタイムスロットが存在しないかを確認する(S2303,S2304,S2305)。z秒は,例えば,視聴状況が良い状態がこのまま続くと期待できる時間に設定する。さらに,計算時間を考慮してこれら一連の計算または判定処理に要する最低限の時間後以降に,z秒の区間を設定することでも良い。ここでは,60秒程度とする。
サーバTsは,時刻t1からz=60秒の間にコンテンツ重要度が低いタイムスロット(t0+i)-(t1+i)があれば(S2305のYES),フィードバック対象コンテンツを合成して埋め込むタイムスロットの候補として記録する(S2306)。コンテンツC1で候補が存在しなければ,残りのコンテンツC2で候補の検索を行う(S2308)。
サーバTsは,コンテンツC1,コンテンツC2で候補が見つかった場合には,先に候補が見つかった方のコンテンツで,もっとも長く連続したタイムスロットの位置を特定する(S2309)。図11の例では,連続するタイムスロット位置がコンテンツC1のtsl=20から27であったとなっている。
図11に示されるように,上記の図10のフローチャートによれば,時刻t0-t1で視聴者DのスクリーンBについての視聴状況が,視聴受容可能レベル,視聴制御可能レベルのいずれもがHレベルであり,且つ,フィードバック要フラグがtrueのタイムスロットが存在する場合(S2302のYES)は,それをトリガにして,サーバTsは,表示している全てのコンテンツに対して(S2303),時刻t1後からz時刻までのタイムスロット(t0+i)-(t1+i)(但しi=0-z)について(S2304),視聴中のコンテンツの重要度がLレベルであるか否かを事前にチェックする(S2305)。そして,サーバTsがコンテンツ重要度Lレベルのタイムスロットを検出すると,そのタイムスロットtslを,フィードバック候補のタイムスロット群Tに登録する。
そして,サーバTsは,タイムスロット群Tに登録したもののうち,最長の連続するタイムスロットtslcをタイムスロット群に残す(S2309)。図11の例では,タイムスロット20-27が最長の連続するタイムスロットである。そして,サーバTsは,提供中のコンテンツのタイムスロット20-27に,フィードバック対象コンテンツを合成するコンテンツ表示前処理を行う(S2310)。
図25は,コンテンツ表示前処理S2310のフローチャート図である。このコンテンツ表示前処理S2310は,図10の合成コンテンツを作成する処理である。以下,このフローチャートの各処理について説明する。
図10,図11で示されるように,サーバTsは,検出したユーザD,スクリーンB,コンテンツC1のタイムスロットtsl=20から27に,フィードバック対象コンテンツを事前に合成し埋め込む処理(S53,S54)を行う。まず,サーバTsは,提供中のコンテンツであるコンテンツC1内の,フィードバック対象コンテンツを埋め込むのに適切な画面エリアaを決定する(S50)。画面エリアaは,提供中のコンテンツの表示情報量が少ないエリアが望ましいので,タイムスロットtsl=20から27に含まれるコンテンツのフレーム画像を分析し,動きや情報量の少ない画面エリアを検討し,指定する。
そして,サーバTsは,図11に示されたタイムスロット群T内のタイムスロットtslを連結したタイムスロットをtslc(tslのcombined)と定義する(S51)。また,サーバTsは,フィードバック要フラグ=trueとして登録されたコンテンツfc(フィードバック対象コンテンツfc)の集合をFCとし,その集合FCの要素のコンテンツをfcと定義し,コンテンツfcのフィードバック要フラグ=trueとして登録されたタイムスロットをftslと定義し,そのタイムスロットftslの集合をFTSLと定義する(S51)。さらに,サーバTsは,タイムスロットftslを連結したタイムスロットをftslc(ftslのcombined)と定義する(S51)。
次に,サーバTsは,フィードバック対象コンテンツをどのような形態で(フレームを間引かずに,または間引いて)埋め込むかを決定する(S52)。フィードバック対象コンテンツは,複数タイムスロットにわたる長いものである場合もあれば,短いものである場合もあり,さらに,異なるコンテンツが含まれる場合もある。
そこで,サーバTsは,図24に示される,ユーザD,スクリーンBについて,フィードバック要フラグがセットされた全コンテンツ,全タイムスロットについて,フィードバックが必要なタイムスロットの全長ftslcを算出する。そして,提供中のコンテンツのタイムスロットtsl=20から27の間のタイムスロットの長さtslcが,フィードバック対象コンテンツのタイムスロットの全時間区間長ftslcよりも長い場合には(S52のYES),サーバTsは,提供中のコンテンツのタイムスロットtsl=20-27の各フレーム画像のエリアaの位置に,フィードバック対象コンテンツのタイムスロットのフレーム画像の縮小サイズ版を合成加工する。一方,提供中のコンテンツのタイムスロットtsl=20から27の間のタイムスロットの長さtslcが,フィードバック対象コンテンツのタイムスロットの全時間区間長ftslcよりも短い場合には(S52のNO),サーバTsは,フィードバック対象コンテンツの最初の部分だけを提供中のコンテンツのタイムスロットtslcに埋め込むように合成する。または,図25の例のように,サーバTsは,提供中のコンテンツのタイムスロットtsl=20から27の間に収まるように,フィードバック対象コンテンツの全タイムスロットの映像から要点スライドショー画像を作成し,提供中のコンテンツのタイムスロットtsl=20から27のエリアaの位置に,縮小画像として合成加工してもよい(S54)。
最後に,サーバTsは,フィードバック予約を更新する(S55)。
フィードバック対象コンテンツの合成コンテンツを作成した場合は,フィードバック時の画面の制御を,ユーザの視聴したタイムスロットを監視しながら,提供中のコンテンツから合成コンテンツへの切り換え,また,それとは逆の合成コンテンツから提供中のコンテンツへの切り換えといった切り替え制御が必要となる。これを回避する簡易な方法として,フィードバック対象コンテンツは合成するのではなく,提供中のコンテンツのウインドウより上の重なり順になるような新規の小ウインドウで提示するようにしてもよい。
さらに,上記では,フィードバック対象コンテンツの形態を提供中のコンテンツのタイムスロットの長さに合わせて,フィードバック対象コンテンツのタイムスロットの映像をすべて提示するか,もしくは,要点スライドショーを提示するかを選択したが,コンテンツ重要度を用いて提示の優先順位を決定することで,優先順位の高いもののみを提示する形でも良いし,ユーザやユーザグループ,コンテンツ毎に,事前に,フィードバック対象コンテンツの提示の形態を取り決めておいてもよい。
フィードバックを行うタイミングについても,本実施の形態では,ある一定時間内で,一番長いコンテンツ重要度がLレベルの連結タイムスロットtslcに,フィードバックの予約をいれる例を説明した。しかし,現在視聴しているコンテンツの重要度を考慮せずに,ユーザの視聴状況の確認後,フィードバック情報を受け取れる状態にあれば,すぐに,フィードバック対象コンテンツを提示するというようにしてもよい。もちろん,ユーザやユーザグループ,コンテンツ毎に提示のタイミングについても,事前に取り決めておいてもよい。
図26は,フィードバック予約データの一例を示す図である。図25で,ユーザD,スクリーンBで表示しているコンテンツC1のタイムスロットtsl=20から27の間は,コンテンツ重要度が低く,フィードバック箇所としてマークされていたコンテンツC1のタイムスロットftsl=3から10が埋め込まれた状態のコンテンツが既に作成されている。それが,図26のユーザD,スクリーンB,フィードバック対象コンテンツC1,タイムスロットftsl=3-10,合成された提供中のコンテンツC1,タイムスロットtsl=20-27と示されている。
これらのデータは一時的なコンテンツであるので,図14のサーバTsの構成図には含めていない。格納データの形式としては,図16のコンテンツテーブルのような形式を基本として,当該テーブルと図26のテーブルとの紐づけをするためのカラムがいずれかのテーブルにあればよい。
[処理工程S24-2:フィードバック対象コンテンツ提供処理工程]
図12は,フィードバック対象コンテンツ提供処理工程S24-2のフローチャート図である。フィードバック対象コンテンツ提供処理工程S24-2では,サーバTsが,視聴状況に基づき視聴可能状態と推定される時間区分で,提供中のコンテンツのコンテンツ重要度がLレベルの時間区分に,フィードバック対象コンテンツが埋め込まれた合成コンテンツを提供する。
すなわち,ユーザが何の妨害もなく,集中してコンテンツを見ていると判断できるような視聴状況におかれている場合に,まだ実行していないフィードバック予約がある場合には,現在視聴中のコンテンツがフィードバックを予約している時間区間に入れば,サーバTsが,図26で予約していた合成コンテンツの画像を表示する。
図13は,フィードバック対象コンテンツ提供処理工程を説明するための図である。図13には,(1)現在の視聴者DへのコンテンツC1またはC2の視聴状況と,(2)視聴者Dの提供中のコンテンツC1またはC2の合成コンテンツの表示状況と,(3)フィードバック要フラグが記録されているフィードバック箇所マークデータとが示されている。これらを参照して,図12のフローチャートを説明する。
サーバTsは,ほぼリアルタイムに算出されるユーザ視聴状況を算出し,記録すると,その保存した視聴状況を取得し(S2401),記録した時刻t0からt1の時間区間のコンテンツについて,視聴者がフィードバック対象コンテンツを受け入れられるような視聴状況かの判定処理と,フィードバック予約があるかの判定処理を開始する(S2402)。ユーザD,スクリーンBの視聴受容可能レベル,視聴制御可能レベルの両レベルがHレベルである場合には,ユーザDは,スクリーンB上のコンテンツに対する視聴状況が良い状態にあることを意味する。このように視聴状況が良い状態において,サーバTsは,フィードバック予約されていてまだフィードバックを実行されていないフィードバック対象コンテンツがあるか否かを,フィードバック予約実行フラグがfalseのものがあるか否かで判定する(S2402)。
視聴状況が良い状態でフィードバック実行されていないデータがある場合には(S2402のYES),サーバTsは,現在提供中のコンテンツに対応する合成コンテンツについて,現在の提供中のコンテンツのタイムスロットが,予約されているコンテンツのタイムスロットtsl=20-27と一致するかどうかを確認する(S2403)。すなわち,サーバTsは,現在のタイムスロットの次のタイムスロット(tsl=現在のタイムスロット+1)が,予約開始タイムスロットtsl=20から予約終了タイムスロットtsl=27の間のタイムスロットに入る場合には(S2403),サーバTsは,合成コンテンツの表示を行う(S2404)。
フィードバック対象コンテンツの表示形態は,上記の合成コンテンツに限らず,合成コンテンツに関する情報を取得するためのユーザインタフェース等を含む形態であってもよい。その場合は,視聴者は,そのユーザインターフェースに基づいて合成コンテンツを表示するよう操作することができる。
次に,サーバTsは,ユーザD,スクリーンB,コンテンツC1のフィードバック予約実行フラグをtrueに変更し,フィードバック予約を実行済の状態にする(S2405)。コンテンツC1で,予約されていたタイムスロットtsl=20-27を過ぎれば,サーバTsは,提供中のコンテンツを元のコンテンツに切り換える(S2407)。
そして,サーバTsは,合成コンテンツが表示されたことについて,図16に示すように表示履歴として保存する。その際,サーバTsは,表示したタイムスロットについては,図24のフィードバック箇所マークデータ内のフィードバック要フラグをfalseに書き換え,既にフィードバックを行ったことを保存する(S2408)。図13には,(3)フィードバック箇所マークデータのフィードバック要フラグがtrueからfalseに書き換えられたことが示されている。
図27は,処理工程S2408のフローチャート図である。図13も参照して説明する。まず,提供中のコンテンツのタイムスロットに対して,フィードバック合成コンテンツの予約開始タイムスロットをts(=20),予約終了タイムスロットをte(=27),表示済みのタイムスロット数をkとすると,フィードバック完了の割合pは,p=k/(te-ts)となる。一方,合成コンテンツのフィードバック箇所開始タイムスロットをfts(=3),終了タイムスロットをfts(=10)とすると,フィードバック済み最終タイムスロットftvは,ftv=fts+(fte-fts)*pとなる。すなわち,提供中のコンテンツにおけるフィードバック済み割合pと同じ比率で,合成コンテンツ内のフィードバック済み最終タイムスロットftvを求める。
そして,サーバTsは,図24のフィードバック箇所マーク内のフィードバック用フラグを,タイムスロットfts(=3)からftv(=3-10のいずれか)まで,フィードバック済みを示すfalseに変更する。フィードバック予約が一定期間実行されないまま放置されている場合に,自動的に予約を取り消す処理を行っても良い。
以上のとおり,本実施の形態によれば,イー・ラーニングのように視聴者から感情的視聴反応が得られにくい場合でも,情報接触量計測用の実視聴センシングデータを収集して,視聴者の視聴状況を取得することができる。そして,この視聴者の視聴状況に基づいて,あるコンテンツの重要度を評価することができる。また,視聴者の視聴状況に基づいて,見逃した可能性のあるコンテンツを特定してフィードバック対象コンテンツとして登録することができる。さらに,視聴者の視聴状況に基づいて,視聴者が視聴可能な状況下でフィードバック対象コンテンツを提供することができる。
上記の実施の形態では,講演やイー・ラーニングの映像の視聴について,視聴者がデスクトップ画面の前で映像を視聴しているような状況を前提にして説明した。しかし,これに限るものではなく,ユーザが視聴しているものが,配信される映像ではなく,現実世界を映像化したものであっても良い。
また,カメラ付きのHMD(ヘッドマウントディスプレイ)では,ユーザが視ている周囲の実世界をカメラで採取することができる。特に一人で行動している場合には,ユーザ単体の視聴反応は出にくく,ユーザの表情や歓声等からは,視聴対象の重要性が判定しにくい。したがって,多数のユーザの視聴状況を総合して評価することで,視聴対象のコンテンツの重要度をより適切に判定することができる。その場合には,各タイムスロットの長さや順番がユーザによって異なり,類似するタイムスロットの対応付けなどの処理を行うことで,各タイムスロットの視聴Good率を求めることが可能となる。
以上の実施の形態をまとめると,次の付記のとおりである。
(付記1)
コンテンツを視聴者に提供するコンテンツ提供処理をコンピュータに実行させるコンテンツ提供プログラムであって,
前記コンテンツ提供処理は,
プロセッサが,提供されるコンテンツへの視聴者の視聴状況を,前記コンテンツの提供される時間に対応付けて取得する第1の視聴状況取得工程と,
プロセッサが,前記視聴状況に基づいて前記視聴者が視聴できなかった可能性がある時間区間の見逃しコンテンツをフィードバック対象コンテンツとして登録するフィードバック対象コンテンツ登録工程と,
プロセッサが,前記視聴者の視聴状況に基づいて前記視聴者が視聴できる状態を推定する視聴可能状態推定工程と,
プロセッサが,前記視聴者が視聴可能状態と推定される時間区間に,前記フィードバック対象コンテンツを前記視聴者に提供するフィードバック対象コンテンツ提供工程とを有する
コンテンツ提供プログラム。
(付記2)
付記1において,
前記コンテンツ提供処理は,さらに,
プロセッサが,提供される前記コンテンツへの複数の視聴者の視聴状況を,前記コンテンツが提供される時間に対応付けて取得する第2の視聴状況取得工程と,
プロセッサが,前記第2の視聴状況取得工程で取得した複数の視聴者の視聴状況に基づいて,前記複数の視聴者が自らの意思で視聴した可能性のある時間区間のコンテンツを,コンテンツ重要度(視聴重要度)が高いと評価するコンテンツ重要度評価工程とを有し,
前記フィードバック対象コンテンツ登録工程では,前記視聴者が視聴できなかった可能性がある時間区間であって,且つ前記コンテンツ重要度が高い時間区間のコンテンツを,前記フィードバック対象コンテンツとして登録するコンテンツ提供プログラム。
(付記3)
付記2において,
前記フィードバック対象コンテンツ提供工程では,前記視聴者が視聴可能状態と推定される時間区間であって,且つ前記コンテンツ重要度が低い時間区間に,前記フィードバック対象コンテンツを前記視聴者に提供するコンテンツ提供プログラム。
(付記4)
付記2において,
前記コンテンツ提供処理は,さらに,
プロセッサが,前記視聴者が視聴可能状態と推定される時間区間で,前記フィードバック対象コンテンツを,提供中のコンテンツのコンテンツ重要度が低い時間区間に合成して合成コンテンツを作成する合成コンテンツ作成工程を有し,
前記フィードバック対象コンテンツ提供工程では,前記視聴者が視聴可能状態と推定される時間区間に,前記合成コンテンツを前記視聴者に提供するコンテンツ提供プログラム。
(付記5)
付記2〜4のいずれかにおいて,
前記視聴状況は,視聴者が自らの意思でどの程度コンテンツを視聴できる状態かを示す視聴受容可能レベルと,視聴者がどの程度コンテンツの視聴状況を制御できる状態かを示す視聴制御可能レベルとを有し,
前記第1,第2の視聴状況取得工程では,前記視聴受容可能レベルを,前記コンテンツの提供中において前記視聴者の実視点が表示スクリーンの前記コンテンツ表示領域内に滞留している時間の長さに応じて,当該滞留時間が長いほど高いと評価し,前記視聴制御可能レベルを,前記コンテンツの提供中において前記コンテンツへの情報接触量を増減させるイベントに応じて,当該情報接触量が増大するほど高いと評価し,
コンテンツ重要度評価工程では,前記視聴受容可能レベルと視聴制御可能レベルとが共に高い時間区間の場合に,前記複数の視聴者が自らの意思で視聴した可能性のある時間区間と評価するコンテンツ提供プログラム。
(付記6)
付記5において,
前記フィードバック対象コンテンツ登録工程では,前記視聴受容可能レベルが低い時間区間を,前記視聴者が視聴できなかった可能性がある時間と評価するコンテンツ提供プログラム。
(付記7)
付記5において,
前記フィードバック対象コンテンツ提供工程では,前記視聴受容可能レベルと前記視聴制御可能レベルとが共に高い時間区間を,前記視聴者がフィードバック対象コンテンツを視聴可能な時間区間と推定するコンテンツ提供プログラム。
(付記8)
付記5において,
合成コンテンツ作成工程では,前記視聴受容可能レベルと前記視聴制御可能レベルとが共に高い時間区間を,前記視聴者が視聴可能状態と推定される時間区間と評価するコンテンツ提供プログラム。
(付記9)
コンテンツを視聴者に提供するコンテンツ提供処理をコンピュータに実行させるコンテンツ提供方法であって,
プロセッサが,提供されるコンテンツへの視聴者の視聴状況を,前記コンテンツの提供される時間に対応付けて取得する第1の視聴状況取得工程と,
プロセッサが,前記視聴状況に基づいて前記視聴者が視聴できなかった可能性がある時間区間の見逃しコンテンツをフィードバック対象コンテンツとして登録するフィードバック対象コンテンツ登録工程と,
プロセッサが,前記視聴者の視聴状況に基づいて前記視聴者が視聴できる状態を推定する視聴可能状態推定工程と,
プロセッサが,前記視聴者が視聴可能状態と推定される時間区間に,前記フィードバック対象コンテンツを前記視聴者に提供するフィードバック対象コンテンツ提供工程とを有する
コンテンツ提供方法。
(付記10)
コンテンツを視聴者に提供するコンテンツ提供装置であって,
プロセッサが,提供されるコンテンツへの視聴者の視聴状況を,前記コンテンツの提供される時間に対応付けて取得する第1の視聴状況取得手段と,
プロセッサが,前記視聴状況に基づいて前記視聴者が視聴できなかった可能性がある時間区間の見逃しコンテンツをフィードバック対象コンテンツとして登録するフィードバック対象コンテンツ登録手段と,
プロセッサが,前記視聴者の視聴状況に基づいて前記視聴者が視聴できる状態を推定する視聴可能状態推定手段と,
プロセッサが,前記視聴者が視聴可能状態と推定される時間区間に,前記フィードバック対象コンテンツを前記視聴者に提供するフィードバック対象コンテンツ提供手段とを有する
コンテンツ提供装置。
サーバ側情報処理装置:Ts
23:プログラム記憶媒体
クライアント側情報処理装置:Tc
12:情報収集装置
13:プログラム記憶媒体

Claims (8)

  1. コンテンツを視聴者に提供するコンテンツ提供処理をコンピュータに実行させるコンテンツ提供プログラムであって,
    前記コンテンツ提供処理は,
    提供される第1のコンテンツへの第1の視聴者の第1の視聴状況を,前記第1のコンテンツ提供される時間に対応付けて取得する第1の視聴状況取得工程と,
    提供される前記第1のコンテンツへの複数の第2の視聴者の第2の視聴状況を,前記第1のコンテンツが提供される時間に対応付けて取得する第2の視聴状況取得工程と,
    前記第2の視聴状況取得工程で取得した複数の第2の視聴者の第2の視聴状況に基づいて,前記複数の第2の視聴者が自らの意思で視聴した可能性のある時間区間のコンテンツを,コンテンツ重要度が高いと評価するコンテンツ重要度評価工程と,
    前記第1の視聴状況に基づいて前記第1の視聴者が視聴できなかった可能性がある時間区間であって,且つ前記複数の第2の視聴者が自らの意思で視聴した可能性のある時間区間のコンテンツをフィードバック対象コンテンツとして登録するフィードバック対象コンテンツ登録工程と,
    提供される第1または第1とは別の第2のコンテンツへの前記第1の視聴者の第3の視聴状況に基づいて前記第1の視聴者が視聴できる状態を推定する視聴可能状態推定工程と,
    前記第1の視聴者が視聴可能状態と推定される時間区間に,前記フィードバック対象コンテンツを前記第1の視聴者に提供するフィードバック対象コンテンツ提供工程とを有する、コンテンツ提供プログラム。
  2. 請求項において,
    前記フィードバック対象コンテンツ提供工程では,前記第1の視聴者が視聴可能状態と推定される時間区間であって,且つ提供中の前記第1または第2のコンテンツの前記コンテンツ重要度が低い時間区間に,前記フィードバック対象コンテンツを前記視聴者に提供するコンテンツ提供プログラム。
  3. 請求項において,
    前記コンテンツ提供処理は,さらに,
    前記第1の視聴者が視聴可能状態と推定される時間区間で,前記フィードバック対象コンテンツを,提供中の前記第1または第2のコンテンツのコンテンツ重要度が低い時間区間に合成して合成コンテンツを作成する合成コンテンツ作成工程を有し,
    前記フィードバック対象コンテンツ提供工程では,前記第1の視聴者が視聴可能状態と推定される時間区間に,前記合成コンテンツを前記第1の視聴者に提供するコンテンツ提供プログラム。
  4. 請求項1〜3のいずれかにおいて,
    前記視聴状況は,視聴者が自らの意思でどの程度コンテンツを視聴できる状態かを示す視聴受容可能レベルと,視聴者がどの程度コンテンツの視聴状況を制御できる状態かを示す視聴制御可能レベルとを有し,
    前記第1,第2の視聴状況取得工程では,前記視聴受容可能レベルを,前記コンテンツの提供中において前記視聴者の実視点が表示スクリーンの前記コンテンツ表示領域内に滞留している時間の長さに応じて,当該滞留時間が長いほど高いと評価し,前記視聴制御可能レベルを,前記コンテンツの提供中において前記コンテンツへの情報接触量を増減させるイベントに応じて,当該情報接触量が増大するほど高いと評価し,
    コンテンツ重要度評価工程では,前記視聴受容可能レベルと視聴制御可能レベルとが共に高い時間区間の場合に,前記複数の第2の視聴者が自らの意思で視聴した可能性のある時間区間と評価するコンテンツ提供プログラム。
  5. 請求項において,
    前記フィードバック対象コンテンツ登録工程では,前記視聴受容可能レベルが低い時間区間を,前記第1の視聴者が視聴できなかった可能性がある時間と評価するコンテンツ提供プログラム。
  6. 請求項において,
    前記フィードバック対象コンテンツ提供工程では,前記視聴受容可能レベルと前記視聴制御可能レベルとが共に高い時間区間を,前記第1の視聴者がフィードバック対象コンテンツを視聴可能な時間区間と推定するコンテンツ提供プログラム。
  7. コンテンツを視聴者に提供するコンテンツ提供処理をコンピュータに実行させるコンテンツ提供方法であって,
    提供される第1のコンテンツへの第1の視聴者の第1の視聴状況を,前記第1のコンテンツ提供される時間に対応付けて取得する第1の視聴状況取得工程と,
    提供される前記第1のコンテンツへの複数の第2の視聴者の第2の視聴状況を,前記第1のコンテンツが提供される時間に対応付けて取得する第2の視聴状況取得工程と,
    前記第2の視聴状況取得工程で取得した複数の第2の視聴者の第2の視聴状況に基づいて,前記複数の第2の視聴者が自らの意思で視聴した可能性のある時間区間のコンテンツを,コンテンツ重要度が高いと評価するコンテンツ重要度評価工程と,
    前記第1の視聴状況に基づいて前記第1の視聴者が視聴できなかった可能性がある時間区間であって,且つ前記複数の第2の視聴者が自らの意思で視聴した可能性のある時間区間のコンテンツをフィードバック対象コンテンツとして登録するフィードバック対象コンテンツ登録工程と,
    提供される第1または第1とは別の第2のコンテンツへの前記第1の視聴者の第3の視聴状況に基づいて前記第1の視聴者が視聴できる状態を推定する視聴可能状態推定工程と,
    前記第1の視聴者が視聴可能状態と推定される時間区間に,前記フィードバック対象コンテンツを前記第1の視聴者に提供するフィードバック対象コンテンツ提供工程とを有するコンテンツ提供方法。
  8. コンテンツを視聴者に提供するコンテンツ提供装置であって,
    プロセッサが,提供される第1のコンテンツへの第1の視聴者の第1の視聴状況を,前記第1のコンテンツ提供される時間に対応付けて取得する第1の視聴状況取得手段と,
    プロセッサが,提供される前記第1のコンテンツへの複数の第2の視聴者の第2の視聴状況を,前記第1のコンテンツが提供される時間に対応付けて取得する第2の視聴状況取得手段と,
    プロセッサが,前記第2の視聴状況取得工程で取得した複数の第2の視聴者の第2の視聴状況に基づいて,前記複数の第2の視聴者が自らの意思で視聴した可能性のある時間区間のコンテンツを,コンテンツ重要度が高いと評価するコンテンツ重要度評価手段と,
    プロセッサが,前記第1の視聴状況に基づいて前記第1の視聴者が視聴できなかった可能性がある時間区間であって,且つ前記複数の第2の視聴者が自らの意思で視聴した可能性のある時間区間のコンテンツをフィードバック対象コンテンツとして登録するフィードバック対象コンテンツ登録手段と,
    プロセッサが,提供される第1または第1とは別の第2のコンテンツへの前記第1の視聴者の第3の視聴状況に基づいて前記第1の視聴者が視聴できる状態を推定する視聴可能状態推定手段と,
    プロセッサが,前記第1の視聴者が視聴可能状態と推定される時間区間に,前記フィードバック対象コンテンツを前記第1の視聴者に提供するフィードバック対象コンテンツ提供手段とを有するコンテンツ提供装置。
JP2013110023A 2013-05-24 2013-05-24 コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置 Expired - Fee Related JP6236875B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013110023A JP6236875B2 (ja) 2013-05-24 2013-05-24 コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置
US14/286,217 US9491507B2 (en) 2013-05-24 2014-05-23 Content providing program, content providing method, and content providing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013110023A JP6236875B2 (ja) 2013-05-24 2013-05-24 コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置

Publications (2)

Publication Number Publication Date
JP2014230203A JP2014230203A (ja) 2014-12-08
JP6236875B2 true JP6236875B2 (ja) 2017-11-29

Family

ID=51936312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013110023A Expired - Fee Related JP6236875B2 (ja) 2013-05-24 2013-05-24 コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置

Country Status (2)

Country Link
US (1) US9491507B2 (ja)
JP (1) JP6236875B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165072B1 (en) 2012-10-09 2015-10-20 Amazon Technologies, Inc. Analyzing user searches of verbal media content
US10216267B2 (en) * 2014-05-08 2019-02-26 Sony Corporation Portable electronic equipment and method of controlling a portable electronic equipment
US9826285B1 (en) 2016-03-24 2017-11-21 Amazon Technologies, Inc. Dynamic summaries for media content
WO2017221555A1 (ja) * 2016-06-23 2017-12-28 株式会社ガイア・システム・ソリューション エンゲージメント値処理システム及びエンゲージメント値処理装置
JP2019036190A (ja) * 2017-08-18 2019-03-07 ヤフー株式会社 判定装置、判定方法、及び判定プログラム
US10652614B2 (en) * 2018-03-06 2020-05-12 Shoppar, Ltd. System and method for content delivery optimization based on a combined captured facial landmarks and external datasets
US10440440B1 (en) 2018-03-23 2019-10-08 Rovi Guides, Inc. Systems and methods for prompting a user to view an important event in a media asset presented on a first device when the user is viewing another media asset presented on a second device
US10382829B1 (en) * 2018-03-23 2019-08-13 Rovi Guides, Inc. Systems and methods for prompting a user to view an important event in a media asset when the user is using another application

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002016903A (ja) * 2000-06-29 2002-01-18 Fujitsu Ltd データ配信装置
JP2002314907A (ja) * 2001-04-12 2002-10-25 Fuji Photo Film Co Ltd プリントシステム及びこれに用いるプリンタ、電子記憶媒体
JP2003178078A (ja) 2001-12-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像、音声データへの付加用標識データとその付加方法
US7818764B2 (en) * 2002-06-20 2010-10-19 At&T Intellectual Property I, L.P. System and method for monitoring blocked content
JP4396175B2 (ja) 2003-08-05 2010-01-13 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
JP4641389B2 (ja) 2004-06-03 2011-03-02 キヤノン株式会社 情報処理方法、情報処理装置
US20050281531A1 (en) * 2004-06-16 2005-12-22 Unmehopa Musa R Television viewing apparatus
JP2006041581A (ja) 2004-07-22 2006-02-09 Matsushita Electric Ind Co Ltd 地上ディジタルテレビ放送受信システム
JP4700451B2 (ja) 2005-09-16 2011-06-15 日本放送協会 番組情報配信装置並びに携帯端末装置
EP1793604A1 (en) * 2005-12-02 2007-06-06 Alcatel Lucent Detection device
JP5328085B2 (ja) * 2006-08-22 2013-10-30 学校法人千葉工業大学 情報処理端末、再生箇所表示方法、およびプログラム
JP2008103802A (ja) * 2006-10-17 2008-05-01 Sharp Corp 映像合成装置
JP2009188670A (ja) * 2008-02-05 2009-08-20 Sony Corp 情報処理装置および方法、プログラム、並びに、記録媒体
JP2012186621A (ja) * 2011-03-04 2012-09-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8943526B2 (en) * 2011-12-02 2015-01-27 Microsoft Corporation Estimating engagement of consumers of presented content
JP5832877B2 (ja) * 2011-12-05 2015-12-16 株式会社ビジネス・ブレークスルー 視聴覚端末、視聴覚番組の再生プログラム、再生履歴集積システムおよび視聴覚番組を遠隔配信する方法
US9100685B2 (en) * 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
WO2013145936A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 制御装置、制御方法、プログラムおよび制御システム
US9215490B2 (en) * 2012-07-19 2015-12-15 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling content playback
US20140078039A1 (en) * 2012-09-19 2014-03-20 United Video Properties, Inc. Systems and methods for recapturing attention of the user when content meeting a criterion is being presented
US9398335B2 (en) * 2012-11-29 2016-07-19 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation

Also Published As

Publication number Publication date
US20140351836A1 (en) 2014-11-27
JP2014230203A (ja) 2014-12-08
US9491507B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
JP6236875B2 (ja) コンテンツ提供プログラム,コンテンツ提供方法及びコンテンツ提供装置
US11902633B2 (en) Dynamic overlay video advertisement insertion
JP7440020B2 (ja) 情報処理方法、端末装置、情報処理装置、及び情報処理システム
US20170374498A1 (en) Generic software-based perception recorder, visualizer, and emotions data analyzer
JP6424357B2 (ja) 視認対象効果度測定装置
WO2009096428A1 (ja) 表示システム、表示効果測定システム、表示方法、表示効果測定方法、及び、記録媒体
JP2016527766A (ja) コンテンツ視聴確認装置及びその方法
JP6807389B2 (ja) メディアコンテンツのパフォーマンスの即時予測のための方法及び装置
CN107124664A (zh) 应用于视频直播的交互方法和装置
JP2006085440A (ja) 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
CN105450778A (zh) 信息推送系统
JP5751143B2 (ja) 議事録作成支援装置、議事録作成支援システム、および、議事録作成用プログラム
KR20110102427A (ko) 몰입 효과들을 제공하기 위한 방법 및 시스템
JP5353193B2 (ja) 行動分析装置及び行動分析方法並びにプログラム
JP2018032252A (ja) 視聴ユーザログ蓄積システム、視聴ユーザログ蓄積サーバ、及び視聴ユーザログ蓄積方法
KR20150034925A (ko) 매장의 디스플레이 장치를 이용한 광고 방법 및 장치
US20130209070A1 (en) System and Method for Creating Composite Video Test Results for Synchronized Playback
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
KR101838792B1 (ko) 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치
JP2014204411A (ja) 会議記録システム、会議記録装置、会議記録再生方法およびコンピュータプログラム
US20210233317A1 (en) Apparatus and method of clinical trial for vr sickness prediction based on cloud
JP6745393B1 (ja) 情報処理装置、情報処理方法及びプログラム
KR101189913B1 (ko) 고객 관리 방법 및 장치
JP7003883B2 (ja) 聴衆間の心理状態の類似度合を評定するシステム
JP2017130170A (ja) 会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171016

R150 Certificate of patent or registration of utility model

Ref document number: 6236875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees