JP6334452B2 - Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program - Google Patents

Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program Download PDF

Info

Publication number
JP6334452B2
JP6334452B2 JP2015080663A JP2015080663A JP6334452B2 JP 6334452 B2 JP6334452 B2 JP 6334452B2 JP 2015080663 A JP2015080663 A JP 2015080663A JP 2015080663 A JP2015080663 A JP 2015080663A JP 6334452 B2 JP6334452 B2 JP 6334452B2
Authority
JP
Japan
Prior art keywords
content
playback
input operation
time
playback speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015080663A
Other languages
Japanese (ja)
Other versions
JP2016201680A (en
Inventor
麻衣子 井元
麻衣子 井元
大喜 渡邊
大喜 渡邊
和 宮川
和 宮川
小野 朗
朗 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015080663A priority Critical patent/JP6334452B2/en
Publication of JP2016201680A publication Critical patent/JP2016201680A/en
Application granted granted Critical
Publication of JP6334452B2 publication Critical patent/JP6334452B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明は、デジタルコンテンツの再生速度を制御する技術に関する。   The present invention relates to a technique for controlling the playback speed of digital content.

近年、教育とICTの融合が進み、オンライン教育サービスの市場が拡大している。非特許文献1で述べられているように、学習者の多くは、オンライン教育教材コンテンツを視聴しながらキーボードを用いてメモを取ったり、スタイラスペンや指を用いてメモを取ったり下線を引くなどの入力操作を行う。このような入力操作を行っているとき、学習者の認知負荷は増加しやすいため、書く行為へ意識が集中してしまいやすく、聴く行為への注意力が低下してしまう。   In recent years, the fusion of education and ICT has progressed, and the online education service market has expanded. As described in Non-Patent Document 1, many learners take notes using the keyboard while watching online educational material contents, take notes using a stylus pen or fingers, or underline, etc. Perform the input operation. When such an input operation is performed, the learner's cognitive load is likely to increase, so the consciousness tends to concentrate on the act of writing, and the attention to the act of listening is reduced.

この問題を解決するための一手法として、非特許文献2では、学習者の入力操作を検知してコンテンツを一時停止させたり、再生速度を遅くする手法が提案されている。   As a technique for solving this problem, Non-Patent Document 2 proposes a technique for detecting a learner's input operation and temporarily stopping the content or slowing the reproduction speed.

安藤雅洋、植野真臣、「eラーニングにおけるタブレットPCを用いた書込みの効果分析」、日本教育工学会論文誌、日本教育工学会、2011年、第35巻、第2号、pp.109-123Masahiro Ando, Masaomi Ueno, “Analysis of writing effect using tablet PC in e-learning”, Journal of Japan Society for Educational Technology, Japan Society for Educational Technology, 2011, Vol. 35, No. 2, pp.109-123 谷内正裕、「学習者のノート記述情報から再生状態を動的に調整する動画講義プレーヤー」、メディア教育研究、2008年、第5巻、第2号、pp.85-94Masahiro Taniuchi, “Video lecture player that dynamically adjusts playback state from learner's note description information”, Media Education Research, 2008, Vol. 5, No. 2, pp.85-94 Daniel Szafir, Bilge Mutlu,“ARTFul: Adaptive Review Technology for Flipped Learning”, CHI2013, 2013, pp.1001-1010Daniel Szafir, Bilge Mutlu, “ARTFul: Adaptive Review Technology for Flipped Learning”, CHI2013, 2013, pp.1001-1010 伊藤秀和、濱川礼、「限られた視聴時間内における動画の効果的な時間短縮手法」、電子情報通信学会技術研究報告、社団法人電子情報通信学会、2009年、HIP2008-153、pp.23-28Hidekazu Ito, Rei Kajikawa, “Effective method for shortening video within a limited viewing time”, IEICE Technical Report, IEICE, 2009, HIP2008-153, pp.23- 28

しかしながら、非特許文献2では、学習者による入力操作が行われれば行われるほど、コンテンツを最後まで視聴するのに要する時間が長くなるという問題があった。非特許文献3によると、オンライン教育におけるコンテンツの視聴時間は15分から20分程度が学習者の集中力維持の観点から望ましいとされている。つまり、コンテンツの視聴時間が長くなると学習者にとっては集中力の維持が困難になる。   However, Non-Patent Document 2 has a problem that the longer the input operation is performed by the learner, the longer it takes to view the content to the end. According to Non-Patent Document 3, the viewing time of content in online education is preferably about 15 to 20 minutes from the viewpoint of maintaining the concentration of learners. That is, if the viewing time of the content becomes long, it becomes difficult for the learner to maintain concentration.

非特許文献4のように、コンテンツの視聴開始時に視聴時間を設定し、その設定に応じてコンテンツの再生速度を調整する既存の技術は存在するが、コンテンツの特徴に基づいて再生速度を算出することが多く、学習者の入力操作に要する時間や入力操作による認知負荷を考慮していない。   As in Non-Patent Document 4, there is an existing technique for setting a viewing time at the start of content viewing and adjusting the playback speed of the content according to the setting, but the playback speed is calculated based on the characteristics of the content. In many cases, the time required for the input operation of the learner and the cognitive load due to the input operation are not considered.

本発明は、上記に鑑みてなされたものであり、入力操作中の学習者の認知負荷増加を低減しつつ、コンテンツの視聴時間が長くならないように、コンテンツの再生速度を制御することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to control the playback speed of content so as not to increase the viewing time of the content while reducing the increase in the cognitive load of the learner during the input operation. To do.

第1の本発明に係る再生速度調整装置は、コンテンツの再生速度を調整する再生速度調整装置であって、ユーザが前記コンテンツを視聴中に入力操作を開始した時点のコンテンツの再生時刻を受信する受信手段と、前記再生時刻までに前記ユーザが前記コンテンツの視聴に要した経過時間と前記再生時刻以降の残りのコンテンツを等速で再生するときに要する残り再生時間と前記コンテンツ全体を等速で再生するときに要する全体再生時間とに基づいて残りの視聴時間の上限値を決定する上限値決定手段と、前記残りのコンテンツにおいて前記ユーザが入力操作に要する入力操作時間を推定する入力操作時間推定手段と、前記残り再生時間と前記入力操作時間を合わせた時間を要するコンテンツを前記上限値内で再生可能なように再生速度を算出する算出手段と、を有することを特徴とする。   A playback speed adjusting device according to a first aspect of the present invention is a playback speed adjusting device that adjusts the playback speed of content, and receives the playback time of the content when the user starts an input operation while viewing the content. The receiving means, the elapsed time required for the user to view the content up to the playback time, the remaining playback time required to play the remaining content after the playback time at a constant speed, and the entire content at the same speed Upper limit value determining means for determining an upper limit value of the remaining viewing time based on the total playback time required for playback, and input operation time estimation for estimating the input operation time required for the user to perform an input operation in the remaining content And a playback speed so that the content that takes time that is the sum of the remaining playback time and the input operation time can be played within the upper limit. Calculation means for output, characterized by having a.

上記再生速度調整装置において、前記コンテンツを複数に分割したシーン間の相関関係を表すスコアを格納した格納手段を有し、前記入力操作時間推定手段は、前記スコアに基づいて前記再生時刻に対応するシーンと相関の高いシーン群を抽出し、当該シーン群に属する各シーンにおいて前記ユーザが入力操作に要する時間を推定して合計することで前記入力操作時間を求めることを特徴とする。   The playback speed adjustment apparatus further includes a storage unit that stores a score representing a correlation between scenes obtained by dividing the content into a plurality of pieces, and the input operation time estimation unit corresponds to the playback time based on the score. A scene group having a high correlation with the scene is extracted, and the input operation time is obtained by estimating and totaling the time required for the input operation by the user in each scene belonging to the scene group.

上記再生速度調整装置において、前記算出手段は、前記シーン群に属しない各シーンの再生速度を等速よりも速い再生速度で再生するとして求めた前記残り再生時間を用いることを特徴とする。   In the playback speed adjustment apparatus, the calculation means uses the remaining playback time obtained by playing back the playback speed of each scene not belonging to the scene group at a playback speed faster than a constant speed.

上記再生速度調整装置において、前記受信手段は、前記ユーザの入力操作の種類を受信し、前記算出手段は、前記入力操作の種類に応じた係数を用いて前記再生速度を算出することを特徴とする。   In the playback speed adjustment apparatus, the receiving unit receives a type of the input operation of the user, and the calculation unit calculates the playback speed using a coefficient corresponding to the type of the input operation. To do.

上記再生速度調整装置において、前記入力操作の種類は、文字以外の入力操作、前記コンテンツの内容と一致する文字の入力操作、前記コンテンツの内容と一致しない文字の入力操作であることを特徴とする。   In the reproduction speed adjusting device, the type of the input operation is an input operation other than a character, a character input operation that matches the content content, or a character input operation that does not match the content content. .

第2の本発明に係る再生速度調整方法は、コンテンツの再生速度を調整するコンピュータによって実行される再生速度調整方法であって、ユーザが前記コンテンツを視聴中に入力操作を開始した時点のコンテンツの再生時刻を受信するステップと、前記再生時刻までに前記ユーザが前記コンテンツの視聴に要した経過時間と前記再生時刻以降の残りのコンテンツを等速で再生するときに要する残り再生時間と前記コンテンツ全体を等速で再生するときに要する全体再生時間とに基づいて残りの視聴時間の上限値を決定するステップと、前記残りのコンテンツにおいて前記ユーザが入力操作に要する入力操作時間を推定するステップと、前記残り再生時間と前記入力操作時間を合わせた時間を要するコンテンツを前記上限値内で再生可能なように再生速度を算出するステップと、を有することを特徴とする。   A playback speed adjustment method according to a second aspect of the present invention is a playback speed adjustment method executed by a computer for adjusting the playback speed of content, wherein the content at the time when the user starts an input operation while viewing the content is displayed. A step of receiving a playback time, an elapsed time that the user took to view the content up to the playback time, a remaining playback time required to play the remaining content after the playback time at a constant speed, and the entire content Determining the upper limit value of the remaining viewing time based on the total playback time required when playing the video at a constant speed, estimating the input operation time required by the user for the input operation in the remaining content, Content that requires time that is the sum of the remaining playback time and the input operation time can be played within the upper limit. And having the steps of: calculating the playback speed.

第3の本発明に係る再生速度調整プログラムは、上記の再生速度調整装置の各手段としてコンピュータを動作させることを特徴とする。   A reproduction speed adjustment program according to a third aspect of the present invention is characterized by operating a computer as each means of the reproduction speed adjustment apparatus.

本発明によれば、入力操作中の学習者の認知負荷増加を低減しつつ、コンテンツの視聴時間が長くならないように、コンテンツの再生速度を制御することができる。   According to the present invention, it is possible to control the playback speed of the content so that the viewing time of the content is not prolonged while reducing the increase in the learner's cognitive load during the input operation.

第1の実施の形態におけるコンテンツ再生システムの構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the content reproduction system in 1st Embodiment. 上記コンテンツ再生システムのサーバが備えるコンテンツデータベースが保持するデータの例を示す図である。It is a figure which shows the example of the data which the content database with which the server of the said content reproduction system is provided is hold | maintained. 第1の実施の形態におけるコンテンツ再生システムの処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the content reproduction system in 1st Embodiment. 再生速度を算出する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process which calculates reproduction | regeneration speed. コンテンツデータベースに格納するシーン情報とネットワークグラフを生成する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process which produces | generates the scene information stored in a content database, and a network graph. 「あ」の文字を手書き入力する様子を示す図である。It is a figure which shows a mode that the character of "A" is input by handwriting. 一連のイベント群の集合を1シーンとする様子を説明する図である。It is a figure explaining a mode that the set of a series of event groups is made into 1 scene. 第2の実施の形態におけるコンテンツ再生システムの構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the content reproduction system in 2nd Embodiment.

[第1の実施の形態]
図1は、第1の実施の形態におけるコンテンツ再生システムの構成を示す機能ブロック図である。同図に示すコンテンツ再生システムは、サーバ1とクライアント端末2を備える。クライアント端末2は、サーバ1からコンテンツを受信して再生する。クライアント端末2は、ユーザが入力操作を行っているときはサーバ1の指定した再生速度でコンテンツを再生する。サーバ1は、クライアント端末2からユーザが入力操作を開始したときのコンテンツの再生時刻を受信し、ユーザの入力操作に要する時間を考慮しつつ、受信した再生時刻以降の視聴時間が所定の範囲内に収まるようにコンテンツの再生速度を算出してクライアント端末2に送信する。以下、各装置について説明する。
[First Embodiment]
FIG. 1 is a functional block diagram showing the configuration of the content reproduction system according to the first embodiment. The content reproduction system shown in the figure includes a server 1 and a client terminal 2. The client terminal 2 receives content from the server 1 and plays it. The client terminal 2 reproduces content at a reproduction speed designated by the server 1 when the user is performing an input operation. The server 1 receives the playback time of the content when the user starts an input operation from the client terminal 2, and considers the time required for the user's input operation, and the viewing time after the received playback time is within a predetermined range. The content reproduction speed is calculated so as to be within the range and transmitted to the client terminal 2. Hereinafter, each device will be described.

クライアント端末2は、コンテンツ要求送信部21、コンテンツ受信部22、入力操作検知部23、および再生速度変更部24を備える。   The client terminal 2 includes a content request transmission unit 21, a content reception unit 22, an input operation detection unit 23, and a playback speed change unit 24.

コンテンツ要求送信部21は、コンテンツの取得要求をサーバ1に送信する。コンテンツは、例えば、クライアント端末2を使用するユーザによって指定される。   The content request transmission unit 21 transmits a content acquisition request to the server 1. The content is specified by a user who uses the client terminal 2, for example.

コンテンツ受信部22は、サーバ1からコンテンツを受信し、受信したコンテンツをクライアント端末2に再生させる。コンテンツの再生には、一般的な動画再生プレイヤーを用いることができる。   The content receiving unit 22 receives content from the server 1 and causes the client terminal 2 to reproduce the received content. A general video playback player can be used for content playback.

入力操作検知部23は、クライアント端末2に対するユーザの入力操作を検知し、入力操作開始時に再生中のコンテンツの再生時刻をサーバ1に送信する。入力操作とは、例えば、キーボードやスタイラスペンによる文字入力操作、あるいは下線を引くなどの文字等を修飾する操作である。例えば、mousedown,mousemove,mouseupなどのマウスによる入力イベントや、スタイラスペンや指による入力イベントなどのイベントの発生に基づいて入力操作を検知する。   The input operation detection unit 23 detects a user input operation on the client terminal 2 and transmits the playback time of the content being played back to the server 1 at the start of the input operation. The input operation is, for example, a character input operation using a keyboard or a stylus pen, or an operation for modifying a character such as underlining. For example, an input operation is detected based on the occurrence of an event such as an input event by a mouse such as mousedown, mousemove, or mouseup, or an input event by a stylus pen or a finger.

また、入力操作検知部23は、発生したイベントが入力操作の開始を表すイベントもしくは入力操作の終了を示すイベントである場合に、そのイベントを再生速度変更部24に送信する。例えば、入力操作の開始を表すイベントとしては、mousedownやtouchdownなどが考えられる。入力操作の終了を示すイベントとしては、mouseupやtouchupなどが考えられる。入力操作の開始を表すイベントや入力操作の終了を示すイベントに該当するイベントは予め人手によって設定してもよい。   The input operation detection unit 23 transmits the event to the playback speed change unit 24 when the event that has occurred is an event indicating the start of the input operation or an event indicating the end of the input operation. For example, as an event indicating the start of an input operation, “mouseddown”, “touchdown”, or the like can be considered. As an event indicating the end of the input operation, mouseup, touchup, or the like can be considered. An event corresponding to an event indicating the start of the input operation or an event indicating the end of the input operation may be manually set in advance.

再生速度変更部24は、入力操作検知部23からイベントを受信し、受信したイベントが入力操作の開始を表すイベントの場合は再生速度変更フラグを1とし、入力操作の終了を示すイベントの場合は再生速度変更フラグを0とする。再生速度変更部24は、サーバ1から再生速度を受信し、再生速度変更フラグが1である間は、受信した再生速度でコンテンツを再生するようにコンテンツの再生速度を調整する。再生速度の変更は、例えば、一般的な動画再生プレイヤーの再生速度変更機能を用いればよい。   The playback speed changing unit 24 receives an event from the input operation detecting unit 23. When the received event is an event indicating the start of the input operation, the playback speed change flag is set to 1, and in the case of an event indicating the end of the input operation. The playback speed change flag is set to 0. The playback speed changing unit 24 receives the playback speed from the server 1 and adjusts the playback speed of the content so that the content is played back at the received playback speed while the playback speed change flag is 1. For example, the playback speed may be changed by using a playback speed changing function of a general video player.

サーバ1は、コンテンツ要求受信部11、コンテンツデータベース(DB)12、相関グラフ構築部13、入力操作受信部14、再生速度算出部15、および再生速度通知部16を備える。   The server 1 includes a content request reception unit 11, a content database (DB) 12, a correlation graph construction unit 13, an input operation reception unit 14, a playback speed calculation unit 15, and a playback speed notification unit 16.

コンテンツ要求受信部11は、クライアント端末2からコンテンツの取得要求を受信し、コンテンツDB12からコンテンツを取得してクライアント端末2に送信する。   The content request receiving unit 11 receives a content acquisition request from the client terminal 2, acquires the content from the content DB 12, and transmits the content to the client terminal 2.

コンテンツDB12は、コンテンツとコンテンツに関する情報を保持する。図2に、コンテンツDB12が保持するデータの例を示す。同図の例では、コンテンツDB12が保持するデータは、コンテンツIDカラム、視覚情報カラム、聴覚情報カラム、シーンカラム、およびグラフカラムで構成される。   The content DB 12 holds content and information related to the content. FIG. 2 shows an example of data stored in the content DB 12. In the example of the figure, the data stored in the content DB 12 is composed of a content ID column, a visual information column, an auditory information column, a scene column, and a graph column.

コンテンツIDカラムには、コンテンツを一意に識別可能なコンテンツIDを格納する。視覚情報カラムには、コンテンツの視覚情報、例えば、スライド形式の教材データを格納する。教材データのファイル形式は問わず、例えば、PDF,word,htmlなどのファイル形式が考えられる。聴覚情報カラムには、コンテンツの聴覚情報、例えば、コンテンツに含まれる講師の音声データを格納する。音声データのファイル形式は問わず、例えばmp3などのファイル形式が考えられる。本実施例では、視覚情報と聴覚情報でコンテンツを構成する。コンテンツとして動画ファイルを格納してもよい。   The content ID column stores a content ID that can uniquely identify the content. The visual information column stores visual information of content, for example, teaching material data in a slide format. The file format of the teaching material data is not limited, and for example, a file format such as PDF, word, and html is conceivable. The auditory information column stores the auditory information of the content, for example, voice data of the lecturer included in the content. The file format of the audio data is not limited, and a file format such as mp3 can be considered. In this embodiment, the content is composed of visual information and auditory information. A moving image file may be stored as content.

シーンカラムとグラフカラムは、後述の相関グラフ構築部13によって生成されたコンテンツに関連する情報である。シーンカラムには、コンテンツを分割した各シーンあるいはコンテンツから抽出した各シーンの開始時刻と終了時刻を含むシーン情報を格納する。グラフカラムには、各シーン間の関係性を表すネットワークグラフを格納する。ネットワークグラフの形式は、例えば、配列、辞書などのデータ構造が考えられる。図2の例では、コンテンツCの1番目のシーンと2番目のシーンの相関関係を表すスコアが0.3であることをC(1,2):0.3と表現している。 The scene column and the graph column are information related to content generated by the correlation graph construction unit 13 described later. In the scene column, scene information including the start time and end time of each scene obtained by dividing the content or each scene extracted from the content is stored. The graph column stores a network graph representing the relationship between scenes. As the format of the network graph, for example, a data structure such as an array or a dictionary can be considered. In the example of FIG. 2, the score representing the correlation between the first scene and the second scene of the content C 1 is expressed as C 1 (1,2): 0.3.

相関グラフ構築部13は、コンテンツを複数のシーンに分割し、シーン情報をコンテンツDB12に格納するとともに、各シーン間の関係性を表すネットワークグラフを作成してコンテンツDB12のグラフカラムに格納する。   The correlation graph construction unit 13 divides the content into a plurality of scenes, stores the scene information in the content DB 12, creates a network graph representing the relationship between each scene, and stores it in the graph column of the content DB 12.

入力操作受信部14は、クライアント端末2からコンテンツの再生時刻を受信して再生速度算出部15に送信する。   The input operation receiving unit 14 receives the playback time of the content from the client terminal 2 and transmits it to the playback speed calculation unit 15.

再生速度算出部15は、再生時刻までにユーザがコンテンツの視聴に要した時間と、再生時刻以降の残りのコンテンツを等速で視聴するときに要する時間と、コンテンツ全体を等速で視聴するときに要する時間とに基づいて残りの視聴時間の上限値を決定する。再生速度算出部15は、コンテンツDB12を参照して再生時刻に対応するシーンと関連性の高いシーンを抽出し、関連性の高いシーンにおいてユーザが入力操作に要する時間を推定して、ユーザが入力操作に要する時間を含めた視聴時間が決定した視聴時間の上限値内に収まるように再生速度を算出する。   The playback speed calculation unit 15 is a time required for the user to view the content up to the playback time, a time required to view the remaining content after the playback time at a constant speed, and a time when the entire content is viewed at a constant speed. The upper limit value of the remaining viewing time is determined based on the time required for. The playback speed calculation unit 15 refers to the content DB 12 to extract a scene highly relevant to the scene corresponding to the playback time, estimates the time required for the input operation by the user in the highly relevant scene, and inputs the user The playback speed is calculated so that the viewing time including the time required for the operation is within the upper limit of the viewing time determined.

再生速度通知部16は、再生速度算出部15が算出した再生速度をクライアント端末2に送信する。   The playback speed notification unit 16 transmits the playback speed calculated by the playback speed calculation unit 15 to the client terminal 2.

サーバ1、クライアント端末2が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサーバ1、クライアント端末2が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。   Each unit included in the server 1 and the client terminal 2 may be configured by a computer including an arithmetic processing device, a storage device, and the like, and the processing of each unit may be executed by a program. This program is stored in a storage device included in the server 1 and the client terminal 2, and can be recorded on a recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or provided through a network.

次に、第1の実施の形態におけるコンテンツ再生システムの動作について説明する。   Next, the operation of the content reproduction system in the first embodiment will be described.

図3は、第1の実施の形態におけるコンテンツ再生システムの処理の流れを示すフローチャートである。   FIG. 3 is a flowchart showing the flow of processing of the content reproduction system in the first embodiment.

ユーザが視聴したいコンテンツを選択すると、コンテンツ要求送信部21は、ユーザが選択したコンテンツのコンテンツIDを含む取得要求をサーバ1に送信する(ステップS11)。   When the user selects content that the user wants to view, the content request transmission unit 21 transmits an acquisition request including the content ID of the content selected by the user to the server 1 (step S11).

コンテンツ要求受信部11は、取得要求を受信すると、取得要求に含まれるコンテンツIDに対応するコンテンツ(視覚情報と聴覚情報)をコンテンツDB12から取得し、クライアント端末2に送信する(ステップS12)。クライアント端末2はコンテンツを受信し、コンテンツの再生を開始する。また、クライアント端末2は、コンテンツの再生中、ユーザからの入力操作を受け付ける。   When receiving the acquisition request, the content request receiving unit 11 acquires content (visual information and auditory information) corresponding to the content ID included in the acquisition request from the content DB 12, and transmits the content to the client terminal 2 (step S12). The client terminal 2 receives the content and starts reproducing the content. Further, the client terminal 2 accepts an input operation from the user during the reproduction of the content.

入力操作検知部23は、ユーザの入力操作を検知すると、入力操作開始時におけるコンテンツの再生時刻をサーバ1に送信する(ステップS13)。   When the input operation detection unit 23 detects a user input operation, the input operation detection unit 23 transmits the content reproduction time at the start of the input operation to the server 1 (step S13).

再生速度算出部15は、受信した再生時刻以降でユーザが入力操作に要する入力操作時間を推定し、残りの視聴時間の上限値を決定して、入力操作時間を含めた視聴時間が上限値内に収まるように再生速度を算出する(ステップS14)。再生速度算出部15が再生速度を算出する処理の詳細は後述する。   The playback speed calculation unit 15 estimates the input operation time required for the input operation by the user after the received playback time, determines the upper limit value of the remaining viewing time, and the viewing time including the input operation time is within the upper limit value. The reproduction speed is calculated so as to be within the range (step S14). Details of the process of calculating the playback speed by the playback speed calculation unit 15 will be described later.

再生速度変更部24は、再生速度を受信し、ユーザが入力操作を行っている間は、受信した再生速度でコンテンツを再生する(ステップS15)。ユーザが入力操作を終えると、再生速度変更部24は等速でコンテンツを再生する。入力イベントが所定の時間以上発生しないときに、ユーザが操作を入力し終えたと判定してよい。   The playback speed changing unit 24 receives the playback speed and plays back the content at the received playback speed while the user is performing an input operation (step S15). When the user finishes the input operation, the playback speed changing unit 24 plays the content at a constant speed. When the input event does not occur for a predetermined time or more, it may be determined that the user has finished inputting the operation.

以降は、ステップS13〜S15の処理を繰り返し、入力操作中は、サーバ1が算出した再生速度でコンテンツを再生し、操作を入力していないときは、通常の速度でコンテンツを再生する。   Thereafter, the processes in steps S13 to S15 are repeated. During the input operation, the content is played back at the playback speed calculated by the server 1, and when no operation is input, the content is played back at a normal speed.

次に、再生速度算出部15の処理について説明する。   Next, processing of the playback speed calculation unit 15 will be described.

図4は、再生速度算出部15の処理の流れを示すフローチャートである。   FIG. 4 is a flowchart showing a processing flow of the reproduction speed calculation unit 15.

再生速度算出部15は、ユーザが入力操作を開始した再生時刻tから再生時刻tに対応するシーンsを特定し、シーンsと関連があり、シーンsよりも再生開始時刻が遅いシーン群Sを取得する(ステップS21)。再生速度算出部15は、コンテンツDB12に格納されたネットワークグラフを参照し、シーンsとの相関関係を表すスコアがN以上のシーンをシーンsと関連があるシーンとする。スコアNは、例えば、予め人手により設定しておく。   The playback speed calculation unit 15 identifies the scene s corresponding to the playback time t from the playback time t when the user started the input operation, and selects the scene group S that is related to the scene s and has a playback start time later than the scene s. Obtain (step S21). The playback speed calculation unit 15 refers to the network graph stored in the content DB 12 and sets a scene having a score of N or more indicating a correlation with the scene s as a scene related to the scene s. The score N is set in advance by hand, for example.

再生速度算出部15は、シーン群Sの各シーンについて、ユーザが入力操作に要する時間を推定し、各シーンで入力操作に要する時間を合計した入力操作時間tを求める(ステップS22)。入力操作時間を推定する方法としては、例えば、同じコンテンツを視聴した他のユーザの視聴履歴及び操作履歴を用いて、各シーンの平均入力操作時間を算出する方法がある。あるいは、同じコンテンツを視聴した他のユーザの視聴履歴及び操作履歴を用いて、各シーンに対して行われる入力操作の種類やその割合をデータとしてコンテンツDB12のグラフカラムに持たせておき、シーン群Sの各シーンにおいて発生が期待される入力操作の種類をコンテンツDB12のグラフカラムから取得し、入力操作の種類に基づいて入力操作時間を推定してもよい。入力操作の種類は、後述の第2の実施の形態で述べるように、ユーザにかかる認知負荷の大きさに基づいて決めておく。例えば、下線を引く操作は簡単な入力操作であり、手書き文字を入力する操作は認知負荷のかかる入力操作である。さらに別の方法としては、コンテンツを視聴中のユーザの入力操作の速さに基づいて入力操作時間を推定してもよい。例えば、再生時刻より前に入力操作に用いられた時間に基づいて再生時刻以降の入力操作時間を推定する。 Playback speed calculation unit 15, for each scene of the scene group S, the user estimates the time required for input operation, obtains the input operation time t 1 which is the sum of time required for input operation by each scene (step S22). As a method of estimating the input operation time, for example, there is a method of calculating the average input operation time of each scene using the viewing history and operation history of other users who have viewed the same content. Alternatively, using the viewing history and operation history of other users who viewed the same content, the type and ratio of input operations performed on each scene are provided as data in the graph column of the content DB 12, and the scene group The type of input operation expected to occur in each scene of S may be acquired from the graph column of the content DB 12, and the input operation time may be estimated based on the type of input operation. The type of input operation is determined based on the cognitive load applied to the user, as will be described in a second embodiment described later. For example, an operation for underlining is a simple input operation, and an operation for inputting a handwritten character is an input operation requiring a cognitive load. As another method, the input operation time may be estimated based on the input operation speed of the user who is viewing the content. For example, the input operation time after the reproduction time is estimated based on the time used for the input operation before the reproduction time.

再生速度算出部15は、ユーザが再生時刻tまでにコンテンツの視聴に要した経過時間tを考慮して、コンテンツ作成者が決めた再生速度V(等速)で残りのコンテンツを視聴したときに要する視聴時間tのM倍(M×t)を残りのコンテンツの視聴時間の上限値として設定する(ステップS23)。 When the user watches the remaining content at the playback speed V (constant speed) determined by the content creator in consideration of the elapsed time t 0 required for viewing the content up to the playback time t, the playback speed calculation unit 15 M times (M × t 2 ) times the viewing time t 2 required for the above is set as the upper limit value of the remaining content viewing time (step S23).

Mは以下の条件を満たす実数である。   M is a real number that satisfies the following condition.

Figure 0006334452
ここで、Tはコンテンツ全体を等速で再生した場合の視聴時間であり、αは1<αを満たす実数で予め人手によって設定される。経過時間tが長ければ、残りのコンテンツの視聴に要する時間が短くなるように実数Mが小さくなる。
Figure 0006334452
Here, T is a viewing time when the entire content is reproduced at a constant speed, and α is a real number satisfying 1 <α and is set in advance by hand. The longer the elapsed time t 0, the real number M such that the time required for viewing the remaining content shortens decreases.

再生速度算出部15は、残りのコンテンツを上限値内で再生できるように、残りのコンテンツを視聴するときにユーザが入力操作に要する入力操作時間tと残りのコンテンツを等速で再生したときに要する視聴時間tを合算した時間(t+t)に基づいて再生速度vを算出する(ステップS24)。具体的には、次式(1)を用いて再生速度vを算出する。 The reproduction speed calculation unit 15 reproduces the input operation time t 1 required for the input operation by the user and the remaining contents at a constant speed when viewing the remaining contents so that the remaining contents can be reproduced within the upper limit value. The playback speed v s is calculated based on the time (t 1 + t 2 ) that is the sum of the viewing time t 2 required for (step S24). Specifically, to calculate a playback speed v s using the following equation (1).

Figure 0006334452
なお、条件を満たす実数Mが存在しない場合はv=Vとする。つまり、再生速度を変更しない。
Figure 0006334452
If there is no real number M that satisfies the condition, v s = V. That is, the playback speed is not changed.

残りのコンテンツを視聴したときに要する視聴時間tのうち、シーン群Sに含まれないシーンは入力操作が行われる期待値が小さいことから、等速の再生速度Vよりも少し早い速度、例えば再生速度Vの120%の速さでコンテンツを再生させるものとして視聴時間tを算出してもよい。非特許文献2によれば、120%までの速度変化にはユーザが違和感を感じにくいとされる。シーン群Sに含まれないシーンの再生速度を少し早くすることにより、実数Mが存在しない場合を減らすことができる。 Of viewing time t 2 required when watching remaining content, since the expected value is not included in the scene group S scene input operation is performed is small, constant speed of playback speed V slightly faster rate than, for example, it may calculate the viewing time t 2 as to reproduce the content at 120% of the speed of the playback speed V. According to Non-Patent Document 2, it is considered that the user does not feel uncomfortable with the speed change up to 120%. By slightly increasing the playback speed of scenes not included in the scene group S, the number of cases where the real number M does not exist can be reduced.

次に、相関グラフ構築部13の処理について説明する。   Next, the process of the correlation graph construction part 13 is demonstrated.

図5は、本実施の形態における相関グラフ構築部13の処理の流れを示すフローチャートである。   FIG. 5 is a flowchart showing a process flow of the correlation graph construction unit 13 in the present embodiment.

相関グラフ構築部13は、コンテンツDB12から未処理のコンテンツCを取得し、コンテンツCを複数のシーンに分割(あるいは複数のシーンを抽出)し、各シーンの開始時刻と終了時刻をコンテンツDB12に格納する(ステップS31)。コンテンツCの分割は、以下に示す方法が考えられる。 The correlation graph construction unit 13 acquires the unprocessed content C n from the content DB 12, divides the content C n into a plurality of scenes (or extracts a plurality of scenes), and sets the start time and end time of each scene to the content DB 12 (Step S31). The content C n can be divided by the following method.

(1)1シーンの時間を設定して分割する
(2)分割数を設定して等間隔にシーンを分割する
(3)1シーンが1スライドに対応するようにスライド単位で分割する
(4)コンテンツの内容を解析し、解析結果に基づいて分割点または抽出点を決定する
(5)過去に視聴したユーザの視聴中の操作履歴に基づいて分割点または抽出点を決定する
(1) Set the time of one scene and divide (2) Set the number of divisions and divide the scene at equal intervals (3) Divide in units of slides so that one scene corresponds to one slide (4) Analyzing the contents of the content and determining the division point or extraction point based on the analysis result. (5) Deciding the division point or extraction point based on the operation history of the user who has viewed in the past.

ここで(5)操作履歴に基づいてシーンを分割する方法について説明する。クライアント端末2は入力に関するイベントの発生をサーバ1に通知し、サーバ1は通知されたイベントを操作履歴として保持しているとする。相関グラフ構築部13は、クライアント端末2に対する入力操作を開始した時刻と入力操作が終了した時刻を操作履歴から取得し、これらの間の時間を1シーンとしてコンテンツCから分割または抽出する。例えば、クライアント端末2から通知される「mousedownイベント→1回以上のmousemoveイベント→mouseupイベント」などの一連のイベント群を検知し、これらのイベントが発生している間を1シーンとする。 Here, (5) a method of dividing a scene based on the operation history will be described. Assume that the client terminal 2 notifies the server 1 of the occurrence of an event related to input, and the server 1 holds the notified event as an operation history. The correlation graph construction unit 13 acquires the time when the input operation to the client terminal 2 is started and the time when the input operation is completed from the operation history, and divides or extracts the time between them from the content C n as one scene. For example, a series of event groups such as “moused event → more than one move move event → mouse up event” notified from the client terminal 2 is detected, and a period during which these events occur is defined as one scene.

ただし、マウス等のポインティングデバイスを用いて文字を手書き入力する場合、1文字の入力に対する一連のイベント群が複数個の場合もあるので、一連のイベント群の集合を1シーンとしてもよい。例えば、図6に示すように、「あ」の文字を手書き入力する場合、「あ」は3つの筆画から構成されているので、3個の一連のイベント群が「あ」の文字を入力する操作に対応する。1文字の入力を1シーンとしてもよいし、複数の文字の入力をまとめて1シーンとしてもよい。一連のイベント群を同じシーンとするときは、図7に示すように、一連のイベント群を検知してから次の一連のイベント群を検知するまでの時間が所定の時間に満たない場合を、それらの連続する一連のイベント群は同じシーンとすることが適切であると判定する。このとき、イベントが発生していない区間は、その区間の前後のシーンのいずれかのシーンに含めてもよい。あるいは、イベントが発生していない区間を独立したシーンとしてもよい。   However, when a character is input by handwriting using a pointing device such as a mouse, there may be a plurality of series of event groups for the input of one character. Therefore, a set of series of event groups may be one scene. For example, as illustrated in FIG. 6, when inputting the character “A” by handwriting, “A” is composed of three strokes, and therefore, a series of three event groups input the character “A”. Corresponds to the operation. One character may be input as one scene, or a plurality of characters may be input as one scene. When making a series of event groups the same scene, as shown in FIG. 7, when the time from detecting a series of event groups to detecting the next series of event groups is less than a predetermined time, It is determined that it is appropriate to set a series of these consecutive events as the same scene. At this time, a section in which no event occurs may be included in any of the scenes before and after the section. Alternatively, a section where no event occurs may be an independent scene.

相関グラフ構築部13は、シーンの分割を終えると、任意の2つのシーンS,S(コンテンツCにおいてシーンSがシーンSよりも早くに再生されるとする)に対して、シーンS,S間の相関関係を表すスコア(0以上1以下の実数)を算出する(ステップS32)。例えば、過去にコンテンツを視聴したユーザの視聴履歴に基づいてスコアを算出する方法が考えられる。具体的には、シーンSにおいて入力操作を行ったユーザの何%のユーザがシーンSにおいて入力操作を行ったかを算出する。つまり、あるユーザuがシーンSにおいて入力操作を行ったという事象Aが起こったという条件の下でユーザuがシーンSにおいて入力操作を行うという事象Bが起きる条件付き確率を求めてスコアとする。 When the correlation graph construction unit 13 finishes dividing the scene, any two scenes S i and S j ( assuming that the scene S i is reproduced earlier than the scene S j in the content C n ) A score (a real number between 0 and 1) representing the correlation between the scenes S i and S j is calculated (step S32). For example, a method of calculating a score based on a viewing history of a user who has viewed content in the past can be considered. Specifically, it is calculated what percentage of the users who performed the input operation in the scene S i performed the input operation in the scene S j . That is, the score a user u is sought conditional probability that event B occurs that the user u under the condition that has occurred events A that performs an input operation in the scene S i performs an input operation in the scene S j To do.

あるいは、各シーンにおける講師の発話を文字情報に変換し、周知の文書構造解析技術を用いてシーン間の相関関係を数値化する方法が考えられる。例えば、シーンSにおいて「重要なポイントは3つあります」との発言があり、シーンSにおいて「1つ目は○○です」、シーンSにおいて「2つ目は○○です」、シーンSにおいて「3つ目は○○です」との発言があった場合、シーンSと各シーンS,S,Sとの相関関係は大きい、と考えられる。また、各シーンS,S,S間の相関関係も大きい、と考えられる。 Alternatively, a method of converting the utterance of the lecturer in each scene into character information and quantifying the correlation between scenes using a well-known document structure analysis technique can be considered. For example, there is a saying that "important point There are three" in the scene S k, in the scene S l "is the first one is the ○○", in the scene S m "the second is ○○", scene If there is a saying of the "third is ○○" in the S n, scene S k and each scene S l, S m, the correlation between the S n is large, is considered. Further, each scene S l, S m, greater correlation between S n, is considered.

相関グラフ構築部13は、ステップS31で作成したシーンをノード、ステップS32で作成したスコアを重みとする有向グラフ(ベイジアンネットワーク)を構築し、コンテンツDB12のグラフカラムに格納する(ステップS33)。   The correlation graph construction unit 13 constructs a directed graph (Bayesian network) having the scene created in step S31 as a node and the score created in step S32 as a weight, and stores the graph in the graph column of the content DB 12 (step S33).

相関グラフ構築部13は、コンテンツDB12に新たなコンテンツが格納されたタイミングで上記の処理を実行してもよいし、過去にコンテンツを視聴したユーザの視聴履歴に基づいてネットワークグラフを構築してもよい。ネットワークグラフが可変である場合には、所定のタイミングでコンテンツDB12に格納された各コンテンツに対して処理を実行し、ネットワークグラフを更新してもよい。   The correlation graph construction unit 13 may execute the above processing at a timing when new content is stored in the content DB 12, or may construct a network graph based on the viewing history of the user who has viewed the content in the past. Good. When the network graph is variable, the network graph may be updated by executing processing for each content stored in the content DB 12 at a predetermined timing.

以上説明したように、本実施の形態によれば、サーバ1が、ユーザが入力操作を開始した再生時刻tまでにコンテンツの視聴に要した経過時間tを考慮して残りのコンテンツの視聴時間に上限値を設定し、再生時刻tに対応するシーンsと関連があるシーン群Sの各シーンについて、ユーザが入力操作に要する入力操作時間tを推定し、残りのコンテンツを上限値内で再生できるように、入力操作時間tと残りのコンテンツを等速で再生したときに要する視聴時間tを合算した時間(t+t)に基づいて、再生速度vを算出することにより、ユーザの入力操作を考慮しつつ、コンテンツの視聴時間が長くならないように、コンテンツの再生速度を制御することができる。 As described above, according to the present embodiment, the server 1 considers the elapsed time t 0 required for viewing the content up to the playback time t when the user started the input operation, and the remaining content viewing time. For each scene of the scene group S related to the scene s corresponding to the reproduction time t, the user estimates the input operation time t 1 required for the input operation, and the remaining content is within the upper limit value. By calculating the playback speed v s based on the time (t 1 + t 2 ) that is the sum of the input operation time t 1 and the viewing time t 2 required when the remaining content is played back at a constant speed so that playback is possible. The content reproduction speed can be controlled so that the viewing time of the content does not become longer while considering the user's input operation.

[第2の実施の形態]
図8は、第2の実施の形態におけるコンテンツ再生システムの構成を示す機能ブロック図である。同図に示すコンテンツ再生システムは、第1の実施の形態のコンテンツ再生システムとは、クライアント端末2が入力操作種類判別部25を備え、サーバ1が再生速度算出部15の代わりに再生速度調整部17を備える点で相違する。第2の実施の形態では、ユーザの入力操作の種類に応じて再生速度を調整する。例えば、ユーザが文字を書く操作をしているときは、単に下線を引く操作をしているときよりもコンテンツの再生速度が遅くなるようにする。以下、第1の実施の形態との相違点について説明する。
[Second Embodiment]
FIG. 8 is a functional block diagram showing the configuration of the content reproduction system according to the second embodiment. The content playback system shown in FIG. 1 is different from the content playback system of the first embodiment in that the client terminal 2 includes an input operation type determination unit 25 and the server 1 uses a playback speed adjustment unit instead of the playback speed calculation unit 15. The difference is that 17 is provided. In the second embodiment, the playback speed is adjusted according to the type of user input operation. For example, when the user is performing an operation of writing characters, the content reproduction speed is made slower than when the user is simply performing an underline operation. Hereinafter, differences from the first embodiment will be described.

入力操作種類判別部25は、クライアント端末2において発生した入力イベントから入力操作の種類を判別し、判別した入力操作の種類をサーバ1に送信する。例えば、mousedown,mousemove,mouseupなどのマウスによる入力イベントや、スタイラスペンや指による入力イベントの発生に基づき、以下の3種類の入力操作の種類を判別する。   The input operation type determination unit 25 determines the type of input operation from the input event that has occurred in the client terminal 2, and transmits the determined type of input operation to the server 1. For example, the following three types of input operations are discriminated based on the occurrence of an input event with a mouse such as “mouseddown”, “mousemove”, “mouseup”, or an input event with a stylus pen or a finger.

Type1 下線引きや円形など文字以外のマークを描画している
Type2 コンテンツ内の講師の発言を筆写している
Type3 ユーザ自身の言葉でメモを書いたり図表を描画している
Type1 Marks other than characters such as underline and circle are drawn Type2 The instructor's remarks in the content are copied Type3 The user's own words are used to write notes and diagrams

入力操作の種類の判別には、例えば既知の文字認識技術を用いることができる。入力操作の開始を表すイベントを検知してから一定時間後の入力操作によって描画された点集合に対して文字認識を行う。認識結果が文字以外であれば入力操作の種類をType1と判別する。認識された文字列がコンテンツ内の音声と一致していればType2と判別し、コンテンツ内の音声と一致していなければType3と判別する。コンテンツ内の音声は既知の音声認識技術を用いて文字列に変換することができる。   For example, a known character recognition technique can be used to determine the type of input operation. Character recognition is performed on a point set drawn by an input operation after a predetermined time has elapsed after detecting an event indicating the start of the input operation. If the recognition result is other than a character, the type of input operation is determined as Type1. If the recognized character string matches the sound in the content, it is determined as Type 2, and if it does not match the sound in the content, it is determined as Type 3. The voice in the content can be converted into a character string using a known voice recognition technique.

再生速度調整部17は、まず、第1の実施の形態の再生速度算出部15と同様に、ユーザの入力操作開始時におけるコンテンツの再生時刻を受信し、再生時刻に対応するシーンsと関連性の高いシーンにおいてユーザが入力操作に要する入力操作時間を考慮して再生速度を算出し、算出した再生速度をクライアント端末2に送信する。   First, the playback speed adjustment unit 17 receives the playback time of the content at the start of the user's input operation, as in the playback speed calculation unit 15 of the first embodiment, and relates to the scene s corresponding to the playback time. The playback speed is calculated in consideration of the input operation time required for the input operation by the user in a high scene, and the calculated playback speed is transmitted to the client terminal 2.

再生速度調整部17は、クライアント端末2から入力操作の種類を受信すると、受信した入力操作の種類に応じて再生速度を再計算し、再計算した再生速度をクライアント端末2に送信する。具体的には、第1の実施の形態の式(1)に入力操作の種類を加味した次式(2)を用いて再生速度を再計算する。   When receiving the type of input operation from the client terminal 2, the playback speed adjustment unit 17 recalculates the playback speed according to the received type of input operation, and transmits the recalculated playback speed to the client terminal 2. Specifically, the reproduction speed is recalculated using the following equation (2) in which the type of input operation is added to the equation (1) of the first embodiment.

Figure 0006334452
ここで、βは0<β≦1の実数であり、入力操作の種類に応じて例えば予め人手により設定しておく。
Figure 0006334452
Here, β is a real number of 0 <β ≦ 1, and is set in advance manually, for example, according to the type of input operation.

入力操作の種類によってユーザにかかる認知負荷は、Type3>Type2>Type1であると考えられるため、βは入力操作の種類がType3のときに最も小さくなるように設定し、Type1のときに最も大きくなるように設定する(ただしβ<1)。クライアント端末2から入力操作の種類を受信するまでは、β=1として再生速度を計算する。   The cognitive load on the user depending on the type of input operation is considered to be Type3> Type2> Type1, so β is set to be the smallest when the type of input operation is Type3, and is the largest when Type1 (Where β <1). Until the type of input operation is received from the client terminal 2, the playback speed is calculated with β = 1.

以上説明したように、本実施の形態によれば、サーバ1がクライアント端末2からユーザの入力操作の種類を受信し、入力操作の種類に応じて再生速度を再計算することにより、入力操作によってユーザにかかる認知負荷の大きさに応じて再生速度を調整することが可能となる。   As described above, according to the present embodiment, the server 1 receives the type of the user's input operation from the client terminal 2, and recalculates the playback speed according to the type of the input operation, thereby performing the input operation. The playback speed can be adjusted according to the magnitude of the cognitive load on the user.

1…サーバ
11…コンテンツ要求受信部
12…コンテンツDB
13…相関グラフ構築部
14…入力操作受信部
15…再生速度算出部
16…再生速度通知部
17…再生速度調整部
2…クライアント端末
21…コンテンツ要求送信部
22…コンテンツ受信部
23…入力操作検知部
24…再生速度変更部
25…入力操作種類判別部
DESCRIPTION OF SYMBOLS 1 ... Server 11 ... Content request receiving part 12 ... Content DB
DESCRIPTION OF SYMBOLS 13 ... Correlation graph construction part 14 ... Input operation reception part 15 ... Reproduction speed calculation part 16 ... Reproduction speed notification part 17 ... Reproduction speed adjustment part 2 ... Client terminal 21 ... Content request transmission part 22 ... Content reception part 23 ... Input operation detection Unit 24 ... reproduction speed changing unit 25 ... input operation type discrimination unit

Claims (7)

コンテンツの再生速度を調整する再生速度調整装置であって、
ユーザが前記コンテンツを視聴中に入力操作を開始した時点のコンテンツの再生時刻を受信する受信手段と、
前記再生時刻までに前記ユーザが前記コンテンツの視聴に要した経過時間と前記再生時刻以降の残りのコンテンツを等速で再生するときに要する残り再生時間と前記コンテンツ全体を等速で再生するときに要する全体再生時間とに基づいて残りの視聴時間の上限値を決定する上限値決定手段と、
前記残りのコンテンツにおいて前記ユーザが入力操作に要する入力操作時間を推定する入力操作時間推定手段と、
前記残り再生時間と前記入力操作時間を合わせた時間を要するコンテンツを前記上限値内で再生可能なように再生速度を算出する算出手段と、
を有することを特徴とする再生速度調整装置。
A playback speed adjustment device for adjusting the playback speed of content,
Receiving means for receiving the playback time of the content when the user starts an input operation while viewing the content;
Elapsed time required for the user to view the content up to the playback time, remaining playback time required for playback of the remaining content after the playback time at a constant speed, and playback of the entire content at the same speed An upper limit determining means for determining an upper limit of the remaining viewing time based on the total playback time required;
Input operation time estimating means for estimating an input operation time required for the user by the remaining content in the remaining content;
Calculating means for calculating a playback speed so that content that takes a time that is the sum of the remaining playback time and the input operation time can be played within the upper limit;
A playback speed adjusting device comprising:
前記コンテンツを複数に分割したシーン間の相関関係を表すスコアを格納した格納手段を有し、
前記入力操作時間推定手段は、前記スコアに基づいて前記再生時刻に対応するシーンと相関の高いシーン群を抽出し、当該シーン群に属する各シーンにおいて前記ユーザが入力操作に要する時間を推定して合計することで前記入力操作時間を求めることを特徴とする請求項1記載の再生速度調整装置。
Storing means for storing a score representing a correlation between scenes obtained by dividing the content into a plurality of parts;
The input operation time estimating means extracts a scene group having a high correlation with the scene corresponding to the reproduction time based on the score, and estimates the time required for the input operation by the user in each scene belonging to the scene group. The playback speed adjusting apparatus according to claim 1, wherein the input operation time is obtained by summing up.
前記算出手段は、前記シーン群に属しない各シーンの再生速度を等速よりも速い再生速度で再生するとして求めた前記残り再生時間を用いることを特徴とする請求項2記載の再生速度調整装置。   3. The playback speed adjustment device according to claim 2, wherein the calculating means uses the remaining playback time obtained by playing back each scene not belonging to the scene group at a playback speed faster than a constant speed. . 前記受信手段は、前記ユーザの入力操作の種類を受信し、
前記算出手段は、前記入力操作の種類に応じた係数を用いて前記再生速度を算出することを特徴とする請求項1乃至3のいずれかに記載の再生速度調整装置。
The receiving means receives the type of input operation of the user,
The playback speed adjusting apparatus according to claim 1, wherein the calculation unit calculates the playback speed using a coefficient corresponding to a type of the input operation.
前記入力操作の種類は、文字以外の入力操作、前記コンテンツの内容と一致する文字の入力操作、前記コンテンツの内容と一致しない文字の入力操作であることを特徴とする請求項4記載の再生速度調整装置。   5. The playback speed according to claim 4, wherein the type of the input operation is an input operation other than a character, an input operation of a character that matches the content content, or an input operation of a character that does not match the content content. Adjustment device. コンテンツの再生速度を調整するコンピュータによって実行される再生速度調整方法であって、
ユーザが前記コンテンツを視聴中に入力操作を開始した時点のコンテンツの再生時刻を受信するステップと、
前記再生時刻までに前記ユーザが前記コンテンツの視聴に要した経過時間と前記再生時刻以降の残りのコンテンツを等速で再生するときに要する残り再生時間と前記コンテンツ全体を等速で再生するときに要する全体再生時間とに基づいて残りの視聴時間の上限値を決定するステップと、
前記残りのコンテンツにおいて前記ユーザが入力操作に要する入力操作時間を推定するステップと、
前記残り再生時間と前記入力操作時間を合わせた時間を要するコンテンツを前記上限値内で再生可能なように再生速度を算出するステップと、
を有することを特徴とする再生速度調整方法。
A playback speed adjustment method executed by a computer to adjust the playback speed of content,
Receiving the playback time of the content when the user starts an input operation while viewing the content;
Elapsed time required for the user to view the content up to the playback time, remaining playback time required for playback of the remaining content after the playback time at a constant speed, and playback of the entire content at the same speed Determining an upper limit for remaining viewing time based on the total playback time required;
Estimating the input operation time required for the input operation by the user in the remaining content;
Calculating a playback speed so that content that takes time that is the sum of the remaining playback time and the input operation time can be played within the upper limit;
A playback speed adjustment method characterized by comprising:
請求項1乃至5のいずれかに記載の再生速度調整装置の各手段としてコンピュータを動作させることを特徴とする再生速度調整プログラム。   6. A reproduction speed adjustment program for operating a computer as each means of the reproduction speed adjustment apparatus according to claim 1.
JP2015080663A 2015-04-10 2015-04-10 Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program Active JP6334452B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015080663A JP6334452B2 (en) 2015-04-10 2015-04-10 Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015080663A JP6334452B2 (en) 2015-04-10 2015-04-10 Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program

Publications (2)

Publication Number Publication Date
JP2016201680A JP2016201680A (en) 2016-12-01
JP6334452B2 true JP6334452B2 (en) 2018-05-30

Family

ID=57424615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015080663A Active JP6334452B2 (en) 2015-04-10 2015-04-10 Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program

Country Status (1)

Country Link
JP (1) JP6334452B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134614B (en) * 2021-03-29 2024-01-02 北京字节跳动网络技术有限公司 Task parameter configuration method, device, electronic equipment and computer readable storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3882787B2 (en) * 2003-06-06 2007-02-21 日本電信電話株式会社 Content reproduction control method, content reproduction control system, server device, content reproduction control device, and content reproduction control program
JP2006262045A (en) * 2005-03-17 2006-09-28 Sharp Corp Content reproducer
JP2007110188A (en) * 2005-10-11 2007-04-26 Sony Corp Recording apparatus, recording method, reproducing apparatus, and reproducing method
JP2007299370A (en) * 2006-04-06 2007-11-15 Ricoh Co Ltd Information processor, information processing method and information processing program
JP2008096482A (en) * 2006-10-06 2008-04-24 Matsushita Electric Ind Co Ltd Receiving terminal, network learning support system, receiving method, and network learning support method
JP5115151B2 (en) * 2007-11-02 2013-01-09 ソニー株式会社 Information presenting apparatus and information presenting method
JP5133678B2 (en) * 2007-12-28 2013-01-30 株式会社ベネッセコーポレーション Video playback system and control method thereof
WO2010073355A1 (en) * 2008-12-26 2010-07-01 富士通株式会社 Program data processing device, method, and program

Also Published As

Publication number Publication date
JP2016201680A (en) 2016-12-01

Similar Documents

Publication Publication Date Title
JP7069778B2 (en) Methods, systems and programs for content curation in video-based communications
Kushalnagar et al. Accessibility evaluation of classroom captions
CN106686452B (en) Method and device for generating dynamic picture
US20170085854A1 (en) Inertia Audio Scrolling
US8634694B2 (en) Video replay system and a control method thereof
Pavel et al. Rescribe: Authoring and automatically editing audio descriptions
EP3347832A1 (en) Visualization of automatic summarization using keyword zoom
JP2017537412A (en) System and method for tracking events and providing virtual meeting feedback
KR20150143500A (en) Language learning environment
JP2008152605A (en) Presentation analysis device and presentation viewing system
US20150371679A1 (en) Semi-automatic generation of multimedia content
US9563704B1 (en) Methods, systems, and media for presenting suggestions of related media content
Yadav et al. Content-driven multi-modal techniques for non-linear video navigation
Kacorri et al. Introducing game elements in crowdsourced video captioning by non-experts
Peng et al. Slidecho: Flexible non-visual exploration of presentation videos
US20170322766A1 (en) Method and electronic unit for adjusting playback speed of media files
US11997062B2 (en) Methods, systems, and media for identifying and presenting video objects linked to a source video
US20210064327A1 (en) Audio highlighter
JP6334452B2 (en) Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program
US11514924B2 (en) Dynamic creation and insertion of content
US10460178B1 (en) Automated production of chapter file for video player
US11315607B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20210134177A1 (en) System and method for displaying voice-animated multimedia content
CN115391709A (en) Content creation based on text-to-image generation
JP2007156286A (en) Information recognition device and information recognizing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180426

R150 Certificate of patent or registration of utility model

Ref document number: 6334452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150