JP6334452B2 - Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program - Google Patents
Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program Download PDFInfo
- Publication number
- JP6334452B2 JP6334452B2 JP2015080663A JP2015080663A JP6334452B2 JP 6334452 B2 JP6334452 B2 JP 6334452B2 JP 2015080663 A JP2015080663 A JP 2015080663A JP 2015080663 A JP2015080663 A JP 2015080663A JP 6334452 B2 JP6334452 B2 JP 6334452B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- playback
- input operation
- time
- playback speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management Or Editing Of Information On Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
本発明は、デジタルコンテンツの再生速度を制御する技術に関する。 The present invention relates to a technique for controlling the playback speed of digital content.
近年、教育とICTの融合が進み、オンライン教育サービスの市場が拡大している。非特許文献1で述べられているように、学習者の多くは、オンライン教育教材コンテンツを視聴しながらキーボードを用いてメモを取ったり、スタイラスペンや指を用いてメモを取ったり下線を引くなどの入力操作を行う。このような入力操作を行っているとき、学習者の認知負荷は増加しやすいため、書く行為へ意識が集中してしまいやすく、聴く行為への注意力が低下してしまう。 In recent years, the fusion of education and ICT has progressed, and the online education service market has expanded. As described in Non-Patent Document 1, many learners take notes using the keyboard while watching online educational material contents, take notes using a stylus pen or fingers, or underline, etc. Perform the input operation. When such an input operation is performed, the learner's cognitive load is likely to increase, so the consciousness tends to concentrate on the act of writing, and the attention to the act of listening is reduced.
この問題を解決するための一手法として、非特許文献2では、学習者の入力操作を検知してコンテンツを一時停止させたり、再生速度を遅くする手法が提案されている。
As a technique for solving this problem, Non-Patent
しかしながら、非特許文献2では、学習者による入力操作が行われれば行われるほど、コンテンツを最後まで視聴するのに要する時間が長くなるという問題があった。非特許文献3によると、オンライン教育におけるコンテンツの視聴時間は15分から20分程度が学習者の集中力維持の観点から望ましいとされている。つまり、コンテンツの視聴時間が長くなると学習者にとっては集中力の維持が困難になる。
However, Non-Patent
非特許文献4のように、コンテンツの視聴開始時に視聴時間を設定し、その設定に応じてコンテンツの再生速度を調整する既存の技術は存在するが、コンテンツの特徴に基づいて再生速度を算出することが多く、学習者の入力操作に要する時間や入力操作による認知負荷を考慮していない。 As in Non-Patent Document 4, there is an existing technique for setting a viewing time at the start of content viewing and adjusting the playback speed of the content according to the setting, but the playback speed is calculated based on the characteristics of the content. In many cases, the time required for the input operation of the learner and the cognitive load due to the input operation are not considered.
本発明は、上記に鑑みてなされたものであり、入力操作中の学習者の認知負荷増加を低減しつつ、コンテンツの視聴時間が長くならないように、コンテンツの再生速度を制御することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to control the playback speed of content so as not to increase the viewing time of the content while reducing the increase in the cognitive load of the learner during the input operation. To do.
第1の本発明に係る再生速度調整装置は、コンテンツの再生速度を調整する再生速度調整装置であって、ユーザが前記コンテンツを視聴中に入力操作を開始した時点のコンテンツの再生時刻を受信する受信手段と、前記再生時刻までに前記ユーザが前記コンテンツの視聴に要した経過時間と前記再生時刻以降の残りのコンテンツを等速で再生するときに要する残り再生時間と前記コンテンツ全体を等速で再生するときに要する全体再生時間とに基づいて残りの視聴時間の上限値を決定する上限値決定手段と、前記残りのコンテンツにおいて前記ユーザが入力操作に要する入力操作時間を推定する入力操作時間推定手段と、前記残り再生時間と前記入力操作時間を合わせた時間を要するコンテンツを前記上限値内で再生可能なように再生速度を算出する算出手段と、を有することを特徴とする。 A playback speed adjusting device according to a first aspect of the present invention is a playback speed adjusting device that adjusts the playback speed of content, and receives the playback time of the content when the user starts an input operation while viewing the content. The receiving means, the elapsed time required for the user to view the content up to the playback time, the remaining playback time required to play the remaining content after the playback time at a constant speed, and the entire content at the same speed Upper limit value determining means for determining an upper limit value of the remaining viewing time based on the total playback time required for playback, and input operation time estimation for estimating the input operation time required for the user to perform an input operation in the remaining content And a playback speed so that the content that takes time that is the sum of the remaining playback time and the input operation time can be played within the upper limit. Calculation means for output, characterized by having a.
上記再生速度調整装置において、前記コンテンツを複数に分割したシーン間の相関関係を表すスコアを格納した格納手段を有し、前記入力操作時間推定手段は、前記スコアに基づいて前記再生時刻に対応するシーンと相関の高いシーン群を抽出し、当該シーン群に属する各シーンにおいて前記ユーザが入力操作に要する時間を推定して合計することで前記入力操作時間を求めることを特徴とする。 The playback speed adjustment apparatus further includes a storage unit that stores a score representing a correlation between scenes obtained by dividing the content into a plurality of pieces, and the input operation time estimation unit corresponds to the playback time based on the score. A scene group having a high correlation with the scene is extracted, and the input operation time is obtained by estimating and totaling the time required for the input operation by the user in each scene belonging to the scene group.
上記再生速度調整装置において、前記算出手段は、前記シーン群に属しない各シーンの再生速度を等速よりも速い再生速度で再生するとして求めた前記残り再生時間を用いることを特徴とする。 In the playback speed adjustment apparatus, the calculation means uses the remaining playback time obtained by playing back the playback speed of each scene not belonging to the scene group at a playback speed faster than a constant speed.
上記再生速度調整装置において、前記受信手段は、前記ユーザの入力操作の種類を受信し、前記算出手段は、前記入力操作の種類に応じた係数を用いて前記再生速度を算出することを特徴とする。 In the playback speed adjustment apparatus, the receiving unit receives a type of the input operation of the user, and the calculation unit calculates the playback speed using a coefficient corresponding to the type of the input operation. To do.
上記再生速度調整装置において、前記入力操作の種類は、文字以外の入力操作、前記コンテンツの内容と一致する文字の入力操作、前記コンテンツの内容と一致しない文字の入力操作であることを特徴とする。 In the reproduction speed adjusting device, the type of the input operation is an input operation other than a character, a character input operation that matches the content content, or a character input operation that does not match the content content. .
第2の本発明に係る再生速度調整方法は、コンテンツの再生速度を調整するコンピュータによって実行される再生速度調整方法であって、ユーザが前記コンテンツを視聴中に入力操作を開始した時点のコンテンツの再生時刻を受信するステップと、前記再生時刻までに前記ユーザが前記コンテンツの視聴に要した経過時間と前記再生時刻以降の残りのコンテンツを等速で再生するときに要する残り再生時間と前記コンテンツ全体を等速で再生するときに要する全体再生時間とに基づいて残りの視聴時間の上限値を決定するステップと、前記残りのコンテンツにおいて前記ユーザが入力操作に要する入力操作時間を推定するステップと、前記残り再生時間と前記入力操作時間を合わせた時間を要するコンテンツを前記上限値内で再生可能なように再生速度を算出するステップと、を有することを特徴とする。 A playback speed adjustment method according to a second aspect of the present invention is a playback speed adjustment method executed by a computer for adjusting the playback speed of content, wherein the content at the time when the user starts an input operation while viewing the content is displayed. A step of receiving a playback time, an elapsed time that the user took to view the content up to the playback time, a remaining playback time required to play the remaining content after the playback time at a constant speed, and the entire content Determining the upper limit value of the remaining viewing time based on the total playback time required when playing the video at a constant speed, estimating the input operation time required by the user for the input operation in the remaining content, Content that requires time that is the sum of the remaining playback time and the input operation time can be played within the upper limit. And having the steps of: calculating the playback speed.
第3の本発明に係る再生速度調整プログラムは、上記の再生速度調整装置の各手段としてコンピュータを動作させることを特徴とする。 A reproduction speed adjustment program according to a third aspect of the present invention is characterized by operating a computer as each means of the reproduction speed adjustment apparatus.
本発明によれば、入力操作中の学習者の認知負荷増加を低減しつつ、コンテンツの視聴時間が長くならないように、コンテンツの再生速度を制御することができる。 According to the present invention, it is possible to control the playback speed of the content so that the viewing time of the content is not prolonged while reducing the increase in the learner's cognitive load during the input operation.
[第1の実施の形態]
図1は、第1の実施の形態におけるコンテンツ再生システムの構成を示す機能ブロック図である。同図に示すコンテンツ再生システムは、サーバ1とクライアント端末2を備える。クライアント端末2は、サーバ1からコンテンツを受信して再生する。クライアント端末2は、ユーザが入力操作を行っているときはサーバ1の指定した再生速度でコンテンツを再生する。サーバ1は、クライアント端末2からユーザが入力操作を開始したときのコンテンツの再生時刻を受信し、ユーザの入力操作に要する時間を考慮しつつ、受信した再生時刻以降の視聴時間が所定の範囲内に収まるようにコンテンツの再生速度を算出してクライアント端末2に送信する。以下、各装置について説明する。
[First Embodiment]
FIG. 1 is a functional block diagram showing the configuration of the content reproduction system according to the first embodiment. The content reproduction system shown in the figure includes a server 1 and a
クライアント端末2は、コンテンツ要求送信部21、コンテンツ受信部22、入力操作検知部23、および再生速度変更部24を備える。
The
コンテンツ要求送信部21は、コンテンツの取得要求をサーバ1に送信する。コンテンツは、例えば、クライアント端末2を使用するユーザによって指定される。
The content
コンテンツ受信部22は、サーバ1からコンテンツを受信し、受信したコンテンツをクライアント端末2に再生させる。コンテンツの再生には、一般的な動画再生プレイヤーを用いることができる。
The
入力操作検知部23は、クライアント端末2に対するユーザの入力操作を検知し、入力操作開始時に再生中のコンテンツの再生時刻をサーバ1に送信する。入力操作とは、例えば、キーボードやスタイラスペンによる文字入力操作、あるいは下線を引くなどの文字等を修飾する操作である。例えば、mousedown,mousemove,mouseupなどのマウスによる入力イベントや、スタイラスペンや指による入力イベントなどのイベントの発生に基づいて入力操作を検知する。
The input
また、入力操作検知部23は、発生したイベントが入力操作の開始を表すイベントもしくは入力操作の終了を示すイベントである場合に、そのイベントを再生速度変更部24に送信する。例えば、入力操作の開始を表すイベントとしては、mousedownやtouchdownなどが考えられる。入力操作の終了を示すイベントとしては、mouseupやtouchupなどが考えられる。入力操作の開始を表すイベントや入力操作の終了を示すイベントに該当するイベントは予め人手によって設定してもよい。
The input
再生速度変更部24は、入力操作検知部23からイベントを受信し、受信したイベントが入力操作の開始を表すイベントの場合は再生速度変更フラグを1とし、入力操作の終了を示すイベントの場合は再生速度変更フラグを0とする。再生速度変更部24は、サーバ1から再生速度を受信し、再生速度変更フラグが1である間は、受信した再生速度でコンテンツを再生するようにコンテンツの再生速度を調整する。再生速度の変更は、例えば、一般的な動画再生プレイヤーの再生速度変更機能を用いればよい。
The playback
サーバ1は、コンテンツ要求受信部11、コンテンツデータベース(DB)12、相関グラフ構築部13、入力操作受信部14、再生速度算出部15、および再生速度通知部16を備える。
The server 1 includes a content
コンテンツ要求受信部11は、クライアント端末2からコンテンツの取得要求を受信し、コンテンツDB12からコンテンツを取得してクライアント端末2に送信する。
The content
コンテンツDB12は、コンテンツとコンテンツに関する情報を保持する。図2に、コンテンツDB12が保持するデータの例を示す。同図の例では、コンテンツDB12が保持するデータは、コンテンツIDカラム、視覚情報カラム、聴覚情報カラム、シーンカラム、およびグラフカラムで構成される。
The content DB 12 holds content and information related to the content. FIG. 2 shows an example of data stored in the
コンテンツIDカラムには、コンテンツを一意に識別可能なコンテンツIDを格納する。視覚情報カラムには、コンテンツの視覚情報、例えば、スライド形式の教材データを格納する。教材データのファイル形式は問わず、例えば、PDF,word,htmlなどのファイル形式が考えられる。聴覚情報カラムには、コンテンツの聴覚情報、例えば、コンテンツに含まれる講師の音声データを格納する。音声データのファイル形式は問わず、例えばmp3などのファイル形式が考えられる。本実施例では、視覚情報と聴覚情報でコンテンツを構成する。コンテンツとして動画ファイルを格納してもよい。 The content ID column stores a content ID that can uniquely identify the content. The visual information column stores visual information of content, for example, teaching material data in a slide format. The file format of the teaching material data is not limited, and for example, a file format such as PDF, word, and html is conceivable. The auditory information column stores the auditory information of the content, for example, voice data of the lecturer included in the content. The file format of the audio data is not limited, and a file format such as mp3 can be considered. In this embodiment, the content is composed of visual information and auditory information. A moving image file may be stored as content.
シーンカラムとグラフカラムは、後述の相関グラフ構築部13によって生成されたコンテンツに関連する情報である。シーンカラムには、コンテンツを分割した各シーンあるいはコンテンツから抽出した各シーンの開始時刻と終了時刻を含むシーン情報を格納する。グラフカラムには、各シーン間の関係性を表すネットワークグラフを格納する。ネットワークグラフの形式は、例えば、配列、辞書などのデータ構造が考えられる。図2の例では、コンテンツC1の1番目のシーンと2番目のシーンの相関関係を表すスコアが0.3であることをC1(1,2):0.3と表現している。
The scene column and the graph column are information related to content generated by the correlation
相関グラフ構築部13は、コンテンツを複数のシーンに分割し、シーン情報をコンテンツDB12に格納するとともに、各シーン間の関係性を表すネットワークグラフを作成してコンテンツDB12のグラフカラムに格納する。
The correlation
入力操作受信部14は、クライアント端末2からコンテンツの再生時刻を受信して再生速度算出部15に送信する。
The input
再生速度算出部15は、再生時刻までにユーザがコンテンツの視聴に要した時間と、再生時刻以降の残りのコンテンツを等速で視聴するときに要する時間と、コンテンツ全体を等速で視聴するときに要する時間とに基づいて残りの視聴時間の上限値を決定する。再生速度算出部15は、コンテンツDB12を参照して再生時刻に対応するシーンと関連性の高いシーンを抽出し、関連性の高いシーンにおいてユーザが入力操作に要する時間を推定して、ユーザが入力操作に要する時間を含めた視聴時間が決定した視聴時間の上限値内に収まるように再生速度を算出する。
The playback
再生速度通知部16は、再生速度算出部15が算出した再生速度をクライアント端末2に送信する。
The playback
サーバ1、クライアント端末2が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサーバ1、クライアント端末2が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
Each unit included in the server 1 and the
次に、第1の実施の形態におけるコンテンツ再生システムの動作について説明する。 Next, the operation of the content reproduction system in the first embodiment will be described.
図3は、第1の実施の形態におけるコンテンツ再生システムの処理の流れを示すフローチャートである。 FIG. 3 is a flowchart showing the flow of processing of the content reproduction system in the first embodiment.
ユーザが視聴したいコンテンツを選択すると、コンテンツ要求送信部21は、ユーザが選択したコンテンツのコンテンツIDを含む取得要求をサーバ1に送信する(ステップS11)。
When the user selects content that the user wants to view, the content
コンテンツ要求受信部11は、取得要求を受信すると、取得要求に含まれるコンテンツIDに対応するコンテンツ(視覚情報と聴覚情報)をコンテンツDB12から取得し、クライアント端末2に送信する(ステップS12)。クライアント端末2はコンテンツを受信し、コンテンツの再生を開始する。また、クライアント端末2は、コンテンツの再生中、ユーザからの入力操作を受け付ける。
When receiving the acquisition request, the content
入力操作検知部23は、ユーザの入力操作を検知すると、入力操作開始時におけるコンテンツの再生時刻をサーバ1に送信する(ステップS13)。
When the input
再生速度算出部15は、受信した再生時刻以降でユーザが入力操作に要する入力操作時間を推定し、残りの視聴時間の上限値を決定して、入力操作時間を含めた視聴時間が上限値内に収まるように再生速度を算出する(ステップS14)。再生速度算出部15が再生速度を算出する処理の詳細は後述する。
The playback
再生速度変更部24は、再生速度を受信し、ユーザが入力操作を行っている間は、受信した再生速度でコンテンツを再生する(ステップS15)。ユーザが入力操作を終えると、再生速度変更部24は等速でコンテンツを再生する。入力イベントが所定の時間以上発生しないときに、ユーザが操作を入力し終えたと判定してよい。
The playback
以降は、ステップS13〜S15の処理を繰り返し、入力操作中は、サーバ1が算出した再生速度でコンテンツを再生し、操作を入力していないときは、通常の速度でコンテンツを再生する。 Thereafter, the processes in steps S13 to S15 are repeated. During the input operation, the content is played back at the playback speed calculated by the server 1, and when no operation is input, the content is played back at a normal speed.
次に、再生速度算出部15の処理について説明する。
Next, processing of the playback
図4は、再生速度算出部15の処理の流れを示すフローチャートである。
FIG. 4 is a flowchart showing a processing flow of the reproduction
再生速度算出部15は、ユーザが入力操作を開始した再生時刻tから再生時刻tに対応するシーンsを特定し、シーンsと関連があり、シーンsよりも再生開始時刻が遅いシーン群Sを取得する(ステップS21)。再生速度算出部15は、コンテンツDB12に格納されたネットワークグラフを参照し、シーンsとの相関関係を表すスコアがN以上のシーンをシーンsと関連があるシーンとする。スコアNは、例えば、予め人手により設定しておく。
The playback
再生速度算出部15は、シーン群Sの各シーンについて、ユーザが入力操作に要する時間を推定し、各シーンで入力操作に要する時間を合計した入力操作時間t1を求める(ステップS22)。入力操作時間を推定する方法としては、例えば、同じコンテンツを視聴した他のユーザの視聴履歴及び操作履歴を用いて、各シーンの平均入力操作時間を算出する方法がある。あるいは、同じコンテンツを視聴した他のユーザの視聴履歴及び操作履歴を用いて、各シーンに対して行われる入力操作の種類やその割合をデータとしてコンテンツDB12のグラフカラムに持たせておき、シーン群Sの各シーンにおいて発生が期待される入力操作の種類をコンテンツDB12のグラフカラムから取得し、入力操作の種類に基づいて入力操作時間を推定してもよい。入力操作の種類は、後述の第2の実施の形態で述べるように、ユーザにかかる認知負荷の大きさに基づいて決めておく。例えば、下線を引く操作は簡単な入力操作であり、手書き文字を入力する操作は認知負荷のかかる入力操作である。さらに別の方法としては、コンテンツを視聴中のユーザの入力操作の速さに基づいて入力操作時間を推定してもよい。例えば、再生時刻より前に入力操作に用いられた時間に基づいて再生時刻以降の入力操作時間を推定する。
Playback
再生速度算出部15は、ユーザが再生時刻tまでにコンテンツの視聴に要した経過時間t0を考慮して、コンテンツ作成者が決めた再生速度V(等速)で残りのコンテンツを視聴したときに要する視聴時間t2のM倍(M×t2)を残りのコンテンツの視聴時間の上限値として設定する(ステップS23)。 When the user watches the remaining content at the playback speed V (constant speed) determined by the content creator in consideration of the elapsed time t 0 required for viewing the content up to the playback time t, the playback speed calculation unit 15 M times (M × t 2 ) times the viewing time t 2 required for the above is set as the upper limit value of the remaining content viewing time (step S23).
Mは以下の条件を満たす実数である。 M is a real number that satisfies the following condition.
再生速度算出部15は、残りのコンテンツを上限値内で再生できるように、残りのコンテンツを視聴するときにユーザが入力操作に要する入力操作時間t1と残りのコンテンツを等速で再生したときに要する視聴時間t2を合算した時間(t1+t2)に基づいて再生速度vsを算出する(ステップS24)。具体的には、次式(1)を用いて再生速度vsを算出する。
The reproduction
残りのコンテンツを視聴したときに要する視聴時間t2のうち、シーン群Sに含まれないシーンは入力操作が行われる期待値が小さいことから、等速の再生速度Vよりも少し早い速度、例えば再生速度Vの120%の速さでコンテンツを再生させるものとして視聴時間t2を算出してもよい。非特許文献2によれば、120%までの速度変化にはユーザが違和感を感じにくいとされる。シーン群Sに含まれないシーンの再生速度を少し早くすることにより、実数Mが存在しない場合を減らすことができる。
Of viewing time t 2 required when watching remaining content, since the expected value is not included in the scene group S scene input operation is performed is small, constant speed of playback speed V slightly faster rate than, for example, it may calculate the viewing time t 2 as to reproduce the content at 120% of the speed of the playback speed V. According to
次に、相関グラフ構築部13の処理について説明する。
Next, the process of the correlation
図5は、本実施の形態における相関グラフ構築部13の処理の流れを示すフローチャートである。
FIG. 5 is a flowchart showing a process flow of the correlation
相関グラフ構築部13は、コンテンツDB12から未処理のコンテンツCnを取得し、コンテンツCnを複数のシーンに分割(あるいは複数のシーンを抽出)し、各シーンの開始時刻と終了時刻をコンテンツDB12に格納する(ステップS31)。コンテンツCnの分割は、以下に示す方法が考えられる。
The correlation
(1)1シーンの時間を設定して分割する
(2)分割数を設定して等間隔にシーンを分割する
(3)1シーンが1スライドに対応するようにスライド単位で分割する
(4)コンテンツの内容を解析し、解析結果に基づいて分割点または抽出点を決定する
(5)過去に視聴したユーザの視聴中の操作履歴に基づいて分割点または抽出点を決定する
(1) Set the time of one scene and divide (2) Set the number of divisions and divide the scene at equal intervals (3) Divide in units of slides so that one scene corresponds to one slide (4) Analyzing the contents of the content and determining the division point or extraction point based on the analysis result. (5) Deciding the division point or extraction point based on the operation history of the user who has viewed in the past.
ここで(5)操作履歴に基づいてシーンを分割する方法について説明する。クライアント端末2は入力に関するイベントの発生をサーバ1に通知し、サーバ1は通知されたイベントを操作履歴として保持しているとする。相関グラフ構築部13は、クライアント端末2に対する入力操作を開始した時刻と入力操作が終了した時刻を操作履歴から取得し、これらの間の時間を1シーンとしてコンテンツCnから分割または抽出する。例えば、クライアント端末2から通知される「mousedownイベント→1回以上のmousemoveイベント→mouseupイベント」などの一連のイベント群を検知し、これらのイベントが発生している間を1シーンとする。
Here, (5) a method of dividing a scene based on the operation history will be described. Assume that the
ただし、マウス等のポインティングデバイスを用いて文字を手書き入力する場合、1文字の入力に対する一連のイベント群が複数個の場合もあるので、一連のイベント群の集合を1シーンとしてもよい。例えば、図6に示すように、「あ」の文字を手書き入力する場合、「あ」は3つの筆画から構成されているので、3個の一連のイベント群が「あ」の文字を入力する操作に対応する。1文字の入力を1シーンとしてもよいし、複数の文字の入力をまとめて1シーンとしてもよい。一連のイベント群を同じシーンとするときは、図7に示すように、一連のイベント群を検知してから次の一連のイベント群を検知するまでの時間が所定の時間に満たない場合を、それらの連続する一連のイベント群は同じシーンとすることが適切であると判定する。このとき、イベントが発生していない区間は、その区間の前後のシーンのいずれかのシーンに含めてもよい。あるいは、イベントが発生していない区間を独立したシーンとしてもよい。 However, when a character is input by handwriting using a pointing device such as a mouse, there may be a plurality of series of event groups for the input of one character. Therefore, a set of series of event groups may be one scene. For example, as illustrated in FIG. 6, when inputting the character “A” by handwriting, “A” is composed of three strokes, and therefore, a series of three event groups input the character “A”. Corresponds to the operation. One character may be input as one scene, or a plurality of characters may be input as one scene. When making a series of event groups the same scene, as shown in FIG. 7, when the time from detecting a series of event groups to detecting the next series of event groups is less than a predetermined time, It is determined that it is appropriate to set a series of these consecutive events as the same scene. At this time, a section in which no event occurs may be included in any of the scenes before and after the section. Alternatively, a section where no event occurs may be an independent scene.
相関グラフ構築部13は、シーンの分割を終えると、任意の2つのシーンSi,Sj(コンテンツCnにおいてシーンSiがシーンSjよりも早くに再生されるとする)に対して、シーンSi,Sj間の相関関係を表すスコア(0以上1以下の実数)を算出する(ステップS32)。例えば、過去にコンテンツを視聴したユーザの視聴履歴に基づいてスコアを算出する方法が考えられる。具体的には、シーンSiにおいて入力操作を行ったユーザの何%のユーザがシーンSjにおいて入力操作を行ったかを算出する。つまり、あるユーザuがシーンSiにおいて入力操作を行ったという事象Aが起こったという条件の下でユーザuがシーンSjにおいて入力操作を行うという事象Bが起きる条件付き確率を求めてスコアとする。
When the correlation
あるいは、各シーンにおける講師の発話を文字情報に変換し、周知の文書構造解析技術を用いてシーン間の相関関係を数値化する方法が考えられる。例えば、シーンSkにおいて「重要なポイントは3つあります」との発言があり、シーンSlにおいて「1つ目は○○です」、シーンSmにおいて「2つ目は○○です」、シーンSnにおいて「3つ目は○○です」との発言があった場合、シーンSkと各シーンSl,Sm,Snとの相関関係は大きい、と考えられる。また、各シーンSl,Sm,Sn間の相関関係も大きい、と考えられる。 Alternatively, a method of converting the utterance of the lecturer in each scene into character information and quantifying the correlation between scenes using a well-known document structure analysis technique can be considered. For example, there is a saying that "important point There are three" in the scene S k, in the scene S l "is the first one is the ○○", in the scene S m "the second is ○○", scene If there is a saying of the "third is ○○" in the S n, scene S k and each scene S l, S m, the correlation between the S n is large, is considered. Further, each scene S l, S m, greater correlation between S n, is considered.
相関グラフ構築部13は、ステップS31で作成したシーンをノード、ステップS32で作成したスコアを重みとする有向グラフ(ベイジアンネットワーク)を構築し、コンテンツDB12のグラフカラムに格納する(ステップS33)。
The correlation
相関グラフ構築部13は、コンテンツDB12に新たなコンテンツが格納されたタイミングで上記の処理を実行してもよいし、過去にコンテンツを視聴したユーザの視聴履歴に基づいてネットワークグラフを構築してもよい。ネットワークグラフが可変である場合には、所定のタイミングでコンテンツDB12に格納された各コンテンツに対して処理を実行し、ネットワークグラフを更新してもよい。
The correlation
以上説明したように、本実施の形態によれば、サーバ1が、ユーザが入力操作を開始した再生時刻tまでにコンテンツの視聴に要した経過時間t0を考慮して残りのコンテンツの視聴時間に上限値を設定し、再生時刻tに対応するシーンsと関連があるシーン群Sの各シーンについて、ユーザが入力操作に要する入力操作時間t1を推定し、残りのコンテンツを上限値内で再生できるように、入力操作時間t1と残りのコンテンツを等速で再生したときに要する視聴時間t2を合算した時間(t1+t2)に基づいて、再生速度vsを算出することにより、ユーザの入力操作を考慮しつつ、コンテンツの視聴時間が長くならないように、コンテンツの再生速度を制御することができる。 As described above, according to the present embodiment, the server 1 considers the elapsed time t 0 required for viewing the content up to the playback time t when the user started the input operation, and the remaining content viewing time. For each scene of the scene group S related to the scene s corresponding to the reproduction time t, the user estimates the input operation time t 1 required for the input operation, and the remaining content is within the upper limit value. By calculating the playback speed v s based on the time (t 1 + t 2 ) that is the sum of the input operation time t 1 and the viewing time t 2 required when the remaining content is played back at a constant speed so that playback is possible. The content reproduction speed can be controlled so that the viewing time of the content does not become longer while considering the user's input operation.
[第2の実施の形態]
図8は、第2の実施の形態におけるコンテンツ再生システムの構成を示す機能ブロック図である。同図に示すコンテンツ再生システムは、第1の実施の形態のコンテンツ再生システムとは、クライアント端末2が入力操作種類判別部25を備え、サーバ1が再生速度算出部15の代わりに再生速度調整部17を備える点で相違する。第2の実施の形態では、ユーザの入力操作の種類に応じて再生速度を調整する。例えば、ユーザが文字を書く操作をしているときは、単に下線を引く操作をしているときよりもコンテンツの再生速度が遅くなるようにする。以下、第1の実施の形態との相違点について説明する。
[Second Embodiment]
FIG. 8 is a functional block diagram showing the configuration of the content reproduction system according to the second embodiment. The content playback system shown in FIG. 1 is different from the content playback system of the first embodiment in that the
入力操作種類判別部25は、クライアント端末2において発生した入力イベントから入力操作の種類を判別し、判別した入力操作の種類をサーバ1に送信する。例えば、mousedown,mousemove,mouseupなどのマウスによる入力イベントや、スタイラスペンや指による入力イベントの発生に基づき、以下の3種類の入力操作の種類を判別する。
The input operation
Type1 下線引きや円形など文字以外のマークを描画している
Type2 コンテンツ内の講師の発言を筆写している
Type3 ユーザ自身の言葉でメモを書いたり図表を描画している
Type1 Marks other than characters such as underline and circle are drawn Type2 The instructor's remarks in the content are copied Type3 The user's own words are used to write notes and diagrams
入力操作の種類の判別には、例えば既知の文字認識技術を用いることができる。入力操作の開始を表すイベントを検知してから一定時間後の入力操作によって描画された点集合に対して文字認識を行う。認識結果が文字以外であれば入力操作の種類をType1と判別する。認識された文字列がコンテンツ内の音声と一致していればType2と判別し、コンテンツ内の音声と一致していなければType3と判別する。コンテンツ内の音声は既知の音声認識技術を用いて文字列に変換することができる。
For example, a known character recognition technique can be used to determine the type of input operation. Character recognition is performed on a point set drawn by an input operation after a predetermined time has elapsed after detecting an event indicating the start of the input operation. If the recognition result is other than a character, the type of input operation is determined as Type1. If the recognized character string matches the sound in the content, it is determined as
再生速度調整部17は、まず、第1の実施の形態の再生速度算出部15と同様に、ユーザの入力操作開始時におけるコンテンツの再生時刻を受信し、再生時刻に対応するシーンsと関連性の高いシーンにおいてユーザが入力操作に要する入力操作時間を考慮して再生速度を算出し、算出した再生速度をクライアント端末2に送信する。
First, the playback
再生速度調整部17は、クライアント端末2から入力操作の種類を受信すると、受信した入力操作の種類に応じて再生速度を再計算し、再計算した再生速度をクライアント端末2に送信する。具体的には、第1の実施の形態の式(1)に入力操作の種類を加味した次式(2)を用いて再生速度を再計算する。
When receiving the type of input operation from the
入力操作の種類によってユーザにかかる認知負荷は、Type3>Type2>Type1であると考えられるため、βは入力操作の種類がType3のときに最も小さくなるように設定し、Type1のときに最も大きくなるように設定する(ただしβ<1)。クライアント端末2から入力操作の種類を受信するまでは、β=1として再生速度を計算する。
The cognitive load on the user depending on the type of input operation is considered to be Type3> Type2> Type1, so β is set to be the smallest when the type of input operation is Type3, and is the largest when Type1 (Where β <1). Until the type of input operation is received from the
以上説明したように、本実施の形態によれば、サーバ1がクライアント端末2からユーザの入力操作の種類を受信し、入力操作の種類に応じて再生速度を再計算することにより、入力操作によってユーザにかかる認知負荷の大きさに応じて再生速度を調整することが可能となる。
As described above, according to the present embodiment, the server 1 receives the type of the user's input operation from the
1…サーバ
11…コンテンツ要求受信部
12…コンテンツDB
13…相関グラフ構築部
14…入力操作受信部
15…再生速度算出部
16…再生速度通知部
17…再生速度調整部
2…クライアント端末
21…コンテンツ要求送信部
22…コンテンツ受信部
23…入力操作検知部
24…再生速度変更部
25…入力操作種類判別部
DESCRIPTION OF SYMBOLS 1 ...
DESCRIPTION OF
Claims (7)
ユーザが前記コンテンツを視聴中に入力操作を開始した時点のコンテンツの再生時刻を受信する受信手段と、
前記再生時刻までに前記ユーザが前記コンテンツの視聴に要した経過時間と前記再生時刻以降の残りのコンテンツを等速で再生するときに要する残り再生時間と前記コンテンツ全体を等速で再生するときに要する全体再生時間とに基づいて残りの視聴時間の上限値を決定する上限値決定手段と、
前記残りのコンテンツにおいて前記ユーザが入力操作に要する入力操作時間を推定する入力操作時間推定手段と、
前記残り再生時間と前記入力操作時間を合わせた時間を要するコンテンツを前記上限値内で再生可能なように再生速度を算出する算出手段と、
を有することを特徴とする再生速度調整装置。 A playback speed adjustment device for adjusting the playback speed of content,
Receiving means for receiving the playback time of the content when the user starts an input operation while viewing the content;
Elapsed time required for the user to view the content up to the playback time, remaining playback time required for playback of the remaining content after the playback time at a constant speed, and playback of the entire content at the same speed An upper limit determining means for determining an upper limit of the remaining viewing time based on the total playback time required;
Input operation time estimating means for estimating an input operation time required for the user by the remaining content in the remaining content;
Calculating means for calculating a playback speed so that content that takes a time that is the sum of the remaining playback time and the input operation time can be played within the upper limit;
A playback speed adjusting device comprising:
前記入力操作時間推定手段は、前記スコアに基づいて前記再生時刻に対応するシーンと相関の高いシーン群を抽出し、当該シーン群に属する各シーンにおいて前記ユーザが入力操作に要する時間を推定して合計することで前記入力操作時間を求めることを特徴とする請求項1記載の再生速度調整装置。 Storing means for storing a score representing a correlation between scenes obtained by dividing the content into a plurality of parts;
The input operation time estimating means extracts a scene group having a high correlation with the scene corresponding to the reproduction time based on the score, and estimates the time required for the input operation by the user in each scene belonging to the scene group. The playback speed adjusting apparatus according to claim 1, wherein the input operation time is obtained by summing up.
前記算出手段は、前記入力操作の種類に応じた係数を用いて前記再生速度を算出することを特徴とする請求項1乃至3のいずれかに記載の再生速度調整装置。 The receiving means receives the type of input operation of the user,
The playback speed adjusting apparatus according to claim 1, wherein the calculation unit calculates the playback speed using a coefficient corresponding to a type of the input operation.
ユーザが前記コンテンツを視聴中に入力操作を開始した時点のコンテンツの再生時刻を受信するステップと、
前記再生時刻までに前記ユーザが前記コンテンツの視聴に要した経過時間と前記再生時刻以降の残りのコンテンツを等速で再生するときに要する残り再生時間と前記コンテンツ全体を等速で再生するときに要する全体再生時間とに基づいて残りの視聴時間の上限値を決定するステップと、
前記残りのコンテンツにおいて前記ユーザが入力操作に要する入力操作時間を推定するステップと、
前記残り再生時間と前記入力操作時間を合わせた時間を要するコンテンツを前記上限値内で再生可能なように再生速度を算出するステップと、
を有することを特徴とする再生速度調整方法。 A playback speed adjustment method executed by a computer to adjust the playback speed of content,
Receiving the playback time of the content when the user starts an input operation while viewing the content;
Elapsed time required for the user to view the content up to the playback time, remaining playback time required for playback of the remaining content after the playback time at a constant speed, and playback of the entire content at the same speed Determining an upper limit for remaining viewing time based on the total playback time required;
Estimating the input operation time required for the input operation by the user in the remaining content;
Calculating a playback speed so that content that takes time that is the sum of the remaining playback time and the input operation time can be played within the upper limit;
A playback speed adjustment method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015080663A JP6334452B2 (en) | 2015-04-10 | 2015-04-10 | Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015080663A JP6334452B2 (en) | 2015-04-10 | 2015-04-10 | Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016201680A JP2016201680A (en) | 2016-12-01 |
JP6334452B2 true JP6334452B2 (en) | 2018-05-30 |
Family
ID=57424615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015080663A Active JP6334452B2 (en) | 2015-04-10 | 2015-04-10 | Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6334452B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134614B (en) * | 2021-03-29 | 2024-01-02 | 北京字节跳动网络技术有限公司 | Task parameter configuration method, device, electronic equipment and computer readable storage medium |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3882787B2 (en) * | 2003-06-06 | 2007-02-21 | 日本電信電話株式会社 | Content reproduction control method, content reproduction control system, server device, content reproduction control device, and content reproduction control program |
JP2006262045A (en) * | 2005-03-17 | 2006-09-28 | Sharp Corp | Content reproducer |
JP2007110188A (en) * | 2005-10-11 | 2007-04-26 | Sony Corp | Recording apparatus, recording method, reproducing apparatus, and reproducing method |
JP2007299370A (en) * | 2006-04-06 | 2007-11-15 | Ricoh Co Ltd | Information processor, information processing method and information processing program |
JP2008096482A (en) * | 2006-10-06 | 2008-04-24 | Matsushita Electric Ind Co Ltd | Receiving terminal, network learning support system, receiving method, and network learning support method |
JP5115151B2 (en) * | 2007-11-02 | 2013-01-09 | ソニー株式会社 | Information presenting apparatus and information presenting method |
JP5133678B2 (en) * | 2007-12-28 | 2013-01-30 | 株式会社ベネッセコーポレーション | Video playback system and control method thereof |
WO2010073355A1 (en) * | 2008-12-26 | 2010-07-01 | 富士通株式会社 | Program data processing device, method, and program |
-
2015
- 2015-04-10 JP JP2015080663A patent/JP6334452B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016201680A (en) | 2016-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7069778B2 (en) | Methods, systems and programs for content curation in video-based communications | |
Kushalnagar et al. | Accessibility evaluation of classroom captions | |
CN106686452B (en) | Method and device for generating dynamic picture | |
US20170085854A1 (en) | Inertia Audio Scrolling | |
US8634694B2 (en) | Video replay system and a control method thereof | |
Pavel et al. | Rescribe: Authoring and automatically editing audio descriptions | |
EP3347832A1 (en) | Visualization of automatic summarization using keyword zoom | |
JP2017537412A (en) | System and method for tracking events and providing virtual meeting feedback | |
KR20150143500A (en) | Language learning environment | |
JP2008152605A (en) | Presentation analysis device and presentation viewing system | |
US20150371679A1 (en) | Semi-automatic generation of multimedia content | |
US9563704B1 (en) | Methods, systems, and media for presenting suggestions of related media content | |
Yadav et al. | Content-driven multi-modal techniques for non-linear video navigation | |
Kacorri et al. | Introducing game elements in crowdsourced video captioning by non-experts | |
Peng et al. | Slidecho: Flexible non-visual exploration of presentation videos | |
US20170322766A1 (en) | Method and electronic unit for adjusting playback speed of media files | |
US11997062B2 (en) | Methods, systems, and media for identifying and presenting video objects linked to a source video | |
US20210064327A1 (en) | Audio highlighter | |
JP6334452B2 (en) | Playback speed adjustment device, playback speed adjustment method, and playback speed adjustment program | |
US11514924B2 (en) | Dynamic creation and insertion of content | |
US10460178B1 (en) | Automated production of chapter file for video player | |
US11315607B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
US20210134177A1 (en) | System and method for displaying voice-animated multimedia content | |
CN115391709A (en) | Content creation based on text-to-image generation | |
JP2007156286A (en) | Information recognition device and information recognizing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6334452 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |