JP2024031185A - アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置 - Google Patents

アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置 Download PDF

Info

Publication number
JP2024031185A
JP2024031185A JP2022134585A JP2022134585A JP2024031185A JP 2024031185 A JP2024031185 A JP 2024031185A JP 2022134585 A JP2022134585 A JP 2022134585A JP 2022134585 A JP2022134585 A JP 2022134585A JP 2024031185 A JP2024031185 A JP 2024031185A
Authority
JP
Japan
Prior art keywords
video
user
subtitles
predetermined
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022134585A
Other languages
English (en)
Inventor
啓介 伴野
Keisuke Tomono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2022134585A priority Critical patent/JP2024031185A/ja
Publication of JP2024031185A publication Critical patent/JP2024031185A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】利用者が記憶したい単語を効果的に記憶させる。【解決手段】利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち視聴中の所定映像動画に付されたコード情報に紐づき予め定められた字幕に、利用者が予め指定した辞書の学習用単語が登場する場合には学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する。送信された制御情報が表示の対象とする所定字幕と所定字幕に含まれる学習用単語とを抽出する。抽出された学習用単語を映像動画ごとに設定された第1領域に追加し、抽出された所定字幕を第1領域に対応して設定された第2領域に追加することで、映像動画ごとに映像動画の字幕に登場する学習用単語をまとめた辞書を生成する。第1領域への学習用単語の追加時に、所定映像動画の字幕の中で所定字幕が表示される表示順が早いほど、学習用単語が上位に表示されるように生成された辞書を更新する。【選択図】図20

Description

本発明は、アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置に関する。
外国語の学習において、単語の記憶は最も重要な学習の一つである。しかしながら、外国語は利用者の文化とは異なる文化で発展してきた言語であるため、単語を記憶し難い場合が多い。市販で一般に入手可能な辞書には、単語の意味や例文などが記載されているが、このような辞書では単語の使い方まで利用者が正確に熟達することはできないため、記憶した単語でも時間の経過とともに忘れてしまう場合が多い。
従来、単語を用いた文章に容易にアクセスできるようにすることで単語を理解し易くさせる技術が知られている。
特開2011-221414号公報
しかしながら、従来の技術では、利用者が記憶したい単語を効果的に記憶させ易くすることができなかった。例えば、従来の技術では、単語を利用者にとって想起し易い映像に関連付けて記憶させることができないため、利用者が記憶したい単語を効果的に記憶させ易くすることができなかった。
本願は、上記に鑑みてなされたものであって、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
本願に係るアニメーション作品を用いた記憶支援プログラムは、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成手順と、前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、をコンピュータに実行させることを特徴とする。
実施形態の一態様によれば、利用者が記憶したい単語を効果的に記憶させ易くすることができるという効果を奏する。
図1は、実施形態に係る情報処理システムの構成例を示す図である。 図2は、実施形態に係る記憶支援装置の構成例を示す図である。 図3は、実施形態に係る辞書情報記憶部の一例を示す図である。 図4は、実施形態に係る辞書の一例を示す図である。 図5は、実施形態に係る単語の選択の一例を示す図である。 図6は、実施形態に係る辞書の一例を示す図である。 図7は、実施形態に係る字幕情報記憶部の一例を示す図である。 図8は、実施形態に係るユーザインターフェースの一例を示す図である。 図9は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。 図10は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。 図11は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。 図12は、変形例1に係る情報処理を説明するための説明図である。 図13は、実施形態2に係る情報処理システムの構成例を示す図である。 図14は、実施形態2に係る記憶支援装置の構成例を示す図である。 図15は、実施形態2に係る字幕情報記憶部の一例を示す図である。 図16は、実施形態2に係る市販辞書情報記憶部の一例を示す図である。 図17は、実施形態2に係る情報処理システムによる情報処理の手順を示すフローチャートである。 図18は、実施形態3に係る情報処理システムの構成例を示す図である。 図19は、実施形態3に係る映像動画記憶部の一例を示す図である。 図20は、実施形態3に係る記憶支援装置の構成例を示す図である。 図21は、実施形態3に係る情報処理システムによる情報処理の手順を示すフローチャートである。 図22は、実施形態3に係る情報処理システムによる情報処理の手順を示すフローチャートである。
本明細書及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
態様1は、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成手順と、前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、をコンピュータに実行させることを特徴とする。
態様1によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、利用者がその映像動画の本編を視聴時に、利用者が指定した市販の辞書の単語が登場する字幕のみを表示させることができる。例えば、利用者が視聴中の映像動画の字幕のうち、利用者が指定した市販の辞書の単語が登場する字幕を表示させ、且つ、利用者が指定した市販の辞書の単語が登場しない字幕を表示させなくすることができる。このため、利用者が視聴中の映像動画の字幕のうち、利用者が指定した市販の辞書の単語が登場する字幕を強調させることができる。また、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語と、その単語が登場する字幕とを対応付けた辞書を生成することができるため、利用者が視聴した映像動画ごとに利用者のための辞書を生成することができる。また、字幕は映像に対応付けて表示されるため、利用者は辞書を復習することで、辞書に追加された字幕から字幕が表示された映像を想起することができる。
また、態様1によれば、例えば、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画を視聴中に、映像に対応して利用者が学習中の異文化の言語を字幕として閲覧させることができるため、利用者は映像動画の映像や音声を五感で正確に理解しながら、字幕を閲覧することができる。このため、字幕として表示された翻訳文に含まれる単語の使い方を、異文化の言語であっても、映像動画から効果的に学習させることができる。例えば、単語の意味だけでなく、単語がどのような場面で発話者がどのように感じた時にどのような単語とともに使われるかといった単語の使い方を学習させることができる。また、単語の使い方を、映像動画から五感で正確に理解することで、単語から字幕が表示された映像の想起が可能となるだけでなく、映像から単語の想起も可能となる。このため、学習以外の日常生活において、映像を何気なく思い出すだけで、単語の想起が可能となる。また、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画は、利用者にとって理解し易いものであるため、映像だけでなく音声も何気なく思い出し易いため、単語を想起し易くさせることができる。
また、態様1によれば、例えば、映像動画で表示される字幕の順序になるように辞書に含まれる単語の順序を並び替えることができるため、映像動画のストーリーの順序で単語を表示させることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができるため、その単語の意味や使い方も想起することができる。このように、映像動画のストーリーを一つの括りとして、映像動画の字幕に登場した単語の意味や使い方を想起し易くさせることができる。このため、単語それぞれの意味や使い方を個別に思い出せるか否かを確認する手間を省くことができるため、利用者の復習時の負担を軽減させることができる。
態様2は、態様1において、前記コード情報を、前記生成手順により生成された辞書を表示させる表示先の端末装置である前記利用者の端末装置で前記利用者が読み取ることで取得された前記コード情報に紐づく字幕に関する情報に基づき、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
態様2によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、オープニングアニメーションに付されたコード情報を利用者の端末装置で読み取るだけで、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語をまとめた辞書を生成することができる。また、映像動画を表示させる表示装置が利用者のものでない場合であっても、利用者のための辞書を生成し、利用者の端末装置で表示させることができる。例えば、利用者が映像動画を視聴する表示装置が、義務教育学校や学習塾などのデスクトップPCや、ショッピングセンターなどの展示用のテレビなどであっても、利用者は画面に表示されたコード情報を読み取るだけで、利用者のための辞書を生成し、利用者の端末装置で表示させることができる。
態様3は、態様1において、前記利用者が視聴中の所定映像動画のエンディングアニメーションに付されたコード情報に紐づき予め定められた字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出することを特徴とする。
態様3によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、映像動画の本編の視聴後でも、エンディングアニメーションに付されたコード情報から、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語をまとめた辞書を生成することができる。このため、利用者は、映像動画の本編の字幕に利用者にとって記憶したい単語が登場した場合には、映像動画を巻き戻すことなく(具体的には、映像動画を巻き戻してその単語が登場する字幕を再度表示させることなく)、エンディングアニメーションから利用者のための辞書を生成することができる。
態様4は、態様1において、前記制御情報が表示の対象とする所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信し、前記表示制御手順により送信された制御情報に基づき表示の態様が変更される学習用単語と、当該学習用単語が登場する所定字幕とを抽出することを特徴とする。
態様4によれば、例えば、利用者が視聴中の映像動画の字幕に、利用者が指定した市販の辞書の単語が登場する場合には、その単語が登場する字幕の表示中、その単語の表示の態様を所定の態様に変更して表示させることができる。例えば、フォントサイズを大きくして表示させる、フォントの色を目立つ色にして表示させる、フォントに蛍光ペンを付加して表示させる、フォントに影や光彩などの文字の効果を適用して表示させることなどができる。このため、利用者が視聴中の映像動画の字幕に登場する、利用者が指定した市販の辞書の単語を強調させることができる。それゆえ、利用者が映像動画を視聴中でも、利用者にその単語を適切に印象付けることができる。また、利用者が複数の市販の辞書を指定することで、指定された辞書のいずれかに含まれる単語の候補が字幕に登場する場合には、その字幕が表示中、その候補の表示の態様を所定の態様に変更して表示させることができる。
態様5は、態様1において、前記利用者が予め指定した複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
態様5によれば、例えば、利用者が複数の市販の辞書を指定することで、辞書に追加するより多くの単語の候補を指定することができる。このため、例えば、利用者が特定の資格試験用の辞書(例えば、参考書や単語帳)を複数指定することで、特定の資格試験で必要な単語を漏れなく候補とすることができる。また、指定された辞書のいずれかに含まれる単語の候補が字幕に登場するか否かに基づいて、その字幕を表示させるか否かを選択することができる。具体的には、指定された辞書のいずれかに含まれる単語の候補が字幕に登場する場合には、その字幕を表示させ、指定された辞書のいずれかに含まれる単語の候補が字幕に登場しない場合には、その字幕を表示させなくすることができる。このため、例えば、利用者が特定の資格試験用の辞書を複数指定することで、特定の資格試験で対象となる単語を含むより多くの字幕を表示させることができるため、特定の資格試験で対象となるより多くの単語を強調させることができる。また、特定の資格試験で対象となるより多くの単語の意味や使い方も強調させることができる。それゆえ、利用者の学習目標に沿ってより多くの単語を効果的に記憶させることができる。
態様6は、態様1において、前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
態様6によれば、例えば、利用者が記憶したい単語が、映像動画のストーリーの中心となるキャラクター(メインキャラクター)の発話に対応した字幕に含まれる単語であるか否かに基づいて、その字幕を表示させるか否かを選択することができる。このため、表示された字幕に含まれる単語とメインキャラクターの映像(例えば、その字幕に対応した発話をメインキャラクターが行った際のメインキャラクターの画像や音声)とを対応付けて記憶させることができる。また、利用者の映像動画に対する嗜好性はメインキャラクターに起因する場合も多いため、単語をメインキャラクターの映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画のメインキャラクターの中でも特に重要なメインキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
態様7は、態様1において、前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
態様7によれば、例えば、利用者が記憶したい単語が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その字幕を表示させるか否かを選択することができる。このため、表示された字幕に含まれる単語と利用者の嗜好に沿った特徴のキャラクターの映像とを対応付けて記憶させることができる。また、単語を利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
態様8は、態様1において、前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
態様8によれば、例えば、利用者が記憶したい単語が、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その字幕を表示させるか否かを選択することができる。このため、利用者のキャラクターに対する嗜好性が判断できない場合でも、利用者が視聴中の映像動画から辞書を生成した他の利用者のキャラクターに対する嗜好性から、表示させる字幕を選択することができる。また、利用者のキャラクターに対する嗜好性は、利用者が視聴中の映像動画から辞書を生成した他の利用者のキャラクターに対する嗜好性と類似し得る。このため、単語をこのような、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、そのキャラクターが利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
態様9は、態様1において、前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
態様9によれば、例えば、利用者が記憶したい単語が、利用者が辞書を生成した映像動画の一覧と、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕に含まれる単語であるか否かに基づいて、その字幕を表示させるか否かを選択することができる。このため、利用者のキャラクターに対する嗜好性が判断できない場合でも、辞書を生成した映像動画の一覧が類似する他の利用者のキャラクターに対する嗜好性から、表示させる字幕を選択することができる。また、利用者のキャラクターに対する嗜好性は、辞書を生成した映像動画の一覧が類似する他の利用者のキャラクターに対する嗜好性と類似し得る。このため、単語をこのような、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターの映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、そのキャラクターが利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴のキャラクターであるほど、利用者の嗜好に沿った特徴のキャラクターでもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
態様10は、態様1において、前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
態様10によれば、例えば、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を含む字幕を表示させるか否かを選択することができる。このため、表示された字幕に含まれる単語と利用者の嗜好に沿った特徴の映像動画中の映像とを対応付けて記憶させることができる。また、単語を利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、その単語を抵抗なく快適に記憶させることができる。また、利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
態様11は、態様1において、前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
態様11によれば、例えば、利用者が視聴中の映像動画が、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を含む字幕を表示させるか否かを選択することができる。このため、利用者の映像動画に対する嗜好性が判断できない場合でも、利用者が視聴中の映像動画から辞書を生成した他の利用者の映像動画に対する嗜好性から、表示させる字幕を選択することができる。また、利用者の映像動画に対する嗜好性は、利用者が視聴中の映像動画から辞書を生成した他の利用者の映像動画に対する嗜好性と類似し得る。このため、単語をこのような、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、その映像動画が利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
態様12は、態様1において、前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信することを特徴とする。
態様12によれば、例えば、利用者が視聴中の映像動画が、利用者が辞書を生成した映像動画の一覧と、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるか否かに基づいて、利用者が視聴中の映像動画の字幕に登場する、利用者が記憶したい単語を含む字幕を表示させるか否かを選択することができる。このため、利用者の映像動画に対する嗜好性が判断できない場合でも、辞書を生成した映像動画の一覧が類似する他の利用者の映像動画に対する嗜好性から、表示させる字幕を選択することができる。また、利用者の映像動画に対する嗜好性は、辞書を生成した映像動画の一覧が類似する他の利用者の映像動画に対する嗜好性と類似し得る。このため、単語をこのような、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画中の映像に対応付けることで、利用者にその単語を抵抗なく快適に記憶させることができる場合がある。例えば、その映像動画が利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者にその単語を抵抗なく快適に記憶させることができる。また、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる場合がある。例えば、辞書を生成した映像動画の一覧が類似する他の利用者の嗜好に沿った特徴の映像動画であるほど、利用者の嗜好に沿った特徴の映像動画でもある場合には、利用者に学習を実感させることなく、その単語を抵抗なく快適に記憶させることができる。
態様13は、態様1において、前記所定字幕に含まれる学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に前記所定字幕を表示させ、且つ、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語である場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
態様13によれば、例えば、利用者が記憶したい単語が、辞書に追加しない単語として予め指定された単語であるか否かに基づいて、その単語を含む字幕を表示させるか否かを選択することができる。このため、利用者が記憶したい単語と、利用者が記憶したい単語に含めたくない単語(例えば、利用者が記憶済みの単語、代名詞や冠詞などの一語では特徴的な意味を有さない単語)との2種類の単語の指定に基づいて、表示させる字幕(又は強調させる単語)を選択することができる。それゆえ、利用者は記憶したい単語と、記憶したい単語に含めたくない単語との2種類の単語の指定を使い分けることで表示させたい字幕(又は強調させたい単語)を選択することができるため、利用者の学習目標に沿った単語の学習を行わせることができる。
態様14は、態様13において、前記所定字幕に含まれる学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に前記所定字幕を表示させ、且つ、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語である場合に前記所定字幕を表示させなくするための制御情報を送信することを特徴とする。
態様14によれば、例えば、利用者が記憶したい単語が、辞書に追加しない単語を指定するために利用者が指定した市販の辞書の単語であるか否かに基づいて、その単語を含む字幕を表示させるか否かを選択することができる。このため、利用者が記憶したい単語を指定するための市販の辞書と、利用者が記憶したい単語に含めたくない単語を指定するための市販の辞書との2種類の市販の辞書の指定に基づいて、表示させる字幕(又は強調させる単語)を選択することができる。それゆえ、利用者は記憶したい単語を指定するための市販の辞書と、記憶したい単語に含めたくない単語を指定するための市販の辞書との2種類の市販の辞書の指定を使い分けることで表示させたい字幕(又は強調させたい単語)を選択することができるため、利用者の学習目標に沿った単語の学習を行わせることができる。
態様15は、態様1において、各話が所定時間長の複数話から構成された映像動画であって、前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新することを特徴とする。
態様15によれば、例えば、映像動画の話(エピソード)の順番を加味して辞書に含まれる単語の順序を並び替えることができるため、映像動画が複数話から構成される場合でも、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができる。また、話の順番を加味することで各話の字幕に登場した単語同士の順番が結果的に近くなるため、話ごとにストーリーを想起し易くさせることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで話ごとにストーリーを想起することができる。また、話ごとにストーリーを想起することで、複数話全体のストーリーを想起することができる。このため、話ごとにストーリーが完結する映像動画の場合でも、複数話全体でストーリーが完結する映像動画の場合でもストーリーの想起がし易くなる。また、各話が所定時間長であることで、話ごとにストーリーが想起し易くなるため、単語の想起もし易くなる。このように、各話のストーリーを一つの括りとして、各話の字幕に登場した単語の意味や使い方を想起し易くさせることができる。
態様16は、態様1において、前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された学習用単語の順序に応じた順番で、当該学習用単語の登場時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする。
態様16によれば、例えば、辞書に含まれる単語の順序に応じた順番で、対応した映像画像を表示させることができるため、利用者は辞書に含まれる単語を見ることなく、単語の順序に応じた順番で対応した映像画像を閲覧するだけで単語の意味や使い方を想起できるか否かを復習することができる。このように、辞書のような文字の羅列ではなく利用者の嗜好に沿った映像動画中の映像画像を表示させることができるため、利用者に学習を実感させることなく復習を行わせることができる。また、利用者の嗜好に沿った映像動画中の映像画像であるほど、利用者は映像画像を閲覧するだけで映像画像の前後の内容が想起し易くなるため、学習時だけでなく復習時も単語の意味や使い方をより深く理解させることができる。
態様17は、態様16において、前記学習用単語の登場時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させることを特徴とする。
態様17によれば、例えば、対象となる映像画像の場面中で最も印象的な映像画像を表示させることができるため、利用者に場面の想起をし易くさせることができる。このため、利用者はそのような映像画像を閲覧することで対象となる映像画像の前後を含む場面全体を想起できるため、対象となる単語の意味や使い方をより深く理解させることができる。また、印象的な映像画像は、その場面中の他の映像画像とは異なる特徴情報(例えば、エフェクト)や、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む場合が多いため、利用者の嗜好に沿った映像動画であるほど、利用者に学習を実感させることなく復習を行わせることができる。また、例えば、対象となる映像画像を、場面中の印象的な映像画像とともに表示させることで、対象となる映像画像の前後の内容を場面全体に絡めて想起させることができる。
態様18は、態様16において、前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該学習用単語を重畳させることで、当該映像画像を表示させることを特徴とする。
態様18によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に単語を重畳して表示させることで、単語と映像画像とをより深く対応付けて記憶させることができるため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
態様19は、態様16において、前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させることを特徴とする。
態様19によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に字幕を重畳して表示させることで、その字幕に含まれる単語と映像画像とをより深く対応付けて記憶させることができる。また、字幕は映像画像の前後の内容の想起を手助けするため、映像画像の前後の内容を含めて対応付けて記憶させることができる。このため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
態様20は、態様1において、前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする。
態様20によれば、例えば、利用者は一の映像動画の字幕に登場した単語を他の映像動画で復習することができるため、その単語の記憶を定着させることができる。また、利用者は一の映像動画の字幕に登場した単語が他の映像動画でどのように使われるのかを確認することができるため、その単語の意味や使い方をより深く理解させることができる。また、一の映像動画の字幕に登場した単語をより多く含む他の映像動画はその一の映像動画と特徴(例えば、映像動画の世界観やストーリー、メインキャラクターの特徴)が類似し得るため、例えば一の映像動画を見終わった後の次の映像動画の候補として、一の映像動画と特徴が類似した他の映像動画を提案することができる。このため、利用者は一の映像動画の後に他の映像動画を抵抗なく快適に視聴できるため、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
態様21は、態様20において、前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案することを特徴とする。
態様21によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語と関連して広く用いられる共起語や類義語(同義語も含む)などである場合もあり、また、共起語や類義語などはまとめて記憶し易いため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、共起語や類義語などである場合には、一の映像動画の字幕に登場しなかった単語でも一の映像動画のストーリーを想起することで推測できる場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。
態様22は、態様21において、前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
態様22によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語に対応した発話を行ったメインキャラクターの特徴と類似した特徴のキャラクターの発話に対応して広く用いられる単語である場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、利用者の映像動画に対する嗜好性はメインキャラクターの特徴に起因する場合も多いため、利用者は他の映像動画を抵抗なく快適に視聴することができる。このため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
態様23は、態様20において、前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案することを特徴とする。
態様23によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画の特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った映像動画を提案することができる。
態様24は、態様23において、前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
態様24によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画のメインキャラクターの特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができる。
態様25は、態様24において、前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
態様25によれば、例えば、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができるため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
以下に、本願に係るアニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置を実施するための形態(以下、「実施形態」と呼ぶ。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係るアニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔1.はじめに〕
外国語の学習において、単語の記憶は最も重要な学習の一つである。しかしながら、外国語は利用者の文化とは異なる文化で発展してきた言語であるため、単語を記憶し難い場合が多い。市販で一般に入手可能な辞書には、単語の意味や例文などが記載されているが、このような辞書では単語の使い方まで利用者が正確に熟達することはできないため、記憶した単語でも時間の経過とともに忘れてしまう場合が多い。
また、市販で一般に入手可能な辞書は、辞書の難易度が上がるほど、単語の意味を説明するための言葉や例文に使われる言葉の難易度も上がる傾向にある場合が多い。例えば、利用者の言語でも馴染みが低い言葉が用いられる場合がある。しかしながら、異文化の言語を、利用者の言語でも馴染みが低い言葉で説明されても利用者が理解できない場合がある。また、利用者が理解できたとしても、そのような理解で記憶した単語では時間の経過とともに忘れてしまう場合が多い。
また、異文化の言語をその異文化で制作された映像動画の中で学習させる手法は異文化の言語の学習において広く用いられる手法であるが、そのような映像動画に登場する発話者の感性は、利用者の感性と異なる場合があるため、言語の問題だけでなくそのような映像動画はそもそも理解し難い場合がある。例えば、異文化で長年生活してきた利用者でも、その異文化で制作された映像動画において喜怒哀楽のポイントが理解できない場合がある。例えば、「笑う」ポイントが理解できずコメディーを十分に楽しめない場合がある。このように、その異文化で生まれ育った利用者でなければ、その異文化の言語の理解度に関わらず、その異文化で制作された映像動画を深く理解できない場合がある。
本願は、上記に鑑みてなされたものであって、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
(実施形態1)
〔2.情報処理システムの構成〕
図1に示す情報処理システム1について説明する。図1に示すように、情報処理システム1は、端末装置10と、記憶支援装置100とが含まれる。端末装置10と、記憶支援装置100とは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。図1は、実施形態に係る情報処理システム1の構成例を示す図である。
端末装置10は、外国語の学習を行う利用者によって利用される情報処理装置である。端末装置10は、実施形態における処理を実現可能であれば、どのような装置であってもよい。また、端末装置10は、スマートフォンや、タブレット型端末や、ノート型PCや、デスクトップPCや、携帯電話機や、PDA等の装置であってもよい。
端末装置10は、例えば、スマートフォンやタブレット等のスマートデバイスであり、4G~6G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、利用者から指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受け付けてもよい。
記憶支援装置100は、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とした情報処理装置である。記憶支援装置100は、実施形態における処理を実現可能であれば、どのような装置であってもよい。例えば、記憶支援装置100は、サーバ装置やクラウドシステム等により実現される。
なお、図1では、端末装置10と記憶支援装置100が別装置である場合を示したが、端末装置10と記憶支援装置100は一体であってもよい。
下記実施形態において、映像動画は利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画である。すなわち、利用者の文化で制作された映像動画である。このため、利用者は映像動画を最も理解し易い言語で視聴できる。また、映像動画には利用者が学習中の言語に翻訳された字幕が含まれる。このため、映像動画中の音声が翻訳された字幕が表示される。なお、字幕は映像動画中の映像に埋め込まれたものであってもよいし、映像動画が再生されるごとに付されたものであってもよい。また、下記実施形態では、英語の字幕が表示される場合を例に挙げて説明するが、利用者が学習中の言語はどのような言語であってもよく、特に限定されないものとする。
下記実施形態において、映像動画は、アニメーション作品、いわゆる、アニメである。例えば、映像動画は、各話が所定時間長(例えば、30分のテレビ放送枠で放映可能な所定時間長)の複数話から構成されたアニメである。なお、アニメに複数のテレビシーズン(シーズン)がある場合(例えば、複数のクール(四半期)に分けてクールごとに放映された場合)には、映像動画は、特定のシーズンの複数話をまとめて一つの映像動画とした特定のシーズンの映像動画であってもよいし、各シーズンの複数話を全てまとめて一つの映像動画としたシーズン全体の映像動画であってもよい。また、映像動画は、例えば、リアルタイムに放映されているものであってもよいし、過去に放映されたものであってもよい。また、所定のウェブサイトにアップロードされたものであってもよいし、所定のアプリケーション(アプリ)で視聴可能なものでもよく、利用者の映像動画の視聴場所などの視聴態様は特に限定されないものとする。また、映像動画は、アニメに限られず、所定の事象を達成することを目的としたシミュレーションゲーム(例えば、恋愛シミュレーションゲーム)であってもよい。このようなゲームでは、利用者が何も操作せずともゲームの進行(例えば、キャラクターの会話が進む、映像が切り替わり場面が遷移する)を可能にできるため、このようなゲームもアニメーション作品とする。
〔3.記憶支援装置の構成〕
次に、図2を用いて、実施形態に係る記憶支援装置100の構成について説明する。図2は、実施形態に係る記憶支援装置100の構成例を示す図である。図2に示すように、記憶支援装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、記憶支援装置100は、記憶支援装置100の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、端末装置10等との間で情報の送受信を行う。
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図2に示すように、記憶部120は、辞書情報記憶部121と、字幕情報記憶部122とを有する。
辞書情報記憶部121は、利用者が生成した辞書に関する情報を記憶する。ここで、図3に、実施形態に係る辞書情報記憶部121の一例を示す。図3は、実施形態に係る辞書情報記憶部121の一例を示す図である。図3に示すように、辞書情報記憶部121は、「利用者ID」、「映像動画」、「辞書」といった項目を有する。
「利用者ID」は、利用者を識別するための識別情報を示す。「映像動画」は、利用者が辞書を生成した映像動画を示す。例えば、映像動画の作品名である。「辞書」は、映像動画に対応した辞書に関する情報を示す。図3に示した例では、「辞書」に「辞書#1」や「辞書#2」といった概念的な情報が格納される例を示したが、実際には、利用者が辞書に追加した単語や字幕などの情報が映像動画ごとに格納される。
すなわち、図3では、利用者ID「U1」によって識別される利用者が辞書を生成した映像動画が「〇×〇×YY1」、「〇×〇×YY2」、・・・、「〇×〇×YYN」であり、映像動画に対応した辞書に関する情報が「辞書#1」、「辞書#2」、・・・、「辞書#N」である例を示す。例えば、利用者U1が「〇×〇×YY1」の映像動画を用いて生成した辞書には「辞書#1」に含まれる単語や字幕などが追加されたことを示す。
(辞書に単語と字幕を追加する場合)
以下、図4を用いて、実施形態に係る辞書の詳細について説明する。図4は、実施形態に係る辞書の一例を示す図である。辞書D1は、利用者U1が「〇×〇×YY1」の作品名の映像動画を視聴中に、利用者U1が字幕に登場した単語を選択することで生成された辞書である。領域R1は、選択された単語を追加するための所定の領域(第1領域に対応)である。なお、第1領域は、映像動画ごとに設定される。このため、領域R1は、「〇×〇×YY1」の映像動画のために設定された所定の領域である。領域R1には、利用者が「〇×〇×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに単語が追加される。例えば、利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、「cobblestone」の単語が領域R1に追加される。また、利用者は単語の選択を映像動画の再生中に行ってもよいし、映像動画の再生を一時停止させた上で行ってもよい。ここで、図5を用いて、実施形態に係る単語の選択について説明する。
図5は、実施形態に係る単語の選択の一例を示す図である。画面G1は、端末装置10の表示画面である。画面G1には、利用者が視聴中の「〇×〇×YY1」の映像動画が再生されており、「This is a town of cobblestone streets」の字幕が表示されている。利用者は「This is a town of cobblestone streets」の字幕が表示中に画面G1に対する操作によって画面上に表示枠W1を表示させることで、表示枠W1に含まれる単語が選択される。例えば、従来の画像解析処理の技術を用いて、表示枠W1に含まれる単語を特定することで、特定された単語が選択される。表示枠W1は、例えば、画面上の位置P1から位置P2の方向に利用者が指でスワイプを行うことで表示された枠である。ここでは、表示枠W1に単語の一部が含まれる「cobblestone」が選択される。また、選択された「cobblestone」の表示を、「This is a town of cobblestone streets」の字幕の表示中のみフォントを拡大するなど、強調させてもよい。そして、表示枠W1は、「cobblestone」の選択時にリセットされてもよいし、「This is a town of cobblestone streets」の字幕が消える際にリセットされてもよいし、利用者の操作ミスなどにより字幕外に表示され単語が何も特定されなかった際や複数の単語が特定された際にリセットされてもよい。表示枠W1はリセットされると画面から消えて、画面上に他の表示枠が表示可能となる。なお、画面上で表示枠を表示させることで単語の選択を行う場合を例に挙げて説明したが、実施形態に係る単語の選択はどのような方法によって行われてもよく、特に限定されないものとする。
図4の説明に戻る。ここで、実施形態に係る第1領域への単語の追加について説明する。例えば、利用者が視聴中の「〇×〇×YY1」の映像動画において、「I will jump across red flagstones」の字幕が、「This is a town of cobblestone streets」の字幕よりも後に表示される字幕である場合には、利用者が視聴中の画面に「I will jump across red flagstones」の字幕が表示され、「I will jump across red flagstones」の字幕が表示中に「I will jump across red flagstones」の字幕から「flagstones」の単語を選択すると、領域R1の領域中で「cobblestone」よりも順序が後になるように「flagstones」の単語が領域R1に追加される。このため、例えば、利用者が巻き戻しなどにより「I will jump across red flagstones」の字幕を表示させて「flagstones」の単語を選択した後に、更に巻き戻しなどにより「This is a town of cobblestone streets」の字幕を表示させて「cobblestone」の単語を選択した場合でも、「flagstones」の単語の順序が後になるように「cobblestone」の単語が領域R1に追加される。このように、利用者が字幕を表示させた順序や単語を選択した順序に関わらず、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加される単語の順序が決定されてもよいし、第1領域に追加された単語の順序が並び替えられてもよい。なお、「I will jump across red flagstones」の字幕から「flagstones」の単語を選択した場合など、選択された単語が複数形などの基本形(例えば、単数形)の変化形である場合には、選択された単語がそのまま第1領域に追加されてもよいし、選択された単語の基本形が第1領域に追加されてもよい。この場合には、「flagstones」の単語が「flagstone」として第1領域に追加されてもよい。
また、「〇×〇×YY1」の映像動画が複数話から構成された映像動画で、「I will jump across red flagstones」の字幕が、「This is a town of cobblestone streets」の字幕よりも後の話で表示される字幕である場合には、「I will jump across red flagstones」の字幕が表示中に「flagstones」の単語を選択すると、領域R1の領域中で「cobblestone」よりも順序が後になるように「flagstones」の単語が領域R1に追加される。例えば、「〇×〇×YY1」の映像動画の第2話を視聴中に「I will jump across red flagstones」の字幕が表示され、「flagstones」の単語を選択した場合には、「〇×〇×YY1」の映像動画の第1話を視聴中に表示された「This is a town of cobblestone streets」の字幕から選択された「cobblestone」の単語よりも順序が後になるように「flagstones」の単語が領域R1に追加される。このため、例えば、利用者が第2話を先に視聴して「I will jump across red flagstones」の字幕から「flagstones」の単語を選択した後に、第1話を視聴して「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択した場合でも、「flagstones」の単語の順序が後になるように「cobblestone」の単語が領域R1に追加される。このように、映像動画の話の順番に基づいて第1領域に追加される単語の順序が決定されてもよいし、第1領域に追加された単語の順序が並び替えられてもよい。
また、領域R2は、単語の選択時に表示された字幕を追加するための所定の領域(第2領域に対応)である。なお、第2領域は、第1領域に対応して映像動画ごとに設定される。このため、領域R2は、「〇×〇×YY1」の映像動画のために設定された所定の領域である。領域R2には、利用者が「〇×〇×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに選択時の画面に表示された単語を含む字幕が追加される。例えば、利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、「This is a town of cobblestone streets」の字幕が領域R2に追加される。具体的には、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加される。なお、第2領域への字幕の追加は、第1領域への単語の追加に対応して行われてもよいし、第1領域への単語の追加と同時に行われてもよい。例えば、領域R1に追加された「cobblestone」の単語の順序に対応して、「This is a town of cobblestone streets」の字幕が、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。また、例えば、「cobblestone」の単語が、領域R1のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されるとともに、「This is a town of cobblestone streets」の字幕が、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。
しかしながら、発話が長く発話全体に対応した字幕が画面に収まらない場合など、字幕が複数に分けて表示される場合がある。このような場合には、単語の選択時の画面に表示された発話の一部に対応した字幕が追加される。例えば、「This is」と「a town of cobblestone streets」とが映像動画中で分けて表示される場合には、画面に表示された「a town of cobblestone streets」の字幕から「cobblestone」の単語を選択すると、「a town of cobblestone streets」の字幕が領域R2に追加される。なお、発話の一部に対応した字幕に限られず、単語の選択時の画面に表示された字幕を含む発話全体に対応した字幕が追加されてもよい。例えば、「This is」と「a town of cobblestone streets」とが映像動画中で分けて表示される場合には、画面に表示された「a town of cobblestone streets」の字幕から「cobblestone」の単語を選択すると、発話全体に対応した「This is a town of cobblestone streets」の字幕が追加されてもよい。なお、単語の選択時の画面に表示された字幕に、単語の選択時の画面に表示された字幕以外の字幕が組み合わされて追加される場合には、組み合わされる字幕は、単語の選択時の画面に表示された字幕直前の字幕であってもよいし、単語の選択時の画面に表示された字幕直後の字幕であってもよい。このように、組み合わされる字幕は、利用者が視聴した映像までに表示された字幕に限られず、これから視聴される映像に表示される字幕であってもよい。
また、単語の選択時の画面に表示された字幕が複数文から構成される場合がある。例えば、「cobblestone」の単語の選択時の画面に表示された字幕が、「This is a town of cobblestone streets. This is」といったように、「cobblestone」の単語を含む文の他に他の文の少なくとも一部を含む場合である。このような場合には、単語の選択時の画面に表示された字幕全体が領域R2に追加されてもよいし、単語の選択時の画面に表示された字幕のうち選択された単語を文に含む一部のみが領域R2に追加されてもよい。例えば、単語の選択時の画面に表示された字幕全体の「This is a town of cobblestone streets. This is」が領域R2に追加されてもよいし、単語の選択時の画面に表示された字幕のうち選択された単語を文に含む「This is a town of cobblestone streets.」のみが領域R2に追加されてもよい。
また、映像動画中でキャラクターが同時に発話した場合など、複数の字幕が画面上の別々の位置に同時に表示される場合がある。このような場合には、選択された単語を含む一の字幕のみが領域R2に追加されてもよいし、単語の選択時に画面上で表示された複数の字幕が領域R2に追加されてもよい。
また、単語の選択時に表示された字幕に、選択された単語の他に特徴的な意味を有する単語の数が少ない場合がある。例えば、「cobblestone」の単語の選択時の画面に表示された字幕が、「This is a cobblestone」といったように、「cobblestone」の他に特徴的な意味を有する単語がない場合である。例えば、「This」は名詞の代わりに用いられる代名詞であり、「is」は主語の状態を表すための動詞であり、「a」は名詞の特性を示すための冠詞であるため、それぞれ、「This」、「is」、「a」のみでは特徴的な意味を有さない。このような場合には、単語の選択時に表示された字幕に、単語の選択時の前後の画面に表示された字幕を加えた字幕が領域R2に追加されてもよい。また、従来の自然言語処理の技術を用いて、単語の選択時に表示された字幕と、単語の選択時の前後の画面に表示された字幕とに基づいて、両者の字幕が表示された際の発話の内容に沿った、選択された単語を含む字幕を生成することで、生成された字幕が領域R2に追加されてもよい。例えば、「cobblestone」の単語の選択時の画面に表示された「This is a cobblestone」の字幕と、「This is a cobblestone」の字幕の次に表示される「This is a street」の字幕とに基づいて、「This is a cobblestone street」といったような複数の字幕を一文にまとめた字幕を生成し、「This is a cobblestone street」の字幕が領域R2に追加されてもよい。なお、「This is a cobblestone」の「This」と「This is a street」の「This」とが異なる対象を指し示す場合には、「This is a cobblestone street」とすると、両者の字幕が表示された際の発話の内容に沿わない。このため、「cobblestone」の単語の選択時の画面に表示された映像の少なくとも一部が、「This is a street」の字幕が表示される映像に含まれる場合に、「This is a cobblestone street」といった字幕を生成してもよい。
(辞書に単語と字幕と映像画像を追加する場合)
以下、図6を用いて、実施形態に係る辞書の詳細について更に説明する。図6は、実施形態に係る辞書の一例を示す図である。辞書D2は、利用者U1が「〇×〇×YY1」の作品名の映像動画を視聴中に、利用者U1が字幕に登場した単語を選択することで生成された辞書である。辞書D2は、図4に示した辞書D1に、単語の選択時に画面に表示された映像画像が追加された辞書である。このため、辞書D1と同様の説明は適宜省略する。
領域R3は、単語の選択時に表示された映像画像を追加するための所定の領域(第3領域に対応)である。なお、第3領域は、第1領域に対応して映像動画ごとに設定される。このため、領域R3は、「〇×〇×YY1」の映像動画のために設定された所定の領域である。領域R3には、利用者が「〇×〇×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに選択時の画面に表示された映像画像が追加される。なお、単語の選択時に表示された字幕を映像に含む映像画像が追加されてもよいし、単語の選択時に表示された字幕を除いた映像画像が追加されてもよい。例えば、字幕と映像動画とが別々に記憶され、映像動画の再生時に字幕が付される場合には、利用者に映像動画を提供している外部の情報処理装置等から、単語の選択時に表示された字幕を除いた映像画像を取得することで、字幕を除いた映像画像が追加されてもよいし、単語の選択時に表示された画面をスクリーンショットなどにより撮影することで、字幕を映像に含む映像画像が追加されてもよい。また、例えば、映像動画に字幕が埋め込まれている場合には、オリジナルの映像動画を記憶した外部の情報処理装置等から、単語の選択時に表示された字幕を除いた映像画像を取得することで、字幕を除いた映像画像が追加されてもよいし、単語の選択時に表示された画面をスクリーンショットなどにより撮影することで、字幕を映像に含む映像画像が追加されてもよい。領域R3では、字幕を除いた映像画像が追加される。
利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像IM11が領域R3に追加される。例えば、「This is a town of cobblestone streets」の字幕が領域R2に追加されるとともに、「cobblestone」の単語の選択時に表示された映像画像IM11が領域R3に追加される。具体的には、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加される。なお、第3領域への映像画像の追加は、第1領域への単語の追加に対応して行われてもよいし、第1領域への単語の追加と同時に行われてもよい。例えば、領域R1に追加された「cobblestone」の単語の順序に対応して、「cobblestone」の単語の選択時に表示された映像画像が、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。また、例えば、「cobblestone」の単語が、領域R1のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されるとともに、「cobblestone」の単語の選択時に表示された映像画像が、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。
また、利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像の場面中で印象的な映像画像が領域R3に追加されてもよい。例えば、単語の選択時に画面に表示された字幕と、単語の選択時に画面に表示された字幕よりも前に表示された字幕とから、単語の選択時に画面に表示された映像画像の場面の開始を推定することで、推定された場面の開始までの範囲に含まれる映像画像の中から印象的な映像画像として特徴的な映像画像が追加されてもよい。なお、外部の情報処理装置等から、映像動画の場面に関する情報が取得可能な場合には、外部の情報処理装置等から映像動画の場面に関する情報を取得することで、取得された映像動画の場面に関する情報に基づいて、単語の選択時に画面に表示された映像画像の場面の開始や場面全体の範囲が推定されてもよい。そして、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中から特徴的な映像画像が追加されてもよい。例えば、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも他の映像画像とは異なる特徴情報を含む映像画像が追加されてもよい。また、例えば、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む映像画像が追加されてもよい。なお、映像動画のメインキャラクターは、例えば、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像に含まれるキャラクターの特徴に基づいてメインキャラクターと推定されたキャラクターであってもよいし、映像動画の字幕に関する情報に基づいてメインキャラクターと推定されたキャラクターであってもよいし、映像動画に関する情報を外部の情報処理装置等から取得することでメインキャラクターと推定されたキャラクターであってもよい。このように、映像動画のメインキャラクターの推定方法は特に限定されないものとする。また、利用者にとって印象的な映像画像は、利用者の嗜好に沿ったキャラクターを映像に含む映像画像である場合が多いため、外部の情報処理装置等から利用者の嗜好情報(例えば、利用者が好きなキャラクターの体型や顔の形状や髪型や髪色などの外見の特徴、利用者が好きなキャラクターの着用している衣装の特徴、利用者が好きなキャラクターの話し方の特徴、利用者が好きなキャラクターに設定された身長や性別や年齢や性格や趣味や特技や特殊能力などの属性、利用者が好きなキャラクターのデザイナーがデザインした他のキャラクターや衣装の特徴)を取得することで、取得された利用者の嗜好情報に基づいて、映像動画のメインキャラクターのうち利用者の嗜好に最も沿ったキャラクターを少なくとも映像に含む映像画像が追加されてもよい。また、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも最も特徴的な映像画像が追加されてもよい。例えば、利用者の嗜好に最も沿ったキャラクターが最も大きく画面に映る映像画像が追加されてもよい。また、利用者が「〇×〇×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像の場面中で印象的な映像画像とともに、単語の選択時に画面に表示された映像画像が領域R3に追加されてもよい。
字幕情報記憶部122は、映像動画で表示される字幕に関する情報を記憶する。ここで、図7に、実施形態に係る字幕情報記憶部122の一例を示す。図7は、実施形態に係る字幕情報記憶部122の一例を示す図である。図7に示すように、字幕情報記憶部122は、「映像動画ID」、「字幕」といった項目を有する。
「映像動画ID」は、映像動画を識別するための識別情報を示す。「字幕」は、映像動画で表示される字幕を示す。図7に示した例では、「字幕」に「字幕#1」や「字幕#2」といった概念的な情報が格納される例を示したが、実際には、字幕を構成する単語情報(字幕に含まれる文字情報)が字幕ごとに格納される。
すなわち、図7では、映像動画ID「M1」によって識別される映像動画で表示される字幕が「字幕#1」、「字幕#2」、・・・、「字幕#N」である例を示す。
(制御部130)
制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶支援装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図2に示すように、制御部130は、取得部131と、抽出部132と、生成部133と、更新部134と、表示部135と、提案部136とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
(取得部131)
取得部131は、外部の情報処理装置から各種情報を取得する。例えば、取得部131は、端末装置10等の他の情報処理装置から各種情報を取得する。また、取得部131は、記憶部120から各種情報を取得する。また、取得部131は、取得した各種情報を記憶部120に格納する。
取得部131は、利用者が映像動画を視聴中に画面上で操作を行った際の操作情報を取得する。例えば、取得部131は、利用者が映像動画を視聴中に画面上で表示させた表示枠に関する情報(例えば、画面上での表示枠の位置やサイズを示す座標情報)を取得する。例えば、取得部131は、利用者が指でスワイプを行うことで表示させた表示枠に関する情報を取得する。
取得部131は、利用者が視聴中の映像動画に関する情報を取得する。例えば、取得部131は、利用者が映像動画を視聴中に画面上で操作を行うことで単語が選択された際に、利用者が視聴中の映像動画に関する情報を取得する。例えば、取得部131は、利用者が視聴中の映像動画の字幕に関する情報を取得する。例えば、取得部131は、利用者が「〇×〇×YY1」の映像動画を視聴中に、表示された字幕から「cobblestone」の単語を選択した場合には、「cobblestone」の単語の選択時に画面上に表示された字幕に関する情報を取得してもよいし、「〇×〇×YY1」の映像動画に含まれる字幕全体に関する情報を取得してもよい。
(抽出部132)
抽出部132は、取得部131により取得された情報に基づいて、利用者が選択した単語と、単語の選択時に表示された字幕とを抽出する。例えば、抽出部132は、画面上に表示された表示枠に関する情報と、表示枠が表示された際に表示された字幕に関する情報とに基づいて、表示枠が表示された際に表示された字幕から利用者が選択した単語を抽出する。例えば、抽出部132は、表示枠に少なくとも文字の一部を含む単語を、利用者が選択した単語として抽出する。また、例えば、抽出部132は、利用者の単語の選択時に表示された字幕を抽出する。具体的には、抽出部132は、単語が抽出された字幕を抽出する。例えば、抽出部132は、「This is a town of cobblestone streets」の字幕が表示中に利用者の画面上での操作によって表示された表示枠が「cobblestone」の単語に最も重畳した場合には、「cobblestone」の単語を抽出するとともに「This is a town of cobblestone streets」の字幕を抽出する。また、抽出部132は、利用者の単語の選択時に表示された映像画像を抽出してもよい。例えば、抽出部132は、利用者の単語の選択時にスクリーンショットなどによって画面を撮影することで、撮影された映像画像を抽出してもよい。また、例えば、抽出部132は、利用者の単語の選択時に表示された映像画像を外部の情報処理装置等から取得してもよい。
抽出部132は、利用者の単語の選択時に表示された映像画像の場面中で印象的な映像画像を抽出してもよい。例えば、抽出部132は、単語の選択時に画面に表示された字幕と、単語の選択時に画面に表示された字幕よりも前に表示された字幕とから、単語の選択時に画面に表示された映像画像の場面の開始を推定する。そして、抽出部132は、推定された場面の開始までの範囲に含まれる映像画像の中から印象的な映像画像を抽出する。また、例えば、抽出部132は、外部の情報処理装置等から映像動画の場面に関する情報を取得することで、取得された映像動画の場面に関する情報に基づいて、単語の選択時に画面に表示された映像画像の場面の開始や場面全体の範囲を推定してもよい。そして、抽出部132は、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中から印象的な映像画像を抽出してもよい。
抽出部132は、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも他の映像画像とは異なる特徴情報を含む映像画像を抽出してもよい。また、抽出部132は、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む映像画像を抽出してもよい。例えば、抽出部132は、利用者の嗜好情報に基づいて、映像動画のメインキャラクターの中から利用者の嗜好に最も沿ったキャラクターを推定し、推定されたキャラクターを少なくとも映像に含む映像画像を抽出してもよい。例えば、抽出部132は、推定されたキャラクターが最も大きく画面に映る映像画像を抽出してもよい。
(生成部133)
生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する。図4の例では、生成部133は、「cobblestone」の単語を、「〇×〇×YY1」の映像動画に対応した第1領域に追加し、「This is a town of cobblestone streets」の字幕を、「〇×〇×YY1」の映像動画に対応した第2領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加することで、辞書D1を生成する。また、生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。図6の例では、生成部133は、「cobblestone」の単語を、「〇×〇×YY1」の映像動画に対応した第1領域に追加し、「This is a town of cobblestone streets」の字幕を、「〇×〇×YY1」の映像動画に対応した第2領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加し、映像画像IM11を、「〇×〇×YY1」の映像動画に対応した第3領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加することで、辞書D2を生成する。
(更新部134)
更新部134は、第1領域への単語の追加時に、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加される単語の順序を決定することで、生成部133により生成された辞書を更新する。また、更新部134は、第1領域への単語の追加時に、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加された単語の順序を並び替えることで、生成部133により生成された辞書を更新してもよい。例えば、更新部134は、第1領域への単語の追加時に、第2領域へ追加される字幕の表示順が早いほど、第1領域に追加される単語が上位に表示されるように辞書を更新する。また、例えば、更新部134は、第1領域への単語の追加時に、複数話のうち第2領域へ追加される字幕が登場する話の順番が早いほど、第1領域に追加される単語が上位に表示されるように辞書を更新する。
(表示部135)
表示部135は、更新部134により更新された単語の順序に応じた順番で、利用者の単語の選択時に表示された映像画像を表示させる。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第3領域に追加された映像画像を取得し、取得した映像画像を組み合わせてスライドショーなどのアニメーションを生成することで、利用者の単語の選択時に表示された映像画像を表示させる。例えば、「〇×〇×YY1」の映像動画では、「This is a town of cobblestone streets」の字幕が、「I will jump across red flagstones」の字幕よりも前に表示される字幕であるため、表示部135は、利用者から「〇×〇×YY1」の映像動画の選択を受け付けた場合には、「cobblestone」の単語の選択時に表示された映像画像が、「flagstones」の単語の選択時に表示された映像画像よりも先に表示されるようにスライドショーなどのアニメーションを生成する。図8は、実施形態に係るユーザインターフェースの一例を示す図である。
画面G2は、端末装置10の表示画面である。画面G2には、利用者U1が辞書を生成した映像動画を示す項目L1乃至項目LNが表示されている。例えば、項目L1は「〇×〇×YY1」の映像動画を示す項目であり、項目L2は「〇×〇×YY2」の映像動画を示す項目であり、項目LNは「〇×〇×YYN」の映像動画を示す項目である。画面G2には、利用者U1が辞書を生成した映像動画の数だけ項目が表示される。表示部135は、例えば、利用者U1から画面上で項目L1を選択する操作(例えば、タップ、クリック)を受け付けると、「〇×〇×YY1」の映像動画に対応して生成された辞書D2の領域R3に追加された映像画像を用いて、領域R1の単語の順序に応じた順番で映像画像を表示させるアニメーションを生成し、生成したアニメーションを表示させるための画面を表示させて、領域R3に追加された映像画像を表示させる。また、表示部135は、例えば、利用者U1から画面上で項目L2を選択する操作を受け付けると、「〇×〇×YY2」の映像動画に対応して生成された辞書の第3領域に追加された映像画像を用いて、「〇×〇×YY2」の映像動画に対応して生成された辞書の第1領域の単語の順序に応じた順番で映像画像を表示させるアニメーションを生成し、生成したアニメーションを表示させるための画面を表示させて、「〇×〇×YY2」の映像動画に対応して生成された辞書の第3領域に追加された映像画像を表示させる。なお、画面G2は一例であり、映像動画の選択を受け付ける態様は特に限定されないものとする。例えば、画面G2のような、利用者が辞書を生成した映像動画を項目でまとめた画面から項目を選択させることで映像動画を選択させるユーザインターフェースに限られず、表示部135は、利用者が生成した辞書それぞれが映像画像をアニメーションで表示させるための項目を有するユーザインターフェースを用いて映像動画の選択を受け付けてもよい。例えば、表示部135は、辞書D2に含まれる「〇×〇×YY1」の作品名(辞書のタイトル)を操作することで「〇×〇×YY1」の映像動画の選択を受け付け、また、「〇×〇×YY2」の映像動画に対応して生成された辞書に含まれる「〇×〇×YY2」の作品名を操作することで「〇×〇×YY2」の映像動画の選択を受け付けてもよい。
表示部135は、第3領域に追加された映像画像(例えば、単語の選択時に表示された字幕を除いた映像画像)に第1領域に追加された単語を重畳させた映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成してもよい。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第1領域に追加された単語と第3領域に追加された映像画像とを辞書から抽出し、抽出した映像画像それぞれに対して対応した単語を重畳させることで単語が重畳された映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成する。そして、表示部135は、第3領域に追加された映像画像を、第3領域への映像画像の追加時に第1領域へ追加された単語を重畳させた映像画像をアニメーションで表示させる。図6の例を用いると、表示部135は、映像画像IM1に「quintessentially」の単語を重畳させた映像画像と、映像画像IM2に「ventriloquism」の単語を重畳させた映像画像と、映像画像IM11に「cobblestone」の単語を重畳させた映像画像と、映像画像IM3に「battle-scarred」の単語を重畳させた映像画像と、映像画像IM4に「flagstones」の単語を重畳させた映像画像を組み合わせることでアニメーションを生成し、「quintessentially」から始まり、「ventriloquism」、「cobblestone」、「battle-scarred」、「flagstones」の順番で、映像画像IM1に「quintessentially」の単語を重畳させた映像画像と、映像画像IM2に「ventriloquism」の単語を重畳させた映像画像と、映像画像IM11に「cobblestone」の単語を重畳させた映像画像と、映像画像IM3に「battle-scarred」の単語を重畳させた映像画像と、映像画像IM4に「flagstones」の単語を重畳させた映像画像をアニメーションで表示させる。また、表示部135は、第3領域に追加された映像画像が、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像である場合には、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像に第1領域へ追加された単語を重畳させた映像画像をアニメーションで表示させてもよい。
表示部135は、第3領域に追加された映像画像(例えば、単語の選択時に表示された字幕を除いた映像画像)に第2領域に追加された字幕を重畳させた映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成してもよい。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第2領域に追加された字幕と第3領域に追加された映像画像とを辞書から抽出し、抽出した映像画像それぞれに対して対応した字幕を重畳させることで字幕が重畳された映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成する。そして、表示部135は、第3領域に追加された映像画像を、第3領域への映像画像の追加時に第2領域へ追加された字幕を重畳させた映像画像をアニメーションで表示させる。図6の例を用いると、表示部135は、映像画像IM1に「・・・・・・・・・quintessentially・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM2に「・・・・・・・・・ventriloquism・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM11に「This is a town of cobblestone streets」の字幕を重畳させた映像画像と、映像画像IM3に「・・・・・・・・・battle-scarred・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM4に「I will jump across red flagstones」の字幕を重畳させた映像画像を組み合わせることでアニメーションを生成し、「quintessentially」から始まり、「ventriloquism」、「cobblestone」、「battle-scarred」、「flagstones」の順番で、映像画像IM1に「・・・・・・・・・quintessentially・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM2に「・・・・・・・・・ventriloquism・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM11に「This is a town of cobblestone streets」の字幕を重畳させた映像画像と、映像画像IM3に「・・・・・・・・・battle-scarred・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM4に「I will jump across red flagstones」の字幕を重畳させた映像画像をアニメーションで表示させる。また、表示部135は、第3領域に追加された映像画像が、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像である場合には、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像に第2領域へ追加された字幕を重畳させた映像画像をアニメーションで表示させてもよい。
(提案部136)
提案部136は、利用者の所定の操作(例えば、辞書を選択する操作、辞書を開く操作、辞書に単語を追加する操作)に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信する。例えば、提案部136は、「〇×〇×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含む映像動画を提案する。例えば、提案部136は、「〇×〇×YY10」の映像動画の字幕が、領域R1に追加された「cobblestone」の単語を含む場合には、「〇×〇×YY10」の映像動画を候補として提案する。また、提案部136は、第1領域に追加された単語を字幕に多く含む映像動画ほど優先的に提案してもよい。例えば、提案部136は、領域R1に追加された「cobblestone」の単語のみを字幕に含む「〇×〇×YY11」の映像動画の他に、領域R1に追加された「cobblestone」の単語と「flagstones」の単語の複数の単語を字幕に含む「〇×〇×YY12」の映像動画が候補として提案可能である場合には、「〇×〇×YY11」の映像動画よりも「〇×〇×YY12」の映像動画を優先的に提案する。また、提案部136は、第1領域に追加された同一の単語が映像動画の複数の字幕に登場する場合には、同一の単語が複数の字幕に登場する回数をカウントに含めた字幕に登場する単語の数に基づいて候補の優先順位を決定してもよい。また、提案部136は、第1領域に追加された同一の単語が映像動画の複数の字幕に登場する場合には、同一の単語が複数の字幕に登場する回数をカウントに含めない字幕に登場する単語の種類の数に基づいて候補の優先順位を決定してもよい。
提案部136は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、選択された辞書に対応した映像動画と特徴が類似する一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信してもよい。例えば、提案部136は、「〇×〇×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含み、且つ、「〇×〇×YY1」の映像動画と特徴が類似する映像動画を提案する。例えば、提案部136は、「〇×〇×YY1」の映像動画のメインキャラクターの特徴に基づいて、「〇×〇×YY1」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案する。なお、提案部136は、映像動画のメインキャラクターの特徴を、映像動画の字幕に関する情報に基づいて推定してもよいし、映像動画に関する情報を外部の情報処理装置等から取得することで推定してもよい。例えば、提案部136は、選択された「〇×〇×YY1」の映像動画のメインキャラクターの特徴を、「〇×〇×YY1」の映像動画の字幕に関する情報に基づいて推定してもよいし、「〇×〇×YY1」の映像動画に関する情報を外部の情報処理装置等から取得することで推定してもよい。また、例えば、提案部136は、選択された「〇×〇×YY1」の映像動画のメインキャラクターの特徴を、領域R3に追加された映像画像に基づいて推定してもよい。
提案部136は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、選択された辞書以外の他の辞書に対応した映像動画と特徴が類似する一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信してもよい。例えば、提案部136は、「〇×〇×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含み、且つ、利用者U1が辞書を生成した他の映像動画である「〇×〇×YY2」乃至「〇×〇×YYN」の映像動画と特徴が類似する映像動画を提案する。例えば、提案部136は、「〇×〇×YY2」の映像動画のメインキャラクターの特徴に基づいて、「〇×〇×YY2」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案する。また、例えば、提案部136は、「〇×〇×YY2」の映像動画のメインキャラクターの特徴と「〇×〇×YY3」の映像動画のメインキャラクターの特徴とに基づいて、「〇×〇×YY2」及び/又は「〇×〇×YY3」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案してもよい。また、例えば、提案部136は、「〇×〇×YY2」乃至「〇×〇×YYN」の映像動画のメインキャラクターの特徴に基づいて利用者U1のキャラクターの嗜好情報を推定することで利用者U1の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案してもよい。
〔4.情報処理のフロー〕
次に、図9乃至図11を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。図9乃至図11は、実施形態に係る情報処理システム1による情報処理の手順を示すフローチャートである。
図9に示すように、記憶支援装置100は、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合には、利用者が選択した単語と、利用者の単語の選択時に表示された字幕とを抽出する(ステップS101)。
記憶支援装置100は、抽出された単語を、利用者が視聴中の映像動画に表示される字幕の中で、抽出された字幕が表示される表示順が早いほど上位になるように、利用者が視聴中の映像動画に対応して生成された辞書の第1領域に追加し、抽出された字幕を、利用者が視聴中の映像動画に対応して生成された辞書の第2領域に追加することで辞書を更新する(ステップS102)。
図10に示すように、記憶支援装置100は、利用者から映像動画の選択を受け付けた場合には、利用者が選択した映像動画に対応して生成された辞書の第3領域に追加された映像画像を取得する(ステップS201)。
記憶支援装置100は、取得された映像画像を組み合わせてアニメーションを生成することで、利用者が選択した映像動画に対応して生成された辞書の第3領域に追加された映像画像をアニメーションで表示させる(ステップS202)。
図11に示すように、記憶支援装置100は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語に関する情報を取得する(ステップS301)。
記憶支援装置100は、取得された単語に関する情報に基づいて、選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信する(ステップS302)。
〔5.変形例〕
上述した実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。
(変形例1:第1領域で単語を指定することで辞書を更新する)
上記実施形態では、抽出部132が、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合に、利用者が選択した単語とともに、単語の選択時に表示された字幕を抽出する場合を示した。ここで、抽出部132は、利用者が映像動画を視聴後に、利用者が視聴した映像動画に対応した辞書に含まれる第1領域で、利用者が映像動画を視聴中に表示された単語を指定(例えば、入力)することで、指定された単語を含む字幕を、映像動画ごとに予め定められた字幕から抽出してもよい。例えば、抽出部132は、利用者が「〇×〇×YY1」の映像動画を視聴中に「cobblestone」の単語を記憶して、「〇×〇×YY1」の映像動画の視聴後に、「〇×〇×YY1」の映像動画に対応した辞書D1(又は辞書D2)の領域R1で「cobblestone」の単語を指定することで、「〇×〇×YY1」の映像動画に予め定められた字幕から「cobblestone」の単語を含む「This is a town of cobblestone streets」の字幕を抽出してもよい。
図12は、変形例1に係る情報処理を説明するための説明図である。辞書D3は、図4に示した辞書D1に対応した辞書である。このため、辞書D1と同様の説明は適宜省略する。更新部134は、領域R1のうちの「cobblestone」の単語が指定された領域R11に対応して、領域R2のうちの領域R12に「This is a town of cobblestone streets」の字幕を追加することで辞書D3を更新する。そして、更新部134は、「〇×〇×YY1」の映像動画に表示される字幕の表示順に基づいて決定された領域R1での「cobblestone」の単語の順序に応じて、領域R2のうちの「cobblestone」の単語の順序に応じた所定の領域に「This is a town of cobblestone streets」の字幕を追加することで辞書D3を更新する。
(変形例2:市販の辞書を用いて利用者が視聴した映像動画の辞書を自動で生成する)
上記実施形態では、抽出部132が、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合に、利用者が選択した単語とともに、単語の選択時に表示された字幕を抽出する場合を示した。また、変形例1では、抽出部132が、利用者が視聴した映像動画に対応した辞書に含まれる第1領域で、利用者が映像動画を視聴中に表示された単語を指定することで、指定された単語を含む字幕を、映像動画ごとに予め定められた字幕から抽出する場合を示した。ここで、抽出部132は、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕に、利用者が予め指定した市販の辞書(例えば、資格試験用の辞書、教科書)に含まれる単語(以下、適宜、「学習用単語」とする。)が登場する場合には、登場する学習用単語とともに、学習用単語ごとに対象の学習用単語が表示される字幕を抽出してもよい。例えば、抽出部132は、学習用単語ごとに対象の学習用単語が表示される字幕を、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕から抽出する。なお、抽出部132は、利用者が複数の市販の辞書を指定した場合には、指定された複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語を抽出してもよい。また、抽出部132は、学習用単語が利用者の嗜好に沿ったキャラクターの発話に対応した字幕に含まれる単語である場合に、学習用単語と字幕の抽出を行ってもよい。また、抽出部132は、学習用単語が利用者の嗜好に沿ったキャラクターの発話に対応した字幕に含まれる単語でない場合(言い換えると、利用者の嗜好に沿ったキャラクターではないキャラクターの発話に対応した字幕に含まれる単語である場合)には、学習用単語と字幕の抽出を行わなくてもよい。そして、生成部133は、対象の学習用単語を、利用者が映像動画を視聴したことで選択された映像動画に対応した第1領域に追加し、対象の学習用単語が表示される字幕を、利用者が映像動画を視聴したことで選択された映像動画に対応した第2領域に追加することで、利用者が視聴した映像動画に対応した辞書を自動で生成する。また、抽出部132は、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕に、利用者が予め指定した市販の辞書に含まれない単語が登場する場合に、利用者が予め指定した市販の辞書に含まれない単語とともに、利用者が予め指定した市販の辞書に含まれない単語が表示される字幕を抽出してもよい。例えば、抽出部132は、利用者が複数の市販の辞書を指定し、複数の市販の辞書に含まれない単語が字幕に登場する場合に単語と字幕の抽出を行ってもよい。
(変形例3:第1領域に追加された単語の類義語を第4領域に追加した辞書を生成する)
上記実施形態では、生成部133が、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する場合を示した(図4参照)。また、上記実施形態では、生成部133が、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する場合を示した(図6参照)。ここで、生成部133は、抽出部132により抽出された単語の類義語が、利用者が予め指定した市販の辞書に登場する場合には、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した所定の領域(以下、適宜、「第4領域」とする。)に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。ここで、第4領域は、第1領域に追加された単語の類義語を追加するための所定の領域である。なお、第4領域は、第1領域に対応して映像動画ごとに設定される。第4領域には、第1領域に追加された単語の類義語が予め指定された市販の辞書に登場する場合にのみ、第1領域に追加された単語の類義語が追加される。具体的には、第4領域のうちの第1領域に追加された単語の順序に対応した所定の領域に追加される。また、第1領域に追加された単語の類義語が予め指定された市販の辞書に登場しない場合には、第4領域のうちの第1領域に追加された単語の順序に対応した所定の領域は空欄となる。
生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した第4領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する。また、生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加し、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した第4領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。なお、第4領域に追加される類義語は、第1領域に追加された単語と関連が高い単語に限られない。例えば、生成部133は、抽出部132により「quintessential」の単語が抽出され、「quintessential」の単語と関連が高い「typical」の単語や「ultimate」の単語が予め指定された市販の辞書に含まれる場合には、第1領域に「quintessential」の単語を追加するとともに、第4領域に「typical」の単語や「ultimate」の単語を追加することで辞書を生成してもよいし、「quintessential」の単語と関連がやや高い「classic」の単語や「ideal」の単語が予め指定された市販の辞書に含まれる場合には、第1領域に「quintessential」の単語を追加するとともに、第4領域に「classic」の単語や「ideal」の単語を追加することで辞書を生成してもよい。なお、生成部133は、「typical」と「ultimate」と「classic」と「ideal」の全ての単語が予め指定された市販の辞書に含まれる場合には、「quintessential」の類義語として第4領域に追加される単語をどのように選択してもよい。また、第4領域に追加される類義語の、第1領域に追加された単語との関連の度合いは利用者により適宜調整されてもよい。例えば、生成部133は、利用者が第4領域に追加される類義語を「関連が高い単語のみ」に設定した場合には、「typical」と「ultimate」と「classic」と「ideal」の単語のうち「typical」と「ultimate」の単語を第4領域に追加される類義語の候補とし、利用者が第4領域に追加される類義語を「関連がやや高い単語を含む」に設定した場合には、「typical」と「ultimate」と「classic」と「ideal」の全ての単語を第4領域に追加される類義語の候補として、第4領域に追加される単語を選択してもよい。
(実施形態2)
〔6.はじめに〕
上記実施形態において、利用者が学習目標に応じて対象となる単語の意味や使い方を特に理解したいといった要望を抱く場合もあり得る。例えば、利用者が特定の資格試験の突破を学習目標とする場合には、特定の資格試験で対象となる単語の意味や使い方を特に理解したいといった要望を抱く場合もあり得る。
実施形態2は、上記に鑑みてなされたものであって、利用者の学習目標に沿って利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
実施形態2では、市販の辞書は、市販に購入可能な辞書(例えば、資格試験用の辞書、教材として用いられる図書、教科書、参考書、単語帳)である。例えば、市販の辞書は、義務教育学校や学習塾などで広く利用される辞書である。なお、市販の辞書は、電子書籍の辞書であってもよい。また、市販の辞書の単語を、以下、適宜、「学習用単語」とする。学習用単語は、例えば、市販の辞書で学習の対象となる主たる単語である。また、学習用単語は、市販の辞書で学習の対象となる主たる単語とともに市販の辞書に含まれる単語(例えば、主たる単語の例文に含まれる単語や類義語など)であってもよい。実施形態2では、上記実施形態と同様の説明は適宜省略する。
〔7.情報処理システムの構成〕
図13に示す情報処理システム1Aについて説明する。図13に示すように、情報処理システム1Aは、端末装置10と、記憶支援装置100Aとが含まれる。端末装置10と、記憶支援装置100Aとは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。図13は、実施形態2に係る情報処理システム1Aの構成例を示す図である。なお、端末装置10は、上記実施形態と同様のため説明を省略する。
記憶支援装置100Aは、利用者の学習目標に沿って利用者が記憶したい単語を効果的に記憶させ易くすることを目的とした情報処理装置である。記憶支援装置100Aは、実施形態2における処理を実現可能であれば、どのような装置であってもよい。例えば、記憶支援装置100Aは、サーバ装置やクラウドシステム等により実現される。
なお、図13では、端末装置10と記憶支援装置100Aが別装置である場合を示したが、端末装置10と記憶支援装置100Aは一体であってもよい。
〔8.記憶支援装置の構成〕
次に、図14を用いて、実施形態2に係る記憶支援装置100Aの構成について説明する。図14は、実施形態2に係る記憶支援装置100Aの構成例を示す図である。図14に示すように、記憶支援装置100Aは、通信部110と、記憶部120Aと、制御部130Aとを有する。なお、記憶支援装置100Aは、記憶支援装置100Aの管理者から各種操作を受け付ける入力部や、各種情報を表示するための表示部を有してもよい。
(通信部110)
通信部110は、例えば、NIC等によって実現される。そして、通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、端末装置10等との間で情報の送受信を行う。
(記憶部120A)
記憶部120Aは、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図14に示すように、記憶部120Aは、辞書情報記憶部121と、字幕情報記憶部122Aと、市販辞書情報記憶部123とを有する。なお、辞書情報記憶部121は、上記実施形態と同様のため説明を省略する。
字幕情報記憶部122Aは、映像動画で表示される字幕に関する情報を記憶する。ここで、図15に、実施形態2に係る字幕情報記憶部122Aの一例を示す。図15は、実施形態2に係る字幕情報記憶部122Aの一例を示す図である。図15に示すように、字幕情報記憶部122Aは、「映像動画ID」、「字幕」、「発話者」といった項目を有する。
「映像動画ID」は、映像動画を識別するための識別情報を示す。「字幕」は、映像動画で表示される字幕を示す。図15に示した例では、「字幕」に「字幕#1」や「字幕#2」といった概念的な情報が格納される例を示したが、実際には、字幕を構成する単語情報(字幕に含まれる文字情報)が字幕ごとに格納される。「発話者」は、字幕に対応した発話の発話者であるキャラクターを示す。
すなわち、図15では、映像動画ID「M1」によって識別される映像動画で表示される字幕が「字幕#1」、「字幕#2」、「字幕#3」、「字幕#4」、「字幕#5」、・・・、「字幕#N」であり、字幕に対応した発話の発話者が「キャラクター1」、「キャラクター1」、「キャラクター2」、「キャラクター3」、「キャラクター2」、・・・、「キャラクター1」である例を示す。例えば、映像動画M1の「字幕#1」の字幕に対応した発話の発話者が「キャラクター1」であることを示す。
市販辞書情報記憶部123は、市販の辞書に関する情報を記憶する。ここで、図16に、実施形態2に係る市販辞書情報記憶部123の一例を示す。図16は、実施形態2に係る市販辞書情報記憶部123の一例を示す図である。図16に示すように、市販辞書情報記憶部123は、「市販辞書ID」、「学習用単語」といった項目を有する。
「市販辞書ID」は、市販の辞書を識別するための識別情報を示す。「学習用単語」は、市販の辞書の学習用単語を示す。図16に示した例では、「学習用単語」に「学習用単語#1」や「学習用単語#2」といった概念的な情報が格納される例を示したが、実際には、学習用単語の文字情報が学習用単語ごとに格納される。
すなわち、図16では、市販辞書ID「T1」によって識別される市販の辞書の学習用単語が「学習用単語#1」、「学習用単語#2」、・・・、「学習用単語#N」である例を示す。
(制御部130A)
制御部130Aは、コントローラであり、例えば、CPUやMPU等によって、記憶支援装置100A内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130Aは、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
図14に示すように、制御部130Aは、取得部131Aと、抽出部132Aと、生成部133と、更新部134と、表示部135と、提案部136と、表示変更部137とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130Aの内部構成は、図14に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、生成部133、更新部134、表示部135及び提案部136は、上記実施形態と同様のため説明を省略する。
(取得部131A)
取得部131Aは、取得部131と同様の情報を取得する。また、取得部131Aは、記憶部120Aから各種情報を取得する。また、取得部131Aは、取得した各種情報を記憶部120Aに格納する。
取得部131Aは、利用者が予め指定した市販の辞書に関する情報を取得する。例えば、取得部131Aは、利用者が予め指定した市販の辞書の学習用単語の情報(例えば、図16に示した「学習用単語#1」、「学習用単語#2」、・・・、「学習用単語#N」)を取得する。なお、取得部131Aは、利用者が市販の辞書を複数指定した場合には、利用者が予め指定した複数の市販の辞書の学習用単語の情報を取得する。
取得部131Aは、利用者が視聴中の映像動画の字幕に関する情報を取得する。例えば、取得部131Aは、利用者が映像動画を視聴中に表示された字幕の後(例えば、直後)に表示される字幕に関する情報を取得してもよいし、利用者が視聴中の映像動画で表示される字幕全体に関する情報を取得してもよい。例えば、取得部131Aは、利用者が「〇×〇×YY1」の映像動画を視聴しており、「This is a town of cobblestone streets」の字幕が画面に表示されている場合には、「This is a town of cobblestone streets」の字幕の後に表示される字幕に関する情報を取得してもよい。また、例えば、取得部131Aは、利用者が「〇×〇×YY1」の映像動画を視聴している場合には、「〇×〇×YY1」の映像動画で表示される字幕全体に関する情報(例えば、図15に示した「字幕#1」、「字幕#2」、・・・、「字幕#N」)を取得してもよい。
取得部131Aは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の表示中に利用者が画面上で操作を行った際の操作情報を取得する。例えば、取得部131Aは、後述の表示変更部137により表示の態様が変更された学習用単語に対する操作情報を取得する。例えば、取得部131Aは、表示の態様が変更された学習用単語が、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれるか否かの判定が可能な操作情報を取得する。
(表示変更部137)
表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更する。なお、表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定し、登場すると判定した場合には、その学習用単語と、その学習用単語が登場する字幕とを予め特定しておくことで、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、利用者が市販の辞書を複数指定した場合も同様に、利用者が予め指定した複数の市販の辞書のうち少なくともいずれかの辞書の学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更する。
表示変更部137は、学習用単語の表示の態様を所定の態様に変更して表示させる。例えば、表示変更部137は、学習用単語のフォントサイズを大きくして表示させてもよいし、フォントの色を目立つ色にして表示させてもよいし、フォントに蛍光ペンを付加して表示させてもよいし、フォントに影や光彩などの文字の効果を適用して表示させてもよく、所定の態様は特に限定されないものとする。例えば、表示変更部137は、利用者が予め指定した市販の辞書に「cobblestone」の学習用単語が含まれる場合には、「This is a town of cobblestone streets」の字幕が画面に表示される際に、「cobblestone」の学習用単語のフォントサイズを、字幕中の他の単語(「This」、「is」、「a」、「town」、「of」、「streets」)のフォントサイズよりも大きくして表示させてもよい。
表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の表示の態様を所定の態様に変更して表示させてもよい。例えば、表示変更部137は、利用者が予め指定した市販の辞書に「cobblestone」の学習用単語が含まれる場合には、「This is a town of cobblestone streets」の字幕が画面に表示される際に、「This is a town of cobblestone streets」の字幕に含まれる全ての単語のフォントサイズを、学習用単語が登場しない他の字幕中の単語(例えば、「This is a town of cobblestone streets」の字幕の前後の字幕中の単語)のフォントサイズよりも大きくして表示させてもよい。
表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かの判定はどのように行われてもよく特に限定されないものとする。例えば、表示変更部137は、字幕情報記憶部122Aから取得された、字幕と発話者であるキャラクターとの対応関係に基づいて、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、どのキャラクターの発話に対応した字幕であるかを特定する。なお、字幕と発話者であるキャラクターとの対応付けは、例えば、AI(Artificial Intelligence)によって行われてもよい。例えば、字幕と発話者であるキャラクターとの対応付けは、自然言語処理や画像解析処理などを用いたAI(例えば、字幕に含まれる文字情報から発話者のキャラクターを特定することで対応付ける、字幕が表示される映像の画像情報から発話者のキャラクターを特定することで対応付ける)によって行われてもよい。すなわち、表示変更部137は、AIによって対応付けられた字幕と発話者であるキャラクターとの対応関係に基づいて、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、どのキャラクターの発話に対応した字幕であるかを特定してもよい。そして、表示変更部137は、その字幕に対応した発話の発話者であるキャラクターが、例えば、映像動画の字幕に関する情報(例えば、映像動画中のキャラクターの発話の回数、映像動画中の字幕全体に含まれる文字情報)に基づいてメインキャラクターと推定されたキャラクターであるか否かに基づいて、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定する。また、表示変更部137は、その字幕に対応した発話の発話者であるキャラクターが、例えば、映像動画に関する情報を外部の情報処理装置等から取得することで映像動画のメインキャラクターと推定されたキャラクターであるか否かに基づいて、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定してもよい。このように、表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定し、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であると判定した場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。
表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かの判定はどのように行われてもよく特に限定されないものとする。例えば、表示変更部137は、利用者が辞書を生成した映像動画のキャラクターの特徴に基づいて利用者の嗜好に沿った特徴のキャラクターと推定されたキャラクターの特徴に基づいて、その字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定する。また、例えば、表示変更部137は、利用者の嗜好情報を外部の情報処理装置等から取得することで利用者の嗜好に沿った特徴のキャラクターと推定されたキャラクターの特徴に基づいて、その字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定してもよい。このように、表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定し、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定した場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。
表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者の場合と同様に、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かの判定はどのように行われてもよく特に限定されないものとする。表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、例えば、利用者が視聴中の映像動画から辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が「〇×〇×YY1」の映像動画を視聴している場合には、「〇×〇×YY1」の映像動画から辞書を生成した他の利用者を特定し、特定した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、例えば、映像動画の一覧が利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が辞書を生成した映像動画の一覧と、他の利用者が辞書を生成した映像動画の一覧とを比較することで、映像動画の一覧が利用者と類似する(例えば、最も類似する)他の利用者を特定し、特定した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、例えば、このように特定した他の利用者(利用者が視聴中の映像動画から辞書を生成した他の利用者、映像動画の一覧が利用者と類似する他の利用者)の中から利用者と属性(例えば、性別、年齢、趣味、出身地、人種、国籍など)、学習目標、購買履歴(例えば、映像動画に関するグッズ(例えば、スケールフィギュア、キャラクタードール、コスプレ衣装、キャラクタードール用の衣装など)を販売する所定のサイトで利用者が購入したグッズの購買履歴、利用者が購入したグッズの特徴)、投稿履歴(例えば、コスプレ画像を投稿する所定のサイトで利用者が投稿したコスプレ画像の投稿履歴、利用者が投稿したコスプレ画像のコスプレ衣装の特徴)又は閲覧履歴(例えば、映像動画に関するグッズを販売する所定のサイトで利用者が閲覧したグッズの閲覧履歴、利用者が閲覧したグッズの特徴、コスプレ画像を投稿する所定のサイトで利用者が閲覧したコスプレ画像の閲覧履歴、利用者が閲覧したコスプレ画像のコスプレ衣装の特徴)などが類似する他の利用者を更に特定し、このように属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などに基づき更に特定した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者や他の利用者の属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などは予め定められており、表示変更部137は、予め定められた利用者や他の利用者の属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などに基づき、利用者と属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などが類似する他の利用者を特定する。
表示変更部137は、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕(利用者が予め指定した市販の辞書の学習用単語が登場する字幕)に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者の嗜好に沿った特徴の映像動画であるか否かの判定はどのように行われてもよく特に限定されないものとする。例えば、表示変更部137は、利用者が辞書を生成した映像動画の特徴に基づいて利用者の嗜好に沿った特徴の映像動画と推定された映像動画の特徴に基づいて、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かを判定する。また、例えば、表示変更部137は、利用者の嗜好情報を外部の情報処理装置等から取得することで利用者の嗜好に沿った特徴の映像動画と推定された映像動画の特徴に基づいて、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かを判定してもよい。このように、表示変更部137は、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かを判定し、利用者の嗜好に沿った特徴の映像動画であると判定した場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。
表示変更部137は、利用者が視聴中の映像動画が、他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者の場合と同様に、他の利用者の嗜好に沿った特徴の映像動画であるか否かの判定はどのように行われてもよく特に限定されないものとする。表示変更部137は、利用者が視聴中の映像動画が、例えば、その映像動画から辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が「〇×〇×YY1」の映像動画を視聴している場合には、「〇×〇×YY1」の映像動画から辞書を生成した他の利用者を特定し、特定した他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、利用者が視聴中の映像動画が、例えば、映像動画の一覧が利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が辞書を生成した映像動画の一覧と、他の利用者が辞書を生成した映像動画の一覧とを比較することで、映像動画の一覧が利用者と類似する他の利用者を特定し、特定した他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。また、表示変更部137は、例えば、このように特定した他の利用者の中から利用者と属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などが類似する他の利用者を更に特定し、このように属性、学習目標、購買履歴、投稿履歴又は閲覧履歴などに基づき更に特定した他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。
表示変更部137は、対象字幕に含まれる学習用単語が、辞書を生成するために第1領域に追加しない単語(以下、適宜、「除外単語」とする。)として予め指定された単語でない場合に、その学習用単語の表示の態様を変更してもよい。なお、除外単語は、利用者によって利用者ごとに指定された単語であってもよいし、記憶支援装置100Aの管理者などによって指定された単語であってもよい。例えば、利用者が記憶済みの単語や、代名詞や冠詞などの一語では特徴的な意味を有さない単語などを辞書の第1領域に含めたくない場合には、利用者が記憶済みの単語や、代名詞や冠詞などの一語では特徴的な意味を有さない単語などを予め指定してもよい。表示変更部137は、このように指定された単語を除外単語として、対象字幕に含まれる学習用単語が除外単語であるか否かを判定する。そして、表示変更部137は、対象字幕に含まれる学習用単語が除外単語でないと判定した場合に、その学習用単語の表示の態様を変更する。このように、表示変更部137は、利用者が記憶したい単語と、利用者が記憶したい単語に含めたくない単語との2種類の単語の指定に基づいて、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。また、利用者は除外単語を指定するために、学習用単語を指定するための市販の辞書とは異なる市販の辞書(以下、適宜、「他の市販の辞書」とする。)を指定してもよい。例えば、利用者が一の資格試験を突破したため、その一の資格試験用の市販の辞書の学習用単語を辞書の第1領域に含めたくない場合には、他の市販の辞書として、その一の資格試験用の市販の辞書を指定してもよい。表示変更部137は、このように指定された他の市販の辞書の学習用単語を除外単語として、対象字幕に含まれる学習用単語が除外単語であるか否かを判定してもよい。そして、表示変更部137は、対象字幕に含まれる学習用単語が他の市販の辞書の学習用単語でない場合に、その学習用単語の表示の態様を変更してもよい。このように、表示変更部137は、利用者が記憶したい単語を指定するための市販の辞書と、利用者が記憶したい単語に含めたくない単語を指定するための市販の辞書との2種類の市販の辞書の指定に基づいて、対象字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、学習用単語を指定するための市販の辞書と同様に、他の市販の辞書も複数指定されてもよい。
(抽出部132A)
抽出部132Aは、抽出部132と同様の情報を抽出する。また、抽出部132Aは、表示変更部137により表示の態様が変更された学習用単語を、対象字幕が表示中に利用者が選択した場合に、その学習用単語とその対象字幕とを抽出する。例えば、抽出部132Aは、表示の態様が変更された学習用単語が、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれるか否かを判定し、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれると判定した場合に、その学習用単語と、その学習用単語を含む対象字幕とを抽出する。そして、生成部133は、抽出部132Aにより抽出された学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132Aにより抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した学習用単語をまとめた辞書を生成する。
〔9.情報処理のフロー〕
次に、図17を用いて、実施形態2に係る情報処理システム1Aによる情報処理の手順について説明する。図17は、実施形態2に係る情報処理システム1Aによる情報処理の手順を示すフローチャートである。
図17に示すように、記憶支援装置100Aは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定する(ステップS401)。
記憶支援装置100Aは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場すると判定した場合(ステップS401;YES)、学習用単語が登場する対象字幕の表示中、対象字幕に含まれる学習用単語の表示の態様を変更する(ステップS402)。一方、記憶支援装置100Aは、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場しないと判定した場合(ステップS401;NO)、情報処理を終了する。
記憶支援装置100Aは、表示の態様が変更された学習用単語を、対象字幕が表示中に利用者が選択したか否かを判定する(ステップS403)。
記憶支援装置100Aは、表示の態様が変更された学習用単語を、対象字幕が表示中に利用者が選択したと判定した場合(ステップS403;YES)、利用者が選択した学習用単語と、利用者が選択した学習用単語を含む対象字幕とを抽出する(ステップS404)。一方、記憶支援装置100Aは、表示の態様が変更された学習用単語を、対象字幕が表示中に利用者が選択しなかったと判定した場合(ステップS403;NO)、情報処理を終了する。
記憶支援装置100Aは、抽出された学習用単語を、利用者が視聴中の映像動画に表示される字幕の中で、抽出された対象字幕が表示される表示順が早いほど上位になるように、利用者が視聴中の映像動画に対応して生成された辞書の第1領域に追加し、抽出された対象字幕を、利用者が視聴中の映像動画に対応して生成された辞書の第2領域に追加することで辞書を更新する(ステップS405)。
〔10.変形例〕
上述した実施形態2に係る情報処理システム1Aは、上記実施形態2以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1Aの他の実施形態について説明する。
(変形例4:他の学習用単語の表示の態様を変更する)
実施形態2では、表示変更部137が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合に、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更する場合を示した。しかしながら、例えば、利用者が特定の市販の辞書の学習用単語を熟達したため、特定の市販の辞書に登場しなかった単語を記憶したいといった要望を抱く場合もあり得る。例えば、利用者が一の資格試験を突破するために、一の資格試験用の特定の市販の辞書の学習用単語を熟達している場合には、その特定の市販の辞書に登場しなかった単語や、一の資格試験用の他の特定の市販の辞書に登場する学習用単語を記憶したいといった要望を抱く場合もあり得る。このように、利用者が学習済みの市販の辞書に登場しなかった単語を記憶したいといった要望を抱く場合もあり得る。ここで、利用者が視聴中の映像動画の字幕に含まれる、利用者が予め指定した市販の辞書の学習用単語ではない単語を、以下、適宜、「他の学習用単語」とする。
表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書に登場しない他の学習用単語が登場する場合には、他の学習用単語が登場する字幕の表示中、その字幕に含まれる他の学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が予め指定した複数の市販の辞書のいずれにも含まれない他の学習用単語の表示の態様を変更してもよい。そして、抽出部132Aは、表示変更部137により表示の態様が変更された他の学習用単語を、その他の学習用単語が登場する字幕が表示中に利用者が選択した場合に、その他の学習用単語とその字幕とを抽出する。例えば、抽出部132Aは、表示の態様が変更された他の学習用単語が、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれるか否かを判定し、利用者が映像動画を視聴中に画面上で表示させた表示枠に含まれると判定した場合に、その他の学習用単語と、その他の学習用単語を含む字幕とを抽出する。そして、生成部133は、抽出部132Aにより抽出された他の学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132Aにより抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した他の学習用単語をまとめた辞書を生成する。
(変形例5:辞書を指定することで利用者が視聴中の映像動画の辞書を自動で生成する)
実施形態2では、抽出部132Aが、表示変更部137により表示の態様が変更された単語(学習用単語、他の学習用単語)を、その単語が登場する字幕が表示中に利用者が選択した場合に、その単語とその字幕とを抽出する場合を示した。ここで、抽出部132Aは、利用者が視聴中の映像動画の字幕に登場する、利用者が予め指定した市販の辞書の学習用単語と、その学習用単語を含む字幕との全ての組み合わせ、若しくは、利用者が視聴中の映像動画の字幕に登場する、利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語と、その他の学習用単語を含む字幕との全ての組み合わせを自動で抽出してもよい。例えば、取得部131Aは、利用者が映像動画を視聴し始めることで、利用者が視聴し始めた映像動画の字幕全体に関する情報を取得し、抽出部132Aは、取得部131Aにより取得された字幕全体に関する情報に基づいて、字幕全体と利用者が予め指定した市販の辞書の学習用単語とを照合することで、学習用単語と字幕との組み合わせ、若しくは、他の学習用単語と字幕との組み合わせの抽出を行ってもよい。この際、取得部131Aは、利用者が視聴し始めた映像動画の一部に付されたコード情報(例えば、QRコード(登録商標))を利用者が読み取る(スキャンする)ことで、利用者が視聴し始めた映像動画として特定された映像動画の字幕全体に関する情報を取得してもよい。例えば、取得部131Aは、利用者が視聴し始めた映像動画の本編、オープニングアニメーション(映像動画のオープニング用のアニメーション)又はエンディングアニメーション(映像動画のエンディング用のアニメーション)に付されたコード情報を利用者が端末装置10で読み取ることで、利用者が視聴し始めた映像動画を特定し、特定した映像動画の字幕全体に関する情報を取得してもよい。なお、利用者が視聴し始めた映像動画の一部に付されたコード情報を利用者が端末装置10で読み取る場合には、映像動画は外部の情報処理装置(例えば、表示装置)等で表示される。
(変形例6:利用者のために生成された辞書を指定する)
実施形態2では、利用者が記憶したい単語を指定するための辞書として、市販の辞書を指定する場合を示した。具体的には、表示変更部137が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かに基づいて、その字幕に含まれる学習用単語の表示の態様を変更する場合を示した。ここで、利用者は、利用者が記憶したい単語を指定するための辞書として、生成部133によって生成された辞書を指定してもよい。例えば、利用者は、利用者が記憶したい単語を指定するための辞書として、「〇×〇×YY1」の映像動画から生成された辞書(例えば、辞書D1など)を指定してもよい。表示変更部137は、利用者が「〇×〇×YY1」の映像動画から生成された辞書を指定した場合には、利用者が視聴中の映像動画の字幕に、「〇×〇×YY1」の映像動画から生成された辞書の学習用単語(第1領域に追加された学習用単語)が登場するか否かに基づいて、その字幕に含まれる学習用単語の表示の態様を変更してもよい。このように、表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した生成部133によって生成された辞書の学習用単語が登場する場合に、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者は、映像動画を指定することで、利用者が記憶したい単語を指定するための辞書を指定してもよい。例えば、利用者は、「〇×〇×YY1」の映像動画を指定することで、利用者が記憶したい単語を指定するための辞書として、「〇×〇×YY1」の映像動画から生成された辞書を指定してもよい。表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した映像動画から生成された辞書の学習用単語が登場する場合に、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更してもよい。
変形例4では、表示変更部137が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かに基づいて、その字幕に含まれる他の学習用単語の表示の態様を変更する場合を示した。表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した生成部133によって生成された辞書の学習用単語が登場しない場合に、他の学習用単語が登場する字幕の表示中、その字幕に含まれる他の学習用単語の表示の態様を変更してもよい。例えば、表示変更部137は、利用者が「〇×〇×YY1」の映像動画から生成された辞書を指定した場合には、利用者が視聴中の映像動画の字幕に、「〇×〇×YY1」の映像動画から生成された辞書の学習用単語が登場しない場合に、その字幕に含まれる他の学習用単語の表示の態様を変更してもよい。また、表示変更部137は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した映像動画から生成された辞書の学習用単語が登場しない場合に、他の学習用単語が登場する字幕の表示中、その字幕に含まれる他の学習用単語の表示の態様を変更してもよい。
実施形態2では、利用者が記憶したい単語に含めたくない単語を指定するための辞書として、市販の辞書を指定する場合を示した。具体的には、表示変更部137が、対象字幕に含まれる学習用単語が、除外単語を指定するために利用者が予め指定した市販の辞書(他の市販の辞書)の学習用単語であるか否かに基づいて、その対象字幕に含まれる学習用単語の表示の態様を変更する場合を示した。ここで、利用者は、利用者が記憶したい単語に含めたくない単語を指定するための辞書として、生成部133によって生成された辞書を指定してもよい。例えば、利用者は、利用者が記憶したい単語に含めたくない単語を指定するための辞書として、「〇×〇×YY1」の映像動画から生成された辞書を指定してもよい。表示変更部137は、利用者が「〇×〇×YY1」の映像動画から生成された辞書を指定した場合には、対象字幕に含まれる学習用単語が、「〇×〇×YY1」の映像動画から生成された辞書の学習用単語であるか否かに基づいて、その対象字幕に含まれる学習用単語の表示の態様を変更してもよい。このように、表示変更部137は、対象字幕に含まれる学習用単語が、利用者が予め指定した生成部133によって生成された辞書の学習用単語でない場合に、その対象字幕の表示中、その対象字幕に含まれる学習用単語の表示の態様を変更してもよい。なお、利用者は、映像動画を指定することで、利用者が記憶したい単語に含めたくない単語を指定するための辞書を指定してもよい。例えば、利用者は、「〇×〇×YY1」の映像動画を指定することで、利用者が記憶したい単語に含めたくない単語を指定するための辞書として、「〇×〇×YY1」の映像動画から生成された辞書を指定してもよい。表示変更部137は、対象字幕に含まれる学習用単語が、利用者が予め指定した映像動画から生成された辞書の学習用単語でない場合に、その対象字幕の表示中、その対象字幕に含まれる学習用単語の表示の態様を変更してもよい。
(実施形態3)
〔11.はじめに〕
実施形態2において、利用者が学習目標に応じて対象となる単語の学習が可能な字幕を、映像動画の視聴中でも簡単に特定したいといった要望を抱く場合もあり得る。例えば、利用者が特定の資格試験の突破を学習目標とする場合には、特定の資格試験で対象となる単語の学習が可能な字幕を、映像動画の視聴中でも簡単に特定したいといった要望を抱く場合もあり得る。
実施形態3は、上記に鑑みてなされたものであって、利用者の学習目標に沿って利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
〔12.情報処理システムの構成〕
図18に示す情報処理システム1Bについて説明する。図18に示すように、情報処理システム1Bは、端末装置10と、表示装置20と、記憶支援装置100Bと、映像動画配信サーバ200とが含まれる。端末装置10と、表示装置20と、記憶支援装置100Bと、映像動画配信サーバ200とは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。図18は、実施形態3に係る情報処理システム1Bの構成例を示す図である。実施形態3では、上記実施形態(実施形態1又は実施形態2)と同様の説明は適宜省略する。
端末装置10は、利用者の操作に応じてカメラを起動させ、カメラが向けられた画角で撮影可能な範囲に含まれるコード情報を読み取る。例えば、端末装置10は、カメラが表示装置20に向けられた場合には、表示装置20の画面に表示されたコード情報を読み取る。実施形態3では、利用者が映像動画のオープニングアニメーションの視聴時に、カメラを表示装置20に向けることで、オープニングアニメーションに付されたコード情報を読み取る。そして、端末装置10は、読み取ったコード情報を記憶支援装置100Bへ送信する。また、端末装置10は、記憶支援装置100Bにより生成された辞書を表示する。
表示装置20は、映像動画配信サーバ200から配信された映像動画を表示するための情報処理装置である。表示装置20は、実施形態3における処理を実現可能であれば、どのような装置であってもよい。また、表示装置20は、スマートフォンや、タブレット型端末や、ノート型PCや、デスクトップPCや、携帯電話機や、PDA等の装置であってもよい。また、表示装置20は、テレビであってもよい。例えば、表示装置20は、ショッピングセンターなどの展示用のテレビであってもよい。
表示装置20は、例えば、スマートフォンやタブレット等のスマートデバイスであり、4G~6GやLTE等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、表示装置20は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、表示装置20の管理者や利用者などから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受け付けてもよい。
記憶支援装置100Bは、利用者の学習目標に沿って利用者が記憶したい単語を効果的に記憶させ易くすることを目的とした情報処理装置である。記憶支援装置100Bは、実施形態3における処理を実現可能であれば、どのような装置であってもよい。例えば、記憶支援装置100Bは、サーバ装置やクラウドシステム等により実現される。
映像動画配信サーバ200は、映像動画を配信するための情報処理装置である。映像動画配信サーバ200は、利用者が学習中の言語に翻訳された字幕付きの映像動画を配信する。例えば、映像動画配信サーバ200は、利用者が学習中の言語が英語である場合には、利用者の言語で発話された音声とともに英語に翻訳された字幕が表示される映像動画を配信する。例えば、映像動画配信サーバ200は、映像動画の映像動画データとともに映像動画で表示される字幕情報を配信する。また、映像動画配信サーバ200は、映像動画の本編、映像動画のオープニングアニメーション及び映像動画のエンディングアニメーションの少なくともいずれか一部にコード情報を表示させるために、映像動画の映像動画データ及び字幕情報とともにコード情報を配信する。映像動画配信サーバ200は、実施形態3における処理を実現可能であれば、どのような装置であってもよい。例えば、映像動画配信サーバ200は、サーバ装置やクラウドシステム等により実現される。
映像動画配信サーバ200は、表示装置20の管理者から映像動画の配信要求を受け付け、表示装置20の管理者から配信が要求された映像動画を表示装置20へ配信する。この場合、映像動画配信サーバ200は、表示装置20から送信された配信要求を受信する。また、映像動画配信サーバ200は、利用者から映像動画の配信要求を受け付け、利用者から配信が要求された映像動画を表示装置20へ配信してもよい。この場合、映像動画配信サーバ200は、端末装置10から送信された配信要求を受信する。なお、映像動画配信サーバ200は、利用者が表示装置20の管理者である場合には、表示装置20から送信された利用者の映像動画の配信要求を受信してもよい。また、映像動画配信サーバ200は、記憶支援装置100Bの管理者が指定した映像動画を表示装置20へ配信してもよい。また、映像動画配信サーバ200は、映像動画配信サーバ200の管理者が指定した映像動画を表示装置20へ配信してもよい。また、映像動画配信サーバ200は、テレビ放送枠に従って予め指定された映像動画を表示装置20へ配信してもよい。
ここで、実施形態3に係る映像動画配信サーバ200の記憶部について説明する。映像動画配信サーバ200は、映像動画記憶部220を有する。映像動画記憶部220は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。
映像動画記憶部220は、映像動画に関する情報を記憶する。図19に、実施形態3に係る映像動画記憶部220の一例を示す。図19は、実施形態3に係る映像動画記憶部220の一例を示す図である。図19に示すように、映像動画記憶部220は、「映像動画ID」、「映像動画」、「字幕」、「コード情報1(本編用)」、「コード情報2(OP用)」、「コード情報3(ED用)」といった項目を有する。
「映像動画ID」は、映像動画を識別するための識別情報を示す。「映像動画」は、映像動画を示す。図19に示した例では、「映像動画」に「映像動画#1」や「映像動画#2」といった概念的な情報が格納される例を示したが、実際には、映像動画の映像動画データが映像動画ごとに格納される。また、「映像動画」には、例えば、映像動画データが所在するURL(Uniform Resource Locator)や、格納場所を示すファイルパス名などの情報が格納されてもよい。「字幕」は、映像動画で表示される字幕を示す。図19に示した例では、「字幕」に「字幕#1」や「字幕#2」といった概念的な情報が格納される例を示したが、実際には、字幕を構成する単語情報が字幕ごとに格納される。また、「字幕」には、字幕とともに映像動画において字幕が表示されるタイミングなどの情報が格納されてもよい。例えば、「字幕」には、「字幕#1」の字幕が映像動画の開始から1分後に5秒間表示される場合には、その字幕が映像動画の開始から1分後に5秒間表示されることを特定するタイミングなどの情報が格納されてもよい。例えば、「字幕」には、1:00~1:05などの情報が格納されてもよい。「コード情報1(本編用)」は、映像動画の本編用のコード情報を示す。具体的には、「コード情報1(本編用)」は、利用者が映像動画を視聴時に、利用者が視聴中の映像動画の本編とともに表示装置20の画面に表示されるコード情報を示す。図19に示した例では、「コード情報1(本編用)」に「コード情報#11」や「コード情報#12」といった概念的な情報が格納される例を示したが、実際には、QRコード(登録商標)などのコード情報が映像動画ごとに格納される。「コード情報1(本編用)」のコード情報が読み取られることで、利用者が視聴中の映像動画が特定されるとともに、利用者が映像動画の本編を視聴時に映像動画の本編に付されたコード情報を読み取ったことが特定される。「コード情報2(OP用)」は、映像動画のオープニングアニメーション用のコード情報を示す。具体的には、「コード情報2(OP用)」は、利用者が映像動画を視聴時に、利用者が視聴中の映像動画のオープニングアニメーションとともに表示装置20の画面に表示されるコード情報を示す。図19に示した例では、「コード情報2(OP用)」に「コード情報#21」や「コード情報#22」といった概念的な情報が格納される例を示したが、実際には、QRコード(登録商標)などのコード情報が映像動画ごとに格納される。「コード情報2(OP用)」のコード情報が読み取られることで、利用者が視聴中の映像動画が特定されるとともに、利用者が映像動画のオープニングアニメーションを視聴時に映像動画のオープニングアニメーションに付されたコード情報を読み取ったことが特定される。「コード情報3(ED用)」は、映像動画のエンディングアニメーション用のコード情報を示す。具体的には、「コード情報3(ED用)」は、利用者が映像動画を視聴時に、利用者が視聴中の映像動画のエンディングアニメーションとともに表示装置20の画面に表示されるコード情報を示す。図19に示した例では、「コード情報3(ED用)」に「コード情報#31」や「コード情報#32」といった概念的な情報が格納される例を示したが、実際には、QRコード(登録商標)などのコード情報が映像動画ごとに格納される。「コード情報3(ED用)」のコード情報が読み取られることで、利用者が視聴中の映像動画が特定されるとともに、利用者が映像動画のエンディングアニメーションを視聴時に映像動画のエンディングアニメーションに付されたコード情報を読み取ったことが特定される。
すなわち、図19では、映像動画ID「M1」によって識別される映像動画の映像動画データが「映像動画#1」であり、映像動画で表示される字幕が「字幕#1」、「字幕#2」、・・・、「字幕#N」であり、映像動画の本編で表示されるコード情報が「コード情報#11」であり、映像動画のオープニングアニメーションで表示されるコード情報が「コード情報#21」であり、映像動画のエンディングアニメーションで表示されるコード情報が「コード情報#31」である例を示す。
なお、図19では、映像動画記憶部220が、「コード情報1(本編用)」、「コード情報2(OP用)」、「コード情報3(ED用)」といった項目を有し、映像動画の本編用のコード情報や、映像動画のオープニングアニメーション用のコード情報や、映像動画のエンディングアニメーション用のコード情報を記憶する場合を示したが、この例に限られない。映像動画記憶部220は、映像動画の配信要求を受信するごとに、映像動画の配信時に配信先の表示装置20の情報を含めたコード情報を発行してもよい。具体的には、映像動画記憶部220は、映像動画の配信要求を受信するごとに、映像動画の配信時に配信先の表示装置20の情報を含めた、映像動画の本編用、映像動画のオープニングアニメーション用及び映像動画のエンディングアニメーション用の3種類のコード情報を発行してもよい。
なお、図18では、端末装置10と記憶支援装置100Bが別装置である場合を示したが、端末装置10と記憶支援装置100Bは一体であってもよい。また、表示装置20と映像動画配信サーバ200が別装置である場合を示したが、表示装置20と映像動画配信サーバ200は一体であってもよい。また、記憶支援装置100Bと映像動画配信サーバ200が別装置である場合を示したが、記憶支援装置100Bと映像動画配信サーバ200は一体であってもよい。
〔13.記憶支援装置の構成〕
次に、図20を用いて、実施形態3に係る記憶支援装置100Bの構成について説明する。図20は、実施形態3に係る記憶支援装置100Bの構成例を示す図である。図20に示すように、記憶支援装置100Bは、通信部110と、記憶部120Aと、制御部130Bとを有する。なお、記憶支援装置100Bは、記憶支援装置100Bの管理者から各種操作を受け付ける入力部や、各種情報を表示するための表示部を有してもよい。なお、通信部110及び記憶部120Aは、上記実施形態(実施形態1又は実施形態2)と同様のため説明を省略する。
(制御部130B)
制御部130Bは、コントローラであり、例えば、CPUやMPU等によって、記憶支援装置100B内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130Bは、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
図20に示すように、制御部130Bは、取得部131Bと、抽出部132Bと、生成部133と、更新部134と、表示部135と、提案部136と、表示制御部138とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130Bの内部構成は、図20に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、生成部133、更新部134、表示部135及び提案部136は、上記実施形態と同様のため説明を省略する。
(取得部131B)
取得部131Bは、取得部131又は取得部131Aと同様の情報を取得する。また、取得部131Bは、利用者が表示装置20の画面に表示されたコード情報を端末装置10で読み取ることで端末装置10から送信されたコード情報を取得する。また、取得部131Bは、取得したコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の字幕(又は取得したコード情報に紐づき予め定められた字幕)に関する情報を取得する。例えば、取得部131Bは、映像動画の本編で表示される字幕に関する情報を取得する。なお、取得部131Bは、映像動画の本編で表示される字幕全体のうち一部の字幕に関する情報を取得してもよい。
取得部131Bは、後述の表示制御部138で制御情報を送信する送信先の表示装置20を特定するために、利用者が端末装置10でコード情報を読み取った表示装置20の情報を取得する。例えば、取得部131Bは、取得したコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の情報を映像動画配信サーバ200へ送信し、映像動画配信サーバ200がその映像動画を配信した(若しくは配信中の)配信先の表示装置20の情報を記憶支援装置100Bへ送信することで、利用者が端末装置10でコード情報を読み取った表示装置20の情報を取得する。なお、取得部131Bは、映像動画配信サーバ200がその映像動画を配信した(若しくは配信中の)配信先の表示装置20が複数ある場合には、端末装置10の位置情報と、その複数の表示装置20のそれぞれの位置情報とに基づいて、端末装置10から所定の範囲内に位置する(例えば、端末装置10に最も近く位置する)表示装置20を特定し、その特定された表示装置20の情報を取得する。なお、映像動画配信サーバ200が、端末装置10の位置情報と、その複数の表示装置20のそれぞれの位置情報とに基づいて、端末装置10から所定の範囲内に位置する表示装置20を特定し、その特定された表示装置20の情報を記憶支援装置100Bへ送信することで、取得部131Bは、その特定された表示装置20の情報を取得してもよい。また、取得部131Bは、映像動画配信サーバ200が映像動画の配信要求を受信するごとに、映像動画の配信時に配信先の表示装置20の情報を含めたコード情報を発行する場合には、取得したコード情報から、利用者が端末装置10でコード情報を読み取った表示装置20の情報を取得する。
(表示制御部138)
表示制御部138は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕のみを表示させるための制御情報を送信する。具体的には、表示制御部138は、取得部131Bにより取得されたコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕のみを表示させるための制御情報を送信する。なお、表示制御部138は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定し、登場すると判定した場合には、その学習用単語と、その学習用単語が登場する字幕とを予め特定しておくことで、学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。また、表示制御部138は、利用者が市販の辞書を複数指定した場合も同様に、利用者が予め指定した複数の市販の辞書のうち少なくともいずれかの辞書の学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。
表示制御部138は、例えば、利用者が視聴中の映像動画の「字幕#1」の字幕に学習用単語が登場し、利用者が視聴中の映像動画の「字幕#2」の字幕に学習用単語が登場しない場合には、利用者がその映像動画を視聴中、「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を送信する。例えば、「字幕#1」の字幕が映像動画の開始から1分後に5秒間表示されるように予め定められた字幕であり、「字幕#2」の字幕が映像動画の開始から1分10秒後に5秒間表示されるように予め定められた字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、利用者が予め指定した市販の辞書の学習用単語が登場する字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。
表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕である場合に、その字幕を表示させ、且つ、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕でない場合に、その字幕を表示させなくするための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定し、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であると判定した字幕を表示させ、且つ、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕でないと判定した字幕を表示させなくするための制御情報を送信してもよい。例えば、「字幕#1」の字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であると判定された字幕であり、「字幕#2」の字幕が、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕でないと判定された字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、利用者が予め指定した市販の辞書の学習用単語が登場する字幕であり、且つ、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。なお、利用者が視聴中の映像動画のメインキャラクターの発話に対応した字幕であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕を表示させ、且つ、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に、その字幕を表示させなくするための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定し、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定した字幕を表示させ、且つ、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定した字幕を表示させなくするための制御情報を送信してもよい。例えば、「字幕#1」の字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定された字幕であり、「字幕#2」の字幕が、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定された字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、利用者が予め指定した市販の辞書の学習用単語が登場する字幕であり、且つ、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。なお、利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、他の利用者(利用者が視聴中の映像動画から辞書を生成した他の利用者、映像動画の一覧が利用者と類似する他の利用者)の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、その字幕を表示させ、且つ、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に、その字幕を表示させなくするための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が予め指定した市販の辞書の学習用単語が登場する字幕が、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定し、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定した字幕を表示させ、且つ、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定した字幕を表示させなくするための制御情報を送信してもよい。例えば、「字幕#1」の字幕が、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であると判定された字幕であり、「字幕#2」の字幕が、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でないと判定された字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、利用者が予め指定した市販の辞書の学習用単語が登場する字幕であり、且つ、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。なお、他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
表示制御部138は、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕(利用者が予め指定した市販の辞書の学習用単語が登場する字幕)のみを表示させるための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が視聴中の映像動画が、利用者の嗜好に沿った特徴の映像動画であるか否かを判定し、利用者の嗜好に沿った特徴の映像動画であると判定した場合に、対象字幕のみを表示させるための制御情報を送信してもよい。なお、利用者の嗜好に沿った特徴の映像動画であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
表示制御部138は、利用者が視聴中の映像動画が、他の利用者の嗜好に沿った特徴の映像動画である場合に、対象字幕のみを表示させるための制御情報を送信してもよい。具体的には、表示制御部138は、利用者が視聴中の映像動画が、他の利用者の嗜好に沿った特徴の映像動画であるか否かを判定し、他の利用者の嗜好に沿った特徴の映像動画であると判定した場合に、対象字幕のみを表示させるための制御情報を送信してもよい。なお、他の利用者の嗜好に沿った特徴の映像動画であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。
表示制御部138は、対象字幕に含まれる学習用単語が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語でない場合に、その対象字幕を表示させ、且つ、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語である場合に、その対象字幕を表示させなくするための制御情報を送信してもよい。具体的には、表示制御部138は、対象字幕に含まれる学習用単語が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語であるか否かを判定し、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語でないと判定した学習用単語が登場する対象字幕を表示させ、且つ、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語であると判定した学習用単語が登場する対象字幕を表示させなくするための制御情報を送信してもよい。例えば、「字幕#1」の字幕が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語でないと判定された学習用単語が登場する対象字幕であり、「字幕#2」の字幕が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語であると判定された学習用単語が登場する対象字幕である場合には、表示制御部138が「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を表示装置20へ送信すると、映像動画の開始から1分後に5秒間、表示装置20の画面に「字幕#1」の字幕は表示されるが、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に字幕は表示されなくなる。なお、映像動画の開始から1分10秒後に5秒間表示されるように予め定められた「字幕#3」の字幕が、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語でない学習用単語が登場する対象字幕である場合には、映像動画の開始から1分10秒後に5秒間、表示装置20の画面に「字幕#2」の字幕は表示されなくても、「字幕#3」の字幕は表示される。なお、辞書を生成するために第1領域に追加しない除外単語として予め指定された単語であるか否かを判定するための詳細などは、実施形態2と同様のため説明を省略する。また、表示制御部138は、利用者が除外単語を指定するために、学習用単語を指定するための市販の辞書とは異なる他の市販の辞書を指定することで、他の市販の辞書の学習用単語を除外単語として、対象字幕に含まれる学習用単語が除外単語であるか否かを判定する場合には、対象字幕に含まれる学習用単語が、除外単語を指定するために利用者が指定した他の市販の辞書の学習用単語でない場合に、その対象字幕を表示させ、且つ、除外単語を指定するために利用者が指定した他の市販の辞書の学習用単語である場合に、その対象字幕を表示させなくするための制御情報を送信してもよい。
(抽出部132B)
抽出部132Bは、抽出部132又は抽出部132Aと同様の情報を抽出する。また、抽出部132Bは、表示制御部138により送信された制御情報が表示の対象とする対象字幕と、その対象字幕に含まれる学習用単語とを抽出する。すなわち、抽出部132Bは、表示制御部138により送信された制御情報に基づき表示装置20の画面に表示される字幕と、その字幕に含まれる学習用単語とを抽出する。なお、抽出部132Bは、表示制御部138の制御情報の送信の情報処理よりも先に抽出の情報処理を実行してもよいし、表示制御部138の制御情報の送信の情報処理と並行して(又は同時に)抽出の情報処理を実行してもよい。このため、抽出部132Bは、表示制御部138により送信される制御情報が表示の対象とする対象字幕と、その対象字幕に含まれる学習用単語とを抽出してもよい。換言すると、表示制御部138は、抽出部132Bにより抽出された学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。そして、生成部133は、抽出部132Bにより抽出された学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132Bにより抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画の字幕に登場する学習用単語をまとめた利用者のための辞書を生成する。なお、抽出部132Bの場合と同様に、生成部133は、表示制御部138の制御情報の送信の情報処理よりも先に生成の情報処理を実行してもよいし、表示制御部138の制御情報の送信の情報処理と並行して(又は同時に)生成の情報処理を実行してもよい。このため、表示制御部138は、生成部133により生成された辞書に含まれる学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。
抽出部132Bは、抽出部132Bにより抽出された学習用単語の登場時に表示される映像画像を抽出してもよい。例えば、抽出部132Bは、学習用単語とともに抽出された字幕情報を映像動画配信サーバ200へ送信し、映像動画配信サーバ200が、受信した字幕情報に基づきその字幕が表示されるタイミングの映像画像を抽出し記憶支援装置100Bへ送信することで、学習用単語の登場時に表示される映像画像を抽出してもよい。例えば、抽出部132Bが「字幕#1」の字幕情報を映像動画配信サーバ200へ送信した場合には、映像動画配信サーバ200は、映像動画の開始1分から開始1分5秒までに表示される映像画像の中から映像画像を抽出する。そして、抽出部132Bは、映像動画配信サーバ200から送信された映像画像を取得することで、学習用単語の登場時に表示される映像画像を抽出してもよい。また、抽出部132Bは、抽出部132Bにより抽出された学習用単語の登場時に表示される映像画像の場面中に表示される映像画像のうち印象的な映像画像を抽出してもよい。例えば、抽出部132Bは、学習用単語とともに抽出された字幕情報を映像動画配信サーバ200へ送信し、映像動画配信サーバ200が、受信した字幕情報に基づきその字幕が表示される映像動画中の場面を特定し、その場面中で表示される映像画像の中から印象的な映像画像を抽出し記憶支援装置100Bへ送信することで、学習用単語の登場時に表示される映像画像の場面中に表示される映像画像のうち印象的な映像画像を抽出してもよい。例えば、抽出部132Bが「字幕#1」の字幕情報を映像動画配信サーバ200へ送信した場合には、映像動画配信サーバ200は、映像動画の開始1分から開始1分5秒までに表示される映像画像の映像動画中の場面を特定し、その場面が次の場面へ遷移するまでに表示される映像画像の中から印象的な映像画像を抽出する。例えば、映像動画配信サーバ200は、その場面が映像動画の開始から5分で次の場面へ遷移する場合には、映像動画の開始から5分までに表示される映像画像の中から印象的な映像画像を抽出する。そして、抽出部132Bは、映像動画配信サーバ200から送信された映像画像を取得することで、学習用単語の登場時に表示される映像画像の場面中に表示される映像画像のうち印象的な映像画像を抽出してもよい。また、生成部133は、抽出部132Bにより抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加することで、利用者が視聴中の映像動画の字幕に登場する学習用単語をまとめた利用者のための辞書を生成してもよい。また、表示部135は、更新部134により更新された学習用単語の順序に応じた順番で、学習用単語の登場時に表示された映像画像を表示させてもよい。例えば、表示部135は、「字幕#1」の字幕が学習用単語とともに辞書に追加された場合には、映像動画の開始1分から開始1分5秒までに表示された映像画像の中から抽出された映像画像を表示させてもよい。また、表示部135は、更新部134により更新された学習用単語の順序に応じた順番で、学習用単語の登場時に表示された映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させてもよい。例えば、表示部135は、「字幕#1」の字幕が学習用単語とともに辞書に追加された場合には、「字幕#1」の字幕が表示された映像画像の場面が次の場面へ遷移する映像動画の開始から5分までに表示される映像画像の中から抽出された映像画像を表示させてもよい。
〔14.情報処理のフロー〕
次に、図21及び図22を用いて、実施形態3に係る情報処理システム1Bによる情報処理の手順について説明する。図21及び図22は、実施形態3に係る情報処理システム1Bによる情報処理の手順を示すフローチャートである。実施形態3に係る情報処理システム1Bによる情報処理の手順において、図21のように、抽出又は生成の情報処理よりも先に制御情報の送信の情報処理が実行されてもよいし、図22のように、制御情報の送信の情報処理よりも先に抽出又は生成の情報処理が実行されてもよい。
図21に示すように、記憶支援装置100Bは、利用者が視聴中の映像動画のオープニングアニメーションに付されたコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定する(ステップS501)。
記憶支援装置100Bは、利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場すると判定した場合(ステップS501;YES)、学習用単語が登場する対象字幕のみを表示させるための制御情報を送信する(ステップS502)。一方、記憶支援装置100Bは、利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場しないと判定した場合(ステップS501;NO)、情報処理を終了する。
記憶支援装置100Bは、送信された制御情報が表示の対象とする対象字幕と、その対象字幕に含まれる学習用単語とを抽出する(ステップS503)。
記憶支援装置100Bは、抽出された学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出された対象字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画の字幕に登場する学習用単語をまとめた利用者のための辞書を生成する(ステップS504)。
図22に示すように、記憶支援装置100Bは、利用者が視聴中の映像動画のオープニングアニメーションに付されたコード情報に基づき利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場するか否かを判定する(ステップS601)。
記憶支援装置100Bは、利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場すると判定した場合(ステップS601;YES)、学習用単語が登場する対象字幕と、その対象字幕に含まれる学習用単語とを抽出する(ステップS602)。一方、記憶支援装置100Bは、利用者が視聴中の映像動画として特定された映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場しないと判定した場合(ステップS601;NO)、情報処理を終了する。
記憶支援装置100Bは、抽出された学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出された対象字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画の字幕に登場する学習用単語をまとめた利用者のための辞書を生成する(ステップS603)。
記憶支援装置100Bは、生成された辞書に含まれる学習用単語が登場する対象字幕のみを表示させるための制御情報を送信する(ステップS604)。
〔15.変形例〕
上述した実施形態3に係る情報処理システム1Bは、上記実施形態3以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1Bの他の実施形態について説明する。
(変形例7:学習用単語の表示の態様を変更する)
実施形態3では、表示制御部138が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕のみを表示させるための制御情報を送信する場合を示した。例えば、表示制御部138は、利用者が視聴中の映像動画の「字幕#1」の字幕に学習用単語が登場し、利用者が視聴中の映像動画の「字幕#2」の字幕に学習用単語が登場しない場合には、利用者がその映像動画を視聴中、「字幕#1」の字幕を表示させ、且つ、「字幕#2」の字幕を表示させなくするための制御情報を送信する場合を示した。しかしながら、例えば、利用者が学習目標に応じて対象となる単語の学習が可能な字幕の中でも、利用者が学習目標に応じて対象となる単語を、映像動画の視聴中でも簡単に特定し、その単語に集中したいといった要望を抱く場合もあり得る。表示制御部138は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕の表示中、その字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信してもよい。換言すると、表示制御部138は、表示の態様を変更する制御情報が対象とする対象字幕の表示中、その対象字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信してもよい。具体的には、表示制御部138は、表示を制御する制御情報が表示の対象とする対象字幕の表示中、表示の態様を制御する制御情報に基づいて、その対象字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信してもよい。この際、表示を制御する制御情報に、表示の態様を制御する制御情報が含まれてもよいし、表示の態様を制御する制御情報に、表示を制御する制御情報が含まれてもよい。また、抽出部132Bは、表示制御部138により送信された制御情報に基づき表示の態様が変更される学習用単語と、その学習用単語が登場する字幕とを抽出してもよい。また、抽出部132Bは、表示制御部138の制御情報の送信の情報処理よりも先に抽出の情報処理が実行される場合には、表示制御部138により送信される制御情報に基づき表示の態様が変更される学習用単語と、その学習用単語が登場する字幕とを抽出してもよい。
(変形例8:他の学習用単語のみを表示させる)
実施形態3では、表示制御部138が、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する字幕のみを表示させるための制御情報を送信する場合を示した。しかしながら、例えば、利用者が特定の市販の辞書の学習用単語を熟達したため、特定の市販の辞書に登場しなかった単語を記憶したいといった要望を抱く場合もあり得る。例えば、利用者が一の資格試験を突破するために、一の資格試験用の特定の市販の辞書の学習用単語を熟達している場合には、その特定の市販の辞書に登場しなかった単語や、一の資格試験用の他の特定の市販の辞書に登場する学習用単語を記憶したいといった要望を抱く場合もあり得る。このように、利用者が学習済みの市販の辞書に登場しなかった単語を記憶したいといった要望を抱く場合もあり得る。
表示制御部138は、利用者が視聴中の映像動画の字幕に、利用者が予め指定した市販の辞書に登場しない他の学習用単語が登場する場合には、他の学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。例えば、表示制御部138は、利用者が予め指定した複数の市販の辞書のいずれにも含まれない他の学習用単語が登場する字幕のみを表示させるための制御情報を送信してもよい。そして、抽出部132Bは、表示制御部138により送信された制御情報が表示の対象とする字幕と、その字幕に含まれる他の学習用単語とを抽出してもよい。すなわち、抽出部132Bは、表示制御部138により送信された制御情報に基づき表示装置20の画面に表示される字幕と、その字幕に含まれる他の学習用単語とを抽出してもよい。そして、生成部133は、抽出部132Bにより抽出された他の学習用単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132Bにより抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、利用者が視聴中の映像動画の字幕に登場する他の学習用単語をまとめた利用者のための辞書を生成してもよい。
〔16.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
なお、以下のような構成(実施形態3に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記表示制御手順は、
前記コード情報を、前記生成手順により生成された辞書を表示させる表示先の端末装置である前記利用者の端末装置で前記利用者が読み取ることで取得された前記コード情報に紐づく字幕に関する情報に基づき、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記抽出手順は、
前記利用者が視聴中の所定映像動画のエンディングアニメーションに付されたコード情報に紐づき予め定められた字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示制御手順は、
前記制御情報が表示の対象とする所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信し、
前記抽出手順は、
前記表示制御手順により送信された制御情報に基づき表示の態様が変更される学習用単語と、当該学習用単語が登場する所定字幕とを抽出する
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記表示制御手順は、
前記利用者が予め指定した複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記表示制御手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記表示制御手順は、
前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記表示制御手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記表示制御手順は、
前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(10)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(11)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(13)
前記表示制御手順は、
前記所定字幕に含まれる学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に前記所定字幕を表示させ、且つ、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(12)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(14)
前記表示制御手順は、
前記所定字幕に含まれる学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に前記所定字幕を表示させ、且つ、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(13)に記載のアニメーション作品を用いた記憶支援プログラム。
(15)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)~(14)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(16)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された学習用単語の順序に応じた順番で、当該学習用単語の登場時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)~(15)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(17)
前記表示手順は、
前記学習用単語の登場時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(18)
前記抽出手順は、
前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該学習用単語を重畳させることで、当該映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(19)
前記抽出手順は、
前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(20)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(19)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(21)
前記提案手順は、
前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(22)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(21)に記載のアニメーション作品を用いた記憶支援プログラム。
(23)
前記提案手順は、
前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(24)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(23)に記載のアニメーション作品を用いた記憶支援プログラム。
(25)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(24)に記載のアニメーション作品を用いた記憶支援プログラム。
(26)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御工程と、
前記表示制御工程により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(27)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御部と、
前記表示制御部により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出部と、
前記抽出部により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(28)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
また、以下のような構成(変形例8に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する他の学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記表示制御手順は、
前記コード情報を、前記生成手順により生成された辞書を表示させる表示先の端末装置である前記利用者の端末装置で前記利用者が読み取ることで取得された前記コード情報に紐づく字幕に関する情報に基づき、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記抽出手順は、
前記利用者が視聴中の所定映像動画のエンディングアニメーションに付されたコード情報に紐づき予め定められた字幕に、前記利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示制御手順は、
前記制御情報が表示の対象とする所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更するための制御情報を送信し、
前記抽出手順は、
前記表示制御手順により送信された制御情報に基づき表示の態様が変更される他の学習用単語と、当該他の学習用単語が登場する所定字幕とを抽出する
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記表示制御手順は、
前記利用者が予め指定した複数の市販の辞書のいずれにも含まれない他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記表示制御手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記表示制御手順は、
前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記表示制御手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記表示制御手順は、
前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(10)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記表示制御手順は、
前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
前記(1)~(11)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(13)
前記表示制御手順は、
前記所定字幕に含まれる他の学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に前記所定字幕を表示させ、且つ、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(1)~(12)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(14)
前記表示制御手順は、
前記所定字幕に含まれる他の学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に前記所定字幕を表示させ、且つ、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
前記(13)に記載のアニメーション作品を用いた記憶支援プログラム。
(15)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)~(14)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(16)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された他の学習用単語の順序に応じた順番で、当該他の学習用単語の登場時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)~(15)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(17)
前記表示手順は、
前記他の学習用単語の登場時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(18)
前記抽出手順は、
前記他の学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された他の学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該他の学習用単語を重畳させることで、当該映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(19)
前記抽出手順は、
前記他の学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(16)に記載のアニメーション作品を用いた記憶支援プログラム。
(20)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(19)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(21)
前記提案手順は、
前記所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(22)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(21)に記載のアニメーション作品を用いた記憶支援プログラム。
(23)
前記提案手順は、
前記所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(24)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(23)に記載のアニメーション作品を用いた記憶支援プログラム。
(25)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(24)に記載のアニメーション作品を用いた記憶支援プログラム。
(26)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御工程と、
前記表示制御工程により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する抽出工程と、
前記抽出工程により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する他の学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(27)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御部と、
前記表示制御部により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する抽出部と、
前記抽出部により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する他の学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(28)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる他の学習用単語とを抽出する抽出手順と、
前記抽出手順により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する他の学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
また、以下のような構成(実施形態2に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更手順と、
前記表示変更手順により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記表示変更手順は、
前記利用者が予め指定した複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語の表示の態様を変更する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記表示変更手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示変更手順は、
前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記表示変更手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記表示変更手順は、
前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる学習用単語の表示の態様を変更する
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記表示変更手順は、
前記所定字幕に含まれる学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に、当該学習用単語の表示の態様を変更する
前記(1)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記表示変更手順は、
前記所定字幕に含まれる学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に、当該学習用単語の表示の態様を変更する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)~(11)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(13)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された学習用単語の順序に応じた順番で、当該学習用単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)~(12)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(14)
前記表示手順は、
前記学習用単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(13)に記載のアニメーション作品を用いた記憶支援プログラム。
(15)
前記抽出手順は、
前記学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該学習用単語を重畳させることで、当該映像画像を表示させる
前記(13)又は(14)に記載のアニメーション作品を用いた記憶支援プログラム。
(16)
前記抽出手順は、
前記学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(13)又は(14)に記載のアニメーション作品を用いた記憶支援プログラム。
(17)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(16)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(18)
前記提案手順は、
前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(17)に記載のアニメーション作品を用いた記憶支援プログラム。
(19)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(18)に記載のアニメーション作品を用いた記憶支援プログラム。
(20)
前記提案手順は、
前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(17)~(19)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(21)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(22)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(21)に記載のアニメーション作品を用いた記憶支援プログラム。
(23)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更工程と、
前記表示変更工程により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出工程と、
前記抽出工程により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(24)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更部と、
前記表示変更部により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出部と、
前記抽出部により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(25)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更する表示変更手順と、
前記表示変更手順により表示の態様が変更された学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該学習用単語と当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
また、以下のような構成(変形例4に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更する表示変更手順と、
前記表示変更手順により表示の態様が変更された他の学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該他の学習用単語と当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した他の学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記表示変更手順は、
前記利用者が予め指定した複数の市販の辞書のいずれにも含まれない他の学習用単語の表示の態様を変更する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記表示変更手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示変更手順は、
前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(3)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記表示変更手順は、
前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(4)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記表示変更手順は、
前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(5)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(7)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記表示変更手順は、
前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、前記所定字幕に含まれる他の学習用単語の表示の態様を変更する
前記(1)~(8)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記表示変更手順は、
前記所定字幕に含まれる他の学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に、当該他の学習用単語の表示の態様を変更する
前記(1)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記表示変更手順は、
前記所定字幕に含まれる他の学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に、当該他の学習用単語の表示の態様を変更する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)~(11)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(13)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された他の学習用単語の順序に応じた順番で、当該他の学習用単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)~(12)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(14)
前記表示手順は、
前記他の学習用単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(13)に記載のアニメーション作品を用いた記憶支援プログラム。
(15)
前記抽出手順は、
前記他の学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された他の学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該他の学習用単語を重畳させることで、当該映像画像を表示させる
前記(13)又は(14)に記載のアニメーション作品を用いた記憶支援プログラム。
(16)
前記抽出手順は、
前記他の学習用単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(13)又は(14)に記載のアニメーション作品を用いた記憶支援プログラム。
(17)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(16)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(18)
前記提案手順は、
前記所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(17)に記載のアニメーション作品を用いた記憶支援プログラム。
(19)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(18)に記載のアニメーション作品を用いた記憶支援プログラム。
(20)
前記提案手順は、
前記所定辞書の前記第1領域に追加された他の学習用単語のうち一以上の他の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(17)~(19)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(21)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(20)に記載のアニメーション作品を用いた記憶支援プログラム。
(22)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(21)に記載のアニメーション作品を用いた記憶支援プログラム。
(23)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更する表示変更工程と、
前記表示変更工程により表示の態様が変更された他の学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該他の学習用単語と当該所定字幕とを抽出する抽出工程と、
前記抽出工程により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した他の学習用単語をまとめた辞書を生成する生成工程と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(24)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更する表示変更部と、
前記表示変更部により表示の態様が変更された他の学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該他の学習用単語と当該所定字幕とを抽出する抽出部と、
前記抽出部により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した他の学習用単語をまとめた辞書を生成する生成部と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(25)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕に、当該利用者が予め指定した市販の辞書の学習用単語ではない他の学習用単語が登場する場合には、他の学習用単語が登場する所定字幕の表示中、当該所定字幕に含まれる他の学習用単語の表示の態様を変更する表示変更手順と、
前記表示変更手順により表示の態様が変更された他の学習用単語を前記所定字幕が表示中に前記利用者が選択した場合に、当該他の学習用単語と当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された他の学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された他の学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した他の学習用単語をまとめた辞書を生成する生成手順と、
前記第1領域への他の学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該他の学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
また、以下のような構成(実施形態1に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示手順は、
前記単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(3)に記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記抽出手順は、
前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記抽出手順は、
前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(7)に記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(8)に記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(7)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(11)に記載のアニメーション作品を用いた記憶支援プログラム。
(13)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出工程と、
前記抽出工程により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成工程と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(14)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出部と、
前記抽出部により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成部と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(15)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
また、以下のような構成(変形例1に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出手順と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該第1領域への単語の追加に対応して前記第2領域に追加された所定字幕が表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示手順は、
前記第1領域への単語の追加に対応して前記第2領域に追加された所定字幕が表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(3)に記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記抽出手順は、
前記所定字幕が表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記抽出手順は、
前記所定字幕が表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(7)に記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(8)に記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(7)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(11)に記載のアニメーション作品を用いた記憶支援プログラム。
(13)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出工程と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成工程と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(14)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出部と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成部と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(15)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出手順と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
1、1A、1B 情報処理システム
10 端末装置
20 表示装置
100、100A、100B 記憶支援装置
110 通信部
120、120A 記憶部
121 辞書情報記憶部
122、122A 字幕情報記憶部
123 市販辞書情報記憶部
130、130A、130B 制御部
131、131A、131B 取得部
132、132A、132B 抽出部
133 生成部
134 更新部
135 表示部
136 提案部
137 表示変更部
138 表示制御部
200 映像動画配信サーバ
220 映像動画記憶部
N ネットワーク

Claims (27)

  1. 利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御手順と、
    前記表示制御手順により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出手順と、
    前記抽出手順により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成手順と、
    前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
    をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
  2. 前記表示制御手順は、
    前記コード情報を、前記生成手順により生成された辞書を表示させる表示先の端末装置である前記利用者の端末装置で前記利用者が読み取ることで取得された前記コード情報に紐づく字幕に関する情報に基づき、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  3. 前記抽出手順は、
    前記利用者が視聴中の所定映像動画のエンディングアニメーションに付されたコード情報に紐づき予め定められた字幕に、前記利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  4. 前記表示制御手順は、
    前記制御情報が表示の対象とする所定字幕の表示中、当該所定字幕に含まれる学習用単語の表示の態様を変更するための制御情報を送信し、
    前記抽出手順は、
    前記表示制御手順により送信された制御情報に基づき表示の態様が変更される学習用単語と、当該学習用単語が登場する所定字幕とを抽出する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  5. 前記表示制御手順は、
    前記利用者が予め指定した複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  6. 前記表示制御手順は、
    前記所定字幕が、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画のメインキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  7. 前記表示制御手順は、
    前記所定字幕が、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  8. 前記表示制御手順は、
    前記所定字幕が、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が視聴中の所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  9. 前記表示制御手順は、
    前記所定字幕が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕である場合に前記所定字幕を表示させ、且つ、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴のキャラクターの発話に対応した字幕でない場合に前記所定字幕を表示させなくするための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  10. 前記表示制御手順は、
    前記利用者が視聴中の所定映像動画が、前記利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  11. 前記表示制御手順は、
    前記利用者が視聴中の所定映像動画が、当該所定映像動画から前記辞書を生成した他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  12. 前記表示制御手順は、
    前記利用者が視聴中の所定映像動画が、前記利用者が前記辞書を生成した映像動画の一覧と、他の利用者が前記辞書を生成した映像動画の一覧との比較に基づき特定された、映像動画の一覧が前記利用者と類似する他の利用者の嗜好に沿った特徴の映像動画である場合に、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  13. 前記表示制御手順は、
    前記所定字幕に含まれる学習用単語が、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語でない場合に前記所定字幕を表示させ、且つ、前記辞書を生成するために前記第1領域に追加しない除外単語として予め指定された単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  14. 前記表示制御手順は、
    前記所定字幕に含まれる学習用単語が、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語でない場合に前記所定字幕を表示させ、且つ、前記除外単語を指定するために前記利用者が指定した市販の辞書の学習用単語である場合に前記所定字幕を表示させなくするための制御情報を送信する
    ことを特徴とする請求項13に記載のアニメーション作品を用いた記憶支援プログラム。
  15. 前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
    前記更新手順は、
    前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、前記学習用単語が上位に表示されるように前記生成手順により生成された辞書を更新する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  16. 前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された学習用単語の順序に応じた順番で、当該学習用単語の登場時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、
    を更に有することを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  17. 前記表示手順は、
    前記学習用単語の登場時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
    ことを特徴とする請求項16に記載のアニメーション作品を用いた記憶支援プログラム。
  18. 前記抽出手順は、
    前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
    前記生成手順は、
    前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
    前記表示手順は、
    前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された学習用単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該学習用単語を重畳させることで、当該映像画像を表示させる
    ことを特徴とする請求項16に記載のアニメーション作品を用いた記憶支援プログラム。
  19. 前記抽出手順は、
    前記学習用単語の登場時に表示される、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
    前記生成手順は、
    前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
    前記表示手順は、
    前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
    ことを特徴とする請求項16に記載のアニメーション作品を用いた記憶支援プログラム。
  20. 前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、
    を更に有することを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  21. 前記提案手順は、
    前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
    ことを特徴とする請求項20に記載のアニメーション作品を用いた記憶支援プログラム。
  22. 前記提案手順は、
    前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
    ことを特徴とする請求項21に記載のアニメーション作品を用いた記憶支援プログラム。
  23. 前記提案手順は、
    前記所定辞書の前記第1領域に追加された学習用単語のうち一以上の学習用単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
    ことを特徴とする請求項20に記載のアニメーション作品を用いた記憶支援プログラム。
  24. 前記提案手順は、
    前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
    ことを特徴とする請求項23に記載のアニメーション作品を用いた記憶支援プログラム。
  25. 前記提案手順は、
    前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
    ことを特徴とする請求項24に記載のアニメーション作品を用いた記憶支援プログラム。
  26. コンピュータが実行する記憶支援方法であって、
    利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御工程と、
    前記表示制御工程により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出工程と、
    前記抽出工程により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成工程と、
    前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
    を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
  27. 利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画のオープニングアニメーションに付されたコード情報に紐づき予め定められた字幕に、当該利用者が予め指定した市販の辞書の学習用単語が登場する場合には、学習用単語が登場する所定字幕のみを表示させるための制御情報を送信する表示制御部と、
    前記表示制御部により送信された制御情報が表示の対象とする所定字幕と、当該所定字幕に含まれる学習用単語とを抽出する抽出部と、
    前記抽出部により抽出された学習用単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された学習用単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、映像動画の字幕に登場する学習用単語をまとめた辞書を生成する生成部と、
    前記第1領域への学習用単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該学習用単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
    を有することを特徴とするアニメーション作品を用いた記憶支援装置。
JP2022134585A 2022-08-26 2022-08-26 アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置 Pending JP2024031185A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022134585A JP2024031185A (ja) 2022-08-26 2022-08-26 アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022134585A JP2024031185A (ja) 2022-08-26 2022-08-26 アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置

Publications (1)

Publication Number Publication Date
JP2024031185A true JP2024031185A (ja) 2024-03-07

Family

ID=90106447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022134585A Pending JP2024031185A (ja) 2022-08-26 2022-08-26 アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置

Country Status (1)

Country Link
JP (1) JP2024031185A (ja)

Similar Documents

Publication Publication Date Title
US10580319B2 (en) Interactive multimedia story creation application
Herrero et al. Using film and media in the language classroom: Reflections on research-led teaching
Marchetti et al. Interactivity and multimodality in language learning: the untapped potential of audiobooks
Archakis et al. “I’m not racist but I expect linguistic assimilation”: The concealing power of humor in an anti-racist campaign
Zárate Subtitling for deaf children: Granting accessibility to audiovisual programmes in an educational way
JP7120637B2 (ja) 学習支援システム、学習支援システムの制御方法及び学習支援プログラム
Furukawa “Cool” English: stylized native-speaker English in Japanese television shows
CN107037946B (zh) 提供绘图指导来引导用户的数字用户接口
Bernabo Whitewashing diverse voices:(de) constructing race and ethnicity in Spanish-language television dubbing
Schaefer et al. There ain’t no doubt about it: Teaching EAL learners to recognize variation and switch/shift between varieties and registers is crucial to communicative competence
KR101790709B1 (ko) 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법
KR20180042116A (ko) 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법
JP2024031185A (ja) アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置
JP2024016496A (ja) アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置
JP2023182491A (ja) アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置
Specker L1/L2 Eye movement reading of closed captioning: A multimodal analysis of multimodal use
Darwish et al. Aspects of visual content covered in the audio description of Arabic series: A corpus-assisted study
JP6740803B2 (ja) 情報処理装置、情報処理システム、プログラム
Schneider Development and validation of a concept for layered audio descriptions
Qian User review analysis of mobile English vocabulary learning
KR102510209B1 (ko) 메타버스를 통한 선택적 토론 강의 플랫폼 서버
Sciberras Exploring video game subtitling: a local user-oriented reception study
JP2024067572A (ja) アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置
JP6953825B2 (ja) データ送信方法、データ送信装置、及びプログラム
Putri THE TRANSLATION OF IDIOMS IN BAHASA INDONESIA SUBTITLES OF HOTEL TRANSYLVANIA 2