WO2019069997A1 - 情報処理装置、画面出力方法及びプログラム - Google Patents

情報処理装置、画面出力方法及びプログラム Download PDF

Info

Publication number
WO2019069997A1
WO2019069997A1 PCT/JP2018/037087 JP2018037087W WO2019069997A1 WO 2019069997 A1 WO2019069997 A1 WO 2019069997A1 JP 2018037087 W JP2018037087 W JP 2018037087W WO 2019069997 A1 WO2019069997 A1 WO 2019069997A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
text information
information
searched
time stamp
Prior art date
Application number
PCT/JP2018/037087
Other languages
English (en)
French (fr)
Inventor
繁 塩澤
Original Assignee
株式会社リクルート
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リクルート filed Critical 株式会社リクルート
Publication of WO2019069997A1 publication Critical patent/WO2019069997A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Definitions

  • the present invention relates to an information processing apparatus, a screen output method, and a program.
  • the present disclosure aims to provide a technology capable of quickly searching for a specific part of a video that the user desires to view.
  • An information processing apparatus starts a moving image on a time axis for each of a plurality of audio data generated by dividing the audio data included in the moving image into a plurality on the time axis of the moving image.
  • a storage unit that stores time stamp information indicating time, text information obtained by converting the voice data into a character string
  • a database that stores the moving image in association
  • a reception unit that receives a character string to be searched
  • a search unit for searching the database for text information including a character string to be searched, time stamp information corresponding to the text information, and a moving image corresponding to the text information, and a first area for reproducing the searched moving image
  • an output unit that outputs a screen including a second area for displaying the retrieved text information and time stamp information in chronological order.
  • the output unit may output, in the second area, a screen on which the retrieved text information and time stamp information are arranged in chronological order in the horizontal direction or the vertical direction and displayed. According to this aspect, since the plurality of text information and time stamp information are displayed in chronological order in the second area in the screen, it is possible to improve the visibility.
  • the output unit may further output a screen including a third area for displaying a character string searched in the past with respect to a subject of the moving image reproduced in the first area. According to this aspect, it becomes possible for the user to grasp the character string frequently used by other users in the search and to use it for his / her own learning.
  • the output unit may output a screen for receiving a selection of a moving picture desired to be viewed by the user among the plurality of moving pictures. According to this aspect, even in the case where there are a large number of searched lecture moving images, the user can arbitrarily select a desired lecture for viewing.
  • the output unit starts reproduction of the moving image from a time of a selected time stamp information out of the time stamp information displayed in the second area or a time before a predetermined time from the time of the time stamp information. You may do it.
  • the user can view the lecture moving image from a designated time.
  • the output unit when the number of characters of the text included in the searched text information is equal to or more than a predetermined number of characters, the output unit performs at least the search among the texts included in the searched text information in the second area. You may make it output a part of text including the target character string. According to this aspect, the visibility is largely sacrificed even if it is difficult to display all the text information because the text size included in the text information is too large or the display size of the terminal is small. It is possible to display text information without
  • a plurality of voice data and time stamp information are generated by dividing voice data at timing when the voice included in the moving image is silent for a predetermined time, and voice recognition processing is performed on each of the generated voice data.
  • voice recognition processing is performed on each of the generated voice data.
  • To generate text information and time stamp information to be stored in the database by converting the converted text information into text information using the above and correcting the converted text information based on a dictionary or by a user instruction You may According to this aspect, it is possible to create a database required when searching for a lecture moving image, using data of the taken lecture moving image.
  • the moving image on the time axis is performed by an information processing apparatus having a storage unit that stores a database that stores time stamp information indicating a start time, text information obtained by converting the audio data into a character string, and the moving image. Searching the database for text information including the character string to be searched, time stamp information corresponding to the text information, and a moving image corresponding to the text information. An image including a first area for reproducing the searched moving image, and a second area for displaying the searched text information and time stamp information in chronological order And a step of outputting.
  • the lecture moving image including the character string to be searched can be searched among the contents uttered by the speaker, the user can quickly search for a specific portion desired to be viewed in the lecture moving image. Becomes possible.
  • a program is a start time on a moving image time axis of each of a plurality of sound data generated by dividing the audio data included in the moving image into a plurality on the moving image time axis.
  • a program that causes a computer having a storage unit to store a database that stores time stamp information indicating a character, text information obtained by converting the voice data into a character string, and the moving image, Searching the database for text information including a character string to be searched, time stamp information corresponding to the text information, and a moving image corresponding to the text information; And a second area for displaying the retrieved text information and time stamp information in chronological order. It has a step of outputting a screen, a. According to this aspect, since the lecture moving image including the character string to be searched can be searched among the contents uttered by the speaker, the user can quickly search for a specific portion desired to be viewed in the lecture moving image. Becomes possible.
  • FIG. 1 is a diagram illustrating an example of a moving image distribution system according to an embodiment.
  • the moving image distribution system includes a distribution server 10 and a terminal 20.
  • the distribution server 10 and the terminal 20 can communicate with each other via a wireless or wired communication network N.
  • a plurality of terminals 20 may be included in the present moving image distribution system.
  • the distribution server 10 and the terminal 20 may be collectively referred to as an information processing apparatus, or only the distribution server 10 may be referred to as an information processing apparatus.
  • the distribution server 10 is a server that distributes a lecture moving image, and has a function of transmitting data of the lecture moving image requested from the terminal 20 to the terminal 20.
  • the distribution server 10 may be one or more physical or virtual servers, or may be a cloud server.
  • the terminal 20 is a terminal operated by the user, and may be a terminal provided with a communication function, such as a smartphone, a tablet terminal, a mobile phone, a personal computer (PC), a laptop PC, a personal digital assistant (PDA), a home gaming device, etc.
  • a communication function such as a smartphone, a tablet terminal, a mobile phone, a personal computer (PC), a laptop PC, a personal digital assistant (PDA), a home gaming device, etc.
  • PC personal computer
  • PDA personal digital assistant
  • home gaming device etc.
  • any terminal can be used.
  • the user can search for a lecture moving image in which the character string is included in the content spoken by the lecturer by inputting the search target character string (search keyword). For example, when the user inputs “Japan” on the search screen of the terminal 20, a lecture moving image in which the lecturer spoke “Japan” in the lecture is displayed in a list on the screen of the terminal 20.
  • search target character string search keyword
  • the user selects a lecture moving picture that he / she wants to view from among the lecture moving pictures displayed in a list, reproduction of the lecture moving picture is started on the screen of the terminal 20, and the lecturer
  • the approximate time stamp (for example, 5 minutes 30 seconds, 15 minutes 10 seconds, and 23 minutes 40 seconds in a 30-minute moving image) that made a statement is displayed as a list.
  • the lecture moving image being played moves to the selected time stamp.
  • the distribution server 10 is configured to divide the audio data included in the lecture moving image into a plurality of pieces on the time axis of the lecture moving image for each of the plurality of audio data generated.
  • the time stamp information indicating the start time on the time axis, the text information obtained by converting the voice data into a character string, and the lecture moving image are associated with each other and stored in the database.
  • the database is called “lecture data DB (Database)”.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the distribution server 10.
  • the distribution server 10 includes a central processing unit (CPU) 11, a storage device 12 such as a memory, a communication IF (Interface) 13 for performing wired or wireless communication, an input device 14 for receiving an input operation, and an output device 15 for outputting information.
  • CPU central processing unit
  • storage device 12 such as a memory
  • communication IF Interface
  • input device 14 for receiving an input operation
  • an output device 15 for outputting information.
  • Each functional unit described in the functional block configuration to be described later can be realized by processing that a program stored in the storage device 12 causes the CPU 11 to execute.
  • the program can be stored, for example, in a non-temporary recording medium.
  • FIG. 3 is a diagram showing an example of a functional block configuration of the distribution server 10.
  • the distribution server 10 includes a reception unit 101, a search unit 102, an output unit 103, a generation unit 104, and a storage unit 105.
  • the storage unit 105 stores lecture data DB.
  • the reception unit 101 has a function of receiving a search target character string input by the user on the screen of the terminal 20.
  • the search unit 102 has a function of searching the lecture data DB for text information including the character string to be searched received by the reception unit 101, time stamp information corresponding to the text information, and a lecture moving image corresponding to the text information. Have.
  • the output unit 103 has a function of outputting a screen including a first area for reproducing the lecture moving image searched by the search unit 102, and a second area for displaying the searched text information and time stamp information in chronological order. Have.
  • the output screen is displayed on the display of the terminal 20.
  • the output unit 103 may have, for example, a web server function, and may have a function of transmitting a website to which a lecture moving image is distributed to the terminal 20. Alternatively, the output unit 103 may have a function of transmitting, to the terminal 20, content for displaying a lecture moving image or the like on the screen of an application installed on the terminal 20.
  • the generation unit 104 has a function of generating text information and time stamp information stored in the lecture data DB from the lecture moving image.
  • Generation unit 104 further includes division unit 1041, speech recognition unit 1042, and correction unit 1043.
  • the dividing unit 1041 generates a plurality of sound data and time stamp information by dividing the sound data at timing when the sound included in the lecture moving image is silent for a predetermined time (for example, 2 seconds).
  • the speech recognition unit 1042 converts each of the plurality of generated speech data into text information by performing speech recognition processing.
  • the correction unit 1043 corrects the converted text information based on the dictionary file or based on the user's instruction.
  • FIG. 4 is a flow chart showing an example of a processing procedure when generating text information and time stamp information.
  • step S101 the dividing unit 1041 generates a plurality of audio data and time stamp information by dividing the audio of the lecture moving image.
  • the dividing unit 1041 analyzes the audio data included in the lecture moving image, and divides the audio data at a timing of silence for a predetermined time (two seconds in the example of FIG. 5).
  • the division unit 1041 states that “Yamajima is ruled by Queen Himeiko.
  • the location of Yaba is still debated whether it is Kyushu or Kinki.
  • step S102 the speech recognition unit 1042 performs speech recognition processing on each piece of speech data divided in step S101, and generates text information storing the speech recognition result.
  • step S103 the correction unit 1043 corrects the text information generated in step S102 using a dictionary file.
  • FIG. 6 shows an example of the dictionary file.
  • FIG. 6A is an example of a true / false conversion dictionary.
  • FIG. 6 (b) is an example of the NG term dictionary.
  • the correction unit 1043 corrects the character string by replacing the character string with the character string stored in the "correct” field. Do. For example, if the text information contains the string “Yamadakuni, Queen Kimiko ", the correction unit 1043 follows the correct / incorrect conversion dictionary, and "Yamadatai, Queen Hamiko ... Correct to the character string ". In addition, when the character string stored in the NG term dictionary is included in the text information, the correction unit 1043 performs correction to replace the character string with a code. For example, when the text information includes the character string "in ⁇ ⁇ , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ", the correction unit 1043 may, for example, the character in ⁇ in ⁇ ⁇ , ⁇ ⁇ ⁇ Correct to column.
  • step S104 the correction unit 1043 further receives the correction from the user by displaying the text information corrected in step S103 on the screen for correction work.
  • FIG. 7 shows an example of a screen for correction work. The screen for the correction operation is devised on the display so that the user performing the correction can easily correct the text.
  • FIG. 6C is an example of a common dictionary used in all subjects.
  • the common dictionary stores words that may be used in any subject.
  • FIG. 6D is a subject-specific dictionary used for each subject of the lecture moving image.
  • the subject-specific dictionary stores words used only in a specific subject.
  • FIG. 6 (d) shows an example of a subject-specific dictionary for a subject of world history, for example.
  • the character strings registered in the common dictionary and the category-specific dictionary are displayed to indicate that the character strings do not need correction.
  • the character string stored in the common dictionary (“France” in FIG.
  • FIG. 8 is a diagram showing an example of the lecture data DB.
  • An identifier for uniquely identifying a lecture moving image is stored in the "lecture moving image".
  • the identifier may be, for example, a file name of a lecture moving image.
  • the identifier may include a subject of a lecture moving image, a lecture name, and the like.
  • Time stamp information is stored in “time stamp information”
  • text information is stored in “text”.
  • the configuration of the lecture data DB shown in FIG. 8 is merely an example, and the present invention is not limited to this.
  • FIG. 8A is an example of a screen for searching a lecture moving image.
  • an input box 1001 for inputting a character string to be searched and a subject of the lecture moving image to be searched is provided.
  • the search unit 102 accesses the lecture data DB, and the character string of the search target in the text information of the lecture moving image corresponding to the input subject Search whether there is a lecture video that includes.
  • the output unit 103 When there is a lecture moving image in which a text string to be searched is included in the text information, the output unit 103 outputs a screen displaying a list of the searched lecture moving images. Note that the output unit 103 outputs a screen displaying a list of lecture moving images when there are a plurality of searched lecture moving images, and when there is one searched lecture moving image, “replay the lecture moving image described later is output. It is also possible to make a direct transition to the screen to be displayed (FIG. 9A).
  • FIG. 8B is an example of a screen displaying a list of searched lecture moving images.
  • the search results are displayed in a list in the display area 1003. For example, if the user selects "World History" as the subject and enters "Japan” as the search target character string and performs a search, the lecturer utters "Japan” from the lecture video on world history One or more lecture moving images are listed and displayed as a search result in the display area 1003.
  • the user selects a lecture moving image desired to be viewed from among the lecture moving images displayed in a list in the display area 1003, a transition is made to a screen for reproducing the lecture moving image.
  • the display area 1003 has a function of accepting selection of a lecture moving image desired to be viewed by the user in addition to displaying a list of searched lecture moving images, the user views the screen including the display area 1003 May be referred to as a screen for receiving a selection of a lecture moving image for which
  • FIG. 9A An example of the screen for reproducing the lecture moving image is shown in FIG.
  • a display area 2001 first area for reproducing a lecture moving image
  • a display area 2002 for displaying text information including a character string to be searched and time stamp information side by side in chronological order.
  • a display area 2004 third area for displaying a character string searched in the past regarding the subject of the lecture moving image reproduced in the display area 2001.
  • a button 2003 for displaying a list of time stamp information and text information is displayed.
  • FIG. 9 (b) a display in which text information including a character string to be searched and time stamp information are arranged in chronological order in the vertical direction instead of the display area 2002.
  • Area 2005 (second area) is displayed.
  • reproduction of the lecture moving image is not started in the display area 2001, and the user starts the reproduction start button displayed in the display area 2001.
  • the user can start playing back lecture videos for the first time by selecting time stamp information desired to be viewed from time stamp information and text information displayed in display area 2002 or display area 2005. It may be done.
  • the user may swipe the display area 2002 from right to left (or left to right) to display the next (or previous) time stamp information and text information.
  • the user swipes the display area 2002 from right to left to display text information whose timestamp is 1:25, and further swipe from right to left. Text information having a time stamp of 1:55 may be displayed.
  • the next (or previous) time stamp information and text information may be displayed.
  • the output unit 103 searches the display area 2002 for at least the text included in the searched text information. Only partial text including the target character string may be output. Also, “some text including at least a search target character string” means, in addition to the search target character string, “characters before the search target character string” and / or “search target character string” It may be text including the later characters. For example, in the example of FIGS. 9 (a) and 9 (b), the text information having a time stamp of 0: 51 is "... but it appears that only Japan appears in both cases.
  • the character string displayed in the display area 2004 for the subject of the lecture moving image is input among the character strings previously input by the plurality of users using the moving image distribution system as the search target character string It may be displayed in descending order of the number of times performed.
  • the selected character string may be automatically input to the input box 1001.
  • the display area 1003 displays a list of searched lecture moving images
  • the display area 2002 and the display area 2005 display time stamp information and text information.
  • the searched lecture moving image, time stamp information, and text information may be collectively displayed in a list.
  • the number of searched lecture moving images is small and the number of searched time stamp information and text information is also small, it is possible to improve visibility and operability by collectively displaying in the display area 1003. .
  • the lecture data DB stores text information obtained by converting speech of lecture animation into text, and a lecture animation search is performed by comparing a character string to be searched and text information.
  • the present embodiment has the technical effect of being able to improve the search speed as compared to a method of directly searching for a speech of a lecture moving image while making speech recognition.

Abstract

動画に含まれる音声データを動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、動画の時間軸上での開始時間を示すタイムスタンプ情報と、該音声データを文字列に変換したテキスト情報と、該動画とを対応づけて格納するデータベースを記憶する記憶部(105)と、検索対象の文字列を受け付ける受付部と、前記検索対象の文字列を含むテキスト情報と、該テキスト情報に対応するタイムスタンプ情報と、該テキスト情報に対応する動画とを前記データベースから検索する検索部(102)と、検索された動画を再生する第１領域(2001)と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域(2002,2005)とを含む画面を出力する出力部(103)と、を有する情報処理装置(10)を提供する。

Description

情報処理装置、画面出力方法及びプログラム 関連出願の相互参照
　本出願は、２０１７年１０月５日に出願された日本出願番号（特願）２０１７－１９４９０４号に基づくもので、ここにその記載内容を援用する。
　本発明は、情報処理装置、画面出力方法及びプログラムに関する。
　ユーザが、Ｗｅｂブラウザ等を用いて学習を行うことが可能な、オンライン学習システムが知られている。オンライン学習システムを用いることで、ユーザは、興味のある講義の動画を視聴したり、テストを受けることで自分の理解度を把握したり、テストで躓いた問題を重点的に復習したりすることができ、効率的に学習を進めることができる。なお、ネットワークを利用した遠隔学習支援システムとして、例えば特許文献１に記載の技術が知られている。
特開２００１－１８８４６１号公報
　ユーザが苦手科目の復習をする場合など、必ずしも講義動画を最初から最後まで全て視聴するのではなく、特定の部分のみを視聴したいといったニーズが存在すると考えられる。例えば、世界史の科目のうちアメリカの歴史について復習をしたいために、世界史の講義動画の中で講師がアメリカについて説明をしている部分のみを視聴したいといったニーズがあると考えられる。
　しかしながら、従来のオンライン学習システムでは、講義動画の中から、ユーザが視聴を所望する特定の部分を検索する機能が提供されていないことから、ユーザは、講義動画を最初から最後まで視聴するか、又は早送り等を行うことで視聴したい部分を自ら探す必要があった。このような問題は、講義動画に限らずあらゆる動画においても生じ得る。
　そこで、本開示は、動画のうちユーザが視聴を所望する特定の部分を迅速に検索することが可能な技術を提供することを目的とする。
　本開示の一態様に係る情報処理装置は、動画に含まれる音声データを動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、動画の時間軸上での開始時間を示すタイムスタンプ情報と、該音声データを文字列に変換したテキスト情報と、該動画とを対応づけて格納するデータベースを記憶する記憶部と、検索対象の文字列を受け付ける受付部と、前記検索対象の文字列を含むテキスト情報と、該テキスト情報に対応するタイムスタンプ情報と、該テキスト情報に対応する動画とを前記データベースから検索する検索部と、検索された動画を再生する第１領域と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域とを含む画面を出力する出力部と、を有する。この態様によれば、話し手が発話した内容のうち検索対象の文字列を含む講義動画を検索することができるので、ユーザは、講義動画のうち視聴を所望する特定の部分を迅速に検索することが可能になる。
　上記態様において、前記出力部は、前記第２領域に、検索されたテキスト情報とタイムスタンプ情報とを、横方向又は縦方向に時系列順に並べて表示する画面を出力するようにしてもよい。この態様によれば、画面内の第２領域に複数のテキスト情報とタイムスタンプ情報と時系列順に表示されるため、視認性を向上させることが可能になる。
　上記態様において、前記出力部は、更に、前記第１領域で再生される動画の科目に関して過去に検索された文字列を表示する第３領域を含む画面を出力するようにしてもよい。この態様によれば、ユーザは、他のユーザが頻繁に検索に使用している文字列を把握し、自身の学習等に役立てることが可能になる。
　上記態様において、前記出力部は、前記検索部で複数の動画が検索された場合、該複数の動画の中からユーザが視聴を所望する動画の選択を受け付ける画面を出力するようにしてもよい。この態様によれば、検索された講義動画が多数存在する場合であっても、ユーザは、視聴を所望する講義を任意に選択することが可能になる。
　上記態様において、前記出力部は、前記第２領域に表示されたタイムスタンプ情報のうち選択されたタイムスタンプ情報の時間又は該タイムスタンプ情報の時間より所定の時間前の時間から動画の再生を開始するようにしてもよい。この態様によれば、ユーザは、指定した時間から講義動画を視聴することが可能になる。
　上記態様において、前記出力部は、検索されたテキスト情報に含まれるテキストの文字数が所定の文字数以上である場合、前記第２領域において、検索されたテキスト情報に含まれるテキストのうち、少なくとも前記検索対象の文字列を含む一部のテキストを出力するようにしてもよい。この態様によれば、テキスト情報に含まれるテキストの文字数が多すぎる場合や端末のディスプレイサイズが小さいためにテキスト情報を全て表示することが困難である場合等であっても、視認性を大きく犠牲にすることなくテキスト情報を表示することが可能になる。
　上記態様において、動画に含まれる音声が所定の時間無音であるタイミングで音声データを分割することで複数の音声データ及びタイムスタンプ情報を生成し、生成した前記複数の音声データの各々を音声認識処理を用いてテキスト情報に変換し、変換したテキスト情報について辞書に基づいて又はユーザの指示により補正を行うことで、前記データベースに格納するためのテキスト情報及びタイムスタンプ情報を生成する生成部を有するようにしてもよい。この態様によれば、撮影された講義動画のデータを用いて、講義動画を検索する際に必要になるデータベースを作成することが可能になる。
　本開示の他の態様に係る画面出力方法は、動画に含まれる音声データを動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、動画の時間軸上での開始時間を示すタイムスタンプ情報と、該音声データを文字列に変換したテキスト情報と、該動画とを対応づけて格納するデータベースを記憶する記憶部を有する情報処理装置が行う画面出力方法であって、検索対象の文字列を受け付けるステップと、前記検索対象の文字列を含むテキスト情報と、該テキスト情報に対応するタイムスタンプ情報と、該テキスト情報に対応する動画とを前記データベースから検索するステップと、検索された動画を再生する第１領域と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域とを含む画面を出力するステップと、を有する。この態様によれば、話し手が発話した内容のうち検索対象の文字列を含む講義動画を検索することができるので、ユーザは、講義動画のうち視聴を所望する特定の部分を迅速に検索することが可能になる。
　本開示の他の態様に係るプログラムは、動画に含まれる音声データを動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、動画の時間軸上での開始時間を示すタイムスタンプ情報と、該音声データを文字列に変換したテキスト情報と、該動画とを対応づけて格納するデータベースを記憶する記憶部を有するコンピューターに実行させるプログラムであって、検索対象の文字列を受け付けるステップと、前記検索対象の文字列を含むテキスト情報と、該テキスト情報に対応するタイムスタンプ情報と、該テキスト情報に対応する動画とを前記データベースから検索するステップと、検索された動画を再生する第１領域と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域とを含む画面を出力するステップと、を有する。この態様によれば、話し手が発話した内容のうち検索対象の文字列を含む講義動画を検索することができるので、ユーザは、講義動画のうち視聴を所望する特定の部分を迅速に検索することが可能になる。
　本開示によれば、動画のうちユーザが視聴を所望する特定の部分を迅速に検索することが可能な技術を提供することができる。
実施形態に係る動画配信システムの一例を示す図である。 配信サーバのハードウェア構成例を示す図である。 配信サーバの機能ブロック構成例を示す図である。 テキスト情報及びタイムスタンプ情報を生成する際の処理手順の一例を示すフローチャートである。 講義動画の音声を分割する際の具体例を示す図である。 辞書ファイルの一例を示す図である。 補正作業用の画面の具体例を示す図である。 講義データＤＢの一例を示す図である。 端末に表示される画面の一例を示す図である。 端末に表示される画面の一例を示す図である。
　添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。以下の説明では、動画が講義動画である前提で説明するが、本実施形態は、話し声が含まれる動画であればどのような動画に対しても適用することが可能である。
　＜システム構成＞
　図１は、実施形態に係る動画配信システムの一例を示す図である。本動画配信システムは、配信サーバ１０及び端末２０を含む。配信サーバ１０及び端末２０は、無線又は有線の通信ネットワークＮを介して相互に通信することができる。図１には、端末２０が１つずつ図示されているが、本動画配信システムには、複数の端末２０が含まれていてもよい。本実施形態では、配信サーバ１０及び端末２０をまとめて情報処理装置と称してもよいし、配信サーバ１０のみを情報処理装置と称してもよい。
　配信サーバ１０は、講義動画を配信するサーバであり、端末２０から要求された講義動画のデータを端末２０に送信する機能を有する。配信サーバ１０は、１又は複数の物理的又は仮想的なサーバであってもよいし、クラウドサーバであってもよい。
　端末２０は、ユーザが操作する端末であり、スマートフォン、タブレット端末、携帯電話機、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、携帯情報端末（ＰＤＡ）、家庭用ゲーム機器など、通信機能を備えた端末であればあらゆる端末を用いることができる。
　本実施形態では、ユーザは、検索対象の文字列（検索キーワード）を入力することで、講師が話した内容に当該文字列が含まれる講義動画を検索することができる。例えば、ユーザが端末２０の検索画面に「日本」を入力すると、講義の中で講師が「日本」と話した講義動画が端末２０の画面上に一覧表示される。また、ユーザが、一覧表示された講義動画の中から視聴したい講義動画を選択すると、端末２０の画面上にて講義動画の再生が開始されると共に、講義動画の時間軸上において講師が「日本」と発言したおおよそのタイムスタンプ（例えば３０分の動画の中で５分３０秒、１５分１０秒及び２３分４０秒あたり等）が一覧表示される。ユーザが一覧表示されたタイムスタンプの中から１つを選択すると、再生中の講義動画が、選択されたタイムスタンプまで移動する。
　このような動作を実現するために、配信サーバ１０には、講義動画に含まれる音声データを講義動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、講義動画の時間軸上での開始時間を示すタイムスタンプ情報と、当該音声データを文字列に変換したテキスト情報と、当該講義動画とを対応づけてデータベースに格納しておく。本実施形態では、当該データベースを「講義データＤＢ（Database）」と呼ぶ。
　＜ハードウェア構成＞
　図２は、配信サーバ１０のハードウェア構成例を示す図である。配信サーバ１０は、ＣＰＵ（Central Processing Unit）１１、メモリ等の記憶装置１２、有線又は無線通信を行う通信ＩＦ（Interface）１３、入力操作を受け付ける入力デバイス１４、及び情報の出力を行う出力デバイス１５を有する。後述する機能ブロック構成にて説明する各機能部は、記憶装置１２に記憶されたプログラムがＣＰＵ１１に実行させる処理により実現することができる。なお、当該プログラムは、例えば非一時的な記録媒体に格納することができる。
　＜機能ブロック構成＞
　図３は、配信サーバ１０の機能ブロック構成例を示す図である。配信サーバ１０は、受付部１０１と、検索部１０２と、出力部１０３と、生成部１０４と、記憶部１０５とを有する。記憶部１０５には、講義データＤＢが格納される。
　受付部１０１は、ユーザが端末２０の画面に入力した、検索対象の文字列を受け付ける機能を有する。
　検索部１０２は、受付部１０１で受け付けた検索対象の文字列を含むテキスト情報と、当該テキスト情報に対応するタイムスタンプ情報と、当該テキスト情報に対応する講義動画とを講義データＤＢから検索する機能を有する。
　出力部１０３は、検索部１０２により検索された講義動画を再生する第１領域と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域とを含む画面を出力する機能を有する。出力された画面は端末２０のディスプレイに表示される。なお、出力部１０３は、例えばＷｅｂサーバ機能を備えており、講義動画を配信するＷｅｂサイトを端末２０に送信する機能を有していてもよい。或いは、出力部１０３は、端末２０にインストールされたアプリケーションの画面に講義動画等を表示させるためのコンテンツを、端末２０に送信する機能を有していてもよい。
　生成部１０４は、講義動画から、講義データＤＢに格納するテキスト情報及びタイムスタンプ情報を生成する機能を有する。生成部１０４は、更に、分割部１０４１と、音声認識部１０４２と、補正部１０４３とを含む。分割部１０４１は、講義動画に含まれる音声が所定の時間（例えば２秒等）無音であるタイミングで音声データを分割することで複数の音声データ及びタイムスタンプ情報を生成する。音声認識部１０４２は、生成した複数の音声データの各々を、音声認識処理を行うことでテキスト情報に変換する。補正部１０４３は、変換されたテキスト情報について、辞書ファイルに基づいて又はユーザの指示に基づいて補正を行う。
　＜テキスト情報及びタイムスタンプ情報の生成について＞
　続いて、講義データＤＢに格納されるタイムスタンプ情報とテキスト情報とを作成する方法について具体的に説明する。以下の説明では、配信サーバ１０の生成部１０４が、タイムスタンプ情報とテキスト情報とを作成する前提で説明するが、必ずしも配信サーバ１０が自らタイムスタンプ情報とテキスト情報とを作成するようにする必要はなく、外部の装置やツール等で生成されることとしてもよい。
　図４は、テキスト情報及びタイムスタンプ情報を生成する際の処理手順の一例を示すフローチャートである。
　ステップＳ１０１で、分割部１０４１は、講義動画の音声を分割することで複数の音声データ及びタイムスタンプ情報を生成する。ここで、講義動画の音声を分割する際の具体例を図５に示す。分割部１０４１は、講義動画に含まれる音声データを解析し、所定の時間（図５の例では２秒間）無音であるタイミングで音声データを分割する。図５の例では、分割部１０４１は、「邪馬台国は、女王卑弥呼が統治をしていたと伝えられている。邪馬台国の所在地は、未だに九州か近畿かは、議論が続けられている。私は、九州にあったと考える。」の音声データを、「邪馬台国は、女王卑弥呼が統治をしていたと伝えられている。邪馬台国の所在地は、未だに九州か近畿かは、議論が続けられている。」の音声データと、「私は、九州にあったと考える。」の音声データに分割する。また、それぞれの音声データに対して、講義動画の時間軸上の開始時刻である「１：３９（１分３９秒目）」を示すタイムスタンプ情報と、「１：５２（１分５２秒目）」を示すタイムスタンプ情報を生成する。
　なお、一般的に講義の中で講師が話をする際、ある話題について一通り話した後、少し時間をおいて次の話題を話すといったように、講義の内容や話題ごとに間をおきながら話をすることが多いと考えられる。従って、所定の時間無音であるタイミングで音声データを分割することで、単に音声データが分割されるのみならず、講義の内容や話題ごとに音声データを分割することが可能になる。
　ステップＳ１０２で、音声認識部１０４２は、ステップＳ１０１で分割された音声データごとに音声認識処理を行い、音声認識した結果を格納したテキスト情報を生成する。
　ステップＳ１０３で、補正部１０４３は、ステップＳ１０２で生成されたテキスト情報を、辞書ファイルを用いて補正する。図６に辞書ファイルの一例を示す。図６（ａ）は、正誤変換辞書の一例である。図６（ｂ）は、ＮＧ用語辞書の一例である。
　補正部１０４３は、正誤変換辞書の「誤り」フィールドに格納された文字列がテキスト情報に含まれている場合、当該文字列を、「正解」フィールドに格納された文字列に置き換えることで補正を行う。例えば、テキスト情報に、「山大国は、女王君子が・・・」という文字列が含まれていた場合、補正部１０４３は、正誤変換辞書に従い、「邪馬台国は、女王卑弥呼が・・・」という文字列に補正する。また、補正部１０４３は、ＮＧ用語辞書に格納された文字列がテキスト情報に含まれている場合、当該文字列を、符号に置き換える補正を行う。例えば、テキスト情報に、「邪馬台国では、アホが・・」という文字列が含まれていた場合、補正部１０４３は、例えば、「邪馬台国では、＊＊が・・」という文字列に補正する。
　ステップＳ１０４で、補正部１０４３は、ステップＳ１０３で補正されたテキスト情報を補正作業用の画面に表示することで、更にユーザからの補正を受け付ける。図７に、補正作業用の画面の一例を示す。補正作業用の画面は、補正を行うユーザがテキストの補正を行い易いように表示上の工夫がなされている。
　ここで、全ての科目で使用される共通辞書及び特定の科目でのみ表示される科目別辞書について説明する。図６（ｃ）は、全ての科目で使用される共通辞書の一例である。共通辞書には、あらゆる科目で用いられる可能性のある単語が格納される。図６（ｄ）は、講義動画の科目ごとに使用される科目別辞書である。科目別辞書は、特定の科目でのみ用いられる単語が格納される。図６（ｄ）は、例えば世界史の科目についての科目別辞書の例を示している。補正作業用の画面では、共通辞書及び科目別辞書に登録されている文字列については補正の必要が無い文字列であることを示す表示がなされる。図７の例では、共通辞書に格納されている文字列（図７では「フランス」）には点線のアンダーラインが付与され、科目別辞書に格納されている文字列（図７では「１８４８年革命」）には実線のアンダーラインが付与されている。また、補正作業用の画面では、正誤変換辞書により補正された名刺ではなく、かつ共通辞書にも科目別辞書にも存在しない名詞については強調表示（図７では「所在地」、「九州」、「近畿」）がなされる。これにより、ユーザは、強調表示されている箇所を重点的にチェックすることができることから、ユーザが行う補正作業の負担軽減を図ることが可能になる。
　図８は、講義データＤＢの一例を示す図である。「講義動画」には、講義動画を一意に識別する識別子が格納される。当該識別子は、例えば講義動画のファイル名でもよい。また、当該識別子には、講義動画の科目及び講義名等が含まれていてもよい。「タイムスタンプ情報」にはタイムスタンプ情報が格納され、「テキスト」にはテキスト情報が格納される。図８に示す講義データＤＢの構成はあくまで一例であり、これに限定されるものではない。
　＜講義の検索について＞
　続いて、ユーザが講義動画を検索する際の処理手順について具体的に説明する。図８及び図９は、端末２０に表示される画面の一例を示す図である。図８（ａ）は講義動画を検索するための画面の一例である。講義動画を検索する画面には、検索対象の文字列と、検索対象とする講義動画の科目を入力する入力ボックス１００１が設けられている。入力ボックス１００１の右側に表示される検索ボタンが押下されると、検索部１０２は、講義データＤＢにアクセスし、入力された科目に該当する講義動画のテキスト情報の中に、検索対象の文字列が含まれる講義動画が存在するか否かを検索する。テキスト情報に検索対象の文字列が含まれる講義動画が存在する場合、出力部１０３は、検索された講義動画を一覧表示する画面を出力する。なお、出力部１０３は、検索された講義動画が複数である場合に、講義動画を一覧表示する画面を出力し、検索された講義動画が１つである場合は、後述する「講義動画を再生する画面（図９（ａ））に直接遷移するようにしてもよい。
　図８（ｂ）は、検索された講義動画を一覧表示する画面の一例である。検索結果は、表示エリア１００３に一覧表示される。例えば、ユーザが、科目として「世界史」を選択し、検索対象の文字列に「日本」を入力して検索を行った場合、世界史に関する講義動画の中から、講師が「日本」と発話した１以上の講義動画が検索結果として表示エリア１００３に一覧表示される。
　続いて、ユーザが、表示エリア１００３に一覧表示された講義動画の中から視聴を所望する講義動画を選択すると、講義動画を再生する画面に遷移する。表示エリア１００３は、検索された講義動画を一覧表示することに加えて、ユーザが視聴を所望する講義動画の選択を受け付ける機能も備えていることから、表示エリア１００３を含む画面を、ユーザが視聴を所望する講義動画の選択を受け付ける画面と称してもよい。
　講義動画を再生する画面の一例を図９（ａ）に示す。図９（ａ）には、講義動画を再生する表示エリア２００１（第１領域）と、検索対象の文字列を含むテキスト情報とタイムスタンプ情報とを横方向に時系列順に並べて表示する表示エリア２００２（第２領域）と、表示エリア２００１で再生される講義動画の科目に関して過去に検索された文字列を表示する表示エリア２００４（第３領域）とを含む。表示エリア２００２の上部には、タイムスタンプ情報及びテキスト情報を一覧表示するボタン２００３が表示される。ユーザがボタン２００３を押下すると、図９（ｂ）に示すように、表示エリア２００２に代えて、検索対象の文字列を含むテキスト情報とタイムスタンプ情報とを縦方向に時系列順に並べて表示する表示エリア２００５（第２領域）が表示される。
　ユーザが表示エリア１００３（図８（ｂ））で講義動画を選択すると、表示エリア２００１にて講義動画の再生が開始される。続いて、ユーザが、表示エリア２００２又は表示エリア２００５に表示されているタイムスタンプ情報及びテキスト情報の中から、視聴を所望するタイムスタンプ情報を選択すると、表示エリア２００１に表示される講義動画が、選択されたタイムスタンプ情報の時間又はタイムスタンプ情報の時間より所定の時間前（例えば１０秒前等）の時間から再生される。例えば、ユーザが表示エリア２００２にて１：１１と表示されている箇所をタップすると、表示エリア２００１において、１：１１の時点又は所定の時間前（例えば１：０１等）から講義動画が再生される。
　なお、ユーザが表示エリア１００３（図８（ｂ））で講義動画を選択した時点では表示エリア２００１にて講義動画の再生は開始されず、ユーザが表示エリア２００１の中に表示される再生開始ボタンを押下するか、又は、ユーザが表示エリア２００２又は表示エリア２００５に表示されているタイムスタンプ情報及びテキスト情報の中から、視聴を所望するタイムスタンプ情報を選択することで初めて講義動画の再生が開始されるようにしてもよい。
　また、ユーザが表示エリア２００２を右から左（又は左から右）にスワイプすることで、次の（又は以前の）タイムスタンプ情報及びテキスト情報が表示されるようにしてもよい。例えば、図９（ａ）の例では、ユーザが表示エリア２００２を右から左にスワイプすることで、タイムスタンプが１：２５であるテキスト情報が表示され、更に右から左にスワイプすることで、タイムスタンプが１：５５であるテキスト情報が表示されるようにしてもよい。
　同様に、ユーザが表示エリア２００５を上から下（又は下から上）にスワイプすることで、次の（又は以前の）タイムスタンプ情報及びテキスト情報が表示されるようにしてもよい。
　また、検索部１０２で検索されたテキスト情報に含まれるテキストの文字数が所定の文字数以上である場合、出力部１０３は、表示エリア２００２において、検索されたテキスト情報に含まれるテキストのうち、少なくとも検索対象の文字列を含む一部のテキストのみを出力するようにしてもよい。また、“少なくとも検索対象の文字列を含む一部のテキスト”とは、検索対象の文字列に加えて、更に、“検索対象の文字列より前の文字”及び／又は“検索対象の文字列より後の文字”を含むテキストであってもよい。例えば図９（ａ）及び（ｂ）の例では、タイムスタンプが０：５１であるテキスト情報には、「・・・登場と言いますが登場だけは日本が両方出てくるんだ。６３０年・・・」と表示されているように、検索対象の文字列である「日本」を中心として前後所定の文字数のみを表示し、それ以外の文字については表示しないようにしている。これにより、テキスト情報に含まれるテキストの文字数が多すぎて表示エリア２００２又は表示エリア２００５に全ての文字を表示することが困難な場合や、端末２０がスマートフォン等でありディスプレイサイズが小さいためにテキスト情報を全て表示することが困難である場合等であっても、視認性を大きく犠牲にすることなくテキスト情報を表示することが可能になる。
　また、表示エリア２００４に表示される、講義動画の科目に関して過去に検索された文字列は、本動画配信システムを利用する複数のユーザが過去に検索対象の文字列として入力した文字列のうち入力された回数が多い順に表示されるようにしてもよい。また、ユーザが表示エリア２００４に表示される文字列を選択した場合、選択した文字列が入力ボックス１００１に自動的に入力されるようにしてもよい。
　また、上述の説明では、表示エリア１００３には検索された講義動画の一覧が表示され、表示エリア２００２及び表示エリア２００５にタイムスタンプ情報及びテキスト情報が表示されることで説明したが、表示エリア１００３にて、検索された講義動画とタイムスタンプ情報とテキスト情報とをまとめて一覧表示するようにしてもよい。具体的には、「第５０講　朝鮮現代史・中国現代史　チャプター２　０：５１　登場と言いますが登場だけは日本が両方出てくるんだ。６３０年」といったようにまとめて表示するようにしてもよい。検索された講義動画の数が少なく、かつ、検索されたタイムスタンプ情報及びテキスト情報の数も少ない場合、表示エリア１００３にまとめて表示することで視認性及び操作性を向上させることが可能になる。
　以上、本実施形態について説明した。本実施形態では、講義データＤＢに、講義動画の音声をテキスト化したテキスト情報を格納しておき、検索対象の文字列とテキスト情報とを比較することで講義動画の検索を行うようにした。これにより、本実施形態は、講義動画の音声を音声認識させながら直接検索する方法と比較して検索速度を向上させることができるという技術的効果を有する。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

Claims (10)

  1. 　動画に含まれる音声データを動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、動画の時間軸上での開始時間を示すタイムスタンプ情報と、該音声データを文字列に変換したテキスト情報と、該動画とを対応づけて格納するデータベースを記憶する記憶部と、
    　検索対象の文字列を受け付ける受付部と、
    　前記検索対象の文字列を含むテキスト情報と、該テキスト情報に対応するタイムスタンプ情報と、該テキスト情報に対応する動画とを前記データベースから検索する検索部と、
    　検索された動画を再生する第１領域と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域とを含む画面を出力する出力部と、
    　を有する情報処理装置。
  2. 　前記出力部は、前記第２領域に、検索されたテキスト情報とタイムスタンプ情報とを、横方向又は縦方向に時系列順に並べて表示する画面を出力する、
    　請求項１に記載の情報処理装置。
  3. 　前記出力部は、更に、前記第１領域で再生される動画の科目に関して過去に検索された文字列を表示する第３領域を含む画面を出力する、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記出力部は、前記検索部で複数の動画が検索された場合、該複数の動画の中からユーザが視聴を所望する動画の選択を受け付ける画面を出力する、
    　請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 　前記出力部は、前記第２領域に表示されたタイムスタンプ情報のうち選択されたタイムスタンプ情報の時間又は該タイムスタンプ情報の時間より所定の時間前の時間から動画の再生を開始する、
    　請求項１乃至４のいずれか一項に記載の情報処理装置。
  6. 　前記出力部は、検索されたテキスト情報に含まれるテキストの文字数が所定の文字数以上である場合、前記第２領域において、検索されたテキスト情報に含まれるテキストのうち、少なくとも前記検索対象の文字列を含む一部のテキストを出力する、
    　請求項１乃至５のいずれか一項に記載の情報処理装置。
  7. 　動画に含まれる音声が所定の時間無音であるタイミングで音声データを分割することで複数の音声データ及びタイムスタンプ情報を生成し、生成した前記複数の音声データの各々を音声認識処理を用いてテキスト情報に変換し、変換したテキスト情報について辞書に基づいて又はユーザの指示により補正を行うことで、前記データベースに格納するためのテキスト情報及びタイムスタンプ情報を生成する生成部、
    　を有する請求項１乃至４のいずれか一項に記載の情報処理装置。
  8. 　動画に含まれる音声データを動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、動画の時間軸上での開始時間を示すタイムスタンプ情報と、該音声データを文字列に変換したテキスト情報と、該動画とを対応づけて格納するデータベースを記憶する記憶部と、
    　検索対象の文字列を受け付ける受付部と、
    　前記検索対象の文字列を含むテキスト情報と、該テキスト情報に対応するタイムスタンプ情報と、該テキスト情報に対応する動画とを前記データベースから検索する検索部と、
    　検索された動画を再生する第１領域と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域とを含む画面を出力する出力部と、
    　を有し、
    　前記出力部は、検索されたテキスト情報に含まれるテキストの文字数が所定の文字数以上である場合、前記第２領域において、検索されたテキスト情報に含まれるテキストのうち、少なくとも前記検索対象の文字列を含む一部のテキストを出力する、
    　情報処理装置。
  9. 　動画に含まれる音声データを動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、動画の時間軸上での開始時間を示すタイムスタンプ情報と、該音声データを文字列に変換したテキスト情報と、該動画とを対応づけて格納するデータベースを記憶する記憶部を有する情報処理装置が行う画面出力方法であって、
    　検索対象の文字列を受け付けるステップと、
    　前記検索対象の文字列を含むテキスト情報と、該テキスト情報に対応するタイムスタンプ情報と、該テキスト情報に対応する動画とを前記データベースから検索するステップと、
    　検索された動画を再生する第１領域と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域とを含む画面を出力するステップと、
    　を有する画面出力方法。
  10. 　動画に含まれる音声データを動画の時間軸上で複数に分割することで生成される複数の音声データの各々について、動画の時間軸上での開始時間を示すタイムスタンプ情報と、該音声データを文字列に変換したテキスト情報と、該動画とを対応づけて格納するデータベースを記憶する記憶部を有するコンピューターに実行させるプログラムであって、
    　検索対象の文字列を受け付けるステップと、
    　前記検索対象の文字列を含むテキスト情報と、該テキスト情報に対応するタイムスタンプ情報と、該テキスト情報に対応する動画とを前記データベースから検索するステップと、
    　検索された動画を再生する第１領域と、検索されたテキスト情報とタイムスタンプ情報とを時系列順に表示する第２領域とを含む画面を出力するステップと、
    　を有するプログラム。
PCT/JP2018/037087 2017-10-05 2018-10-03 情報処理装置、画面出力方法及びプログラム WO2019069997A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017194904A JP6382423B1 (ja) 2017-10-05 2017-10-05 情報処理装置、画面出力方法及びプログラム
JP2017-194904 2017-10-05

Publications (1)

Publication Number Publication Date
WO2019069997A1 true WO2019069997A1 (ja) 2019-04-11

Family

ID=63354759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037087 WO2019069997A1 (ja) 2017-10-05 2018-10-03 情報処理装置、画面出力方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6382423B1 (ja)
WO (1) WO2019069997A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7428321B2 (ja) 2019-12-04 2024-02-06 株式会社デジタル・ナレッジ 教育システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189728A (ja) * 2000-12-21 2002-07-05 Ricoh Co Ltd マルチメディア情報編集装置、その方法および記録媒体並びにマルチメディア情報配信システム
JP2006195900A (ja) * 2005-01-17 2006-07-27 Matsushita Electric Ind Co Ltd マルチメディアコンテンツ生成装置及び方法
US20090254578A1 (en) * 2008-04-02 2009-10-08 Michael Andrew Hall Methods and apparatus for searching and accessing multimedia content
JP2011049707A (ja) * 2009-08-26 2011-03-10 Nec Corp 動画再生装置、動画再生方法及びプログラム
US20130308922A1 (en) * 2012-05-15 2013-11-21 Microsoft Corporation Enhanced video discovery and productivity through accessibility
JP2016021217A (ja) * 2014-06-20 2016-02-04 株式会社神戸製鋼所 文書検索装置、文書検索方法、及び、文書検索プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157112A (ja) * 2000-11-20 2002-05-31 Teac Corp 音声情報変換装置
JP2005303742A (ja) * 2004-04-13 2005-10-27 Daikin Ind Ltd 情報処理装置および情報処理方法、プログラム、並びに、情報処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189728A (ja) * 2000-12-21 2002-07-05 Ricoh Co Ltd マルチメディア情報編集装置、その方法および記録媒体並びにマルチメディア情報配信システム
JP2006195900A (ja) * 2005-01-17 2006-07-27 Matsushita Electric Ind Co Ltd マルチメディアコンテンツ生成装置及び方法
US20090254578A1 (en) * 2008-04-02 2009-10-08 Michael Andrew Hall Methods and apparatus for searching and accessing multimedia content
JP2011049707A (ja) * 2009-08-26 2011-03-10 Nec Corp 動画再生装置、動画再生方法及びプログラム
US20130308922A1 (en) * 2012-05-15 2013-11-21 Microsoft Corporation Enhanced video discovery and productivity through accessibility
JP2016021217A (ja) * 2014-06-20 2016-02-04 株式会社神戸製鋼所 文書検索装置、文書検索方法、及び、文書検索プログラム

Also Published As

Publication number Publication date
JP6382423B1 (ja) 2018-08-29
JP2019066785A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
US9282377B2 (en) Apparatuses, methods and systems to provide translations of information into sign language or other formats
US9298704B2 (en) Language translation of visual and audio input
US8380507B2 (en) Systems and methods for determining the language to use for speech generated by a text to speech engine
US11917344B2 (en) Interactive information processing method, device and medium
US8352268B2 (en) Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8712776B2 (en) Systems and methods for selective text to speech synthesis
US8515984B2 (en) Extensible search term suggestion engine
CN109246472A (zh) 视频播放方法、装置、终端设备及存储介质
JP6684231B2 (ja) 同音異字の存在下でａｓｒを行うためのシステムおよび方法
WO2014154097A1 (en) Automatic page content reading-aloud method and device thereof
WO2019146466A1 (ja) 情報処理装置、動画検索方法、生成方法及びプログラム
US20150111189A1 (en) System and method for browsing multimedia file
US20170004859A1 (en) User created textbook
JP2018180519A (ja) 音声認識誤り修正支援装置およびそのプログラム
WO2019069997A1 (ja) 情報処理装置、画面出力方法及びプログラム
JP2007199315A (ja) コンテンツ提供装置
US20140297285A1 (en) Automatic page content reading-aloud method and device thereof
JP2013092912A (ja) 情報処理装置、情報処理方法、並びにプログラム
JP5533377B2 (ja) 音声合成装置、音声合成プログラムおよび音声合成方法
US11086592B1 (en) Distribution of audio recording for social networks
JP2022051500A (ja) 関連情報提供方法及びシステム
US10657202B2 (en) Cognitive presentation system and method
JP2019197210A (ja) 音声認識誤り修正支援装置およびそのプログラム
KR102487589B1 (ko) 음성인식서버, 번역서버와 집단지성을 이용한 동영상의 자막 제공 방법 및 그를 이용한 시스템
CN113132789B (zh) 一种多媒体的交互方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18865031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18865031

Country of ref document: EP

Kind code of ref document: A1