JP7434762B2 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP7434762B2
JP7434762B2 JP2019164658A JP2019164658A JP7434762B2 JP 7434762 B2 JP7434762 B2 JP 7434762B2 JP 2019164658 A JP2019164658 A JP 2019164658A JP 2019164658 A JP2019164658 A JP 2019164658A JP 7434762 B2 JP7434762 B2 JP 7434762B2
Authority
JP
Japan
Prior art keywords
subtitles
language
time
display
shorter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019164658A
Other languages
English (en)
Other versions
JP2021044669A (ja
Inventor
陵平 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019164658A priority Critical patent/JP7434762B2/ja
Priority to CN202010138921.XA priority patent/CN112565860A/zh
Priority to US16/821,100 priority patent/US20210073479A1/en
Publication of JP2021044669A publication Critical patent/JP2021044669A/ja
Application granted granted Critical
Publication of JP7434762B2 publication Critical patent/JP7434762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Machine Translation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置およびプログラムに関する。
特許文献１には、付加情報と映像とが再生時刻を介して互いに関連付けられている構造の動画コンテンツを再生することによって、付加情報および映像をいずれも表示装置に表示するコンテンツ再生装置であって、動画コンテンツにおけるある付加情報の再生時刻から次の付加情報の再生時刻までの時間のうちの少なくとも一部の時間を、ある付加情報の再生時間として算出する再生時間算出手段と、視聴者がある付加情報を視聴するために要する視聴所要時間に対する、再生時間の比率を、ある付加情報およびある付加情報に関連付けられている映像を表示するときの再生速度として設定する再生速度制御手段と、ある付加情報およびある付加情報に関連付けられている映像を、再生速度により表示装置に表示させる表示制御手段と、を備えていることを特徴とするコンテンツ再生装置が開示されている。
特許文献２には、映像データ、オーディオデータ及び字幕データを含む記録媒体から少なくとも映像データと字幕データを再生する映像再生装置において、字幕データを抽出し、抽出した字幕データの言語を別の言語に翻訳し、翻訳した言語の字幕データを映像データとともに再生することを特徴とする映像再生装置が開示されている。
特開２００９－１６４９６９号公報 特開２００９－１６９１０号公報
動画に付されている字幕を翻訳して表示する場合に、翻訳前の字幕に対応づけられていた字幕表示時間を、翻訳後の字幕にも適用すると、該字幕表示時間が、翻訳後の字幕を認識するのに要する認識時間よりも短くなってしまうことがある。例えば、翻訳前の字幕の文字数よりも翻訳後の文字数の方が多くなってしまったときなどが挙げられる。その場合、ユーザは、翻訳後の字幕を正確に認識することができなくなってしまう。その防止策として、字幕が付されている動画を翻訳して、翻訳後の字幕を認識するのに要する認識時間よりも、字幕を表示する表示時間が短い箇所がある場合は、該箇所を予め把握し、該箇所に対して動画の編集等の調整をしておくことが挙げられる。したがって、翻訳後の動画の再生前に、認識時間よりも表示時間が短い箇所をユーザが把握する必要がある。
本発明の目的は、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能な情報処理装置およびプログラムを提供することである。
［情報処理装置］
請求項１に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得する取得手段と、
前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
前記翻訳手段は、動画一区間内において、表示時間の少なくとも一部が重なる第１言語による字幕が複数表示される場合、複数の前記第１言語による字幕のうち、最初に表示される第１言語による字幕の表示開始時刻から最後に表示される第１言語による字幕の表示終了時刻までを前記表示時間とし、前記一区間内における翻訳後の第２言語による複数の字幕の認識時間を合計することにより前記認識時間を算出し、前記表示時間が、前記認識時間よりも短い場合、複数の前記第１言語による字幕のうちの一部の字幕を第２言語に翻訳する、情報処理装置である。
請求項２に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得する取得手段と、
前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
前記翻訳手段は、前記表示時間が、前記認識時間よりも短い場合、翻訳後の第２言語による字幕の認識時間が、翻訳前の第１言語による字幕の表示時間よりも短くなるように、予め定められた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳する、情報処理装置である。
請求項３に係る本発明は、前記優先順位は、動画中の第１言語による字幕の配置位置に応じた優先順位であることを特徴とする請求項２記載の情報処理装置である。
前請求項４に係る本発明は、前記翻訳手段は、動画中の他の字幕と表示形態の異なる字幕を優先的に翻訳する請求項２記載の情報処理装置である。
請求項５に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得する取得手段と、
前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、
前記取得手段により取得された第１言語の字幕のうち、第２言語に翻訳する字幕の優先順位を受け付ける受付手段と、を備え、
前記翻訳手段は、前記表示時間が、前記認識時間よりも短い場合、前記受付手段により受け付けられた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳する、情報処理装置である。
請求項６に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得する取得手段と、
前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
前記通知手段は、前記取得手段により取得された第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い区間の表示開始時刻の静止画を表示する、情報処理装置である。
請求項７に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得する取得手段と、
前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
前記通知手段は、前記取得手段により取得された第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い区間を繰り返し再生して表示する、情報処理装置である。
請求項８に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得する取得手段と、
前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
前記通知手段は、再生区間中において、前記取得手段により取得された第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い区間を、他の区間とは異なる表示形態で表示し、前記取得手段により取得された第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い区間のうち、前記第２言語による字幕の認識時間に対する前記第１言語による字幕の表示時間の比率が、予め設定された値より小さい場合と、予め設定された値以上である場合とで、さらに異なる表示形態で表示する、情報処理装置である。
請求項９に係る本発明は、前記認識時間は、前記第２言語による字幕の文字数又は単語数により算出される時間であることを特徴とする請求項１から８のいずれか一項記載の情報処理装置である。
請求項１０に係る本発明は、前記一部は字幕中の単語であることを特徴とする請求項１から５のいずれか一項記載の情報処理装置である。
請求項１１に係る本発明は、前記翻訳手段は、動画の一区間内において、一つの第１言語の字幕が表示される場合、前記字幕中の一部の単語を翻訳することを特徴とする請求項１０記載の情報処理装置である。
［プログラム］
請求項１２に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得するステップと、
前記第１言語による字幕を、第２言語に翻訳するステップと、
前記第１言語による字幕の表示時間が、翻訳された第２言語の字幕の認識時間よりも短い場合、該箇所を通知するステップと、
前記第２言語に翻訳するステップでは、動画一区間内において、表示時間の少なくとも一部が重なる第１言語による字幕が複数表示される場合、複数の前記第１言語による字幕のうち、最初に表示される第１言語による字幕の表示開始時刻から最後に表示される第１言語による字幕の表示終了時刻までを前記表示時間とし、前記一区間内における翻訳後の第２言語による複数の字幕の認識時間を合計することにより前記認識時間を算出し、前記翻訳手段は、前記表示時間が、前記認識時間よりも短い場合、複数の前記第１言語による字幕のうちの一部の字幕を第２言語に翻訳するステップ、をコンピュータに実行させるためのプログラムである。
請求項１３に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得するステップと、
前記第１言語による字幕を、第２言語に翻訳するステップと、
前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、を備え、
前記第２言語に翻訳するステップでは、前記表示時間が、前記認識時間よりも短い場合、翻訳後の第２言語による字幕の認識時間が、翻訳前の第１言語による字幕の表示時間よりも短くなるように、予め定められた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳するステップ、をコンピュータに実行させるためのプログラムである。
請求項１４に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得するステップと、
前記第１言語による字幕を、第２言語に翻訳するステップと、
前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、
取得された第１言語の字幕のうち、第２言語に翻訳する字幕の優先順位を受け付けるステップと、を備え、
前記第２言語に翻訳するステップでは、前記表示時間が、前記認識時間よりも短い場合、受け付けられた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳するステップ、をコンピュータに実行させるためのプログラムである。
請求項１５に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得するステップと、
前記第１言語による字幕を、第２言語に翻訳するステップと、
前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、を備え、
前記通知するステップでは、取得された第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い区間の表示開始時刻の静止画を表示するステップ、をコンピュータに実行させるためのプログラムである。
請求項１６に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得するステップと、
前記第１言語による字幕を、第２言語に翻訳するステップと、
前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、を備え、
前記通知するステップでは、取得された第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い区間を繰り返し再生して表示するステップ、をコンピュータに実行させるためのプログラムである。
請求項１７に係る本発明は、
第１言語による字幕が付されている動画から字幕を取得するステップと、
前記第１言語による字幕を、第２言語に翻訳するステップと、
前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、を備え、
前記通知するステップでは、再生区間中において、取得された第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い区間を、他の区間とは異なる表示形態で表示し、取得された第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い区間のうち、前記第２言語による字幕の認識時間に対する前記第１言語による字幕の表示時間の比率が、予め設定された値より小さい場合と、予め設定された値以上である場合とで、さらに異なる表示形態で表示するステップ、をコンピュータに実行させるためのプログラムである。
請求項１に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
また、請求項１に係る本発明によれば、動画に付されている字幕を、優先度に応じて翻訳して表示することができる情報処理装置を提供することができる。
また、請求項１に係る本発明によれば、動画の一区間内に字幕が複数表示される場合に、複数の字幕のうち優先度の高い字幕を翻訳して表示することができる情報処理装置を提供することができる。
請求項２に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
また、請求項２に係る本発明によれば、動画に付されている字幕を、優先度に応じて翻訳して表示することができる情報処理装置を提供することができる。
また、請求項２に係る本発明によれば、予め定められた優先順位に基づいて動画に付されている字幕を翻訳して表示することができる情報処理装置を提供することができる。
請求項３に係る本発明によれば、動画に付されている字幕の配置位置に基づいて動画に付されている字幕を翻訳して表示することができる情報処理装置を提供することができる。
請求項４に係る本発明によれば、動画に付されている字幕の表示形態に基づいて動画に付されている字幕を翻訳して表示することができる情報処理装置を提供することができる。
請求項５に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
また、請求項５に係る本発明によれば、動画に付されている字幕を、優先度に応じて翻訳して表示することができる情報処理装置を提供することができる。
また、請求項５に係る本発明によれば、ユーザにより受け付けられた優先順位に基づいて動画に付されている字幕を翻訳して表示することができる情報処理装置を提供することができる。
請求項６に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
また、請求項６に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所を、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。

請求項７に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
また、請求項７に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所を、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
請求項８に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
また、請求項８に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所を、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
また、請求項８に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所と短さの程度を、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
請求項９に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕の文字数又は単語数により、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能な情報処理装置を提供することができる。
請求項１０に係る本発明によれば、動画に付されている字幕のうち優先度の高い単語を翻訳して表示することができる情報処理装置を提供することができる。
請求項１１に係る本発明によれば、動画に付されている字幕のうち優先度の高い字幕中の一部の単語を翻訳して表示することができる情報処理装置を提供することができる。
請求項１２に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
また、請求項１２に係る本発明によれば、動画に付されている字幕を、優先度に応じて翻訳して表示することができるプログラムを提供することができる。
また、請求項１２に係る本発明によれば、動画の一区間内に字幕が複数表示される場合に、複数の字幕のうち優先度の高い字幕を翻訳して表示することができるプログラムを提供することができる。
請求項１３に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
また、請求項１３に係る本発明によれば、動画に付されている字幕を、優先度に応じて翻訳して表示することができるプログラムを提供することができる。
また、請求項１３に係る本発明によれば、予め定められた優先順位に基づいて動画に付されている字幕を翻訳して表示することができるプログラムを提供することができる。
請求項１４に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
また、請求項１４に係る本発明によれば、動画に付されている字幕を、優先度に応じて翻訳して表示することができるプログラムを提供することができる。
また、請求項１４に係る本発明によれば、ユーザにより受け付けられた優先順位に基づいて動画に付されている字幕を翻訳して表示することができるプログラムを提供することができる。
請求項１５に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
また、請求項１５に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所を、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
請求項１６に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
また、請求項１６に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所を、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
請求項１７に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所があることを、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
また、請求項１７に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所を、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
また、請求項１７に係る本発明によれば、動画に付されている字幕を翻訳して表示する場合に、翻訳後の字幕を認識するのに要する認識時間よりも、字幕に対応付けられている表示時間が短い箇所と短さの程度を、動画の再生前にユーザが把握することが可能なプログラムを提供することができる。
本発明の一実施形態のマルチメディアコンテンツ生成システムの構成を示すシステム図である。 本発明の一実施形態における編集処理サーバ１０のハードウェア構成を示すブロック図である。 本発明の一実施形態における編集処理サーバ１０の機能構成を示すブロック図である。 本発明の一実施形態の編集処理サーバ１０における処理の概略を示すフローチャートである。 （Ａ）、（Ｂ）は、本発明の一実施形態の編集処理サーバ１０における処理の概略を説明するための図である。 編集処理サーバ１０に取り込む動画の１セクションを示す図である。 図６に示す動画の翻訳表示画面例を示す図である。 編集処理サーバ１０に取り込む動画の１セクションを示す図である。 図８に示す動画の翻訳表示画面例を示す図である。 字幕認識時間が字幕表示時間よりも短い場合の優先度設定画面の一例を示す図である。 図８に示す動画の翻訳表示画面例を示す図である。 編集処理サーバ１０に取り込む動画の１セクションを示す図である。 （Ａ）、（Ｂ）は、本発明の一実施形態の編集処理サーバ１０における処理の概略を説明するための図である。 図１２に示す動画の翻訳表示画面の一例を示す図である。 字幕認識時間が字幕表示時間よりも短い場合の優先度設定画面の一例を示す図である。 図１２に示す動画の翻訳表示画面の一例を示す図である。 （Ａ）、（Ｂ）は、動画中の字幕認識時間が字幕表示時間よりも短い箇所を通知する表示画面の一例を示す図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態のマルチメディアコンテンツ生成システムの構成を示すシステム図である。
本発明の一実施形態のマルチメディアコンテンツ生成システムは、図１に示されるように、ネットワーク３０により相互に接続された編集処理サーバ１０およびパーソナルコンピュータ（以下、パソコンと略す。）等の端末装置２０により構成される。
本実施形態のマルチメディアコンテンツ生成システムは、動画、静止画、音声、文字、自動翻訳等の様々なコンテンツを組み合わせたマルチメディアコンテンツを生成するものである。本実施形態のマルチメディアコンテンツ生成システムによれば、例えば、動画に字幕を挿入したり、挿入した字幕を他の言語に翻訳して、翻訳した字幕を挿入するようなマルチメディアコンテンツを生成することができる。
ここで、字幕とは、映画やテレビ等の動画において、解説、会話、翻訳等の情報を、画面の中に文字を用いて表示したものをいい、字幕は、字幕情報として、端末装置２０と編集処理サーバ１０との間で送受信することができる。
編集処理サーバ１０は、このような様々なコンテンツを編集してマルチメディアコンテンツを生成するための編集ソフトウェアがインストールされている情報処理装置である。そして、端末装置２０は、動画を取り込み、編集処理サーバ１０上で動作する編集ソフトウェアを用いて、マルチメディアコンテンツを生成する。
なお、このような編集ソフトウェアを編集処理サーバ１０にインストールするのではなく、パソコン等の端末装置２０に直接インストールして使用することも可能である。
次に、本実施形態のマルチメディアコンテンツ生成システムにおける編集処理サーバ１０のハードウェア構成を図２に示す。
編集処理サーバ１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワーク３０を介して端末装置２０等の外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、編集処理サーバ１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムをＣＤ－ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。
図３は、上記の制御プログラムが実行されることにより実現される編集処理サーバ１０の機能構成を示すブロック図である。
本実施形態の編集処理サーバ１０は、図３に示されるように、データ通信部３１と、制御部３２と、データ格納部３３とを備えている。
データ通信部３１は、端末装置２０との間でネットワーク３０を介したデータ通信を行っている。
制御部３２は、編集処理サーバ１０の動作を制御していて、字幕取得部４１、翻訳部４２、認識時間取得部４３、表示時間取得部４４、表示制御部４５及びユーザ操作受付部４６を備えている。
データ格納部３３は、編集処理を行おうとする動画データ等の各種コンテンツデータを格納している。また、データ格納部３３は、言語毎の単位時間当たりの字幕を認識し得る文字数又は単語数のテーブルを格納している。
表示制御部４５は、端末装置２０において表示される画面の制御を行っている。
字幕取得部４１は、第１言語による字幕が付されている動画から字幕を取得する。
翻訳部４２は、第１言語による字幕を、第２言語に翻訳する。
表示時間取得部４４は、第１言語による字幕の表示時間である字幕表示時間を取得する。具体的には、表示時間取得部４４は、字幕の表示開始時刻から字幕の表示終了時刻までを字幕表示時間として取得する。
また、表示時間取得部４４は、動画の１区間である１セクション（１シーンともいう）内において、表示時間の少なくとも一部が重なる第１言語の字幕が複数表示される場合、複数の字幕のうち、最初に表示される字幕の表示開始時刻から最後に表示される字幕の表示終了時刻までを字幕表示時間として取得する。
認識時間取得部４３は、翻訳部４２による翻訳後の第２言語の字幕を認識するのに要する時間である字幕認識時間を取得する。
ここで、字幕認識時間とは、翻訳部４２による翻訳後の第２言語の字幕を認識するのに要する時間をいう。ここでは、字幕認識時間を、字幕を読み上げるために要する時間とし、言語毎に文字数又は単語数に基づいて算出する。つまり、認識時間取得部４３は、翻訳後の第２言語の字幕の文字数又は単語数に基づいて字幕認識時間を取得する。なお、字幕認識時間は、言語に応じて異なるように設定することができる。
また、認識時間取得部４３は、１セクション内において、表示時間の少なくとも一部が重なる第１言語の字幕が複数表示される場合、動画の１セクション内における翻訳後の第２言語の複数の字幕認識時間を合計することにより字幕認識時間を算出する。
表示制御部４５は、第１言語による字幕表示時間が、翻訳部４２により翻訳された第２言語の字幕認識時間よりも短い場合、該箇所を表示して通知する通知手段として機能する。
また、表示制御部４５は、字幕取得部４１により取得された第１言語の字幕表示時間が、翻訳部４２により翻訳された第２言語の字幕認識時間よりも短い区間の表示開始時刻の静止画を表示するように制御して、該箇所を通知する。
また、表示制御部４５は、字幕取得部４１により取得された第１言語の字幕表示時間が、翻訳部４２により翻訳された第２言語の字幕認識時間よりも短い区間を繰り返し再生して表示するように制御して、該箇所を通知する。
また、表示制御部４５は、再生区間中において、字幕取得部４１により取得された第１言語の字幕表示時間が、翻訳部４２により翻訳された第２言語の字幕認識時間よりも短い区間を、他の区間とは異なる表示形態で表示するように制御して、該箇所を通知する。
また、表示制御部４５は、再生区間中において、字幕取得部４１により取得された第１言語の字幕表示時間が、翻訳部４２により翻訳された第２言語の字幕認識時間よりも短い区間のうち、第２言語の字幕認識時間に対する第１言語の字幕表示時間の比率が、予め設定された値より小さい場合と、予め設定された値以上である場合とで、さらに異なる表示形態で表示するように制御して、該箇所を通知する。
翻訳部４２は、第１言語の字幕の字幕表示時間が、第２言語の字幕認識時間よりも短い場合、第１言語の字幕のうちの一部の字幕を第２言語に翻訳する。例えば、翻訳部４２は、第１言語の字幕表示時間が、第２言語の字幕認識時間よりも短い場合、第１言語の字幕のうちの一部の単語を第２言語に翻訳する。
また、翻訳部４２は、動画の１セクション内において、１つの第１言語の字幕が表示される場合、この字幕中の一部の単語を翻訳する。
また、翻訳部４２は、動画の１セクション内において、複数の第１言語の字幕が表示され、第１言語の字幕表示時間が、第２言語の字幕認識時間よりも短い場合、第１言語の複数の字幕うちのいずれかの字幕を第２言語に翻訳する。
また、翻訳部４２は、翻訳後の第２言語の字幕認識時間が、翻訳前の第１言語の字幕表示時間よりも短くなるように、予め定められた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳する。
具体的には、翻訳部４２は、動画中の第１言語による字幕の配置位置に応じた優先順位に基づいて、第１言語による字幕のうちの一部の字幕を第２言語に翻訳する。また、翻訳部４２は、動画中の文字の大きさの異なる字幕や、文字の色の異なる字幕等の、動画中の他の字幕と表示形態の異なる字幕を優先的に翻訳する。
ユーザ操作受付部４６は、字幕取得部４１により取得された第１言語の字幕のうち、第２言語に翻訳する字幕の優先順位を受け付ける。そして、翻訳部４２は、ユーザ操作受付部４６により受け付けられた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳する。
次に、本実施形態のマルチメディアコンテンツ生成システムにおける編集処理サーバ１０の動作について図面を参照して詳細に説明する。
先ず、編集処理サーバ１０における動作の概略を図４のフローチャートを参照して説明する。ここでは、第１言語としての日本語による字幕を、第２言語としての英語に翻訳する場合を例にして説明する。また、データ格納部３３には、日本語による字幕を認識し得る字幕認識時間が１秒当たり５文字、英語による字幕を認識し得る字幕認識時間が１秒当たり２単語と格納されている。
先ず、ステップＳ１０において、字幕取得部４１が、動画に挿入されている字幕を取得する。具体的には、図６に示されている日本語による字幕が付されている動画から字幕「私は、犬が好きです。」を取得する。
そして、ステップＳ１１において、表示時間取得部４４が、ステップＳ１０において取得された字幕の字幕表示時間ｔを取得する。字幕表示時間ｔは、字幕表示開始時刻から字幕表示終了時刻までの時間である。また、字幕表示時間ｔは、データ格納部３３に格納されているテーブルに基づいて設定されている。具体的には、図６に示すように、日本語による字幕の文字数が１０文字の場合には、字幕表示時間ｔが２秒と設定されている。
そして、ステップＳ１２において、翻訳部４２が、ステップＳ１０において取得された日本語による字幕を、英語に翻訳する。具体的には、翻訳部４２が、日本語による字幕「私は、犬が好きです。」を、英語「Ｉ ｌｉｋｅ ｄｏｇｓ．」に翻訳する。
そして、ステップＳ１３において、認識時間取得部４３が、翻訳された英語の文字数又は単語数をカウントし、データ格納部３３に格納されているテーブルにおける英語の文字数又は単語数に基づいて字幕認識時間を算出する。具体的には、認識時間取得部４３は、翻訳された英語の単語数を３単語とカウントし、字幕認識時間Ｔを１．５秒と算出する。
そして、ステップＳ１４において、制御部３２は、字幕表示時間ｔが字幕認識時間Ｔより長いか否かを判断する。
そして、ステップＳ１４において、図５（Ａ）に示すように、字幕表示時間ｔが字幕認識時間Ｔより長いと判断されると、処理を終了し、日本語による字幕の上に、翻訳された英語による字幕が表示される。具体的には、日本語による字幕「私は、犬が好きです。」の字幕表示時間ｔは２秒に設定され、英語による字幕「Ｉ ｌｉｋｅ ｄｏｇｓ．」の単語数は３単語なので字幕認識時間Ｔは１．５秒と算出される。そして、字幕表示時間ｔ＞字幕認識時間Ｔであるため、図７に示すように、動画中の日本語による字幕「私は、犬が好きです。」上に英語による字幕「Ｉ ｌｉｋｅ ｄｏｇｓ．」が表示される。つまり、字幕表示時間ｔは、翻訳後の英語による字幕を認識するのに十分な時間があると判断されて、ユーザは、翻訳後の英語による字幕の表示時間を延ばす必要がない。
一方、ステップＳ１４において、図５（Ｂ）に示すように、字幕表示時間ｔが字幕認識時間Ｔより短いと判断されると、ステップＳ１５において、表示制御部４５は、字幕取得部４１により取得された第１言語の字幕表示時間が、翻訳部４２により翻訳された第２言語の字幕認識時間よりも短い区間の表示開始時刻の静止画を表示するように制御して、該箇所を通知する。
具体的には、例えば図８に示されているような動画の１セクションでは、日本語による字幕の字幕表示時間ｔが２．２秒に設定されている。そして、英語による字幕「Ｊｉｍ ｉｓ ａ ｈｉｇｈ ｓｃｈｏｏｌ ｓｔｕｄｅｎｔ．」の単語数が６単語なので字幕認識時間Ｔは３秒と算出される。そして、字幕表示時間ｔ＜字幕認識時間Ｔであるため、端末装置２０の表示画面には、図９に示すように、該当する箇所の表示開始時刻の静止画と、図１０に示すような優先度設定画面が表示される。このとき、静止画には、このセクションにおける字幕の全ての翻訳後の字幕が表示される。つまり、字幕表示時間ｔは、翻訳後の英語による字幕を認識するのに十分な時間がないと判断されて、ユーザは、翻訳後の英語による字幕の表示時間を延ばす又は一部の字幕を翻訳するよう翻訳する優先度を選択する必要がある。
図１０に示すように、端末装置２０の表示画面には、動画中に字幕表示時間が短い箇所がある旨が通知され、翻訳する優先度を選択する優先度設定画面が表示される。翻訳する優先度として、後述する標準設定や、文字の大きさや文字の色等の文字の表示形態に応じた設定や、自分で設定することが可能なように選択可能に表示される。
ここで、標準設定とは、字幕の表示位置に応じた設定である。図１０に示すような優先度設定画面において「標準設定」が選択された場合には、翻訳部４２は、例えば、画面上の左上を（ｘ、ｙ）＝（０，０）とした場合に、ｙ値が小さい方を優先し、ｙ値が同値の場合、ｘ値が小さい方が優先して翻訳する。
また、図１０に示すような優先度設定画面において「文字の大きさ」が選択された場合には、翻訳部４２は、文字の大きさとして、ポインタが大きな文字列を優先して翻訳する。また、翻訳部４２は、翻訳対象の文字が同じポイントの場合、標準設定に従って翻訳する。
また、図１０に示すような優先度設定画面において「文字の色」が選択された場合には、翻訳部４２は、指定した色の文字列を優先して翻訳する。また、翻訳部４２は、翻訳対象の文字が同じ色の場合、標準設定に従って翻訳する。
また、図１０に示すような優先度設定画面において「自分で設定する」が選択された場合には、翻訳部４２は、動画中の日本語による字幕のうち翻訳範囲が指定された字幕を優先して翻訳する。
そして、ステップＳ１６において、例えば図１０に示すような優先度設定画面において、いずれかのボタンが選択されて「設定する」ボタンが押下されると、ステップＳ１７において、選択された設定に変更されてステップＳ１４の処理へ戻る。
具体的には、例えば図１０に示すような優先度設定画面において「文字の大きさ」が選択されて「設定する」ボタンが押下されると、図１１に示すように、日本語による字幕中の他の文字よりも大きさの大きい字幕「高校生」の上に、英語による字幕「ｈｉｇｈ ｓｃｈｏｏｌ ｓｔｕｄｅｎｔ」が表示される。つまり、翻訳部４２は、日本語による字幕のうちの一部の単語を英語に翻訳する。そして、翻訳後の英語の単語数は３単語となり、字幕認識時間Ｔは、１．５秒となる。つまり、字幕表示時間ｔが、字幕認識時間Ｔよりも長くなり、字幕表示時間ｔは、翻訳後の英語による字幕を認識するのに十分な時間があると判断されて、ユーザは、翻訳後の英語による字幕の表示時間を延ばす必要がなくなる。
次に、本発明の第２の実施形態について説明する。第２の実施形態では、図１２に示すような動画の１セクションに、複数の日本語による字幕が表示時間が重複して含まれている場合について説明する。
図１２に示されているように、動画の１セクションにおいて複数の字幕が重複して挿入される場合には、図１３（Ａ）及び図１３（Ｂ）に示すように、字幕表示時間ｔは、１セクション内において表示される複数の字幕のうち、最初に表示される字幕の表示開始時刻から、最後に表示される字幕の表示終了時刻までである。つまり、表示時間取得部４４は、複数の字幕のうち、最初に表示される字幕の表示開始時刻から最後に表示される字幕の表示終了時刻までを字幕表示時間として取得する。
また、字幕認識時間Ｔは、そのセクション内における翻訳後の第２言語の複数の字幕の字幕認識時間を合計することにより算出される。つまり、認識時間取得部４３は、動画の１セクション内における翻訳後の第２言語の複数の字幕認識時間を合計することにより字幕認識時間を算出する。
具体的には、例えば図１２に示されているような動画の１セクションでは、日本語による字幕が３つ含まれ、３つの字幕のうち最初に表示される日本語による字幕「こんにちは」の表示開始時刻から、最後に表示される日本語による字幕「はじめまして」の表示終了時刻までが、字幕表示時間ｔとして設定される。
そして、字幕認識時間Ｔは、日本語による字幕「こんにちは」の英語による字幕「Ｈｅｌｌｏ」は１単語であるから、字幕認識時間Ｔ１＝０．５秒が算出される。同様に、日本語による字幕「こんにちは」の英語による字幕から字幕認識時間Ｔ２＝０．５秒が算出される。また、日本語による字幕「はじめまして！！」の英語による字幕「Ｎｉｃｅ ｔｏ ｍｅｅｔ ｙｏｕ！！」は４単語であるから、字幕認識時間Ｔ３＝２秒が算出される。よって、字幕認識時間Ｔ＝Ｔ１＋Ｔ２＋Ｔ３＝０・５秒＋０・５秒＋２秒＝３秒で、字幕認識時間Ｔが３秒と算出される。
図１３（Ａ）に示すように、図１２に示す動画の字幕表示時間ｔが例えば５秒の場合、このセクションにおける複数の字幕の字幕表示時間ｔが字幕認識時間Ｔの３秒よりも長いため、端末装置２０の表示画面には、図１４に示すような日本語による３つの字幕上のそれぞれに翻訳後の英語による字幕が表示される。つまり、字幕表示時間ｔが、字幕認識時間Ｔよりも長く、字幕表示時間ｔは、翻訳後の英語による字幕を認識するのに十分な時間があると判断されて、翻訳後の英語による字幕の表示時間を延ばす必要がない。
一方、図１３（Ｂ）に示すように、図１２に示す動画の字幕表示時間ｔが例えば２秒の場合、このセクションにおける複数の字幕の字幕表示時間ｔが字幕認識時間Ｔの３秒よりも短いため、端末装置２０の表示画面には、このセクションの表示開始時刻の静止画であって、図１４に示すような日本語による３つの字幕上のそれぞれに翻訳後の英語による字幕が挿入された静止画が表示され、上述した図１０に示すような優先度設定画面が表示される。そして、図１０に示すような優先度設定画面上で翻訳する優先度を選択することにより、動画中の優先度の高い字幕から英語に翻訳されて日本語による字幕上に表示される。
次に、図１０の優先度設定画面の変形例について説明する。
図１５に示すように、動画中の字幕表示時間ｔが字幕認識時間Ｔより短い場合に、動画中の字幕表示時間ｔが字幕認識時間Ｔより短い箇所の表示開始時刻の静止画が表示される。静止画の下方には、再生切替バー５０が表示される。この再生切替バー５０上において、ポインタ５２を移動させることにより、動画の再生位置を切り替えることができる。
また、図１５に示すような表示画面において「自分で設定する」が選択された場合には、翻訳部４２は、静止画中の日本語による字幕の中から翻訳範囲を指定した字幕を優先して翻訳することができる。また、字幕文字と字幕文字に対応する表示開始時刻と表示終了時刻が表示されているテーブル５４上で行をドラッグ＆ドロップして優先度を入れ替えることもできる。そして、「設定する」ボタンが押下されることにより、端末装置２０の表示画面には、図１６に示すような日本語による３つの字幕のうち、字幕表示時間ｔが字幕認識時間Ｔとなるように優先して翻訳された英語による字幕が挿入されて表示される。
ユーザは、このようにして字幕表示時間ｔが字幕認識時間Ｔよりも短い箇所の画像を確認しながら、翻訳を優先する箇所を選択することができる。
次に、上述した再生切替バー５０の変形例について、図１７（Ａ）及び図１７（Ｂ）を用いて説明する。図１７（Ａ）及び図１７（Ｂ）に示す例では、動画中の字幕表示時間ｔが字幕認識時間Ｔよりも短い箇所を、再生切替バー５０上にポインタ５２の表示が異なるようにして表示している。
図１７（Ａ）及び図１７（Ｂ）は、動画中における字幕表示時間ｔが字幕認識時間Ｔよりも短い箇所を、短い割合に応じて表示が異なるようにして表示している。
具体的には、動画中における字幕表示時間ｔが字幕認識時間Ｔよりも短い箇所のうち、第２言語の字幕認識時間Ｔに対する第１言語の字幕表示時間ｔの比率が、予め設定された値より小さい場合と、予め設定された値以上である場合とで、表示形態が異なるようにして、再生切替バー５０上に表示する。例えば、図１７（Ａ）に示すように、第２言語の字幕認識時間Ｔに対する第１言語の字幕表示時間ｔの比率が、予め設定された値より小さい場合と、予め設定された値以上である場合とで、再生切替バー５０上に異なる色のポインタ５２を表示する。具体的には、例えば第２言語の字幕認識時間Ｔに対する第１言語の字幕表示時間ｔの比率が、予め設定された値より小さい場合には、赤いポインタで表示し、予め設定された値以上である場合には、黄色いポインタで表示する。また、図１７（Ｂ）に示すように、動画中における字幕表示時間ｔが字幕認識時間Ｔよりも短い箇所を、ポインタ５２で示し、短さの程度に応じて再生切替バー５０上のポインタ５２の長さを変えて表示するようにしてもよい。
そして、このような再生切替バー５０上において、翻訳する優先度を選択する際に、複数のポインタの中から翻訳する優先度の高い箇所のポインタを選択し、動画中の静止画を確認することにより、動画の再生位置を切り替えることができる。
なお、本実施形態においては、第１言語として日本語を第２言語として英語に翻訳する例について説明したが、本発明はこれに限定されるものではなく、第１言語として英語、第２言語として日本語に翻訳する場合等の他の言語にも同様に適用することができる。
また、本実施形態においては、第１言語による字幕上に、翻訳後の第２言語による字幕を表示する例について説明したが、本発明はこれに限定されるものではなく、第１言語による字幕の代わりに、翻訳後の第２言語による字幕を表示するようにしてもよい。
また、本実施形態においては、字幕表示時間ｔが字幕認識時間Ｔよりも短い場合に、字幕表示時間ｔが字幕認識時間Ｔよりも短い箇所の表示開始時刻の静止画を表示する例について説明したが、本発明はこれに限定されるものではなく、字幕表示時間ｔが字幕認識時間Ｔよりも短い箇所の前後数秒間の再生区間の動画像を繰り返し再生するようにしてもよい。
１０ 編集処理サーバ
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ 制御バス
２０ 端末装置
３０ ネットワーク
３１ データ通信部
３２ 制御部
３３ データ格納部
４１ 字幕取得部
４２ 翻訳部
４３ 認識時間取得部
４４ 表示時間取得部
４５ 表示制御部
４６ ユーザ操作受付部

Claims (17)

  1. 第１言語による字幕が付されている動画から字幕を取得する取得手段と、
    前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
    前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
    前記翻訳手段は、動画一区間内において、表示時間の少なくとも一部が重なる第１言語による字幕が複数表示される場合、複数の前記第１言語による字幕のうち、最初に表示される第１言語による字幕の表示開始時刻から最後に表示される第１言語による字幕の表示終了時刻までを前記表示時間とし、前記一区間内における翻訳後の第２言語による複数の字幕の認識時間を合計することにより前記認識時間を算出し、前記表示時間が、前記認識時間よりも短い場合、複数の前記第１言語による字幕のうちの一部の字幕を第２言語に翻訳する、
    情報処理装置。
  2. 第１言語による字幕が付されている動画から字幕を取得する取得手段と、
    前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
    前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
    前記翻訳手段は、前記表示時間が、前記認識時間よりも短い場合、翻訳後の第２言語による字幕の認識時間が、翻訳前の第１言語による字幕の表示時間よりも短くなるように、予め定められた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳する、
    情報処理装置。
  3. 前記優先順位は、動画中の第１言語による字幕の配置位置に応じた優先順位であることを特徴とする請求項２記載の情報処理装置。
  4. 前記翻訳手段は、動画中の他の字幕と表示形態の異なる字幕を優先的に翻訳する請求項２記載の情報処理装置。
  5. 第１言語による字幕が付されている動画から字幕を取得する取得手段と、
    前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
    前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、
    前記取得手段により取得された第１言語の字幕のうち、第２言語に翻訳する字幕の優先順位を受け付ける受付手段と、を備え、
    前記翻訳手段は、前記表示時間が、前記認識時間よりも短い場合、前記受付手段により受け付けられた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳する、
    情報処理装置。
  6. 第１言語による字幕が付されている動画から字幕を取得する取得手段と、
    前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
    前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
    前記通知手段は、前記取得手段により取得された第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い区間の表示開始時刻の静止画を表示する、
    情報処理装置。
  7. 第１言語による字幕が付されている動画から字幕を取得する取得手段と、
    前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
    前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
    前記通知手段は、前記取得手段により取得された第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い区間を繰り返し再生して表示する、
    情報処理装置。
  8. 第１言語による字幕が付されている動画から字幕を取得する取得手段と、
    前記第１言語による字幕を、第２言語に翻訳する翻訳手段と、
    前記第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知する通知手段と、を備え、
    前記通知手段は、再生区間中において、前記取得手段により取得された第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い区間を、他の区間とは異なる表示形態で表示し、前記取得手段により取得された第１言語による字幕の表示時間が、前記翻訳手段により翻訳された第２言語による字幕の認識時間よりも短い区間のうち、前記第２言語による字幕の認識時間に対する前記第１言語による字幕の表示時間の比率が、予め設定された値より小さい場合と、予め設定された値以上である場合とで、さらに異なる表示形態で表示する、
    情報処理装置。
  9. 前記認識時間は、前記第２言語による字幕の文字数又は単語数により算出される時間であることを特徴とする請求項１から８のいずれか一項記載の情報処理装置。
  10. 前記一部は字幕中の単語であることを特徴とする請求項１から５のいずれか一項記載の情報処理装置。
  11. 前記翻訳手段は、動画の一区間内において、一つの第１言語の字幕が表示される場合、前記字幕中の一部の単語を翻訳することを特徴とする請求項１０記載の情報処理装置。
  12. 第１言語による字幕が付されている動画から字幕を取得するステップと、
    前記第１言語による字幕を、第２言語に翻訳するステップと、
    前記第１言語による字幕の表示時間が、翻訳された第２言語の字幕の認識時間よりも短い場合、該箇所を通知するステップと、
    前記第２言語に翻訳するステップでは、動画一区間内において、表示時間の少なくとも一部が重なる第１言語による字幕が複数表示される場合、複数の前記第１言語による字幕のうち、最初に表示される第１言語による字幕の表示開始時刻から最後に表示される第１言語による字幕の表示終了時刻までを前記表示時間とし、前記一区間内における翻訳後の第２言語による複数の字幕の認識時間を合計することにより前記認識時間を算出し、前記表示時間が、前記認識時間よりも短い場合、複数の前記第１言語による字幕のうちの一部の字幕を第２言語に翻訳するステップ、
    をコンピュータに実行させるためのプログラム。
  13. 第１言語による字幕が付されている動画から字幕を取得するステップと、
    前記第１言語による字幕を、第２言語に翻訳するステップと、
    前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、を備え、
    前記第２言語に翻訳するステップでは、前記表示時間が、前記認識時間よりも短い場合、翻訳後の第２言語による字幕の認識時間が、翻訳前の第１言語による字幕の表示時間よりも短くなるように、予め定められた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳するステップ、
    をコンピュータに実行させるためのプログラム。
  14. 第１言語による字幕が付されている動画から字幕を取得するステップと、
    前記第１言語による字幕を、第２言語に翻訳するステップと、
    前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、
    取得された第１言語の字幕のうち、第２言語に翻訳する字幕の優先順位を受け付けるステップと、を備え、
    前記第２言語に翻訳するステップでは、前記表示時間が、前記認識時間よりも短い場合、受け付けられた優先順位に基づいて、第１言語の字幕のうちの一部の字幕を第２言語に翻訳するステップ、
    をコンピュータに実行させるためのプログラム。
  15. 第１言語による字幕が付されている動画から字幕を取得するステップと、
    前記第１言語による字幕を、第２言語に翻訳するステップと、
    前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、を備え、
    前記通知するステップでは、取得された第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い区間の表示開始時刻の静止画を表示するステップ、
    をコンピュータに実行させるためのプログラム。
  16. 第１言語による字幕が付されている動画から字幕を取得するステップと、
    前記第１言語による字幕を、第２言語に翻訳するステップと、
    前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、を備え、
    前記通知するステップでは、取得された第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い区間を繰り返し再生して表示するステップ、
    をコンピュータに実行させるためのプログラム。
  17. 第１言語による字幕が付されている動画から字幕を取得するステップと、
    前記第１言語による字幕を、第２言語に翻訳するステップと、
    前記第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い場合、該箇所を通知するステップと、を備え、
    前記通知するステップでは、再生区間中において、取得された第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い区間を、他の区間とは異なる表示形態で表示し、取得された第１言語による字幕の表示時間が、翻訳された第２言語による字幕の認識時間よりも短い区間のうち、前記第２言語による字幕の認識時間に対する前記第１言語による字幕の表示時間の比率が、予め設定された値より小さい場合と、予め設定された値以上である場合とで、さらに異なる表示形態で表示するステップ、
    をコンピュータに実行させるためのプログラム。
JP2019164658A 2019-09-10 2019-09-10 情報処理装置およびプログラム Active JP7434762B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019164658A JP7434762B2 (ja) 2019-09-10 2019-09-10 情報処理装置およびプログラム
CN202010138921.XA CN112565860A (zh) 2019-09-10 2020-03-03 信息处理装置及记录媒体
US16/821,100 US20210073479A1 (en) 2019-09-10 2020-03-17 Information processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019164658A JP7434762B2 (ja) 2019-09-10 2019-09-10 情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2021044669A JP2021044669A (ja) 2021-03-18
JP7434762B2 true JP7434762B2 (ja) 2024-02-21

Family

ID=74851261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019164658A Active JP7434762B2 (ja) 2019-09-10 2019-09-10 情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US20210073479A1 (ja)
JP (1) JP7434762B2 (ja)
CN (1) CN112565860A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301644B2 (en) * 2019-12-03 2022-04-12 Trint Limited Generating and editing media
CN112668671B (zh) * 2021-03-15 2021-12-24 北京百度网讯科技有限公司 预训练模型的获取方法和装置
CN114143592B (zh) * 2021-11-30 2023-10-27 抖音视界有限公司 视频处理方法、视频处理装置和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130124185A1 (en) 2011-11-14 2013-05-16 Amadou Sarr Collaborative Language Translation System
JP2016509408A (ja) 2013-01-15 2016-03-24 ヴィキ, インク.Viki, Inc. メディアにキャプションを付けるシステム及び方法
JP2016091057A (ja) 2014-10-29 2016-05-23 京セラ株式会社 電子機器
WO2016167187A1 (ja) 2015-04-13 2016-10-20 ソニー株式会社 送信装置、送信方法、再生装置および再生方法
JP2017212667A (ja) 2016-05-27 2017-11-30 株式会社Ｎｔｔドコモ 言語情報提供装置
JP2018073199A (ja) 2016-10-31 2018-05-10 ヤフー株式会社 抽出装置、学習装置、抽出方法、抽出プログラム、学習方法および学習プログラム
US20180211556A1 (en) 2017-01-23 2018-07-26 Rovi Guides, Inc. Systems and methods for adjusting display lengths of subtitles based on a user's reading speed
JP2018207492A (ja) 2017-06-07 2018-12-27 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI255412B (en) * 2004-09-29 2006-05-21 Inventec Corp System and method for displaying an image according to audio signals
WO2010096030A1 (en) * 2009-02-18 2010-08-26 Thomson Licensing Method and apparatus for preparing subtitles for display
CN103797783B (zh) * 2012-07-17 2017-09-29 松下知识产权经营株式会社 评论信息生成装置及评论信息生成方法
KR102014800B1 (ko) * 2015-07-06 2019-08-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017160746A1 (en) * 2016-03-14 2017-09-21 Yakyapp Corporation Devices, systems, and methods for selectively providing contextual language translation
CN106156012A (zh) * 2016-06-28 2016-11-23 乐视控股（北京）有限公司 一种字幕生成方法及装置
JP6760566B2 (ja) * 2016-07-13 2020-09-23 株式会社富士通ソーシアルサイエンスラボラトリ 端末装置、翻訳方法、及び、翻訳プログラム
US20180143974A1 (en) * 2016-11-18 2018-05-24 Microsoft Technology Licensing, Llc Translation on demand with gap filling
US20200007946A1 (en) * 2018-06-29 2020-01-02 Rovi Guides, Inc. Selectively delivering a translation for a media asset based on user proficiency level in the foreign language and proficiency level required to comprehend the media asset

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130124185A1 (en) 2011-11-14 2013-05-16 Amadou Sarr Collaborative Language Translation System
JP2016509408A (ja) 2013-01-15 2016-03-24 ヴィキ, インク.Viki, Inc. メディアにキャプションを付けるシステム及び方法
JP2016091057A (ja) 2014-10-29 2016-05-23 京セラ株式会社 電子機器
WO2016167187A1 (ja) 2015-04-13 2016-10-20 ソニー株式会社 送信装置、送信方法、再生装置および再生方法
JP2017212667A (ja) 2016-05-27 2017-11-30 株式会社Ｎｔｔドコモ 言語情報提供装置
JP2018073199A (ja) 2016-10-31 2018-05-10 ヤフー株式会社 抽出装置、学習装置、抽出方法、抽出プログラム、学習方法および学習プログラム
US20180211556A1 (en) 2017-01-23 2018-07-26 Rovi Guides, Inc. Systems and methods for adjusting display lengths of subtitles based on a user's reading speed
JP2018207492A (ja) 2017-06-07 2018-12-27 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法

Also Published As

Publication number Publication date
US20210073479A1 (en) 2021-03-11
JP2021044669A (ja) 2021-03-18
CN112565860A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US10425618B2 (en) Information processing apparatus, tuner, and information processing method
JP7434762B2 (ja) 情報処理装置およびプログラム
US9110688B2 (en) System and method for representation of object animation within presentations of software application programs
US10380773B2 (en) Information processing apparatus, information processing method, and computer readable medium
KR102055766B1 (ko) 동영상 요약 정보 재생 장치, 동영상 요약 정보 제공 서버 및 그 방법
US9307292B2 (en) Overlay of visual representations of captions on video
KR20110066578A (ko) 디지털 컨텐츠와 이를 위한 재생장치 및 방법
JP5857449B2 (ja) 画像処理装置及び録画装置
US20030177493A1 (en) Thumbnail display apparatus and thumbnail display program
JP5838791B2 (ja) プログラム、画像処理装置及び画像処理方法
US20060010366A1 (en) Multimedia content generator
WO2022182408A1 (en) Systems and methods for improved video captions
US9342813B2 (en) Apparatus and method for displaying log information associated with a plurality of displayed contents
JP7447422B2 (ja) 情報処理装置およびプログラム
US8768144B2 (en) Video image data reproducing apparatus
US7528983B2 (en) Image processing system, information processing apparatus and method, image processing apparatus and method, recording medium, and program
KR20160086031A (ko) 복합 컨텐츠의 제공 방법 및 장치
JP2007515864A (ja) ビデオ画像処理方法
JP2013090102A (ja) 配信システム
JP2004135256A (ja) 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体
KR101648711B1 (ko) 스크립트를 기반으로 하는 동영상 부가정보 처리 장치 및방법
JP2008118523A (ja) 予約受付装置および予約受付方法
JP7492092B1 (ja) 電子マニュアルの作成を支援するためのコンピュータシステムおよびプログラム
CN101252655B (zh) 再现具有子屏幕画面数据的运动画面数据的方法和设备
US20240244287A1 (en) Video editing using transcript text stylization and layout

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R150 Certificate of patent or registration of utility model

Ref document number: 7434762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150