WO2014196457A1 - 字幕付きコンテンツ再生装置 - Google Patents

字幕付きコンテンツ再生装置 Download PDF

Info

Publication number
WO2014196457A1
WO2014196457A1 PCT/JP2014/064326 JP2014064326W WO2014196457A1 WO 2014196457 A1 WO2014196457 A1 WO 2014196457A1 JP 2014064326 W JP2014064326 W JP 2014064326W WO 2014196457 A1 WO2014196457 A1 WO 2014196457A1
Authority
WO
WIPO (PCT)
Prior art keywords
translation
information
character string
subtitle
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/064326
Other languages
English (en)
French (fr)
Inventor
正宏 塩井
伊藤　典男
毅 金子
嬋斌 倪
敦稔 〆野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2015521420A priority Critical patent/JPWO2014196457A1/ja
Publication of WO2014196457A1 publication Critical patent/WO2014196457A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Definitions

  • the present invention extracts a subtitle character string from content including a subtitle stream, obtains a result obtained by translating the subtitle character string into a language different from the language, and reproduces content with subtitles for displaying the result Relates to the device.
  • subtitles are displayed at a frequency of about once every few seconds, but the display may change in the middle of sentences and words due to limitations on the display area. If machine translation is performed for each displayed sentence, it will not be translated correctly. And the phenomenon will occur.
  • paragraph 0059 of Patent Document 1 discloses a technique of “determining the end of a sentence with a period (.) Or the like and sending a plurality of items to the machine translation unit as one sentence”.
  • a period or a punctuation mark is a sentence break, but another sentence may be displayed from the next screen without a punctuation mark.
  • commas or punctuation marks there are cases where sentences are separated correctly or not. That is, it is difficult to detect sentence breaks for correct translation from information acquired as character strings.
  • FIG. 7 shows a scene introducing a family in a TV program.
  • A an image of the eldest son's up and a subtitle “This is the eldest son” are displayed, and a few seconds later.
  • B the second son ’s up video and the subtitle “This is the second son” are displayed.
  • the third son s up video and the subtitle “This is the third son” appear.
  • D This is a scene in which, after a few seconds, three videos and a subtitle “This is all children” are displayed as shown in (D).
  • FIG. 8 shows a scene of a drama with a character named Hayashi. In (G), the answer to the question "Who did that?" This is the scene to be displayed.
  • the character string “It is a forest” in (H) is translated, generally, the word “forest” is translated as a forest forest.
  • the first means of the present invention includes a subtitle analysis unit that extracts subtitle character strings and translation auxiliary information included in subtitle content, the extracted subtitle character strings, and translation subtitles.
  • a translation execution unit that performs translation based on the auxiliary information and a translation character string output unit that outputs a translation result generated by the translation execution unit as a character string are provided.
  • information indicating a character string delimiter that a desired translation result is obtained by translating with a character string acquired so far, included in a subtitle stream, or a proper noun
  • the translation can be performed in correct sentence units, and proper nouns are always translated into the same words, thereby improving the accuracy of machine translation.
  • FIG. 7 is a table describing several code formats of extended control codes defined in STD-B24. It is a list of extended control codes defined in STD-B24. It is a code sequence when auxiliary information for translation is defined as an extended control code. It is a figure explaining the scene which introduces a certain family in a television program. It is a figure explaining the scene of a drama with a television program.
  • FIG. 1 is a block diagram showing a schematic configuration of an example of a content reproduction apparatus with subtitles according to the first embodiment of the present invention.
  • the content reproduction apparatus with subtitle 1001 includes a content reception unit 101, a stream separation unit 102, a video stream decoding unit 103, an audio stream decoding unit 104, a subtitle stream decoding unit 105, a subtitle character string acquisition unit 106, A translation auxiliary information acquisition unit 107, a translation destination language determination unit 108, a translation execution unit 109, a video output unit 110, an audio output unit 111, and a translated character string output unit 112 are provided.
  • the content receiving unit 101 is a part that connects to a digital broadcast tuner (not shown), a communication network, or a recording medium in which content is stored, and acquires content including a subtitle stream.
  • the stream separation unit 102 is a part that separates the content acquired by the content reception unit 101 into a video stream, an audio stream, and a subtitle stream.
  • the video stream decoding unit 103 is a part that generates display video data by decoding the video stream separated by the stream separation unit 102.
  • the audio stream decoding unit 104 is a part that decodes the audio stream separated by the stream separation unit 102 and generates output audio data.
  • the subtitle stream decoding unit 105 is a part that decodes the subtitle stream separated by the stream separation unit 102 and generates a subtitle character code string and a control code string.
  • the subtitle character string acquisition unit 106 is a part that analyzes the subtitle character code sequence generated by the subtitle stream decoding unit 105 and acquires the subtitle character string.
  • the auxiliary information for translation acquisition unit 107 is a part that analyzes the subtitle control code sequence generated by the subtitle stream decoding unit 105 and acquires auxiliary information for translation.
  • the subtitle character string acquisition unit 106 and the translation auxiliary information acquisition unit 107 are described as separate and independent components, the subtitle analysis unit having a function of combining both of them is used to reproduce the content with the subtitle. It is good also as a structure which implement
  • the translation destination language determination unit 108 is a part that determines a translation destination language in accordance with an instruction from a user or the like (not shown).
  • the translation execution unit 109 uses the translation auxiliary information acquired by the translation auxiliary information acquisition unit 107 to translate the subtitle character string acquired by the subtitle character string acquisition unit 106 by the translation destination language determination unit 108. This is the part that translates to
  • the video output unit 110 is a part that outputs the display video data generated by the video stream decoding unit 103.
  • the audio output unit 111 is a part that outputs the output audio data generated by the audio stream decoding unit 104.
  • the translation character string output unit 112 is a part that outputs the translation result generated by the translation execution unit 109 as a character string.
  • the character string of the translation result may be output in the form of being overlaid on the display video data output by the video output unit 110, or may be output to a display part different from the part output by the video output part 110.
  • a 16:10 display is used to display the video output by the video output unit 110 in the upper 16: 9 area, and the characters output by the translated character string output unit 112 in the lower 16: 1 area.
  • a column may be displayed.
  • the subtitle stream includes display time information, but there are cases where the subtitle stream is delayed and cannot be displayed at the specified display time. In that case, it may be displayed when the translation is completed. If the translation takes too much time, the translation of the sentence may be skipped and the next sentence may be translated.
  • a subtitle stream including a subtitle character string and auxiliary information for translation is generated in the content distribution apparatus, and the generated subtitle stream, video stream, and audio stream are generated. May be created and distributed to a content reproduction apparatus with captions.
  • the information In order to acquire the translation auxiliary information from the subtitle control code string in the translation auxiliary information acquisition unit 107, the information needs to be multiplexed in the subtitle stream in accordance with a predetermined rule. At that time, it is necessary to multiplex the existing rules so that the information can be skipped by an existing terminal that does not know the rules for auxiliary information for translation.
  • This section describes a method for adding ARIB standard STD-B24, which is a standard for Japanese digital broadcast subtitle streams, to add auxiliary information for translation. You may define additional auxiliary information for translation.
  • FIG. 2 is a diagram showing the data structure of a subtitle stream defined by the existing STD-B24.
  • the subtitle stream is stored in a unit of PES (Packetized Elementary Stream) for each unit displayed on the same screen, and the PES includes a PES header 11 and PES data 12.
  • PES Packetized Elementary Stream
  • the PES header 11 includes display time information so that it can be interpreted at what time the subtitles in the subsequent PES data should be displayed.
  • the PES data 12 includes a data group header 13, data group data 14, and CRC 15.
  • the data group data is also called caption text data.
  • the data group header 13 defines the type of subtitle text data that follows. Whether it is subtitle management data that specifies the display method, the number of languages, etc., or what language subtitle text data is included. Interpretation is possible.
  • the caption text data 14 is composed of a caption text data header 16 and a data unit 17.
  • the caption text data header 16 includes language information of the data unit that follows.
  • the data unit 17 includes a data unit header 18 and data unit data 19.
  • the data unit data 19 includes a control code string 20a and a character code string 21a.
  • the control code string 20a includes a plurality of pieces of information for controlling display of the character string such as the display position, color, and character decoration of the subsequent character code string 21a.
  • the character code string 21a includes information representing a plurality of characters to be displayed as subtitles by a character code of an 8-unit character code defined by STD-B24.
  • the control code string 20b is inserted in the middle of the data unit data 19 so that the subtitles displayed on one screen can be changed in the middle, and the character of the character code string 21b subsequent thereto.
  • the structure can include information for controlling the display of the columns.
  • Fig. 3 shows the code system of 8-unit character code defined by STD-B24. 1-byte data is divided into upper 4 bits and lower 4 bits, and is represented in a matrix.
  • a region from 0x00 to 0x1F is called a C0 control code region, and a region from 0x80 to 0x9F is called a C1 control code region. Values in these two regions are included in the control code strings 20a and 20b in FIG. This is the start code of each control code.
  • the control code consists of a parameter of the number of bytes determined for each control code after this start code, and constitutes one control code. Since this parameter does not use the values of the C0 control code area and the C1 control code area, even if a control code is newly defined, the existing device can skip to the start code of the next control code.
  • 0x21 to 0x7E is a region called a GL code region
  • 0xA1 to 0xFE is a region called a GR code region.
  • each of these two regions has a Chinese character set, an alphanumeric set, a hiragana set
  • a character string included in the character code strings 21a and 21b in FIG. 2 is shown by appropriately assigning a katakana set, an external character code set, an additional symbol set, and the like.
  • CSI which is a value of 0x9E in the C1 control code area, is positioned as an extended control code.
  • Some extended control codes have already been defined, and FIG. 4 shows the format of some of the codes.
  • each code sequence starts with 0x9E, which is the CSI start code, and is a parameter between 0x30 to 0x39 and an intermediate between 0x3B or 0x20
  • 0x9E which is the CSI start code
  • a control code is composed of terminal characters different for each column. Some of them consist only of CSI start codes and end characters, as in the sixth and seventh columns. Also, like the SCS in the last column, a CSI start code and end character are defined for skipping, and the contents are not defined.
  • Fig. 5 is a list of the extended control codes currently defined, and shows the terminal character code, intermediate character code, and possible values for each parameter.
  • the end character code is 0x40 to 0x6F
  • the intermediate character code is 0x20 or 0x3B
  • the parameters are 0x30 to 0x39. Even when newly defining an extended control code, this rule is maintained and 0x40 ⁇ If a terminal character code that has not yet been assigned in 0x6F is used, the existing device can skip to the start code of the next control code.
  • FIG. 6 shows a code sequence when auxiliary information for translation is defined as an extended control code.
  • 0x6D is assigned as the terminal character code
  • 0x30 is used as information for delimiter for translation execution
  • 0x31 is used as information on personal name proper noun start
  • 0x32 is used as information on end of personal name proper noun
  • 0x33 is used as information on start of place name proper noun
  • 0x34 is assigned to the place name proper noun end information
  • 0x35 is assigned to other proper noun start information
  • 0x36 is assigned to other proper noun end information.
  • Translation execution delimiter information is information indicating that the character string delimiter is such that a desired translation result can be obtained by translating with a character string acquired by analyzing the character code string acquired so far. is there. In general, it is considered that the translation delimiter information is inserted at the end of a sentence or at the end of the screen. Therefore, information that is at the end of the sentence or at the end of the screen but is not a delimiter, that is, information for deferring translation execution, may be defined to substitute for the delimiter information for translation execution.
  • the name proper noun start information is information indicating that the name proper noun starts from the character string of the next character code string
  • the person name proper noun end information is the character code string string already received. This is information indicating that the proper noun of the person name has ended. That is, the character code string of the part sandwiched between the personal name proper noun start information and the personal name proper noun end information is the proper noun of the personal name.
  • the place name proper noun start information and the place name proper noun end information are information indicating the start and end positions of the proper name nouns in the same manner as the personal name proper noun start information and personal name proper noun end information described above.
  • proper noun start information and other individual noun end information are similar to the above-mentioned personal name proper noun start information and personal name proper noun end information. This is information indicating the position.
  • the proper nouns are classified into three types: personal names, place names, and other types, and different parameter values are assigned. However, these may be set as one value without being classified, or may be classified more finely. .
  • the start parameter may be unified into one value, and the end parameter may be divided into three to enable discrimination of three types of proper nouns. Conversely, the end parameter is set to one. Thus, it may be possible to discriminate three types of proper nouns with the start parameter. The merit of classifying proper nouns will be described later.
  • translation execution delimiter information and the proper noun start / end information are identified as parameters with the same control code, they may be defined as different control codes.
  • auxiliary information for translation are defined as extended control codes in the framework of CSI. However, they are defined by using undefined start codes that are shaded in the coding system of FIG. Also good.
  • FIG. 9 is a code stream of a subtitle stream corresponding to (A) to (D) of a scene introducing a family shown in FIG.
  • the scene where the subtitle “This is the eldest son” in FIG. 7A corresponds to the code string of the data unit data 1 in FIG. 9 and is after the control code string such as the display position and the display color. , "This is the eldest son” followed by a character code string, followed by a translation execution delimiter control code.
  • the scene where the subtitle “This is the second son” in FIG. 7B corresponds to the code string of the data unit data 2 in FIG. 9 and the control code string such as the display position and the display color. Is followed by a character code string “This is the second son,” followed by a translation execution delimiter control code.
  • the scene where the subtitle “This is the third son” in FIG. 7C corresponds to the code string of the data unit data 3 in FIG. 9 and the control code string such as the display position and the display color. Is followed by a character code string “This is the third son,” followed by a translation execution delimiter control code.
  • FIG. 7D corresponds to the code string of the data unit data 4 in FIG. 9 and controls the display position, display color, etc.
  • a character code string “This is all children.” Is followed by a control code for translation execution.
  • FIG. 10 is a code string of a subtitle stream corresponding to (E) to (F) of a scene introducing a family shown in FIG.
  • the scene where the subtitle “the eldest son is the third son” in FIG. 7E corresponds to the code string of the data unit data 5 in FIG. 10 and the control code string such as the display position and the display color. Is followed by a character code string “the eldest son is the third son”, and here, there is no control code for translation execution delimiter.
  • the scene in which the subtitle “It is said to be clever” in FIG. 7F corresponds to the code string of the data unit data 6 in FIG. 10, and the control code string such as the display position and the display color. Is followed by a character code string saying "I am clever", followed by a translation execution delimiter control code.
  • FIG. 11 shows a code stream of a subtitle stream corresponding to (H) of one scene of a drama with the character “Hayashi” shown in FIG.
  • the scene where the subtitle “It is a forest” in (H) of FIG. 8 corresponds to the code string of the data unit data 7 of FIG. 11, after the control code string such as the display position and the display color. , followeded by the character code string “It is”, followed by the control code for the personal name proper noun start, followed by the character code string “Hayashi”, followed by the control code for the personal name proper noun end, “ followeded by a control code for a translation execution delimiter.
  • the proper noun is not translated as a common noun.
  • FIG. 12 shows a code stream of a subtitle stream corresponding to (I) of another scene of the drama with the character “Hayashi” shown in FIG.
  • the scene where the subtitle “My name is Yoshio Hayashi” in (I) of FIG. 8 corresponds to the code string of the data unit data 8 of FIG. 12 and controls the display position, display color, etc.
  • the character code string “My name is” follows, followed by the control code for starting the name proper noun, and then the character code string “Yoshio Hayashi”, for controlling the end of the name proper noun.
  • the code continues, followed by the character code string “is”, and finally the translation control delimiter control code.
  • the proper noun is not translated as a common noun.
  • FIG. 13 is a flowchart showing the flow of processing of a caption stream in the content reproduction apparatus with caption according to the present invention. Here, the description is focused on the processing after the extraction of the data unit data 19 in FIG.
  • S03 confirm the first byte and confirm whether it is the start code of the control code. If it is not the start code of the control code, it is determined as a character code, and the process proceeds to S04. If it is the start code of the control code, the process proceeds to S05.
  • start code is a start code of an extended control code (CSI). If the start code is not the extended control code (CSI), the process proceeds to S06. If the start code is the extended control code (CSI), the process proceeds to S07.
  • CSI extended control code
  • the data is acquired for each byte, and is acquired until the byte becomes a termination character, and is set as an extended control code, and the process proceeds to S08.
  • S10 it is determined whether or not the parameter of the auxiliary information for translation is the information for delimiter for translation execution. If it is not the delimiter information for translation execution, the process proceeds to S12, and if it is delimiter information for translation execution, the process proceeds to S11. Transition.
  • S22 it is determined whether or not the parameter of the auxiliary information for translation is other proper noun end information. If it is not other proper noun end information, the process proceeds to S24, and if it is other proper noun end information, the process proceeds to S23. Transition.
  • the process proceeds to S25, and if data remains in the acquired character string, the data of the next subtitle PES is retained while retaining the data.
  • the process proceeds to S26, and the process proceeds to S26 and the process ends.
  • FIG. 14 is a chart showing data transition due to processing using personal name proper noun start information and personal name proper noun end information. Specifically, it is a chart showing data transition when processing the code string shown in FIG. 11, which is a subtitle stream corresponding to (H) of one scene of a drama with a character named Hayashi in FIG. .
  • the sequence (1) is a code sequence of the subtitle stream, followed by a control code sequence such as a display position and a display color, followed by a character code sequence of “it is”, and further followed by a control code for starting a name proper noun, Then, the character code string “Hayashi” continues, followed by the control code for the end of the name proper noun, followed by the character code string “I”, and finally the control code for the translation execution delimiter.
  • (3) is an example of the process in S15 of FIG. 13, in which the character from the set personal name proper noun start character to the last character of the acquired character string is converted into a character string indicating the personal name proper noun.
  • the string “Hayashi” is likely to be translated as a common noun, it is converted to “Sato”, a proper noun for human names that is difficult to translate as a common noun. It is Sato. "
  • FIG. 15 is a block diagram which shows schematic structure of an example of the content reproduction apparatus with a caption concerning the 2nd Embodiment of this invention.
  • a translation server communication unit 201 is added in place of the translation execution unit 109 so as to connect to a translation server 2002 outside the content playback apparatus 2001 with captions. It is a point.
  • the translation server communication unit 201 uses the translation auxiliary information acquired by the translation auxiliary information acquisition unit 107 to translate the subtitle character string acquired by the subtitle character string acquisition unit 106 by the translation language determination unit 108. This is a part that requests an external translation server 201 to translate to the previous language and obtains the result of translation by the translation server 201.
  • FIG. 16 is a block diagram which shows schematic structure of an example of the content reproduction apparatus with a caption concerning the 3rd Embodiment of this invention.
  • the content reproduction apparatus with subtitles 3001 is different from the block diagram of the first embodiment in FIG. 1 in that a translated character string reading unit 301 is added instead of the translated character string output unit 112.
  • the translation character string reading unit 301 is a part that converts the translation result generated by the translation execution unit 109 into a voice and outputs it. At this time, it may be mixed with the output sound output from the sound output unit 111 or may be output to a sound output device different from the sound output device such as a speaker output from the sound output unit 111.
  • FIG. 17 is a block diagram which shows schematic structure of an example of the content reproduction apparatus with a caption concerning the 4th Embodiment of this invention.
  • the content reproduction apparatus with subtitles 4001 is different from the block diagram of the first embodiment in FIG. 1 in that a translated character string transfer unit 401 is added instead of the translated character string output unit 112.
  • the translated character string transfer unit 401 is a part that transfers the translation result generated by the translation execution unit 109 to a video output device different from the video output device such as a display output by the video output unit 110.
  • the video output unit 110 may be displayed on a television (not shown), and the translated character string transfer unit 401 may be displayed on a nearby tablet terminal (not shown).
  • the character string of the translation result displayed on the tablet terminal at hand available to another application on the tablet, and use the copy and paste function to copy a part of the character string in the translation result. It may be possible to search on the Web.
  • the first means of the present invention provides a subtitle analysis unit that extracts subtitle character strings and auxiliary translation information included in subtitled content, and translates based on the extracted subtitle character strings and translation auxiliary information. And a translation character string output unit that outputs a translation result generated by the translation execution unit as a character string.
  • a second means is the first means, wherein the translation auxiliary information includes translation character string delimiter information indicating that a desired translation result can be obtained by translating with the subtitle character string extracted so far. It is characterized by including.
  • the third means is characterized in that, in the first means, the auxiliary information for translation includes information on the start of proper nouns and the end of proper nouns.
  • the fourth means is the third means wherein the start of the proper noun and the end of the proper noun are information on the start of the personal proper noun and the end of the personal proper noun, or information on the start of the place proper noun and It includes at least one of information on the end of a place name proper noun, information on the start of other proper nouns, and information on the end of other proper nouns.
  • the fifth means converts the character string sandwiched between the start information of the proper noun and the start end information of the proper noun into a specific character string indicating a proper noun in the third means. And it is characterized by translating.
  • the present invention can be used for all devices for reproducing content with subtitles.
  • DESCRIPTION OF SYMBOLS 1001 ... Content reproduction apparatus 101 with subtitles ... Content receiving part 102 ... Stream separation part 103 ... Video stream decoding part 104 ... Audio stream decoding part 105 ... Subtitle stream decoding part 106 ... Subtitle character string acquisition part 107 ... Auxiliary information acquisition part for translation 108 ... Translation language determination unit 109 ... Translation execution unit 110 ... Video output unit 111 ... Audio output unit 112 ... Translation character string output unit 11 ... PES header 12 ... PES data 13 ... Data group header 14 ... Data group data 15 ... CRC 16 ... Subtitle sentence data header 17 ... Data unit 18 ... Data unit header 19 ... Data unit data 20a ... Control code string 20b ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　字幕付きコンテンツ再生装置は、字幕付きコンテンツに含まれる字幕の文字列と翻訳用補助情報を抽出する字幕解析部と、前記抽出した字幕の文字列と翻訳用補助情報とを元に、翻訳を行う翻訳実行部と、前記翻訳実行部が生成した翻訳結果を文字列として出力する翻訳文字列出力部とを備える。

Description

字幕付きコンテンツ再生装置
　本発明は、字幕ストリームを含んだコンテンツから字幕文字列を抽出して、さらに、その字幕文字列をその言語とは異なる言語に翻訳した結果を取得して、その結果を表示する字幕付きコンテンツ再生装置に関する。
　映像や音声をデジタルデータとして圧縮し、多重して放送するデジタル放送が実用化されて久しい。デジタル放送には、聴覚障害者や高齢者に配慮して、現在放送している内容を字幕として表示することが可能となっているが、常時、放送に字幕が重畳されると煩わしい場合があるため、字幕の表示をＯＮ／ＯＦＦ制御できることが必要となっている。そのため字幕は映像に重畳した形で放送されずに、映像ストリームと独立して字幕ストリームとして多重され、表示のＯＮ／ＯＦＦが可能となっている。
　ところで機械翻訳エンジンの高性能化に伴い、上述のデジタル放送に含まれている字幕を任意の言語に翻訳して表示したいという要求がある。ただし、字幕は数秒に１回程度の頻度で表示が切り替わるが、表示領域の制限などから、文章や単語の途中で表示が切り替わる事があり、表示される文章単位で機械翻訳すると、正しく翻訳されないとの現象が発生してしまう。
　そこで、特許文献１の段落００５９には、「．（ピリオド）などによる文末判定を行い、複数のアイテムを１文として機械翻訳部に送る」との技術が開示されている。
日本国公開特許公報「特開２００９－０１６９１０号公報」
　しかしながら、ピリオドや句点は文章の区切りであるが、句点が付かずに、次の画面から別の文章を表示する場合がある。また、カンマや読点を利用した場合は、文章が正しく区切れる場合とそうでない場合がある。すなわち、文字列として取得した情報からでは正しく翻訳するための文章の区切りを検出することは困難である。
　例えば図７は、テレビ番組で、ある家族を紹介しているシーンであるが、まず（Ａ）のように長男のアップの映像と「これが長男で、」との字幕が表示され、その数秒後に（Ｂ）のように次男のアップの映像と「これが次男で、」との字幕が表示され、その数秒後に（Ｃ）のように三男のアップの映像と「これが三男で、」との字幕が表示され、その数秒後に（Ｄ）のように３人の映像と「これで子供全員です。」との字幕が表示されるシーンである。
　この場合、３人の映像と続柄が一対一対応するように、句点まで待たずに、読点までの文字列が翻訳されて、その翻訳結果が出力されることが望ましい。
　また、違うシーンで、（Ｅ）のように、長男のアップの映像と「長男は、三男が、」との字幕が表示され、その数秒後に（Ｆ）のように、長男のアップの映像そのままと「賢いと言っています。」との字幕が表示されるシーンがある。
　この場合、主語や目的語を明確にするために、読点でなく、句点までの文字列が翻訳されて、その翻訳結果が出力されることが望ましい。
　また、人名や場所等の固有名詞は、常時同じ言葉に翻訳されないと、その番組内での対応付けができず、理解の妨げとなるが、この課題についての解決策は提示されていない。
　例えば図８は、林という登場人物のいるドラマの１シーンで、（Ｇ）で「誰がそんなことをした？」との質問に対する回答として、（Ｈ）で「それは林です。」との字幕が表示されるシーンである。この場合、（Ｈ）の「それは林です。」の文字列を翻訳すると、一般的には、林という単語は、森林の林として翻訳されてしまう。
　また、（Ｉ）のように「私の名前は林義男です。」との字幕が表示されるシーンがあった場合には、人名の固有名詞の林として翻訳されることが多い。すると、森林の林として翻訳された場合と、人名固有名詞の林として翻訳された場合とで、翻訳された結果の文言が異なってしまい、両者が同じ物を示しているとは理解できない。
　上記課題を解決するために、本発明の第１の手段は、字幕付きコンテンツに含まれる字幕の文字列と翻訳用補助情報を抽出する字幕解析部と、前記抽出した字幕の文字列と翻訳用補助情報とを元に、翻訳を行う翻訳実行部と、前記翻訳実行部が生成した翻訳結果を文字列として出力する翻訳文字列出力部とを備えることを特徴とするものである。
　本発明によれば、字幕ストリーム内に含まれている、それまでに取得した文字列で翻訳を行うと所望の翻訳結果が得られるとの文字列の区切りであることを示す情報や、固有名詞の開始及び終了の情報を利用して翻訳を行うことで、正しい文章の単位で翻訳が行えたり、固有名詞が常時同じ言葉に翻訳されたりされ、機械翻訳の精度が上がるという効果を奏する。
本発明の第１の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。 ＳＴＤ－Ｂ２４で規定されている字幕ストリームのデータ構造を示す図である。 ＳＴＤ－Ｂ２４で定義された８単位文字符号の符号体系である。 ＳＴＤ－Ｂ２４で定義された拡張制御符号のいくつかの符号の書式を記載した表である。 ＳＴＤ－Ｂ２４で規定されている拡張制御符号の一覧である。 翻訳用補助情報を拡張制御符号として定義した場合の符号シーケンスである。 テレビ番組で、ある家族を紹介しているシーンについて説明する図である。 テレビ番組のあるドラマのシーンについて説明する図である。 テレビ番組で、ある家族を紹介しているシーンに対応する字幕ストリームの符号列その１について説明する図である。 テレビ番組で、ある家族を紹介しているシーンに対応する字幕ストリームの符号列その２について説明する図である。 テレビ番組のあるドラマのシーンに対応する字幕ストリームの符号列その１について説明する図である。 テレビ番組のあるドラマのシーンに対応する字幕ストリームの符号列その２について説明する図である。 本発明の字幕付きコンテンツ再生装置における字幕ストリームの処理の流れを示すフローチャートである。 人名固有名詞開始の情報及び人名固有名詞終了の情報を利用する処理によるデータの変移を示した図表である。 本発明の第２の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。 本発明の第３の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。 本発明の第４の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。
　以下、図面を参照して、本発明の各実施形態について説明する。
〔実施の形態１〕
　図１は、本発明の第１の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。
　同図に示すように、字幕付きコンテンツ再生装置１００１は、コンテンツ受信部１０１、ストリーム分離部１０２、映像ストリームデコード部１０３、音声ストリームデコード部１０４、字幕ストリームデコード部１０５、字幕文字列取得部１０６、翻訳用補助情報取得部１０７、翻訳先言語決定部１０８、翻訳実行部１０９、映像出力部１１０、音声出力部１１１、翻訳文字列出力部１１２を備えた構成となっている。
　コンテンツ受信部１０１は、図示しないデジタル放送チューナや通信ネットワークやコンテンツが格納された記録メディアに接続し、字幕ストリームが含まれたコンテンツを取得する部分である。
　ストリーム分離部１０２は、コンテンツ受信部１０１で取得したコンテンツを映像ストリーム、音声ストリーム、字幕ストリームに分離する部分である。
　映像ストリームデコード部１０３は、ストリーム分離部１０２で分離した映像ストリームをデコードして表示映像データを生成する部分である。
　音声ストリームデコード部１０４は、ストリーム分離部１０２で分離した音声ストリームをデコードして出力音声データを生成する部分である。
　字幕ストリームデコード部１０５は、ストリーム分離部１０２で分離した字幕ストリームをデコードして字幕の文字符号列と制御符号列を生成する部分である。
　字幕文字列取得部１０６は、字幕ストリームデコード部１０５で生成した字幕の文字符号列を解析して字幕の文字列を取得する部分である。
　翻訳用補助情報取得部１０７は、字幕ストリームデコード部１０５で生成した字幕の制御符号列を解析して、翻訳用補助情報を取得する部分である。
　ここで、字幕文字列取得部１０６と翻訳用補助情報取得部１０７とを独立した別個の構成として記載したが、それらの代わりに、両者を合わせた機能を持つ字幕解析部で本字幕付きコンテンツ再生装置を実現する構成としてもよい。
　翻訳先言語決定部１０８は、図示しないユーザ等からによる指示に応じて翻訳先の言語を決定する部分である。
　翻訳実行部１０９は、翻訳用補助情報取得部１０７で取得した翻訳用補助情報を利用して、字幕文字列取得部１０６で取得した字幕文字列を、翻訳先言語決定部１０８で決定した翻訳先の言語に翻訳する部分である。
　映像出力部１１０は、映像ストリームデコード部１０３が生成した表示映像データを出力する部分である。
　音声出力部１１１は、音声ストリームデコード部１０４が生成した出力音声データを出力する部分である。
　翻訳文字列出力部１１２は、翻訳実行部１０９が生成した翻訳結果を文字列として出力する部分である。翻訳結果の文字列は、映像出力部１１０が出力した表示映像データにオーバーレイする形で出力してもよいし、映像出力部１１０が出力する部分とは別の表示部分に出力してもよい。例えば、１６：１０のディスプレイを用いて、上側の１６：９の領域に映像出力部１１０が出力する映像を表示し、下側の１６：１の領域に翻訳文字列出力部１１２が出力する文字列を表示するようにしてもよい。
　また、後述するように、字幕ストリームには表示時刻情報が含まれているが、字幕の翻訳が遅れて、指定された指定された表示時刻に表示できない場合がある。その場合は、翻訳が終了した時点で表示すれば良い。また、あまりにも翻訳に時間がかかる場合は、その文章の翻訳をスキップし、次の文章の翻訳に移行するようにしてもよい。
　本字幕付きコンテンツ再生装置で、コンテンツを再生するためには、コンテンツ配信装置にて、字幕の文字列と翻訳上補助情報とを含む字幕ストリームを生成し、生成した字幕ストリームと映像ストリームと音声ストリームとを多重したコンテンツを作成し、字幕付きコンテンツ再生装置に配信すれば良い。
　翻訳用補助情報取得部１０７にて、字幕の制御符号列から翻訳用補助情報を取得するためには、所定の規定に則って字幕ストリームに上記情報が多重されている必要がある。その際、翻訳用補助情報の規定を知らない既存の端末で、この情報を読み飛ばす事ができるように、既存の規定を拡張する形で多重することが必要となる。
　ここでは、日本のデジタル放送の字幕ストリームの規格であるＡＲＩＢ規格ＳＴＤ－Ｂ２４を拡張して翻訳用補助情報を追加する方法について記載するが、本規格に限らず、字幕ストリームを規定している規格に翻訳用補助情報を追加定義しても構わない。
　図２は、既存のＳＴＤ－Ｂ２４で規定されている字幕ストリームのデータ構造を示す図である。
　字幕ストリームは同じ画面に表示する単位毎に、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）という構造で格納され、そのＰＥＳは、ＰＥＳヘッダ１１とＰＥＳデータ１２とから構成される。
　ＰＥＳヘッダ１１には、表示時刻情報が含まれており、それに続くＰＥＳデータ内の字幕をどの時間に表示すればよいのかということが解釈できるようになっている。
　ＰＥＳデータ１２は、データグループヘッダ１３とデータグループデータ１４とＣＲＣ１５とから構成される。データグループデータは字幕文データとも呼ばれる。
　データグループヘッダ１３には、それに続く字幕文データの種別が定義されており、表示方法の指定や言語数など規定した字幕管理データであるのかとか、第何言語の字幕文データであるのかとの解釈ができるようになっている。
　字幕文データ１４は、字幕文データヘッダ１６とデータユニット１７とから構成される。
　字幕文データヘッダ１６には、それに続くデータユニットの言語情報が含まれている。
　データユニット１７は、データユニットヘッダ１８とデータユニットデータ１９とから構成される。
　データユニットデータ１９には、制御符号列２０ａと文字符号列２１ａとから構成される。
　制御符号列２０ａには、それに続く文字符号列２１ａの表示位置や色や文字飾りなどの文字列の表示を制御する情報が複数含まれている。
　文字符号列２１ａは、字幕として表示する複数の文字をＳＴＤ－Ｂ２４で定義された８単位文字符号の文字コードで表した情報が含まれている。
　１つの画面で表示する字幕を途中で文字の色や文字飾りを変更することが可能となるように、データユニットデータ１９の途中に制御符号列２０ｂを挿入し、それに続く文字符号列２１ｂの文字列の表示を制御する情報を含むことができる構造となっている。
　図３は、ＳＴＤ－Ｂ２４で定義された８単位文字符号の符号体系である。１バイトのデータを、上位４ビットと下位４ビットに分けて、マトリックス状にして、あらわしている。
　０ｘ００～０ｘ１ＦまでがＣ０制御符号領域と呼ばれる領域で、０ｘ８０～０ｘ９ＦまでがＣ１制御符号領域と呼ばれる領域で、この２つの領域内の値が図２の２０ａ及び２０ｂの制御符号列に含まれる複数の制御符号の各々のスタートコードとなる。
　制御符号は、このスタートコードの後に制御符号毎に定められたバイト数のパラメータが続いて、１つの制御符号を構成する。このパラメータは、Ｃ０制御符号領域及びＣ１制御符号領域の値は使用しないため、制御符号が新たに定義されても既存機器で次の制御符号のスタートコードまで読み飛ばせるようになっている。
　０ｘ２１～０ｘ７ＥはＧＬ符号領域と呼ばれる領域で、０ｘＡ１～０ｘＦＥはＧＲ符号領域と呼ばれる領域で、制御符号を利用して、この２つの領域の各々に、漢字系集合、英数集合、平仮名集合、片仮名集合、外字符号集合、追加記号集合などを、適宜割り当てて、図２の２１ａ及び２１ｂの文字符号列に含まれる文字列を示す。
　これら集合は、１バイトコードの集合と、２バイトコードの集合に分けられるが、２バイトコードであっても、１バイト目も２バイト目も同じＧＬ符号領域もしくはＧＲ符号領域を使用することとなっている。
　Ｃ１制御符号領域の中の０ｘ９Ｅの値であるＣＳＩとは、拡張制御符号として位置づけられている。すでにいくつか拡張制御符号が定義されており、その中のいくつかの符号の書式などを記載した物が図４である。
　２列目のＣＣＣから５列目のＳＤＦの部分を見ればわかるように、そのいずれもの符号シーケンスは、まずＣＳＩのスタートコードである０ｘ９Ｅから始まり、０ｘ３０～０ｘ３９のパラメータと、０ｘ３Ｂまたは０ｘ２０の中間文字とが任意の数だけ続き、最後に列毎に異なる終端文字で制御符号が構成されている。６列目と７列目のように、ＣＳＩのスタートコードと終端文字だけで構成されている物もある。また最終列のＳＣＳのように、読み飛ばし用として、ＣＳＩのスタートコードと終端文字が定義され、その中身を規定していない物も用意されてある。
　図５が現在定義されている拡張制御符号の一覧であり、各符号の終端文字コード、中間文字コード、パラメータとしてとり得る値を示している。
　いずれも終端文字コードは０ｘ４０～０ｘ６Ｆで、中間文字コードは０ｘ２０か０ｘ３Ｂで、パラメータは０ｘ３０～０ｘ３９となっており、新規に拡張制御符号を定義する際にも、このルールを保って、０ｘ４０～０ｘ６Ｆの中でまだ割り当てられていない終端文字コードを用いれば、既存機器で次の制御符号のスタートコードまで読み飛ばせるようになっている。
　ここまでが、既存の規格での字幕ストリームの定義についてであるが、以降、翻訳用補助情報を既存の規格に追加定義する方法について記載する。
　図６が翻訳用補助情報を拡張制御符号として定義した場合の符号シーケンスである。終端文字コードとして０ｘ６Ｄを割り当て、パラメータとして、０ｘ３０を翻訳実行用区切りの情報に、０ｘ３１を人名固有名詞開始の情報に、０ｘ３２を人名固有名詞終了の情報に、０ｘ３３を地名固有名詞開始の情報に、０ｘ３４を地名固有名詞終了の情報に、０ｘ３５をその他固有名詞開始の情報に、０ｘ３６をその他固有名詞終了の情報に割り当てている。
　翻訳実行用区切りの情報とは、それまでに取得した文字符号列を解析して取得した文字列で翻訳を行うと所望の翻訳結果が得られるとの文字列の区切りであることを示す情報である。翻訳実行用区切りの情報は一般的に文末や画面終端に挿入されることが考えられる。そこで、文末または画面終端であるが区切りではないとの情報、すなわち、翻訳実行延期の情報の定義を行い、翻訳実行用区切りの情報の代用としてもよい。
　人名固有名詞開始の情報とは、次の文字符号列の文字列から人名の固有名詞が開始する事を示す情報であり、人名固有名詞終了の情報とは、すでに受け取った文字符号列の文字列で人名の固有名詞が終了した事を示す情報である。すなわち人名固有名詞開始の情報と人名固有名詞終了の情報に挟まれた部分の文字符号列が人名の固有名詞である。
　地名固有名詞開始の情報及び地名固有名詞終了の情報は、上述の人名固有名詞開始の情報及び人名固有名詞終了の情報と同様に、地名の固有名詞の開始及び終了の位置を示す情報である。
　また、その他固有名詞開始の情報及びその他個湯名詞終了の情報とは、上述の人名固有名詞開始の情報及び人名固有名詞終了の情報と同様に、人名及び地名以外の固有名詞の開始及び終了の位置を示す情報である。
　ここでは、固有名詞として人名と地名とその他の３種類に分類して、それぞれ異なるパラメータの値を割り当てたが、これらは分類せずに１つの値としてもよいし、もっと細かく分類してもよい。また、開始のパラメータは１つの値に統一し、終了のパラメータを３つに分けることで、３種類の固有名詞の判別を可能とするようにしてもよく、逆に終了のパラメータを１つにして、開始のパラメータで３種類の固有名詞の判別を可能とするようにしてもよい。固有名詞を分類することのメリットは後述する。
　また、翻訳実行用区切りの情報と固有名詞開始／終了の情報とを同じ制御符号として、パラメータで区別するようにしているが、両者を別の制御符号として定義してもよい。また、これら翻訳用補助情報を拡張制御符号としてＣＳＩの枠組みの中で定義したが、図３の符号体系の中で斜線が引かれている未定義の部分のスタートコードを利用して定義してもよい。
　このように拡張定義された字幕ストリームの符号化列の例を記載する。
　図９は、課題の欄に記載した図７のある家族を紹介しているシーンの（Ａ）から（Ｄ）までに対応する字幕ストリームの符号列である。
　図７の（Ａ）の「これが長男で、」との字幕が表示されている場面は、図９のデータユニットデータ１の符号列に対応し、表示位置や表示色等の制御符号列の後に、「これが長男で、」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
　そして、図７の（Ｂ）の「これが次男で、」との字幕が表示されている場面は、図９のデータユニットデータ２の符号列に対応し、表示位置や表示色等の制御符号列の後に、「これが次男で、」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
　そして、図７の（Ｃ）の「これが三男で、」との字幕が表示されている場面は、図９のデータユニットデータ３の符号列に対応し、表示位置や表示色等の制御符号列の後に、「これが三男で、」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
　そして、図７の（Ｄ）の「これで子供全員です。」との字幕が表示されている場面は、図９のデータユニットデータ４の符号列に対応し、表示位置や表示色等の制御符号列の後に、「これで子供全員です。」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
　このように、翻訳実行用区切りの制御信号を抽出すると、そこまでに取得した文字列で翻訳を行うため、３人の映像と、続柄の翻訳結果の文章が、一対一対応するように出力されるようになる。
　図１０は、課題の欄に記載した図７のある家族を紹介しているシーンの（Ｅ）から（Ｆ）までに対応する字幕ストリームの符号列である。
　図７の（Ｅ）の「長男は、三男が、」との字幕が表示されている場面は、図１０のデータユニットデータ５の符号列に対応し、表示位置や表示色等の制御符号列の後に、「長男は、三男が、」との文字符号列が続き、ここでは、翻訳実行用区切りの制御符号が存在しない。
　図７の（Ｆ）の「賢いと言っています。」との字幕が表示されている場面は、図１０のデータユニットデータ６の符号列に対応し、表示位置や表示色等の制御符号列の後に、「賢いと言っています。」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
　このように、翻訳実行用区切りの制御信号を抽出すると、そこまでに取得した文字列で翻訳を行うため、主語や目的語が明確になったままで翻訳結果が出力されるようになる。
　図１１は、課題の欄に記載した図８の林という登場人物のいるドラマの１シーンの（Ｈ）に対応する字幕ストリームの符号列である。
　図８の（Ｈ）の「それは林です。」との字幕が表示されている場面は、図１１のデータユニットデータ７の符号列に対応し、表示位置や表示色等の制御符号列の後に、「それは」との文字符号列が続き、さらに、人名固有名詞開始の制御符号が続き、そして「林」との文字符号列が続き、人名固有名詞終了の制御符号が続き、「です。」との文字符号列が続き、最後に翻訳実行用区切りの制御符号が続く。
　このように、人名固有名詞開始の制御信号と人名固有名詞終了の制御信号が付加されているため、固有名詞が普通名詞として翻訳されることがなくなる。
　図１２は、課題の欄に記載した図８の林という登場人物のいるドラマの別の１シーンの（Ｉ）に対応する字幕ストリームの符号列である。
　図８の（Ｉ）の「私の名前は林義男です。」との字幕が表示されている場面は、図１２のデータユニットデータ８の符号列に対応し、表示位置や表示色等の制御符号列の後に、「私の名前は」との文字符号列が続き、さらに、人名固有名詞開始の制御符号が続き、そして「林義男」との文字符号列が続き、人名固有名詞終了の制御符号が続き、「です。」との文字符号列が続き、最後に翻訳実行用区切りの制御符号が続く。
　このように、人名固有名詞開始の制御信号と人名固有名詞終了の制御信号が付加されているため、固有名詞が普通名詞として翻訳されることがなくなる。
　図１３は、本発明の字幕付きコンテンツ再生装置における字幕ストリームの処理の流れを示すフローチャートである。ここでは、図２におけるデータユニットデータ１９の抽出が終わった後の処理に絞って記載する。
　まずＳ０１で字幕ＰＥＳデータ内のデータユニットデータを抽出し処理を開始する。
　次いでＳ０２にて、データユニットデータの未解析データが残っているか否かを確認し、残っている場合にはＳ０３に移行し、残っていない場合にはＳ２５に移行する。
　Ｓ０３では先頭１バイトを確認し、制御符号のスタートコードか否かを確認する。制御符号のスタートコードでない場合は、文字符号と判断してＳ０４に移行し、制御符号のスタートコードである場合は、Ｓ０５に移行する。
　Ｓ０４では、１バイトコードならばそのバイトの文字コードを８単位符号からＵＴＦ等の一般的な文字コードに変換し、２バイトコードならば、２バイト目を取得して、その２バイトの文字コードを８単位符号からＵＴＦ等の一般的な文字コードに変換して、取得文字列に追加し、Ｓ０２に戻る。
　Ｓ０５では、スタートコードが拡張制御符号（ＣＳＩ）のスタートコードであるか否かを確認する。拡張制御符号（ＣＳＩ）のスタートコードでない場合は、Ｓ０６に移行し、拡張制御符号（ＣＳＩ）のスタートコードの場合は、Ｓ０７に移行する。
　Ｓ０６では、各制御符号のシンタックスに従って、スタートコードに続く所定のバイト数のパラメータを取得して制御符号とし、Ｓ０９に移行する。
　Ｓ０７では、１バイト毎に取得して、そのバイトが終端文字になるまで取得して、拡張制御符号とし、Ｓ０８に移行する。
　Ｓ０８では、終端文字が翻訳用補助情報であるか否かを判定し、翻訳用補助情報でなければＳ０９に移行し、翻訳用補助情報であればＳ１０に移行する。
　Ｓ０９では、Ｓ０６で取得した制御符号及びＳ０７で取得した拡張制御符号に対して、既存の制御符号及び拡張制御符号の処理を行い、Ｓ０２に戻る。
　Ｓ１０では、翻訳用補助情報のパラメータが翻訳実行用区切りの情報であるか否かを判定し、翻訳実行用区切りの情報でなければＳ１２に移行し、翻訳実行用区切りの情報であればＳ１１に移行する。
　Ｓ１１では、それまでに蓄積していた取得文字列の翻訳を実行し、取得文字列をクリアし、Ｓ０２に戻る。
　Ｓ１２では、翻訳用補助情報のパラメータが人名固有名詞開始の情報であるか否かを判定し、人名固有名詞開始の情報でなければＳ１４に移行し、人名固有名詞開始の情報であればＳ１３に移行する。
　Ｓ１３では、次に取得文字列に追加される文字を人名固有名詞の開始文字とするように設定し、Ｓ０２に戻る。
　Ｓ１４では、翻訳用補助情報のパラメータが人名固有名詞終了の情報であるか否かを判定し、人名固有名詞終了の情報でなければＳ１６に移行し、人名固有名詞終了の情報であればＳ１５に移行する。
　Ｓ１５では、取得文字列の中で、Ｓ１３で設定した人名固有名詞開始文字から、取得文字列の最後の文字までを、後述する人名固有名詞を示す文字列に変換し、Ｓ０２に戻る。
　Ｓ１６では、翻訳用補助情報のパラメータが地名固有名詞開始の情報であるか否かを判
定し、地名固有名詞開始の情報でなければＳ１８に移行し、地名固有名詞開始の情報であればＳ１７に移行する。
　Ｓ１７では、次に取得文字列に追加される文字を地名固有名詞の開始文字とするように設定し、Ｓ０２に戻る。
　Ｓ１８では、翻訳用補助情報のパラメータが地名固有名詞終了の情報であるか否かを判定し、地名固有名詞終了の情報でなければＳ２０に移行し、地名固有名詞終了の情報であればＳ１９に移行する。
　Ｓ１９では、取得文字列の中で、Ｓ１７で設定した地名固有名詞開始文字から、取得文字列の最後の文字までを、後述する地名固有名詞を示す文字列に変換し、Ｓ０２に戻る。
　Ｓ２０では、翻訳用補助情報のパラメータがその他固有名詞開始の情報であるか否かを判定し、その他固有名詞開始の情報でなければＳ２２に移行し、地名固有名詞開始の情報であればＳ２１に移行する。
　Ｓ２１では、次に取得文字列に追加される文字をその他固有名詞の開始文字とするように設定し、Ｓ０２に戻る。
　Ｓ２２では、翻訳用補助情報のパラメータがその他固有名詞終了の情報であるか否かを判定し、その他固有名詞終了の情報でなければＳ２４に移行し、その他固有名詞終了の情報であればＳ２３に移行する。
　Ｓ２３では、取得文字列の中で、Ｓ２１で設定した地名固有名詞開始文字から、取得文字列の最後の文字までを、後述するその他固有名詞を示す文字列に変換し、Ｓ０２に戻る。
　Ｓ２４では、翻訳用補助情報のパラメータが想定範囲外の値となっているため、この拡張制御符号を読み捨てて、Ｓ０２に戻る。
　Ｓ０２にて、処理するデータユニットデータの残りがなくなったと判定した場合には、Ｓ２５に移行し、取得文字列にデータが残っている場合には、そのデータを保持したまま、次の字幕ＰＥＳの処理に移行することとし、Ｓ２６に移行して処理を終了する。
　次にＳ１５で人名固有名詞を示す文字列に変換したり、Ｓ１９で地名固有名詞を示す文字列に変換したり、Ｓ２３でその他固有名詞を示す文字列に変換する具体的手法について記載する。
　図１４は、人名固有名詞開始の情報及び人名固有名詞終了の情報を利用する処理によるデータの変移を示した図表である。具体的には、図８の林という登場人物のいるドラマの１シーンの（Ｈ）に対応する字幕ストリームである図１１に記載した符号列を処理する際のデータの変移を示した図表である。
　（１）の列は字幕ストリームの符号列であり、表示位置や表示色等の制御符号列の後に、「それは」との文字符号列が続き、さらに、人名固有名詞開始の制御符号が続き、そして「林」との文字符号列が続き、人名固有名詞終了の制御符号が続き、「です。」との文字符号列が続き、最後に翻訳実行用区切りの制御符号が続いている。
　（２）は、（１）の符号列から文字列を抽出した結果が「それは林です」との文字列になることを示している。
　（３）は、図１３のＳ１５における処理である、設定した人名固有名詞開始文字から、取得文字列の最後の文字までを、人名固有名詞を示す文字列に変換した例である。ここでは「林」という文字列では普通名詞として翻訳される可能性が高いため、普通名詞として翻訳されにくい人名用の固有名詞である「佐藤」に変換して（２）の文字列を「それは佐藤です」との文字列にすることを示している。
　（４）は、（３）の文字列を翻訳して英語に変換した結果の文字列が「Ｉｔ　ｉｓ　Ｓａｔｏ．」であることを示している。
　（５）は、（３）で変換する前の人名固有名詞である「林」に、人名固有名詞である「さん」を追加して、「林さん」という文字列を生成することを示している。
　（６）は、（５）の文字列を翻訳して英語に変換した結果の文字列が「Ｍｒ．Ｈａｙａｓｈｉ．」であることを示している。
　（７）は、（６）の中から（５）で追加した「さん」の翻訳結果である「Ｍｒ．」を削除して、人名固有名詞である「林」に対応する翻訳結果として「Ｈａｙａｓｈｉ．」の文字列を取得し、（４）の変換結果の中の「Ｓａｔｏ．」の文字列と入れ替えて、「Ｉｔ　ｉｓ　Ｈａｙａｓｈｉ．」とすることで、人名固有名詞「林」を含んだ「それは林です。」の翻訳結果として出力すべき文字列が生成される事を示している。
　この場合、人名固有名詞を示す文字列として「佐藤」を使用したが、この文字列は地名の固有名詞を示す文字列としては不適切であり、地名固有名詞を示す文字列としては「東京」などがある。また人名でも地名でもない場合、例えば建造物や団体名や社名などの場合には、「新宿御苑」などがある。
　ここでは、「佐藤」「東京」「新宿御苑」をそれぞれの固有名詞を示す文字列の例として記載したが、本発明はこれらの例に限定されるものではない。
　また、将来的に翻訳機能が進化し、特定の記号（例えば＜と＞）を固有名詞の前後に付加すれば、その間を固有名詞と判定して翻訳するとの機能を有するようになったら、それぞれの固有名詞を示す文字列を、特定の記号を前後に付与した文字列とするようにしてもよい。
〔実施の形態２〕
　図１５は、本発明の第２の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。図１の第１の実施の形態のブロック図と異なるのは、翻訳実行部１０９の代わりに翻訳サーバ通信部２０１が追加され、字幕付きコンテンツ再生装置２００１の外部の翻訳サーバ２００２と接続するようにしている点である。
　翻訳サーバ通信部２０１は、翻訳用補助情報取得部１０７で取得した翻訳用補助情報を利用して、字幕文字列取得部１０６で取得した字幕文字列を、翻訳先言語決定部１０８で決定した翻訳先の言語に翻訳することを、外部の翻訳サーバ２０１に要求し、翻訳サーバ２０１で翻訳した結果を取得する部分である。
　翻訳機能はそれなりの処理能力が必要となるが、このような構成にすることで、ＴＶ等の処理能力の大きくない装置であってもインターネット接続可能な機能が組み込まれてあれば、外部のサーバと接続できるので、翻訳を実現することが可能となる。
〔実施の形態３〕
　図１６は、本発明の第３の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。字幕付きコンテンツ再生装置３００１が図１の第１の実施の形態のブロック図と異なる点は、翻訳文字列出力部１１２の代わりに翻訳文字列読み上げ部３０１が追加されている点である。
　翻訳文字列読み上げ部３０１は、翻訳実行部１０９が生成した翻訳結果を音声に変換して出力する部分である。この際、音声出力部１１１が出力した出力音声とミックスして出力してもよいし、音声出力部１１１が出力するスピーカー等の音声出力機器とは別の音声出力機器に出力してもよい。
　また、音声読み上げのスピードやトーンをユーザが事前に選択できるようにしてもよい。同様に声色をユーザが事前に選択できるようにしてもよいが、コンテンツに含まれる音声と聞きわけしやすい音声に自動的に決定するようにしてもよい。
〔実施の形態４〕
　図１７は、本発明の第４の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。字幕付きコンテンツ再生装置４００１が図１の第１の実施の形態のブロック図と異なる点は、翻訳文字列出力部１１２の代わりに翻訳文字列転送部４０１が追加されている点である。
　翻訳文字列転送部４０１は、翻訳実行部１０９が生成した翻訳結果を、映像出力部１１０が出力するディスプレイ等の映像出力機器とは別の映像出力装置に転送する部分である。
　例えば、映像出力部１１０は図示しないテレビに表示し、翻訳文字列転送部４０１は図示しない手元のタブレット端末に表示するようにしてもよい。この場合、手元のタブレット端末で表示した翻訳結果の文字列を、タブレット上の別のアプリケーションで利用可能なようにして、コピーアンドペースト機能を用いて、翻訳結果の中の一部の文字列をＷｅｂ上で検索することを可能としてもよい。
　〔まとめ〕
　本発明の第１の手段は、字幕付きコンテンツに含まれる字幕の文字列と翻訳用補助情報を抽出する字幕解析部と、前記抽出した字幕の文字列と翻訳用補助情報とを元に、翻訳を行う翻訳実行部と、前記翻訳実行部が生成した翻訳結果を文字列として出力する翻訳文字列出力部とを備えることを特徴とするものである。
　第２の手段は、第１の手段において、前記翻訳用補助情報は、それまでに抽出した字幕の文字列で翻訳を行うと所望の翻訳結果が得られる事を示す翻訳用文字列区切り情報を含むことを特徴とするものである。
　第３の手段は、第１の手段において、前記翻訳用補助情報は、固有名詞の開始及び固有名詞の終了の情報を含むことを特徴とするものである。
　第４の手段は、第３の手段において、前記固有名詞の開始及び前記固有名詞の終了の情報は、人名固有名詞の開始及び人名固有名詞の終了の情報、もしくは地名固有名詞の開始の情報及び地名固有名詞の終了の情報、もしくはその他固有名詞の開始の情報及びその他固有名詞の終了の情報のうち、少なくともいずれか１つを含むことを特徴とするものである。
　第５の手段は、第３の手段において、前記固有名詞の開始の情報と前記固有名詞の開始の終了の情報に挟まれた文字列を、固有名詞であることを示す特定の文字列に変換して、翻訳することを特徴とするものである。
　本発明は、字幕付きコンテンツを再生する装置全般に利用する事が出来る。
１００１…字幕付きコンテンツ再生装置
１０１…コンテンツ受信部
１０２…ストリーム分離部
１０３…映像ストリームデコード部
１０４…音声ストリームデコード部
１０５…字幕ストリームデコード部
１０６…字幕文字列取得部
１０７…翻訳用補助情報取得部
１０８…翻訳先言語決定部
１０９…翻訳実行部
１１０…映像出力部
１１１…音声出力部
１１２…翻訳文字列出力部
１１…ＰＥＳヘッダ
１２…ＰＥＳデータ
１３…データグループヘッダ
１４…データグループデータ
１５…ＣＲＣ
１６…字幕文データヘッダ
１７…データユニット
１８…データユニットヘッダ
１９…データユニットデータ
２０ａ…制御符号列
２０ｂ…制御符号列
２１ａ…文字符号列
２１ｂ…文字符号列
２００１…字幕付きコンテンツ再生装置
２０１…翻訳サーバ通信部
３００１…字幕付きコンテンツ再生装置
３０１…翻訳文字列読み上げ部
４００１…字幕付きコンテンツ再生装置
４０１…翻訳文字列転送部

Claims (5)

  1. 　字幕付きコンテンツを取得して再生する字幕付きコンテンツ再生装置において、
    　前記字幕付きコンテンツに含まれる字幕の文字列と翻訳用補助情報を抽出する字幕解析部と、
    　前記抽出した字幕の文字列と翻訳用補助情報とを元に、翻訳を行う翻訳実行部と、
    　前記翻訳実行部が生成した翻訳結果を文字列として出力する翻訳文字列出力部とを備えることを特徴とする字幕付きコンテンツ再生装置。
  2. 　請求項１に記載の字幕付きコンテンツ再生装置において、
    　前記翻訳用補助情報は、それまでに抽出した字幕の文字列で翻訳を行うと所望の翻訳結果が得られる事を示す翻訳用文字列区切り情報を含むことを特徴とする字幕付きコンテンツ再生装置。
  3. 　請求項１に記載の字幕付きコンテンツ再生装置において、
    　前記翻訳用補助情報は、固有名詞の開始及び固有名詞の終了の情報を含むことを特徴とする字幕付きコンテンツ再生装置。
  4. 　請求項３に記載の字幕付きコンテンツ再生装置において、
    　前記固有名詞の開始及び前記固有名詞の終了の情報は、人名固有名詞の開始及び人名固有名詞の終了の情報、もしくは地名固有名詞の開始の情報及び地名固有名詞の終了の情報、もしくはその他固有名詞の開始の情報及びその他固有名詞の終了の情報のうち、少なくともいずれか１つを含むことを特徴とする字幕付きコンテンツ再生装置。
  5. 　請求項３に記載の字幕付きコンテンツ再生装置において、
    　前記固有名詞の開始の情報と前記固有名詞の開始の終了の情報に挟まれた文字列を、固有名詞であることを示す特定の文字列に変換して、翻訳することを特徴とする字幕付きコンテンツ再生装置
PCT/JP2014/064326 2013-06-07 2014-05-29 字幕付きコンテンツ再生装置 Ceased WO2014196457A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015521420A JPWO2014196457A1 (ja) 2013-06-07 2014-05-29 字幕付きコンテンツ再生装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013120931 2013-06-07
JP2013-120931 2013-06-07

Publications (1)

Publication Number Publication Date
WO2014196457A1 true WO2014196457A1 (ja) 2014-12-11

Family

ID=52008103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/064326 Ceased WO2014196457A1 (ja) 2013-06-07 2014-05-29 字幕付きコンテンツ再生装置

Country Status (2)

Country Link
JP (1) JPWO2014196457A1 (ja)
WO (1) WO2014196457A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136468A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
JP2016189508A (ja) * 2015-03-30 2016-11-04 シャープ株式会社 受信装置、受信方法、およびプログラム
JP2022525548A (ja) * 2019-03-19 2022-05-17 サービスナウ， インコーポレイテッド 動的翻訳

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225232A (ja) * 1992-02-10 1993-09-03 Sharp Corp テキスト自動前編集装置
JP2003323425A (ja) * 2002-05-02 2003-11-14 Just Syst Corp 対訳辞書作成装置、翻訳装置、対訳辞書作成プログラム、および翻訳プログラム
JP2006338261A (ja) * 2005-06-01 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 翻訳装置、翻訳方法及び翻訳プログラム
JP2009016910A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 映像再生装置及び映像再生方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05225232A (ja) * 1992-02-10 1993-09-03 Sharp Corp テキスト自動前編集装置
JP2003323425A (ja) * 2002-05-02 2003-11-14 Just Syst Corp 対訳辞書作成装置、翻訳装置、対訳辞書作成プログラム、および翻訳プログラム
JP2006338261A (ja) * 2005-06-01 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 翻訳装置、翻訳方法及び翻訳プログラム
JP2009016910A (ja) * 2007-06-29 2009-01-22 Toshiba Corp 映像再生装置及び映像再生方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136468A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
CN107251560A (zh) * 2015-02-23 2017-10-13 索尼公司 发送装置、发送方法、接收装置、接收方法、信息处理装置和信息处理方法
JPWO2016136468A1 (ja) * 2015-02-23 2017-11-30 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
US10582270B2 (en) 2015-02-23 2020-03-03 Sony Corporation Sending device, sending method, receiving device, receiving method, information processing device, and information processing method
CN107251560B (zh) * 2015-02-23 2021-02-05 索尼公司 发送装置、发送方法、接收装置、接收方法、信息处理装置和信息处理方法
JP2016189508A (ja) * 2015-03-30 2016-11-04 シャープ株式会社 受信装置、受信方法、およびプログラム
JP2022525548A (ja) * 2019-03-19 2022-05-17 サービスナウ， インコーポレイテッド 動的翻訳
JP7427016B2 (ja) 2019-03-19 2024-02-02 サービスナウ， インコーポレイテッド 動的翻訳

Also Published As

Publication number Publication date
JPWO2014196457A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
KR100565614B1 (ko) 캡션 송수신 방법
KR101289267B1 (ko) 방송통신시스템에서 ｄｔｖ 자막 처리 장치 및 방법
US8732783B2 (en) Apparatus and method for providing additional information using extension subtitles file
JP2004080476A (ja) ディジタル映像再生装置
JPWO2017208818A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP2009088634A (ja) デジタルテレビジョン受信装置
WO2014196457A1 (ja) 字幕付きコンテンツ再生装置
KR101061115B1 (ko) 디지털 방송 수신기 및 그의 서브타이틀 데이터 처리 방법
CN102111588A (zh) 广播接收装置及广播接收方法
JP2009260685A (ja) 放送受信装置
Real et al. An architecture for the implementation of the Ecuadorian sign language into digital television system
WO2013014824A1 (ja) メッセージ出力装置およびメッセージ出力方法
KR101208562B1 (ko) 디지털 방송 송신 방법
JP2006254023A (ja) 字幕用表示言語選択装置およびその方法
KR100848187B1 (ko) 자막기능을 수행하는 서브픽쳐 제공 시스템 및 그 방법, 그서브픽쳐를 재생하기 위한 시스템 및 그 방법
US20060075458A1 (en) Method of displaying an interactive content
KR100977972B1 (ko) 캡션 정보를 이용한 스크립트 생성기능을 갖는영상표시기기 및 그 제어방법
Mou et al. Flying Together with Audio and Video: Enhancing Communication for the Hearing-Impaired Through an Emerging Closed Captioning Standard
KR101342384B1 (ko) 디지털 방송 송신 방법
KR101342388B1 (ko) 디지털 방송 송신 방법
KR100980047B1 (ko) 디지털 방송 송수신기 및 디지털 방송 신호 송수신 방법
KR101285670B1 (ko) 디지털 방송 송신 방법
KR101341544B1 (ko) 디지털 방송 송신 방법
KR101342380B1 (ko) 디지털 방송 송신 방법
KR20130076853A (ko) 디지털 방송 송신 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14806864

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015521420

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14806864

Country of ref document: EP

Kind code of ref document: A1