JP6917561B2 - 字幕修正装置、字幕修正方法、及び、コンピュータプログラム - Google Patents

Description

本開示は、字幕修正装置、字幕修正方法、及び、コンピュータプログラムに関する。

従来、テレビ番組の音声を字幕化して表示することが行われている。音声の字幕化には、音声を認識して文字データに変換する音声認識技術が用いられる。しかし、音声認識技術によって変換された文字データには誤りが存在し得る。よって、字幕として出力される前に、文字データを修正する作業が行われる。特許文献１には、音声認識技術によって変換された文字データを修正するための装置が開示されている。

特開２００４−１５１６１４号公報

しかしながら、特許文献１に開示の装置では、文字データの字幕としての出力及び表示を制御できない。

本開示は、文字データの字幕としての出力及び表示を制御できる字幕修正装置、方法及びコンピュータプログラムを提供することにある。

本開示に係る字幕修正装置は、ユーザからの操作を検出する操作部と、字幕向けの文字データを修正するための修正領域を表示する表示部と、前記字幕の出力先に一度に表示される前記字幕に対応する文字データの範囲を示す字幕出力範囲を前記修正領域に表示させ、前記操作部を通じて前記字幕の出力操作を検出した場合、前記字幕出力範囲の文字データを、前記字幕として出力する制御部と、を備える。

本開示に係る字幕修正方法は、装置が、字幕向けの文字データを修正するための修正領域を表示部に表示し、前記字幕の出力先に一度に表示される前記字幕に対応する文字データの範囲を示す字幕出力範囲を前記修正領域に表示させ、操作部を通じて前記字幕の出力操作を検出した場合、前記字幕出力範囲の文字データを、前記字幕として出力する。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、文字データの字幕としての出力及び表示を制御できる。

一実施の形態に係る字幕生成システムの構成を示す図 一実施の形態に係る字幕修正装置の構成を示す図 修正領域の一例を示す図 字幕出力範囲のすべての文字データをテレビ画面の上部に字幕として表示する字幕出力操作を説明するための図 字幕出力範囲のすべての文字データをテレビ画面の下部に字幕として表示する字幕出力操作を説明するための図 修正領域における文字データの繰り上げ動作の一例を説明するための図 字幕出力範囲の途中までの文字データをテレビ画面の上部に字幕として表示する字幕出力操作を説明するための図 字幕出力範囲の途中までの文字データをテレビ画面の下部に字幕として表示する字幕出力操作を説明するための図 修正領域における単語の削除操作の一例を説明するための図 修正領域における文字データの改行操作の一例を説明するための図 修正領域における読点の挿入操作の一例を説明するための図 修正領域における読点を句点に修正する操作の一例を説明するための図 修正領域における文字データの選択操作の一例を説明するための図 字幕修正装置における操作処理の一例を示すフローチャート 図１２におけるタッチパッド操作処理の一例を示すフローチャート 図１３におけるドラッグ操作処理の一例を示すフローチャート 図１４における未選択状態のドラッグ操作処理の一例を示すフローチャート 図１４における選択状態のドラッグ操作処理の一例を示すフローチャート 図１３におけるタップ操作処理の一例を示すフローチャート 図１３における長押し操作処理の一例を示すフローチャート 図１２におけるキーボード操作処理の一例を示すフローチャート 図１９における未選択状態のキーボード操作処理の一例を示すフローチャート 図１９における選択状態のキーボード操作処理の一例を示すフローチャート

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

（一実施の形態）
＜システム構成＞
図１は、一実施の形態に係る字幕生成システムの構成を示す図である。字幕生成システムは、テレビ番組内の音声に対応する字幕を生成するためのシステムである。

図１に示すように、字幕生成システムは、音声再生装置２１、マイク２２、字幕生成装置２３、字幕合成装置２４、放送装置２５、アーカイブ装置２６、及び、字幕修正装置１００を含む。

音声再生装置２１は、テレビ番組データ３１内の音声データを再生する装置である。テレビ番組データ３１は、生放送番組のデータであってもよいし、収録済み番組のデータであってもよい。

リスピーカー１１は、音声再生装置２１によって再生された音声データを聞きながら、その聞いた音声（言葉）をマイク２２に向かって発声する。以下、リスピーカー１１が発声し、マイク２２によって集音された音声データを、リスピーク音声データ３２という。マイク２２は、リスピーク音声データ３２を、字幕生成装置２３に送信する。

字幕生成装置２３は、マイク２２から入力されたリスピーク音声データ３２に対して音声認識技術を適用し、リスピーク音声データ３２に対応する文字データを生成する。リスピーク音声データ３２は、上述のとおり、リスピーカー１１によって発声されたものであるため、テレビ番組データ３１内の音声データと比べて雑音が少ない。よって、字幕生成装置２３における音声認識の精度が向上する。しかしながら、精度が向上しても、音声認識には誤りが生じ得る。

字幕修正装置１００は、字幕生成装置２３と連携して、字幕生成装置２３が音声認識技術によって生成した文字データを修正する操作（以下「文字データ修正操作」という）を行うための装置である。また、字幕修正装置１００は、字幕生成装置２３と連携して、生成又は修正された文字データの少なくとも一部の文字データを字幕として出力する操作（以下「字幕出力操作」という）を行うための装置である。修正者１２は、字幕修正装置１００に対して、文字データ修正操作及び字幕出力操作を行う。

修正者１２が字幕修正装置１００に対して字幕出力操作を行った場合、字幕生成装置２３は、文字データから字幕データ３３を生成し、字幕合成装置２４へ送信する。

字幕合成装置２４は、テレビ番組データ３１に対して、字幕生成装置２３から受信した字幕データ３３を合成し、放送データ３４を生成する。放送データ３４は、アーカイブ装置２６に蓄積されてよい。また、放送データ３４は、放送装置２５によって放送されてよい。

テレビ受像機２７は、受信した放送データ３４をデコードし、テレビ番組及び字幕をテレビ画面に表示する。テレビ画面に一度に表示される字幕の１行あたりの文字数の上限と行数の上限とは、予め定められてよい。例えば、字幕の１行あたりの文字数の上限は２１文字、字幕の行数の上限は２行と定められてよい。また、字幕データ３３には、テレビ画面における字幕の表示位置（例えばテレビ画面の上部または下部）を示す情報（以下「字幕位置情報」という）が含まれてよい。修正者１２は、字幕修正装置１００に対する字幕出力操作を通じて、字幕位置情報を指示できてよい。

なお、図１に示す字幕生成システムの構成は一例であり、字幕生成システムは、図１とは異なる構成であってもよい。例えば、字幕生成装置２３には、リスピーク音声データ３２に代えて、テレビ番組データ３１内の音声データが直接入力されてもよい。この場合、字幕生成システムは、リスピーカー１１及びマイク２２を含まない構成であってもよい。

以下、字幕修正装置１００について、さらに説明する。

＜字幕修正装置の構成＞
図２は、一実施の形態に係る字幕修正装置１００の構成を示す図である。

字幕修正装置１００は、メモリ１０１、ストレージ１０２、制御部１０３、通信部１０４、及び表示部１０５を備える。また、字幕修正装置１００は、操作部１０６の一例であるタッチパッド１０６Ａ、キーボード１０６Ｂ及びマウス１０６Ｃのうちの少なくとも１つを備える。また、字幕修正装置１００は、これらの要素１０１〜１０６を双方向通信可能に接続するバス１０７を備える。なお、字幕修正装置１００は、表示部１０５及びタッチパッド１０６Ａが一体化されたタッチパネル１０８を備えてもよい。

メモリ１０１は、字幕修正装置１００が有する機能に関するコンピュータプログラム及びデータを記憶する装置である。メモリ１０１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）又はこれらの組み合わせによって構成される。

ストレージ１０２は、不揮発性記憶媒体であり、字幕修正装置１００が有する機能に関するコンピュータプログラム及びデータを格納する装置である。ストレージ１０２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及び／又はフラッシュメモリによって構成される。

制御部１０３は、メモリ１０１又はストレージ１０２から読み出したコンピュータプログラム及び／又は予め組み込まれた処理を実行し、字幕修正装置１００が有する機能を実現する装置である。制御部１０３は、プロセッサ、コントローラ、ＣＰＵ（Central Processing Unit）、集積回路、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、又はＦＰＧＡ（Field-Programmable Gate Array）といった他の用語に読み替えられてもよい。

通信部１０４は、通信ネットワーク又はケーブルを介した他の装置（例えば字幕生成装置２３）とのデータの送受信を制御する装置である。通信部１０４は、通信装置、通信インタフェース又は通信モジュールといった他の用語に読み替えられてもよい。

表示部１０５は、字幕修正に関する画面（以下「字幕修正画面」という）を表示する装置である。表示部１０５は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイである。

タッチパッド１０６Ａは、修正者１２によるタッチ操作を検出する装置である。タッチパッド１０６Ａは、検出したタッチ操作を、制御部１０３に通知する。

キーボード１０６Ｂは、修正者１２によるキーの入力操作を検出する装置である。キーボード１０６Ｂは、検出したキー入力操作を、制御部１０３に通知する。

マウス１０６Ｃは、修正者１２によるマウス１０６Ｃの操作を検出する装置である。マウス１０６Ｃは、検出したマウス操作を、制御部１０３に通知する。

＜字幕修正画面＞
図３は、修正領域の一例を示す図である。表示部１０５によって表示される字幕修正画面（図示しない）には、図３に示すような修正領域２００が表示される。

修正領域２００には、リスピーク音声データ３２を音声認識した文字データが、単語に区切られて表示される。図３において、バー記号２０１は、文字データを構成する単語の区切りを示す。バー記号２０１は、字幕として出力されない。本開示における文字データは、当該単語の区切りを示すバー記号２０１を含まないとする。単語の区切りを示す記号は、バー記号２０１に限られず、例えば、スラッシュ記号又はセミコロン記号であってもよい。

修正領域２００には、テレビ画面に表示される字幕と同一のレイアウトにて文字データが表示される。例えば、修正領域２００における１行あたり文字数の上限は、字幕として表示される１行あたりの文字数の上限と同じである。例えば、字幕の１行あたりの文字数の上限が２１文字である場合、修正領域２００における１行あたりのバー記号２０１を含まない文字数の上限も２１文字である。また、修正領域２００の各行の文字データは、字幕の各行の文字データと同じである。このように、修正領域２００に、テレビ画面に表示される字幕と同一のレイアウトにて文字データを表示することにより、修正者１２は、文字データが字幕としてどのように表示されるかを考慮しながら、文字データを修正したり、字幕の出力を指示したりすることができる。

また、修正領域２００には、テレビ画面に一度に表示される字幕に対応する文字データの範囲を示す字幕出力範囲２０２が表示される。例えば、テレビ画面に一度に表示される字幕の行数が２行の場合、字幕出力範囲２０２は、図３に示すように、修正領域２００における上から２行分の範囲となる。字幕出力範囲２０２の態様は、修正領域２００におけるそれ以外の範囲とは異なる態様で表示される。例えば、図３に示すように、字幕出力範囲２０２の態様は網掛けであってよい。ただし、字幕出力範囲２０２の態様は、図３の例に限られない。例えば、字幕出力範囲２０２の文字データの文字色及び／又は背景色が、それ以外の文字データの文字色及び／又は背景色と異なる態様であってもよい。これにより、修正者１２は、修正領域２００における何れの文字データが字幕として出力されるのかを、容易に認識できる。

＜字幕出力操作＞
次に、字幕出力範囲２０２のすべての文字データを字幕として出力する字幕出力操作の一例について説明する。図４Ａは、字幕出力範囲２０２のすべての文字データを、テレビ画面の上部に字幕として表示する字幕出力操作を説明するための図である。図４Ｂは、字幕出力範囲２０２のすべての文字データを、テレビ画面の下部に字幕として表示する字幕出力操作を説明するための図である。図５は、修正領域における文字データの繰り上げ動作の一例を説明するための図である。

図４Ａの上段に示すように、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００に対して上方向のスワイプ操作を行った場合、制御部１０３は、字幕出力範囲２０２のすべての文字データをテレビ画面３００の上部に字幕３０１Ａとして表示させるための情報を生成し、字幕生成装置２３に送信する。例えば、制御部１０３は、字幕出力範囲２０２のすべての文字データと、「上部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３に送信する。字幕生成装置２３は、受信した字幕出力情報に基づいて字幕データ３３を生成し、字幕合成装置２４へ出力する。なお、字幕生成装置２３は、受信した字幕出力情報を字幕データ３３として字幕合成装置２４へ出力してもよい。これにより、図４Ａの下段に示すように、字幕出力範囲２０２のすべての文字データが、字幕３０１Ａとしてテレビ画面３００の上部に表示される。

図４Ｂに示すように、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００に対して下方向のスワイプ操作を行った場合、制御部１０３は、字幕出力範囲２０２のすべての文字データをテレビ画面３００の下部に字幕３０１Ｂとして表示させるための情報を生成し、字幕生成装置２３に送信する。例えば、制御部１０３は、字幕出力範囲２０２のすべての文字データと、「下部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３に送信する。字幕生成装置２３は、受信した字幕出力情報に基づいて字幕データ３３を生成し、字幕合成装置２４へ出力する。なお、字幕生成装置２３は、受信した字幕出力情報を字幕データ３３として字幕合成装置２４へ出力してもよい。これにより、図４Ｂの下段に示すように、字幕出力範囲２０２のすべての文字データが、字幕３０１Ｂとしてテレビ画面３００の下部に表示される。

制御部１０３は、字幕出力情報の送信後、図５に示すように、字幕出力範囲２０２の文字データを削除し、削除した文字データよりも後の文字データを繰り上げることにより、削除によって生じた空白を詰める。これにより、削除した文字データよりも後の文字データのうちの上段（例えば上から２行分）の文字データが、字幕出力範囲２０２に含まれる。したがって、修正者１２は、修正領域２００における何れの文字データが次の字幕として出力されるのかを、容易に認識できる。

このように、修正者１２は、字幕出力指示と、字幕表示位置（つまりテレビ画面３００における上部又は下部）の指定とを、１回のスワイプ操作で簡単かつ素早く行うことができる。

次に、字幕出力範囲２０２の途中までの文字データを字幕として出力する字幕出力操作の一例について説明する。図６Ａは、字幕出力範囲２０２の途中までの文字データを、テレビ画面の上部に字幕として表示する字幕出力操作を説明するための図である。図６Ｂは、字幕出力範囲２０２の途中までの文字データを、テレビ画面の下部に字幕として表示する字幕出力操作を説明するための図である。

図６Ａに示すように、修正者１２が、タッチパッド１０６Ａを通じて、字幕出力範囲２０２における１つの単語２０４をタップ操作した場合、制御部１０３は、タップされた単語２０４を選択状態に変更する。そして、単語２０４の選択状態において、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００に対して上方向のスワイプ操作を行った場合、制御部１０３は、字幕出力範囲２０２の先頭の単語から当該選択状態の単語２０４までの区間の文字データ（以下「区間文字データ」という）２０５をテレビ画面３００の上部に字幕３０１Ａとして表示させるための情報を生成し、字幕生成装置２３に送信する。例えば、制御部１０３は、字幕出力範囲２０２の区間文字データ２０５と、「上部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３に送信する。字幕生成装置２３は、受信した字幕出力情報に基づいて字幕データ３３を生成し、字幕合成装置２４へ出力する。なお、字幕生成装置２３は、受信した字幕出力情報を字幕データ３３として字幕合成装置２４へ出力してもよい。

図６Ｂに示すように、修正者１２が、タッチパッド１０６Ａを通じて、字幕出力範囲２０２における１つの単語２０４をタップ操作した場合、制御部１０３は、タップされた単語２０４を選択状態に変更する。そして、単語２０４の選択状態において、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００に対して下方向のスワイプ操作を行った場合、制御部１０３は、字幕出力範囲２０２の先頭の単語から当該選択状態の単語２０４までの区間文字データ２０５をテレビ画面３００の下部に字幕３０１Ｂとして表示させるための情報を生成し、字幕生成装置２３に送信する。例えば、制御部１０３は、字幕出力範囲２０２の区間文字データ２０５と、「下部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３に送信する。字幕生成装置２３は、受信した字幕出力情報に基づいて字幕データ３３を生成し、字幕合成装置２４へ出力する。なお、字幕生成装置２３は、受信した字幕出力情報を字幕データ３３として字幕合成装置２４へ出力してもよい。

このように、修正者１２は、字幕出力範囲２０２の途中までの文字データの字幕出力指示と、字幕表示位置（例えばテレビ画面３００における上部又は下部）の指定とを、簡単な操作で素早く行うことができる。

なお、上述の字幕出力操作は、タッチパッド１０６Ａに限らず、マウス１０６Ｃ及びキーボード１０６Ｂにも割り当てられてよい。例えば、マウス１０６Ｃの左ボタンを押しながらマウス１０６Ｃを上方向に移動させる操作は、上述のタッチパッド１０６Ａにおける上方向のスワイプ操作に対応し、マウス１０６Ｃの左ボタンを押しながらマウス１０６Ｃを下方向に移動させる操作は、上述のタッチパッド１０６Ａにおける下方向のスワイプ操作に対応してもよい。

また、マウス１０６Ｃで単語を左クリックする操作は、上述のタッチパッド１０６Ａを通じて単語をタップする操作に対応してもよい。

また、キーボード１０６ＢのＡｌｔキー及び上矢印キーを押下する操作は、上述のタッチパッドにおける上方向のスワイプ操作に対応し、キーボード１０６ＢのＡｌｔキー及び下矢印キーを押下する操作は、上述のタッチパッド１０６Ａにおける下方向のスワイプ操作に対応してもよい。また、カーソルが単語上にある状態でキーボード１０６ＢのＳｈｉｆｔキーを押下する操作は、上述のタッチパッド１０６Ａを通じて単語をタップする操作に対応してもよい。

このように、修正者１２は、字幕出力範囲２０２に含まれる文字データの字幕出力と、当該出力される字幕のテレビ画面３００における表示位置（例えばテレビ画面３００の上部又は下部）とを、簡単な操作で指示できる。

＜文字データ修正操作＞
＜＜削除＞＞
図７は、修正領域における単語の削除操作の一例を説明するための図である。

図７に示すように、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００における１つの単語２０４をタップ操作した場合、制御部１０３は、タップされた単語２０４を選択状態に変更する。そして、単語２０４の選択状態において、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００に対して右方向のスワイプ操作を行った場合、制御部１０３は、選択状態の単語２０４を文字データから削除し、削除された単語よりも後の文字データを繰り上げることにより、削除によって生じた空白２０６を詰める。

＜＜改行＞＞
図８は、修正領域における文字データの改行操作の一例を説明するための図である。

図８に示すように、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００における１つの単語２０４をタップ操作した場合、制御部１０３は、タップされた単語２０４を選択状態に変更する。そして、単語２０４の選択状態において、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００に対して左方向のスワイプ操作を行った場合、制御部１０３は、選択状態の単語２０４の直後に改行２０７を挿入する。

＜＜句読点の挿入＞＞
図９は、修正領域における読点の挿入操作の一例を説明するための図である。

図９に示すように、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００における１つの単語２０８を長押し操作した場合、制御部１０３は、長押しされた単語２０８の直後に読点２０９を挿入する。なお、読点２０９の代わりに、句点を挿入するように設定してもよい。この場合、制御部１０３は、長押しされた単語２０８の直後に句点を挿入する。

＜＜句読点の修正＞＞
図１０は、修正領域における読点を句点に修正する操作の一例を説明するための図である。

図１０に示すように、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００における読点２１０を長押し操作した場合、制御部１０３は、長押しされた読点２１０を句点２１１に修正する。また、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００における句点２１１を長押し操作した場合、制御部１０３は、長押しされた句点２１１を読点に修正する。

＜文字データ選択操作＞
図１１は、修正領域における文字データの選択操作の一例を説明するための図である。

図１１に示すように、修正者１２が、タッチパッド１０６Ａを通じて、修正領域２００に対して、選択したい文字データの開始地点から終了地点までをドラッグ操作した場合、制御部１０３は、ドラッグ操作された開始地点から終了地点までの文字データ２１２を選択状態に変更する。この文字データ２１２の選択状態において、修正者１２は、以下の（Ａ１）〜（Ａ５）の何れかの操作を実行できる。

（Ａ１）選択状態の文字データ２１２の終了地点が字幕出力範囲２０２に存在し、かつ、修正者１２が修正領域２００に対して上方向のスワイプ操作を行った場合、制御部１０３は、字幕出力範囲２０２の先頭の単語から選択状態の文字データ２１２の最後尾の単語までの区間の文字データ（つまり区間文字データ）２０５と、「上部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３に送信する。

（Ａ２）選択状態の文字データ２１２の終了地点が字幕出力範囲２０２に存在し、かつ、修正者１２が修正領域２００に対して下方向のスワイプ操作を行った場合、制御部１０３は、字幕出力範囲２０２の区間文字データ２０５と、「下部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３に送信する。

（Ａ３）修正領域２００において選択状態の文字データが存在し、かつ、修正者１２が修正領域２００に対して右方向のスワイプ操作を行った場合、制御部１０３は、修正領域２００から選択状態の文字データ２１２を削除し、削除された文字データ２１２よりも後の文字データを繰り上げる。

（Ａ４）修正領域２００において選択状態の文字データ２１２が存在し、かつ、修正者１２が修正領域２００に対して左方向のスワイプ操作を行った場合、制御部１０３は、選択状態の文字データ２１２の直後に改行を挿入する。

（Ａ５）修正領域２００において選択状態の文字データ２１２が存在し、かつ、修正者１２がキーボード１０６Ｂから文字を入力した場合、制御部１０３は、入力文字を、メモリ１０１に構成されたバッファ（図示しない）に蓄積する。その後、修正者１２が、キーボード１０６ＢのＥｎｔｅｒキーを押下した場合、制御部１０３は、修正領域２００における選択状態の文字データ２１２を、バッファに蓄積された入力文字に置き換える。なお、バッファに入力文字が蓄積されている状態において、修正者１２が、キーボード１０６ＢのＥＳＣキーを押下した場合、制御部１０３は、選択状態の文字データ２１２を非選択状態に変更し、バッファ内の入力文字のデータをクリアする。つまり、制御部１０３は、選択状態の文字データ２１２の修正をキャンセルする。

このように、修正者１２は、修正領域２００における文字データを簡単な操作で素早く修正することができる。

＜フローチャート＞
図１２は、字幕修正装置における操作処理の一例を示すフローチャートである。なお、以下の説明ではマウス１０６Ｃの操作を省略するが、以下の説明におけるタッチパッド１０６Ａの操作は、対応するマウス１０６Ｃの操作に読み替えることができる。

操作部１０６は、タッチパッド１０６Ａ又はキーボード１０６Ｂの操作が検知されるまで待機する（Ｓ１０１：ＮＯ）。操作部１０６は、タッチパッド１０６Ａ又はキーボード１０６Ｂの操作を検知した場合（Ｓ１０１：ＹＥＳ）、検知した操作の内容を示す操作情報を生成し、制御部１０３へ送信する（Ｓ１０２）。

制御部１０３は、受信した操作情報に基づいて、タッチパッド１０６Ａ又はキーボード１０６Ｂの何れの装置が操作されたかを判定する（Ｓ１０３）。制御部１０３は、タッチパッド１０６Ａが操作された場合（Ｓ１０３：タッチパッド）、タッチパッド操作処理（図１３参照）を実行し、キーボード１０６Ｂが操作された場合（Ｓ１０２：キーボード）、キーボード操作処理（図１９参照）を実行する。

図１３は、図１２におけるタッチパッド操作処理の一例を示すフローチャートである。

制御部１０３は、操作情報の種類が「ドラッグ操作」、「タップ操作」及び「長押し操作」のうちの何れであるかを判定する（Ｓ２０１）。

制御部１０３は、操作情報の種類が「ドラッグ操作」である場合（Ｓ２０１：ドラッグ）、ドラッグ操作処理（図１４参照）を実行し、操作情報の種類が「タップ操作」である場合（Ｓ２０１：タップ）、タップ操作処理（図１７参照）を実行し、操作情報の種類が「長押し操作」である場合（Ｓ２０１：長押し）、長押し操作処理（図１８参照）を実行する。

図１４は、図１３におけるドラッグ操作処理の一例を示すフローチャートである。

制御部１０３は、修正領域２００において、選択状態の文字データが存在するか否かを判定する（Ｓ２１１）。なお、選択状態の文字データは、選択状態の単語であってもよい（以下同様）。制御部１０３は、選択状態の文字データが存在しない場合（Ｓ２１１：ＮＯ）、未選択状態のドラッグ操作処理を実行する（図１５参照）。制御部１０３は、選択状態の文字データが存在する場合（Ｓ２１１：ＹＥＳ）、選択状態のドラッグ操作処理を実行する（図１６参照）。

図１５は、図１４における未選択状態のドラッグ操作処理の一例を示すフローチャートである。

制御部１０３は、操作情報の内容が「上方向のドラッグ操作」、「下方向のドラッグ操作」又は「その他のドラッグ操作」のうちの何れであるかを判定する（Ｓ２２０）。

制御部１０３は、操作情報の内容が「上方向のドラッグ操作」である場合（Ｓ２２０：上方向）、字幕出力範囲２０２の文字データと、「上部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３へ送信する（Ｓ２２１）。そして、制御部１０３は、文字データを繰り上げ（Ｓ２２４）、本操作処理を終了する。なお、制御部１０３は、本操作処理の終了後、再び図１２の操作処理を開始してよい（以下同様）。

制御部１０３は、操作情報の内容が「下方向のドラッグ操作」である場合（Ｓ２２０：下方向）、字幕出力範囲２０２の文字データと、「下部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３へ送信する（Ｓ２２２）。そして、制御部１０３は、文字データを繰り上げ（Ｓ２２４）、本操作処理を終了する。

制御部１０３は、操作情報の内容が「その他のドラッグ操作」である場合（Ｓ２２０：他の方向）、文字データの選択を行い（Ｓ２２３）、本操作処理を終了する。

図１６は、図１４における選択状態のドラッグ操作処理の一例を示すフローチャートである。

制御部１０３は、操作情報の内容が「上方向のドラッグ操作」、「下方向のドラッグ操作」、「右方向のドラッグ操作」、及び、「左方向のドラッグ操作」のうちの何れであるかを判定する（Ｓ２３０）。

制御部１０３は、操作情報の内容が「上方向のドラッグ操作」である場合（Ｓ２３０：上方向）、字幕出力範囲２０２における先頭の単語から、選択状態の単語又は選択状態の文字データの最後尾の単語までの区間の文字データ（つまり区間文字データ）と、「上部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３へ送信する（Ｓ２３１）。なお、当該Ｓ２３１は、区間文字データの最後尾の単語が字幕出力範囲２０２に存在する場合に実行されてよい。そして、制御部１０３は、文字データを繰り上げ（Ｓ２４０）、本操作処理を終了する。

制御部１０３は、操作情報の内容が「下方向のドラッグ操作」である場合（Ｓ２３０：下方向）、字幕出力範囲２０２における区間文字データと、「下部」を示す字幕位置情報とを含む字幕出力情報を生成し、字幕生成装置２３へ送信する（Ｓ２３２）。なお、当該Ｓ２３２は、区間文字データの最後尾の単語が字幕出力範囲２０２に存在する場合に実行されてよい。そして、制御部１０３は、文字データを繰り上げ（Ｓ２４０）、本操作処理を終了する。

制御部１０３は、操作情報の内容が「右方向のドラッグ操作」である場合（Ｓ２３０：右方向）、修正領域２００における文字データから、選択状態の文字データ又は単語を削除する（Ｓ２３３）。そして、制御部１０３は、文字データを繰り上げ（Ｓ２４０）、本操作処理を終了する。

制御部１０３は、操作情報の内容が「左方向のドラッグ操作」である場合（Ｓ２３０：左方向）、修正領域２００において、選択状態の単語又は選択状態の文字データの最後尾の単語の直後に改行を挿入し（Ｓ２３４）、本操作処理を終了する。

図１７は、図１３におけるタップ操作処理の一例を示すフローチャートである。

制御部１０３は、修正領域２００において、選択状態の文字データが存在するか否かを判定する（Ｓ３００）。

制御部１０３は、選択状態の文字データが存在しない場合（Ｓ３００：ＮＯ）、タップ操作の対象が単語であるか否かを判定する（Ｓ３０１）。制御部１０３は、タップ操作の対象が単語である場合（Ｓ３０１：ＹＥＳ）、タップ操作の対象の単語を選択状態に変更し（Ｓ３０２）、本操作処理を終了する。制御部１０３は、タップ操作の対象が単語でない場合（Ｓ３０１：ＮＯ）、本操作処理を終了する。

制御部１０３は、選択状態の文字データが存在する場合（Ｓ３００：ＹＥＳ）、タップ操作の対象が、字幕修正画面に表示されている変換候補、変換履歴又はユーザ登録のワード（図示しない）、空白領域、及び、それ以外のうちの何れであるかを判定する（Ｓ３１０）。変換候補のワードは、選択状態の文字データ又は単語に対応する他の変換候補のワードである。変換履歴のワードは、過去に選択状態の文字データ又は単語に対して変換したワードである。ユーザ登録のワードは、あらかじめユーザによって登録されたワードである。

制御部１０３は、タップ操作の対象が変換候補、変換履歴又はユーザ登録のワードである場合（Ｓ３１０：変換候補、変換履歴又はユーザ登録のワード）、選択状態の文字データを、タップ操作の対象の変換候補、変換履歴又はユーザ登録のワードに置換し（Ｓ３１１）、本操作処理を終了する。

制御部１０３は、タップ操作の対象が空白領域である場合（Ｓ３１０：空白領域）、選択状態の文字データを非選択状態に変更し（Ｓ３１２）、本操作処理を終了する。

制御部１０３は、タップ操作の対象がそれ以外である場合（Ｓ３１０：それ以外）、本操作処理を終了する。

図１８は、図１３における長押し操作処理の一例を示すフローチャートである。

制御部１０３は、長押し操作の対象が、単語、句点若しくは読点、及び、それ以外のうちの何れであるかを判定する（Ｓ３３０）。

制御部１０３は、長押し操作の対象が単語である場合（Ｓ３３０：単語）、長押し操作の対象の単語の直後に句点又は読点を挿入し（Ｓ３３１）、本操作処理を終了する。

制御部１０３は、長押し操作の対象が句点若しくは読点である場合（Ｓ３３０：句点若しくは読点）、長押し操作の対象が句点の場合は読点に、長押し操作の対象が読点の場合は句点に修正し（Ｓ３３２）、本操作処理を終了する。

制御部１０３は、長押し操作の対象がそれ以外である場合（Ｓ３３０：それ以外）、本操作処理を終了する。

図１９は、図１２におけるキーボード操作処理の一例を示すフローチャートである。

制御部１０３は、選択状態の文字データが存在するか否かを判定する（Ｓ４００）。制御部１０３は、選択状態の文字データが存在しない場合（Ｓ４００：ＮＯ）、未選択状態のキーボード操作処理を実行する（図２０参照）。制御部１０３は、選択状態の文字データが存在する場合（Ｓ４００：ＹＥＳ）、選択状態のキーボード操作処理を実行する（図２１参照）。

図２０は、図１９における未選択状態のキーボード操作処理の一例を示すフローチャートである。

制御部１０３は、操作情報の内容が、「Ａｌｔキー＋上矢印キー」、「Ａｌｔキー＋下矢印キー」、「Ｓｈｉｆｔキー」のうちの何れであるかを判定する（Ｓ４１０）。

制御部１０３は、操作情報の内容が「Ａｌｔキー＋上矢印キー」である場合（Ｓ４１０：Ａｌｔ＋上）、図１５のＳ２２１及びＳ２２４と同様の処理を実行する（Ｓ４１１、Ｓ４１４）。そして、制御部１０３は、本操作処理を終了する。

制御部１０３は、操作情報の内容が「Ａｌｔキー＋下矢印キー」である場合（Ｓ４１０：Ａｌｔ＋下）、図１５のＳ２２２及びＳ２２４と同様の処理を実行する（Ｓ４１２、Ｓ４１４）。そして、制御部１０３は、本操作処理を終了する。

制御部１０３は、操作情報の内容が「Ｓｈｉｆｔキー」である場合（Ｓ４１０：Ｓｈｉｆｔ）、カーソルが位置する単語を選択状態に変更する（Ｓ４１３）。そして、制御部１０３は、操作処理を終了する。

図２１は、図１９における選択状態のキーボード操作処理の一例を示すフローチャートである。

制御部１０３は、操作情報の内容が、「文字キー」、「ＥＳＣキー」、「Ｅｎｔｅｒキー」のうちの何れであるかを判定する（Ｓ４２０）。

制御部１０３は、操作情報の内容が「文字キー」である場合（Ｓ４２０：文字キー）、選択状態の文字データに対する修正モードに移行し、入力文字をバッファに蓄積する（Ｓ４２１）。なお、編集モードにおいて連続して入力された文字は、順次バッファに蓄積される。そして、制御部１０３は、本操作処理を終了する。

制御部１０３は、操作情報の内容が「Ｅｎｔｅｒキー」である場合（Ｓ４２０：Ｅｎｔｅｒキー）、選択状態の文字データを、修正モードにてバッファに蓄積された入力文字に置換する（Ｓ４２２）。すなわち、制御部１０３は、修正モードにおける文字データの修正を確定する。そして、制御部１０３は、選択状態の文字データを非選択状態に変更し（Ｓ４２３）、本操作処理を終了する。

制御部１０３は、操作情報の内容が「ＥＳＣキー」である場合（Ｓ４２０：ＥＳＣキー）、選択状態の文字データを非選択状態に変更し（Ｓ４２３）、本操作処理を終了する。なお、制御部１０３は、上記の修正モードにて当該Ｓ４２３を実行した場合、修正モードをキャンセルする。

＜変形例＞
字幕修正装置１００（制御部１０３）は、所定のモニタ装置（図示しない）に対して、テレビ画面３００における上部及び下部の字幕の表示領域を示す情報を出力してもよい。字幕の表示領域を示す情報は、例えば、字幕の最大表示領域を示す枠として表示されてよい。モニタ装置は、修正者１２が見ることができる場所に設置され、テレビ番組データ３１の映像と上記の字幕の表示領域を示す情報とを表示してよい。これにより、修正者１２は、モニタ装置に表示されたテレビ番組データ３１の映像を見ながら、テレビ画面３００の上部又は下部の何れに字幕を出力すればよいかを判断できる。

上述したタッチパッド１０６Ａの操作において、左方向のドラッグ操作は右方向のドラッグ操作と入れ替えられてもよいし、長押し操作はダブルタップ操作と入れ替えられてもよい。また、上述したキーボード１０６Ｂの操作において、矢印キーと一緒に押下されるキーは、Ａｌｔキーに限られず、どのようなキー（例えばＣｔｒｌキー）であってもよい。

（本開示のまとめ）
本開示に係る字幕修正装置（１００）は、ユーザ（１２）からの操作を検出する操作部（１０６）と、字幕向けの文字データを修正するための修正領域（２００）に、画面（３００）に表示される字幕と同一のレイアウトにて文字データを表示する表示部（１０５）と、操作部を通じて修正領域に対する字幕の出力操作を検出した場合、修正領域に表示されている文字データのうちの少なくとも一部の文字データを、字幕として出力する制御部（１０３）とを備える。ここで、同一のレイアウトとは、修正領域の１行あたりの文字数の上限が字幕の１行あたりの文字数の上限と同じであり、かつ、修正領域の各行の文字データが字幕の各行の文字データと同じであることであってよい。この構成により、ユーザは、文字データが字幕としてどのように表示されるかを考慮しながら、文字データを修正したり、字幕の出力を指示したりすることができる。

表示部は、修正領域において、字幕として出力される少なくとも一部の文字データを、他の文字データと区別可能な態様にて表示してよい。ここで、区別可能な態様とは、字幕として出力される少なくとも一部の文字データの文字色及び／又は背景色が、他の文字データの文字色及び／又は背景色と異なることであってよい。この構成により、ユーザは、修正領域における字幕として出力される少なくとも一部の文字データを、見た目で容易に認識できる。

制御部は、操作部を通じて検出された、修正領域の文字データに対する選択操作に基づいて、字幕として出力する少なくとも一部の文字データを決定してよい。この構成により、ユーザは、字幕として出力する少なくとも一部の文字データを、簡単な操作で選択できる。

制御部は、字幕の出力操作に応じて、出力する字幕の画面における表示位置を決定してよい。ここで、字幕の出力操作は、互いに異なる方向を有する複数の操作を含んでよい。例えば、制御部は、上方向を有する字幕の出力操作を検出した場合、出力する字幕の画面における表示位置を、当該画面における上部に決定し、下方向を有する字幕の出力操作を検出した場合、出力する字幕の画面における表示位置を、当該画面における下部に決定してよい。この構成により、ユーザは、字幕出力指示と、字幕表示位置（画面における上部又は下部）の指定とを、１回のスワイプ操作で簡単かつ素早く行うことができる。

制御部は、画面における字幕の表示領域を示す情報を、所定のモニタ装置に出力してよい。この構成により、ユーザは、モニタ装置に表示されたテレビ番組の映像を見ながら、画面の上部又は下部の何れに字幕を出力すればよいかを判断できる。

制御部は、操作部を通じて文字データに対する所定の操作を検出した場合、文字データの直後に句点又は読点を挿入してよい。この構成により、ユーザは、句点又は読点の挿入を容易に行うことができる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、字幕を生成、修正及び／又は出力する装置に利用可能である。

１１ リスピーカー
１２ 修正者
２１ 音声再生装置
２２ マイク
２３ 字幕生成装置
２４ 字幕合成装置
２５ 放送装置
２６ アーカイブ装置
２７ テレビ受像機
３１ テレビ番組データ
３２ リスピーク音声データ
３３ 字幕データ
３４ 放送データ
１００ 字幕修正装置
１０１ メモリ
１０２ ストレージ
１０３ 制御部
１０４ 通信部
１０５ 表示部
１０６ 操作部
１０６Ａ タッチパッド
１０６Ｂ キーボード
１０６Ｃ マウス
１０７ バス
１０８ タッチパネル
２００ 修正領域
２０１ バー記号
２０２ 字幕出力範囲
２１２ 文字データ
３００ テレビ画面
３０１Ａ、３０１Ｂ 字幕

Claims (12)

1. ユーザからの操作を検出する操作部と、
   字幕向けの文字データを修正するための修正領域を表示する表示部と、
   前記字幕の出力先に一度に表示される前記字幕に対応する文字データの範囲を示す字幕出力範囲を前記修正領域に表示させ、前記操作部を通じて前記字幕の出力操作を検出した場合、前記字幕出力範囲の文字データを、前記字幕として出力する制御部と、
   を備える、字幕修正装置。
2. 前記字幕出力範囲は、１行あたりの文字数の上限が前記字幕の１行あたりの文字数の上限と同じであり、かつ、各行の文字データが前記字幕の各行の文字データと同じである、
   請求項１に記載の字幕修正装置。
3. 前記字幕出力範囲は、前記修正領域内に存在し、
   前記修正領域は、前記字幕出力範囲を超えて文字データを表示する、
   請求項１に記載の字幕修正装置。
4. 前記字幕出力範囲と前記修正領域のうち前記字幕出力範囲を除く範囲は、区別可能な態様にて表示される、
   請求項１に記載の字幕修正装置。
5. 前記制御部は、前記操作部を通じて検出された、前記修正領域の前記文字データに対する選択操作に基づいて、前記字幕として出力する前記少なくとも一部の文字データを決定する、
   請求項１に記載の字幕修正装置。
6. 前記制御部は、前記字幕の出力操作に応じて、出力する前記字幕の画面における表示位置を決定する、
   請求項１に記載の字幕修正装置。
7. 前記字幕の出力操作は、互いに異なる方向を有する複数の操作を含む、
   請求項６に記載の字幕修正装置。
8. 前記制御部は、
   上方向を有する前記字幕の出力操作を検出した場合、出力する前記字幕の前記画面における表示位置を、当該画面における上部に決定し、
   下方向を有する前記字幕の出力操作を検出した場合、出力する前記字幕の前記画面における表示位置を、当該画面における下部に決定する、
   請求項７に記載の字幕修正装置。
9. 前記制御部は、前記出力先に表示される映像と前記字幕の表示領域を示す情報を、所定のモニタ装置に表示させる、
   請求項１に記載の字幕修正装置。
10. 前記制御部は、前記操作部を通じて前記文字データに対する所定の操作を検出した場合、前記文字データの直後に句点又は読点を挿入する、
    請求項１に記載の字幕修正装置。
11. 装置が、
    字幕向けの文字データを修正するための修正領域を表示部に表示し、
    前記字幕の出力先に一度に表示される前記字幕に対応する文字データの範囲を示す字幕出力範囲を前記修正領域に表示させ、操作部を通じて前記字幕の出力操作を検出した場合、前記字幕出力範囲の文字データを、前記字幕として出力する、
    字幕修正方法。
12. 請求項１１に記載の字幕修正方法を、コンピューターに実行させるためのコンピュータプログラム。

Images