JP6301616B2 - 電子機器、電子機器の制御方法、及びシーン制御プログラム - Google Patents

Description

この発明は、電子機器、電子機器の制御方法、及びシーン制御プログラムに関する。

テレビジョン信号を記録する装置（記録媒体を含むテレビジョン受信機及び記録再生装置、などの電子機器）は、信号記録用の記録媒体が大容量化している。このために多数の番組が記録媒体に記録可能である。

一方で、記録媒体に記録した多数の番組の中から、所望の番組やシーンを検索するための技術も既に多く提案されている。

特開２００４−２５３０５０号公報 特開２００９−７１６２３号公報 特開２００９−１１８１６８号公報

しかしながら、録画される番組の増加に伴い、ユーザが録画済番組を視聴可能な時間内にユーザの好みに応じた番組を探して再生すること、あるいは特定のシーンを、効率よく検索して再生すること、等は、ユーザにとって大きな負担となる場合が有る。そのため、如何にその手間を省き、且つユーザの好みに応じた番組、さらに番組に含まれるシーンを選択し再生できるかが課題になっている。

シーンの特定のために、ＰＥＳ形式により供給される放送信号のうちの、映像・音声と時刻同期して表示される字幕情報（字幕シーン）を用いることが実用化されている。すなわち、字幕シーンの表示時刻が特定できれば、ユーザが視聴したいシーン（字幕シーン）をダイレクトにサーチして再生させることが可能である（字幕シーンジャンプ）。

しかしながら、字幕シーン（字幕情報）は、例えばニュース番組のように放送中の単語（音声情報）を文字情報（字幕）とすることにより時間的な遅れを伴う場合がある反面、例えば映画のように、映像と単語との時間的なズレが概ね調整されている場合がある。

この発明の目的は、字幕情報を用いて特定したシーンの再生時に、字幕と映像との間の時間的なズレを補正して再生する電子機器、電子機器の制御方法、及びシーン制御プログラムを提供することである。

実施形態の電子機器は、字幕データ取得手段と、シーク指示受付手段と、タイトル種別特定手段と、表示制御手段と、を具備する。字幕データ取得手段は、再生中のタイトルから字幕データを取得する。シーク指示受付手段は、前記字幕データ取得手段が取得した字幕データに対応する時間位置である映像開始点へのシーク指示を受けつける。タイトル種別特定手段は、前記シーク指示受付手段が前記シーク指示を受けつけた時点の前記再生中のタイトル種別を特定する。表示制御手段は、前記シーク指示受付手段が前記シーク指示を受けつけた時点の前記再生中のタイトルの映像を表示している状態において、前記字幕データに対応する映像開始点にシークする際に、前記字幕データの時間位置に対する前記映像開始点を、前記タイトル種別特定手段が特定したタイトル種別であって、タイトルのジャンル、あるいは動画であるか、もしくは動画に含まれるピクチャデータを静止画として切り出したサムネイル画像であるかの少なくとも１つに基づいて変更する。

実施形態に係るテレビジョン受信機の構成の一例を示す。 実施形態に係る番組表の一例を示す。 番組表と、番組表に基いて放送された放送番組に複数の字幕シーンがあることの一例を示す。 実施形態に係る要部の構成例と放送信号受信時の動作例の一例を示す。 実施形態に係る要部の構成例と放送信号受信時の動作例の一例を示す。 実施形態に係る表示装置の画面表示の一例を示す。 実施形態に係る表示装置の画面表示の一例を示す。 実施形態に係る動作の一例をソフトウエア的に示す。 実施形態に係る表示装置の画面表示の一例を示す。 実施形態に係る表示装置の画面表示の一例を示す。 実施形態に係る表示装置の画面表示の一例を示す。 実施形態に係る表示装置の画面表示の一例を示す。 実施形態に係る動作の一例をソフトウエア的に示す。 実施形態に係る動作の一例をソフトウエア的に示す。 実施形態に係るテレビジョン受信機の構成の一例を示す。

以下、図面を参照して、本発明の実施の一形態について説明する。

図１において、まず実施形態が適用されたテレビジョン受信機の構成の一例を示す。実施形態は、テレビジョン受信機だけでなく、記録再生装置、パーソナルコンピュータ、サーバ、セットトップボックス、等にも適用が可能である。

図１に示すテレビジョン受信機を代表して説明する。テレビジョン受信機１００は、デジタルチューナ装置１０２を有する。デジタルチューナ装置１０２は、例えばスクランブルされたデジタル地上波放送信号を受信する複数のチューナを含む。複数のチューナは、例えば４−８個であり、それぞれが異なるチャンネルの放送信号を受信することができる。デジタルチューナ装置１０２は例えばＢＳ／ＣＳデジタル放送受信用のチューナ（図示せず）が含んでも良い。

チューナ装置１０２で受信された放送番組の信号は、ＴＳ処理部１２２に入力され、複数のチャンネル（ＣＨ）のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）が１つのＴＳに再多重される。多重ＴＳは各チャンネルの放送番組のパケット列を含む。各チャンネルのパケットには、チャンネル及びパケット識別用の識別情報が付加されている。多重ＴＳは、記憶装置１１１に入力される。またＴＳ処理部１２２に入力したＴＳの中で、制御情報を含むパケット（制御パケット、或いはサービス情報パケットと称される場合もある）は、制御部２００に入力されて処理される。また、ＴＳの中には、電子番組案内（ＥＰＧ）データを含むパケットも含まれている。ＥＰＧデータが利用され、番組表が構成されることができる。

記憶装置１１１は、例えば、ハードディスクドライブ、光ディスク記録再生装置を含む。光ディスクにはデジタルバーサタイルディスク（ＤＶＤ（登録商標）），ブルーレイディスク（ＢＤ（登録商標））などが含まれる。

記憶装置１１１のハードディスクには、例えば複数チャンネルで放送される全番組を２乃至３週間分の保存（自動録画）することができる。ハードディスクドライブの増設により、１乃至４ヶ月分の全番組が自動録画されるようにしてもよい。録画番組のうち特別指定された番組以外は、古いものから自動削除される。特別指定された番組は、ユーザが永久保存番組として指定した番組である。特別指定は、例えばユーザがメニュー画面の特別番組指ボタンを選択する。すると、番組表が表示される。ユーザは、番組表の所望の番組をカーソルで選択し、決定ボタンを押す、すると特別番組指定が行われる。

ＴＳ処理部１２２から制御部２００に送られるパケットは、例えば、放送番組の暗号化情報であるＥＣＭ（Entitlement Control Message）と、番組名、出演者、開始時刻などのイベント情報を記述したテーブルであるＥＩＴ（Event Information Table）などの情報、ＥＰＧ（Electric Program Guide：電子番組ガイド）データを含む。ＥＰＧデータが利用され、番組表が構成されることができる。

パケットに含まれる映像データは、例えばＭＰＥＧ(Moving Picture Expert Group)方式、ＡＶＣ(Advanced Video Coding)方式などでエンコードされている。またオーディオパケット内のオーディオデータは、例えば、ＰＣＭ(Pulse Code Modulation)方式、Ｄｏｌｂｙ 方式、ＭＰＥＧ方式などでエンコードされている。

ＴＳ処理部１２２はパケット分離部を含み、番組の映像パケットと、オーディオパケットを分離し、その他の制御データや、ＥＰＧデータを含むパケットを分離して出力する。

ＴＳ処理部１２２で分離されたオーディオデータを含むパケットは、オーディオデコーダ１２３に入力され、符号化方式に応じた復号化が実施される。オーディオデコーダ１２３でデコードされたオーディオデータは、オーディオデータ処理部１２４で同期処理、音量調整などを施され、オーディオ出力部１２５に供給される。オーディオ出力部１２５は、スピーカシステムに応じたステレオ分離処理などを実行し、出力をスピーカ１２６に供給する。

ＴＳ処理部１２２で分離された映像データを含むパケットは、映像デコーダ１３１に入力され、符号化方式に応じた復号が実施される。映像デコーダ１３１でデコードされた映像データは、映像データ処理部１３２で、同期処理、輝度調整、色調整などが実施される。映像データ処理部１３２の出力は、映像出力部１３３に供給される。なお、映像デコーダ１３１でデコードした映像データには、（映像）フレームを単位として表示位置（時間位置）情報が付属する。また、映像デコーダ１３１（あるいはＴＳ処理部１２２）は、デコードした映像の種類、例えば動画もしくは静止画、あるいは映像のジャンル、例えば生放送やニュースもしくは映画やアニメ、等を識別し、その識別結果を、メモリ２４０内の所定の領域に一時保存される。なお、映像の種類やジャンルの情報は、ＥＰＧデータ処理部２０１（ＴＳ処理部１２２が分離したＥＰＧデータ）においても取得可能である。

映像出力部１３３は、制御部２００からのデータ、図形、番組表などをメイン映像信号に多重することができる。また映像出力部１３３は、出力映像信号に対して表示器１３４に応じたスケール、解像度、ライン数、アスペクト比などを設定して、表示器１３４に向けて出力する。

なお、有料番組のオーディオパケット、映像パケットが暗号化されている場合もある。この場合、鍵情報を用いて暗号化を解くための処理系統もあるがここでは省略している。

制御部２００は、中央演算処理ユニット（ＣＰＵ）２０１、ＥＰＧデータ処理部２０２、通信制御部２０３、操作デバイス管理部２０４、コマンド解析部２０５などを含む。

ＣＰＵ２０１は、制御部２００の全体の動作シーケンスの調整を行っている。

ＥＰＧデータ処理部２０２は、受信したＥＰＧデータを用いて、表示用の番組表を生成することができる。またＥＰＧデータに含まれる各種のデータを番組に関連付けて保存することができる。

通信制御部２０３は、外部との通信を行い、操作コマンド、データ、コンテンツ、などを取り込むことができる。取り込まれたコンテンツ、及びデータは、例えば記憶装置１１１、或いは不揮発性メモリ（記憶部、記憶装置と称しても良い）２４０に格納されることができる。通信制御部２０３は、テレビジョン受信機１００から外部に向けて、データ、コンテンツ、などを送信することができる。

通信制御部２０３は、無線通信送受信部１１３、有線通信送受信部１１２と接続されている。有線通信送受信部１１２は、インターネットを介して、遠隔（外部）サーバ、或いはホームサーバとの間でデータの送受信を行うことができる。無線通信送受信部１１３は、複数の携帯端末５００、５０１との間でデータの送受信を行うことができ、近距離通信用である。また、テレビジョン受信機１００は、リモートコントローラ１１５からの操作信号を、受信部１１４を介して受け取ることもできる。

操作デバイス管理部２０４は、制御部２００に対して操作信号を与える携帯端末５００，５０１、リモートコントローラ１１５などのデバイス識別データを把握し、管理することができる。

コマンド解析部２０５は、外部から入力する操作コマンドを解析し、コマンドに応じた動作をテレビジョン受信機１００に反映させることができる。

さらに制御部２００内に、字幕処理部２３１、字幕シーンキーワードリスト作成部２３２、シーンリスト作成部２３３、表示制御部２３４を含む。また制御部２００は、データベースファイルを構築するためのメモリ２４０も含む。

メモリ２４０は、制御部２００内で保存する各種のデータ、アプリケーションなどを保存することができる。データファイル２４２は、ＥＰＧデータを保存している。ＥＰＧデータは、１週間或いは２週間毎に定期的に更新される。また急な番組変更があった場合には、制御信号に応じて自動的なデータ更新が実施される。

字幕処理部２３１は、番組（主として自動受信される番組）に含まれる字幕から生成した字幕データと前記字幕が表示される時間を示す時間データを含むデータを字幕シーンデータとして取り出す。この字幕シーンデータは、メモリ２４０内のデータベースファイル２４３に格納される。

字幕シーンキーワード作成部２３２は、再生中若しくは受信中の番組（主としてユーザが操作により選択した視聴中の番組）から、少なくとも字幕データを抽出し、この字幕データの文字列を字幕シーンキーワードとして取り出す。取り出された字幕シーンキーワードは、例えば「名詞」単位であり、メモリ２４０内のデータベースファイル２４４に格納される。

シーンリスト作成部２３３は、上記した字幕シーンキーワードの複数が、表示器１３４に表示されている状態で、ユーザが何れかのキーワードを操作により選択したときに動作を実行する。

このときシーンリスト作成部２３３は、選択されたキーワードに基いて、データベースファイル２４３をアクセスする。そして、選択されたキーワードに対応する字幕シーンのシーン選択項目を作成し、表示制御部２３４を介して、シーンリストとして表示器１３４に向けて出力する。このときの選択項目は、番組毎に作成可能であり、また、１つの番組内で複数の選択項目が作成可能である。

上記の構成により、データベースファイルと２４３は、番組に含まれる字幕から生成した字幕データと前記字幕が表示される時間を示す時間データを含むデータを字幕シーンデータとして格納することができる。

データベースファイル２４４は、再生中若しくは受信中の番組（視聴中の番組）から少なくとも字幕データを抽出し、この字幕データの文字列（名詞）をキーワードとして格納することができる。したがって、番組の再生時間若しくは受信時間が再生若しくは受信時点から短い時間であると、キーワードの蓄積も少ない。

キーワードリスト作成部２３２は、再生中若しくは受信中（番組の視聴中）に、キーワードを表示するための操作信号（指令）が入力した場合、前記データベースファイル２４４に格納されている複数のキーワードを表示用として出力することができる。

シーンリスト作成部２３３は、表示器１３４にされている複数のキーワードから任意のキーワードが選択された場合、選択されたキーワードに対応する字幕を有する複数のシーンの選択項目をシーンリスト表示用として出力することができる。過去のキーワード表示機能が設けられた場合、ユーザが興味を持ったキーワードの履歴や変遷を見ることができる。

データベースファイル２４５は、その他のデータを格納するために利用される。例えば、キーワード選択履歴を格納してもよい。そして、最近の例えば１乃至２週間の間にユーザが選択したキーワードの統計データを格納してもよい。

表示制御部２３４は、映像出力部１３３を介して表示器１３４に表示される映像信号を全般的に制御することができる。また表示制御部２３４は、ＯＳＤ（On screen display）コントローラと称されることもできる。表示制御部２３４は、画像信号の解像度、表示サイズ、表示エリアなどの調整処理を行うこともできる。また、ＥＰＧデータを用いて作成した番組表の映像信号や、操作信号に応じて制御部２００内で作成されたメニュー映像信号を映像出力部１３３に供給することができる。また、表示制御部２３４は、図９−図１４により後段に説明する字幕の表示位置と映像の表示位置との整合、を受け持つ。

携帯端末５００、５０１は、テレビジョン受信機１００をリモートコントロールすることもできる。

携帯端末５００、５０１は、図示しない基地局、インターネットなどを介してサーバをアクセスすることができる。サーバが提供するコンテンツは勿論のこと、各種のアプリケーション、ゲームソフトなどをダウンロードし、無線通信送受信部１１３を介して、制御部２００に転送することが可能である。また携帯端末５００、５０１は、コンテンツを取得するための情報（例えばウェブサーバのアドレス、メールアドレス、ネットワークアドレスなど）を、無線通信送受信部１１３を介して、制御部２００に転送することが可能である。

ウェブサーバのアドレス、メールアドレスなど、さらには動画、静止画、写真画像などをここでは「お勧め情報」あるいは「興味情報」と称してもよい。

表示用のメニュー映像信号、番組表映像信号などは、例えばデータベースファイル２４５に格納及びまたは管理されている。メニューの表示、番組表の表示が行われるときは、メニュー画面データ、番組表映像信号が、表示制御部２３４の制御に基づき、データ格納部（メモリ或いはハードディスク）から読み出される。これにより、メニュー画像や番組表画像が表示器１３４に表示される。

表示用のメニュー映像信号、番組表映像信号などは、携帯端末５００或いは５０１に送信されることもできる。携帯端末５０１或いは５０２がメニュー映像信号、番組表映像信号など要求した場合、制御部２００は、メニュー映像信号、番組表映像信号を送信することができる。後で説明するキーワードリスト、シーンリストなどが携帯端末５００或いは５０１に転送されてもよい。

携帯端末５０１或いは５０２は、メニュー映像信号、番組表映像信号をタッチ式パネルの画面に表示することができ、ユーザは、タッチ（或いはポイント）式パネルの画面に表示された操作ボタンに触れることにより、テレビジョン受信機に動作指令信号を与えることができる。

図２には、ＥＰＧデータを用いて作成された番組表の一例を示している。この番組表はリモートコントローラ１１５の「番組表」ボタンが押されたとき、表示制御部２３４の制御により、表示器１３４に表示される。図の例は、縦方向に時間、横方向にチャンネルＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４・・・が示されている。リモートコントローラ１１５のスクロールボタン（スクロール方向を示す矢印が付されたボタン）を操作することにより、横方向及び縦方向にスクロールさせて、次の時間、及び次のチャンネルの番組欄を表示させることができる。

図２は、チャンネルＣＨ１は、番組Ｐ１１（ニュース）、番組Ｐ１２（天気予報）、番組Ｐ１３（ニュース）、番組Ｐ１４（野球中継）、番組Ｐ１５（映画）、番組Ｐ１６（ニュース）、・・・などの番組が放送されることを示している。

チャンネルＣＨ２は、番組Ｐ２１（事故現場中継）、番組Ｐ２２（天気予報）、番組Ｐ２３（ドラマＡ）、番組Ｐ２４（今日のニュース・・富士山世界遺産登録）、・・・などの番組が放送されることを示している。

チャンネルＣＨ３は、番組Ｐ３１（交通情報）、番組Ｐ３２（クイズ番組）、番組Ｐ３３（音楽番組）、・・・などの番組が放送されることを示している。

チャンネルＣＨ４は、番組Ｐ４１（ニューヨーク観光地紹介）、番組Ｐ４２（世界遺産富士山の紹介）、・・・などの番組が放送されることを示している。

ユーザは、番組表が表示された状態で、視聴したい番組の位置へ、リモートコントローラ操作により、カーソルを移動させることができる。所望の番組の位置へカーソルがあるときに、リモートコントローラの決定ボタンを押すと、当該番組の視聴が可能である。

番組表データは、過去の番組の番組表、現在（本日）の番組の番組表、未来の番組の番組表（１−２週間後の番組表）データを含んでいる。しかし、図では、分かり易くするために、本日の番組表だけを示し、現在時刻が例えば２２時００分であるものとして説明する。

図３は、この実施形態における装置が番組を自動録画した際にどのような処理を実行したかを説明するための図である。

実施形態のテレビジョン受信機は、字幕処理部２３１を備える。このために例えば、図２及び図３に示す番組Ｐ１４（野球中継）が録画されるとき字幕処理が実施される。字幕処理は、番組に含まれる字幕から生成した字幕データと前記字幕が表示される時間を示す時間データを含むデータを字幕シーンデータとして取り出す。この字幕シーンデータは、メモリ２４０内のデータベースファイル２４３に格納される。

今、番組Ｐ１４で放送される野球の試合が、ニューヨークのチームであるニューヨーク・フジ（ＮＹ−ＦＵＪＩ）対ロサンジェルスのチームであるロサンジェルス・エベレスト（ＬＯＳＳ−ＥＶＥＲＥＳＴ）で行われるものとする。番組Ｐ１４では、字幕として例えば「ニューヨーク」、「フジ」とい言う語句（キーワード）が頻繁に現れることが予想される。また、「ロサンジェルス」、「エベレスト」とい言う語句（キーワード）が頻繁に現れることが予想される。

これにより、字幕「ニューヨーク」のシーン、字幕「ロサンジェルス」のシーンを字幕シーンデータが、メモリ２４０内のデータベースファイル２４３に格納される。

この場合、その他に多数の字幕シーンデータを得るので、データベースファイル２４３に格納する場合、制限処理を行う。制限する条件は、各種の設定が可能である。

例えば、１つの番組内で、同一用語（キーワード）であって出現頻度の高い用語を、上位から複数、例えば２０乃至３０選択する。或いは、嗜好性判断部（図示せず）が、ユーザが過去に選択した用語（キーワード）（後述する）を登録用語として登録する。そして、字幕処理部２３１が「用語」を検出した場合、検出された用語が嗜好性判断部に登録されている登録用語と同一の場合は、当該用語に対して嗜好性ポイント（例えば＋１）を付加する。これにより多数出現する複数の用語間に順位を設定することができる。この場合、上記した出現頻度の高い用語にも順位に応じてポイント（＋５、＋４、＋３、＋２、＋１、＋０）を付加し、嗜好性のポイントと合わせて、複数の用語の順位を決定する条件であってもよい。

１つの番組内で、最もポイントが高いキーワードが決まった場合、このキーワードを当該番組の代表キーワードとしてもよい。また代表キーワードは、番組名に等しいか類似するワードが選択されてもよい。

次に、番組Ｐ４１（ニューヨーク観光地紹介）が録画されるものとする。この場合は、字幕「ニューヨーク」が含まれるシーンが頻繁に表示される。また例えば字幕「ビルディング」が含まれるシーンも頻繁に表示される。そのほか字幕「ストリート」、「公園」などが含まれるシーンも比較的多く表示される。

なお数多くの字幕シーンから表示候補を絞り込む条件として、ジャンル、放送時間帯、放送局別に、それぞれの番組に与えるポイントを異なるようにしてもよい。またジャンル、放送時間帯、または放送局別に分類した保存を行っても良い。

図４は、放送信号（仮に番組ＰＸとする）が記録再生装置１１１に自動録画されるときの動作に関連するブロックを示している。放送信号中に含まれる字幕ストリームは、字幕処理部２３１に取り込まれる。字幕処理部２３１は、字幕ストリームの字幕から字幕データ（字幕文字列、表示時間データ）を読み取り、字幕シーンのデータとしてデータベースファイル２４３に出力する。

また字幕処理部２３１は、字幕の文字列データを形態要素解析し、「名詞」を取り出し、これを字幕シーンキーワードとして、データベースファイル２４４に出力する。この場合、データベースファイル２４４には、現在放送中の番組、若しくは現在再生中の番組の字幕シーンキーワードが保存される。したがって、字幕処理部２３１は、現在放送中若しくは現在再生中の番組の字幕シーンキーワードであって、データベースファイル２４３に、一旦保存された文字列データから抽出した字幕シーンキーワードをデータベースファイル２４４に格納してもよい。

つまり、字幕処理部２３１からデータベースファイル２４３に対して字幕シーンデータを格納し、データベースファイル２４４に対してキーワードを格納する方法としては、上記のように２つの形態が可能であり、いずれが採用されてもよい。１つの形態は、字幕処理部２３１からデータベースファイル２４３とデータベースファイル２４４に対して並列にデータを格納する形態であり、他の形態は、データベースファイル２４３に一旦格納した字幕シーンデータから、キーワードを作成して、データベースファイル２４４に格納する形態である。

上記キーワードに関しても、多数の字幕シーンキーワードを得るので、字幕シーンキーワードがデータベースファイル２４４に格納される場合、先に説明した場合と同様に制限処理が行われる。

自動録画の途中は、ユーザの操作に関わらず上記したデータベースファイル２４３、２４４に対する字幕シーンデータの保存、字幕シーンキーワードの保存を行う。

ここで、ユーザがキーワードを表示するためにリモートコントローラ１１５を通じて操作するものとする。すると、字幕シーンキーワード作成部２３２及び図１で示した表示制御部２３１は、データベースファイル２４４で構築されている番組ＰＸに関するキーワードの優先順位の高いもの（数個）選択し、表示器１３４に表示するための処理を行う。

このように本実施形態の装置は、現在視聴している番組の字幕から得られる複数のキーワードのうち、例えば出現頻度の高いキーワードを複数表示することができる。ここで、ユーザが、シーンリストを表示する目的で、何れか１つのキーワードをリモートコントローラの操作に基いて、選択し、決定ボタンを押したとする。

すると、シーンリスト作成部２３３は、選択されたキーワードに対応する字幕を有する複数の字幕シーンのシーンリストを、前記第１のデータベースファイルを参照して生成して、表示用として出力する。これにより、表示器１３４は、シーンリスト表示状態に切り替わることになる。シーンリストは、複数のシーン選択項目を含む。

次に、字幕シーンキーワードリスト作成部２３２がどのようなキーワードリストを作成し、シーンリスト作成部２３３が、どのようなシーンリストを作成するかを説明する。

図５は、記憶装置１１１に録画されている番組Ｐ１４（野球中継・・ニューヨーク・フジ（ＮＹ−ＦＵＪＩ）対ロサンジェルス・エベレスト（ＬＯＳＳ−ＥＶＥＲＥＳＴ）が再生された場合を示している。

字幕処理部２３１は、再生信号中の字幕ストリームの文字列データを形態要素解析し、「名詞」を取り出し、これを字幕シーンキーワードとして、データベースファイル２４４に出力する。

一方、このときは、データベースファイル２４３に格納するための再生信号の字幕シーンを取り出す必要はない。しかし他方では、自動受信状態であるために、受信中の番組の字幕シーンデータは、データベースファイル２４３に順次格納される。

ここでユーザがキーワードを表示するためにリモートコントローラ１１５を通じて操作するものとする。すると、字幕シーンキーワード作成部２３２及び図１で示した表示制御部２３１は、データベースファイル２４４で構築されている番組Ｐ１４に関するキーワードの優先順位の高いもの（数個）選択し、表示器１３４に表示するための処理を行う。この結果、例えば
「ニューヨーク」、「フジ」、「バッター」、「ロサンジェルス」、「エベレスト」、「ピッチャー」、・・・・「ヒット」・・・「ホームラン」などが代表的なキーワードリストとして表示される。

ここで、ユーザが、例えば「ニューヨーク」に興味を持っているものとする。ユーザが、リモートコントローラを操作して、キーワード「ニューヨーク」を選択し、決定ボタンを押したとする。すると、シーンリスト作成部２３３は、「ニューヨーク」が含まれる字幕シーンデータを検出する。たとえば、シーンリスト作成部２３３は、番組Ｐ４１（ニューヨーク観光地紹介）に含まれるシーンの選択項目、その他の番組（ニューヨークの字幕が含まれる番組）のシーンのシーン選択項目を示すシーンリストを表示用として作成する。番組Ｐ４１（ニューヨーク観光地紹介）の場合、字幕「ニューヨーク」が多く含まれるからである。

ユーザは、リモートコントローラ操作により、番組Ｐ４１（ニューヨーク観光地紹介）に含まれるシーンの選択項目を選択し、決定ボタンを押すと、再生動作は、番組Ｐ４１の再生状態に移行する。

上記の説明は、理解を容易にするために、番組Ｐ１４と番組Ｐ４１との関係を説明したが、実際には、その他に「ニューヨーク」が含まれる字幕のシーンのデータが多数存在する可能性が高い。このような場合は、多数の番組の関連シーンの選択項目がシーンリストとして表示可能である。画面上に表示される選択項目は、例えば５乃至６個であるが、他の選択項目は、スクロール操作により画面上に表示することができる。

今、番組Ｐ１４を再生中であり、キーワードリストとして、キーワード「ニューヨーク」、「フジ」、「バッター」、「ロサンジェルス」、が表示されたものとする。ユーザが、ここで「フジ」を選択したとする。

すると、番組Ｐ２４（ニュース・・・富士山世界遺産登録）、番組Ｐ４２（世界遺産富士山の紹介）のシーンを選択するための選択項目を含むシーンリストが表示される。ここで、ユーザはシーンリストを見て、いずれの番組を視聴したいかを決めることができる。

上記の説明ではキーワード「フジ」が選択された場合、シーンリストは、関連する全番組の代表的シーンリストを表示した。しかし、シーンリストの表示方法と、シーンリストの利用方法は各種の方法が可能であるので以下説明する。

図６は、シーンリストの利用方法の一例を示している。画面１３４−１で、番組Ｐ１４の字幕データに含まれるキーワード「ニューヨーク」「フジ」「ロサンジェルス」「エベレスト」「ピッチャー」が表示されている。今、ユーザがキーワード「フジ」を選択したとする、すると、画面１３４−２に示すように、
「視聴中の番組のシーンリストを表示？」するのか
「全番組の関連シーンリストを表示？」するのか
を問い合わせる
コメントが表示される。今、ユーザがリモートコントローラ操作により、「視聴中の番組のシーンリストを表示？」と言うコメントを選択して、決定ボタンを押すと、画面１３４−３に切り替わる。

この画面１３４−３では、番組Ｐ１４の「野球中継」において、作成された複数シーンの選択項目が表示される。この例では「ＮＹ−ＦＵＪＩの選手紹介」「ＮＹ−ＦＵＪＩの歴代監督」「ＮＹ−ＦＵＪＩの遠征日程」「ＮＹ−ＦＵＪＩの優勝」などの選択項目が表示される。また、同時に「頭だし再生」を行うのか、「番組の先頭から再生」するのかを選択するための選択ボタンも表示される。「番組の先頭から再生」のボタンが選択された場合、番組Ｐ１４の先頭からの再生が開始される。シーンの選択項目のいずれかと、「頭だし再生」が選択された場合は、若しくは選択項目の何れか１つが選択されて決定ボタンが操作されたときは、選択されたシーンからの頭だし再生が実行される。

画面１３４−２において、ユーザが、「全番組の関連シーンリストを表示」選択した場合は、画面１３４−４のように、番組Ｐ２４の代表の選択項目（富士山が世界遺産）と、番組Ｐ４２の代表の選択項目（富士山の歴史）が表示される。

データベースファイル２４３においては、番組毎に代表となる字幕シーンが決められている。代表となるシーンの決め方は種々であり、例えば、番組内で頻度の最も高い字幕が現れるシーンが代表シーンとして指定され、このシーンの時間情報と共に字幕シーンデータが作成されている。

画面１３４−４においては、シーンリストの選択項目は２つであるが、実際の装置では、さらに多くの選択項目が表示される。この画面では、何れかの番組がリモートコントローラ操作により選択される（図の例では番組Ｐ４２−「世界遺産富士山の紹介」が選択されている）。すると例えば、画面１３４−５に示すように、番組Ｐ４２−「世界遺産富士山の紹介」が選択されていることを示し、頭だし再生を実行するのか、番組の先頭から再生するのかを決めるためのボタンが表示される。

リモートコントローラ操作により、先頭から再生のボタンを選択して、決定ボタンを押すと、番組Ｐ４２の先頭からの再生が開始される。リモートコントローラ操作により、所望の選択項目「富士山の履歴」または「富士山の登山道」または「四季の富士山」または「富士山の写真展」の何れかを選択して決定ボタンが押されると、選択したシーンからの頭だし再生が開始される。

つまり上記したシーンリスト作成部２３３は、複数のシーンの選択項目をシーンリスト表示用として作成する場合、同一番組の中の複数のシーンの頭だし用の選択項目、及び又は記憶媒体に記録されている複数の番組のシーンを選択的に指定することができるシーン選択用の選択項目を作成することができる。同一番組の中の複数のシーンの頭だし用のシーン選択項目が選択された場合、同一番組中でジャンプ再生が行われる。複数の番組のシーン選択項目の何れかを選択すれば、番組間のジャンプ再生が得られる。

また画面上では、戻るボタンも表示されるので、戻るボタンを選択して、決定ボタンを押すと、１つ前の画面に戻ることができる。

また、シーンリスト作成部２３３は、シーンリストが表示されている状態で、シーン選択項目に該当する番組の先頭から再生するのか否かを示す、選択ボタンを表示することができる。

図７は、一実施形態の動作において表示器に表示される画像の他の例を示す図である。番組の再生映像を視聴中に、リモートコントローラ１１５の例えば「字幕シーン」ボタンが押されると、複数のキーワード（例えば１−５）が表示される。そして何れかのキーワードがリモートコントローラ操作により、カーソルで選択され、リモートコントローラの決定ボタンが押されると、シーンリスト表示状態となる。図７の例は、全番組の関連シーンのリストを表示した例である。キーワードの選択では、例えば「ゴルフ」が選択されている。これにより、ゴルフに関係する番組のシーンリストが表示される。シーンリストの選択項目の中には、番組名、放送時間帯などが記述されていてもよい。

図８は、一実施形態における動作例を示すフローチャートである。例えばユーザがリモートコントローラの「字幕シーン」と記載されたキーを押すと、字幕シーンキーワードの抽出が行われ、字幕シーンキーワードのリストが表示される（ステップＳＡ１−ＳＡ３）。ここでユーザが、リモートコントローラを操作して所望のキーワードを選択すると、シーンリストの表示が得られる（ステップＳＡ４，ＳＡ５）。さらにユーザがシーンリストの中から、所望のシーン選択項目を選択すると、選択されたシーンの番組の再生が開始される。

上記した実施例は、キーワードリストが、ユーザが現在視聴している番組から作成される。このキーワードリストは、過去の番組のキーワードやユーザの嗜好性を調べて抽出したキーワードではない。このためにユーザが、今、興味を示しているキーワードに基いてシーンリストが作成される。

嗜好性データを構築する場合、例えばデータファイル２４５に過去に選択したキーワードを蓄積し、蓄積されたキーワードの選択回数から嗜好性を判断してもよい。またユーザが選択したキーワードを、１週間単位でまとめて、時間軸とともに履歴データとして蓄積してもよい。選択したキーワードの履歴データから、ユーザの嗜好性の変化を読み取ることができる。

上記の説明において、図１の制御部２００は、テレビジョン受信機と一体の如く説明した。しかし、チューナ装置１０２、ＴＳ処理部１２２、記憶装置１１、制御部２００全体は、独立した装置として構成されてもよい。または制御部２００内の字幕処理部２３１、字幕シーンキーワード作成部２３２、シーンリスト作成部２３３、表示制御部２３４、メモリ２４０などが独立した装置として構成されてもよい。

ところで、上述した字幕シーンキーワードから（ユーザが）キーワードを選択し、リモートコントローラ１１５の操作により、「字幕シーンジャンプ」の指示入力により、特定の字幕表示位置へシークする場合、字幕表示のタイミングによっては、期待するシーンとは異なる動画（場面）へジャンプする場合がある（ユーザに、ユーザが期待するシーンとは異なる動画を視聴させてしまう可能性がある）。例えば、ＣＭ（コマーシャル）直前のタイミングに字幕が出現する場合、当該字幕位置にシークすると、ユーザには、ＣＭが、該当するシーンに見えてしまう場合がある。

また、例えばニュース番組、等は音声よりも字幕表示が遅く、ドラマや映画、等では、音声と字幕表示がほぼ同時、というように、番組のジャンルによっては、音声と字幕表示タイミングが異なる場合がある。

さらに、動画に含まれるピクチャデータを静止画として切り出したサムネイル画像の位置を指定する場合には、字幕表示（タイミング）が特定するサムネイル画像が異なるサムネイル画像となることは、避けられなければならない（サムネイル画像を指定する「字幕シーンジャンプ」においては、対象の画像（サムネイル）と字幕とを、一致させる必要がある）。

図９に一例を示すが、再生中のタイトルの中から取得した字幕データ（字幕開始時間、字幕文字データ）は、上述した通り、ユーザが選択した条件に合致する字幕位置（時間）に対してシークする際に、所定の閾値分だけ、前の位置に遷移する。シーク先の位置から再生を開始すると、ユーザが選択した字幕データの位置が再生される。

すなわち、タイトルの再生を開始すると、映像と音声の同期を行った上で、字幕データの同期を行い、同期がとれたところから字幕が表示されるため、再生開始から字幕が表示されるまでのタイムラグが生じる。ここで、図９が示す上述のシークの遷移を用いて、シーク位置を、字幕データの字幕開始時間に比較して、少し前の位置（字幕開始時間よりも所定の閾値分早い時間の映像データの位置）にすることで、字幕データの同期が完了する。従って、ユーザが選択した字幕データを表示する位置のタイトルを確実に再生することが可能となる。

図１０は、上述したサムネイル画像に対応する字幕シーク位置の調整例の一例を示す。

上述した通り、ユーザが選択した条件に合致する字幕シーンの対象がサムネイル画像の場合には、字幕データが表示される位置と同じ場所の映像を静止画として切り出す必要がある。

反面、タイトルのジャンル、例えばニュースや動きの大きな映像を含む映像である場合においては、音声と字幕データの表示タイミングとが異なっていることがあるため、サムネイル画像についても、字幕データ位置と切り出した画像の場所（サムネイル画像）とがずれてしまう可能性がある。

このような背景から、図１０に示すように、対象の画像がサムネイル画像である場合には、字幕の表示位置（字幕データ位置すなわち字幕開始時間）を、サムネイル画像の（時間）位置に、整合させることが必要である。すなわち、図９において説明した閾値として捉えた場合は、閾値は［０］である。

図１１及び図１２は、ジャンルによるシーク位置の補正の例を示す。

上述の通り、タイトルのジャンルがドラマや映画、等の場合には、音声と字幕の表示タイミングは、ほぼ一致しているため問題は発生しない（図１２）。しかしながら、ニュースや生放送、等のタイトルでは、音声に対して字幕が遅れて表示される場合が多い（図１１）ことになる。

このような背景から、タイトルのジャンルを考慮せずに、動画や静止画のシーク位置を決定すると、上述のように、ユーザが期待するシーンとは異なる画像に対して字幕が表示されることになる。このため、図９及び図１０を用いて説明した閾値を、タイトルのジャンル毎に変更する（ジャンルに応じて異なる大きさの閾値を用いる）ことで、字幕データに合致する映像にシークできる。

すなわち、タイトルのジャンルに基づいて、字幕データの開始時間情報から閾値を差し引いた場所（時間位置）にシークするよう制御することで、字幕表示と映像（の先頭）との間のズレを補正できる。

図１３は、図９及び図１０により説明した画像の種類に基づいた字幕シーンジャンプの実行時に、字幕開始時間に対する映像の位置（時間位置）の調整を、ソフトウエア的に示す例（フローチャート）である。

図１３に示すように、ユーザからの字幕シーンジャンプの指示があった場合（１０１）に、動画再生中であることを検出できた場合（１０２−ＹＥＳ）、字幕データの表示位置から閾値（時間データ）だけを差し引いた位置にシークする（１０３）。

一方、非動画、例えば静止画あるいはサムネイル画像の再生中である場合（１０２−ＮＯ）、字幕データの表示位置（時間位置）と同じ時間（時間位置）の画像にシークする（１０４）。

これにより、実際の字幕データ表示位置の映像と音声をユーザが認識することが可能となる。

図１４は、図１１及び図１２により説明した映像のジャンルに基づいた字幕シーンジャンプの実行時に、字幕開始時間に対する映像の位置（時間位置）の調整を、ソフトウエア的に示す例（フローチャート）である。

字幕シーンジャンプの実行時に、映像のジャンルに従って、音声と字幕データの表示のタイミングが異なることは、上述した通りである。

従って、ユーザからの字幕シーンジャンプの指示を受けた時点で再生中の映像が、例えばニュースもしくは生放送であることを検出できた場合（１１１−ＹＥＳ）、字幕データの表示位置（時間位置）に対し、閾値（時間データ）として所定の時間、例えば２秒だけを差し引いた位置（１１２）に、シークする（１１３）。なお、閾値（時間データ）は、（実際の）タイトルの映像と字幕とのズレに基づいて、任意に設定される。

これに対し、字幕シーンジャンプの指示を受けた時点で再生中の映像が、例えば映画やドラマ、等の非ニュースもしくは生放送であることを検出できた場合（１１１−ＮＯ）、閾値（時間データ）として所定の時間、例えば０．５秒だけを差し引いた位置（１１４）に、シークする（１１３）。

このように、映像（タイトル）のジャンルに基づいて、字幕データの表示位置と映像の表示位置との調整量（閾値）を変更する（タイトルのジャンルに応じて異なる閾値を採用する）ことで、字幕データの表示位置とタイトルの映像の表示位置とが合致するシークを実現することが可能となる。

なお、図１０において説明したが、映像（タイトル）がサムネイル画像である場合、閾値（字幕データの表示位置と映像の表示位置との調整量）は、０となる。

図１５は、他の実施形態を示している。

図１５においては、サーバ１１０１と、視聴機２１０１を有する。映像と音声を専用の視聴機２１０１で視聴できる。映像、音声などは、サーバ１１０１から視聴機２１０１に対して、送信器１１０２を介して送信される。視聴機２１０１は、受信機２１０２を介して、送られて来た映像、音声などを受信する。

なお上記した実施形態において、放送信号と共に送られてくる字幕の字幕データを利用することを説明した。しかしこれに限らず、音声・文字変換処理により変換された文字データを利用することも可能である。

上記した説明において、「部」は、「装置」、「器」、「ブロック」及び「モジュール」に置き換えても本発明の範疇であることは勿論である。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また請求項を方法として表現した場合であっても本発明の装置を適用したものである。

またこの実施形態は、コンピュータ読み取り可能な情報記憶媒体、或いはプログラムとしても適用できるものである。

即ち、コンピュータ読み取り可能な情報記憶媒体は、以下の命令またはこの命令を備える以下の
再生中のタイトルから字幕データを取得し、
取得した字幕データに対応する映像開始点（時間位置）へのシーク指示を受けつけ、
シーク指示を受けつけた時点の再生中のタイトルの種別を特定し、
シーク指示を受けつけた時点の再生中のタイトルにおいて、字幕データに対応する映像開始点へのシークに際して、字幕データの時間位置に対する映像開始点を、特定したタイトルの種別に応じて変更する
シーン制御プログラム
を記憶している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００・・・テレビジョン受信機、１０２・・・デジタルチューナ装置、１１１・・・記憶装置、１２２・・・ＴＳ処理部、１２３・・・オーディオデコーダ、１２４・・・オーディオデータ処理部、１２５・・・オーディオ出力部、１３１・・・映像デコーダ、１３２・・・映像データ処理部、１３３・・・映像出力部、１３４・・・表示器、２００・・・制御部、２０２・・・ＥＰＧデータ処理部、２０３・・・通信制御部、２０４・・・操作デバイス管理部、２０５・・・コマンド解析部、２３１・・・字幕処理部、２３２・・・字幕シーンキーワード作成部、２３３・・・シーンリスト作成部、２３４・・・表示制御部、２４０・・・メモリ。

Claims (5)

1. 再生中のタイトルから字幕データを取得する字幕データ取得手段と、
   前記字幕データ取得手段が取得した字幕データに対応する時間位置である映像開始点へのシーク指示を受けつけるシーク指示受付手段と、
   前記シーク指示受付手段が前記シーク指示を受けつけた時点の前記再生中のタイトル種別を特定するタイトル種別特定手段と、
   前記シーク指示受付手段が前記シーク指示を受けつけた時点の前記再生中のタイトルの映像を表示している状態において、前記字幕データに対応する映像開始点にシークする際に、前記字幕データの時間位置に対する前記映像開始点を、前記タイトル種別特定手段が特定したタイトル種別であって、タイトルのジャンル、あるいは動画であるか、もしくは動画に含まれるピクチャデータを静止画として切り出したサムネイル画像であるかの少なくとも１つに基づいて変更する表示制御手段と、
   を具備する電子機器。
2. 再生中のタイトルから字幕データを取得し、
   取得した字幕データに対応する時間位置である映像開始点へのシーク指示を受けつけ、
   シーク指示を受けつけた時点の再生中のタイトル種別を特定し、
   特定したタイトル種別であって、タイトルのジャンル、あるいは動画であるか、もしくは動画に含まれるピクチャデータを静止画として切り出したサムネイル画像であるかの少なくとも１つに基づき、シーク指示を受けつけた時点の再生中のタイトルの映像を表示している状態において字幕データに対応する映像開始点へのシークにおける字幕データの時間位置に対する映像開始点を変更する
   電子機器の制御方法。
3. コンピュータに、
   再生中のタイトルから字幕データを取得させ、
   取得した字幕データに対応する時間位置である映像開始点へのシーク指示を受けつけた時点の再生中のタイトル種別を特定させ、
   特定させたタイトル種別であって、タイトルのジャンル、あるいは動画であるか、もしくは動画に含まれるピクチャデータを静止画として切り出したサムネイル画像であるかの少なくとも１つに基づき、シーク指示を受けつけた時点の再生中のタイトルの映像を表示している状態において字幕データに対応する映像開始点へのシークにおける字幕データの時間位置に対する映像開始点を変更させる
   シーン制御プログラム。
4. 前記表示制御手段は、シーンリストではなく映像を表示している状態において、前記字幕データの時間位置に対する前記映像開始点を変更する請求項１の電子機器。
5. 字幕データの時間位置に対する前記映像開始点をシーンリストではなく映像を表示している状態において変更する請求項２の電子機器の制御方法。

Images