JP5091708B2 - 検索用情報作成装置、検索用情報作成方法、検索用情報作成プログラム - Google Patents

Description

本発明は、録画された大量のテレビ番組から所望のテレビ番組を検索するための検索用情報を作成する技術に関し、特に、画面に表示される文字に基づいてテレビ番組を検索するための検索用情報を作成する技術に関する。

従来、ハードディスクレコーダは、テレビ番組（以下、単に番組という）を録画するときに、電子番組ガイドを利用して、その番組タイトルを自動的に記録することができる。したがって、ユーザは、番組タイトルを検索することにより、録画番組の中から所望の番組を選択して視聴することができる。また、このような番組単位の検索とは異なり、番組内の特定の部分をユーザが指定して検索する技術も知られている（例えば、特許文献１参照）。

特許文献１に記載された字幕付き番組記録・再生装置は、放送局からの字幕付き番組（字幕放送）を記録するハードディスクと、字幕放送を表示するＴＶ受像機と、字幕抜き取り手段と、字幕位置記録手段と、切換えスイッチと、検索手段とで構成されている。字幕位置記録手段は、字幕抜き取り手段で抜き取った字幕の内容を文字情報として、当該字幕が表示されている番組の位置情報（フレーム情報）と共に記録する。切換えスイッチは、字幕付き番組又は抜き取った字幕(文字)を選択的にＴＶ受像機に表示させる。検索手段は、字幕つき番組の再生時に、ユーザによって指定された文字情報を検索する機能と、字幕位置記録手段内から得た番組内における画面の位置情報(フレーム情報)から、ハードディスクに録画された字幕付き番組を再生可能にする機能を有する。したがって、この字幕付き番組記録・再生装置は、ユーザの所望の番組の再生時に番組内の特定の部分をユーザが指定して検索するために、字幕が表示されている番組の画面の位置情報(フレーム情報)を記録する。これにより、録画された所望の１つの番組から字幕のキーワードを頼りに所望のシーンを個人で私的に視聴することを可能とする。
特開２００６−２７９３１２号公報（段落００２１−００２２、図３）

しかしながら、特許文献１に記載された字幕付き番組記録・再生装置は、大量の番組の中から、ユーザが指定した文字が表示された番組が放送された日時や、番組内の特定のシーンが画面表示された時刻等を高速に検索することはできない。例えば、放送局では、複数局の番組の同時録画に対応するために複数のハードディスクレコーダ等の機材を用意し、自局だけではなく複数の放送局の数か月分の番組を録画蓄積しておき、必要に応じて、特定の番組が放送された日時や番組内の特定のシーンを検索する場合がある。したがって、このような検索業務を高速に行うことが要望されている。

本発明は、以上のような問題点に鑑みてなされたものであり、録画された番組の中から画面表示される文字に基づいて、特定の番組が放送された日時や番組内の特定のシーンを高速に検索するための検索用情報を作成する技術を提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の検索用情報作成装置は、通信ネットワークから取得したテレビの番組情報に基づいて番組の放送開始時刻に当該番組の録画を開始すると共に当該番組についての公開用の番組情報を生成するテレビ放送同時録画装置と通信可能に接続され、前記テレビ放送同時録画装置で記録される動画において画面に表示される文字に基づいて録画番組を検索するための検索用情報を作成する検索用情報作成装置であって、番組情報取得手段と、動画取得手段と、文字検出処理手段とを備えることとした。

かかる構成によれば、検索用情報作成装置は、番組情報取得手段によって、前記テレビ放送同時録画装置から前記公開用の番組情報を取得し、前記公開用の番組情報を取得した時刻を、番組ごとの開始時刻として前記公開用の番組情報に加えた新たな番組情報を生成し、前記新たな番組情報を番組情報データベースに登録する。そして、検索用情報作成装置は、動画取得手段によって、前記テレビ放送同時録画装置から、記録される前記動画を取得し、取得した動画をファイルとして動画蓄積手段に格納する。そして、検索用情報作成装置は、文字検出処理手段によって、前記ファイルから、動画を構成するフレーム毎の静止画を抽出し、抽出した静止画から文字列を検出し、当該文字列が検出された画面が表示された番組内での時刻情報に基づいて、前記登録された番組情報における開始時刻に同期させた時刻情報として文字列の検出時刻を生成し、この生成した検出時刻および検出した文字列を前記検索用情報として検索用情報データベースに登録する。ここで、文字列が検出された画面が表示された番組内での時刻情報は、その番組の番組尺におけるフレーム番号等の情報を示し、登録された開始時刻は、番組が放送された日時を示している。したがって、生成された文字の検出時刻は、番組が放送された日時に同期したものとなる。

また、請求項２に記載の検索用情報作成装置は、請求項１に記載の検索用情報作成装置であって、前記文字検出処理手段が、文字認識処理手段と、開始時刻読出手段と、タイムコード取得手段と、検出時刻生成手段と、検出文字列登録手段とを備えることとした。

かかる構成によれば、検索用情報作成装置において、前記文字検出処理手段は、文字認識処理手段によって、前記ファイルから、動画を構成する静止画を抽出し、抽出した静止画を文字認識用辞書と照合する。そして、文字検出処理手段は、開始時刻読出手段によって、前記照合により文字列が認識された場合に、前記番組情報データベースから、文字列が認識された番組に対応した番組情報の前記開始時刻を読み出す。そして、文字検出処理手段は、タイムコード取得手段によって、前記文字列が認識されたファイルにおいて先頭画面から文字列が認識された画面の位置までの経過時間を示すタイムコードを取得する。そして、文字検出処理手段は、検出時刻生成手段によって、前記読み出した開始時刻に、前記取得したタイムコードの時間を加算することで、前記検出時刻を生成する。そして、文字検出処理手段は、検出文字列登録手段によって、前記認識した文字列を前記検出時刻に対応させて前記検索用情報データベースに登録する。

また、請求項３に記載の検索用情報作成方法は、通信ネットワークから取得したテレビの番組情報に基づいて番組の放送開始時刻に当該番組の録画を開始すると共に当該番組についての公開用の番組情報を生成するテレビ放送同時録画装置で記録される動画において画面に表示される文字に基づいて録画番組を検索するための検索用情報を作成するために、番組情報取得手段と、動画取得手段と、文字検出処理手段とを備えた検索用情報作成装置における検索用情報作成方法であって、番組情報取得ステップと、動画取得ステップと、文字検出処理ステップとを有することとした。

かかる手順によれば、検索用情報作成装置は、番組情報取得ステップにて、前記番組情報取得手段によって、前記テレビ放送同時録画装置から前記公開用の番組情報を取得し、前記公開用の番組情報を取得した時刻を、番組ごとの開始時刻として前記公開用の番組情報に加えた新たな番組情報を生成し、前記新たな番組情報を番組情報データベースに登録する。そして、検索用情報作成装置は、動画取得ステップにて、前記動画取得手段によって、前記テレビ放送同時録画装置から、記録される前記動画を取得し、取得した動画をファイルとして動画蓄積手段に格納する。そして、検索用情報作成装置は、文字検出処理ステップにて、前記文字検出処理手段によって、前記ファイルから、動画を構成するフレーム毎の静止画を抽出し、抽出した静止画から文字列を検出し、当該文字列が検出された画面が表示された番組内での時刻情報に基づいて、前記登録された番組情報における開始時刻に同期させた時刻情報として文字列の検出時刻を生成し、この生成した検出時刻および検出した文字列を前記検索用情報として検索用情報データベースに登録する。

また、請求項４に記載の検索用情報作成プログラムは、通信ネットワークから取得したテレビの番組情報に基づいて番組の放送開始時刻に当該番組の録画を開始すると共に当該番組についての公開用の番組情報を生成するテレビ放送同時録画装置で記録される動画において画面に表示される文字に基づいて録画番組を検索するための検索用情報を作成するために、コンピュータを、番組情報取得手段、動画取得手段、文字検出処理手段として機能させることとした。

かかる構成によれば、検索用情報作成プログラムは、番組情報取得手段によって、前記テレビ放送同時録画装置から前記公開用の番組情報を取得し、前記公開用の番組情報を取得した時刻を、番組ごとの開始時刻として前記公開用の番組情報に番組ごとに加えた新たな番組情報を生成し、前記新たな番組情報を番組情報データベースに登録する。そして、検索用情報作成プログラムは、動画取得手段によって、前記テレビ放送同時録画装置から、記録される前記動画を取得し、取得した動画をファイルとして動画蓄積手段に格納する。そして、検索用情報作成プログラムは、文字検出処理手段によって、前記ファイルから、動画を構成するフレーム毎の静止画を抽出し、抽出した静止画から文字列を検出し、当該文字列が検出された画面が表示された番組内での時刻情報に基づいて、前記登録された番組情報における開始時刻に同期させた時刻情報として文字列の検出時刻を生成し、この生成した検出時刻および検出した文字列を前記検索用情報として検索用情報データベースに登録する。

請求項１、請求項３または請求項４に記載の発明によれば、検索用情報作成装置は、番組において画面に表示された文字列を検出した時刻を、番組が放送された日時に同期させた検索用情報を作成する。これにより、作成された検索用情報と、指定された文字とを利用することで、録画された番組の中から放送された日時や番組内の特定のシーンを高速に検索することができる。

請求項２に記載の発明によれば、検索用情報作成装置は、動画を蓄積する処理と、動画において画面に表示される文字を検出する処理と、画面に表示された文字列を検出した時刻を生成する処理とを並行して行うことができるので、検索用情報を高速に作成できる。これにより、番組の放送が開始してから検索を開始するまでの準備に必要な時間を低減できる。

以下、図面を参照して本発明の検索用情報作成装置を実施するための最良の形態（以下「実施形態」という）について詳細に説明する。

［検索システムの構成］
図１は、本発明の実施形態に係る検索用情報作成装置を含む検索システムの構成を模式的に示すブロック図である。検索システム１は、図１に示すように、番組検索装置１０と、テレビ放送同時録画装置２０と、検索用情報作成装置１００とを備えている。本実施形態では、検索システム１は、番組検索装置１０と検索用情報作成装置１００とが常時接続されていて、録画されたテレビ番組（以下、単に番組という）の中から、操作者（ユーザ）により指定されたキーワード（文字列）に基づいて、番組を検索するものとする。

番組検索装置１０、テレビ放送同時録画装置２０および検索用情報作成装置１００は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、ＨＤＤ（Hard Disk Drive）と、通信を行うためのＮＩＣ（Network Interface Card）等を備えている。また、番組検索装置１０、テレビ放送同時録画装置２０および検索用情報作成装置１００は、ＬＡＮ（Local Area Network）で接続されている。各装置には、例えば、UPnP AV(Universal Plug and Play Audio and Video)やDLNA（Digital Living Network Alliance）ガイドラインに準拠した既存ネットワーク家電で用いられている公知技術を用いることができる。

（番組検索装置）
番組検索装置１０は、入力装置Ｍから入力された情報に基づいて、検索用情報作成装置１００から番組を検索するものであり、例えば、一般的なパーソナルコンピュータから構成される。なお、番組検索装置１０の台数は、複数でもよい。ここで、入力装置Ｍは、ユーザから各種情報を入力することのできるデバイスであり、例えば、キーボード、マウス、押し釦スイッチ、リモコン等から構成される。

（テレビ放送同時録画装置）
テレビ放送同時録画装置２０は、通信ネットワークＮＷから取得したテレビの番組情報に基づいて番組の放送開始時刻に当該番組の録画を開始すると共に当該番組についての公開用の番組情報を生成するものである。テレビ放送同時録画装置２０は、図１に示すように、番組情報取得手段２１と、番組情報記憶手段２２と、公開用番組情報生成手段２３と、チューナ２４と、録画手段２５と、動画蓄積手段２６と、再生手段２７とを備えている。なお、テレビ放送同時録画装置２０としては、市販されているものを利用することができる。また、テレビ放送同時録画装置２０の台数は、複数でもよい。

番組情報取得手段２１は、例えば、インターネット等の通信ネットワークＮＷを介してテレビ番組ガイド（電子番組表：Electric Program Guide）を番組情報として取得し、番組情報記憶手段２２に格納するものである。番組情報記憶手段２２は、例えば、一般的なメモリやハードディスク等から構成される。公開用番組情報生成手段２３は、番組情報記憶手段２２に記憶された番組情報から、番組の放送開始時刻に当該番組についての公開用の番組情報を生成するものである。この公開用の番組情報は、例えば、チャネルや番組タイトル等に関する情報を示す。録画手段２５は、アンテナＡＴＮを介してチューナ２４で受信した放送局からの放送波（番組）を録画してハードディスク等の動画蓄積手段２６に格納する。チューナ２４は、例えば、ＭＰＥＧ−２ ＴＳ（Moving Picture Expert Group-2 Transport Stream）を受信する。再生手段２７は、チューナ２４で受信した番組または動画蓄積手段２６に蓄積された番組を示す動画を出力装置Ｄに出力可能に再生するものである。ここで、出力装置Ｄは、番組の映像を表示する表示手段と、音声を出力する音声出力手段（スピーカ）等を備える。このうち表示手段は、例えば、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electronic Luminescence）等から構成される。

（検索用情報作成装置）
検索用情報作成装置１００は、テレビ放送同時録画装置２０と通信可能に接続され、テレビ放送同時録画装置２０で記録される動画において画面に表示される文字に基づいて録画番組を検索するための検索用情報を作成するものである。検索用情報作成装置１００は、図１に示すように、記憶手段１１０と、動画蓄積手段１２０と、番組情報取得手段１３０と、動画取得手段１５０と、文字検出処理手段１７０とを備えている。

記憶手段１１０は、例えば、演算処理等に利用されるＲＡＭと、所定のプログラム等を記憶するＲＯＭと、番組情報データベース１１１（番組情報ＤＢ１１１、図２（ｂ）参照）や検索用情報データベース１１２（検索用情報ＤＢ１１２、図３参照）を格納するハードディスク等を備えている。
動画蓄積手段１２０は、テレビ放送同時録画装置２０から取得する動画を番組毎のファイルＦとして蓄積するものであり、一般的なハードディスク等から構成される。

番組情報取得手段１３０は、テレビ放送同時録画装置２０から公開用の番組情報を取得し、公開用の番組情報を取得した時刻を、番組ごとの開始時刻として公開用の番組情報に加えた新たな番組情報を生成し、この新たな番組情報を番組情報データベース１１１に登録するものである。番組情報取得手段１３０は、テレビ放送同時録画装置２０に対してUPnP AVのコントロールポイントとして機能し、テレビ放送同時録画装置２０において公開用の番組情報が存在するときにそれを取得して新たな番組情報を生成する。なお、公開用の番組情報は、次々に生成されるので番組情報取得手段１３０は、新たな公開用の番組情報を取得し続ける。ここで、図２を参照して、番組情報取得手段１３０で取得する公開用の番組情報の一例と、生成する番組情報の一例とを説明する。

番組情報取得手段１３０で取得する番組情報を図２（ａ）に示す。例えば、公開用の番組情報２０１は、ＩＤが「１」であり、チャネルが「０１」であり、タイトルが「Ａ」である。また、公開用の番組情報２０２は、ＩＤが「２」であり、チャネルが「０２」であり、タイトルが「Ｂ」である。

図２（ｂ）に示すように、番組情報取得手段１３０が作成する番組情報ＤＢ（番組情報データベース）１１２は、８個の情報項目として、ＩＤ２１１、チャネル２１２、タイトル２１３、開始時刻２１４、番組のアドレス（ＲＥＳ）２１５、状態２１６、ファイル名２１７、読み込み位置２１８を有している。このうち、ＩＤ２１１、チャネル２１２およびタイトル２１３の項目は、図２（ａ）に示した公開用の番組情報２０１，２０２と同じである。残りの項目については、新たに生成した情報である。

開始時刻２１４は、番組情報取得手段１３０が、テレビ放送同時録画装置２０から公開用の番組情報を取得した時刻を示す。例えば「01:00:00」のように記述される。
番組のアドレス（ＲＥＳ）２１５は、番組をダウンロードするアドレス（ＵＲＬ）を示し、「http://192.168.1.113:15000/stream/04/b9/004b9ZZ」のように記述される。
状態２１６は、各ＩＤで識別されるそれぞれの番組について、テレビ放送同時録画装置２０からの取得状態を示すものである。例えば、「番組情報取得済み」、「ダウンロード中」、「ダウンロード済み」、「文字認識終了」のように記述される。番組情報取得手段１３０は、テレビ放送同時録画装置２０から公開用の番組情報を取得したときに、状態２１６を「番組情報取得済み」に設定する。
ファイル名２１７は、各ＩＤで識別されるそれぞれの番組について、ダウンロードした動画を書き込むファイル（書き出しファイル）を識別するものである。
読み込み位置２１８は、各ＩＤで識別されるそれぞれの番組について、動画を所定容量ずつダウンロードするときにそれぞれのフレーム位置を識別するものである。

図１に戻って、検索用情報作成装置１００の構成の説明を続ける。
動画取得手段１５０は、テレビ放送同時録画装置２０から、記録される動画を取得し、取得した動画をファイル（書き出しファイル）として動画蓄積手段１２０に格納するものである。具体的には、動画取得手段１５０は、記憶手段１１０に記憶された番組情報ＤＢ１１１（図２参照）において、状態２１６が「番組情報取得済み」または「ダウンロード中」である場合に、番組のアドレス２１５および読み込み位置２１８を取得し、これらの情報を用いて、テレビ放送同時録画装置２０から動画をダウンロードする。この際に、動画取得手段１５０は、状況に応じて、番組情報ＤＢ１１１（図２参照）の状態２１６を、「ダウンロード中」または「ダウンロード済み」に設定する。

本実施形態では、動画取得手段１５０は、チャネル毎に動画を取得するように構成されている。つまり、複数チャネルから動画を取得する際に、１つのチャネルについて書き出しファイルを閉じてから（クローズしてから）、別のチャネルについて書き出しファイルを開く（オープンする）といったような無駄な動作を行う必要がない。そのため、書き出しファイルを再び開いたとき（再オープンしたとき）、書き込むべき読み出し位置のフレームまで移動させる手間を省くことで複数チャネルから動画を高速に取得することができる。なお、複数チャネルに対応してテレビ放送同時録画装置２０の台数を複数とすることが好ましい。

文字検出処理手段１７０は、ファイルから、動画を構成するフレーム毎の静止画を抽出し、抽出した静止画から文字列を検出し、当該文字列が検出された画面が表示された番組内での時刻情報に基づいて、登録された番組情報における開始時刻に同期させた時刻情報として文字列の検出時刻を生成し、この生成した検出時刻および検出した文字列を検索用情報として検索用情報データベース１１２に登録するものである。文字検出処理手段１７０は、図１に示すように、文字認識処理手段１７１と、開始時刻読出手段１７２と、タイムコード取得手段１７３と、検出時刻生成手段１７４と、検出文字列登録手段１７５とを備えている。

文字認識処理手段１７１は、ファイルから、動画を構成する静止画を抽出し、抽出した静止画を文字認識用辞書と照合するものである。具体的には、文字認識処理手段１７１は、記憶手段１１０に記憶された番組情報ＤＢ１１１（図２参照）において、状態２１６が「ダウンロード中」または「ダウンロード済み」である番組について、書き出しファイルを開き、動画よりＩ−Frameを所定間隔でビットマップとして抜き出し、文字認識を行う。文字認識が終了した際に、文字認識処理手段１７１は、番組情報ＤＢ１１１（図２参照）の状態２１６を、「文字認識終了」に設定する。文字認識処理手段１７１は、文字列を検出したことを示す情報を開始時刻読出手段１７２およびタイムコード取得手段１７３に出力すると共に、検出した文字列を検出文字列登録手段１７５に出力する。

文字認識処理手段１７１は、文字認識用辞書との照合については、一般的なＯＣＲ（Optical Character Reader）ライブラリの機能を用いることができる。この際に、文字認識処理手段１７１は、文字列を高い精度で読み取るために、ＯＣＲライブラリ機能を実行する前に、文字強調の処理を行うことができる。文字強調の処理としては、例えば、「平滑化」や「文字色の指定」を挙げることができる。ここで、「平滑化」とは、対象とするピクセルと、その周囲を取り囲む８ピクセルとを合わせた３×３のピクセルの色が一様になるようにする処理を示す。また、「文字色の指定」とは、対象とするピクセルのＲＧＢの値によって、そのピクセルに黒色または白色を割り当てる処理を示す。

本実施形態では、文字認識処理手段１７１は、チャネル毎に文字認識を実行するように構成されている。つまり、複数チャネルの動画から文字認識を実行する際に、１つのチャネルについて書き出しファイルを閉じてから（クローズしてから）、別のチャネルについて書き出しファイルを開く（オープンする）ような無駄な動作を行う必要がない。そのため、書き出しファイルを再び開いたとき（再オープンしたとき）、読み出し位置のフレームまで移動させる手間を省くことで複数チャネルの動画から文字認識を高速に実行することができる。

開始時刻読出手段１７２は、文字認識処理手段１７１において照合により文字列が認識された場合に、番組情報データベース１１１から、文字列が認識された番組に対応した番組情報の開始時刻を読み出すものである。
タイムコード取得手段１７３は、文字列が認識されたファイルにおいて先頭画面から文字列が認識された画面の位置までの経過時間を示すタイムコードを取得するものである。本実施形態では、タイムコード取得手段１７３は、文字認識処理手段１７１で文字を検出した画像に対応するＭＰＥＧ−２ ＴＳのタイムコードを用いる。なお、タイムコードはフレーム番号に対応しており、任意の位置を初期値に定めることができるが、本実施形態では、先頭タイムを「00:00:00.000」とする。

検出時刻生成手段１７４は、開始時刻読出手段１７２で読み出した開始時刻に、タイムコード取得手段１７３で取得したタイムコードの時間を加算することで、検出時刻を生成するものである。
検出文字列登録手段１７５は、文字認識処理手段１７１で認識した文字列を、検出時刻生成手段１７４で生成した検出時刻に対応させて検索用情報データベース１１２に登録するものである。ここで、図３を参照して、検索用情報データベース１１２の一例を説明する。

図３に示すように、検索用情報ＤＢ（検索用情報データベース）１１２は、８個の情報項目として、ＩＤ２２１、チャネル２２２、タイトル２２３、開始時刻２２４、番組のアドレス（ＲＥＳ）２２５、ファイル名２２６、検出文字列２２７、検出時刻２２８を有している。このうち、２２１〜２２６で示す項目は、図２（ｂ）に示した番組情報ＤＢ１１１の項目２１１〜２１５，２１７で示す項目と同様なものである。

検出文字列２２７は、文字認識処理手段１７１で認識した文字列を示す。図３に示した例では、ＩＤ「１」の番組において、文字列“１：００”、“特集”、“天気”が検出されたことを示している。
検出時刻２２８は、検出時刻生成手段１７４で検出時刻が生成された時刻を示す。例えば文字列“天気”に対応する開始時刻は“01:00:00”であり、取得されたタイムコードが“00:24:12.000”であったため、検出時刻として“01:24:12”が生成されたことを示している。

［検索用情報作成装置の動作］
次に、図１に示した検索用情報作成装置１００の動作について、「番組情報取得処理（番組情報取得ステップ）」、「動画取得処理（動画取得ステップ）」、「文字検出処理（文字検出処理ステップ）」、「文字列登録処理」に分けて、図４ないし図８を参照（適宜図１ないし図３参照）して説明する。

＜番組情報取得処理（番組情報取得ステップ）＞
図４は、本発明の実施形態に係る検索用情報作成装置による番組情報取得処理を示すフローチャートである。図４に示すように、検索用情報作成装置１００の番組情報取得手段１３０は、テレビ放送同時録画装置２０に新たな公開用の番組情報があるか否かを判別する（ステップＳ１）。新たな公開用の番組情報がある場合（ステップＳ１：Ｙｅｓ）、番組情報取得手段１３０は、その公開用の番組情報を取得する（ステップＳ２）。そして、番組情報取得手段１３０は、取得時刻を開始時刻として新たな番組情報を生成し、番組情報ＤＢ１１１に登録する（ステップＳ３）。そして、番組情報取得手段１３０は、番組情報ＤＢ１１１において、当該番組の「状態」を「番組情報取得済み」に設定し（ステップＳ４）、ステップＳ１に戻る。一方、ステップＳ１において、新たな公開用の番組情報がない場合（ステップＳ１：Ｎｏ）、番組情報取得手段１３０は、新たな公開用の番組情報が生成されるまで待機する。

＜動画取得処理（動画取得ステップ）＞
図５Ａおよび図５Ｂは、本発明の実施形態に係る検索用情報作成装置による動画取得処理を示すフローチャートである。図５Ａに示すように、検索用情報作成装置１００の動画取得手段１５０は、ダウンロードすべき番組があるか否かを判別する（ステップＳ１１）。ここで、動画取得手段１５０は、番組情報ＤＢ１１１において、状態２１６が「番組情報取得済み」または「ダウンロード中」である場合に、ダウンロードすべき番組があると判定する。ダウンロードすべき番組がない場合（ステップＳ１１：Ｎｏ）、動画取得手段１５０は、ダウンロードすべきタイミングになるまで待機する。

一方、ダウンロードすべき番組がある場合（ステップＳ１１：Ｙｅｓ）、動画取得手段１５０は、番組情報ＤＢ１１１から「番組のアドレス」を取得し（ステップＳ１２）、書き出しファイルをオープンする（ステップＳ１３）。ここで、書き出しファイルのオープンが初回である場合（ステップＳ１４：Ｙｅｓ）、動画取得手段１５０は、その書き出しファイルのファイル名を保存する（ステップＳ１５）。なお、ファイル名は、タイトルやＩＤに基づいて生成することができる。

ここで、書き出しファイルのオープンが初回であるか否かについては、番組情報ＤＢ１１１における状態２１６により判別することができる。例えば、図６（ａ）に示すように、ＩＤ「１」の番組は、状態が「ダウンロード中」であるので、書き出しファイルのオープンは初回ではない。また、ファイル名「ＦＡ」も保存されている。一方、ＩＤ「２」の番組は、状態が「番組情報取得済み」であるので、書き出しファイルのオープンは初回である。この場合には、ファイル名も保存されていない。

一方、初回ではない場合（ステップＳ１４：Ｎｏ）、動画取得手段１５０は、ステップＳ１５をスキップする。そして、動画取得手段１５０は、書き出しファイルの書き出し位置を最後尾に移動し（ステップＳ１６）、番組情報ＤＢ１１１から「読み込み位置」を取得する（ステップＳ１７）。

続いて、図５Ｂに示すように、動画取得手段１５０は、番組情報ＤＢ１１１において、「状態」を「ダウンロード中」に設定する（ステップＳ１８）。例えば、図６（ｂ）に示すように、ＩＤ「１」の番組は、状態が「ダウンロード中」であったので、そのまま維持する。一方、ＩＤ「２」の番組は、状態が「番組情報取得済み」であったので、「ダウンロード中」に書き換える。

そして、動画取得手段１５０は、対象とする番組内容を示す動画から所定容量のデータをメモリ上にダウンロードする（ステップＳ１９）。そして、対象とする動画についての未取得データがある場合（ステップＳ２０：Ｙｅｓ）、動画取得手段１５０は、番組情報ＤＢ１１１において、「読み込み位置」に次回位置を設定し（ステップＳ２１）、メモリ上のデータを、書き出しファイルに書き込む（ステップＳ２２）。そして、動画取得手段１５０は、所定時間が経過した場合（ステップＳ２３：Ｙｅｓ）、番組情報ＤＢ１１１において、「読み込み位置」に次回位置を設定し（ステップＳ２４）、書き出しファイルをクローズし（ステップＳ２５）、ステップＳ１１に戻る。一方、前記したステップＳ２３において、所定時間が経過していない場合（ステップＳ２３：Ｎｏ）、動画取得手段１５０は、ステップＳ１９に戻る。

また、前記したステップＳ２０において、対象とする動画についての未取得データがない場合（ステップＳ２０：Ｎｏ）、動画取得手段１５０は、書き出しファイルをクローズし（ステップＳ２６）、番組情報ＤＢ１１１において、「状態」を「ダウンロード済み」に設定し（ステップＳ２７）、ステップＳ１１に戻る。例えば、図６（ｃ）に示すように、ＩＤ「１」，「２」の番組は、状態が「ダウンロード済み」に設定される。ここで、複数のチャネル「01」，「02」については独立に動画が取得される。なお、番組情報ＤＢ１１１において、状態が「ダウンロード済み」となった後には、「読み込み位置」の情報は書き込まれない。

＜文字検出処理（文字検出処理ステップ）＞
図７は、本発明の実施形態に係る検索用情報作成装置による文字検出処理を示すフローチャートである。図７に示すように、検索用情報作成装置１００の文字検出処理手段１７０は、文字認識処理手段１７１によって、文字認識すべき番組があるか否かを判別する（ステップＳ３１）。ここで、文字認識処理手段１７１は、番組情報ＤＢ１１１において、状態２１６が「ダウンロード中」または「ダウンロード済み」である場合に、文字認識すべき番組があると判定する。文字認識すべき番組がない場合（ステップＳ３１：Ｎｏ）、文字認識処理手段１７１は、文字認識すべきタイミングになるまで待機する。一方、文字認識すべき番組がある場合（ステップＳ３１：Ｙｅｓ）、文字認識処理手段１７１は、書き出しファイルをオープンする（ステップＳ３２）。

続いて、文字認識処理手段１７１は、書き出しファイルを示す動画において読み出すべきフレーム位置の静止画を取得する（ステップＳ３３）。取得した静止画が最終フレームではない場合（ステップＳ３４：Ｎｏ）、文字認識処理手段１７１は、そのフレーム位置の静止画を抽出し（ステップＳ３５）、抽出した静止画に文字強調の処理を行い（ステップＳ３６）、その後、ＯＣＲライブラリにて文字認識を行う（ステップＳ３７）。認識結果に文字列が存在する場合（ステップＳ３８：Ｙｅｓ）、文字検出処理手段１７０は、後記する文字列登録処理を実行し（ステップＳ３９）、ステップＳ３３に戻る。一方、認識結果に文字列が存在しない場合（ステップＳ３８：Ｎｏ）、文字認識処理手段１７１は、ステップＳ３９をスキップしてステップＳ３３に戻る。

また、前記したステップＳ３４において、取得した静止画が最終フレームである場合（ステップＳ３４：Ｙｅｓ）、文字認識処理手段１７１は、書き出しファイルをクローズし（ステップＳ４０）、番組情報ＤＢ１１１において、「状態」を「文字認識終了」に設定し（ステップＳ４１）、ステップＳ３１に戻る。例えば、図６（ｄ）に示すように、ＩＤ「１」，「２」の番組は、状態が「文字認識終了」に設定される。ここで、複数のチャネル「01」，「02」については独立に文字認識が実行される。

＜文字列登録処理＞
図８は、図７に示したステップＳ３９の文字列登録処理の詳細を示すフローチャートである。図８に示すように、文字検出処理手段１７０は、開始時刻読出手段１７２によって、番組情報ＤＢ１１１から、「開始時刻」を読み出す（ステップＳ５１）。また、文字検出処理手段１７０は、タイムコード取得手段１７３によって、書き出しファイルからタイムコードを取得する（ステップＳ５２）。続いて、文字検出処理手段１７０は、検出時刻生成手段１７４によって、「開始時刻」にタイムコードの時間を加算し、検出時刻を生成する（ステップＳ５３）。そして、文字検出処理手段１７０は、検出文字列登録手段１７５によって、検出した文字列を、検出時刻に対応させて検索用情報ＤＢ１１２に登録する（ステップＳ５４）。なお、ステップＳ５１の処理と、ステップＳ５２の処理との順番は任意であり、並列に行うこともできる。

本実施形態の検索用情報作成装置１００によれば、テレビ放送同時録画装置２０から取得した動画において画面に表示される文字列を検出し、当該文字列が検出された画面が表示された番組内の時刻情報に基づいて、番組が放送された日時に同期させて文字列の検出時刻を生成し、認識した文字列と共に検索用情報として登録することができる。これにより、作成された検索用情報と、ユーザに指定された文字列とを利用することで、録画された番組の中から、放送日時や番組内の特定のシーンを含んだ番組を高速に検索することが可能となる。

また、本実施形態の検索用情報作成装置１００によれば、動画を蓄積する処理と、動画において画面に表示される文字列を検出する処理と、画面に表示された文字列の検出時刻を生成する処理とを並行して行うことができるので、検索用情報を高速に作成できる。そのため、番組の放送が開始してから検索を開始するまでの準備に必要な時間を低減できる。これにより、番組放映中に（例えば、番組が開始してから数分後に）キーワード検索を行うことができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。例えば、本実施形態では、検索システム１は、番組検索装置１０と検索用情報作成装置１００とが常時接続されているものとしたが、必要なときにだけ検索用情報作成装置１００を起動して番組検索装置１０と接続するように構成してもよい。この場合には、ユーザは、例えば、AND条件として、「開始時刻」、「終了時刻」、「キーワード（文字列）」および「チャネル」を指定することで、録画された番組の中から、ユーザにより指定されたキーワード（文字列）に合致する検出時刻を検索することができる。また、検索結果を検索用情報作成装置１００等に保存するようにしてもよい。

また、検索用情報作成装置１００は、一般的なコンピュータを、前記した各手段として機能させるプログラム（検索用情報作成プログラム）により動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。このプログラムをインストールされたコンピュータは、ＣＰＵが、ＲＯＭ等に格納されたこのプログラムをＲＡＭに展開することにより、検索用情報作成装置１００と同等の効果を奏することができる。

また、本実施形態では、文字認識処理手段１７１は、文字認識用辞書との照合については、一般的なＯＣＲライブラリの機能を用いるものとしたが、これに限定されるものではなく、文字認識精度を向上させるために、誤認識した文字列について正解をユーザの操作で登録できるような学習機能を設けることができる。
また、本実施形態では、テレビ放送同時録画装置２０は、ＭＰＥＧ−２ ＴＳを受信するものとしたが、ＭＰＥＧ−４やＨ．２６４／ＡＶＣで符号化した映像を受信するようにしてもよい。

また、本実施形態では、文字列を検出した場合に、検出した文字列を検出時刻と共に登録するものとしたが、特定の文字列が検出された場合にだけ登録を行ってもよい。例えば、“出演者”、“声の出演”といった文字列が検出された後で、所定時間内の文字列だけを登録することで、「出演者」や「声優」の名前をキーワードにした番組検索を可能とすることができる。また、逆に特定の文字列が検出された場合にその特定の文字列だけは登録を行わないようにすることもできる。例えば、「ハイフンを含む８桁の数字」が検出されたならば電話番号の可能性が高いので登録を行わないようにしてもよい。また、「：」が１分以上検出された場合には、現在時刻表示の可能性が高いので登録を行わないようにしてもよい。同様に、「ｈｔｔｐ」が検出されたならば問い合わせ先のＵＲＬなので登録を行わないようにしてもよい。このようにすることで、検索用情報ＤＢ１１２として必要な記憶領域を有効に活用し、検索処理を高速に行うことが可能となる。

本発明の実施形態に係る検索用情報作成装置を含む検索システムの構成を模式的に示すブロック図である。 本発明の実施形態に係る検索用情報作成装置が取得する番組情報と生成する番組情報とを示す説明図である。 本発明の実施形態に係る検索用情報作成装置が生成する検索用情報を示す説明図である。 本発明の実施形態に係る検索用情報作成装置による番組情報取得処理を示すフローチャートである。 本発明の実施形態に係る検索用情報作成装置による動画取得処理を示すフローチャート（その１）である。 本発明の実施形態に係る検索用情報作成装置による動画取得処理を示すフローチャート（その２）である。 本発明の実施形態に係る検索用情報作成装置が構築する番組情報データベースの状態項目の遷移の一例を示す説明図である。 本発明の実施形態に係る検索用情報作成装置による文字検出処理を示すフローチャートである。 本発明の実施形態に係る検索用情報作成装置による文字列登録処理を示すフローチャートである。

符号の説明

１ 検索システム
１０ 番組検索装置
２０ テレビ放送同時録画装置
２１ 番組情報取得手段
２２ 番組情報記憶手段
２３ 公開用番組情報生成手段
２４ チューナ
２５ 録画手段
２６ 動画蓄積手段
２７ 再生手段
１００ 検索用情報作成装置
１１０ 記憶手段
１１１ 番組情報ＤＢ（番組情報データベース）
１１２ 検索用情報ＤＢ（検索用情報データベース）
１２０ 動画蓄積手段
１３０ 番組情報取得手段
１５０ 動画取得手段
１７０ 文字検出処理手段
１７１ 文字認識処理手段
１７２ 開始時刻読出手段
１７３ タイムコード取得手段
１７４ 検出時刻生成手段
１７５ 検出文字列登録手段
Ｍ 入力装置
Ｄ 出力装置
ＮＷ 通信ネットワーク
ＡＴＮ アンテナ

Claims (4)

1. 通信ネットワークから取得したテレビの番組情報に基づいて番組の放送開始時刻に当該番組の録画を開始すると共に当該番組についての公開用の番組情報を生成するテレビ放送同時録画装置と通信可能に接続され、前記テレビ放送同時録画装置で記録される動画において画面に表示される文字に基づいて録画番組を検索するための検索用情報を作成する検索用情報作成装置であって、
   前記テレビ放送同時録画装置から前記公開用の番組情報を取得し、前記公開用の番組情報を取得した時刻を、番組ごとの開始時刻として前記公開用の番組情報に加えた新たな番組情報を生成し、前記新たな番組情報を番組情報データベースに登録する番組情報取得手段と、
   前記テレビ放送同時録画装置から、記録される前記動画を取得し、取得した動画をファイルとして動画蓄積手段に格納する動画取得手段と、
   前記ファイルから、動画を構成するフレーム毎の静止画を抽出し、抽出した静止画から文字列を検出し、当該文字列が検出された画面が表示された番組内での時刻情報に基づいて、前記登録された番組情報における開始時刻に同期させた時刻情報として文字列の検出時刻を生成し、この生成した検出時刻および検出した文字列を前記検索用情報として検索用情報データベースに登録する文字検出処理手段とを備えることを特徴とする検索用情報作成装置。
2. 前記文字検出処理手段は、
   前記ファイルから、動画を構成する静止画を抽出し、抽出した静止画を文字認識用辞書と照合する文字認識処理手段と、
   前記照合により文字列が認識された場合に、前記番組情報データベースから、文字列が認識された番組に対応した番組情報の前記開始時刻を読み出す開始時刻読出手段と、
   前記文字列が認識されたファイルにおいて先頭画面から文字列が認識された画面の位置までの経過時間を示すタイムコードを取得するタイムコード取得手段と、
   前記読み出した開始時刻に、前記取得したタイムコードの時間を加算することで、前記検出時刻を生成する検出時刻生成手段と、
   前記認識した文字列を前記検出時刻に対応させて前記検索用情報データベースに登録する検出文字列登録手段とを備えることを特徴とする請求項１に記載の検索用情報作成装置。
3. 通信ネットワークから取得したテレビの番組情報に基づいて番組の放送開始時刻に当該番組の録画を開始すると共に当該番組についての公開用の番組情報を生成するテレビ放送同時録画装置で記録される動画において画面に表示される文字に基づいて録画番組を検索するための検索用情報を作成するために、番組情報取得手段と、動画取得手段と、文字検出処理手段とを備えた検索用情報作成装置における検索用情報作成方法であって、
   前記番組情報取得手段によって、前記テレビ放送同時録画装置から前記公開用の番組情報を取得し、前記公開用の番組情報を取得した時刻を、番組ごとの開始時刻として前記公開用の番組情報に加えた新たな番組情報を生成し、前記新たな番組情報を番組情報データベースに登録する番組情報取得ステップと、
   前記動画取得手段によって、前記テレビ放送同時録画装置から、記録される前記動画を取得し、取得した動画をファイルとして動画蓄積手段に格納する動画取得ステップと、
   前記文字検出処理手段によって、前記ファイルから、動画を構成するフレーム毎の静止画を抽出し、抽出した静止画から文字列を検出し、当該文字列が検出された画面が表示された番組内での時刻情報に基づいて、前記登録された番組情報における開始時刻に同期させた時刻情報として文字列の検出時刻を生成し、この生成した検出時刻および検出した文字列を前記検索用情報として検索用情報データベースに登録する文字検出処理ステップとを有することを特徴とする検索用情報作成方法。
4. 通信ネットワークから取得したテレビの番組情報に基づいて番組の放送開始時刻に当該番組の録画を開始すると共に当該番組についての公開用の番組情報を生成するテレビ放送同時録画装置で記録される動画において画面に表示される文字に基づいて録画番組を検索するための検索用情報を作成するために、コンピュータを、
   前記テレビ放送同時録画装置から前記公開用の番組情報を取得し、前記公開用の番組情報を取得した時刻を、番組ごとの開始時刻として前記公開用の番組情報に番組ごとに加えた新たな番組情報を生成し、前記新たな番組情報を番組情報データベースに登録する番組情報取得手段、
   前記テレビ放送同時録画装置から、記録される前記動画を取得し、取得した動画をファイルとして動画蓄積手段に格納する動画取得手段、
   前記ファイルから、動画を構成するフレーム毎の静止画を抽出し、抽出した静止画から文字列を検出し、当該文字列が検出された画面が表示された番組内での時刻情報に基づいて、前記登録された番組情報における開始時刻に同期させた時刻情報として文字列の検出時刻を生成し、この生成した検出時刻および検出した文字列を前記検索用情報として検索用情報データベースに登録する文字検出処理手段、
   として機能させることを特徴とする検索用情報作成プログラム。

Images