JP4989506B2 - 文字認識装置及びそのプログラム - Google Patents

Description

本発明は、放送番組等の動画で表示される文字を認識する文字認識装置及びそのプログラムに関する。

従来から、放送番組で表示されている字幕等の文字を認識する技術が知られている（特許文献１参照）。例えば、特許文献１に記載の発明は、放送番組のジャンル毎に分類された単語、各単語の出現率、置換率、誤置換率、正読率及び消滅率等の情報を記憶した辞書と、電子番組情報表とを用いて、字幕の誤認識率を低下させるものである。
特開２００７−１０２２６４号公報

しかし、特許文献１に記載の発明では、放送番組で表示されている文字を認識できない場合、辞書をいくら整備したとしても、文字の認識精度を向上させることに限界がある。また、特許文献１に記載の発明は、放送番組に対応する電子番組情報表が存在しない場合、字幕を検出することができない問題がある。

本発明は、電子番組情報表を用いることなく、放送番組で表示されている文字の認識精度が高い文字認識装置及びそのプログラムを提供することを目的とする。

前記した課題を解決するため、請求項１に係る文字認識装置は、放送番組を内容とする動画に表示される文字を認識して当該文字を出力する文字認識装置であって、動画受信手段と、静止画抽出手段と、文字強調手段と、文字認識手段と、を備える構成とした。

かかる構成によれば、文字認識装置は、動画受信手段によって、動画を受信し、静止画抽出手段によって、動画受信手段が受信した動画を構成するフレームを、静止画として抽出する。また、文字認識装置は、文字強調手段によって、静止画抽出手段が抽出した静止画において、予め設定した指定色を黒色に変更すると共に、指定色以外の色を白色に変更して文字強調静止画を生成する。ここで、文字を含む静止画では、その文字を人に認識させ易くするために、その文字と文字以外の背景との間に、ある程度の色の差があると考えられる。このため、その文字の色（指定色）を黒色に変更し、文字以外の背景（指定色以外の色）を白色に変更することで、文字が強調された文字強調静止画を生成することができる。さらに、文字認識装置は、文字認識手段によって、文字強調手段が生成した文字強調静止画に含まれる文字を認識する。
さらに、前記文字強調手段が、前記静止画を構成する画素のＲＧＢ要素毎の要素値と前記画素を囲む周辺画素のＲＧＢ要素毎の要素値とを平均したＲＧＢ要素毎の要素平均値を算出すると共に、前記ＲＧＢ要素毎の要素平均値のうちのいずれか２要素平均値がＲＧＢ要素毎に定めた上限閾値以上、かつ、前記２要素平均値に含まれない他の要素平均値が所定の閾値以上となる場合には、前記画素のＲＧＢ要素毎の要素値を、前記ＲＧＢ要素毎の要素平均値に所定の加算値を加算した値とする平滑化手段を備える。
かかる構成によれば、文字認識装置は、静止画からノイズを除去した文字強調静止画を生成することができる。

また、前記した課題を解決するため、請求項２に係る文字認識装置は、動画受信手段と、静止画抽出手段と、文字強調手段と、文字認識手段とを備え、前記文字強調手段が、前記静止画を構成する画素のＲＧＢ要素毎の要素値と前記画素を囲む周辺画素のＲＧＢ要素毎の要素値とを平均したＲＧＢ要素毎の要素平均値を算出すると共に、前記ＲＧＢ要素毎の要素平均値のうちのいずれか２要素平均値がＲＧＢ要素毎に定めた下限閾値以下、かつ、前記２要素平均値に含まれない他の要素平均値が所定の閾値以下となる場合には、前記画素のＲＧＢ要素毎の要素値を、前記ＲＧＢ要素毎の要素平均値から所定の減算値を減算した値とする平滑化手段をさらに備える。
かかる構成によれば、文字認識装置は、静止画からノイズを除去した文字強調静止画を生成することができる。

請求項３に係る文字認識装置は、請求項１又は請求項２に係る文字認識装置において、前記文字強調手段が、前記静止画を構成する画素のＲＧＢ要素のうちのいずれか２要素値が所定の上限閾値以上、かつ、前記２要素値に含まれない他の要素値が前記２要素値から所定範囲内の値となる場合には、前記画素を黒色に変更し、前記画素を黒色に変更しない場合には、前記画素を白色に変更することを特徴とする。
かかる構成によれば、文字認識装置は、文字として使用頻度が高い色を指定色として変換するため、文字がより強調された文字強調静止画を生成することができる。

請求項４に係る文字認識装置は、請求項１又は請求項２に係る文字認識装置において、前記文字強調手段が、前記静止画を構成する画素のＲＧＢ要素のうちのいずれか２要素値が所定の下限閾値以下、かつ、前記２要素値に含まれない他の要素値が前記２要素値から所定範囲内の値となる場合には前記画素を黒色に変更し、前記画素を黒色に変更しない場合には、前記画素を白色に変更することを特徴とする。

かかる構成によれば、文字認識装置は、文字として使用頻度が高い色を指定色として変換するため、文字がより強調された文字強調静止画を生成することができる。

請求項５に係る文字認識装置は、請求項１から請求項４のいずれか一項に係る文字認識装置において、前記動画受信手段が、複数のチャンネルの前記動画を録画可能な前記録画装置に接続され、当該録画装置から前記チャンネル毎に動画をそれぞれ受信するチャンネル専用動画受信部、を備えることを特徴とする。

かかる構成によれば、文字認識装置は、複数のチャンネルの動画を並行して受信することができる。

また、前記した課題を解決するため、請求項６又は請求項７に係る文字認識プログラムは、放送番組を内容とする動画に表示される文字を認識して当該文字を出力するために、コンピュータを、動画受信手段、静止画抽出手段、文字強調手段、文字認識手段、として機能させると共に、文字強調手段が平滑化手段を備える構成とした。

本発明に係る文字認識装置及びそのプログラムによれば、以下のような優れた効果を奏する。請求項１，２，６，７に係る発明によれば、文字を強調した文字強調静止画を生成し、文字強調静止画に含まれる文字を認識するため、電子番組表情報を用いることなく、放送番組で表示されている文字の認識精度を高くすることができる。また、請求項１，２，６，７に係る発明によれば、静止画からノイズを除去して文字強調静止画を生成するため、文字認識手段の文字認識率を向上させることができる。また、請求項３，４に係る発明によれば、文字として使用頻度が高い色を指定色として変換し、文字がより強調された文字強調静止画を生成するため、文字の認識精度をより高くすることができる。さらに、請求項５に係る発明によれば、複数のチャンネルの動画を並行に受信できるため、動画の受信処理のリアルタイム性を高くすることができる。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。

［文字認識装置の構成］
図１を参照して、文字認識装置の構成について説明する。図１は、本発明の実施形態に係る文字認識装置のブロック図である。文字認識装置１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）から構成される。また、文字認識装置１は、後記する各機能を実現するために、動画受信手段１０と、静止画抽出手段２０と、文字強調手段３０と、文字認識手段４０と、記憶手段５０と、を備える。

動画受信手段１０は、動画を受信するものである。ここで、図４に示すように、動画受信手段１０は、受信した動画（動画ファイル５２ａ）を記憶手段５０の動画記憶領域５２に書き込むと共に、動画ファイル５２ａのファイル名や記憶手段５０の動画記憶領域５２内でのアドレス等、この動画ファイル５２ａを特定できる識別情報を静止画抽出手段２０に出力する。

前記した動画は、報道番組、バラエティー番組、スポーツ番組等の放送番組を内容としており、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で符号化されている。

以下、図２を参照して、動画受信手段が２チャンネル分の動画を並行に受信する処理について説明する。図２は、動画受信手段が２チャンネル分の動画を並行に受信する動作を示すシーケンス図である。ここでは、動画受信手段１０は、２チャンネル分の動画を並行して配信できる録画装置２に接続され、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）コントロールポイントライブラリ１２と、録画装置２からチャンネル１の動画を受信するチャンネル１用動画受信部１４ａと、録画装置２からチャンネル２の動画を受信するチャンネル２用動画受信部１４ｂとを備える。なお、ＵＰｎＰコントロールポイントライブラリ１２は、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）ガイドラインに対応したＵＰｎＰコントロールポイントとして、動画受信手段１０が録画装置２に接続するために必要となるライブラリである。

まず、チャンネル１用動画受信部１４ａは、ＵＰｎＰコントロールポイントライブラリ１２を介して録画装置２に「接続」を要求する。録画装置２は、ＵＰｎＰコントロールポイントライブラリ１２を介してチャンネル１用動画受信部１４ａに「接続応答」を返信する。また、チャンネル２用動画受信部１４ｂは、ＵＰｎＰコントロールポイントライブラリ１２を介して録画装置２に「接続」を要求する。録画装置２は、ＵＰｎＰコントロールポイントライブラリ１２を介してチャンネル２用動画受信部１４ｂに「接続応答」を返信する。

また、チャンネル１用動画受信部１４ａは、録画装置２で録画されたチャンネル１の動画ファイルをオープンするため、ＵＰｎＰコントロールポイントライブラリ１２を介して録画装置２に「ファイルオープン」を要求する。録画装置２は、動画ファイルのオープンが可能であるため、ＵＰｎＰコントロールポイントライブラリ１２を介してチャンネル１用動画受信部１４ａに「ファイルオープン応答」を返信する。また、チャンネル２用動画受信部１４ｂは、録画装置２で録画されたチャンネル２の動画ファイルをオープンするため、ＵＰｎＰコントロールポイントライブラリ１２を介して録画装置２に「ファイルオープン」を要求する。しかし、録画装置２上では同時に複数のファイルをオープンできず、既に、チャンネル１用動画受信部１４ａが「ファイルオープン」を要求しているため、ＵＰｎＰコントロールポイントライブラリ１２を介してチャンネル２用動画受信部１４ｂに「ファイルオープンＮＧ応答」を返信する。

また、チャンネル１用動画受信部１４ａは、録画装置２で録画されたチャンネル１の動画ファイルを受信するため、ＵＰｎＰコントロールポイントライブラリ１２を介して録画装置２に「ファイル読み込み」を要求する。録画装置２は、ＵＰｎＰコントロールポイントライブラリ１２を介してチャンネル１の動画データと共に「ファイル読み込み応答」を返信する。ここで、録画装置２は、所定サイズで動画データを分割し、その分割データを「ファイル読み込み応答」と共にチャンネル１用動画受信部１４ａに送信する。そして、チャンネル１用動画受信部１４ａは、分割データを全て受信していなければ「ファイル読み込み」を再度要求し、録画装置２は、次の分割データを「ファイル読み込み応答」と共にチャンネル１用動画受信部１４ａに送信する。このように、チャンネル１用動画受信部１４ａと録画装置２は、上記した処理を、分割データをチャンネル１用動画受信部１４ａが全て受信するまで繰り返す（図２の破線部参照）。

また、チャンネル１用動画受信部１４ａは、チャンネル１の動画を受信したら、ＵＰｎＰコントロールポイントライブラリ１２を介して録画装置２に「ファイルクローズ」を要求する。録画装置２は、チャンネル１の動画ファイルをクローズして、ＵＰｎＰコントロールポイントライブラリ１２を介してチャンネル１用動画受信部１４ａに「ファイルクローズ応答」を返信する。

再度、チャンネル２用動画受信部１４ｂは、録画装置２で録画されたチャンネル２の動画ファイルをオープンするため、ＵＰｎＰコントロールポイントライブラリ１２を介して録画装置２に「ファイルオープン」を要求する。今度は、動画ファイルのオープンが可能であるため、ＵＰｎＰコントロールポイントライブラリ１２を介してチャンネル２用動画受信部１４ｂに「ファイルオープン応答」を返信する。以後、チャンネル２用動画受信部１４ｂが録画装置２から動画ファイルを受信する処理及びその動画ファイルをクローズする処理は、チャンネル１用動画受信部１４ａと同様であるために、その説明を省略する。なお、動画受信手段１０は、録画装置２から動画を受信することに限定されず、任意の１チャンネルを受信して選局するチューナとしても良い。

以下、図３を参照して、動画受信手段１０が８チャンネル分の動画を並行して受信可能とする構成について説明する。図３は、動画受信手段が８チャンネル分の動画を受信する構成を示す説明図である。また、図３では、ＵＰｎＰコントロールポイントライブラリの記載を省略した。ここでは、５台の録画装置２ａ，２ｂ，２ｃ，２ｄ，２ｅのそれぞれと、文字認識装置１とを、図示しないルータを介して接続する。そして、動画受信手段１０は、録画装置２ａから番組情報等を取得する情報受信部１５とチャンネル１の動画を受信するチャンネル１用動画受信部１４ａを設ける。また、動画受信手段１０は、録画装置２ｂからチャンネル２の動画を受信するチャンネル２用動画受信部１４ｂとチャンネル３の動画を受信するチャンネル３用動画受信部１４ｃとを設ける。また、動画受信手段１０は、録画装置２ｃからチャンネル４の動画を受信するチャンネル４用動画受信部１４ｄとチャンネル５の動画を受信するチャンネル５用動画受信部１４ｅとを設ける。また、動画受信手段１０は、録画装置２ｄからチャンネル６の動画を受信するチャンネル６用動画受信部１４ｆとチャンネル７の動画を受信するチャンネル７用動画受信部１４ｇとを設ける。さらに、動画受信手段１０は、録画装置２ｅからチャンネル８の動画を受信するチャンネル８用動画受信部１４ｈを設ける。以上の構成により、動画受信手段１０が８チャンネル分の動画を並行に受信することができる。なお、チャンネル１用動画受信部１４ａ，チャンネル２用動画受信部１４ｂ，チャンネル３用動画受信部１４ｃ，チャンネル４用動画受信部１４ｄ、チャンネル５用動画受信部１４ｅ、チャンネル６用動画受信部１４ｆ、チャンネル７用動画受信部１４ｇ及びチャンネル８用動画受信部１４ｈが、請求項に記載の「チャンネル専用動画受信部」に相当する。

以下、図４を参照して、記憶手段５０のデータ構造について説明する。図４は、図１の記憶手段のデータ構造を示す模式図である。ここでは、記憶手段５０は、静止画等を記憶するＨＤＤであり、動画記憶領域５２と、静止画記憶領域５４と、文字強調静止画記憶領域５６と、パラメータ記憶領域５８と、を備える。前記したように、動画記憶領域５２は、動画ファイル５２ａ（動画）を記憶する領域である。また、静止画記憶領域５４は、後記する静止画ファイル５４ａを記憶する領域である。また、文字強調静止画記憶領域５６は、後記する文字強調静止画ファイル５６ａを記憶する領域である。さらに、パラメータ記憶領域５８は、後記する上限閾値や下限閾値等、文字認識装置１の動作に必要となるパラメータが格納されたパラメータファイル５８ａを記憶する領域である。

図１に戻り、文字認識装置１の構成についての説明を続ける。静止画抽出手段２０は、動画受信手段１０が受信した動画を構成するフレームを、静止画として抽出するものである。ここでは、静止画抽出手段２０は、動画受信手段１０からの識別情報によって、記憶手段５０の動画記憶領域５２から動画ファイル５２ａ（動画）を読み出す。また、動画がＭＰＥＧ形式で符号化されている場合、静止画抽出手段２０は、このＭＰＥＧに含まれるＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ）を静止画として抽出する。さらに、静止画抽出手段２０は、抽出した静止画（静止画ファイル５４ａ）を記憶手段５０の静止画記憶領域５４にビットマップ形式で書き込むと共に、静止画ファイル５４ａのファイル名や記憶手段５０の静止画記憶領域５４内でのアドレス等、この静止画ファイル５４ａを特定できる識別情報を文字強調手段３０に出力する。

文字強調手段３０は、静止画抽出手段１０が抽出した静止画において、予め設定した指定色を黒色に変更すると共に、指定色以外の色を白色に変更して文字強調静止画を生成するものである。ここでは、文字強調手段３０は、平滑化手段３２と、文字色変更手段３４と、を備え、静止画抽出手段２０からの識別情報によって記憶手段５０の静止画記憶領域５４から静止画ファイル５４ａ（静止画）を読み出す。

＜平滑化処理＞
平滑化手段３２は、静止画のノイズを除去する平滑化処理を行うものである。また、平滑化手段３２は、静止画（ビットマップ）を構成する一部の画素（ピクセル）に平滑化処理を行っても良く、全画素に平滑化処理を行うことが好ましい。以下、図５を参照して、平滑化処理の詳細について説明する。図５は、本発明における平滑化処理を説明するための、静止画の画素を示す説明図である。図５において、符号ｅは、静止画（ビットマップ）のある画素（ピクセル）を示し、符号ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｉは、画素ｅを囲む周辺画素を示す。まず、平滑化手段３２は、画素ｅのＲＧＢ要素毎の要素値と、画素ｅを囲む周辺画素ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｉのＲＧＢ要素毎の要素値とを平均したＲＧＢ要素毎の要素平均値を算出する（式（１）から式（３）参照）。

Ｒ要素平均値＝（周辺画素ａのＲ要素値＋周辺画素ｂのＲ要素値＋周辺画素ｃのＲ要素値＋周辺画素ｄのＲ要素値＋画素ｅのＲ要素値＋周辺画素ｆのＲ要素値＋周辺画素ｇのＲ要素値＋周辺画素ｈのＲ要素値＋周辺画素ｉのＲ要素値）／９・・・式（１）

Ｇ要素平均値＝（周辺画素ａのＧ要素値＋周辺画素ｂのＧ要素値＋周辺画素ｃのＧ要素値＋周辺画素ｄのＧ要素値＋画素ｅのＧ要素値＋周辺画素ｆのＧ要素値＋周辺画素ｇのＧ要素値＋周辺画素ｈのＧ要素値＋周辺画素ｉのＧ要素値）／９・・・式（２）

Ｂ要素平均値＝（周辺画素ａのＢ要素値＋周辺画素ｂのＢ要素値＋周辺画素ｃのＢ要素値＋周辺画素ｄのＢ要素値＋画素ｅのＢ要素値＋周辺画素ｆのＢ要素値＋周辺画素ｇのＢ要素値＋周辺画素ｈのＢ要素値＋周辺画素ｉのＢ要素値）／９・・・式（３）

次に、平滑化手段３２は、ＲＧＢ要素毎の要素平均値のうちのいずれか２要素平均値がＲＧＢ要素毎に定めた上限閾値以上、かつ、この２要素平均値に含まれない他の要素平均値が所定の閾値以上となる場合には、画素ｅのＲＧＢ要素毎の要素値を、ＲＧＢ要素毎の要素平均値に所定の加算値を加算した値とする。すなわち、平滑化手段３２は、式（４）から式（６）のいずれかを満たす場合には、式（７）の計算を行う。

Ｒ要素平均値≧Ｒ要素の上限閾値、かつ、Ｇ要素平均値≧Ｇ要素の上限閾値、かつ、Ｂ要素平均値≧１２７・・・式（４）

Ｒ要素平均値≧Ｒ要素の上限閾値、かつ、Ｇ要素平均値≧１２７、かつ、Ｂ要素平均値≧Ｂ要素の上限閾値・・・式（５）

Ｒ要素平均値≧１２７、かつ、Ｇ要素平均値≧Ｇ要素の上限閾値、かつ、Ｂ要素平均値≧Ｂ要素の上限閾値・・・式（６）

画素ｅのＲ要素値＝Ｒ要素平均値＋加算値
画素ｅのＧ要素値＝Ｇ要素平均値＋加算値
画素ｅのＢ要素値＝Ｂ要素平均値＋加算値・・・式（７）

なお、式（４）から式（６）において、Ｒ要素の上限閾値、Ｇ要素の上限閾値及びＢ要素の上限閾値は、０以上２５５以下の値となり、例えば、１８０である。また、式（４）から式（６）において、「所定の閾値」として、ＲＧＢ要素値がとりうる範囲内の値うち、中間値となる「１２７」を設定した。また、式（７）において、加算値は、例えば、３０である。さらに、このＲ要素の上限閾値、Ｇ要素の上限閾値、Ｂ要素の上限閾値、所定の閾値及び加算値は、記憶手段５０のパラメータ記憶領域５８のパラメータファイル５８ａに予め記憶しておいても良い。

また、平滑化手段３２は、前記した式（１）から式（３）を用いてＲＧＢ要素毎の要素平均値を算出し、ＲＧＢ要素毎の要素平均値のうちのいずれか２要素平均値がＲＧＢ要素毎に定めた下限閾値以下、かつ、この２要素平均値に含まれない他の要素平均値が所定の閾値以下となる場合には、画素ｅのＲＧＢ要素毎の要素値を、ＲＧＢ要素毎の要素平均値から所定の減算値を減算した値とする。すなわち、平滑化手段３２は、式（８）から式（１０）のいずれかを満たす場合には、式（１１）の計算を行う。

Ｒ要素平均値≦Ｒ要素の下限閾値、かつ、Ｇ要素平均値≦Ｇ要素の下限閾値、かつ、Ｂ要素平均値≦１２７・・・式（８）

Ｒ要素平均値≦Ｒ要素の下限閾値、かつ、Ｇ要素平均値≦１２７、かつ、Ｂ要素平均値≦Ｂ要素の下限閾値・・・式（９）

Ｒ要素平均値≦１２７、かつ、Ｇ要素平均値≦Ｇ要素の下限閾値、かつ、Ｂ要素平均値≦Ｂ要素の下限閾値・・・式（１０）

画素ｅのＲ要素値＝Ｒ要素平均値−減算値
画素ｅのＧ要素値＝Ｇ要素平均値−減算値
画素ｅのＢ要素値＝Ｂ要素平均値−減算値・・・式（１１）

なお、式（８）から式（１０）において、Ｒ要素の下限閾値、Ｇ要素の下限閾値及びＢ要素の下限閾値は、０以上２５５以下の値となり、例えば、１００である。また、式（８）から式（１０）において、「所定の閾値」として、ＲＧＢ要素値がとりうる範囲内の値のうち、中間値となる「１２７」を設定した。また、式（１１）において、減算値は、例えば、３０である。さらに、このＲ要素の下限閾値、Ｇ要素の下限閾値、Ｂ要素の下限閾値、所定の閾値及び減算値は、記憶手段５０のパラメータ記憶領域５８のパラメータファイル５８ａに予め記憶しておいても良い。

＜文字色変更処理＞
文字色変更手段３４は、静止画において、予め設定した指定色を黒色に変更すると共に、指定色以外の色を白色に変更する文字色変更処理を行うものである。ここで、文字色変更手段３４は、静止画を構成する一部の画素に文字色変更処理を行っても良く、全画素に文字色変更処理を行うことが好ましい。具体的には、文字強調手段３４は、画素のＲＧＢ要素のうちのいずれか２要素値が所定の上限閾値以上、かつ、この２要素値に含まれない他の要素値がこの２要素値から所定範囲内の値となる場合には、画素を黒色に変更し、画素を黒色に変更しない場合には、画素を白色に変更する。すなわち、文字色変更手段３４は、式（１２）から式（１４）のいずれかを満たす場合には、その画素を黒色（画素のＲ要素値＝０，画素のＧ要素値＝０，画素のＢ要素値＝０）に変更する。一方、文字色変更手段３４は、画素を黒色に変更しない場合、すなわち、式（１２）から式（１４）のいずれも満たさない場合には、その画素を白色（画素のＲ要素値＝２５５，画素のＧ要素値＝２５５，画素のＢ要素値＝２５５）に変更する。

画素のＲ要素値≧上限閾値、かつ、画素のＧ要素値≧上限閾値、かつ、｛（画素のＲ要素値−所定値＜画素のＢ要素値、または、画素のＧ要素値−所定値＜画素のＢ要素値）、かつ、（画素のＲ要素値＋所定値＞画素のＢ要素値、または、画素のＧ要素値＋所定値＞画素のＢ要素値）｝・・・式（１２）

画素のＧ要素値≧上限閾値、かつ、画素のＢ要素値≧上限閾値、かつ、｛（画素のＧ要素値−所定値＜画素のＲ要素値、または、画素のＢ要素値−所定値＜画素のＲ要素値）、かつ、（画素のＧ要素値＋所定値＞画素のＲ要素値、または、画素のＢ要素値＋所定値＞画素のＲ要素値）｝・・・式（１３）

画素のＢ要素値≧上限閾値、かつ、画素のＲ要素値≧上限閾値、かつ、｛（画素のＢ要素値−所定値＜画素のＧ要素値、または、画素のＲ要素値−所定値＜画素のＧ要素値）、かつ、（画素のＢ要素値＋所定値＞画素のＧ要素値、または、画素のＲ要素値＋所定値＞画素のＧ要素値）｝・・・式（１４）

なお、式（１２）から式（１４）において、上限閾値は、０以上２５５以下の値となり、例えば、２５４である。また、式（１２）から式（１４）において、所定値（一定範囲内の値）は、例えば、５である。さらに、この上限閾値及び所定値は、記憶手段５０のパラメータ記憶領域５８のパラメータファイル５８ａに予め記憶しておいても良い。

また、文字色変更手段３４は、画素のＲＧＢ要素のうちのいずれか２要素値が所定の下限閾値以下、かつ、この２要素値に含まれない他の要素値がこの２要素値から所定範囲内の値となる場合には画素を黒色に変更し、画素を黒色に変更しない場合には、画素を白色に変更する。すなわち、文字色変更手段３４は、式（１５）から式（１７）のいずれかを満たす場合には、画素を黒色に変更する。一方、文字色変更手段３４は、画素を黒色に変更しない場合、すなわち、式（１５）から式（１７）のいずれも満たさない場合には、画素を白色に変更する。

画素のＲ要素値≦下限閾値、かつ、画素のＧ要素値≦下限閾値、かつ、｛（画素のＲ要素値−所定値＜画素のＢ要素値、または、画素のＧ要素値−所定値＜画素のＢ要素値）、かつ、（画素のＲ要素値＋所定値＞画素のＢ要素値、または、画素のＧ要素値＋所定値＞画素のＢ要素値）｝・・・式（１５）

画素のＧ要素値≦下限閾値、かつ、画素のＢ要素値≦下限閾値、かつ、｛（画素のＧ要素値−所定値＜画素のＲ要素値、または、画素のＢ要素値−所定値＜画素のＲ要素値）、かつ、（画素のＧ要素値＋所定値＞画素のＲ要素値、または、画素のＢ要素値＋所定値＞画素のＲ要素値）｝・・・式（１６）

画素のＢ要素値≦下限閾値、かつ、画素のＲ要素値≦下限閾値、かつ、｛（画素のＢ要素値−所定値＜画素のＧ要素値、または、画素のＲ要素値−所定値＜画素のＧ要素値）、かつ、（画素のＢ要素値＋所定値＞画素のＧ要素値、または、画素のＲ要素値＋所定値＞画素のＧ要素値）｝・・・式（１７）

なお、式（１５）から式（１７）において、下限閾値は、０以上２５５以下の値となり、例えば、１００である。また、式（１５）から式（１７）において、所定値（一定範囲）は、例えば、４０である。さらに、この下限閾値及び所定値は、記憶手段５０のパラメータ記憶領域５８のパラメータファイル５８ａに予め記憶しておいても良い。

以下、図６を参照して、文字色変更処理の一例について説明する。図６は、本発明における文字色変更処理を説明する説明図であり、（ａ）は、文字色変更処理前の静止画であり、（ｂ）は、文字色変更処理後の静止画である。図６（ａ）に示すように、静止画は、山を撮影したものであり、その左上部に「ＮＨＫ」という文字が白色（Ｒ要素値＝２５５，Ｇ要素値＝２５５，Ｂ要素値＝２５５）、及び、その山の中腹から山頂部分が白に近い色（Ｒ要素値＝２５５，Ｇ要素値＝２５５，Ｂ要素値＝２５１）で表示されている。なお、図６（ａ）に示す静止画では、「ＮＨＫ」という文字の色及び山の中腹から山頂部分以外の色は、前記した文字色変更処理の条件式（１２）〜式（１７）のいずれも満たさない色として説明する。

ここで、「ＮＨＫ」という文字を構成する画素及び山の中腹から山頂部分を構成する画素が、前記した式（１２）を満たすため、文字色変更手段３４は、この「ＮＨＫ」という文字を構成する画素及び山の中腹から山頂部分を構成する画素を黒色に変更して、図５（ｂ）に示す静止画（文字強調静止画）を生成する。図６（ｂ）に示す文字強調静止画は、「ＮＨＫ」という文字が黒色となっているため、後記する文字認識手段４０で、この文字が認識されやすくなる。なお、この静止画では、山の中腹から山頂部分が黒色となっているが、このような形状を文字認識手段４０が文字として誤認識する確率は低いと考えられる。

図１に戻り、文字認識装置１の構成について説明を続ける。文字強調手段３０は、前記した文字色変更処理や平滑化処理に加え、静止画の拡大、静止画の色の反転、静止画のグレースケール化、又は、静止画の色の反転とグレースケール化とを組み合わせた処理を行って文字強調静止画を生成しても良い。ここでは、文字強調手段３０は、生成した文字強調静止画（文字強調静止画ファイル５６ａ）を記憶手段５０の文字強調静止画記憶領域５６に書き込むと共に、文字強調静止画ファイル５６ａのファイル名や記憶手段５０の文字強調静止画記憶領域５６内でのアドレス等、この文字強調静止画ファイル５６ａを特定できる識別情報を文字認識手段４０に出力する。

文字認識手段４０は、文字強調手段３０が生成した文字強調静止画に含まれる文字を認識するものである。ここでは、文字認識手段４０は、文字強調手段３０からの識別情報によって、記憶手段５０の文字強調静止画記憶領域５６から文字強調静止画ファイル５６ａを読み出す。そして、文字認識手段４０は、予め登録されたパターンに従って静止画に含まれる文字を認識する文字認識ソフトウェア（ＯＣＲソフトウェア）によって、この文字強調静止画の文字認識を行い、認識された文字を出力する。

また、文字認識手段４０は、文字強調静止画のうち文字が表示されやすい範囲、例えば、静止画の上下左右から一定画素数となる範囲を対象として文字を抽出しても良い。さらに、文字認識手段４０は、これから文字認識を行う文字強調静止画と、その直前に文字認識を行った文字強調静止画を対比し、変化があった範囲のみを対象として文字認識しても良い。ここでは、文字認識手段４０は、これから文字認識を行う文字強調静止画とその直前に文字認識を行った文字強調静止画とを所定のブロック（範囲）に区切り、そのブロック毎に動きベクトルを求めるブロック・マッチング法によって変化があったブロックを求め、このブロックのみを対象として文字認識を行う。これらの処理によって、文字認識装置１の高速化を図ることができる。なお、上記した文字が表示されやすい範囲（一定画素数）は、記憶手段５０のパラメータ記憶領域５８のパラメータファイル５８ａに予め記憶しておいても良い。

［文字認識装置の動作］
図７を参照して、文字認識装置の動作について説明する（適宜図１参照）。図７は、図１の文字認識装置の動作を示すフローチャートである。まず、文字認識装置１は、動画受信手段１０によって、動画を受信する（ステップＳ１）。また、文字認識装置１は、動画受信手段１０によって、録画装置２から複数チャンネルの動画を並行に受信しても良い。

ステップＳ１に続いて、文字認識装置１は、静止画抽出手段２０によって、動画受信手段１０が受信した動画を構成するフレームを、静止画として抽出する（ステップＳ２）。また、文字認識装置１は、文字強調手段３０によって、静止画抽出手段２０が抽出した静止画において、予め設定した指定色を黒色に変更すると共に、指定色以外の色を白色に変更して文字強調静止画を生成する（ステップＳ３）。ここで、文字認識装置１は、平滑化手段３２によって、静止画を平滑化処理しても良く、文字色変更手段３４によって、静止画を文字色変更処理しても良い。また、文字認識装置１は、文字強調手段３０によって、静止画の拡大、静止画の色の反転、静止画のグレースケール化、又は、静止画の色の反転とグレースケール化とを組み合わせた処理を行っても良い。

ステップＳ３に続いて、文字認識装置１は、文字認識手段４０によって、文字強調手段３０が生成した文字強調静止画に含まれる文字を認識する（ステップＳ４）。また、文字認識装置１は、文字認識手段４０によって、文字強調静止画のうち文字が表示されやすい範囲の文字を認識し、これから文字認識を行う文字強調静止画と、その直前に文字認識を行った文字強調静止画を対比し、変化があった範囲のみを対象として文字認識しても良い。

本発明では、一般的なコンピュータを、前記した各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。なお、本実施形態では、本発明に係る文字認識装置を独立した装置として説明したが、本発明に係る文字認識装置を他システムに組み込むこともできる。

［文字認識装置の利用例］
以下、図８を参照して、本発明に係る文字認識装置の利用例について説明する。図８は、本発明に係る文字認識装置を含む動画検索システムの概略構成図である。動画検索システムＳは、録画装置２と、モニタ７と、ルータ８と、検索ＰＣ（クライアント）９と、データベースサーバＤｂと、を備える。また、データベースサーバＤｂは、文字監視装置１と、文字学習手段３と、検索再生手段４と、データベース蓄積手段５と、データベース６と、を備える。

録画装置２は、アンテナ２ａを介して放送波を受信し、複数の放送番組を録画する。また、モニタ７は、録画装置２に録画された放送番組を表示する。また、データベースサーバＤｂは、ルータ８を介して録画装置２と検索ＰＣとにネットワークを介して接続される。なお、図８では録画装置２を１台としたが、録画装置２を２台以上としても良い。

文字監視装置１は、前記したように、録画装置２から複数チャンネルの動画を受信して、これら動画で表示される文字を認識して出力する。ここでは、文字監視装置１は、認識した文字をデータベース蓄積手段５に出力する。また、データベース蓄積手段５は、文字監視装置１が出力した文字を、その文字を認識する基となった放送番組の番組名、チャンネル、放送時間等の番組情報と関連付けてデータベース６に蓄積する。また、文字学習手段３は、文字監視装置１で認識した文字が誤っていた場合等、その誤りを辞書に登録して文字の認識精度を向上させる。さらに、検索再生手段４は、検索ＰＣ９から検索文字、検索チャンネル等の検索条件を受信し、その検索条件を満たす、すなわち、検索文字を表示する放送番組をデータベース６から検索する。そして、検索再生手段４は、その放送番組名、チャンネル、放送時間等の番組情報を検索ＰＣに送信し、また、その放送番組（動画）を検索ＰＣに送信して検索ＰＣで放送番組を再生させる。

検索ＰＣ９は、例えば、一般的なパーソナルコンピュータであり、利用者が入力した検索条件を検索再生手段４に送信し、検索再生手段４が検索した番組情報を表示し、また、検索再生手段４からその放送番組を受信して再生する。なお、図８では検索ＰＣ９を１台としたが、検索ＰＣ９を２台以上としても良い。

以上のように、動画検索システムＳは、複数のチャンネルの放送番組から、利用者が検索条件として指定した検索文字を表示する放送番組を検索することができる。従って、動画検索システムＳは、自局の名称や自局の放送番組名を検索条件とすることによって、自局の放送番組を引用する他局の放送番組を人手によらずに検索することができる。

本発明の実施形態に係る文字認識装置のブロック図である。 図１の動画受信手段が２チャンネル分の動画を受信する動作を示すシーケンス図である。 図１の動画受信手段が８チャンネル分の動画を受信する構成を示す説明図である。 図１の記憶手段のデータ構造を示す模式図である。 本発明における平滑化処理を説明するための、静止画の画素を示す説明図である。 本発明における文字色変更処理を説明する説明図であり、（ａ）は、文字色変更処理前の静止画であり、（ｂ）は、文字色変更処理後の静止画である。 図１の文字認識装置の動作を示すフローチャートである。 本発明に係る文字認識装置を含む動画検索システムの概略構成図である。

符号の説明

１ 文字認識システム
２ 録画装置
１０ 動画受信手段
２０ 静止画抽出手段
３０ 文字強調手段
３２ 平滑化手段
３４ 文字色変更手段
４０ 文字認識手段
５０ 記憶手段
５２ 動画記憶領域
５４ 静止画記憶領域
５６ 文字強調静止画記憶領域
５８ パラメータ記憶領域

Claims (7)

1. 放送番組を内容とする動画に表示される文字を認識して当該文字を出力する文字認識装置であって、
   前記動画を受信する動画受信手段と、
   前記動画受信手段が受信した前記動画を構成するフレームを、静止画として抽出する静止画抽出手段と、
   前記静止画抽出手段が抽出した前記静止画において、予め設定した指定色を黒色に変更すると共に、前記指定色以外の色を白色に変更して文字強調静止画を生成する文字強調手段と、
   前記文字強調手段が生成した前記文字強調静止画に含まれる文字を認識する文字認識手段と、
   を備え、
   前記文字強調手段は、
   前記静止画を構成する画素のＲＧＢ要素毎の要素値と前記画素を囲む周辺画素のＲＧＢ要素毎の要素値とを平均したＲＧＢ要素毎の要素平均値を算出すると共に、
   前記ＲＧＢ要素毎の要素平均値のうちのいずれか２要素平均値がＲＧＢ要素毎に定めた上限閾値以上、かつ、前記２要素平均値に含まれない他の要素平均値が所定の閾値以上となる場合には、前記画素のＲＧＢ要素毎の要素値を、前記ＲＧＢ要素毎の要素平均値に所定の加算値を加算した値とする平滑化手段を、
   さらに備えることを特徴とする文字認識装置。
2. 放送番組を内容とする動画に表示される文字を認識して当該文字を出力する文字認識装置であって、
   前記動画を受信する動画受信手段と、
   前記動画受信手段が受信した前記動画を構成するフレームを、静止画として抽出する静止画抽出手段と、
   前記静止画抽出手段が抽出した前記静止画において、予め設定した指定色を黒色に変更すると共に、前記指定色以外の色を白色に変更して文字強調静止画を生成する文字強調手段と、
   前記文字強調手段が生成した前記文字強調静止画に含まれる文字を認識する文字認識手段と、
   を備え、
   前記文字強調手段は、
   前記静止画を構成する画素のＲＧＢ要素毎の要素値と前記画素を囲む周辺画素のＲＧＢ要素毎の要素値とを平均したＲＧＢ要素毎の要素平均値を算出すると共に、
   前記ＲＧＢ要素毎の要素平均値のうちのいずれか２要素平均値がＲＧＢ要素毎に定めた下限閾値以下、かつ、前記２要素平均値に含まれない他の要素平均値が所定の閾値以下となる場合には、前記画素のＲＧＢ要素毎の要素値を、前記ＲＧＢ要素毎の要素平均値から所定の減算値を減算した値とする平滑化手段を、
   さらに備えることを特徴とする文字認識装置。
3. 前記文字強調手段は、前記静止画を構成する画素のＲＧＢ要素のうちのいずれか２要素値が所定の上限閾値以上、かつ、前記２要素値に含まれない他の要素値が前記２要素値から所定範囲内の値となる場合には、前記画素を黒色に変更し、
   前記画素を黒色に変更しない場合には、前記画素を白色に変更することを特徴とする請求項１又は請求項２に記載の文字認識装置。
4. 前記文字強調手段は、前記静止画を構成する画素のＲＧＢ要素のうちのいずれか２要素値が所定の下限閾値以下、かつ、前記２要素値に含まれない他の要素値が前記２要素値から所定範囲内の値となる場合には前記画素を黒色に変更し、
   前記画素を黒色に変更しない場合には、前記画素を白色に変更することを特徴とする請求項１又は請求項２に記載の文字認識装置。
5. 前記動画受信手段は、複数のチャンネルの前記動画を録画可能な前記録画装置に接続され、当該録画装置から前記チャンネル毎に動画をそれぞれ受信するチャンネル専用動画受信部、
   を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の文字認識装置。
6. 放送番組を内容とする動画に表示される文字を認識して当該文字を出力するために、コンピュータを、
   前記動画を受信する動画受信手段、
   前記動画受信手段が受信した前記動画を構成するフレームを、静止画として抽出する静止画抽出手段、
   前記静止画抽出手段が抽出した前記静止画において、予め設定した指定色を黒色に変更すると共に、前記指定色以外の色を白色に変更して文字強調静止画を生成する文字強調手段、
   前記文字強調手段が生成した前記文字強調静止画に含まれる文字を認識する文字認識手段、
   として機能させ、
   前記文字強調手段は、
   前記静止画を構成する画素のＲＧＢ要素毎の要素値と前記画素を囲む周辺画素のＲＧＢ要素毎の要素値とを平均したＲＧＢ要素毎の要素平均値を算出すると共に、
   前記ＲＧＢ要素毎の要素平均値のうちのいずれか２要素平均値がＲＧＢ要素毎に定めた上限閾値以上、かつ、前記２要素平均値に含まれない他の要素平均値が所定の閾値以上となる場合には、前記画素のＲＧＢ要素毎の要素値を、前記ＲＧＢ要素毎の要素平均値に所定の加算値を加算した値とする平滑化手段を、
   備えることを特徴とする文字認識プログラム。
7. 放送番組を内容とする動画に表示される文字を認識して当該文字を出力するために、コンピュータを、
   前記動画を受信する動画受信手段、
   前記動画受信手段が受信した前記動画を構成するフレームを、静止画として抽出する静止画抽出手段、
   前記静止画抽出手段が抽出した前記静止画において、予め設定した指定色を黒色に変更すると共に、前記指定色以外の色を白色に変更して文字強調静止画を生成する文字強調手段、
   前記文字強調手段が生成した前記文字強調静止画に含まれる文字を認識する文字認識手段、
   として機能させ、
   前記文字強調手段は、
   前記静止画を構成する画素のＲＧＢ要素毎の要素値と前記画素を囲む周辺画素のＲＧＢ要素毎の要素値とを平均したＲＧＢ要素毎の要素平均値を算出すると共に、
   前記ＲＧＢ要素毎の要素平均値のうちのいずれか２要素平均値がＲＧＢ要素毎に定めた下限閾値以下、かつ、前記２要素平均値に含まれない他の要素平均値が所定の閾値以下となる場合には、前記画素のＲＧＢ要素毎の要素値を、前記ＲＧＢ要素毎の要素平均値から所定の減算値を減算した値とする平滑化手段を、
   備えることを特徴とする文字認識プログラム。

Images