JP5424737B2 - 画像再生装置 - Google Patents

Description

この発明は、動画像から抽出したスポーツ番組のスコアなどの特徴画像を、オリジナルの画像と共に表示する画像再生装置に関し、特に、見逃した過去の特徴領域画像データを表示させる技術に関する。

ワンセグ放送などの映像を携帯電話のような小さな液晶画面で見る場合、スポーツ番組のスコアや歌番組の歌詞、ニュース番組のテロップなどの文字情報が小さすぎて読みづらいという問題がある。また、警告音などの音声によって地震情報などの緊急情報が表示されているのを認識したにも関わらず、その内容を見逃したり情報が読みづらかったりして内容を理解できないことがある。

文字情報が小さすぎて読みづらいという問題に対して、例えば特許文献１は、文字領域を抽出して拡大表示することや、文字領域の色相を変更して見易く表示することを提案している。

特開平９−９１４５３号公報

ワンセグ放送などの映像を視聴する際、小さな画面ではスポーツ番組のスコアなどの文字情報が小さくて読みづらいという問題がある。又、その情報をたまたま見逃してしまい、内容を認識できないことがある。

特許文献１の技術によれば、文字領域を拡大表示することによって読みづらい文字情報を確認することが出来るが、見逃した過去の文字情報を再び表示させる技術については開示されていない。

又、文字などの特徴画像を抽出する際に、特徴画像領域以外の領域をも誤検出してしまう場合があり、誤検出を含んだ領域に画像処理を行ってオリジナル画像に貼り付けて表示した場合、不自然な映像となり視聴者に不快感を与えてしまう。

そこで、本発明は上述の問題点に鑑み、動画像から抽出した特徴画像をオリジナル画像と共に表示する際、過去の特徴画像の表示を可能にすると共に、望ましくは誤検出を軽減し、使用者の利便性を高める画像再生装置を提供することを目的とする。

本発明の画像再生装置は、入力映像から所定の画像処理により特徴画像を抽出する特徴画像抽出手段と、特徴画像抽出手段が抽出した特徴画像の入力映像上の領域である特徴領域の情報を特徴領域情報として蓄積する特徴領域情報保持手段と、指定された表示画面上の表示座標系での位置を入力映像上の映像座標系の指定位置に変換して指定位置情報として出力する制御手段と、過去の特徴領域情報の中から指定位置を含む特徴領域に対応する特徴領域情報を指定特徴領域情報として選択する処理対象領域決定手段と、指定特徴領域情報の特徴領域の画像を指定領域画像として取得する領域画像取得手段と、指定領域画像を入力映像の再生映像にオーバーレイ処理する出力処理手段と、を備え、特徴画像抽出手段は、入力映像から特徴ブロックを検出する特徴ブロック検出手段と、検出された特徴ブロックのフレーム方向の変化および検出された特徴ブロックの周辺画素の変化のうち少なくとも一方の変化に基づいて検出対象とする特徴ブロックか否かを判断する誤検出除去手段とを有し、検出対象とすると判断した特徴ブロックから特徴画像を抽出する。

本発明の画像再生装置は、入力映像から所定の画像処理により特徴画像を抽出する特徴画像抽出手段と、特徴画像抽出手段が抽出した特徴画像の入力映像上の領域である特徴領域の情報を特徴領域情報として蓄積する特徴領域情報保持手段と、指定された表示画面上の表示座標系での位置を入力映像上の映像座標系の指定位置に変換して指定位置情報として出力する制御手段と、過去の特徴領域情報の中から指定位置を含む特徴領域に対応する特徴領域情報を指定特徴領域情報として選択する処理対象領域決定手段と、指定特徴領域情報の特徴領域の画像を指定領域画像として取得する領域画像取得手段と、指定領域画像を入力映像の再生映像にオーバーレイ処理する出力処理手段と、を備え、特徴画像抽出手段は、入力映像から特徴ブロックを検出する特徴ブロック検出手段と、検出された特徴ブロックのフレーム方向の変化および検出された特徴ブロックの周辺画素の変化のうち少なくとも一方の変化に基づいて検出対象とする特徴ブロックか否かを判断する誤検出除去手段とを有し、検出対象とすると判断した特徴ブロックから特徴画像を抽出する。これにより、見逃した特徴画像を再び表示させることが可能になる。

実施の形態１に係る画像再生装置の構成の概略を示すブロック図である。 実施の形態１において特徴領域を抽出する過程を示す図である。 実施の形態２に係る画像再生装置の構成の概略を示すブロック図である。 実施の形態２において特徴領域を抽出する過程を示す図である。 実施の形態２における誤検出除去手段の動作を示す図である。 実施の形態３に係る画像再生装置の構成の概略を示すブロック図である。 実施の形態３における処理対象領域決定手段の動作を示す図である。 実施の形態３における特徴領域情報保持手段の動作を示す図である。 実施の形態４に係る画像再生装置の構成の概略を示すブロック図である。 実施の形態４におけるユーザインタフェースの一例を示す図である。

（実施の形態１）
＜構成＞
図１は、実施の形態１の画像再生装置の構成を概略的に示すブロック図である。画像再生装置は、フレームメモリ制御手段３、特徴ブロック検出手段４、特徴領域整形手段６、特徴領域情報保持手段７、処理対象領域決定手段８、領域画像取得手段１３、制御手段１０、出力処理手段１１を備えている。特徴ブロック検出手段４と特徴領域整形手段６で特徴画像抽出手段１００が構成される。さらに、画像再生装置は映像入力手段１、フレームメモリ２、表示手段１２を備えるが、これらは画像再生装置の構成要素でなくても良い。

映像入力手段１は、ワンセグの映像ストリームのようにＭＰＥＧ２、ＭＰＥＧ４などによって符号化された情報を復号した動画像を、１フレーム単位のオリジナル画像データ（フレームデータ）として一旦フレームメモリ２に記録する。フレームデータでは、ＲＧＢ、つまり赤（Ｒ）・緑（Ｇ）・青（Ｂ）の組み合わせや、ＹＵＶ、つまり輝度（Ｙ）と色差（輝度と青の差（Ｕ）、輝度と赤の差（Ｖ））の組み合わせなどで色を表現している。

フレームメモリ制御手段３は、ＳＤＲＡＭ等のフレームメモリ２へのアクセスタイミングやアクセスするデータのアドレスを受け、フレームメモリ２内のデータを読み書きできるようにするインタフェースである。

特徴ブロック検出手段４は、フレームメモリ制御手段３がフレームメモリ２から読み出したフレームデータから特徴ブロックを検出する。ここで、特徴ブロックとは１つ以上の画素から構成され、フレームデータから所定の画像処理によって検出される特徴画像を表す画素ブロックのことである。又、特徴画像とは、例えばテレビ放送でフレームインする地震情報などのスーパーや、歌番組の歌詞などの文字情報、スポーツ中継番組におけるスコアのような、フレームデータ間で画像情報が類似する領域の画像を指す。本実施の形態では、このような文字等が表示される文字領域の画像を特徴画像とする。

特徴領域整形手段６は、文字領域検出手段４からのデータを受け、検出された特徴ブロックに対して膨張・収縮（オープニング・クロージング）等の処理を行い、特徴ブロックが密集している部分を一つの特徴領域とみなし、その特徴領域に外接する矩形に整形する。ただし、矩形以外の形に整形しても良い。そして、矩形に整形した特徴領域のフレーム画像上での位置情報を、特徴領域情報として特徴領域情報保持手段７に出力する。以上のように、特徴ブロック検出手段４と特徴領域整形手段６はフレームデータから特徴画像の領域を抽出する特徴画像抽出手段１００として機能する。

特徴領域情報保持手段７は、特徴領域整形手段６から特徴領域情報を受け、これを出現回数と共に蓄積しテーブル化する。理想的には、ＣＭ以外のテレビ放送において上記動作を行う。表示手段１２は、例えば携帯電話の表示画面等のタッチパネルであり、取得したい特徴画像が表示されている／表示されていた領域を、使用者が直接タッチすることにより指定する。

制御手段１０は、使用者が指定した領域の表示画面上の位置情報を表示画面座標系の位置情報として検出し、これを入力される映像上の入力映像座標系での位置情報である指定位置情報に変換して出力する。処理対象領域決定手段８は、制御手段１０から指定位置情報を受け、特徴領域情報保持手段７内のテーブルに格納されている過去の特徴領域情報の中から指定位置情報を含む指定特徴領域情報を抽出し、指定特徴領域情報が有する特徴領域を処理対象領域とする。指定特徴領域情報が複数抽出される場合には、制御情報や装置の仕様に従い時間的に最も直近のもの、あるいは最も古いもの等の条件に合う一つの特徴領域を処理対象領域として決定する。

領域画像取得手段１３は、処理対象領域決定手段８で決定された処理対象領域に相当する特徴領域画像データを指定領域画像としてフレームメモリ２から読み出し、出力処理手段１１に出力する。出力処理手段１１は、フレームメモリ２から読み出したフレームデータと領域画像取得手段１３からの指定領域画像データをオーバーレイ処理して、表示手段１２に表示する。

なお、フレームデータを記憶する手段として上記ではフレームメモリ２を示したが、他の記憶手段であっても良い。

＜特徴画像領域の抽出＞
次に、画像再生装置の動作を説明する。図２は、フレームデータのオリジナル画像から特徴画像を抽出する特徴画像抽出手段１００の処理を示す図である。

特徴ブロック検出手段４は、フレームメモリ２から読み出したフレームデータから特徴ブロックを検出する。ところで、文字情報などの特徴画像はオリジナルのコンテンツ画像に貼り付けられて表示されるため、コンテンツ画像とは異なり殆ど動かないことが特徴である。そのため、現在のフレームと時間的に一つ（又は複数）前のフレームとを比較し変化の有無を観察することにより、特徴ブロックであるか否かを判定できる。

具体的には、フレームメモリ２からフレームメモリ制御手段３を介して読み出されたフレームデータ（図２（ａ））の、例えば輝度信号（Ｙ）からフレーム画像データ全体のエッジ（輪郭）を抽出し、エッジの明瞭度（エッジ強度）を所定の複数の画素（例えば４×４画素）で構成される画素ブロック毎に蓄積加算する。

対象画素ブロックのエッジ強度の和が予め設定された閾値より大きく、かつ前フレームで同じ位置にある画素ブロックでのエッジ強度の和との差が小さい場合、その画素ブロックには文字などの特徴画素が含まれると判断して、その画素ブロックを特徴ブロックとして検出する。検出した特徴ブロックのみを残したフレーム画像が図２（ｂ）である。図２（ｂ）において、黒い部分は文字等の特徴画像があるものと判断された特徴ブロックを示す。

図２（ｂ）に示すように、文字領域では特徴ブロックが密集する傾向にあるが、文字間の空白や行間ではエッジが検出されないため、検出された領域は穴あき状態となる。そこで、特徴領域整形手段６は検出された文字領域に対して膨張・収縮（オープニング・クロージング）等の整形処理を行い、密集した特徴ブロックの塊を一つの特徴領域とみなし、その特徴領域に外接する矩形の位置情報を算出する。整形後のフレーム画像を図２（ｃ）に示す。図中、黒色の部分が特徴領域である。さらに、対象とする文字領域の性質から領域の大きさや形状による選別を行い、最終的には検出した矩形領域の境界を表す位置情報（特徴領域情報）を出力する。

＜処理対象領域の決定＞
特徴領域情報保持手段７は特徴領域整形手段６から特徴領域情報を受け、これをその出現回数と共に蓄積しテーブル化する。本発明で対象とする文字情報や画像情報は、オリジナルの映像に影響を与えないよう画面の下方やコーナー部のような決められた位置に表示されることが多く、この周辺の領域が特徴領域情報保持手段７のテーブルにおいて多く出現する傾向がある。

使用者がタッチパネルなどの表示手段１２上の所望する領域を選択・指示すると、制御手段１０は、選択・指示された場所の液晶画面（表示手段１２）における表示座標系の位置情報を検出し、これを実際のワンセグ映像座標系の位置情報（指定アドレス）に変換し指定位置情報として処理対象領域決定手段８に送る。

ワンセグ映像（ワイドワンセグ）は３２０×２４０画素であり、これを携帯電話などに使用する高精細な液晶（ＶＧＡ：６４０×４８０画素、ＷＶＧＡ：８００×４８０画素）で表示する場合、実際には、ワンセグの映像に対して拡大処理を行っている。例えば、ＷＶＧＡの液晶では、映像自体は水平方向２．６７倍、垂直方向２．５倍、もしくは、水平方向、垂直方向とも２．５倍の拡大表示を行っている。このため、液晶画面上の位置と実際のワンセグ映像の位置は異なっており、変換処理を行う必要がある。

処理対象領域決定手段８は、特徴領域情報保持手段７内のテーブルに格納される特徴領域情報の中から、制御手段１０から出力される指定位置情報を含んでいるものを検索し指定特徴領域情報として抽出する。

＜領域画像取得手段＞
領域画像取得手段１３は、処理対象領域決定手段８で決定され出力される特徴領域の特徴領域情報（指定特徴領域情報）に従い、対応する特徴領域画像データ（指定領域画像データ）をフレームメモリ２から読み出す。フレームメモリ２では、順次入力されるフレームデータを識別子と共に複数保持しており、この中から処理対象領域情報に対応するフレームデータ、つまりタイムスタンプあるいはフレーム番号といった時間方向の識別子が一致するフレームデータを抽出し、さらに抽出したフレームデータの画像平面上の特徴画像領域に相当する特徴領域画像データ（指定領域画像データ）を取得し、出力する。

ここでは、指定領域画像データをフレームメモリ２から読み出し出力処理手段１１へ出力するような構成としたが、読み出した指定領域画像データをフレームメモリ２の所定の位置へ再度書き込み、出力処理手段１１でフレームデータと指定領域画像データの両方をフレームメモリ２から読み出す構成としてもよい。

また、フレームメモリ２では順次入力されるフレームデータ全体を保持する構成としたが、フレームメモリ２とは別の小メモリを設け、特徴画像抽出手段１００の出力として特徴領域情報が決定した時点で、特徴領域に対応する部分画像データのみを保持させ、領域画像取得手段１３は、この小メモリに保持する部分画像データから必要なデータを読み出すような構成としてもよい。

出力処理手段１１は、入力される映像のフレームデータを表示手段１２へ出力する。既に表示が完了したフレームデータに対して、使用者から特徴画像を再表示するよう指定があった場合、出力処理手段１１は制御手段１０から制御情報を受け、フレームデータに領域画像取得手段１３からの特徴領域画像データをオーバーレイして出力する。オーバーレイする位置は、特徴領域画像データが表示されていた位置と同じとしてもよいし、表示画面内で指定する特定の位置を制御情報として受け取り、オーバーレイする位置を決定してもよい。

＜効果＞
実施の形態１の画像再生装置によれば、以下の効果を奏する。すなわち、実施の形態１の画像再生装置は、入力映像から所定の画像処理により特徴画像を抽出する特徴画像抽出手段１００と、特徴画像抽出手段１００が抽出した特徴画像の入力映像上の領域である特徴領域の情報を特徴領域情報として蓄積する特徴領域情報保持手段７と、指定された表示画面上の表示座標系での位置を入力映像上の映像座標系の指定位置に変換して指定位置情報として出力する制御手段１０と、過去の特徴領域情報の中から指定位置を含む特徴領域に対応する特徴領域情報を指定特徴領域情報として選択する処理対象領域決定手段８と、指定特徴領域情報の特徴領域の画像を指定領域画像として取得する領域画像取得手段１３と、指定領域画像を入力映像の再生映像にオーバーレイ処理する出力処理手段１１と、を備える。これにより、見逃した特徴画像を再び表示させることが可能になる。

又、特徴領域情報は特徴画像と特徴画像の境界を表す境界情報を有し、処理対象領域決定手段８は、境界情報によって指定位置を含むことを判断し、領域画像取得手段は、特徴領域情報の特徴画像を指定領域画像とすることを特徴とする。これにより、見逃した特徴画像を再び表示させることが可能になる。

又、入力映像の各フレーム画像を識別子と共に記憶するフレームメモリ２（記憶手段）をさらに備え、特徴領域情報は、抽出元のフレーム画像の識別子を有し、領域画像取得手段１３は、指定特徴領域情報の識別子に対応するフレームメモリ２に記憶されたフレーム画像のうち境界情報が示す部分を指定領域画像として取得する。これにより、見逃した特徴画像を再び表示させることが可能になる。

（実施の形態２）
＜構成＞
図３は、本発明の実施の形態２における画像再生装置の構成を示す概略ブロック図であり、図１と比較して、特徴画像抽出手段１００に誤検出除去手段５を新たに設けている点が異なる。誤検出除去手段５は、特徴画像抽出手段１００での特徴画像抽出処理において、誤検出を除去する。

＜動作＞
次に、本実施の形態での特徴画像抽出手段１００の動作について説明する。図４は、特徴画像抽出手段１００の処理を示す図である。

特徴ブロック検出手段４は、使用する動作アルゴリズムや画像処理パラメータの設定内容の違いなどによって、その出力である検出結果が変化する。例えば、図４（ａ）の画像に対して特徴ブロック検出手段４の出力として図４（ｂ）の結果が得られた場合、検出された特徴ブロックは実際の文字領域よりも多くなる。文字領域ではない部分での動きが激しい映像では文字領域の検出精度は高いが、文字領域以外でも動きの少ない映像では、図４（ｂ）に示すように、背景を構成する線分のようなエッジ強度の強い画像部分は特徴ブロックとして検出され、誤検出が発生する。そこで誤検出除去手段５によって、誤検出を除去する。

＜誤検出除去手段５＞
次に誤検出除去手段５の動作について詳細に説明する。誤検出除去手段５は、特徴ブロック検出手段４からのデータを受け、特徴画像領域の誤検出を除去する。

一般に文字の輪郭部分は値の変化が大きく高周波成分が多いため、特徴ブロック検出手段４において検出されるエッジの数が文字領域では単純な自然画像より多くなるという特徴がある。そこで、特徴ブロックであるか否かの判定に使用するエッジ数の閾値を大きくすることで誤検出をいくらか減らすことができる。あるいは、（１）文字領域挿入タイミングを検知する、（２）線分を排除する、という方法又はこれらの方法を組み合わせて誤検出を除去することも出来る。

（１）文字領域挿入タイミングの検知による誤検出除去方法について説明する。文字領域には入力される映像の内容によって、番組の最初から最後まで常に表示されるようなもの、番組途中で表示・非表示が切り替わるようなもの、内容を変更しつつ表示されるようなもの等がある。自然画像であれば、シーンチェンジでない限り画像内容の変化は一般的に滑らかであるが、表示されない期間のある文字領域について自然画像に挿入される文字領域付近では、挿入する文字が目立つようにすることもあって表示が開始される前後で大きく画素値が異なる場合が多い。そこで、局所的にフレームデータの輝度値やエッジ強度値などのヒストグラムを取得し、入力される映像フレーム間でヒストグラムを比較し、ヒストグラムが変化した領域と変化タイミングを捉えることで、文字領域が表示画面内に挿入されたと考えられる領域を動的に検出し、その領域以外で検出された特徴ブロックは誤検出と判断して除去する。

具体的には、画像全体のエッジ強度を取得し、画像を例えば４×４画素等の画素ブロックに分割する。そして、各画素ブロックで所定の閾値を超えるエッジ強度を持つ画素数をカウントする。次に、複数の画素ブロックからなる局所領域（例えば４×４画素ブロック）を設定し、各画素ブロックについて前述の所定の閾値を超えるエッジ強度を持つ画素数のヒストグラムを作成する。この局所領域のヒストグラムをフレーム間で比較することにより、文字領域が挿入されるタイミングを検出する。検出のための条件として以下に示す条件（Ａ１）〜（Ａ３）、（Ｂ１）〜（Ｂ３）を設定する。（Ａ１）：代表値（ヒストグラムの平均値、中間値など）が大きい局所領域が部分的に密集している、（Ａ２）：密集している局所領域の代表値のばらつきが小さい、（Ａ３）：ヒストグラムの形状が前フレームと比べて大きく変化している、（Ｂ１）：局所領域の代表値と前フレームで対応する位置の局所領域の代表値との差が小さい、（Ｂ２）：ヒストグラムの形状が前フレームと比べて変化が小さい、（Ｂ３）：フレーム内には（Ｂ１）（Ｂ２）を満たさない局所領域もある。

なお、これらの条件は適宜閾値を設定して値の大小を比較することにより、条件を満たすか否かを判定する。

（Ａ１）〜（Ａ３）を満たすフレームがあれば、当該フレームから文字領域が挿入された可能性が高いと考えることができ、（Ｂ１）〜（Ｂ３）を満たすフレームがあれば、画面全体ではなく部分的に同じ画像が継続している可能性が高いといえる。よって、前フレームでの結果が（Ａ１）〜（Ａ３）を満たし、現フレームの結果が（Ｂ１）〜（Ｂ３）を満たしていれば、この変化があった局所領域の集合部分に前フレームのタイミングで文字領域が挿入されたと考えられ、その領域以外で検出された特徴ブロックは誤検出と判断することが出来る。

次に、（２）線分の排除による誤検出除去方法について説明する。入力された映像の背景にコントラストの強い線分がある場合、特徴ブロック検出手段４でのエッジ強度抽出の方法によっては、線分の太さの両端でエッジを抽出することになり、図４（ｂ）で示したように背景にある線分が文字領域と同様にエッジが密集した特徴ブロックとして検出される。こうした現象は、スポーツ中継番組での競技場の白線や広告看板の周辺などで発生しやすい。

そこで、一般的に表示される文字領域は文字列間にある空白により、水平あるいは垂直の方向に途切れることなく極端に長くはならないという性質を用いて、不要に検出された線分を排除し特徴ブロックとして抽出されないようにする。具体的には、特徴ブロック検出手段４のエッジ強度を抽出した段階で、エッジ強度がある閾値より大きい画素列が、所定の方向に所定の閾値より長く連接している場合は、その画素列のエッジ強度を小さくする、あるいは特徴ブロック検出対象から除外する。

具体的には、図５に示すように、文字領域候補のエッジ情報を抽出し、さらに所定の閾値で２値化することにより、例えばエッジのある画素は“１”、エッジのない画素は“０”で表されるフレームデータを得る。そして、このフレームデータを水平方向のライン毎に走査し、連続する“１”の数をカウントすることにより、所定の閾値より長い線分の有無を調べる。長い線分（対象ライン）があれば、当該線分の幅で上下１ラインずつの線分（計３本）からなる矩形領域を設定し、矩形領域内の “１”の数をカウントし、“１”の面積を算出する。この“１”の面積が矩形領域に占める割合が高ければ、エッジが密集していると考えられるので文字領域を構成する成分であると判定し（図５（ａ））、そうでなければ不要な線分であると判定する。不要な成分であると判定されれば、その成分の値を全て“０”に変更する（図５（ｂ））。

なお、対象ラインの上下１ラインを含めて矩形領域を設定したが、エッジが密集している領域の上端又は下端に対象ラインが位置する場合もあるため、対象ラインを上端あるいは下端に据えた矩形領域を設定しても良い。また、“１”が連続するものを線分としてカウントしているが、２値化処理における１画素程度の抜けを想定し、当該抜けを“１”で埋める処理を行っても良い。

このような方法により誤検出を除去した後のフレーム画像を図４（ｃ）に示す。図４（ｂ）と比較して、文字ではない部分の誤検出が減っており、線分が文字領域として誤検出されるのを防いでいる。

特徴領域整形手段６は、誤検出除去手段５からのデータを受け、誤検出除去後の特徴ブロックに対して膨張・収縮（オープニング・クロージング）等の処理を行い、特徴ブロックが密集している部分を一つの特徴領域とみなし、その特徴領域に外接する矩形に整形する。整形後のフレーム画像を図４（ｄ）に示す。図中、黒色の部分が特徴領域である。ただし、矩形以外の形に整形しても良い。そして、矩形に整形した特徴領域のフレーム画像上での位置情報を、特徴領域情報として特徴領域情報保持手段７に出力する。これ以降の動作は実施の形態１と同様であるため、説明を省略する。

＜効果＞
実施の形態２の画像再生装置によれば、以下の効果を奏する。すなわち、実施の形態２の画像再生装置において、特徴画像抽出手段１００は、フレーム画像の局所ヒストグラムをフレーム間で比較することにより、入力映像上に特徴画像が出現するタイミングと出現領域を検出し、出現領域以外で抽出される特徴画像を誤検出として除去する誤検出除去手段５を備える。これにより、特徴画像の検出処理における誤検出を除去できるので、特徴画像をオリジナル画像にオーバーレイ表示した際に、視聴者に不快感を与えることがない。

あるいは、特徴画像抽出手段１００は、特徴領域として特定された領域のうち、エッジ強度の大きさが所定の基準を満たす画素あるいは画素ブロックが所定の方向に所定の閾値を超えて連続して並ぶ領域を誤検出として除去する誤検出除去手段５を備える。これにより、特徴画像の検出処理における誤検出を除去できるので、特徴画像をオリジナル画像にオーバーレイ表示した際に、視聴者に不快感を与えることがない。

（実施の形態３）
＜構成＞
図６は、本発明の実施の形態３における画像再生装置の構成を示す概略ブロック図であり、図３に示した実施の形態２と比較して、特徴画像抽出手段１００から特徴領域情報保持手段７へ検出判定情報が出力されている部分が異なる。

＜動作＞
実際に入力される映像中に文字が表示されるときは１フレームに限られることはなく、数１０フレーム、時間にして数秒程度以上の期間にわたる場合が多い。その場合、特徴画像抽出手段１００によって文字表示期間中は重複して何度も文字領域を検出することが出来る。しかしながら、毎回必ず同じ領域を正確に検出できるとは限らず、特徴領域情報保持手段７に蓄積されている特徴領域情報は、検出の際の誤差を含んでおり、ばらつきがある。これらの特徴領域情報は、同じ領域であると判断しグルーピングすることで、大きさや形状がより正確な特徴領域情報を選択・算出しなければならない。

特徴領域情報保持手段７での、特徴領域情報のグルーピング方法について説明する。特徴領域情報保持手段７は、特徴領域情報保持手段７が抽出した特徴領域の中に同一の領域を示す位置情報があるかどうか判断し、同一の領域であるとみなされる特徴領域情報群をグルーピングする。特徴領域情報保持手段７で保持する特徴領域情報のうち、同じ領域を示す特徴領域情報であるか否かの判断は、具体的には各特徴領域情報の表す特徴領域の位置や大きさに関して、特徴領域間でオーバーラップする領域の面積が所定の割合（例えば大きい方の特徴領域の９０％以上）よりも大きいといった基準を満たす場合に同じ特徴領域であるとみなす。

図７は、特徴領域情報保持手段７でグルーピングされた文字領域位置情報を、より正確な情報に更新する方法を示す図である。例えば、ワンセグ映像の場合、画像の左上端の座標を（０，０）、右下端の座標を（３１９，２３９）とすると、検出された文字領域の位置情報について、左上端の座標をａ、右下端の座標をｂとすれば、ａ（２４０，１８０）、ｂ（３００，２１５）などと表すことが出来る。したがって、特徴領域情報保持手段７に蓄積される特徴領域情報は、［ａ１，ｂ１］、［ａ２，ｂ２］、［ａ３，ｂ３］、［ａ４，ｂ４］、…のように、ばらつきを含んでいる。ここでのａ１〜ａ４、ｂ１〜ｂ４の位置関係や出現回数は、図７に示す通りである。

特徴領域情報保持手段７はこのような履歴情報も合わせて保持し、蓄積された特徴領域情報の中から、（１）出現回数が最も多かった［ａ１，ｂ１］（２）左上端、右下端のそれぞれについて出現回数の多い［ａ１，ｂ２］（３）出現回数に差の少ない場合には、平均をとり［ａ１，（ｂ１＋ｂ２）／２］とするなどの方法により、より正確な特徴領域情報を算出し、該当するグループの代表値とする。

このようにして、検出された複数の特徴領域情報をグルーピングすることができるが、このグルーピング処理では、特徴画像抽出手段１００で抽出済の特徴領域の位置、大きさ、形状を用いているため、入力映像上の同じ領域に順次異なる文字情報が表示される場合などでは、同じ領域としてグルーピングされ、文字領域の画像内容の区別が付かなくなる。その結果、メモリ削減などで代表画像だけを残すような構成とする場合には、特定の画像（例えば、時間的に前のフレームで検出された画像）だけが保持されてしまう。

そこで、特徴画像抽出手段１００から特徴領域の検出判定に使用したエッジ出現位置やエッジ強度、画素ブロックごとのエッジ数の分布状態といった検出判定情報を特徴領域情報保持手段７へ入力し、各特徴領域の検出判定情報もグルーピング処理に使用する。

例えば図８のように、時間的に連続して同じ領域に異なる文字情報が表示される場合、特徴領域情報の境界情報は同じになるため、検出判定情報を使用しないと先に述べたグルーピング動作により、特徴領域画像としては図８（ａ）で抽出した画像のみが保持されることになる。

そこで検出判定情報として画素ブロック毎のエッジ数の分布状態を使用すると、対応する各ブロックで保持する値の一致度や、同じ値の密集具合、密集部分の形状といった類似度の判定基準により、図８（ａ）と（ｂ）では分布状態が異なると判定できる。

このようにして、比較する特徴領域情報間で位置、大きさに関する基準を満たして形状的には同一と判定され、かつ検出判定情報の類似度が所定の基準を満たせば真に同一の特徴領域を示すものとして、同じグループに登録する。また、形状的には同一と判定されたものの、検出判定情報の類似度が所定の基準を満たさなければ、異なる特徴領域であると判断し、異なるグループとして登録する。

このようにして特徴領域情報保持手段７でグルーピングされた特徴領域情報群から、使用者が画面上で指定した位置を含む特徴領域情報（指定特徴領域情報）があれば、処理対象領域決定手段８は、指定特徴領域情報に対応する特徴領域を処理対象領域とみなす。その結果、表示手段１２で表示される特徴画像が使用者の意図するものと異なる場合は、さらに使用者からの指示による制御情報を受けることにより、検出判定情報によりさらに選別がなされた他の特徴領域情報を用いることができる。また、使用者が指定した位置を含む特徴領域情報がなければ、出現頻度の最も高い特徴領域情報を利用し、処理対象領域とするといった対応がとれる。その後の動作は実施の形態１と同様であるため、説明を省略する。

＜効果＞
実施の形態３に係る画像再生装置によれば、以下の効果を奏する。すなわち、実施の形態３の画像再生装置において、特徴画像抽出手段１００は、特徴画像を検出する際に使用した特徴量（検出判定情報）を出力し、特徴領域情報保持手段７は、特徴量に基づいて特徴領域情報をグループ分けし、処理対象領域決定手段８は、指定位置情報とグループ分けされた特徴領域情報とに基づき、指定特徴領域情報を選択する。このように、特徴領域情報保持手段７で特徴領域情報をグルーピングするような構成としたので、特徴領域情報の位置、大きさ、形状などを正確に算出することができる。また検出判定情報を使って特徴領域情報を登録できるような構成としたので、より細かく特徴画像を分類することができ、使用者の要求により正確に応えることが可能となる。

又、特徴量は、特徴領域のエッジ出現位置、エッジ強度、所定の閾値よりも大きいエッジ強度を持つ画素数の画素ブロック毎の分布状態からなる。これにより、より細かく特徴画像を分類することができ、使用者の要求により正確に応えることが可能となる。

（実施の形態４）
＜構成＞
図９は、本発明の実施の形態４における画像再生装置の構成を示す概略ブロック図である。実施の形態４の画像再生措置は、図６に示した実施の形態３の画像再生装置と比較して、処理対象領域加工手段９を新たに設けている点が異なる。

＜動作＞
本実施の形態における処理対象領域加工手段９が関わる動作について説明する。

処理対象領域加工手段９は、領域画像取得手段１３から特徴領域画像データを受け、制御手段１０からの制御情報にしたがって画像処理を施す。出力処理手段１１は、フレームメモリ２からフレームメモリ制御手段３を介して読み出したフレームデータと処理対象領域加工手段９で加工された領域画像データをオーバーレイ処理して、表示手段１２に出力する。

処理対象領域加工手段９は、読み込んだ領域画像に対して見易さを改善するために拡大処理やコントラスト調整などの画像処理を行う。文字等の特徴画像の検出は、演算量の軽減などの目的から輝度（Ｙ）信号のみで行う事が出来るが、処理対象領域の画像処理はＲＧＢ、若しくはＹＵＶのカラー画像に対して行う。

本発明では、選択されたタイミングで、しかも比較的小領域の処理対象領域に対して画像処理を行うため、処理時間や処理負荷の点からマイコンなどによるソフトウェア処理が可能である。なお、処理対象領域加工手段９で加工した特徴領域画像データは、出力処理手段１１に出力するものとしたが、一旦フレームメモリ２に格納した後に出力処理手段１１がフレームメモリ２から取得しても良い。

すなわち、制御手段１０は指定された表示動作の情報を出力し、画像再生装置は指定領域画像に対し表示動作の情報に基づいて画像加工処理を施す処理対象領域加工手段９を備える。これにより、使用者が見やすいように特徴画像を拡大して再生映像にオーバーレイ表示することが可能となる。

＜画像表示＞
次に、画像再生装置を実際に使用する際の、ユーザインタフェースについて説明する。

図１０は、本実施の形態におけるユーザインタフェースの一例を示すものである。このユーザインタフェースは、簡単な操作によって使用者が所望する情報を見やすく表示し、且つ見逃した情報を任意のタイミングで確認できることによって使用者の利便性を向上させることを目的とする。

例えば、使用者が現在表示されている文字情報に１回タッチすると（図１０（ａ））、当該文字情報は拡大する（図１０（ｃ））。又、当該画面上の箇所を長押し、あるいは２度押しすると（図１０（ｂ））、その領域に過去に表示された文字情報を遡り表示する（図１０（ｄ））。もちろん、この他にも縮小表示や表示位置の変更、最新履歴の表示だけでなく過去の履歴の遡り表示など様々な表示方法が適用できる。

１回タッチや長押しという使用者が表示手段１２のタッチパネルで行った操作により、制御手段１０から指定位置情報が処理対象領域決定手段８へ、制御情報が処理対象領域加工手段９に送られる。ここでの制御情報とは、使用者が１回タッチしたのか長押ししたのかを示す情報である。

指定位置情報にしたがって、処理対象領域決定手段８はどのフレームデータの特徴領域を使用するかを決定し、選ばれた特徴領域情報（指定特徴領域情報）を領域画像取得手段１３に出力し、領域画像取得手段１３では対応する領域画像をフレームメモリ２から読み出し、処理対象領域加工手段９へ出力する。処理対象領域加工手段９は制御情報に従って入力された領域画像に対して画像加工を行い、加工済の領域画像を出力処理手段１１へ出力する。

また処理対象領域加工手段９で、オーバーレイする領域画像の周囲に額縁を付加することにより強調してもよい。この場合は、あらかじめ領域画像取得手段１３で領域画像を取得する際に、処理対象領域決定手段８で決定された特徴領域情報よりも上下左右に額縁の太さに相当する数画素程度のマージンを取ることで、特徴画像を欠けさせることなく額縁を付加することができる。

出力処理手段１１では、フレームメモリ２から表示すべきオリジナル画像のフレームデータを読み出し、当該フレームデータに対して加工済領域画像データをオーバーレイ処理し、表示手段１２へ出力する。出力処理手段１１は、オーバーレイされる領域画像とオリジナル画像との境界部分で発生する不連続部分に対して、境界部を平滑化することで不連続部分を滑らかにするなどの、視聴者が違和感なく視聴できるようなフィルタ処理を行うようにしてもよい。

２ フレームメモリ、４ 特徴ブロック検出手段、５ 誤検出除去手段、６ 特徴領域整形手段、７ 特徴領域情報保持手段、８ 処理対象領域決定手段、９ 処理対象領域加工手段、１０ 制御手段、１１ 出力処理手段、１３ 領域画像取得手段、１００ 特徴画像抽出手段。

Claims (10)

1. 入力映像から所定の画像処理により特徴画像を抽出する特徴画像抽出手段と、
   前記特徴画像抽出手段が抽出した前記特徴画像の前記入力映像上の領域である特徴領域の情報を特徴領域情報として蓄積する特徴領域情報保持手段と、
   指定された表示画面上の表示座標系での位置を前記入力映像上の映像座標系の指定位置に変換して指定位置情報として出力する制御手段と、
   過去の前記特徴領域情報の中から前記指定位置を含む前記特徴領域に対応する前記特徴領域情報を指定特徴領域情報として選択する処理対象領域決定手段と、
   前記指定特徴領域情報の前記特徴領域の画像を指定領域画像として取得する領域画像取得手段と、
   前記指定領域画像を前記入力映像の再生映像にオーバーレイ処理する出力処理手段と、を備え、
   前記特徴画像抽出手段は、前記入力映像から特徴ブロックを検出する特徴ブロック検出手段と、検出された前記特徴ブロックのフレーム方向の変化および検出された前記特徴ブロックの周辺画素の変化のうち少なくとも一方の変化に基づいて検出対象とする前記特徴ブロックか否かを判断する誤検出除去手段とを有し、検出対象とすると判断した前記特徴ブロックから前記特徴画像を抽出することを特徴とする、画像再生装置。
2. 前記特徴領域情報は、特徴画像と前記特徴画像の境界を表す境界情報とを有し、
   前記処理対象領域決定手段は、前記境界情報によって指定位置を含むことを判断し、
   前記領域画像取得手段は、前記特徴領域情報の前記特徴画像を指定領域画像とすることを特徴とする、請求項１に記載の画像再生装置。
3. 前記入力映像の各フレーム画像を識別子と共に記憶する記憶手段をさらに備え、
   前記特徴領域情報は、抽出元の前記フレーム画像の前記識別子を有し、
   前記領域画像取得手段は、前記指定特徴領域情報の識別子に対応する前記記憶手段に記憶されたフレーム画像のうち前記境界情報が示す部分を前記指定領域画像として取得することを特徴とする、請求項２に記載の画像再生装置。
4. 前記誤検出除去手段は、前記フレーム画像の局所ヒストグラムをフレーム間で比較することにより、前記入力映像上に前記特徴画像が出現するタイミングと出現領域を検出し、前記出現領域以外で抽出される前記特徴画像を誤検出として除去することを特徴とする、請求項３に記載の画像再生装置。
5. 前記誤検出除去手段は、前記特徴領域として特定された領域のうち、エッジ強度の大きさが所定の基準を満たす画素あるいは画素ブロックが所定の方向に所定の閾値を超えて連続して並ぶ領域を誤検出として除去することを特徴とする、請求項１〜４のいずれかに記載の画像再生装置。
6. 前記特徴画像抽出手段は、前記特徴画像を検出する際に使用した特徴量を出力し、
   前記特徴領域情報保持手段は、前記特徴量に基づいて前記特徴領域情報をグループ分けし、
   前記処理対象領域決定手段は、前記指定位置情報と前記グループ分けされた前記特徴領域情報とに基づき、前記指定特徴領域情報を選択することを特徴とする、請求項１〜５のいずれかに記載の画像再生装置。
7. 前記特徴量は、前記特徴領域のエッジ出現位置、エッジ強度、所定の閾値よりも大きいエッジ強度を持つ画素数の画素ブロック毎の分布状態からなることを特徴とする、請求項６に記載の画像再生装置。
8. 前記特徴領域情報保持手段は、前記特徴領域情報を出現回数と共に蓄積し、出現回数に応じて前記グループ分けしたグループ毎に前記特徴領域情報の代表値を算出し、
   前記処理対象領域決定手段は、過去の前記特徴領域情報の前記代表値の中から前記指定特徴領域情報を選択することを特徴とする、請求項６または７に記載の画像再生装置。
9. 前記特徴領域情報保持手段は、前記特徴領域情報を出現回数と共に蓄積し、
   前記処理対象領域決定手段は、前記指定位置を含む前記特徴領域に対応する前記特徴領域情報を出現回数に応じて前記指定特徴領域情報として選択することを特徴とする、請求項１〜７のいずれかに記載の画像再生装置。
   
   
10. 前記制御手段は、指定された表示動作の情報を出力し、
    前記指定領域画像に対し前記表示動作の情報に基づいて画像加工処理を施す処理対象領域加工手段をさらに備えたことを特徴とする、請求項１〜７のいずれかに記載の画像再生装置。

Images