JP4631258B2 - 携帯機器 - Google Patents

Description

本発明は、画像上に配置された文字を認識し、画像上に配置された文字を強調して表示できる携帯機器に関する。

携帯電話機、ＰＤＡ、ポータブルテレビといった携帯機器は、携帯性を重視する点から筐体の大きさが制限されるため、その表示装置には画面のサイズが小さいものを適用せざるを得ない。

このため、携帯機器が備える表示装置で地上波テレビ放送を表示したり、無線通信によって携帯機器かからインターネット網にアクセスして動画を再生する場合などでは、元の映像ソースを表示画面のサイズに合わせて縮小しなければならない。

従って、携帯機器が備える表示装置の解像度が向上しても、映画などの字幕やニューステロップなどの文字を高い視認性で表示することは困難である。

携帯機器に大画面の表示装置を搭載すれば、これらの文字の視認性を高めることは容易であるが、その反面携帯性が損なわれることとなる。

このように、大画面の表示装置を適用できない携帯機器においては、画面に表示される文字の視認性を高めることと携帯性を向上させることとを両立することは難しかった。

携帯機器の表示装置において文字の視認性を高めることを目的とした従来技術としては、特許文献１に開示される「ＬＣＤ文字拡大表示方式」や特許文献２に開示される「ＬＣＤ文字拡大表示方式」がある。

画面に表示される情報が文字のみである場合には、上記特許文献１や特許文献２に記載の発明のように文字フォントをいくつか準備しておくことで、特定の文字のみを拡大して表示することが可能である。しかし、映画の字幕やニューステロップなどのように、映像と文字とを同時に表示する際に上記特許文献１や特許文献２に記載の発明を適用する場合には、画面上に表示される可能性のある文字を全てフォントとして備えていなければならない。また、映像内の文字を認識したのちに、その文字が様々なフォントのうちいずれに該当するかを識別しなければならないため、リアルタイムで配信される映像中の文字を拡大表示することは非常に難しかった。

また、映像中の文字を拡大して表示する従来技術として、特許文献３に開示される「ＤＶＤビデオ再生装置」がある。特許文献３に記載の発明は、ＤＶＤビデオ再生時にサブピクチャ表示命令があった場合、ディスクから読み出したサブピクチャ表示領域を拡大した上で主映像と合成して表示することによって、携帯型・車載型のＤＶＤビデオ再生装置において字幕の視認性を高めるものである。
特開平６−０１２０４６号公報 特開平６−０１２０４７号公報 特開２００２−０４４５９０号公報

しかし、特許文献３に記載の発明は、映像が主映像と副映像とに分かれていなければ適用することができない。すなわち、ＤＶＤビデオのように、映像（主映像）と字幕（副映像）とが予め別々の映像情報として記録されているメディアを再生する場合には適用可能であるが、テレビ放送における字幕のように映像上に文字がオーバラップされて一つの映像情報となっている場合や、画像の中に直接字幕が書き込まれている映画フィルムのようなメディアを再生する場合などには適用することはできない。

このように、従来は、映像上にオーバラップ表示される字幕のように、画像と区別されていない文字を認識することはできなかったため、その文字を強調して表示することはできなかった。

本発明は係る問題に鑑みてなされたものであり、画像と一体の映像信号となっている画像中の文字を認識し、画像上の文字を視認性を高く表示する携帯機器を提供することを目的とする。

上記目的を達成するため、本発明は、下記１−１〜１−３のいずれかに示す構成の携帯機器を提供するものである。
１−１：原画像の画像データを受信する手段と、原画像の画像データから、所定領域分の画像データを切り出す画像切り出し手段と、前記画像切り出し手段が切り出した画像データから、隣接画素との明度差がしきい値以上であり白色または有色と検出される画素に対応する部分の画像データを文字領域の画像データとして抽出する文字抽出手段と、画像データに応じた情報を表示する表示手段と、文字領域の画像データを、表示手段に指定色を表示させる画像データに変換する色変換手段と、画像切り出し手段が切り出した画像データに応じた画像が下地となるように、該画像切り出し手段が切り出した画像データと色変換手段によって変換された画像データとを合成する第１の画像データ合成手段と、所定領域分の画像データが切り出された原画像の画像データと、第１の画像データ合成手段が合成した画像データとを合成する第２の画像データ合成手段と、第２の画像データ合成手段によって合成された画像データを表示手段に表示させる手段とを有することを特徴とする携帯機器。
１−２：原画像の画像データを受信する手段と、原画像の画像データから、所定領域分の画像データを切り出す画像切り出し手段と、前記画像切り出し手段が切り出した画像データから、隣接画素との明度差がしきい値以上であり白色または有色と検出される画素に対応する部分の画像データを文字領域の画像データとして抽出する文字抽出手段と、
画像データに応じた情報を表示する表示手段と、所定領域の大きさを上限として、文字領域の画像データに応じた画像を拡大する文字拡大手段と、画像切り出し手段が切り出した画像データに応じた画像が下地となるように、該画像切り出し手段が切り出した画像データと文字拡大手段によって拡大された文字領域の画像データとを合成する第１の画像データ合成手段と、所定領域分の画像データが切り出された原画像の画像データと、第１の画像データ合成手段が合成した画像データとを合成する第２の画像データ合成手段と、第２の画像データ合成手段によって合成された画像データを表示手段に表示させる手段とを有する携帯機器。
１−３：原画像の画像データを受信する手段と、原画像の画像データから、所定領域分の画像データを切り出す画像切り出し手段と、前記画像切り出し手段が切り出した画像データから、隣接画素との明度差がしきい値以上であり白色または有色と検出される画素に対応する部分の画像データを文字領域の画像データとして抽出する文字抽出手段と、画像データに応じた情報を表示する表示手段と、文字領域の画像データを、表示手段に指定色を表示させる画像データに変換する色変換手段と、所定領域の大きさを上限として、文字領域の画像データに応じた画像を拡大する文字拡大手段と、文字領域の画像データに対して色変換手段及び文字拡大手段の少なくとも一方に画像処理を行わせる強調処理手段と、画像切り出し手段が切り出した画像データに応じた画像が下地となるように、該画像切り出し手段が切り出した画像データと強調処理手段によって画像処理が施された文字領域の画像データとを合成する第１の画像データ合成手段と、所定領域分の画像データが切り出された原画像の画像データと、第１の画像データ合成手段が合成した画像データとを合成する第２の画像データ合成手段と、第２の画像データ合成手段によって合成された画像データを表示手段に表示させる手段とを有する携帯機器。

本発明によれば、画像と一体の映像信号となっている画像中の文字を認識し、画像上の文字を視認性を高く表示する携帯機器を提供できる。

本発明は、表示画面サイズの限られた表示装置（携帯機器用の表示装置など）において、文字（字幕など）を含んだ映画やニュースを表示する場合に、通常白抜き文字又は白枠文字で表示される文字部分を映像的に認識するものであり、さらには、字幕部分に拡大及び色補正の少なくとも一方を施した上で表示するものである。これにより、画像と文字とが互いに独立した映像信号となっていなくとも文字を認識でき、認識した文字に強調処理（拡大、色変換など）を施すことで、表示画面が小さい表示装置においては、映像とともに表示する文字の視認性を高くすることができる。

図１に、本発明が映像とともに表示する文字の視認性を高くする手法を示す。まず、原画像１１をユーザによって指定された境界１２で分割する。次に、分割した画像のうち文字が表示される部分（指定領域）１２ａ内の文字を画像認識によって検出する。そして、指定領域１２ａ内の文字に対して強調処理として色変換及び拡大の少なくとも一方を行い、強調処理を施した後の指定領域１３と、分割した画像の映像部分１２ｂとを合成して表示する。

このような処理を行うことにより、表示画面のサイズが小さい表示装置においても、視認性の高い文字を映像とともに表示することが可能となる。

以下、上記の手法により視認性の高い文字を映像とともに表示する本発明の好適な実施例について説明する。

図２に、本発明の第１の実施例にかかる表示装置の構成を示す。この表示装置は、映像受信部３１、制御部３２、画像バッファ３３、コントラスト検出部３４、色変換部３５、画像拡大部３６、画像メモリ部３７及び表示部３８を有する。

映像受信部３１は、装置外から入力される画像信号を受信して復調する機能部であり、例えばインターネット網上で配信される画像信号を受信して復調したり、テレビ放送を受信して復調したりする。制御部３２は、画像受信部３１から出力された復調済みの画像信号を認識し、文字拡大処理を制御する。画像バッファ３３は、制御部３２からの制御信号に基づいて画像信号に画像から一部分（指定領域）を切り出す。コントラスト検出部３４は、画像バッファ３３が切り出した部分から字幕に相当する白色部分を抽出する。色変換部３５は、コントラスト検出部３４によって字幕に相当するとして抽出された白色部分の色を変換する。画像拡大部３６は、コントラスト検出部３４によって字幕に相当するとして抽出された部分のみを指定された方向に拡大した画像を生成する。画像メモリ部３７は、表示部３８に表示する画像の情報が書き込まれるメモリである。表示部３８は、画像メモリ３７内に書き込まれた画像情報に応じた画像を表示する。表示部３８には、小型のブラウン管、液晶ディスプレイ及び有機ＥＬディスプレイなど可搬性のある表示装置を適用可能である。

図３に、本実施例に係る携帯機器が表示部３８に情報を表示する場合の動作の流れを示す。
元画像が入力されると、制御部３２は、ユーザによる拡大要求があるか否かを確認する（ステップＳ１０１）。

拡大要求がある場合（ステップＳ１０１／Ｙｅｓ）、制御部３２は、予めユーザによって設定されているユーザ設定（画面境界線の位置（指定領域の大きさ）、コントラストしきい値、指定色、拡大方向設定）を不図示のユーザ設定記憶部から読み出す（ステップＳ１０２）。

ユーザ設定を読み出した後、制御部３２は、画像境界線の位置を画像バッファ３３に通知し、指定領域の画像データを切り取らせる。すなわち、画像バッファ３３は、元画像の画像データのうち指定領域部分のみを記憶する。画像バッファ３３が指定領域部分の画像データを記憶すると、制御部３２は、コントラストしきい値をコントラスト検出部３４へ通知し、指定領域内に白色部分が存在するか否かを確認させる（ステップＳ１０３）。

指定領域内に白色部分がある場合には（ステップＳ１０４／Ｙｅｓ）、制御部３２は、色変換部３５に指定色を通知し、指定領域内の白色部分を指定色に変換させる（ステップＳ１０５）。

色変換部３５が白色部分の色変換を終えると、制御部３２は、拡大方向設定を画像拡大部３６に通知する。拡大方向設定が横方向の場合（ステップＳ１０６／横方向設定）、画像拡大部３６は、色変換された部分を横方向に拡大し、指定領域と略同一幅とする（ステップＳ１０７）。また、拡大方向設定が縦方向の場合（ステップＳ１０６／縦方向設定）、画像拡大部３６は、色変換された部分を縦方向に拡大し、指定領域と略同一高さとする（ステップＳ１０８）。あるいは、拡大方向設定が任意方向の場合（ステップＳ１０６／任意設定）、画像拡大部３６は、色変換された部分をユーザが予め設定した倍率に合わせて拡大する（ステップＳ１０９）。

画像拡大部３６は、白色部分が指定色に変換された上で拡大された指定領域の画像データを画像メモリ３７内の画像データに上書きする（ステップＳ１１０）。これにより、画像メモリ３７内の画像データは、指定領域の内の文字が強調されたものとなる。

表示部３８が、画像メモリ３７に書き込まれている画像データに応じた画像を表示することにより、指定領域内の文字を強調して表示できる。

なお、指定領域内に文字と認識される部分存在しない場合には（ステップＳ１０４／Ｎｏ）、拡大や色変換などの処理は行わず元の画像を表示する。

本実施例にかかる携帯機器が映像上の文字を強調する動作について説明する。
映像受信部３１は、受信した映像信号を復調し、一画面分の情報を受信・復調し終えると、復調した映像情報を画像データとして画像メモリ３７に書き込む。また、制御部３２は映像受信部３１が一画面分の情報を復調し終えたことを認識すると、画像バッファ３３に指示を送り、復調した映像信号に応じた画像の中からユーザに指定された領域の分のデータを取り込ませる。

画像バッファ３３に取り込まれた指定領域の画像データは、コントラスト検出部３４へ送られ、指定領域のコントラストを制御部３２から通知されるコントラストしきい値と比較することで白色部分が検出される。換言すると、コントラスト検出部３４は、隣接する画素とのコントラストがコントラストしきい値以上の画素で指定領域内に存在するものを白色部分として検出する。これにより、文字部分の輪郭を映像的に認識される。

色変換部３５は、コントラスト検出部３４が白色部分として検出した部分の色を、制御部３２から通知される指定色に変換する。白色部分の色が指定色に変換された指定領域の画像データは、色変換部３５から画像拡大部３６へ送られる。画像拡大部３６は、色変換部３５から取得した指定領域の画像データのうち、指定色に変換された部分に対して、制御部３２から通知される拡大設定に基づいて縦方向や横方向へ画像を拡大する処理を施す。

画像拡大部３６は、指定色に変換した部分に拡大処理を施した指定領域の画像データを画像メモリ３７へ出力し、画像メモリ３７に書き込まれている一画面分の画像データのうち指定領域の部分を上書きする。

画像メモリ部３７は、指定領域の部分が上書きされた画像データを表示部３８に出力し、指定領域の白色部分を強調した画像（指定領域内の白色部分が指定色に変換され、拡大された画像）を表示させる。

このように、本実施例にかかる表示装置は、映画やニュースなどの映像を表示する際に用いられる字幕やテロップを自動的に認識し、拡大して表示できる。よって、携帯性の面から大画面の表示画面を備えることができなくても、映像とともに表示する文字の視認性を高くできる。
また、映像上の白色部分をそのまま文字として利用するため、事前に文字フォントなどを準備する必要がない。このため、通常のフォントはもとより、手書き文字や特殊文字（丸文字、相撲文字など）を含めあらゆる文字を用いた字幕やテロップに適用可能である。

図４に、本発明の第２の実施例に係る表示装置の構成を示す。この表示装置は、映像受信部４１、画像メモリ部４７、表示部４８及びＤＳＰ部４９を有する。
映像受信部４１、画像メモリ部４７及び表示部４８は、第１の実施例における映像受信部３１、画像メモリ部３７及び表示部３８とそれぞれ同様である。

ＤＳＰ部４９は、制御部４２、画像バッファ４３、コントラスト検出部４４、色変換部４５及び画像拡大部４６を有する。これらは、第１の実施例における制御部３２、画像バッファ３３、コントラスト検出部３４、色変換部３５及び画像拡大部３６と同様の機能を有する。

本実施例に係る表示装置は、映像中の文字を強調して表示するための画像処理がＤＳＰ部４９に実質的なプログラムとして記録されており、ＤＳＰ部４９内部のソフトウエア処理によって第１の実施例と同様の処理を行う。すなわち、映像受信部４１によって復調された１画面分の画像データは、ＤＳＰ部４９に取り込まれ、ＤＳＰ部４９内の制御部４２、画像バッファ４３、コントラスト検出部４４、色変換部４５及び画像拡大部４６が第１の実施例と同様の動作を行うことによって、指定領域内の文字を指定色に変換し、拡大した画像データが画像メモリ４７に書き込まれる。これにより、映像内の文字を強調した画像を表示部４８に表示させることができる。

本実施例においては、映像受信部４１や画像メモリ部４７がＤＳＰ部４９と別個の構成である場合を例に説明したが、ＤＳＰ部４９がこれらを含む構成であっても構わない。

なお、上記各実施例は、本発明の好適な実施の一例であり、本発明はこれに限定されることはない。例えば、色変換としては、白色部分を指定色に変換する処理の他に、白色を強調する処理（例えば、ＲＧＢ値が２５０，２５０，２５０の色を、ＲＧＢ値２５５，２５５，２５５の完全な白色に変換する処理）や、白色部分の周囲の色を変換する処理（白色部分の周囲がグレーであった場合に、白色部分の周囲を黒などに変換して白色部分とのコントラストを高めたり、ユーザが設定した特定の色（ユーザ自身が見やすいと感じる色）に変換する）を適用することでも白色部分の視認性を高めることが可能である。

また、拡大設定には、元の白色部分の大きさに関わらず自動的に指定領域一杯に表示するような設定や、一定のサイズに固定して拡大するような設定も適用可能である。

また、上記各実施例では、映像中の白色部分をコントラストしきい値に基づいて検出する例を説明したが、白地主体の映像中に有色の文字が表示される場合には、コントラストしきい値に基づいて有色部分を文字として検出するようにしてもよい。

また、上記各実施例では、白色部分に対して色変換処理及び拡大処理の両方を施す動作を説明したが、これらの処理は必ずしも両方行う必要はなく、どちらか一方だけ行うようにしても良い。

さらに、上記各実施例では、一画面分の画像データを画像メモリに一旦記憶し、指定領域部分のデータを白色部分に色変換処理及び拡大処理を施した画像データで上書きしているがこれに限定されることはない。例えば、一画面分の画像データから画像バッファによって指定領域部分のデータを切り出し、映像部分の画像データのみを画像メモリに書き込んでおき、白色部分に対して色変換処理及び拡大処理を施した指定領域の画像データを追記するようにしても良い。

さらに、本発明は、大画面の表示装置を適用することが難しい携帯機器のみならず、高齢者向けのテレビ装置のように、あらゆる表示装置に適用できる。
このように、本発明は様々な変形が可能である。

本発明に係る携帯機器が映像中の文字を強調して表示する手法を示す図である。 本発明を好適に実施した第１の実施例にかかる携帯機器の構成を示す図である。 第１の実施例にかかる携帯機器が映像中の文字を強調して表示する処理の流れを示す図である。 本発明を好適に実施した第２の実施例にかかる携帯機器の構成を示す図である。

符号の説明

１１ 原画像
１２ 境界
１２ａ 指定領域
１２ｂ 映像部分
１３ 強調処理後の指定領域
３１、４１ 映像受信部
３２、４２ 制御部
３３、４３ 画像バッファ
３４、４４ コントラスト検出部
３５、４５ 色変換部
３６、４６ 画像拡大部
３７、４７ 画像メモリ部
３８、４８ 表示部
４９ ＤＳＰ部

Claims (3)

1. 原画像の画像データを受信する手段と、
   原画像の画像データから、所定領域分の画像データを切り出す画像切り出し手段と、
   前記画像切り出し手段が切り出した画像データから、隣接画素との明度差がしきい値以上であり白色または有色と検出される画素に対応する部分の画像データを文字領域の画像データとして抽出する文字抽出手段と、
   画像データに応じた情報を表示する表示手段と、
   前記文字領域の画像データを、前記表示手段に指定色を表示させる画像データに変換する色変換手段と、
   前記画像切り出し手段が切り出した画像データに応じた画像が下地となるように、該画像切り出し手段が切り出した画像データと前記色変換手段によって変換された画像データとを合成する第１の画像データ合成手段と、
   前記所定領域分の画像データが切り出された原画像の画像データと、前記第１の画像データ合成手段が合成した画像データとを合成する第２の画像データ合成手段と、
   前記第２の画像データ合成手段によって合成された画像データを前記表示手段に表示させる手段とを有することを特徴とする携帯機器。
2. 原画像の画像データを受信する手段と、
   原画像の画像データから、所定領域分の画像データを切り出す画像切り出し手段と、
   前記画像切り出し手段が切り出した画像データから、隣接画素との明度差がしきい値以上であり白色または有色と検出される画素に対応する部分の画像データを文字領域の画像データとして抽出する文字抽出手段と、
   画像データに応じた情報を表示する表示手段と、
   前記所定領域の大きさを上限として、前記文字領域の画像データに応じた画像を拡大する文字拡大手段と、
   前記画像切り出し手段が切り出した画像データに応じた画像が下地となるように、該画像切り出し手段が切り出した画像データと前記文字拡大手段によって拡大された文字領域の画像データとを合成する第１の画像データ合成手段と、
   前記所定領域分の画像データが切り出された原画像の画像データと、前記第１の画像データ合成手段が合成した画像データとを合成する第２の画像データ合成手段と、
   前記第２の画像データ合成手段によって合成された画像データを前記表示手段に表示させる手段とを有する携帯機器。
3. 原画像の画像データを受信する手段と、
   原画像の画像データから、所定領域分の画像データを切り出す画像切り出し手段と、
   前記画像切り出し手段が切り出した画像データから、隣接画素との明度差がしきい値以上であり白色または有色と検出される画素に対応する部分の画像データを文字領域の画像データとして抽出する文字抽出手段と、
   画像データに応じた情報を表示する表示手段と、
   前記文字領域の画像データを、前記表示手段に指定色を表示させる画像データに変換する色変換手段と、
   前記所定領域の大きさを上限として、前記文字領域の画像データに応じた画像を拡大する文字拡大手段と、
   前記文字領域の画像データに対して前記色変換手段及び前記文字拡大手段の少なくとも一方に画像処理を行わせる強調処理手段と、
   前記画像切り出し手段が切り出した画像データに応じた画像が下地となるように、該画像切り出し手段が切り出した画像データと前記強調処理手段によって画像処理が施された文字領域の画像データとを合成する第１の画像データ合成手段と、
   前記所定領域分の画像データが切り出された原画像の画像データと、前記第１の画像データ合成手段が合成した画像データとを合成する第２の画像データ合成手段と、
   前記第２の画像データ合成手段によって合成された画像データを前記表示手段に表示させる手段とを有する携帯機器。

Images