JP5255397B2

JP5255397B2 - 画像表示方法、および表示器

Info

Publication number: JP5255397B2
Application number: JP2008266836A
Authority: JP
Inventors: 富一今井; 剛和中; 泰史新屋敷; 正博城所; 薫村上
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-10-15
Filing date: 2008-10-15
Publication date: 2013-08-07
Anticipated expiration: 2028-10-15
Also published as: JP2010098483A

Description

本発明は、画像を合成して表示する画像表示方法、および表示器に関するものである。

ブラウザを搭載した表示器において、ＨＴＭＬコンテンツの画像情報にカメラ等の撮像手段からの動画情報を合成して表示することが行われる。図８は、従来の表示器Ｂのブロック構成を示しており、ＣＰＵを含んで構成される画像制御回路１０１と、ＬＣＤ等の表示器１０２とを備えている。画像制御回路１０１は、デコード部１０１ａおよび画像生成部１０１ｂ、デコード部１ｃおよび画像生成部１０１ｄ、画像合成部１０１ｅ、画像ドライバー１０１ｆ、演算部１０１ｇで構成され、画像制御回路１０１のＣＰＵ上で実行されるソフトウェアによって実現されている。

そして、デコード部１０１ａおよび画像生成部１０１ｂは画像生成モジュールを構成する外部モジュール１１１であり、デコード部１０１ａが動画情報Ｊ１を復号した後に、画像生成部１０１ｂがフレーム毎に描画された動画データを生成する。また、デコード部１０１ｃおよび画像生成部１０１ｄおよび画像合成部１０１ｅは画像生成モジュールを構成するブラウザ１１２であり、デコード部１０１ｃがＨＴＭＬコンテンツの画像情報Ｊ２を復号した後に、画像生成部１０１ｄがフレーム毎に描画されたＨＴＭＬコンテンツデータを生成する。ここで、外部モジュール１１１は、ブラウザ１１２にプラグイン等によって関連付けされている。そして、ブラウザ１１２の画像合成部１０１ｄが、ＨＴＭＬコンテンツデータに動画データを合成して合成画面データを生成した後、画像ドライバー１０１ｆが合成画面データを演算部１０１ｇに引き渡し、演算部１０１ｇが合成画面データを表示部１０２に出力して、表示部１０２は、合成画面データを画面上に表示する。

このように、ＨＴＭＬコンテンツデータと動画データとの合成は、画像制御回路１０１のＣＰＵでのソフトウェア処理によって行われていた（例えば、特許文献１参照）。
特開２００６−６５４６０号公報

上記従来例では、ＨＴＭＬコンテンツデータと動画データとをブラウザ１１２上の画面合成部１０１ｅで合成した後、画像ドライバー１０１ｆに引き渡されるため、動画処理の負荷によって合成処理に遅延が生じてしまう。具体的には、ＨＴＭＬコンテンツデータと動画データとを組み合わせるために、画像合成部１０１ｅにおいて、画像の位置、サイズ、フォーマット補正や、データコピー等の時間のかかるソフトウェア処理が必要となり、処理時間が長くなっていた。そのため、画像ドライバー１０１ｆの性能が高くて処理速度が速くても、表示器Ｂとしては動画の表示速度性能が悪化してしまう。

例えば、フレーム毎に描画された動画データを生成する画像生成部１０１ｂの処理速度［単位時間の表示フレーム数］が１０（ｆ／ｓ：フレーム／秒）、フレーム毎に描画されたＨＴＭＬコンテンツデータを生成する画像生成部１０１ｄの処理速度が１５（ｆ／ｓ）、ブラウザ１１２が出力画面を再描画する処理速度が８（ｆ／ｓ）、画像ドライバー１０１ｆの処理速度が１５（ｆ／ｓ）であったとしても、ＨＴＭＬコンテンツデータに動画データを合成して合成画面データを生成する画像合成部１０１ｅの処理速度が５（ｆ／ｓ）であれば、表示器Ｂの処理速度は、最も遅い画像合成部１０１ｅの処理速度である５（ｆ／ｓ）となる。また、ブラウザ１１２全体としての性能も落ちるため、再描画の処理速度も悪化する虞がある。

すなわち、ＨＴＭＬコンテンツデータと動画データとに関連性があるため（例えば、ＨＴＭＬコンテンツ上のボタン押下で動作制御を行う等）、ブラウザ１１２のソフトウェア処理で合成処理を管理していることが、処理速度悪化の原因となっている。このような処理速度の悪化は、特に性能が低いＣＰＵを用いて、画像処理の負荷が大きい動画情報と、画像処理の負荷が小さいＨＴＭＬコンテンツ等の画像情報とを合成する場合に問題となる。

そこで、このような問題点を解決するために、
（１）ハードウェアの性能を向上させるための、ＤＳＰ（Digital Signal Processor）の追加、ＣＰＵのクロック周波数アップ、メモリ容量アップ
（２）ブラウザのプラグインモジュールの活用
（３）オリジナルアプリケーションの作成
等の手段が考えられる。

しかし、上記（１）の解決手段では、チップ搭載によるコストアップや、高速化するモジュールをブラウザから切り出す必要があり、そのためのカスタマイズが必要になるという課題が生じる。

次に、上記（２）の解決手段では、ＣＰＵへの負荷が大きく、低性能のＣＰＵを用いる組み込み機器には最適のプラグインモジュールを搭載できない。また、プラグインモジュールを実装した場合、画面再描画のタイミングがブラウザで決定されるので、全体として表示速度が遅くなるという課題が生じる。さらに、ＨＴＭＬコンテンツデータと動画データとに関連性を持たせながら画面の重ね合わせ等を行うために処理が高負荷となり、このような高負荷処理を外部のプラグインモジュールで実現することは難しく、また市販のブラウザに適合する高性能のプラグインモジュールを入手することは困難である。

次に、上記（３）の解決手段では、動画データが多くなることによって、ＳＤＲＡＭやＦＲＯＭ等のメモリのリソース資源の枯渇や、リソース資源の追加によるコストアップが発生し、さらにはブラウザとの併用ができないため、制御等のためのモジュールを新たに作成する必要がある。また、動的な画面構成に対応できないので、多くの画面パターンを予めソフトウェアに格納しておく必要があるという課題が生じる。

本発明は、上記事由に鑑みてなされたものであり、その目的は、性能が低いＣＰＵを用いながら、動画データと画像データとの合成画面における動画の表示速度を向上させることができる画像表示方法、および表示器を提供することにある。

請求項１の発明は、動画情報である第１の画像情報と、動画情報以外の第２の画像情報とを合成して表示する画像表示方法において、第１の画像情報を第１の画像生成モジュールへ引き渡すとともに、第２の画像情報を第２の画像生成モジュールへ引き渡し、第１の画像生成モジュールは、第１の画像情報から、第１の画像データをフレーム毎に生成して画像ドライバーへ引き渡し、第２の画像生成モジュールは、第２の画像情報から、第２の画像データをフレーム毎に生成して画像ドライバーへ引き渡し、画像ドライバーは、第１，第２の画像データを個別に画像合成回路へ引き渡し、画像合成回路は、ハードウェアで構成されており、第１，第２の画像データを個別に再生して、当該個別に再生した第１，第２の画像データを合成し、当該合成画面を表示部に表示し、計測手段は、第１，第２の画像生成モジュールが画像データをフレーム毎に生成する各処理速度を計測し、モジュール制御手段は、当該計測結果に基づいて第１，第２の画像生成モジュールの各処理速度を調整することを特徴とする。

この発明によれば、画像表示方法において、第１の画像生成モジュールは、第１，第２の画像データの生成を行うのみであり、第１，第２の画像データの合成は、ハードウェアで構成された後段の画像合成回路で行うので、第１の画像生成モジュールでの動画処理の負荷に関わらず合成処理を行うことができる。したがって、性能が低いＣＰＵを用いたとしても、画像の合成処理は、画像生成モジュールのソフトウェア処理には関係ないので、動画データと画像データとの合成画面における動画の表示速度性能を向上させることができる。また、画像合成回路はハードウェアで構成されているので、ソフトウェアで構成する場合に比べて処理性能は安定している。また、モジュール制御手段の負荷が重くなり、第１の画像生成モジュールの処理速度が低下した場合は、自動で第２の画像生成モジュールの処理速度を低下させて、第１の画像生成モジュールの処理速度を当初の値にまで上げることで、動画の表示性能の安定化を図ることができる。

請求項２の発明は、請求項１において、第１の画像生成モジュールは、動画情報のみから第１の画像データを生成し、第２の画像生成モジュールは、動画情報以外の画像情報のみから第２の画像データを生成することを特徴とする。

この発明によれば、第１の画像生成モジュールを、予め高負荷の動画処理専用の画像生成モジュールとして作り込むことで、ソフトウェアのリソースを削減でき、さらにモジュール制御手段は、第２の画像生成モジュールよりも第１の画像生成モジュールの処理速度を速くして、処理割合を予め多く設定しておくことで、第１，第２の画像生成モジュールの処理速度の制御処理による負荷を低減できる。

請求項３の発明は、請求項１において、第１，第２の画像生成モジュールは、画像情報が、動画情報、または動画情報以外の画像情報のいずれであっても、当該画像情報から画像データをフレーム毎に生成可能に構成されることを特徴とする。

この発明によれば、モジュール制御手段は、画像情報に応じて、第１，第２の画像生成モジュールの処理速度を設定することができ、各画像生成モジュールに無駄な処理能力を振り分けることがなく、効率的となる。

請求項４の発明は、請求項１乃至３いずれかにおいて、第１，第２の画像生成モジュールに入力される各画像情報の種別を判別する画像判別手段と、第１，第２の画像生成モジュールの各処理速度を制御するパラメータの初期値および上下限値を前記判別結果に対応して格納した設定テーブルとを備え、前記モジュール制御手段は、前記判別結果と設定テーブルとを参照して、第１，第２の画像生成モジュールの前記パラメータの初期値を設定し、前記計測結果に基づいて第１，第２の画像生成モジュールの前記パラメータを上下限値の範囲内で調整することを特徴とする。

この発明によれば、画像情報の種別に応じた最適な動画の表示性能を得ることができる。また、処理速度が過度に速くなったり、過度に遅くなることがなく、第１，第２の画像データを表示することができる。

請求項５の発明は、請求項１乃至３いずれかにおいて、第１，第２の画像情報の送信元から送信される当該送信元の機器種別情報に対応して、第１，第２の画像生成モジュールの各処理速度を制御するパラメータの初期値および上下限値を格納した設定テーブルを備え、前記モジュール制御手段は、機器種別情報と設定テーブルとを参照して、第１，第２の画像生成モジュールの前記パラメータの初期値を設定し、前記計測結果に基づいて第１，第２の画像生成モジュールの前記パラメータを上下限値の範囲内で調整することを特徴とする。

この発明によれば、機器種別情報に応じた最適な動画の表示性能を得ることができる。また、処理速度が過度に速くなったり、過度に遅くなることがなく、第１，第２の画像データを表示することもできる。

請求項６の発明は、請求項１乃至３いずれかにおいて、前記モジュール制御手段は、第１，第２の画像生成モジュールの各処理速度を制御するパラメータの初期値および上下限値をネットワークを介して受信して、第１，第２の画像生成モジュールの前記パラメータの初期値を設定し、前記計測結果に基づいて第１，第２の画像生成モジュールの前記パラメータを上下限値の範囲内で調整することを特徴とする。

この発明によれば、ユーザが表示性能を決定するパラメータを更新する手間が必要なく、最適な動画の表示性能を得ることができる。

請求項７の発明は、動画情報である第１の画像情報と、動画情報以外の第２の画像情報とを合成して表示する表示器において、第１の画像情報から、第１の画像データをフレーム毎に生成して画像ドライバーへ引き渡す第１の画像生成モジュールと、第２の画像情報から、第２の画像データをフレーム毎に生成して画像ドライバーへ引き渡す第２の画像生成モジュールと、第１，第２の画像データを個別に画像合成回路へ引き渡す画像ドライバーと、ハードウェアで構成されており、第１，第２の画像データを個別に再生して、当該個別に再生した第１，第２の画像データを合成する画像合成回路と、当該合成画面を表示する表示部と、第１，第２の画像生成モジュールが画像データをフレーム毎に生成する各処理速度を計測する計測手段と、当該計測結果に基づいて第１，第２の画像生成ジュールの各処理速度を調整するモジュール制御手段とを備えることを特徴とする。

この発明によれば、表示器において、第１の画像生成モジュールは、第１，第２の画像データの生成を行うのみであり、第１，第２の画像データの合成は、ハードウェアで構成された後段の画像合成回路で行うので、第１の画像生成モジュールでの動画処理の負荷に関わらず合成処理を行うことができる。したがって、性能が低いＣＰＵを用いたとしても、画像の合成処理は、画像生成モジュールのソフトウェア処理には関係ないので、動画データと画像データとの合成画面における動画の表示速度性能を向上させることができる。また、画像合成回路はハードウェアで構成されているので、ソフトウェアで構成する場合に比べて処理性能は安定している。また、モジュール制御手段の負荷が重くなり、第１の画像生成モジュールの処理速度が低下した場合は、自動で第２の画像生成モジュールの処理速度を低下させて、第１の画像生成モジュールの処理速度を当初の値にまで上げることで、動画の表示性能の安定化を図ることができる。

以上説明したように、本発明では、性能が低いＣＰＵを用いながら、動画データと画像データとの合成画面における動画の表示速度を向上させることができるという効果がある。また、モジュール制御手段の負荷が重くなり、第１の画像生成モジュールの処理速度が低下した場合は、自動で第２の画像生成モジュールの処理速度を低下させて、第１の画像生成モジュールの処理速度を当初の値にまで上げることで、動画の表示性能の安定化を図ることができる。

以下、本発明の実施の形態を図面に基づいて説明する。

（実施形態１）
図２は、本発明の表示器Ａを用いた表示システムの概略のブロック構成を示し、図３に外観を示しており、ＣＰＵを含んで構成される画像制御回路１と、ハードウェアで構成される画像合成回路２と、ＬＣＤ等の表示部３と、画像制御回路１で実行されるソフトウェアを格納した記憶部４と、宅内ネットワークＮＴ１を介して通信を行い、外部機器５０から宅内ネットワークＮＴ１を介して送信される動画情報Ｊ１（第１の画像情報）、画像情報Ｊ２（第２の画像情報）を受信して、画像制御回路１へ引き渡す通信部５とを、矩形函状のハウジング２１に収納している。ハウジング２１の前面には、表示部３以外に、各種操作を行う操作ボタン２２が設けられている。

図１は、本実施形態の表示器Ａのブロック構成を示しており（ただし、記憶部４、通信部５を省略している）、画像制御回路１は、デコード部１ａおよび画像生成部１ｂ、デコード部１ｃおよび画像生成部１ｄ、画像ドライバー１ｅ、性能計測部１ｆ、モジュール制御部１ｇ、演算部１ｈで構成され、画像制御回路１のＣＰＵ上で実行されるソフトウェアによって実現されている。

そして、デコード部１ａおよび画像生成部１ｂは、動画情報Ｊ１のみを処理する動画処理専用の画像生成モジュールを構成する動画モジュール１１であり、デコード部１ｃおよび画像生成部１ｄは、動画処理能力を必要としないＨＴＭＬコンテンツの画像情報Ｊ２のみを処理するＨＴＭＬコンテンツ専用の画像生成モジュールを構成するブラウザ１２である。

まず、ＨＴＭＬコンテンツの画像情報Ｊ２と、この画像情報Ｊ２に関連付けられた動画情報Ｊ１とが、表示器Ａに入力された場合、モジュール制御部１ｇは、各情報の種類を判別して、動画情報Ｊ１であれば動画モジュール１１へ引き渡し、画像情報Ｊ２であればブラウザ１２へ引き渡す。動画モジュール１１では、デコード部１ａが動画情報Ｊ１を復号した後に、画像生成部１ｂがフレーム毎に描画された動画データ（第１の画像データ）を生成して、画像ドライバー１ｅへ引き渡す。また、ブラウザ１２では、デコード部１ｃがＨＴＭＬコンテンツの画像情報Ｊ２を復号した後に、画像生成部１ｄがフレーム毎に描画されたＨＴＭＬコンテンツデータ（第２の画像データ）を生成して、画像ドライバー１ｅへ引き渡す。上記動画モジュール１１は、動画処理専用であるため処理が早く、ブラウザ１２とは独立して画像ドライバー１ｅへデータを引き渡す。

画像ドライバー１ｅは、動画モジュール１１が生成した動画データと、ブラウザ１２が生成したＨＴＭＬコンテンツデータとを、演算部１ｈを介して画像合成回路２へ個別に引き渡す。

画像合成回路２は、ハードウェアのみで構成されており（すなわち、ソフトウェアを実行することで動作するものではない）、２つの画像再生部２ａ，２ｂと、画像合成部２ｃとを備える。画像再生部２ａは、動画モジュール１１からの動画データを再生し、画像再生部２ｂは、ブラウザ１２からのＨＴＭＬコンテンツデータを再生し、画像合成部２ｃは、画像生成部２ｂが再生したＨＴＭＬコンテンツデータに、画像生成部２ａが再生した動画データを上書きすることで、動画データとＨＴＭＬコンテンツデータとを合成して合成画面データを生成し、この合成画面データを表示部３へ出力して、表示部３は、合成画面データを画面上に表示する。

ここで、動画モジュール１１は１５（ｆ／ｓ：フレーム／秒）、ブラウザ１２は１０（ｆ／ｓ）、画像ドライバー１ｅは１５（ｆ／ｓ）、画像再生部２ａは１５（ｆ／ｓ）、画像再生部２ｂは１０（ｆ／ｓ）の各処理速度［単位時間の表示フレーム数］で動作している。そして、画像制御回路１のソフトウェア処理で動画データとＨＴＭＬコンテンツデータとの合成を行わず、ハードウェアのみで構成された画像合成回路２で画像合成を行うので、動画モジュール１１の動作は画像の合成処理に関係ないものとなり、動画モジュール１１における動画の処理速度の低下を抑制している。

このように本実施形態では、動画モジュール１１およびブラウザ１２は、動画データおよびＨＴＭＬコンテンツデータの生成を行うのみであり、動画データとＨＴＭＬコンテンツデータとの合成は、ハードウェアで構成された後段の画像合成回路２で行うので、動画モジュール１１での動画処理の負荷に関わらず合成処理を行うことができる。したがって、性能が低いＣＰＵを画像制御回路１に用いたとしても、画像の合成処理は画像制御回路１でのソフトウェア処理には関係ないので、動画データと画像データとの合成画面における動画の表示速度性能を向上させることができる。また、画像合成回路２はハードウェアで構成されているので、ソフトウェアで構成する場合に比べて処理性能は安定している。

ここで、動画モジュール１１は、モジュール制御部１ｇによってその処理動作を制御され、ブラウザ１２よりも高い処理能力を予め与えられているが、動画処理中において、モジュール制御部１ｇが動画処理以外の処理を行うと、動画処理を行う能力が不足して動画表示性能が低下する場合があった。

そこで、本実施形態では、性能計測部１ｆが、フレーム毎に描画された動画データを生成する動画モジュール１１の画像生成部１ｂの処理速度［単位時間当たりの表示フレーム数］、およびフレーム毎に描画されたＨＴＭＬコンテンツデータを生成するブラウザ１２の画像生成部１ｄの処理速度［単位時間当たりの表示フレーム数］を計測しており、モジュール制御部１ｇは、各計測結果に基づいて、動画モジュール１１およびブラウザ１２の各プロセス優先度（モジュール制御部１ｇにおいて、動画モジュール１１およびブラウザ１２の各処理を実行する優先度）を制御して、動画モジュール１１の処理速度を略一定に制御する。例えば、当初、動画モジュール１１が１５（ｆ／ｓ）、ブラウザ１２が１０（ｆ／ｓ）、画像ドライバー１ｅが１５（ｆ／ｓ）の各処理速度で動作しているときに、モジュール制御部１ｇの負荷が増大して、動画モジュール１１の処理速度が低下した場合（例えば、１０（ｆ／ｓ）にまで低下した場合）、モジュール制御部１ｇは、ブラウザ１２における処理速度を低下させることで（例えば、５（ｆ／ｓ）に低下させる）、モジュール制御部１ｇの負荷をこれ以上大きくすることなく、動画モジュール１１における処理速度を上げて当初の値に維持する（例えば、１５（ｆ／ｓ）に維持する）。

ブラウザ１２の処理速度を低下させる（または動画モジュール１１の処理速度を増大させる）には、モジュール制御部１ｇにおけるブラウザ１２のプロセス優先度を下げる、または動画モジュール１１のプロセス優先度を上げる方法がある。また、モジュール制御部１ｇにおける動画モジュール１１、ブラウザ１２のプロセス優先度を制御する代わりに、動画モジュール１１およびブラウザ１２への動画情報Ｊ１、画像情報Ｊ２の入力間隔を調整したり、動画モジュール１１およびブラウザ１２の各再描画間隔を調整することでも、動画モジュール１１およびブラウザ１２の各処理速度を制御することができる。

このように、モジュール制御部１ｇの負荷が重くなり、動画モジュール１１の処理速度が低下した場合は、自動でブラウザ１２の処理速度を低下させて、動画モジュール１１の処理速度を当初の値にまで上げることで、動画の表示性能の安定化を図ることができる。

また、動画モジュール１１を、予め高負荷の動画処理専用の画像生成モジュールとして作り込むことで、ソフトウェアのリソースを削減でき、さらにモジュール制御部１ｇは、ブラウザ１２よりも動画モジュール１１のプロセス優先度を高くして、処理割合を予め多く設定しておくことで、動画モジュール１１およびブラウザ１２の処理速度の制御処理による負荷を低減している。

（実施形態２）
図４は、本実施形態の表示器Ａのブロック構成を示しており、記憶部４に設定テーブルＴＢを格納した点が実施形態１とは異なる。なお、実施形態１と同様の構成には同一の符号を付して説明は省略する。

まず、実施形態１においては、モジュール制御部１が、画像制御回路１の１００％の処理能力を表示状況に応じて動画モジュール１１とブラウザ１２に振り分けているが、本実施形態では、図５に示すように、動画モジュール１１およびブラウザ１２の各プロセス優先度の初期値および上下限値が設定テーブルＴＢに予め格納されている。

そして、モジュール制御部１ｇは、当初、設定テーブルＴＢを参照して動画モジュール１１およびブラウザ１２の各プロセス優先度を初期値に設定する。その後、モジュール制御部１ｇは、性能計測部１ｆが動画モジュール１１の処理速度およびブラウザ１２の処理速度を計測した各結果に基づいて、動画モジュール１１とブラウザ１２との少なくいずれか一方のプロセス優先度を増減して、動画モジュール１１の処理速度を略一定に制御する。

例えば、モジュール制御部１ｇの負荷が増大して、動画モジュール１１の処理速度が低下した場合、モジュール制御部１ｇは、モジュール制御部１ｇにおけるブラウザ１２のプロセス優先度を下げる（または動画モジュール１１のプロセス優先度を上げる）ことで、ブラウザ１２の処理速度を低下させ、モジュール制御部１ｇの負荷をこれ以上大きくすることなく、動画モジュール１１における処理速度を上げて処理速度を一定値に維持する。

このとき、モジュール制御部１ｇは、設定テーブルＴＢを参照して、動画モジュール１１およびブラウザ１２の各プロセス優先度の上下限値内で、各プロセス優先度を制御する。したがって、処理速度が過度に速くなったり、過度に遅くなることがなく、動画およびＨＴＭＬコンテンツを表示することができる。

また、モジュール制御部１ｇにおける動画モジュール１１、ブラウザ１２のプロセス優先度をパラメータとして制御する代わりに、動画モジュール１１およびブラウザ１２への動画情報Ｊ１、画像情報Ｊ２の入力間隔を調整したり、動画モジュール１１およびブラウザ１２の各再描画間隔を調整することでも、動画モジュール１１およびブラウザ１２の各処理速度を制御することができ、上記同様に設定テーブルＴＢには、各パラメータの初期値、上下限値を格納しておく。例えば、再描画間隔の場合、動画モジュール１１の最描画間隔の初期値を２０ｍｓｅｃ、ブラウザ１２の再描画間隔の初期値を２００ｍｓｅｃに設定する。

（実施形態３）
本実施形態の表示器Ａは図４のブロック構成を備えており、実施形態２と同様の構成には同一の符号を付して説明は省略する。

外部機器５０から送信される動画情報Ｊ１は、同一規格で送信された動画情報であっても、その送信元の外部機器５０の機器種別によって、要求される動画モジュール１１の処理速度が異なる場合がある。例えば、ＭＰＥＧ４の規格で形成された動画情報Ｊ１であっても、送信元の外部機器５０が玄関に設置された来客撮像用の監視カメラである場合と、送信元の外部機器５０がビデオレコーダやＤＶＤレコーダである場合とでは、要求される動画モジュール１１の処理速度が異なる。

そこで、本実施形態では図６に示すように、設定テーブルＴＢに、動画情報Ｊ１の送信元である外部機器５０のＩＰアドレス（機器種別情報）と、送信された動画情報の種別（動画種別情報）と、モジュール制御部１ｇ内における動画モジュール１１のプロセス優先度の初期値とを互いに対応させて予め格納している。外部機器５０のＩＰアドレスは、各外部機器５０の各ＩＰアドレス以外にデフォルトを設定しており、設定テーブルＴＢに登録されていないＩＰアドレスの外部機器５０はデフォルトに該当する。また、動画情報の種別としては、ＩＰアドレス毎にＭＰＥＧ４およびＭＪＰＥＧが設定され、ＩＰアドレスと動画情報の種別との組み合わせ毎に、動画モジュール１１のプロセス優先度の初期値が設定される。なお、ブラウザ１２のプロセス優先度は、所定の初期値に予め設定されている。

そして、画像制御回路１は、送信元の外部機器５０のＩＰアドレスとともに動画情報Ｊ１を受け取ると、モジュール制御部１ｇが、送信元の外部機器５０のＩＰアドレスと受け取った動画情報Ｊ１の種別とに基づき、設定テーブルＴＢを参照して動画モジュール１１のプロセス優先度の初期値を設定する。その後、モジュール制御部１ｇは、性能計測部１ｆが動画モジュール１１の処理速度およびブラウザ１２の処理速度を計測した各結果に基づいて、動画モジュール１１とブラウザ１２との少なくいずれか一方のプロセス優先度を増減して、画像生成部１ｂの処理速度を略一定に制御する。したがって、表示器Ａは、外部機器５０の機器種別情報に応じた、最適な動画の表示性能を得ることができる。

また、設定テーブルＴＢにプロセス優先度の上下限値を格納しておき、モジュール制御部１ｇは、この上下限値内で、動画モジュール１１およびブラウザ１２の各プロセス優先度を制御してもよく、処理速度が過度に速くなったり、過度に遅くなることがなく、動画およびＨＴＭＬコンテンツを表示することができる。

また、モジュール制御部１ｇにおける動画モジュール１１、ブラウザ１２のプロセス優先度をパラメータとして制御する代わりに、動画モジュール１１およびブラウザ１２への動画情報Ｊ１、画像情報Ｊ２の入力間隔を調整したり、動画モジュール１１およびブラウザ１２の各再描画間隔を調整することでも、動画モジュール１１およびブラウザ１２の各処理速度を制御することができ、上記同様に設定テーブルＴＢには、動画種別情報毎に各パラメータの初期値（必要であれば、上下限値も）を格納しておく。

（実施形態４）
本実施形態の表示器Ａは、実施形態１と同様に図１に示すブロック構成を備えており、実施形態１と同様の構成には同一の符号を付して説明は省略する。

実施形態３では、表示器Ａ内の記憶部４内の設定テーブルＴＢに表示性能を決定するパラメータ（プロセス優先度、または情報の入力間隔、または再描画間隔）を外部機器５０に対応して予め格納し、モジュール制御部１ｇは、設定テーブルＴＢを参照して、動画モジュール１１およびブラウザ１２の各処理速度を制御しているが、例えば新しい外部機器５０が接続されると、この新しい外部機器５０のＩＰアドレスやプロセス優先度等のデータを設定テーブルＴＢに書き込む必要があり、ユーザにとってデータの更新処理が手間であった。

そこで、本実施形態では、外部機器５０が、動画情報Ｊ１、画像情報Ｊ２を送信する際に、動画モジュール１１およびブラウザ１２の各プロセス優先度の初期値および上下限値のデータを付加して表示器Ａへ送信し、表示器Ａのモジュール制御部１ｇは、受信したプロセス優先度の初期値および上下限値を保持する。そして、モジュール制御部１ｇは、動画モジュール１１およびブラウザ１２の各プロセス優先度を初期値に設定し、その後、性能計測部１ｆが動画モジュール１１の処理速度およびブラウザ１２の処理速度を計測した各結果に基づいて、動画モジュール１１とブラウザ１２との少なくいずれか一方のプロセス優先度を増減して、動画モジュール１１の処理速度を略一定に制御する。

また、外部機器５０が、動画情報Ｊ１、画像情報Ｊ２にプロセス優先度の初期値および上下限値のデータが付加されていない場合、モジュール制御部１ｇは、予め設定されているデフォルト値に各パラメータを設定する。

したがって、表示器Ａは、ユーザが表示性能を決定するパラメータを更新する手間が必要なく、外部機器５０に応じた最適な動画の表示性能を得ることができる。

また、モジュール制御部１ｇにおける動画モジュール１１、ブラウザ１２のプロセス優先度をパラメータとして制御する代わりに、動画モジュール１１およびブラウザ１２への動画情報Ｊ１、画像情報Ｊ２の入力間隔を調整したり、動画モジュール１１およびブラウザ１２の各再描画間隔を調整することでも、動画モジュール１１およびブラウザ１２の各処理速度を制御することができる。

（実施形態５）
実施形態１乃至４では、動画モジュール１１が動画処理専用の画像生成モジュールを構成し、ブラウザ１２がＨＴＭＬコンテンツの処理専用の画像生成モジュールを構成している。

一方、本実施形態の表示器Ａは、図７に示すように、動画モジュール１１、ブラウザ１２を、動画とＨＴＭＬコンテンツの両方が処理可能な画像生成モジュール１３に置き換えたものである。

まず、モジュール制御部１ｇは、入力された情報が、動画情報またはＨＴＭＬコンテンツの画像情報のいずれであるかを判別し、この判別結果に基づいて、当該情報を振り分けた画像生成モジュール１３に行わせる処理を、動画処理またはＨＴＭＬコンテンツ画像処理のいずれかに設定する。すなわち、各画像生成モジュール１３は、画像処理、ＨＴＭＬコンテンツ画像処理の何れも可能であり、表示器Ａは、２つの動画情報Ｊ１を表示部３に重ね合わせて表示したり、２つのＨＴＭＬコンテンツの画像情報を表示部３に重ね合わせて表示することもできる。

したがって、画像情報の種類（動画情報Ｊ１、画像情報Ｊ２）に応じて、画像生成モジュール１３の処理速度を設定するので、モジュール制御部１ｇが各画像生成モジュール１３に無駄な処理能力を振り分けることがなく、効率的となる。

なお、他の動作は実施形態１乃至４いずれかと同様であり、説明は省略する。

実施形態１の表示器のブロック構成を示す図である。同上の表示システムの概略のブロック構成を示す図である。同上の表示器の外観構成を示す図である。実施形態２の表示器のブロック構成を示す図である。同上の設定テーブルの構造を示す図である。実施形態３の設定テーブルの構造を示す図である。実施形態５の表示器のブロック構成の一部を示す図である。従来の表示器のブロック構成を示す図である。

符号の説明

Ａ表示器
１画像制御回路
１ａデコード部
１ｂ画像生成部
１ｃデコード部
１ｄ画像生成部
１ｅ画像ドライバー
１ｆ性能計測部
１ｇモジュール制御部
１ｈ演算部
２画像合成回路
２ａ，２ｂ画像再生部
２ｃ画像合成部
３表示部

Claims

動画情報である第１の画像情報と、動画情報以外の第２の画像情報とを合成して表示する画像表示方法において、
第１の画像情報を第１の画像生成モジュールへ引き渡すとともに、第２の画像情報を第２の画像生成モジュールへ引き渡し、
第１の画像生成モジュールは、第１の画像情報から、第１の画像データをフレーム毎に生成して画像ドライバーへ引き渡し、第２の画像生成モジュールは、第２の画像情報から、第２の画像データをフレーム毎に生成して画像ドライバーへ引き渡し、
画像ドライバーは、第１，第２の画像データを個別に画像合成回路へ引き渡し、
画像合成回路は、ハードウェアで構成されており、第１，第２の画像データを個別に再生して、当該個別に再生した第１，第２の画像データを合成し、当該合成画面を表示部に表示し、
計測手段は、第１，第２の画像生成モジュールが画像データをフレーム毎に生成する各処理速度を計測し、
モジュール制御手段は、当該計測結果に基づいて第１，第２の画像生成モジュールの各処理速度を調整する
ことを特徴とする画像表示方法。
第１の画像生成モジュールは、動画情報のみから第１の画像データを生成し、第２の画像生成モジュールは、動画情報以外の画像情報のみから第２の画像データを生成することを特徴とする請求項１記載の画像表示方法。
第１，第２の画像生成モジュールは、画像情報が、動画情報、または動画情報以外の画像情報のいずれであっても、当該画像情報から画像データをフレーム毎に生成可能に構成されることを特徴とする請求項１記載の画像表示方法。
第１，第２の画像生成モジュールに入力される各画像情報の種別を判別する画像判別手段と、第１，第２の画像生成モジュールの各処理速度を制御するパラメータの初期値および上下限値を前記判別結果に対応して格納した設定テーブルとを備え、
前記モジュール制御手段は、前記判別結果と設定テーブルとを参照して、第１，第２の画像生成モジュールの前記パラメータの初期値を設定し、前記計測結果に基づいて第１，第２の画像生成モジュールの前記パラメータを上下限値の範囲内で調整することを特徴とする請求項１乃至３いずれか記載の画像表示方法。
第１，第２の画像情報の送信元から送信される当該送信元の機器種別情報に対応して、第１，第２の画像生成モジュールの各処理速度を制御するパラメータの初期値および上下限値を格納した設定テーブルを備え、
前記モジュール制御手段は、機器種別情報と設定テーブルとを参照して、第１，第２の画像生成モジュールの前記パラメータの初期値を設定し、前記計測結果に基づいて第１，第２の画像生成モジュールの前記パラメータを上下限値の範囲内で調整することを特徴とする請求項１乃至３いずれか記載の画像表示方法。
前記モジュール制御手段は、第１，第２の画像生成モジュールの各処理速度を制御するパラメータの初期値および上下限値をネットワークを介して受信して、第１，第２の画像生成モジュールの前記パラメータの初期値を設定し、前記計測結果に基づいて第１，第２の画像生成モジュールの前記パラメータを上下限値の範囲内で調整することを特徴とする請求項１乃至３いずれか記載の画像表示方法。
動画情報である第１の画像情報と、動画情報以外の第２の画像情報とを合成して表示する表示器において、
第１の画像情報から、第１の画像データをフレーム毎に生成して画像ドライバーへ引き渡す第１の画像生成モジュールと、
第２の画像情報から、第２の画像データをフレーム毎に生成して画像ドライバーへ引き渡す第２の画像生成モジュールと、
第１，第２の画像データを個別に画像合成回路へ引き渡す画像ドライバーと、
ハードウェアで構成されており、第１，第２の画像データを個別に再生して、当該個別に再生した第１，第２の画像データを合成する画像合成回路と、
当該合成画面を表示する表示部と、
第１，第２の画像生成モジュールが画像データをフレーム毎に生成する各処理速度を計測する計測手段と、
当該計測結果に基づいて第１，第２の画像生成モジュールの各処理速度を調整するモジュール制御手段と
を備えることを特徴とする表示器。