JP3784828B2 - インタラクティブ画像表示システムの動作方法およびこの方法を実行する画像ソース装置 - Google Patents

Description

技術分野
本発明は、インタラクティブ画像表示システムの動作方法に関することである。本発明は、このような方法を実行する画像ソース装置に関するものでもある。
背景技術
ＪＰＥＧおよびＭＰＥＧ規格（例えば、ＡＣＭの学会発表論文,april 1991 Vol.34 no.4 31-44ページおよび47-58ページ参照）から、画像を圧縮することは既知である。これらの規格は、例えばビデオレコーダまたは光学ディスクにおける、画像の記憶に使用されるメモリ量を減少することを可能にする。メモリから画像を読み出した後、この画像を圧縮された形式で遠隔地に伝送することができる。このようなことは、例えば、遠隔地のサーバが、恐らくセットトップボックスを有するテレビジョンセットのようなユーザ端末にビデオオンデマンドサービスを提供する場合に生じる。ユーザ端末において、圧縮された信号が伸長され、表示される。圧縮の使用により、画像ソース装置およびユーザ端末間のリンクを経て伝送するために必要なバンド幅は減少する。
ユーザ端末には、例えば画像ソースの機能を制御するユーザ命令入力用ハンドヘルド遠隔制御ユニットのようなユーザ制御入力端子を設けることができる。このような機能の制御は、例えば、音量の選択や、選択的な画像または画像列の番号の選択や、選択的な言語チャンネルの選択や、ビデオレコーダの早送り動作の制御等を含んでもよい。
画像表示システムは、利用可能な命令についての情報を提供することによって、ユーザを手助けすることができる。この情報の内容は、命令が実際に入力された後、この命令の効果および／または次に利用可能な命令を示すものとしてもよい。このような情報は、ユーザの行為に依存するため、インタラクティブである。このような情報を、画像ソース装置によって発生し、ユーザ端末に伝送する。
ＭＰＥＧ規格は、このような情報を圧縮信号とともに伝送することができる個人向けデータストリームを提供する。これは、命令についての情報を伝送するために、追加の伝送バンド幅を必要とするという欠点を有する。
ユーザ端末に、画像ソースから受けた画像にオン−スクリーン表示情報を重ね合わせる手段を設けることは、既知である。これは、例えば、選択された音量を表すバーの表示や、実際に選択された項目が強調される選択可能なチャンネルのメニューの表示や、選択されたチャンネルからの画像を現在表示されている画像内に小さい「ピクチャー・イン・ピクチャー」として表示することを含む。
インタラクティブ・オン−スクリーン表示の他の用途は、ユーザによって制御される人形の画像のような、ユーザ命令に依存する前景項目が、風景のようなユーザに依存しない背景上に重ね合わされ、この背景中を前記人形がユーザ命令の制御の下で動くようなゲームにおけるものである。
発明の開示
本発明の目的は、フィードバック情報伝送用の追加のバンド幅を必要とせずに、画像表示システムのユーザ端末に情報をインタラクティブに表示することができるようにする方法および装置を提供することである。
本発明は、リンクを経て互いに接続された画像ソース装置およびユーザ端末を具え、前記ユーザ端末がユーザ制御入力端子を有する、インタラクティブ画像表示システムを動作する方法において、
− 入力画像を表す入力画像信号を受けるステップと、
− 前記ユーザ制御入力端子からのユーザ命令を受けるステップと、
− 前記ユーザ命令に依存して画像部分を表す他の画像信号を発生するステップと、
− 前記画像ソース装置において、前記入力画像とこの画像上に重ねられる前記画像部分とに対応する出力画像を表す圧縮画像信号を形成するステップと、
− 前記ユーザ端末において前記圧縮画像信号を伸長し、それに続いて出力画像を表示するために、前記圧縮画像信号を前記画像ソース装置から前記ユーザ端末へ前記リンクを経て伝送するステップとを具える方法を提供する。したがってインタラクティブ情報は、画像ソース装置の側において画像上に重ね合わされ、元の入力画像と重ね合わされた部分とを両方とも具える１つの画像として、ユーザ端末に伝送される。したがって全体からみれば、入力画像の伝送のためのバンド幅より広いバンド幅は、必要ない。この方法は、ユーザ端末から離れて位置し、複数のユーザ端末に磁気ディスクのような共通ソースから入力画像信号を供給し、ユーザ端末特定画像部分を重ね合わせることによって個々のユーザ端末に伝送される圧縮画像を個別化する画像ソース装置に特に有用である。
本発明による方法の一実施例において、前記入力画像信号を受けるステップにおいて、入力信号を圧縮された形式で受け、入力画像信号を多くて部分的に伸長された入力画像信号に変換するステップをさらに含み、前記圧縮画像信号を形成するステップが、前記多くて部分的に伸長された入力画像信号と他の画像信号とを結合することによって圧縮画像信号を形成することを具えることによって、前記入力画像信号から圧縮画像信号を形成するのに必要な計算量を、出力画像の伸長された表現から圧縮画像信号を形成するのに必要な計算量より少なくした。
追加の利点は、前記画像部分が、同期情報を含むアナログ信号として受けられる入力信号に追加されるシステムにおいて生じるような、前記入力画像に対する前記画像部分の位置決めにおけるジッタ問題が存在しないことである。
画像部分を圧縮画像上に完全な伸長をせずに重ね合わせる動作それ自体は、参考文献に含まれる、B.C.SmithおよびL.A.Roweによる刊行物″Algorithms for Manipulating Compressed Images″in IEEE Computer Graphics and Applications(september 1993)pages34-42から既知であることを注意されたい。
本発明による方法の他の実施例において、前記形成ステップにおいて形成された圧縮画像信号が圧縮出力ブロックの蓄積を含み、各々の圧縮出力ブロックが出力画像の個々のサブ画像を表し、前記蓄積が第１圧縮出力ブロックと少なくとも１つの第２圧縮出力ブロックとを含み、前記第１圧縮出力ブロックを前記多くて部分的に伸長された入力画像信号から全く同じに複製したものとし、前記少なくとも１つの第２圧縮出力ブロックを前記他の画像信号に依存して形成したものとする。したがって、復号化および符号化するどのような方法においても影響を受けたブロックのみが必要であり、他のブロックは、影響をうけないままであることから、前記圧縮画像を形成するために必要な作業は、減少する。好適には、ＭＰＥＧおよびＪＰＥＧ規格におけるような離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）を使用して、ブロックを符号化する。
本発明による方法の一実施例において、前記画像部分を、ユーザ命令によって選択された形状を有するグラフィカル記号とする。
本発明の他の実施例において、前記発生ステップは、選択的なグラフィカル記号の圧縮表現の組のなかからグラフィカル記号の圧縮表現を選択することを具える。したがって、圧縮画像を形成する計算に関する作業の大部分を、ユーザ命令を受信するより前に行うことができる。したがって、ユーザ命令に対する反応を、より速くすることができる。
本発明の他の実施例において、前記方法は、多くの選択的な画像や、選択的な言語チャンネルや、輝度値や、コントラスト値や、音量のユーザ命令に依存した選択のような、入力画像に関係する選択可能なパラメータの設定をさらに具える。
本発明の一実施例において、前記発生ステップが、ソース画像信号を受けることを含み、前記他の画像を縮小することによって前記他の画像信号を発生する。このようにすることは、所定のビデオチャンネルを他のビデオ信号内に比較的小さいウィンドウとして表示するピクチャーインピクチャー（ＰＩＰ）表示の発生に特に有利である。圧縮形式における縮小画像の発生に必要な計算に関する作業は、完全な画像を圧縮するのに必要な計算に関する作業より少ない。
本発明は、
− 入力画像を表す入力画像信号を受ける画像入力端子と、
− ユーザ命令を受ける命令入力端子と、
− 前記ユーザ命令に依存して他の画像信号を発生する発生手段と、
− 前記画像とこの上に重ね合わされた前記画像部分とを表す圧縮画像信号を形成する重ね合わせ手段と、
− 外部出力端子と、
− 前記圧縮画像信号を前記外部出力端子を経て伝送する伝送手段とを有する画像ソース装置も提供する。この装置は、前記方法を実行する。
前記画像ソース装置を、遠隔端末に対して使用することができるが、例えばテレビジョンモニタである１つのユーザ端末のみに接続された例えばビデオレコーダまたはチューナとして局所的に用いることもできる。２つ以上のソース装置（ビデオレコーダやチューナ等）を有するシステムにおいて、各ソース装置からのオンスクリーン表示を、使用者端末（モニタ）に、追加のバンド幅を必要とすることなく、すべての画像ソース装置（チューナやビデオレコーダ等）にリアルタイムで完全な画像を伸長することができる伸長手段を設けることなしに、伝送することができる。ユーザ端末（モニタ）において、このような伸長手段が一つだけ必要である。
【図面の簡単な説明】
本発明と、その実施例と、利点とを、図を使用してさらに記述する。ここで、
図１は、画像表示システムを示す。
図２は、画像ソース装置を示す。
図３は、他の画像ソース装置を示す。
図４は、第１のモデルに基づいて発生される画像の一例を示す。
図５は、第２のモデルに基づいて発生される画像の一例を示す。
図６は、モデルベース画像のフーリエ変換したものを直接発生する装置を示す。
図７は、ＰＩＰ（ピクチャーインピクチャー）画像を発生する画像ソース装置を示す。
発明を実施するための最良の形態
図１は、画像表示システムを示す。このシステムは、記憶装置５０と、画像ソース装置５１と、この画像ソース装置５１にリンク５３，５７を経て接続されたユーザ端末５４とを含む。ユーザ端末５４は、表示装置５５に結合された命令入力端子５６を含む。画像ソース装置５１は、発生手段５８および重ね合わせ手段５２と、他の発生／重ね合わせ手段５１ａとを含む。
動作において、入力画像信号を記憶装置５０から検索し、画像ソース装置５１に入力する。この入力画像信号を、重ね合わせ手段５２によって処理し、リンク５３を経て、圧縮信号（例えば、ＭＰＥＧまたはＪＰＥＧ符号化信号）としてユーザ端末５４に伝送し、このユーザ端末５４において、前記圧縮信号を伸長し、表示する。
例えばハンドヘルド遠隔制御ユニットである命令入力端子５６は、ユーザ命令を受け、これらを表示装置５５に供給する。表示装置５５は、これらの命令を受け、これらをリンク５７を経て画像ソース装置５１に転送する。表示装置５５は、受けたすべての命令を画像ソース装置に転送する必要は無く、表示装置５５において局所的に実行できる幾つかの命令を、画像ソース装置５１に送ることなく局所的に実行してもよい。リンク５３，５７を１本のケーブルに結合してもよいが、別個の伝送チャンネル（例えば、電話ライン５７およびビデオ配給ケーブル５３）としてもよい。
画像ソース装置５１において、発生手段５８においてユーザ命令を受け、画像部分の発生に使用する。これらの画像部分を重ね合わせ手段５２に供給し、記憶装置５０から受けた入力画像信号によって表される入力画像上に重ね合わされる画像部分に対応する圧縮信号を形成するのに使用する。したがって、前記画像部分を含む圧縮信号は、全体からみれば、元入力画像信号と丁度同じバンド幅を必要とする。
前記画像部分を、ユーザ命令に依存して選択された形状を有する制御記号としてもよい。前記画像部分を、ユーザ命令に依存して形成された内容を有するメニューとしてもよい。前記画像部分を、位置および動きがゲームの要素としてユーザ命令によって制御される人形の画像とすることもできる。さらに、前記画像部分を、入力画像信号によって表される入力画像より小さく、入力画像上にＰＩＰ（ピクチャーインピクチャー）画像として重ね合わされる他の画像とすることができる。
同時に、前記他の発生／重ね合わせ手段５１ａは、他のユーザ端末（図示せず）からのユーザ命令に依存して、同じ入力画像信号から得たものであるが、他の画像部分を重ね合わされた他の圧縮画像を伝送してもよい。
ユーザ端末５４において、表示装置５５は、画像ソース装置５１から受けた圧縮信号を伸長する。局所的に実行できるユーザ命令に依存して発生し、この伸長画像上に重ね合わされる他の画像部分を、任意に表示する。
例えばＪＰＥＧ規格によって規定されるような画像符号化処理において、画像を画素のブロックに分割する。各ブロックにおける画像輝度のフーリエ変換を計算し、これを量子化する。この結果得られた変換係数に、例えばハフマン符号化のような他の符号化を行う。この結果得られるものを、符号化画像と呼ぶ。この符号化画像をデコーダに伝送する。このデコーダは、逆量子化および逆フーリエ変換を行う。
図２は、画像ソース装置を示す。この装置は、符号化画像を受ける入力端子４０を有する。この入力端子から符号化画像を初期デコーダ４１に供給する。このデコーダ４１は、制御手段４４とスイッチ４８とに結合された出力端子を有する。制御手段４４は、画像発生手段４６とスイッチ４８の制御入力端子とに信号を供給する。画像発生装置４６を、初期復号化手段４０の出力端子または画像発生手段４６の出力端子のいずれかを最終エンコーダ４３の入力端子に接続することができるスイッチに結合する。
初期デコーダ４０は、ハフマン符号化のような符号を部分的に復号化し、逆量子化する。初期デコーダ４０は、個々のブロックに関するフーリエ係数の組をその出力端子に供給する。制御手段４４は、どのブロックを受けたのかを決定し、このブロックをそのままにすべきか変更すべきかを決定する。ブロックが変更すべきものである場合、制御手段４４は、画像発生手段４６を活性化して交換ブロックを発生させ、スイッチ４８を制御して、初期デコーダから出力されたブロックをこの交換ブロックに置き換える。結果として得られるストリームを、初期デコーダ４１と逆の動作を行う最終エンコーダ４３によって符号化する。通常、入力端子４０で受けた画像と同様の量子化を行うが、もし適切なら、画像の挿入部分のビジュアル効果が改善されるように選択した量子化を使用してもよい。このようにして、新たな画像情報が、画像の所定のブロックに挿入される。
図３は、他の画像ソース装置を示す。この装置は、図２の装置と基本的に同様のものであるが、スイッチ４８を加算器４８に置き換えた。初期デコーダ４１と加算器４８との間に、フィルタ４７を挿入する。
動作において、この装置は、入力端子４０において受けられた符号化画像から得たブロックと、制御手段からの信号によって画像発生手段４６によって発生されたブロックとを加算する。フィルタ４７は、入力端子４０において受けられた符号化画像から得たブロックを減衰させることができる。この減衰を、周波数選択的なものとすることができ、例えば、フィルタは、制御手段４４によって選択されたブロックの比較的高い周波数成分を除去し、より低い周波数成分を通過させることができる。フィルタ４７は、選択されたブロックを他の方法で変化させてもよい。
画像発生手段は、種々のソースからフーリエ係数のブロックを発生してもよい。ある変形例において、他のＪＰＥＧ符号化入力画像を使用し、低い周波数成分のみを通過させ、この画像を入力端子４０において受けられた画像中のウィンドウ中に挿入することができる。代わりに、画像発生手段４６は、慣例的な画素づつの形式で受けた小さい入力画像を符号化することによってブロックを得てもよい。さらに他の変形例において、画像発生手段は、モデルに基づくグラフィックス情報からブロックを発生してもよい。
画像モデルをグラフィックスシステムにおいて使用し、画像部分を発生させる。モデルを、基本的な形状のライブラリから構成することができる。この場合において、代表的なモデルは、ライブラリによる画像中に表示すべきこれらの形状のリストを含み、すべての形状に関して、この形状を表示すべき位置と、恐らく寸法と、この形状を表示すべき順番とを含む。モデルの第１の簡単な例を、５つの項目を含む次のリスト（０における″Ｖ″，１における″Ｏ″，２における″Ｌ″，４における矩形フレーム，５におけるバー）とし、各項目は、ライブラリ中の基本的な形状に対する参照符（″Ｖ″等）と、１次元の位置（０における等）とから成る。
図４は、この第１のモデルに基づいて発生する画像１０の一例を示す。画像１０は、３つの文字１１，１２，１３（Ｖ，Ｏ，Ｌ）と、矩形フレーム１４と、矩形１５とを含む。
モデルの第２の簡単な例を、次のリスト（（０，０）における″Ｖ″，（１，０）における″Ｏ″，（２，０）における″Ｌ″，（５，０）おける円盤，４５°回転した（５，０）における指針）とする。このリストにおいて、これらの項目は２次元の位置についての仕様を含み、ある項目は回転についての仕様を含む。
図５は、この第２の簡単なモデルに基づいて発生した画像２０の一例を示す。画像２０は、３つの文字２２，２３，２４と、円盤２５と、指針２６とを含む。指針２６の位置についての仕様は、円盤２５の中心と一致し、指針２６の回転は、この位置仕様の回りの回転を意味するとする。これは、回転についての仕様に依存して、指針２６を円盤２５に対して種々の角度において表示できることを意味する。
グラフィックスモデルに対応する画像のフーリエ変換を、このモデルによって得られた画像をフーリエ変換するか、このモデルから直接フーリエ変換したものを発生することによって得ることができる。
図６は、モデルに基づく画像のフーリエ変換したものを直接発生する装置を示す。この装置は、モデル決定部分３０を含み、この部分は、３つのモデル表示部分３２ａ，３２ｂ，３２ｃに信号を供給し、これらのモデル表示部分は、和出力端子３８を有する加算器３６に結合された出力端子を有する。加算器３６は、背景画像用の入力端子３４も有する。
動作において、各モデル表示部分３２ａ−ｃは、基本的な形状の１つと関係する。モデル決定部分３０は、これらの関連した形状を表示すべきモデル表示部分３２ａ−ｃに信号を送る。すなわち、モデル決定部分３０は、これらのモデル表示部分３２ａ−ｃに、これらの形状を表示すべき位置の座標のようなパラメータと、もし必要ならいずれかのアフィン変換（これは、回転と、主要な２つの軸に沿って異なってもよい係数による拡大縮小とを含む）のパラメータとを送る。
モデル表示部分３２ａ−ｃは、これらが関連する形状のフーリエ変換を記憶する。モデル表示部分３２ａ−ｃは、受けたパラメータを使用して、これらが関連する画像のこれらの部分のフーリエ変換を計算する。
この計算は、明確にするためにフーリエ変換の式において説明する以下のことに基づく。基準となる比率および回転を有する位置０における基本的な形状の画像Ｉ₀（画像中の画素位置ｒ毎に輝度Ｉ₀（ｒ）が割り当てられ、簡略してＩ₀（ｒ）によって示す）が与えられた場合、ベクトルｐで移動し、アフィン変換によって変換される場合のこの形状の画像Ｉ（ｒ）は、
Ｉ（ｒ）＝Ｉ₀（ｐ＋Ａｒ）
で与えられ、ここで、

は、ベクトルのアフィン変換を表す。画像Ｉ（ｒ）のフーリエ変換Ｆ（数Ｆ（ｋ）が各空間周波数に割り当てられ、簡略してＦ（ｋ）によって示される）を、次のような基本的な形状の画像Ｉ（ｒ）のフーリエ変換Ｆ₀（ｋ）の式で表すことができる。

したがって、基本的な形状の画像Ｉ（ｒ）のフーリエ変換Ｆ₀（ｋ）が既知の場合、フーリエ変換Ｆ（ｋ）を発生することができる。フーリエ変換Ｆ（ｋ）が標本点でのみ既知である場合、いかなる既知の補完技術を用いてＦ（ｋ）を得てもよい。このような場合、各モデル表示部分３２ａ−ｃは、これらが関連する画像のこれらの部分のフーリエ変換を計算することができる。
いくつかの基本的な形状による画像の構成は、異なるモデル表示部分３２ａ−ｃによって発生された画像を、加算器３６において加算することによって得られる。背景のフーリエ変換Ｂ（ｋ）を、この画像に加えることができる。通常、この背景画像は、一定である。すなわちこれは、１つの成分Ｂ（０）のみが（空間周波数ｋ＝０に対して）０と異なることを意味する。
原則的には、背景による画像輝度は、基本的な形状が表示されている位置においても存在する。これを、マスク画像を使用することによって回避することができる。各基本的な形状は、画像Ｉ₀（ｒ）の限定された領域のみに生じる。画像の残りの領域において、輝度は、例えば０である。基本的な形状の画像が０と異なり、他はすべて０である場合、この基本的な形状に対し、全体が１に等しいマスク画像Ｍ（ｒ）を関連させることができる。マスク画像Ｍ（ｒ）を使用し、基本的な形状によって発生された画像を背景に対して供給することができる。背景輝度を、基本的な形状を表示している所を除いて一様にＢＧにすべきである場合、ＢＧ倍のＭ（ｒ）を、基本的な形状の画像Ｉ（ｒ）から除算するべきである。この除算を、モデル表示部分３２ａ−ｃにおいて、フーリエ変換画像Ｆ（ｒ）においてまたは好適にはＦ₀（ｒ）において行うことができる。この目的のために、モデル決定部分３０は、一様な背景輝度ＢＧもモデル表示部分３２ａ−ｃに送る。
背景が一様でない場合、表示される基本的な形状のマスクの和を１から引いたものとして規定される複合マスクを乗算すべきである。フーリエ変換領域において、この乗算は、この複合マスクのフーリエ変換ＣＭ（ｋ）によるＢ（ｋ）の変換、

の計算を含む。
許容できる視覚効果のために、この変換を、複合マスクのフーリエ変換ＣＭ（ｋ）の比較的低い周波数成分のみに限定してもよい。すなわち、ＣＭ（ｋ）の他の成分を、これらが０であるかのように表示してもよい。このようにした場合、背景のマスキングは、基本的な形状の縁付近にのみ限定されるが、これは、視覚的にはほとんど目立たない。さらに、畳み込み積分によって背景Ｂ（ｋ）を比較的高い周波数成分に制限し、これらのみが画像における視覚効果を発生するようにしてもよい。
多くの用途において、基本的な形状は、２回以上表示される必要があるであろう。これは、例えば、基本的な形状が２回以上モデルにおいて生じる場合、またはあらためてやりなおす必要がある場合に生じ、画像中の点ｒ（Ｖに属する）の集合Ｖにおいて表示される。フーリエ変換領域において、これは、各空間周波数に対する基本的な形状のフーリエ変換Ｆ（ｋ）に係数ａ（ｋ）、

を乗算することに対応する。集合Ｖの全体に対して、係数ａ（ｋ）を、モデルにおいて計算することができ、これを、特定のモデル決定部分において１回のみ行い、乗算を行う表示部分３２ａ−ｃに伝送する必要がある。
図６によるアーキテクチャの代わりに、適切にプログラムされた一般的な目的のコンピュータまたは１個のプロセッサによっても、同様の結果が得られることは明らかである。
図７は、ＰＩＰ（ピクチャーインピクチャー）画像を発生する画像発生装置を示す。この装置の構成は、画像発生手段４６を画像除去手段６６に置き換えたことを除いて、図２の装置と同様である。
動作において、画像除去手段は、例えば、（画像の面積が９または１６の因数によって縮小されるように）線型係数３または４によってサブ標本化することによって縮小された他の入力画像を受ける。縮小画像の圧縮されたものは、多くのＤＣＴ変換されたブロックから構成され、このブロック数は、完全な画像のブロック数より少ない。制御手段４４は、入力画像信号からの多くのブロックが他の入力画像の圧縮されたもののブロックに置き換えられるように、スイッチを制御する。したがって、圧縮画像は、他の入力画像が入力端子４０から受けられた入力画像中に縮小された寸法で表示されるように形成される。
原則的に、縮小画像のブロックを、他の入力画像のサブ標本化されたものを圧縮することによって得ることができる。少ない数のブロック（例えば、画像におけるブロックの総数の１／９または１／１６）のみが形成に必要であることから、圧縮のための計算量が過度に多くなることはない。
しかしながら、他の入力画像を圧縮された形式で受ければ、この計算量をさらに減少することができる。このようにすると、他の入力画像を完全に伸長することなく、縮小を行うことができる。好適には縮小率を、縮小画像の圧縮したものにおける各ブロックが、完全な寸法の画像からの整数の数のソースブロックから構成されるように選択する。この縮小されたブロックにおける各変換値は、

の式に基づく、ブロックを構成する個々のソースブロックからの寄与の和である。ここでｊは、縮小ブロックを構成するソースブロック全体におよび、ｐ_jは、ソースブロックの相対的な位置を表す。ＦＲは、縮小ブロックを変換したものである。このＦＲは、上述した式によって与えられる、縮小ブロックのフーリエ変換の式、すなわち、

に基づく。ここで、行列Ａは、単位行列に、画像が縮小されたことによるスケーリング係数（例えば３または４）を乗算したものである。さらに好適には、別名化（aliassing）を避けるために、高い空間周波数ｋの係数ＦＲ（ｋ）の振幅を、低い空間周波数の係数の振幅と比較して減少させる。
したがって、入力端子４０から受けた入力画像に挿入されるブロックを、挿入された他の入力画像を完全に伸長することなく、計算することができる。
画像を変更する技術を、例えばＭＰＥＧ規格を使用する符号化のような圧縮された動画に用いることもできる。ＭＰＥＧ規格は、フレーム内符号化画像（Ｉ画像）、予測符号化画像（Ｐ画像）および双方向（フレーム間）符号化画像（Ｂ画像）を規定する。Ｉ画像は、基本的にＪＰＥＧ画像と同様に符号化され、上述したような変更を行うことができる。Ｐ画像およびＢ画像は、Ｉ画像の補助によって動き情報を使用して得られる。ＭＰＥＧ符号は、画素ブロックの動きを示す動きベクトルを含む。Ｐ画像は、デコーダにおいて、Ｉ画像および動きをこれらのブロックに、これらのブロックに対して特定された動きベクトルに応じて選択することによって得られる。ＭＰＥＧ符号は、予測エラー信号をさらに含み、この信号は、デコーダにおいて、画素ブロックの動きによって得られる元画像およびＰ画像間の差を補償するのに使用される。
情報を符号化画像に挿入する場合、動き情報および／または予測エラーも変更ことが望ましい。もしそうしなければ、補完または予測中に、情報が変更された画像領域の外側からこの領域にドリフトするか、挿入情報がこの領域からドリフトしてしまう。
その最も簡単な形式において、このようなドリフトを、変更された領域への点またはこの領域からの点の動きベクトルに対する元の符号化画像を監視することによって防止し、結果として得られる符号化画像からのこれらのベクトルを禁止する（これらをゼロの動きに置き換える）ことができ、大きな動きがない場合、予測エラー信号は、変化しないままである。結果として得られる画像に挿入された情報が遅れずに変化する場合、変更された領域内の動きを表す符号化画像に、動きベクトルを追加することもできる。
改善した形式において、変更された領域のブロックと変更された領域の周囲の領域のブロックとに対する元の符号化画像における変化を、別個のバッファに蓄積する。これは、動きおよび予測エラーの双方を改善し、逆フーリエ変換を必要とする。原則的には、これを、標準ＭＰＥＧ復号化アルゴリズム（画像中のすべてのブロックの中の部分集合にのみ行う必要があるため、比較的簡単に実行することができる）によって行うことができる。代わりに、完全に復号化することなしに、特に逆ＤＣＴを用いることなしに、符号化信号に用いられる慣例的な方法を使用して行うことができる。元の符号化画像が、変更された領域の周囲の領域において、変更された領域内の動きの形式によって変化する場合、前記Ｉ画像の一部として変換されたブロックの蓄積によって計算されたブロックを減算することによって、結果として得られる符号化画像において予測エラー信号が発生する。この差は、量子化され結果として得られる符号化画像に挿入されたものをフーリエ変換したものである。これは、結果として得られる符号化画像が、これらの周囲の領域における元の符号化画像に対応することを保証する。
変更された情報を、ある時点において画像から除去すべき場合、元の情報を、蓄積された変化を使用して復元することができる。
要約すると、異なった画像の画素を上書きすることによって画像情報を構成することは、技術的に既知であると言うことができる。この場合、画素の一部を、背景の輝度情報に保ち、他の画素の輝度情報を、前景の輝度値に置き換える。
この技術の用途の一例において、コンピュータシステムは、追加の情報を含むウィンドウを背景に上書きする。他の例において、テレビジョンセットは、ある画像ソースからの背景に第２の画像ソースからの情報を重ね合わせるＰＩＰ（ピクチャーインピクチャー）を提供する。さらに他の例において、ビデオレコーダやテレビジョンチューナ等のような種々の画像ソースは、グラフィカルに発生された制御記号を背景に重ね合わせ、画像ソースの制御インタフェースによって使用者と相互に作用させる、″オンスクリーン表示″を提供する。
この技術分野において、画像の圧縮は、さらに既知である。圧縮技術は、画像を、比較的狭いバンド幅によって伝送することを可能にし、またはビデオレコーダ、ハードディスクまたは他の記憶装置における比較的小さい空間に記憶することを可能にする。
圧縮画像をモニタ上に表示する場合、まず伸長して、画素の位置毎の輝度および／または色の値を含む″ビットマップ画像″を得る。このビットマップ画像を、モニタの制御に使用する。
伸長器ハードウェアは、システムの費用のかなりの部分を構成し、伸長画像のソースおよびモニタ間の伝送は、かなりのバンド幅を必要とする。したがって、各システムにおいて伸長器を１つのみ設けることが望ましく、好適にはモニタとともに統合する。
しかしながら、このようにすることは、重ね合わせた情報を提供する画像の画素の編集はもはやできないことを意味する。制御情報のオンスクリーン表示を有するシステムに関して、このことは、制御情報をモニタに別々に伝送しなければならないか、画素を編集するために画像を画像ソースにおいて伸長しなければならないことを意味する。
したがって、さらに本発明の効果は、画像表示システムにおいて必要な伸長器の数が減少することである。
本発明の他の効果は、画像ソースによって追加の情報を、この画像ソースによって発生された画像を、この画像ソースにおける完全な伸長器を必要とすることなく挿入することができる画像表示システムが提供されることである。
本画像表示システムは、表示装置に結合され信号を供給する画像ソースを含み、この画像ソースが、圧縮された２次元の元画像を得る入力手段を有し、前記画像ソースを、圧縮された元の画像に画像情報を挿入することによって圧縮された２次元の結果として得られる画像を形成するとともに、この結果として得られる画像を表示装置に供給するように構成する。元画像および結果として得られる画像は、複数の符号化された画素ブロックを含み、画像ソースは、画像発生手段を含み、元画像から選択されたブロックをこの画像発生手段によって発生されたブロックに置き換え、作用を受けない残りのブロックはそのままにするように構成する。
入力手段を、元の画像が一部であるＭＰＥＧシーケンスのような２次元画像の圧縮されたシーケンスを表す信号を得るように構成し、このシーケンスからの他の元画像が、前記圧縮２次元画像に関連する動きベクトルによって表される場合、画像ソースを、選択されたブロックに関連する動きベクトルを変更することによって、元のシーケンスから結果として得られるシーケンスを発生するように構成する。
好適には、画像ソースは、元の配列の画像中の選択されたブロックについての情報を蓄積する蓄積手段と、蓄積された情報から得られた予測エラー信号を結果として得られるストリーム中に挿入する予測エラー挿入手段とを含む。

Claims (20)

1. 互いにリンクを経て通信する画像ソース装置およびユーザ端末を具え、前記ユーザ端末がユーザ制御入力端子を有するインタラクティブ画像表示システムを動作する方法において、前記方法が、
   − 入力画像を表す入力画像信号を受けるステップと、
   − 前記ユーザ制御入力端子からのユーザ命令を受けるステップと、
   − 前記ユーザ命令に依存して画像部分を表す他の画像信号を発生するステップと、
   − 前記画像ソース装置において、前記入力画像とこの画像上に重ねられる前記画像部分とに対応する出力画像を表す圧縮画像信号を形成するステップと、
   − 前記ユーザ端末において前記圧縮画像信号を伸長し、それに続いて出力画像を表示するために、前記圧縮画像信号を前記画像ソース装置から前記ユーザ端末へ前記リンクを経て伝送するステップとを具えることを特徴とする方法。
2. 請求項１に記載の方法において、前記入力画像信号を受けるステップにおいて、入力信号を圧縮された形式で受け、入力画像信号を多くて部分的に伸長された入力画像信号に変換するステップをさらに含み、前記圧縮画信号を形成するステップが、前記多くて部分的に伸長された入力画像信号と他の画像信号とを結合することによって圧縮画像信号を形成することを具えることを特徴とする方法。
3. 請求項２に記載の方法において、前記形成ステップにおいて形成された圧縮画像信号が圧縮出力ブロックの蓄積を含み、各々の圧縮出力ブロックが出力画像の個々のサブ画像を表し、前記蓄積が第１圧縮出力ブロックと少なくとも１つの第２圧縮出力ブロックとを含み、前記第１圧縮出力ブロックを前記多くて部分的に伸長された入力画像信号から全く同じに複製したものとし、前記少なくとも１つの第２圧縮出力ブロックを前記他の画像信号に依存して形成したものとしたことを特徴とする方法。
4. 請求項３に記載の方法において、各圧縮出力ブロックが、個々のサブ画像の離散コサイン変換ＤＣＴを含むことを特徴とする方法。
5. 請求項３に記載の方法において、少なくとも１つの第２圧縮出力ブロックを、前記画像部分を表す圧縮ブロックと、前記入力画像信号からの対応する他の圧縮入力ブロックとを結合することによって形成することを特徴とする方法。
6. 請求項１、２、３、４または５に記載の方法において、前記発生ステップが、前記ユーザ命令に応じて選択された形状を有するグラフィカル記号を発生することを具え、このグラフィカル記号を、前記画像部分としたことを特徴とする方法。
7. 請求項６に記載の方法において、前記発生ステップが、選択的なグラフィカル記号の圧縮表示の組のなかからグラフィカル記号の圧縮表示を選択することを具えることを特徴とする方法。
8. 請求項７に記載の方法において、多くの選択的な画像や、輝度値や、コントラスト値のユーザ命令に依存した選択のような、入力画像の表示に関係する選択可能なパラメータの設定をさらに具えることを特徴とする方法。
9. 請求項７に記載の方法において、前記圧縮画像信号に付随する選択的な言語チャネル又は音量を設定するステップをさらに含むことを特徴とする方法。
10. 請求項１、２、３、４または５に記載の方法において、前記発生ステップが、他の画像を表すソース画像信号を受信するステップと、前記他の画像を縮小し、前記他の画像信号を形成するステップとを含むことを特徴とする方法。
11. 請求項１０に記載の方法において、前記ソース画像信号を圧縮された形式で受け、前記他の画像信号を前記ソース画像信号の多くて一部を伸長したものから得て、前記圧縮画像信号を、前記多くて一部を伸長した入力画像信号と、圧縮された形式で前記画像部分を表す他の画像信号とを結合することによって形成することを特徴とする方法。
12. − 入力画像を表す入力画像信号を受ける画像入力端子と、
    − ユーザ命令を受ける命令入力端子と、
    − 前記ユーザ命令に依存して画像部分を表す他の画像信号を発生する発生手段と、
    − 前記画像とこの上に重ね合わされた前記画像部分とを表す圧縮画像信号を形成する重ね合わせ手段と、
    − 外部出力端子と、
    − 前記圧縮画像信号を前記外部出力端子を経て伝送する伝送手段とを有する画像ソース装置。
13. 請求項１２に記載の画像ソース装置において、前記入力画像信号を圧縮された形式で受け、前記装置が、
    − 前記入力画像信号を、多くて一部を伸長した入力画像信号に変換する変換手段をさらに具え、前記多くて一部を伸長した入力画像信号と前記他の画像信号とを結合することによって前記圧縮画像信号を形成するように前記重ね合わせ手段を構成したことを特徴とする画像ソース装置。
14. 請求項１３に記載の画像ソース装置において、各々が出力画像の個々のサブ画像を表す圧縮出力ブロックの蓄積を構成するように前記重ね合わせ手段を構成し、前記蓄積が、第１圧縮出力ブロックと少なくとも１つの第２圧縮出力ブロックとを含み、前記第１圧縮出力ブロックを、前記多くて部分的に伸長された入力画像信号から全く同じに複製し、前記少なくとも１つの第２圧縮出力ブロックを、前記他の画像信号に依存して形成することを特徴とする画像ソース装置。
15. 請求項１２、１３または１４に記載の画像ソース装置において、前記発生手段が、前記ユーザ命令に応じて選択された形状を有するグラフィカル記号を発生するグラフィックス画像発生手段を具えることを特徴とする画像ソース装置。
16. 請求項１５に記載の画像ソース装置において、前記グラフィックス発生手段が、一組の選択的なグラフィカル記号の圧縮された表示を記憶するメモリを具え、前記ユーザ命令による選択のもとに前記メモリから前記グラフィカル記号を読み出すように前記グラフィックス発生手段を構成したことを特徴とする画像ソース装置。
17. 請求項１６に記載の画像ソース装置において、入力画像の表示に関係する選択可能なパラメータに対する値を設定する選択的パラメータ設定手段を具えることを特徴とする画像ソース装置。
18. 請求項１５に記載の画像ソース装置において、前記圧縮画像信号に付随する選択的な言語チャネル又は音量を設定する手段を具えることを特徴とする画像ソース装置。
19. 請求項１２、１３、１４または１５に記載の画像ソース装置において、前記発生手段が、
    − 他の画像を表すソース画像信号を受けるソース受け取り手段と、
    − 前記他の画像を縮小し、前記他の画像を縮小したものから前記他の画像信号を形成する縮小手段とを具え、前記画像部分が前記他の画像を縮小したものを含むことを特徴とする画像ソース装置。
20. 請求項１９に記載の画像ソース装置において、前記ソース画像信号を圧縮された形式で受け、前記縮小手段が、圧縮された形式の前記他の画像信号を、前記ソース画像信号の多くて一部伸長されたものから形成することを特徴とする画像ソース装置。

Images