JP3819253B2 - 情報処理装置、画像処理デバイス、画像処理方法、記録媒体及びコンピュータプログラム - Google Patents
情報処理装置、画像処理デバイス、画像処理方法、記録媒体及びコンピュータプログラム Download PDFInfo
- Publication number
- JP3819253B2 JP3819253B2 JP2001152501A JP2001152501A JP3819253B2 JP 3819253 B2 JP3819253 B2 JP 3819253B2 JP 2001152501 A JP2001152501 A JP 2001152501A JP 2001152501 A JP2001152501 A JP 2001152501A JP 3819253 B2 JP3819253 B2 JP 3819253B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- information
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、通常の放送画像に新たな価値を付加するための画像処理の技術に係り、より詳しくは、このような画像処理を実現するための情報処理技術に関する。
【０００２】
【従来の技術】
放送は、地上波や衛星、有線により広く行われており、最も手軽な情報源となっている。最近は、従来のアナログ放送に加えてデジタル放送も実用化されており、それに伴い従来のアナログ放送用のテレビ受像機に加え、デジタル放送対応のテレビ受像機も普及しつつある。
【０００３】
デジタル放送の受信設備には、デジタル放送により配信された情報を受信して、受信した情報をデコードするＳＴＢ（Set Top Box）などが用いられている。ＳＴＢは、受信した情報のデコードを行うデコーダを、ハードウェア若しくはソフトウェアにより実現している。ハードウェアによる場合は、デコード専用に設計されたＩＣなどを用いる。ソフトウェアによる場合は、プログラマブル専用のＤＳＰ（Digital Signal Processor）を用いたり、或いはマルチメディア命令のような機能を強化した汎用のＣＰＵ（Central Processing Unit）を用いて、ＤＳＰやＣＰＵにプログラムを読み込ませてソフトウェア処理によりデコード機能を実現する。
ソフトウェアによりデコード機能を実現するＤＳＰやＣＰＵには汎用性があり、別のプログラムを読み込ませることによりデコード機能以外の機能を、デコード機能と同時に実現させることも可能である。しかし、現状では定型的なフィルタ処理以外に有効な機能を実現させている例は殆どない。
【０００４】
一方、ＳＴＢ自体にハードディスクやマルチチャンネルのメディアを備え、複数の放送により配信された情報を受信、蓄積できるようになったが、各々を独立に利用する、或いはソフトウェアのバージョンアップ以外には有効利用されていないのが現実である。
【０００５】
【発明が解決しようとする課題】
本発明の課題は、以上のようなＳＴＢなどの受信設備内の資源を有効に利用することにより、複数の経路から入力される画像を合成してユーザに提供するための具体的な仕組みを提供することにある。特に、従来手法によって配信された画像に新たな価値を付加した画像を生成するための画像処理技術の実現体、実現方法を提供する。
【０００６】
【課題を解決するための手段】
上記の課題を解決する本発明の情報処理装置は、高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送局からの無線経路により取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送局をその起点とする有線通信により取得する情報取得機構と、前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせるようにして前記高解像度動画と同じ解像度の合成画像を生成する画像処理手段と、前記合成画像を所定の表示装置に表示させる制御手段とを具えてなる。
【０００７】
このような情報処理装置は、例えば、通常放送により得られる第１画像を、第２画像と合成して、ハイビジョンと同じ個解像度をもつ画像とすることができる。
【００１１】
上記課題を解決する本発明の画像処理デバイスは、高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送局からの無線経路により取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送局をその起点とする有線通信により取得する情報取得機構と、前記第２画像と前記第１画像とが合成された合成画像を所定の表示装置に表示させる制御手段とを具えた情報処理装置に装着され当該情報処理装置と協働で画像処理を行うデバイスである。前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせるようにして前記高解像度動画と同じ解像度の合成画像を生成して前記制御手段へ送出する。
【００１２】
上記課題を解決する本発明の画像処理方法は、画像を所定の表示装置に表示させる機能を具えたコンピュータにおいて、高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送受信波を通じて取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送受信波の発信元を起点とする有線通信により取得するステップと、前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせることで、前記高解像度動画と同じ解像度の合成画像を生成して、前記表示装置にこの合成画像を表示させるステップとを実行する画像処理方法である。
【００１３】
上記課題を解決するため、本発明は、画像を所定の表示装置に表示させるコンピュータに、高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送受信波を通じて取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送受信波の発信元を起点とする有線通信により取得する処理、前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせることで前記高解像度動画と同じ解像度の合成画像を生成し、この合成画像を所定の表示装置に表示させる処理、を実行させるためのコンピュータプログラムを提供する。このコンピュータプログラムは、通常、コンピュータ読み取り可能な記録媒体に記録される。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明を実施するための全体構成図である。ネットワーク４ａには、本発明の情報処理装置１とサーバ局２とが接続されており、相互の通信を可能としている。ネットワーク４ｂにはサーバ局２と放送局３とが接続されており、相互の通信を可能としている。
サーバ局２は、ネットワーク４ａにより情報処理装置１との間で個別的に情報の送受を行ったり、或いは複数の情報処理装置１に対して一斉に情報の送信を行うように構成される。
放送局３は、情報処理装置１に対して放送により情報を配信する通常の放送設備を備える。放送は、有線や地上波、衛星放送など、複数の情報処理装置１に対して一斉に情報の配信が可能であればその形態は問わない。また、サーバ局２及び放送局３は、ネットワーク４ｂにより相互に通信可能に接続されることにより、協同して情報処理装置１に対して情報を供給可能である。
【００１６】
本実施形態で紹介する情報処理装置１は、メインバスＢ１とサブバスＢ２の２本のバスを有するエンタテインメント装置である。これらのバスＢ１、Ｂ２がバスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。
【００１７】
メインバスＢ１には、メインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（direct memory access controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、フレームメモリ１５を内蔵する本発明の画像処理デバイス（graphic processing unit、以下、「ＧＰＵ」）１４が接続される。ＧＰＵ１４には、ビデオ出力信号を生成するための制御手段であるＣＲＴＣ（CRT controller）１６が接続される。ビデオ出力信号により、ケーブル等によって情報処理装置１と接続されている所定の表示装置に画像が表示される。
【００１８】
メインＣＰＵ１０は、情報処理装置１の起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、ジオメトリ処理を行う。ジオメトリ処理によりポリゴン定義情報をその内容とするディスプレイリストを生成する。また、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する。つまりメインＣＰＵ１０は、ソフトウェアにより情報を解読する情報解読機能を持つ。
【００１９】
ポリゴン定義情報は、描画領域設定情報とポリゴン情報とからなる。描画領域設定情報は、描画領域のフレームバッファアドレスにおけるオフセット座標と、描画領域の外部にポリゴンの座標があった場合に、描画をキャンセルするための描画クリッピング領域の座標からなる。ポリゴン情報は、ポリゴン属性情報と頂点情報とからなり、ポリゴン属性情報は、シェーディングモード、αブレンディングモード、およびテクスチャマッピングモード等を指定する情報であり、頂点情報は、頂点描画領域内座標、頂点テクスチャ領域内座標、および頂点色等の情報である。
【００２０】
ＧＰＵ１４は、描画コンテクストを保持しており、メインＣＰＵ１０から通知されるディスプレイリストに含まれる画像コンテクストの識別情報に基づいて該当する描画コンテクストを読み出し、これを用いてレンダリング処理を行い、フレームメモリ１５にポリゴンを描画する。フレームメモリ１５は、テクスチャメモリとしても使用できるため、フレームメモリ１５上のピクセルイメージをテクスチャとして描画するポリゴンに貼り付けることができる。
【００２１】
メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う。
ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ方式あるいはＪＰＥＧ方式等で圧縮されたデータを伸張する。つまりＭＤＥＣ１３は、チューナ３０やＡＴＭ２６、メディアドライブ２７により取得した情報を受領し解読する情報解読手段である。ＭＤＥＣ１３は、デコード専用に設計されたＩＣや、あるいはプログラマブル専用のＤＳＰを用いてソフトウェアにより実現可能である。また、メインＣＰＵ１０やサブＣＰＵ２０内に、ソフトウェアにより実現するようにしてもよい。
【００２２】
サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどのプログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理装置（ＳＰＵ（sound processing unit））２４、ネットワーク４ａを介してサーバ局２などの外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、所定のメデイア２８を装着するためのメディアドライブ２７、大容量の情報を記憶する補助記憶装置２９、チューナ３０及び入力部３１が接続されている。メディア２８は、画像処理用のプログラムが記録されたＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体である。情報処理装置１は、この画像処理用のプログラムを読み取って実行することにより、所要のエンタテインメント処理を実行できるようになる。
【００２３】
サブＣＰＵ２０は、ＲＯＭ２３に記憶されているプログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う。
【００２４】
チューナ３０は、アンテナＡＮＴにより受信する放送局３からの情報から、操作者により選局されたチャンネルの情報を抽出する。入力部３１は、操作装置３３からの入力信号が入力される接続端子３２を備える。補助記憶装置２９は、通常のハードディスクドライブであり、ＡＴＭ２６により受信したサーバ局２からの情報や、チューナ３０により受信した放送局３からの情報を一時保管する。
【００２５】
なお、本実施形態では情報処理装置１内にチューナ３０を設けることとしているが、汎用のコンピュータ装置等の情報処理装置には、通常、チューナは設けられていない。そこで、チューナを情報処理装置１の外部に設け、チューナで受信した情報を情報処理装置１へ送るようにしてもよい。この場合、情報処理装置１には、入力部３１にチューナからの情報が入力される入力端子を設けるようにするとよい。
【００２６】
以上のような情報処理装置１において、情報の入力経路は、サーバ局２からネットワーク４ａを介してＡＴＭ２６により受信する経路、放送局３からの放送をアンテナＡＮＴを介してチューナ３０により受信する経路、メディアドライブ２７によりメディア２８を再生することにより得る経路、の３経路がある。それぞれの入力経路は独立しており、放送を受信中にサーバ局２からの情報を受信し、なおかつメディア２８を再生して読み込むことも可能である。ＡＴＭ２６、チューナ３０、メディアドライブ２７のそれぞれが情報取得機構の一例となる。
【００２７】
このような入力経路により情報処理装置１に取り込まれる情報は、ＳＰＵ２４によりオーディオ出力となる音声情報のほかにＣＲＴＣ１６によりビデオ出力となる画像情報を有する。画像情報は、連続的に再生されて動画像となる動画情報と、動画像を構成するフレーム画像毎のフレーム番号を表すフレーム番号情報とを有する。フレーム番号情報は表示タイミング情報の一例である。表示タイミング情報には、この他に、垂直同期信号、水平同期信号などを用いることができる。
【００２８】
ここで、本発明の特徴の一つである画像合成の処理について説明する。この処理は、メインＣＰＵ１０またはＧＰＵ１４により行う。図２、図３は、画像合成に関する説明図である。
【００２９】
図２は、メインＣＰＵ１０により画像合成を行う場合の説明図であり、図２（Ａ）はフローチャート、図２（Ｂ）は主要部の回路図である。
【００３０】
メインＣＰＵ１０により画像合成を行う場合、まず、上記の３つの入力経路、即ちＡＴＭ２６、チューナ３０、メディアドライブ２７のいずれか２つの経路により、画像を含む情報を取得する（ステップＳ１０１）。取得する情報は、主画像を含む情報（以下、この実施形態では「主画像情報」という）と、付加画像を含む情報（以下、この実施形態では「付加画像情報」という）である。取得した情報は、主画像情報がＭＤＥＣ１３により解読される。解読されることにより主画像が生成される。またＭＤＥＣ１３は、主画像を生成するとともに主画像の進行状況を表すフレーム番号情報を読み出す。ＭＤＥＣ１３により生成された主画像及びフレーム番号情報は、メインＣＰＵ１０に送られる。付加画像情報は、メインＣＰＵ１０でソフトウェア処理により解読されて付加画像となる（ステップＳ１０２）。このとき、付加画像は主画像の内容に応じて加工される。
【００３１】
メインＣＰＵ１０は、ＭＤＥＣ１３から送られた主画像及び自ら解読した付加画像をフレーム番号情報に基づいて重ね合わせることにより、２つの画像の合成を行い、合成した画像に基づくディスプレイリストを生成する（ステップＳ１０３）。生成されたディスプレイリストは、ＧＰＵ１４に送られて、ＧＰＵ１４によりフレームメモリ１５に描画される（ステップＳ１０４）。フレームメモリ１５に描画された描画像は、ＧＰＵ１４を介してＣＲＴＣ１６に送られ、ＣＲＴＣ１６でビデオ出力信号に変換されてビデオ出力される（ステップＳ１０５）。このビデオ出力信号により、所定の表示装置に合成画像が表示される。
【００３２】
図３は、ＧＰＵ１４により画像合成を行う場合の説明図であり、図３（Ａ）は、フローチャート、図３（Ｂ）は主要部の回路図である。
【００３３】
ＧＰＵ１４により画像合成を行う場合、まず、上記の３つの入力経路、即ちＡＴＭ２６、チューナ３０、メディアドライブ２７のいずれか２つの経路により画像情報を含む情報を取得する（ステップＳ２０１）。取得した情報は、主画像情報がＭＤＥＣ１３により解読される。解読されることにより主画像が生成される。またＭＤＥＣ１３は、主画像を生成するとともに主画像の画像の進行状況を表すフレーム番号情報を読み出す。ＭＤＥＣ１３により生成された主画像及びフレーム番号情報は、メインＣＰＵ１０に送られる。
付加画像情報は、メインＣＰＵ１０でソフトウェア処理により解読されて付加画像となる（ステップＳ２０２）。このとき、付加画像は主画像の内容に応じて加工される。メインＣＰＵ１０は、ＭＤＥＣ１３から送られた主画像に基づく主画像ディスプレイリスト及び自ら解読した付加画像に基づく付加画像ディスプレイリストを生成してフレーム番号情報とともにＧＰＵ１４に送る。
【００３４】
ＧＰＵ１４は、送られてきた主画像ディスプレイリスト及び付加画像ディスプレリストをフレームメモリ１５を合成及び描画する（ステップ２０３）。
ＧＰＵ１４による画像合成には２通りある。一つ目はフレームメモリ１５に描画時に合成を行う方法であり、もう一つはフレームメモリ１５に描画後に合成を行う方法である。
描画時に合成を行う場合、主画像ディスプレイリスト及び付加画像ディスプレイリストをフレームメモリ１５の同じ領域に、フレーム番号情報に基づいて重ねて描画することにより行う。描画後に合成を行う場合、主画像ディスプレイリスト及び付加画像ディスプレイリストをフレームメモリ１５の異なる領域に描画する。その後、ＧＰＵ１４がフレームメモリ１５から２つの描画像をフレーム番号情報に基づいて同時に読み出して合成する。
以上のようにして合成された描画像はＣＲＴＣ１６に送られ、ＣＲＴＣ１６でビデオ出力信号に変換されてビデオ出力される（ステップＳ２０４）。このビデオ出力信号により、所定の表示装置に合成画像が表示される。
【００３５】
メインＣＰＵ１０、ＧＰＵ１４のどちらで画像合成を行う場合でも、合成する２つの画像のいずれか一つを補助記憶装置２９に一旦記憶することで同一の入力経路から画像情報を取得することが可能となる。つまり、先に取得した画像情報を補助記憶装置２９に一旦記憶し、その後同じ入力経路により異なる画像情報を取得する。補助記憶装置２９は、先に取得した画像情報をそのまま記憶してもよく、また、デコード後に記憶してもよい。補助記憶装置２９に記憶された画像情報は、必要に応じて読み出すようにするとよい。
【００３６】
【実施例】
このような画像合成処理を行う情報処理装置により、以下のような画像を生成することが可能となる。
【００３７】
実施例１：
まず、２つの入力経路により情報を受信して、これらの情報から生成された画像を重ね合わせることにより、より高解像度の動画像を提供する場合の例を挙げる。図４は、このようにして生成される高解像度の画像（動画像の一部のフレーム画像）の例である。図４（Ａ）は高解像度の画像から画像情報を生成する過程を示し、図４（Ｂ）は受信した画像情報から高解像度画像を生成する過程を示す。この画像は「／」を表している。
ここでは、通常放送による解像度をもつ画像と解像度を高めるための画像を重ね合わせる例を示す。通常放送による解像度を持つ画像となる情報を主画像情報、解像度を高めるための画像となる情報を付加画像情報とする。主画像情報は、画像となる動画情報と、動画を構成する各フレーム画像毎のフレーム番号情報を有している。主画像は、例えばハイビジョン撮影された画像などの高解像度動画の解像度を、放送局３からの無線放送用に低下させた動画像である。付加画像情報は、主画像情報による画像を高解像度化する画像情報であり、図４（Ａ）を例にすると、画像Ｃとなる画像情報である。画像Ｃは、高解像度撮影により得られる画像Ａと、画像Ａから解像度を落として通常放送による解像度とした画像Ｂとの差分の画像である。図４（Ａ）の画像Ｂが図４（Ｂ）の通常放送による解像度をもつ画像となり、図４（Ａ）の画像Ｃが図４（Ｂ）解像度を高めるための画像となる。
この実施例では、主画像情報を放送局３から放送し、付加画像情報をサーバ局２から送信する。また、画像合成はメインＣＰＵ１０で行うものとする。
【００３８】
主画像情報は、放送局３から放送されてアンテナＡＮＴを介してチューナ３０に入力される。チューナ３０では、選局されたチャンネルの情報のみが抽出されてＭＤＥＣ１３へ送られる。ＭＤＥＣ１３は、送られた情報をデコードして主画像を生成してこれをメインＣＰＵ１０へ送る。また、ＭＤＥＣ１３は、チューナ３０から送られた主画像情報からフレーム番号情報を抽出する。抽出したフレーム番号情報もメインＣＰＵ１０へ送られる。
付加画像情報は、画像Ａと画像Ｂの差分である。そのために、通常、付加画像情報は放送局３で生成されて、サーバ局２へ送られる。そして、付加画像情報は、サーバ局２からネットワーク４を介してＡＴＭ２６へ入力される。入力された付加画像情報は、メインＣＰＵ１０で解読される。メインＣＰＵ１０は、付加画像を生成する。
メインＣＰＵ１０は、ＭＤＥＣ１３から送られた主画像及び自身で解読した付加画像を合成してディスプレイリストを生成する。合成は、フレーム番号情報に同期して行われ、全く異なる画面が合成されることがないようにする。
【００３９】
メインＣＰＵ１０で生成されたディスプレイリストは、ＧＰＵ１４に送られてフレームメモリ１５に描画され、その後ＣＲＴＣ１６へ送られて、ビデオ出力信号に変換される。このビデオ出力信号を所定の表示装置で表示させることにより、高解像度の画像が得られる。
【００４０】
以上のようにして画像を生成することにより、従来の放送による解像度をもつ画像を、高解像度の画像として表示することが可能となり、従来の放送設備を利用しながら高画質放送を実現できるようになる。
【００４１】
実施例２：
次に、２つの入力経路により情報を入手して、これらの情報から生成された画像を重ね合わせることにより、視覚的に立体的な画像となるステレオ画像を提供する場合の例を挙げる。図５は、このようにして生成されるステレオ画像の例である。画像は直方体を表している。
ここでは、左目用の画像と右目用の画像とを重ね合わせる例を示す。左目用の画像となる情報を主画像情報、右目用の画像となる情報を付加画像情報とする。主画像情報は、左目用の画像となる動画情報と、動画を構成する各フレーム画像毎のフレーム番号情報を有している。左目用及び右目用の画像は、例えば２台のカメラをそれぞれ左目用、右目用として、所定間隔離して同じ物体を撮影することにより生成される。
この実施例では、主画像情報をサーバ局２から送信し、付加画像情報をメディア２８から読み出すことにより入手する。また、画像合成はＧＰＵ１４で行うものとする。
【００４２】
主画像情報は、サーバ局２からネットワーク４を介してＡＴＭ２６に入力される。入力された主画像情報は、ＭＤＥＣ１３でデコードされて主画像となる。また、ＭＤＥＣ１３は主画像情報からフレーム番号情報を抽出する。主画像は、メインＣＰＵ１０に送られて主画像ディスプレイリストとなる。フレーム番号情報は、メインＣＰＵ１０を介してＧＰＵ１４へ送られる。
付加画像情報は、メディアドライブ２７によりメディア２８から読み出される。読み出された情報は、メインＣＰＵ１０で解読され付加画像ディスプレイリストとなる。主画像ディスプレイリスト及び付加画像ディスプレイリストは、ＧＰＵ１４へ送られる。
【００４３】
ＧＰＵ１３へ送られた主画像ディスプレイリスト及び付加画像ディスプレイリストは、フレーム番号情報に同期してフレームメモリ１５の同じ領域に重なるようにして描画される。同じ領域に重ねて描画することにより主画像である左目用画像と付加画像である右目用画像とが合成される。
【００４４】
フレームメモリ１５上の描画像はその後ＣＲＴＣ１６へ送られ、ビデオ出力信号に変換される。このビデオ出力信号を所定の表示装置で表示させることにより、ステレオ画像が得られる。
【００４５】
以上のようにして画像を生成することにより、従来のモノラルの画像を、ステレオ画像として表示することが可能となる。
ステレオ画像は、この他に、同一の画像を２分岐して主画像及び付加画像としても実現できる。メインＣＰＵ１０により、一方の画像を他方の画像に対して１ないし数ピクセルずらした画像になるようにディスプレイリストを作成すれば、両画像を重ね合わせた際に、ステレオ画像となる。
【００４６】
実施例３：
次に、２つの入力経路により情報を入手して、これらの情報から生成された画像を重ね合わせることにより、放送された画像上に、動きの表現が可能なオブジェクトを含むＣＧ画像（ゲーム画像等）を重ねた画像を提供する場合の例を挙げる。図６は、このようにして生成される画像の例である。
ここで、重ね合わせるゲーム画像は、放送画像に必ずしも関連したものでなくてもよい。図６（Ａ）は、放送画像に関連しないゲーム画像を重ねて表示した画像であり、放送画像上に育成ゲームの画像を重ねて表示したものである。図６（Ｂ）は、放送画像に関連したゲーム画像を重ねて表示した画像であり、ゴルフの放送画像上にゴルフゲームの画像を重ねて表示したものである。放送された画像となる情報を主画像情報、ゲーム画像となる情報を付加画像情報とする。
主画像情報は、画像となる動画情報と、動画を構成する各フレーム画像毎のフレーム番号情報を有している。また、主画像情報には、主画像により表示される場所の状況や状態を表す付加情報も含まれる。例えば、付加情報には、主画像に登場する人間又は物が存在する場所の相対位置情報（図６（Ａ）であれば、山、家、車の位置や大きさ等の情報、図６（Ｂ）であれば、どこのコースの何ホール目か等の情報）や、主画像により表示される場所の気象条件情報（図６（Ｂ）であれば、天候、風向き等の情報）が含まれる。
この実施例では、主画像情報を放送局３から放送し、付加画像情報をメディア２８により読み出すことにより入手する。また、画像合成はＧＰＵ１４で行うものとする。
【００４７】
主画像情報は、放送局３から放送されてアンテナＡＮＴを介してチューナ３０に入力される。チューナ３０では、選局されたチャンネルの情報のみが抽出されてＭＤＥＣ１３へ送られる。ＭＤＥＣ１３は、送られた情報をデコードして主画像を生成してこれをメインＣＰＵ１０へ送る。メインＣＰＵ１０へ送られた主画像は、主画像ディスプレイリストとなる。また、ＭＤＥＣ１３は、チューナ３０から送られた主画像情報からフレーム番号情報を抽出する。抽出したフレーム番号情報もメインＣＰＵ１０を介してＧＰＵ１４へ送られる。さらに付加情報も抽出されてメインＣＰＵ１０へ送られる。
付加画像情報は、メディアドライブ２７によりメディア２８から読み出される。読み出された情報は、メインＣＰＵ１０で解読され付加画像ディスプレイリストとなる。主画像ディスプレイリスト及び付加画像ディスプレイリストは、ＧＰＵ１４へ送られる。メインＣＰＵ１０は、ＭＤＥＣ１３から送られるフレーム番号情報に基づいて、オブジェクトの動き及び表現態様を、主画像の動きに連動させ且つゲームプログラムの実行順序に応じて変化させる。
【００４８】
付加画像ディスプレイリストは、ゲーム画像を示すディスプレイリストであるため操作装置３３から入力された信号が反映されたものとなる。操作装置３３からの入力信号は、入力部３１を介してメインＣＰＵ１０に入力される。メインＣＰＵ１０は、入力信号を解析して、これを３次元オブジェクトに反映させてジオメトリ処理を行うなどして、オブジェクトの動き及び表現態様に変更を加えた付加画像ディスプレイリストを生成する。
また、メインＣＰＵ１０は、付加情報から、画面上のどの位置に何があるかなどの相対位置情報を入手する。相対位置情報により、ゲーム画像を構成するオブジェクト（図６（Ａ）では育成対象のペット、図６（Ｂ）ではボール）の動き及び表現態様に影響を与えるようにする。
例えば、図６（Ａ）で車が移動している画像であるとすると、ペットは車の位置を示す付加情報により車の座標を確認し、この座標を追いかけるようにすることにより、画面上ではペットが車を追いかける画像が得られる。そして、車を追いかけたという情報をペットが持つことにより、ペットが車に興味を持つ、といった情報を生成してペットの情報としてペットの育成を図るようにする。
また、図６（Ｂ）では、付加情報から、取得している主画像のコース名や何ホール目かの情報を確認できる。これらの情報から、該当する画像となるゲーム画像を生成する。
操作者は、操作装置３３を用いて、生成されたゲーム画像上でゲームを楽しむことが可能となる。操作装置３３によりオブジェクトの動き及び表現態様を変化させる際に、付加情報から得られる気象条件情報をも考慮したオブジェクトの動き及び表現態様を提供することができる。これにより、主画像で表示される場所で、画像内の実際のプレイヤと同じ条件でゴルフを行っているような疑似体験をすることができる。このようにしてゲーム画像、操作装置３３による操作を付加画像に反映させる。
【００４９】
ＧＰＵ１４に送られた主画像ディスプレイリスト及び付加画像ディスプレイリストは、フレームメモリ１５の異なる領域に描画される。その後、ＧＰＵ１４は、フレームメモリ１５から２つの描画像をフレーム番号情報に基づいて同時に読み出して合成する。合成された描画像は、ＣＲＴＣ１６へ送られてビデオ出力信号に変換されて出力される。
【００５０】
以上のように付加情報及び操作装置３３からの入力信号を考慮して合成画像を生成することにより、育成ゲームのようなゲームでは育成対象のペットに主画像による影響を与えることができるようになり、ゴルフゲームのようなゲームでは、主画像で競技している競技者と同じコースを同じ条件下で同時に競技している感覚を得ることができる。
【００５１】
以上の実施例において、重ね合わされる画像となる情報は、３つの入力経路のどの２つから情報を取得するようにしてもよい。また、補助記憶装置２９を備えることで、同一の経路から情報を取得して、先に取得した情報を補助記憶装置２９に記憶し、後に取得した情報に同期して読み出すようにしてもよい。
【００５２】
なお、本実施形態では、画像処理デバイスを搭載したエンタテインメント装置を用いて画像処理を行う場合の例について説明したが、本発明は、上記の例以外の形態でも実施可能なものである。例えば、オペレーティングシステムを搭載し、これによって複数の経路で取得した画像を所定の表示装置に表示させる機能を具えた汎用のコンピュータが、ＣＤ−ＲＯＭあるいはＤＶＤ−ＲＯＭ等の記録媒体に記録された画像処理用のコンピュータプログラムを読み取って実行することによっても実施が可能である。
【００５３】
【発明の効果】
以上のような本発明により、複数の経路から入力される情報を統合してより高度な情報とした情報をユーザに提供可能となる。
【図面の簡単な説明】
【図１】情報提示システムを示す図である。
【図２】ＣＰＵにより画像合成を行う場合の説明図であり、図２（Ａ）はフローチャート、図２（Ｂ）は主要部の回路図である。
【図３】ＧＰＵにより画像合成を行う場合の説明図であり、図３（Ａ）はフローチャート、図３（Ｂ）は主要部の回路図である。
【図４】高解像度の画像の説明図であり、図４（Ａ）は高解像度の画像から画像情報を生成する過程を示し、図４（Ｂ）は受信した画像情報から高解像度画像を生成する過程を示す。
【図５】ステレオ画像の説明図である。
【図６】放送画像上にゲーム画像を重ね合わせた画像の説明図であり、図６（Ａ）は放送画像とゲーム画像が関連しない場合、図６（Ｂ）は放送画像とゲーム画像が関連する場合の説明図である。
【符号の説明】
１ 情報処理装置
２ サーバ局
３ 放送局
４ａ、ｂ ネットワーク
１０ メインＣＰＵ
１１ メインメモリ
１２ メインＤＭＡＣ
１３ ＭＤＥＣ
１４ ＧＰＵ
１５ フレームメモリ
１６ ＣＲＴＣ
２０ サブＣＰＵ
２１ サブメモリ
２２ サブＤＭＡＣ
２３ ＲＯＭ
２４ ＳＰＵ
２５ サウンドメモリ
２６ ＡＴＭ
２７ メディアドライブ
２８ メディア
２９ 補助記憶装置
３０ チューナ
３１ 入力部
３２ 接続端子
３３ 操作装置
ＡＮＴ アンテナ
Ｂ１、Ｂ２ バス
【発明の属する技術分野】
本発明は、例えば、通常の放送画像に新たな価値を付加するための画像処理の技術に係り、より詳しくは、このような画像処理を実現するための情報処理技術に関する。
【０００２】
【従来の技術】
放送は、地上波や衛星、有線により広く行われており、最も手軽な情報源となっている。最近は、従来のアナログ放送に加えてデジタル放送も実用化されており、それに伴い従来のアナログ放送用のテレビ受像機に加え、デジタル放送対応のテレビ受像機も普及しつつある。
【０００３】
デジタル放送の受信設備には、デジタル放送により配信された情報を受信して、受信した情報をデコードするＳＴＢ（Set Top Box）などが用いられている。ＳＴＢは、受信した情報のデコードを行うデコーダを、ハードウェア若しくはソフトウェアにより実現している。ハードウェアによる場合は、デコード専用に設計されたＩＣなどを用いる。ソフトウェアによる場合は、プログラマブル専用のＤＳＰ（Digital Signal Processor）を用いたり、或いはマルチメディア命令のような機能を強化した汎用のＣＰＵ（Central Processing Unit）を用いて、ＤＳＰやＣＰＵにプログラムを読み込ませてソフトウェア処理によりデコード機能を実現する。
ソフトウェアによりデコード機能を実現するＤＳＰやＣＰＵには汎用性があり、別のプログラムを読み込ませることによりデコード機能以外の機能を、デコード機能と同時に実現させることも可能である。しかし、現状では定型的なフィルタ処理以外に有効な機能を実現させている例は殆どない。
【０００４】
一方、ＳＴＢ自体にハードディスクやマルチチャンネルのメディアを備え、複数の放送により配信された情報を受信、蓄積できるようになったが、各々を独立に利用する、或いはソフトウェアのバージョンアップ以外には有効利用されていないのが現実である。
【０００５】
【発明が解決しようとする課題】
本発明の課題は、以上のようなＳＴＢなどの受信設備内の資源を有効に利用することにより、複数の経路から入力される画像を合成してユーザに提供するための具体的な仕組みを提供することにある。特に、従来手法によって配信された画像に新たな価値を付加した画像を生成するための画像処理技術の実現体、実現方法を提供する。
【０００６】
【課題を解決するための手段】
上記の課題を解決する本発明の情報処理装置は、高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送局からの無線経路により取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送局をその起点とする有線通信により取得する情報取得機構と、前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせるようにして前記高解像度動画と同じ解像度の合成画像を生成する画像処理手段と、前記合成画像を所定の表示装置に表示させる制御手段とを具えてなる。
【０００７】
このような情報処理装置は、例えば、通常放送により得られる第１画像を、第２画像と合成して、ハイビジョンと同じ個解像度をもつ画像とすることができる。
【００１１】
上記課題を解決する本発明の画像処理デバイスは、高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送局からの無線経路により取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送局をその起点とする有線通信により取得する情報取得機構と、前記第２画像と前記第１画像とが合成された合成画像を所定の表示装置に表示させる制御手段とを具えた情報処理装置に装着され当該情報処理装置と協働で画像処理を行うデバイスである。前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせるようにして前記高解像度動画と同じ解像度の合成画像を生成して前記制御手段へ送出する。
【００１２】
上記課題を解決する本発明の画像処理方法は、画像を所定の表示装置に表示させる機能を具えたコンピュータにおいて、高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送受信波を通じて取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送受信波の発信元を起点とする有線通信により取得するステップと、前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせることで、前記高解像度動画と同じ解像度の合成画像を生成して、前記表示装置にこの合成画像を表示させるステップとを実行する画像処理方法である。
【００１３】
上記課題を解決するため、本発明は、画像を所定の表示装置に表示させるコンピュータに、高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送受信波を通じて取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送受信波の発信元を起点とする有線通信により取得する処理、前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせることで前記高解像度動画と同じ解像度の合成画像を生成し、この合成画像を所定の表示装置に表示させる処理、を実行させるためのコンピュータプログラムを提供する。このコンピュータプログラムは、通常、コンピュータ読み取り可能な記録媒体に記録される。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明を実施するための全体構成図である。ネットワーク４ａには、本発明の情報処理装置１とサーバ局２とが接続されており、相互の通信を可能としている。ネットワーク４ｂにはサーバ局２と放送局３とが接続されており、相互の通信を可能としている。
サーバ局２は、ネットワーク４ａにより情報処理装置１との間で個別的に情報の送受を行ったり、或いは複数の情報処理装置１に対して一斉に情報の送信を行うように構成される。
放送局３は、情報処理装置１に対して放送により情報を配信する通常の放送設備を備える。放送は、有線や地上波、衛星放送など、複数の情報処理装置１に対して一斉に情報の配信が可能であればその形態は問わない。また、サーバ局２及び放送局３は、ネットワーク４ｂにより相互に通信可能に接続されることにより、協同して情報処理装置１に対して情報を供給可能である。
【００１６】
本実施形態で紹介する情報処理装置１は、メインバスＢ１とサブバスＢ２の２本のバスを有するエンタテインメント装置である。これらのバスＢ１、Ｂ２がバスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。
【００１７】
メインバスＢ１には、メインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（direct memory access controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、フレームメモリ１５を内蔵する本発明の画像処理デバイス（graphic processing unit、以下、「ＧＰＵ」）１４が接続される。ＧＰＵ１４には、ビデオ出力信号を生成するための制御手段であるＣＲＴＣ（CRT controller）１６が接続される。ビデオ出力信号により、ケーブル等によって情報処理装置１と接続されている所定の表示装置に画像が表示される。
【００１８】
メインＣＰＵ１０は、情報処理装置１の起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、ジオメトリ処理を行う。ジオメトリ処理によりポリゴン定義情報をその内容とするディスプレイリストを生成する。また、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する。つまりメインＣＰＵ１０は、ソフトウェアにより情報を解読する情報解読機能を持つ。
【００１９】
ポリゴン定義情報は、描画領域設定情報とポリゴン情報とからなる。描画領域設定情報は、描画領域のフレームバッファアドレスにおけるオフセット座標と、描画領域の外部にポリゴンの座標があった場合に、描画をキャンセルするための描画クリッピング領域の座標からなる。ポリゴン情報は、ポリゴン属性情報と頂点情報とからなり、ポリゴン属性情報は、シェーディングモード、αブレンディングモード、およびテクスチャマッピングモード等を指定する情報であり、頂点情報は、頂点描画領域内座標、頂点テクスチャ領域内座標、および頂点色等の情報である。
【００２０】
ＧＰＵ１４は、描画コンテクストを保持しており、メインＣＰＵ１０から通知されるディスプレイリストに含まれる画像コンテクストの識別情報に基づいて該当する描画コンテクストを読み出し、これを用いてレンダリング処理を行い、フレームメモリ１５にポリゴンを描画する。フレームメモリ１５は、テクスチャメモリとしても使用できるため、フレームメモリ１５上のピクセルイメージをテクスチャとして描画するポリゴンに貼り付けることができる。
【００２１】
メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う。
ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ方式あるいはＪＰＥＧ方式等で圧縮されたデータを伸張する。つまりＭＤＥＣ１３は、チューナ３０やＡＴＭ２６、メディアドライブ２７により取得した情報を受領し解読する情報解読手段である。ＭＤＥＣ１３は、デコード専用に設計されたＩＣや、あるいはプログラマブル専用のＤＳＰを用いてソフトウェアにより実現可能である。また、メインＣＰＵ１０やサブＣＰＵ２０内に、ソフトウェアにより実現するようにしてもよい。
【００２２】
サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどのプログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理装置（ＳＰＵ（sound processing unit））２４、ネットワーク４ａを介してサーバ局２などの外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、所定のメデイア２８を装着するためのメディアドライブ２７、大容量の情報を記憶する補助記憶装置２９、チューナ３０及び入力部３１が接続されている。メディア２８は、画像処理用のプログラムが記録されたＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体である。情報処理装置１は、この画像処理用のプログラムを読み取って実行することにより、所要のエンタテインメント処理を実行できるようになる。
【００２３】
サブＣＰＵ２０は、ＲＯＭ２３に記憶されているプログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う。
【００２４】
チューナ３０は、アンテナＡＮＴにより受信する放送局３からの情報から、操作者により選局されたチャンネルの情報を抽出する。入力部３１は、操作装置３３からの入力信号が入力される接続端子３２を備える。補助記憶装置２９は、通常のハードディスクドライブであり、ＡＴＭ２６により受信したサーバ局２からの情報や、チューナ３０により受信した放送局３からの情報を一時保管する。
【００２５】
なお、本実施形態では情報処理装置１内にチューナ３０を設けることとしているが、汎用のコンピュータ装置等の情報処理装置には、通常、チューナは設けられていない。そこで、チューナを情報処理装置１の外部に設け、チューナで受信した情報を情報処理装置１へ送るようにしてもよい。この場合、情報処理装置１には、入力部３１にチューナからの情報が入力される入力端子を設けるようにするとよい。
【００２６】
以上のような情報処理装置１において、情報の入力経路は、サーバ局２からネットワーク４ａを介してＡＴＭ２６により受信する経路、放送局３からの放送をアンテナＡＮＴを介してチューナ３０により受信する経路、メディアドライブ２７によりメディア２８を再生することにより得る経路、の３経路がある。それぞれの入力経路は独立しており、放送を受信中にサーバ局２からの情報を受信し、なおかつメディア２８を再生して読み込むことも可能である。ＡＴＭ２６、チューナ３０、メディアドライブ２７のそれぞれが情報取得機構の一例となる。
【００２７】
このような入力経路により情報処理装置１に取り込まれる情報は、ＳＰＵ２４によりオーディオ出力となる音声情報のほかにＣＲＴＣ１６によりビデオ出力となる画像情報を有する。画像情報は、連続的に再生されて動画像となる動画情報と、動画像を構成するフレーム画像毎のフレーム番号を表すフレーム番号情報とを有する。フレーム番号情報は表示タイミング情報の一例である。表示タイミング情報には、この他に、垂直同期信号、水平同期信号などを用いることができる。
【００２８】
ここで、本発明の特徴の一つである画像合成の処理について説明する。この処理は、メインＣＰＵ１０またはＧＰＵ１４により行う。図２、図３は、画像合成に関する説明図である。
【００２９】
図２は、メインＣＰＵ１０により画像合成を行う場合の説明図であり、図２（Ａ）はフローチャート、図２（Ｂ）は主要部の回路図である。
【００３０】
メインＣＰＵ１０により画像合成を行う場合、まず、上記の３つの入力経路、即ちＡＴＭ２６、チューナ３０、メディアドライブ２７のいずれか２つの経路により、画像を含む情報を取得する（ステップＳ１０１）。取得する情報は、主画像を含む情報（以下、この実施形態では「主画像情報」という）と、付加画像を含む情報（以下、この実施形態では「付加画像情報」という）である。取得した情報は、主画像情報がＭＤＥＣ１３により解読される。解読されることにより主画像が生成される。またＭＤＥＣ１３は、主画像を生成するとともに主画像の進行状況を表すフレーム番号情報を読み出す。ＭＤＥＣ１３により生成された主画像及びフレーム番号情報は、メインＣＰＵ１０に送られる。付加画像情報は、メインＣＰＵ１０でソフトウェア処理により解読されて付加画像となる（ステップＳ１０２）。このとき、付加画像は主画像の内容に応じて加工される。
【００３１】
メインＣＰＵ１０は、ＭＤＥＣ１３から送られた主画像及び自ら解読した付加画像をフレーム番号情報に基づいて重ね合わせることにより、２つの画像の合成を行い、合成した画像に基づくディスプレイリストを生成する（ステップＳ１０３）。生成されたディスプレイリストは、ＧＰＵ１４に送られて、ＧＰＵ１４によりフレームメモリ１５に描画される（ステップＳ１０４）。フレームメモリ１５に描画された描画像は、ＧＰＵ１４を介してＣＲＴＣ１６に送られ、ＣＲＴＣ１６でビデオ出力信号に変換されてビデオ出力される（ステップＳ１０５）。このビデオ出力信号により、所定の表示装置に合成画像が表示される。
【００３２】
図３は、ＧＰＵ１４により画像合成を行う場合の説明図であり、図３（Ａ）は、フローチャート、図３（Ｂ）は主要部の回路図である。
【００３３】
ＧＰＵ１４により画像合成を行う場合、まず、上記の３つの入力経路、即ちＡＴＭ２６、チューナ３０、メディアドライブ２７のいずれか２つの経路により画像情報を含む情報を取得する（ステップＳ２０１）。取得した情報は、主画像情報がＭＤＥＣ１３により解読される。解読されることにより主画像が生成される。またＭＤＥＣ１３は、主画像を生成するとともに主画像の画像の進行状況を表すフレーム番号情報を読み出す。ＭＤＥＣ１３により生成された主画像及びフレーム番号情報は、メインＣＰＵ１０に送られる。
付加画像情報は、メインＣＰＵ１０でソフトウェア処理により解読されて付加画像となる（ステップＳ２０２）。このとき、付加画像は主画像の内容に応じて加工される。メインＣＰＵ１０は、ＭＤＥＣ１３から送られた主画像に基づく主画像ディスプレイリスト及び自ら解読した付加画像に基づく付加画像ディスプレイリストを生成してフレーム番号情報とともにＧＰＵ１４に送る。
【００３４】
ＧＰＵ１４は、送られてきた主画像ディスプレイリスト及び付加画像ディスプレリストをフレームメモリ１５を合成及び描画する（ステップ２０３）。
ＧＰＵ１４による画像合成には２通りある。一つ目はフレームメモリ１５に描画時に合成を行う方法であり、もう一つはフレームメモリ１５に描画後に合成を行う方法である。
描画時に合成を行う場合、主画像ディスプレイリスト及び付加画像ディスプレイリストをフレームメモリ１５の同じ領域に、フレーム番号情報に基づいて重ねて描画することにより行う。描画後に合成を行う場合、主画像ディスプレイリスト及び付加画像ディスプレイリストをフレームメモリ１５の異なる領域に描画する。その後、ＧＰＵ１４がフレームメモリ１５から２つの描画像をフレーム番号情報に基づいて同時に読み出して合成する。
以上のようにして合成された描画像はＣＲＴＣ１６に送られ、ＣＲＴＣ１６でビデオ出力信号に変換されてビデオ出力される（ステップＳ２０４）。このビデオ出力信号により、所定の表示装置に合成画像が表示される。
【００３５】
メインＣＰＵ１０、ＧＰＵ１４のどちらで画像合成を行う場合でも、合成する２つの画像のいずれか一つを補助記憶装置２９に一旦記憶することで同一の入力経路から画像情報を取得することが可能となる。つまり、先に取得した画像情報を補助記憶装置２９に一旦記憶し、その後同じ入力経路により異なる画像情報を取得する。補助記憶装置２９は、先に取得した画像情報をそのまま記憶してもよく、また、デコード後に記憶してもよい。補助記憶装置２９に記憶された画像情報は、必要に応じて読み出すようにするとよい。
【００３６】
【実施例】
このような画像合成処理を行う情報処理装置により、以下のような画像を生成することが可能となる。
【００３７】
実施例１：
まず、２つの入力経路により情報を受信して、これらの情報から生成された画像を重ね合わせることにより、より高解像度の動画像を提供する場合の例を挙げる。図４は、このようにして生成される高解像度の画像（動画像の一部のフレーム画像）の例である。図４（Ａ）は高解像度の画像から画像情報を生成する過程を示し、図４（Ｂ）は受信した画像情報から高解像度画像を生成する過程を示す。この画像は「／」を表している。
ここでは、通常放送による解像度をもつ画像と解像度を高めるための画像を重ね合わせる例を示す。通常放送による解像度を持つ画像となる情報を主画像情報、解像度を高めるための画像となる情報を付加画像情報とする。主画像情報は、画像となる動画情報と、動画を構成する各フレーム画像毎のフレーム番号情報を有している。主画像は、例えばハイビジョン撮影された画像などの高解像度動画の解像度を、放送局３からの無線放送用に低下させた動画像である。付加画像情報は、主画像情報による画像を高解像度化する画像情報であり、図４（Ａ）を例にすると、画像Ｃとなる画像情報である。画像Ｃは、高解像度撮影により得られる画像Ａと、画像Ａから解像度を落として通常放送による解像度とした画像Ｂとの差分の画像である。図４（Ａ）の画像Ｂが図４（Ｂ）の通常放送による解像度をもつ画像となり、図４（Ａ）の画像Ｃが図４（Ｂ）解像度を高めるための画像となる。
この実施例では、主画像情報を放送局３から放送し、付加画像情報をサーバ局２から送信する。また、画像合成はメインＣＰＵ１０で行うものとする。
【００３８】
主画像情報は、放送局３から放送されてアンテナＡＮＴを介してチューナ３０に入力される。チューナ３０では、選局されたチャンネルの情報のみが抽出されてＭＤＥＣ１３へ送られる。ＭＤＥＣ１３は、送られた情報をデコードして主画像を生成してこれをメインＣＰＵ１０へ送る。また、ＭＤＥＣ１３は、チューナ３０から送られた主画像情報からフレーム番号情報を抽出する。抽出したフレーム番号情報もメインＣＰＵ１０へ送られる。
付加画像情報は、画像Ａと画像Ｂの差分である。そのために、通常、付加画像情報は放送局３で生成されて、サーバ局２へ送られる。そして、付加画像情報は、サーバ局２からネットワーク４を介してＡＴＭ２６へ入力される。入力された付加画像情報は、メインＣＰＵ１０で解読される。メインＣＰＵ１０は、付加画像を生成する。
メインＣＰＵ１０は、ＭＤＥＣ１３から送られた主画像及び自身で解読した付加画像を合成してディスプレイリストを生成する。合成は、フレーム番号情報に同期して行われ、全く異なる画面が合成されることがないようにする。
【００３９】
メインＣＰＵ１０で生成されたディスプレイリストは、ＧＰＵ１４に送られてフレームメモリ１５に描画され、その後ＣＲＴＣ１６へ送られて、ビデオ出力信号に変換される。このビデオ出力信号を所定の表示装置で表示させることにより、高解像度の画像が得られる。
【００４０】
以上のようにして画像を生成することにより、従来の放送による解像度をもつ画像を、高解像度の画像として表示することが可能となり、従来の放送設備を利用しながら高画質放送を実現できるようになる。
【００４１】
実施例２：
次に、２つの入力経路により情報を入手して、これらの情報から生成された画像を重ね合わせることにより、視覚的に立体的な画像となるステレオ画像を提供する場合の例を挙げる。図５は、このようにして生成されるステレオ画像の例である。画像は直方体を表している。
ここでは、左目用の画像と右目用の画像とを重ね合わせる例を示す。左目用の画像となる情報を主画像情報、右目用の画像となる情報を付加画像情報とする。主画像情報は、左目用の画像となる動画情報と、動画を構成する各フレーム画像毎のフレーム番号情報を有している。左目用及び右目用の画像は、例えば２台のカメラをそれぞれ左目用、右目用として、所定間隔離して同じ物体を撮影することにより生成される。
この実施例では、主画像情報をサーバ局２から送信し、付加画像情報をメディア２８から読み出すことにより入手する。また、画像合成はＧＰＵ１４で行うものとする。
【００４２】
主画像情報は、サーバ局２からネットワーク４を介してＡＴＭ２６に入力される。入力された主画像情報は、ＭＤＥＣ１３でデコードされて主画像となる。また、ＭＤＥＣ１３は主画像情報からフレーム番号情報を抽出する。主画像は、メインＣＰＵ１０に送られて主画像ディスプレイリストとなる。フレーム番号情報は、メインＣＰＵ１０を介してＧＰＵ１４へ送られる。
付加画像情報は、メディアドライブ２７によりメディア２８から読み出される。読み出された情報は、メインＣＰＵ１０で解読され付加画像ディスプレイリストとなる。主画像ディスプレイリスト及び付加画像ディスプレイリストは、ＧＰＵ１４へ送られる。
【００４３】
ＧＰＵ１３へ送られた主画像ディスプレイリスト及び付加画像ディスプレイリストは、フレーム番号情報に同期してフレームメモリ１５の同じ領域に重なるようにして描画される。同じ領域に重ねて描画することにより主画像である左目用画像と付加画像である右目用画像とが合成される。
【００４４】
フレームメモリ１５上の描画像はその後ＣＲＴＣ１６へ送られ、ビデオ出力信号に変換される。このビデオ出力信号を所定の表示装置で表示させることにより、ステレオ画像が得られる。
【００４５】
以上のようにして画像を生成することにより、従来のモノラルの画像を、ステレオ画像として表示することが可能となる。
ステレオ画像は、この他に、同一の画像を２分岐して主画像及び付加画像としても実現できる。メインＣＰＵ１０により、一方の画像を他方の画像に対して１ないし数ピクセルずらした画像になるようにディスプレイリストを作成すれば、両画像を重ね合わせた際に、ステレオ画像となる。
【００４６】
実施例３：
次に、２つの入力経路により情報を入手して、これらの情報から生成された画像を重ね合わせることにより、放送された画像上に、動きの表現が可能なオブジェクトを含むＣＧ画像（ゲーム画像等）を重ねた画像を提供する場合の例を挙げる。図６は、このようにして生成される画像の例である。
ここで、重ね合わせるゲーム画像は、放送画像に必ずしも関連したものでなくてもよい。図６（Ａ）は、放送画像に関連しないゲーム画像を重ねて表示した画像であり、放送画像上に育成ゲームの画像を重ねて表示したものである。図６（Ｂ）は、放送画像に関連したゲーム画像を重ねて表示した画像であり、ゴルフの放送画像上にゴルフゲームの画像を重ねて表示したものである。放送された画像となる情報を主画像情報、ゲーム画像となる情報を付加画像情報とする。
主画像情報は、画像となる動画情報と、動画を構成する各フレーム画像毎のフレーム番号情報を有している。また、主画像情報には、主画像により表示される場所の状況や状態を表す付加情報も含まれる。例えば、付加情報には、主画像に登場する人間又は物が存在する場所の相対位置情報（図６（Ａ）であれば、山、家、車の位置や大きさ等の情報、図６（Ｂ）であれば、どこのコースの何ホール目か等の情報）や、主画像により表示される場所の気象条件情報（図６（Ｂ）であれば、天候、風向き等の情報）が含まれる。
この実施例では、主画像情報を放送局３から放送し、付加画像情報をメディア２８により読み出すことにより入手する。また、画像合成はＧＰＵ１４で行うものとする。
【００４７】
主画像情報は、放送局３から放送されてアンテナＡＮＴを介してチューナ３０に入力される。チューナ３０では、選局されたチャンネルの情報のみが抽出されてＭＤＥＣ１３へ送られる。ＭＤＥＣ１３は、送られた情報をデコードして主画像を生成してこれをメインＣＰＵ１０へ送る。メインＣＰＵ１０へ送られた主画像は、主画像ディスプレイリストとなる。また、ＭＤＥＣ１３は、チューナ３０から送られた主画像情報からフレーム番号情報を抽出する。抽出したフレーム番号情報もメインＣＰＵ１０を介してＧＰＵ１４へ送られる。さらに付加情報も抽出されてメインＣＰＵ１０へ送られる。
付加画像情報は、メディアドライブ２７によりメディア２８から読み出される。読み出された情報は、メインＣＰＵ１０で解読され付加画像ディスプレイリストとなる。主画像ディスプレイリスト及び付加画像ディスプレイリストは、ＧＰＵ１４へ送られる。メインＣＰＵ１０は、ＭＤＥＣ１３から送られるフレーム番号情報に基づいて、オブジェクトの動き及び表現態様を、主画像の動きに連動させ且つゲームプログラムの実行順序に応じて変化させる。
【００４８】
付加画像ディスプレイリストは、ゲーム画像を示すディスプレイリストであるため操作装置３３から入力された信号が反映されたものとなる。操作装置３３からの入力信号は、入力部３１を介してメインＣＰＵ１０に入力される。メインＣＰＵ１０は、入力信号を解析して、これを３次元オブジェクトに反映させてジオメトリ処理を行うなどして、オブジェクトの動き及び表現態様に変更を加えた付加画像ディスプレイリストを生成する。
また、メインＣＰＵ１０は、付加情報から、画面上のどの位置に何があるかなどの相対位置情報を入手する。相対位置情報により、ゲーム画像を構成するオブジェクト（図６（Ａ）では育成対象のペット、図６（Ｂ）ではボール）の動き及び表現態様に影響を与えるようにする。
例えば、図６（Ａ）で車が移動している画像であるとすると、ペットは車の位置を示す付加情報により車の座標を確認し、この座標を追いかけるようにすることにより、画面上ではペットが車を追いかける画像が得られる。そして、車を追いかけたという情報をペットが持つことにより、ペットが車に興味を持つ、といった情報を生成してペットの情報としてペットの育成を図るようにする。
また、図６（Ｂ）では、付加情報から、取得している主画像のコース名や何ホール目かの情報を確認できる。これらの情報から、該当する画像となるゲーム画像を生成する。
操作者は、操作装置３３を用いて、生成されたゲーム画像上でゲームを楽しむことが可能となる。操作装置３３によりオブジェクトの動き及び表現態様を変化させる際に、付加情報から得られる気象条件情報をも考慮したオブジェクトの動き及び表現態様を提供することができる。これにより、主画像で表示される場所で、画像内の実際のプレイヤと同じ条件でゴルフを行っているような疑似体験をすることができる。このようにしてゲーム画像、操作装置３３による操作を付加画像に反映させる。
【００４９】
ＧＰＵ１４に送られた主画像ディスプレイリスト及び付加画像ディスプレイリストは、フレームメモリ１５の異なる領域に描画される。その後、ＧＰＵ１４は、フレームメモリ１５から２つの描画像をフレーム番号情報に基づいて同時に読み出して合成する。合成された描画像は、ＣＲＴＣ１６へ送られてビデオ出力信号に変換されて出力される。
【００５０】
以上のように付加情報及び操作装置３３からの入力信号を考慮して合成画像を生成することにより、育成ゲームのようなゲームでは育成対象のペットに主画像による影響を与えることができるようになり、ゴルフゲームのようなゲームでは、主画像で競技している競技者と同じコースを同じ条件下で同時に競技している感覚を得ることができる。
【００５１】
以上の実施例において、重ね合わされる画像となる情報は、３つの入力経路のどの２つから情報を取得するようにしてもよい。また、補助記憶装置２９を備えることで、同一の経路から情報を取得して、先に取得した情報を補助記憶装置２９に記憶し、後に取得した情報に同期して読み出すようにしてもよい。
【００５２】
なお、本実施形態では、画像処理デバイスを搭載したエンタテインメント装置を用いて画像処理を行う場合の例について説明したが、本発明は、上記の例以外の形態でも実施可能なものである。例えば、オペレーティングシステムを搭載し、これによって複数の経路で取得した画像を所定の表示装置に表示させる機能を具えた汎用のコンピュータが、ＣＤ−ＲＯＭあるいはＤＶＤ−ＲＯＭ等の記録媒体に記録された画像処理用のコンピュータプログラムを読み取って実行することによっても実施が可能である。
【００５３】
【発明の効果】
以上のような本発明により、複数の経路から入力される情報を統合してより高度な情報とした情報をユーザに提供可能となる。
【図面の簡単な説明】
【図１】情報提示システムを示す図である。
【図２】ＣＰＵにより画像合成を行う場合の説明図であり、図２（Ａ）はフローチャート、図２（Ｂ）は主要部の回路図である。
【図３】ＧＰＵにより画像合成を行う場合の説明図であり、図３（Ａ）はフローチャート、図３（Ｂ）は主要部の回路図である。
【図４】高解像度の画像の説明図であり、図４（Ａ）は高解像度の画像から画像情報を生成する過程を示し、図４（Ｂ）は受信した画像情報から高解像度画像を生成する過程を示す。
【図５】ステレオ画像の説明図である。
【図６】放送画像上にゲーム画像を重ね合わせた画像の説明図であり、図６（Ａ）は放送画像とゲーム画像が関連しない場合、図６（Ｂ）は放送画像とゲーム画像が関連する場合の説明図である。
【符号の説明】
１ 情報処理装置
２ サーバ局
３ 放送局
４ａ、ｂ ネットワーク
１０ メインＣＰＵ
１１ メインメモリ
１２ メインＤＭＡＣ
１３ ＭＤＥＣ
１４ ＧＰＵ
１５ フレームメモリ
１６ ＣＲＴＣ
２０ サブＣＰＵ
２１ サブメモリ
２２ サブＤＭＡＣ
２３ ＲＯＭ
２４ ＳＰＵ
２５ サウンドメモリ
２６ ＡＴＭ
２７ メディアドライブ
２８ メディア
２９ 補助記憶装置
３０ チューナ
３１ 入力部
３２ 接続端子
３３ 操作装置
ＡＮＴ アンテナ
Ｂ１、Ｂ２ バス
Claims (5)
- 高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送局からの無線経路により取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送局をその起点とする有線通信により取得する情報取得機構と、
前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせるようにして前記高解像度動画と同じ解像度の合成画像を生成する画像処理手段と、
前記合成画像を所定の表示装置に表示させる制御手段とを具えてなる、
情報処理装置。 - 高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送局からの無線経路により取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送局をその起点とする有線通信により取得する情報取得機構と、
前記第２画像と前記第１画像とが合成された合成画像を所定の表示装置に表示させる制御手段とを具えた情報処理装置に装着され当該情報処理装置と協働で画像処理を行うデバイスであって、
前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせるようにして前記高解像度動画と同じ解像度の合成画像を生成して前記制御手段へ送出することを特徴とする、
画像処理デバイス。 - 画像を所定の表示装置に表示させる機能を具えたコンピュータにおいて、
高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送受信波を通じて取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送受信波の発信元を起点とする有線通信により取得するステップと、
前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせることで、前記高解像度動画と同じ解像度の合成画像を生成して、前記表示装置にこの合成画像を表示させるステップとを実行することを特徴とする、
画像処理方法。 - 画像を所定の表示装置に表示させるコンピュータに、
高解像度動画の解像度を低下させた動画像である第１画像とこの第１画像の表示タイミング情報とを放送受信波を通じて取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送受信波の発信元を起点とする有線通信により取得する処理、
前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせることで前記高解像度動画と同じ解像度の合成画像を生成し、この合成画像を所定の表示装置に表示させる処理、
を実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。 - 画像を所定の表示装置に表示させる機能を具えたコンピュータを、
高解像度動画の解像度を低下させた動画である第１画像とこの第１画像の表示タイミング情報とを放送局からの無線経路により取得するとともに、前記高解像度動画と同じ解像度で前記高解像度動画と前記第１画像との差分となる動画像であり、前記第１画像の１画素に複数の画素が対応する第２画像を前記放送局をその起点とする有線通信により取得する情報取得手段と、
前記表示タイミング情報に応じて、前記第１画像の各画素に対応する前記第２画像の複数の画素を重ね合わせることで前記高解像度動画と同じ解像度の合成画像を生成する画像処理手段と、
前記合成画像を所定の表示装置に出力する制御手段として動作させるための、
コンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001152501A JP3819253B2 (ja) | 2000-05-22 | 2001-05-22 | 情報処理装置、画像処理デバイス、画像処理方法、記録媒体及びコンピュータプログラム |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000150591 | 2000-05-22 | ||
| JP2000-150591 | 2000-05-22 | ||
| JP2001-133147 | 2001-04-27 | ||
| JP2001133147 | 2001-04-27 | ||
| JP2001152501A JP3819253B2 (ja) | 2000-05-22 | 2001-05-22 | 情報処理装置、画像処理デバイス、画像処理方法、記録媒体及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018460A JP2003018460A (ja) | 2003-01-17 |
| JP3819253B2 true JP3819253B2 (ja) | 2006-09-06 |
Family
ID=27343464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001152501A Expired - Lifetime JP3819253B2 (ja) | 2000-05-22 | 2001-05-22 | 情報処理装置、画像処理デバイス、画像処理方法、記録媒体及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3819253B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2011018888A1 (ja) * | 2009-08-10 | 2013-01-17 | パナソニック株式会社 | 表示制御装置及び表示制御方法 |
| JP2012244411A (ja) * | 2011-05-19 | 2012-12-10 | Sony Corp | 画像データ送信装置、画像データ送信方法および画像データ受信装置 |
| EP3468209B1 (en) | 2016-05-31 | 2021-06-30 | Sony Corporation | Information processing device, television receiver, information processing system, and information processing program |
-
2001
- 2001-05-22 JP JP2001152501A patent/JP3819253B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003018460A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6924846B2 (en) | Information processing apparatus, graphic processing unit, graphic processing method, storage medium, and computer program | |
| US7176920B1 (en) | Computer games apparatus | |
| CA2140643C (en) | Image processing device and method | |
| US6104425A (en) | Method and apparatus for transmitting television signals, method and apparatus for receiving television signals, and method and apparatus for transmitting/receiving television signals | |
| JP3857719B2 (ja) | オンラインコンテンツを提供するシステム | |
| US9272220B2 (en) | System and method for improving the graphics performance of hosted applications | |
| JP3133299B2 (ja) | ゲーム装置、動画像表示方法及び記録媒体 | |
| US9375635B2 (en) | System and method for improving the graphics performance of hosted applications | |
| KR100190250B1 (ko) | 디지탈 텔레비전 수신기 | |
| US8961316B2 (en) | System and method for improving the graphics performance of hosted applications | |
| US8845434B2 (en) | System and method for improving the graphics performance of hosted applications | |
| EP0821339B1 (en) | Address generating apparatus, picture display apparatus, address generation method and picture display method | |
| US8851999B2 (en) | System and method for improving the graphics performance of hosted applications | |
| JP2007175412A (ja) | ゲーム装置、ゲーム装置の制御方法、ゲームシステム、ゲームシステムの制御方法及びプログラム | |
| US11297378B2 (en) | Image arrangement determination apparatus, display controlling apparatus, image arrangement determination method, display controlling method, and program | |
| JP3819253B2 (ja) | 情報処理装置、画像処理デバイス、画像処理方法、記録媒体及びコンピュータプログラム | |
| CN109862385B (zh) | 直播的方法、装置、计算机可读存储介质及终端设备 | |
| JP2002336542A (ja) | ビデオゲーム装置、ビデオゲーム画面制御プログラム及びその記録媒体 | |
| JP3701794B2 (ja) | エンタテインメントシステム、画像表示装置、情報処理装置、及び同期制御方法 | |
| WO2001005144A1 (fr) | Procede de commande d'affichage video, systeme de traitement d'affichage video, dispositif de traitement d'affichage video, et dispositif d'affichage sur ecran | |
| JP7505483B2 (ja) | 動画配信システム、及び動画配信方法 | |
| CN113840170B (zh) | 连麦直播的方法及装置 | |
| JPH07162773A (ja) | 画面表示方法 | |
| JP2022545880A (ja) | コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体 | |
| JPH03289280A (ja) | 画像出力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050330 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050719 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050830 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060614 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3819253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |