JP5843327B2 - ピクチャインピクチャ映像生成でのメモリ削減のためのメカニズム - Google Patents

Description

本発明の実施形態は、概括的には電子ネットワークの分野に、より厳密にはピクチャインピクチャ映像生成でのメモリ削減を遂行することに、関する。

システムの動作では、表示用に複数のメディアデータの様な複数のデータストリームが利用される。データには、広帯域デジタルコンテンツ保護（ＨＤＣＰ）データによって保護されているデータが含まれていることもあり、その様なデータはここではＨＤＣＰデータと呼称されている。やり取りされる複数のメディアデータストリームには、送信側当局（例えばケーブルテレビや衛星放送の会社）と受信側デバイス（例えばテレビ（ＴＶ））の間での伝送デバイス（例えばケーブル／衛星放送信号伝送デバイス）を介した高品位マルチメディアインターフェース（ＨＤＭＩ）経由によるコンテンツの流れが含まれ得る。

ピクチャインピクチャ（ＰｉＰ）は、一部の映像送信器と受信器の機構であって、１つのプログラミングチャネルが受信側デバイス（例えばテレビ）のフル画面上に表示されると同時に１つ又はそれ以上の他のチャネルが当該フルディスプレイ画面の嵌め込みウインドー内に表示されるという機構である。この技法は、複数の映像ストリームをミキシングすることによって、受信側デバイスの視聴者が単一画面中に複数のチャネルを見られるようにする。しかしながら、ＰｉＰは、相当量のメモリを必要とするため、主として、比較的大きな量のメモリを採用している汎用プロセッサベースプラットフォーム向けに使用され、その様なプラットフォーム上に実装されているものであり、特定用途向け集積回路（ＡＳＩＣ）ベースのプラットフォームの様な小さいプラットフォームには適していない。ＡＳＩＣとは、汎用向けに使用されていない集積回路をいい、むしろ、それは特定の使用向けにカスタマイズされている（例えば、スマートフォンなどの手持ち式デバイスと一体に使用されるようにカスタマイズされその目的に特化されている）。ＡＳＩＣベースのプラットフォームは、それが或る特定の使用向けにカスタマイズされていることから考えても、従来のＰＩＰ実装に対応できるだけの大きなメモリを保有していない。

図１は、ピクチャインピクチャ映像を複数の映像ストリームから生成するための従来のメカニズムを示している。図示されている様に、２つの入来映像又は映像ストリーム１０２、１０４は、一方の映像ストリーム１０２が視聴者によって主映像１０８として選択され、他方の映像ストリーム２ １０４が副映像１１０として示されるように選択されて、ＰｉＰ処理区域１０６へ入る。映像ストリーム１０２は、主チャネル選択１１２を通過し、そのサイズなどに関して何の変更も加えられずに主映像１０８となって現れる。また一方、映像ストリーム１０４は、副チャネル選択１１４を通過し、次いでダウンサンプリング１１６へと進み、そこでダウンサンプリングされて、副映像１１０となって現れる。ダウンサンプリング１１６とは、映像ストリーム１０４の画像サイズを一定の量又は割合だけ削減又は間引きして、図示では元の映像ストリーム１０４よりもはるかに小さい映像とされている副映像１１０が生成されるようにするこという。次いで、映像１０８、１１０はどちらも、従来の映像ミキシングプロセス１１８に通され、当該プロセスが、図示されている様に、２つの画像１０８、１１０を併合して主映像１０８及び副映像１１０として単一のディスプレイ画面上に表示させる。

図２は、プロセッサベースのプラットフォーム上で動作するように設計されている従来式ピクチャインピクチャ実装２００を示している。映像又は映像ストリーム２０２、２０４は、チップ２１４へ入り、映像インターフェース（例えばＨＤＭＩ）２０６、２０８それぞれを通ってプロセッサ２１０へと進む。プロセッサ２１０は、元の映像２０２、２０４を各々のチャネルから受信し、読み出し、それらをメモリ２１６へ記憶する。プロセッサ２１０は、次に、ダウンサンプリングアルゴリズムを遂行し、主映像２１８及びダウンサンプリング済み副映像２２０を含む結果を再度メモリ２１６に記憶する。主映像２１８と副映像２２０は、次いで、プロセッサ２１０によって一体に併合され、主映像２１８と副映像２２０の両方を保有する単一の最終画像２２２が生成される。図示されている様に、この従来式実装２００は、少なくとも１つの映像画像、即ち主映像２１８を、そして多くの場合は複数の映像画像２１８、２２０を、記憶するためにどちらかというと大きなメモリ２１６を必要とする。このＰｉＰ実装２００は、大容量の外部メモリデバイス２１６と一体でしか機能せず、その結果、ＰｉＰ機構を有するテレビシステムは製造費用が高くつき、セルラーフォンの様な小型デバイスには不向きとされてしまう。

ピクチャインピクチャ映像生成でのメモリの削減のためのメカニズムを開示する。

本発明の実施形態の或る方法は、送信側デバイスから、複数の映像ストリームを、送信側デバイスへ連結されている受信側デバイスに受信する段階を含んでおり、複数の映像ストリームのうちの第１の映像ストリームは、主映像として表示されるように指定され、複数の映像ストリームのうちの１つ又はそれ以上の他の映像ストリームは、主映像に対し１つ又はそれ以上の副映像として表示されるように指定されている。方法は、更に、１つ又はそれ以上の他の映像ストリームを１つ又はそれ以上の副映像へ変換する段階と、１つ又はそれ以上の副映像を圧縮型フレームバッファに一次的に保持する段階と、画素置換により、主映像と１つ又はそれ以上の副映像をディスプレイデバイスを利用する単一画面上に表示させることのできる最終映像画像へと併合する段階と、を含んでおり、画素置換は、１つ又はそれ以上の副画像が主映像によって占められている画面空間画素の１つ又はそれ以上の画素セクションを占めるように遂行される。

本発明の実施形態の或るシステムは、記憶媒体及び当該記憶媒体と連結されているプロセッサとを有するデータ処理デバイスを含んでおり、データ処理デバイスは、ピクチャインピクチャ映像生成メカニズムを更に有している。ピクチャインピクチャ映像生成メカニズムは、送信側デバイスから、複数の映像ストリームを、送信側デバイスへ連結されている受信側デバイスに受信するものであって、複数の映像ストリームのうちの第１の映像ストリームは、主映像として表示されるように指定され、複数の映像ストリームのうちの１つ又はそれ以上の他の映像ストリームは、主映像に対し１つ又はそれ以上の副映像として表示されるように指定されている。ピクチャインピクチャ映像生成メカニズムは、更に、１つ又はそれ以上の他の映像ストリームを１つ又はそれ以上の副映像へ変換し、１つ又はそれ以上の副映像を圧縮型フレームバッファに一次的に保持し、画素置換により、主映像と１つ又はそれ以上の副映像をディスプレイデバイスを利用する単一画面上に表示させることのできる最終映像画像へと変換するものであり、画素置換は、１つ又はそれ以上の副画像が主映像によって占められている画面空間画素の１つ又はそれ以上の画素セクションを占めるように遂行される。

本発明の実施形態の或る装置は、記憶媒体及び当該記憶媒体と連結されているプロセッサとを有するデータ処理デバイスを含んでおり、プロセッサは、送信側デバイスから、複数の映像ストリームを、送信側デバイスへ連結されている受信側デバイスに受信するものであって、複数の映像ストリームのうちの第１の映像ストリームは、主映像として表示されるように指定され、複数の映像ストリームのうちの１つ又はそれ以上の他の映像ストリームは、主映像に対し１つ又はそれ以上の副映像として表示されるように指定されている。プロセッサは、更に、１つ又はそれ以上の他の映像ストリームを１つ又はそれ以上の副映像へ変換し、１つ又はそれ以上の副映像を圧縮型フレームバッファに一次的に保持し、画素置換により、主映像と１つ又はそれ以上の副映像をディスプレイデバイスを利用する単一画面上に表示させることのできる最終映像画像へと併合するものであり、画素置換は、１つ又はそれ以上の副画像が主映像によって占められている画面空間画素の１つ又はそれ以上の画素セクションを占めるように遂行される。

本発明の実施形態は、一例として、また限定としてではなく、添付図面の図に示されており、図中、同様の符号は同様の要素を指している。

ピクチャインピクチャ映像を複数の映像ストリームから生成するための従来のメカニズムを示している。 プロセッサベースのプラットフォーム上で動作するように設計されている従来式ピクチャインピクチャ実装を示している。 本発明の１つの実施形態によるピクチャインピクチャ映像生成システムを示している。 本発明の１つの実施形態によるピクチャインピクチャ映像生成システムの画素置換を示している。 本発明の１つの実施形態によるピクチャインピクチャ映像生成のための方法を示している。 本発明の１つの実施形態によるピクチャインピクチャ映像生成を採用しているネットワークコンピュータデバイスの説明図である。

ピクチャインピクチャ映像生成でのメモリ削減のためのメカニズムを開示する。本発明の実施形態の或る方法は、送信側デバイスから、複数の映像ストリームを、送信側デバイスへ連結されている受信側デバイスに受信する段階を含んでおり、複数の映像ストリームのうちの第１の映像ストリームは、主映像として表示されるように指定され、複数の映像ストリームのうちの１つ又はそれ以上の他の映像ストリームは、主映像に対し１つ又はそれ以上の副映像として表示されるように指定されている。方法は、更に、１つ又はそれ以上の他の映像ストリームを１つ又はそれ以上の副映像へ変換する段階と、１つ又はそれ以上の副映像を圧縮型フレームバッファに一次的に保持する段階と、画素置換により、主映像と１つ又はそれ以上の副映像をディスプレイデバイスを利用する単一画面上に表示させることのできる最終映像画像へと併合する段階と、含んでおり、画素置換は、１つ又はそれ以上の副画像が主映像によって占められている画面空間画素の１つ又はそれ以上の画素セクションを占めるように遂行される。更なる詳細事項は本書全体を通して論じてゆく。

ここでの使用に際し、「ネットワーク」又は「通信ネットワーク」とは、デジタルメディアコンテンツ（音楽、音声／映像、ゲーム、写真、その他を含む）を、シリアルアドバンストテクノロジーアッタチメント（ＳＡＴＡ：Serial Advanced Technology Attachment）やフレーム情報構造（ＦＩＳ：Frame Information Structure）などの様な幾つもの数の技術を使用するデバイス同士の間で配信するための相互接続ネットワークを意味する。娯楽ネットワークには、世帯内のネットワークの様な個人的なネットワークや職場内のネットワーク又はそれ以外のデバイス及び／又は構成要素のネットワークが含まれ得る。ネットワークには、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ：Metropolitan Area Network）、イントラネット、インターネット、などが含まれる。ネットワークでは、特定のネットワークデバイスは、デジタルテレビチューナー、ケーブルセットトップボックス、手持ち式デバイス（例えばパーソナルデバイスアシスタント（ＰＤＡ））、映像ストレージサーバ、及び他のソースデバイスの様な、メディアコンテンツのソースになっていることであろう。他のデバイス、例えばデジタルテレビ、ホームシアターシステム、音声システム、ゲームシステム、及び他のデバイスなどは、メディアコンテンツを表示又は使用していることであろう。更に、映像及び音声ストレージサーバの様な特定のデバイスは、媒体コンテンツを記憶又は転送することを意図していることであろう。特定のデバイスは複数のメディア機能を遂行していることもあり、例えばケーブルセットトップボックスなら受信器デバイス（ケーブルヘッドエンドからの情報を受信）兼送信器デバイス（ＴＶへ情報を送信）として、又はその逆として、働くことができる。ネットワークデバイスは、単一のローカルエリアネットワーク上に同所配置されていることもあれば、ローカルエリアネットワーク間のトネリングを介するなどして複数のネットワークセグメントを跨いでいることもあろう。ネットワークは、更に、複数のデータエンコーディング及び暗号化プロセスの他に、固有署名確認及び固有身分証明書（ＩＤ）比較の様な識別確認プロセスを含んでいることもあろう。また、相互接続ネットワークは、ＨＤＭＩを含んでいることもあろう。ＨＤＭＩとは、非圧縮デジタルデータを伝送するための音声−映像インターフェースを指し、同軸ケーブル、ラジオ周波数（ＲＦ）、コンポーネントビデオ、などの様な従来式のアナログ標準に代わるデジタル標準を表している。ＨＤＭＩは、セットトップボックス、デジタルビデオディスク（ＤＶＤ）プレイヤー、ゲームコンソール、コンピュータシステム、などの様な様々なデバイスを、テレビ、コンピュータモニター、及び他のディスプレイデバイスと接続するのによく使用されている。例えば、ＨＤＭＩは、送信側デバイスを受信側デバイスへ、更には別体のディスプレイデバイスなどの様な他の介在及び／又は周辺機器へ、接続するのに使用することができる。

図３は、本発明の１つの実施形態によるピクチャインピクチャ映像生成システム３００を示している。１つの実施形態では、ＰｉＰ映像生成システム３００は、圧縮ユニット３１２でのリアルタイムフレーム圧縮及び圧縮解凍ユニット３１４での圧縮解凍であって圧縮型フレームバッファ３１８を使用する圧縮及び圧縮解凍と画素置換ユニット又はメカニズム３２２でのオンザフライ置換プロセスとの画期的な組合わせを提供するＰｉＰ映像生成メカニズムを、マイクロプロセッサ又はチップ３０６に採用して、メモリ要件を軽減し、ＰｉＰ映像生成を遂行する上でフレームメモリの様なメモリを大量に有することを求める従来の要件を排除している。映像ストリーム３０２及び映像ストリーム３０４は、ユーザーによって選択されて、単一映像画像３２８へと併合され、ＰｉＰ映像生成プロセス３００の終わりにディスプレイデバイス上に単一映像画像３２８として表示される。図示の実施形態では、映像ストリーム３０２は、選択され、主映像３２６（一次映像とも呼称される）となるように指定され、一方、映像ストリーム３０４は、選択され、副映像３２０（二次映像とも呼称される）となるように指定されている。映像ストリーム３０２及び３０４とそれらの対応する主映像３２６及び副映像３２０は、簡潔さ及び明解さを期すために例として使用されているだけであり、入力の数は２つの映像ストリームのみに限定されないものと考えている。例えば、主映像として指定及び表示される映像ストリームが１つであったとしても、幾つもの他の映像ストリームが副映像として指定及び表示されることもあり得る。本書全体を通し、主映像及び副映像として指定されている２つの映像ストリームは、上述の様に簡潔さと明解さを期すために一例として示され論じられている。また、本発明に関連して、「主」及び「副」という用語は、「一次」及び「二次」とそれぞれ同義である。例えば、「主映像」は「一次映像」とも呼称され、「副映像」は「二次映像」とも呼称されている。同様に、幾つかの比や構成要素など（例えば、比が５：１又は１０：１などであってもよい、ポートはＨＤＭＩを含んでいてもよいし又は非ＨＤＭＩポートを含んでいてもよい、など）は、簡潔さと明解さを期すために単に一例として使用されるものと考えている。

映像ストリーム３２０が主映像３２６として表示されるべきであると指定され、よって（ダウンサンプリング、圧縮、圧縮解凍、などの様な）何らの像拡大も必要としないことを所与とすると、当該ストリームは、直接に、ポート１ ３２４経由で画素置換メカニズム３２２による画素置換へ取り上げられる。他方、映像ストリーム３０４は、ダウンサンプリング３０８のプロセスを進むことから開始される。ダウンサンプリング３０８では、映像ストリーム３０４は、定義されている比（例えば５：１の比、即ち５ラインを１ラインへ削減、など）に基づいて縮小サイズへダウンサンプリングされる。ダウンサンプリングについては、必要又は所望に応じて、如何なるダウンサンプリング比も定義され得るものと考えている。映像ストリーム３０４のダウンサンプリング版は、次いで、ラインバッファ３１０を通され（例えば、必要又は所望に応じ１ラインずつ又は一度に数ラインずつ）、更に、例えば画像圧縮アルゴリズムを使用する圧縮のために圧縮ユニット３１２を通される。

今や副映像３２０となった映像ストリーム３０４のダウンサンプリング圧縮版は、圧縮型フレームバッハ３１８へ送られ、そこに一次的に保持される。圧縮型フレームバッファ３１８へは、副映像３２０の任意の数のライン（最少数及び／又は最大数のライン、行、サブフレーム、などを含む）及び可変サイズ又は可変長さのビットストリーム（例えば、２５Ｋバイト、５０Ｋバイト、１００Ｋバイト、など）が、送られ、記憶されてもよい。１つの実施形態では、圧縮型フレームバッファ３１８は、幾つもの映像圧縮及び圧縮解凍技法に従って副映像３２０の任意の数のライン又は副フレームを受信し、一次的に記憶する。別の実施形態では、圧縮及び圧縮解凍プロセスは、（例えばフレームベースとは対照的に）行ベースである。行は、圧縮ユニット３１２での圧縮のプロセス及び圧縮解凍ユニット３１４での圧縮解凍のプロセスで使用されている変換アルゴリズムに適合し当該アルゴリズムと互換性のあるラインのセットを含んでいる。副映像３２０は、次いで、圧縮型フレームバッファ３１８から、圧縮解凍のために圧縮解凍ユニット３１４へ送られる（例えば、１ラインずつ、１行ずつ、１フレームずつ、など）。

１つの実施形態では、別のラインバッファであるラインバッファ３１６が、副映像３２０のライン、行、又はフレームを一次的に記憶し、画素置換のために画素置換メカニズム３２２へ輸送するための、トランジット又はピットストップとして機能するように指定されている。１つの実施形態では、画素置換は、副映像３２０と主映像３２６を併合及び同期させるために遂行され、その間、ラインバッファ３１６は、副映像３２０と主映像３２６の併合が精度よく且つ同期式に遂行されるように、主映像３２６の選択された部分に漸次的にオーバーレイされるか又は当該部分上に組み付けられる副映像３２０の画素データを提供するバッファとして動作している。画素置換のプロセスは、主映像３２６が画面３２８全体を占め、副映像３２０が主映像３２６上に組み付けられた状態で画面３２８の一セクションを占めるように、主映像３２６と副映像３２０を併合するべく遂行される。フルの最終画像３２８は、ＴＶの様な受信側デバイスの又は受信側デバイスへ連結されている表示用デバイスを使用してユーザーへ表示される。

上述の技法の利点の１つは、単一のマイクロプロセッサチップ３０６上の全ての必須論理及びメモリと共に、圧縮型フレームバッファ３１８と一組のラインバッファ３１０、３１６を使用するだけで、ＰｉＰ映像生成を実装及び遂行できることである。これにより、必要なオンチップメモリエリア及びオフチップメモリとのインターフェース用のピン数が有意に減少することにより、ＰｉＰ映像コントローラチップの製造費用を著しく削減できる。

図４は、本発明の１つの実施形態によるピクチャインピクチャ映像生成システムの画素置換ユニット又はメカニズム３２２を示している。１つの実施形態では、画素置換は、主映像３２６と副映像３２０を単一の映像画像へ併合するべく遂行される。Ｐ４０２が画素置換３２２のポート１（図３のポート３２４の様なポート）へ入って来る画素であるとしよう。変数（ｘ，ｙ）４０４は主画像３２６の上左角からの距離を指し示し、変数（ｘ０，ｙ０）４０６は副映像の上左座標を指し示し、変数（ｘ１，ｙ１）４０８は副映像３２０の下右座標を指し示している。画素置換メカニズム３２２による画素置換のプロセスは、画素Ｐ４０２が以下の判定基準、即ちｘがｘ０より大きく且つｘ１より小さく、更にｙがｙ０より大きく且つｙ１より小さい、を満たすときに、（ポート１経由の）主映像３２６の画素をポート２（図３のポート３２６の様なポート）経由の副映像３２０の画素で置換する。副映像関連データ（例えば、映像画像ライン又は行）がラインバッファ２（図３のラインバッファ３１６の様なバッファ）側でオンザフライ画素置換に向けて準備のできた状態に整えられるに当たり、その間に上の条件整合を先読みすることによって前もって圧縮解凍が遂行される。このオンザフライ置換技法は、主映像３２６を記憶するための従来の大メモリ要件を排除する。

１つの実施形態では、画素置換は、色深度に従って主映像３２６の画素を抽出し、必要又は所望に応じ副映像３２０又は主映像３２６の色変換を遂行し、更には解像度に従って副映像３２０のダウンサンプリングを遂行する。例えば、主映像３２６に属する映像画素の特定の量（変数（ｘ０，ｙ０）４０６と（ｘ１，ｙ１）４０８の間の表現されているセクションを形成）が、変数（ｘ０，ｙ０）４０６と（ｘ１，ｙ１）４０８の間の図示されている副映像３２０の副映像画素で置換される。画素置換は、副映像の色深度を主映像３２６の主映像画素の残り部分の色深度に従って調節するか又はフォーマットするといった様に、更に色変換又は色調節を含んでいてもよい。

図５は、本発明の１つの実施形態によるピクチャインピクチャ映像生成のための方法５００を示している。方法５００は、ハードウェア（例えば、回路構成、専用論理、プログラム可能な論理、マイクロコード、など）、ソフトウェア（例えば処理デバイス上で実行させる命令など）、又はそれらの組合せである、例えばファームウェア又はハードウェアデバイス内の機能的回路構成など、を備えていてもよいとされる処理論理によって遂行することができるであろう。１つの実施形態では、方法５００は、図３のＰｉＰ映像生成システム３００によって遂行されている。

方法５００は、ブロック５０５から始まり、２つの映像ＡとＢの様な複数の映像ストリームが、ＰｉＰ映像生成で使用されているプロセッサに受信される。併合及び表示に向けて何れの数の映像ストリームがユーザーによって選ばれてもよく、２つの映像ストリームＡとＢは、簡潔さと分かり易さを期すために単に一例として使用されるものと考えている。選択時、ユーザーは、主映像としての映像ストリームＡと、映像ストリームＢと、を指名又は選定する。映像ストリームＡ（主映像）は、受信されるや、ブロック５１０で画素置換に向けて画素置換処理ユニット又はメカニズムへ送信される。ブロック５１５で、映像Ｂ（副映像）は、ダウンサンプリングユニットによってダウンサンプリングされ、ダウンサンプリング済み映像ストリームＢは、圧縮のために圧縮ユニットへ送信される。ダウンサンプリング済み映像ストリームＢは、ブロック５２０で圧縮され、次いで圧縮型フレームバッファへ送信される（例えば、１ラインずつ、１行ずつ、など）。

１つの実施形態では、ブロック５２５で、圧縮型フレームバッファは、圧縮されたダウンサンプリング済み映像ストリームＢを一時的に保持し、次いで、圧縮されたダウンサンプリング済み映像ストリームＢを、圧縮解凍のために圧縮解凍ユニットへ転送する。圧縮されたダウンサンプリング済み映像ストリームは、如何なるシーケンスで、如何なるサイズで、及び如何なる量が、受信及び送信されるように設定されてもよい。ブロック５３０で、圧縮されたダウンサンプリング済み映像ストリームは、圧縮型フレームバッファから受信され（例えば、１ラインずつ、１行ずつ、１フレームずつ、など）、圧縮解凍されると、副映像Ｂとして、画素置換のために画素置換メカニズムへ送信される。画素置換メカニズム／ユニットへのこの送信（例えば、１ラインずつ、１フレームずつ、など）は、主映像Ａの画素の或るセクションが副映像Ｂを重ね置かれるように、漸次的に且つ同期して遂行される。ブロック５３５で、画素置換プロセス中に、映像Ａと副映像は一体に単一の映像画像へと併合される。映像ＡとＢの併合は、副映像Ｂが主映像Ａの画素空間の一セクション上に組み付けられ当該セクションを占めるように遂行される。ブロック５４０で、併合された映像（映像Ａを主映像そして映像Ｂを副映像として有する）が、受信器デバイス（例えばＴＶ）上の又は受信器デバイスと連結されているディスプレイデバイス上に単一の映像画像として表示される。

図６は、本発明の１つの実施形態によるピクチャインピクチャ映像生成システムを採用しているネットワークコンピュータデバイス６０５の構成要素を示している。この説明図では、ネットワークデバイス６０５は、ネットワーク内の何れのデバイスであってもよく、その様なデバイスには、限定するわけではないが、テレビ、ケーブルセットトップボックス、ラジオ、ＤＶＤ（デジタルビデオディスク）プレイヤー、ＣＤ（コンパクトディスク）プレイヤー、スマートフォン、ストレージユニット、ゲームコンソール、又は他のメディアデバイスが挙げられる。幾つかの実施形態では、ネットワークデバイス６０５は、ネットワーク機能を提供するネットワークユニット６１０を含んでいる。ネットワーク機能には、限定するわけではないが、メディアコンテンツストリームの生成、転送、記憶、及び受信が含まれる。ネットワークユニット６１０は、チップ上の単一システム（ＳｏＣ）として実装されていてもよいし、複数の構成要素として実装されていてもよい。

幾つかの実施形態では、ネットワークユニット６１０は、データを処理するためのプロセッサ６１５を含んでいる。データの処理には、メディアデータストリームの生成、メディアデータストリームの転送又は記憶時の操作、及びメディアデータストリームの使用に向けた暗号解読及びデコーディングが含まれ得る。データ処理部は、１つの実施形態では、図３−図５に関連付けてまた本書全体を通して説明されているＰｉＰ映像生成を含む本発明の実施形態を遂行するＰｉＰプロセッサ６９０を更に含んでいる。１つの実施形態では、ＰｉＰ映像生成処理は、別体のチップ上で遂行されているか、又はＳｏＣへと集積させたチップを有することによって遂行されている。更に、ＰｉＰプロセッサ６９０は、２つのプロセッサ６１５、６９０と映像出力６６５の間の実線矢印及び点線矢印によって指し示されている様に、プロセッサ６１５の前でも後でもどちらに置くこともできる。ＰｉＰプロセッサ６９０は、更に、任意の数のソースから任意の数の映像入力６６０を受信するように構成されている。ネットワークデバイスは、同様に、ネットワーク動作をサポートするための主メモリ６２０であって、ＤＲＡＭ（動的ランダムアクセスメモリ）やＳＲＡＭ（静的ランダムアクセスメモリ）などを含むＲＡＭ（ランダムアクセスメモリ）又は他の類似のメモリの様な主メモリ６２０と、特定の要素並びに情報やプロセッサ６１５、６９０によって実行されることになる命令を記憶するためのフラッシュメモリ６２５又は他の不揮発性メモリと、を含んでいてもよい。

メモリ６２０は、データストリーム用のデータを記憶するために使用することもできる。ＤＲＡＭは、メモリのコンテンツをリフレッシュすることが求められるのに対し、静的ランダムアクセスメモリＳＲＡＭは、コンテンツのリフレッシュを要しないが、但し費用が高い。ＤＲＡＭメモリには、制御信号に対するクロック信号を含んでいる同期式動的ランダムアクセスメモリ（ＳＤＲＡＭ）及び拡張データアウト動的ランダムアクセスメモリ（ＥＤＯ ＤＲＡＭ：extended data-out dynamic random access memory）が含まれ得る。幾つかの実施形態では、システムのメモリは、特定のレジスタ又は他の特殊目的メモリを含んでいてもよい。ネットワークデバイス６０５は、同様に、静的情報やプロセッサ６１５、６９０のための命令を記憶するための読み出し専用メモリ（ＲＯＭ）又は他の静的ストレージデバイスを備えていてもよい。

ネットワークデバイス６０５は、同様に、１つ又はそれ以上のネットワークインターフェース６５５を経由して、ネットワーク上でデータを送信するための送信器６３０及び／又はネットワークからデータを受信するための受信器６４０を含んでいてもよい。送信器６３０又は受信器６４０は、例えばイーサネットケーブル６５０や同軸ケーブルを含む有線式伝送ケーブルへ接続されていてもよいし、無線ユニットへ接続されていてもよい。送信器６３０又は受信器６４０は、データ伝送及び制御信号のためのネットワークユニット６１０へのデータ送信用ライン６３５及びデータ受信用ライン６４５の様な１つ又はそれ以上のラインと連結されていてもよい。更に、追加の接続が存在していてもよい。ネットワークデバイス６０５は、同様に、ここには図示されていないがデバイスのメディア動作のための数々の構成要素を含んでいてもよい。

デバイス６０５は、更に、相互接続を介して、ディスプレイデバイス又は提示デバイスへ連結されていてもよい。幾つかの実施形態では、ディスプレイは、情報又はコンテンツをエンドユーザーへ表示するために、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、カソードレイチューブ（ＣＲＴ）ディスプレイ、又はその他のディスプレイ技術を含んでいてもよい。幾つかの実施形態では、ディスプレイは、テレビ番組又は他の映像コンテンツなどを表示するのに利用されていてもよい。幾つかの実施形態では、ディスプレイは、少なくとも入力デバイスの一部として利用されていることもあるタッチ画面を含んでいてもよい。幾つかの環境では、ディスプレイは、テレビ番組の音声部分を含む音声情報を提供するためのスピーカーの様な音声デバイスであるか又は音声デバイスを含んでいてもよい。情報及び／又はコマンド選択をプロセッサ６１５、６１９へ伝えるため、入力デバイスが相互接続へ連結されていてもよい。様々な実装では、入力デバイスは、キーボード、キーパッド、タッチ画面とスタイラス、音声起動システム、又は他の入力デバイス、又はその様なデバイスの組合せとすることができる。含まれていてもよいとされるユーザー入力デバイスのもう１つの種類に、方向情報及びコマンド選択を１つ又はそれ以上のプロセッサ６１５、６９０へ連絡するため及びディスプレイ上のカーソルの動きを制御するための、マウス、トラックボール、又はカーソル方向キーの様な、カーソル制御デバイスがある。

幾つかの実施形態では、デバイス６０５は、データの受信用又は送信用の１つ又はそれ以上のポートを含んでいる。受信又は送信されるデータには、ＨＤＭＩ及びＨＤＭＩ−ｍデータの様な映像データ又は音声データを含めることができ、データは、ＨＤＭＩ暗号データの様に送信用に暗号化されていてもよい。幾つかの実施形態では、デバイス６０５は、コンテンツデータの伝送のための送信及び／又は受信用に１つ又はそれ以上のポート、そしてコマンドデータの様な制御データの送信及び／又は受信用に１つ又はそれ以上のポートを含んでいる。コマンドデータは、データ送信のモードの変更に関する１つ又はそれ以上のメッセージを含んでいることもあれば、データ送信のモードの変更に関する肯定応答を含んでいることもあろう。加えて、デバイス６０５は、ＵＳＢ（ユニバーサルシリアルバス）を含んでいてもよい。

デバイス６０５は、更に、ラジオ信号を介してのデータ受信のための１つ又はそれ以上のアンテナを含んでいてもよい。デバイス６０５は、更に、パワーデバイス又はシステムを備えていてもよく、当該パワーデバイス又はシステムは、電源装置、バッテリ、太陽電池、燃料電池、又はパワーを提供又は生成するための他のシステム又はデバイスを備えることができる。パワーデバイス又はシステムによって提供されるパワーは、デバイス６０５の要素へ要求に応じて分配されることであろう。

以上の記述では、本発明が十分に理解されるようにするために、解説を目的として、数々の特定の詳細事項が述べられている。しかしながら、当業者には、本発明はそれらの特定の詳細事項の一部無しに実践され得ることが自明であろう。場合により、周知の構造及びデバイスはブロック図形式で示されている。示されている構成要素の間に中間構造を介在させることもできる。ここに記載され又は示されている構成要素は、示されも記載されもしていない追加の入力又は出力を有することもできる。

本発明は様々なプロセスを含むことができる。本発明のプロセスは、ハードウェア構成要素によって遂行されていてもよいし、又はコンピュータ可読命令に具現化し、それらを使用して、当該命令をプログラムされた汎用又は専用のプロセッサ又は論理回路にプロセスを遂行させるようにしてもよい。代わりに、プロセスは、ハードウェアとソフトウェアの組合せによって遂行されていてもよい。

方法の多くは、それらの最も基本的な形態が記載されているが、本発明の基本的な範囲から逸脱することなく、それら方法の何れについてもプロセスを追加したり或いは削除したりすることができ、記載されている趣旨の何れについても情報を追加したり或いは差し引いたりすることができる。多くの更なる変更及び修正がなされ得ることが当業者には自明であろう。特定の実施形態は、本発明を限定するためではなく本発明を説明するために提供されている。本発明の実施形態の範囲は、以上に提供されている特定の例によって確定されるものではなく、付随の特許請求の範囲によってのみ確定されるものである。

要素「Ａ」が要素「Ｂ」へ連結されている又は要素「Ｂ」と連結されていると言い表されている場合、要素Ａは要素Ｂへ直接的に連結されている場合もあれば、例えば要素Ｃを通して間接的に連結されている場合もある。明細書又は特許請求の範囲で、構成要素、機構、構造、プロセス、又は形質Ａが、構成要素、機構、構造、プロセス、又は形質Ｂを「引き起こす」と述べられている場合、それは、「Ａ」が「Ｂ」の少なくとも部分的な起因であることを意味し、但し、「Ｂ」を引き起こすのを支援する少なくとも１つの他の構成要素、機構、構造、プロセス、又は形質が存在し得ることも意味する。明細書で、構成要素、機構、構造、プロセス、又は形質が、含まれ「ていてもよい」、含まれ「ていることもある」、又は含まれ「得る」と表わされている場合、当該の特定の構成要素、機構、構造、プロセス、又は形質は、含まれることが必須というわけではない。明細書又は特許請求の範囲で、英語の不定冠詞「ａ」又は「ａｎ」の対訳である「或る」要素又は「一」要素という言及があった場合、これは、記載されている要素が１つしかないという意味ではない。

実施形態は本発明の一実装又は一例である。明細書で、「或る実施形態」、「１つの実施形態」、「幾つかの実施形態」、又は「他の実施形態」という言及があった場合、それは、当該実施形態と関連付けて記載されている特定の機構、構造、又は形質が、必ずしも全ての実施形態というわけではないが少なくとも幾つかの実施形態に含まれていることを意味する。「或る実施形態」、「１つの実施形態」、又は「幾つかの実施形態」と様々に登場しているが、それらは必ずしもどれもが同じ実施形態を指しているとは限らない。本発明の例示としての実施形態の以上の記述の中で、様々な特徴は、開示の合理化及び様々な発明態様の１つ又はそれ以上の理解を支援することを目的に、時には、単一の実施形態、図、又はその記述の中で一体にまとめられていることもあるものと理解されたい。また一方で、この開示の方法は、特許請求の範囲に記載の発明がそれぞれの請求項に明示的に叙述されているより多くの特徴を求めているという意図を反映したものであると解釈されてはならない。むしろ、特許請求の範囲の請求項が反映している様に、発明態様は、以上に開示されている単一実施形態の全ての特徴より少ない特徴に存する。従って、特許請求の範囲の請求項は、これにより明示的に、それぞれの請求項が本発明の別々の実施形態として独立した形で本記述に組み入れられる。

３００ ピクチャインピクチャ映像生成システム
３０２、３０４ 映像ストリーム
３０６ マイクロプロセッサ又はチップ
３０８ ダウンサンプリング
３１０ ラインバッファ
３１２ 圧縮ユニット
３１４ 圧縮解凍ユニット
３１６ ラインバッファ
３１８ 圧縮型フレームバッファ
３２０ 副映像
３２２ 画素置換ユニット又はメカニズム
３２４ ポート１
３２６ 主映像
３２８ 単一映像画像
６０５ ネットワークコンピュータデバイス
６１０ ネットワークユニット
６１５ プロセッサ
６２０ 主メモリ
６２５ フラッシュメモリ
６３０ 送信器
６３５ データ送信用ライン
６４０ 受信器
６４５ データ受信用ライン
６５０ イーサネットケーブル
６５５ ネットワークインターフェース
６６０ 映像入力
６６５ 映像出力
６９０ ＰｉＰプロセッサ

Claims (11)

1. 方法であって、
   送信側デバイスから、複数の映像ストリームを、前記送信側デバイスへ連結されている受信側デバイスに受信する段階であって、前記複数の映像ストリームのうちの第１の映像ストリームは、主映像として表示されるように指定され、前記複数の映像ストリームのうちの１つ又はそれ以上の他の映像ストリームは、前記主映像に対し１つ又はそれ以上の副映像として表示されるように指定されている、複数の映像ストリームを受信する段階と、
   前記１つ又はそれ以上の他の映像ストリームを前記１つ又はそれ以上の副映像へ変換する段階と、を含み、
   前記変換する段階は、
   前記１つ又はそれ以上の他の映像ストリームを、１つ又はそれ以上のダウンサンプリング済み映像に変換する段階と、
   第１のラインバッファを介して、前記１つ又はそれ以上のダウンサンプリング済み映像を圧縮部へ送る段階と、
   前記圧縮部により、前記１つ又はそれ以上のダウンサンプリング済み映像を、１つ又はそれ以上の圧縮されたダウンサンプリング済み映像に圧縮する段階と、
   前記１つ又はそれ以上の圧縮されたダウンサンプリング済み映像をフレームバッファに一次的に保持する段階と、を含み、
   当該方法はさらに、画素置換により、前記主映像と前記１つ又はそれ以上の副映像をディスプレイデバイスを利用する単一画面上に表示させることのできる最終映像画像へと併合する段階を含み、
   前記画素置換は、前記１つ又はそれ以上の副画像が前記主映像によって占められている画面空間画素の１つ又はそれ以上の画素セクションを占めるように遂行される、方法。
2. 前記変換する段階は、
   前記１つ又はそれ以上の圧縮されたダウンサンプリング済み映像を圧縮解凍する段階と、
   前記１つ又はそれ以上の圧縮解凍されたダウンサンプリング済み映像を、前記１つ又はそれ以上の副映像として、第２のラインバッファを介して画素置換ユニットへ輸送する段階と、を更に含み、
   前記画像置換ユニットは前記画素置換を行う、請求項１に記載の方法。
3. 前記第１の映像ストリームを、前記主映像として、直接に、前記画素置換用に輸送する段階を更に含んでいる、請求項１に記載の方法。
4. 前記画素置換は、前記１つ又はそれ以上の他の映像ストリームの、色深度に従った画素抽出と色変換の遂行と解像度に従ったダウンサンプリングのうちの１つ又はそれ以上を更に含んでいる、請求項１に記載の方法。
5. 前記画素セクションを占める段階は、当該画素セクションの主映像画素を副映像画素で画素置換する段階を含んでおり、前記画素置換する段階は、前記主映像の前記主映像画素の色深度フォーマット化に続いて前記副映像画素を色調節する段階を更に含んでいる、請求項１に記載の方法。
6. 前記最終映像画像を前記ディスプレイデバイスのディスプレイ画面上に表示する段階を更に含んでいる、請求項１に記載の方法。
7. 記憶媒体及び前記記憶媒体と連結されているプロセッサを有するデータ処理デバイスであって、ピクチャインピクチャ（ＰｉＰ）映像生成メカニズムを更に有しているデータ処理デバイスと、
   前記ＰｉＰ映像生成メカニズムと、を備え、
   前記ＰｉＰ映像生成メカニズムは、
   送信側デバイスから、複数の映像ストリームを、前記送信側デバイスへ連結されている受信側デバイスに受信し、ここに前記複数の映像ストリームのうちの第１の映像ストリームは、主映像として表示されるように指定され、前記複数の映像ストリームのうちの１つ又はそれ以上の他の映像ストリームは、前記主映像に対し１つ又はそれ以上の副映像として表示されるように指定されている、複数の映像ストリームを受信する処理と、
   前記１つ又はそれ以上の他の映像ストリームを前記１つ又はそれ以上の副映像へ変換する処理と、を行い、
   前記変換する処理は、
   前記１つ又はそれ以上の他の映像ストリームを、１つ又はそれ以上のダウンサンプリング済み映像に変換する処理と、
   第１のラインバッファを介して、前記１つ又はそれ以上のダウンサンプリング済み映像を圧縮部へ送る処理と、
   前記圧縮部により、前記１つ又はそれ以上のダウンサンプリング済み映像を、１つ又はそれ以上の圧縮されたダウンサンプリング済み映像に圧縮する処理と、
   前記１つ又はそれ以上の圧縮されたダウンサンプリング済み映像をフレームバッファに一次的に保持する処理と、を含み、
   前記ＰｉＰ映像生成メカニズムはさらに、画素置換により、前記主映像と前記１つ又はそれ以上の副映像をディスプレイデバイスを利用する単一画面上に表示させることのできる最終映像画像へと併合する処理を行い、
   前記画素置換は、前記１つ又はそれ以上の副画像が前記主映像によって占められている画面空間画素の１つ又はそれ以上の画素セクションを占めるように遂行される、システム。
8. 前記変換する処理は、
   前記１つ又はそれ以上の圧縮されたダウンサンプリング済み映像を圧縮解凍する処理と、
   前記１つ又はそれ以上の圧縮解凍されたダウンサンプリング済み映像を、前記１つ又はそれ以上の副映像として、第２のラインバッファを介して画素置換ユニットへ輸送する処理と、を更に含み、
   前記画素置換ユニットは前記画素置換を行う、請求項７に記載のシステム。
9. 前記ＰｉＰ映像生成メカニズムは、更に、前記第１の映像ストリームを、前記主映像として、直接に、前記画素置換用に輸送することに供されている、請求項７に記載のシステム。
10. 記憶媒体及び前記記憶媒体と連結されているプロセッサとを有するデータ処理デバイスを備えている装置において、
    前記プロセッサは、
    送信側デバイスから、複数の映像ストリームを、前記送信側デバイスへ連結されている受信側デバイスに受信し、ここに前記複数の映像ストリームのうちの第１の映像ストリームは、主映像として表示されるように指定され、前記複数の映像ストリームのうちの１つ又はそれ以上の他の映像ストリームは、前記主映像に対し１つ又はそれ以上の副映像として表示されるように指定されている、複数の映像ストリームを受信する処理と、
    前記１つ又はそれ以上の他の映像ストリームを前記１つ又はそれ以上の副映像へ変換する処理と、を実行し、
    前記変換する処理は、
    前記１つ又はそれ以上の他の映像ストリームを、１つ又はそれ以上のダウンサンプリング済み映像に変換する処理と、
    第１のラインバッファを介して、前記１つ又はそれ以上のダウンサンプリング済み映像を圧縮部へ送る処理と、
    前記圧縮部により、前記１つ又はそれ以上のダウンサンプリング済み映像を、１つ又はそれ以上の圧縮されたダウンサンプリング済み映像に圧縮する処理と、
    前記１つ又はそれ以上の圧縮されたダウンサンプリング済み映像をフレームバッファに一次的に保持する処理と、を含み、
    前記プロセッサは、さらに、画素置換により、前記主映像と前記１つ又はそれ以上の副映像をディスプレイデバイスを利用する単一画面上に表示させることのできる最終映像画像へと併合する処理を実行し、
    前記画素置換は、前記１つ又はそれ以上の副画像が前記主映像によって占められている画面空間画素の１つ又はそれ以上の画素セクションを占めるように遂行される、装置。
11. 前記変換する処理は、
    前記１つ又はそれ以上の圧縮されたダウンサンプリング済み映像を圧縮解凍する処理と、
    前記１つ又はそれ以上の圧縮解凍されたダウンサンプリング済み映像を、前記１つ又はそれ以上の副映像として、第２のラインバッファを介して画素置換ユニットへ輸送する処理と、を更に含み、
    前記画素置換ユニットは前記画素置換を行う、請求項１０に記載の装置。

Images