JP6023066B2 - 異なる次元のビデオデータストリームを同時表示用に組み合わせること - Google Patents

異なる次元のビデオデータストリームを同時表示用に組み合わせること Download PDF

Info

Publication number
JP6023066B2
JP6023066B2 JP2013534944A JP2013534944A JP6023066B2 JP 6023066 B2 JP6023066 B2 JP 6023066B2 JP 2013534944 A JP2013534944 A JP 2013534944A JP 2013534944 A JP2013534944 A JP 2013534944A JP 6023066 B2 JP6023066 B2 JP 6023066B2
Authority
JP
Japan
Prior art keywords
video
channel
data stream
video data
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013534944A
Other languages
English (en)
Other versions
JP2013545374A (ja
Inventor
フーン チョイ
フーン チョイ
デキュン キム
デキュン キム
ウースン ヤン
ウースン ヤン
ユン イル キム
ユン イル キム
ジョン スン パク
ジョン スン パク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lattice Semiconductor Corp
Original Assignee
Lattice Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lattice Semiconductor Corp filed Critical Lattice Semiconductor Corp
Publication of JP2013545374A publication Critical patent/JP2013545374A/ja
Application granted granted Critical
Publication of JP6023066B2 publication Critical patent/JP6023066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明の実施形態は、一般に電子画像表示の分野に関し、より具体的には、異なる次元のビデオデータストリームを同時表示用に組み合わせることに関する。
テレビ、コンピュータなどの表示システム又はその他の同様の表示システムを利用して、複数のビデオデータストリームから生成される複数のビデオ画像の表示を生成することができる。表示は、複数のデータストリームの同時表示を含むことができる。
特に、表示システムは、主画像と1つ又はそれ以上の副画像とを生成することができる。例えば、ピクチャ・イン・ピクチャ(PiP)表示は、特定のビデオ送受信機要素の機能である。PiP表示においては、第1のチャンネル(主画像)がディスプレイの大部分(例えば全画面表示)を用いて表示され、同時に1つ又はそれ以上のその他のチャンネル(副画像)がはめ込みウィンドウ内に表示される。従って、1つ又はそれ以上の副画像は一般に、主画像の一部を覆い隠す。
しかしながら、ビデオ技術は発展しており、単なる2次元(2D)画像にとどまらず、3次元(3D)画像を含むことができる。一例において、データは、2D HDMI(商標)(高解像度マルチメディア・インターフェース)ビデオデータストリーム並びに3D HDMIビデオデータストリームを含むことができる(2009年5月28日に発行された高解像度マルチメディア・インターフェース1.4規格)。従って、画像の生成のために受信されるデータストリームは、2Dビデオデータストリーム、3Dビデオデータストリーム、又は2D及び3Dビデオデータストリームの組合せの場合がある。
「Standard for a High Performance Serial Bus」1394−1995、IEEE、1996年8月30日発行及び補遺
本発明の実施形態は、一般に、異なる次元のビデオデータストリームを同時表示用に組み合わせることに向けられる。
本発明の第1の態様において、装置の実施形態は、複数のビデオデータストリームを受信するインターフェースを含み、各ビデオストリームの次元は、2次元(2D)又は3次元(3D)のいずれかである。この装置は、第1のビデオデータストリームを主ビデオ画像として処理し、1つ又はそれ以上のビデオデータストリームをビデオ副画像として処理する処理モジュールをさらに含み、処理モジュールは、主ビデオデータストリームと副ビデオデータストリームとを組み合わせて複合出力を生成するビデオコンバイナを含む。処理モジュールは、ビデオ副画像の各々の次元を変更して主ビデオ画像の次元に適合させるように構成される。
本発明の第2の態様において、方法の実施形態は、複数のビデオデータストリームを受信することを含み、ビデオデータストリームの各々の次元は、2次元(2D)又は3次元(3D)のいずれかである。第1のビデオデータストリームが主ビデオチャンネルとして選択され、1つ又はそれ以上のビデオデータストリームが副ビデオチャンネルとして選択される。副ビデオデータストリームの各々の次元は、第1のデータストリームの次元と整合するように変換される。複合ビデオ出力が生成され、ビデオ出力は、主ビデオチャンネルから生成された主ビデオ画像と副ビデオチャンネルから生成されたビデオ副画像とを含む。
本発明の第3の態様において、ビデオコンバイナの実施形態は、主ビデオデータストリームと1つ又はそれ以上の副ビデオデータストリームとを多重化して複合ピクセルデータを生成するマルチプレクサを含み、データストリームは、3次元(3D)又は2次元(2D)のいずれかとすることができる。ビデオコンバイナは、主ビデオデータストリームから同期信号を抽出する同期抽出器と、複合ピクセルデータに含めるべきピクセルを抽出された同期信号に基づいて識別し、2D及び3D主ビデオストリームに対して動作する第1の座標プロセッサと、第2の座標プロセッサを含む3Dビデオモジュールとをさらに含み、第2の座標プロセッサは、複合ピクセルデータに含めるべきピクセルを抽出された同期信号に基づいて識別し、3D主ビデオストリームに対して動作する。
本発明の実施形態は、添付図面における図において、例示を目的として限定を目的とせずに示され、図中、同様の符号は同様の要素を示す。
2D及び3Dビデオデータストリームを表示するシステムの図である。 2D及び3Dビデオデータフレームの図である。 主ビデオ及び副ビデオデータストリームの処理及び表示のための装置及びシステムの実施形態の図である。 ビデオデータストリームを扱うためのプロセスの実施形態を示すフローチャートである。 2D主ビデオデータストリームと2D副ビデオデータストリームとを組み合わせるための実施形態を示す。 2D主ビデオデータストリームと2D副ビデオデータストリームとを組み合わせるための実施形態を示す。 3D主ビデオデータストリームと3D副ビデオデータストリームとを組み合わせるための実施形態を示す。 3D主ビデオデータストリームと3D副ビデオデータストリームとを組み合わせるための実施形態を示す。 2D主ビデオデータストリームと3D副ビデオデータストリームとを組み合わせるための実施形態を示す。 2D主ビデオデータストリームと3D副ビデオデータストリームとを組み合わせるための実施形態を示す。 3D主ビデオデータストリームと2D副ビデオデータストリームとを組み合わせるための実施形態を示す。 3D主ビデオデータストリームと2D副ビデオデータストリームとを組み合わせるための実施形態を示す。 2D副ビデオデータストリームを3D主ビデオストリーム内でシフトするための実施形態を示す。 3D副ビデオデータストリームを3D主ビデオストリーム内でシフトするための実施形態を示す。 異なる次元のデータストリームを組み合わせるためのビデオコンバイナの実施形態を示す。 異なる次元のデータストリームを処理するための装置又はシステムの実施形態を示す。
本発明の実施形態は、一般に、異なる次元のビデオデータストリームを同時表示用に組み合わせることに向けられる。
幾つかの実施形態において、複数のビデオデータストリームを同時表示するための方法、装置又はシステムが提供され、このビデオデータストリームは異なる次元のストリームを含むことができる。データストリームは、2次元(2D)及び3次元(3D)両方のデータストリームを含むことができる。本明細書で用いられる場合、画像又はビデオストリームの次元とは、その画像又はビデオによって表わされる次元のタイプ又は数のことを指し、従ってそのビデオ又は画像が2D次元又は3D次元のどちらであるかを指す。
幾つかの実施形態において、方法、装置、又はシステムは、ビデオデータストリームから生成された画像を組み合わせ又は混合して、複合ビデオ出力内で1つ又はそれ以上の副ビデオ画像が主ビデオ画像と共に表示されるように動作すること可能であり、この方法、装置又はシステムは、画像の次元を整合させるように動作する。幾つかの実施形態において、1つ又はそれ以上の副ビデオ画像は、その副ビデオ画像の次元が主ビデオ画像と整合するように変換又は合成される。
図1は、2D及び3Dビデオデータストリームを表示するシステムの図である。この図において、2次元の場合、HDMI送信機などの送信装置(データソース)105は、2Dデータフレームのストリームを含むデータストリーム110を提供することができる。2Dデータストリームは、データストリームを受信すると2D画像をデコードし表示する高解像度テレビ(HDTV)などの受信装置(データシンク)115により受信される。3Dビデオフォーマットは、視聴者の両目でわずかに異なる画像を見せて画像内に奥行きの錯覚を生み出すHDMIのより新しい機能である。3次元の場合、3D互換性HDMI送信機などの3Dビデオ用送信装置120は、左及び右のチャンネル画像を含む3Dデータフレームのストリームを含む、データストリーム125を提供することができる。図1に示されるように、3D対応HDMI送信機は、左右両方の画像を単一のフレーム内にパックし、このフレームをHDMIデータストリーム上に送信する。3Dデータストリームは、左右のチャンネルを表示する3Dビデオ機能を有するHDTVなどの受信装置130によって受信される。3D対応HDTV130は、3Dフレームを受信すると、データフレームをデコードし、左画像と右画像に分割する。立体画像を表示するための幾つかの方法があり、アクティブシャッター方式の眼鏡140は、HDTVを見るための普及した方法である。図示されるように、HDTVは、表示パネル上で左右の画像を交互に切り替えることにより立体表示を実行する。この図において、アクティブ眼鏡140は、HDTV130により表示される左画像150又は右画像145と同期して光を遮断又は透過し、HDTV130は、アクティブ眼鏡140の動作のための同期信号を一斉送信する同期エミッタ135を含む。
図2は、2D及び3Dのビデオデータフレームの図である。図2は、2Dビデオフォーマット205及び3Dビデオフォーマット210を示す。2Dフォーマット205においては、フレーム1の後に第2のフレームであるフレーム2が続くような単一のアクティブビデオ領域が設けられる。3Dビデオフォーマット210においては、左領域及び右領域として示された2つのアクティブビデオ領域とその2つのアクティブビデオ領域間のアクティブ空間とが一緒になって3Dアクティブビデオフレームを構成する。3Dビデオ構造のための幾つかの可能なフォーマットが存在し、可能なフォーマットには、フレーム・パッキング、フィールド・オルタナティブ、ライン・オルタナティブ、サイド・バイ・サイド、L+depth及びその他が含まれる。そのようなフォーマットのほとんどは、2つの2Dフレーム(左及び右)が単一の3Dフレームを構成するという点で、図示したフレーム構造との類似性を有する。しかしながら、実施形態はこのタイプの3D構造に限定されない。
図3は、主ビデオストリーム及び副ビデオデータストリームの処理及び表示のための装置及びシステムの実施形態の図である。この図において、複数のビデオストリームからPiPビデオを生成するための実施形態の概略フロー図が提供される。幾つかの実施形態において、複数の着信ビデオチャンネルのうちの1つが、主ビデオとして用いるために視聴者によって選択される。この図において、主ビデオ330を生成するために選択されたビデオチャンネルは、ビデオ1すなわち要素302である。1つ又はそれ以上の着信ビデオチャンネルを副ビデオチャンネル用に選択することができ、それらはこの図においては副チャンネル選択314によるビデオ2すなわち要素304から副チャンネル選択316によるビデオN+1すなわち要素306までである。幾つかの実施形態において、副ビデオチャンネルは、ビデオ画像上に例えば設定メニュー又はクローズドキャプション(字幕)のような情報を重ね合わせる機能であるオンスクリーン・ディスプレイ(OSD)を含むことができる。幾つかの実施形態において、副ビデオチャンネルとして選択されたビデオチャンネルに対して、ビデオチャンネルのダウンサンプリング、ダウンスケーリング、又はクロッピングを含むがこれに限定されないダウンサイズを行い、表示用の画面ウィンドウに適合にさせることができる。幾つかの実施形態において、ダウンサンプリング・プロセス又はモジュール318−320のようなダウンサイズ要素は、副チャンネルからの副ビデオのサイズを縮小して、図3において副1すなわち要素332及び副Nすなわち要素334として示された副画像を生成する。幾つかの実施形態において、副画像を主ビデオストリームと同期させるために、副画像はダウンサンプリング・モジュールから受信され、画像を組み合わせる前に1つ又はそれ以上のバッファ322−324内に一時的に格納される。幾つかの実施形態において、このバッファを利用して、主ビデオ330の1つ又は複数の部分に重ね合わされる副ビデオ用のピクセルデータが提供される。幾つかの実施形態において、ビデオコンバイナ・プロセス又はモジュール340は、主ビデオ352及び副ビデオ354−356を含む複合ビデオ出力350として示されるような単一の画面内での表示のために、主ビデオ画像330及び副ビデオ画像332−334をマージするように動作する。全ての着信ビデオストリームが異なる解像度及びサンプリングレートを有し得る2Dビデオであると仮定する従来のPiPビデオとは対照的に、幾つかの実施形態は、2Dビデオ及び3Dビデオを共にPiP表示用にサポートするビデオ複合機能の強化をもたらす。
幾つかの実施形態において、装置、システム又は方法は、PiP表示用に均質なビデオ及び不均質なビデオの両方を組み合わせることを規定する。幾つかの実施形態において、不均質なPIP表示の場合、着信ビデオデータストリームの少なくとも1つが2Dビデオデータであると同時に、着信ビデオデータストリームの少なくとも1つが3Dビデオデータである。幾つかの実施形態において、送出ビデオは、主着信ビデオの次元に応じて2D又は3Dビデオ画像のいずれかとすることができる。
表1は、着信2D及び3Dビデオデータストリームと得られる送出PiPビデオ画像との組み合わせを示す。幾つかの実施形態において、送出PiPビデオの次元は、主ビデオデータ画像として選択されたデータストリームの次元に関連付けられる。
Figure 0006023066
表1
図4は、ビデオデータストリームを扱うプロセスの実施形態を示すフローチャートである。この図では、複数のビデオ入力が受信され(405)、ここでビデオ入力は2D及び3Dビデオストリームの任意の組み合わせとすることができる。ビデオ入力の中で、主チャンネルと1つ又はそれ以上の副チャンネルとが識別される(410)。幾つかの実施形態において、副チャンネルがダウンサイズされ、PiP表示用の副ビデオが形成される(415)。
幾つかの実施形態において、主ビデオが2Dであり(420)、かつ副チャンネルが2Dである場合(425)、従来のPiP動作の場合に生じるような2D主ビデオと2D副ビデオとの組み合わせが得られる(435)。しかしながら、主ビデオが2Dであり(420)、かつ副チャンネルが3Dである場合(425)には、2D副ビデオが3D副チャンネルから合成される(430)。例えば、2D副チャンネルは、ダウンサンプリングされ組み合わされてPiPビデオ出力に利用されるビデオ用に、3Dビデオデータストリームの左チャンネル又は右チャンネルのいずれかを選択することにより合成することができる。2D主ビデオと2D合成副ビデオとを組み合わせて複合PiPビデオ出力が形成される(435)。組合せに続いてビデオを提示することができ、複合ビデオは、ピクチャ・イン・ピクチャとしての2D副ビデオが2D主ビデオ上にあるものである(440)。
幾つかの実施形態において、主ビデオが3Dであり(420)、かつ副チャンネルが2Dである場合(445)、3D副ビデオが2D副チャンネルから合成される(450)。例えば、3D副ビデオは、副チャンネルを、合成3D副チャンネル用の左右両方の副チャンネルにコピーすることにより合成することができる。合成3D副チャンネルはダウンサイズされ、3D主チャンネルと組み合わされてPiPビデオを生成する(455)。3D主ビデオと3D合成副ビデオとを組み合わせて複合PiPビデオ出力が形成される(455)。主ビデオが3Dであり(420)、かつ副チャンネルが3Dである場合(445)には、3D主ビデオと3D副ビデオとの組み合わせが得られる(455)。3D主ビデオを用いたときには、ビデオの組み合わせは、主ビデオと比べた副ビデオの相対的な視聴距離をシフトさせることを含むことができる(460)。組合せに続いてビデオを提示することができ、複合ビデオ出力は、ピクチャ・イン・ピクチャとしての3D副ビデオが3D主ビデオ上にあるものである(465)。
図5は、2D主ビデオデータストリームと2D副ビデオデータストリームとを組み合わせるための実施形態を示す。幾つかの実施形態において、2Dビデオチャンネルを主チャンネル510として選択することができ、各ビデオフレームは単一の主ビデオフレーム530を含む。2Dビデオチャンネルを副チャンネル520としてさらに選択することができ、各ビデオフレームは単一のビデオフレームを含み、これがダウンサイズされて副ビデオフレーム532を形成する。幾つかの実施形態において、ビデオコンバイナ540が主ビデオフレーム及び副ビデオフレームを受信し、このビデオコンバイナ540は、主ビデオストリームと副ビデオストリームとをマージするように動作する。幾つかの実施形態において、組み合わせプロセスは、視聴者又はビデオシステムにより定義された副フレーム領域内で主ビデオのピクセルを副ビデオのピクセルで置き換える。その結果は、主ビデオフレーム552と1つ又はそれ以上の副ビデオフレーム554とを含む複合ビデオ550であり、1つ又はそれ以上の副ビデオフレームは、主ビデオフレーム552の一部を覆い隠す。
図6は、3D主ビデオデータストリームと3D副ビデオデータストリームとを組み合わせるための実施形態を示す。幾つかの実施形態において、3Dビデオチャンネルを主チャンネル610として選択することができ、各ビデオフレームは左ビデオフレーム領域630及び右ビデオフレーム領域631を含む。3Dビデオチャンネルを副チャンネル620としてさらに選択することができ、各ビデオフレームは、ダウンサイズされて左副フレーム領域632を形成する左ビデオフレーム領域と、ダウンサイズされて右副フレーム領域633を形成する右ビデオフレーム領域とを含む。従って、主ビデオ及び副ビデオの両方とも、単一の3Dフレーム内に左領域及び右領域を含む3Dビデオである。幾つかの実施形態において、ビデオコンバイナ640は、主ビデオフレーム及び副ビデオフレームを受信し、主ビデオストリームと副ビデオストリームとをマージするよう動作し、このビデオコンバイナ640は、副ビデオの左領域を主ビデオの左領域の中に挿入し、副ビデオ領域の右領域を主ビデオの右領域の中に挿入する。複合ビデオ650は、左副ビデオ領域654を有する主左ビデオ領域652と、右副ビデオ領域655を有する主右ビデオ領域653とを含み、副ビデオ領域は、主ビデオ領域の一部を覆い隠す。
図7は、2D主ビデオデータストリームと3D副ビデオデータストリームとを組み合わせるための実施形態を示す。この場合には、生成されるPiPビデオは2Dであり、視聴者の画面上に3D効果は提示されない。幾つかの実施形態において、主ビデオが2Dであるので、生成されるPiPビデオの次元は2Dになる。しかしながら、着信副ビデオは3Dである。幾つかの実施形態において、副ビデオの次元を主ビデオの次元に整合させるために、3D副ビデオを合成して2Dビデオを生成する。3Dビデオを変換又は合成して2Dビデオを形成するための多くの方法がある。幾つかの実施形態において、変換のための方法は、ビデオ領域の一方の側を棄却し、もう一方の側のみを用いることを含む。例えば、ビデオコンバイナは、各々の副ビデオフレームの左領域を棄却し、右領域を主ビデオに挿入することができる。視聴者は、生成されたはめ込み画面内で各々の副ビデオフレームの右画像しか見ることができないが、画像における奥行きの錯覚を作り出すために必要な左画像と右画像との間の差異はわずかなので、一般に大きな情報の損失はない。しかしながら、実施形態は、3Dチャンネルを変換して2Dビデオ画像を生成するためのいずれかの特定のプロセスに限定されるものではない。
図7に示されるように、2Dビデオチャンネルを主チャンネル710として選択することができ、各ビデオフレームは単一のビデオフレーム領域730を含む。3Dビデオチャンネルを副チャンネル720として選択することができ、各ビデオフレームは、ダウンサイズされて左副フレーム領域732を形成する左ビデオフレーム領域と、ダウンサイズされて右副フレーム領域733を形成する右ビデオフレーム領域とを含む。従って、主ビデオチャンネルと副ビデオチャンネルは異なる次元を有する。幾つかの実施形態において、副ビデオの次元を変換して2D副ビデオ画像を生成する。幾つかの実施形態において、ビデオコンバイナ740は、主ビデオフレーム及び副ビデオフレームを受信し、主ビデオストリームと副ビデオストリームとをマージするよう動作し、このビデオコンバイナは、副ビデオ上の左領域又は右領域のどちらかを除去し、副ビデオの残りの領域を主ビデオに挿入する。複合ビデオ750は、主ビデオ領域752を含み、はめ込みウィンドウは右又は左の副ビデオ領域754を含む。
図8は、3D主ビデオデータストリームと2D副ビデオデータストリームとを組み合わせるための実施形態を示す。この図において、着信副ビデオは2Dであり、従って3Dのでは1フレーム当たり1つの左画像及び1つの右画像があるのに対して、2Dの1フレーム当たり1つの画像しかない。幾つかの実施形態において、副チャンネル820(これがダウンサイズされて副ビデオ画像832を生成する)の次元を主ビデオチャンネル810(各フレームが左領域830及び右領域831を含む)の3Dフォーマットに整合させるために、ビデオコンバイナ840は、2D副ビデオデータから3Dビデオ画像を合成する。幾つかの実施形態において、ビデオコンバイナ840は、同じ副画像を主ビデオフレーム内に2回挿入するように動作する。幾つかの実施形態においては、副ビデオの同じ画像のコピーを主ビデオ画像の左領域及び右領域の両方に挿入してPiPビデオ850を生成し、これは左領域852内の第1の副ビデオ854及び右領域853内の第2の副ビデオ855として図示される。
しかしながら、図8において生成されたPiPビデオを見る視聴者は、はめ込みウィンドウの外側では主ビデオの3D効果を見ることになるが、はめ込みウィンドウの内側では3D効果は全く見えない。従って、はめ込みウィンドウが修正されなければ、はめ込みウィンドウの内側の画像は、表示画面の枠と同じ奥行きにあり、平坦で2次元で見えることになろう。そのため幾つかの実施形態においては、合成されたはめ込みビデオ副画像をさらに修正して、ビデオの見かけの奥行きを変化させる。
図9Aは、3D主ビデオデータストリーム内の2D副ビデオデータストリームをシフトさせるための実施形態を示す。この図において、「2Dイン3D」PiPビデオを強化するための随意の補助的方法が提供される。「2Dイン3D」PiPビデオにおけるはめ込みウィンドウの内側の3D効果は副ビデオデータストリームのソースが3D情報を含まないので生成されないが、幾つかの実施形態において装置又はシステムがはめ込みウィンドウ全体の見かけ「奥行き」を調整することができる。ここで「奥行き」という用語は、視聴者が3D眼鏡を用いて画面を見るときに視聴者が知覚する仮想距離を示す。
図9Aにおけるビデオ910に示されるように、ビデオコンバイナが主ビデオの左右両方の領域の同じ位置に副画像を挿入すると、視聴者には、はめ込みウィンドウが画面の枠と同じ距離に位置して見える。幾つかの実施形態において、視聴者にとっての見かけの奥行きを、はめ込みウィンドウが画面の枠よりも奥に/より遠くに位置して見えるように調整することができる。ビデオ920に示されるように、ビデオコンバイナは、副画像を左領域においてはより左に配置し、同じ副画像を右領域においてはより右に配置することができる。2つの副画像間のオフセットは、記号「Δ」によって示される。Δの値が大きくなるほど、視聴者は、はめ込みウィンドウが画面の枠よりもより奥に(又はより遠くに)位置していると知覚する。
幾つかの実施形態において、装置又はシステムは、はめ込みウィンドウが画面から飛び出していると視聴者が知覚するようにはめ込みウィンドウの奥行きを調整することもできる。ビデオ930に示されるように、ビデオコンバイナは、副画像を左領域においてはより右に配置し、同じ副画像を右領域においてはより左に配置することができる。2つの副画像間のオフセットは、記号「−Δ」によって示される。Δの値がより負(ゼロを下回る)になるほど、視聴者は、はめ込みウィンドウが画面の枠よりもより飛び出している(すなわち視聴者のより近くに位置する)と知覚する。
図9Bは、3D主ビデオデータストリーム内の3D副ビデオデータストリームをシフトさせるための実施形態を示す。この図においては、ビデオ940におけるはめ込みウィンドウは3Dビデオデータストリームに基づいているので、はめ込みウィンドウは既に3D効果を有している。幾つかの実施形態において、装置又はシステムはさらなるオフセットを与えて、はめ込みウィンドウに対して知覚される奥行きを生成する。この図において、ビデオ950におけるはめ込みウィンドウのシフトで示されるように正のΔ値が与えられると、視聴者は、はめ込みウィンドウ内の3D画像全体が主ビデオより奥に(遠くに)位置していると知覚する。幾つかの実施形態において、同様にビデオ960に示されるように負のΔ値が与えられると、視聴者は、はめ込みウィンドウ内の3D画像全体が主ビデオから飛び出している(より近くにある)と知覚する。
幾つかの実施形態においては、奥行き調整機能を利用して視聴者が主オブジェクトに焦点を合わせるようにさせることができる。主オブジェクトは、主ビデオ又は1つ若しくはそれ以上のはめ込みウィンドウのいずれかとすることができる。例えば、普通のピクチャ・イン・ピクチャ・モードの場合には、視聴者は通常、主ビデオに焦点を合わせることを望んでいる。はめ込みウィンドウが飛び出しているか又は画面の枠と同じ奥行きに位置していると、はめ込みウィンドウは視聴者の焦点及び集中をそらしかねない。この例では、装置又はシステムは、Δ値を正の値に設定することによりはめ込みウィンドウをより奥に配置し、視聴者が主ビデオにより焦点を合わせることができるようにすることができる。別の例において、チャンネル切り換えモードでは、視聴者は次に視聴するチャンネルを選択するためにはめ込みウィンドウを用いてあちこち移動して見ることを望んでいる。この場合には、視聴者ははめ込みウィンドウに焦点を合わせる方を好むかもしれない。ビデオ930又は960に示されるように、装置は、負のΔ値を用いることによりはめ込みウィンドウの奥行きを調整して飛び出すようにさせ、それにより視聴者の関心を引き付けるように動作することができる。従って幾つかの実施形態において、主オブジェクトが主ビデオである場合には、ビデオコンバイナは正のΔ値を利用してはめ込みウィンドウの知覚される奥行きを大きくすることができ、主オブジェクトがはめ込みビデオである場合には、ビデオコンバイナは負のΔ値を利用してはめ込みウィンドウの知覚される奥行きを小さくすることができる。幾つかの実施形態においては、奥行き調整機能をさらに利用して、オンスクリーンディスプレイ(OSD)の見かけの奥行きを調整することができる。OSDは、図9A及び図9Bに示されるようにOSDの奥行きを調整する目的に関しては副ビデオチャンネルとして扱うことができる。奥行き調整機能を用いて、システムは、OSDが主ビデオから飛び出してして見えるように又は主ビデオよりも奥に位置して見えるようにすることが可能である。
図10は、異なる次元のデータストリームを組み合わせるためのビデオコンバイナの実施形態を示す。ビデオコンバイナ1000は、例えば図3に示されるビデオコンバイナ340とすることができる。図10において、ビデオコンバイナ1000は、主ビデオチャンネル及び1つ又はそれ以上の副ビデオチャンネルを入力として取得し、送出PiPビデオを生成するように動作する。幾つかの実施形態において、ビデオコンバイナは、主ビデオストリームのデータフレームを最小限の修正で転送し、次いで主ビデオのはめ込みウィンドウ内のピクセルを副ビデオのピクセルで置き換えて、その結果得られるPiP画像を形成するように動作する。
幾つかの実施形態において、ビデオコンバイナ1000は、図10に示されるように、複数のモジュールを含む。幾つかの実施形態において、ビデオコンバイナは、主ビデオとして選択されるチャンネルと、図10における副1から副Nのような副ビデオとして選択することができる1つ又はそれ以上のその他のチャンネルとを含む、複数のビデオチャンネル1005を受信する。幾つかの実施形態において、ビデオチャンネル1005はマルチプレクサ1040により受信され、このマルチプレクサは、主チャンネルのピクセル値を副チャンネルのピクセルで置き換えてPiP表示を生成するように動作する。幾つかの実施形態において、マルチプレクサは、アルファ・ブレンディングを利用して主チャンネルのピクセルデータと副チャンネルのデータピクセルとを所定の割合で混合し、アルファ・ブレンディングとは、第1の(アルファ)画像を1つ又はそれ以上の画像レイヤと組み合わせて半透明画像を提供するプロセスのことを表現したものである。幾つかの実施形態において、同期抽出モジュールは、Vsync(垂直同期)、Hsync(水平同期)及びDE(データイネーブル)信号などの同期信号を主ビデオインターフェースから分離するように動作する。幾つかの実施形態において、主ビデオからの同期信号1050は、PiPビデオ出力を生成するための同期マージ・プロセス又はモジュール1060に転送される。幾つかの実施形態において、第1の座標プロセッサ1025は、現在送信されているピクセルの座標を追跡し、現在のピクセルがはめ込みウィンドウの内側に位置しているか否か判定する。判定結果を用いて、PiPビデオ生成のためのソースの選択においてマルチプレクサを制御する。幾つかの実施形態において、3D主ビデオ用モジュール1015は、垂直同期挿入器(Vsync挿入器)1020及び第2の座標プロセッサ1030を含む。幾つかの実施形態において、主ビデオが3Dビデオであるときには第1の座標プロセッサ1025に加えて第2の座標プロセッサ1030が用いられる。3D主ビデオの場合には、第1の座標プロセッサ1025が3Dフォーマットの左領域を制御し、一方、第2の座標プロセッサ1030が3Dフォーマットの右領域を制御する。幾つかの実施形態において、第2の座標プロセッサ1030は、第1の座標プロセッサ1025と共用することができる。幾つかの実施形態において、Vsync挿入器1020は付加的なVsync信号を主ビデオの3Dフォーマット内のアクティブ空間領域の中に挿入するよう動作し、このことにより第2の座標プロセッサ1030は3Dフォーマットの知識を必要とすることなく座標を計算することが可能になる。幾つかの実施形態において、この結果得られるマルチプレクサ1040からのピクセル値1055が、同期抽出モジュール1010からの同期信号1050と共に同期マージモジュール1060によって受信され、表示用のPiPビデオが生成される。
図9A及び図9Bに示されるように、選択された主ビデオチャンネルが3Dチャンネルである環境においては、はめ込みウィンドウの見かけの奥行きを左右の副画像間の相違によって調整することができる。この場合には、第1の座標プロセッサ1025の水平座標は、第2の座標プロセッサ1030の水平座標とは異なる。この差異が、図9Aのビデオ920及び930並びに図9Bのビデオ950及び960に示されるような左はめ込みウィンドウと右はめ込みウィンドウとの間の水平距離Δを作り出す。
図11は、異なる次元のデータストリームを処理するための装置又はシステムの実施形態を示す。この図においては、この説明に密接に関連しない特定の標準的かつ周知の構成要素は示されていない。幾つかの実施形態のもとでは、デバイス又はシステム1100は同時ビデオ画像を生成し表示する装置又はシステムであり、ビデオ画像は主ビデオ画像及び1つ又はそれ以上の副ビデオ画像である。
幾つかの実施形態のもとでは、装置又はシステム1100は、データ送信のための相互接続部若しくはクロスバー1105又はその他の通信手段を含む。データは、音声映像データ及び関連する制御データを含むことができる。装置又はシステム1100は、情報を処理するための、相互接続部1105に結合した1つ又はそれ以上のプロセッサ1110のような処理手段を含むことができる。プロセッサ1110は、1つ又はそれ以上の物理プロセッサ及び1つ又はそれ以上の論理プロセッサを含むことができる。さらに、プロセッサ1110の各々は、複数のプロセッサコアを含むことができる。相互接続部1105は簡略化のために単一の相互接続として示されているが、複数の異なる相互接続部又はバスを表わすことができ、そのような相互接続部に対する構成要素の接続は様々なものであり得る。図11に示された相互接続部1105は、いずれか1つ又はそれ以上の、個別の物理バス、2地点間接続、又は両者が適切なブリッジ、アダプタ若しくはコントローラにより接続されたものを表わす抽象概念である。相互接続部1105は、例えば、システムバス、周辺装置相互接続(PCI)若しくはPCIエクスプレス(PCIe)バス、HyperTransport又は業界標準(indstry standard)アーキテクチャ(ISA)バス、小型コンピュータシステムインターフェース(SCSI)バス、IIC(I2C)バス、又は「ファイヤワイヤ(Firewire)」と呼ばれることもある米国電気電子技術者協会(IEEE)規格1394バスを含むことができる(非特許文献1)。装置又はシステム1000は、1つ又はそれ以上のUSB互換接続を取り付けることができるユニバーサル・シリアル・バス(USB)のようなシリアルバスをさらに含むことができる。
幾つかの実施形態において、装置又はシステム1100は、プロセッサ1110により実行される情報及び命令を格納するためのメモリ1115として、ランダム・アクセス・メモリ(RAM)又はその他の動的記憶装置をさらに含む。メモリ1115は、データストリーム又は副ストリームについてのデータを格納するために用いることもできる。RAMメモリは、例えば、メモリ内容のリフレッシュを必要とする動的ランダム・アクセス・メモリ(DRAM)、及び、内容のリフレッシュは必要としないがコストが高い静的ランダム・アクセス・メモリ(SRAM)を含む。DRAMメモリは、信号を制御するクロック信号を含む同期式動的ランダム・アクセス・メモリ(SDRAM)、及び拡張データ出力動的ランダム・アクセス・メモリ(EDO DRAM)を含むことができる。幾つかの実施形態において、システムのメモリは、特定のレジスタ、バッファ、又はその他の専用メモリを含むことができる。装置又はシステム1100は、プロセッサ1110のための静的情報及び命令を格納するための読み出し専用メモリ(ROM)1130又はその他の静的記憶装置も含むことができる。装置又はシステム1100は、特定の要素の格納のための1つ又はそれ以上の不揮発性メモリ要素1135を含むことができる。
幾つかの実施形態において、情報及び命令を格納するためのデータ格納部1120を装置又はシステム1100の相互接続部1105に結合することができる。データ格納部120は、磁気ディスク、光ディスク及びその対応するドライブ、又はその他のメモリデバイスを含むことができる。そのような要素は、互いに組み合わされたものでも又は別個の構成要素であってもよく、装置又はシステム1100のその他の要素の一部を利用することができる。幾つかの実施形態において、データ格納部は、ディスプレイ上での提示のためのビデオデータ格納部1125を含むことができる。
装置又はシステム1100は、相互接続部1105を介してディスプレイ装置又は要素1140に結合することもできる。幾つかの実施形態において、ディスプレイ1140は、情報又はコンテンツをエンドユーザに表示するための、液晶ディスプレイ(LCD)、プラズマディスプレイ、又はその他のいずれかのディスプレイ技術を含むことができる。幾つかの実施形態において、ディスプレイ1140を利用して複数の画像を同時に表示することができ、ここで複数の画像は主ビデオ及び1つ又はそれ以上の副ビデオ画像を含む。幾つかの実施形態において、複数の画像は、装置又はシステム1100により受信される複数のビデオデータストリームから生成することができ、第1のビデオストリームは主ビデオ1142として選択され、1つ又はそれ以上のその他のビデオデータストリームは副ビデオ画像1144として選択され、複数のビデオデータストリームの次元は異なっていてもよい。幾つかの実施形態において、プロセッサ1110は、受信したデータストリームを処理して、1人又はそれ以上の視聴者1150が視聴するためのPiP表示を生成するよう動作することができる。幾つかの実施形態において、副ビデオ画像として選択されたデータストリームを主ビデオ1142の次元と整合するように変換又は合成することができる。
幾つかの実施形態において、情報及び/又はコマンド選択をプロセッサ1110に通信するために、入力デバイス1160を装置若しくはシステム1100に結合するか又は入力デバイス1160は装置若しくはシステム1100と通信することができる。種々の実装において、入力デバイス1160は、遠隔制御装置、キーボード、キーパッド、タッチスクリーン、音声起動システム、若しくはその他の入力デバイス、又はそのようなデバイスの組み合わせとすることができる。幾つかの実施形態において、装置又はシステム1100は、指示情報及びコマンド選択を1つ又はそれ以上のプロセッサ1110に通信し、ディスプレイ1140上のカーソルの動きを制御するための、マウス、トラックボール、タッチパッド又はその他のデバイスなどのカーソル制御デバイス1165をさらに含むことができる。
1つ又はそれ以上の送信機又は受信機1170を相互接続部1105に結合することもできる。幾つかの実施形態において、装置又はシステム1100は、データの受信又は送信のための1つ又はそれ以上のポート1175を含むことができる。受信又は送信することができるデータは、3D又は2Dビデオデータストリーム1180を含むことができる。装置又はシステム1100は、無線信号によるデータの受信のために1つ又はそれ以上のアンテナ1178をさらに含むことができる。装置又はシステム1100は電力装置又はシステム1185も含むことができ、これは、電源、バッテリ、太陽電池、燃料電池、又は電力の供給若しくは発生のためのその他のシステム若しくはデバイスを含むことができる。電力装置又はシステム1185により与えられる電力は、必要に応じて装置又はシステム1100の要素に供給することができる。
上記の説明において、説明の目的で、本発明を完全に理解してもらうために多数の具体的な詳細が述べられている。しかしながら、これらの具体的な詳細の幾つかがなくても本発明を実施できることが当業者には明らかであろう。他の例において、周知の構造及び装置は、ブロック図形態で示されている。図示された構成要素間に中間の構造体があることもある。本明細書において説明された又は図示された構成要素は、図示されていない又は説明されていない付加的な入力又は出力を有することができる。図示された要素又は構成要素は、任意のフィールドの再順序付け又はフィールドサイズの変更を含めて、異なる構成又は順序で配置することができる。
本発明は、種々のプロセスを含むことができる。本発明のプロセスは、ハードウェア構成要素によって実装することもでき、又はコンピュータ可読命令で具体化することもでき、これを用いて、この命令でプログラムされた汎用若しくは専用プロセッサ又は論理回路に該プロセスを実行させることができる。あるいは、該プロセスをハードウェアとソフトウェアとの組み合わせによって実行することができる。
本発明の一部をコンピュータプログラム製品として提供することができ、コンピュータプログラム製品は、コンピュータプログラム命令が格納されたコンピュータ可読媒体を含むことができ、該コンピュータプログラム命令を用いてコンピュータ(又はその他の電子デバイス)をプログラムして、本発明によるプロセスを実行させることができる。コンピュータ可読媒体は、限定されないが、フロッピーディスケット、光ディスク、CD−ROM(コンパクトディスク読み出し専用メモリ)、光磁気ディスク、ROM(読み出し専用メモリ)、RAM(ランダム・アクセス・メモリ)、EPROM(消去及びプログラム可能読み出し専用メモリ)、EEPROM(電気的消去可能プログラム可能読み出し専用メモリ)、磁気又は光学カード、フラッシュメモリ、又は電子的命令を格納するのに適したその他のタイプの媒体/コンピュータ可読媒体を含むことができる。さらに、本発明はコンピュータプログラム製品としてダウンロードすることもでき、この場合、プログラムを遠隔コンピュータから要求側コンピュータに伝送することができる。
方法の多くはその最も基本的な形態で説明されているが、本発明の基本範囲から逸脱することなく、どの方法にもプロセスを追加することができ又はどの方法からもプロセスを削除することができ、また、説明されたどのメッセージにも情報を追加することができ又はどのメッセージからも情報を差し引くことができる。多数のさらなる修正及び改造を行うことができることが当業者には明らかであろう。具体的な実施形態は、本発明を限定するためではなく、これを例証するために提供されたものである。
要素「A」が要素「B」に又は要素「B」と結合すると言う場合、要素Aは要素Bに直接結合することもあり、又は、例えば要素Cを通して間接的に結合することもある。明細書において、ある構成要素、特徴、構造、プロセス、又は特性Aが、ある構成要素、特徴、構造、プロセス、又は特性Bを「引き起こす、生じさせる」と述べられている場合、「A」は、「B」の少なくとも部分的な原因ではあるが、「B」を引き起こすことを補助する少なくとも1つのその他の構成要素、特徴、構造、プロセス、又は特性も存在し得る。明細書において、ある構成要素、特徴、構造、プロセス、又は特性を「含むことがある」、「含む場合がある」又は「含むことができる」と指示されている場合、その特定の構成要素、特徴、構造、プロセス、又は特性は必ずしも含まれることが要求されているわけではない。明細書が「ある(a又はan)」要素に言及している場合、記載された要素が1つしか存在しないことを意味するわけではない。
実施形態は、本発明の実装又は実施例である。明細書における「実施形態」、「1つの実施形態」、「幾つかの実施形態」又は「その他の実施形態」への言及は、その実施形態に関連して説明された特定の特徴、構造、又は特性が少なくとも幾つかの実施形態に含まれるが、必ずしも全ての実施形態に含まれる必要はないことを意味する。出現する様々な「実施形態」、「1つの実施形態」、又は「幾つかの実施形態」は、必ずしも全てが同じ実施形態を指すわけではない。上記の本発明の例示的な実施形態の説明において、開示を円滑化して種々の本発明の態様の1つ又はそれ以上の理解を助けるために、本発明の種々の特徴は、ときには、まとめて1つの実施形態、図面、又はその説明としてグループ化されていることがあることを理解されたい。
105、120:送信装置
110、125:データストリーム
145:右画像
150:左画像
1000:ビデオコンバイナ
1100:装置又はシステム
1178:アンテナ

Claims (25)

  1. 各ビデオストリームの次元が2次元(2D)又は3次元(3D)のいずれかである複数のビデオデータストリームを受信するインターフェースと、
    前記複数のビデオデータストリームの第1のビデオデータストリームを主ビデオ画像として処理し、かつ、前記複数のビデオデータストリームの第2のビデオデータストリームをビデオ副画像として処理する処理モジュールと
    を含む装置であって、
    前記処理モジュールは、前記主ビデオ画像と前記ビデオ副画像とを組み合わせて複合ビデオ出力を生成するビデオコンバイナを含み、
    前記処理モジュールは、前記ビデオ副画像の次元を変更して前記主ビデオ画像の次元に整合させるように構成され、
    前記ビデオコンバイナは、前記第1のビデオデータストリームから同期信号を抽出するモジュールを含み、
    前記ビデオコンバイナは、前記ビデオ副画像と前記主ビデオ画像とを多重化して出力ピクセルデータを生成するマルチプレクサを含み、
    前記ビデオコンバイナは、前記出力ピクセルデータと前記抽出された同期信号とを受信して前記複合ビデオ出力を生成するモジュールを含むことを特徴とする装置。
  2. 前記処理モジュールは、前記第2のビデオデータストリームをダウンサイズして、前記第2のビデオデータストリームを前記ビデオ副画像のための領域に適合させるようにさらに構成されることを特徴とする請求項1に記載の装置。
  3. 前記第2のビデオデータストリームをダウンサイズすることは、前記第2のビデオデータストリームをダウンサンプリングすること、ダウンスケーリングすること、又はクロッピングすることを含むことを特徴とする請求項2に記載の装置。
  4. 前記第2のビデオデータストリームの変換は、視聴者にとっての前記ビデオ副画像とディスプレイ枠との間の見かけの奥行きを調整することを含むことを特徴とする請求項1に記載の装置。
  5. 前記第2のビデオデータストリームがオンスクリーン・ディスプレイ(OSD)を含み、前記第2のビデオデータストリームの変換は、前記視聴者にとっての前記OSDとディスプレイ枠との間の見かけの奥行きを調整することを含むことを特徴とする請求項4に記載の装置。
  6. 1つ又はそれ以上の画像を表示するディスプレイ画面をさらに含み、前記1つ又はそれ以上の画像は、前記主ビデオ画像及び前記ビデオ副画像を含むことができ、前記ビデオ副画像は、前記主ビデオ画像より小さく、かつ、前記主ビデオ画像の一部を覆い隠すことを特徴とする請求項1に記載の装置。
  7. 前記ビデオコンバイナは、前記ビデオ副画像及び前記主ビデオ画像のどのピクセルを前記出力ピクセルデータに含めるべきか決定する1つ又はそれ以上の座標プロセッサを含むことを特徴とする請求項に記載の装置。
  8. 各々のビデオストリームの次元が2次元(2D)又は3次元(3D)のいずれかである複数のビデオデータストリームを受信するステップと、
    前記複数のビデオデータストリームの第1のビデオデータストリームを主ビデオチャンネルとして選択するステップと、
    前記複数のビデオデータストリームの第2のビデオデータストリームを副ビデオチャンネルとして選択するステップと、
    前記第2のビデオデータストリームの次元を、前記第1のビデオデータストリームの次元と整合するように変換するステップと、
    前記主ビデオチャンネルから生成された主ビデオ画像と前記副ビデオチャンネルから生成されたビデオ副画像とを含む複合ビデオ出力を生成するステップと、
    を含み、
    前記複合ビデオ出力を生成するステップにおいて、前記主ビデオチャンネルから同期信号を抽出する、ことを特徴とする方法。
  9. 前記複合ビデオ出力を生成するステップは、前記第1のビデオデータストリームと前記第2のビデオデータストリームとを多重化するステップを含むことを特徴とする請求項に記載の方法。
  10. 前記ビデオ副画像が表示のための特定のはめ込みウィンドウに適合するように、前記第2のビデオデータストリームのフレームをダウンサイズするステップをさらに含むことを特徴とする請求項に記載の方法。
  11. 前記主ビデオチャンネルが3Dビデオチャンネルであり、かつ、前記副ビデオチャンネルが2Dチャンネルであり、前記第2のビデオデータストリームの次元を変換するステップは、
    前記副ビデオチャンネルのデータの各フレームを左チャンネル領域及び右チャンネル領域にコピーするステップを含むことを特徴とする請求項に記載の方法。
  12. 前記主ビデオチャンネルが3Dビデオチャンネルであり、前記副ビデオチャンネルの左領域の位置と前記副ビデオチャンネルの右領域の位置との間の差異を変更することにより、前記副ビデオチャンネルの見かけの奥行きを調整するステップをさらに含むことを特徴とする請求項に記載の方法。
  13. 前記副ビデオチャンネルがオンスクリーン・ディスプレイ(OSD)を含み、前記副ビデオチャンネルの前記見かけの奥行きを調整するステップは、OSDの左領域の位置とOSDの右領域の位置との間の差異を変更するステップを含むことを特徴とする請求項12に記載の方法。
  14. 前記主ビデオチャンネルが2Dビデオチャンネルであり、かつ、前記副ビデオチャンネルが3Dチャンネルであり、
    前記第2のビデオデータストリームの次元を変換するステップは、データフレームの左領域又は右領域のいずれかを除去し、残りの左領域又は右領域を前記副ビデオチャンネルのための2Dデータフレームのデータフレームとして用いるステップを含むことを特徴とする請求項に記載の方法。
  15. 主ビデオデータストリームと1つ又はそれ以上の副ビデオデータストリームとを多重化して複合ピクセルデータを生成するマルチプレクサを含み、
    各ビデオデータストリームは3次元(3D)又は2次元(2D)のいずれかであることが可能であり、
    前記主ビデオデータストリームから同期信号を抽出する同期抽出器と、
    2D主ビデオデータストリームと3D主ビデオデータストリームの第1の領域とに対して動作し、複合ピクセルデータに含めるべきピクセルを前記抽出された同期信号に基づいて識別する第1の座標プロセッサと、
    第2の座標プロセッサを含む3Dビデオモジュールとを含み、
    前記第2の座標プロセッサが、3D主ビデオデータストリームの第2の領域に対して動作し、前記複合ピクセルデータに含めるべきピクセルを前記抽出された同期信号に基づいて識別することを特徴とするビデオコンバイナ。
  16. 前記第2の座標プロセッサが前記第1の座標プロセッサと共有されることを特徴とする請求項15に記載のビデオコンバイナ。
  17. 前記3Dビデオモジュールは、垂直同期挿入器をさらに含み、前記垂直同期挿入器は、
    前記主ビデオデータストリームの3Dフォーマット内のアクティブ空間領域の中に付加的な垂直同期信号を挿入することを特徴とする請求項15に記載のビデオコンバイナ。
  18. 前記複合ピクセルデータと前記抽出された同期信号とを受信して複合ビデオ出力を生成するモジュールをさらに含むことを特徴とする請求項15に記載のビデオコンバイナ。
  19. プロセッサによって実行されたときに、前記プロセッサに、
    各々のビデオデータストリームの次元が2次元(2D)又は3次元(3D)いずれかである複数のビデオデータストリームを受信するステップと、
    前記複数のビデオデータストリームの第1のビデオデータストリームを主ビデオチャンネルとして選択するステップと、
    前記複数のビデオデータストリームの第2のビデオデータストリームを副ビデオチャンネルとして選択するステップと、
    前記第2のビデオデータストリームの次元を、前記第1のビデオデータストリームの次元と整合するように変換するステップと、
    前記主ビデオチャンネルから生成された主ビデオ画像と前記副ビデオチャンネルから生成されたビデオ副画像とを含む複合ビデオ出力を生成するステップと
    を含む動作を行わせる命令のシーケンスを表わすデータが格納されており、
    前記複合ビデオ出力を生成するステップにおいて、前記主ビデオチャンネルから同期信号を抽出する、ことを特徴とするコンピュータ可読格納媒体。
  20. 前記複合ビデオ出力を生成するステップは、前記第1のビデオデータストリームと前記第2のビデオデータストリームとを多重化するステップを含むことを特徴とする請求項19に記載の媒体。
  21. プロセッサにより実行されたときに、前記プロセッサに、
    前記ビデオ副画像が表示のための特定のはめ込みウィンドウに適合するように、前記第2のビデオデータストリームのフレームをダウンサイズするステップを含む動作を行わせる命令をさらに含むことを特徴とする請求項19に記載の媒体。
  22. 前記主ビデオチャンネルが3Dビデオチャンネルであり、かつ、前記副ビデオチャンネルが2Dチャンネルであり、
    前記第2のビデオデータストリームの次元を変換するステップは、前記副ビデオチャンネルのデータの各フレームを左チャンネル領域及び右チャンネル領域にコピーするステップを含むことを特徴とする請求項19に記載の媒体。
  23. 前記主ビデオチャンネルが3Dビデオチャンネルであり、プロセッサにより実行されたときに、前記プロセッサに、
    前記副ビデオチャンネルの左領域の位置と前記副ビデオチャンネルの右領域の位置との間の差異を変更することにより、前記副ビデオチャンネルの見かけの奥行きを調整するステップを含む動作を行わせる命令をさらに含むことを特徴とする請求項19に記載の媒体。
  24. 前記副ビデオチャンネルがオンスクリーン・ディスプレイ(OSD)を含み、前記副ビデオチャンネルの前記見かけの奥行きを調整するステップは、OSD左領域の位置とOSD右領域の位置との間の差異を変更するステップを含むことを特徴とする請求項23に記載の媒体。
  25. 前記主ビデオチャンネルが2Dビデオチャンネルであり、かつ、前記副ビデオチャンネルが3Dであり、前記第2のビデオデータストリームの次元を変換するステップは、データフレームの左領域又は右領域のいずれかを除去し、残りの左領域又は右領域を前記副ビデオチャンネルのための2Dデータフレームのデータフレームとして用いるステップを含むことを特徴とする請求項19に記載の媒体。
JP2013534944A 2010-10-18 2011-10-10 異なる次元のビデオデータストリームを同時表示用に組み合わせること Active JP6023066B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/906,939 US8537201B2 (en) 2010-10-18 2010-10-18 Combining video data streams of differing dimensionality for concurrent display
US12/906,939 2010-10-18
PCT/US2011/055635 WO2012054251A2 (en) 2010-10-18 2011-10-10 Combining video data streams of differing dimensionality for concurrent display

Publications (2)

Publication Number Publication Date
JP2013545374A JP2013545374A (ja) 2013-12-19
JP6023066B2 true JP6023066B2 (ja) 2016-11-09

Family

ID=45933817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013534944A Active JP6023066B2 (ja) 2010-10-18 2011-10-10 異なる次元のビデオデータストリームを同時表示用に組み合わせること

Country Status (7)

Country Link
US (1) US8537201B2 (ja)
EP (1) EP2630803A4 (ja)
JP (1) JP6023066B2 (ja)
KR (1) KR20140022764A (ja)
CN (1) CN103168474A (ja)
TW (1) TWI538495B (ja)
WO (1) WO2012054251A2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281075A1 (en) * 2010-01-18 2012-11-08 Lg Electronics Inc. Broadcast signal receiver and method for processing video data
KR20120069432A (ko) * 2010-12-20 2012-06-28 삼성전자주식회사 입체영상표시장치 및 그 구동 방법
JP4989760B2 (ja) * 2010-12-21 2012-08-01 株式会社東芝 送信装置、受信装置および伝送システム
US9412330B2 (en) * 2011-03-15 2016-08-09 Lattice Semiconductor Corporation Conversion of multimedia data streams for use by connected devices
JP5198615B2 (ja) * 2011-03-28 2013-05-15 株式会社東芝 画像処理装置及び画像処理方法
SG2014008775A (en) 2011-08-16 2014-04-28 Destiny Software Productions Inc Script-based video rendering
KR20130099403A (ko) * 2012-02-29 2013-09-06 삼성전자주식회사 이미지 프로세싱 방법 및 이를 이용한 이미지 프로세싱 유닛
CN103548348B (zh) * 2012-03-26 2016-10-05 松下知识产权经营株式会社 立体影像处理装置以及立体影像处理方法
CN104221367A (zh) * 2012-04-04 2014-12-17 拿索斯财务有限公司 用于生成和接收立体-2d反向兼容视频流的系统及其方法
TWI477969B (zh) * 2012-07-05 2015-03-21 Qisda Corp 遠端控制方法、遠端控制系統及電子裝置
CN103581743A (zh) * 2012-07-27 2014-02-12 联咏科技股份有限公司 图像处理方法与图像显示系统
US9413985B2 (en) * 2012-09-12 2016-08-09 Lattice Semiconductor Corporation Combining video and audio streams utilizing pixel repetition bandwidth
KR20150102014A (ko) * 2012-12-24 2015-09-04 톰슨 라이센싱 입체 이미지를 디스플레이하는 장치 및 방법
WO2014112035A1 (ja) * 2013-01-15 2014-07-24 発紘電機株式会社 プログラマブルコントローラシステム、そのプログラマブル表示器、作画エディタ装置、プログラム
US8786776B1 (en) * 2013-05-10 2014-07-22 Silicon Image, Inc. Method, apparatus and system for communicating sideband data with non-compressed video
WO2015130022A1 (ko) * 2014-02-26 2015-09-03 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
KR102225946B1 (ko) * 2014-02-26 2021-03-10 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 애플리케이션 처리 방법
US10334221B2 (en) * 2014-09-15 2019-06-25 Mantisvision Ltd. Methods circuits devices systems and associated computer executable code for rendering a hybrid image frame
US10097785B2 (en) 2014-10-01 2018-10-09 Sony Corporation Selective sign language location
US10204433B2 (en) * 2014-10-01 2019-02-12 Sony Corporation Selective enablement of sign language display
CN105187747B (zh) * 2015-07-29 2018-06-26 宁波大学 一种多功能lcd显示控制器的控制方法
KR102443203B1 (ko) 2015-10-27 2022-09-15 삼성전자주식회사 전자 장치 운용 방법 및 이를 지원하는 전자 장치
EP3236657A1 (en) * 2016-04-21 2017-10-25 Ultra-D Coöperatief U.A. Dual mode depth estimator
CN105872444B (zh) * 2016-04-22 2019-11-29 广东小天才科技有限公司 一种视频通话方法、装置及系统
TWI584258B (zh) * 2016-05-27 2017-05-21 瑞鼎科技股份有限公司 驅動電路及其運作方法
US10171601B2 (en) 2016-08-21 2019-01-01 International Business Machines Corporation Availability-based video presentation management
KR102549463B1 (ko) 2016-08-30 2023-06-30 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
US10110950B2 (en) 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
CN109714623B (zh) * 2019-03-12 2021-11-16 北京旷视科技有限公司 图像展示方法、装置、电子设备及计算机可读存储介质
CN111107428A (zh) * 2019-12-03 2020-05-05 青岛海信传媒网络技术有限公司 一种双路媒体流数据的播放方法及显示设备
CN111447432A (zh) * 2020-04-02 2020-07-24 上海晨驭信息科技有限公司 一种多路3d信号拼接同步系统
JP7380435B2 (ja) * 2020-06-10 2023-11-15 株式会社Jvcケンウッド 映像処理装置、及び映像処理システム
KR20220018849A (ko) * 2020-08-07 2022-02-15 삼성전자주식회사 디스플레이장치 및 그 제어방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
JP4362105B2 (ja) * 2002-07-16 2009-11-11 韓國電子通信研究院 2次元および3次元立体ビデオ信号の適応変換装置およびその方法
EP1617684A4 (en) * 2003-04-17 2009-06-03 Sharp Kk THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
JP4251907B2 (ja) * 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
KR101130368B1 (ko) * 2003-06-02 2012-03-27 디즈니엔터프라이지즈,인크. 소비자용 비디오 플레이어를 위한 프로그램된 윈도우 제어 시스템 및 방법
US20060015919A1 (en) 2004-07-13 2006-01-19 Nokia Corporation System and method for transferring video information
KR101258912B1 (ko) * 2005-06-06 2013-04-30 인튜어티브 서지컬 인코포레이티드 복강경의 초음파 로보트 수술 시스템
JP4364176B2 (ja) * 2005-06-20 2009-11-11 シャープ株式会社 映像データ再生装置及び映像データ生成装置
JP4408845B2 (ja) * 2005-07-27 2010-02-03 シャープ株式会社 映像合成装置及びプログラム
KR20070014968A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 데이터 재생방법 및 재생장치, 기록매체와 데이터 기록방법및 기록장치
EP2157803B1 (en) * 2007-03-16 2015-02-25 Thomson Licensing System and method for combining text with three-dimensional content
US8695034B2 (en) * 2007-08-31 2014-04-08 Silicon Image, Inc. Delivering on screen display data to existing display devices
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR101379337B1 (ko) * 2007-12-04 2014-03-31 삼성전자주식회사 삼차원적 pip 영상을 제공하는 영상기기 및 이를 적용한영상표시방법
WO2009077929A1 (en) * 2007-12-14 2009-06-25 Koninklijke Philips Electronics N.V. 3d mode selection mechanism for video playback
WO2009083863A1 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
CN201156806Y (zh) * 2008-02-02 2008-11-26 北京超多维科技有限公司 具有画外画/画中画功能的立体电视
JP2010028456A (ja) * 2008-07-18 2010-02-04 Sony Corp データ構造、再生装置および方法、並びにプログラム
KR101461972B1 (ko) 2008-09-04 2014-12-04 엘지전자 주식회사 상향링크 할당요청 피드백 방법
EP2326101B1 (en) * 2008-09-18 2015-02-25 Panasonic Corporation Stereoscopic video reproduction device and stereoscopic video display device
CN101742172A (zh) * 2008-11-06 2010-06-16 纬创资通股份有限公司 具有立体显示功能的子母画面显示装置及画面显示方法
BRPI0922046A2 (pt) * 2008-11-18 2019-09-24 Panasonic Corp dispositivo de reprodução, método de reprodução e programa para reprodução estereoscópica
US8339441B2 (en) * 2008-12-26 2012-12-25 Kabushiki Kaisha Toshiba Frame processing device, television receiving apparatus and frame processing method
KR101405019B1 (ko) 2009-01-29 2014-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 이미지들,예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들
CA2752691C (en) * 2009-02-27 2017-09-05 Laurence James Claydon Systems, apparatus and methods for subtitling for stereoscopic content
US9185328B2 (en) * 2009-06-08 2015-11-10 Lg Electronics Inc. Device and method for displaying a three-dimensional PIP image
KR20110044573A (ko) * 2009-10-23 2011-04-29 삼성전자주식회사 디스플레이장치 및 그 영상표시방법
JP2011182075A (ja) * 2010-02-26 2011-09-15 Hitachi Consumer Electronics Co Ltd 画像処理装置

Also Published As

Publication number Publication date
WO2012054251A2 (en) 2012-04-26
WO2012054251A3 (en) 2012-06-14
US20120092450A1 (en) 2012-04-19
JP2013545374A (ja) 2013-12-19
KR20140022764A (ko) 2014-02-25
EP2630803A2 (en) 2013-08-28
CN103168474A (zh) 2013-06-19
EP2630803A4 (en) 2014-10-08
TWI538495B (zh) 2016-06-11
US8537201B2 (en) 2013-09-17
TW201218754A (en) 2012-05-01

Similar Documents

Publication Publication Date Title
JP6023066B2 (ja) 異なる次元のビデオデータストリームを同時表示用に組み合わせること
US9185328B2 (en) Device and method for displaying a three-dimensional PIP image
EP2365697A2 (en) Image display device and method for operating the same
US20130169755A1 (en) Signal processing device for processing plurality of 3d content, display device for displaying the content, and methods thereof
CN102550031B (zh) 图像显示装置及其操作方法
EP2362666A1 (en) Image display device and method for operating the same
US20100091091A1 (en) Broadcast display apparatus and method for displaying two-dimensional image thereof
US9191651B2 (en) Video display apparatus and operating method therefor
KR20110113186A (ko) 비디오 인터페이스를 통해 송신하고 3d 비디오 및 3d 오버레이들을 합성하기 위한 방법 및 시스템
US20120229599A1 (en) Video signal processing device and video signal processing method
KR20110096494A (ko) 전자 장치 및 입체영상 재생 방법
US20120105448A1 (en) Display apparatus and method for providing graphic image
KR102459652B1 (ko) 표시장치와 그 영상 처리 방법
JP4989760B2 (ja) 送信装置、受信装置および伝送システム
JP2013066075A (ja) 送信装置、送信方法および受信装置
CN103458258A (zh) 影像处理方法与影像处理装置
JP2011211657A (ja) 電子機器及び画像出力方法
JP2014207492A (ja) 立体映像表示装置
US9117387B2 (en) Image display apparatus and method for operating the same
JP5496802B2 (ja) 画像表示装置、制御方法、プログラム、及び、記録媒体
US20120293637A1 (en) Bufferless 3D On Screen Display
CN102118625B (zh) 具有屏幕显示功能的影像处理装置及影像处理方法
KR101691801B1 (ko) 멀티비전 시스템
KR101730423B1 (ko) 영상표시장치 및 그 동작 방법
JP5422597B2 (ja) 三次元映像処理装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20140228

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20151225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161006

R150 Certificate of patent or registration of utility model

Ref document number: 6023066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250