JP7365185B2 - 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム - Google Patents
画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム Download PDFInfo
- Publication number
- JP7365185B2 JP7365185B2 JP2019185341A JP2019185341A JP7365185B2 JP 7365185 B2 JP7365185 B2 JP 7365185B2 JP 2019185341 A JP2019185341 A JP 2019185341A JP 2019185341 A JP2019185341 A JP 2019185341A JP 7365185 B2 JP7365185 B2 JP 7365185B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- value
- display
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 193
- 238000000034 method Methods 0.000 title claims description 60
- 230000005540 biological transmission Effects 0.000 title claims description 30
- 230000015572 biosynthetic process Effects 0.000 claims description 92
- 238000003786 synthesis reaction Methods 0.000 claims description 92
- 238000004891 communication Methods 0.000 claims description 45
- 238000007906 compression Methods 0.000 claims description 44
- 230000006835 compression Effects 0.000 claims description 44
- 238000000926 separation method Methods 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 description 35
- 238000006073 displacement reaction Methods 0.000 description 24
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 230000004075 alteration Effects 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 17
- 238000010191 image analysis Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 239000000203 mixture Substances 0.000 description 13
- 238000003702 image correction Methods 0.000 description 12
- 239000002131 composite material Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 101100226347 Escherichia phage lambda exo gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 235000019557 luminance Nutrition 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Description
Fout=(1-α)Fi+αFo
Claims (22)
- 画像生成装置が、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値を生成するステップと、
前記合成すべき画像と前記α値のデータを1つの画像平面に表してなる合成用データを生成するステップと、
前記合成用データを、前記表示画像を生成する装置に送信するステップと、
を含み、
前記合成用データを生成するステップは、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記合成すべき画像に付加し、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値を埋め込むことを特徴とする画像データ伝送方法。 - 前記合成用データを生成するステップは、前記合成用データにおいて、1つの画素に複数の画素のα値を対応づけることを特徴とする請求項1に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記1つの画素が有する複数の原色に割り当てられた記憶領域ごとに、1つまたは複数の画素のα値を格納することを特徴とする請求項2に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記1つの画素が有する複数の原色に割り当てられた記憶領域ごとに、各原色に対し設定する1つまたは複数の画素のα値を格納することを特徴とする請求項2に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記1つの画素が有する複数の原色に割り当てられた記憶領域ごとに、全原色に共通に設定する1つまたは複数の画素のα値を格納することを特徴とする請求項2に記載の画像データ伝送方法。
- 画像生成装置が、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値を生成するステップと、
前記合成すべき画像と前記α値のデータを1つの画像平面に表してなる合成用データを生成するステップと、
前記合成用データを、前記表示画像を生成する装置に送信するステップと、
中継装置が、
前記合成用データを取得し、前記合成すべき画像と前記α値のデータを分離するステップと、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化するステップと、
圧縮符号化されたデータを、前記表示画像を生成する装置に送信するステップと、
を含むことを特徴とする画像データ伝送方法。 - 前記圧縮符号化するステップは、前記合成すべき画像を非可逆圧縮し、前記α値のデータを可逆圧縮することを特徴とする請求項6に記載の画像データ伝送方法。
- 前記表示画像を生成する装置が、被写体の位置および姿勢の情報を取得するステップをさらに含み、
前記合成用データを生成するステップは、
前記表示画像を生成する装置から送信された前記位置および姿勢の情報に基づき、所定時間後の被写体の位置および姿勢を予測したうえ、その結果に対応するように前記合成すべき画像を生成することを特徴とする請求項1から7のいずれかに記載の画像データ伝送方法。 - 前記合成用データを生成するステップは、前記表示画像を生成する装置と共有された、前記α値を表す範囲に係る情報に基づき、前記画像平面にα値を表すことを特徴とする請求項1から8のいずれかに記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記α値を表す範囲を前記画像平面に表したマップに基づき、前記画像平面にα値を表すことを特徴とする請求項9に記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記合成すべき画像より小さい解像度で生成されたα値を前記画像平面に表すことを特徴とする請求項1から10のいずれかに記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記表示画像のうち前記合成によって表される像を含む所定範囲の領域のα値を前記画像平面に表すことを特徴とする請求項1から10のいずれかに記載の画像データ伝送方法。
- 前記合成用データを生成するステップは、前記1つの画像平面に前記α値のデータを表す代わりに、前記合成によって表すべき像以外の領域に所定の画素値を与えた合成用データを生成し、
前記送信するステップは、前記合成用データを非可逆圧縮して送信し、
前記表示画像を生成する装置が、
前記合成用データを伸張するステップと、
当該合成用データのうち前記所定の画素値から所定範囲の値を有する画素の領域以外の領域を前記表示画像に表すステップと、
を含むことを特徴とする請求項1から12のいずれかに記載の画像データ伝送方法。 - 表示画像に合成すべき画像を生成する画像描画部と、
前記合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを生成する合成情報統合部と、
前記合成用データを出力する通信部と、
を備え、
前記合成情報統合部は、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記合成すべき画像に付加し、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値を埋め込むことを特徴とするコンテンツ処理装置。 - 実空間を撮影するカメラと、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを、外部の装置から受信し、前記α値に基づき、前記カメラによる撮影画像に前記合成すべき画像を合成して表示画像を生成する画像処理用集積回路と、
前記表示画像を出力する表示パネルと、
を備え、
前記画像処理用集積回路は、前記画像平面において、接眼レンズを介して鑑賞するために前記合成すべき画像に付加された歪みにより、前記合成すべき画像が表されない領域に、前記α値が埋め込まれた前記合成用データを受信することを特徴とするヘッドマウントディスプレイ。 - 前記画像処理用集積回路は、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記撮影画像に付加し、前記外部の装置から送信された、前記歪みが付加されている前記合成すべき画像を合成することを特徴とする請求項15に記載のヘッドマウントディスプレイ。
- 前記画像処理用集積回路は、前記撮影画像を解析して被写体の位置および姿勢の情報を取得し、前記外部の装置に送信することを特徴とする請求項15または16に記載のヘッドマウントディスプレイ。
- 表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを、合成すべき画像と前記α値のデータに分離するデータ分離部と、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化する圧縮符号化部と、
前記合成用データを、画像を生成する装置から取得し、前記圧縮符号化されたデータを、前記表示画像を生成する装置に送信する通信部と、
を備えたことを特徴とする中継装置。 - 表示装置と、当該表示装置に表示させる画像を生成するコンテンツ処理装置と、を含み、
前記コンテンツ処理装置は、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを生成する合成用データ生成部と、
前記合成用データを出力する通信部と、
を備え、
前記表示装置は、
実空間を撮影するカメラと、
前記合成用データのα値に基づき、前記カメラによる撮影画像に前記合成すべき画像を合成して表示画像を生成する画像処理用集積回路と、
前記表示画像を出力する表示パネルと、
を備え、
前記合成用データは、接眼レンズを介して鑑賞される表示画像に与えるべき歪みが前記合成すべき画像に付加され、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値が埋め込まれていることを特徴とするコンテンツ処理システム。 - 表示画像に合成すべき画像を生成する機能と、
前記合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを生成する機能と、
前記合成用データを出力する機能と、
をコンピュータに実現させ、
前記合成用データを生成する機能は、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記合成すべき画像に付加し、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値を埋め込むことを特徴とするコンピュータプログラム。 - 表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを取得する機能と、
前記合成すべき画像と前記α値のデータを分離する機能と、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化する機能と、
圧縮符号化されたデータを、前記表示画像を生成する装置に送信する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 - 表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを1つの画像平面に表してなる合成用データを取得する機能と、
前記合成すべき画像と前記α値のデータを復元する機能と、
前記α値に基づき、撮影画像に前記合成すべき画像を合成して表示パネルに出力する機能と、
をコンピュータに実現させ、
前記合成用データを取得する機能は、前記画像平面において、接眼レンズを介して鑑賞するために前記合成すべき画像に付加された歪みにより、前記合成すべき画像が表されない領域に、前記α値が埋め込まれた前記合成用データを取得することを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/825,317 US11659153B2 (en) | 2019-03-29 | 2020-03-20 | Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019068189 | 2019-03-29 | ||
JP2019068189 | 2019-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020167660A JP2020167660A (ja) | 2020-10-08 |
JP7365185B2 true JP7365185B2 (ja) | 2023-10-19 |
Family
ID=72714644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185341A Active JP7365185B2 (ja) | 2019-03-29 | 2019-10-08 | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7365185B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112383788B (zh) * | 2020-11-11 | 2023-05-26 | 成都威爱新经济技术研究院有限公司 | 一种基于智能ai技术的直播实时图像提取系统及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002008053A (ja) | 2000-06-02 | 2002-01-11 | Nintendo Co Ltd | 可変ビットフィールドによる符号化 |
JP2005107780A (ja) | 2003-09-30 | 2005-04-21 | Sony Corp | 画像混合方法および混合画像データ生成装置 |
JP2007286851A (ja) | 2006-04-14 | 2007-11-01 | Canon Inc | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
JP2008005460A (ja) | 2006-05-22 | 2008-01-10 | Canon Inc | 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム |
JP2009111511A (ja) | 2007-10-26 | 2009-05-21 | Canon Inc | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
JP2014502451A (ja) | 2010-11-15 | 2014-01-30 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
JP2015073273A (ja) | 2013-10-02 | 2015-04-16 | 惟成科技有限公司 | カラーフレームとオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステム |
WO2017139871A1 (en) | 2016-02-18 | 2017-08-24 | Vrvana Inc. | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking |
JP2017174125A (ja) | 2016-03-23 | 2017-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
-
2019
- 2019-10-08 JP JP2019185341A patent/JP7365185B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002008053A (ja) | 2000-06-02 | 2002-01-11 | Nintendo Co Ltd | 可変ビットフィールドによる符号化 |
JP2005107780A (ja) | 2003-09-30 | 2005-04-21 | Sony Corp | 画像混合方法および混合画像データ生成装置 |
JP2007286851A (ja) | 2006-04-14 | 2007-11-01 | Canon Inc | 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 |
JP2008005460A (ja) | 2006-05-22 | 2008-01-10 | Canon Inc | 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム |
JP2009111511A (ja) | 2007-10-26 | 2009-05-21 | Canon Inc | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
JP2014502451A (ja) | 2010-11-15 | 2014-01-30 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
JP2015073273A (ja) | 2013-10-02 | 2015-04-16 | 惟成科技有限公司 | カラーフレームとオリジナルデプスフレームをパック及びアンパックする方法、装置並びにシステム |
WO2017139871A1 (en) | 2016-02-18 | 2017-08-24 | Vrvana Inc. | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking |
JP2017174125A (ja) | 2016-03-23 | 2017-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020167660A (ja) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9159135B2 (en) | Systems, methods, and computer program products for low-latency warping of a depth map | |
US7689031B2 (en) | Video filtering for stereo images | |
JP5388534B2 (ja) | 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体 | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
JPWO2007116549A1 (ja) | 画像処理装置 | |
US20020105576A1 (en) | Stereoscopic image generating apparatus and game apparatus | |
JP7358448B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法 | |
JP7150134B2 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
US11640058B2 (en) | Image processing method, image processing apparatus, and head-mounted display | |
JP7365185B2 (ja) | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム | |
WO2020170456A1 (ja) | 表示装置および画像表示方法 | |
US11659153B2 (en) | Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system | |
US20210304494A1 (en) | Image processing apparatus, 3d data generation apparatus, control program, and recording medium | |
JP7365184B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
WO2022054118A1 (ja) | 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法 | |
JP7429515B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
US11614627B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
US11106042B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
WO2019026183A1 (ja) | 画像生成装置および画像生成方法 | |
WO2022158221A1 (ja) | 画像表示システム、表示装置、および画像表示方法 | |
KR20200052846A (ko) | 데이터 처리 시스템 | |
WO2023140033A1 (ja) | 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法 | |
JP7505481B2 (ja) | 画像処理装置および画像処理方法 | |
JP7365183B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 | |
WO2024053371A1 (ja) | 情報処理システム、および情報処理システムの作動方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7365185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |