JP6978289B2 - 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム - Google Patents
画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム Download PDFInfo
- Publication number
- JP6978289B2 JP6978289B2 JP2017222897A JP2017222897A JP6978289B2 JP 6978289 B2 JP6978289 B2 JP 6978289B2 JP 2017222897 A JP2017222897 A JP 2017222897A JP 2017222897 A JP2017222897 A JP 2017222897A JP 6978289 B2 JP6978289 B2 JP 6978289B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- computer graphics
- unit
- alpha
- reprojection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/308—Details of the user interface
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Controls And Circuits For Display Device (AREA)
Description
Claims (10)
- 仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成部と、
前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部と、
リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を、前記アルファ付きコンピュータグラフィックス画像のフレームデータをRGBA画像信号として伝送可能な通信インタフェースを介して前記ヘッドマウントディスプレイに送信する送信部とを含むことを特徴とする画像生成装置。 - 前記アルファ付き画像生成部により生成された前記アルファ付きコンピュータグラフィックス画像にポストプロセスを施すポストプロセス部をさらに含み、
前記リプロジェクション部は、ポストプロセスが施された前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換することを特徴とする請求項1に記載の画像生成装置。 - 現実空間の撮影画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部と、
アルファ付きコンピュータグラフィックス画像を、前記アルファ付きコンピュータグラフィックス画像のフレームデータをRGBA画像信号として伝送可能な通信インタフェースを介して受信する受信部と、
リプロジェクション処理が施された前記現実空間の撮影画像に前記アルファ付きコンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳部とを含むことを特徴とするヘッドマウントディスプレイ。 - ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、
前記画像生成装置は、
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
前記ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成部と、
前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第1のリプロジェクション部と、
リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を、前記アルファ付きコンピュータグラフィックス画像のフレームデータをRGBA画像信号として伝送可能な通信インタフェースを介して前記ヘッドマウントディスプレイに送信する送信部とを含み、
前記ヘッドマウントディスプレイは、
前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第2のリプロジェクション部と、
前記画像生成装置からアルファ付きコンピュータグラフィックス画像を、前記アルファ付きコンピュータグラフィックス画像のフレームデータをRGBA画像信号として伝送可能な通信インタフェースを介して受信する受信部と、
リプロジェクション処理が施された現実空間の撮影画像に前記アルファ付きコンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳部とを含むことを特徴とする画像生成システム。 - 仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリングステップと、
ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成ステップと、
前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換するリプロジェクションステップと、
リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を、前記アルファ付きコンピュータグラフィックス画像のフレームデータをRGBA画像信号として伝送可能な通信インタフェースを介して前記ヘッドマウントディスプレイに送信する送信ステップとを含むことを特徴とする画像生成方法。 - 仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング機能と、
ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成機能と、
前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換するリプロジェクション機能と、
リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を、前記アルファ付きコンピュータグラフィックス画像のフレームデータをRGBA画像信号として伝送可能な通信インタフェースを介して前記ヘッドマウントディスプレイに送信する送信機能とをコンピュータに実現させることを特徴とするプログラム。 - 現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第1のリプロジェクション部と、
奥行き情報付きのコンピュータグラフィックス画像を、前記奥行き情報付きのコンピュータグラフィックス画像のフレームデータをRGBD画像信号として伝送可能な通信インタフェースを介して受信する受信部と、
コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第2のリプロジェクション部と、
リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳部とを含むことを特徴とするヘッドマウントディスプレイ。 - ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、
前記画像生成装置は、
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
現実空間の撮影画像に重畳するために奥行き情報付きの前記コンピュータグラフィックス画像を、前記奥行き情報付きのコンピュータグラフィックス画像のフレームデータをRGBD画像信号として伝送可能な通信インタフェースを介して前記ヘッドマウントディスプレイに送信する送信部とを含み、
前記ヘッドマウントディスプレイは、
現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第1のリプロジェクション部と、
前記画像生成装置から奥行き情報付きのコンピュータグラフィックス画像を、前記奥行き情報付きのコンピュータグラフィックス画像のフレームデータをRGBD画像信号として伝送可能な通信インタフェースを介して受信する受信部と、
前記コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第2のリプロジェクション部と、
リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳部とを含むことを特徴とする画像生成システム。 - 現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第1のリプロジェクションステップと、
奥行き情報付きのコンピュータグラフィックス画像を、前記奥行き情報付きのコンピュータグラフィックス画像のフレームデータをRGBD画像信号として伝送可能な通信インタフェースを介して受信する受信ステップと、
前記コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第2のリプロジェクションステップと、
リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳ステップとを含むことを特徴とする画像生成方法。 - 現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第1のリプロジェクション機能と、
奥行き情報付きのコンピュータグラフィックス画像を、前記奥行き情報付きのコンピュータグラフィックス画像のフレームデータをRGBD画像信号として伝送可能な通信インタフェースを介して受信する受信機能と、
前記コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第2のリプロジェクション機能と、
リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳機能とをコンピュータに実現させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017222897A JP6978289B2 (ja) | 2017-11-20 | 2017-11-20 | 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム |
PCT/JP2018/042003 WO2019098198A1 (ja) | 2017-11-20 | 2018-11-13 | 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム |
US16/762,786 US11204502B2 (en) | 2017-11-20 | 2018-11-13 | Image generation apparatus, head mounted display, image generation system, image generation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017222897A JP6978289B2 (ja) | 2017-11-20 | 2017-11-20 | 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019095916A JP2019095916A (ja) | 2019-06-20 |
JP2019095916A5 JP2019095916A5 (ja) | 2020-10-08 |
JP6978289B2 true JP6978289B2 (ja) | 2021-12-08 |
Family
ID=66539649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017222897A Active JP6978289B2 (ja) | 2017-11-20 | 2017-11-20 | 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11204502B2 (ja) |
JP (1) | JP6978289B2 (ja) |
WO (1) | WO2019098198A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220319105A1 (en) * | 2019-07-10 | 2022-10-06 | Sony Interactive Entertainment Inc. | Image display apparatus, image display system, and image display method |
JP7377014B2 (ja) | 2019-07-10 | 2023-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示装置、画像表示システムおよび画像表示方法 |
JP7217206B2 (ja) | 2019-07-10 | 2023-02-02 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示装置、画像表示システムおよび画像表示方法 |
JP7429633B2 (ja) | 2020-12-08 | 2024-02-08 | Kddi株式会社 | 情報処理システム、端末、サーバ及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015098292A1 (ja) * | 2013-12-25 | 2015-07-02 | ソニー株式会社 | 画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システム |
GB2523740B (en) * | 2014-02-26 | 2020-10-14 | Sony Interactive Entertainment Inc | Image encoding and display |
JP2015191314A (ja) * | 2014-03-27 | 2015-11-02 | キヤノン株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
JP6294780B2 (ja) * | 2014-07-17 | 2018-03-14 | 株式会社ソニー・インタラクティブエンタテインメント | 立体画像提示装置、立体画像提示方法、およびヘッドマウントディスプレイ |
US10102666B2 (en) * | 2015-06-12 | 2018-10-16 | Google Llc | Electronic display stabilization for head mounted display |
JP6087453B1 (ja) * | 2016-02-04 | 2017-03-01 | 株式会社コロプラ | 仮想空間の提供方法、およびプログラム |
US11024014B2 (en) * | 2016-06-28 | 2021-06-01 | Microsoft Technology Licensing, Llc | Sharp text rendering with reprojection |
US10394313B2 (en) * | 2017-03-15 | 2019-08-27 | Microsoft Technology Licensing, Llc | Low latency cross adapter VR presentation |
-
2017
- 2017-11-20 JP JP2017222897A patent/JP6978289B2/ja active Active
-
2018
- 2018-11-13 WO PCT/JP2018/042003 patent/WO2019098198A1/ja active Application Filing
- 2018-11-13 US US16/762,786 patent/US11204502B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11204502B2 (en) | 2021-12-21 |
US20210191124A1 (en) | 2021-06-24 |
JP2019095916A (ja) | 2019-06-20 |
WO2019098198A1 (ja) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6732716B2 (ja) | 画像生成装置、画像生成システム、画像生成方法、およびプログラム | |
US11119319B2 (en) | Rendering device, head-mounted display, image transmission method, and image correction method | |
WO2017086263A1 (ja) | 情報処理装置および画像生成方法 | |
US11373379B2 (en) | Image generation apparatus and image generation method for generating augmented reality images based on user interaction | |
US11120632B2 (en) | Image generating apparatus, image generating system, image generating method, and program | |
JP6978289B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム | |
US20200319463A1 (en) | Image correction apparatus, image correction method and program | |
US11003408B2 (en) | Image generating apparatus and image generating method | |
JP7234021B2 (ja) | 画像生成装置、画像生成システム、画像生成方法、およびプログラム | |
JPWO2020026419A1 (ja) | 画像生成装置および画像生成方法 | |
JP6711803B2 (ja) | 画像生成装置および画像生成方法 | |
JP7047085B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
WO2021006191A1 (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
JP7377014B2 (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
US20240236290A9 (en) | Image generation device, program, image generation method, and image displaying system | |
US20240137482A1 (en) | Image generation device, program, image generation method, and image displaying system | |
JP7429761B2 (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
WO2021106136A1 (ja) | 表示端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200828 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6978289 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |