JPWO2019171557A1 - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JPWO2019171557A1 JPWO2019171557A1 JP2020504604A JP2020504604A JPWO2019171557A1 JP WO2019171557 A1 JPWO2019171557 A1 JP WO2019171557A1 JP 2020504604 A JP2020504604 A JP 2020504604A JP 2020504604 A JP2020504604 A JP 2020504604A JP WO2019171557 A1 JPWO2019171557 A1 JP WO2019171557A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- space
- display
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims description 64
- 230000004913 activation Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 8
- 210000003128 head Anatomy 0.000 description 26
- 230000036544 posture Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 13
- 238000009434 installation Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
画像表示装置31は、実施例1に示した画像表示システム10と同じものであり、ディスプレイ11、2つのユーザ空間撮像部12−1、12−2、記憶部13、および処理部14を有している。画像取得装置33は、表示空間撮像部34、処理部35、および音声取得部36を有している。
Claims (14)
- 画像を表示可能な画面を有するディスプレイと、
前記ディスプレイの前記画面に表示される画像を見るユーザが存在しうる前記画面より前方のユーザ空間を撮像し、ユーザ空間画像を取得するユーザ空間撮像部と、
所定の基準座標空間における前記画面の位置、姿勢および形状を示す画面配置データと、前記基準座標空間における前記ユーザ空間撮像部の位置および姿勢を示す撮像部配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する記憶部と、
前記撮像部配置データと前記ユーザ空間撮像部で取得される前記ユーザ空間画像とに基づいて、前記基準座標空間上のユーザ視点位置を特定し、該ユーザ視点位置と前記画面配置データと前記三次元データに基づいて、前記ユーザ視点位置から前記画面を介して仮想空間上の前記三次元オブジェクトを見たときのような見え方となる前記三次元オブジェクトの表示画像を生成し、該表示画像を前記ディスプレイの前記画面に表示させる処理部と、
を有する画像表示システム。 - 前記処理部は、前記三次元データに射影変換を適用することにより、前記ユーザ視点位置から前記画面を通して見える前記三次元オブジェクトの表示画像を生成する、
請求項1に記載の画像表示システム。 - 前記ユーザ空間撮像部は、前記ユーザ空間を110°以上の画角で撮像する、請求項1に記載の画像表示システム。
- 前記処理部は、前記基準座標空間上で、前記三次元データの各点を該各点と前記ユーザ視点位置とを結ぶ直線が前記画面と交わる点に投影することにより、前記ユーザ視点位置から前記画面を介して見える前記三次元オブジェクトの表示画像を生成する、
請求項1に記載の画像表示システム。 - 複数の前記ディスプレイを有し、
前記記憶部は、前記複数のディスプレイのそれぞれの画面の前記基準座標空間における位置、姿勢および形状を示す画面配置データを保持し、
前記処理部は、前記複数のディスプレイのそれぞれについて、前記ディスプレイの画面配置データと前記三次元データに基づいて前記三次元オブジェクトの表示画像を生成し、該表示画像を前記ディスプレイの前記画面に表示させる、
請求項1に記載の画像表示システム。 - 複数の前記ユーザ空間撮像部を有し、
前記記憶部は、前記複数のユーザ空間撮像部のそれぞれの位置および姿勢を示す撮像部配置データを保持し、
前記処理部は、前記撮像部配置データと前記複数のユーザ空間撮像部による前記複数のユーザ空間画像とに基づいて前記ユーザ視点位置を算出する、
請求項1に記載の画像表示システム。 - 前記処理部は、前記ユーザ空間撮像部で取得された画像のデータと該画像から算出した前記ユーザ視点位置の情報との少なくとも一方を記録し、複数の前記ユーザ空間撮像部による画像に前記ユーザ視点位置に関する所定のユーザ部位が写っている場合は前記複数の画像の視差に基づいて前記ユーザ視点位置を算出し、1つの前記ユーザ空間撮像部による画像のみに前記ユーザ部位が写っている場合は前記1つの画像と過去の画像のデータまたは過去のユーザ視点位置とに基づいて前記ユーザ視点位置を推定する、
請求項1に記載の画像表示システム。 - 前記処理部は、前記ユーザ空間撮像部で取得された画像のデータと該画像から算出した前記ユーザ視点位置との少なくとも一方を前記記憶部に記録し、前記記憶部に記録されている時系列の前記ユーザ視点位置と前記ユーザ空間撮像部による時系列の画像との少なくとも一方に基づいて、前記ユーザ視点位置を更新する処理を行う、
請求項1に記載の画像表示システム。 - 前記処理部は、異なる複数の前記ユーザ空間撮像部または異なる複数の組合せの前記ユーザ空間撮像部で撮像される画像に基づいてユーザ視点位置に相当する位置の座標を複数算出し、前記複数の位置の座標から最小二乗法により前記ユーザ視点位置を算出する、
請求項6に記載の画像表示システム。 - 前記処理部は、前記ユーザ視点位置を前記記憶部に記録し、前記ユーザ空間撮像部で撮像されたユーザ空間画像から現在のユーザ視点位置を特定できないとき、前記記憶部に記録されている時系列の前記ユーザ視点位置に基づき、現在のユーザ視点位置を推定する、請求項1に記載の画像表示システム。
- 前記処理部は、時系列の前記ユーザ空間画像からユーザが行った所定のジェスチャを検出し、前記ジェスチャに対応する所定の処理を実行する、請求項1に記載の画像表示システム。
- 前記処理部は、前記時系列のユーザ空間画像から起動ジェスチャを検出した後に所定の指示ジェスチャを検出すると、前記指示ジェスチャに対応する所定の処理を実行し、前記起動ジェスチャを検出せずに前記指示ジェスチャを検出しても前記処理を実行しない、
請求項11に記載の画像表示システム。 - 表示対象とする実空間である表示空間を撮像して画像を取得する表示空間撮像部を更に有し、
前記処理部は、前記表示空間撮像部が取得した画像のデータを利用して前記三次元データを生成する、
請求項1に記載の画像表示システム。 - 前記表示空間の音声を取得する音声取得部と、
前記ユーザ空間に前記音声を出力する音声出力部と、を更に有する、
請求項13に記載の画像表示システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022078412A JP7423683B2 (ja) | 2018-03-08 | 2022-05-11 | 画像表示システム |
JP2024005462A JP2024054137A (ja) | 2018-03-08 | 2024-01-17 | 画像表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/009092 WO2019171557A1 (ja) | 2018-03-08 | 2018-03-08 | 画像表示システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022078412A Division JP7423683B2 (ja) | 2018-03-08 | 2022-05-11 | 画像表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019171557A1 true JPWO2019171557A1 (ja) | 2021-02-04 |
JP7073481B2 JP7073481B2 (ja) | 2022-05-23 |
Family
ID=67846986
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020504604A Active JP7073481B2 (ja) | 2018-03-08 | 2018-03-08 | 画像表示システム |
JP2022078412A Active JP7423683B2 (ja) | 2018-03-08 | 2022-05-11 | 画像表示システム |
JP2024005462A Pending JP2024054137A (ja) | 2018-03-08 | 2024-01-17 | 画像表示システム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022078412A Active JP7423683B2 (ja) | 2018-03-08 | 2022-05-11 | 画像表示システム |
JP2024005462A Pending JP2024054137A (ja) | 2018-03-08 | 2024-01-17 | 画像表示システム |
Country Status (3)
Country | Link |
---|---|
US (3) | US11425350B2 (ja) |
JP (3) | JP7073481B2 (ja) |
WO (1) | WO2019171557A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11186289B2 (en) * | 2018-03-30 | 2021-11-30 | Toyota Jidosha Kabushiki Kaisha | Concealment system for improved safe driving |
US10997630B2 (en) * | 2018-12-20 | 2021-05-04 | Rovi Guides, Inc. | Systems and methods for inserting contextual advertisements into a virtual environment |
WO2021065826A1 (ja) * | 2019-09-30 | 2021-04-08 | 京セラ株式会社 | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 |
EP4053630A4 (en) * | 2019-10-31 | 2022-12-21 | Sony Group Corporation | IMAGE DISPLAY DEVICE |
JPWO2022168244A1 (ja) * | 2021-02-04 | 2022-08-11 | ||
JP2023007233A (ja) * | 2021-07-01 | 2023-01-18 | 塁 佐藤 | 画像表示システム及び画像表示方法 |
WO2024095356A1 (ja) * | 2022-11-01 | 2024-05-10 | 株式会社バーチャルウインドウ | グラフィックス生成装置、グラフィックス生成方法及びプログラム |
CN115934020B (zh) * | 2023-01-05 | 2023-05-30 | 南方科技大学 | 一种基于弧形屏幕的裸眼3d显示方法及终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254338A (ja) * | 2012-06-06 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像生成システム、映像生成装置、映像生成方法及びコンピュータプログラム |
JP2015008394A (ja) * | 2013-06-25 | 2015-01-15 | Kddi株式会社 | 情報端末装置 |
JP2015059999A (ja) * | 2013-09-17 | 2015-03-30 | 日本電信電話株式会社 | 映像表示装置及び映像表示プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3292354B2 (ja) | 1994-12-13 | 2002-06-17 | 横河電機株式会社 | 3次元画像表示装置 |
JP2000276613A (ja) | 1999-03-29 | 2000-10-06 | Sony Corp | 情報処理装置および情報処理方法 |
JP2011151676A (ja) * | 2010-01-22 | 2011-08-04 | Panasonic Electric Works Co Ltd | 映像表示システム |
US8913009B2 (en) * | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
JP5439281B2 (ja) * | 2010-05-27 | 2014-03-12 | エヌ・ティ・ティ・コムウェア株式会社 | ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラム |
US20130113701A1 (en) * | 2011-04-28 | 2013-05-09 | Taiji Sasaki | Image generation device |
JP5833526B2 (ja) | 2012-10-19 | 2015-12-16 | 日本電信電話株式会社 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
KR102284821B1 (ko) * | 2014-12-18 | 2021-08-03 | 페이스북, 인크. | 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치 |
-
2018
- 2018-03-08 US US16/975,605 patent/US11425350B2/en active Active
- 2018-03-08 JP JP2020504604A patent/JP7073481B2/ja active Active
- 2018-03-08 WO PCT/JP2018/009092 patent/WO2019171557A1/ja active Application Filing
-
2022
- 2022-05-11 JP JP2022078412A patent/JP7423683B2/ja active Active
- 2022-06-30 US US17/854,405 patent/US11750789B2/en active Active
-
2023
- 2023-06-12 US US18/208,664 patent/US12095965B2/en active Active
-
2024
- 2024-01-17 JP JP2024005462A patent/JP2024054137A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254338A (ja) * | 2012-06-06 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像生成システム、映像生成装置、映像生成方法及びコンピュータプログラム |
JP2015008394A (ja) * | 2013-06-25 | 2015-01-15 | Kddi株式会社 | 情報端末装置 |
JP2015059999A (ja) * | 2013-09-17 | 2015-03-30 | 日本電信電話株式会社 | 映像表示装置及び映像表示プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7423683B2 (ja) | 2024-01-29 |
US11425350B2 (en) | 2022-08-23 |
JP2022122876A (ja) | 2022-08-23 |
US12095965B2 (en) | 2024-09-17 |
US11750789B2 (en) | 2023-09-05 |
US20200413021A1 (en) | 2020-12-31 |
US20220337801A1 (en) | 2022-10-20 |
JP7073481B2 (ja) | 2022-05-23 |
US20230328215A1 (en) | 2023-10-12 |
JP2024054137A (ja) | 2024-04-16 |
WO2019171557A1 (ja) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7423683B2 (ja) | 画像表示システム | |
US10256859B2 (en) | System and method for immersive and interactive multimedia generation | |
JP6933727B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20180046874A1 (en) | System and method for marker based tracking | |
US8624962B2 (en) | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images | |
US20190371072A1 (en) | Static occluder | |
JP2016522463A5 (ja) | ||
US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
JP2018526716A (ja) | 媒介現実 | |
US10859831B1 (en) | Systems and methods for safely operating a mobile virtual reality system | |
CN106873300B (zh) | 面向智能机器人的虚拟空间投影方法和装置 | |
EP4134917A1 (en) | Imaging systems and methods for facilitating local lighting | |
WO2020017435A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN113678173A (zh) | 用于虚拟对象的基于图绘的放置的方法和设备 | |
JPWO2018062251A1 (ja) | 情報処理装置 | |
US20240275935A1 (en) | Image display system and image display method | |
KR20210042476A (ko) | 프로젝션 기술을 이용한 증강현실 제공방법 및 시스템 | |
WO2018173206A1 (ja) | 情報処理装置 | |
US20240078767A1 (en) | Information processing apparatus and information processing method | |
Nakamura et al. | A Mutual Motion Capture System for Face-to-face Collaboration. | |
WO2022129646A1 (en) | Virtual reality environment | |
CN115552468A (zh) | 用于计算3d环境的合成表示的计算高效方法 | |
Tran et al. | Robust Hybrid Tracking with Life-Size Avatar in Mixed Reality Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7073481 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |