JP7013128B2 - 画像表示装置、画像表示方法及びプログラム - Google Patents
画像表示装置、画像表示方法及びプログラム Download PDFInfo
- Publication number
- JP7013128B2 JP7013128B2 JP2017013239A JP2017013239A JP7013128B2 JP 7013128 B2 JP7013128 B2 JP 7013128B2 JP 2017013239 A JP2017013239 A JP 2017013239A JP 2017013239 A JP2017013239 A JP 2017013239A JP 7013128 B2 JP7013128 B2 JP 7013128B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement amount
- composite image
- display unit
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Description
以下、本発明の第1の実施形態の詳細について図面を参照しつつ説明する。図1は、本実施形態に係る画像処理システム示す概略図である。図1に示すように、本実施形態に係るシステムは、頭部装着型の画像表示装置(以下、HMD)1201、および画像処理装置1210から構成されている。
移動部1304は、表示部1206に表示する合成画像を、移動量計算部1303が数式1により算出した移動量(ピクセル数)だけ移動させて表示させる。
上述の説明では、HMD1201の撮像部1202が撮像する画像の画角と、表示部1206が表示する画像の画角とが同じ場合の構成を示した。しかし、変形例として、撮像部1202の画像の画角が表示部1206の画像の画角よりも大きく(広く)なっており、抽出部(不図示)が撮像部1202で撮像した画像の一部を切り出して(抽出して)、表示部1206に表示させる構成であってもよい。図8は、このような構成における移動制御の例を説明する図である。
次に、本発明の第2の実施形態について説明する。本実施形態は、画像のフレーム間での移動量に制限を設けるものである。なお、第1の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
次に、本発明の第3の実施形態について説明する。第1の実施形態では各フレームにおいて移動量に制限を設ける構成を示し、第2の実施形態では2つのフレーム間の移動量の差に制限を設ける構成を示した。本実施形態は、各フレームにおいて移動量に制限を設けるとともに、2つのフレーム間の移動量の差にも制限を設ける構成を示す。なお、第1、第2の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
次に、本発明の第4の実施形態について説明する。本実施形態は、HMD1201の位置姿勢の変化だけではなく、撮像部1202が撮像してから合成画像が表示部1206に表示されるまでの遅延時間も考慮して移動量を算出するものである。より具体的には、撮像部1202が撮像してから表示部1206で表示するまでの遅延時間が閾値以上の場合は、ある一定時間前のHMDの位置姿勢情報を元に移動量を計算し、閾値未満の場合は撮像時の位置姿勢情報を元に移動量を計算する。なお、第1~第3の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。
画像処理装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
1202 撮像部
1205 表示変更部
1206 表示部
1208 位置姿勢算出部
1210 画像処理装置
1213 CG描画部
Claims (13)
- 表示部を備えた画像表示装置であって、
現実空間の画像を撮像する撮像手段と、
前記撮像した画像を画像処理装置に送信する送信手段と、
前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信する受信手段と、
前記撮像した画像と前記受信した合成画像とのそれぞれの画像のヘッダーもしくは画像中に埋め込まれている識別子による対応付けに基づいて、前記受信した合成画像を前記表示部に表示させる際の前記画像表示装置の位置姿勢と前記撮像手段が前記画像を撮像した際の前記画像表示装置の位置姿勢との差分を算出し、該差分に基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において、前記合成画像を移動すべき移動量を算出する算出手段と、
前記算出された移動量に基づいて、前記表示部において前記合成画像を移動する移動手段と、
前記算出された移動量が該移動量に対して定められた上限値を超える場合は、該上限値を超えないように前記移動手段により移動する移動量を制御する制御手段とを有することを特徴とする画像表示装置。 - 前記制御手段は、前記算出された移動量が前記上限値を超える場合、当該算出された移動量を当該上限値に変更することを特徴とする請求項1に記載の画像表示装置。
- 前記制御手段は、前記算出された移動量が該移動量に対して定められた下限値を下回る場合、前記合成画像を移動しないように制御することを特徴とする請求項1または2に記載の画像表示装置。
- 前記制御手段は、直前のフレームにおける前記合成画像の移動量と現在のフレームにおける前記合成画像の移動量との差分が、前記表示部の水平方向または垂直方向の少なくとも一方の方向において所定範囲に収まるように前記現在のフレームにおける前記合成画像の移動量を制御することを特徴とする請求項1から3のいずれか1項に記載の画像表示装置。
- 前記算出手段は、前記撮像手段が撮像してから前記表示部が表示するまでの時間が所定の時間を超えるか否かを判断し、超えると判断した場合は、前記受信した合成画像を前記表示部に表示させる際の位置姿勢に係る情報と前記所定の時間だけ前の前記画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記表示部における前記合成画像を移動すべき移動量を算出することを特徴とする請求項1から4のいずれか1項に記載の画像表示装置。
- 前記上限値は、前記水平方向と前記垂直方向とで異なることを特徴とする請求項1から5のいずれか1項に記載の画像表示装置。
- 前記上限値は、前記画像表示装置の使用者によって変更できることを特徴とする請求項1から6のいずれか1項に記載の画像表示装置。
- 表示部を備えた画像表示装置であって、
現実空間の画像を撮像する撮像手段と、
前記撮像した画像を画像処理装置に送信する送信手段と、
前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信する受信手段と、
前記受信した合成画像を前記表示部に表示させる際の前記画像表示装置の位置姿勢に係る情報と前記撮像手段が前記画像を撮像した際の前記画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において、前記合成画像を移動すべき移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて、前記表示部において前記合成画像を移動する移動手段と、
直前のフレームにおける前記合成画像の移動量と現在のフレームにおける前記合成画像の移動量との差分を算出する差分算出手段と、
前記差分が該差分に対して定められた上限値を超える場合は、該上限値を超えないように前記現在のフレームにおける前記合成画像の移動量を制御する制御手段とを有することを特徴とする画像表示装置。 - 前記表示部では、前記合成画像の移動により生じる差分の領域を黒色の領域とすることを特徴とする請求項1から8のいずれか1項に記載の画像表示装置。
- 前記表示部では、前記合成画像の移動により生じる差分の領域に、前記撮像した画像の端部の画像を繰り返し表示することを特徴とする請求項1から8のいずれか1項に記載の画像表示装置。
- 表示部を備えた画像表示装置の実行する画像表示方法であって、
現実空間の画像を撮像するステップと、
前記撮像した画像を画像処理装置に送信するステップと、
前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信するステップと、
前記撮像した画像と前記受信した合成画像とのそれぞれの画像のヘッダーもしくは画像中に埋め込まれている識別子による対応付けに基づいて、前記受信した合成画像を前記表示部に表示させる際の前記画像表示装置の位置姿勢と前記撮像手段が前記画像を撮像した際の前記画像表示装置の位置姿勢との差分を算出し、該差分に基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において、前記合成画像を移動すべき移動量を算出するステップと、
前記算出された移動量に基づいて、前記表示部において前記合成画像を移動するステップと、
前記算出された移動量が該移動量に対して定められた上限値を超える場合は、該上限値を超えないように前記合成画像を移動する移動量を制御するステップとを有することを特徴とする画像表示方法。 - 表示部を備えた画像表示装置の実行する画像表示方法であって、
現実空間の画像を撮像するステップと、
前記撮像した画像を画像処理装置に送信するステップと、
前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信するステップと、
前記受信した合成画像を前記表示部に表示させる際の前記画像表示装置の位置姿勢に係る情報と前記画像が撮像された際の前記画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において、前記合成画像を移動すべき移動量を算出するステップと、
前記算出された移動量に基づいて、前記表示部において前記合成画像を移動するステップと、
直前のフレームにおける前記合成画像の移動量と現在のフレームにおける前記合成画像の移動量との差分を算出するステップと、
前記差分が該差分に対して定められた上限値を超える場合は、該上限値を超えないように前記現在のフレームにおける前記合成画像の移動量を制御するステップとを有することを特徴とする画像表示方法。 - コンピュータを、請求項1から10のいずれか1項に記載の画像表示装置として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017013239A JP7013128B2 (ja) | 2017-01-27 | 2017-01-27 | 画像表示装置、画像表示方法及びプログラム |
US15/880,333 US10726814B2 (en) | 2017-01-27 | 2018-01-25 | Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium |
CN201810078565.XA CN108363486B (zh) | 2017-01-27 | 2018-01-26 | 图像显示装置及方法、图像处理装置及方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017013239A JP7013128B2 (ja) | 2017-01-27 | 2017-01-27 | 画像表示装置、画像表示方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018120173A JP2018120173A (ja) | 2018-08-02 |
JP2018120173A5 JP2018120173A5 (ja) | 2020-05-14 |
JP7013128B2 true JP7013128B2 (ja) | 2022-01-31 |
Family
ID=63043047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017013239A Active JP7013128B2 (ja) | 2017-01-27 | 2017-01-27 | 画像表示装置、画像表示方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7013128B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7262973B2 (ja) | 2018-10-31 | 2023-04-24 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7355840B2 (ja) * | 2019-10-18 | 2023-10-03 | 株式会社Nttドコモ | Arシステム及び端末 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004109994A (ja) | 2002-08-30 | 2004-04-08 | Olympus Corp | 頭部装着型画像表示システム装置及びその画像処理方法 |
JP2007299326A (ja) | 2006-05-02 | 2007-11-15 | Canon Inc | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 |
JP2008299669A5 (ja) | 2007-05-31 | 2010-07-15 | ||
US20130293447A1 (en) | 2012-05-04 | 2013-11-07 | Sony Computer Entertainment Europe Limited | Head-mountable display system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4857196B2 (ja) | 2007-05-31 | 2012-01-18 | キヤノン株式会社 | 頭部装着型表示装置、及びその制御方法 |
JP6353214B2 (ja) * | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
-
2017
- 2017-01-27 JP JP2017013239A patent/JP7013128B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004109994A (ja) | 2002-08-30 | 2004-04-08 | Olympus Corp | 頭部装着型画像表示システム装置及びその画像処理方法 |
JP2007299326A (ja) | 2006-05-02 | 2007-11-15 | Canon Inc | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 |
JP2008299669A5 (ja) | 2007-05-31 | 2010-07-15 | ||
US20130293447A1 (en) | 2012-05-04 | 2013-11-07 | Sony Computer Entertainment Europe Limited | Head-mountable display system |
Also Published As
Publication number | Publication date |
---|---|
JP2018120173A (ja) | 2018-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10629107B2 (en) | Information processing apparatus and image generation method | |
CN108139204B (zh) | 信息处理装置、位置和/或姿态的估计方法及记录介质 | |
JP6563043B2 (ja) | 映像表示システム | |
US10969861B2 (en) | Image processing device, image processing method, and image system | |
JP6058855B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6899875B2 (ja) | 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム | |
CN113383370B (zh) | 信息处理装置和方法以及程序 | |
US10726814B2 (en) | Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium | |
KR20170062439A (ko) | 제어 장치, 제어 방법 및 프로그램 | |
JP7013128B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
US10419670B2 (en) | Omnidirectional image capturing method and apparatus performing the method | |
CN106293046B (zh) | 信息处理方法、信息处理装置及用户设备 | |
JP6212666B1 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
EP3510437B1 (en) | Hmd delivery system and method | |
JP6949475B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20230047470A1 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
US11270673B2 (en) | Image generation apparatus, image generation method, and program | |
JP7203157B2 (ja) | 映像処理装置およびプログラム | |
JP6289703B1 (ja) | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 | |
US20210192805A1 (en) | Video display control apparatus, method, and non-transitory computer readable medium | |
JP6738308B2 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
US20170161933A1 (en) | Mobile virtual reality (vr) operation method, system and storage media | |
JP2021124529A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220119 |