JPWO2016092698A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JPWO2016092698A1 JPWO2016092698A1 JP2016563376A JP2016563376A JPWO2016092698A1 JP WO2016092698 A1 JPWO2016092698 A1 JP WO2016092698A1 JP 2016563376 A JP2016563376 A JP 2016563376A JP 2016563376 A JP2016563376 A JP 2016563376A JP WO2016092698 A1 JPWO2016092698 A1 JP WO2016092698A1
- Authority
- JP
- Japan
- Prior art keywords
- area
- image data
- resolution
- observer
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims 4
- 230000033001 locomotion Effects 0.000 claims abstract description 50
- 230000001133 acceleration Effects 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
(全体構成)
第1実施形態では、複数の解像度の環境マップを加速度情報に応じて読み出し、ヘッドマウントディスプレイ(HMD)に表示するための画像処理装置を例に説明する。なお、本発明はHMDに限らず、眼鏡型ディスプレイなど同様の装置への適用が可能である。
図4は、第1実施形態に適用可能な画像処理装置400の詳細な構成を示す。本実施形態では、各構成をソフトウェアによって実行される形態を例に説明する。
図7を用いて、画像処理装置400における処理のフローを説明する。CPU100が、図7に示すフローチャートのプログラムをROM102から読み込み実行することにより、画像処理装置400として実現される。
第1実施形態では、画像処理装置400が生成した表示用画像データを随時HMD105の表示部201に表示する形態について説明した。第2実施形態では、ターゲット領域603として先読みした画像データをキャッシュ(一時的にメインメモリ102に保持)および削除する手法について説明する。なお、第1実施形態と同一の構成については同一の符号を付し、説明を省略する。
第2実施形態では、人間の頭部の動き特性に応じて表示用画像データを制御する方法について開示した。第3実施形態では、観察者の移動(歩行)に合わせて環境マップを切り替える処理について説明する。なお、第1実施形態と同一の構成については同一の符号を付し、説明を省略する。
前述の実施形態では、観察者の頭部(または視線)の動きを検知するために、HMD105に搭載された加速度センサを用いて頭部の加速度を検出し、加速度情報を用いる例を説明した。しかしながら、観察者の動きを取得する方法はこれに限らない。例えば、加速度ではなく頭部が動いた時の速度を検出する方法でもよいし、頭部の動きを示す情報としては加速度情報(aθ、aφ)ではなくベクトルによって表された情報を用いてもよい。
Claims (9)
- 観察者の視線方向に応じて画像データを表示するための画像処理装置であって、
解像度の異なる複数の環境マップを記憶する記憶手段と、
前記観察者の動きを示す情報を動き情報として取得する取得手段と、
前記観察者に表示しているカレント領域を保持する保持手段と、
前記カレント領域と前記動き情報に基づいて、前記環境マップにおけるターゲット領域を決定するターゲット領域決定手段と、
前記カレント領域から前記ターゲット領域に視線方向が変化する経路を含む領域を経路領域として決定する経路領域決定手段と、
前記複数の環境マップのうち、前記経路領域および前記ターゲット領域それぞれに対応する解像度を設定する設定手段と、
前記設定手段により設定された解像度の環境マップから前記経路領域および前記ターゲット領域それぞれに対応する画像データを読み出し、前記経路領域に表示するための画像データおよび前記ターゲット領域に表示するための画像データを生成する生成手段とを有することを特徴とする画像処理装置。 - 前記設定手段は、前記動き情報から得られる前記観察者の動きの速度の大きさに基づいて、前記経路領域に対応する解像度を設定することを特徴とする請求項1に記載の画像処理装置。
- 前記動き情報には、横方向の加速度を示す情報と縦方向の加速度を示す情報からなる加速度情報を含み、
前記設定手段は、縦方向の加速度の方が横方向の加速度よりも大きい場合は第1の解像度を、横方向の加速度の方が縦方向の加速度よりも大きい場合は前記第1の解像度より低い第2の解像度と、前記経路領域に対応する解像度として設定することを特徴とする請求項2に記載の画像処理装置。 - 前記経路領域決定手段は、縦方向に狭く横方向に広い領域を経路領域として設定することを特徴とする請求項1乃至3の何れか一項に記載の画像処理装置。
- 前記設定手段は、前記画像データを表示する表示手段が表示可能な最高解像度を予め記憶し、前記ターゲット領域に対応する解像度として最高解像度を設定することを特徴とする請求項1乃至4の何れか一項に記載の画像処理装置。
- さらに、前記生成手段が生成した画像データを保持する保持手段を有し、
前記保持手段は、前記取得手段が示す動き情報が逆方向の動きを示すまで、前記画像データを保持することを特徴とする請求項3の何れか一項に記載の画像処理装置。 - さらに、前記取得手段は、前記動き情報として前記観察者の移動に関する情報を示す移動情報を取得し、
前記生成手段は、前記移動情報に応じて読み出す環境マップを切り替えることを特徴とする請求項1乃至6の何れか一項に記載の画像処理装置。 - コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項1乃至7の何れか一項に記載された画像処理装置として機能させることを特徴とするコンピュータプログラム。
- 観察者の視線方向に応じて画像データを表示するための画像処理方法であって、
前記観察者の動きを示す情報を動き情報として取得し、
前記観察者に表示しているカレント領域を保持し、
前記カレント領域と前記動き情報に基づいて、前記環境マップにおけるターゲット領域を決定し、
前記カレント領域から前記ターゲット領域に視線方向が変化する経路を含む領域を経路領域として決定し、
記憶手段に記憶された解像度の異なる複数の環境マップのうち、前記経路領域および前記ターゲット領域それぞれに対応する解像度を設定し、
前記設定手段により設定された解像度の環境マップから前記経路領域および前記ターゲット領域それぞれに対応する画像データを読み出し、前記経路領域に表示するための画像データおよび前記ターゲット領域に表示するための画像データを生成することを特徴とする画像処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/082982 WO2016092698A1 (ja) | 2014-12-12 | 2014-12-12 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016092698A1 true JPWO2016092698A1 (ja) | 2017-09-21 |
JP6526051B2 JP6526051B2 (ja) | 2019-06-05 |
Family
ID=56106942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016563376A Active JP6526051B2 (ja) | 2014-12-12 | 2014-12-12 | 画像処理装置、画像処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9965830B2 (ja) |
JP (1) | JP6526051B2 (ja) |
WO (1) | WO2016092698A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10235810B2 (en) | 2015-09-22 | 2019-03-19 | 3D Product Imaging Inc. | Augmented reality e-commerce for in-store retail |
US10646289B2 (en) | 2015-12-29 | 2020-05-12 | Koninklijke Philips N.V. | System, controller and method using virtual reality device for robotic surgery |
JP2018004950A (ja) * | 2016-07-01 | 2018-01-11 | フォーブ インコーポレーテッド | 映像表示システム、映像表示方法、映像表示プログラム |
US9858637B1 (en) * | 2016-07-29 | 2018-01-02 | Qualcomm Incorporated | Systems and methods for reducing motion-to-photon latency and memory bandwidth in a virtual reality system |
KR20180051202A (ko) * | 2016-11-08 | 2018-05-16 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
JP6278546B1 (ja) * | 2017-06-02 | 2018-02-14 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
GB2577024B (en) * | 2017-06-09 | 2022-08-03 | Displaylink Uk Ltd | Using headset movement for compression |
CN108596834B (zh) * | 2018-04-27 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 图像的分辨率处理方法、图像处理装置及系统、存储介质 |
US11409091B2 (en) * | 2019-12-31 | 2022-08-09 | Carl Zeiss Meditec Ag | Method of operating a surgical microscope and surgical microscope |
US11864841B2 (en) | 2019-12-31 | 2024-01-09 | Carl Zeiss Meditec Ag | Method of operating a surgical microscope and surgical microscope |
US11607287B2 (en) | 2019-12-31 | 2023-03-21 | Carl Zeiss Meditec Ag | Method of operating a surgical microscope and surgical microscope |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05324799A (ja) * | 1992-05-15 | 1993-12-07 | Hitachi Ltd | バーチャルリアリティ制御方法および装置 |
JPH09305156A (ja) * | 1996-05-16 | 1997-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 映像表示方法及び装置 |
JPH11175758A (ja) * | 1997-12-11 | 1999-07-02 | Mitsubishi Electric Corp | 立体表示方法および装置 |
JP2000348201A (ja) * | 1999-03-26 | 2000-12-15 | Mr System Kenkyusho:Kk | 画像処理方法、その装置および記憶媒体 |
JP2003091479A (ja) * | 2001-09-18 | 2003-03-28 | Nec Corp | 画像データ取得システムにおけるサーバ及び端末、その画像データ取得方法、及び画像データ取得プログラム |
JP2003519982A (ja) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
JP2003202850A (ja) * | 2001-10-04 | 2003-07-18 | Eastman Kodak Co | 画像表示方法及びシステム |
JP2004072694A (ja) * | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
JP2008233765A (ja) * | 2007-03-23 | 2008-10-02 | Toshiba Corp | 画像表示装置および画像表示方法 |
JP2012008803A (ja) * | 2010-06-24 | 2012-01-12 | Sony Computer Entertainment Inc | 画像処理装置、コンテンツ作成支援装置、画像処理方法、コンテンツ作成支援方法、および画像ファイルのデータ構造 |
JP2012037761A (ja) * | 2010-08-09 | 2012-02-23 | Sony Corp | 表示装置組立体 |
JP2014165840A (ja) * | 2013-02-27 | 2014-09-08 | Brother Ind Ltd | 端末装置、プログラム、及び情報処理装置 |
WO2014197226A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11153987A (ja) * | 1997-11-19 | 1999-06-08 | Olympus Optical Co Ltd | グラフィック表示装置 |
JP3706740B2 (ja) * | 1998-06-24 | 2005-10-19 | ドリームテクノロジーズ株式会社 | 画像表示及びデータ読み込みのための装置及び方法 |
JP2001337645A (ja) * | 2000-05-26 | 2001-12-07 | Fujitsu Ltd | 表示システム及び記憶媒体 |
JP2003224846A (ja) | 2002-01-29 | 2003-08-08 | Matsushita Electric Ind Co Ltd | 画像処理装置、復号化装置、符号化装置、画像処理システム、画像処理方法、及び、符号化方法 |
JP3897691B2 (ja) * | 2002-12-17 | 2007-03-28 | キヤノン株式会社 | スクロール表示方法及び装置 |
JP5829097B2 (ja) * | 2011-10-25 | 2015-12-09 | オリンパス株式会社 | 頭部装着型表示装置、プログラム及び画像処理システム |
JP2013254251A (ja) | 2012-06-05 | 2013-12-19 | Nec System Technologies Ltd | ヘッドマウントディスプレイ装置、制御方法、及びプログラム |
US9256987B2 (en) * | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
KR102441437B1 (ko) * | 2014-09-03 | 2022-09-08 | 네버마인드 캐피탈 엘엘씨 | 콘텐트를 캡처, 스트리밍, 및/또는 재생하기 위한 방법들 및 장치 |
-
2014
- 2014-12-12 JP JP2016563376A patent/JP6526051B2/ja active Active
- 2014-12-12 WO PCT/JP2014/082982 patent/WO2016092698A1/ja active Application Filing
-
2015
- 2015-12-08 US US14/962,996 patent/US9965830B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05324799A (ja) * | 1992-05-15 | 1993-12-07 | Hitachi Ltd | バーチャルリアリティ制御方法および装置 |
JPH09305156A (ja) * | 1996-05-16 | 1997-11-28 | Nippon Telegr & Teleph Corp <Ntt> | 映像表示方法及び装置 |
JPH11175758A (ja) * | 1997-12-11 | 1999-07-02 | Mitsubishi Electric Corp | 立体表示方法および装置 |
JP2000348201A (ja) * | 1999-03-26 | 2000-12-15 | Mr System Kenkyusho:Kk | 画像処理方法、その装置および記憶媒体 |
JP2003519982A (ja) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
JP2003091479A (ja) * | 2001-09-18 | 2003-03-28 | Nec Corp | 画像データ取得システムにおけるサーバ及び端末、その画像データ取得方法、及び画像データ取得プログラム |
JP2003202850A (ja) * | 2001-10-04 | 2003-07-18 | Eastman Kodak Co | 画像表示方法及びシステム |
JP2004072694A (ja) * | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
JP2008233765A (ja) * | 2007-03-23 | 2008-10-02 | Toshiba Corp | 画像表示装置および画像表示方法 |
JP2012008803A (ja) * | 2010-06-24 | 2012-01-12 | Sony Computer Entertainment Inc | 画像処理装置、コンテンツ作成支援装置、画像処理方法、コンテンツ作成支援方法、および画像ファイルのデータ構造 |
JP2012037761A (ja) * | 2010-08-09 | 2012-02-23 | Sony Corp | 表示装置組立体 |
JP2014165840A (ja) * | 2013-02-27 | 2014-09-08 | Brother Ind Ltd | 端末装置、プログラム、及び情報処理装置 |
WO2014197226A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
Also Published As
Publication number | Publication date |
---|---|
US9965830B2 (en) | 2018-05-08 |
JP6526051B2 (ja) | 2019-06-05 |
WO2016092698A1 (ja) | 2016-06-16 |
US20160170488A1 (en) | 2016-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016092698A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10586395B2 (en) | Remote object detection and local tracking using visual odometry | |
US11195049B2 (en) | Electronic device localization based on imagery | |
US9858643B2 (en) | Image generating device, image generating method, and program | |
JP6635037B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
EP3291536B1 (en) | Methods, devices and systems for automatic zoom when playing an augmented reality scene | |
US11991477B2 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
WO2017169369A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
KR20170013737A (ko) | 헤드 마운트 디스플레이 장치 및 그 동작방법 | |
KR102437276B1 (ko) | 바디 움직임 기반의 클라우드 vr 장치 및 방법 | |
JP2005038321A (ja) | ヘッドマウントディスプレイ装置 | |
US11443719B2 (en) | Information processing apparatus and information processing method | |
JP2008219390A (ja) | 画像閲覧装置 | |
JP6208910B1 (ja) | 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム | |
KR101877901B1 (ko) | Vr영상을 제공하는 방법 및 그 전자 장치 | |
JP2019215782A (ja) | データ差し替え装置、端末、およびデータ差し替えプログラム | |
JP6906370B2 (ja) | 画像処理装置 | |
Aimone et al. | An eyetap video-based featureless projective motion estimation assisted by gyroscopic tracking for wearable computer mediated reality | |
JP6639205B2 (ja) | 送信装置、送信方法、およびプログラム | |
US20240104766A1 (en) | Method and Device for Generating Metadata Estimations based on Metadata Subdivisions | |
KR101258839B1 (ko) | 영상 표시 장치 및 방법 | |
CN115769175A (zh) | 信息处理设备、显示范围决定方法和程序 | |
KR20210051072A (ko) | 지도 정보를 생성하는 방법 및 이를 수행하는 지도 생성 서버 | |
JP2020071394A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2015210623A (ja) | 光源分布推定装置及び光源分布推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190507 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6526051 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |