JP6858007B2 - 画像処理システム、画像処理方法 - Google Patents
画像処理システム、画像処理方法 Download PDFInfo
- Publication number
- JP6858007B2 JP6858007B2 JP2016230567A JP2016230567A JP6858007B2 JP 6858007 B2 JP6858007 B2 JP 6858007B2 JP 2016230567 A JP2016230567 A JP 2016230567A JP 2016230567 A JP2016230567 A JP 2016230567A JP 6858007 B2 JP6858007 B2 JP 6858007B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- unit
- display device
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
前記画像表示装置は、
撮像画像を撮像する第1及び第2の撮像手段と、
前記撮像画像に含まれている指標を識別し、該指標の識別情報と前記撮像画像における位置とに基づいて、前記第1及び第2の撮像手段の位置姿勢を表す情報を取得する取得手段と、
前記撮像画像において肌色の画素値を有する画素群に基づいて手の領域を規定する領域情報を生成し、前記第1及び第2の撮像手段の視差量に基づいて前記手の領域の3次元位置を求め、前記領域情報と前記3次元位置とを含む手に係る情報を生成する生成手段と、
前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換手段と、
前記情報量削減画像と前記位置姿勢を表す情報と前記手に係る情報とを前記外部装置に対して出力する出力手段と、
前記外部装置が生成した合成画像を受信する受信手段と
を備え、
前記外部装置は、
前記位置姿勢を表す情報に基づいて仮想空間の画像を生成し、前記手に係る情報に基づいて、前記生成した仮想空間の画像のうち前記領域情報で規定される手の領域を前記3次元位置に配置した場合に隠蔽される部分を除いた部分を、前記情報量削減画像の上に合成した合成画像を生成する合成手段と、
前記合成手段が生成した合成画像を前記画像表示装置に対して送信する送信手段と
を備えることを特徴とする。
先ず、本実施形態に係るシステムの機能構成例について、図1のブロック図を用いて説明する。図1に示す如く、本実施形態に係るシステムは、ビデオシースルー型の頭部装着型表示装置としてのHMD100と、HMD100に仮想空間と現実空間とを融合させた複合現実空間の画像を提示する画像処理装置としてのPC(外部演算装置)200とを有する。
(利点2) … HMD100側で撮像した左右の眼の撮像画像をそのままPC200に対して送信するよりも送信情報量を削減することができる
なお、本実施形態では、図1に示す如く、画像入力部11から入力された撮像画像から関連情報を抽出した後、この撮像画像に対して上記の解像度変換処理を行うようにしたが、上記の(利点1)を実現可能な構成は、図1に示した構成に限らない。例えば、図1に示したHMD100の構成の代わりに、図3に示したHMD100の構成を採用しても良い。図3に示した構成では、画像入力部11が入力した撮像画像は関連情報取得部14と画像処理部15とに入力され、関連情報取得部14による関連情報の抽出処理と画像処理部15による上記の解像度変換処理とを並行して行っている。
HMD100は画像入力部11及び画像入力部12の2つを設けずに1つの画像入力部を設けるようにしても良い。この場合、HMD100は、画像表示部21及び画像表示部22の2つの代わりに1つの画像表示部を有することになる(これに合わせて表示駆動部も1つとなる)。
第1の実施形態では、一方の眼の撮像画像のみから関連情報を抽出していたが、左眼及び右眼のそれぞれの撮像画像から関連情報を抽出するようにしても良い。この場合、位置姿勢演算部32は、左眼の撮像画像から抽出した関連情報を用いて画像入力部11の位置姿勢を算出し、右眼の撮像画像から抽出した関連情報を用いて画像入力部12の位置姿勢を算出する。
本実施形態を含め、以下の各実施形態や変形例では、第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。本実施形態に係るシステムの構成例について、図4のブロック図を用いて説明する。図4において図1に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。図4に示した構成は、図1に示した構成において関連情報取得部14の代わりに取得部17を設け、位置姿勢演算部32及び記憶部33を省いたものである。
第1,2の実施形態では、撮像画像上の注視位置は視線検知部13が検出したユーザの視線方向に基づくものであった。しかし、注視位置の決定は視線検知部13による検出結果に基づくことに限らない。例えば、撮像画像上の規定の位置(例えば撮像画像の中心位置)を注視位置として予め設置しておいても良い。この場合、視線検知部13は省いても良い。
HMD100の代わりにタブレット端末装置やスマートフォン等の機器を使用しても構わない。また、以上説明した実施形態や変形例の一部若しくは全部を適宜組み合わせて新たなシステムを構成しても良い。
図1,3,4に示したPC200の各機能部は全てハードウェアで実現しても良い。しかし、記憶部33はメモリとして実装し、受信部31及び送信部36はインターフェース回路として実装し、それ以外の機能部をソフトウェア(コンピュータプログラム)として実装しても良い。この場合、記憶部33をメモリとして有し、受信部31及び送信部36をインターフェース回路として有し、上記のコンピュータプログラムを実行可能なプロセッサを有するコンピュータ装置であればPC200に適用可能である。このようなコンピュータ装置のハードウェア構成例について、図6のブロック図を用いて説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (8)
- 画像表示装置と外部装置とを有する画像処理システムであって、
前記画像表示装置は、
撮像画像を撮像する第1及び第2の撮像手段と、
前記撮像画像に含まれている指標を識別し、該指標の識別情報と前記撮像画像における位置とに基づいて、前記第1及び第2の撮像手段の位置姿勢を表す情報を取得する取得手段と、
前記撮像画像において肌色の画素値を有する画素群に基づいて手の領域を規定する領域情報を生成し、前記第1及び第2の撮像手段の視差量に基づいて前記手の領域の3次元位置を求め、前記領域情報と前記3次元位置とを含む手に係る情報を生成する生成手段と、
前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換手段と、
前記情報量削減画像と前記位置姿勢を表す情報と前記手に係る情報とを前記外部装置に対して出力する出力手段と、
前記外部装置が生成した合成画像を受信する受信手段と
を備え、
前記外部装置は、
前記位置姿勢を表す情報に基づいて仮想空間の画像を生成し、前記手に係る情報に基づいて、前記生成した仮想空間の画像のうち前記領域情報で規定される手の領域を前記3次元位置に配置した場合に隠蔽される部分を除いた部分を、前記情報量削減画像の上に合成した合成画像を生成する合成手段と、
前記合成手段が生成した合成画像を前記画像表示装置に対して送信する送信手段と
を備えることを特徴とする画像処理システム。 - 前記画像表示装置が更に、ユーザの視線方向を検知する手段を備え、
前記変換手段は、前記撮像画像においてユーザが注視している位置を前記視線方向に基づいて特定し、該特定した位置から離れるに従って情報量を削減した情報量削減画像を生成することを特徴とする請求項1に記載の画像処理システム。 - 前記取得手段による前記位置姿勢を表す情報の取得と、前記変換手段による情報量削減画像の生成と、は並行して行われることを特徴とする請求項1または2に記載の画像処理システム。
- 前記画像表示装置は、頭部装着型表示装置であることを特徴とする請求項1乃至3の何れか1項に記載の画像処理システム。
- 前記画像表示装置は、タブレット端末装置であることを特徴とする請求項1乃至3の何れか1項に記載の画像処理システム。
- 前記画像表示装置は、前記受信手段により受信した合成画像を表示する表示手段を更に備えることを特徴とする請求項1乃至5の何れか1項に記載の画像処理システム。
- 前記情報量削減画像の情報量と前記位置姿勢を表す情報の情報量との合計情報量は、前記撮像画像の情報量よりも小さいことを特徴とする請求項1乃至6の何れか1項に記載の画像処理システム。
- 画像表示装置と外部装置とを有する画像処理システムが行う画像処理方法であって、
前記画像表示装置の第1及び第2の撮像手段が撮像画像を撮像する撮像工程と、
前記画像表示装置の取得手段が、前記撮像画像に含まれている指標を識別し、該指標の識別情報と前記撮像画像における位置とに基づいて、前記第1及び第2の撮像手段の位置姿勢を表す情報を取得する取得工程と、
前記画像表示装置の生成手段が、前記撮像画像において肌色の画素値を有する画素群に基づいて手の領域を規定する領域情報を生成し、前記第1及び第2の撮像手段の視差量に基づいて前記手の領域の3次元位置を求め、前記領域情報と前記3次元位置とを含む手に係る情報を生成する生成工程と、
前記画像表示装置の変換手段が、前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換工程と、
前記画像表示装置の出力手段が、前記情報量削減画像と前記位置姿勢を表す情報と前記手に係る情報とを前記外部装置に対して出力する出力工程と、
前記外部装置の合成手段が、前記位置姿勢を表す情報に基づいて仮想空間の画像を生成し、前記手に係る情報に基づいて、前記生成した仮想空間の画像のうち前記領域情報で規定される手の領域を前記3次元位置に配置した場合に隠蔽される部分を除いた部分を、前記情報量削減画像の上に合成した合成画像を生成する合成工程と、
前記外部装置の送信手段が、前記合成工程で生成した合成画像を前記画像表示装置に対して送信する送信工程と、
前記画像表示装置の受信手段が、前記外部装置が生成した合成画像を受信する受信工程と
を備えることを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016230567A JP6858007B2 (ja) | 2016-11-28 | 2016-11-28 | 画像処理システム、画像処理方法 |
US15/819,665 US10586392B2 (en) | 2016-11-28 | 2017-11-21 | Image display apparatus using foveated rendering |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016230567A JP6858007B2 (ja) | 2016-11-28 | 2016-11-28 | 画像処理システム、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018088604A JP2018088604A (ja) | 2018-06-07 |
JP2018088604A5 JP2018088604A5 (ja) | 2019-12-26 |
JP6858007B2 true JP6858007B2 (ja) | 2021-04-14 |
Family
ID=62190973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016230567A Active JP6858007B2 (ja) | 2016-11-28 | 2016-11-28 | 画像処理システム、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10586392B2 (ja) |
JP (1) | JP6858007B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10691392B2 (en) | 2017-04-17 | 2020-06-23 | Intel Corporation | Regional adjustment of render rate |
KR102582407B1 (ko) * | 2019-07-28 | 2023-09-26 | 구글 엘엘씨 | 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들 |
US20230168736A1 (en) * | 2021-11-29 | 2023-06-01 | Sony Interactive Entertainment LLC | Input prediction for pre-loading of rendering data |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5335313A (en) | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
JPH04248793A (ja) | 1991-02-04 | 1992-09-04 | Hamamatsu Photonics Kk | 撮像表示装置 |
US6859549B1 (en) | 2000-06-07 | 2005-02-22 | Nec Laboratories America, Inc. | Method for recovering 3D scene structure and camera motion from points, lines and/or directly from the image intensities |
JP4958497B2 (ja) * | 2006-08-07 | 2012-06-20 | キヤノン株式会社 | 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 |
US9225969B2 (en) * | 2013-02-11 | 2015-12-29 | EchoPixel, Inc. | Graphical system with enhanced stereopsis |
US9922437B1 (en) * | 2013-03-15 | 2018-03-20 | William S. Baron | Process for creating an augmented image |
DE102013207528A1 (de) * | 2013-04-25 | 2014-10-30 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt |
JP5818857B2 (ja) * | 2013-10-24 | 2015-11-18 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
US9706114B2 (en) * | 2014-09-12 | 2017-07-11 | Sony Corporation | Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program |
JP2016086245A (ja) * | 2014-10-23 | 2016-05-19 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム |
JP6596883B2 (ja) * | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
CN108604116A (zh) * | 2015-09-24 | 2018-09-28 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
US11024014B2 (en) * | 2016-06-28 | 2021-06-01 | Microsoft Technology Licensing, Llc | Sharp text rendering with reprojection |
US10042421B2 (en) * | 2016-08-24 | 2018-08-07 | Disney Enterprises, Inc. | System and method of latency-aware rendering of a focal area of an animation |
-
2016
- 2016-11-28 JP JP2016230567A patent/JP6858007B2/ja active Active
-
2017
- 2017-11-21 US US15/819,665 patent/US10586392B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018088604A (ja) | 2018-06-07 |
US20180150999A1 (en) | 2018-05-31 |
US10586392B2 (en) | 2020-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109074681B (zh) | 信息处理装置、信息处理方法和程序 | |
US9196093B2 (en) | Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium | |
US9076033B1 (en) | Hand-triggered head-mounted photography | |
KR20170031733A (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
US10726814B2 (en) | Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium | |
US20230156176A1 (en) | Head mounted display apparatus | |
CN111095364A (zh) | 信息处理装置、信息处理方法和程序 | |
JP6858007B2 (ja) | 画像処理システム、画像処理方法 | |
US20230239457A1 (en) | System and method for corrected video-see-through for head mounted displays | |
US20210063732A1 (en) | Image processing apparatus, method for controlling the same, non-transitory computer-readable storage medium, and system | |
JP2017107359A (ja) | 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法 | |
WO2020044916A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101817952B1 (ko) | 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법 | |
JP2017215688A (ja) | 画像処理装置、画像処理方法 | |
JP2006343953A (ja) | 画像処理方法、画像処理装置 | |
CN114020150A (zh) | 图像显示方法、装置、电子设备及介质 | |
US10083675B2 (en) | Display control method and display control apparatus | |
JP2021131490A (ja) | 情報処理装置、情報処理方法、プログラム | |
US20230410382A1 (en) | Information processing apparatus, head-mounted display apparatus, information processing method, and non-transitory computer readable medium | |
WO2024071208A1 (ja) | 表示装置、表示方法及びプログラム | |
US20240037711A1 (en) | Information processing method and information processing apparatus | |
JP2021086287A (ja) | 情報処理システム、情報処理装置、及び情報処理方法 | |
JP7005134B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2021096772A (ja) | 画像処理装置、画像処理方法、システム | |
JP2018028572A (ja) | 画像処理装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191114 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200925 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210323 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6858007 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |