JP6849775B2 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP6849775B2 JP6849775B2 JP2019206585A JP2019206585A JP6849775B2 JP 6849775 B2 JP6849775 B2 JP 6849775B2 JP 2019206585 A JP2019206585 A JP 2019206585A JP 2019206585 A JP2019206585 A JP 2019206585A JP 6849775 B2 JP6849775 B2 JP 6849775B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mode
- information processing
- captured
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明にかかる実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図13を用いて説明する。
ステップS16001で、ユーザの処理を開始する。
次に、ステップS16002では、モード設定部は、入力部1700から入力されたデータに基づいて、遠景(第1のモード)または近景のモード(第2のモード)の設定を行う。この時、入力はGUIからの入力でもテキストでの入力でもゲームコントローラーからの入力でもジェスチャーでもモードを設定できる方法であれば何でも良い。そして、ステップS16003に処理を移す。
次に、ステップS16003では、撮像画像取得部1020は、HMD1200から、撮像画像を取得し、データ記憶部1040に記憶させる。そして、ステップS16003に処理を移す。
ステップS16004では、視点情報計測部1030は、ステップS16003でデータ記憶部1040に記憶された撮像画像に基づいて、撮像装置1220の位置姿勢情報を計測する。計測する方法に関しては、種々の研究報告が行われておりどの手法を利用しても良い。そして、ステップS16005へ処理を移す。
ステップS16005では、ステップS16002で入力したモードが近景モードの時は、ステップS16006に処理を移し、遠景モードの時は、ステップS16007へ処理を移す。
ステップS16006では、画像生成部1060は、表示装置1210Rに表示される近景用の複合現実感映像を生成するために撮像装置1220Rが取得した撮像画像を背景画像として設定を行う。同様に、画像生成部1060は、表示装置1210Lに表示される近景用の複合現実感映像を生成するために撮像装置1220Lが取得した撮像画像を背景画像として設定を行う。つまり左右の視差を考慮した異なる映像を左右の表示装置に背景画像として設定する。
ステップS16007では、画像生成部1060は、表示部1210Rに表示される遠景用の複合現実感映像を生成するために撮像装置1220Rが取得した撮像画像を背景画像として設定を行う。同様に、画像生成部1060は、表示部1210Lに表示される遠景用の複合現実感映像を生成するために撮像装置1220Rが取得した撮像画像を背景画像として設定を行う。つまり左右で同じ映像を設定する。
ステップS16008では、仮想画像生成部1080は、ステップS16004で求めた撮像装置1220の位置姿勢情報と、データ記憶部1040に記憶された仮想物体及びの情報から仮想画像を生成する。
ステップS16009では、画像生成部1060は、ステップS16010で生成した仮想画像と、ステップ16006またはステップ16007で設定された背景画像とを合成した画像を生成し、ステップS16012に処理を移す。
ステップS16010では、ステップS16009で生成された画像を画像出力部1130によって表示部1210L及び表示部1210Rに表示しステップS16011に処理を移す。
第1の実施形態では、入力部1700から入力されたモードに応じて、近景モード又は遠景モードの設定を行っていたが、本実施形態では、HDMの位置と観察者が観察している観察物との距離から自動的にモードを設定する例を説明する。
ステップS17004では、距離計測部6010は、ステップS16003で求めた撮像装置1220の位置と観察者が注視している仮想物体又は現実物体との距離を求める。距離の算出方法に関して図8を用いて詳細な説明を行う。図2と同じ部分については同じ番号を付けており、その説明を省略する。
ステップS17005では、モード設定部6020は、距離8000が観察者又はシステムが設定した任意のXmm以上の時は、ステップS16008に処理を進め、Xmm以内の時はステップS16006に処理を進める。
第1、第2の実施形態では、撮像装置1220から取得した撮像画像を遠景・近景モードの現実画像として利用していた。本実施形態は、情報処理装置が動的に背景画像を作り出す例を示す。
ステップ97007において、現実画像生成部9020は、撮像部1220で得られた撮像画像をスティッチする。以下、図10を用いて本処理を詳述する。
ステップ96008において、現実画像生成部9020は、ステップ96007で得られた背景画像7030から右眼左眼用の背景画像の生成を行う。図11は、背景画像7030から右眼左眼用の背景画像を生成する図である。
また、本発明は、以下の処理を実行することによっても実現される。
Claims (8)
- ユーザの左眼の視点に対応して撮像された第1の撮像画像と、前記ユーザの右眼の視点に対応して撮像された第2の撮像画像とを取得する画像取得手段と、
前記ユーザの左眼および右眼の視点の位置姿勢を、それぞれ第1および第2の位置姿勢として導出する導出手段と、
第1のモードでは、前記第1および第2の位置姿勢の一方に基づいて第1の仮想画像を生成し、前記第1のモードとは異なる第2のモードでは、前記第1の位置姿勢に基づいて第2の仮想画像を生成し、かつ前記第2の位置姿勢に基づいて第3の仮想画像を生成する仮想画像生成手段と、
前記第1のモードでは、前記第1および第2の位置姿勢の一方に対応する前記第1または第2の撮像画像のうちの一方と、前記第1の仮想画像とを合成して第1の合成画像を生成し、前記第2のモードでは、前記第1の撮像画像と前記第2の仮想画像とを合成して第2の合成画像を生成し、かつ前記第2の撮像画像と前記第3の仮想画像とを合成して第3の合成画像を生成する合成画像生成手段と、
前記第1のモードでは、前記第1の合成画像を、前記ユーザの左眼に画像を提示する第1の表示部および前記ユーザの右眼に画像を提示する第2の表示部へ出力し、前記第2のモードでは、前記第2の合成画像を前記第1の表示部へ出力し、前記第3の合成画像を前記第2の表示部へ出力する出力手段とを備えることを特徴とする情報処理装置。 - 更に、前記第1のモードと前記第2のモードとのいずれかを設定する設定手段を備えることを特徴とする請求項1に記載の情報処理装置。
- 前記第1および第2のモードは、ユーザによる入力に基づいて設定されることを特徴とする請求項2に記載の情報処理装置。
- 前記第1の撮像画像または前記第2の撮像画像に含まれる対象物体までの距離を取得する距離取得手段を更に備え、
前記設定手段は、前記取得された距離に基づいて、前記第1のモードと前記第2のモードとのいずれかを設定することを特徴とする請求項2に記載の情報処理装置。 - 前記設定手段は、前記距離が所定の値よりも大きい場合に、前記第1のモードを設定し、前記距離が前記所定の値と等しい、または前記所定の値よりも小さい場合に、前記第2のモードを設定することを特徴とする請求項4に記載の情報処理装置。
- 前記第1の表示部と前記第2の表示部とは、頭部装着型表示装置に備えつけられていることを特徴とする請求項1に記載の情報処理装置。
- ユーザの左眼の視点に対応して撮像された第1の撮像画像と、前記ユーザの右眼の視点に対応して撮像された第2の撮像画像とを取得する画像取得工程と、
前記ユーザの左眼および右眼の視点の位置姿勢を、それぞれ第1および第2の位置姿勢として導出する導出工程と、
第1のモードでは、前記第1および第2の位置姿勢の一方に基づいて第1の仮想画像を生成し、前記第1のモードとは異なる第2のモードでは、前記第1の位置姿勢に基づいて第2の仮想画像を生成し、かつ前記第2の位置姿勢に基づいて第3の仮想画像を生成する仮想画像生成工程と、
前記第1のモードでは、前記第1および第2の位置姿勢の一方に対応する前記第1または第2の撮像画像のうちの一方と、前記第1の仮想画像とを合成して第1の合成画像を生成し、前記第2のモードでは、前記第1の撮像画像と前記第2の仮想画像とを合成して第2の合成画像を生成し、かつ前記第2の撮像画像と前記第3の仮想画像とを合成して第3の合成画像を生成する合成画像生成工程と、
前記第1のモードでは、前記第1の合成画像を、前記ユーザの左眼に画像を提示する第1の表示部および前記ユーザの右眼に画像を提示する第2の表示部へ出力し、前記第2のモードでは、前記第2の合成画像を前記第1の表示部へ出力し、前記第3の合成画像を前記第2の表示部へ出力する出力工程とを備えることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至6のいずれか一項に記載された情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019206585A JP6849775B2 (ja) | 2019-11-14 | 2019-11-14 | 情報処理装置、情報処理方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019206585A JP6849775B2 (ja) | 2019-11-14 | 2019-11-14 | 情報処理装置、情報処理方法、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015030860A Division JP6618260B2 (ja) | 2015-02-19 | 2015-02-19 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020035481A JP2020035481A (ja) | 2020-03-05 |
JP6849775B2 true JP6849775B2 (ja) | 2021-03-31 |
Family
ID=69669152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019206585A Active JP6849775B2 (ja) | 2019-11-14 | 2019-11-14 | 情報処理装置、情報処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6849775B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4933164B2 (ja) * | 2005-07-01 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
JP2010226390A (ja) * | 2009-03-23 | 2010-10-07 | Nikon Corp | 撮像装置および撮像方法 |
JP2010278955A (ja) * | 2009-06-01 | 2010-12-09 | Seiko Epson Corp | 画像処理装置、電気光学装置、表示方法及び電子機器 |
JP5068391B2 (ja) * | 2009-10-30 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置 |
JPWO2011086630A1 (ja) * | 2010-01-13 | 2013-05-16 | パナソニック株式会社 | 撮像装置、撮像方法、プログラム及び集積回路 |
JP5521608B2 (ja) * | 2010-02-12 | 2014-06-18 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013005259A (ja) * | 2011-06-17 | 2013-01-07 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP6618260B2 (ja) * | 2015-02-19 | 2019-12-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2019
- 2019-11-14 JP JP2019206585A patent/JP6849775B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020035481A (ja) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4262011B2 (ja) | 画像提示方法及び装置 | |
JP4228646B2 (ja) | 立体視画像生成方法および立体視画像生成装置 | |
JP3802630B2 (ja) | 立体画像生成装置および立体画像生成方法 | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
JP4757115B2 (ja) | 画像処理装置、画像処理方法 | |
US20150199850A1 (en) | Information processing apparatus and information processing method | |
JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
JP2017204674A (ja) | 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 | |
US20190043245A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
TW200901085A (en) | Stereo graphics system and processing method and storage medium | |
US11956415B2 (en) | Head mounted display apparatus | |
JP6618260B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
EP3001681B1 (en) | Device, method and computer program for 3d rendering | |
JP4580678B2 (ja) | 注視点位置表示装置 | |
JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
JPWO2019198784A1 (ja) | ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法 | |
WO2020185405A1 (en) | Registration of local content between first and second augmented reality viewers | |
JP4270347B2 (ja) | 距離演算装置 | |
JP6849775B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
KR20050078328A (ko) | 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법 | |
JP2006340017A (ja) | 立体映像表示装置及び立体映像表示方法 | |
JP6462979B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 | |
JP4144981B2 (ja) | 立体画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6849775 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |