JP6094190B2 - 情報処理装置および記録媒体 - Google Patents
情報処理装置および記録媒体 Download PDFInfo
- Publication number
- JP6094190B2 JP6094190B2 JP2012269270A JP2012269270A JP6094190B2 JP 6094190 B2 JP6094190 B2 JP 6094190B2 JP 2012269270 A JP2012269270 A JP 2012269270A JP 2012269270 A JP2012269270 A JP 2012269270A JP 6094190 B2 JP6094190 B2 JP 6094190B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- user
- image
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 46
- 238000003384 imaging method Methods 0.000 claims description 129
- 210000003128 head Anatomy 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 7
- 230000003183 myoelectrical effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 74
- 238000004891 communication Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 20
- 230000005236 sound signal Effects 0.000 description 16
- 238000010191 image analysis Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 8
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
1.本開示の一実施形態による表示制御システムの概要
2.HMDの構成および動作処理
2−1.HMDの外観
2−2.HMDの内部構成
2−3.表示制御処理
2−4.補足
3.他の実施形態
3−1.仮想カメラ
3−2.サーバによる制御処理
3−3.他のデバイス例
4.まとめ
図1は、本開示の一実施形態による表示制御システムの概要を説明するための図である。図1に示すように、本実施形態による表示制御システムは、HMD(Head Mounted Display)1と外部カメラ32を含む。HMD1と外部カメラ32は、Wi−Fi等の無線通信によりデータの送受信を行う。
<2−1.HMDの外観>
図2は、本実施形態によるHMD1の外観を説明するための図である。図2に示す眼鏡型のHMD1は、シースルーHMDとも称され、上述したように表示部2が透過状態に制御され得る。
次に、本実施形態によるHMD1の内部構成について図3を参照して説明する。図3は、図2に示すHMD1の内部構成例を示すブロック図である。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、HMD1の各構成を制御する。
撮像部3は、撮像レンズ3a、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
撮像信号処理部15は、撮像部3の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/D(アナログ/デジタル)コンバータを備える。これにより、撮像信号処理部15は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部15は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
撮像制御部11は、システムコントローラ10からの指示に基づいて、撮像部3及び撮像信号処理部15の動作を制御する。例えば撮像制御部11は、撮像部3、撮像信号処理部15の動作のオン/オフを制御する。また撮像制御部11は撮像部3に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御(モータ制御)を行うものとされる。また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部15のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
上記撮像部3で撮像され、撮像信号処理部15で処理された撮像信号(撮像による画像データ)は画像入出力コントロール27に供給される。画像入出力コントロール27は、システムコントローラ10の制御に応じて、画像データの転送を制御する。即ち撮像系(撮像信号処理部15)、表示系(表示画像処理部12)、ストレージ部25、通信部26の間の画像データの転送を制御する。
表示画像処理部12は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。
表示駆動部13は、表示画像処理部12から供給される画像データを、例えば液晶ディスプレイとされる表示部2において表示させるための画素駆動回路で構成されている。即ち表示部2においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部13は、表示制御部14の指示に従って、表示部2の各画素の透過率を制御し、表示部2をスルー状態にすることもできる。
表示制御部14は、システムコントローラ10の制御に応じて、表示画像処理部12の処理動作や表示駆動部13の動作を制御する。具体的には、表示制御部14は、表示画像処理部12に対して、上述した画像データの輝度レベル調整等を行うよう制御する。
音声入力部6は、図2に示したマイクロホン6a、6bと、そのマイクロホン6a、6bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを音声入出力コントロール28に出力する。
音声入出力コントロール28は、システムコントローラ10の制御に応じて、音声データの転送を制御する。具体的には、音声入出力コントロール28は、音声入力部6、音声信号処理部16、ストレージ部25、通信部26の間の音声信号の転送を制御する。例えば、音声入出力コントロール28は、音声入力部6で得られた音声データを、音声信号処理部16に供給したり、ストレージ部25に供給したり、通信部26に供給する動作を行う。
音声信号処理部16は、例えばデジタルシグナルプロセッサ、D/A変換器などからなる。この音声信号処理部16には、音声入力部6で得られた音声データや、ストレージ部25、あるいは通信部26からの音声データが、音声入出力コントロール28を介して供給される。音声信号処理部16は、供給された音声データに対して、システムコントローラ10の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部5に供給する。なお、音声信号処理部16は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部5は、図2に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路を有する。また、音声出力部5は、いわゆる骨伝導スピーカとして構成されてもよい。さらにユーザは、音声出力部5により、外部音声を聞いたり、ストレージ部25で再生された音声を聞いたり、通信部26で受信された音声を聞くことができる。
ストレージ部25は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部25は、例えばHDD(Hard Disc Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部25としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
通信部26は外部機器との間でのデータの送受信を行う。通信部26は、外界情報を取得するための構成の一例である。通信部26は、無線LAN、Wi−Fi、赤外線通信、ブルートゥース等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
音声合成部29は、システムコントローラ10の制御に応じて音声合成を行い、音声信号を出力する。音声合成部29から出力された音声信号は、音声入出力コントロール28を介して音声信号処理部16に供給されて処理された後、音声出力部5に供給され、ユーザに対して音声出力される。
照明部4は、図2に示した発光部4aとその発光部4a(例えばLED)を発光させる発光回路から成る。照明制御部18は、システムコントローラ10の制御に応じて、照明部4に発光動作を実行させる。照明部4における発光部4aが図2に示したように前方に対する照明を行うものとして取り付けられていることで、照明部4はユーザの視界方向に対する照明動作を行うことになる。
GPS受信部21は、外界情報を取得するための構成の一例である。具体的には、GPS受信部21は、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力する。
画像解析部17は、外界情報を取得するための構成の一例である。具体的には、画像解析部17は、画像データを解析し、画像データに含まれる画像の情報を得る。画像解析部17には、画像入出力コントロール27を介して画像データが供給される。画像解析部17において画像解析の対象となる画像データとは、撮像部3、撮像信号処理部15により得られた撮像画像としての画像データや、通信部26で受信された画像データ、あるいはストレージ部25で記録媒体から再生された画像データである。
次に、本実施形態のHMD1による表示制御処理について、図4を参照して具体的に説明する。
次に、本実施形態による表示制御システムについて補足説明を行う。上述した実施形態では、現実世界において体外離脱をしているかのような感覚をユーザPに提供しているが、さらに、HMD1は、ユーザPが体外離脱中であることを周囲に明示する制御を行ってもよい。
<3−1.仮想カメラ>
上記実施形態では、ユーザPを画角に含む三人称視点画像を外部カメラ32から取得しているが、本開示による表示制御システムはこれに限定されず、仮想的な外部カメラ(以下、仮想カメラと称す)を想定してもよい。HMD1は、仮想カメラの位置や撮像方向を制御し、仮想カメラで撮像されたとする画像を、複数の外部カメラ32から取得した撮像画像に基づいて生成し、表示部2に表示する。以下、このような仮想カメラを想定した場合の表示制御システムについて図7〜図8を用いて具体的に説明する。
図7は、仮想カメラを想定した場合の表示制御システムについて説明するための図である。図7に示すように、HMD1は、周囲に配置されている外部カメラ32A〜32Dと接続可能であって、データの送受信を行うことができる。また、各外部カメラ32A〜32Dは、各々位置情報および撮影方向情報を有する。
次に、本実施形態による動作処理について図8を参照して説明する。図8は、本実施形態による表示制御処理を示すフローチャートである。
以上説明した各実施形態による表示制御処理は、HMD1で行われているが、本開示による表示制御システムはこれに限定されず、HMD1および外部カメラA〜Dと接続可能なサーバで行ってもよい。以下、図9〜図10を参照して具体的に説明する。
次に、本開示による情報処理装置が、図1および図2等に示すHMD1以外のデバイス、例えばスマートフォンの場合における表示制御システムについて、図11A、図11Bを参照して具体的に説明する。
以上説明したように、本実施形態による表示制御システムでは、ユーザ自身を俯瞰する実世界の三人称視点の画像をリアルタイムで表示部2に表示することで、実際に体外離脱をしているかのような感覚をユーザに提供することができる。
(1)
表示部に第1の撮像部が撮像するユーザ視点の第1の画像を表示する制御、または前記表示部を透過する制御を行う第1の表示制御モードと、ユーザを画角に含む第2の撮像部が撮像する第2の画像を前記表示部に表示する制御を行う第2の表示制御モードとを有する表示制御部と、
前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第1の表示制御モードから前記第2の表示制御モードに切り替えるよう制御する切替制御部と、
を備える、情報処理装置。
(2)
前記表示部は、透過制御可能な表示部であって、
前記表示制御部は、前記切替制御部による制御に応じて、前記表示部を透過する制御を行う第1の表示制御モードから、前記ユーザを画角に含む第2の撮像部が撮像する第2の画像を前記表示部に表示する制御を行う第2の表示制御モードに切り替える、前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、前記切替制御部による制御に応じて、前記表示部に第1の撮像部が撮像するユーザ視点の第1の画像を表示する第1の表示制御モードから、前記ユーザを画角に含む第2の撮像部が撮像する第2の画像を前記表示部に表示する制御を行う第2の表示制御モードに切り替える、前記(1)に記載の情報処理装置。
(4)
前記表示制御部は、前記第2の表示制御モードに切り替える際、前記第1の撮像部が撮像するユーザ視点の第1の画像および前記第2の画像に基づいて、切り替え途中を表す遷移画像を生成し、当該遷移画像を前記表示部に表示する、前記(1)または(2)に記載の情報処理装置。
(5)
前記表示部は、前記ユーザの頭部または顔部に装着されるHMDに設けられ、かつ、ユーザの眼前に配置される、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記切替制御部は、前記ユーザからの指示を、操作入力、視線入力、音声入力、ジェスチャ入力、筋電入力、または脳波入力により受け付ける、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記表示制御部は、前記第2の画像に、前記ユーザの位置を示すインジケータを表示する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記表示制御部は、前記第2の表示制御モードにおいて、前記ユーザからの指示に応じた位置からの前記ユーザを画角に含む仮想的な撮像画像を、前記第2の画像として生成し、前記表示部に表示する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記情報処理装置は、前記切替制御部により前記表示制御モードの切り替えが行われる際、所定の効果音を出力するよう制御する音声出力制御部をさらに備える、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記第1の撮像部は、前記ユーザの頭部または顔部に装着されるHMDに設けられ、かつ、前記ユーザの視線方向を撮像するよう配置される、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記第2の撮像部は、ユーザの周囲に設置されている定点カメラである、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記第2の撮像部は、飛行物体に搭載されているカメラである、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記第2の撮像部は、前記ユーザの頭部または顔部に装着されるHMDに設けられる複数の超広角カメラであって、
前記表示制御部は、前記第2の表示制御モードにおいて、前記複数の超広角カメラにより撮像された複数の撮像画像に基づいて、前記第2の画像を生成する、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記表示部は、前記第2の画像を表示する内側表示部、および当該内側表示部と反対側を向く外側表示部を有し、
前記表示制御部は、前記第2の表示制御モードにおいて、前記第2の表示制御モードに切り替わっていることを表す画像を前記外側表示部に表示するよう制御する、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
コンピュータに、
表示部に第1の撮像部が撮像するユーザ視点の第1の画像を表示する制御、または前記表示部を透過する制御を行う第1の表示制御モードと、ユーザを画角に含む第2の撮像部が撮像する第2の画像を前記表示部に表示する制御を行う第2の表示制御モードとを有する表示制御部と、
前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第1の表示制御モードから前記第2の表示制御モードに切り替えるよう制御する切替制御部、
として機能させるためのプログラムが記録された記録媒体。
2 表示部
2I 内側表示部
2O 外側表示部
2−2、2−3、2−5、2−6 体外離脱視点(三人称視点)の撮像画像
3 撮像部
3a 撮像レンズ
4 照明部
4a 発光部
5 音声出力部
6 音声入力部
10 システムコントローラ
10a 位置特定部
10b 動作制御部
11 撮像制御部
12 表示画像処理部
13 表示駆動部
14 表示制御部
15 撮像信号処理部
16 音声信号処理部
17 画像解析部
18 照明制御部
21 GPS受信部
25 ストレージ部
26 通信部
27 画像入出力コントロール
28 音声入出力コントロール
29 音声合成部
30 サーバ
32 外部カメラ
34 仮想カメラ
P ユーザ
Claims (15)
- 表示部に第1の撮像部が撮像するユーザ視点の第1の画像を表示する制御、または前記表示部を透過する制御を行う第1の表示制御モードと、ユーザの後方に設けられた第2の撮像部が撮像する、前記ユーザの後頭部、頭頂部、および背中のうち少なくともいずれかを画角に含む第2の画像を前記表示部に表示する制御を行う第2の表示制御モードとを有する表示制御部と、
前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第1の表示制御モードから前記第2の表示制御モードに切り替えるよう制御する切替制御部と、
を備え、
前記表示制御部は、前記ユーザ視点の画像表示または前記表示部の透過状態から、前記第2の表示制御モードに切り替えた際、前記ユーザをリアルタイムにズームアウトしていく第2の画像を表示するよう制御する、情報処理装置。 - 前記表示部は、透過制御可能な表示部であって、
前記表示制御部は、前記切替制御部による制御に応じて、前記表示部を透過する制御を行う第1の表示制御モードから、前記ユーザを画角に含む第2の撮像部が撮像する第2の画像を前記表示部に表示する制御を行う第2の表示制御モードに切り替える、請求項1に記載の情報処理装置。 - 前記表示制御部は、前記切替制御部による制御に応じて、前記表示部に第1の撮像部が撮像するユーザ視点の第1の画像を表示する第1の表示制御モードから、前記ユーザを画角に含む第2の撮像部が撮像する第2の画像を前記表示部に表示する制御を行う第2の表示制御モードに切り替える、請求項1に記載の情報処理装置。
- 前記表示制御部は、前記第2の表示制御モードに切り替える際、前記第1の撮像部が撮像するユーザ視点の第1の画像および前記第2の画像に基づいて、切り替え途中を表す遷移画像を生成し、当該遷移画像を前記表示部に表示する、請求項1または2に記載の情報処理装置。
- 前記表示部は、前記ユーザの頭部または顔部に装着されるHMDに設けられ、かつ、ユーザの眼前に配置される、請求項1〜4のいずれか1項に記載の情報処理装置。
- 前記切替制御部は、前記ユーザからの指示を、操作入力、視線入力、音声入力、ジェスチャ入力、筋電入力、または脳波入力により受け付ける、請求項1〜5のいずれか1項に記載の情報処理装置。
- 前記第2の画像は、前記ユーザを上方から写すものであって、
前記表示制御部は、前記ズームアウトしていく第2の画像において前記ユーザが認識できなくなった場合、前記第2の画像上に前記ユーザの位置を示すインジケータを表示するよう制御する、請求項1〜6のいずれか1項に記載の情報処理装置。 - 前記表示制御部は、前記第2の表示制御モードにおいて、前記ユーザからの指示に応じた位置からの前記ユーザを画角に含む仮想的な撮像画像を、前記第2の画像として生成し、前記表示部に表示する、請求項1〜7のいずれか1項に記載の情報処理装置。
- 前記情報処理装置は、前記切替制御部により前記表示制御モードの切り替えが行われる際、所定の効果音を出力するよう制御する音声出力制御部をさらに備える、請求項1〜8のいずれか1項に記載の情報処理装置。
- 前記第1の撮像部は、前記ユーザの頭部または顔部に装着されるHMDに設けられ、かつ、前記ユーザの視線方向を撮像するよう配置される、請求項1〜9のいずれか1項に記載の情報処理装置。
- 前記第2の撮像部は、ユーザの周囲に設置されている定点カメラである、請求項1〜10のいずれか1項に記載の情報処理装置。
- 前記第2の撮像部は、飛行物体に搭載されているカメラである、請求項1〜11のいずれか1項に記載の情報処理装置。
- 前記第2の撮像部は、前記ユーザの頭部または顔部に装着されるHMDに設けられる複数の超広角カメラであって、
前記表示制御部は、前記第2の表示制御モードにおいて、前記複数の超広角カメラにより撮像された複数の撮像画像に基づいて、前記第2の画像を生成する、請求項1〜12のいずれか1項に記載の情報処理装置。 - 前記表示部は、前記第2の画像を表示する内側表示部、および当該内側表示部と反対側を向く外側表示部を有し、
前記表示制御部は、前記第2の表示制御モードに切り替わった際、前記ユーザが浮遊している様子を示す画像を前記外側表示部に表示するよう制御する、請求項1〜13のいずれか1項に記載の情報処理装置。 - コンピュータに、
表示部に第1の撮像部が撮像するユーザ視点の第1の画像を表示する制御、または前記表示部を透過する制御を行う第1の表示制御モードと、ユーザの後方に設けられた第2の撮像部が撮像する、前記ユーザの後頭部、頭頂部、および背中のうち少なくともいずれかを画角に含む第2の画像を前記表示部に表示する制御を行う第2の表示制御モードとを有する表示制御部と、
前記ユーザからの指示に応じて、前記表示制御部による表示制御モードを、前記第1の表示制御モードから前記第2の表示制御モードに切り替えるよう制御する切替制御部、
として機能させるためのプログラムが記録された記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012269270A JP6094190B2 (ja) | 2012-12-10 | 2012-12-10 | 情報処理装置および記録媒体 |
US14/093,877 US9245389B2 (en) | 2012-12-10 | 2013-12-02 | Information processing apparatus and recording medium |
CN201310641526.3A CN103869468B (zh) | 2012-12-10 | 2013-12-03 | 信息处理设备 |
US15/006,102 US20160140768A1 (en) | 2012-12-10 | 2016-01-25 | Information processing apparatus and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012269270A JP6094190B2 (ja) | 2012-12-10 | 2012-12-10 | 情報処理装置および記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014115457A JP2014115457A (ja) | 2014-06-26 |
JP2014115457A5 JP2014115457A5 (ja) | 2015-03-26 |
JP6094190B2 true JP6094190B2 (ja) | 2017-03-15 |
Family
ID=50880475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012269270A Expired - Fee Related JP6094190B2 (ja) | 2012-12-10 | 2012-12-10 | 情報処理装置および記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (2) | US9245389B2 (ja) |
JP (1) | JP6094190B2 (ja) |
CN (1) | CN103869468B (ja) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014041871A1 (ja) * | 2012-09-12 | 2014-03-20 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びに記録媒体 |
JP6094190B2 (ja) * | 2012-12-10 | 2017-03-15 | ソニー株式会社 | 情報処理装置および記録媒体 |
GB201310359D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable apparatus and systems |
DE102013013698A1 (de) * | 2013-08-16 | 2015-02-19 | Audi Ag | Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille |
US11327302B2 (en) * | 2013-09-18 | 2022-05-10 | Beth Holst | Secure capture and transfer of image and audio data |
CN103646587B (zh) * | 2013-12-05 | 2017-02-22 | 北京京东方光电科技有限公司 | 一种智能眼镜及其控制方法 |
KR101420612B1 (ko) | 2014-02-18 | 2014-07-17 | 쓰리에이티에스엠 주식회사 | 파운데이션 충진장치 |
JP6500477B2 (ja) * | 2015-02-12 | 2019-04-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
US9332285B1 (en) | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
JP6586954B2 (ja) * | 2014-07-09 | 2019-10-09 | ソニー株式会社 | 情報処理装置、記憶媒体、および制御方法 |
JP6041016B2 (ja) | 2014-07-25 | 2016-12-07 | 裕行 池田 | 眼鏡型端末 |
US9977495B2 (en) | 2014-09-19 | 2018-05-22 | Utherverse Digital Inc. | Immersive displays |
JP6516464B2 (ja) * | 2014-12-15 | 2019-05-22 | Kddi株式会社 | ウェアラブル検索システム |
JP2016191845A (ja) * | 2015-03-31 | 2016-11-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10062208B2 (en) * | 2015-04-09 | 2018-08-28 | Cinemoi North America, LLC | Systems and methods to provide interactive virtual environments |
US10545714B2 (en) | 2015-09-04 | 2020-01-28 | Samsung Electronics Co., Ltd. | Dual screen head mounted display |
US10139902B2 (en) * | 2015-09-16 | 2018-11-27 | Colopl, Inc. | Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display |
JPWO2017051592A1 (ja) * | 2015-09-25 | 2018-08-16 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6097377B1 (ja) * | 2015-11-27 | 2017-03-15 | 株式会社コロプラ | 画像表示方法及びプログラム |
JP6532393B2 (ja) | 2015-12-02 | 2019-06-19 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
JP6675209B2 (ja) | 2016-01-20 | 2020-04-01 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置およびユーザガイド提示方法 |
US20170230640A1 (en) * | 2016-02-05 | 2017-08-10 | Samsung Electronics Co., Ltd. | Portable image device with external display |
US10133345B2 (en) * | 2016-03-22 | 2018-11-20 | Microsoft Technology Licensing, Llc | Virtual-reality navigation |
US9760646B1 (en) * | 2016-05-25 | 2017-09-12 | Bank Of America Corporation | Card issuance using card feature verification |
JP6534972B2 (ja) * | 2016-07-07 | 2019-06-26 | 日本電信電話株式会社 | 映像表示装置、映像表示方法及び映像表示プログラム |
US9971157B2 (en) | 2016-07-25 | 2018-05-15 | Colopl, Inc. | Display control method and system for executing the display control method |
JP6152997B1 (ja) * | 2016-07-25 | 2017-06-28 | 株式会社コロプラ | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム |
CN109478339A (zh) * | 2016-07-29 | 2019-03-15 | 三菱电机株式会社 | 显示装置、显示控制装置和显示控制方法 |
US11269480B2 (en) * | 2016-08-23 | 2022-03-08 | Reavire, Inc. | Controlling objects using virtual rays |
JP6918455B2 (ja) * | 2016-09-01 | 2021-08-11 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017097854A (ja) * | 2016-09-29 | 2017-06-01 | 株式会社スクウェア・エニックス | プログラム、記録媒体、コンテンツ提供装置及び制御方法 |
CN106484111B (zh) * | 2016-09-30 | 2019-06-28 | 珠海市魅族科技有限公司 | 一种图像处理的方法及虚拟现实设备 |
IL252056A (en) | 2017-05-01 | 2018-04-30 | Elbit Systems Ltd | Head-up display device, system and method |
US10810541B2 (en) * | 2017-05-03 | 2020-10-20 | Hand Held Products, Inc. | Methods for pick and put location verification |
US10338766B2 (en) * | 2017-09-06 | 2019-07-02 | Realwear, Incorporated | Audible and visual operational modes for a head-mounted display device |
WO2019089811A1 (en) * | 2017-11-01 | 2019-05-09 | Vrgineers, Inc. | Interactive augmented or virtual reality devices |
JP6783264B2 (ja) * | 2018-04-09 | 2020-11-11 | Necパーソナルコンピュータ株式会社 | 表示制御装置、及び表示制御方法 |
TWI805725B (zh) * | 2018-06-07 | 2023-06-21 | 日商索尼半導體解決方案公司 | 資訊處理裝置、資訊處理方法及資訊處理系統 |
US11086124B2 (en) | 2018-06-13 | 2021-08-10 | Reavire, Inc. | Detecting velocity state of a device |
JP6611145B1 (ja) * | 2018-10-05 | 2019-11-27 | neten株式会社 | 三人称視点vrシステム及びその使用方法 |
WO2020095088A1 (en) * | 2018-11-05 | 2020-05-14 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and system for creating an out-of-body experience |
US10978019B2 (en) * | 2019-04-15 | 2021-04-13 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
JP7349256B2 (ja) * | 2019-04-23 | 2023-09-22 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および情報提示方法 |
EP3734415A1 (en) * | 2019-04-30 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
EP3734418A1 (en) * | 2019-05-03 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium |
CN110308794A (zh) * | 2019-07-04 | 2019-10-08 | 郑州大学 | 具有两种显示模式的虚拟现实头盔及显示模式的控制方法 |
US11023095B2 (en) | 2019-07-12 | 2021-06-01 | Cinemoi North America, LLC | Providing a first person view in a virtual world using a lens |
JP7085578B2 (ja) * | 2020-03-10 | 2022-06-16 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ |
EP3985486B1 (en) | 2020-10-13 | 2024-04-17 | Hiroyuki Ikeda | Glasses-type terminal |
JP7394046B2 (ja) * | 2020-11-25 | 2023-12-07 | 株式会社ソニー・インタラクティブエンタテインメント | システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム |
JP2022182477A (ja) * | 2021-05-28 | 2022-12-08 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法、及びプログラム |
WO2024157415A1 (ja) * | 2023-01-26 | 2024-08-02 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置および表示制御方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5353391A (en) * | 1991-05-06 | 1994-10-04 | Apple Computer, Inc. | Method apparatus for transitioning between sequences of images |
JPH0612222A (ja) * | 1992-06-29 | 1994-01-21 | Matsushita Electric Ind Co Ltd | 両面画像表示装置 |
JP3928229B2 (ja) | 1997-11-28 | 2007-06-13 | ソニー株式会社 | 表示制御装置および表示制御方法、並びに記録媒体 |
US7312766B1 (en) * | 2000-09-22 | 2007-12-25 | Canadian Space Agency | Method and system for time/motion compensation for head mounted displays |
JP2002207832A (ja) * | 2000-12-28 | 2002-07-26 | Atsushi Takahashi | インターネット技術指導教育配信システム、及び通信網を利用した指導システム |
JP2005172851A (ja) * | 2003-12-05 | 2005-06-30 | Sony Corp | 画像表示装置 |
JP5245257B2 (ja) * | 2006-11-22 | 2013-07-24 | ソニー株式会社 | 画像表示システム、表示装置、表示方法 |
JP4950015B2 (ja) * | 2006-12-15 | 2012-06-13 | カシオ計算機株式会社 | データ検索装置、データ検索方法、及びそのプログラム |
JP2009021914A (ja) * | 2007-07-13 | 2009-01-29 | Sony Corp | 撮像表示システム、撮像表示装置、撮像表示装置の制御方法 |
US8229163B2 (en) * | 2007-08-22 | 2012-07-24 | American Gnc Corporation | 4D GIS based virtual reality for moving target prediction |
WO2009084213A1 (ja) * | 2007-12-28 | 2009-07-09 | Capcom Co., Ltd. | コンピュータ、プログラムおよび記憶媒体 |
US8339403B2 (en) * | 2008-04-16 | 2012-12-25 | Microsoft Corporation | Multi-layered slide transitions |
JP2010176325A (ja) * | 2009-01-28 | 2010-08-12 | Ntt Docomo Inc | 任意視点画像生成装置及び任意視点画像生成方法 |
JP5613991B2 (ja) * | 2009-03-31 | 2014-10-29 | 株式会社ニコン | 再生演出プログラムおよび再生演出装置 |
JP2011124898A (ja) * | 2009-12-14 | 2011-06-23 | Brother Industries Ltd | ヘッドマウントディスプレイ |
JP5148652B2 (ja) * | 2010-03-31 | 2013-02-20 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
JP5161256B2 (ja) * | 2010-03-31 | 2013-03-13 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体、及び、画像生成装置 |
JP5303685B2 (ja) * | 2010-11-09 | 2013-10-02 | 富士フイルム株式会社 | 拡張現実感提供装置 |
JP5966256B2 (ja) * | 2011-05-23 | 2016-08-10 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP6094190B2 (ja) * | 2012-12-10 | 2017-03-15 | ソニー株式会社 | 情報処理装置および記録媒体 |
JP6319952B2 (ja) * | 2013-05-31 | 2018-05-09 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
KR102246553B1 (ko) * | 2014-04-24 | 2021-04-30 | 엘지전자 주식회사 | Hmd 및 그 제어 방법 |
-
2012
- 2012-12-10 JP JP2012269270A patent/JP6094190B2/ja not_active Expired - Fee Related
-
2013
- 2013-12-02 US US14/093,877 patent/US9245389B2/en not_active Expired - Fee Related
- 2013-12-03 CN CN201310641526.3A patent/CN103869468B/zh not_active Expired - Fee Related
-
2016
- 2016-01-25 US US15/006,102 patent/US20160140768A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2014115457A (ja) | 2014-06-26 |
CN103869468A (zh) | 2014-06-18 |
US9245389B2 (en) | 2016-01-26 |
US20160140768A1 (en) | 2016-05-19 |
US20140160129A1 (en) | 2014-06-12 |
CN103869468B (zh) | 2017-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6094190B2 (ja) | 情報処理装置および記録媒体 | |
US9927948B2 (en) | Image display apparatus and image display method | |
US10324294B2 (en) | Display control device, display control method, and computer program | |
US10009542B2 (en) | Systems and methods for environment content sharing | |
US10142618B2 (en) | Imaging apparatus and imaging method | |
US20140123015A1 (en) | Information processing system, information processing apparatus, and storage medium | |
JP7408678B2 (ja) | 画像処理方法およびヘッドマウントディスプレイデバイス | |
JP5228307B2 (ja) | 表示装置、表示方法 | |
WO2015162949A1 (ja) | 通信システム、制御方法、および記憶媒体 | |
CN110221432A (zh) | 头戴式显示器的图像显示方法及设备 | |
US20150355463A1 (en) | Image display apparatus, image display method, and image display system | |
JP2008096868A (ja) | 撮像表示装置、撮像表示方法 | |
KR20160000741A (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
JP6096654B2 (ja) | 画像の記録方法、電子機器およびコンピュータ・プログラム | |
JP6292658B2 (ja) | 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム | |
JP5664677B2 (ja) | 撮像表示装置、撮像表示方法 | |
JP2013083994A (ja) | 表示装置、表示方法 | |
JP5971298B2 (ja) | 表示装置、表示方法 | |
JP2022022871A (ja) | 処理装置および没入度導出方法 | |
JP5653771B2 (ja) | 映像表示機器及びプログラム | |
WO2022220305A1 (ja) | 映像表示システム、情報処理方法、及び、プログラム | |
JP2021068296A (ja) | 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150204 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170130 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6094190 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |