JP6899875B2 - 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム - Google Patents

情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP6899875B2
JP6899875B2 JP2019150582A JP2019150582A JP6899875B2 JP 6899875 B2 JP6899875 B2 JP 6899875B2 JP 2019150582 A JP2019150582 A JP 2019150582A JP 2019150582 A JP2019150582 A JP 2019150582A JP 6899875 B2 JP6899875 B2 JP 6899875B2
Authority
JP
Japan
Prior art keywords
image
user
face
target image
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019150582A
Other languages
English (en)
Other versions
JP2020024417A (ja
Inventor
篠原　隆之
隆之 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2020024417A publication Critical patent/JP2020024417A/ja
Application granted granted Critical
Publication of JP6899875B2 publication Critical patent/JP6899875B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats

Description

本発明は、ユーザーの頭部に装着される映像表示装置に映像を表示させる情報処理装置、その制御方法、その制御プログラム、及び情報記憶媒体に関する。
例えばヘッドマウントディスプレイのように、ユーザーが頭部に装着して使用する映像表示装置がある。このような映像表示装置は、ユーザーの目の前に画像を結像させることで、その画像をユーザーに閲覧させる。このような映像表示装置は、臨場感のある映像をユーザーに閲覧させることができるため、バーチャルリアリティ技術などに利用されている。
さらに、ユーザーの頭の向きを検出し、その向きの変化に連動して上記映像表示装置が表示中の画像を更新するように制御することで、より臨場感のある映像をユーザーに提示することができる。一例として、広角のカメラで風景を撮影するなどして得られるパノラマ画像の一部範囲を映像表示装置に表示させ、ユーザーの頭の動きに合わせてそのパノラマ画像内の表示範囲を移動させる。これにより、ユーザーはカメラの撮影場所に実際に自分がいるかのような感覚でその風景を閲覧することができる。また、仮想空間に配置した仮想カメラの向きをユーザーの頭の動きに合わせて変化させながら、この仮想カメラから見た仮想空間の様子を示す映像を映像表示装置に表示させてもよい。これにより、ユーザーにあたかも仮想空間内にいるかのような映像を閲覧させることができる。
上述した映像表示装置を用いて元の画像を拡大した拡大画像を表示しようとした場合、ユーザーの頭の動きに合わせて拡大画像を元の画像と同じように更新すると、元の画像と比較して画像内に含まれる表示要素の移動速度が大きくなる。そのため、ユーザーに違和感を生じさせてしまう場合がある。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、ユーザーの頭部に装着される映像表示装置に、ユーザーの頭の動きに連動して更新される拡大画像を違和感なく表示させることのできる情報処理装置、映像表示方法、情報処理装置の制御プログラム、及び情報記憶媒体を提供することにある。
本発明に係る情報処理装置は、ユーザーの頭部に装着される映像表示装置と接続される情報処理装置であって、前記映像表示装置の向きを取得する取得部と、前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御部と、前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御部と、を含み、前記拡大画像表示制御部は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させることを特徴とする。
また、本発明に係る映像表示システムは、ユーザーの頭部に装着される映像表示装置と、当該映像表示装置に接続される情報処理装置と、を含む映像表示システムであって、前記情報処理装置は、前記映像表示装置の向きを取得する取得部と、前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御部と、前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御部と、を含み、前記拡大画像表示制御部は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させることを特徴とする。
本発明に係る情報処理装置の制御方法は、ユーザーの頭部に装着される映像表示装置と接続される情報処理装置の制御方法であって、前記映像表示装置の向きを取得するステップと、前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示ステップと、前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示ステップと、を含み、前記拡大画像表示ステップでは、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させることを特徴とする。
また、本発明に係るプログラムは、ユーザーの頭部に装着される映像表示装置と接続されるコンピュータを、前記映像表示装置の向きを取得する取得手段、前記映像表示装置の向きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御手段、及び、前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御手段、として機能させるためのプログラムであって、前記拡大画像表示制御手段は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで前記対象画像と重ねて表示させることを特徴とする。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る情報処理装置を含んだ映像表示システムの全体概要図である。 映像表示システムの構成を示す構成ブロック図である。 情報処理装置の機能を示す機能ブロック図である。 対象画像の生成方法の一例を説明する図である。 映像表示装置に表示される対象画像の一例を示す図である。 映像表示装置に表示される拡大画像の一例を示す図である。 拡大画像の生成方法の一例を説明する図である。 ユーザーが顔を水平方向に向けている状態における拡大対象領域の位置の例を示す図である。 ユーザーが顔を真上に近い方向に向けている状態における拡大対象領域の位置の例を示す図である。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
図１は、本発明の一実施形態に係る情報処理装置１０を含む映像表示システム１の全体概要図である。また、図２は映像表示システム１の構成を示す構成ブロック図である。これらの図に示されるように、映像表示システム１は、情報処理装置１０と、操作デバイス２０と、中継装置３０と、映像表示装置４０と、を含んで構成されている。
情報処理装置１０は、映像表示装置４０が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図２に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。
制御部１１は、ＣＰＵ等であって、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
インタフェース部１３は、操作デバイス２０、及び中継装置３０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０及び中継装置３０のそれぞれと接続される。具体例として、インタフェース部１３は、情報処理装置１０が供給する映像や音声を中継装置３０に送信するために、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）などのマルチメディアインタフェースを含んでよい。また、中継装置３０経由で映像表示装置４０から各種の情報を受信したり、制御信号等を送信したりするために、ＵＳＢ等のデータ通信インタフェースを含んでよい。さらにインタフェース部１３は、操作デバイス２０に対するユーザーの操作入力の内容を示す信号を受信するために、ＵＳＢ等のデータ通信インタフェースを含んでよい。
操作デバイス２０は、家庭用ゲーム機のコントローラ等であって、ユーザーが情報処理装置１０に対して各種の指示操作を行うために使用される。操作デバイス２０に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより情報処理装置１０に送信される。なお、操作デバイス２０は情報処理装置１０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。
中継装置３０は、有線又は無線のいずれかにより映像表示装置４０と接続されており、情報処理装置１０から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を映像表示装置４０に対して出力する。このとき中継装置３０は、必要に応じて、供給された映像データに対して、映像表示装置４０の光学系によって生じる歪みを補正する処理などを実行し、補正された映像信号を出力してもよい。なお、中継装置３０から映像表示装置４０に供給される映像信号は、左目用映像、及び右目用映像の二つの映像を含んでいる。また、中継装置３０は、映像データ以外にも、音声データや制御信号など、情報処理装置１０と映像表示装置４０との間で送受信される各種の情報を中継する。
映像表示装置４０は、ユーザーが頭部に装着して使用する映像表示装置であって、中継装置３０から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、映像表示装置４０は両目での映像の閲覧に対応しており、ユーザーの右目及び左目それぞれの目の前に映像を表示するものとする。図２に示すように、映像表示装置４０は、映像表示素子４１、光学素子４２、モーションセンサー４４、及び通信インタフェース４５を含んで構成される。
映像表示素子４１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継装置３０から供給される映像信号に応じた映像を表示する。本実施形態において映像表示素子４１は、左目用映像、及び右目用映像の２つの映像を表示する。なお、映像表示素子４１は、左目用映像及び右目用映像を並べて表示する１つの表示素子であってもよいし、それぞれの映像を独立に表示する２つの表示素子によって構成されてもよい。また、公知のスマートフォン等を映像表示素子４１として用いてもよい。なお、映像表示素子４１は、立体視を実現するために左目用映像及び右目用映像として互いに異なる映像を表示してもよいし、左目用映像及び右目用映像として互いに同じ映像を表示してもよい。
光学素子４２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザーの目の前に配置され、映像表示素子４１が表示する映像の光を透過又は屈折させて、ユーザーの左右それぞれの目に入射させる。具体的に、映像表示素子４１が表示する左目用映像は、光学素子４２を経由してユーザーの左目に入射し、右目用映像は光学素子４２を経由してユーザーの右目に入射する。これによりユーザーは、映像表示装置４０を頭部に装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ閲覧することができる。なお、本実施形態において映像表示装置４０は、ユーザーが外界の様子を視認することができない非透過型の映像表示装置であるものとする。
モーションセンサー４４は、映像表示装置４０の位置や向き、動きに関する各種の情報を測定する。例えばモーションセンサー４４は、加速度センサー、ジャイロスコープ、又は地磁気センサーなどを含んでよい。モーションセンサー４４の測定結果は、中継装置３０を経由して情報処理装置１０に送信される。情報処理装置１０は、映像表示装置４０の動きや向きの変化を特定するために、このモーションセンサー４４の測定結果を用いることができる。具体的に情報処理装置１０は、加速度センサーの測定結果を用いることで、映像表示装置４０の鉛直方向に対する傾きや平行移動を検出できる。また、ジャイロスコープや地磁気センサーの測定結果を用いることで、映像表示装置４０の回転運動を検出できる。
通信インタフェース４５は、中継装置３０との間でデータ通信を行うためのインタフェースである。例えば映像表示装置４０が中継装置３０との間で無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によりデータの送受信を行う場合、通信インタフェース４５は通信用のアンテナ、及び通信モジュールを含む。
次に、情報処理装置１０が実現する機能について図３を用いて説明する。図３に示すように、情報処理装置１０は、機能的に、方向取得部５１と、対象画像表示制御部５２と、拡大画像表示制御部５３と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
方向取得部５１は、前述したモーションセンサー４４の測定結果を用いて、映像表示装置４０の向きを示す情報を取得する。具体的に方向取得部５１は、一定時間おきにモーションセンサー４４の測定結果を取得することによって、取得時点における映像表示装置４０の向きを特定する。映像表示装置４０はユーザーの頭部に固定された状態で使用されるので、この映像表示装置４０の向きは、そのままユーザーの顔の向きに対応することになる。具体例として、映像表示装置４０の向きは、垂直方向（上下方向）を回転軸とした回転量を表すヨー角と、左右方向を回転軸とした回転量を表すピッチ角と、前後方向を回転軸とした回転量を表すロール角と、によって表される。この場合、ヨー角及びピッチ角の値は、例えばユーザーが正面を向いた状態の映像表示装置４０の向きを基準方向Ｒとして、この基準方向Ｒに対する回転量を表すものであってよい。基準方向Ｒは、映像表示装置４０の使用開始時などに決定される方向であってよい。また、ロール角の値は、ユーザーが首を傾けずに左右の目が水平になっている状態を基準状態として、この基準状態からの回転量を表すものであってよい。
なお、ここでは方向取得部５１は、映像表示装置４０の向きを特定するために映像表示装置４０に内蔵されたモーションセンサー４４の測定結果を利用することとしたが、これに代えて、またはこれに加えて、他の手段で取得した情報が映像表示装置４０の向きの特定に用いられてもよい。例えば情報処理装置１０にはカメラが接続され、このカメラによって映像表示装置４０を撮像することとしてもよい。方向取得部５１は、この撮像画像に含まれる映像表示装置４０の位置及び向きを特定することによって、映像表示装置４０の向きに関する情報を取得できる。この場合、映像表示装置４０の筐体表面に複数の発光素子を設け、これらの発光素子が発する光をカメラで撮像し、その光の位置を特定することにより、方向取得部５１はカメラの撮像画像を用いて精度よく映像表示装置４０の向きを特定できる。
対象画像表示制御部５２は、表示対象となる対象画像Ｔを生成し、生成した対象画像Ｔを中継装置３０に対して出力することによって映像表示装置４０に表示させる。ここでは具体例として、対象画像Ｔは、全方位カメラなどで実際の風景を撮影して得られるパノラマ画像に基づいて生成された、所定の視野範囲内の様子を示す画像であるものとする。この場合におけるパノラマ画像は、例えば正距円筒図法などのデータフォーマットで生成された、全天球（前後左右上下全ての向き）の景色を含む画像である。なお、ここではパノラマ画像は、右目用画像の生成に用いられる右パノラマ画像と、左目用画像の生成に用いられる左パノラマ画像とを含むものとする。これら二つのパノラマ画像は、例えば左右に並んだ二つの全方位カメラによって実際の風景を撮影することで生成できる。また、視野範囲は、方向取得部５１が取得した映像表示装置４０の向きを表すヨー角、ピッチ角、及びロール角に応じて全天球の中から決定される範囲である。
具体的に、対象画像表示制御部５２は、仮想空間内に球Ｓを配置するとともに、当該球Ｓの中心位置に、左右に並んだ２つの仮想カメラＣ１及びＣ２を配置する。図４はこの球Ｓ及び仮想カメラＣ１及びＣ２が配置された仮想空間を天頂方向から見た様子を示している。さらに対象画像表示制御部５２は、球Ｓの内面に左パノラマ画像に基づいて生成されるテクスチャーを貼り付け、仮想カメラＣ１からこのテクスチャーが貼り付けられた球Ｓを見た様子を描画することで、左目用画像を生成する。同様に、球Ｓの内面に右パノラマ画像に基づいて生成されるテクスチャーを貼り付け、仮想カメラＣ２からこの球Ｓの内面を見た様子を描画することで、右目用画像を生成する。ここで、仮想カメラＣ１及びＣ２の向きは、映像表示装置４０の向きに応じて決定されており、この仮想カメラＣ１及びＣ２の向きによって描画対象となる視野範囲が定められる。対象画像Ｔは、このようにして生成された左目用画像及び右目用画像の二つの画像を含んで構成される。この対象画像Ｔを映像表示装置４０が表示することで、ユーザーはパノラマ画像に写っている景色を閲覧できる。
さらに本実施形態では、対象画像表示制御部５２は、方向取得部５１が取得した映像表示装置４０の向きの変化に応じて、表示される対象画像Ｔをリアルタイムで更新する。より具体的に、対象画像表示制御部５２は、映像表示装置４０の向きが変化すると、その変化した向きと対応する方向に仮想カメラＣ１及びＣ２の向きを変化させる。例えば、映像表示装置４０のピッチ角、及びヨー角が変化した場合には、この変化に連動させて仮想カメラＣ１及びＣ２双方の撮像方向を変化させる。また、映像表示装置４０のロール角が変化した場合には、この変化に連動させて、左右方向に並んだ仮想カメラＣ１及びＣ２を球Ｓの中心を回転中心として傾けさせる。これにより、仮想カメラＣ１及びＣ２の視野範囲は映像表示装置４０の向きの変化に連動して変化することになる。対象画像表示制御部５２は、更新された視野範囲に基づいて球Ｓの内面の様子を再描画して対象画像Ｔを更新し、映像表示装置４０に表示させる。対象画像表示制御部５２は、このような映像表示装置４０の向きの変化に応じた対象画像Ｔの再描画（更新）処理を、所定時間おきに繰り返し実行する。このような制御によれば、ユーザーが現実の景色を見ている場合に自分の顔を動かすと見える景色が変わるのと同じように、対象画像Ｔを更新することができる。そのため、パノラマ画像の撮影場所に実際にいるかのような臨場感をユーザーに与えることができる。
拡大画像表示制御部５３は、対象画像Ｔの一部を拡大した拡大画像Ｅを映像表示装置４０に表示させる。なお、以下では拡大の対象となる対象画像Ｔ内の領域を拡大対象領域Ａという。例えば拡大画像表示制御部５３は、ユーザーが操作デバイス２０に対して拡大表示を指示する操作入力を実行した場合に、その時点で表示されている対象画像Ｔ内の拡大対象領域Ａを拡大した拡大画像Ｅを生成し、映像表示装置４０に表示させる。このとき、拡大画像Ｅの拡大率は、予め定められた値であってもよいし、ユーザーが拡大を指示する際の操作量などに応じて決定されてもよい。後者の場合、拡大画像Ｅの大きさが一定になるように、拡大率が大きくなるほど拡大対象領域Ａの大きさを小さくすることとしてもよい。
特に本実施形態において、拡大画像表示制御部５３は、拡大画像Ｅを映像表示装置４０の表示領域全体に表示させるのではなく、拡大対象領域Ａと重なる一部の領域のみを占有するように拡大画像Ｅを表示させる。すなわち、拡大画像Ｅは対象画像Ｔが表示されている表示領域の全体よりも小さい大きさで、対象画像Ｔと重なるように表示される。拡大画像Ｅの周囲の領域には、対象画像Ｔが表示され続けることになる。
図５及び図６は、ユーザーから見た拡大画像Ｅの見え方を示す図である。具体的に、図５は拡大画像Ｅを表示する前の対象画像Ｔの表示例を示しており、図６は図５の状態からユーザーの指示を受けて拡大画像Ｅが表示された状態の例を示している。なお、図５の破線は拡大対象領域Ａを示している。図６に示されるように、拡大画像Ｅは対象画像Ｔの手前に重なるように表示され、拡大画像Ｅの周囲には図５で表示されていた対象画像Ｔがそのまま表示されている。なお、この図の例では、拡大対象領域Ａの中心は対象画像Ｔの中心と一致しており、これに対応して拡大画像Ｅもその中心が対象画像Ｔの中心に一致するように配置されている。また、図６に示されるように、拡大画像表示制御部５３は拡大画像Ｅを対象画像Ｔと明確に区別できるようにその外周に沿って枠線を表示してもよい。
図６に例示するような拡大画像Ｅが表示された状態でユーザーが顔の向きを変化させると、これに連動して対象画像Ｔ及び拡大画像Ｅの双方が更新される。具体的に、対象画像表示制御部５２は、対象画像Ｔだけが表示されていた状態と同様に対象画像Ｔを更新する。そして、拡大画像表示制御部５３は、対象画像Ｔの変化と連動するように、常に表示中の対象画像Ｔの中央近傍の拡大対象領域Ａを拡大した拡大画像Ｅを表示する。このような制御によれば、拡大画像Ｅ内の表示要素は拡大されているために対象画像Ｔ内の表示要素よりも速く移動することになる。しかしながら、拡大画像Ｅが映像表示装置４０の表示領域全体を占めず、その周囲の対象画像Ｔはこれまでと同様に更新されるので、ユーザーは違和感なく自分の顔の動きに合わせて更新される拡大画像Ｅを閲覧することができる。
なお、拡大画像Ｅが表示される際には、対象画像表示制御部５２が対象画像Ｔにブラー処理を施すこととしてもよい。これにより、拡大画像Ｅが表示されている間は対象画像Ｔがぼやけて表示されるため、ユーザーが拡大画像Ｅに注目しやすくなる。
また、拡大画像表示制御部５３は、立体映像として拡大画像Ｅを映像表示装置４０に表示させる場合に、拡大画像Ｅが対象画像Ｔよりもユーザーに近い位置（奥行き方向に沿ったユーザーからの距離が短い位置）に見えるように制御してもよい。具体的に拡大画像表示制御部５３は、映像表示装置４０に表示される右目用画像と左目用画像における拡大画像Ｅの視差が、対象画像Ｔの視差よりも大きくなるように、右目用画像及び左目用画像それぞれに含まれる拡大画像Ｅの位置を決定する。図７は、このような表示を実現するための描画方法の一例を説明する図である。ここでは、仮想的な球Ｓの内側の、球Ｓの内面よりも仮想カメラＣ１及びＣ２に近い位置に、ウィンドウＷが配置される。なお、この例におけるウィンドウＷの配置位置の極座標は、仮想カメラＣ１及びＣ２の視野範囲の中心に位置するように決定される。拡大画像表示制御部５３は、拡大対象領域Ａを拡大した拡大画像ＥをこのウィンドウＷにテクスチャーとして貼り付ける。この状態で対象画像表示制御部５２は、仮想カメラＣ１及びＣ２のそれぞれからウィンドウＷ及び球Ｓの内面を見た様子を描画することにより、対象画像Ｔに含まれる右目用画像、及び左目用画像を生成する。これにより、拡大画像Ｅが対象画像Ｔよりも手間の近い位置に浮かんでいるように見えるため、ユーザーは違和感なく拡大画像Ｅを閲覧できる。
また、拡大画像表示制御部５３は、映像表示装置４０の向きの変化に応じて拡大画像Ｅを更新する場合に、拡大画像Ｅの表示位置が安定して見えるように、映像表示装置４０の向きのわずかな変化を無視するようにしてもよい。このような制御は、カメラの手ぶれ補正と同様の処理によって実現できる。具体的に拡大画像表示制御部５３は、映像表示装置４０の向きを示す値（ここではピッチ角、及びヨー角）の変化量が所定の閾値未満の間は、拡大画像Ｅの表示を更新しないこととしてもよい。また、所定時間おきに取得されるピッチ角、及びヨー角の値に対してローパスフィルタ処理を施すことによって、これらの値が急激に変化しないようにしてもよい。このような制御によれば、ユーザーの意識しないわずかな顔の動きによって、拡大画像Ｅの表示内容が頻繁に更新されてしまうことを避けることができ、ユーザーが拡大画像Ｅを見やすくなる。
また、これまでの説明では、拡大対象領域Ａ、及び拡大画像Ｅの中心は対象画像Ｔの中心と一致することとした。しかしながら、対象画像Ｔ内における拡大対象領域Ａの位置、及び拡大画像Ｅの表示位置は、対象画像Ｔの中心からずれた位置であってもよい。特に、拡大画像表示制御部５３は、映像表示装置４０の向きが基準方向Ｒからずれるにしたがって、拡大対象領域Ａが対象画像Ｔの中心から外周に近づくように制御してもよい。
以下、上述したような拡大対象領域Ａの位置の制御例について説明する。ここでは、上下方向に沿ってユーザーが顔の向きを変化させた場合（すなわち、ピッチ角が変化する場合）に、拡大対象領域Ａの位置を対象画像Ｔの中心から上下方向に沿ってずらすこととする。
この例では、映像表示装置４０の向きが基準方向Ｒから変化していない場合、拡大対象領域Ａの中心位置は対象画像Ｔの中心に一致するものとする。一方、ユーザーが顔を上方向、又は下方向に動かした場合、拡大対象領域Ａの中心位置は対象画像Ｔの外周よりに移動する。より具体的に、映像表示装置４０のピッチ角がθ°になった場合、拡大対象領域Ａの中心位置は、映像表示装置４０のピッチ角が（α・θ）°になった場合に表示されるべき対象画像Ｔの中心位置に一致するように決定される。ここでαは１より大きな補正係数である。
図８及び図９は、この場合の拡大対象領域Ａの位置制御を説明するための図であって、パノラマ画像によって表される全天球の景色のうちの、対象画像Ｔとして表示される範囲、及び拡大対象領域Ａとして表示される範囲の一例を示している。これらの図は、いずれもユーザーを横方向から見た場合を示しており、図８はユーザーが顔を水平方向（基準方向Ｒ）に向けている状態の例を、図９はユーザーが顔を真上に近い方向に向けている状態の例を、それぞれ示している。図８では、対象画像Ｔの中心と拡大対象領域Ａの中心は一致しているが、図９では、拡大対象領域Ａの中心は対象画像Ｔの中心よりも上側にシフトしている。このように、ユーザーが顔を上に向けるにつれて拡大対象領域Ａの中心位置を対象画像Ｔの上辺よりに移動させることによって、ユーザーは自分の顔を完全に真上に向けなくとも天頂方向の景色を拡大させて閲覧することができる。なお、拡大画像表示制御部５３は、ユーザーが顔を下方向に向けた場合にも、上方向に向けた場合と同様に拡大対象領域Ａの中心が対象画像Ｔの下辺よりに遷移するよう制御することとする。一般に人は顔を真上や真下に向けにくいので、このような制御によれば、真上や真下の拡大画像Ｅを見やすくすることができる。
また、ユーザーが顔を基準方向Ｒから左右方向に変化させた場合にも、拡大対象領域Ａの中心を対象画像Ｔの中心に対してユーザーが顔を向けた方向に遷移させてよい。このような制御によれば、ユーザーが顔を正面から離れた方向に向けた場合に、その方向の景色を拡大画像Ｅとして見やすくすることができる。なお、以上の例において、拡大画像表示制御部５３は、拡大画像Ｅの中心が拡大対象領域Ａの中心と一致するように拡大画像Ｅを表示することとする。ただし、これに限らず拡大画像表示制御部５３は、拡大画像Ｅの中心が拡大対象領域Ａの中心からずれるように拡大画像Ｅの対象画像Ｔ内における表示位置を決定してもよい。例えば拡大画像表示制御部５３は、拡大対象領域Ａの中心を対象画像Ｔの中心からずらした場合にも、拡大画像Ｅの中心は対象画像Ｔの中心に一致させた状態を維持することとしてもよい。
なお、拡大画像表示制御部５３は、ユーザーが顔を傾けた状態で（すなわち、映像表示装置４０のロール角が基準状態から変化した状態で）拡大画像Ｅを表示する際には、拡大画像Ｅの水平方向に沿った向きが変化しないように制御してもよい。例えば図７で示したようにウィンドウＷを球Ｓ内に配置する場合、拡大画像表示制御部５３は、映像表示装置４０のヨー角及びピッチ角の変化に応じてウィンドウＷの極座標を変化させる一方で、映像表示装置４０のロール角が変化し、これに連動して仮想カメラＣ１及びＣ２を回転させた場合にも、ウィンドウＷを回転させずにその向きを維持する。こうすると、対象画像Ｔ内における拡大画像Ｅの表示領域は、顔の傾きと逆向きに、同じ回転量だけ回転して表示されることになる。このような制御によれば、拡大画像Ｅの向きは映像表示装置４０の傾きによらず常に水平方向に沿って維持されることになる。
なお、拡大画像表示制御部５３は、例えばユーザーの操作デバイス２０に対する指示操作に応じて拡大画像Ｅの表示を終了する。また、拡大画像表示制御部５３は、映像表示装置４０の向きが、拡大画像Ｅの表示を開始した際の向きから所定角度以上変化した場合に、拡大画像Ｅの表示を終了してもよい。また、対象画像Ｔ内に写っている所定のオブジェクトを拡大表示している場合、拡大対象領域Ａがこの所定のオブジェクトを含まない位置まで移動した場合に、拡大画像Ｅの表示を終了してもよい。
以上説明した本実施形態に係る情報処理装置１０によれば、拡大画像Ｅを対象画像Ｔの表示領域よりも小さい大きさで対象画像Ｔと重ねて表示することで、拡大画像Ｅを違和感なくユーザーに提示することができる。
なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では全天球の景色を含んだ静止画像であるパノラマ画像に基づいて対象画像Ｔを生成することとしたが、これに限らず、対象画像表示制御部５２は、時間とともに変化するパノラマ映像に基づいて随時更新される対象画像Ｔを生成することとしてもよい。また、全天球ではなくより狭い範囲の景色を含むパノラマ画像又はパノラマ映像に基づいて対象画像Ｔを生成してもよい。
さらに、対象画像表示制御部５２が時間とともに変化するパノラマ映像に基づいて生成した対象画像Ｔを表示する場合、拡大画像表示制御部５３は、対象画像Ｔの変化に応じて拡大対象領域Ａを時間とともに移動させてもよい。例えば拡大画像表示制御部５３は、対象画像Ｔ内に写っている注目オブジェクト（動物や乗り物など、他の背景に対して相対的に移動している被写体）を特定し、この注目オブジェクトを含む領域を拡大対象領域Ａとする。このような処理を所定時間おきに繰り返し実行し、拡大対象領域Ａの位置をそのつど更新することで、注目オブジェクトを自動的に追尾し、拡大して表示させることができる。
また、対象画像表示制御部５２は、現実の景色を表すパノラマ画像から対象画像Ｔを生成するのではなく、仮想空間内の様子を示す対象画像Ｔを生成してもよい。この場合、対象画像表示制御部５２は、キャラクターや背景などを表す各種のオブジェクトが配置された仮想３次元空間を構築し、その内部に仮想カメラを配置する。そして、この仮想カメラから仮想空間内を見た様子を示す対象画像Ｔを生成する。この場合にも、前述したパノラマ画像から対象画像Ｔを生成する例と同様に、対象画像表示制御部５２は、左右に並んだ二つの仮想カメラを仮想空間内に配置し、これら二つのカメラのそれぞれから仮想空間内を見た様子を示す画像を生成する。こうすれば、立体視に必要な右目用画像、及び左目用画像を対象画像Ｔとして生成することができる。さらに対象画像表示制御部５２は、映像表示装置４０の向きが変化した場合、その変化に連動するように仮想空間内に配置した仮想カメラの向きを変化させ、変化した仮想カメラの向きに基づいて対象画像Ｔを更新する。これによりユーザーは、あたかも仮想空間内にいるかのように仮想空間内の様子を閲覧することができる。さらにこの場合においても、拡大画像表示制御部５３は、仮想空間内の注目オブジェクトが写っている対象画像Ｔ内の領域を、拡大対象領域Ａとしてもよい。これにより、注目オブジェクトを自動的に追尾し、拡大画像Ｅとして表示させることができる。
また、以上の説明において中継装置３０が実現するとした映像の補正などの処理は、情報処理装置１０によって実現されてもよい。逆に、以上の説明において情報処理装置１０が実現するとした処理の少なくとも一部は、中継装置３０によって実現されてもよい。また、以上の説明において中継装置３０が実現するとした処理の一部は、映像表示装置４０に内蔵される集積回路によって実現されてもよい。さらに、以上の説明において中継装置３０が実現するとした処理の全てが情報処理装置１０及び映像表示装置４０のいずれかによって実現される場合、中継装置３０が存在せずともよい。
１ 映像表示システム、１０ 情報処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、２０ 操作デバイス、３０ 中継装置、４０ 映像表示装置、４１ 映像表示素子、４２ 光学素子、４４ モーションセンサー、４５ 通信インタフェース、５１ 方向取得部、５２ 対象画像表示制御部、５３ 拡大画像表示制御部。

Claims (4)

  1. ユーザーの頭部に装着され、立体映像を表示する映像表示装置と接続される情報処理装置であって、
    前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きを取得する取得部と、
    前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御部と、
    前記対象画像の一部の拡大対象領域を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御部と、
    を含み、
    前記拡大画像表示制御部は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで、かつ、前記対象画像よりもユーザーに近い位置に見えるように前記対象画像と重ねて表示させ、前記拡大画像が表示されている間、前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きの変化に応じた前記対象画像の更新と連動するように前記拡大画像の内容を更新し、かつ、前記拡大画像が表示されている間、前記ユーザーの顔の前後方向を回転軸とした傾きの変化に対して、前記拡大画像の表示領域の実空間における水平方向に沿った向きが変化せずに維持されるように、前記対象画像内における前記拡大画像の表示領域の水平方向に沿った向きを前記ユーザーの顔の前後方向を回転軸とした傾きと逆向きに変化させる
    ことを特徴とする情報処理装置。
  2. ユーザーの頭部に装着され、立体映像を表示する映像表示装置と、
    前記映像表示装置と接続される情報処理装置と、
    を含み、
    前記情報処理装置は、
    前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きを取得する取得部と、
    前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示制御部と、
    前記対象画像の一部の拡大対象領域を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示制御部と、
    を含み、
    前記拡大画像表示制御部は、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで、かつ、前記対象画像よりもユーザーに近い位置に見えるように前記対象画像と重ねて表示させ、前記拡大画像が表示されている間、前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きの変化に応じた前記対象画像の更新と連動するように前記拡大画像の内容を更新し、かつ、前記拡大画像が表示されている間、前記ユーザーの顔の前後方向を回転軸とした傾きの変化に対して、前記拡大画像の表示領域の実空間における水平方向に沿った向きが変化せずに維持されるように、前記対象画像内における前記拡大画像の表示領域の水平方向に沿った向きを前記ユーザーの顔の前後方向を回転軸とした傾きと逆向きに変化させる
    ことを特徴とする映像表示システム。
  3. ユーザーの頭部に装着され、立体映像を表示する映像表示装置と接続される情報処理装置の制御方法であって、
    前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きを取得するステップと、
    前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示ステップと、
    前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示ステップと、
    を含み、
    前記拡大画像表示ステップでは、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで、かつ、前記対象画像よりもユーザーに近い位置に見えるように前記対象画像と重ねて表示させ、前記拡大画像が表示されている間、前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きの変化に応じた前記対象画像の更新と連動するように前記拡大画像の内容を更新し、かつ、前記拡大画像が表示されている間、前記ユーザーの顔の前後方向を回転軸とした傾きの変化に対して、前記拡大画像の表示領域の実空間における水平方向に沿った向きが変化せずに維持されるように、前記対象画像内における前記拡大画像の表示領域の水平方向に沿った向きを前記ユーザーの顔の前後方向を回転軸とした傾きと逆向きに変化させる
    ことを特徴とする情報処理装置の制御方法。
  4. ユーザーの頭部に装着され、立体映像を表示する映像表示装置と接続されるコンピュータに、
    前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きを取得する取得ステップと、
    前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きの変化に連動して更新される対象画像を前記映像表示装置に表示させる対象画像表示ステップと、
    前記対象画像の一部を拡大した拡大画像を前記映像表示装置に表示させる拡大画像表示ステップと、
    を実行させるためのプログラムであって、
    前記拡大画像表示ステップでは、前記拡大画像を、前記対象画像の表示領域よりも小さい大きさで、かつ、前記対象画像よりもユーザーに近い位置に見えるように前記対象画像と重ねて表示させ、前記拡大画像が表示されている間、前記ユーザーの顔の向き、及び顔の前後方向を回転軸とした傾きの変化に応じた前記対象画像の更新と連動するように前記拡大画像の内容を更新し、かつ、前記拡大画像が表示されている間、前記ユーザーの顔の前後方向を回転軸とした傾きの変化に対して、前記拡大画像の表示領域の実空間における水平方向に沿った向きが変化せずに維持されるように、前記対象画像内における前記拡大画像の表示領域の水平方向に沿った向きを前記ユーザーの顔の前後方向を回転軸とした傾きと逆向きに変化させる
    ことを特徴とするプログラム。
JP2019150582A 2015-08-06 2019-08-20 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム Active JP6899875B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015156279 2015-08-06
JP2015156279 2015-08-06
JP2018195333A JP6576536B2 (ja) 2015-08-06 2018-10-16 情報処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018195333A Division JP6576536B2 (ja) 2015-08-06 2018-10-16 情報処理装置

Publications (2)

Publication Number Publication Date
JP2020024417A JP2020024417A (ja) 2020-02-13
JP6899875B2 true JP6899875B2 (ja) 2021-07-07

Family

ID=57942738

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017532398A Active JP6422584B2 (ja) 2015-08-06 2016-05-13 情報処理装置
JP2018195333A Active JP6576536B2 (ja) 2015-08-06 2018-10-16 情報処理装置
JP2019150582A Active JP6899875B2 (ja) 2015-08-06 2019-08-20 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017532398A Active JP6422584B2 (ja) 2015-08-06 2016-05-13 情報処理装置
JP2018195333A Active JP6576536B2 (ja) 2015-08-06 2018-10-16 情報処理装置

Country Status (5)

Country Link
US (1) US20180359462A1 (ja)
EP (1) EP3333808B1 (ja)
JP (3) JP6422584B2 (ja)
CN (1) CN107851334A (ja)
WO (1) WO2017022291A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
JP6808484B2 (ja) * 2016-12-28 2021-01-06 キヤノン株式会社 画像処理装置および画像処理方法
JP6419278B1 (ja) * 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
KR102203371B1 (ko) * 2018-11-30 2021-01-15 삼성물산 주식회사 놀이공원에서 놀이기구를 가동하는 동안 이미지를 시각화하는 장치, 방법 및 이미지 시각화 장치를 관리하는 장치 및 방법
JP7300287B2 (ja) * 2019-03-20 2023-06-29 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
WO2023129182A1 (en) 2021-12-30 2023-07-06 17Live Japan Inc. System, method and computer-readable medium for video processing
WO2023188022A1 (ja) * 2022-03-29 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US77046A (en) * 1868-04-21 janney
JPH0795498A (ja) * 1993-09-24 1995-04-07 Sony Corp 眼鏡型ディスプレイ
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JP4073533B2 (ja) * 1998-02-09 2008-04-09 株式会社半導体エネルギー研究所 情報処理装置
JP2000267042A (ja) * 1999-03-17 2000-09-29 Fuji Xerox Co Ltd 頭部搭載型映像表示装置
JP2002312117A (ja) * 2001-04-17 2002-10-25 Japan Aviation Electronics Industry Ltd 円筒映像球面映像コントロール装置
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP5186715B2 (ja) * 2010-06-14 2013-04-24 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム
JP5829097B2 (ja) * 2011-10-25 2015-12-09 オリンパス株式会社 頭部装着型表示装置、プログラム及び画像処理システム
US10108018B2 (en) * 2012-11-13 2018-10-23 Sony Corporation Image display apparatus for displaying an image captured by a mobile apparatus
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9411160B2 (en) * 2013-02-12 2016-08-09 Seiko Epson Corporation Head mounted display, control method for head mounted display, and image display system
US9658454B2 (en) * 2013-09-06 2017-05-23 Omnivision Technologies, Inc. Eyewear display system providing vision enhancement

Also Published As

Publication number Publication date
JP6422584B2 (ja) 2018-11-14
CN107851334A (zh) 2018-03-27
EP3333808A4 (en) 2019-04-03
JP6576536B2 (ja) 2019-09-18
EP3333808A1 (en) 2018-06-13
JPWO2017022291A1 (ja) 2018-04-19
WO2017022291A1 (ja) 2017-02-09
JP2020024417A (ja) 2020-02-13
JP2019040610A (ja) 2019-03-14
EP3333808B1 (en) 2021-10-27
US20180359462A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
EP3379525B1 (en) Image processing device and image generation method
KR102502404B1 (ko) 정보 처리 장치 및 방법, 그리고 프로그램
JP5996814B1 (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
CN108027700B (zh) 信息处理装置
US10999412B2 (en) Sharing mediated reality content
JP2013258614A (ja) 画像生成装置および画像生成方法
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP5949501B2 (ja) 作業補助システムおよびプログラム
JP6359572B2 (ja) 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
JP6649010B2 (ja) 情報処理装置
WO2018225804A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP6518645B2 (ja) 情報処理装置および画像生成方法
WO2017191703A1 (ja) 画像処理装置
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
JP6442619B2 (ja) 情報処理装置
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
JP2017142769A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JPWO2015156128A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
CN113170077A (zh) 显示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210615

R150 Certificate of patent or registration of utility model

Ref document number: 6899875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150