JP6356928B1 - 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 - Google Patents

画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Download PDF

Info

Publication number
JP6356928B1
JP6356928B1 JP2017563271A JP2017563271A JP6356928B1 JP 6356928 B1 JP6356928 B1 JP 6356928B1 JP 2017563271 A JP2017563271 A JP 2017563271A JP 2017563271 A JP2017563271 A JP 2017563271A JP 6356928 B1 JP6356928 B1 JP 6356928B1
Authority
JP
Japan
Prior art keywords
image
display
orientation
zoom
omnidirectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017563271A
Other languages
English (en)
Other versions
JPWO2018083757A1 (ja
Inventor
千葉　直樹
直樹 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6356928B1 publication Critical patent/JP6356928B1/ja
Publication of JPWO2018083757A1 publication Critical patent/JPWO2018083757A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

画像提供装置(100)は、視界を覆うディスプレイ(192)に、全周囲画像データ(21)からトリミングした画像を表示する。検出部(11)は、ユーザの頭部もしくは視線の向きもしくは向きの変化をセンサ(191)により検出する。方向設定部(12)は、検出された向きもしくは向きの変化に応じて、全周囲画像データ(21)に対する視線方向を設定する。抽出部(13)は、設定された視線方向と、全周囲画像データ(21)における所定方向とのなす角度に応じたズーム率によって全周囲画像の一部をトリミングしてズームすることにより、ズーム画像を取得する。表示部(14)は、取得されたズーム画像をディスプレイ(192)に表示する。

Description

本発明は、ユーザの頭もしくは視線の向きの変化に応じた観察空間の様子を、視界を覆うディスプレイに提示する際に、ユーザに与える違和感を低減するのに好適な画像提供装置、画像提供方法、プログラム、ならびに非一時的なコンピュータ読取可能な情報記録媒体に関する。
近年、ユーザに対して実際は目の前で起きていない事象を、あたかも実際に目の前で起きている事象であるかのように認識させる代替現実(Substituted Reality)システムが提案されている(特許文献1を参照)。代替現実システムに類似する技術として、仮想現実(Virtual Reality)システムや拡張現実(Augmented Reality)システムなどの研究も進められている。代替現実、仮想現実、拡張現実等では、現実空間(Real Space)とは異なる観察空間(Observation Space)が用意される。観察空間は、異なる場所や時間等に撮影されたパノラマ映像や全方位映像のほか、3次元グラフィックスのモデリング技術を組み合わせることによって構築される。
これらの技術においては、観察位置から観察方向に観察空間を見た様子を表す画像が、透視投影や映像の切り出しによって生成され、当該画像がヘッドマウントディスプレイ等の視界を覆うディスプレイに表示される。ユーザの頭もしくは視線の向きの変化がセンサ等により検知され、観察方向は、検知された頭の向きの変化に応じて更新される。
特開2014−38523号公報
しかしながら、従来の技術では、観察空間の様子を、ユーザの頭もしくは視線の向きの変化に応じてヘッドマウントディスプレイ等に表示した場合に、ユーザに違和感を与えるケースが存在した。
現実空間では、ユーザが視線を足元付近に向けた場合には、ユーザの視界に映る世界は心理的に狭くなる。これは、視野の中にある事物が近くのものばかりになること、および、目のレンズ体の焦点効果が、近くなるために短くなること等に基づく心理的効果である。しかしながら、このような点へ配慮したヘッドマウントディスプレイはまだ存在しない。すなわち、従来のヘッドマウントディスプレイでは、与えられた向きに応じて画像を切り出して表示しているだけであった。そのため、ユーザが足元付近を見た場合には、自分が床から浮いているかのような錯覚を感じることがあった。
本発明は、このような問題点に鑑みてなされたものである。すなわち、本発明の目的は、視界を覆うディスプレイにおいて、ユーザに与える違和感を低減することにある。
上記目的を達成するため、本発明の第1の観点に係る画像提供装置は、
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
ユーザの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示する、
ことを特徴とする。
上記第1の観点に係る画像提供装置は、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度が小さいほど、大きな前記ズーム率によって前記全周囲画像の一部をトリミングしてズームする、
ものであってもよい。
上記第1の観点に係る画像提供装置では、
前記全周囲画像は、視線方向に対するピントの調整量が記録されたものであり、
前記角度、および、前記設定された視線方向における前記調整量に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ものであってもよい。
上記第1の観点に係る画像提供装置は、
前記角度、および、前記ディスプレイを装着するユーザの身長を示す数値に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ものであってもよい。
上記第1の観点に係る画像提供装置は、
前記ディスプレイの高さを検出し、
前記角度、および、前記検出された高さに応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ものであってもよい。
上記目的を達成するため、本発明の第2の観点に係る画像提供方法は、
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供方法であって、
画像提供装置が、ユーザの向きもしくは向きの変化を検出し、
前記画像提供装置が、前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
前記画像提供装置が、前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記画像提供装置が、前記取得されたズーム画像を前記ディスプレイに表示する、
ことを特徴とする。
上記目的を達成するため、本発明の第3の観点に係るプログラムは、
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムであって、
前記コンピュータに、
ユーザの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行させる。
上記目的を達成するため、本発明の第4の観点に係る情報記録媒体は、
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体であって、
前記コンピュータに、
ユーザの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行させるプログラムを記録する。
本発明によれば、ユーザに与える違和感を低減した視界を覆うディスプレイを実現することができる。
実施の形態1に係る画像提供装置の機能構成を示すブロック図である。 視線方向と所定の方向との関係の一例を示す図である。 視線方向と所定の方向との関係の一例を示す図である。 画像提供処理を示すフローチャートである。 ズーム率と角度θとの対応の一例を示す図である。 ズーム率とピントの調整量との対応の一例を示す図である。 全周囲画像による仮想空間に存在するオブジェクトとユーザとの位置関係を説明するための図である。 ディスプレイに表示される画像の一例を示す図である。 ディスプレイに表示される画像の一例を示す図である。
以下に本発明の実施の形態を説明する。なお、本実施の形態は説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施の形態を採用することが可能であるが、これらの形態も本発明の範囲に含まれる。
(実施の形態1)
本発明の実施の形態1に係る画像提供装置100は、接続された視界を覆うディスプレイ190に画像を提供する。以下では、視界を覆うディスプレイ190として、ヘッドマウントディスプレイを例として説明するが、視界を覆うディスプレイとして、たとえば人間の網膜に映像を投射するものや、眼鏡の形状をした表示装置であるスマートグラス等を採用することも可能である。以下の例では、視界を覆うディスプレイ190の一例としてヘッドマウントディスプレイをあげて説明するため、ヘッドマウントディスプレイに対して符号「190」を付して参照することとする。ユーザUは、ヘッドマウントディスプレイ190を頭部に装着し、ヘッドマウントディスプレイ190が表示する画像を閲覧することができる。
ヘッドマウントディスプレイ190は、自機の向き、もしくは自機の向きの変化を検出するセンサ191を備える。ヘッドマウントディスプレイ190は、センサ191が検出したデータを画像提供装置100に送信する。センサ191を介し、画像提供装置100は、自機を装着しているユーザUがその時見ている方向(視線方向)を特定することができる。
画像提供装置100は、ユーザUに表示すべき画像の元となるデータとして、全周囲画像データを保持する。ここで、全周囲画像データとは、特定の撮影位置からの広範な角度にわたる画像を一つのデータとして集約して記録したものであり、全天球画像と呼ばれることもある。
現実世界における周囲の状態を全周囲画像データとして撮影する方法はいくつかある。例えば、魚眼カメラ(通常のレンズよりも広範な角度からの光を集約できる魚眼レンズを用いたカメラ)を用いて撮影した画像データを全周囲画像として用いることができる。あるいは、一つの撮影地点において方向を変えて撮影された複数の画像を組み合わせることで全周囲画像データを生成することができる。
なお、全周囲画像とは、通常の画像に比べて大きな撮影角度で撮影された画像を含むデータであり、必ずしも全角度を含むものでなくともよい。具体的な例として、ある位置から180°の角度で撮影された画像は、(360°の角度でないため、全周囲にわたる映像を含まないが)ここでいう全周囲画像に含まれる。
画像提供装置100は、ヘッドマウントディスプレイ190のセンサから送信された情報に基づいて、保有する全周囲画像データにおける、ユーザUの視線方向を特定する。画像提供装置100は、特定された視線方向に基づき、全周囲画像データから、人間の視野角に近い角度で見た場合の画像をトリミング(trimming)する。なお、画像のトリミングは、切り出し、あるいは、クロッピング(cropping)と呼ばれることもある。
そして、トリミングされた画像を、ヘッドマウントディスプレイ190が有するディスプレイ192のピクセル単位での幅および高さ、ならびに、ディスプレイ192の大きさや解像度に適合するように調整して表示する。ここで調整された画像を、以下、ズーム画像と呼ぶ。
ユーザUがヘッドマウントディスプレイ190を装着した状態で頭部の向きを変えると、それに伴ってヘッドマウントディスプレイ190の向きも変化する。すると、画像提供装置100は、向きの変化に応じて新たにユーザUの視線方向を特定し、その視線方向に基づいてトリミングおよびズームしたズーム画像を再びヘッドマウントディスプレイ190に表示する。
このような仕組みにより、ユーザUが頭の向きを変えると、画像提供装置100は、向きの変化に合わせてヘッドマウントディスプレイ190に表示される画像を変化させる。例えばユーザUが頭部をそれまでより上の方向に向けると、画像提供装置100は、全周囲画像データにおける、それまでより上の方向を向いた場合の画像を表示する。画像提供装置100は、ユーザUに、ユーザU自身の動きに応じた画像を見せ、ヘッドマウントディスプレイ190を通じて見える映像が、実際のユーザUの周囲の空間の映像であるように疑似的に感じさせることができる。
本発明の実施の形態1に係る画像提供装置100は、図1に示すように、機能面では検出部11、方向設定部12、抽出部13、表示部14を備える。また、画像提供装置100は、全周囲画像データ21を保管する機構を備え、必要に応じて読み出す。
画像提供装置100は、ヘッドマウントディスプレイ190と接続されている。ヘッドマウントディスプレイ190は、ユーザUに映像を表示するディスプレイ192と、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出するセンサ191を備える。画像提供装置100は、ディスプレイ192に画像を表示し、また、センサ191から向き(または向きの変化)を示すデータを受信する。
検出部11は、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。検出部11は、センサ191から提供されるデータをもとに、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。ここで検出されるヘッドマウントディスプレイ190の向きは、ユーザUの向き(具体的には、ユーザの頭部中央からユーザの前方に向かう向き)と逆向きである。
なお、図1においては、画像提供装置100とヘッドマウントディスプレイ190とは別個の装置として表示されているが、これらは同一の装置にて実現することも可能である。例えば、スマートフォンやタブレットコンピュータ、携帯電話として利用可能なタブレットコンピュータであるファブレット(phablet)等の汎用的な機器をアタッチメントに装着することにより、ヘッドマウントディスプレイ190に類似するデバイスを構築することとしてもよい。この場合には、スマートフォン等のコンピュータを上記各部として機能させるためのプログラムを、当該スマートフォン等にて実行させることになる。
さらに、上述の通り、ユーザの視界を覆う任意のディスプレイを採用することが可能である。たとえば、ユーザの頭部に装着するヘッドマウントディスプレイ190のかわりに、眼鏡状の形状を有し、ユーザの耳から延びるテンプルによってユーザの目の前方にディスプレイを配置するスマートグラス等を、採用することもできる。スマートグラスでは、加速度センサによって、スマートグラスの向きを検出できるほか、外界を撮影するカメラによって捕えられた画像を追跡することによって、スマートグラスの向きを推定することも可能である。
また、ユーザの網膜に直接映像を投影するデバイスを、ヘッドマウントディスプレイ190のかわりに採用することもできる。この場合には、ユーザの眼球運動を検知して、ユーザの眼球運動から、ユーザの向きを検出することも可能であるし、加速度センサ等を利用することもできる。
さて、方向設定部12は、検出された向きもしくは向きの変化に応じて、全周囲画像データに対するユーザUの視線方向を設定する。検出部11が向きを検出するものである場合、方向設定部12は、検出部11が検出した方向と、全周囲画像データにおける方向との対応づけに基づいて、検出されたヘッドマウントディスプレイ190の向きに対応する全周囲画像データにおける視線方向を設定する。検出部11が向きの変化を検出するものである場合、方向設定部12は、検出部11により検出された方向の変化量と、前回設定した全周囲画像データにおける視線方向とに基づいて、新たに全周囲画像データにおける視線方向を設定する。
抽出部13は、方向設定部12により設定された視線方向と、全周囲画像データにおける所定方向とのなす角度に応じたズーム率によって、全周囲画像データが示す画像の一部をディスプレイ192の大きさもしくは解像度に合わせてトリミングしてズームし、ズーム画像の画像データを生成する。
表示部14は、抽出部13によって抽出されたズーム画像を、ヘッドマウントディスプレイ190のディスプレイ192に表示する。
これらの機能部(検出部11、方向設定部12、抽出部13、表示部14)の動作により、ディスプレイ192に、ユーザUの視線方向に対応する方向の、全周囲画像データから抽出されたズーム画像が表示される。ユーザUが頭の向き(および視線方向)を変えると、画像提供装置100は、頭の動きに追従し、新たに向けられた視線方向に対応する方向のズーム画像を取得して、ディスプレイ192に表示する。
さらに、抽出部13の動作により、画像提供装置100は、方向設定部12により設定された視線方向と、全周囲画像データにおける所定方向とのなす角度に応じてズーム率を設定する。そのうえで、画像提供装置100は、トリミングの際に、設定したズーム率を用いて画像をトリミングしてズームする。トリミングとズームは同時に行っても良いし、一方を先行し、他方を後から行っても良い。
たとえば、全周囲画像データからディスプレイ192のピクセル数、大きさ、ならびに、解像度に合わせてズーム画像を得る際には、画像データの座標を変換する透視投影等の座標変換が行われる。この際に、投影の観察点と、ディスプレイ192の各画素が位置付けられた投影面と、の距離や、変換に用いる際に想定されるレンズの焦点距離を、ズーム率に合わせて変化させてから、投影面への投影を行えば、トリミングとズームを同時に行うことが可能である。
このほか、全周囲画像データからディスプレイ192へ表示するための画像変換においては、既存のライブラリ等をそのまま使っても良い。この場合には、ライブラリ等を利用することにより得られた画像変換の結果(全周囲画像データから得られた画面用の2次元的な画像データ)から、その中央部分を、視線方向に応じたズーム率でトリミングおよびズームすれば、ズーム画像を得ることができる。ズームの際には、各種のスムージング技術を適用することが望ましい。
これにより、ユーザUが頭の向きを変えると、画像提供装置100は、全周囲画像データにおける視線方向だけでなく、ズーム率も変えてトリミングおよびズームした画像を表示する。そのため、例えばユーザUが所定方向(例えば、足元を指す方向)に近い方向を向いた場合に、画像提供装置100は、画像をより拡大(または縮小)して表示することができ、ユーザUに与える違和感を低減することができる。
一例として、ユーザUがヘッドマウントディスプレイ190を装着した場合の、ディスプレイ192の画面101の位置と視線方向の関係について、図2および図3を参照して説明する。なお、画像提供装置100においては、所定の方向が鉛直下向きの方向に設定されているものとする。
図2に、ユーザUが水平方向を向いている場合の様子を示す。図2に示した例では、ユーザUの視線は、線A1aで示される方向を向いており、検出部11は線A1aの方向を視線方向として検出する。検出された視線方向は、線A2で示される所定の方向(すなわち鉛直下向きの方向)とは直角で交差している。この場合、画像提供装置100は、設定された視線方向と所定方向とのなす角度(θ)を90°と検出する。
図3には、ユーザUがやや下方向を向いている場合の様子を示す。図3に示した例では、ユーザUの視線は、線A1bで示される方向を向いており、検出部11は線A1bの方向を視線方向として検出する。検出された視線方向は、線A2で示される所定の方向とは角度θで交差している。この場合、画像提供装置100は、設定された視線方向と所定方向とのなす角度をθと検出する。
画像提供装置100は、検出された角度θをもとに、ズーム率を設定する。ここで、画像提供装置100が、検出された角度θが小さいほど、ズーム率を大きく設定することにより、ユーザUが足元に近い方向を見ている場合には、水平方向を見ている場合に比べて拡大された画像をディスプレイ192に表示する。
一般に、ユーザUが視線を足元付近に向けた場合には、ユーザUの視界に映る世界は心理的に狭くなる。これは、視野の中にある事物が近くのものばかりになること、および、目のレンズ体の焦点効果が、近くなるために短くなること等に基づく心理的効果である。そのため、ユーザUが足元を見た場合に、水平方向と同じズーム率でトリミングされた画像を見た場合には、ユーザUは、自分が床から浮いているかのように錯覚し、また違和感を覚えることがあった。
本実施の形態に係る画像提供装置100は、ユーザUの視線方向と所定の方向(鉛直下向きの方向)とのなす角度θに応じたズーム率を設定し、設定されたズーム率によって全周囲画像データから画像の一部をトリミングして表示する。そのため、ユーザUが足元方向を見た場合には、画像を拡大して表示することにより、ユーザに与える違和感を低減することができる。
画像提供装置100は、図4に示す画像提供処理を実行することにより、ディスプレイ192に画像を表示する。画像提供装置100は、ユーザUがヘッドマウントディスプレイ190を装着し、電源を入れることを契機に画像提供処理を開始する。ここから、図4を参照し、画像提供処理について説明する。
画像提供処理の最初に、画像提供装置100は、全周囲画像データを取得する(ステップS11)。画像提供装置100は、全周囲画像データ21として記録されている画像を読み出す。
次に画像提供装置100は、読み出した全周囲画像データにおける初期の視線方向を設定する(ステップS12)。画像提供装置100は、検出部11により、ヘッドマウントディスプレイ190が向いている方向を検出し、検出した方向に対応する視線方向を設定する。または、全周囲画像データに初期値として設定されている方向を最初の視線方向として設定してもよい。
次に画像提供装置100は、ヘッドマウントディスプレイ190の向き、または向きの変化を検出する(ステップS13)。画像提供装置100は、検出部11の動作により、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。
次に画像提供装置100は、検出した向きまたは向きの変化に応じて、全周囲画像データにおける視線方向を設定する(ステップS14)。画像提供装置100は、検出した向きまたは向きの変化と、前回設定した視線方向との対応づけに基づいて、新たに全周囲画像データに対する視線方向を設定する。
次に画像提供装置100は、設定した視線方向と、所定の方向との角度差θを算出する(ステップS15)。画像提供装置100は、ステップS14で設定した視線方向と、あらかじめ定められている所定の方向との角度差を算出し、θとして記録する。
次に画像提供装置100は、算出した角度差θに基づいて、ズーム率を設定する(ステップS16)。画像提供装置100は、ステップS15で算出したθと、ズーム率を算出するための対応付けとに基づいてズーム率を設定する。
次に画像提供装置100は、全周囲画像データから、視線方向の画像をトリミングする(ステップS17)。画像提供装置100は、全周囲画像データから、ステップS14で設定した方向の画像を、ステップS16で算出したズーム率で抽出する。
次に画像提供装置100は、ステップS17で抽出した画像をディスプレイ192に表示する(ステップS18)。ステップS18で、ヘッドマウントディスプレイ190の向きに応じた画像がディスプレイ192に表示される。
ステップS18を終えると、画像提供装置100は、終了条件が満たされているか判定する(ステップS19)。満たされていないと判定する(ステップS19:NO)と、画像提供装置100は処理をステップS13に戻し、以降、再び向きの検出と画像の表示を行う。満たされたと判定する(ステップS19:YES)と、画像提供装置100は画像提供処理を終了する。
画像提供装置100が設定するズーム率と、角度差θの関係の一例を図5に示す。この図では、横軸にθ、縦軸にはそれに対応するズーム率が設定されており、ズーム率の値を示す関数がF1で示されている。
図5に示した例では、θが90°以上の場合(すなわち、ユーザUの視線方向が水平よりも上向きの場合)、および、θが90°以下、所定の角度P以上の場合(図中、θがR2で表示される領域にある場合)、画像提供装置100は、ズーム率として1を設定する。すなわち、ユーザUが足元付近の方向よりも上の方を見ている場合には、画像提供装置100は、全周囲画像データから画像をトリミングする際には、拡大も縮小も行わない。
θが所定の角度Pよりも小さい場合(図中、θがR1で表示される領域にある場合)には、画像提供装置100は、ズーム率を1より大きい値に設定する。さらに、θがR1で表示される領域にある場合には、θが小さいほど大きなズーム率を設定する。すなわち、ユーザUが足元に近い方向を見ている場合には、画像提供装置100は、全周囲画像データから画像をトリミングする際に、画像を拡大してトリミングする。さらに、ユーザUの視線方向が真下に近いほど、画像を拡大する度合いを大きくする。このようにすることで、画像提供装置100は、ユーザに与える違和感の小さい画像提供を実現することができる。
画像提供装置100が提供する画像(すなわちディスプレイ192に表示される画像)の具体的な内容について、図7−図9を参照して説明する。図7は、全周囲画像データ21に記録されているオブジェクト(オブジェクトAおよびB)を仮想空間に表現したものである。オブジェクトAは、仮想空間に存在する直方体状の物体である。オブジェクトBは、オブジェクトAよりもサイズが小さく、かつ、ユーザUに近い位置に存在する球形の物体である。
ユーザUの視線が水平方向(図7において線A1cで示される方向)を向いている場合には、画像提供装置100は、図8に示す画像をディスプレイ192の画面101aに表示する。図8に示す画像においては、オブジェクトAおよびオブジェクトBが画像上に表現されている。
ユーザUの視線が、足元に近い方向(図7において線A1dで示される方向)を向いている場合には、画像提供装置100は、図9に示す画像をディスプレイ192の画面101bに表示する。図9に示す画像においても、オブジェクトAおよびオブジェクトBが画像上に表現されている。ここで、図9において表現されているオブジェクト(オブジェクトAおよびB)は、それぞれ、図8で表現されているオブジェクトAおよびBのイメージのサイズよりも大きく表現される。これは、画像提供装置100が、ユーザUの視線方向が所定方向(足元方向)に近い場合には、より大きなズーム率を設定したうえで全周囲画像からのトリミングを行うためである。
ここまで、画像提供装置100が、ユーザUの視線方向と、全周囲画像における所定方向とのなす角度に応じたズーム率によって、全周囲画像の一部をトリミングしてズームする形態について説明した。しかし、本実施の形態に係る画像提供装置100はこれに限られず、例えば、全周囲画像における奥行、すなわち、ユーザUの目から、全周囲画像に記録されている物体への距離に応じたズーム率によってトリミングするものであってもよい。
具体的には、画像提供装置100が取り扱う全周囲画像データが、視線方向ごとのピントの調整量(視線方向ごとに、ユーザUの目から、全周囲画像において記録されている物体への距離を示す指標)を含むものであってもよい。この場合、全周囲画像データは、単に視線方向ごとのイメージだけでなく、その画像におけるピントの調整量を示すデータを保有する。
画像提供装置100は、画像提供処理のステップS14で全周囲画像データに対する視線方向を設定すると、合わせてその方向における全周囲画像データでのピントの調整量を示すデータを取得する。その後、取得したピントの調整量を示すデータに基づいてズーム率を設定する。
ピントの調整量と、それに基づいて設定されるズーム率の例を図6に示す。図6の関数F2に示された例では、ピントの調整量が一定の値L以下である領域(図中、R3で示される領域)にある場合には、ズーム率は1と設定されている。画像提供装置100は、ピントの調整量がR3で示される領域にある場合には、トリミングにおいて拡大も縮小も行わない。一方、ピントの調整量が一定の値Lを超える領域(図中、R4で示される領域)にある場合には、ズーム率は1よりも大きな値が設定されており、さらにピントの調整量が大きくなるほどズーム率が大きくなるように設定されている。画像提供装置100は、ピントの調整量がR4で示される領域にある場合には、ピントの調整量が大きいほど、大きなズーム率を用いて全周囲画像からのトリミングを行う。
画像提供装置100がこのような処理を行うことで、ユーザUは、全周囲画像のうちピントの調整量が小さい領域を見ている範囲では、頭の方向を変えてもズーム率の変動がないまま画像を見ることができる。一方、ユーザUが、全周囲画像のうちピントの調整量が大きい領域を見る場合、ディスプレイ192には、視線方向に設定されたピントの調整量に応じて拡大された画像が投影される。
一般に、ピントの調整量が小さい領域とは、全周囲画像において、ユーザUに近い場所が撮影されている領域である。ユーザUに近いものは全周囲画像においても大きく記録されているため、ズーム率を変えずともユーザUにとっては容易に見ることができるものである。
それに対し、ピントの調整量が大きい領域とは、全周囲画像において、ユーザUから遠い場所が撮影されている領域である。そのため、全周囲画像においても物体が小さく記録されているため、ユーザUから見ると外観をとらえにくくなりがちである。画像提供装置100は、ピントの調整量が大きい領域では画像を拡大して表示することで、ユーザUが、画像において距離のある物体をよく視認できるようにすることができる。
また、画像提供装置100は、関数F2に示した例とは逆に、ピントの調整量が大きい領域(R4で示される領域)では、ズーム率を1よりも小さな値に設定してもよい。その場合、図6の関数F3で示されるように、R4で示される領域では、ピントの調整量が大きくなるほどズーム率が小さくなるように設定されている。なお、関数F3で示される例では、ズーム率はR3で示される領域では1と設定されている。
このようにズーム率を設定した場合、画像提供装置100は、ピントの調整量が大きい領域では、小さなズーム率を用いてトリミングした画像をディスプレイ192に表示する。これは、ユーザUが、遠い場所が撮影されている領域に視線を向けた場合には、ディスプレイ192に、より広範囲が含まれる画像を表示することになる。これにより、ユーザUに、より奥行きを感じさせることができる。
さらに、画像提供装置100は、ユーザUの身長を示すデータを保有し、そのデータの示す数値に応じてズーム率に調整を加えるものであってもよい。この場合、画像提供装置100は、ユーザUにより入力された数値を用いるものであってもよい。また、ヘッドマウントディスプレイ190の床からの高さを検出する機構を備え、検出された数値を用いるものであってもよい。
ユーザUの身長を示すデータによりズーム率を調整する場合、いろいろな形態が考えられる。例えば、図5において示したズーム率を設定する関数F1を導出するうえで、身長を示すデータを用いてもよい。例えば、基準となる身長として170cmと規定し、ユーザUの身長をcmで表した数値をH1としたうえで、所定の関数を(H1/170)倍することによりズーム率を算出する関数としてもよい。
本発明の実施形態にかかるサーバ装置は、専用のシステムによらず、通常のコンピュータシステムを用いても実現可能である。例えば、コンピュータに、上記動作を実行するためのプログラムを、フレキシブルディスク、CD−ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、MO(Magnet Optical disk)などのコンピュータ読取可能な記憶媒体に記憶して配布し、これをコンピュータシステムにインストールすることにより、上述の処理を実行するソースプログラム解析システムを構成しても良い。さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを記憶しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
また、本発明の実施形態に係る画像提供装置は、1台で実現されるものに限定されない。複数のコンピュータが上述した各部の機能を分担することにより、それらの複数のコンピュータからなる一つのシステムとして各機能を提供するものであってもよい。
ここまで本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
11: 検出部
12: 方向設定部
13: 抽出部
14: 表示部
21: 全周囲画像データ
100: 画像提供装置
101: 画面
190: 視界を覆うディスプレイ
191: センサ
192: ディスプレイ
U: ユーザ

Claims (9)

  1. 視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
    前記ディスプレイの向きもしくは向きの変化を検出し、
    前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
    前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
    前記取得されたズーム画像を前記ディスプレイに表示し、
    前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向である
    ことを特徴とする画像提供装置。
  2. 前記設定された方向と、前記全周囲画像における所定方向とのなす角度が小さいほど、大きな前記ズーム率によって前記全周囲画像の一部をトリミングしてズームする、
    ことを特徴とする請求項1に記載の画像提供装置。
  3. 視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
    前記ディスプレイの向きもしくは向きの変化を検出し、
    前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
    前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
    前記取得されたズーム画像を前記ディスプレイに表示し、
    前記角度、および、前記ディスプレイを装着するユーザの身長を示す数値に応じた前記ズーム率によって、前記全周囲画像において前記設定された方向に位置する領域をトリミングしてズームする、
    ことを特徴とする画像提供装置。
  4. 視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
    前記ディスプレイの向きもしくは向きの変化を検出し、
    前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
    前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
    前記取得されたズーム画像を前記ディスプレイに表示し、
    前記ディスプレイの高さを検出し、
    前記角度、および、前記検出された高さに応じた前記ズーム率によって、前記全周囲画像において前記設定された方向に位置する領域をトリミングしてズームする、
    ことを特徴とする画像提供装置。
  5. 視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、前記全周囲画像は、前記全周囲画像の各領域に撮影された物体への距離を表す量が当該各領域に対する方向について記録されたものであり、
    前記画像提供装置は、
    前記ディスプレイの向きもしくは向きの変化を検出し、
    前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
    前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向について前記記録された量に応じたズーム率によって、トリミングしてズームしたズーム画像を取得し、
    前記取得されたズーム画像を前記ディスプレイに表示する
    ことを特徴とする画像提供装置。
  6. 前記量は、前記各領域に対する方向に対するピントの調整量である
    ことを特徴とする請求項5に記載の画像提供装置。
  7. 視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供方法であって、
    画像提供装置が、前記ディスプレイの向きもしくは向きの変化を検出し、
    前記画像提供装置が、前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
    前記画像提供装置が、前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
    前記画像提供装置が、前記取得されたズーム画像を前記ディスプレイに表示し、
    前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向である
    ことを特徴とする画像提供方法。
  8. 視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムであって、
    前記コンピュータに、
    前記ディスプレイの向きもしくは向きの変化を検出する検出手順、
    前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定する設定手順、
    前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
    前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
    を実行し、
    前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向である
    プログラム。
  9. 視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体であって、
    前記コンピュータに、
    前記ディスプレイの向きもしくは向きの変化を検出する検出手順、
    前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定する設定手順、
    前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
    前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
    を実行し、
    前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向である
    プログラムを記録した情報記録媒体。
JP2017563271A 2016-11-02 2016-11-02 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Active JP6356928B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082600 WO2018083757A1 (ja) 2016-11-02 2016-11-02 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Publications (2)

Publication Number Publication Date
JP6356928B1 true JP6356928B1 (ja) 2018-07-11
JPWO2018083757A1 JPWO2018083757A1 (ja) 2018-11-01

Family

ID=62075866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017563271A Active JP6356928B1 (ja) 2016-11-02 2016-11-02 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Country Status (3)

Country Link
US (1) US10783853B2 (ja)
JP (1) JP6356928B1 (ja)
WO (1) WO2018083757A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020088843A (ja) * 2018-11-21 2020-06-04 株式会社リコー 撮像システム、端末及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165840A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 端末装置、プログラム、及び情報処理装置
JP2015095045A (ja) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP2016024751A (ja) * 2014-07-24 2016-02-08 シャープ株式会社 画像表示装置
WO2016092950A1 (ja) * 2014-12-11 2016-06-16 ソニー株式会社 医療用眼鏡型表示装置、情報処理装置及び情報処理方法
JP6043408B1 (ja) * 2015-07-10 2016-12-14 株式会社アイエスエム 疑似体験システム、疑似体験方法、ポータブルデバイスおよびその疑似体験プログラム
US20160366392A1 (en) * 2014-02-26 2016-12-15 Sony Computer Entertainment Europe Limited Image encoding and display

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988872B1 (ko) * 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
JP5594850B2 (ja) 2012-08-17 2014-09-24 独立行政法人理化学研究所 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
JP6708213B2 (ja) * 2015-08-12 2020-06-10 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165840A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 端末装置、プログラム、及び情報処理装置
JP2015095045A (ja) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US20160366392A1 (en) * 2014-02-26 2016-12-15 Sony Computer Entertainment Europe Limited Image encoding and display
JP2016024751A (ja) * 2014-07-24 2016-02-08 シャープ株式会社 画像表示装置
WO2016092950A1 (ja) * 2014-12-11 2016-06-16 ソニー株式会社 医療用眼鏡型表示装置、情報処理装置及び情報処理方法
JP6043408B1 (ja) * 2015-07-10 2016-12-14 株式会社アイエスエム 疑似体験システム、疑似体験方法、ポータブルデバイスおよびその疑似体験プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020088843A (ja) * 2018-11-21 2020-06-04 株式会社リコー 撮像システム、端末及びプログラム
JP7234802B2 (ja) 2018-11-21 2023-03-08 株式会社リコー 撮像システム、端末及びプログラム

Also Published As

Publication number Publication date
US10783853B2 (en) 2020-09-22
WO2018083757A1 (ja) 2018-05-11
JPWO2018083757A1 (ja) 2018-11-01
US20190371278A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
US10009542B2 (en) Systems and methods for environment content sharing
US8441435B2 (en) Image processing apparatus, image processing method, program, and recording medium
EP2813922B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
CN112292657B (zh) 围绕布景进行移动
US20210004081A1 (en) Information processing apparatus, information processing method, and program
CN205195880U (zh) 观看设备及观看系统
CN107209949B (zh) 用于产生放大3d图像的方法和系统
CN106168855B (zh) 一种便携式mr眼镜、手机和mr眼镜系统
US20120127203A1 (en) Mixed reality display
CN113168235A (zh) 注视驱动的视频录制
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
US20120127302A1 (en) Mixed reality display
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
US11212502B2 (en) Method of modifying an image on a computational device
US20240297962A1 (en) Display control device, display control method, and recording medium
WO2019144013A1 (en) Method and device for tailoring a synthesized reality experience to a physical setting
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
JP7527778B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
KR20210101027A (ko) 전자 장치 및 그 동작 방법
CN111279293A (zh) 计算设备上修改图像的方法
US20230244307A1 (en) Visual assistance
US20240155093A1 (en) Device, system, camera device, and method for capturing immersive images with improved quality
KR20220043106A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180614

R150 Certificate of patent or registration of utility model

Ref document number: 6356928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250