JP6636163B2 - 画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイス - Google Patents

画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイス Download PDF

Info

Publication number
JP6636163B2
JP6636163B2 JP2018536204A JP2018536204A JP6636163B2 JP 6636163 B2 JP6636163 B2 JP 6636163B2 JP 2018536204 A JP2018536204 A JP 2018536204A JP 2018536204 A JP2018536204 A JP 2018536204A JP 6636163 B2 JP6636163 B2 JP 6636163B2
Authority
JP
Japan
Prior art keywords
spherical
model
angle
horizontal
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018536204A
Other languages
English (en)
Other versions
JP2019512902A (ja
Inventor
志雄 余
志雄 余
曜 王
曜 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2019512902A publication Critical patent/JP2019512902A/ja
Application granted granted Critical
Publication of JP6636163B2 publication Critical patent/JP6636163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/10
    • G06T3/047
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • G06T3/18
    • G06T5/80

Description

関連出願
本出願は、その全体が参照により組み込まれる、2016年3月28日に出願された「IMAGE DISPLAY METHOD AND APPARATUS, AND GENERATING METHOD AND APPARATUS OF SHAPED CAMBERED CURTAIN」と題する中国特許出願第201610184479.8号の優先権を主張する。
本開示は、画像表示の分野に関し、詳細には、画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイスに関する。
頭部装着ディスプレイデバイスは、仮想現実技術における重要なハードウェアデバイスである。それは、リアルタイムでユーザの頭部方向を取得し、ユーザの目の方向でシーンを表示する。このプロセスでは、リアルタイムであること、および正確であることは、ユーザの没頭度に影響を与える2つの主な指標である。リアルタイムであることは、ユーザの視野方向の画像レンダリングを完結させることと、レンダリングされた画像を極めて短い時間で表示することとを意味する。正確であることは、以下を意味する。1.ユーザによって見られる画像が、事前知識、たとえば、地面が平坦であり、壁がまっすぐであることと合致する必要がある。2.画像のピクセルが整合していて、ユーザが頭部を回すときに、ユーザによって見られる画像が平面上にあり、画像の中心が近く周辺が遠い(または画像の中心が遠く周辺が近い)という異常な影響がない。
パノラマまたは広角ピクチャの収集デバイスは魚眼または広角レンズを使用するので、収集された元の画像は、かなりのレンズ歪みを受けている。そのような歪められたピクチャは、直接レンダリングされ人間の目に表示されるのには適しておらず、レンズ歪み対策動作が実行される必要がある。
従来の頭部装着ディスプレイデバイスは、2つの方法で画像を表示する。1つは、元の歪められた画像を幕上に直接レンダリングすることであり、これにより、画像処理プロセスが減り、表示速度が加速する。だが、頭部装着ディスプレイデバイスを使用することによってユーザによって見られるシーンは、実際のシナリオにおいて見られるシーンと整合せず、正確性が低下する。もう1つの方法は、より低い視角で撮影デバイスを使用することによって元の画像を収集することである。より低い視角に対応するレンズに対して歪み対策補正が実行されなくても、画像の正確性は維持され得る。だが、一般に、頭部装着ディスプレイデバイスの有効視角(effective visual angle)は80度を上回っており、通常の表示状態において、撮影デバイスのレンズ角度が頭部装着ディスプレイデバイスの有効視角を下回る場合には、画像境界がユーザによって見られる。図1に示すように、画像表示効果は芳しくない。
本出願の様々な実施形態によれば、画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイスが提供される。
画像表示方法は、以下を含む。
元の歪められた画像を取得するステップ、
撮影されたピクチャと同じアスペクト比を共有する方形投影モデルを確立するステップ、
成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行するステップ、
撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む(inscribe)ステップであって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、ステップ、
球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトするステップ、
画像レンダリングを完結させるために、成形そり幕を満たすように元の歪められた画像を引き伸ばすステップ、ならびに
レンダリングされた画像を表示するステップ。
成形そり幕を生成する方法は、以下を含む。
撮影されたピクチャと同じアスペクト比を共有する方形投影モデルを確立するステップ、
成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行するステップ、
撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻むステップであって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、ステップ、ならびに
球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトするステップ。
頭部装着ディスプレイデバイスは、メモリおよびプロセッサを含み、メモリは、コンピュータ可読命令を記憶し、プロセッサによって実行されたとき、命令は、プロセッサに以下の動作を実行させる。
撮影されたピクチャと同じアスペクト比を共有する方形投影モデルを確立するステップ、
成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行するステップ、
撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻むステップであって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、ステップ、
球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトするステップ、
画像レンダリングを完結させるために、成形そり幕を満たすように元の歪められた画像を引き伸ばすステップ、ならびに
レンダリングされた画像を表示するステップ。
頭部装着ディスプレイデバイスは、メモリおよびプロセッサを含み、メモリは、コンピュータ可読命令を記憶し、プロセッサによって実行されたとき、命令は、プロセッサに以下の動作を実行させる。
撮影されたピクチャと同じアスペクト比を共有する方形投影モデルを確立するステップ、
成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行するステップ、
撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻むステップであって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、ステップ、ならびに
球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトするステップ。
本出願の1つまたは複数の実施形態の詳細は、以下の添付の図面および説明において提供される。本開示の他の特徴、目的、および利点は、本明細書、添付の図面、および特許請求の範囲において明らかになる。
本出願の実施形態または既存の技術における技術的解決策についてより明確に説明するために、以下では、実施形態または既存の技術について説明するために必要な添付の図面について簡単に説明する。明らかに、以下の説明における添付の図面は、本出願のいくつかの実施形態を示しているにすぎず、当業者は依然として、創造的努力なしにこれらの添付の図面から他の図面を導出できよう。
撮影デバイスの視角および頭部装着ディスプレイの視角の関係図である。 一実施形態による頭部装着ディスプレイデバイスの内部構造の概略図である。 一実施形態による頭部装着ディスプレイデバイスの画像表示のフローチャートである。 一実施形態による画像表示方法のフローチャートである。 歪み対策によって方形平面幕が成形平面幕に変更される概略図である。 元の歪められた画像および歪み対策が実行された後に取得された画像の概略図である。 一実施形態による撮影レンズの画角によって成形投影モデルを拡大縮小する概略図である。 一実施形態による成形投影モデルの4つの側面を貫通するように球形中心から無数の光線を放射する概略図である。 球形幕からインターセプトされた部分の概略図である。 一実施形態による画像が球形化された後に視野が変更されるプロセスの概略図である。 一実施形態による成形そり幕を生成する方法のフローチャートである。 一実施形態による画像表示装置の構造ブロック図である。 一実施形態による成形そり幕を生成する装置の構造ブロック図である。
本開示の目的、技術的解決策、および利点をより明確でよりわかりやすくするために、以下ではさらに、添付の図面および実施形態を参照しながら本開示について詳細に説明する。本明細書で説明する特定の実施形態は、本開示を説明するために使用されるにすぎず、本開示を限定するものではないことを理解されたい。
図2は、一実施形態による頭部装着ディスプレイデバイスの内部構造の概略図である。図2に示すように、頭部装着ディスプレイデバイスは、システムバスを使用することによって接続されるプロセッサ、不揮発性記憶媒体、メモリ、音収集装置、ディスプレイスクリーン、および入力装置を含む。頭部装着ディスプレイデバイスの不揮発性記憶媒体は、オペレーティングシステムを記憶し、コンピュータ可読命令をさらに記憶する。コンピュータ可読命令は、画像表示方法を実現するように実行される。プロセッサは、端末全体の実行をサポートする計算および制御機能を提供するように構成される。頭部装着ディスプレイデバイスのメモリは、不揮発性記憶媒体におけるコンピュータ可読命令の実行のための環境を提供する。頭部装着ディスプレイデバイスのディスプレイスクリーンは、液晶ディスプレイスクリーンまたは電子インクディスプレイスクリーンなどであり得る。入力装置は、ディスプレイスクリーンを覆うタッチレイヤであり得るか、またはサーバハウジング上に配設されたボタン、トラックボールもしくはタッチパッドであり得るか、または外部のキーボード、タッチパッド、マウスなどであり得る。頭部装着ディスプレイデバイスは、頭部装着ディスプレイなどであり得る。図2に示す構造では、本出願における解決策に関係する一部分の構造のブロック図のみが示されており、本出願における解決策が適用される端末に限定するものとはならないことを、当業者は理解できよう。詳細には、端末は、図に示す構成要素よりも多くの構成要素または少ない構成要素を含み得るか、またはいくつかの構成要素が組み合わせられ得るか、または異なる構成要素の配置が使用され得る。
図3は、一実施形態による頭部装着ディスプレイデバイスの画像表示の原理の概略図である。図3に示すように、撮影されたピクチャと同じアスペクト比を共有する方形投射モデルが確立され、撮影レンズのパラメータが収集され、カスタマイズされた幕を取得するために、撮影レンズの収集されたパラメータに従って方形投射モデルに対して歪み対策処理および球形化処理が実行され、カスタマイズされた幕が表示幕として使用され、画像およびビデオが表示される前に中央処理装置(CPU)によって1回処理され、レンダリングを完結させるために、表示幕を満たすようにグラフィック処理ユニット(GPU)を使用することによって、元の歪められた画像が引き伸ばされ、レンダリングされた画像が表示される。ビデオ撮影デバイスが変更されないという条件では、カスタマイズされた幕は変更されない。
図4は、一実施形態による画像表示方法のフローチャートである。図4に示すように、画像表示方法は、頭部装着ディスプレイデバイス上で実行され得、以下の動作を含む。
動作402。元の歪められた画像を取得する。
この実施形態では、カメラなどの収集デバイスを使用することによって、画像が収集される。カメラなどの収集デバイスは魚眼または広角レンズを使用し、収集された元の画像はかなりのレンズ歪みを受けているので、この画像が元の歪められた画像である。
動作404。撮影されたピクチャと同じアスペクト比を共有する方形投影モデルを確立する。
この実施形態では、撮影されたピクチャは、表示される必要がある材料である。撮影されたピクチャのアスペクト比は、4:3または16:9など、ピクチャの高さのピクセル数に対するピクチャの幅のピクセル数の比率である。方形投影モデルは、方形平面幕であり得る。撮影されたピクチャと同じアスペクト比を共有する方形投影モデルが確立され、方形投影モデルに従って球形モデルに画像が投影されるとき、画像はアスペクト比の歪みを受けない。したがって、画像の正確さが保証される。
動作406。成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行する。
この実施形態では、成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行するステップは、撮影された歪められた画像を修復し、内容の歪められた境界が方形である画像を、内容が歪められた境界変換を含まない画像に変更するステップである。方形投影モデルは、方形平面幕であり得る。
成形投影モデルを取得するために、歪み対策アルゴリズムを使用することによって、方形投影モデルが処理される。歪み対策アルゴリズムを使用することによって実行される処理のプロセスは、座標変換およびグレースケール再構成を含む。座標変換は、歪められた画像からターゲット画像への前方マッピング方法およびターゲット画像から歪められた画像への後方マッピング方法に分類され得る。グレースケール再構成の方法は、最近隣補間、二重線形補間、および3次畳み込み補間を含む。歪み対策アルゴリズムにおいて、既存の歪み補正アルゴリズムが使用される。
図5は、歪み対策によって方形平面幕が成形平面幕に変更される概略図である。図5に示すように、方形平面幕の境界は成形平面幕の境界に変化する。
図6は、元の歪められた画像および歪み対策が実行された後に取得された画像の概略図である。図6に示すように、第1の画像は、元の歪められた画像であり、第2の画像、すなわち、歪み対策が実行された後に取得される画像を取得するために、元の歪められた画像に対して歪み対策処理が実行される。
動作408。撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻み、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である。
この実施形態では、撮影レンズの水平画角および垂直画角は、撮影レンズの設計材料を使用することによって個別に取得され得る。成形投影モデルは、成形平面幕であり得る。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、以下を含む。
球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの水平画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの水平中心線が、コードに対応する、水平画角に等しい球形中心角となるようにするステップ。
レンズ歪み対策が実行された後、撮影レンズの水平画角および垂直画角が等しく配分される、すなわち、垂直画角および成形投影モデルの垂直中心線を使用することによって、拡大縮小されたモデルおよび水平方向の等しいサイズが制限される。ある角度で画像が投影されるので、確立された球形モデルのサイズは制限されなくてよい。すなわち、半径が大きい場合、画像の投影も等しく拡大され、半径が小さい場合、画像の投影は等しく縮小される。しかしながら、投影された画像の球形中心角は同じであり、球形中心角から見られる画像も同じである。図7は、一実施形態による撮影レンズの画角によって成形投影モデルを拡大縮小する概略図である。図7に示すように、撮影レンズの水平画角に従って成形投影モデルが等しく拡大縮小され、それにより、成形投影モデルの水平中心線が、コードに対応する、ちょうど撮影レンズの水平画角である球形中心角となり、垂直中心線が、コードに対応する、撮影レンズの垂直画角である球形中心角となる。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、以下を含む。
球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、垂直画角に等しい球形中心角となるようにするステップ。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、球形中心角に対応する、垂直画角に等しいコードとなるようにするステップを含む。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの水平画角に従って球形モデルを等しく拡大縮小し、それにより、成形投影モデルの水平中心線が、コードに対応する、水平画角に等しい球形中心角となるようにするステップを含む。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って球形モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、水平画角に等しい球形中心角となるようにするステップを含む。
動作410。球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトする。
一実施形態では、球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトする動作は、(1)および(2)を含む。
(1)球形モデルの球形中心から、ホーンの口と同様の円錐を作るために成形投影モデルの4つの側面につながるように複数の光線を放射する。
図8は、一実施形態による成形投影モデルの4つの側面を貫通するように球形中心から無数の光線を放射する概略図である。図8に示すように、ホーンの口と同様の円錐を作るために、成形投影モデルの4つの側面を貫通するように球形中心から無数の光線が放射される。
(2)球形モデルの球形表面と交差するように、球形モデルのラジアル方向に沿ってホーンの口を伸張し、球形モデルの一部分をインターセプトし、球形モデルのインターセプトされた部分を成形そり幕として使用する。
図9は、球形幕からインターセプトされた部分の概略図である。図9に示すように、球形モデルの球形表面と交差するように、球形モデルのラジアル方向に沿ってホーンの口が伸張され、球形モデルの一部分がインターセプトされ、球形モデルのインターセプトされた部分が成形そり幕として使用され、視角が球形中心にあるとき、球形モデルの境界によって形成された見られる形状が、成形投影モデルと同じになるべきである。成形そり幕を満たすように元の歪められた画像が引き伸ばされる、すなわち、撮影レンズ歪み対策および球形化マッピングが画像に対して実行され、画像レンダリングタスクも完結する。
図10は、一実施形態による画像が球形化された後に視野が変更されるプロセスの概略図である。図10に示すように、球形化マッピングが画像に対して実行された後、視野が同様に変化したとき、画像マッピング距離は変わっていない。図10では、中空実線は中空点線と同じである。
動作412。画像レンダリングを完結させるために、成形そり幕を満たすように元の歪められた画像を引き伸ばす。
この実施形態では、画像レンダリングを完結させるために、成形そり幕を満たすように元の歪められた画像が引き伸ばされる。
動作414。レンダリングされた画像を表示する。
前述の画像表示方法では、歪み対策処理および球形化マッピング処理が実行された後、すなわち、元の歪められた画像に対して歪み対策および球形化マッピング処理が実行された後に取得された成形そり幕を満たすように元の歪められた画像が引き伸ばされた後、画像レンダリングが完結し、表示された画像が正確でリアルタイムであり、球形化マッピングの後、視野も変化したとき、画像マッピング距離は変わっていない。
画像表示方法が他のディスプレイデバイスにさらに適用されてよいことに留意されたい。
図11は、一実施形態による成形そり幕を生成する方法のフローチャートである。図11に示すように、成形そり幕を生成する方法は、以下の動作を含む。
動作1102: 撮影されたピクチャと同じアスペクト比を共有する方形投影モデルを確立する。
この実施形態では、撮影されたピクチャは、表示される必要がある材料である。撮影されたピクチャのアスペクト比は、4:3または16:9など、ピクチャの高さのピクセル数に対するピクチャの幅のピクセル数の比率である。方形投影モデルは、方形平面幕であり得る。撮影されたピクチャと同じアスペクト比を共有する方形投影モデルが確立され、方形投影モデルに従って球形モデルに画像が投影されるとき、画像はアスペクト比の歪みを受けない。したがって、画像の正確さが保証される。
動作1104: 成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行する。
この実施形態では、成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行するステップは、撮影された歪められた画像を修復し、内容の歪められた境界が方形である画像を、内容が歪められた境界変換を含まない画像に変更するステップである。方形投影モデルは、方形平面幕であり得る。
成形投影モデルを取得するために、歪み対策アルゴリズムを使用することによって、方形投影モデルが処理される。歪み対策アルゴリズムを使用することによって実行される処理のプロセスは、座標変換およびグレースケール再構成を含む。座標変換は、歪められた画像からターゲット画像への前方マッピング方法およびターゲット画像から歪められた画像への後方マッピング方法に分類され得る。グレースケール再構成の方法は、最近隣補間、二重線形補間、および3次畳み込み補間を含む。歪み対策アルゴリズムにおいて、既存の歪み補正アルゴリズムが使用される。
動作1106: 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻み、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である。
この実施形態では、撮影レンズの水平画角および垂直画角は、撮影レンズの設計材料を使用することによって個別に取得され得る。成形投影モデルは、成形平面幕であり得る。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、以下を含む。
球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの水平画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの水平中心線が、コードに対応する、水平画角に等しい球形中心角となるようにするステップ。
レンズ歪み対策が実行された後、撮影レンズの水平画角および垂直画角が等しく配分される、すなわち、垂直画角および成形投影モデルの垂直中心線を使用することによって、拡大縮小されたモデルおよび水平方向の等しいサイズが制限される。ある角度で画像が投影されるので、確立された球形モデルのサイズは制限されなくてよい。すなわち、半径が大きい場合、画像の投影も等しく拡大され、半径が小さい場合、画像の投影は等しく縮小される。しかしながら、投影された画像の球形中心角は同じであり、球形中心角から見られる画像も同じである。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、以下を含む。
球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、垂直画角に等しい球形中心角となるようにするステップ。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、垂直画角に等しい球形中心角となるようにするステップを含む。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの水平画角に従って球形モデルを等しく拡大縮小し、それにより、成形投影モデルの水平中心線が、コードに対応する、水平画角に等しい球形中心角となるようにするステップを含む。
一実施形態では、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻む動作であって、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である、動作は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って球形モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、水平画角に等しい球形中心角となるようにするステップを含む。
動作1108: 球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトする。
一実施形態では、球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトする動作は、球形モデルの球形中心から、ホーンの口と同様の円錐を作るために成形投影モデルの4つの側面につながるように複数の光線を放射するステップと、球形モデルの球形表面と交差するように、球形モデルのラジアル方向に沿ってホーンの口を伸張し、球形モデルの一部分をインターセプトし、球形モデルのインターセプトされた部分を成形そり幕として使用するステップとを含む。
成形そり幕を生成する前述の方法では、撮影されたピクチャと同じアスペクト比を共有する方形投射モデルが確立され、成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理が実行され、成形投影モデルが球形モデルに刻まれ、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角であり、光線が、成形投影モデルの4つの側面を貫通するように球形中心から放射され、球形モデルに伸張され、成形そり幕を取得するために球形モデルの球形表面がインターセプトされる。成形そり幕は、歪められた画像を補正するために、画像に対して歪み対策および球形化処理を実行することができ、成形そり幕を通した画像は正確でリアルタイムであり、計算は少なくなる。図12は、一実施形態による画像表示装置の構造ブロック図である。図12に示すように、画像表示装置は、取得モジュール1202、確立モジュール1204、歪み対策処理モジュール1206、球形モデル確立モジュール1208、球形化処理モジュール1210、レンダリングモジュール1212、および表示モジュール1214を含む。
取得モジュール1202は、元の歪められた画像を取得するように構成される。
確立モジュール1204は、撮影されたピクチャと同じアスペクト比を共有する方形投影モデルを確立するように構成される。
歪み対策処理モジュール1206は、成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行するように構成される。
球形モデル確立モジュール1208は、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻むように構成され、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である。
球形化処理モジュール1210は、球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトするように構成される。
レンダリングモジュール1212は、画像レンダリングを完結させるために、成形そり幕を満たすように元の歪められた画像を引き伸ばすように構成される。
表示モジュール1214は、レンダリングされた画像を表示するように構成される。
前述の画像表示方法では、歪み対策処理および球形化マッピング処理が実行された後、すなわち、元の歪められた画像に対して歪み対策および球形化マッピング処理が実行された後に取得された成形そり幕を満たすように元の歪められた画像が引き伸ばされた後、画像レンダリングが完結し、表示された画像が正確でリアルタイムであり、球形化マッピングの後、視野も変化したとき、画像マッピング距離は変わっていない。
代替的に、球形モデル確立モジュール1208は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの水平画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの水平中心線が、コードに対応する、水平画角に等しい球形中心角となるようにさらに構成される。
代替的に、球形モデル確立モジュール1208は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、垂直画角に等しい球形中心角となるようにさらに構成される。
代替的に、球形モデル確立モジュール1208は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの水平画角に従って球形モデルを等しく拡大縮小し、それにより、成形投影モデルの水平中心線が、コードに対応する、水平画角に等しい球形中心角となるようにさらに構成される。
代替的に、球形モデル確立モジュール1208は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って球形モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、水平画角に等しい球形中心角となるようにさらに構成される。
球形化処理モジュール1210は、球形モデルの球形中心から、ホーンの口と同様の円錐を作るために成形投影モデルの4つの側面につながるように複数の光線を放射することと、球形モデルの球形表面と交差するように、球形モデルのラジアル方向に沿ってホーンの口を伸張し、球形モデルの一部分をインターセプトし、球形モデルのインターセプトされた部分を成形そり幕として使用することとを行うようにさらに構成される。
図13は、一実施形態による成形そり幕をカスタマイズする装置の構造ブロック図である。図13に示すように、成形そり幕をカスタマイズする装置は、確立モジュール1302、歪み対策処理モジュール1304、球形モデル確立モジュール1306、および球形化処理モジュール1308を含む。図13におけるモジュールの機能は、図12における対応するモジュールの機能と同じである。
確立モジュール1302は、撮影されたピクチャと同じアスペクト比を共有する方形投影モデルを確立するように構成される。
歪み対策処理モジュール1304は、成形投影モデルを取得するために、方形投影モデルに対して歪み対策処理を実行するように構成される。
球形モデル確立モジュール1306は、撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、成形投影モデルを球形モデルに刻むように構成され、水平方向および垂直方向での成形投影モデルおよび球形モデルの交差によって形成される対応する方向の球形中心角が個別に撮影レンズの水平画角および垂直画角である。
球形化処理モジュール1308は、球形モデルの球形中心から、成形投影モデルの4つの側面につながるように光線を放射し、成形そり幕を取得するために球形モデルの球形表面をインターセプトするように構成される。
球形モデル確立モジュール1306は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの水平画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの水平中心線が、コードに対応する、水平画角に等しい球形中心角となるようにさらに構成される。
代替的に、球形モデル確立モジュール1306は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って成形投影モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、垂直画角に等しい球形中心角となるようにさらに構成される。
代替的に、球形モデル確立モジュール1306は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの水平画角に従って球形モデルを等しく拡大縮小し、それにより、成形投影モデルの水平中心線が、コードに対応する、水平画角に等しい球形中心角となるようにさらに構成される。
代替的に、球形モデル確立モジュール1306は、球形モデルを確立し、成形投影モデルを球形モデルのラジアル方向に直角に配置し、撮影レンズの垂直画角に従って球形モデルを等しく拡大縮小し、それにより、成形投影モデルの垂直中心線が、コードに対応する、水平画角に等しい球形中心角となるようにさらに構成される。
球形化処理モジュール1308は、球形モデルの球形中心から、ホーンの口と同様の円錐を作るために成形投影モデルの4つの側面につながるように複数の光線を放射することと、球形モデルの球形表面と交差するように、球形モデルのラジアル方向に沿ってホーンの口を伸張し、球形モデルの一部分をインターセプトし、球形モデルのインターセプトされた部分を成形そり幕として使用することとを行うようにさらに構成される。
当業者は、前述の実施形態における方法のプロセスの全部または一部が、関連するハードウェアに命令するコンピュータプログラムによって実装され得ることを理解できよう。プログラムは不揮発性コンピュータ可読記憶媒体に記憶され得る。プログラムが動作しているとき、実施形態における前述の方法のプロセスが実行される。記憶媒体は、磁気ディスク、光ディスク、読取り専用メモリ(ROM)などであってよい。
前述の実施形態は、本開示のいくつかの実装形態を示すにすぎず、詳細に説明されているが、本開示の特許範囲を限定するものと解釈されるべきではない。留意すべきこととして、当業者は、本開示の概念から離れることなく、様々な変更および改善を行うことができ、かかる変更および改善は本開示の保護範囲内に入るものとする。したがって、本開示の特許の保護範囲は、特許請求の範囲によるものとする。
1202 取得モジュール
1204 確立モジュール
1206 歪み対策処理モジュール
1208 球形モデル確立モジュール
1210 球形化処理モジュール
1212 レンダリングモジュール
1214 表示モジュール
1302 確立モジュール
1304 歪み対策処理モジュール
1306 球形モデル確立モジュール
1308 球形化処理モジュール

Claims (24)

  1. 元の歪められた画像を取得するステップと、
    撮影されたピクチャと同じアスペクト比をする矩形投影モデルを確立するステップと、
    成形投影モデルを取得するために、前記矩形投影モデルに対して歪み対策処理を実行するステップと、
    撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接するステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、ステップと、
    前記球形モデルの球心から、前記成形投影モデルの4つの側面につながるように半直線を放射し、成形そり幕を取得するために前記球形モデルの球形表面をインターセプトする(切り取る)ステップと、
    画像レンダリングを完結させるために、前記成形そり幕を満たすように前記元の歪められた画像を引き伸ばすステップと、
    レンダリングされた画像を表示するステップと
    を含む画像表示方法。
  2. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記水平画角に従って前記成形投影モデルを比例拡大縮小し、それにより、前記成形投影モデルの水平中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項1に記載の方法。
  3. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記垂直画角に従って前記成形投影モデルを比例拡大縮小し、それにより、前記成形投影モデルの垂直中心線を弦とする球形中心角を前記垂直画角に等しするステップ
    を含む、請求項1に記載の方法。
  4. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記水平画角に従って前記球形モデルを比例拡大縮小し、それにより、前記成形投影モデルの水平中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項1に記載の方法。
  5. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記垂直画角に従って前記球形モデルを比例拡大縮小し、それにより、前記成形投影モデルの垂直中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項1に記載の方法。
  6. 前記球形モデルの球心から、前記成形投影モデルの4つの側面につながるように半直線を放射し、前記成形そり幕を取得するために前記球形モデルの球形表面をインターセプトする(切り取る)ステップは、
    前記球形モデルの前記球心から、前記成形投影モデルの前記4つの側面につながる複数の半直線を放射することにより、ラッパ口のような錐体を確立するステップと、
    前記球形モデルの前記球形表面と交差するように、前記球形モデルのラジアル方向に沿って前記ラッパ口を伸ばし、前記球形モデルの一部をインターセプトし(切り取り)、前記インターセプトされた(切り取られた)球形モデルの一部を前記成形そり幕とするステップと
    を含む、請求項1に記載の方法。
  7. 成形そり幕を生成する方法であって、
    撮影されたピクチャと同じアスペクト比をする矩形投影モデルを確立するステップと、
    成形投影モデルを取得するために、前記矩形投影モデルに対して歪み対策処理を実行するステップと、
    撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接するステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、ステップと、
    前記球形モデルの球心から、前記成形投影モデルの4つの側面につながるように半直線を放射し、成形そり幕を取得するために前記球形モデルの球形表面をインターセプトする(切り取る)ステップと
    を含む方法。
  8. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記水平画角に従って前記成形投影モデルを比例拡大縮小し、それにより、前記成形投影モデルの水平中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項7に記載の方法。
  9. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記垂直画角に従って前記成形投影モデルを比例拡大縮小し、それにより、前記成形投影モデルの垂直中心線を弦とする球形中心角を前記垂直画角に等しするステップ
    を含む、請求項7に記載の方法。
  10. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記水平画角に従って前記球形モデルを比例拡大縮小し、それにより、前記成形投影モデルの水平中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項7に記載の方法。
  11. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記垂直画角に従って前記球形モデルを比例拡大縮小し、それにより、前記成形投影モデルの垂直中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項7に記載の方法。
  12. 前記球形モデルの球心から、前記成形投影モデルの4つの側面につながるように半直線を放射し、前記成形そり幕を取得するために前記球形モデルの球形表面をインターセプトする(切り取る)ステップは、
    前記球形モデルの前記球心から、前記成形投影モデルの前記4つの側面につながる複数の半直線を放射することにより、ラッパ口のような錐体を確立するステップと、
    前記球形モデルの前記球形表面と交差するように、前記球形モデルのラジアル方向に沿って前記ラッパ口を伸ばし、前記球形モデルの一部をインターセプトし(切り取り)、前記インターセプトされた(切り取られた)球形モデルの一部を前記成形そり幕とするステップと
    を含む、請求項7に記載の方法。
  13. メモリおよびプロセッサを含む頭部装着ディスプレイデバイスであって、前記メモリは、コンピュータ可読命令を記憶し、前記プロセッサによって実行されたとき、前記命令は、前記プロセッサに以下のステップ、すなわち、
    撮影されたピクチャと同じアスペクト比をする矩形投影モデルを確立するステップと、
    成形投影モデルを取得するために、前記矩形投影モデルに対して歪み対策処理を実行するステップと、
    撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接するステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、ステップと、
    前記球形モデルの球心から、前記成形投影モデルの4つの側面につながるように半直線を放射し、成形そり幕を取得するために前記球形モデルの球形表面をインターセプトする(切り取る)ステップと、
    画像レンダリングを完結させるために、前記成形そり幕を満たすように元の歪められた画像を引き伸ばすステップと、
    レンダリングされた画像を表示するステップと
    を実行させる、頭部装着ディスプレイデバイス。
  14. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記水平画角に従って前記成形投影モデルを比例拡大縮小し、それにより、前記成形投影モデルの水平中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項13に記載の頭部装着ディスプレイデバイス。
  15. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記垂直画角に従って前記成形投影モデルを比例拡大縮小し、それにより、前記成形投影モデルの垂直中心線を弦とする球形中心角を前記垂直画角に等しするステップ
    を含む、請求項13に記載の頭部装着ディスプレイデバイス。
  16. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記水平画角に従って前記球形モデルを比例拡大縮小し、それにより、前記成形投影モデルの水平中心線を弦とする球形中心角を前記水平画角に等しくするステップ
    を含む、請求項13に記載の頭部装着ディスプレイデバイス。
  17. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記垂直画角に従って前記球形モデルを比例拡大縮小し、それにより、前記成形投影モデルの垂直中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項13に記載の頭部装着ディスプレイデバイス。
  18. 前記球形モデルの球心から、前記成形投影モデルの4つの側面につながるように半直線を放射し、前記成形そり幕を取得するために前記球形モデルの球形表面をインターセプトする(切り取る)前記ステップは、
    前記球形モデルの前記球心から、前記成形投影モデルの前記4つの側面につながる複数の半直線を放射することにより、ラッパ口のような錐体を確立するステップと、
    前記球形モデルの前記球形表面と交差するように、前記球形モデルのラジアル方向に沿って前記ラッパ口を伸ばし、前記球形モデルの一部をインターセプトし(切り取り)、前記インターセプトされた(切り取られた)球形モデルの一部を前記成形そり幕とするステップと
    を含む、請求項13に記載の頭部装着ディスプレイデバイス。
  19. メモリおよびプロセッサを含む頭部装着ディスプレイデバイスであって、前記メモリは、コンピュータ可読命令を記憶し、前記プロセッサによって実行されたとき、前記命令は、前記プロセッサに以下のステップ、すなわち、
    撮影されたピクチャと同じアスペクト比をする矩形投影モデルを確立するステップと、
    成形投影モデルを取得するために、前記矩形投影モデルに対して歪み対策処理を実行するステップと、
    撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接するステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、ステップと、
    前記球形モデルの球心から、前記成形投影モデルの4つの側面につながるように半直線を放射し、成形そり幕を取得するために前記球形モデルの球形表面をインターセプトする(切り取る)ステップと
    を実行させる、頭部装着ディスプレイデバイス。
  20. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記水平画角に従って前記成形投影モデルを比例拡大縮小し、それにより、前記成形投影モデルの水平中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項19に記載の頭部装着ディスプレイデバイス。
  21. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記垂直画角に従って前記成形投影モデルを比例拡大縮小し、それにより、前記成形投影モデルの垂直中心線を弦とする球形中心角を前記垂直画角に等しするステップ
    を含む、請求項19に記載の頭部装着ディスプレイデバイス。
  22. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記水平画角に従って前記球形モデルを比例拡大縮小し、それにより、前記成形投影モデルの水平中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項19に記載の頭部装着ディスプレイデバイス。
  23. 撮影レンズの水平画角および垂直画角に従って球形モデルを確立し、前記成形投影モデルを前記球形モデルに内接する前記ステップであって、水平方向および垂直方向での前記成形投影モデルおよび前記球形モデルの交点によって形成される対応方向における球形中心角が夫々前記撮影レンズの前記水平画角および前記垂直画角である、前記ステップは、
    球形モデルを確立し、前記成形投影モデルを前記球形モデルのラジアル方向に垂直に配置し、前記撮影レンズの前記垂直画角に従って前記球形モデルを比例拡大縮小し、それにより、前記成形投影モデルの垂直中心線を弦とする球形中心角を前記水平画角に等しするステップ
    を含む、請求項19に記載の頭部装着ディスプレイデバイス。
  24. 前記球形モデルの球心から、前記成形投影モデルの4つの側面につながるように半直線を放射し、前記成形そり幕を取得するために前記球形モデルの球形表面をインターセプトする(切り取る)前記ステップは、
    前記球形モデルの前記球心から、前記成形投影モデルの前記4つの側面につながる複数の半直線を放射することにより、ラッパ口のような錐体を確立するステップと、
    前記球形モデルの前記球形表面と交差するように、前記球形モデルのラジアル方向に沿って前記ラッパ口を伸ばし、前記球形モデルの一部をインターセプトし(切り取り)、前記インターセプトされた(切り取られた)球形モデルの一部を前記成形そり幕とするステップと
    を含む、請求項19に記載の頭部装着ディスプレイデバイス。
JP2018536204A 2016-03-28 2017-03-23 画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイス Active JP6636163B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610184479.8 2016-03-28
CN201610184479.8A CN105869110B (zh) 2016-03-28 2016-03-28 图像显示方法和装置、异形曲面幕布的定制方法和装置
PCT/CN2017/077793 WO2017167107A1 (zh) 2016-03-28 2017-03-23 图像显示方法、异形曲面幕布的定制方法和头戴式显示设备

Publications (2)

Publication Number Publication Date
JP2019512902A JP2019512902A (ja) 2019-05-16
JP6636163B2 true JP6636163B2 (ja) 2020-01-29

Family

ID=56625126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018536204A Active JP6636163B2 (ja) 2016-03-28 2017-03-23 画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイス

Country Status (6)

Country Link
US (1) US10643300B2 (ja)
EP (1) EP3438919B1 (ja)
JP (1) JP6636163B2 (ja)
KR (1) KR102096730B1 (ja)
CN (1) CN105869110B (ja)
WO (1) WO2017167107A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
CN105869110B (zh) 2016-03-28 2018-09-28 腾讯科技(深圳)有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置
CN107844190B (zh) * 2016-09-20 2020-11-06 腾讯科技(深圳)有限公司 基于虚拟现实vr设备的图像展示方法及装置
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE
TWI614735B (zh) 2016-12-14 2018-02-11 財團法人工業技術研究院 全景視覺系統
CN107016728A (zh) * 2017-03-08 2017-08-04 惠州Tcl移动通信有限公司 一种在虚拟现实场景中模拟摄影的方法及系统
CN107220925B (zh) * 2017-05-05 2018-10-30 珠海全志科技股份有限公司 一种实时虚拟现实加速方法及装置
CN107369132A (zh) * 2017-07-21 2017-11-21 网易(杭州)网络有限公司 获取虚拟现实设备图像畸变规律的方法、系统及终端设备
KR102467882B1 (ko) * 2017-11-28 2022-11-16 엘지디스플레이 주식회사 개인 몰입형 표시장치와 이의 구동방법
CN112313699A (zh) * 2019-05-24 2021-02-02 京东方科技集团股份有限公司 控制虚拟现实显示设备的方法及其装置
KR20210130485A (ko) * 2020-04-22 2021-11-01 삼성전자주식회사 머리 착용형 디스플레이 장치 및 동작 방법
CN114449237B (zh) * 2020-10-31 2023-09-29 华为技术有限公司 一种反畸变反色散的方法以及相关设备
CN115144935A (zh) * 2021-03-30 2022-10-04 深圳市奇境信息技术有限公司 一种vr光学镜片的制备加工方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3660108B2 (ja) 1997-08-29 2005-06-15 株式会社リコー 画像保存方法及び機械読み取り可能媒体
AU2001272006A1 (en) * 2000-06-09 2001-12-17 Interactive Imaging Systems, Inc. A method and apparatus for mapping images and video to create navigable, immersive video and images
US8723951B2 (en) * 2005-11-23 2014-05-13 Grandeye, Ltd. Interactive wide-angle video server
JP4297111B2 (ja) 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
JP5074777B2 (ja) * 2006-05-22 2012-11-14 キヤノン株式会社 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム
US20080143709A1 (en) * 2006-12-14 2008-06-19 Earthmine, Inc. System and method for accessing three dimensional information from a panoramic image
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US8547423B2 (en) * 2009-09-24 2013-10-01 Alex Ning Imaging system and device
JP5555101B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法および補正画像生成プログラム
CN102508398B (zh) * 2011-11-09 2015-03-25 东莞市环宇文化科技有限公司 用计算机对平面待显示图进行球幕投影化处理的方法
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
CN104246795B (zh) * 2012-03-01 2019-01-01 Geo半导体有限公司 用于超广角透镜图像的自适应透视修正的方法和系统
CN102780852A (zh) * 2012-05-31 2012-11-14 新奥特(北京)视频技术有限公司 一种实现球形转场特效的方法
JP2015041936A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像表示装置、並びに画像処理装置及び画像処理方法
KR101586249B1 (ko) * 2013-12-24 2016-01-18 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
KR102183397B1 (ko) * 2014-01-06 2020-11-26 삼성전자주식회사 이미지 처리 방법 및 이를 구현하는 전자 장치
JP5920897B2 (ja) * 2014-07-03 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN104200468B (zh) * 2014-08-28 2017-01-18 中国矿业大学 一种球面透视投影模型校正参数获取方法
WO2016065632A1 (zh) * 2014-10-31 2016-05-06 华为技术有限公司 一种图像处理方法和设备
JP5846549B1 (ja) * 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
CN105354808A (zh) * 2015-12-02 2016-02-24 深圳华强数码电影有限公司 鱼眼图像的矫正方法
CN105869110B (zh) * 2016-03-28 2018-09-28 腾讯科技(深圳)有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置

Also Published As

Publication number Publication date
EP3438919A1 (en) 2019-02-06
EP3438919A4 (en) 2019-03-06
WO2017167107A1 (zh) 2017-10-05
US20180365797A1 (en) 2018-12-20
US10643300B2 (en) 2020-05-05
EP3438919B1 (en) 2020-09-02
CN105869110B (zh) 2018-09-28
KR102096730B1 (ko) 2020-04-02
CN105869110A (zh) 2016-08-17
JP2019512902A (ja) 2019-05-16
KR20180091033A (ko) 2018-08-14

Similar Documents

Publication Publication Date Title
JP6636163B2 (ja) 画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイス
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US11275436B2 (en) Interface-based modeling and design of three dimensional spaces using two dimensional representations
WO2017107524A1 (zh) 虚拟现实头盔的成像畸变测试方法及装置
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
US20170186219A1 (en) Method for 360-degree panoramic display, display module and mobile terminal
JP6672315B2 (ja) 画像生成装置、及び画像表示制御装置
JP2005339313A (ja) 画像提示方法及び装置
CN108282694B (zh) 全景视频渲染方法、装置及电子设备
CN106780389B (zh) 一种基于坐标转换的鱼眼图像校正方法及装置
JP7101269B2 (ja) ポーズ補正
US20180374258A1 (en) Image generating method, device and computer executable non-volatile storage medium
CN111275801A (zh) 一种三维画面渲染方法及装置
CN114026603B (zh) 渲染计算机生成现实文本
WO2021253640A1 (zh) 阴影数据确定方法、装置、设备和可读介质
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
US11212502B2 (en) Method of modifying an image on a computational device
US11589034B2 (en) Method and apparatus for providing information to a user observing a multi view content
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN106412562A (zh) 三维场景中显示立体内容的方法及其系统
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
US20160007014A1 (en) Equidistant stereo lens shader
Aung et al. P‐93: Optimization of Image Quality for the Scalable Laser‐Projection Light Field 3D Display
JP2023162943A (ja) 情報処理装置、情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191217

R150 Certificate of patent or registration of utility model

Ref document number: 6636163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250