JP7243631B2 - 再生装置および方法、並びに、生成装置および方法 - Google Patents

再生装置および方法、並びに、生成装置および方法 Download PDF

Info

Publication number
JP7243631B2
JP7243631B2 JP2019549204A JP2019549204A JP7243631B2 JP 7243631 B2 JP7243631 B2 JP 7243631B2 JP 2019549204 A JP2019549204 A JP 2019549204A JP 2019549204 A JP2019549204 A JP 2019549204A JP 7243631 B2 JP7243631 B2 JP 7243631B2
Authority
JP
Japan
Prior art keywords
model
image
wide
angle image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019549204A
Other languages
English (en)
Other versions
JPWO2019078033A1 (ja
Inventor
伸明 泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019078033A1 publication Critical patent/JPWO2019078033A1/ja
Application granted granted Critical
Publication of JP7243631B2 publication Critical patent/JP7243631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/332—Force measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Anesthesiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hematology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、再生装置および方法、並びに、生成装置および方法に関し、特に、酔いの発生を抑制した画像の拡大縮小表示を行うことができるようにした再生装置および方法、並びに、生成装置および方法に関する。
あらゆる方向を見回せる全天球画像は、ある１点に入射する全方向の光線をRGBなどの画素値として記録したものである。この画素値は、一般的には正距円筒図などの平面矩形画像として記録される。再生時には、この平面矩形画像を仮想的な単位球面に貼り付け、その球体の中心から周りを見回すように描画を行うことによって、元の光線の方向とRGB値を再現することが可能となる。
上記の全天球画像は、１点へ入射する光線を記録したものなので、異なる視点からの画像は再現できず、球体の中心を基準とした回転運動だけが再現可能となる。自由度としては、回転に対応するヨー、ピッチ、およびローの３自由度と、移動に対応するｘ、ｙ、およびｚの３自由度の計６自由度のうちの、回転成分の３自由度だけが可能であるため、3DoF(Three Degrees of Freedom)全天球画像と呼ばれることもある。
この3DoF全天球画像の表示には、テレビジョン受像機などの据え置きディスプレイに表示させて、コントローラを使って表示方向を変更しながら視聴する方法や、手に持ったモバイル端末画面上に端末内蔵のジャイロセンサから得た姿勢情報に基づいて表示方向を変えながら表示する方法、頭部に装着したヘッドマウントディスプレイ（以下、HMDとも称する。）に表示させて、頭部の動きに表示方向を反映させて表示する方法などがある。
3DoF全天球画像は、１点からの画像で移動の自由度が無いので、近づいて見るような動作はできないが、望遠鏡のように画を拡大して細部が分かるような見方をしたいという要望は存在する。
テレビジョン受像機やモバイル端末などの平面ディスプレイでは、表示画角(FOV: Field Of View)を変更することにより拡大操作を行うことが可能である。通常の平面ディスプレイでの視聴は、撮影画角と表示画角が必ずしも一致していないことが一般的であるため、表示画角を変更しても違和感は少ない。
一方、HMDは頭部に装着するため、基本的には視聴時の表示画角が固定である。また、一般的なHMDには視聴者の頭部の動きを検出するセンサが装備され、HMDは、視聴者の見ている方向や位置を反映した画像表示を行う。3DoF全天球画像で再現できるのは回転運動だけであるが、この回転運動を頭部の回転運動と正確に一致させることによって、仮想的な世界に入り込んだかのような没入感を得ることが可能となっている。
ここで、HMDで見ている画像を、平面ディスプレイと同じように単純に画角を変更して大きくすることによって拡大縮小操作（ズーム操作）を行うと、頭部の回転角と画像の回転角が一致しなくなる。例えば拡大時には、画像が大きくなった分だけ画像が頭の回転より速く移動するように見えてしまい、これが違和感となってVR酔いなどと呼ばれる不快感につながることが多い。
例えば、特許文献１および２では、HMDにおいて表示画像の画角を変更する例が示されている。
特開２０１５－１２５５０２号公報 特開２０１６－２４７５１号公報
しかしながら、特許文献１および２では、頭の回転角と画像の回転角の不一致が生じる現象の対策については述べられておらず、酔いの問題は根本的には解決されていない。
本開示は、このような状況に鑑みてなされたものであり、酔いの発生を抑制した画像の拡大縮小表示を行うことができるようにするものである。
本開示の第１の側面の再生装置は、広角画像の拡大縮小が選択された場合に、拡大縮小用の３Dモデルを生成する３Dモデル生成部を備え、前記３Ｄモデル生成部は、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルを生成し、ｋ倍に拡大した場合、視聴者が水平回転方向にｋ周すると、元の広角画像の１周分が見えるように、前記拡大縮小用の３Ｄモデルを生成する。
本開示の第１の側面の再生方法は、再生装置が、広角画像の拡大縮小が選択された場合に、拡大縮小用の３Ｄモデルを生成する際に、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルを生成し、ｋ倍に拡大した場合、視聴者が水平回転方向にｋ周すると、元の広角画像の１周分が見えるように、前記拡大縮小用の３Ｄモデルを生成する。
本開示の第２の側面の再生装置は、全方向に均一な解像度を有する第１の広角画像、または、所定の方向に高解像度な第２の広角画像を、視聴者の広角画像の拡大縮小操作に応じて選択する選択部と、広角画像の拡大縮小が選択された場合に、拡大縮小用の３Ｄモデルを生成する３Ｄモデル生成部とを備え、前記３Ｄモデル生成部は、選択された前記第１の広角画像または前記第２の広角画像を用いて、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルを生成する。
本開示の第２の側面の再生方法は、再生装置が、全方向に均一な解像度を有する第１の広角画像、または、所定の方向に高解像度な第２の広角画像を、視聴者の広角画像の拡大縮小操作に応じて選択し、広角画像の拡大縮小が選択され、拡大縮小用の３Ｄモデルを生成する際に、選択された前記第１の広角画像または前記第２の広角画像を用いて、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルを生成する。
本開示の第１の側面においては、広角画像の拡大縮小が選択された場合に、拡大縮小用の３Ｄモデルを生成する際に、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルが生成される。ｋ倍に拡大した場合、視聴者が水平回転方向にｋ周すると、元の広角画像の１周分が見えるように、前記拡大縮小用の３Ｄモデルが生成される。
本開示の第２の側面においては、全方向に均一な解像度を有する第１の広角画像、または、所定の方向に高解像度な第２の広角画像が、視聴者の広角画像の拡大縮小操作に応じて選択され、広角画像の拡大縮小が選択され、拡大縮小用の３Ｄモデルを生成する際に、選択された前記第１の広角画像または前記第２の広角画像を用いて、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルが生成される。
本開示の第３の側面の生成装置は、広角画像の拡大縮小が選択された場合に拡大縮小用の３Dモデルを生成する３Dモデル生成部を備える再生装置で用いるための所定の３Dモデルにマッピングされた前記広角画像として、全方向に均一な解像度を有する第１の広角画像と、所定の方向が高解像度に設定された第２の広角画像とを生成する広角画像生成部と、前記第２の広角画像の高解像度な方向を特定する情報と、高解像度の比率を表す拡大率を特定する情報を、補助情報として生成する補助情報生成部と、前記第１の広角画像、前記第２の広角画像、および、前記補助情報を、前記再生装置に送信する送信部とを備える。
本開示の第３の側面の生成方法は、生成装置が、広角画像の拡大縮小が選択された場合に拡大縮小用の３Dモデルを生成する３Dモデル生成部を備える再生装置で用いるための所定の３Dモデルにマッピングされた前記広角画像として、全方向に均一な解像度を有する第１の広角画像と、所定の方向が高解像度に設定された第２の広角画像とを生成し、前記第２の広角画像の高解像度な方向を特定する情報と、高解像度の比率を表す拡大率を特定する情報を、補助情報として生成し、前記第１の広角画像、前記第２の広角画像、および、前記補助情報を、前記再生装置に送信する。
本開示の第３の側面においては、広角画像の拡大縮小が選択された場合に拡大縮小用の３Dモデルを生成する３Dモデル生成部を備える再生装置で用いるための所定の３Dモデルにマッピングされた前記広角画像として、全方向に均一な解像度を有する第１の広角画像と、所定の方向が高解像度に設定された第２の広角画像とが生成され、前記第２の広角画像の高解像度な方向を特定する情報と、高解像度の比率を表す拡大率を特定する情報が、補助情報として生成され、前記第１の広角画像、前記第２の広角画像、および、前記補助情報が、前記再生装置に送信される。
なお、本開示の第１及び第２の側面の再生装置並びに第３の側面の生成装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、本開示の第１及び第２の側面の再生装置並びに第３の側面の生成装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
再生装置および生成装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本開示の第１及び第２の側面によれば、酔いの発生を抑制した画像の拡大縮小表示を行うことができる。
本開示の第３の側面によれば、酔いの発生を抑制した画像の拡大縮小表示を行うための画像を生成することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した配信システムの第１の実施の形態の構成例を示すブロック図である。 全天球画像をマッピングする３Dモデルとして球面を用いた場合の描画方法の概念図である。 図１の生成装置の構成例を示すブロック図である。 図１の配信サーバと再生装置の構成例を示すブロック図である。 正距円筒マッピングテクスチャの極座標とテクスチャ座標の関係を示す図である。 立方体の３Dモデルにテクスチャを貼り付ける際のテクスチャ座標の例を示す図である。 ３Dメッシュモデルの頂点配列データを示す図である。 頂点データ変換処理による頂点配列データの変換を説明する図である。 図４の頂点データ変換部の詳細構成例を示すブロック図である。 直交座標系と円柱座標系の３次元空間での関係を示す図である。 スケーリング処理を施さない場合の３Dモデル画像と透視投影画像の概念図である。 スケーリング処理を施した場合の３Dモデル画像と透視投影画像の概念図である。 第１の拡大処理の概念図である。 第２の拡大処理の概念図である。 第２の拡大処理を説明する図である。 第１の実施の形態の生成処理を説明するフローチャートである。 第１の実施の形態の再生処理を説明するフローチャートである。 再生装置の変形例を示すブロック図である。 u軸をスケーリングしなおしたテクスチャデータの概念図である。 第２の実施の形態の配信システムにおける高解像度方向を説明する図である。 第２の実施の形態に係る生成装置の構成例を示すブロック図である。 高解像度方向が異なる５つの全天球画像の概念図である。 テーブル生成部によって生成される補助情報としてのテーブルの例を示す図である。 第２の実施の形態に係る配信サーバと再生装置の構成例を示すブロック図である。 第２の実施の形態の生成処理を説明するフローチャートである。 第２の実施の形態の再生処理を説明するフローチャートである。 符号化ストリームを３D画像用の全天球画像とする変形例を説明する図である。 本開示の技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本開示の技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（均一解像度の全天球画像のみを用いる構成例）
２．第２の実施の形態（高解像度方向をもつ全天球画像を切り替えて用いる構成例）
３．その他の変形例
４．コンピュータ構成例
＜１．第１の実施の形態＞
（配信システムの第１の実施の形態の構成例）
図１は、本開示の技術を適用した配信システムの第１の実施の形態の構成例を示すブロック図である。
図１の配信システム１０は、撮影装置１１、生成装置１２、配信サーバ１３、ネットワーク１４、再生装置１５、およびヘッドマウントディスプレイ１６により構成される。配信システム１０は、撮影装置１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。
具体的には、配信システム１０の撮影装置１１は、６個のカメラ１１Ａ－１乃至１１Ａ－６を有する。なお、以下では、カメラ１１Ａ－１乃至１１Ａ－６を特に区別する必要がない場合、それらをカメラ１１Ａという。
各カメラ１１Ａは、動画像を撮影する。撮影装置１１は、各カメラ１１Ａにより撮影された６方向の動画像を撮影画像として生成装置１２に供給する。なお、撮影装置１１が備えるカメラの数は、複数であれば、６個に限定されない。
生成装置１２は、正距円筒図法を用いた方法により、撮影装置１１から供給される撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の全天球画像を生成する。生成装置１２は、正距円筒図法による、上下左右全方位の360度を見回すことが可能な全天球画像を、所定の３Dモデルにマッピングした画像データを、AVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)/H.265等の所定の符号化方式で圧縮符号化する。生成装置１２は、全天球画像の画像データを圧縮符号化した符号化ストリームを配信サーバ１３にアップロードする。
配信サーバ１３は、ネットワーク１４を介して再生装置１５と接続する。配信サーバ１３は、生成装置１２からアップロードされた全天球画像の符号化ストリームを記憶する。配信サーバ１３は、再生装置１５からの要求に応じて、記憶している全天球画像の符号化ストリームを、ネットワーク１４を介して再生装置１５に送信する。
再生装置１５は、配信サーバ１３に全天球画像の符号化ストリームを要求し、受け取る。再生装置１５は、受け取った全天球画像の符号化ストリームを復号し、その結果得られる全天球画像を所定の３Dモデルにマッピングすることにより、３Dモデル画像を生成する。
そして、再生装置１５は、視聴位置を焦点として、３Dモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置１５は、生成した表示画像をヘッドマウントディスプレイ１６に供給する。
図２は、全天球画像をマッピングする３Dモデルとして球面を用いた場合の描画方法の概念図である。
３Dモデルとして球面を用いて、地球の緯度と経度にあたる球面上の座標に、正距円筒図法による全天球画像のテクスチャを貼り、球の中心を視聴位置として、球面上の全天球画像（３Dモデル画像）が視聴者の視野範囲に透視投影される。
なお、この３Dモデルを使った描画方法は例であって、実際には３Dモデルを作成することなく、投影面の光線をたどってテクスチャの２次元座標を直接計算して描画する手法もある。テクスチャの２次元座標を直接計算して描画する場合も、実現しようとしている処理は同じであり、仮想的な３Dモデルを設定するによって直観的な理解が可能となる。
視聴者の視野範囲は、ヘッドマウントディスプレイ１６に付されたマーカ１６Ａを撮影した結果と、ヘッドマウントディスプレイ１６のジャイロセンサ１６Ｂの検出結果とに基づいて決定される。
すなわち、再生装置１５は、カメラ１５Ａを内蔵しており、カメラ１５Ａにより、ヘッドマウントディスプレイ１６に付されたマーカ１６Ａを撮影する。そして、再生装置１５は、マーカ１６Ａの撮影画像に基づいて、３Dモデルの座標系（以下、３Dモデル座標系という。）における視聴者の視聴位置を検出する。さらに、再生装置１５は、ヘッドマウントディスプレイ１６のジャイロセンサ１６Ｂの検出結果を、ヘッドマウントディスプレイ１６から受け取る。再生装置１５は、ジャイロセンサ１６Ｂの検出結果に基づいて、３Dモデル座標系における視聴者の視線方向を決定する。再生装置１５は、視聴位置と視線方向に基づいて、３Dモデルの内部に位置する視聴者の視野範囲を決定する。
また、視聴者は、ヘッドマウントディスプレイ１６に付属するコントローラ１６Ｃを操作することにより、ヘッドマウントディスプレイ１６に表示される表示画像の拡大または縮小を指示することができる。
再生装置１５は、視聴者が行ったズーム操作（拡大縮小操作）に対応するズーム操作情報をヘッドマウントディスプレイ１６から受け取り、視聴者のズーム操作に応じて、ヘッドマウントディスプレイ１６に表示させる表示画像の拡大または縮小を行う。
ヘッドマウントディスプレイ１６は、視聴者の頭部に装着され、再生装置１５から供給される表示画像を表示する。ヘッドマウントディスプレイ１６には、カメラ１５Ａにより撮影されるマーカ１６Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ１６を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ１６には、ジャイロセンサ１６Ｂが内蔵され、そのジャイロセンサ１６Ｂによる角速度の検出結果は再生装置１５に伝送される。従って、視聴者は、ヘッドマウントディスプレイ１６を装着した頭部を回転させることにより、視線方向を指定することができる。
また、ヘッドマウントディスプレイ１６は、コントローラ１６Ｃを操作することにより視聴者が行ったズーム操作を検出し、ズーム操作情報を再生装置１５に供給する。
配信システム１０において、配信サーバ１３から再生装置１５への配信方法は、どのような方法であってもよい。配信方法が、例えば、MPEG-DASH（Moving Picture Experts Group phase － Dynamic Adaptive Streaming over HTTP）を用いる方法である場合、配信サーバ１３は、HTTP(HyperText Transfer Protocol)サーバであり、再生装置１５はMPEG-DASHクライアントである。
（生成装置の構成例）
図３は、図１の生成装置１２の構成例を示すブロック図である。
図３の生成装置１２は、スティッチング処理部２１、マッピング変換部２２、エンコーダ２３、および、送信部２４により構成される。
スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続し、十分な解像度を持った一枚の撮影画像に変換する。例えば、スティッチング処理部２１は、一枚の撮影画像として、正距円筒画像に変換する。スティッチング処理部２１は、フレーム単位の撮影画像である正距円筒画像をマッピング変換部２２に供給する。
マッピング変換部２２（広角画像生成部）は、スティッチング処理部２１から供給されるフレーム単位の撮影画像（例えば、正距円筒画像）を、所定の3Dモデルにマッピングするためのマッピング形式に変換するマッピング変換処理を行う。所定の3Dモデルとしては、例えば、立方体モデル、球面モデル等を採用することができる。
例えば、3Dモデルとして立方体（キューブ）モデルを採用し、全天球画像を配信する場合には、マッピング変換部２２は、スティッチング処理部２１から供給される正距円筒の全天球画像を、立方体モデル用のマッピング形式（後述する図６の形式）に変換する。スティッチング処理部２１から供給される全天球画像のマッピング形式と、配信サーバ１３に供給する際のマッピング形式が同じ場合は、マッピング変換処理は不要である。
本実施の形態では、再生装置１５で使用される３Dモデルが球面モデルであり、その３Dモデルに対応したマッピング形式は正距円筒マッピングであるため、マッピング変換処理は不要である。
エンコーダ２３（符号化部）は、マッピング変換部２２から供給される全天球画像をMPEG2方式やAVC方式などの所定の符号化方式で符号化し、符号化ストリームを生成する。エンコーダ２３は、生成した１本の符号化ストリームを送信部２４に供給する。なお、全天球画像の符号化ストリームは、オーディオ信号などとともに、MP4ファイルなどのシステムレイヤフォーマットで多重化されてもよい。
送信部２４は、エンコーダ２３から供給される全天球画像のストリームを、図１の配信サーバ１３にアップロード（送信）する。
（配信サーバと再生装置の構成例）
図４は、図１の配信サーバ１３と再生装置１５の構成例を示すブロック図である。
配信サーバ１３は、受信部１０１、ストレージ１０２、および、送受信部１０３により構成される。
受信部１０１は、図１の生成装置１２からアップロードされた全天球画像の符号化ストリームを受信し、ストレージ１０２に供給する。
ストレージ１０２は、受信部１０１から供給される全天球画像の符号化ストリームを記憶する。
送受信部１０３は、再生装置１５からの要求に応じて、ストレージ１０２に記憶されている全天球画像の符号化ストリームを読み出し、ネットワーク１４を介して再生装置１５に送信する。
再生装置１５は、カメラ１５Ａ、送受信部１２１、デコーダ１２２、マッピング処理部１２３、受け取り部１２４、視線検出部１２５、３Dモデル生成部１２６、頂点データ変換部１２７、および、描画部１２８により構成される。
再生装置１５の送受信部１２１(受け取り部)は、全天球画像を、ネットワーク１４を介して配信サーバ１３に要求し、その要求に応じて配信サーバ１３の送受信部１０３から送信されてくる全天球画像の符号化ストリームを受け取る。送受信部１２１は、取得した全天球画像の符号化ストリームをデコーダ１２２に供給する。
デコーダ１２２（復号部）は、送受信部１２１から供給される符号化ストリームを復号し、全天球画像を生成する。デコーダ１２２は、生成した全天球画像をマッピング処理部１２３に供給する。
マッピング処理部１２３は、デコーダ１２２から供給される全天球画像を用いて、所定の３Dモデルのテクスチャ座標（u，v）に対応したテクスチャデータ（R，G，B）を生成する。ここで、再生装置１５で使用される３Dモデルは、生成装置１２で使用された３Dモデルと対応し、本実施の形態では、上述したように、球面モデルであるとするが、３Dモデルは、これに限定されず、例えば、立方体モデルなどでもよい。
図５は、球面の３Dモデルにテクスチャを貼り付ける際の正距円筒マッピングテクスチャの極座標とテクスチャ座標の関係を示している。
テクスチャ座標（u，v）のｕ軸は、極座標の方位角（回転角）θと平行に定義され、テクスチャ座標（u，v）ｖ軸は、極座標の仰角φと平行に定義される。テクスチャ座標（u，v）の値域は、０から１の範囲の値とされる。
図６は、立方体の３Dモデルにテクスチャを貼り付ける際のテクスチャ座標（u，v）の例を示している。
マッピング処理部１２３によって生成されたテクスチャデータは、描画部１２８がアクセス可能なテクスチャバッファに格納されることにより、描画部１２８に供給される。
受け取り部１２４は、図１のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視線検出部１２５に供給する。
また、受け取り部１２４は、コントローラ１６Ｃを操作して視聴者が行ったズーム操作に対応するズーム操作情報をヘッドマウントディスプレイ１６から受け取り、頂点データ変換部１２７に供給する。
視線検出部１２５は、受け取り部１２４から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Dモデル座標系における視聴者の視線方向を決定する。また、視線検出部１２５は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて、３Dモデルの座標系における視聴位置を検出する。そして、視線検出部１２５は、３Dモデル座標系における視聴位置と視線方向に基づいて、３Dモデル座標系における視聴者の視野範囲を決定する。視線検出部１２５は、視聴者の視野範囲と視聴位置を、描画部１２８に供給する。
３Dモデル生成部１２６は、仮想的な３D空間の３Dメッシュモデル（３Dモデル）のデータを生成し、頂点データ変換部１２７に供給する。この３Dメッシュモデルのデータは、図７に示されるように、３Dモデルの各頂点の座標(x,y,z)とそれに対応するテクスチャ座標(u,v)の５要素の配列データ（以下、頂点配列データと称する。）で構成される。本実施の形態では、３Dモデルとしては、生成装置１２で使用される３Dモデルと同じ球面モデルが採用される。
頂点データ変換部１２７は、３Dモデル生成部１２６から供給される球面モデルの頂点配列データを、受け取り部１２４から供給されるズーム操作情報に基づいて変換する。具体的には、図８に示されるように、３Dメッシュモデルの頂点の座標(x,y,z)が座標(x’,y’,z’)に変換され、変換後の各頂点の座標(x’,y’,z’)と、それに対応するテクスチャ座標(u,v)の５要素からなる頂点配列データが、描画部１２８に供給される。換言すれば、頂点データ変換部１２７は、３Dモデル生成部１２６により生成された３Dメッシュモデルのデータから、ズーム操作情報に基づいて、拡大縮小用の３Dメッシュモデルのデータを生成する拡大縮小用３Dモデル生成部である。頂点データ変換部１２７が行う頂点データ変換処理の詳細は、図９以降を参照して後述する。
描画部１２８には、マッピング処理部１２３から、テクスチャ座標（u，v）に対応したテクスチャデータ（R，G，B）が供給されるとともに、頂点データ変換部１２７から、球面モデルの各頂点の座標(x’,y’,z’)と、それに対応するテクスチャ座標(u,v)の５要素からなる頂点配列データが供給される。また、描画部１２８には、視線検出部１２５から、視聴者の視野範囲と視聴位置も供給される。
描画部１２８は、５要素の頂点配列データ、テクスチャデータ、および、視聴者の視野範囲と視聴位置とを用いて、全天球画像をマッピングした球面モデルにおける視聴者の視野範囲の画像を表示画像として生成する。
図８の各行が１つの頂点に対応する頂点データであり、３つ頂点データで一つの三角形パッチが構成される。三角形パッチの頂点は３D空間上の座標(x,y,z)とテクスチャ座標(u,v)との対応関係が保持されているので、テクスチャ上の３角形を球面モデル上の３角形にホモグラフィー変換で貼り付けを行い、それを球面モデルの内部から見回すように描画することによって、全天球の見回し画像の表示が可能となる。
（頂点データ変換部の構成例）
図９は、頂点データ変換部１２７の詳細構成例を示すブロック図である。
頂点データ変換部１２７は、円柱座標変換部１４１、スケーリング部１４２、および、直交座標変換部１４３により構成される。
頂点データ変換部１２７は、xyzの直交座標系で表された頂点配列データを、円柱座標系に変換し、円柱座標系上で、ズーム操作情報に基づくスケーリング（拡大または縮小）を行う。そして、頂点データ変換部１２７は、スケーリング後のデータを、再び直交座標系に戻して出力する。
円柱座標変換部１４１は、直交座標系で表された頂点配列データを、円柱座標系に変換する。頂点配列データは、球面モデルの各頂点の座標(x,y,z)とそれに対応するテクスチャ座標(u,v)の５要素のデータで構成される。
直交座標系と円柱座標系との対応関係は、以下の式（１）で表される。
Figure 0007243631000001
直交座標系(x,y,z)と円柱座標系（t,θ,z)の３次元空間での関係を図示すると、図１０のようになる。このとき、三角関数の性質より、式（２）が成り立つ。
Figure 0007243631000002
ヘッドマウントディスプレイ１６における視聴では、重力方向が重要であるので、頂点データ変換部１２７は、直交座標系(x,y,z)のz軸を鉛直方向に設定する。この場合、z=0の平面が地面のような水平面となり、円柱座標系でのθは方位角を表すことになる。
ヘッドマウントディスプレイ１６から供給されるズーム操作情報は、スケーリング部１４２に取得される。
スケーリング部１４２は、円柱座標系上に変換された球面モデルの各頂点の座標(x,y,z)をｋ倍する写像変換ｆkを行うことにより、ズーム操作情報に基づくスケーリング（拡大または縮小）を行う。
直交座標系上の座標(x,y,z)が、写像変換ｆkにより、座標(x’,y’,z’)に変換されるとすると、座標(x,y,z)と座標(x’,y’,z’)との関係は、以下で表される。
(x’,y’,z’)＝ｆk(x,y,z) ・・・・（３）
また、円柱座標系上の座標(ｔ,θ,z)が、写像変換ｆkにより、座標(ｔ’,θ’,z’)に変換されるとすると、座標(ｔ,θ,z)と座標(ｔ’,θ’,z’)との関係は、以下で表される。
(ｔ’,θ’,z’)＝ｆk(ｔ,θ,z) ・・・・（４）
写像変換ｆkの具体的な処理は、以下の式（５）乃至（７）で表される。
ｔ’＝ｔ ・・・・（５）
θ’＝ｋθ ・・・・（６）
z’＝ｋz ・・・・（７）
すなわち、写像変換ｆkは、円柱座標系の軸を独立にスケーリングしたもので、方位角θをｋ倍し、鉛直方向ｚをｋ倍する処理である。
変換後の直交座標系上の座標(x’,y’,z’)は、式（８）で表され、直交座標系で考える場合も、まず一旦極座標系（ｔ，θ，φ）で表した上で、方位角θをｋ倍、ｚ軸方向をｋ倍した新しい点(x’,y’,z’)に配置することによって計算可能である。
Figure 0007243631000003
式（８）において、拡大率ｋが１より大きい場合は、画像の拡大処理となり、拡大率ｋが１より小さい場合は、画像の縮小処理となる。拡大率ｋが１のときは、拡大縮小変換無しであり、式（１）の右辺と一致する。
直交座標変換部１４３は、スケーリング後の円柱座標系上の座標(ｔ’cosθ’,ｔ’sinθ’,z’)＝（ｔ cos kθ,ｔ sin kθ,kz）を、直交座標系に変換する。直交座標変換部１４３は、変換後の頂点配列データである、球面モデルの各頂点の座標(x’,y’,z’)とそれに対応するテクスチャ座標(u,v)の５要素のデータを、描画部１２８に供給する。
以上のように、視聴者が行ったズーム操作に基づいて、表示画像の拡大縮小が行われる場合には、頂点データ変換部１２７において、座標(x,y,z)とテクスチャ座標(u,v)の５要素の頂点配列データが、拡大率ｋに応じた座標(x’,y’,z’)とテクスチャ座標(u,v)の５要素の頂点配列データに変換されて、描画部１２８に供給される。
換言すれば、描画部１２８は、表示画像の拡大縮小の有無に関わらず、５要素の頂点配列データを用いて、視聴者の視野範囲の透視投影画像を生成する通常の処理を行えばよく、表示画像の拡大縮小の有無で、描画処理を変更する必要はない。
図８に示したように、スケーリング処理によって変換されるのは、座標(x,y,z)のみであり、テクスチャ座標(u,v)は変更されない。そのため、マッピング処理部１２３も、表示画像の拡大縮小の有無で、処理を変更する必要はない。
図１１および図１２は、球面の３Dモデルに正距円筒マッピングのテクスチャ画像を貼り付けた３Dモデル画像を、球中心から見た透視投影画像の概念図を示している。
図１１は、スケーリング処理を施さない場合の３Dモデル画像と透視投影画像の例である。
これに対して、図１２は、図１１に示した３Dモデル画像との透視投影画像を、方位角θ、鉛直方向z、および、その両方に対して拡大処理（ｋ＞１）を施した処理結果を示す概念図である。
図１２右上に示されるように、式（６）による方位角θをk倍する処理では、単位球の半径は変わらないがテクスチャ画像が横に伸びるように球面に貼られた状態になる。
図１２左下に示されるように、式（７）による鉛直方向zをk倍する処理では、球面モデルが全体的に縦に伸ばされ、透視投影画像も縦長になる。
図１２右下に示される、方位角θと鉛直方向zの両方をk倍する処理では、横にも縦にもテクスチャ画像が伸ばされて、最終的に縦横比が１：１の拡大画像となって描画されている様子が示されている。
ただし、縦横比が１：１となるのは、視線方向が水平方向およびその近傍を向いている場合の透視投影画像であり、視線方向が上方向や下方向を向いた時には、３Dモデルの球面がz軸方向に延びて元の距離より遠くなっている分だけ、透視投影画像が縮小され、さらに方位角θのスケーリングによる変形が見えてしまうことには注意が必要である。このスケーリング処理は、主に水平方向の透視投影画像に対して、拡大縮小がかけられる処理である。
写像変換ｆkにより、方位角θと鉛直方向zの両方をk倍した拡大画像では、図１２右下の透視投影画像のように、上下方向以外は自然な拡大画像となっている。また、写像変換ｆkを行った後も、スケーリング処理を施す前の座標(x,y,z)を新しい座標(x’,y’,z’)に移動した静的な３Dモデルを描画しているだけなので、見回しによる視聴方向の変化による画像の予期せぬ変形や移動は発生しない。これにより、単純な画角変更による拡大などで見られるVR酔いの発生を起こりにくくすることができる。
また、VR酔いは、地平線が傾いたり、本来鉛直方向に延びる物体が斜めに見えたりすることによっても発生する。式（８）において、円柱座標系のθ成分が直交座標系のxy成分に対応し、z成分は、ｘｙ成分に依存しないので、写像変換ｆkによって地平線が傾いたり垂直の物体が斜めになったりすることはない。この性質も、本手法において、VR酔いが発生しにくい要因となっている。
（拡縮画像の描画方法）
本手法は、円柱座標系の方位角θと鉛直方向zに対してスケーリングを行うことで、描画画像（３Dモデル画像）の拡縮を行う。方位角θの値域は、拡縮前の－π≦θ≦πが、－ｋπ≦θ≦ｋπとなるので、拡大の場合には描画可能な３６０度を超え、縮小の場合には、３６０度に足りなくなる。そのため、拡縮により描画画像が３６０度を超える場合と３６０度に足りない場合の対処を行う必要がある。
そこで、スケーリング部１４２は、全天球画像をｋ倍に拡大した場合には、３６０度を超える画像を切り捨てる第１の拡大処理か、または、視聴者が水平にｋ周回ると、元の画像（景色）の１周分が見えるように描画する第２の拡大処理のいずれかを行う。
３６０度を超える画像を切り捨てる第１の拡大処理では、スケーリング部１４２は、θ’＜－πとなるデータ、および、π＜θ’となるデータを、拡大率ｋに応じた座標(x’,y’,z’)とテクスチャ座標(u,v)の頂点配列データから削除する処理を行う。
図１３は、第１の拡大処理において描画される領域を示す模式図である。
第１の拡大処理では、スケーリング前の（－π／ｋ）≦θ≦（π／ｋ）の範囲の画像が、－π≦θ≦πの範囲に割り当てられる。拡大画像のθ’＜－πとなる領域のデータ、および、π＜θ’となる領域のデータは、頂点配列データから削除される。
図１４は、ｋ＝２の場合の第２の拡大処理の概念図である。
ｋ＝２の第２の拡大処理では、視聴者が２周回転する間に、元の景色が１周するような見え方になる。視聴者が、拡大された描画画像を見ながら視線方向を左右に移動する場合、描画画像が必ず左右に連続的に表示されるという制約条件を付加することで、重なるデータのどの部分を表示すべきかを判定することができる。
描画画像が必ず左右に連続的に表示されるという制約条件を付加するため、連続的に変化する視線方向の水平角ξが定義される。通常の水平角の値域は－πからπまでで、真後ろを超えると－πとπの間を不連続に変化するが、水平角ξは、常に連続的に変化するように、右回りなら単調増加、左回りなら単調減少となるように定義した水平角である。水平角ξの値域は、-∞ ≦ ξ ≦ ∞ となる。
図１５は、視聴者が、水平角ξ=ξ0の方向を向いて、k倍の拡大画像を見ている時の描画領域を示す模式図である。
拡大の写像変換ｆkを施すと３D空間で重複する部分が生じるため、スケーリング部１４２は、拡大前の方位角θで判定を行う。
(ξ0－π)/k ＜ θ ＜ (ξ0＋π)/k の範囲が描画領域となるので、スケーリング部１４２は、それ以外の範囲の頂点配列データを削除した上で、拡大の写像変換ｆkを施して、頂点データを作成する。こうすることで、変換後の頂点配列データの範囲が、ちょうど-πからπとなって全天を覆うようになる。
一方、スケーリング部１４２は、全天球画像を１／ｋ倍に縮小した場合には、描画画像が途切れないように、縮小画像の繰り返し描画を行う。この場合、視聴者が水平に１周回ると、元の画像（景色）のｋ周分が見えるようになる。
なお、縮小処理時に３６０度に足りない部分の画像として、１／ｋに縮小した全天球画像で埋めるのではなく、黒画像を埋めてもよい。
（生成装置の処理の説明）
図１６は、図１の生成装置１２による生成処理を説明するフローチャートである。この処理は、例えば、撮影装置１１の６個のカメラ１１Ａ－１乃至１１Ａ－６で撮影された６方向の動画像が供給されたとき開始される。
初めに、ステップＳ１１において、スティッチング処理部２１は、フレームごとに、各カメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続し、一枚の撮影画像に変換する。スティッチング処理部２１は、一枚の撮影画像として、例えば正距円筒画像を生成し、フレーム単位の正距円筒画像をマッピング変換部２２に供給する。
ステップＳ１２において、マッピング変換部２２は、スティッチング処理部２１から供給されたフレーム単位の撮影画像（例えば、正距円筒画像）を、所定の3Dモデルにマッピングするためのマッピング形式に変換するマッピング変換処理を行う。
例えば、配信サーバ１３が3Dモデルとして立方体モデルで全天球画像を配信する場合には、マッピング変換部２２は、スティッチング処理部２１から供給される正距円筒マッピングの全天球画像を、キューブマッピングの全天球画像に変換する。スティッチング処理部２１から供給される全天球画像のマッピング形式と、配信サーバ１３に供給する際のマッピング形式が同じ場合は、マッピング変換処理は不要であり、スティッチング処理部２１から供給された全天球画像を、そのままエンコーダ２３に供給する。
ステップＳ１３において、エンコーダ２３は、マッピング変換部２２から供給された全天球画像をMPEG2方式やAVC方式などの所定の符号化方式で符号化し、符号化ストリームを生成する。エンコーダ２３は、生成した全天球画像の符号化ストリームを送信部２４に供給する。
ステップＳ１４において、送信部２４は、エンコーダ２３から供給された全天球画像のストリームを、配信サーバ１３にアップロードして、処理を終了する。
（再生装置の処理の説明）
図１７は、図１の再生装置１５による再生処理を説明するフローチャートである。この再生処理は、例えば、再生装置１５において電源オンや処理開始操作が検出されたとき開始される。
初めに、ステップＳ３１において、送受信部１２１は、全天球画像を、ネットワーク１４を介して配信サーバ１３に要求し、その要求に応じて配信サーバ１３の送受信部１０３から送信されてきた全天球画像の符号化ストリームを受け取る。送受信部１２１は、取得した全天球画像の符号化ストリームをデコーダ１２２に供給する。
ステップＳ３２において、デコーダ１２２は、送受信部１２１から供給された符号化ストリームを復号し、全天球画像を生成する。デコーダ１２２は、生成した全天球画像をマッピング処理部１２３に供給する。
ステップＳ３３において、マッピング処理部１２３は、デコーダ１２２から供給された全天球画像を用いて、所定の３Dモデルのテクスチャ座標（u，v）に対応したテクスチャデータ（R，G，B）を生成する。マッピング処理部１２３は、生成したテクスチャデータを、描画部１２８がアクセス可能なテクスチャバッファに格納することで、生成したテクスチャデータを描画部１２８に供給する。
ステップＳ３４において、受け取り部１２４は、図１のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視線検出部１２５に供給する。
ステップＳ３５において、視線検出部１２５は、受け取り部１２４から供給されたジャイロセンサ１６Ｂの検出結果に基づいて、３Dモデルの座標系における視聴者の視線方向を決定する。
ステップＳ３６において、視線検出部１２５は、３Dモデルの座標系における視聴者の視聴位置と視野範囲を決定し、描画部１２８に供給する。より具体的には、視線検出部１２５は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて３Dモデルの座標系における視聴位置を検出する。そして、視線検出部１２５は、検出した視聴位置と視線方向に基づいて、３Dモデル座標系における視聴者の視野範囲を決定し、描画部１２８に供給する。
ステップＳ３７において、３Dモデル生成部１２６は、仮想的な３D空間の３Dメッシュモデルのデータを生成し、頂点データ変換部１２７に供給する。この３Dメッシュモデルのデータは、図７に示したように、３Dモデルの各頂点の座標(x,y,z)とそれに対応するテクスチャ座標(u,v)の５要素の頂点配列データで構成される。
ステップＳ３８において、頂点データ変換部１２７は、受け取り部１２４から供給されたズーム操作情報に基づいて、視聴者によるズーム操作が行われたかを判定する。例えば、視聴者がコントローラ１６Ｃに対してズーム操作を行った場合、そのズーム操作に対応するズーム操作情報が、受け取り部１２４に供給され、受け取り部１２４から、頂点データ変換部１２７に供給される。
ステップＳ３８で、ズーム操作が行われていないと判定された場合、処理はステップＳ３９に進み、頂点データ変換部１２７は、３Dモデル生成部１２６から供給された頂点配列データを、そのまま、描画部１２８に供給する。換言すれば、３Dモデル生成部１２６から供給された頂点配列データに対して、拡大率ｋを１として、式（８）の写像変換ｆkを行った頂点配列データを、描画部１２８に供給する。
一方、ステップＳ３８で、ズーム操作が行われたと判定された場合、処理はステップＳ４０に進み、頂点データ変換部１２７は、ステップＳ４０乃至Ｓ４２からなる頂点データ変換処理を実行する。
頂点データ変換処理として、最初に、ステップＳ４０において、円柱座標変換部１４１は、式（１）の対応関係に基づいて、直交座標系で表された頂点配列データの座標(x,y,z)を、円柱座標系上の座標(ｔ,θ,z)に変換する。
ステップＳ４１において、スケーリング部１４２は、円柱座標系上に変換された座標(ｔ,θ,z)をｋ倍する写像変換ｆkを行うことにより、ズーム操作情報に基づくスケーリングを行う。具体的には、スケーリング部１４２は、式（５）乃至（７）で表される写像変換ｆkを行う。
ステップＳ４２において、直交座標変換部１４３は、スケーリング後の円柱座標系上の座標(ｔ’cosθ’,ｔ’sinθ’,z’)を、直交座標系に変換する。そして、直交座標系に変換された３Dメッシュモデルの各頂点の座標(x’,y’,z’)とそれに対応するテクスチャ座標(u,v)の５要素からなる頂点配列データが、描画部１２８に供給される。
ステップＳ４３において、描画部１２８は、頂点データ変換部１２７（の直交座標変換部１４３）から供給された頂点配列データ、マッピング処理部１２３から供給されたテクスチャデータ（R，G，B）、および、視線検出部１２５から供給された視聴者の視野範囲に基づいて、３Dモデル画像を視聴者の視野範囲に透視投影することにより、表示画像を生成する。
ステップＳ４４において、描画部１２８は、表示画像をヘッドマウントディスプレイ１６に送信して表示させる。
ステップＳ４５において、再生装置１５は、再生を終了するかを判定する。例えば、再生装置１５は、視聴者により再生を終了する操作が行われたとき、再生を終了すると判定する。
ステップＳ４５で再生を終了しないと判定された場合、処理はステップＳ３４に戻り、上述したステップＳ３４乃至Ｓ４５の処理が繰り返される。一方、ステップＳ４５で再生を終了すると判定された場合、再生処理が終了される。
（再生装置の変形例）
図１８は、再生装置１５の変形例を示すブロック図である。
図１８は図４に対応するブロック図であり、配信サーバ１３の構成も示されているが、図１８では、再生装置１５の構成のみが異なる。
図１８に示される再生装置１５の構成例は、全天球画像のマッピング形式が正距円筒マッピングである場合に採用可能な構成例である。
図１８の再生装置１５を、図４に示した再生装置１５と比較すると、図４における描画部１２８が、図１８では、描画部１５１に変更されている。また、図１８では、頂点データ変換部１２７が省略されており、３Dモデル生成部１２６から出力された頂点配列データが、そのまま描画部１５１に供給されている。また、ズーム操作情報が、受け取り部１２４から描画部１５１に供給されている。描画部１５１は、ズーム操作情報に基づく所定の処理を行う点が図４の描画部１２８と異なる。図１８の再生装置１５のその他の構成は、図４における再生装置１５と同様である。
図１８の再生装置１５では、頂点データ変換部１２７が省略されているので、視聴者のズーム操作の有無に関わらず、写像変換ｆkを行わない、すなわち通常の頂点配列データが、描画部１５１に供給される。
描画部１５１は、受け取り部１２４から供給されるズーム操作情報に基づいて、３次元直交空間座標（x,y,z）とテクスチャ座標(u,v)のスケールを変更する。一般的な３D描画ソフトウエアでは、３次元直交空間座標（x,y,z）とテクスチャ座標(u,v)それぞれの座標のスケールを変更するAPIが用意されており、頂点データやテクスチャデータを書き換えることなく、単純な拡大縮小を行うことができるようになっている。例えば、OpenGLでは、”glScale”という関数でx,y,zもu,vもスケールを変更することができる。
図５に示したように、正距円筒図法のテクスチャの横軸は、円柱座標の方位角θと平行である。そのため、式（５）のθ’=kθ の写像は、u軸をスケーリングするだけで処理が可能である。
図１９は、u軸をスケーリングし直したテクスチャデータの概念図を示している。
図５のテクスチャデータと図１９のテクスチャデータとの違いは、u軸の(0,1)の位置が変わっていることであり、このようにu軸のスケールを変更することにより、同じ(u,v)値であっても、図５のテクスチャデータに対してθをk倍した位置にアクセスが行うことが可能となる。
同様に、３次元直交空間座標（x,y,z）のz軸をスケーリングすることで、式（７）のz’=kz の写像を行うことができる。
すなわち、描画部１５１は、ズーム操作情報に基づいて、３次元直交空間座標（x,y,z）のz軸のスケール変更と、テクスチャ座標(u,v)のｕ軸のスケール変更の組み合わせで、写像変換ｆkを行う。
図８で示したように、頂点配列データの全ての座標（x,y,z）を写像変換後の座標(x’,y’,z’)に置き換える処理は、多量のデータの処理と書き換えが必要となる。
しかしながら、全天球画像のマッピング形式が正距円筒マッピングである場合には、上述したように、頂点データ変換部１２７を省略して、通常と同じ、拡大縮小無しの頂点配列データを描画部１５１に供給し、描画部１５１のスケールを変更するだけで、視聴者のズーム操作に応じた拡大縮小表示が可能となる。これにより、ズーム操作に応じた拡大縮小表示を、より簡単に実装することができるので、一般に少ないコード量による高速な動作が可能となる。
＜２．第２の実施の形態＞
（配信システムの第２の実施の形態の構成例）
次に、本開示の技術を適用した配信システムの第２の実施の形態について説明する。
第２の実施の形態に係る配信システム１０の全体構成は、図１と同様であるので、その図示は省略する。
上述した全天球画像の拡大処理を行うと、見ている方向の解像度が必要となる一方、ヘッドマウントディスプレイ１６の視界に入る範囲としては狭まるため、見ている方向と反対の方向は視界に入りづらくなる。
そこで、特定の方向の解像度を上げたマッピングを利用する viewport dependent projection mapping の手法が有効となる。viewport dependent projection mapping は、特定の方向の解像度が高くなるように偏った画素密度を持つ投影マッピングを使用し、高解像度方向が異なる投影マッピングのデータを視聴方向によって切り替えながら再生を行う手法である。viewport dependent projection mapping については、MPEG会合の2016年6月のGeneva会合で発行された Working Draft ” WD on ISO/IEC 23000-20 Omnidirectional Media Application Format”においても、“A.3.2.5 Truncated pyramid ”の章で記述されている。この手法では、正面エリアの割り当て画素が多く、解像度が高くなる。正面方向をいろいろな方向に向けたビットストリームを複数用意し、視聴者が向いている方向に応じてビットストリームが切り替えられながら、再生される。
以下で説明する配信システムの第２の実施の形態では、viewport dependent projection mapping のように、視聴者が見回す水平方向３６０度の範囲に対して、解像度を高くする方向を複数設定し、視聴者が向いている方向に応じて、用意した複数のビットストリームを切り替えながら、再生する構成が採用される。
具体的には、図２０に示されるように、３Dモデルとしての球面を上から見て、球の中心から水平に４つの方向dir1乃至dir4を、解像度を高くする方向として設定し、４つの方向dir1乃至dir4に対応する４つの符号化ストリームと、拡大操作を行わない場合に使用される、全方向で均一な解像度を有する１つの符号化ストリームの５つの符号化ストリームを切り替えながら再生する場合について説明する。
図２１は、第２の実施の形態に係る配信システム１０の生成装置１２の構成例を示すブロック図である。
図２１の生成装置１２は、スティッチング処理部２１、マッピング変換部２２－１乃至２２－５、エンコーダ２３－１乃至２３－５、送信部２４、回転処理部２１１－１乃至２１１－５、設定部２１２、および、テーブル生成部２１３により構成される。
図２１において、図３の生成装置１２と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
図２１の生成装置１２では、図３の生成装置１２におけるスティッチング処理部２１とマッピング変換部２２との間に、回転処理部２１１が新たに挿入されており、回転処理部２１１、マッピング変換部２２、および、エンコーダ２３の組が、５個設けられている。この回転処理部２１１、マッピング変換部２２、および、エンコーダ２３の組の個数（５個）は、図２０の４つの方向dir1乃至dir4を高解像度方向とした４つの符号化ストリームと、均一解像度の１本の符号化ストリームの計５本の符号化ストリームに対応する。
スティッチング処理部２１は、生成した一枚の撮影画像を、回転処理部２１１－１乃至２１１－５に供給する。
回転処理部２１１－１乃至２１１－５は、スティッチング処理部２１から供給されるフレーム単位の撮影画像（例えば、正距円筒画像）を、高解像度方向が画像の中心となるように画像中心を回転（移動）する。どの方向を高解像度方向とするかは、設定部２１２から指示される。回転処理部２１１－１乃至２１１－５は、設定部２１２から指示される方向が異なるだけである。
マッピング変換部２２－１乃至２２－５は、設定部２１２から供給される拡大率ｋに従い、回転処理部２１１－１乃至２１１－５から供給された撮影画像を、所定のマッピング形式にマッピングすることにより、画像中心の画素が拡大率ｋで高解像度に変換された全天球画像を生成する。生成された全天球画像において、画像中心と反対の（真後ろの）方向の解像度は、低解像度となっている。
図２２は、マッピング変換部２２－１乃至２２－５で生成された５つの全天球画像の概念図である。
全天球画像２３１－１は、マッピング変換部２２－１による処理後の画像であり、水平方向の周囲360度の全方向が均一な解像度の正距円筒画像である。全天球画像２３１－１の画像中心は、図２０の方向dir1と一致する。
全天球画像２３１－２は、マッピング変換部２２－２による処理後の画像であり、水平方向の周囲360度のうち、図２０の方向dir1が高解像度になるように変換した正距円筒画像である。
全天球画像２３１－３は、マッピング変換部２２－３による処理後の画像であり、水平方向の周囲360度のうち、図２０の方向dir2が高解像度になるように変換した正距円筒画像である。
全天球画像２３１－４は、マッピング変換部２２－４による処理後の画像であり、水平方向の周囲360度のうち、図２０の方向dir3が高解像度になるように変換した正距円筒画像である。
全天球画像２３１－５は、マッピング変換部２２－５による処理後の画像であり、水平方向の周囲360度のうち、図２０の方向dir4が高解像度になるように変換した正距円筒画像である。
例えば全天球画像２３１－２では、均一解像度の全天球画像２３１－１と比較して、方向はそのままで画像中央が拡大され、中央から離れるにしたがって拡大率が下がって、後方が縮小された状態になっている。この拡大率を操作した全天球画像２３１－２を、歪みなく元の全天球として見られるように球面モデルにテクスチャとして貼りつけると、画素の密度差となり、方向dir1が高解像度の全天球画像が再生される。
エンコーダ２３－１乃至２３－５は、対応するマッピング変換部２２－１乃至２２－５から供給される全天球画像を、MPEG2方式やAVC方式などの所定の符号化方式で符号化し、符号化ストリームを生成する。
送信部２４は、エンコーダ２３－１乃至２３－５から供給される全天球画像の符号化ストリームを、図１の配信サーバ１３にアップロード（送信）する。このとき、エンコーダ２３－１乃至２３－５によって生成された５本の符号化ストリームは、動的に切り替えて再生されるため、エンコーダ２３－１乃至２３－５により生成される５本の符号化ストリームの間で、例えば、GOP(Group of Picture)の先頭ピクチャやIDRピクチャなどのシンクポイントは同一にされる。
設定部２１２は、水平方向の周囲360度に対して、並列に設けられた５個の回転処理部２１１、マッピング変換部２２、および、エンコーダ２３の組が、正面方向として扱う高解像度方向を決定する。具体的には、設定部２１２は、図２０の方向dir1乃至dir4の４個の高解像度方向を決定し、回転処理部２１１－１乃至２１１－５に供給する。例えば、設定部２１２は、方向dir1を回転処理部２１１－１および２１１－２に供給し、方向dir2を回転処理部２１１－３に供給し、方向dir3を回転処理部２１１－４に供給し、方向dir4を回転処理部２１１－４に供給する。
また、設定部２１２は、水平方向の周囲360度の全方向を均一な解像度とする場合と比較して、高解像度方向をどれだけ高解像度とするかを示す拡大率ｋを決定し、マッピング変換部２２－１乃至２２－５に供給する。例えば、設定部２１２は、マッピング変換部２２－１には、拡大率ｋ＝1.0を供給し、マッピング変換部２２－２乃至２２－５には、拡大率ｋ＝2.0を供給する。
さらに、設定部２１２は、回転処理部２１１－１乃至２１１－５に供給した５個の高解像度方向と、マッピング変換部２２－１乃至２２－５に供給した拡大率ｋをテーブル生成部２１３に供給する。
テーブル生成部２１３は、設定部２１２から供給される５個の高解像度方向を特定する情報と、拡大率ｋを特定する情報を、ストリームごとにまとめたテーブルを生成し、生成したテーブルを補助情報（メタ情報）として、送信部２４に供給する。
図２３は、テーブル生成部２１３によって生成される補助情報としてのテーブルの例を示している。
高解像度方向を特定する情報は、方位角θ、仰角φ、及び、回転角ψで定義され、拡大率を示す情報は、拡大率ｋで定義される。高解像度方向を、方位角θ、仰角φ、及び、回転角ψの３軸の回転の組み合わせで表現することにより、あらゆる回転の記述が可能である。拡大率ｋは最も解像度が高くなる点での拡大率に対応し、その点から離れると拡大率は下がっていく。拡大率の分布は viewport dependent projection mappingの方式によって様々な分布を取り得る。
図２３のID１乃至ID５は、配信サーバ１３に送信される５本の符号化ストリームを識別する識別情報であり、図２２に示した全天球画像２３１－１乃至２３１－５に対応する。
ID１の符号化ストリームは、図２２に示した全天球画像２３１－１に対応し、図２０の方向dir1を画像中心として、画像中心の拡大率ｋ＝1.0、即ち、全方向に均一な解像度の正距円筒画像であることを表している。
ID２の符号化ストリームは、図２２に示した全天球画像２３１－２に対応し、図２０の方向dir1を画像中心として、その方向dir1の画素が拡大率ｋ＝2.0で拡大された正距円筒画像であることを表している。
ID３の符号化ストリームは、図２２に示した全天球画像２３１－３に対応し、図２０の方向dir2を画像中心として、その方向dir2の画素が拡大率ｋ＝2.0で拡大された正距円筒画像であることを表している。
ID４の符号化ストリームは、図２２に示した全天球画像２３１－４に対応し、図２０の方向dir3を画像中心として、その方向dir3の画素が拡大率ｋ＝2.0で拡大された正距円筒画像であることを表している。
ID５の符号化ストリームは、図２２に示した全天球画像２３１－５に対応し、図２０の方向dir4を画像中心として、その方向dir4の画素が拡大率ｋ＝2.0で拡大された正距円筒画像であることを表している。
送信部２４は、エンコーダ２３－１乃至２３－５から供給される合計５本の符号化ストリームとともに、テーブル生成部２１３から供給される補助情報も、図１の配信サーバ１３にアップロード（送信）する。
なお、図２１の生成装置１２の例では、高解像度方向の設定数を予め４個に決定し、生成装置１２内に、回転処理部２１１、マッピング変換部２２、および、エンコーダ２３の組を、高解像度画像用４組と均一解像度画像用１組の計５組設けた構成を採用することとするが、設定部２１２が決定する任意の個数の高解像度方向に対応して、回転処理部２１１、マッピング変換部２２、および、エンコーダ２３それぞれの個数が可変する構成としてもよい。
図２１では、設定部２１２から、回転処理部２１１－１乃至２１１－５およびマッピング変換部２２－１乃至２２－５に所定のデータ（高解像度方向、拡大率）を供給する供給線の図示が省略されている。
（配信サーバと再生装置の構成例）
図２４は、第２の実施の形態に係る配信システム１０の配信サーバ１３と再生装置１５の構成例を示すブロック図である。
図２４において、図４と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
配信サーバ１３は、受信部１０１、ストレージ２５１、および、送受信部２５２により構成される。
受信部１０１は、図１の生成装置１２からアップロードされた５本の符号化ストリーム、および、補助情報を受信し、ストレージ２５１に供給する。
ストレージ２５１は、受信部１０１から供給される５本の符号化ストリーム、および、補助情報を記憶する。
送受信部２５２は、再生装置１５からの要求に応じて、ストレージ２５１に記憶されている補助情報を読み出し、ネットワーク１４を介して再生装置１５に送信する。
また、送受信部２５２は、再生装置１５からの要求に応じて、ストレージ２５１に記憶されている５本の符号化ストリームのうちの所定の１本の符号化ストリームを読み出し、ネットワーク１４を介して再生装置１５に送信する。送受信部２５２が再生装置１５に送信する１本の符号化ストリームは、再生装置１５からの要求に応じて適宜変更される。
なお、送信する符号化ストリームの変更は、シンクポイントで行われる。従って、送信する符号化ストリームの変更は、数フレームから数十フレーム単位で行われる。また、上述したように、５本の符号化ストリームの間でシンクポイントは同一である。従って、送受信部２５２は、送信する符号化ストリームをシンクポイントで切り替えることにより、再生装置１５において、再生する撮影画像の切り替えを容易に行うことができる。
再生装置１５は、カメラ１５Ａ、送受信部１２１、デコーダ１２２、受け取り部１２４、視線検出部１２５、頂点データ変換部１２７、描画部１２８、ストリーム判定部２７１、３Dモデル生成部２７２、および、マッピング処理部２７３により構成される。
したがって、第１の実施の形態における再生装置１５と比較すると、第２の実施の形態における再生装置１５では、３Dモデル生成部１２６およびマッピング処理部１２３が３Dモデル生成部２７２およびマッピング処理部２７３に変更され、ストリーム判定部２７１が新たに設けられている。
ストリーム判定部２７１には、送受信部１２１から補助情報が供給される。また、ストリーム判定部２７１には、受け取り部１２４からズーム操作情報が供給され、視線検出部１２５から視聴者の視線方向が供給される。
ストリーム判定部２７１(選択部)は、視聴者の視線方向、ズーム操作情報、および、補助情報に基づいて、配信サーバ１３から取得可能な５本の符号化ストリームのなかから、所定の１本の符号化ストリームを決定（選択）する。
より具体的には、ストリーム判定部２７１は、ズーム操作が行われていない場合には、図２３のID１のストリームを要求ストリームとして決定し、ズーム操作が行われている場合には、視聴者の視線方向に対応したID２乃至ID５いずれかのストリームを要求ストリームに決定する。
ストリーム判定部２７１は、選択した符号化ストリームを示すストリーム選択情報を送受信部１２１に供給する。送受信部１２１は、ストリーム判定部２７１からのストリーム選択情報を、ネットワーク１４を介して配信サーバ１３に送信する。
ストリーム選択情報に従って、配信サーバ１３から送信されてくる符号化ストリームが変更された場合、送受信部１２１から、３Dモデル生成部２７２とマッピング処理部２７３に符号化ストリームが変更されたことを示すストリーム情報が供給される。
３Dモデル生成部２７２は、配信サーバ１３から送信されてくる符号化ストリームに対応した３Dメッシュモデルのデータを生成し、頂点データ変換部１２７に供給する。より具体的には、３Dモデル生成部２７２は、３Dモデルの各頂点の座標(x,y,z)とそれに対応するテクスチャ座標(u,v)とからなる頂点配列データの各頂点の座標(x,y,z)を、高解像度方向を示す方向dir1乃至dir4に基づいて回転補正した頂点配列データを生成し、頂点データ変換部１２７に供給する。
マッピング処理部２７３は、デコーダ１２２から供給される全天球画像の画像中央が拡大率ｋで高解像度になるように補正したUVマッピングモデルに基づいて、テクスチャ座標（u，v）に対応したテクスチャデータ（R，G，B）を生成する。
なお、送信されてきた符号化ストリームの高解像度方向と拡大率ｋは、ストリーム判定部２７１から供給されてもよいし、送信されてきた符号化ストリームのメタデータに含まれた内容に基づいて、送受信部１２１から、ストリーム情報の一部として供給されてもよい。
図２４の配信サーバ１３および再生装置１５のその他の構成は、図４における配信サーバ１３および再生装置１５と同様である。
（生成装置の処理の説明）
図２５は、図２１の生成装置１２による生成処理を説明するフローチャートである。この処理は、例えば、撮影装置１１の６個のカメラ１１Ａ－１乃至１１Ａ－６で撮影された６方向の動画像が供給されたとき開始される。
初めに、ステップＳ６１において、スティッチング処理部２１は、フレームごとに、各カメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続し、一枚の撮影画像に変換する。スティッチング処理部２１は、一枚の撮影画像として、例えば正距円筒画像を生成し、フレーム単位の正距円筒画像を回転処理部２１１に供給する。
ステップＳ６２において、設定部２１２は、５個の高解像度方向と拡大率を決定する。設定部２１２は、決定した５個の高解像度方向を回転処理部２１１－１乃至２２－５に１つずつ供給し、決定した拡大率をマッピング処理部２２－１乃至２２－５に供給する。具体的には、図２０の方向dir1が回転処理部２１１－１および２１１－２に供給され、図２０の方向dir2が回転処理部２１１－３に供給され、図２０の方向dir3が回転処理部２１１－４に供給され、図２０の方向dir4が回転処理部２１１－４に供給される。拡大率に関しては、マッピング変換部２２－１には、拡大率ｋ＝1.0が供給され、マッピング変換部２２－２乃至２２－５には、拡大率ｋ＝2.0が供給される。また、設定部２１２は、決定した５個の高解像度方向と拡大率をテーブル生成部２１３にも供給する。
ステップＳ６３において、回転処理部２１１は、スティッチング処理部２１から供給されたフレーム単位の撮影画像（例えば、正距円筒画像）を、設定部２１２で指示された高解像度方向が画像の中心となるように回転する。
ステップＳ６４において、マッピング処理部２２は、回転処理部２１１により回転された撮影画像を、所定の3Dモデルにマッピングするためのマッピング形式に変換するマッピング変換処理を行う。マッピング変換処理では、撮影画像の中央部が拡大率ｋに従って最も解像度が高くなるようにマッピングされる。
ステップＳ６５において、エンコーダ２３は、マッピング処理部２２から供給された全天球画像をMPEG2方式やAVC方式などの所定の符号化方式で符号化し、１本の符号化ストリームを生成する。エンコーダ２３は、生成した１本の符号化ストリームを送信部２４に供給する。
ステップＳ６３乃至Ｓ６５の処理は、５個ずつ設けられた回転処理部２１１、マッピング処理部２２、および、エンコーダ２３において並列に実行され、合計５本の符号化ストリームが送信部２４に供給される。
ステップＳ６６において、テーブル生成部２１３は、５個の高解像度方向を特定する情報と、拡大率を示す情報をストリームごとにまとめたパラメータテーブルを補助情報として生成し、送信部２４に供給する。
ステップＳ６７において、送信部２４は、５個のエンコーダ２３から供給された合計５本の符号化ストリーム、および、テーブル生成部２１３から供給された補助情報を、配信サーバ１３にアップロードする。
（再生装置の処理の説明）
図２６は、図２４の再生装置１５による再生処理を説明するフローチャートである。この再生処理は、例えば、再生装置１５において電源オンや処理開始操作が検出されたとき開始される。
初めに、ステップＳ１０１において、送受信部１２１は、配信サーバ１３に補助情報を要求し、その要求に応じて配信サーバ１３の送受信部２５２から送信されてくる補助情報を受け取る。送受信部１２１は、取得した補助情報をストリーム判定部２７１に供給する。
ステップＳ１０２において、受け取り部１２４は、図１のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視線検出部１２５に供給する。
ステップＳ１０３において、視線検出部１２５は、受け取り部１２４から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Dモデルの座標系における視聴者の視線方向を決定し、ストリーム判定部２７１に供給する。
ステップＳ１０４において、視線検出部１２５は、３Dモデルの座標系における視聴者の視聴位置と視野範囲を決定し、描画部１２８に供給する。より具体的には、視線検出部１２５は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて３Dモデルの座標系における視聴位置を検出する。そして、視線検出部１２５は、検出した視聴位置と視線方向に基づいて、３Dモデル座標系における視聴者の視野範囲を決定する。
ステップＳ１０５において、受け取り部１２４は、ヘッドマウントディスプレイ１６からズーム操作情報を受け取り、頂点データ変換部１２７およびストリーム判定部２７１に供給する。
ステップＳ１０６において、ストリーム判定部２７１は、視聴者の視線方向、ズーム操作の有無、および、補助情報に基づいて、配信サーバ１３から取得可能な５本の符号化ストリームのなかから、１本の符号化ストリームを決定（選択）する。そして、ストリーム判定部２７１は、選択した符号化ストリームを示すストリーム選択情報を送受信部１２１に供給する。
ステップＳ１０７において、送受信部１２１は、ストリーム判定部２７１から供給されたストリーム選択情報に対応する１本の符号化ストリームを、ネットワーク１４を介して配信サーバ１３に要求し、その要求に応じて配信サーバ１３の送受信部２５２から送信されてくる１本の符号化ストリームを受け取る。送受信部１２１は、取得した１本の符号化ストリームをデコーダ１２２に供給する。また、送受信部１２１は、ストリームが変更されたことを示すストリーム情報を３Dモデル生成部２７２とマッピング処理部２７３に供給する。
ステップＳ１０８において、デコーダ１２２は、送受信部１２１から供給された符号化ストリームを復号し、全天球画像を生成する。デコーダ１２２は、生成した全天球画像をマッピング処理部２７３に供給する。
ステップＳ１０９において、マッピング処理部２７３は、デコーダ１２２から供給された全天球画像を用いて、所定の３Dモデルのテクスチャ座標（u，v）に対応したテクスチャデータ（R，G，B）を生成する。この際、マッピング処理部２７３は、送受信部１２１から供給されたストリーム情報に基づいて、全天球画像の画像中央が拡大率ｋで高解像度になるように補正したUVマッピングモデルに基づくテクスチャデータ（R，G，B）を生成する。なお、拡大率ｋが1.0である場合には、テクスチャデータ（R，G，B）は、拡大縮小無し、すなわち、均一解像度のテクスチャデータとなる。マッピング処理部２７３は、生成したテクスチャデータを、描画部１２８がアクセス可能なテクスチャバッファに格納することで、描画部１２８にテクスチャデータを供給する。
ステップＳ１１０において、３Dモデル生成部２７２は、仮想的な３D空間の３Dメッシュモデルのデータを生成し、頂点データ変換部１２７に供給する。この３Dメッシュモデルのデータは、図７に示したように、３Dモデルの各頂点の座標(x,y,z)とそれに対応するテクスチャ座標(u,v)とからなる頂点配列データの各頂点の座標(x,y,z)を、高解像度方向を示す方向dir1乃至dir4に基づいて回転補正した頂点配列データとなる。
ステップＳ１１１において、頂点データ変換部１２７は、受け取り部１２４から供給されたズーム操作情報に基づいて、頂点データ変換処理を実行する。この頂点データ変換処理は、図１７のステップＳ３８乃至Ｓ４２で実行される処理と同様である。具体的には、頂点データ変換部１２７は、ズーム操作が行われていない場合には、３Dモデル生成部２７２から供給された頂点配列データを、そのまま、描画部１２８に供給する。一方、ズーム操作が行われた場合には、頂点データ変換部１２７は、３Dモデル生成部２７２から供給された直交座標系の頂点配列データを円柱座標系に変換して、ズーム操作に対応する写像変換ｆkを行った後、円柱座標系の頂点配列データを再び直交座標系に戻して、描画部１２８に供給する。
ステップＳ１１２において、描画部１２８は、頂点データ変換部１２７（の直交座標変換部１４３）から供給された頂点配列データ、マッピング処理部２７３から供給されたテクスチャデータ（R，G，B）、および、視線検出部１２５から供給された視聴者の視野範囲に基づいて、３Dモデル画像を視聴者の視野範囲に透視投影することにより、表示画像を生成する。
ステップＳ１１３において、描画部１２８は、表示画像をヘッドマウントディスプレイ１６に送信して表示させる。
ステップＳ１１４において、再生装置１５は、再生を終了するかを判定する。例えば、再生装置１５は、視聴者により再生を終了する操作が行われたとき、再生を終了すると判定する。
ステップＳ１１４で再生を終了しないと判定された場合、処理はステップＳ１０２に戻り、上述したステップＳ１０２乃至Ｓ１１４の処理が繰り返される。一方、ステップＳ１１４で再生を終了すると判定された場合、再生処理が終了される。
以上の再生処理によれば、視聴者がズーム操作（拡大操作）を行っていない場合、再生装置１５のストリーム判定部２７１は、均一解像度の全天球画像２３１－１に対応するストリームを選択し、配信サーバ１３に要求する。そして、均一解像度の全天球画像２３１－１を貼り付けた球面モデルを視聴者の視野範囲に透視投影した画像が、表示画像として、ヘッドマウントディスプレイ１６に表示される。
一方、視聴者がズーム操作（拡大操作）を行った場合、再生装置１５のストリーム判定部２７１は、視聴者の視線方向に最も近い方向dir1乃至dir4を選択し、選択された方向（方向dir1乃至dir4のいずれか）を高解像度方向として有する全天球画像（全天球画像２３１－２乃至２３１－５のいずれか）に対応するストリームを選択し、配信サーバ１３に要求する。そして、取得した画像中央が高解像度になっている全天球画像（全天球画像２３１－２乃至２３１－５のいずれか）を貼り付けた球面モデルを視聴者の視野範囲に透視投影した画像を、表示画像として、ヘッドマウントディスプレイ１６に表示させる。
視聴者が縮小操作を行った場合には、第１の実施の形態と同様に、頂点データ変換部１２７による頂点データ変換処理により、均一解像度の全天球画像２３１－１を縮小して貼り付けた球面モデルを用いて、表示画像が生成される。
上述した第１および第２の実施の形態の配信システムによれば、拡縮操作が行われた場合、頂点データ変換部１２７が、座標(x,y,z)とテクスチャ座標(u,v)の５要素の頂点配列データを、拡大率ｋに応じた座標(x’,y’,z’)とテクスチャ座標(u,v)の５要素の頂点配列データに変換して再配置する頂点データ変換処理を行うだけである。３Dモデルの内部から見回すように視聴者の視野範囲の透視投影画像を生成する描画部１２８の処理は、拡縮操作を行わない場合と何ら変わらない。
頂点データ変換部１２７は、全天球画像の拡大縮小を行うために、鉛直方向（鉛直方向z）とそれを軸とする水平回転方向（方位角θ）とに分けて、それぞれに対して独立に、座標変換処理を行う。換言すれば、頂点データ変換部１２７は、水平回転方向（方位角θ）に対してｋ倍し、鉛直方向（鉛直方向z）に対してｋ倍する写像変換ｆkを行う。
鉛直方向である直交座標系(x,y,z)のz軸を重力方向とすることで、z=0の平面が地面のような水平面となり、座標変換処理の前後において、重力方向および水平方向が維持されるので、景色の傾きによる酔いが発生するのを抑制することができる。換言すれば、頭の回転角と画像の回転角の不一致が生じないので、酔いの発生を抑制した画像の拡大縮小表示を行うことができる。
写像変換ｆkにおける拡大率ｋは連続的に可変であり、動画再生途中でも変化させることが可能である。拡大率変更中も鉛直方向が保たれるので、酔いが発生しにくい。視聴者が拡大操作を行うと、水平方向の画像が３６０度以上になるが、水平方向の画像が常に連続するように描画を行う実装では、拡大された倍率の分だけ余分に回転することで、記録された全方向が視聴可能となる。一方、縮小操作をすると、水平方向の画像が３６０度以下になり、より少ない首の回転で全周の画像の視聴が可能となる。
＜３．その他の変形例＞
（符号化ストリームの他の例）
上述した各実施の形態において、符号化ストリームとして伝送する全天球画像は、視聴者の右目と左目に同一の画像を表示する２D画像用の全天球画像であったが、左目用の全天球画像と右目用の全天球画像を合成（パッキング）した３D画像用の全天球画像であってもよい。
具体的には、図２７のAに示すように、全天球画像は、例えば、左目用の全天球画像４２１と右目用の全天球画像４２２が横方向（水平方向）にパッキングされたパッキング画像４２０であってもよい。
また、図２７のBに示すように、全天球画像は、例えば、左目用の全天球画像４２１と右目用の全天球画像４２２が縦方向（垂直方向）にパッキングされたパッキング画像４４０であってもよい。
左目用の全天球画像４２１は、球にマッピングされた左目用の視点の全天球画像を球の中心を焦点として、左目の視野範囲に透視投影することにより得られる画像である。また、右目用の全天球画像４２２は、球にマッピングされた右目用の視点の全天球画像を球の中心を焦点として、右目の視野範囲に透視投影することにより得られる画像である。
全天球画像がパッキング画像である場合、図４のマッピング処理部１２３は、デコーダ１２２による復号の結果得られるパッキング画像を左目用の全天球画像と右目用の全天球画像に分離する。そして、マッピング処理部１２３は、左目用の視点および右目用の視点のそれぞれについてテクスチャデータ（R，G，B）を生成し、描画部１２８は、左目用の視点および右目用の視点のそれぞれについて、３Dモデル画像を用いて表示画像を生成する。
これにより、ヘッドマウントディスプレイ１６は、３D表示可能である場合、左目用の視点および右目用の視点の表示画像を、それぞれ、左目用の画像、右目用の画像として表示することにより、表示画像を３D表示することができる。
（ライブ配信の例）
上述した各実施の形態では、生成装置１２が生成した１本以上の符号化ストリームおよび補助情報が、一度、配信サーバ１３のストレージ１０２または２５１に記憶され、再生装置１５からの要求に応じて、配信サーバ１３が、符号化ストリームおよび補助情報を再生装置１５に送信するようにした。
しかしながら、生成装置１２によって生成された１本以上の符号化ストリームおよび補助情報が、配信サーバ１３のストレージ１０２または２５１に記憶されることなく、リアルタイム配信(ライブ配信)されるようにしてもよい。この場合、配信サーバ１３の受信部１０１で受信されたデータが、即座に送受信部１０３または２５２から再生装置１５に送信される。
（その他）
さらに、上述した実施の形態では、撮影画像は動画像であるものとしたが、静止画像であってもよい。また、上述した実施の形態では、360度（全方位）を撮影した全天球画像を用いた例で説明したが、本開示に係る技術は全方位をカバーする画像に限らず、360度より狭い範囲の広角画像（いわゆるパノラマ画像）全般に適用することができる。広角画像には、360度（全方位）を撮影した全天球画像、全天周画像、全方位画像、360度パノラマ画像などを含む。
配信システム１０は、ヘッドマウントディスプレイ１６の代わりに、設置型ディスプレイを有するようにしてもよい。この場合、再生装置１５はカメラ１５Ａを有さず、視聴位置および視線方向は、視聴者によるコントローラ１６Ｃの操作情報に基づいて検出される。
また、配信システム１０は、再生装置１５とヘッドマウントディスプレイ１６の代わりに、モバイル端末を有するようにしてもよい。この場合、モバイル端末は、カメラ１５Ａ以外の再生装置１５の処理を行い、モバイル端末が有するディスプレイに表示画像を表示させる。視聴者は、視聴位置および視線方向をモバイル端末の姿勢を変化させることにより入力し、モバイル端末は、内蔵するジャイロセンサにモバイル端末の姿勢を検出させることにより、入力された視聴位置および視線方向を取得する。
＜４．コンピュータ構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本開示は以下のような構成も取ることができる。
（１）
広角画像の拡大縮小が選択された場合に、拡大縮小用の３Dモデルを生成する３Dモデル生成部を備える
再生装置。
（２）
前記３Dモデル生成部は、鉛直方向と、それを軸とする水平回転方向に分けて、それぞれの方向に対して独立に座標変換処理を行うことにより、前記拡大縮小用の３Dモデルを生成する
前記（１）に記載の再生装置。
（３）
前記３Dモデル生成部は、前記鉛直方向と前記水平回転方向を、同じ拡大率で前記座標変換処理を行う
前記（２）に記載の再生装置。
（４）
前記３Dモデル生成部は、直交座標系を円柱座標系に変換して座標変換処理を行った後、前記直交座標系に戻すことにより、前記拡大縮小用の３Dモデルを生成する
前記（１）乃至（３）のいずれかに記載の再生装置。
（５）
前記３Dモデル生成部は、ｋ倍に拡大した場合、視聴者が水平回転方向にｋ周すると、元の広角画像の１周分が見えるように、前記拡大縮小用の３Dモデルを生成する
前記（１）乃至（４）のいずれかに記載の再生装置。
（６）
前記３Dモデル生成部は、１／ｋ倍に縮小した場合、視聴者が水平回転方向に１周すると、元の広角画像のｋ周分が見えるように、前記拡大縮小用の３Dモデルを生成する
前記（１）乃至（５）のいずれかに記載の再生装置。
（７）
前記３Dモデル生成部は、ｋ倍に拡大した場合、３６０度を超える画像を切り捨てるように、前記拡大縮小用の３Dモデルを生成する
前記（１）乃至（４）のいずれかに記載の再生装置。
（８）
前記拡大縮小用の３Dモデルは、球面モデルである
前記（１）乃至（７）のいずれかに記載の再生装置。
（９）
前記拡大縮小用の３Dモデルは、立方体モデルである
前記（１）乃至（７）のいずれかに記載の再生装置。
（１０）
全方向に均一な解像度を有する第１の広角画像、または、所定の方向に高解像度な第２の広角画像を、視聴者の広角画像の拡大縮小操作に応じて選択する選択部をさらに備え、
前記３Dモデル生成部は、選択された前記第１の広角画像または前記第２の広角画像を用いて、前記拡大縮小用の３Dモデルを生成する
前記（１）乃至（９）のいずれかに記載の再生装置。
（１１）
前記３Dモデル生成部は、前記広角画像の拡大操作が行われた場合に、前記第２の広角画像を用いて、前記拡大縮小用の３Dモデルを生成する
前記（１０）に記載の再生装置。
（１２）
再生装置が、
広角画像の拡大縮小が選択された場合に、拡大縮小用の３Dモデルを生成する
再生方法。
（１３）
広角画像の拡大縮小が選択された場合に拡大縮小用の３Dモデルを生成する３Dモデル生成部を備える再生装置で用いるための所定の３Dモデルにマッピングされた前記広角画像を生成する広角画像生成部を備える
生成装置。
（１４）
前記広角画像生成部は、前記広角画像として、全方向に均一な解像度を有する第１の広角画像を生成する
前記（１３）に記載の生成装置。
（１５）
前記広角画像生成部は、前記広角画像として、所定の方向が高解像度に設定された第２の広角画像をさらに生成する
前記（１４）に記載の生成装置。
（１６）
前記第２の広角画像の高解像度な方向を特定する情報と、高解像度の比率を表す拡大率を特定する情報を、補助情報として生成する補助情報生成部と、
前記第１の広角画像、前記第２の広角画像、および、前記補助情報を、前記再生装置に送信する送信部と
をさらに備える
前記（１５）に記載の生成装置。
（１７）
前記所定の３Dモデルは、球面モデルである
前記（１３）乃至（１６）のいずれかに記載の生成装置。
（１８）
前記所定の３Dモデルは、立方体モデルである
前記（１３）乃至（１６）のいずれかに記載の生成装置。
（１９）
生成装置が、
広角画像の拡大縮小が選択された場合に拡大縮小用の３Dモデルを生成する３Dモデル生成部を備える再生装置で用いるための所定の３Dモデルにマッピングされた前記広角画像を生成する
生成方法。
１０ 配信システム， １２ 生成装置， １３ 配信サーバ， １５ 再生装置， １６ ヘッドマウントディスプレイ， ２２ マッピング変換部， ２３ エンコーダ， ２４ 送信部， １２１ 送受信部， １２２ デコーダ， １２３ マッピング処理部， １２４ 受け取り部， １２５ 視線検出部， １２６ ３Dモデル生成部， １２７ 頂点データ変換部， １２８ 描画部， １４１ 円柱座標変換部， １４２ スケーリング部， １４３ 直交座標変換部， １５１ 描画部， ２１１ 回転処理部， ２１２ 設定部， ２１３ テーブル生成部， ２７１ ストリーム判定部， ２７２ ３Dモデル生成部， ２７３ マッピング処理部， ９００ コンピュータ， ９０１ CPU， ９０２ ROM， ９０３ RAM， ９０６ 入力部， ９０７ 出力部， ９０８ 記憶部， ９０９ 通信部， ９１０ ドライブ

Claims (11)

  1. 広角画像の拡大縮小が選択された場合に、拡大縮小用の３Ｄモデルを生成する３Ｄモデル生成部を備え、
    前記３Ｄモデル生成部は、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルを生成し、ｋ倍に拡大した場合、視聴者が水平回転方向にｋ周すると、元の広角画像の１周分が見えるように、前記拡大縮小用の３Ｄモデルを生成する
    再生装置。
  2. 前記３Ｄモデル生成部は、前記鉛直方向と前記水平回転方向を、同じ拡大率で前記座標変換処理を行う
    請求項１に記載の再生装置。
  3. 前記３Ｄモデル生成部は、直交座標系を円柱座標系に変換して座標変換処理を行った後、前記直交座標系に戻すことにより、前記拡大縮小用の３Ｄモデルを生成する
    請求項１に記載の再生装置。
  4. 前記３Ｄモデル生成部は、１／ｋ倍に縮小した場合、視聴者が水平回転方向に１周すると、元の広角画像のｋ周分が見えるように、前記拡大縮小用の３Ｄモデルを生成する
    請求項１に記載の再生装置。
  5. 前記３Ｄモデル生成部は、ｋ倍に拡大した場合、視聴者が水平回転方向にｋ周すると、元の広角画像の１周分が見えるようにする代わりに、３６０度を超える画像を切り捨てるように、前記拡大縮小用の３Ｄモデルを生成する
    請求項１に記載の再生装置。
  6. 再生装置が、
    広角画像の拡大縮小が選択された場合に、拡大縮小用の３Ｄモデルを生成する際に、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルを生成し、ｋ倍に拡大した場合、視聴者が水平回転方向にｋ周すると、元の広角画像の１周分が見えるように、前記拡大縮小用の３Ｄモデルを生成する
    再生方法。
  7. 全方向に均一な解像度を有する第１の広角画像、または、所定の方向に高解像度な第２の広角画像を、視聴者の広角画像の拡大縮小操作に応じて選択する選択部と、
    広角画像の拡大縮小が選択された場合に、拡大縮小用の３Ｄモデルを生成する３Ｄモデル生成部と
    を備え、
    前記３Ｄモデル生成部は、選択された前記第１の広角画像または前記第２の広角画像を用いて、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルを生成する
    再生装置。
  8. 前記３Ｄモデル生成部は、前記広角画像の拡大操作が行われた場合に、前記第２の広角画像を用いて、前記拡大縮小用の３Ｄモデルを生成する
    請求項７に記載の再生装置。
  9. 再生装置が、
    全方向に均一な解像度を有する第１の広角画像、または、所定の方向に高解像度な第２の広角画像を、視聴者の広角画像の拡大縮小操作に応じて選択し、広角画像の拡大縮小が選択され、拡大縮小用の３Ｄモデルを生成する際に、選択された前記第１の広角画像または前記第２の広角画像を用いて、鉛直方向と前記鉛直方向を軸とする水平回転方向に分けて、前記鉛直方向は鉛直方向の距離に基づいて座標変換処理を行うとともに、前記水平回転方向は方位角に基づいて座標変換処理を行うことにより、前記鉛直方向と前記水平回転方向の依存関係をなくして前記拡大縮小用の３Ｄモデルを生成する
    再生方法。
  10. 広角画像の拡大縮小が選択された場合に拡大縮小用の３Ｄモデルを生成する３Ｄモデル生成部を備える再生装置で用いるための所定の３Ｄモデルにマッピングされた前記広角画像として、全方向に均一な解像度を有する第１の広角画像と、所定の方向が高解像度に設定された第２の広角画像とを生成する広角画像生成部と、
    前記第２の広角画像の高解像度な方向を特定する情報と、高解像度の比率を表す拡大率を特定する情報を、補助情報として生成する補助情報生成部と、
    前記第１の広角画像、前記第２の広角画像、および、前記補助情報を、前記再生装置に送信する送信部と
    を備える生成装置。
  11. 生成装置が、
    広角画像の拡大縮小が選択された場合に拡大縮小用の３Ｄモデルを生成する３Ｄモデル生成部を備える再生装置で用いるための所定の３Ｄモデルにマッピングされた前記広角画像として、全方向に均一な解像度を有する第１の広角画像と、所定の方向が高解像度に設定された第２の広角画像とを生成し、
    前記第２の広角画像の高解像度な方向を特定する情報と、高解像度の比率を表す拡大率を特定する情報を、補助情報として生成し、
    前記第１の広角画像、前記第２の広角画像、および、前記補助情報を、前記再生装置に送信する
    生成方法。
JP2019549204A 2017-10-20 2018-10-05 再生装置および方法、並びに、生成装置および方法 Active JP7243631B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017203234 2017-10-20
JP2017203234 2017-10-20
PCT/JP2018/037328 WO2019078033A1 (ja) 2017-10-20 2018-10-05 再生装置および方法、並びに、生成装置および方法

Publications (2)

Publication Number Publication Date
JPWO2019078033A1 JPWO2019078033A1 (ja) 2020-11-05
JP7243631B2 true JP7243631B2 (ja) 2023-03-22

Family

ID=66173885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549204A Active JP7243631B2 (ja) 2017-10-20 2018-10-05 再生装置および方法、並びに、生成装置および方法

Country Status (6)

Country Link
US (1) US11270413B2 (ja)
JP (1) JP7243631B2 (ja)
KR (1) KR20200064998A (ja)
CN (1) CN111226264A (ja)
DE (1) DE112018004592T5 (ja)
WO (1) WO2019078033A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114342367A (zh) * 2019-09-13 2022-04-12 索尼集团公司 再现装置、再现方法和记录介质
US11417004B2 (en) * 2020-08-24 2022-08-16 Vmware, Inc. Variable transforms for three-dimensional engines
WO2022123636A1 (ja) 2020-12-07 2022-06-16 三菱電機株式会社 学習用データ生成装置及び学習用データ生成方法
WO2023003803A1 (en) * 2021-07-19 2023-01-26 Lifecast Incorporated Virtual reality systems and methods
JP2023061262A (ja) * 2021-10-19 2023-05-01 キヤノン株式会社 画像表示システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013012893A (ja) 2011-06-29 2013-01-17 Panasonic Corp 画像変換装置、カメラ、画像変換方法およびプログラム
WO2018225804A1 (ja) 2017-06-08 2018-12-13 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3641747B2 (ja) * 2001-10-23 2005-04-27 ヴイストン株式会社 画像表示方法及び画像表示装置
US20030095131A1 (en) * 2001-11-08 2003-05-22 Michael Rondinelli Method and apparatus for processing photographic images
JP2004013326A (ja) * 2002-06-04 2004-01-15 Canon Inc 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4109076B2 (ja) * 2002-06-06 2008-06-25 Ｓｒｉスポーツ株式会社 曲面体の回転量と回転軸方向の測定方法、及び、曲面体の回転量と回転軸方向の測定装置
GB0230328D0 (en) * 2002-12-31 2003-02-05 British Telecomm Video streaming
JP2015125502A (ja) 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
KR102407283B1 (ko) * 2014-05-29 2022-06-10 네버마인드 캐피탈 엘엘씨 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US10269184B2 (en) * 2014-07-23 2019-04-23 Sony Corporation Information processing apparatus, information processing method, and image display system
JP6339887B2 (ja) 2014-07-24 2018-06-06 シャープ株式会社 画像表示装置
EP3267687B1 (en) * 2015-03-05 2021-10-20 Sony Group Corporation Image processing device and image processing method
WO2018174387A1 (ko) * 2017-03-20 2018-09-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102277267B1 (ko) * 2017-03-29 2021-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US20190387212A1 (en) * 2017-05-26 2019-12-19 Lg Electronics Inc. 360 video processing method and apparatus therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013012893A (ja) 2011-06-29 2013-01-17 Panasonic Corp 画像変換装置、カメラ、画像変換方法およびプログラム
WO2018225804A1 (ja) 2017-06-08 2018-12-13 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム

Also Published As

Publication number Publication date
KR20200064998A (ko) 2020-06-08
WO2019078033A1 (ja) 2019-04-25
US20200334788A1 (en) 2020-10-22
CN111226264A (zh) 2020-06-02
DE112018004592T5 (de) 2020-08-27
US11270413B2 (en) 2022-03-08
JPWO2019078033A1 (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
JP7243631B2 (ja) 再生装置および方法、並びに、生成装置および方法
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US10600233B2 (en) Parameterizing 3D scenes for volumetric viewing
CN107439010B (zh) 流传输球形视频
CN112738530B (zh) 全景视频的建议视口指示
CN111164969B (zh) 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
US11699211B2 (en) Spherical rotation for encoding wide view video
JP2019526178A (ja) 空間的にタイリングされた全方位ビデオのストリーミング
WO2019131577A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
WO2018123646A1 (ja) 生成装置、識別情報生成方法、再生装置および画像生成方法
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
EP3540696A1 (en) A method and an apparatus for volumetric video rendering
Stone Omnidirectional Stereoscopic Projections for VR.

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20200331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R151 Written notification of patent or utility model registration

Ref document number: 7243631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151