JP7317401B2 - 三次元点群に基づく初期視野角の制御と提示の方法及びシステム - Google Patents

三次元点群に基づく初期視野角の制御と提示の方法及びシステム Download PDF

Info

Publication number
JP7317401B2
JP7317401B2 JP2021570458A JP2021570458A JP7317401B2 JP 7317401 B2 JP7317401 B2 JP 7317401B2 JP 2021570458 A JP2021570458 A JP 2021570458A JP 2021570458 A JP2021570458 A JP 2021570458A JP 7317401 B2 JP7317401 B2 JP 7317401B2
Authority
JP
Japan
Prior art keywords
initial
viewpoint
information
point cloud
viewing angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021570458A
Other languages
English (en)
Other versions
JP2022534269A (ja
Inventor
徐異凌
高▲リン▼遥
朱文▲ショウ▼
管云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Publication of JP2022534269A publication Critical patent/JP2022534269A/ja
Application granted granted Critical
Publication of JP7317401B2 publication Critical patent/JP7317401B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Description

本発明は３Ｄメディアデータカプセル化及び消費過程の設計分野に関し、具体的には、三次元点群に基づく初期視野角の制御と提示の方法及びシステムに関する。
情報技術の急速な発展に伴い、文字、画像、従来のビデオに基づいた消費モードは成熟しつつあり、より高い忠実度、より強いインタラクション性、より多様化された視覚的通信を提供することが次第に発展のホットスポットとなってきている。視覚的通信は正確にレンダリングされた三次元点群、六自由度の全方位体験、虚実結合リアルタイムインタラクション等の技術手段によって、ユーザに時間、地域、現実条件によって制限されない、臨場感があるリアルな体験を提供すると同時に、新たなアプリケーションに無限の空間をもたらす。
視覚メディアデータの生成、伝送、処理及び提示等の面では従来のメディアデータと大きく異なり、視覚メディアデータがより複雑で多様である。ユーザの提示要求を満たすために、対応するデータ記述方法も広く注目されている。三次元スキャン技術及びシステムがますます成熟しつつあるため、三次元点群データは学術界及び産業界に広く注目されている。
三次元点群はスペースにおける一連の点のセットであり、スキャンされた物体の表面の各点の１組の三次元座標情報及び複数の種類の属性情報、例えばテクスチャ、材質、法線ベクトル、反射強度等が記録される。三次元点群データは実際の物体の幾何学的描写であり、新たな三次元モデルデータフォーマットであり、視覚的通信シーンで情報を表現する主なキャリアとして、視覚メディアサービスにおける静的実物及びシーンを効果的に示すだけでなく、正確な立体モデルをリアルタイムにレンダリングし、動的実物又はシーン情報を確実に描くこともできる。そこで、三次元点群データはユーザに虚実結合、リアルタイムインタラクションの没入式の消費体験をもたらすことができる。
現在三次元点群データをどのように記憶し、伝送するかについて一定の研究があるが、従来の三次元点群カプセル化情報は点群データ全体の提示効果のみを考慮し、ユーザの三次元点群メディアに対する初期提示要求など、異なるシーンでのユーザの提示要求を考慮していない。ユーザが点群メディアファイルを開く時は、ある特異な角度又は非関心の領域ではなく、興味のある領域を直接消費することを望んでいる。
従来の技術における欠陥に対して、ユーザの異なるシーンでの初期提示要求を満たすために、本発明は三次元点群に基づく初期視野角の制御及び提示の方法及びシステム及び点群システムを提供する。ユーザが三次元視覚メディアに対する初期提示要求を満たすように、三次元点群メディアデータのカプセル化情報を展開し、三次元点群提示する時の初期視野角情報を定義することによって、ユーザが三次元メディアコンテンツを初期消費する時にコンテンツ制作側が指定した初期視聴角度つまりユーザ関心領域を視聴させる。
本発明は三次元点群に基づく初期視野角の制御及び提示の方法を提供し、三次元メディアストリームを読み取って解析することと、初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定することと、初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示することとを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、コンテンツ制作側が指定したスケーリングスケールを決定する、又は相対変位から計算された深度値に基づいて設定されるスケーリングスケールを決定することと、スケーリングスケールで三次元メディアストリームにおける一部のメディアコンテンツ又は全てのメディアコンテンツを提示することとを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記スケーリングスケールは三次元メディアコンテンツの提示のスケーリング係数であることを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、ユーザ位置の初期視点に対する相対変位をフィードバックすることと、ユーザ位置視点における視野と相対変位の深さに基づいて現在のユーザ位置の視聴視野範囲を決定することと、三次元メディアストリームにおける視聴視野範囲の一部のメディアコンテンツ又は全てのメディアコンテンツを提示することとをさらに含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記深度はユーザ位置の初期視点に対する距離であることを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記視点における視野はユーザの開始位置点を円心とし、初期視点までの距離を半径とする円形視野であることを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、メディアコンテンツが回されることを前提として、初期視点及び法線ベクトルの方向を変更し、変更後の視点位置及び変更後の視点の法線ベクトルの方向を形成することをさらに含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記初期視点の正方向ベクトルは提示装置に規定された正方向に平行する方向ベクトルであり、初期視点の正方向ベクトルは初期視点を座標原点として座標系を確立し、初期視点以外の正方向ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記三次元メディアストリームは三次元メディアデータカプセル化によって形成され、前記三次元メディアデータに指示情報を付加し、前記指示情報は、初期視点の位置情報である情報１と、初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、初期視点の正方向ベクトル情報である情報３とを含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、三次元メディアのスケーリングスケール情報を含む情報４を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、変更後の視点の位置情報、変更後の視点の法線ベクトルの変更後の視点に対する位置情報である情報５を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、リアルタイム相対変位であって、ユーザのリアルタイム位置の初期視点に対する位置情報である情報６と、ユーザのリアルタイム位置に基づいて対応する視聴視野範囲を調整する情報７とを含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、メディアコンテンツの回転がサポートされるか否かを指示するための回転指示情報を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記指示情報は、メディア再生過程においてユーザ位置をサポートするか否かを指示するためのリアルタイムインタラクション情報を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記初期視点の法線ベクトルの方向は、初期視点を座標原点として座標系を確立し、初期視点以外の法線ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、前記ユーザ位置と初期視点との相対変位は、初期視点を座標原点として座標系を確立し、ユーザの視聴位置のｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、メディアコンテンツが回されることを前提として、前記変更後の視点位置は、変更後の視点のｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示の方法において、さらに好ましくは、メディアコンテンツが回されることを前提として、前記変更後の視点の法線ベクトルの方向は、変更後の視点を座標原点として座標系を確立し、変更後の視点以外の法線ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含むことを含む。
また、本発明は三次元点群に基づく初期視野角の制御及び提示のシステムをさらに提供し、三次元メディアストリームを読み取って解析するための解析モジュールと、初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、
ユーザのリアルタイム位置の初期視点に対する相対変位をフィードバックするための変位フィードバックモジュールと、コンテンツ制作側が指定したスケーリングスケールを決定する、又は相対変位から計算された深度値に基づいて設定されるスケーリングスケールを決定するためのスケーリングスケール決定モジュールと、ユーザ位置視点における視野と深度値に基づいて現在のユーザ位置の視聴視野範囲を決定するための視聴視野範囲決定モジュールと、初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて視聴視野範囲内の三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとをさらに含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、コンテンツ制作側が指定したスケーリングスケールを決定する、又は相対変位から計算された深度値に基づいて設定されるスケーリングスケールを決定するためのスケーリングスケール決定モジュールと、スケーリングスケールで三次元メディアストリームにおける一部のメディアコンテンツ又は全てのメディアコンテンツを提示するための三次元メディア提示モジュールとをさらに含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、メディアコンテンツが回されることを前提として、初期視点及び法線ベクトルの方向を変更し、変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定するための変更視野角決定モジュールをさらに含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記三次元メディアストリームは三次元メディアデータカプセル化によって形成され、前記三次元メディアデータに指示情報を付加し、前記指示情報は、初期視点の位置情報である情報１と、初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、初期視点の正方向ベクトル情報である情報３とを含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記指示情報は、三次元メディアのスケーリングスケール情報である情報４を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記指示情報は、変更後の視点の位置情報、変更後の視点の法線ベクトルの変更後の視点に対する位置情報である情報５を含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記指示情報は、リアルタイム相対変位であって、ユーザのリアルタイム位置の初期視点に対する位置情報である情報６と、ユーザのリアルタイム位置に基づいて対応する視聴視野範囲を調整する情報７とを含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、前記指示情報は、メディアコンテンツの回転がサポートされるか否かを指示するための回転指示情報をさらに含むことを含む。
本発明に係る三次元点群に基づく初期視野角の制御及び提示のシステムにおいて、さらに好ましくは、指示情報は、メディア再生過程においてユーザ位置をサポートするか否かを指示するためのリアルタイムインタラクション情報をさらに含むことを含む。
また、本発明は三次元点群システムをさらに含み、上述のいずれか一項に記載の三次元点群に基づく初期視野角の制御及び提示のシステムを含むことを含む。
従来の技術に比べて、本発明は以下の有益な効果を有する。
本発明に係る三次元点群に基づく初期視野角の制御と提示の方法及びシステム、点群システムは、三次元メディアストリームにおける初期視点、法線方向ベクトル及び正方向ベクトルを読み取って解析することによって、ユーザが三次元メディアコンテンツを初期消費する時にコンテンツ制作側が指定した初期角度つまり関心領域を視聴することをサポートし、また、三次元メディアコンテンツのスケーリング、つまりスケール変換をさらに最適化的にサポートすることができる。また好ましくは、リアルタイムインタラクションのシーンで、ユーザが視聴する視野範囲はユーザと初期視点との相対位置に基づいて調整することができ、ユーザのインタラクション動作に基づいて視覚メディアの消費自由度を十分に向上させ、臨場感があるユーザ体験を提供する。
以下の図面を参照して非限定的な実施例に対する詳細な説明を読むことによって、本発明の他の特徴、目的及び利点がより明らかになる。
本発明の実施例における三次元点群に基づいた初期視野角の制御と提示の方法のフロー模式図である。 本発明の実施例における三次元点群に基づいた初期視野角の制御と提示のシステムの機能ブロック図である。 本発明の実施例におけるユーザのリアルタイム視聴位置と現在のユーザ位置の視聴視野範囲との関係の全体模式図である。 本発明の実施例におけるユーザのリアルタイム視聴位置と現在のユーザ位置の視聴視野範囲との関係の断面模式図である。 本発明の実施例におけるユーザのリアルタイム位置から初期視点への相対変位と現在位置の深度値との関係の模式図である。
以下具体的な実施例を参照して本発明を詳細に説明する。以下の実施例は当業者が本発明をさらに理解することに役立つが、いかなる形式でも本発明を限定するものではない。指摘すべきことは、当業者にとっては、本発明の構想から逸脱することなく、さらにいくつかの変化及び改善を行うことができる。これらはいずれも本発明の保護範囲に属する。
図１に示すように、本発明に係る三次元点群に基づいた初期視野角の制御と提示の方法によれば、
三次元メディアストリームを読み取って解析する解析ステップと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定する初期視野角決定ステップと、
初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示する三次元メディア提示ステップとを含む。
図３－１を参照して分かるように、Ａ点群メディアの初期視点は点群データ自体のうちの１つの点であり、つまり点群目標のメディアコンテンツであり、デフォルトは三次元デカルト座標系の原点、又は指定座標系でのある点である。
初期視点の定義は符号化層によって規定され、提示の目的のために用いられ、復号化補助情報とする。通常、初期視点は点群データ自体のうちの１つの点であり、三次元デカルト座標を採用して表現する。本実施例における他のユーザのインタラクション性の動作はシステム層によって規定される。
好ましくは、本発明は三次元メディアコンテンツの提示に対してスケーリングすることをさらに含んでもよく、又は、ユーザのリアルタイム視聴位置に基づいて視聴視野範囲を決定することをさらに含んでもよく、又は三次元メディアコンテンツ自体が回転又は旋回をさらにサポートしてもよく、任意の少なくとも１つ又は任意の組み合わせはいずれも本発明の技術案に含まれる。以下、それぞれ変形例によって詳細に説明する。
変形例（１）であって、三次元メディアコンテンツ自体の旋回又は回転をサポートする場合、
上述の解析ステップ及び初期視野角決定ステップに加えて、メディアコンテンツが回される時に、初期視点及び法線ベクトルの方向を変更し、これにより変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する視点変更ステップと、変更後の視点位置及び法線ベクトルの方向に基づいて三次元メディアストリームにおけるメディアコンテンツを提示する三次元メディア提示ステップをさらに含む。
変形例（２）であって、三次元メディアコンテンツの提示をスケーリングすることをサポートする場合、
上述の解析ステップ及び初期視野角決定ステップに加えて、コンテンツ制作側によって指定されたスケーリングスケールに基づいて、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定し、深度値に基づいてスケーリングスケールを設定するスケーリングスケール決定ステップと、スケーリングスケールで三次元メディアストリームにおける一部のメディアコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとをさらに含む。
前記スケーリングスケールは点群データに対して設けられたスケーリングパラメータであり、スケーリングスケールに基づいて点群データの拡大又は縮小倍率を決定する。
変形例（３）であって、ユーザのリアルタイム視聴位置をサポートする場合、
上述の解析ステップ及び初期視野角決定ステップに加えて、
ユーザのリアルタイム視聴位置（図３－１におけるユーザのリアルタイム視聴位置Ｏ）に基づいてユーザ位置の初期視点に対する相対変位をフィードバックする変位フィードバックステップと、ユーザ位置の初期視点に対する相対変位に基づいて現在の深度値を決定し、ユーザ位置視点における視野と深度値との関係に基づいて現在のユーザ位置の視聴視野範囲を決定する視聴視野範囲決定ステップと、三次元メディアストリームにおける視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとを含む。
ここで、相対変位はユーザのリアルタイム位置の初期視点に対する位置情報である。前記深度値は相対変位のノルムであり、つまりユーザのリアルタイム位置の初期視点に対する距離である。
ここで、ユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定する計算ステップは、図３－３に示すように、ユーザのリアルタイム位置から初期視点への相対変位に基づいて、現在位置の深度値を決定する。現在位置の深度値の計算方法は以下のとおりである。
Figure 0007317401000001
変形例（４）であって、三次元メディアコンテンツの提示に対してスケーリングし、ユーザのリアルタイム視聴位置に基づいて視聴視野範囲を決定し、及び三次元メディアコンテンツ自体が回転又は旋回する組み合わせ方法の場合、
上述の解析ステップ及び初期視野角決定ステップに加えて、ユーザのリアルタイム視聴位置（図３－１におけるユーザのリアルタイム視聴位置Ｏ）に基づいてユーザ位置の初期視点に対する相対変位をフィードバックする変位フィードバックステップと、ユーザ位置の初期視点に対する相対変位に基づいて現在の深度値を決定し、ユーザ位置視点における視野と深度値との関係に基づいて現在のユーザ位置の視聴視野範囲を決定する視聴視野範囲決定ステップと、コンテンツ制作側によって指定されたスケーリングスケールに基づいて、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定し、深度値に基づいてスケーリングスケールを設定するスケーリングスケール決定ステップと、メディアコンテンツが回される時に、初期視点及び法線ベクトルの方向を変更し、これにより変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する視点変更ステップと、三次元メディアストリームにおける視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示する三次元メディア提示ステップとを含む。
ここで、相対変位はユーザのリアルタイム位置の初期視点に対する位置情報である。前記深度値は相対変位のノルムであり、つまりユーザ位置の初期視点に対する距離である。
ここで、ユーザ位置と初期視点との相対変位に基づいて現在の深度値を計算して決定する計算ステップは、図３－３に示すように、ユーザのリアルタイム位置から初期視点への相対変位に基づいて、現在位置の深度値を決定する。現在位置の深度値の計算方法は以下のとおりである。
Figure 0007317401000002
前記スケーリングスケールは点群データに対して設けられたスケーリングパラメータであり、スケーリングスケールに基づいて点群データの拡大又は縮小倍率を決定する。
また、本発明は三次元点群に基づいた初期視野角の制御及び提示のシステムを提供し、
三次元メディアストリームを読み取って解析するための解析モジュールと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、
初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとを含む。
また、図２に示すように、本実施例は三次元点群に基づいた初期視野角の制御及び提示のシステムをさらに提供し、
三次元メディアストリームを読み取って解析するための解析モジュールと、
初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、
ユーザのリアルタイム視聴位置の初期視点に対する相対変位をフィードバックするための変位フィードバックモジュールと、
三次元メディアコンテンツ制作側によって指定されたスケーリングスケールを決定し、又はユーザ位置と初期視点との相対変位に基づいて現在の深度値を決定し、深度値に基づいてスケーリングスケールを決定するためのスケーリングスケール決定モジュールと、
変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定するための変更視野角決定モジュールと、
ユーザ位置視点における視野と深度との関係に基づいて現在のユーザ位置の視聴視野範囲を決定するための視聴視野範囲決定モジュールと、
三次元メディアストリームにおける、視聴視野範囲に対応するコンテンツ又は全てのメディアコンテンツを提示するための三次元メディア提示モジュールとを含む。
本実施例において三次元点群に基づく初期視野角の制御及び提示の方法及びシステムは、ユーザの三次元視覚メディアに対する初期の提示要求を満たすように、ユーザが三次元点群メディアコンテンツを消費する時の初期視聴方向を指示することによって、ユーザが三次元メディアコンテンツを初期に消費する時にコンテンツ制作側が指定した初期視聴角度、つまりユーザ関心領域を視聴することができる。また、三次元点群に基づく初期視野角の制御及び提示の方法及びシステムはスケール変換、視野角変更機能をサポートし、さらに点群メディアスケーリング及び回転などのシーンでのユーザのニーズ及び体験を満たす。同時に、ユーザのインタラクションシーンを満たす三次元点群メディアコンテンツを取得するように、三次元点群に基づく初期視野角の制御及び提示の方法及びシステムはユーザが三次元点群メディアコンテンツを消費する時のインタラクション動作を指示することができる。
実際の応用シーンを参照し、以下に添付の図面及び具体的な実施例を参照して本発明における技術案をより詳細に説明する。
三次元点群デジタル文化遺産展示を例とする。文化遺産のデジタル化はレーザ走査技術を利用して文化遺産の三次元点群データを取得して、最終的に文化遺産の三次元再構成を実現し、文化財をアーカイブし、文化遺産の内容を恒久的に、完全に展示する。異なる文化財のタイプ、例えば大型文化財の建築、小型文化財、大型遺跡シーンなどに対して、ユーザの消費ニーズも同じではない。
実施例１
小型文化財の三次元点群モデルに対して、メディアコンテンツ制作側はユーザがメディアコンテンツファイルを開く時に提示される初期方向を指定し、つまり初期視点の位置情報、初期視点の法線ベクトル情報、初期視点の正方向ベクトル情報を指定することができ、これによりユーザに、違和感のある角度ではなく、興味のある初期提示領域を提供する。
実施例２
デジタル博物館の文化財展示シーンに対して、点群物体の回転又は旋回シーンをサポートする必要がある。次の時刻にユーザが、いくつかの違和感のある角度ではなく、依然としてその興味のある部分を見ることができることを保証するように、初期時刻に点群は初期視聴方向を提示し、点群目標の回転又は旋回に伴って、次の時刻の提示方向を指定する必要があり、具体的には回転又は旋回の変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定する。また、ユーザの全方位、マルチスケールで文化財の局所的な細部又は全体的なプロファイルを観察することを保証するように、点群物体のスケーリング機能をサポートする必要があり、具体的には物体のスケーリングスケール又はスケーリング係数を決定する。
実施例３
図３－１及び図３－２に示すように、大型遺跡シーンの三次元点群モデル、例えば仮想現実博物館に対して、ユーザは展示領域内で周囲の三次元点群シーン及び近傍の三次元点群物体と相互に作用することができ、見られる展示領域はユーザの移動する位置と一定の関係を呈して変化し、現実でのユーザが視聴対象に「接近する」及び視聴対象から「離れる」ことの効果を模擬し、つまりユーザの実際の視聴視野がインタラクション動作（「リアルタイム相対変位」と記す）に伴った適応的な調整をサポートする。例えば、没入式のユーザ体験を獲得するように、ユーザは展示物に接近する動作によってシーンにおけるより詳細な部分を観察することができる。
このようなシーンで、三次元点群メディアコンテンツの提示時の初期方向、回転展示をするか否かの情報をサポートする以外に、ユーザはさらに没入的に三次元点群のメディアコンテンツを消費することができる。ユーザがシーン内で歩く時に視聴対象に「近接する」及び視聴対象から「離れる」ことの効果の要求を満たすように、ユーザがシーン内で自由に歩くことをサポートすると、この時にクライアントはユーザのリアルタイム位置情報を測位することによって、ユーザのリアルタイム相対変位をサーバに直接フィードバックし、サーバはフィードバックされたユーザのリアルタイム位置情報に基づいて現在のユーザの視聴位置が初期視点に対する相対距離つまり深度値を得て、解析された深度値に基づいて現在位置のスケーリング係数及びユーザが視聴できる領域範囲を決定し、次に現在のユーザの視聴位置に対応する視聴視野範囲をユーザに提示することができる。
上述の目的を実現するために、三次元点群メディアデータのカプセル化情報に新たな指示情報を追加する必要があり、前記指示情報は、
初期視点の位置情報である情報１と、
初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、
初期視点の正方向ベクトル情報である情報３とを含み、
三次元メディアのスケーリングスケール情報である情報４と、
変更後の視点の位置情報、変更後の視点の法線ベクトルの変更後の視点に対する位置情報である情報５と、
リアルタイム相対変位であって、ユーザのリアルタイム位置の初期視点に対する位置情報である情報６と、
ユーザのリアルタイム位置に基づいて対応する視聴視野範囲を調整する情報７とのうちの少なくとも１つの情報を含む。
三次元メディアコンテンツの初期視野角及び提示に対して情報識別を行い、識別情報は初期視点の位置情報、初期視点の法線ベクトル情報、初期視点の正方向ベクトル情報、スケーリングスケール情報、変更後の視点位置情報、変更後の視点の法線ベクトル情報、ユーザのリアルタイム視聴位置情報及び現在のユーザ視聴位置に対応する視聴視野範囲を指示する。
以上の問題に対して、必要に応じて三次元メディアストリームをカプセル化して伝送する時に、以下のような指示情報及びフィールドを合理的に付加することができる。
ｖｉｅｗｐｏｉｎｔ＿ｘ：初期視点位置のｘ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｙ：初期視点位置のｙ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｚ：初期視点位置のｚ座標を指示する情報である。
ｎｏｒｍａｌ＿ｘ：初期視点の法線ベクトルの初期視点に対するｘ座標を指示する情報である。
ｎｏｒｍａｌ＿ｙ：初期視点の法線ベクトルの初期視点に対するｙ座標を指示する情報である。
ｎｏｒｍａｌ＿ｚ：初期視点の法線ベクトルの初期視点に対するｚ座標を指示する情報である。
ｓｃａｌｅ＿ｆａｃｔｏｒ：スケーリング係数を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ：初期視点の正方向ベクトルの初期視点に対するｘ座標を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ：初期視点の正方向ベクトルの初期視点に対するｙ座標を指示する情報である。
ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ：初期視点の正方向ベクトルの初期視点に対するｚ座標を指示する情報である。
ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ：メディア再生過程において回転をサポートするか否か、つまり初期視野角が変更されるか否かを指示する情報であり、ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇが０であることはメディア再生過程において回転をサポートしないことを示し、つまり初期視野角が変更されず、そうでなければ、初期視野角が変更され、変更後の視点位置情報はｖｉｅｗｐｏｉｎｔ＿ｒｘ、ｖｉｅｗｐｏｉｎｔ＿ｒｙ、ｖｉｅｗｐｏｉｎｔ＿ｒｚで示され、変更後の視点の法線ベクトル情報はｎｏｒｍａｌ＿ｒｘ、ｎｏｒｍａｌ＿ｒｙ、ｎｏｒｍａｌ＿ｒｚで示される。
ｖｉｅｗｐｏｉｎｔ＿ｒｘ：変更後の視点位置のｘ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｒｙ：変更後の視点位置のｙ座標を指示する情報である。
ｖｉｅｗｐｏｉｎｔ＿ｒｚ：変更後の視点位置のｚ座標を指示する情報である。
ｎｏｒｍａｌ＿ｒｘ：変更後の視点の法線ベクトルの変更後の視点に対するｘ座標を指示する情報である。
ｎｏｒｍａｌ＿ｒｙ：変更後の視点の法線ベクトルの変更後の視点に対するｙ座標を指示する情報。
ｎｏｒｍａｌ＿ｒｚ：変更後の視点の法線ベクトルの変更後の視点に対するｚ座標を指示する情報である。
ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇ：メディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートするか否かを指示する情報であり、ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇが０であることはメディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートしないことを示し、そうでなければ、メディア再生過程においてユーザ位置のリアルタイムインタラクションをサポートし、ユーザのリアルタイム位置情報はｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚで示される。
ｖｐｏｓｉｔｉｏｎ＿ｘ：ユーザのリアルタイム位置の初期視点に対するｘ座標を指示する情報である。
ｖｐｏｓｉｔｉｏｎ＿ｙ：ユーザのリアルタイム位置の初期視点に対するｙ座標を指示する情報である。
ｖｐｏｓｉｔｉｏｎ＿ｚ：ユーザのリアルタイム位置の初期視点に対するｚ座標を指示する情報である。
ｍｏｖｅ＿ｄｅｐｔｈ：ユーザのリアルタイム位置の初期視点に対する相対距離、つまり深度を指示する情報であり、フィードバックされたユーザのリアルタイム位置の座標情報ｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚに基づいて得ることができる。
ｖｉｅｗｉｎｇ＿ｒａｎｇｅ＿ｆｉｅｌｄ：ユーザがリアルタイム位置で視聴できる領域範囲を指示する情報であり、視聴深度、スケーリング係数に基づいて決定することができる。
以下の実施例において説明を容易にするために、上述の１組の指示情報を引用して説明するが、他の実施例において、他の情報であってもよいし、他の情報である可能性がある。
以上の情報に基づいて、ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳａｍｐｌｅを例とし、以下本発明におけるコードを参照して三次元点群に基づく初期視野角の制御及び提示のシステムにおけるモジュール定義に対して説明する。ここで、各指示情報の指示長、シンボルタイプはそれぞれソースコードから分かるため、ここでは説明を省略する。
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳａｍｐｌｅ（）｛
ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔ（）；
ＲｏｔａｔｉｏｎＩｎｆｏＳｔｒｕｃｔ（）；
ＲｅａｌＴｉｍｅＩｎｔｅｒａｃｔｉｏｎＩｎｆｏＳｔｒｕｃｔ（）；
ｂｉｔ（７）ｒｅｓｅｒｖｅｄ＝０；
｝
初期視聴方向の定義において、初期視聴方向モジュール（選択必須）、回転情報モジュール（選択可能）、リアルタイムインタラクション情報モジュール（選択可能）を含む。
ａｌｉｇｎｅｄ（８） ｃｌａｓｓ ＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔ（）｛
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｚ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｚ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｓｃａｌｅ＿ｆａｃｔｏｒ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ；
｝
上述の初期視聴方向モジュール（選択必須）において、初期視聴方向モジュールは、初期視点位置のｘ座標情報、初期視点位置のｙ座標を指示する情報、初期視点位置のｚ座標を指示する情報と、初期視点の法線ベクトルの初期視点に対するｘ座標を指示する情報、初期視点の法線ベクトルの初期視点に対するｙ座標を指示する情報、初期視点の法線ベクトルの初期視点に対するｚ座標を指示する情報と、初期視点の正方向ベクトルの初期視点に対するｘ座標を指示する情報、初期視点の正方向ベクトルの初期視点に対するｙ座標を指示する情報、初期視点の正方向ベクトルの初期視点に対するｚ座標を指示する情報とを含む。
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＲｏｔａｔｉｏｎＩｎｆｏＳｔｒｕｃｔ（ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ）｛
ｉｆ（ｒｏｔａｔｉｏｎ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ）｛
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｐｏｉｎｔ＿ｒｚ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｎｏｒｍａｌ＿ｒｚ；
｝
｝
上述の回転情報モジュール（選択可能）において、メディア再生過程において回転をサポートするか否か、つまり初期視野角が変更されるか否かの情報が存在する場合、初期視聴方向モジュールは回転情報モジュールを含むべきである。回転情報モジュールは、変更後の視点位置のｘ座標を指示する情報、変更後の視点位置のｙ座標を指示する情報、変更後の視点位置のｚ座標を指示する情報と、変更後の視点の法線ベクトルの変更後の視点に対するｘ座標を指示する情報、変更後の視点の法線ベクトルの変更後の視点に対するｙ座標を指示する情報、変更後の視点の法線ベクトルの変更後の視点に対するｚ座標を指示する情報とを含む。
ａｌｉｇｎｅｄ（８）ｃｌａｓｓ ＲｅａｌＴｉｍｅＩｎｔｅｒａｃｔｉｏｎＳｔｒｕｃｔ（ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇ）｛
ｉｆ（ｒｅａｌ＿ｔｉｍｅ＿ｉｎｔｅｒａｃｔｉｏｎ＿ｆｌａｇ）｛
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｘ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｙ；
ｓｉｇｎｅｄ ｉｎｔ（３２）ｖｐｏｓｉｔｉｏｎ＿ｚ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｍｏｖｅ＿ｄｅｐｔｈ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２）ｖｉｅｗｉｎｇ＿ｒａｎｇｅ＿ｆｉｅｌｄ；
｝
｝
上述のリアルタイムインタラクション情報モジュール（選択可能）において、メディア再生過程でユーザ位置のリアルタイムインタラクションをサポートするか否かを指示する情報が存在する場合、初期視聴方向モジュールはリアルタイムインタラクション情報モジュールを含むべきである。リアルタイムインタラクション情報モジュールは、ユーザのリアルタイム位置の初期視点に対するｘ座標を指示する情報、ユーザのリアルタイム位置の初期視点に対するｙ座標を指示する情報、ユーザのリアルタイム位置の初期視点に対するｚ座標を指示する情報、ユーザのリアルタイム位置の初期視点に対する相対距離、即ち深度を指示する情報、スケーリング係数を指示する情報、ユーザがリアルタイム位置で視聴できる領域範囲を指示する情報を含む。
上述の情報及び各フィールドの意味は、既に前文において説明している。
注意すべきことは、本発明においては上述のコードにおける構成構造及びフィールドを例として伸縮可能な拡張特性を説明しているだけであって、上記構成構造、フィールド及びその大きさに限定されるものではない。
本実施例においてはＩｎｉｔｉａｌＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳａｍｐｌｅのみを例とし、本発明の権利範囲の制限ではなく、提案された解決態様を明らかにしているが、これらの態様は同様に他のファイルのカプセル化プロトコルに用いることができる。
上述の表現に基づいて、以下異なる具体的な応用実例における異なる指示情報の定義説明を示す。
三次元点群デジタル文化遺産展示を例とする。文化遺産のデジタル化はレーザ走査技術を利用して文化遺産の三次元点群データを取得して、最終的に文化遺産の三次元再構成を実現し、文化財をアーカイブし、文化遺産の内容を恒久的に、完全に展示する。異なる文化財のタイプ、例えば大型文化財の建築、小型文化財、大型遺跡シーンなどに対して、ユーザの消費ニーズも同じではない。
具体的には、小型文化財の三次元点群モデルに対して、メディアコンテンツ制作側はユーザがメディアコンテンツファイルを開く時に提示される初期方向、スケーリングスケール及び回転表示をするか否かを指定することができ、つまり初期視点の位置ｖｉｅｗｐｏｉｎｔ＿ｘ、ｖｉｅｗｐｏｉｎｔ＿ｙ、ｖｉｅｗｐｏｉｎｔ＿ｚ情報、初期視点の法線ベクトルｎｏｒｍａｌ＿ｘ、ｎｏｒｍａｌ＿ｙ、ｎｏｒｍａｌ＿ｚ情報、初期視点の正方向ベクトル情報ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ、ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ、ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ、スケーリング係数ｓｃａｌｅ＿ｆａｃｔｏｒ、及び回転をサポートするか否かの要求に基づいて物体の回転の変更の初期視点位置を指定するｖｉｅｗｐｏｉｎｔ＿ｒｘ、ｖｉｅｗｐｏｉｎｔ＿ｒｙ、ｖｉｅｗｐｏｉｎｔ＿ｒｚ情報、変更後の視点の法線ベクトルｎｏｒｍａｌ＿ｒｘ、ｎｏｒｍａｌ＿ｒｙ、ｎｏｒｍａｌ＿ｒｚ情報を指定することによって、全方位、マルチスケールで文化財を観察することができる。
具体的には、図３－１及び図３－２に示すように、大型遺跡シーンの三次元点群モデル、例えば仮想現実博物館に対して、ユーザは展示領域内で周囲の三次元点群シーン及び近傍の三次元点群物体と相互に作用することができ、見られる展示領域はユーザの移動する位置と一定の関係を呈して変化し、現実でのユーザが視聴対象に「接近する」及び視聴対象から「離れる」ことの効果を模擬し、つまりユーザの実際の視聴視野がインタラクション動作（「リアルタイム相対変位」と記す）に伴った適応的な調整をサポートする。例えば、没入式のユーザ体験を獲得するように、ユーザは展示物に接近する動作によってシーンにおけるより詳細な部分を観察することができる。このようなシーンで、三次元点群メディアコンテンツの提示する時の初期方向、スケーリングスケール、回転展示をするか否かの情報、つまり初期視点の位置ｖｉｅｗｐｏｉｎｔ＿ｘ、ｖｉｅｗｐｏｉｎｔ＿ｙ、ｖｉｅｗｐｏｉｎｔ＿ｚ情報、初期視点の法線ベクトルｎｏｒｍａｌ＿ｘ、ｎｏｒｍａｌ＿ｙ、ｎｏｒｍａｌ＿ｚ情報、初期視点の正方向ベクトル情報ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｘ、ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｙ、ｐｏｓｉｔｉｖｅ＿ｄｉｒｅｃｔｉｏｎ＿ｖｅｃｔｏｒ＿ｚ、スケーリング係数ｓｃａｌｅ＿ｆａｃｔｏｒ、及び回転をサポートするか否かの要求に基づいて物体の回転の変更の初期視点位置ｖｉｅｗｐｏｉｎｔ＿ｒｘ、ｖｉｅｗｐｏｉｎｔ＿ｒｙ、ｖｉｅｗｐｏｉｎｔ＿ｒｚを指定する情報、変更後の視点の法線ベクトルｎｏｒｍａｌ＿ｒｘ、ｎｏｒｍａｌ＿ｒｙ、ｎｏｒｍａｌ＿ｒｚ情報をサポートする以外に、ユーザはさらに没入的に三次元点群メディアコンテンツを消費することができる。
図３－３に示すように、ユーザがシーン内で歩く時に視聴対象に「接近する」及び視聴対象から「離れる」ことの効果の要求を満たすように、ユーザがシーン内で自由に歩くことをサポートし、例えばユーザはＡ位置（ユーザの前の時刻での視聴位置）からＢ位置（現在のユーザ視聴位置）に移動し、ユーザ位置と初期視点との間の深度値ＯＢはユーザ位置と初期視点との間の相対変位ＯＡのモジュロであり、この時にクライアントはユーザのリアルタイム位置ｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚ情報を測位することによって、ユーザのリアルタイム相対変位をサーバに直接的にフィードバックし、サーバはフィードバックされたユーザのリアルタイム位置ｖｐｏｓｉｔｉｏｎ＿ｘ、ｖｐｏｓｉｔｉｏｎ＿ｙ、ｖｐｏｓｉｔｉｏｎ＿ｚ情報に基づいて現在のユーザの視聴位置の初期視点に対する相対距離つまり深度値ｍｏｖｅ＿ｄｅｐｔｈを得て、解析された深度値、スケーリング係数に基づいて現在位置のユーザが視聴できる領域範囲ｖｉｅｗｉｎｇ＿ｒａｎｇｅ＿ｆｉｅｌｄを決定し、次に現在のユーザの視聴位置に対応する視聴視野範囲をユーザに提示する。
また、本発明は点群システムをさらに含み、図に示されないが、当該三次元点群システムは上述の実施例のいずれか一項に記載の三次元点群に基づく初期視野角の制御及び提示のシステムを含む。
当業者であれば、純粋なコンピュータ可読プログラムコードの方法で本発明に係るシステム、装置及びその各モジュールを実現する以外に、方法ステップを論理的プログラミングすることによって本発明に係るシステム、装置及びその各モジュールを論理ゲート、スイッチ、専用集積回路、プログラマブルロジックコントローラ及び組み込みマイクロコントローラなどの形式で同じプログラムを完全に実現することができる。したがって、本発明に係るシステム、デバイス及びその各モジュールはハードウェアパーツであると考えられ、それに含まれる様々なプログラムを実現するためのモジュールもハードウェア内の構造とみなしてもよく、様々な機能を実現するためのモジュールを実現方法のソフトウェアプログラムまたはハードウェアパーツ内の構造であってもよいとみなすことができる。
以上、本発明の具体的な実施例について説明した。理解すべきことは、本発明は上述の特定の実施形態に限定されるものではなく、当業者は特許請求の範囲内で様々な変更又は修正を行うことができ、これは本発明の本質的な内容に影響を与えない。衝突しない場合、本願の実施例及び実施例における特徴は任意に互いに組み合わせることができる。

Claims (9)

  1. 三次元メディアストリームを読み取って解析し、カプセル化された三次元メディアデータを取得することと、
    前記カプセル化された三次元メディアデータにおいて、初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定することと、
    初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示することとを含む、
    ことを特徴とする三次元点群に基づく初期視野角の制御と提示の方法。
  2. メディアコンテンツが回されることを前提として、初期視点及び法線ベクトルの方向を変更し、変更後の視点位置及び変更後の視点の法線ベクトルの方向を形成することをさらに含む、
    ことを特徴とする請求項１に記載の三次元点群に基づく初期視野角の制御と提示の方法。
  3. 前記初期視点の正方向ベクトルは提示装置に規定された正方向に平行する方向ベクトルであり、初期視点の正方向ベクトルは初期視点を座標原点として座標系を確立し、初期視点以外の正方向ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含む、
    ことを特徴とする請求項１に記載の三次元点群に基づく初期視野角の制御と提示の方法。
  4. 前記カプセル化された三次元メディアデータのカプセル化情報に指示情報を付加し、前記指示情報は、
    初期視点の位置情報である情報１と、
    初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、
    初期視点の正方向ベクトル情報である情報３とを含む、
    ことを特徴とする請求項１に記載の三次元点群に基づく初期視野角の制御と提示の方法。
  5. 前記初期視点の法線ベクトルの方向は、初期視点を座標原点として座標系を確立し、初期視点以外の法線ベクトルの終点を決定するｘ座標情報、ｙ座標情報、ｚ座標情報を含む、
    ことを特徴とする請求項１に記載の三次元点群に基づく初期視野角の制御と提示の方法。
  6. 三次元メディアストリームを読み取って解析し、カプセル化された三次元メディアデータを取得するための解析モジュールと、
    前記カプセル化された三次元メディアデータにおいて、初期視点、初期視点の法線ベクトルの方向、初期視点の正方向ベクトルを決定するための初期視野角決定モジュールと、
    初期視点、法線ベクトルの方向、及び正方向ベクトルに基づいて三次元メディアストリームにおけるメディアコンテンツを提示するための三次元メディア提示モジュールとを含む、
    ことを特徴とする三次元点群に基づく初期視野角の制御と提示のシステム。
  7. メディアコンテンツが回されることを前提として、初期視点及び法線ベクトルの方向を変更し、変更後の視点位置及び変更後の視点の法線ベクトルの方向を決定するための変更視野角決定モジュールをさらに含む、
    ことを特徴とする請求項６に記載の三次元点群に基づく初期視野角の制御と提示のシステム。
  8. 前記カプセル化された三次元メディアデータのカプセル化情報に指示情報を付加し、前記指示情報は、
    初期視点の位置情報である情報１と、
    初期視点の法線ベクトルの初期視点に対する位置情報である情報２と、
    初期視点の正方向ベクトル情報である情報３とを含む、
    ことを特徴とする請求項６に記載の三次元点群に基づく初期視野角の制御と提示のシステム。
  9. 請求項６～８のいずれか一項に記載の三次元点群に基づく初期視野角の制御と提示のシステムを含む、
    ことを特徴とする三次元点群システム。
JP2021570458A 2019-06-28 2020-06-28 三次元点群に基づく初期視野角の制御と提示の方法及びシステム Active JP7317401B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201910576254.0 2019-06-28
CN201910576254 2019-06-28
CN201910590125.7 2019-07-02
CN201910590125.7A CN112150603B (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及系统
PCT/CN2020/098517 WO2020259682A1 (zh) 2019-06-28 2020-06-28 基于三维点云的初始视角控制和呈现方法及系统

Publications (2)

Publication Number Publication Date
JP2022534269A JP2022534269A (ja) 2022-07-28
JP7317401B2 true JP7317401B2 (ja) 2023-07-31

Family

ID=73891739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570458A Active JP7317401B2 (ja) 2019-06-28 2020-06-28 三次元点群に基づく初期視野角の制御と提示の方法及びシステム

Country Status (6)

Country Link
US (1) US11836882B2 (ja)
EP (1) EP3992917A4 (ja)
JP (1) JP7317401B2 (ja)
KR (1) KR20220013410A (ja)
CN (2) CN112150603B (ja)
WO (1) WO2020259682A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115023739A (zh) * 2019-12-20 2022-09-06 交互数字Vc控股法国公司 用于对具有视图驱动的镜面反射的体积视频进行编码和解码的方法和装置
CN112764651B (zh) * 2021-02-01 2022-03-08 飞燕航空遥感技术有限公司 一种浏览器端三维点云剖面绘制方法和绘制系统
CN113284251B (zh) * 2021-06-11 2022-06-03 清华大学深圳国际研究生院 一种自适应视角的级联网络三维重建方法及系统
CN115439634B (zh) * 2022-09-30 2024-02-23 如你所视(北京)科技有限公司 点云数据的交互呈现方法和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182523A (ja) 2012-03-02 2013-09-12 Hitachi Plant Technologies Ltd 画像処理装置、画像処理システム、画像処理方法
JP2016224823A (ja) 2015-06-02 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム
JP2017036998A (ja) 2015-08-10 2017-02-16 株式会社東芝 色情報決定装置および画像生成装置
WO2018025660A1 (ja) 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140038708A1 (en) * 2012-07-31 2014-02-06 Cbs Interactive Inc. Virtual viewpoint management system
DE102013204597A1 (de) * 2013-03-15 2014-09-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag
WO2015008538A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および情報処理方法
US9361665B2 (en) 2013-11-27 2016-06-07 Google Inc. Methods and systems for viewing a three-dimensional (3D) virtual object
CN104768018B (zh) * 2015-02-04 2016-09-21 浙江工商大学 一种基于深度图的快速视点预测方法
CN105704468B (zh) * 2015-08-31 2017-07-18 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
DE102016200225B4 (de) * 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils
KR102157655B1 (ko) * 2016-02-17 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
US10652459B2 (en) * 2016-03-07 2020-05-12 Ricoh Company, Ltd. Information processing system, information processing method, and non-transitory computer-readable storage medium
GB2550589B (en) * 2016-05-23 2019-12-04 Canon Kk Method, device, and computer program for improving streaming of virtual reality media content
US10887577B2 (en) * 2016-05-26 2021-01-05 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US10547879B2 (en) * 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
US20180020238A1 (en) * 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information
CN106447788B (zh) * 2016-09-26 2020-06-16 北京疯景科技有限公司 观看视角的指示方法及装置
DE112017005318T5 (de) * 2016-10-19 2019-08-01 Sony Corporation Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
CN108074278A (zh) * 2016-11-17 2018-05-25 百度在线网络技术（北京）有限公司 视频呈现方法、装置和设备
EP3337154A1 (en) * 2016-12-14 2018-06-20 Thomson Licensing Method and device for determining points of interest in an immersive content
CN107659851B (zh) * 2017-03-28 2019-09-17 腾讯科技（北京）有限公司 全景图像的展示控制方法及装置
CN107330122A (zh) * 2017-07-18 2017-11-07 歌尔科技有限公司 一种基于虚拟现实的景区游览方法、客户端装置和系统
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
US10803665B1 (en) * 2017-09-26 2020-10-13 Amazon Technologies, Inc. Data aggregation for augmented reality applications
KR102390208B1 (ko) * 2017-10-17 2022-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
CN107945231A (zh) * 2017-11-21 2018-04-20 江西服装学院 一种三维视频播放方法及装置
US11689705B2 (en) * 2018-01-17 2023-06-27 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
CN108320334B (zh) * 2018-01-30 2021-08-17 公安部物证鉴定中心 基于点云的三维场景漫游系统的建立方法
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN109272527A (zh) * 2018-09-03 2019-01-25 中国人民解放军国防科技大学 一种三维场景中随机运动目标的跟踪控制方法及装置
CN110944222B (zh) * 2018-09-21 2021-02-12 上海交通大学 沉浸媒体内容随用户移动变化的方法及系统
CN113424549B (zh) * 2019-01-24 2024-05-28 交互数字Vc控股公司 用于利用多个细节级别和自由度的自适应空间内容流传输的系统和方法
CN109977466B (zh) * 2019-02-20 2021-02-02 深圳大学 一种三维扫描视点规划方法、装置及计算机可读存储介质
EP3926959A4 (en) * 2019-03-21 2022-03-23 LG Electronics Inc. POINT CLOUD DATA TRANSMITTER DEVICE, POINT CLOUD DATA TRANSMITTER METHOD, POINT CLOUD DATA RECEIVE DEVICE, AND POINT CLOUD DATA RECEIVE METHOD
CN110335295B (zh) * 2019-06-06 2021-05-11 浙江大学 一种基于tof相机的植物点云采集配准与优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182523A (ja) 2012-03-02 2013-09-12 Hitachi Plant Technologies Ltd 画像処理装置、画像処理システム、画像処理方法
JP2016224823A (ja) 2015-06-02 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム
JP2017036998A (ja) 2015-08-10 2017-02-16 株式会社東芝 色情報決定装置および画像生成装置
WO2018025660A1 (ja) 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
CN117635815A (zh) 2024-03-01
EP3992917A1 (en) 2022-05-04
CN112150603B (zh) 2023-03-28
JP2022534269A (ja) 2022-07-28
CN112150603A (zh) 2020-12-29
US20220148280A1 (en) 2022-05-12
US11836882B2 (en) 2023-12-05
KR20220013410A (ko) 2022-02-04
WO2020259682A1 (zh) 2020-12-30
EP3992917A4 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
JP7317401B2 (ja) 三次元点群に基づく初期視野角の制御と提示の方法及びシステム
US12020377B2 (en) Textured mesh building
US8933928B2 (en) Multiview face content creation
KR102176837B1 (ko) 웹 기반 3차원 고속화 렌더링 편집 시스템 및 그 방법
CN108269305A (zh) 一种二维、三维数据联动展示方法和系统
US9684997B2 (en) Efficient rendering of volumetric elements
EP2643820A1 (en) Rendering and navigating photographic panoramas with depth information in a geographic information system
WO2013185516A1 (zh) 一种三维曲线的动画展示方法和装置
CN114756937B (zh) 一种基于UE4引擎和Cesium框架的可视化系统及方法
CN113746797A (zh) 一种三维点云的传输方法、装置及介质
CN109741431A (zh) 一种二三维一体化电子地图框架
WO2013152684A1 (zh) 一种实现三维饼状图动态呈现的方法
CN117115398A (zh) 一种虚实融合的数字孪生流体现象模拟方法
Wan et al. The application of virtual reality technology in mechanized mining face
JP2023504846A (ja) ボリュメトリック画像データに関するビューの符号化及び復号
Harish et al. Designing perspectively correct multiplanar displays
Chen et al. Enhance medical education and training using interactive autostereoscopic 3D display by in situ 3D interaction
Mosmondor et al. 3D Visualization on mobile devices
Xu et al. Research on the Digital Promotion and Development of the Achang Forging Skills in Yunnan
JP2018092225A (ja) 画像処理装置
Gong et al. Design and Application of Data-Driven Visualization Platform for Dual Robotic Arms Assembly Process
Sun et al. The MagicARPhone: An AR-Based Game on Phone Offering Personalized Enjoyment
Miller et al. Computations on an Ellipsoid for GIS
CN115830283A (zh) 一种生成vr展厅场景的系统和方法
CN116416402A (zh) 一种基于mr协同数字沙盘的数据展示方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230711

R150 Certificate of patent or registration of utility model

Ref document number: 7317401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150