JP2023524773A - 画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器 - Google Patents

画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器 Download PDF

Info

Publication number
JP2023524773A
JP2023524773A JP2022567269A JP2022567269A JP2023524773A JP 2023524773 A JP2023524773 A JP 2023524773A JP 2022567269 A JP2022567269 A JP 2022567269A JP 2022567269 A JP2022567269 A JP 2022567269A JP 2023524773 A JP2023524773 A JP 2023524773A
Authority
JP
Japan
Prior art keywords
scene
screen information
information
dimensional
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022567269A
Other languages
English (en)
Inventor
暁偉 范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Publication of JP2023524773A publication Critical patent/JP2023524773A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Architecture (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本願は、第１シーンの３次元画面情報を取得するステップ（１０１）と、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するステップ（１０２）であって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含むステップと、を含む、画像データの符号化方法及び装置（６０）、並びに電子機器（８０）を開示する。【選択図】図１

Description

（関連出願の相互参照）
本願は、２０２０年５月９日に中国で出願した中国特許出願番号Ｎｏ．２０２０１０３８８６５４．１の優先権を主張し、その全ての内容が参照によって本文に組み込まれる。
本願は、拡張現実の技術分野に属し、特に、画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器に関する。
インターネット技術の急速な発展に伴い、ネットワーク技術に基づく遠隔インタラクションはますます多くの分野で広く応用されている。携帯電話やコンピュータ等の電子機器のプロセッサが進んでいるため、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，ＡＲ）のアプリケーションはますます人々に受け入れられており、遠隔インタラクション分野における拡張現実技術の応用は、まったく新しい遠隔コミュニケーション、交流、生活及び仕事のやり方となる。
本願の実現過程において、発明者は、従来技術に少なくとも、拡張現実に基づく遠隔インタラクションを実現した後に、遠隔インタラクションプロセスにおける３次元画面情報が効率的で統一されたメディアファイルフォーマットで保存されておらず、保存された３次元画面情報が混乱しており、後続の解析と再生には不便であるという問題があることを見出した。
本願の実施例は、記憶された３次元画面情報が混乱し、後続の解析と再生には不便であるという、従来技術に存在する問題を解決できる画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器を提供することを目的とする。
上記技術的課題を解決するために、本願は、次のように実現される。
第１の態様において、本願の実施例は、
第１シーンの３次元画面情報を取得するステップと、
前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するステップであって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含むステップと、を含む、画像データの符号化方法を提供する。
第２の態様において、本願の実施例は、
符号化された第１シーンの３次元画面情報を取得するステップであって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含むステップと、
前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るステップと、
解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するステップと、を含む、表示方法を提供する。
第３の態様において、本願の実施例は、
第１シーンの３次元画面情報を取得するための第１取得モジュールと、
前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するための第１処理モジュールであって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第１処理モジュールと、を備える、画像データの符号化装置を提供する。
第４の態様において、本願の実施例は、
符号化された第１シーンの３次元画面情報を取得するための第２取得モジュールであって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第２取得モジュールと、
前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るための第１解析モジュールと、
解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するための表示モジュールと、を備える、表示装置を提供する。
第５の態様において、本願の実施例は、プロセッサ、メモリ及び前記メモリに記憶され且つ前記プロセッサ上で実行可能なプログラム又は命令を備え、前記プログラム又は命令は、前記プロセッサによって実行されると、第１の態様に記載の画像データの符号化方法のステップを実現するか、又は前記プログラム又は命令は、前記プロセッサによって実行されると、第２の態様に記載の表示方法のステップを実現する、電子機器を提供する。
第６態の様において、本願の実施例は、プロセッサによって実行されると、第１態様に記載の画像データの符号化方法のステップを実現するか、又は前記プロセッサによって実行されると、第２態様に記載の表示方法のステップを実現するプログラム又は命令が記憶されている、可読記憶媒体を提供する。
第７の態様において、本願の実施例は、プロセッサ及び通信インタフェースを含み、前記通信インタフェースは前記プロセッサに結合され、前記プロセッサは、プログラム又は命令を実行して、第１の態様に記載の画像データの符号化方法のステップ又は第２の態様に記載の表示方法のステップを実現するために用いられる、チップを提供する。
本願の実施例において、本願の画像データの符号化方法によれば、３次元画面情報を予め設定されたファイルフォーマットで符号化し、シーンの３次元画面情報を完全に保存することができ、且つ予め設定されたファイルフォーマットで処理されたファイルは後続の解析、読み取りが容易であり、シーンの解析と再生の速度が向上する。
本願の実施例によって提供される画像データの符号化方法の手順模式図である。 本願の実施例によって提供される符号化された第１シーンの３次元画面情報のフォーマット模式図１である。 本願の実施例によって提供される符号化された第１シーンの３次元画面情報のフォーマット模式図２である。 本願の実施例によって提供される符号化された第１シーンの３次元画面情報のフォーマット模式図３である。 本願の実施例によって提供される表示方法の手順模式図である。 本願の実施例によって提供される画像データの符号化装置の構造模式図である。 本願の実施例によって提供される表示装置の構造模式図である。 本願の実施例による電子機器のハードウェア構造模式図である。
以下において、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確に、完全に説明する。当然ながら、説明される実施例は本願の実施例の一部であり、全ての実施例ではない。本願における実施例に基づき、当業者が創造的な労力を要することなく得られた他の全ての実施例は、いずれも本願の保護範囲に属するものである。
本願の明細書及び特許請求の範囲における「第１」、「第２」等の用語は、特定の順序又は先後順序を記述するものではなく、類似する対象を区別するためのものである。このように使用される用語は、本願の実施例がここで図示又は記述される以外の順序で実施できるように、適当な場合において互いに置き換えてもよいことを理解すべきである。なお、明細書及び特許請求の範囲における「及び／又は」は接続対象の少なくとも１つを表し、符号の「／」は、通常、前後の関連する対象が「又は」の関係にあることを表す。
以下において、図面を参照しながら、本願の実施例によって提供される拡張現実のファイル処理方法を、具体的な実施例及びその応用シーンにより詳しく説明する。
図１を参照する。図１は、本願の実施例によって提供される画像データの符号化方法の手順模式図である。図１に示すように、本願における画像データの符号化方法は、以下のステップを含んでもよい。
ステップ１０１で、第１シーンの３次元画面情報を取得する。
このステップでは、第１シーンの３次元画面情報が取得され、前記第１シーンは、電子機器が現在存在している現実シーンであってもよく、電子機器によって現在表示されている拡張現実シーン、即ち、仮想シーンと現実シーンを組み合わせた拡張現実シーンであってもよい。例示的に、前記第１シーンは、遠隔会議シーン等の遠隔ビデオインタラクションを行う際の現実シーンであってもよく、ＡＲデバイスを用いて遠隔インタラクションを行う過程において、ＡＲデバイスの位置する現実環境の３次元画面情報が取得され、別の例として、前記第１シーンは、遠隔ビデオインタラクションを行う際に表示される拡張現実シーン、即ち、相手側から伝送された仮想シーンとローカル側電子機器の現在存在している現実シーンとを融合させた拡張現実シーンであってもよい。
本願の実施例において、第１シーンの３次元画面情報を取得する方法は、具体的には、第１シーンの３次元画面における３次元点の座標情報及びＲＧＢ画素値等の情報を取得するために、深度センサを備える深度カメラとＲＧＢ双眼カメラを用いて撮影してもよい。
ステップ１０２で、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化し、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む。
このステップでは、第１シーンの３次元画面情報を取得した後に、さらに前記３次元画面情報を符号化処理してもよく、つまり、予め設定されたファイルフォーマットで符号化してもよく、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、インデックス情報及びデータ情報を含んでもよい。即ち、予め設定されたファイルフォーマットで符号化処理された３次元画面情報は、いずれもファイルヘッダ情報、インデックス情報及びデータ情報を含んでもよい。符号化された第１シーンの３次元画面情報は、第１ファイルとして記憶できるため、第１ファイルに記録された情報は第１シーンに対応する情報であり、後続で第１シーンの画面を再生する必要がある場合に、第１ファイルを解析することで、迅速な再生を実現することができる。当然ながら、符号化された第１シーンの３次元画面情報を直接伝送し、相手側に送信して第１シーンの再生を行うようにしてもよい。
本願の画像データの符号化方法によれば、３次元画面情報を予め設定されたファイルフォーマットで符号化し、シーンの３次元画面情報を完全に保存することができ、且つ予め設定されたファイルフォーマットで処理されたファイルは後続の解析、読み取りが容易であり、シーンの解析と再生の速度が向上する。
本願の実施例において、前記ファイルヘッダ情報は、ファイルボディ情報を記録するために用いられ、前記インデックス情報は、前記第１シーンの３次元画面情報に対応する基準点データを記録するために用いられ、つまり、前記基準点が存在する位置は、前記第１シーンの３次元画面情報を取得する電子機器の存在する位置であり、前記データ情報は、前記第１シーンの３次元画面情報における３次元点データを記録するために用いられる。
図２を参照する。図２は本願の実施例によって提供される符号化された第１シーンの３次元画面情報のフォーマット模式図１である。図２に示すように、本願の実施例において、符号化して得られた第１ファイルでは、前記ファイルヘッダ情報は、ファイル種類名（ｆｏｒｍａｔ）、ファイルサイズ（ｓｉｚｅ）、解像度（ｒｅｓｏｌｕｔｉｏｎ）のうちの少なくとも１つを含んでもよく、ファイルヘッダ情報を解析することで第１ファイルのファイル種類名、ファイルサイズ及び解像度を迅速に取得でき、ファイルサイズは、記録された第１シーンの３次元画面情報に対応するデータ量であり、前記解像度は第１シーンの３次元画面に対応する解像度である。前記インデックス情報はタイムスタンプ（ｔｉｍｅｓｔａｍｐ）、経度（ｌｏｎｇｉｔｕｄｅ）、緯度（ｌａｔｉｔｕｄｅ）及び高度（ａｌｔｉｔｕｄｅ）を含んでもよく、インデックス情報を解析することで、第１ファイルに記録された第１シーンの３次元画面情報に対応する基準点データを迅速に取得でき、つまり、インデックス情報におけるタイムスタンプは、第１シーンを記録する時刻を特定できるが、経度、緯度及び高度等は、ある時刻において、第１シーンの３次元画面情報を取得するのに使用される電子機器の存在する空間位置、即ち、第１シーンの３次元画面情報に対応する基準点の位置を特定するために用いられ、電子機器の取得範囲が一定であるため、基準点が特定された場合に、第１シーンの３次元画面情報が存在する空間範囲を特定することができる。前記データ情報は、３次元点の横座標（ｘ）、縦座標（ｙ）及び垂直座標（ｚ）、即ち、基準点に対する３次元点の横座標（ｘ）、縦座標（ｙ）及び垂直座標（ｚ）等を含んでもよく、データ情報を解析することで、３次元点の具体的なデータを迅速に取得でき、その後、基準点データと組み合わせることで、３次元点の実際の位置を迅速に算出でき、それにより、第１シーンの３次元点データが最大限で保持され、保存中のデータ紛失が回避される。
図２に示すように、本願の実施例において、前記データ情報は、３次元点の属するオブジェクトの種別を表すために用いることができるセマンティックラベル（ｌａｂｅｌ）をさらに含んでもよく、例示的に、前記オブジェクトの種別は、記録された第１シーンにおける異なるオブジェクトを区別するために、人物（ｐｅｒｓｏｎ）、机（ｄｅｓｋ）、椅子（ｃｈａｉｒ）等を含んでもよく、前記セマンティックラベルは、上記で列挙したオブジェクトの種別のうちのいずれかであってもよく、前記セマンティックラベルによれば、この３次元点がどの人物、どの物体の一部に帰属するかを記述することができる。これにより、符号化された第１シーンの３次元画面情報における３次元点が合理的に分類され、第１シーンにおける各人物と物体がいずれも分類されて完全に保存されることが確保され、第１シーンの再生時に３次元点がその存在する空間位置だけで特定されることが回避され、後続の再生時のセマンティックラベルによる解析と構築が容易になる。
図３を参照する。図３は、本願の実施例によって提供される符号化された第１シーンの３次元画面情報的フォーマット模式図２である。図３に示すように、符号化して得られた第１シーンの３次元画面情報において、データ情報は、横座標（ｘ）、縦座標（ｙ）、垂直座標（ｚ）の他に、ロール角（ｒｏｌｌ）、ヨー角（ｙａｗ）、ピッチ角（ｐｉｔｃｈ）、赤色チャネル（ｒ）、緑色チャネル（ｇ）、青色チャネル（ｂ）を含んでもよく、ロール角（ｒｏｌｌ）、ヨー角（ｙａｗ）、ピッチ角（ｐｉｔｃｈ）は、３次元点の法線方向を特定するために用いられ、赤色チャネル（ｒ）、緑色チャネル（ｇ）、青色チャネル（ｂ）は、３次元画素点の色を特定するために用いられる。
図４を参照する。図４は、本願の実施例によって提供される符号化された第１シーンの３次元画面情報的フォーマット模式図３である。本願の実施例において、前述したように、前記第１シーンは、現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであってもよく、換言すれば、前記第１シーンは、電子機器が現在存在している現実シーンであってもよく、電子機器によって現在表示されている拡張現実シーン、即ち、仮想シーンと現実シーンを組み合わせた拡張現実シーンであってもよく、前記第１シーンが拡張現実シーンである場合に、前記データ情報は、前記基準点に対する３次元点の横座標（ｘ）、縦座標（ｙ）、垂直座標（ｚ）及び仮想／現実シーンラベル（ｔｙｐｅ）を含み、前記仮想／現実シーンラベルは、３次元点の属する仮想／現実シーンの種類を識別するために用いられ、つまり、現実シーンと比較すると、拡張現実シーンは仮想シーンと現実シーンとの組合せであるため、異なるシーンに属する３次元点をラベル付けして区別する必要があることから、仮想／現実シーンラベルが追加され、前記仮想／現実シーンラベルは、３次元点の属する仮想／現実シーンの種類を識別するために用いることができ、例示的に、ｔｙｐｅ値が１である場合、この３次元点が現実シーンに属することを示し、ｔｙｐｅ値が０である場合には、この３次元画素点が仮想シーンに属することを示し、仮想／現実シーンラベルを追加することで、第１シーンにおける３次元画面情報中の３次元点の属する仮想／現実シーンの種類を迅速に特定でき、さらに仮想シーンに属する３次元点と現実シーンに属する３次元点に対してその仮想／現実シーンの種類に対応する解析と処理を行って、拡張現実の３次元画面を迅速に再生することができる。また、仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点のみの表示を選択して、仮想シーン画面を表示するか、又は現実シーンに属する３次元点のみの表示を選択して、現実シーン画面を表示するか、又は全ての３次元点を表示して、拡張現実シーン画面を表示するようにしてもよい。
図４に示すように、当然ながら、符号化された第１シーンの３次元画面情報におけるデータ情報は、横座標（ｘ）、縦座標（ｙ）、垂直座標（ｚ）の他に、同様に赤色チャネル（ｒ）、緑色チャネル（ｇ）、青色チャネル（ｂ）等を含んでもよく、赤色チャネル（ｒ）、緑色チャネル（ｇ）、青色チャネル（ｂ）は、３次元画素点の色を特定するために用いられる。
本願の実施例において、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化する前記ステップの後に、符号化された第１シーンの３次元画面情報に対する編集入力を受信するステップであって、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられるステップをさらに含む。
即ち、本願の実施例において、符号化された第１シーンの３次元画面情報に対する編集入力を受信することで、前記編集入力に応答して、符号化された第１シーンの３次元画面情報に対して編集操作を行って、第１シーンの３次元画面を補正し、それにより所望の３次元画面効果を得る。前記編集操作は、データフレームの挿入又は削除及び／又は３次元点データへの補正のために用いられ、即ち、前記インデックス情報に基づき、あるタイムスタンプに対応する時刻の前後にデータフレームを挿入又は削除することを決定してもよいし、前記データ情報における３次元点のセマンティックラベルを補正し、３次元点が属するオブジェクトの種別を変更してもよいし、３次元点の横座標、垂直座標、縦座標等を補正してもよいし、前記データ情報における３次元点の仮想／現実シーンラベルを補正する等してもよい。編集された第１シーンの３次元画面情報は、同様に予め設定されたファイルフォーマットで記憶されてもよい。編集された第１シーンの３次元画面情報を編集することで、所望の表示効果を得ることができ、後期の二次補正と創作には利便性がもたらされる。
これにより、本願の実施例に係る画像データの符号化方法によれば、取得された第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化することで、固定フォーマットの符号化された３次元画面情報を得ることができ、伝送と記憶が容易になり、且つ生成された第１ファイルに記録されたデータ情報等は既に分類整理されており、後続で第１シーンの３次元画面を再生する必要がある場合に、ファイルヘッダ情報、インデックス情報、データ情報というフォーマット順序で解析し、３次元画面の３次元点データを迅速に取得し、さらに第１シーンの迅速な再生を実現することができる。
図５を参照する。図５は、本願の実施例によって提供される表示方法の手順模式図である。図５に示すように、本願の別の態様の実施例は、以下のステップを含んでもよい表示方法をさらに提供する。
ステップ５０１で、符号化された第１シーンの３次元画面情報を取得し、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む。
このステップでは、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化し、符号化された第１シーンの３次元画面情報を得る方法のステップについては、上記画像データの符号化方法の実施例で説明したため、ここでは説明を省略する。前記符号化された第１シーンの３次元画面情報は、同様にファイルヘッダ情報、インデックス情報及びデータ情報を含む。
本願の実施例において、符号化された第１シーンの３次元画面情報は、ローカル側電子機器が前に第１シーンの３次元画面情報を取得してから予め設定されたファイルフォーマットで符号化することで得られたものであってもよく、相手側電子機器が第１シーンの３次元画面情報を取得して予め設定されたファイルフォーマットで符号化してからローカル側電子機器に送信し、ローカル側電子機器が受信することで得られたものであってもよい。前者は、シーンを記録してから再生する通常の場合に適用できるが、後者は、リアルタイムの遠隔ビデオインタラクションの場合に用いることができる。
ステップ５０２で、前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得る。
このステップでは、符号化された第１シーンの３次元画面情報を解析すること、即ち符号化された第１シーンの３次元画面情報に含まれたファイルヘッダ情報、インデックス情報及びデータ情報を順に解析することによって、完全な第１シーンの３次元画面情報を得ることができる。
ステップ５０３で、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する。
本願の実施例において、符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得た後に、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示することができる。当然ながら、表示された３次元画面は、第１シーンの３次元画面のみであってもよく、第１シーンと電子機器の現在存在している現実シーンとを融合させた拡張現実シーン画面であってもよく、前者の場合、本願は、前に記憶された符号化された第１シーンの３次元画面情報に対応する仮想シーン画面の表示を実現し（表示中に前の第１シーンの３次元画面のみが表示されたため）、後者の場合、本願は、仮想シーンである第１シーンと電子機器の現在存在している現実シーンに対して拡張現実処理を行った拡張現実シーン画面の表示を実現し、これらのことから分かるように、後者は、遠隔会議等のリアルタイムの遠隔ビデオインタラクションの場合に応用でき、それによりインタラクションの没入感が高まり、コミュニケーションがより効果的で便利になる。
本願の実施例の表示方法によれば、取得された、予め設定されたファイルフォーマットで符号化された３次元画面情報を解析することで、第１シーンを便利且つ迅速に再生するか、又は第１シーンを仮想シーンとして現実シーンと融合して表示することができ、インタラクション時の画像データの伝送効率と解析速度が大幅に向上する。
本願の実施例において、前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得る前記ステップは、前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、前記第１ファイルのファイル種類名、ファイルサイズ及び解像度を得るステップと、前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るステップと、前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るステップと、を含む。
具体的には、符号化された第１シーンの３次元画面情報を解析する過程において、ファイルヘッダ情報を解析することで、符号化された第１シーンの３次元画面情報により記録されたファイル種類名、ファイルサイズ及び解像度を迅速に取得でき、ファイルサイズは記録された第１シーンの３次元画面情報に対応するデータ量であり、前記解像度は第１シーンの３次元画面に対応する解像度であり、インデックス情報を解析することで、符号化された第１シーンの３次元画面情報により記録された第１シーンの３次元画面情報に対応する基準点データ、即ち、タイムスタンプ（ｔｉｍｅｓｔａｍｐ）、経度（ｌｏｎｇｉｔｕｄｅ）、緯度（ｌａｔｉｔｕｄｅ）及び高度（ａｌｔｉｔｕｄｅ）を迅速に取得でき、つまり、インデックス情報におけるタイムスタンプは、第１シーンを記録する時刻を特定できるが、経度、緯度及び高度等は、ある時刻において、第１シーンの３次元画面情報を取得するのに使用される電子機器の存在する空間位置、即ち、第１シーンの３次元画面情報に対応する基準点の位置を特定するために用いられ、電子機器の取得範囲が一定であるため、基準点が特定された場合に、第１シーンの３次元画面情報が存在する空間範囲を特定することができる。データ情報を解析することで、３次元点の横座標（ｘ）、縦座標（ｙ）、垂直座標（ｚ）等、即ち、基準点に対する３次元点の横座標（ｘ）、縦座標（ｙ）及び垂直座標（ｚ）等を取得でき、３次元点の具体的なデータを取得した後に、基準点データと組み合わせることで、３次元点の実際の位置を迅速に算出できる。
本願の実施例において、前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するステップを含む。
即ち、前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、データ情報を解析することで、３次元点の仮想／現実シーンラベルを得ることもでき、それにより、３次元点の仮想／現実シーンラベルに基づき、第１シーンにおける３次元画面情報中の３次元点の属する仮想／現実シーンの種類を迅速に特定し、さらに仮想シーンに属する３次元点と現実シーンに属する３次元点に対してその仮想／現実シーンの種類に対応する解析と処理を行って、３次元画面を迅速に表示することができる。
本願の実施例において、仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点のみの表示を選択して、仮想シーン画面を表示するか、又は現実シーンに属する３次元点のみの表示を選択して、現実シーン画面を表示するか、又は全ての３次元点を表示して、拡張現実シーン画面を表示するようにしてもよい。これにより、遠隔インタラクションが終了した後に、インタラクションプロセスにおける拡張現実シーン画面を再生する必要がある場合に、記憶された、符号化された第１シーンの３次元画面情報を解析し、解析結果に基づいて拡張現実の３次元画面を迅速に再生することができる。
注意すべきことは、ここの仮想シーンと現実シーンは、拡張現実処理を最初に行った電子機器を対象としたものである点であり、つまり、拡張現実処理を行った電子機器がその時点で存在する環境は現実シーンであり、仮想シーンは、前記電子機器が拡張現実処理時に存在する環境ではなく、これにより、仮想シーンと現実シーンが区別される。編集された第１シーンの３次元画面情報が他の電子機器によって取得された後に、他の電子機器にとって、第１シーンが前記他の電子機器の存在する現実シーンではないため、第１シーンは前記他の電子機器にとっていずれも仮想シーンである。
本願の実施例において、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップの前に、現実シーンである第２シーンの３次元画面情報を取得するステップをさらに含み、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るステップと、融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するステップと、を含む。
即ち、本願の実施例において、ローカル側電子機器が現在存在している現実シーン、即ち、第２シーンの３次元画面情報をさらに取得することもでき、ローカル側電子機器にとって、第１シーンは仮想シーンであるため、解析して得られた第１シーンの３次元画面情報と第２シーンの３次元画面情報を重ね合わせて融合させ、融合された拡張現実３次元画面情報を得て、最終的に、得られた拡張現実の３次元画面情報に基づいて拡張現実の３次元画面を表示することができる。
これにより、本願の実施例は、遠隔ビデオインタラクション中に、予め設定されたファイルフォーマットを用いて取得された３次元画面情報を符号化して伝送し、相手側電子機器から送信された符号化された３次元画面情報を受信した後に、それを解析し、さらに解析して得られた３次元画面情報を用いてローカル側電子機器が現在取得した現実シーンを重ね合わせて融合させることによって、拡張現実の３次元画面を得ることができ、インタラクション中のユーザの没入感が大幅に向上し、インタラクション効率が向上する。
本願の実施例において、前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得る前記ステップは、前記第２シーンにおける環境光源の位置と方向を取得するステップと、前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するステップと、を含む。
具体的には、より高い融合効果を得て、第１シーンを第２シーンにより自然に融合させるために、第２シーンに対して照明推定を行い、第２シーンにおける環境光源の位置と方向を得てもよく、第２シーンは現実シーンであるため、第２シーンにおける環境光源の位置と方向を参照することで、第１シーンの３次元画面情報における３次元画素点を着色してレンダリングし、つまり、３次元点に対応する画素値（Ｒ＼Ｇ＼Ｂ値）を補正し、より自然なＡＲレンダリング効果を実現することができる。
本願の実施例の表示方法によれば、例えばビデオ会議等の遠隔インタラクションシーンでの３次元メディアファイルの処理及び記憶に用いることができ、予め設定されたファイルフォーマットで符号化することで、３次元画面情報を完全に保存し、且つ解析中に３次元画面情報を迅速に取得し、３次元画面の処理過程を加速し、再生されるシーンの完全性を保証し、拡張現実の３次元点群のデータフォーマット統一に実行可能な解決手段を提供することができる。
説明すべきことは、本願の実施例によって提供される表示方法は、実行主体が表示装置、又は表示方法を実行するための該表示装置における制御モジュールであってもよい点である。本願の実施例では、表示装置が表示方法を実行及び搭載することを例として、本願の実施例によって提供される表示方法を説明する。
図６を参照する。図６は、本願の実施例によって提供される画像データの符号化装置の構造模式図である。図６に示すように、前記装置６０は、第１シーンの３次元画面情報を取得するための第１取得モジュール６１と、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するための第１処理モジュール６２であって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第１処理モジュールと、を備えてもよい。
選択的に、前記ファイルヘッダ情報は、ファイル種類名、ファイルサイズ及び解像度の少なくとも１つを含み、前記インデックス情報はタイムスタンプ、基準点の経度、緯度及び高度を含み、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む。
選択的に、前記データ情報は、３次元点の属するオブジェクトの種類を識別するためのセマンティックラベルをさらに含む。
選択的に、符号化された第１シーンの３次元画面情報に対する編集入力を受信するための編集入力モジュールであって、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられる編集入力モジュールをさらに備える。
選択的に、前記第１シーンは現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであり、前記第１シーンが拡張現実シーンである場合に、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標、垂直座標及び３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルを含む。
本願の実施例における画像データの符号化装置は、装置であってもよく、端末におけるコンポーネント、集積回路、又はチップであってもよい。該装置は、モバイル電子機器であってもよく、非モバイル電子機器であってもよい。例示的に、モバイル電子機器は、携帯電話、タブレットコンピュータ、ノートパソコン、携帯情報端末、車載電子機器、ウェアラブル機器、ウルトラモバイルパーソナルコンピュータ（ｕｌｔｒａ－ｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＵＭＰＣ）、ネットブック又はパーソナルディジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ，ＰＤＡ）等であってもよく、非モバイル電子機器は、サーバ、ネットワーク接続ストレージ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ，ＮＡＳ）、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＰＣ）、テレビジョン（ｔｅｌｅｖｉｓｉｏｎ，ＴＶ）、現金自動預払機又はキオスク端末等であってもよく、本願の実施例では具体的に限定しない。
本願の実施例における画像データの符号化装置は、オペレーティングシステムを有する装置であってもよい。該オペレーティングシステムは、アンドロイド（登録商標）（Ａｎｄｒｏｉｄ）オペレーティングシステムであってもよく、ｉｏｓオペレーティングシステムであってもよく、他の可能なオペレーティングシステムであってもよく、本願の実施例では具体的に限定しない。
本願の実施例によって提供される画像データの符号化装置は、図１から図４の方法実施例で実現された各手順を実現でき、重複を回避するために、ここでは説明を省略する。
本願の実施例において、取得された第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化することで、固定フォーマットの符号化された３次元画面情報を得ることができ、伝送と記憶が容易になり、且つ生成された第１ファイルに記録されたデータ情報等は既に分類整理されており、後続で第１シーンの３次元画面を再生する必要がある場合に、ファイルヘッダ情報、インデックス情報、データ情報というフォーマット順序で解析し、３次元画面の３次元点データを迅速に取得し、さらに第１シーンの迅速な再生を実現することができる。
図７を参照する。図７は、本願の実施例によって提供される表示装置の構造模式図である。図７に示すように、前記装置７０は、符号化された第１シーンの３次元画面情報を取得するための第２取得モジュール７１であって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第２取得モジュールと、前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るための第１解析モジュール７２と、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するための表示モジュール７３と、を備えてもよい。
選択的に、前記第１解析モジュール７２は、前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、前記符号化された第１シーンの３次元画面情報のファイル種類名、ファイルサイズ及び解像度を得るための第１解析ユニットと、前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るための第２解析ユニットと、前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るための第３解析ユニットと、を備える。
選択的に、前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、前記表示モジュールは、前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するための第１表示ユニットを備える。
選択的に、現実シーンである第２シーンの３次元画面情報を取得するための第３取得モジュールをさらに備え、前記表示モジュール７３は、前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るための融合ユニットと、融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するための第２表示ユニットと、を備える。
選択的に、前記融合ユニットは、前記第２シーンにおける環境光源の位置と方向を取得するための光源取得ユニットと、前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するための画素値補正ユニットと、を備える。
本願の実施例における表示装置は、装置であってもよく、端末におけるコンポーネント、集積回路、又はチップであってもよい。該装置は、モバイル電子機器であってもよく、非モバイル電子機器であってもよい。例示的に、モバイル電子機器は、携帯電話、タブレットコンピュータ、ノートパソコン、携帯情報端末、車載電子機器、ウェアラブル機器、ウルトラモバイルパーソナルコンピュータ（ｕｌｔｒａ－ｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＵＭＰＣ）、ネットブック又はパーソナルディジタルアシスタ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ，ＰＤＡ）等であってもよく、非モバイル電子機器は、サーバ、ネットワーク接続ストレージ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ，ＮＡＳ）、パーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ，ＰＣ）、テレビジョン（ｔｅｌｅｖｉｓｉｏｎ，ＴＶ）、現金自動預払機又はキオスク端末等であってもよく、本願の実施例では具体的に限定しない。
本願の実施例における表示装置は、オペレーティングシステムを有する装置であってもよい。該オペレーティングシステムは、アンドロイド（登録商標）（Ａｎｄｒｏｉｄ）オペレーティングシステムであってもよく、ｉｏｓオペレーティングシステムであってもよく、他の可能なオペレーティングシステムであってもよく、本願の実施例では具体的に限定しない。
本願の実施例によって提供される表示装置は、図５の方法実施例で実現された各手順を実現でき、重複を回避するために、ここでは説明を省略する。
本願の実施例において、取得された、予め設定されたファイルフォーマットで符号化された３次元画面情報を解析することで、第１シーンを便利且つ迅速に再生するか、又は第１シーンを仮想シーンとして現実シーンと融合して表示することができ、インタラクション時の画像データの伝送効率と解析速度が大幅に向上する。
選択的に、本願の実施例は、プロセッサ、メモリ、メモリに記憶され且つ前記プロセッサ上で実行可能なプログラム又は命令を備え、該プログラム又は命令はプロセッサによって実行されると、上記画像データの符号化方法の方法実施例の各手順を実現するか、又は該プログラム又は命令はプロセッサによって実行されると、上記表示方法の方法実施例の各手順を実現する電子機器をさらに提供し、且つ同様な技術効果を達成でき、重複を回避するために、ここでは説明を省略する。
注意すべきことは、本願の実施例における電子機器が上述したモバイル電子機器及び非モバイル電子機器を含む点である。
図８は、本願の実施例を実現する電子機器のハードウェア構造模式図である。
該電子機器８０は、高周波ユニット８１、ネットワークモジュール８２、オーディオ出力ユニット８３、入力ユニット８４、センサ８５、表示ユニット８６、ユーザ入力ユニット８７、インタフェースユニット８８、メモリ８９、及びプロセッサ８１０等の部材を含むが、それらに限定されない。
当業者であれば、電子機器８０は各部材に給電する電源（例えば、電池）をさらに含んでもよく、電源は、電源管理システムによってプロセッサ８１０に論理的に接続し、さらに電源管理システムによって充放電の管理、及び電力消費管理等の機能を実現することができることが理解可能である。図６に示す電子機器の構造は電子機器を限定するものではなく、電子機器は図示より多く又はより少ない部材、又は一部の部材の組合せ、又は異なる部材配置を含んでもよく、ここでは説明を省略する。
入力ユニット８４は、第１シーンの３次元画面情報を取得するために用いられる。
プロセッサ８１０は、前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するために用いられ、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む。
本願の実施例において、取得された第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化することで、固定フォーマットの符号化された３次元画面情報を得ることができ、伝送と記憶が容易になり、且つ生成された第１ファイルに記録されたデータ情報等は既に分類整理されており、後続で第１シーンの３次元画面を再生する必要がある場合に、ファイルヘッダ情報、インデックス情報、データ情報というフォーマット順序で解析し、３次元画面の３次元点データを迅速に取得し、さらに第１シーンの迅速な再生に便宜を与えることができる。
選択的に、前記ファイルヘッダ情報は、ファイル種類名、ファイルサイズ及び解像度の少なくとも１つを含み、前記インデックス情報はタイムスタンプ、基準点の経度、緯度及び高度を含み、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む。
選択的に、前記データ情報は、３次元点の属するオブジェクトの種類を識別するためのセマンティックラベルをさらに含む。
選択的に、前記第１シーンは、現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであり、前記第１シーンが拡張現実シーンである場合に、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標、垂直座標及び３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルを含む。
選択的に、ユーザ入力ユニット８７は、符号化された第１シーンの３次元画面情報に対する編集入力を受信するために用いられ、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられる。
選択的に、ネットワークモジュール８２は、符号化された第１シーンの３次元画面情報を取得するために用いられ、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む。
選択的に、プロセッサ８１０はさらに、符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るために用いられる。
選択的に、前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得る前記ステップは、前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、符号化された第１シーンの３次元画面情報のファイル種類名、ファイルサイズ及び解像度を得るステップと、前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るステップと、前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るステップと、を含む。
選択的に、表示ユニット８６は、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するために用いられる。
選択的に、前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するステップを含む。
選択的に、入力ユニット８４は、現実シーンである第２シーンの３次元画面情報を取得する。
選択的に、プロセッサ８１０はさらに、前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るために用いられる。
選択的に、表示ユニット８６は、融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するために用いられる。
前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得る前記ステップは、前記第２シーンにおける環境光源の位置と方向を取得するステップと、前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するステップと、を含む。
選択的に、入力ユニット８４はさらに、前記第２シーンにおける環境光源の位置と方向を取得するために用いられる。
選択的に、プロセッサ８１０は、前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するために用いられる。
本願の実施例において、３次元画面情報を予め設定されたファイルフォーマットで符号化し、シーンの３次元画面情報を完全に保存することができ、且つ予め設定されたファイルフォーマットで処理されたファイルは後続の解析、読み取りが容易であり、シーンの解析と再生の速度が向上する。
本願の実施例は、プロセッサによって実行されると、上記画像データの符号化方法の方法実施例の各手順を実現するか、又はプロセッサによって実行されると、上記表示方法の方法実施例の各手順を実現するプログラム又は命令が記憶されている可読記憶媒体をさらに提供し、且つ同様な技術効果を達成でき、重複を回避するために、ここでは説明を省略する。
前記プロセッサは、上記実施例に記載の電子機器におけるプロセッサである。前記可読記憶媒体は、コンピュータ読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、磁気ディスク又は光ディスク等のコンピュータ可読記憶媒体を含む。
本願の実施例は、プロセッサ及び通信インタフェースを含み、前記通信インタフェースは前記プロセッサに結合され、前記プロセッサは、プログラム又は命令を実行して、上記拡張現実のファイル処理方法の方法実施例の各手順を実現するために用いられるチップをさらに提供し、且つ同様な技術効果を達成でき、重複を回避するために、ここでは説明を省略する。
なお、本願の実施例で言及したチップは、システムレベルチップ、システムチップ、チップシステム又はシステムオンチップ等と呼ばれてもよいことを理解すべきである。
説明すべきことは、本明細書において、用語「含む」、「からなる」又はその他のあらゆる変形は、非排他的包含を含むように意図され、それにより一連の要素を含むプロセス、方法、物品又は装置は、それらの要素のみならず、明示されていない他の要素、又はこのようなプロセス、方法、物品又は装置に固有の要素をも含む点である。特に断らない限り、語句「１つの……を含む」により限定される要素は、該要素を含むプロセス、方法、物品又は装置に別の同じ要素がさらに存在することを排除するものではない。また、指摘すべきことは、本願の実施形態における方法及び装置の範囲は、図示又は検討された順序で機能を実行することに限定されず、係る機能に応じて実質的に同時に又は逆の順序で機能を実行することも含み得る点であり、例えば、説明されたものと異なる順番で、説明された方法を実行してもよく、さらに各種のステップを追加、省略、又は組み合わせてもよい。また、何らかの例を参照して説明した特徴は他の例において組み合わせられてもよい。
以上の実施形態に対する説明によって、当業者であれば上記実施例の方法がソフトウェアと必要な共通ハードウェアプラットフォームとの組合せという形態で実現できることを明確に理解可能であり、当然ながら、ハードウェアによって実現してもよいが、多くの場合において前者はより好ましい実施形態である。このような見解をもとに、本願の技術的解決手段は実質的に又は従来技術に寄与する部分はソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は、記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、端末（携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク機器等であってもよい）に本願の各実施例に記載の方法を実行させる複数の命令を含む。
以上、図面を参照しながら本願の実施例を説明したが、本願は上記の具体的な実施形態に限定されず、上記の具体的な実施形態は例示的なものに過ぎず、限定的なものではなく、本願の示唆をもとに、当業者が本願の趣旨及び特許請求の保護範囲から逸脱することなくなし得る多くの形態は、いずれも本願の保護範囲に属するものとする。

Claims (25)

  1. 第１シーンの３次元画面情報を取得するステップと、
    前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するステップであって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含むステップと、を含む、画像データの符号化方法。
  2. 前記ファイルヘッダ情報は、ファイル種類名、ファイルサイズ及び解像度の少なくとも１つを含み、前記インデックス情報はタイムスタンプ、基準点の経度、緯度及び高度を含み、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む、請求項１に記載の画像データの符号化方法。
  3. 前記データ情報は、３次元点の属するオブジェクトの種類を識別するためのセマンティックラベルをさらに含む、請求項２に記載の画像データの符号化方法。
  4. 前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化する前記ステップの後に、
    符号化された第１シーンの３次元画面情報に対する編集入力を受信するステップであって、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられるステップをさらに含む、請求項１に記載の画像データの符号化方法。
  5. 前記第１シーンは、現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであり、前記第１シーンが拡張現実シーンである場合に、前記データ情報は前記基準点に対する３次元点の横座標、縦座標、垂直座標及び３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルを含む、請求項１に記載の画像データの符号化方法。
  6. 符号化された第１シーンの３次元画面情報を取得するステップであって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含むステップと、
    符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るステップと、
    解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するステップと、を含む、表示方法。
  7. 前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得る前記ステップは、
    前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、符号化された第１シーンの３次元画面情報のファイル種類名、ファイルサイズ及び解像度を得るステップと、
    前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るステップと、
    前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るステップと、を含む、請求項６に記載の表示方法。
  8. 前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、
    前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は、現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するステップを含む、請求項７に記載の表示方法。
  9. 解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップの前に、
    現実シーンである第２シーンの３次元画面情報を取得するステップをさらに含み、
    解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示する前記ステップは、
    前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るステップと、
    融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するステップと、を含む、請求項７に記載の表示方法。
  10. 前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得る前記ステップは、
    前記第２シーンにおける環境光源の位置と方向を取得するステップと、
    前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するステップと、を含む、請求項９に記載の表示方法。
  11. 第１シーンの３次元画面情報を取得するための第１取得モジュールと、
    前記第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化するための第１処理モジュールであって、符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第１処理モジュールと、を備える、画像データの符号化装置。
  12. 前記ファイルヘッダ情報は、ファイル種類名、ファイルサイズ及び解像度の少なくとも１つを含み、前記インデックス情報はタイムスタンプ、基準点の経度、緯度及び高度を含み、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む、請求項１１に記載の画像データの符号化装置。
  13. 前記データ情報は、３次元点の属するオブジェクトの種類を識別するためのセマンティックラベルをさらに含む、請求項１２に記載の画像データの符号化装置。
  14. 符号化された第１シーンの３次元画面情報に対する編集入力を受信するための編集入力モジュールであって、前記編集入力は、データフレームの挿入又は削除、及び／又は３次元点データの補正のために用いられる編集入力モジュールをさらに備える、請求項１１に記載の画像データの符号化装置。
  15. 前記第１シーンは現実シーン又は仮想シーンと現実シーンを組み合わせた拡張現実シーンであり、前記第１シーンが拡張現実シーンである場合に、前記データ情報は、前記基準点に対する３次元点の横座標、縦座標、垂直座標及び３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルを含む、請求項１１に記載の画像データの符号化装置。
  16. 符号化された第１シーンの３次元画面情報を取得するための第２取得モジュールであって、前記符号化された第１シーンの３次元画面情報は、第１シーンの３次元画面情報を予め設定されたファイルフォーマットで符号化して得られたものであり、前記符号化された第１シーンの３次元画面情報はファイルヘッダ情報、前記第１シーンの３次元画面情報に対応する基準点データを記録するためのインデックス情報及び前記第１シーンの３次元画面情報における３次元点データを記録するためのデータ情報を含む第２取得モジュールと、
    前記符号化された第１シーンの３次元画面情報を解析し、第１シーンの３次元画面情報を得るための第１解析モジュールと、
    解析して得られた第１シーンの３次元画面情報に基づいて３次元画面を表示するための表示モジュールと、を備える、表示装置。
  17. 前記第１解析モジュールは、
    前記符号化された第１シーンの３次元画面情報のファイルヘッダ情報を解析し、前記符号化された第１シーンの３次元画面情報のファイル種類名、ファイルサイズ及び解像度を得るための第１解析ユニットと、
    前記符号化された第１シーンの３次元画面情報のインデックス情報を解析し、前記第１シーンの３次元画面情報における、タイムスタンプ、基準点の経度、緯度及び高度を含む基準点データを得るための第２解析ユニットと、
    前記符号化された第１シーンの３次元画面情報のデータ情報を解析し、前記第１シーンの３次元画面情報における、前記基準点に対する３次元点の横座標、縦座標及び垂直座標を含む３次元点データを得るための第３の解析ユニットと、を備える、請求項１６に記載の表示装置。
  18. 前記第１シーンが仮想シーンと現実シーンを組み合わせた拡張現実シーンである場合に、前記データ情報は、３次元点の属する仮想／現実シーンの種類を識別するための仮想／現実シーンラベルをさらに含み、前記表示モジュールは、
    前記仮想／現実シーンラベルに基づき、仮想シーンに属する３次元点を表示して仮想シーン画面を形成するか、又は、現実シーンに属する３次元点を表示して現実シーン画面を形成するか、又は全ての３次元点を表示して拡張現実シーン画面を形成するための第１表示ユニットを備える、請求項１７に記載の表示装置。
  19. 現実シーンである第２シーンの３次元画面情報を取得するための第３取得モジュールをさらに備え、
    前記表示モジュールは、
    前記第２シーンの３次元画面情報と前記第１シーンの３次元画面情報とを重ね合わせ、融合された拡張現実の３次元画面情報を得るための融合ユニットと、
    融合された拡張現実の３次元画面情報に基づき、拡張現実の３次元画面を表示するための第２表示ユニットと、を備える、請求項１７に記載の表示装置。
  20. 前記融合ユニットは、
    前記第２シーンにおける環境光源の位置と方向を取得するための光源取得ユニットと、
    前記環境光源の位置と方向に基づき、前記第１シーンの３次元画面情報における３次元点に対応する画素値を補正するための画素値補正ユニットと、を備える、請求項１９に記載の表示装置。
  21. プロセッサ、メモリ及び前記メモリに記憶され且つ前記プロセッサ上で実行可能なプログラム又は命令を備え、前記プログラム又は命令は、前記プロセッサによって実行されると、請求項１から５のいずれか１項に記載の画像データの符号化方法のステップを実現するか、又は前記プログラム又は命令は、前記プロセッサによって実行されると、請求項６から１０のいずれか１項に記載の表示方法のステップを実現する、電子機器。
  22. プロセッサによって実行されると、請求項１から５のいずれか１項に記載の画像データの符号化方法のステップを実現するか、又は前記プロセッサによって実行されると、請求項６から１０のいずれか１項に記載の表示方法のステップを実現するプログラム又は命令が記憶されている、可読記憶媒体。
  23. プロセッサ及び通信インタフェースを備え、前記通信インタフェースは前記プロセッサに結合され、前記プロセッサは、プログラム又は命令を実行して、請求項１から５のいずれか１項に記載の画像データの符号化方法のステップ又は請求項６から１０のいずれか１項に記載の表示方法のステップを実現するために用いられる、チップ。
  24. 少なくとも１つのプロセッサによって実行されて請求項１から５のいずれか１項に記載の画像データの符号化方法のステップ又は請求項６から１０のいずれか１項に記載の表示方法のステップを実現する、コンピュータプログラム製品。
  25. 請求項１から５のいずれか１項に記載の画像データの符号化方法のステップ又は請求項６から１０のいずれか１項に記載の表示方法のステップを実行するように構成される、電子機器。
JP2022567269A 2020-05-09 2021-05-06 画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器 Pending JP2023524773A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010388654.1 2020-05-09
CN202010388654.1A CN111583348B (zh) 2020-05-09 2020-05-09 图像数据编码方法及装置、显示方法及装置、电子设备
PCT/CN2021/091865 WO2021227919A1 (zh) 2020-05-09 2021-05-06 图像数据编码方法及装置、显示方法及装置、电子设备

Publications (1)

Publication Number Publication Date
JP2023524773A true JP2023524773A (ja) 2023-06-13

Family

ID=72124777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022567269A Pending JP2023524773A (ja) 2020-05-09 2021-05-06 画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器

Country Status (6)

Country Link
US (1) US20230077907A1 (ja)
EP (1) EP4148675A4 (ja)
JP (1) JP2023524773A (ja)
KR (1) KR20230006580A (ja)
CN (1) CN111583348B (ja)
WO (1) WO2021227919A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583348B (zh) * 2020-05-09 2024-03-29 维沃移动通信有限公司 图像数据编码方法及装置、显示方法及装置、电子设备
CN114401451A (zh) * 2021-12-28 2022-04-26 有半岛(北京)信息科技有限公司 视频编辑方法、装置、电子设备及可读存储介质
CN114627134B (zh) * 2022-05-18 2022-08-09 深圳元象信息科技有限公司 场景图像生成方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2514655C (en) * 2001-11-27 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for depth image-based representation of 3-dimensional object
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
CN109522280B (zh) * 2012-09-16 2022-04-19 哈尔滨华强电力自动化工程有限公司 一种图像文件格式及生成方法及装置及应用
KR102424296B1 (ko) * 2016-02-19 2022-07-25 삼성전자주식회사 복수의 영상들을 제공하기 위한 방법, 저장 매체 및 전자 장치
US10249096B2 (en) * 2017-05-17 2019-04-02 International Business Machines Corporation Mixing virtual image data and physical image data
CN108959668A (zh) * 2017-05-19 2018-12-07 深圳市掌网科技股份有限公司 智能的家居设计方法和装置
CN107818594A (zh) * 2017-09-06 2018-03-20 北京矩阵空间科技有限公司 三维模型文件格式系统及读取方法
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
CN107918646B (zh) * 2017-11-08 2019-07-02 珠海百丰网络科技有限公司 一种基于协议方式的三维模型数据处理方法及装置
CN107833280B (zh) * 2017-11-09 2021-05-11 交通运输部天津水运工程科学研究所 一种基于地理网格与图像识别相结合的户外移动增强现实方法
CN108009979B (zh) * 2017-12-15 2021-02-26 湖北大学 基于时空数据融合的三维点云压缩存储方法及系统
CN109685910A (zh) * 2018-11-16 2019-04-26 成都生活家网络科技有限公司 基于vr的房间布景设置方法、装置及vr穿戴设备
CN109600601A (zh) * 2018-11-23 2019-04-09 维沃移动通信有限公司 一种存储3d图像的方法及终端设备
CN110321443B (zh) * 2019-06-27 2021-08-10 埃洛克航空科技（北京）有限公司 三维实景模型数据库构建方法、装置及数据服务系统
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111583348B (zh) * 2020-05-09 2024-03-29 维沃移动通信有限公司 图像数据编码方法及装置、显示方法及装置、电子设备

Also Published As

Publication number Publication date
CN111583348B (zh) 2024-03-29
WO2021227919A1 (zh) 2021-11-18
US20230077907A1 (en) 2023-03-16
CN111583348A (zh) 2020-08-25
EP4148675A1 (en) 2023-03-15
KR20230006580A (ko) 2023-01-10
EP4148675A4 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
JP2023524773A (ja) 画像データの符号化方法及び装置、表示方法及び装置、並びに電子機器
EP3883256A1 (en) Live stream processing method in webrtc and stream pushing client
CN112291627A (zh) 一种视频编辑方法、装置、移动终端和存储介质
CN104918105B (zh) 媒体文件的多屏播放方法、设备及系统
EP3024223B1 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
CN104202546A (zh) Cave沉浸式虚拟显示系统与显示方法
TW201351174A (zh) 用於跨多種裝置之智慧型媒體展示技術
CN106095881A (zh) 一种显示照片相应信息的方法、系统及移动终端
CN114332417A (zh) 一种多人场景交互的方法、设备、存储介质及程序产品
CN109194942B (zh) 一种裸眼3d视频播放方法、终端和服务器
CN108228843B (zh) 一种基于互联网的讲义压缩传输与还原方法
KR20160069663A (ko) 교육용 콘텐츠 제작 시스템, 제작방법, 및 그에 사용되는 서비스 서버, 저작자 단말, 클라이언트 단말
WO2022116516A1 (zh) 一种为视频会议系统提供视频源的方法与装置
CN109874024A (zh) 一种基于动态视频海报的弹幕处理方法、系统及存储介质
CN113391745A (zh) 网络课程的重点内容处理方法、装置、设备及存储介质
KR20150112113A (ko) 이벤트 처리 기반의 온라인 강의 콘텐츠 관리방법
JP2000267639A (ja) 情報処理装置
US20040212629A1 (en) Drawing processing apparatus, drawing processing method, drawing processing program and teleconference system equipped therewith
WO2021223671A1 (zh) 基于ar的会议方法、装置及电子设备
US11838338B2 (en) Method and device for conference control and conference participation, server, terminal, and storage medium
CN113891108A (zh) 字幕优化方法、装置、电子设备和存储介质
WO2016184193A1 (zh) 媒体文件生成方法和装置
CN111866548A (zh) 一种应用于医疗视频的标记方法
CN111935493B (zh) 主播相册处理方法及装置、存储介质、电子设备
CN115515008B (zh) 一种视频处理方法、终端和视频处理系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240502