KR20230006580A - 이미지 데이터 인코딩 방법 및 장치, 표시 방법 및 장치, 전자기기 - Google Patents
이미지 데이터 인코딩 방법 및 장치, 표시 방법 및 장치, 전자기기 Download PDFInfo
- Publication number
- KR20230006580A KR20230006580A KR1020227042616A KR20227042616A KR20230006580A KR 20230006580 A KR20230006580 A KR 20230006580A KR 1020227042616 A KR1020227042616 A KR 1020227042616A KR 20227042616 A KR20227042616 A KR 20227042616A KR 20230006580 A KR20230006580 A KR 20230006580A
- Authority
- KR
- South Korea
- Prior art keywords
- scenario
- information
- screen information
- screen
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000003190 augmentative effect Effects 0.000 claims description 67
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 21
- 230000003993 interaction Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007654 immersion Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Architecture (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 출원은 이미지 데이터 인코딩 방법 및 장치(60), 전자기기(80)를 제공한다. 상기 방법은 제1 시나리오의 3차원 화면 정보를 획득하는 단계(101); 상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하고, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하며, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것인 단계(102)를 포함한다.
Description
본 출원은 증강 현실 기술분야에 속하고, 구체적으로 이미지 데이터 인코딩 방법 및 장치, 표시 방법 및 장치, 전자기기에 관한 것이다.
관련 출원의 상호 인용
본 출원은 2020년 5월 9일 중국에서 출원된 중국특허출원 No. 202010388654.1의 우선권을 주장하며, 본 출원에서는 그 모든 내용을 인용하고 있다.
인터넷 기술의 신속한 발전에 따라, 네트워크 기술에 기반한 원격 인터랙선 방식은 점점 더 많은 분야에서 널리 사용되고 있다. 휴대폰, 컴퓨터와 같은 전자기기의 프로세서가 계속 발전하여, 증강 현실(Augmented Reality, AR)의 응용이 사람들에게 점점 더 수용되고, 증강 현실 기술은 원격 인터랙션 분야에 사용되며, 새로운 원격 통신, 교류, 생활 및 근무 방식이다.
본 출원을 구현하는 과정에서, 발명자는 선행기술에 적어도 다음과 같은 문제가 존재하는 것을 발견하였다. 증강 현실에 기반한 원격 인터랙션을 구현한 후, 원격 인터랙션 과정의 3차원 화면 정보는 효율적이고 통일된 미디어 파일 형식으로 저장되지 않으며, 저장된 3차원 화면 정보는 혼란스럽고, 후속 해석 및 재생이 불편하다.
본 출원의 실시예의 목적은 3차원 화면 정보의 저장이 혼란스럽고, 후속 해석 및 재생이 불편한 선행기술에 존재하는 문제를 해결할 수 있는 이미지 데이터 인코딩 방법 및 장치, 표시 방법 및 장치, 전자기기를 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여, 본 출원은 다음과 같이 구현된다.
제1 면에서, 본 출원의 실시예는,
제1 시나리오의 3차원 화면 정보를 획득하는 단계;
상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하고, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하며, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것인 단계를 포함하는 이미지 데이터 인코딩 방법을 제공한다.
제2 면에서, 본 출원의 실시예는,
인코딩된 제1 시나리오의 3차원 화면 정보를 획득하고, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 제1 시나리오의 3차원 화면 정보에 대해 기설정된 파일 형식에 따라 인코딩하여 얻으며, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하고, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이며, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것인 단계;
상기 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻는 단계;
해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 단계를 포함하는 표시 방법을 제공한다.
제3 면에서, 본 출원의 실시예는,
제1 시나리오의 3차원 화면 정보를 획득하기 위한 제1 획득 모듈;
상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하기 위한 것이고, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하며, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 제1 처리 모듈을 포함하는 이미지 데이터 인코딩 장치를 제공한다.
제4 양태에서, 본 출원의 실시예는,
인코딩된 제1 시나리오의 3차원 화면 정보를 획득하기 위한 것이고, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 제1 시나리오의 3차원 화면 정보에 대해 기설정된 파일 형식에 따라 인코딩하여 얻으며, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하고, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이며, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 제2 획득 모듈;
상기 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻기 위한 제1 해석 모듈;
해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하기 위한 디스플레이 모듈을 포함하는 디스플레이 장치를 제공한다.
제5 면에서, 본 출원의 실시예는, 프로세서, 메모리 및 상기 메모리에 저장되고 상기 프로세서에 의해 실행 가능한 프로그램 또는 명령을 포함하며, 상기 프로그램 또는 명령이 상기 프로세서에 의해 실행되면 제1 면에 따른 이미지 데이터 인코딩 방법의 단계가 구현되거나, 상기 프로그램 또는 명령이 상기 프로세서에 의해 실행되면 제2 면에 따른 표시 방법의 단계가 구현되는 전자기기를 제공한다.
제6 면에서, 본 출원의 실시예는, 프로세서에 의해 실행되면 제1 면에 따른 이미지 데이터 인코딩 방법의 단계가 구현되거나, 상기 프로세서에 의해 실행되면 제2 면에 따른 표시 방법의 단계가 구현되는 프로그램 또는 명령이 저장되어 있는 판독 가능한 저장매체를 제공한다.
제7 면에서, 본 출원의 실시예는 프로세서 및 통신 인터페이스를 포함하고, 상기 통신 인터페이스는 상기 프로세서에 결합되며, 상기 프로세서는 제1 면에 따른 이미지 데이터 인코딩 방법의 단계, 또는 제2 면에 따른 표시 방법의 단계가 구현되는 프로그램 또는 명령을 실행하기 위한 것인 칩을 제공한다.
본 출원의 실시예에서, 본 출원의 이미지 데이터 인코딩 방법에 따르면, 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하여, 시나리오의 3차원 화면 정보를 완전히 저장할 수 있고, 기설정된 파일 형식에 따라 처리 후 얻은 파일의 후속 해석, 판독이 편리하며, 해석, 재생 시나리오의 속도를 향상시킨다.
도 1은 본 출원의 실시예에 따른 이미지 데이터 인코딩 방법의 흐름 모식도이다.
도 2는 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도1이다.
도 3은 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도2이다.
도 4는 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도3이다.
도 5는 본 출원의 실시예에 따른 표시 방법의 흐름 모식도이다.
도 6은 본 출원의 실시예에 따른 이미지 데이터 인코딩 장치의 구조 모식도이다.
도 7은 본 출원의 실시예에 따른 디스플레이 장치의 구조 모식도이다.
도 8은 본 출원의 실시예의 전자기기의 하드웨어 구조 모식도이다.
도 2는 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도1이다.
도 3은 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도2이다.
도 4는 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도3이다.
도 5는 본 출원의 실시예에 따른 표시 방법의 흐름 모식도이다.
도 6은 본 출원의 실시예에 따른 이미지 데이터 인코딩 장치의 구조 모식도이다.
도 7은 본 출원의 실시예에 따른 디스플레이 장치의 구조 모식도이다.
도 8은 본 출원의 실시예의 전자기기의 하드웨어 구조 모식도이다.
이하, 본 출원의 실시예의 첨부 도면에 결부하여, 본 출원의 실시예의 기술적 해결수단을 명확하고 완전하게 설명하며, 설명된 실시예는 본 출원의 일부 실시예에 불과하고, 전부 실시예가 아닌 것은 명백하다. 본 출원의 실시예에 기반하여, 본 분야에서 통상의 지식을 가진 자가 진보성 창출에 힘쓰지 않는 전제 하에서 획득한 모든 다른 실시예는 모두 본 출원의 보호 범위에 속한다.
본 출원의 명세서 및 특허청구범위의 용어 “제1”, “제2” 등은 유사한 대상을 구분하기 위한 것으로, 특정된 순서 또는 선후 순서를 설명하기 위한 것이 아니다. 이와 같이 사용된 데이터는 적절한 상황에서 교환될 수 있어, 본 출원의 실시예가 여기에 도시되거나 설명된 것을 제외한 순서로 실시될 수 있음을 이해해야 한다. 이 외에, 명세서 및 특허청구범위에서 “및/또는”은 연결된 대상 중 적어도 하나를 나타내고, 문자 “/”는 일반적으로 선후 관련 대상이 “또는”의 관계임을 나타낸다.
이하 첨부 도면에 결부하여, 구체적인 실시예 및 응용 시나리오를 통해 본 출원의 실시예에 따른 증강 현실의 파일 처리 방법을 상세하게 설명한다.
도 1을 참조하면, 도 1은 본 출원의 실시예에 따른 이미지 데이터 인코딩 방법의 흐름 모식도이다. 도 1에 도시된 바와 같이, 본 출원의 이미지 데이터 인코딩 방법은 이하의 단계를 포함할 수 있다.
단계(101): 제1 시나리오의 3차원 화면 정보를 획득한다.
상기 단계에서, 제1 시나리오의 3차원 화면 정보를 획득하되, 여기서, 상기 제1 시나리오는 전자기기가 현재 위치한 실제 시나리오일 수 있거나, 전자기기에 의해 현재 표시되는 증강 현실 시나리오, 다시 말해서 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오일 수 있다. 예시적으로, 상기 제1 시나리오는 원격 회의 시나리오와 같은 원격 화상 인터랙션 중 실제 시나리오일 수 있고, AR 기기를 사용하여 원격 인터랙션을 수행하는 과정에서, AR 기기가 위치한 실제 환경의 3차원 화면 정보를 획득하며; 또 예를 들어, 상기 제1 시나리오는 원격 화상 인터랙션 중 표시되는 증강 현실 시나리오, 즉 상대 단부에서 전송된 가상 시나리오를 로컬 단부의 전자기기가 현재 위치한 실제 시나리오와 융합한 증강 현실 시나리오일 수도 있다.
본 출원의 실시예에서, 제1 시나리오의 3차원 화면 정보를 획득하는 방법은 구체적으로 깊이 센서가 구비된 깊이 카메라 및 RGB 쌍안 카메라를 사용하여 촬영하여, 제1 시나리오의 3차원 화면의 3차원 포인트의 좌표 정보 및 RGB 픽셀값 등 정보를 획득할 수 있다.
단계(102): 상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하고, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하며, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것이다.
본 단계에서, 제1 시나리오의 3차원 화면 정보를 획득한 후, 상기 3차원 화면 정보를 추가로 인코딩 처리할 수 있고, 즉 기설정된 파일 형식에 따라 인코딩하며, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함할 수 있다. 다시 말해서, 기설정된 파일 형식으로 인코딩 처리 후 얻은 3차원 화면 정보는 모두 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함할 수 있다. 인코딩된 제1 시나리오의 3차원 화면 정보는 제1 파일로 저장될 수 있음으로써, 제1 파일에 기록된 정보는 제1 시나리오에 대응되는 정보이고, 제1 시나리오의 화면을 후속 재생해야 할 경우, 제1 파일을 해석하여, 신속한 재생을 구현할 수 있다. 물론, 인코딩된 제1 시나리오의 3차원 화면 정보는 직접 전송되고, 상대 단부에 발송되어 제1 시나리오의 재생을 수행할 수도 있다.
본 출원의 이미지 데이터 인코딩 방법에 따르면, 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하여, 시나리오의 3차원 화면 정보를 완전히 저장할 수 있고, 기설정된 파일 형식에 따라 처리 후 얻은 파일의 후속 해석, 판독이 편리하며, 해석, 재생 시나리오의 속도를 향상시킨다.
본 출원의 실시예에서, 상기 파일 헤더 정보는 파일 본문 정보를 기록하기 위한 것이고, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이며, 다시 말해서, 상기 참조점의 위치는 상기 제1 시나리오의 3차원 화면 정보를 획득한 전자기기의 위치이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것이다.
도 2를 참조하면, 도 2는 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도1이다. 도 2에 도시된 바와 같이, 출원 실시예에서, 인코딩 후 얻은 제1 파일에서, 상기 파일 헤더 정보는 파일 유형 명칭(format), 파일 크기(size), 해상도(resolution) 중 적어도 하나를 포함할 수 있고, 파일 헤더 정보를 해석하여 제1 파일의 파일 유형 명칭, 파일 크기 및 해상도를 신속하게 획득할 수 있으며, 파일 크기는 기록된 제1 시나리오의 3차원 화면 정보의 데이터량에 대응되고, 상기 해상도는 제1 시나리오의 3차원 화면의 해상도에 대응되며; 상기 인덱스 정보는 타임 스탬프(timestamp), 경도(longitude), 위도(latitude) 및 고도(altitude)를 포함할 수 있고, 인덱스 정보를 해석하여, 제1 파일에 기록된 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 신속하게 획득할 수 있으며, 다시 말해서, 인덱스 정보 중 타임 스탬프는 제1 시나리오가 기록된 순간을 결정할 수 있으나, 경도, 위도 및 고도 등은 특정 순간에, 제1 시나리오의 3차원 화면 정보를 획득하는데 사용된 전자기기가 위치한 공간 위치, 즉 제1 시나리오의 3차원 화면 정보에 대응되는 참조점의 위치를 결정하기 위한 것이고, 전자기기의 획득 범위가 일정하기에, 참조점을 결정할 경우, 제1 시나리오의 3차원 화면 정보가 위치한 공간적 범위를 결정할 수 있으며; 상기 데이터 정보는 3차원 포인트의 횡좌표(x), 종좌표(y) 및 수직 좌표(z), 즉 참조점에 대한 3차원 포인트의 횡좌표(x), 종좌표(y) 및 수직 좌표(z) 등을 포함할 수 있고, 데이터 정보를 해석하여, 3차원 포인트의 구체적인 데이터를 신속하게 획득할 수 있으며, 다음 참조점 데이터에 결부하여, 3차원 포인트의 실제 위치를 신속하게 계산할 수 있음으로써, 제1 시나리오의 3차원 포인트 데이터를 최대한 보류하고, 저장 과정에서 데이터 손실을 방지한다.
도 2에 도시된 바와 같이, 본 출원의 실시예에서, 상기 데이터 정보는 의미 레이블(label)을 더 포함할 수 있고, 상기 의미 레이블은 3차원 포인트가 속하는 대상의 카테고리를 나타내기 위한 것일 수 있으며, 예시적으로, 상기 대상의 카테고리는 사람(person), 책상(desk), 의자(chair) 등을 포함하여, 기록된 제1 시나리오 중 상이한 대상을 구분할 수 있고, 상기 의미 레이블은 상기에서 나열된 대상 카테고리 중 임의의 하나일 수 있으며; 상기 의미 레이블에 따라, 상기 3차원 포인트가 어떤 사람, 어떤 물체에 속하는지를 설명할 수 있다. 따라서, 인코딩 후 제1 시나리오의 3차원 화면 정보의 3차원 포인트는 합리적으로 분류되어, 제1 시나리오의 각 사람과 개체를 완전히 분류하여 저장할 수 있고, 제1 시나리오가 재생 시 3차원 포인트가 상기 포인트가 위치한 공간적 위치에 의해서만 결정되는 것을 방지하여, 후속 재생 시 의미 레이블에 따라 해석 및 구성하는데 편리하다.
도 3을 참조하면, 도 3은 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도2이다. 도 3에 도시된 바와 같이, 인코딩 후 얻은 제1 시나리오의 3차원 화면 정보에서, 데이터 정보는 횡좌표(x), 종좌표(y), 수직 좌표(z)를 포함하는 외에, 롤 각도(roll), 요 각도(yaw), 피치 각도(pitch), 적색 채널(r), 녹색 채널(g), 청색 채널(b)을 더 포함할 수 있고; 여기서, 롤 각도(roll), 요 각도(yaw), 피치 각도(pitch)는 3차원 포인트의 법선 방향을 결정하기 위한 것이며, 적색 채널(r), 녹색 채널(g), 청색 채널(b)은 3차원 픽셀 포인트의 색상을 결정하기 위한 것이다.
도 4를 참조하면, 도 4는 본 출원의 실시예에 따른 인코딩된 제1 시나리오의 3차원 화면 정보의 포맷 모식도3이다. 본 출원의 실시예에서, 전술한 바와 같이, 상기 제1 시나리오는 실제 시나리오 또는 가상 시나리오가 실제 시나리오와 결합된 증강 현실 시나리오, 다시 말해서, 상기 제1 시나리오는 전자기기가 현재 위치한 실제 시나리오일 수 있거나, 전자기기에 의해 현재 표시되는 증강 현실 시나리오, 다시 말해서 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오일 수 있고; 상기 제1 시나리오가 증강 현실 시나리오인 경우, 상기 데이터 정보는 상기 참조점에 대한 3차원 포인트의 횡좌표(x), 종좌표(y), 수직 좌표(z) 및 가상 현실 시나리오 레이블(type)을 포함하며, 여기서, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것이고, 다시 말해서, 실제 시나리오와 비교하여, 증강 현실 시나리오에서 가상 시나리오와 실제 시나리오의 결합으로 인해, 상이한 시나리오에 속하는 3차원 포인트를 표기하여 구분하여야 하기에, 가상 현실 시나리오 레이블을 추가 설정하며, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 실제 시나리오와 가상 시나리오 유형을 식별하기 위한 것일 수 있고, 예시적으로, type값이 1이면, 상기 3차원 포인트가 실제 시나리오에 속함을 나타내며, type값이 0이면, 상기 3차원 픽셀 포인트가 가상 시나리오에 속함을 나타내고, 가상 현실 시나리오 레이블을 증가하여, 제1 시나리오의 3차원 화면 정보의 3차원 포인트가 속하는 가상 현실 시나리오 유형을 신속하게 결정할 수 있음으로써, 가상 시나리오에 속하는 3차원 포인트 및 실제 시나리오에 속하는 3차원 포인트에 대해 그 가상 현실 시나리오 유형에 대응되는 해석 및 처리를 수행하여, 증강 현실 3차원 화면을 신속하게 재생할 수 있으며; 또한 가상 현실 시나리오 레이블에 따라, 가상 시나리오에 속하는 3차원 포인트만을 표시하도록 선택함으로써, 가상 시나리오 화면을 표시하거나, 실제 시나리오에 속하는 3차원 포인트만을 표시하도록 선택함으로써, 실제 시나리오 화면을 표시하거나, 모든 3차원 포인트를 표시함으로써, 증강 현실 시나리오 화면을 표시할 수 있다.
도 4에 도시된 바와 같이, 물론, 인코딩된 제1 시나리오의 3차원 화면 정보의 데이터 정보는 횡좌표(x), 종좌표(y), 수직 좌표(z)를 포함하는 외에, 마찬가지로 적색 채널(r), 녹색 채널(g), 청색 채널(b) 등을 더 포함할 수 있고, 적색 채널(r), 녹색 채널(g), 청색 채널(b)은 3차원 픽셀 포인트의 색상을 결정하기 위한 것이다.
본 출원의 실시예에서, 상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하는 상기 단계 이후에,
인코딩된 제1 시나리오의 3차원 화면 정보에 대한 편집 입력을 수신하고, 상기 편집 입력은 데이터 프레임을 삽입 또는 삭제하며 및/또는 3차원 포인트 데이터를 보정하기 위한 것인 단계를 더 포함한다.
다시 말해서, 본 출원의 실시예에서, 인코딩된 제1 시나리오의 3차원 화면 정보에 대한 편집 입력을 수신함으로써, 상기 편집 입력에 응답하여, 인코딩된 제1 시나리오의 3차원 화면 정보에 대해 편집 작업을 수행하여, 제1 시나리오의 3차원 화면을 보정함으로써, 원하는 3차원 화면 효과를 얻는다. 여기서, 상기 편집 작업은 데이터 프레임을 삽입 또는 삭제하고 및/또는 3차원 포인트 데이터를 보정하기 위한 것이며, 다시 말해서, 상기 인덱스 정보에 따라, 특정 타임 스탬프에 대응되는 순간 전후에 데이터 프레임을 삽입 또는 삭제하도록 결정할 수 있거나, 상기 데이터 정보의 3차원 포인트의 의미 레이블을 보정하여, 3차원 포인트가 속하는 대상 카테고리를 변경할 수 있거나, 3차원 포인트의 횡좌표, 수직 좌표, 종좌표 등을 보정할 수 있거나, 상기 데이터 정보의 3차원 포인트의 가상 현실 시나리오 레이블을 보정할 수 있고; 편집된 제1 시나리오의 3차원 화면 정보도 기설정된 파일 형식에 따라 저장할 수 있다. 편집된 제1 시나리오의 3차원 화면 정보를 편집하여, 원하는 표시 효과를 얻을 수 있어, 추후 2차 보정 창작에 편의성을 제공한다.
따라서, 본 출원의 실시예의 이미지 데이터 인코딩 방법에 따르면, 획득한 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하여, 고정 형식의 인코딩된 3차원 화면 정보를 얻을 수 있어, 전송 및 저장이 편리하고; 생성된 제1 파일에 기록된 데이터 정보는 분류 및 정렬되어, 제1 시나리오의 3차원 화면을 후속 재생하여야 할 경우, 파일 헤더 정보, 인덱스 정보, 데이터 정보의 형식 순서에 따라 해석하여, 3차원 화면의 3차원 포인트 데이터를 신속하게 획득함으로써, 제1 시나리오에 대한 신속한 재생을 구현할 수 있다.
도 5를 참조하면, 도 5는 본 출원의 실시예에 따른 표시 방법의 흐름 모식도이다. 도 5에 도시된 바와 같이, 본 출원의 다른 양태의 실시예는 표시 방법을 더 제공하고, 상기 방법은 이하의 단계를 포함할 수 있다.
단계(501): 인코딩된 제1 시나리오의 3차원 화면 정보를 획득하고, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 제1 시나리오의 3차원 화면 정보에 대해 기설정된 파일 형식에 따라 인코딩하여 얻으며, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하고, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이며, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것이다.
본 단계에서, 기설정된 파일 형식에 따라 제1 시나리오의 3차원 화면 정보를 인코딩하여 인코딩된 제1 시나리오의 3차원 화면 정보를 얻는 방법의 단계는 상기 이미지 데이터 인코딩 방법의 실시예에서 설명되었고, 여기서 더 반복하지 않는다. 상기 인코딩된 제1 시나리오의 3차원 화면 정보도 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함한다.
본 출원의 실시예에서, 인코딩된 제1 시나리오의 3차원 화면 정보는, 로컬 단부의 전자기기에 의해 먼저 제1 시나리오의 3차원 화면 정보를 획득한 후 기설정된 파일 형식에 따라 인코딩하여 얻을 수 있거나, 상대 단부의 전자기기에 의해 제1 시나리오의 3차원 화면 정보를 획득하고 기설정된 파일 형식에 따라 인코딩 후 로컬 단부의 전자기기에 발송하여, 로컬 단부의 전자기기에 의해 수신되어 얻을 수 있다. 전자는 일반 시나리오를 기록한 후 재생하는 시나리오에 적용될 수 있고, 후자는 실시간 원격 화상 인터랙션 시나리오에 사용될 수 있다.
단계(502): 상기 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻는다.
본 단계에서, 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 즉 인코딩된 제1 시나리오의 3차원 화면 정보에 포함된 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 순차적으로 해석하여, 완전한 제1 시나리오의 3차원 화면 정보를 얻을 수 있다.
단계(503): 해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시한다.
본 출원의 실시예에서, 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻은 후, 해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시할 수 있다. 물론, 표시된 3차원 화면은 단지 제1 시나리오의 3차원 화면일 수 있거나, 제1 시나리오를 현재 전자기기가 위치한 실제 시나리오에 융합한 후 얻은 증강 현실 시나리오 화면일 수 있고, 전자의 경우, 본 출원은 이전에 저장된 인코딩된 제1 시나리오의 3차원 화면 정보에 대응되는 가상 시나리오 화면의 표시(표시 과정에서 이전의 제1 시나리오의 3차원 화면만을 표시하기 때문에)를 구현하며, 후자의 경우, 본 출원은 가상 시나리오인 제1 시나리오 및 현재 전자기기가 위치한 실제 시나리오를 증강 현실 처리된 증강 현실 시나리오 화면의 표시를 구현하고, 후자는 원격 회의와 같은 원격 실시간 화상 인터랙션 시나리오에 적용될 수 있음으로써, 인터랙션의 몰입도를 향상시켜, 소통이 보다 효과적이며 편리하도록 하는 것을 알 수 있다.
본 출원의 실시예의 표시 방법에 따르면, 기설정된 파일 형식에 따라 인코딩 후 얻은 3차원 화면 정보를 해석하여, 제1 시나리오를 편리하고 신속하게 재생할 수 있거나 제1 시나리오를 가상 시나리오으로 사용하여 실제 시나리오와 융합하여 표시하여, 인터랙션 중 이미지 데이터의 전송 효율 및 해석 속도를 크게 향상시킬 수 있다.
본 출원의 실시예에서, 상기 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻는 상기 단계는,
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 헤더 정보를 해석하여, 상기 제1 파일의 파일 유형 명칭, 파일 크기 및 해상도를 얻는 단계;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 인덱스 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 참조점 데이터를 얻고, 상기 참조점 데이터는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하는 단계;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 데이터 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 얻고, 상기 3차원 포인트 데이터는 상기 참조점에 대한 횡좌표, 종좌표 및 수직 좌표를 포함하는 단계를 포함한다.
구체적으로, 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하는 과정에서, 파일 헤더 정보를 해석하여, 인코딩된 제1 시나리오의 3차원 화면 정보에 기록된 파일 유형 명칭, 파일 크기 및 해상도를 신속하게 획득할 수 있고, 파일 크기는 기록된 제1 시나리오의 3차원 화면 정보의 데이터량에 대응되며, 상기 해상도는 제1 시나리오의 3차원 화면의 해상도에 대응되고; 인덱스 정보를 해석하여, 인코딩된 제1 시나리오의 3차원 화면 정보에 기록된 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터, 즉 타임 스탬프(timestamp), 경도(longitude), 위도(latitude) 및 고도(altitude)를 신속하게 획득할 수 있으며, 다시 말해서, 인덱스 정보 중 타임 스탬프는 제1 시나리오가 기록된 순간을 결정할 수 있으나, 경도, 위도 및 고도 등은 특정 순간에, 제1 시나리오의 3차원 화면 정보를 획득하는데 사용된 전자기기가 위치한 공간 위치, 즉 제1 시나리오의 3차원 화면 정보에 대응되는 참조점의 위치를 결정하기 위한 것이고, 전자기기의 획득 범위가 일정하기에, 참조점을 결정할 경우, 제1 시나리오의 3차원 화면 정보가 위치한 공간적 범위를 결정할 수 있으며; 데이터 정보를 해석하여 3차원 포인트의 횡좌표(x), 종좌표(y), 수직 좌표(z), 즉 참조점에 대한 3차원 포인트의 횡좌표(x), 종좌표(y) 및 수직 좌표(z) 등을 획득할 수 있고, 3차원 포인트의 구체적인 데이터를 획득한 후 참조점 데이터에 결부하여, 3차원 포인트의 실제 위치를 신속하게 계산할 수 있다.
본 출원의 실시예에서, 상기 제1 시나리오가 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오인 경우, 상기 데이터 정보는 가상 현실 시나리오 레이블을 더 포함하고, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것이며, 해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 상기 단계는,
상기 가상 현실 시나리오 레이블에 따라, 가상 시나리오에 속하는 3차원 포인트를 표시하여 가상 시나리오 화면을 구성하거나, 실제 시나리오에 속하는 3차원 포인트를 표시하여 현실 시나리오 화면을 구성하거나, 모든 3차원 포인트를 표시하여 증강 현실 시나리오 화면을 구성하는 단계를 포함한다.
다시 말해서, 상기 제1 시나리오가 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오인 경우, 데이터 정보를 해석하여, 3차원 포인트의 가상 현실 시나리오 레이블을 더 얻을 수 있음으로써, 3차원 포인트의 가상 현실 시나리오 레이블에 따라, 제1 시나리오의 3차원 화면 정보의 3차원 포인트가 속하는 가상 현실 시나리오 유형을 신속하게 결정함으로써, 가상 시나리오에 속하는 3차원 포인트 및 실제 시나리오에 속하는 3차원 포인트에 대해 그 가상 현실 시나리오 유형에 대응되는 해석 및 처리를 수행하여, 3차원 화면을 신속하게 표시한다.
본 출원의 실시예에서, 가상 현실 시나리오 레이블에 따라, 가상 시나리오에 속하는 3차원 포인트만을 표시하도록 선택함으로써, 가상 시나리오 화면을 표시하거나, 실제 시나리오에 속하는 3차원 포인트만을 표시하도록 선택함으로써, 실제 시나리오 화면을 표시하거나, 모든 3차원 포인트를 표시함으로써, 증강 현실 시나리오 화면을 표시할 수 있다. 이로써, 원격 인터랙션이 종료된 후 인터랙션 과정의 증강 현실 시나리오 화면을 재생하여야 할 경우, 저장된 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하고, 해석 결과에 따라 증강 현실 3차원 화면을 신속하게 재생할 수 있다.
여기서 가상 시나리오 및 실제 시나리오는 초기에 증강 현실 처리를 수행하는 전자기기에 대한 것이고, 즉 증강 현실 처리를 수행하는 전자기기가 그 시점에 위치하는 환경이 실제 시나리오가며, 가상 시나리오는 상기 전자기기가 증강 현실 처리를 수행할 경우 위치하는 환경이고, 이로써 가상 시나리오 및 실제 시나리오를 구분하는 것을 유의해야 한다. 편집된 제1 시나리오의 3차원 화면 정보가 다른 전자기기에 의해 획득된 후, 다른 전자기기에 있어서, 제1 시나리오가 상기 다른 전자기기가 위치한 실제 시나리오가 아니므로, 상기 다른 전자기기에 있어서, 제1 시나리오는 모두 가상 시나리오가다.
본 출원의 실시예에서, 해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 상기 단계 이전에,
실제 시나리오인 제2 시나리오의 3차원 화면 정보를 획득하는 단계를 더 포함하고;
해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 상기 단계는,
상기 제2 시나리오의 3차원 화면 정보와 상기 제1 시나리오의 3차원 화면 정보를 중첩하여, 융합된 증강 현실 3차원 화면 정보를 얻는 단계;
융합된 증강 현실 3차원 화면 정보에 따라, 증강 현실 3차원 화면을 표시하는 단계를 포함한다.
다시 말해서, 본 출원의 실시예에서, 로컬 단부의 전자기기가 현재 위치한 실제 시나리오, 즉 제2 시나리오의 3차원 화면 정보를 추가로 더 획득할 수 있고, 로컬 단부의 전자기기에 있어서, 제1 시나리오는 가상 시나리오가므로, 해석 후 얻은 제1 시나리오의 3차원 화면 정보를 제2 시나리오의 3차원 화면 정보와 중첩하여 융합하여, 융합된 증강 현실 3차원 화면 정보를 얻으며, 최종적으로, 얻은 증강 현실 3차원 화면 정보에 따라 증강 현실 3차원 화면을 표시할 수 있다.
이로써, 본 출원의 실시예는 원격 화상 인터랙션 과정에서, 기설정된 파일 형식을 사용하여 획득된 3차원 화면 정보를 인코딩 및 전송할 수 있고, 상대 단부의 전자기기에 의해 발송된 인코딩된 3차원 화면 정보를 수신한 후, 해석하며, 해석 후 얻은 3차원 화면 정보를 사용하여 로컬 단부의 전자기기가 현재 획득한 실제 시나리오를 중첩하여 융합하여, 증강 현실 3차원 화면을 얻어, 인터랙션 과정에서의 사용자의 몰입도를 크게 향상시켜, 인터랙션 효율을 향상시킨다.
본 출원의 실시예에서, 상기 제2 시나리오의 3차원 화면 정보와 상기 제1 시나리오의 3차원 화면 정보를 중첩하여, 융합된 증강 현실 3차원 화면 정보를 얻는 상기 단계는,
상기 제2 시나리오의 환경 광원의 위치 및 방향을 획득하는 단계;
상기 환경 광원의 위치 및 방향에 따라, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트에 대응되는 픽셀값을 보정하는 단계를 포함한다.
구체적으로, 보다 우수한 융합 효과를 얻어, 제1 시나리오가 제2 시나리오에 보다 자연스럽게 융합되도록 하기 위하여, 제2 시나리오를 조도 추정을 수행하여, 제2 시나리오의 환경 광원의 위치 및 방향을 얻을 수 있고, 제2 시나리오는 실제 시나리오가므로, 제2 시나리오의 환경 광원의 위치 및 방향을 참조하여, 제1 시나리오의 3차원 화면 정보의 3차원 픽셀 포인트를 착색 및 랜더링할 수 있으며, 즉 3차원 포인트에 대응되는 픽셀값(R\G\B값)을 보정하여, 보다 자연스러운 AR 랜더링 효과를 얻을 수 있다.
본 출원의 실시예의 표시 방법에 따르면, 화상 회의와 같은 원격 인터랙션 시나리오의 3차원 미디어 파일의 처리 및 저장에 사용될 수 있고, 기설정된 파일 형식에 따라 인코딩하여, 3차원 화면 정보를 완전히 저장할 수 있으며, 해석 과정에서 3차원 화면 정보를 신속하게 획득하고, 3차원 화면의 처리 과정을 가속화하며, 재생 시나리오의 완전성을 보장하여, 증강 현실 3차원 포인트 클라우드의 데이터 형식을 통일하기 위해 실현 가능한 해결수단을 제공한다.
본 출원의 실시예에 따른 표시 방법에서, 실행 주체는 디스플레이 장치일 수 있거나, 표시 방법을 수행하기 위한 상기 디스플레이 장치의 제어 모듈일 수 있음을 유의해야 한다. 본 출원의 실시예에서 디스플레이 장치로 로딩 표시 방법을 수행하는 것을 예로 들어, 본 출원의 실시예에 따른 표시 방법을 설명한다.
도 6을 참조하면, 도 6은 본 출원의 실시예에 따른 이미지 데이터 인코딩 장치의 구조 모식도이다. 도 6에 도시된 바와 같이, 상기 장치(60)는,
제1 시나리오의 3차원 화면 정보를 획득하기 위한 제1 획득 모듈(61);
상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하기 위한 것이고, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하며, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것인 제1 처리 모듈(62)을 포함한다.
선택적으로, 상기 파일 헤더 정보는 파일 유형 명칭, 파일 크기 및 해상도 중 적어도 하나를 포함하고, 상기 인덱스 정보는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하며, 상기 데이터 정보는 상기 참조점에 대한 3차원 표인트의 횡좌표, 종좌표 및 수직 좌표를 포함한다.
선택적으로, 상기 데이터 정보는 3차원 포인트가 속하는 대상의 유형을 식별하기 위한 의미 레이블을 더 포함한다.
선택적으로,
인코딩된 제1 시나리오의 3차원 화면 정보에 대한 편집 입력을 수신하기 위한 것이고, 상기 편집 입력은 데이터 프레임을 삽입 또는 삭제하고 및/또는 3차원 포인트 데이터를 보정하기 위한 것인 편집 수신 모듈을 더 포함한다.
선택적으로, 상기 제1 시나리오는 실제 시나리오 또는 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오이고, 상기 제1 시나리오가 증강 현실 시나리오인 경우, 상기 데이터 정보는 상기 참조점에 대한 3차원 포인트의 횡좌표, 종좌표, 수직 좌표 및 가상 현실 시나리오 레이블을 포함하며, 여기서, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것이다.
본 출원의 실시예의 이미지 데이터 인코딩 장치는 장치일 수 있고, 단말의 부재, 집적 회로, 또는 칩일 수도 있다. 상기 장치는 모바일 전자기기일 수 있고, 비-모바일 전자기기일 수도 있다. 예시적으로, 모바일 전자기기는 휴대폰, 태블릿 컴퓨터, 노트북 컴퓨터, 팜탑 컴퓨터, 차량 탑재 전자기기, 웨어러블 기기, 울트라 모바일 개인 컴퓨터(ultra-mobile personal computer, UMPC), 넷북 또는 개인 휴대 정보 단말기(personal digital assistant, PDA) 등일 수 있고, 비-모바일 전자기기는 서버, 네트워크 결합 스토리지(Network Attached Storage, NAS), 개인 컴퓨터(personal computer, PC), 텔레비전(television, TV), 텔러 머신 또는 셀프 서비스 머신 등일 수 있으며, 본 출원의 실시예는 구체적으로 한정하지 않는다.
본 출원의 실시예의 이미지 데이터 인코딩 장치는 운영 체제를 갖는 장치일 수 있다. 상기 운영 체제는 안드로이드(Android) 운영 체제일 수 있고, ios 운영 체제일 수 있으며, 다른 가능한 운영 체제일 수도 있고, 본 출원의 실시예는 구체적으로 한정하지 않는다.
본 출원의 실시예에 따른 이미지 데이터 인코딩 장치는 도 1 내지 도 4의 방법 실시예에서 구현되는 각 과정을 구현할 수 있고, 중복을 피하기 위해, 여기서 더 반복하지 않는다.
본 출원의 실시예에서, 획득한 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하여, 고정 형식의 인코딩된 3차원 화면 정보를 얻을 수 있어, 전송 및 저장이 편리하고; 생성된 제1 파일에 기록된 데이터 정보는 분류 및 정렬되어, 제1 시나리오의 3차원 화면을 후속 재생하여야 할 경우, 파일 헤더 정보, 인덱스 정보, 데이터 정보의 형식 순서에 따라 해석하여, 3차원 화면의 3차원 포인트 데이터를 신속하게 획득함으로써, 제1 시나리오에 대한 신속한 재생을 구현할 수 있다.
도 7을 참조하면, 도 7은 본 출원의 실시예에 따른 디스플레이 장치의 구조 모식도이다. 도 7에 도시된 바와 같이, 상기 장치(70)는,
인코딩된 제1 시나리오의 3차원 화면 정보를 획득하기 위한 것이고, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 제1 시나리오의 3차원 화면 정보에 대해 기설정된 파일 형식에 따라 인코딩하여 얻으며, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하고, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이며, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 제2 획득 모듈(71);
상기 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻기 위한 제1 해석 모듈(72);
해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하기 위한 디스플레이 모듈(73)을 포함한다.
선택적으로, 상기 제1 해석 모듈(72)은,
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 헤더 정보를 해석하여, 상기 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 유형 명칭, 파일 크기 및 해상도를 얻기 위한 제1 해석 유닛;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 인덱스 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 참조점 데이터를 얻기 위한 것이고, 상기 참조점 데이터는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하는 제2 해석 유닛;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 데이터 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 얻기 위한 것이고, 상기 3차원 포인트 데이터는 상기 참조점에 대한 횡좌표, 종좌표 및 수직 좌표를 포함하는 제3 해석 유닛을 포함한다.
선택적으로, 상기 제1 시나리오가 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오인 경우, 상기 데이터 정보는 가상 현실 시나리오 레이블을 더 포함하고, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것이며, 상기 디스플레이 모듈은,
상기 가상 현실 시나리오 레이블에 따라, 가상 시나리오에 속하는 3차원 포인트를 표시하여 가상 시나리오 화면을 구성하거나, 실제 시나리오에 속하는 3차원 포인트를 표시하여 현실 시나리오 화면을 구성하거나, 모든 3차원 포인트를 표시하여 증강 현실 시나리오 화면을 구성하기 위한 제1 디스플레이 유닛을 포함한다.
선택적으로,
실제 시나리오인 제2 시나리오의 3차원 화면 정보를 획득하기 위한 제3 획득 모듈을 더 포함하고;
상기 디스플레이 모듈(73)은,
상기 제2 시나리오의 3차원 화면 정보와 상기 제1 시나리오의 3차원 화면 정보를 중첩하여, 융합된 증강 현실 3차원 화면 정보를 얻기 위한 융합 유닛;
융합된 증강 현실 3차원 화면 정보에 따라, 증강 현실 3차원 화면을 표시하기 위한 제2 디스플레이 유닛을 포함한다.
선택적으로, 상기 융합 유닛은,
상기 제2 시나리오의 환경 광원의 위치 및 방향을 획득하기 위한 광원 획득 유닛;
상기 환경 광원의 위치 및 방향에 따라, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트에 대응되는 픽셀값을 보정하기 위한 픽셀값 보정 유닛을 포함한다.
본 출원의 실시예의 디스플레이 장치는 장치일 수 있고, 단말의 부재, 집적 회로, 또는 칩일 수도 있다. 상기 장치는 모바일 전자기기일 수 있고, 비-모바일 전자기기일 수도 있다. 예시적으로, 모바일 전자기기는 휴대폰, 태블릿 컴퓨터, 노트북 컴퓨터, 팜탑 컴퓨터, 차량 탑재 전자기기, 웨어러블 기기, 울트라 모바일 개인 컴퓨터(ultra-mobile personal computer, UMPC), 넷북 또는 개인 휴대 정보 단말기(personal digital assistant, PDA) 등일 수 있고, 비-모바일 전자기기는 서버, 네트워크 결합 스토리지(Network Attached Storage, NAS), 개인 컴퓨터(personal computer, PC), 텔레비전(television, TV), 텔러 머신 또는 셀프 서비스 머신 등일 수 있으며, 본 출원의 실시예는 구체적으로 한정하지 않는다.
본 출원의 실시예의 디스플레이 장치는 운영 체제를 갖는 장치일 수 있다. 상기 운영 체제는 안드로이드(Android) 운영 체제일 수 있고, ios 운영 체제일 수 있으며, 다른 가능한 운영 체제일 수도 있고, 본 출원의 실시예는 구체적으로 한정하지 않는다.
본 출원의 실시예에 따른 이미지 데이터 인코딩 장치는 도 5의 방법 실시예에서 구현되는 각 과정을 구현할 수 있고, 중복을 피하기 위해, 여기서 더 반복하지 않는다.
본 출원의 실시예에서, 기설정된 파일 형식에 따라 인코딩 후 얻은 3차원 화면 정보를 해석하여, 제1 시나리오를 편리하고 신속하게 재생할 수 있거나 제1 시나리오를 가상 시나리오으로 사용하여 실제 시나리오와 융합하여 표시하여, 인터랙션 중 이미지 데이터의 전송 효율 및 해석 속도를 크게 향상시킬 수 있다.
선택적으로, 본 출원의 실시예는, 프로세서, 메모리, 메모리에 저장되고 상기 프로세서에 의해 실행 가능한 프로그램 또는 명령을 포함하며, 상기 프로그램 또는 명령이 프로세서에 의해 실행되면 상기 이미지 데이터 인코딩 방법의 방법 실시예의 각 과정이 구현되거나, 상기 프로그램 또는 명령이 프로세서에 의해 실행되면 상기 표시 방법의 방법 실시예의 각 과정이 구현되는 전자기기를 더 제공하고, 동일한 기술적 효과를 달성할 수 있으며, 중복을 피하기 위해, 여기서 더 반복하지 않는다.
본 출원의 실시예의 전자기기는 전술한 모바일 전자기기 및 비-모바일 전자기기를 포함하는 것을 유의해야 한다.
도 8은 본 출원의 실시예를 구현하는 전자기기의 하드웨어 구조 모식도이다.
상기 전자기기(80)는 무선 주파수 유닛(81), 네트워크 모듈(82), 오디오 출력 유닛(83), 입력 유닛(84), 센서(85), 디스플레이 유닛(86), 사용자 입력 유닛(87), 인터페이스 유닛(88), 메모리(89), 및 프로세서(810) 등 부재를 포함하지만 이에 한정되지 않는다.
본 분야에서 통상의 지식을 가진 자라면, 전자기기(80)는 각 부재에 전기를 공급하는 전원(예: 배터리)을 포함할 수도 있고, 전원은 전원 관리 시스템을 통해 프로세서(810)와 논리적으로 연결될 수 있음으로써, 전원 관리 시스템을 통해 충전, 방전 관리, 및 전력 관리 등 기능을 구현하는 것을 알 수 있다. 도 6에 도시된 전자기기의 구조는 전자기기에 대한 한정을 구성하지 않고, 전자기기는 도시된 것보다 더 많거나 더 적은 부재를 포함하거나, 일부 부재를 조합하거나, 상이한 부재로 배열될 수 있으며, 여기서 더 반복하지 않는다.
여기서, 입력 유닛(84)은 제1 시나리오의 3차원 화면 정보를 획득하기 위한 것이다.
프로세서(810)는, 상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하기 위한 것이고, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하며, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것이다.
본 출원의 실시예에서, 획득한 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하여, 고정 형식의 인코딩된 3차원 화면 정보를 얻을 수 있어, 전송 및 저장이 편리하고; 생성된 제1 파일에 기록된 데이터 정보는 분류 및 정렬되어, 제1 시나리오의 3차원 화면을 후속 재생하여야 할 경우, 파일 헤더 정보, 인덱스 정보, 데이터 정보의 형식 순서에 따라 해석하여, 3차원 화면의 3차원 포인트 데이터를 신속하게 획득함으로써, 제1 시나리오에 대한 신속한 재생을 구현할 수 있다.
선택적으로, 상기 파일 헤더 정보는 파일 유형 명칭, 파일 크기 및 해상도 중 적어도 하나를 포함하고, 상기 인덱스 정보는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하며, 상기 데이터 정보는 상기 참조점에 대한 3차원 표인트의 횡좌표, 종좌표 및 수직 좌표를 포함한다.
선택적으로, 상기 데이터 정보는 3차원 포인트가 속하는 대상의 유형을 식별하기 위한 의미 레이블을 더 포함한다.
선택적으로, 상기 제1 시나리오는 실제 시나리오 또는 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오이고, 상기 제1 시나리오가 증강 현실 시나리오인 경우, 상기 데이터 정보는 상기 참조점에 대한 3차원 포인트의 횡좌표, 종좌표, 수직 좌표 및 가상 현실 시나리오 레이블을 포함하며, 여기서, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것이다.
선택적으로, 사용자 입력 유닛(87)은, 인코딩된 제1 시나리오의 3차원 화면 정보에 대한 편집 입력을 수신하기 위한 것이고, 상기 편집 입력은 데이터 프레임을 삽입 또는 삭제하고 및/또는 3차원 포인트 데이터를 보정하기 위한 것이다.
선택적으로, 네트워크 모듈(82)은, 인코딩된 제1 시나리오의 3차원 화면 정보를 획득하기 위한 것이고, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 제1 시나리오의 3차원 화면 정보에 대해 기설정된 파일 형식에 따라 인코딩하여 얻으며, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하고, 여기서, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이며, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것이다.
선택적으로, 프로세서(810)는 또한 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻기 위한 것이다.
선택적으로, 상기 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻는 상기 단계는,
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 헤더 정보를 해석하여, 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 유형 명칭, 파일 크기 및 해상도를 얻는 단계;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 인덱스 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 참조점 데이터를 얻고, 상기 참조점 데이터는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하는 단계;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 데이터 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 얻고, 상기 3차원 포인트 데이터는 상기 참조점에 대한 횡좌표, 종좌표 및 수직 좌표를 포함하는 단계를 포함한다.
선택적으로, 디스플레이 유닛(86)은, 해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하기 위한 것이다.
선택적으로, 상기 제1 시나리오가 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오인 경우, 상기 데이터 정보는 가상 현실 시나리오 레이블을 더 포함하고, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것이며, 해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 상기 단계는,
상기 가상 현실 시나리오 레이블에 따라, 가상 시나리오에 속하는 3차원 포인트를 표시하여 가상 시나리오 화면을 구성하거나, 실제 시나리오에 속하는 3차원 포인트를 표시하여 현실 시나리오 화면을 구성하거나, 모든 3차원 포인트를 표시하여 증강 현실 시나리오 화면을 구성하는 단계를 포함한다.
선택적으로, 입력 유닛(84)은, 실제 시나리오인 제2 시나리오의 3차원 화면 정보를 획득하기 위한 것이다.
선택적으로, 프로세서(810)는 또한, 상기 제2 시나리오의 3차원 화면 정보와 상기 제1 시나리오의 3차원 화면 정보를 중첩하여, 융합된 증강 현실 3차원 화면 정보를 얻기 위한 것이고;
선택적으로, 디스플레이 유닛(86)은, 융합된 증강 현실 3차원 화면 정보에 따라, 증강 현실 3차원 화면을 표시하기 위한 것이다.
상기 제2 시나리오의 3차원 화면 정보와 상기 제1 시나리오의 3차원 화면 정보를 중첩하여, 융합된 증강 현실 3차원 화면 정보를 얻는 상기 단계는,
상기 제2 시나리오의 환경 광원의 위치 및 방향을 획득하는 단계;
상기 환경 광원의 위치 및 방향에 따라, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트에 대응되는 픽셀값을 보정하는 단계를 포함한다.
선택적으로, 입력 유닛(84)은 또한, 상기 제2 시나리오의 환경 광원의 위치 및 방향을 획득하기 위한 것이다.
선택적으로, 프로세서(810)는, 상기 환경 광원의 위치 및 방향에 따라, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트에 대응되는 픽셀값을 보정하기 위한 것이다.
본 출원의 실시예에서, 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하여, 시나리오의 3차원 화면 정보를 완전히 저장할 수 있고, 기설정된 파일 형식에 따라 처리 후 얻은 파일의 후속 해석, 판독이 편리하며, 해석, 재생 시나리오의 속도를 향상시킨다.
본 출원의 실시예는, 프로세서에 의해 실행되면 상기 이미지 데이터 인코딩 방법의 방법 실시예의 각 과정이 구현되거나, 프로세서에 의해 실행되면 상기 표시 방법의 방법 실시예의 각 과정이 구현되는 프로그램 또는 명령이 저장되어 있는 판독 가능한 저장매체를 더 제공하고, 동일한 기술적 효과를 달성할 수 있으며, 중복을 피하기 위해, 여기서 더 반복하지 않는다.
여기서, 상기 프로세서는 상기 실시예에서 설명한 전자기기의 프로세서이다. 상기 판독 가능한 저장매체는, 컴퓨터 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 컴퓨터 판독 가능한 저장매체를 포함한다.
본 출원의 실시예는, 프로세서 및 통신 인터페이스를 포함하고, 상기 통신 인터페이스는 상기 프로세서에 결합되며, 상기 프로세서는 상기 증강 현실의 파일 처리 방법의 방법 실시예의 각 과정이 구현되는 프로그램 또는 명령을 실행하기 위한 것인 칩을 더 제공하고, 동일한 기술적 효과를 달성할 수 있으며, 중복을 피하기 위해, 여기서 더 반복하지 않는다.
본 출원의 실시예에 언급된 칩은 또한 시스템-온-칩, 시스템칩, 칩시스템 또는 시스템 온 칩 등으로 지칭될 수 있음을 이해해야 한다.
본 명세서에서, 용어 “포함”, “구비” 또는 이들의 임의의 다른 변형은 비배타적인 포함을 포괄하도록 의도됨으로써, 일련의 요소를 포함하는 과정, 방법, 물품 또는 장치로 하여금 요소를 포함할 뿐만 아니라, 명확하게 나열되지 않은 다른 요소를 더 포함하거나, 이러한 과정, 방법, 물품 또는 장치에 고유한 요소를 더 포함하도록 하는 것을 유의해야 한다. 추가 제한이 없는 경우, 문구 “...하나를 포함하는”에 의해 한정되는 요소는, 상기 요소를 포함하는 과정, 방법, 물품 또는 장치에 별도의 동일한 요소가 더 존재하는 것을 배제하지 않는다. 이 외에, 본 출원의 실시형태의 방법 및 장치의 범위는 도시되거나 논의된 순서로 기능을 수행하는 것에 제한되지 않고, 관련된 기능에 근거하여 기본적으로 동시적인 방식으로 또는 상반되는 순서로 기능을 수행하는 것을 더 포함할 수 있으며, 예를 들어, 설명된 것과 상이한 순서로 설명된 방법을 수행할 수 있고, 다양한 단계를 더 추가, 생략, 또는 조합할 수 있다. 이 외에, 일부 예시를 참조하여 설명된 특징은 다른 예시에서 조합될 수 있다.
이상 실시형태의 설명을 통해, 본 분야에서 통상의 지식을 가진 자는 상기 실시예 방법이 소프트웨어와 필요한 일반 하드웨어 플랫폼에 의해 구현될 수 있고, 물론 하드웨어를 통해서도 구현될 수 있지만, 많은 경우에 전자가 더 우수한 실시형태임을 명확하게 이해할 수 있다. 이러한 이해에 기반하여, 본 출원의 본질적인 기술적 해결수단 또는 선행기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장매체(예: ROM/RAM, 자기 디스크, 광 디스크)에 저장되며, 단말(휴대폰, 컴퓨터, 서버, 에어컨, 또는 네트워크 기기 등일 수 있음)로 하여금 본 출원의 각 실시예에서 설명된 방법을 수행하도록 하는 여러 명령을 포함한다.
이상 도면에 결부하여 본 출원의 실시예를 설명하였지만, 본 출원은 상술한 구체적인 실시형태에 한정되지 않고, 상술한 구체적인 실시형태는 한정적이 아닌 예시적인 것에 불과하며, 본 분야에서 통상의 지식을 가진 자는 본 출원의 시사 하에, 본 출원의 사상 및 특허청구범위에 의해 보호되는 범위를 벗어나지 않고, 많은 형태를 이룰 수도 있으며, 모두 본 출원의 보호에 속한다.
Claims (25)
- 제1 시나리오의 3차원 화면 정보를 획득하는 단계;
상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하고, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하며, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것인 단계를 포함하는 이미지 데이터 인코딩 방법. - 제1항에 있어서,
상기 파일 헤더 정보는 파일 유형 명칭, 파일 크기 및 해상도 중 적어도 하나를 포함하고, 상기 인덱스 정보는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하며, 상기 데이터 정보는 상기 참조점에 대한 3차원 표인트의 횡좌표, 종좌표 및 수직 좌표를 포함하는 이미지 데이터 인코딩 방법. - 제2항에 있어서,
상기 데이터 정보는 3차원 포인트가 속하는 대상의 유형을 식별하기 위한 의미 레이블을 더 포함하는 이미지 데이터 인코딩 방법. - 제1항에 있어서,
상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하는 상기 단계 이후에,
인코딩된 제1 시나리오의 3차원 화면 정보에 대한 편집 입력을 수신하고, 상기 편집 입력은 데이터 프레임을 삽입 또는 삭제하며 및/또는 3차원 포인트 데이터를 보정하기 위한 것인 단계를 더 포함하는 이미지 데이터 인코딩 방법. - 제1항에 있어서,
상기 제1 시나리오는 실제 시나리오 또는 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오이고, 상기 제1 시나리오가 증강 현실 시나리오인 경우, 상기 데이터 정보는 상기 참조점에 대한 3차원 포인트의 횡좌표, 종좌표, 수직 좌표 및 가상 현실 시나리오 레이블을 포함하며, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것인 이미지 데이터 인코딩 방법. - 인코딩된 제1 시나리오의 3차원 화면 정보를 획득하고, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 제1 시나리오의 3차원 화면 정보에 대해 기설정된 파일 형식에 따라 인코딩하여 얻으며, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하고, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이며, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것인 단계;
인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻는 단계;
해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 단계를 포함하는 표시 방법. - 제6항에 있어서,
상기 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻는 상기 단계는,
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 헤더 정보를 해석하여, 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 유형 명칭, 파일 크기 및 해상도를 얻는 단계;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 인덱스 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 참조점 데이터를 얻고, 상기 참조점 데이터는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하는 단계;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 데이터 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 얻고, 상기 3차원 포인트 데이터는 상기 참조점에 대한 횡좌표, 종좌표 및 수직 좌표를 포함하는 단계를 포함하는 표시 방법. - 제7항에 있어서,
상기 제1 시나리오가 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오인 경우, 상기 데이터 정보는 가상 현실 시나리오 레이블을 더 포함하고, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것이며, 해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 상기 단계는,
상기 가상 현실 시나리오 레이블에 따라, 가상 시나리오에 속하는 3차원 포인트를 표시하여 가상 시나리오 화면을 구성하거나, 실제 시나리오에 속하는 3차원 포인트를 표시하여 현실 시나리오 화면을 구성하거나, 모든 3차원 포인트를 표시하여 증강 현실 시나리오 화면을 구성하는 단계를 포함하는 표시 방법. - 제7항에 있어서,
해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 상기 단계 이전에,
실제 시나리오인 제2 시나리오의 3차원 화면 정보를 획득하는 단계를 더 포함하고;
해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하는 상기 단계는,
상기 제2 시나리오의 3차원 화면 정보와 상기 제1 시나리오의 3차원 화면 정보를 중첩하여, 융합된 증강 현실 3차원 화면 정보를 얻는 단계;
융합된 증강 현실 3차원 화면 정보에 따라, 증강 현실 3차원 화면을 표시하는 단계를 포함하는 표시 방법. - 제9항에 있어서,
상기 제2 시나리오의 3차원 화면 정보와 상기 제1 시나리오의 3차원 화면 정보를 중첩하여, 융합된 증강 현실 3차원 화면 정보를 얻는 상기 단계는,
상기 제2 시나리오의 환경 광원의 위치 및 방향을 획득하는 단계;
상기 환경 광원의 위치 및 방향에 따라, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트에 대응되는 픽셀값을 보정하는 단계를 포함하는 표시 방법. - 제1 시나리오의 3차원 화면 정보를 획득하기 위한 제1 획득 모듈;
상기 제1 시나리오의 3차원 화면 정보를 기설정된 파일 형식에 따라 인코딩하기 위한 것이고, 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하며, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이고, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 것인 제1 처리 모듈을 포함하는 이미지 데이터 인코딩 장치. - 제11항에 있어서,
상기 파일 헤더 정보는 파일 유형 명칭, 파일 크기 및 해상도 중 적어도 하나를 포함하고, 상기 인덱스 정보는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하며, 상기 데이터 정보는 상기 참조점에 대한 3차원 표인트의 횡좌표, 종좌표 및 수직 좌표를 포함하는 이미지 데이터 인코딩 장치. - 제12항에 있어서,
상기 데이터 정보는 3차원 포인트가 속하는 대상의 유형을 식별하기 위한 의미 레이블을 더 포함하는 이미지 데이터 인코딩 장치. - 제11항에 있어서,
인코딩된 제1 시나리오의 3차원 화면 정보에 대한 편집 입력을 수신하기 위한 것이고, 상기 편집 입력은 데이터 프레임을 삽입 또는 삭제하고 및/또는 3차원 포인트 데이터를 보정하기 위한 것인 편집 수신 모듈을 더 포함하는 이미지 데이터 인코딩 장치. - 제11항에 있어서,
상기 제1 시나리오는 실제 시나리오 또는 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오이고, 상기 제1 시나리오가 증강 현실 시나리오인 경우, 상기 데이터 정보는 상기 참조점에 대한 3차원 포인트의 횡좌표, 종좌표, 수직 좌표 및 가상 현실 시나리오 레이블을 포함하며, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것인 이미지 데이터 인코딩 장치. - 인코딩된 제1 시나리오의 3차원 화면 정보를 획득하기 위한 것이고, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 제1 시나리오의 3차원 화면 정보에 대해 기설정된 파일 형식에 따라 인코딩하여 얻으며, 상기 인코딩된 제1 시나리오의 3차원 화면 정보는 파일 헤더 정보, 인덱스 정보 및 데이터 정보를 포함하고, 상기 인덱스 정보는 상기 제1 시나리오의 3차원 화면 정보에 대응되는 참조점 데이터를 기록하기 위한 것이며, 상기 데이터 정보는 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 기록하기 위한 제2 획득 모듈;
상기 인코딩된 제1 시나리오의 3차원 화면 정보를 해석하여, 제1 시나리오의 3차원 화면 정보를 얻기 위한 제1 해석 모듈;
해석하여 얻은 제1 시나리오의 3차원 화면 정보에 따라 3차원 화면을 표시하기 위한 디스플레이 모듈을 포함하는 디스플레이 장치. - 제16항에 있어서,
상기 제1 해석 모듈은,
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 헤더 정보를 해석하여, 상기 인코딩된 제1 시나리오의 3차원 화면 정보의 파일 유형 명칭, 파일 크기 및 해상도를 얻기 위한 제1 해석 유닛;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 인덱스 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 참조점 데이터를 얻기 위한 것이고, 상기 참조점 데이터는 타임 스탬프, 참조점의 경도, 위도 및 고도를 포함하는 제2 해석 유닛;
상기 인코딩된 제1 시나리오의 3차원 화면 정보의 데이터 정보를 해석하여, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트 데이터를 얻기 위한 것이고, 상기 3차원 포인트 데이터는 상기 참조점에 대한 횡좌표, 종좌표 및 수직 좌표를 포함하는 제3 해석 유닛을 포함하는 디스플레이 장치. - 제17항에 있어서,
상기 제1 시나리오가 가상 시나리오와 실제 시나리오가 결합된 증강 현실 시나리오인 경우, 상기 데이터 정보는 가상 현실 시나리오 레이블을 더 포함하고, 상기 가상 현실 시나리오 레이블은 3차원 포인트가 속하는 가상 현실 시나리오 유형을 식별하기 위한 것이며, 상기 디스플레이 모듈은,
상기 가상 현실 시나리오 레이블에 따라, 가상 시나리오에 속하는 3차원 포인트를 표시하여 가상 시나리오 화면을 구성하거나, 실제 시나리오에 속하는 3차원 포인트를 표시하여 현실 시나리오 화면을 구성하거나, 모든 3차원 포인트를 표시하여 증강 현실 시나리오 화면을 구성하기 위한 제1 디스플레이 유닛을 포함하는 디스플레이 장치. - 제17항에 있어서,
실제 시나리오인 제2 시나리오의 3차원 화면 정보를 획득하기 위한 제3 획득 모듈을 더 포함하고;
상기 디스플레이 모듈은,
상기 제2 시나리오의 3차원 화면 정보와 상기 제1 시나리오의 3차원 화면 정보를 중첩하여, 융합된 증강 현실 3차원 화면 정보를 얻기 위한 융합 유닛;
융합된 증강 현실 3차원 화면 정보에 따라, 증강 현실 3차원 화면을 표시하기 위한 제2 디스플레이 유닛을 포함하는 디스플레이 장치. - 제19항에 있어서,
상기 융합 유닛은,
상기 제2 시나리오의 환경 광원의 위치 및 방향을 획득하기 위한 광원 획득 유닛;
상기 환경 광원의 위치 및 방향에 따라, 상기 제1 시나리오의 3차원 화면 정보의 3차원 포인트에 대응되는 픽셀값을 보정하기 위한 픽셀값 보정 유닛을 포함하는 디스플레이 장치. - 프로세서, 메모리 및 상기 메모리에 저장되고 상기 프로세서에 의해 실행 가능한 프로그램 또는 명령을 포함하며, 상기 프로그램 또는 명령이 상기 프로세서에 의해 실행되면 제1항 내지 제5항 중 어느 한 항에 따른 이미지 데이터 인코딩 방법의 단계가 구현되거나, 상기 프로그램 또는 명령이 상기 프로세서에 의해 실행되면 제6항 내지 제10항 중 어느 한 항에 따른 표시 방법의 단계가 구현되는 전자기기.
- 프로세서에 의해 실행되면 제1항 내지 제5항 중 어느 한 항에 따른 이미지 데이터 인코딩 방법의 단계가 구현되거나, 상기 프로세서에 의해 실행되면 제6항 내지 제10항 중 어느 한 항에 따른 표시 방법의 단계가 구현되는 프로그램 또는 명령이 저장되어 있는 판독 가능한 저장매체.
- 프로세서 및 통신 인터페이스를 포함하고, 상기 통신 인터페이스는 상기 프로세서에 결합되며, 상기 프로세서는 제1항 내지 제5항 중 어느 한 항에 따른 이미지 데이터 인코딩 방법의 단계, 또는 제6항 내지 제10항 중 어느 한 항에 따른 표시 방법의 단계가 구현되는 프로그램 또는 명령을 실행하기 위한 것인 칩.
- 적어도 하나의 프로세서에 실행되어 제1항 내지 제5항 중 어느 한 항에 따른 이미지 데이터 인코딩 방법의 단계, 또는 제6항 내지 제10항 중 어느 한 항에 따른 표시 방법의 단계가 구현되는 컴퓨터 프로그램 제품.
- 내지 제5항 중 어느 한 항에 따른 이미지 데이터 인코딩 방법의 단계, 또는 제6항 내지 제10항 중 어느 한 항에 따른 표시 방법의 단계를 수행하도록 구성되는 전자기기.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010388654.1 | 2020-05-09 | ||
| CN202010388654.1A CN111583348B (zh) | 2020-05-09 | 2020-05-09 | 图像数据编码方法及装置、显示方法及装置、电子设备 |
| PCT/CN2021/091865 WO2021227919A1 (zh) | 2020-05-09 | 2021-05-06 | 图像数据编码方法及装置、显示方法及装置、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230006580A true KR20230006580A (ko) | 2023-01-10 |
Family
ID=72124777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227042616A KR20230006580A (ko) | 2020-05-09 | 2021-05-06 | 이미지 데이터 인코딩 방법 및 장치, 표시 방법 및 장치, 전자기기 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230077907A1 (ko) |
| EP (1) | EP4148675A4 (ko) |
| JP (1) | JP2023524773A (ko) |
| KR (1) | KR20230006580A (ko) |
| CN (1) | CN111583348B (ko) |
| WO (1) | WO2021227919A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583348B (zh) * | 2020-05-09 | 2024-03-29 | 维沃移动通信有限公司 | 图像数据编码方法及装置、显示方法及装置、电子设备 |
| CN114401451A (zh) * | 2021-12-28 | 2022-04-26 | 有半岛(北京)信息科技有限公司 | 视频编辑方法、装置、电子设备及可读存储介质 |
| CN114627134B (zh) * | 2022-05-18 | 2022-08-09 | 深圳元象信息科技有限公司 | 场景图像生成方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2514655C (en) * | 2001-11-27 | 2010-05-11 | Samsung Electronics Co., Ltd. | Apparatus and method for depth image-based representation of 3-dimensional object |
| US20130278633A1 (en) * | 2012-04-20 | 2013-10-24 | Samsung Electronics Co., Ltd. | Method and system for generating augmented reality scene |
| CN109522280B (zh) * | 2012-09-16 | 2022-04-19 | 哈尔滨华强电力自动化工程有限公司 | 一种图像文件格式及生成方法及装置及应用 |
| KR102424296B1 (ko) * | 2016-02-19 | 2022-07-25 | 삼성전자주식회사 | 복수의 영상들을 제공하기 위한 방법, 저장 매체 및 전자 장치 |
| US10249096B2 (en) * | 2017-05-17 | 2019-04-02 | International Business Machines Corporation | Mixing virtual image data and physical image data |
| CN108959668A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市掌网科技股份有限公司 | 智能的家居设计方法和装置 |
| CN107818594A (zh) * | 2017-09-06 | 2018-03-20 | 北京矩阵空间科技有限公司 | 三维模型文件格式系统及读取方法 |
| CN107481327B (zh) * | 2017-09-08 | 2019-03-15 | 腾讯科技（深圳）有限公司 | 关于增强现实场景的处理方法、装置、终端设备及系统 |
| CN107918646B (zh) * | 2017-11-08 | 2019-07-02 | 珠海百丰网络科技有限公司 | 一种基于协议方式的三维模型数据处理方法及装置 |
| CN107833280B (zh) * | 2017-11-09 | 2021-05-11 | 交通运输部天津水运工程科学研究所 | 一种基于地理网格与图像识别相结合的户外移动增强现实方法 |
| CN108009979B (zh) * | 2017-12-15 | 2021-02-26 | 湖北大学 | 基于时空数据融合的三维点云压缩存储方法及系统 |
| CN109685910A (zh) * | 2018-11-16 | 2019-04-26 | 成都生活家网络科技有限公司 | 基于vr的房间布景设置方法、装置及vr穿戴设备 |
| CN109600601A (zh) * | 2018-11-23 | 2019-04-09 | 维沃移动通信有限公司 | 一种存储3d图像的方法及终端设备 |
| CN110321443B (zh) * | 2019-06-27 | 2021-08-10 | 埃洛克航空科技（北京）有限公司 | 三维实景模型数据库构建方法、装置及数据服务系统 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN111583348B (zh) * | 2020-05-09 | 2024-03-29 | 维沃移动通信有限公司 | 图像数据编码方法及装置、显示方法及装置、电子设备 |
-
2020
- 2020-05-09 CN CN202010388654.1A patent/CN111583348B/zh active Active
-
2021
- 2021-05-06 WO PCT/CN2021/091865 patent/WO2021227919A1/zh unknown
- 2021-05-06 KR KR1020227042616A patent/KR20230006580A/ko not_active Application Discontinuation
- 2021-05-06 EP EP21804745.4A patent/EP4148675A4/en active Pending
- 2021-05-06 JP JP2022567269A patent/JP2023524773A/ja active Pending
-
2022
- 2022-11-07 US US17/981,986 patent/US20230077907A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583348B (zh) | 2024-03-29 |
| WO2021227919A1 (zh) | 2021-11-18 |
| US20230077907A1 (en) | 2023-03-16 |
| CN111583348A (zh) | 2020-08-25 |
| EP4148675A1 (en) | 2023-03-15 |
| JP2023524773A (ja) | 2023-06-13 |
| EP4148675A4 (en) | 2023-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20230006580A (ko) | 이미지 데이터 인코딩 방법 및 장치, 표시 방법 및 장치, 전자기기 | |
| US11721071B2 (en) | Methods and systems for producing content in multiple reality environments | |
| US11272165B2 (en) | Image processing method and device | |
| US20220007083A1 (en) | Method and stream-pushing client for processing live stream in webrtc | |
| CN107248169B (zh) | 图像定位方法及装置 | |
| CN114332417B (zh) | 一种多人场景交互的方法、设备、存储介质及程序产品 | |
| CN111683260A (zh) | 基于虚拟主播的节目视频生成方法、系统和存储介质 | |
| JP2024513005A (ja) | イマーシブテクノロジーズメディアフォーマット（ｉｔｍｆ）仕様のマッピングアーキテクチャのための方法、装置、及びコンピュータプログラム | |
| CN103327246A (zh) | 一种多媒体拍摄处理方法、装置及智能终端 | |
| CN112967193A (zh) | 图像校准方法及装置、计算机可读介质和电子设备 | |
| CN104766154B (zh) | 基于bim的快照图像应用于智能化工程管理的系统和方法 | |
| CN116129126A (zh) | 分割预测模型的构建方法、图片语义分割标注方法及装置 | |
| CN113436320B (zh) | 基于ifc模型文件的3d模型生成系统及方法 | |
| CN110400334A (zh) | 一种基于配准的虚实融合仿真实验数据采集方法及系统 | |
| KR20200114348A (ko) | 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법 | |
| CN113192171A (zh) | 一种基于云端渲染的三维效果图高效渲染方法及系统 | |
| CN104301520A (zh) | 一种信息录入方法、装置及终端 | |
| RU2802724C1 (ru) | Способ и устройство обработки изображений, электронное устройство и машиночитаемый носитель информации | |
| CN111130977B (zh) | 数据处理、封装、输出方法和装置，存储介质和电子设备 | |
| CN115174993B (zh) | 用于视频制作的方法、装置、设备和存储介质 | |
| WO2021184303A1 (zh) | 一种视频处理的方法及设备 | |
| CN106375750A (zh) | 一种影像显示方法及显示装置 | |
| CN114881063A (zh) | 图形化信息解析方法、装置、设备、存储介质及程序产品 | |
| CN105825534A (zh) | 图片处理方法和装置 | |
| CN117274556A (zh) | 一种虚拟场景编辑展示的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |