KR20220013410A - 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템 - Google Patents
3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템 Download PDFInfo
- Publication number
- KR20220013410A KR20220013410A KR1020217042738A KR20217042738A KR20220013410A KR 20220013410 A KR20220013410 A KR 20220013410A KR 1020217042738 A KR1020217042738 A KR 1020217042738A KR 20217042738 A KR20217042738 A KR 20217042738A KR 20220013410 A KR20220013410 A KR 20220013410A
- Authority
- KR
- South Korea
- Prior art keywords
- initial
- information
- viewpoint
- point cloud
- viewing angle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000006073 displacement reaction Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 12
- 238000005538 encapsulation Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Abstract
본 발명은 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법, 시스템, 포인트 클라우드 시스템을 제공하며, 3차원 미디어 스트림을 판독하고 파싱하고; 3차원 미디어 스트림 중의 초기 시점, 법선 벡터 방향 및 순방향 벡터를 파싱하여, 사용자가 3차원 미디어 콘텐츠를 초기 소비할 때 콘텐츠 제작자가 지정한 초기 각도, 즉 관심 영역을 볼 수 있도록 지원하고, 또한 3차원 미디어 콘텐츠의 스케일링, 즉 스케일 변환을 최적화된 방식으로 추가로 지원할 수 있으며, 실시간 상호 작용의 장면에서 사용자가 관람할 수 있는 시야 범위는 사용자와 초기 시점의 상대적 위치에 따라 조정될 수 있으며, 사용자의 상호 작용 행동에 따라 시각적 미디어 소비 자유도를 충분히 향상시켜 실감나는 사용자 체험을 제공한다.
Description
본 발명은 3D 미디어 데이터 캡슐화 및 소비 과정의 설계 분야에 관한 것으로, 구체적으로, 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템에 관한 것이다.
정보 기술의 급속한 발전에 따라, 문자, 이미지 및 전통적인 비디오를 기반으로 하는 소비 모드가 성숙해지고, 더 리얼리스틱하고 상호 작용이 더 강하며 더 다양한 비주얼 통신(visual communication)을 제공하는 것은 점차 발전의 핫이슈로 되었다. 비주얼 통신은 정확하게 렌더링된 3차원 포인트 클라우드, 6자유도 모든 방향 체험, 가상과 현실의 결합, 실시간 상호 작용 등 기술수단을 통해, 시간, 지역, 현실 조건에 제한되지 않는 실감나는 진실적인 체험을 사용자에게 제공하며, 더욱이 새로운 응용에 무한한 공간을 제공한다.
시각적 미디어 데이터의 생성, 전송, 처리 및 프레젠테이션 등 방면과 전통적인 미디어 데이터는 비교적 큰 차이점이 존재하며, 시각적 미디어 데이터는 더욱 복잡하고 다양하다. 사용자의 프레젠테이션 요구를 충족하기 위해, 대응되는 데이터 기술 방법도 광범위한 주목을 받고 있다. 3차원 스캐닝 기술 및 시스템이 나날이 성숙됨에 따라 3차원 포인트 클라우드 데이터는 학술계와 공업계에서 광범위한 주목을 받게 되었다.
3차원 포인트 클라우드는 공간에서의 일련의 포인트의 집합으로서, 스캔된 물체 표면의 각 포인트에 대한 한 세트의 3차원 좌표 정보 및 다양한 속성 정보, 예를 들어 텍스처, 재질, 법선 벡터, 반사 강도 등을 기록한다. 3차원 포인트 클라우드 데이터는 실제 물체의 기하학적 기술로서 새로운 3차원 모델 데이터 포맷이며, 이는 비주얼 통신 장면에서 정보를 표현하는 주요 캐리어로서 시각적 미디어 서비스에서의 정적 실물과 장면을 효과적으로 표현할 수 있을 뿐만 아니라, 실시간으로 정확한 입체 모델을 렌더링할 수 있어, 동적 실물 또는 장면 정보를 진실적으로 기술한다. 따라서 3차원 포인트 클라우드 데이터는 사용자에게 가상과 현실의 결합, 실시간 상호 작용을 수행하는 몰입형 소비 체험을 제공할 수 있다.
현재, 3차원 포인트 클라우드 데이터를 저장하고 전송하는 방법에 대한 일정한 연구는 있었으나, 종래의 3차원 포인트 클라우드 캡슐화 정보는 포인트 클라우드 데이터의 전체적인 프레젠테이션 효과만을 고려하였고, 상이한 장면에서의 사용자의 프레젠테이션 요구, 예를 들어 3차원 포인트 클라우드 미디어에 대한 사용자의 초기 프레젠테이션 요구를 고려하지 않았다. 사용자가 포인트 클라우드 미디어 파일을 열 때, 일부 이상한 각도 또는 관심없는 영역이 아닌 관심 영역을 직접 소비하는 것을 더 선호한다.
종래 기술의 흠결을 감안하여, 상이한 장면에서의 사용자의 초기 프레젠테이션 요구를 충족하기 위해, 본 발명은 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법, 시스템 및 포인트 클라우드 시스템을 제공한다. 3차원 포인트 클라우드 미디어 데이터의 캡슐화 정보를 확장하고, 3차원 포인트 클라우드를 프레젠테이션할 때의 초기 시야각 정보를 정의함으로써, 사용자가 3차원 미디어 콘텐츠를 초기 소비할 때 콘텐츠 제작자가 지정한 초기 관람 각도, 즉 사용자 관심 영역을 볼 수 있도록 하여, 3차원 시각적 미디어에 대한 사용자의 초기 프레젠테이션 요구를 충족시킬 수 있다.
본 발명은 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법을 제공하고, 이는 3차원 미디어 스트림을 판독하고 파싱하는 단계; 초기 시점, 초기 시점의 법선 벡터 방향 및 초기 시점의 순방향 벡터를 확정하는 단계; 및 초기 시점, 법선 벡터 방향 및 순방향 벡터를 기반하여 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하는 단계; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 상대적 변위에 따라 계산된 깊이 값에 의해 설정된 스케일링 스케일을 확정하는 단계; 및 스케일링 스케일로 3차원 미디어 스트림 중 미디어 콘텐츠의 일부 또는 전부를 프레젠테이션하는 단계; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 스케일링 스케일은 3차원 미디어 콘텐츠를 프레젠테이션하는 스케일링 계수이다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 초기 시점에 대한 사용자 위치의 상대적 변위를 피드백하는 단계; 사용자 위치 시점 내의 시야와 상대적 변위의 깊이에 따라, 현재 사용자 위치의 관람 시야 범위를 확정하는 단계; 및 3차원 미디어 스트림 중 관람 시야 범위의 미디어 콘텐츠의 일부 또는 전부를 프레젠테이션하는 단계; 를 더 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 깊이는 초기 시점에 대한 사용자 위치의 거리이다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 시점 내의 시야는 사용자 초기 위치 포인트를 원심으로 하고, 사용자 초기 위치 포인트에서 초기 시점까지의 거리를 반경으로 하는 원형 시야이다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 미디어 콘텐츠가 회동되는 전제하에, 초기 시점 및 법선 벡터 방향을 변경하여 변경된 시점 위치 및 변경된 시점의 법선 벡터 방향을 형성하는 단계를 더 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 초기 시점의 순방향 벡터는 프레젠테이션 설비에 의해 규정된 순방향과 평행되는 방향 벡터이고, 초기 시점의 순방향 벡터는 초기 시점을 좌표 원점으로 구축된 좌표계에서, 초기 시점 외의 순방향 벡터 종점(endpoint)을 확정하는 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 3차원 미디어 스트림은 3차원 미디어 데이터 캡슐화를 통해 형성되고, 상기 3차원 미디어 데이터에 지시 정보가 추가되는데, 상기 지시 정보는 정보 1: 초기 시점 위치 정보; 정보 2: 초기 시점에 대한 초기 시점 법선 벡터의 위치 정보; 정보 3: 초기 시점의 순방향 벡터 정보; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 지시 정보는 정보 4: 3차원 미디어의 스케일링 스케일 정보; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 지시 정보는 정보 5: 변경된 시점의 위치 정보, 변경된 시점에 대한 변경된 시점의 법선 벡터의 위치 정보; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 지시 정보는 정보 6: 실시간 상대적 변위, 즉 초기 시점에 대한 사용자 실시간 위치의 위치 정보; 정보 7: 사용자 실시간 위치에 따라 조정되는 관람 시야 범위; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 지시 정보는 미디어 콘텐츠의 회동을 지원하는지를 지시하기 위한 회동 지시 정보를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 지시 정보는 미디어 재생 과정에 사용자 위치의 실시간 상호 작용을 지원하는지를 지시하기 위한 정보를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 초기 시점의 법선 벡터 방향은 초기 시점을 좌표 원점으로 구축된 좌표계에서, 초기 시점 외의 법선 벡터 종점을 확정하는 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 상기 사용자 위치와 초기 시점의 상대적 변위는 초기 시점을 좌표 원점으로 구축된 좌표계에서, 사용자 관람 위치의 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 미디어 콘텐츠가 회동되는 전제하에, 상기 변경된 시점 위치는 변경된 시점의 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법에서, 추가로 선택 가능하게, 미디어 콘텐츠가 회동되는 전제하에, 상기 변경된 시점의 법선 벡터 방향은 변경된 시점을 좌표 원점으로 구축된 좌표계에서, 변경된 시점 외의 법선 벡터 종점을 확정하는 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함한다.
또한, 본 발명은 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템을 더 제공하고, 이는 3차원 미디어 스트림을 판독하고 파싱하기 위한 파싱 모듈; 초기 시점, 초기 시점의 법선 벡터 방향 및 초기 시점의 순방향 벡터를 확정하기 위한 초기 시야각 확정 모듈; 및 초기 시점, 법선 벡터 방향 및 순방향 벡터를 기반하여 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하기 위한 3차원 미디어 프레젠테이션 모듈; 을 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 초기 시점에 대한 사용자 실시간 위치의 상대적 변위를 피드백하기 위한 변위 피드백 모듈; 콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 상대적 변위에 따라 계산된 깊이 값에 의해 설정된 스케일링 스케일을 확정하기 위한 스케일링 스케일 확정 모듈; 사용자 위치 시점 내의 시야와 깊이 값에 따라, 현재 사용자 위치의 관람 시야 범위를 확정하기 위한 관람 시야 범위 확정 모듈; 및 초기 시점, 법선 벡터 방향 및 순방향 벡터를 기반하여 관람 시야 범위 내의 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하기 위한 3차원 미디어 프레젠테이션 모듈; 을 더 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 상대적 변위에 따라 계산된 깊이 값에 의해 설정된 스케일링 스케일을 확정하기 위한 스케일링 스케일 확정 모듈; 및 스케일링 스케일로 3차원 미디어 스트림 중 미디어 콘텐츠의 일부 또는 전부를 프레젠테이션하는 3차원 미디어 프레젠테이션 모듈; 을 더 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 미디어 콘텐츠가 회동되는 전제하에, 초기 시점 및 법선 벡터 방향을 변경하여, 변경된 시점의 위치 및 변경된 시점의 법선 벡터 방향을 확정하기 위한 변경된 시야각 확정 모듈을 더 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 상기 3차원 미디어 스트림은 3차원 미디어 데이터 캡슐화를 통해 형성되고, 상기 3차원 미디어 데이터에 지시 정보가 추가되는데, 상기 지시 정보는 정보 1: 초기 시점 위치 정보; 정보 2: 초기 시점에 대한 초기 시점 법선 벡터의 위치 정보; 정보 3: 초기 시점의 순방향 벡터 정보; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 상기 지시 정보는 정보 4: 3차원 미디어의 스케일링 스케일 정보; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 상기 지시 정보는 정보 5: 변경된 시점의 위치 정보, 변경된 시점에 대한 변경된 시점의 법선 벡터의 위치 정보; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 상기 지시 정보는 정보 6: 실시간 상대적 변위, 즉 초기 시점에 대한 사용자 실시간 위치의 위치 정보; 정보 7: 사용자 실시간 위치에 따라 조정되는 관람 시야 범위; 를 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 상기 지시 정보는 미디어 콘텐츠의 회동을 지원하는지를 지시하기 위한 회동 지시 정보를 추가로 포함한다.
본 발명에 의해 제공되는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템에서, 추가로 선택 가능하게, 지시 정보는 미디어 재생 과정에 사용자 위치의 실시간 상호 작용을 지원하는지를 지시하기 위한 정보를 추가로 포함한다.
또한, 본 발명은 이러한 특징을 구비하는 포인트 클라우드 시스템을 더 제공하고,
본 발명에 의해 제공되는 포인트 클라우드 시스템에서, 추가로 선택 가능하게, 이러한 특징을 구비한다.
또한, 본 발명은 상술한 어느 하나에 따른 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템을 포함하는 3차원 포인트 클라우드 시스템을 더 제공한다.
종래 기술에 비해, 본 발명은 아래와 같은 유익한 효과를 갖는다.
본 발명에 의해 제공된 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법, 시스템, 포인트 클라우드 시스템은, 3차원 미디어 스트림 중의 초기 시점(視点), 법선 벡터 및 순방향 벡터를 판독하고 파싱함으로써, 사용자가 3차원 미디어 콘텐츠를 초기 소비할 때 콘텐츠 제작자가 지정한 초기 각도, 즉 관심 영역을 볼 수 있도록 지원하고, 3차원 미디어 콘텐츠의 스케일링(scaling), 즉 스케일 변환을 최적화된 방식으로 추가로 지원할 수 있다. 또한, 바람직하게, 실시간 상호 작용의 장면에서 사용자가 관람할 수 있는 시야 범위는 사용자와 초기 시점의 상대적 위치에 따라 조정될 수 있으며, 사용자의 상호 작용 행동에 따라 시각적 미디어 소비 자유도를 충분히 향상시켜 실감나는 사용자 체험을 제공한다.
아래의 도면을 참조하여 비한정적인 실시예를 상세히 설명함으로써 본 발명의 기타 특징, 목적 및 장점은 더욱 명확해질 것이다.
도 1은 본 발명의 실시예의 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법의 흐름 개략도이다.
도 2는 본 발명의 실시예의 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템의 기능 블록 개략도이다.
도 3a은 본 발명의 실시예의 사용자 실시간 관람 위치와 현재 사용자 위치에서의 관람 시야 범위의 관계를 나타내는 전체 개략도이다.
도 3b는 본 발명의 실시예의 사용자 실시간 관람 위치와 현재 사용자 위치에서의 관람 시야 범위의 관계를 나타내는 단면 개략도이다.
도 3c은 본 발명의 실시예의 사용자 실시간 위치에서 초기 시점까지의 상대적 변위와 현재 위치의 깊이 값의 관계를 나타내는 개략도이다.
도 1은 본 발명의 실시예의 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법의 흐름 개략도이다.
도 2는 본 발명의 실시예의 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템의 기능 블록 개략도이다.
도 3a은 본 발명의 실시예의 사용자 실시간 관람 위치와 현재 사용자 위치에서의 관람 시야 범위의 관계를 나타내는 전체 개략도이다.
도 3b는 본 발명의 실시예의 사용자 실시간 관람 위치와 현재 사용자 위치에서의 관람 시야 범위의 관계를 나타내는 단면 개략도이다.
도 3c은 본 발명의 실시예의 사용자 실시간 위치에서 초기 시점까지의 상대적 변위와 현재 위치의 깊이 값의 관계를 나타내는 개략도이다.
아래에서, 구체적인 실시예를 결합하여 본 발명을 상세히 설명한다. 아래의 실시예는 본 분야의 당업자가 본 발명을 추가로 이해하는데 도움이 되지만 그 어떠한 형태로 본 발명을 한정하지 않는다. 유의해야 할 것은, 본 분야의 당업자는 본 발명의 구상을 벗어나지 않는 한, 다수의 변경 및 개선을 진행할 수 있으며, 이들은 모두 본 발명의 보호범위에 속한다.
도 1에 도시된 바와 같이, 본 발명에 의해 제공된 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법은,
3차원 미디어 스트림을 판독하고 파싱하는 파싱 단계;
초기 시점, 초기 시점의 법선 벡터 방향 및 초기 시점의 순방향 벡터를 확정하는 초기 시야각 확정 단계; 및
초기 시점, 법선 벡터 방향 및 순방향 벡터를 기반하여 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하는 3차원 미디어 프레젠테이션 단계; 를 포함한다.
도 3a을 결합하면 알 수 있는바, A 포인트 클라우드 미디어 초기 시점은 포인트 클라우드 데이터 자체 중 한 포인트, 즉 포인트 클라우드 타겟의 미디어 콘텐츠이며, 기본적으로 3차원 데카르트 좌표계의 원점으로 설정되거나 지정된 좌표계의 어느 한 포인트이다.
초기 시점은 정의가 코딩 계층에 의해 규정되며, 프레젠테이션에 사용되고 디코딩 보조 정보로 사용된다. 일반적으로 초기 시점은 포인트 클라우드 데이터 자체 중 한 포인트이며 3차원 데카르트 좌표를 사용하여 표시된다. 본 실시예에서, 기타 사용자의 상호 작용 행동은 시스템 계층에 의해 규정된다.
최적으로, 본 발명은 3차원 미디어 콘텐츠 프레젠테이션을 스케일링하는 것을 추가로 포함할 수 있고, 또는 사용자 실시간 관람 위치에 따라 관람 시야 범위를 확정하는 것을 추가로 포함할 수 있으며, 또는 3차원 미디어 콘텐츠 자체의 회동 또는 회전을 지원하는 것을 추가로 포함할 수 있는데, 임의의 적어도 하나 또는 임의의 조합은 모두 본 발명의 기술방안에 포함된다. 아래에서 변형예를 통해 각각 상세히 설명하도록 한다.
변형예(1), 3차원 미디어 콘텐츠 자체의 회전 또는 회동을 지원하는 경우,
상기 파싱 단계 및 초기 시야각 확정 단계 외에, 미디어 콘텐츠가 회동 시, 초기 시점 및 법선 벡터 방향을 변경하여 변경된 시점 위치 및 변경된 시점의 법선 벡터 방향을 확정하는 시점 변경 단계; 및 변경된 시점 위치 및 법선 벡터 방향에 따라 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하는 3차원 미디어 프레젠테이션 단계; 를 더 포함한다.
변형예(2), 3차원 미디어 콘텐츠 프레젠테이션의 스케일링을 지원하는 경우,
상기 파싱 단계 및 초기 시야각 확정 단계 외에, 콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 사용자 위치와 초기 시점의 상대적 변위에 따라 현재 깊이 값을 계산 및 확정하고, 깊이 값에 따라 스케일링 스케일을 설정하는 스케일링 스케일 확정 단계; 및 스케일링 스케일로 3차원 미디어 스트림 중 미디어 콘텐츠의 일부 또는 전부를 프레젠테이션하는 3차원 미디어 프레젠테이션 단계; 를 더 포함한다.
상기 스케일링 스케일은 포인트 클라우드 데이터에 대해 설정된 스케일링 파라미터이고, 스케일링 스케일에 따라 포인트 클라우드 데이터의 확대 또는 축소 배수가 확정된다.
변형예(3), 사용자 실시간 관람 위치를 지원하는 경우,
상기 파싱 단계 및 초기 시야각 확정 단계 외에,
사용자 실시간 관람 위치(도 3a의 사용자 실시간 관람 위치 O)에 따라, 초기 시점에 대한 사용자 위치의 상대적 변위를 피드백하는 변위 피드백 단계; 초기 시점에 대한 사용자 위치의 상대적 변위에 따라 현재 깊이 값을 확정하고, 사용자 위치 시점 내의 시야와 깊이 값의 관계에 따라, 현재 사용자 위치의 관람 시야 범위를 확정하는 관람 시야 범위 확정 단계; 및 3차원 미디어 스트림 중 관람 시야 범위에 대응되는 콘텐츠 또는 전부의 미디어 콘텐츠를 프레젠테이션하는 3차원 미디어 프레젠테이션 단계; 를 더 포함한다.
여기서, 상대적 변위는 초기 시점에 대한 사용자 실시간 위치의 위치 정보이다. 상기 깊이 값은 상대적 변위의 모듈러스, 즉 초기 시점에 대한 사용자 실시간 위치의 거리이다.
여기서, 도 3c에 도시된 바와 같이, 사용자 위치와 초기 시점의 상대적 변위에 따라 현재 깊이 값을 계산 및 확정하는 계산 단계는 사용자 실시간 위치에서 초기 시점까지의 상대적 변위에 따라, 현재 위치의 깊이 값을 확정한다. 현재 위치의 깊이 값의 계산 방식은 아래와 같다.
여기서, D t 는 현재 위치 깊이 값이고; 초기 시점은 좌표 원점(0, 0, 0)이며; 사용자 실시간 위치 좌표는 (x, y, z)이다.
변형예(4), 3차원 미디어 콘텐츠 프레젠테이션을 스케일링하는 것, 사용자 실시간 관람 위치에 따라 관람 시야 범위를 확정하는 것, 및 3차원 미디어 콘텐츠 자체의 회동 또는 회전을 지원하는 것의 조합 방안인 경우,
상기 파싱 단계 및 초기 시야각 확정 단계 외에, 사용자 실시간 관람 위치(도 3a의 사용자 실시간 관람 위치 O)에 따라, 초기 시점에 대한 사용자 위치의 상대적 변위를 피드백하는 변위 피드백 단계; 초기 시점에 대한 사용자 위치의 상대적 변위에 따라 현재 깊이 값을 확정하고, 사용자 위치 시점 내의 시야와 깊이 값의 관계에 따라, 현재 사용자 위치의 관람 시야 범위를 확정하는 관람 시야 범위 확정 단계; 콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 사용자 위치와 초기 시점의 상대적 변위에 따라 현재 깊이 값을 계산 및 확정하고, 깊이 값에 따라 스케일링 스케일을 설정하는 스케일링 스케일 확정 단계; 미디어 콘텐츠가 회동 시, 초기 시점 및 법선 벡터 방향을 변경하여 변경된 시점 위치 및 변경된 시점의 법선 벡터 방향을 확정하는 시점 변경 단계; 및 3차원 미디어 스트림 중 관람 시야 범위에 대응되는 콘텐츠 또는 전부의 미디어 콘텐츠를 프레젠테이션하는 3차원 미디어 프레젠테이션 단계; 를 더 포함한다.
여기서, 상대적 변위는 초기 시점에 대한 사용자 실시간 위치의 위치 정보이다. 상기 깊이 값은 상대적 변위의 모듈러스, 즉 초기 시점에 대한 사용자 위치의 거리이다.
여기서, 도 3c에 도시된 바와 같이, 사용자 위치와 초기 시점의 상대적 변위에 따라 현재 깊이 값을 계산 및 확정하는 계산 단계는 사용자 실시간 위치에서 초기 시점까지의 상대적 변위에 따라, 현재 위치의 깊이 값을 확정한다. 현재 위치의 깊이 값의 계산 방식은 아래와 같다.
여기서, D t 는 현재 위치 깊이 값이고; 초기 시점은 좌표 원점(0, 0, 0)이며; 사용자 실시간 위치 좌표는 (x, y, z)이다.
상기 스케일링 스케일은 포인트 클라우드 데이터에 대해 설정된 스케일링 파라미터이고, 스케일링 스케일에 따라 포인트 클라우드 데이터의 확대 또는 축소 배수가 확정된다.
또한, 본 발명은 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템을 제공하며, 이는,
3차원 미디어 스트림을 판독하고 파싱하기 위한 파싱 모듈;
초기 시점, 초기 시점의 법선 벡터 방향 및 초기 시점의 순방향 벡터를 확정하기 위한 초기 시야각 확정 모듈; 및
초기 시점, 법선 벡터 방향 및 순방향 벡터를 기반하여 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하기 위한 3차원 미디어 프레젠테이션 모듈; 을 포함한다.
또한, 도 2에 도시된 바와 같이, 본 실시예는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템을 더 제공하며, 이는,
3차원 미디어 스트림을 판독하고 파싱하기 위한 파싱 모듈;
초기 시점, 초기 시점의 법선 벡터 방향 및 초기 시점의 순방향 벡터를 확정하기 위한 초기 시야각 확정 모듈;
초기 시점에 대한 사용자 실시간 관람 위치의 상대적 변위를 피드백하기 위한 변위 피드백 모듈;
3차원 미디어 콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 사용자 위치와 초기 시점의 상대적 변위에 따라 현재 깊이 값을 확정하고, 깊이 값에 따라 스케일링 스케일을 확정하기 위한 스케일링 스케일 확정 모듈;
변경된 시점 위치 및 변경된 시점의 법선 벡터 방향을 확정하기 위한 변경된 시야각 확정 모듈;
사용자 위치 시점 내의 시야와 깊이 값의 관계에 따라, 현재 사용자 위치의 관람 시야 범위를 확정하기 위한 관람 시야 범위 확정 모듈; 및
3차원 미디어 스트림 중 관람 시야 범위에 대응되는 콘텐츠 또는 전부의 미디어 콘텐츠를 프레젠테이션하기 위한 3차원 미디어 프레젠테이션 모듈; 을 포함한다.
본 실시예의 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템은, 사용자가 3차원 포인트 클라우드 미디어 콘텐츠를 소비할 때의 초기 관람 방향을 지시할 수 있어, 사용자가 3차원 미디어 콘텐츠를 초기 소비할 때 콘텐츠 제작자가 지정한 초기 관람 각도, 즉 사용자 관심 영역을 볼 수 있도록 하여, 3차원 시각적 미디어에 대한 사용자의 초기 프레젠테이션 요구를 충족시킨다. 이외, 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템은 스케일 변환, 시야각 변경 기능을 지원하므로, 포인트 클라우드 미디어의 스케일링 및 회동 등 장면에서의 사용자의 요구 및 체험을 추가로 충족시킨다. 또한, 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템은 사용자가 3차원 포인트 클라우드 미디어 콘텐츠를 소비할 때의 상호 작용 행동을 지시할 수 있어, 사용자 상호 작용을 충족시킬 수 있는 장면에서의 3차원 포인트 클라우드 미디어 콘텐츠를 획득한다.
실제 응용 장면을 결합하여, 아래에서 도면과 구체적인 실예를 참조하여 본 발명의 기술방안을 더 상세히 설명하도록 한다.
3차원 포인트 클라우드 디지털 문화유산의 전시를 예로 든다. 문화유산 디지털화는 레이저 스캐닝 기술을 이용하여 문화유산의 3차원 포인트 클라우드 데이터를 획득하고 최종적으로 문화유산의 3차원 재구성을 구현하여, 문화유산의 함축적 의미가 영구적으로 완전하게 전시되도록 문화재를 저장한다. 대형 문화재 건축물, 소형 문화재 및 대형 유적지 장면 등과 같은 상이한 문화재 유형에 대해, 사용자의 소비 요구도 동일하지 않다.
실시예 1:
소형 문화재의 3차원 포인트 클라우드 모델의 경우, 미디어 콘텐츠 제작자는 사용자가 미디어 콘텐츠 파일을 열 때 프레젠테이션되는 초기 방향을 지정할 수 있어, 즉 초기 시점의 위치 정보, 초기 시점의 법선 벡터 정보, 초기 시점의 순방향 벡터 정보를 지정할 수 있어, 사용자에게 이상한 각도가 아닌 관심있는 초기 프레젠테이션 영역을 제공한다.
실시예 2:
디지털 박물관의 문화재 전시 장면의 경우, 포인트 클라우드 물체의 회동 또는 회전 장면을 지원하여야 한다. 초기 시각에 초기 관람 방향을 포인트 클라우드 프레젠테이션하고, 포인트 클라우드 타겟이 회동 또는 회전함에 따라, 다음 시각의 프레젠테이션 방향을 지정해야 하며, 구체적으로 회동 또는 회전하여 변경된 시점 위치 및 변경된 시점의 법선 벡터 방향을 확정하여, 다음 시각에 사용자가 특정된 이상한 각도가 아닌 관심있는 부분을 여전히 관람할 수 있도록 확보한다. 이외, 포인트 클라우드 물체의 스케일링 기능을 더 지원하여야 하며, 구체적으로 물체의 스케일링 스케일 또는 스케일링 계수를 확정하여, 사용자가 모든 방향, 복수의 스케일로 문화재의 국부 세부 사항 또는 전체 모양을 관람할 수 있도록 확보한다.
실시예 3:
도 3a 및 도 3b에 도시된 바와 같이, 가상 현실 박물관과 같은 대형 유적지 장면의 3차원 포인트 클라우드 모델의 경우, 사용자는 전시 영역 내에서 주변의 3차원 포인트 클라우드 장면 및 부근의 3차원 포인트 클라우드 물체와 서로 작용할 수 있고, 보이는 전시 영역은 사용자가 이동하는 위치와 특정된 관계를 이루어 변화하게 되며, 현실에서 사용자가 관람 대상을 "가까이" 및 "멀리"하는 효과를 시뮬레이션하고, 즉 사용자 실제 관람 영역이 상호 작용 행동("실시간 상대적 변위"라고 함)에 따라 적응적으로 조정하도록 지원한다. 예를 들어, 사용자는 전시물에 가까이하는 행동을 통해 장면 중의 더 자세한 부분을 관람할 수 있어 몰입형 사용자 체험을 획득한다.
이러한 장면에서, 3차원 포인트 클라우드 미디어 콘텐츠가 프레젠테이션될 때의 초기 방향, 회전 전시 여부에 관한 정보를 지원하는 것 외에도, 사용자는 3차원 포인트 클라우드 미디어 콘텐츠를 몰입형으로 소비할 수 있다. 예를 들어, 사용자가 장면 내에서 자유로이 이동하는 것을 지원하며, 이때, 클라이언트는 사용자 실시간 위치 정보에 대한 위치결정을 통해, 사용자 실시간 상대적 변위를 직접 서버에 피드백하고, 서버는 피드백된 사용자 실시간 위치 정보에 따라 초기 시점에 대한 현재 사용자 관람 위치의 상대적 거리, 즉 깊이 값을 획득하고, 파싱된 깊이 값에 따라 현재 위치 스케일링 계수 및 사용자가 관람할 수 있는 영역 범위를 확정할 수 있다. 다음, 현재 사용자 관람 위치에 대응되는 관람 시야 범위를 사용자에게 프레젠테이션하여, 사용자가 장면 내에서 이동할 때 관람 대상을 "가까이" 및 "멀리"하는 효과를 구현할 수 있는 요구를 충족시킨다.
상기 목적을 구현하기 위해, 3차원 포인트 클라우드 미디어 데이터의 캡슐화 정보에 새로운 지시 정보가 추가되어야 하며, 상기 지시 정보는,
정보 1: 초기 시점 위치 정보;
정보 2: 초기 시점에 대한 초기 시점 법선 벡터의 위치 정보;
정보 3: 초기 시점의 순방향 벡터 정보; 를 포함하고,
정보 4: 3차원 미디어의 스케일링 스케일 정보;
정보 5: 변경된 시점의 위치 정보, 변경된 시점에 대한 변경된 시점의 법선 벡터의 위치 정보;
정보 6: 실시간 상대적 변위, 즉 초기 시점에 대한 사용자 실시간 위치의 위치 정보;
정보 7: 사용자 실시간 위치에 따라 조정되는 관람 시야 범위; 중 적어도 하나를 포함한다.
3차원 미디어 콘텐츠의 초기 시야각 및 프레젠테이션에 대해 정보 식별을 수행하고, 식별 정보는 초기 시점 위치 정보, 초기 시점의 법선 벡터 정보, 초기 시점의 순방향 벡터 정보, 스케일링 스케일 정보, 변경된 시점 위치 정보, 변경된 시점의 법선 벡터 정보, 사용자 실시간 관람 위치 정보 및 현재 사용자 관람 위치에 대응되는 관람 시야 범위를 지시한다.
상기 문제에 대해, 3차원 미디어 스트림을 캡슐화 및 전송할 때 수요에 따라 아래와 같은 지시 정보 및 필드를 합리적으로 추가할 수 있다.
viewpoint_x: 초기 시점 위치의 x 좌표 정보를 지시한다.
viewpoint_y: 초기 시점 위치의 y 좌표 정보를 지시한다.
viewpoint_z: 초기 시점 위치의 z 좌표 정보를 지시한다.
normal_x: 초기 시점에 대한 초기 시점의 법선 벡터의 x 좌표 정보를 지시한다.
normal_y: 초기 시점에 대한 초기 시점의 법선 벡터의 y 좌표 정보를 지시한다.
normal_z: 초기 시점에 대한 초기 시점의 법선 벡터의 z 좌표 정보를 지시한다.
scale_factor: 스케일링 계수 정보를 지시한다.
positive_direction_vector_x: 초기 시점에 대한 초기 시점의 순방향 벡터의 x 좌표 정보를 지시한다.
positive_direction_vector_y: 초기 시점에 대한 초기 시점의 순방향 벡터의 y 좌표 정보를 지시한다.
positive_direction_vector_z: 초기 시점에 대한 초기 시점의 순방향 벡터의 z 좌표 정보를 지시한다.
rotation_included_flag: 미디어 재생 과정에 회전을 지원하는지, 즉 초기 시야각을 변경하는지의 정보를 지시하고, rotation_included_flag가 0인 것은 미디어 재생 과정에 회전을 지원하지 않음을 나타내고, 즉 초기 시야각을 변경하지 않음을 나타내며, 그렇지 않으면, 초기 시점을 변경하고 변경된 시점 위치 정보는 viewpoint_rx, viewpoint_ry, viewpoint_rz로 나타내고, 변경된 시점의 법선 벡터 정보는 normal_rx, normal_ry, normal_rz로 나타낸다.
viewpoint_rx: 변경된 시점 위치의 x 좌표 정보를 지시한다.
viewpoint_ry: 변경된 시점 위치의 y 좌표 정보를 지시한다.
viewpoint_rz: 변경된 시점 위치의 z 좌표 정보를 지시한다.
normal_rx: 변경된 시점에 대한 변경된 시점의 법선 벡터의 x 좌표 정보를 지시한다.
normal_ry: 변경된 시점에 대한 변경된 시점의 법선 벡터의 y 좌표 정보를 지시한다.
normal_rz: 변경된 시점에 대한 변경된 시점의 법선 벡터의 z 좌표 정보를 지시한다.
real_time_interaction_flag: 미디어 재생 과정에 사용자 위치의 실시간 상호 작용을 지원하는지의 정보를 지시하고; real_time_interaction_flag가 0인 것은 미디어 재생 과정에 사용자 위치의 실시간 상호 작용을 지원하지 않음을 나타내며, 그렇지 않으면, 미디어 재생 과정에 사용자 위치의 실시간 상호 작용을 지원하며, 사용자 실시간 위치 정보는 vposition_x, vposition_y, vposition_z로 나타낸다.
vposition_x: 초기 시점에 대한 사용자 실시간 위치의 x 좌표 정보를 지시한다.
vposition_y: 초기 시점에 대한 사용자 실시간 위치의 y 좌표 정보를 지시한다.
vposition_z: 초기 시점에 대한 사용자 실시간 위치의 z 좌표 정보를 지시한다.
move_depth: 초기 시점에 대한 사용자 실시간 위치의 상대적 거리, 즉 깊이 정보를 지시하고, 사용자 실시간 위치 좌표 정보 vposition_x, vposition_y, vposition_z를 피드백함으로써 획득할 수 있다.
viewing_range_field: 사용자가 실시간 위치에서 관람할 수 있는 영역 범위 정보를 지시하고, 관람 깊이, 스케일링 계수에 따라 확정될 수 있다.
아래 실시예에서 설명의 편의를 위해, 상기 한 세트의 지시정보를 인용하여 설명하나, 기타 실시예에서 기타 정보를 인용하여 설명할 수도 있다.
상기 정보에 기반하여 InitialViewingOrientationSample을 예로 들며, 아래에서 코드를 결합하여 본 발명의 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템의 모듈을 정의하여 해석 및 설명하도록 한다. 여기서, 각 지시 정보의 지시 길이, 심볼 유형은 각각 소스 코드를 통해 알 수 있기 때문에 여기에서 더 설명하지 않는다.
aligned(8) class InitialViewingOrientationSample() {
InitialViewingOrientationStruct();
RotationInfoStruct();
RealTimeInteractionInfoStruct();
bit(7) reserved = 0;
}
초기 관람 방향의 정의는 초기 관람 방향 모듈(필수 선택 사항), 회전 정보 모듈(선택 사항), 실시간 상호 작용 정보 모듈(선택 사항)을 포함한다.
aligned(8) class InitialViewingOrientationStruct() {
signed int(32) viewpoint_x;
signed int(32) viewpoint_y;
signed int(32) viewpoint_z;
signed int(32) normal_x;
signed int(32) normal_y;
signed int(32) normal_z;
unsigned int(32) scale_factor;
signed int(32) positive_direction_vector_x;
signed int(32) positive_direction_vector_y;
signed int(32) positive_direction_vector_z;
}
상기 초기 관람 방향 모듈(필수 선택 사항)에서, 초기 관람 방향 모듈은 초기 시점 위치의 x 좌표 정보, 초기 시점 위치의 y 좌표 정보, 초기 시점 위치의 z 좌표 정보; 초기 시점에 대한 초기 시점의 법선 벡터의 x 좌표 정보, 초기 시점에 대한 초기 시점의 법선 벡터의 y 좌표 정보, 초기 시점에 대한 초기 시점의 법선 벡터의 z 좌표 정보; 초기 시점에 대한 초기 시점의 순방향 벡터의 x 좌표 정보, 초기 시점에 대한 초기 시점의 순방향 벡터의 y 좌표 정보, 초기 시점에 대한 초기 시점의 순방향 벡터의 z 좌표 정보; 를 포함한다.
aligned(8) class RotationInfoStruct(rotation_included_flag){
if (rotation_included_flag){
signed int(32) viewpoint_rx;
signed int(32) viewpoint_ry;
signed int(32) viewpoint_rz;
signed int(32) normal_rx;
signed int(32) normal_ry;
signed int(32) normal_rz;
}
}
상기 회전 정보 모듈(선택 사항)에서, 미디어 재생 과정에 회전을 지원하는지, 즉 초기 시야각을 변경하는지의 정보가 존재하는 경우, 초기 관람 방향 모듈은 회전 정보 모듈을 포함하여야 한다. 회전 정보 모듈은 변경된 시점 위치의 x 좌표 정보, 변경된 시점 위치의 y 좌표 정보, 변경된 시점 위치의 z 좌표 정보; 변경된 시점에 대한 변경된 시점의 법선 벡터의 x 좌표 정보, 변경된 시점에 대한 변경된 시점의 법선 벡터의 y 좌표 정보, 변경된 시점에 대한 변경된 시점의 법선 벡터의 z 좌표 정보; 를 포함한다.
aligned(8) class RealTimeInteractionStruct(real_time_interaction_flag){
if(real_time_interaction_flag){
signed int(32) vposition_x;
signed int(32) vposition_y;
signed int(32) vposition_z;
unsigned int(32) move_depth;
unsigned int(32) viewing_range_field;
}
}
상기 실시간 상호 작용 정보 모듈(선택 사항)에서, 미디어 재생 과정에 사용자 위치의 실시간 상호 작용을 지원하는지의 정보가 존재하는 경우, 초기 관람 방향 모듈은 실시간 상호 작용 정보 모듈을 포함하여야 한다. 실시간 상호 작용 정보 모듈은 초기 시점에 대한 사용자 실시간 위치의 x 좌표 정보, 초기 시점에 대한 사용자 실시간 위치의 y 좌표 정보, 초기 시점에 대한 사용자 실시간 위치의 z 좌표 정보, 초기 시점에 대한 사용자 실시간 위치의 상대적 거리, 즉 깊이 정보, 스케일링 계수 정보, 사용자가 실시간 위치에서 관람할 수 있는 영역 범위 정보를 포함한다.
상기 정보 및 각 필드의 의미는 이미 상기에서 설명하였다.
주의해야 할 것은, 본 발명은 상기 코드의 조직 구조 및 필드를 예로 들어, 신축/확장 가능한 특성을 설명하였을 뿐, 상기 조직 구조, 필드 및 그의 크기에 한정되지 않는다.
본 실시예는 단지 InitialViewingOrientationSample을 예로 들었을 뿐, 본 발명의 청구범위를 한정하려는 것이 아니고, 제안된 해결 방안을 설명하였으나 이러한 방안은 마찬가지로 기타 파일 캡슐화 프로토콜에 사용될 수 있다.
상기 설명에 기반하여, 아래에서 상이한 구체적인 응용 실예 중의 상이한 지시 정보의 정의를 제공하여 설명하도록 한다.
3차원 포인트 클라우드 디지털 문화유산의 전시를 예로 든다. 문화유산 디지털화는 레이저 스캐닝 기술을 이용하여 문화유산의 3차원 포인트 클라우드 데이터를 획득하고 최종적으로 문화유산의 3차원 재구성을 구현하여, 문화유산의 함축적 의미가 영구적으로 완전하게 전시되도록 문화재를 저장한다. 대형 문화재 건축물, 소형 문화재 및 대형 유적지 장면 등과 같은 상이한 문화재 유형에 대해, 사용자의 소비 수요도 동일하지 않다.
구체적으로, 소형 문화재의 3차원 포인트 클라우드 모델의 경우, 미디어 콘텐츠 제작자는 사용자가 미디어 콘텐츠 파일을 열 때 프레젠테이션되는 초기 방향, 스케일링 스케일 및 회전 전시 여부를 지정할 수 있고, 즉 초기 시점의 위치 정보 viewpoint_x, viewpoint_y, viewpoint_z; 초기 시점의 법선 벡터 정보 normal_x, normal_y, normal_z; 초기 시점의 순방향 벡터 정보 positive_direction_vector_x, positive_direction_vector_y, positive_direction_vector_z; 스케일링 계수 scale_factor; 를 지정할 수 있으며, 또한 회전을 지원할지에 대한 수요에 따라, 물체를 회전하여 변경된 초기 시점 위치 정보 viewpoint_rx, viewpoint_ry, viewpoint_rz; 변경된 시점의 법선 벡터 정보 normal_rx, normal_ry, normal_rz; 를 지정하여, 모든 방향, 복수의 스케일로 문화재를 관람할 수 있도록 한다.
구체적으로, 도 3a 및 도 3b에 도시된 바와 같이, 가상 현실 박물관과 같은 대형 유적지 장면의 3차원 포인트 클라우드 모델의 경우, 사용자는 전시 영역 내에서 주변의 3차원 포인트 클라우드 장면 및 부근의 3차원 포인트 클라우드 물체와 서로 작용할 수 있고, 보이는 전시 영역은 사용자가 이동하는 위치와 특정된 관계를 이루어 변화하게 되며, 현실에서 사용자가 관람 대상을 "가까이" 및 "멀리"하는 효과를 시뮬레이션하고, 즉 사용자 실제 관람 영역이 상호 작용 행동("실시간 상대적 변위"라고 함)에 따라 적응적으로 조정하도록 지원한다. 예를 들어, 사용자는 전시물에 가까이하는 행동을 통해 장면 중의 더 자세한 부분을 관람할 수 있어 몰입형 사용자 체험을 획득한다. 이러한 장면에서, 3차원 포인트 클라우드 미디어 콘텐츠가 프레젠테이션될 때의 초기 방향, 스케일링 스케일, 회전 전시 여부에 관한 정보를 지원하는 것, 즉 초기 시점의 위치 정보 viewpoint_x, viewpoint_y, viewpoint_z; 초기 시점의 법선 벡터 정보 normal_x, normal_y, normal_z; 초기 시점의 순방향 벡터 정보 positive_direction_vector_x, positive_direction_vector_y, positive_direction_vector_z; 스케일링 계수 scale_factor; 를 지원하고, 또한 회전을 지원할지에 대한 수요에 따라, 물체를 회전하여 변경된 초기 시점 위치 정보 viewpoint_rx, viewpoint_ry, viewpoint_rz; 변경된 시점의 법선 벡터 정보 normal_rx, normal_ry, normal_rz; 를 지원하는 것 외에도, 사용자는 3차원 포인트 클라우드 미디어 콘텐츠를 몰입형으로 소비할 수 있다.
도 3c에 도시된 바와 같이, 사용자가 장면 내에서 자유로이 이동하는 것을 지원하며, 예를 들어, 사용자가 A 위치(지난 시각에서의 사용자 관람 위치)에서 B 위치(현재 사용자 관람 위치)로 이동하는 경우, 사용자 위치와 초기 시점 사이의 깊이 값(OB)은 사용자 위치와 초기 시점 사이의 상대적 변위(OA)의 모듈러스이고, 이때, 클라이언트는 사용자 실시간 위치 정보 vposition_x, vposition_y, vposition_z에 대한 위치결정을 통해, 사용자 실시간 상대적 변위를 직접 서버에 피드백하고, 서버는 피드백된 사용자 실시간 위치 정보 vposition_x, vposition_y, vposition_z에 따라 초기 시점에 대한 현재 사용자 관람 위치의 상대적 거리, 즉 깊이 값 move_depth을 획득하고, 파싱된 깊이 값, 스케일링 계수에 따라 현재 위치에서 사용자가 관람할 수 있는 영역 범위 viewing_range_field를 확정할 수 있다. 다음, 현재 사용자 관람 위치에 대응되는 관람 시야 범위를 사용자에게 프레젠테이션하여, 사용자가 장면 내에서 이동할 때 관람 대상을 "가까이" 및 "멀리"하는 효과를 구현할 수 있는 수요를 충족시킨다.
또한, 본 발명은 도면에 도시되지 않은 포인트 클라우드 시스템을 더 포함하고, 해당 3차원 포인트 클라우드 시스템은 상기 실시예 중 어느 하나에 따른 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템을 포함한다.
본 분야의 당업자는 컴퓨터 판독 가능 프로그램 코드 방식으로 본 발명에 의해 제공되는 시스템, 장치 및 이의 각 모듈을 구현하는 외에도, 방법 단계를 논리적으로 프로그래밍하는 것을 통해, 본 발명에 의해 제공되는 시스템, 장치 및 이의 각 모듈이 로직 게이트, 스위치, 주문형 집적회로, 프로그램 가능 로직 제어기 및 내장형 마이크로 제어기 등의 형태로 동일한 프로그램을 구현할 수 있도록 한다. 따라서, 본 발명에 의해 제공되는 시스템, 장치 및 이의 각 모듈은 하드웨어 구성요소로 간주될 수 있고, 이에 포함된 각종 프로그램을 구현하기 위한 모듈도 하드웨어 구성요소 내의 구조로 간주될 수 있다. 각종 기능을 구현하기 위한 모듈은 방법을 구현하는 소프트웨어 프로그램으로 간주될 수도 있고 하드웨어 구성요소 내의 구조로 간주될 수도 있다.
이상, 본 발명의 구체적인 실시예를 설명하였다. 본 발명은 상기 특정 실시형태에 한정되지 않으며, 본 분야의 당업자는 청구항의 범위 내에서 각종 변경 또는 수정을 진행할 수 있고, 이는 본 발명의 실질적 내용에 영향을 미치지 않음을 이해해야 한다. 충돌되지 않을 경우, 본 출원의 실시예와 실시예의 특징은 서로 임의로 조합될 수 있다.
Claims (29)
- 3차원 미디어 스트림을 판독하고 파싱하는 단계;
초기 시점, 초기 시점의 법선 벡터 방향 및 초기 시점의 순방향 벡터를 확정하는 단계; 및
초기 시점, 법선 벡터 방향 및 순방향 벡터를 기반하여 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하는 단계; 를 포함하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항에 있어서,
콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 상대적 변위에 따라 계산된 깊이 값에 의해 설정된 스케일링 스케일을 확정하는 단계; 및 스케일링 스케일로 3차원 미디어 스트림 중 미디어 콘텐츠의 일부 또는 전부를 프레젠테이션하는 단계; 를 더 포함하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항에 있어서,
상기 스케일링 스케일은 3차원 미디어 콘텐츠를 프레젠테이션하는 스케일링 계수인 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항에 있어서,
초기 시점에 대한 사용자 위치의 상대적 변위를 피드백하는 단계;
사용자 위치 시점 내의 시야와 상대적 변위의 깊이에 따라, 상기 사용자 위치의 관람 시야 범위를 확정하는 단계; 및
3차원 미디어 스트림 중 관람 시야 범위의 미디어 콘텐츠의 일부 또는 전부를 프레젠테이션하는 단계; 를 더 포함하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 4 항에 있어서,
상기 깊이는 초기 시점에 대한 사용자 위치의 거리인 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 4 항에 있어서,
상기 시점 내의 시야는 사용자 초기 위치 포인트를 원심으로 하고, 사용자 초기 위치 포인트에서 초기 시점까지의 거리를 반경으로 하는 원형 시야인 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항에 있어서,
미디어 콘텐츠가 회동되는 전제하에, 초기 시점 및 법선 벡터 방향을 변경하여 변경된 시점 위치 및 변경된 시점의 법선 벡터 방향을 형성하는 단계를 더 포함하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항에 있어서,
상기 초기 시점의 순방향 벡터는 프레젠테이션 설비에 의해 규정된 순방향과 평행되는 방향 벡터이고, 초기 시점의 순방향 벡터는 초기 시점을 좌표 원점으로 구축된 좌표계에서, 초기 시점 외의 순방향 벡터 종점을 확정하는 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항에 있어서,
상기 3차원 미디어 스트림은 3차원 미디어 데이터 캡슐화를 통해 형성되고, 상기 3차원 미디어 데이터에 지시 정보가 추가되는데, 상기 지시 정보는,
정보 1: 초기 시점 위치 정보;
정보 2: 초기 시점에 대한 초기 시점 법선 벡터의 위치 정보;
정보 3: 초기 시점의 순방향 벡터 정보; 를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 9 항에 있어서,
상기 지시 정보는,
정보 4: 3차원 미디어의 스케일링 스케일 정보; 를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 9 항에 있어서,
상기 지시 정보는,
정보 5: 변경된 시점의 위치 정보, 변경된 시점에 대한 변경된 시점의 법선 벡터의 위치 정보; 를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 9 항에 있어서,
상기 지시 정보는,
정보 6: 실시간 상대적 변위, 즉 초기 시점에 대한 사용자 실시간 위치의 위치 정보;
정보 7: 사용자 실시간 위치에 따라 조정되는 관람 시야 범위; 를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 9 항에 있어서,
상기 지시 정보는 미디어 콘텐츠의 회동을 지원하는지를 지시하기 위한 회동 지시 정보를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 9 항에 있어서,
상기 지시 정보는 미디어 재생 과정에 사용자 위치의 실시간 상호 작용을 지원하는지를 지시하기 위한 정보를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항에 있어서,
상기 초기 시점의 법선 벡터 방향은 초기 시점을 좌표 원점으로 구축된 좌표계에서, 초기 시점 외의 법선 벡터 종점을 확정하는 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항에 있어서,
상기 사용자 위치와 초기 시점의 상대적 변위는 초기 시점을 좌표 원점으로 구축된 좌표계에서, 사용자 관람 위치의 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항 또는 제 7 항에 있어서,
미디어 콘텐츠가 회동되는 전제하에, 상기 변경된 시점 위치는 변경된 시점의 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 제 1 항 또는 제 7 항에 있어서,
미디어 콘텐츠가 회동되는 전제하에, 상기 변경된 시점의 법선 벡터 방향은 변경된 시점을 좌표 원점으로 구축된 좌표계에서, 변경된 시점 외의 법선 벡터 종점을 확정하는 x 좌표 정보, y 좌표 정보, z 좌표 정보를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법. - 3차원 미디어 스트림을 판독하고 파싱하기 위한 파싱 모듈;
초기 시점, 초기 시점의 법선 벡터 방향 및 초기 시점의 순방향 벡터를 확정하기 위한 초기 시야각 확정 모듈; 및
초기 시점, 법선 벡터 방향 및 순방향 벡터를 기반하여 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하기 위한 3차원 미디어 프레젠테이션 모듈; 을 포함하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 19 항에 있어서,
초기 시점에 대한 사용자 실시간 위치의 상대적 변위를 피드백하기 위한 변위 피드백 모듈;
콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 상대적 변위에 따라 계산된 깊이 값에 의해 설정된 스케일링 스케일을 확정하기 위한 스케일링 스케일 확정 모듈;
사용자 위치 시점 내의 시야와 깊이 값에 따라, 현재 사용자 위치의 관람 시야 범위를 확정하기 위한 관람 시야 범위 확정 모듈; 및
초기 시점, 법선 벡터 방향 및 순방향 벡터를 기반하여 관람 시야 범위 내의 3차원 미디어 스트림 중 미디어 콘텐츠를 프레젠테이션하기 위한 3차원 미디어 프레젠테이션 모듈; 을 더 포함하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 19 항에 있어서,
콘텐츠 제작자가 지정한 스케일링 스케일을 확정하거나, 상대적 변위에 따라 계산된 깊이 값에 의해 설정된 스케일링 스케일을 확정하기 위한 스케일링 스케일 확정 모듈; 및
스케일링 스케일로 3차원 미디어 스트림 중 미디어 콘텐츠의 일부 또는 전부를 프레젠테이션하는 3차원 미디어 프레젠테이션 모듈; 을 더 포함하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 19 항에 있어서,
미디어 콘텐츠가 회동되는 전제하에, 초기 시점 및 법선 벡터 방향을 변경하여, 변경된 시점의 위치 및 변경된 시점의 법선 벡터 방향을 확정하기 위한 변경된 시야각 확정 모듈을 더 포함하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 19 항에 있어서,
상기 3차원 미디어 스트림은 3차원 미디어 데이터 캡슐화를 통해 형성되고, 상기 3차원 미디어 데이터에 지시 정보가 추가되는데, 상기 지시 정보는,
정보 1: 초기 시점 위치 정보;
정보 2: 초기 시점에 대한 초기 시점 법선 벡터의 위치 정보;
정보 3: 초기 시점의 순방향 벡터 정보; 를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 19 항에 있어서,
상기 지시 정보는,
정보 4: 3차원 미디어의 스케일링 스케일 정보; 를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 15 항에 있어서,
상기 지시 정보는,
정보 5: 변경된 시점의 위치 정보, 변경된 시점에 대한 변경된 시점의 법선 벡터의 위치 정보; 를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 15 항에 있어서,
상기 지시 정보는,
정보 6: 실시간 상대적 변위, 즉 초기 시점에 대한 사용자 실시간 위치의 위치 정보;
정보 7: 사용자 실시간 위치에 따라 조정되는 관람 시야 범위; 를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 19 항에 있어서,
상기 지시 정보는 미디어 콘텐츠의 회동을 지원하는지를 지시하기 위한 회동 지시 정보를 추가로 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 19 항에 있어서,
지시 정보는 미디어 재생 과정에 사용자 위치의 실시간 상호 작용을 지원하는지를 지시하기 위한 정보를 추가로 포함하는 것을 특징으로 하는 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템. - 제 19 항 내지 제 28 항 중 어느 한 항에 따른 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 시스템을 포함하는 3차원 포인트 클라우드
시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910576254 | 2019-06-28 | ||
| CN201910576254.0 | 2019-06-28 | ||
| CN201910590125.7 | 2019-07-02 | ||
| CN201910590125.7A CN112150603B (zh) | 2019-06-28 | 2019-07-02 | 基于三维点云的初始视角控制和呈现方法及系统 |
| PCT/CN2020/098517 WO2020259682A1 (zh) | 2019-06-28 | 2020-06-28 | 基于三维点云的初始视角控制和呈现方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220013410A true KR20220013410A (ko) | 2022-02-04 |
Family
ID=73891739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217042738A KR20220013410A (ko) | 2019-06-28 | 2020-06-28 | 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11836882B2 (ko) |
| EP (1) | EP3992917A4 (ko) |
| JP (1) | JP7317401B2 (ko) |
| KR (1) | KR20220013410A (ko) |
| CN (2) | CN117635815A (ko) |
| WO (1) | WO2020259682A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4078532A1 (en) * | 2019-12-20 | 2022-10-26 | InterDigital VC Holdings France | A method and apparatus for coding and decoding volumetric video with view-driven specularity |
| CN112764651B (zh) * | 2021-02-01 | 2022-03-08 | 飞燕航空遥感技术有限公司 | 一种浏览器端三维点云剖面绘制方法和绘制系统 |
| CN113284251B (zh) * | 2021-06-11 | 2022-06-03 | 清华大学深圳国际研究生院 | 一种自适应视角的级联网络三维重建方法及系统 |
| CN115439634B (zh) * | 2022-09-30 | 2024-02-23 | 如你所视(北京)科技有限公司 | 点云数据的交互呈现方法和存储介质 |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5837848B2 (ja) | 2012-03-02 | 2015-12-24 | 株式会社日立製作所 | 画像処理装置、画像処理システム、画像処理方法 |
| US20140038708A1 (en) * | 2012-07-31 | 2014-02-06 | Cbs Interactive Inc. | Virtual viewpoint management system |
| DE102013204597A1 (de) * | 2013-03-15 | 2014-09-18 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag |
| WO2015008538A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| US9361665B2 (en) * | 2013-11-27 | 2016-06-07 | Google Inc. | Methods and systems for viewing a three-dimensional (3D) virtual object |
| CN104768018B (zh) * | 2015-02-04 | 2016-09-21 | 浙江工商大学 | 一种基于深度图的快速视点预测方法 |
| JP6250592B2 (ja) * | 2015-06-02 | 2017-12-20 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム |
| JP2017036998A (ja) * | 2015-08-10 | 2017-02-16 | 株式会社東芝 | 色情報決定装置および画像生成装置 |
| CN105704468B (zh) | 2015-08-31 | 2017-07-18 | 深圳超多维光电子有限公司 | 用于虚拟和现实场景的立体显示方法、装置及电子设备 |
| DE102016200225B4 (de) * | 2016-01-12 | 2017-10-19 | Siemens Healthcare Gmbh | Perspektivisches Darstellen eines virtuellen Szenebestandteils |
| CN108702528B (zh) * | 2016-02-17 | 2021-06-01 | Lg电子株式会社 | 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备 |
| US10225546B2 (en) * | 2016-02-26 | 2019-03-05 | Qualcomm Incorporated | Independent multi-resolution coding |
| US10652459B2 (en) * | 2016-03-07 | 2020-05-12 | Ricoh Company, Ltd. | Information processing system, information processing method, and non-transitory computer-readable storage medium |
| GB2550589B (en) * | 2016-05-23 | 2019-12-04 | Canon Kk | Method, device, and computer program for improving streaming of virtual reality media content |
| KR20190039669A (ko) * | 2016-05-26 | 2019-04-15 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| US10547879B2 (en) * | 2016-07-14 | 2020-01-28 | Mediatek Inc. | Method and apparatus for streaming video content |
| US20180020238A1 (en) * | 2016-07-15 | 2018-01-18 | Mediatek Inc. | Method and apparatus for video coding |
| US10313763B2 (en) * | 2016-07-29 | 2019-06-04 | Mediatek, Inc. | Method and apparatus for requesting and receiving selected segment streams based on projection information |
| US11006135B2 (en) * | 2016-08-05 | 2021-05-11 | Sony Corporation | Image processing apparatus and image processing method |
| CN106447788B (zh) * | 2016-09-26 | 2020-06-16 | 北京疯景科技有限公司 | 观看视角的指示方法及装置 |
| WO2018074252A1 (ja) * | 2016-10-19 | 2018-04-26 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| CN108074278A (zh) * | 2016-11-17 | 2018-05-25 | 百度在线网络技术（北京）有限公司 | 视频呈现方法、装置和设备 |
| EP3337154A1 (en) * | 2016-12-14 | 2018-06-20 | Thomson Licensing | Method and device for determining points of interest in an immersive content |
| CN107659851B (zh) * | 2017-03-28 | 2019-09-17 | 腾讯科技（北京）有限公司 | 全景图像的展示控制方法及装置 |
| CN107330122A (zh) * | 2017-07-18 | 2017-11-07 | 歌尔科技有限公司 | 一种基于虚拟现实的景区游览方法、客户端装置和系统 |
| US10567734B2 (en) * | 2017-08-29 | 2020-02-18 | Qualcomm Incorporated | Processing omnidirectional media with dynamic region-wise packing |
| US10803665B1 (en) * | 2017-09-26 | 2020-10-13 | Amazon Technologies, Inc. | Data aggregation for augmented reality applications |
| KR102390208B1 (ko) * | 2017-10-17 | 2022-04-25 | 삼성전자주식회사 | 멀티미디어 데이터를 전송하는 방법 및 장치 |
| CN107945231A (zh) * | 2017-11-21 | 2018-04-20 | 江西服装学院 | 一种三维视频播放方法及装置 |
| US11689705B2 (en) * | 2018-01-17 | 2023-06-27 | Nokia Technologies Oy | Apparatus, a method and a computer program for omnidirectional video |
| CN108320334B (zh) * | 2018-01-30 | 2021-08-17 | 公安部物证鉴定中心 | 基于点云的三维场景漫游系统的建立方法 |
| WO2019203456A1 (ko) * | 2018-04-15 | 2019-10-24 | 엘지전자 주식회사 | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 |
| CN109272527A (zh) * | 2018-09-03 | 2019-01-25 | 中国人民解放军国防科技大学 | 一种三维场景中随机运动目标的跟踪控制方法及装置 |
| CN110944222B (zh) * | 2018-09-21 | 2021-02-12 | 上海交通大学 | 沉浸媒体内容随用户移动变化的方法及系统 |
| EP3915269A1 (en) * | 2019-01-24 | 2021-12-01 | PCMS Holdings, Inc. | System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom |
| CN109977466B (zh) * | 2019-02-20 | 2021-02-02 | 深圳大学 | 一种三维扫描视点规划方法、装置及计算机可读存储介质 |
| KR20230152815A (ko) * | 2019-03-21 | 2023-11-03 | 엘지전자 주식회사 | 포인트 클라우드 데이터 부호화 장치, 포인트 클라우드 데이터 부호화 방법, 포인트 클라우드 데이터 복호화 장치 및 포인트 클라우드 데이터 복호화 방법 |
| CN110335295B (zh) * | 2019-06-06 | 2021-05-11 | 浙江大学 | 一种基于tof相机的植物点云采集配准与优化方法 |
-
2019
- 2019-07-02 CN CN202310480675.XA patent/CN117635815A/zh active Pending
- 2019-07-02 CN CN201910590125.7A patent/CN112150603B/zh active Active
-
2020
- 2020-06-28 JP JP2021570458A patent/JP7317401B2/ja active Active
- 2020-06-28 US US17/595,808 patent/US11836882B2/en active Active
- 2020-06-28 KR KR1020217042738A patent/KR20220013410A/ko not_active Application Discontinuation
- 2020-06-28 EP EP20831860.0A patent/EP3992917A4/en active Pending
- 2020-06-28 WO PCT/CN2020/098517 patent/WO2020259682A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020259682A1 (zh) | 2020-12-30 |
| EP3992917A1 (en) | 2022-05-04 |
| CN112150603B (zh) | 2023-03-28 |
| CN117635815A (zh) | 2024-03-01 |
| JP2022534269A (ja) | 2022-07-28 |
| CN112150603A (zh) | 2020-12-29 |
| US20220148280A1 (en) | 2022-05-12 |
| US11836882B2 (en) | 2023-12-05 |
| EP3992917A4 (en) | 2023-07-05 |
| JP7317401B2 (ja) | 2023-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220013410A (ko) | 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템 | |
| US10754515B2 (en) | Systems and methods for 3D scripting language for manipulation of existing 3D model data | |
| US20140192159A1 (en) | Camera registration and video integration in 3d geometry model | |
| US7382374B2 (en) | Computerized method and computer system for positioning a pointer | |
| KR20120009564A (ko) | 3차원 마우스 포인터 생성방법 및 생성장치 | |
| CN109584377B (zh) | 一种用于呈现增强现实内容的方法与设备 | |
| CN110503718B (zh) | 三维工程模型轻量化显示方法 | |
| CN116091672A (zh) | 图像渲染方法、计算机设备及其介质 | |
| US20190147626A1 (en) | Systems and methods for encoding features of a three-dimensional virtual object using one file format | |
| US20190130631A1 (en) | Systems and methods for determining how to render a virtual object based on one or more conditions | |
| JP5372590B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20220375152A1 (en) | Method for Efficiently Computing and Specifying Level Sets for Use in Computer Simulations, Computer Graphics and Other Purposes | |
| Zhao et al. | Visual analysis of three-dimensional flow field based on WebVR | |
| CN114564268A (zh) | 一种设备管理方法、装置、电子设备和存储介质 | |
| CN114020390A (zh) | Bim模型显示方法、装置、计算机设备和存储介质 | |
| CN111210525A (zh) | 三维模型交互编辑的方法、平台、设备及可读存储介质 | |
| US10290146B2 (en) | Displaying depth effects in digital artwork based on movement of a display | |
| EP4258218A1 (en) | Rendering method, device, and system | |
| JP2006201838A (ja) | 画像処理装置、同装置に用いるプログラム及び画像処理方法 | |
| KR101824178B1 (ko) | 3차원 렌더링 장치에서 시점을 기반으로 투명도를 조절하는 방법 및 장치 | |
| CN116740314A (zh) | 一种用于生成增强现实数据的方法、设备及介质 | |
| CN116824101A (zh) | 用于虚拟现实空间切换的方法和装置 | |
| WO2020061702A1 (en) | System and method for bounding box tool | |
| CN117635886A (zh) | 内容展示方法、装置及计算机可读存储介质 | |
| Miller et al. | Computations on an Ellipsoid for GIS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |