KR20220093216A

KR20220093216A - 정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기

Info

Publication number: KR20220093216A
Application number: KR1020227019340A
Authority: KR
Inventors: 지에 바이; 민 시아오; 이 주; 양 리
Original assignee: 릴지 (베이징) 테크놀로지 컴퍼니 리미티드
Priority date: 2019-11-11
Filing date: 2020-08-28
Publication date: 2022-07-05
Also published as: JP7407929B2; JP2023501553A; CN111178191A; CA3162120A1; WO2021093416A1; US20220415063A1; CN111178191B

Abstract

정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기로서, 컴퓨터 기술 분야에 관한 것이며, 상기 방법은, 3차원 모델에서의 공간 이미지를 인식 처리하여 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻는 단계(201); 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하는 단계(202); 및 디스플레이 위치 정보에 기반하여 디스플레이 영역 내에서 정보 재생층을 중첩하여 정보 재생층에서 디스플레이 정보를 재생하는 단계(203);를 포함한다. 3차원 모델 중의 정보 디스플레이 장치에서 정보 재생층을 중첩시켜 3차원 모델에서 추가적인 정보 인터랙션을 구현함으로써, 사용자가 3차원 모델에서 리얼 씬과 보다 가까워질 수 있도록 하여 사용자 경험을 향상시킨다.

Description

정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기

본 발명은 컴퓨터 기술분야에 관한 것으로, 특히 정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기에 관한 것이다.

현재, 인터넷 기술은 사람들의 생활에 많은 편리를 가져다주고 있다. 3차원 재구성 기술을 이용하여, 사람들은 외출하지 않고도 쇼핑, 관광, 참관 또는 집 보기 등 동작을 경험할 수 있다. 또한, 재구성된 3차원 모델에서, 사용자에게 실제 씬（Scene）과 기본적으로 동일한 사용자 경험을 제공할 수 있다. 더 많은 사람들이 3차원 재구성 씬을 사용함에 따라, 3차원 씬에서 인터랙션에 대한 요구 도 갈수록 높아지고 있으나, 현재의 기술은 사용자가 브라우징 시 인터랙션이 결핍되어, 사용자에게 보다 다양한 3차원 씬에 기반한 인터랙션을 제공할 수 없으므로 사용자 경험이 매우 떨어진다.

상기 기술적 과제를 해결하기 위해 본 발명을 제공한다. 본 발명의 실시예는 정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기를 제공한다.

본 발명의 실시예는, 3차원 모델에서 공간 이미지를 인식 처리하여 상기 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻는 단계; 상기 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하는 단계; 및 상기 디스플레이 위치 정보에 기반하여 상기 디스플레이 영역 내에서 정보 재생층을 중첩하여 상기 정보 재생층에서 디스플레이 정보를 재생하는 단계;를 포함하는 정보 재생 방법을 제공한다.

선택 가능하게, 상기 3차원 모델에서 공간 이미지를 인식 처리하여 상기 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻는 단계는, 상기 3차원 모델을 이미지 인식 모델에 입력하고, 상기 이미지 인식 모델을 이용하여 상기 공간 이미지에서 상기 정보 디스플레이 장치 및 상기 디스플레이 영역을 인식하며, 상기 3차원 모델에서 상기 정보 디스플레이 장치 및 상기 디스플레이 영역의 위치를 결정하는 단계를 포함한다.

선택 가능하게, 상기 정보 디스플레이 장치가 캘리브레이팅된 3차원 공간 정보의 3차원 모델 샘플에 기반하여 트레이닝 샘플을 생성하되,여기서, 상기 정보 디스플레이 장치의 3차원 공간 정보에는 디스플레이 영역이 캘리브레이팅되고; 딥 러닝 방법을 이용하고 상기 트레이닝 샘플에 기반하여 사전 설정된 딥 러닝 모델을 트레이닝함으로써 상기 이미지 인식 모델을 얻는다.

선택 가능하게, 상기 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하는 단계는, 상기 3차원 모델과 대응되는 3차원 포인트 클라우드 정보를 얻는 단계; 및 상기 3차원 포인트 클라우드 정보와 상기 3차원 모델에서 상기 디스플레이 영역의 위치에 기반하여 상기 디스플레이 위치 정보를 결정하는 단계;를 포함하되, 여기서, 상기 디스플레이 위치 정보는 상기 3차원 모델에서의 공간 좌표를 포함한다.

선택 가능하게, 상기 정보 재생층에서 디스플레이 정보를 재생하는 상기단계는, 현재 가상 사용자 시야 정보를 얻고, 상기 시야 정보는 상기 가상 사용자의 현재의 위치 정보 및 상기 가상 사용자의 시각 범위 정보를 포함하는 단계; 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있는지 여부를 판단하는 단계; 및 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 위치한 경우, 상기 정보 재생층에 상기 디스플레이 정보를 로딩하고 자동 재생하거나, 또는, 사용자의 재생 명령에 응답하여 재생하는 단계;를 포함한다.

선택 가능하게, 여기서, 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있는지 여부를 판단하는 단계는, 상기 3차원 모델에서 상기 정보 디스플레이 장치의 끝점의 공간 좌표를 얻는 단계; 및 상기 가상 사용자의 시야 내에 위치한 상기 끝점의 공간 좌표의 수량이 사전 설정된 임계값을 초과하는 경우, 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있다고 판단하는 단계;를 포함한다.

선택 가능하게, 사용자의 재생 제어 명령에 응답하여 상기 정보 재생층에서 재생되는 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행한다. 선택 가능하게, 상기 사용자의 재생 제어 명령에 응답하여 상기 정보 재생층에서 재생되는 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하는 단계는, 상기 정보 재생층에 인터랙션 버튼을 마련하고, 상기 인터랙션 버튼을 통해 사용자에 의해 발송된 재생 제어 명령에 응답하여 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하는 단계를 포함하되, 여기서, 상기 인터랙션 동작은, 일시 정지, 재생, 전환 및 재생 속도 변환 중의 하나 또는 복수를 포함한다.

선택 가능하게, 상기 3차원 모델에서 복수의 디스플레이 영역이 인식된 경우, 각각 상기 디스플레이 영역 내의 정보 재생층에서 재생되는 상기 디스플레이 정보가 모두 다르도록 제어한다.

선택 가능하게, 사용자가 사전 설정된 시간대 내에서 복수의 3차원 모델을 브라우징한 경우, 상기 복수의 3차원 모델과 대응되는 디스플레이 정보를 재생해야 할 목표 디스플레이 영역을 결정하고, 각각 상기 목표 디스플레이 영역 내의 정보 재생층에서 재생되는 상기 디스플레이 정보가 모두 다르도록 제어한다.

선택 가능하게, 상기 디스플레이 정보는, 정적 이미지, 스트리밍 미디어 정보 또는 인간-컴퓨터 인터랙션 인터페이스를 포함한다.

선택 가능하게, 상기 디스플레이 위치 정보는 상기 3차원 모델에서 상기 디스플레이 영역의 끝점의 공간 좌표를 포함하고, 상기 끝점의 공간 좌표에 기반하여 결정된 디스플레이 영역을 복수의 서브 디스플레이 영역으로 구획하며; 상기 디스플레이 영역에서 재생되는 디스플레이 정보를 디스플레이 위치에서 상기 복수의 서브 디스플레이 영역과 일대일로 대응되는 복수의 서브 디스플레이 정보로 구획하고; 각 서브 디스플레이 영역에서 상응한 서브 디스플레이 정보가 디스플레이되도록 제어한다.

본 발명의 실시예의 다른 일 측면은, 3차원 모델에서의 공간 이미지를 인식 처리하여 상기 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻는 디스플레이 영역 인식 모듈; 상기 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하는 디스플레이 위치 결정 모듈; 및 상기 디스플레이 위치 정보에 기반하여 상기 디스플레이 영역 내에서 정보 재생층을 중첩하여 상기 정보 재생층에서 디스플레이 정보를 재생하는 디스플레이 정보 재생 모듈;을 포함하는 정보 재생 장치를 제공한다.

선택 가능하게, 상기 디스플레이 영역 인식 모듈은, 상기 3차원 모델을 이미지 인식 모델에 입력하고, 상기 이미지 인식 모델을 이용하여 상기 공간 이미지에서 상기 정보 디스플레이 장치 및 상기 디스플레이 영역을 인식하며, 상기 3차원 모델에서 상기 정보 디스플레이 장치 및 상기 디스플레이 영역의 위치를 결정한다.

선택 가능하게, 상기 디스플레이 영역 인식 모듈은, 상기 정보 디스플레이 장치가 캘리브레이팅된 3차원 공간 정보의 3차원 모델 샘플에 기반하여 트레이닝 샘플을 생성하되, 여기서, 상기 정보 디스플레이 장치의 3차원 공간 정보에는 디스플레이 영역이 캘리브레이팅되고; 딥 러닝 방법을 이용하고 상기 트레이닝 샘플에 기반하여 사전 설정된 딥 러닝 모델을 트레이닝함으로써 상기 이미지 인식 모델을 얻는다.

선택 가능하게, 상기 디스플레이 위치 결정 모듈은, 상기 3차원 모델과 대응되는 3차원 포인트 클라우드 정보를 얻고; 상기 3차원 포인트 클라우드 정보와 상기 3차원 모델에서 상기 디스플레이 영역의 위치에 기반하여 상기 디스플레이 위치 정보를 결정하되, 여기서, 상기 디스플레이 위치 정보는 상기 3차원 모델에서의 공간 좌표를 포함한다.

선택 가능하게, 상기 디스플레이 정보 재생 모듈은, 현재 가상 사용자 시야 정보를 얻고, 상기 시야 정보는 상기 가상 사용자의 현재의 위치 정보 및 상기 가상 사용자의 시각 범위 정보를 포함하고; 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있는지 여부를 판단하며; 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 위치한 경우, 상기 정보 재생층에 상기 디스플레이 정보를 로딩하고 자동 재생하거나, 또는, 사용자의 재생 명령에 응답하여 재생한다.

선택 가능하게, 상기 디스플레이 정보 재생 모듈은 또한, 상기 3차원 모델에서 상기 정보 디스플레이 장치의 끝점의 공간 좌표를 얻고; 상기 가상 사용자의 시야 내에 위치한 상기 끝점의 공간 좌표의 수량이 사전 설정된 임계값을 초과하는 경우, 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있다고 판단한다.

선택 가능하게, 디스플레이 정보 인터랙션 모듈은 사용자의 재생 제어 명령에 응답하여 상기 정보 재생층에서 재생되는 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행한다.

선택 가능하게, 상기 디스플레이 정보 인터랙션 모듈은, 상기 정보 재생층에 인터랙션 버튼을 마련하고, 상기 인터랙션 버튼을 통해 사용자에 의해 입력된 재생 제어 명령에 응답하여 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하되, 여기서, 상기 인터랙션 동작은, 일시 정지, 재생, 전환 및 재생 속도 변환 중의 하나 또는 복수를 포함한다.

선택 가능하게, 상기 디스플레이 정보 재생 모듈은, 상기 3차원 모델에서 복수의 디스플레이 영역을 인식된 경우, 각각 상기 디스플레이 영역 내의 정보 재생층에서 재생되는 상기 디스플레이 정보가 모두 다르도록 제어한다.

선택 가능하게, 상기 디스플레이 정보 재생 모듈은, 사용자가 사전 설정된 시간대 내에서 복수의 3차원 모델을 브라우징한 경우, 상기 복수의 3차원 모델과 대응되는 디스플레이 정보를 재생해야 할 목표 디스플레이 영역을 결정하고, 각각 상기 목표 디스플레이 영역내의 정보 재생층에서 재생되는 상기 디스플레이 정보가 모두 다르도록 제어한다.

선택 가능하게, 상기 디스플레이 위치 정보는 상기 3차원 모델에서 상기 디스플레이 영역의 끝점의 공간 좌표를 포함하고, 상기 장치는 디스플레이 정보 제어 모듈을 더 포함하며, 상기 디스플레이 정보 제어 모듈은, 상기 끝점의 공간 좌표에 기반하여 결정된 디스플레이 영역을 복수의 서브 디스플레이 영역으로 구획하며; 상기 디스플레이 영역에서 재생되는 디스플레이 정보를 디스플레이 위치에서 복수의 서브 디스플레이 영역과 일대일로 대응되는 복수의 서브 디스플레이 정보로 구획하고; 각 서브 디스플레이 영역에서 상응한 서브 디스플레이 정보가 디스플레이되도록 제어한다.

본 발명의 실시예의 또 다른 일 측면에 따르면, 상기 정보 재생 방법을 수행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공한다.

본 발명의 실시예의 또 다른 일 측면에 따르면, 프로세서; 및 프로세서에 의해 수행 가능한 명령을 저장하는 메모리;를 포함하며, 상기 프로세서는 메모리로부터 수행 가능한 명령을 판독하고, 명령을 수행하여 상기 정보 재생 방법을 구현하는 전자기기를 제공한다.

본 발명의 실시예의 또 다른 일 측면에 따르면, 실행 시 기계에 의해 상기 정보 재생 방법이 수행될 수 있도록 하는 수행 가능한 명령이 포함된 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품을 제공한다.

본 발명의 상기 실시예에 따른 정보 재생 방법, 장치, 컴퓨터 판독 가능 저장 매체 및 전자기기에 기반하여, 3차원 모델에서의 공간 이미지를 인식 처리하여 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻고, 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하며, 디스플레이 영역 내에서 정보 재생층을 중첩하고 디스플레이 정보를 재생하며, 정보 재생층에서 재생되는 디스플레이 정보에 대해 대응되는 인터랙션 동작을 수행하고; 3차원 모델 중의 정보 재생 장치에서 정보 재생층을 중첩시켜 3차원 모델에서 추가적인 정보 인터랙션을 구현함으로써, 사용자가 3차원 모델에서 리얼 씬에 보다 가까워질 수 있도록 하여 사용자 경험을 향상시킨다.

이하, 도면 및 실시예를 통해 본 발명의 기술적 방안을 보다 상세하게 설명한다.

도면과 함께 본 발명의 실시예를 보다 상세하게 설명함으로써, 본 발명의 상술 및 기타 목적, 특징 및 장점을 보다 명확하게 할 수 있다. 도면은 본 발명의 실시예에 추가 이해를 제공하며, 명세서의 일부를 구성함으로써, 본 발명의 실시예와 함께 본 발명의 해석에 이용되나, 본 발명을 한정하지 않는다. 도면에서, 동일한 참조 부호는 일반적으로 동일한 부재 또는 단계를 표시한다.
도 1은 본 발명에 적용되는 시스템도이다.
도 2는 본 발명의 정보 재생 방법의 일 실시예의 흐름도이다.
도 3은 본 발명의 정보 재생 방법의 일 실시예에서 디스플레이 위치를 결정하는 흐름도이다.
도 4는 본 발명의 정보 재생 방법의 일 실시예에서 정보 디스플레이 장치가 시야 범위에 있는지 여부를 판단하는 흐름도이다.
도 5A는 본 발명의 정보 재생 장치의 일 실시예의 구조 개략도이고, 도 5B는 본 발명의 정보 재생 장치의 다른 일 실시예의 구조 개략도이다.
도 6은 본 발명의 전자기기의 일 실시예의 구조도이다.

이하, 도면과 함께 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 설명되는 실시예는 본 발명의 일부 실시예일 뿐, 본 발명의 모든 실시예가 아님은 자명한 것이며, 본 발명은 여기서 설명되는 예시적 실시예에 의해 한정되지 않음을 이해해야 한다.

별도의 구체적인 설명이 없는 한, 이러한 실시예에서 설명되는 부재 및 단계의 상대적 배치, 수식 및 수치는 본 발명의 범위를 한정하지 않음에 유의해야 한다.

당업자라면, 본 발명의 실시예의 "제1", "제2" 등 용어는 서로 다른 단계, 장치 또는 모듈 등을 구별하기 위한 것일 뿐, 특정 기술 의미를 나타내지 않으며, 이들 사이의 필연적 논리 순서도 표시하지 않음을 이해할 수 있을 것이다.

또한, 본 발명의 실시예에서, "복수"는 두 개 또는 두 개 이상을 표시할 수 있고, "하나 이상"은 하나, 두 개 또는 두 개 이상을 표시할 수 있음을 이해해야 한다.

또한, 본 발명의 실시예에서 언급한 임의의 부재, 데이터 또는 구조에 대해, 명확한 한정 또는 문맥상 반대되는 시사를 제공하지 않는 한, 일반적으로 하나 또는 복수개로 이해할 수 있다.

또한, 본 발명의 용어 "및/또는"은, 연관 대상의 연관 관계를 설명할 뿐이며, 3가지 관계가 존재할 수 있음을 표시한다. 예를 들어, A 및/또는 B는, A만 단독으로 존재하거나, A와 B가 동시에 존재하거나, B만 단독으로 존재하는 3가지 경우를 표시할 수 있다. 또한, 본 발명에서 문자 부호 "/"은, 일반적으로 전후 연관 대상이 "또는"의 관계임을 표시한다.

또한, 본 발명에서 각 실시예에 대한 설명은 각 실시예 사이의 차이점을 강조하고, 동일하거나 유사한 부분은 서로 참조할 수 있으며, 간결화를 위해 다시 일일이 설명하지 않음을 이해해야 한다.

아울러, 설명의 편의성을 위해, 도면에 도시된 각 부분의 사이즈는 실제 비례 관계에 따라 제도된 것이 아님을 이해해야 한다.

이하, 예시적 실시예에 대한 설명은 사실상 설명적인 것일 뿐, 본 발명 및 그 응용 또는 사용에 대한 한정 아니다.

당업자에게 공지된 기술, 방법 및 기기에 대해 상세하게 논술하지 않을 수 있으나, 적절한 경우, 상기 기술, 방법 및 기기도 명세서의 일부로 간주되어야 한다.

유사한 부호 및 자모는 아래의 도면에서 유사한 항을 표시하며, 따라서, 어느 한 항이 한 도면에서 정의되면, 그 다음 도면에서 그에 대해 추가로 논술할 필요가 없음에 유의해야 한다.

본 발명의 실시예는 컴퓨터 시스템, 서버 등 전자기기에 적용될 수 있고, 기타 다양한 일반 또는 특수 컴퓨팅 시스템 환경 또는 설정과 함께 동작될 수 있다. 단말 장치, 컴퓨터 시스템, 서버 등 전자기기와 함께 사용되는 적합한 공지의 컴퓨팅 시스템, 환경 및/또는 설정의 예시로는, 개인 컴퓨터 시스템, 서버 컴퓨터 시스템, 신 클라이언트(Thin client), 시크 클라이언트(Thick client), 핸드헬드 또는 랩탑 장치, 마이크로프로세서에 기반한 시스템, 셋톱박스, 프로그램 가능 가전제품, 네트워크 개인 컴퓨터, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템 및 상기 임의의 시스템을 포함하는 분산형 클라우드 컴퓨팅 기술 환경 등을 포함하나 이에 한정되지 않는다.

컴퓨터 시스템, 서버 등 전자기기는 컴퓨터 시스템에 의해 수행되는 컴퓨터 시스템 수행 가능 명령(예를 들어, 프로그램 모듈)의 일반 언어 환경에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 루틴, 프로그램, 목표 프로그램, 어셈블리, 논리, 데이터 구조 등을 포함할 수 있고, 이들은 특정 임무를 수행하거나 또는 특정된 추상 데이터 유형을 구현한다. 컴퓨터 시스템/서버는 분산형 클라우드 컴퓨팅 환경에서 실시될 수 있고, 분산형 클라우드 컴퓨팅 환경에서, 임무는 통신 네트워크를 통해 연결된 원격 처리 장치에 의해 수행된다. 분산형 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 장치를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.

출원 요약

현재, 인터넷 기술은 사람들의 생활에 많은 편리를 가져다주었다. 3차원 재구성 기술을 이용하여, 사람들은 외출하지 않고도 쇼핑, 관광, 참관, 집 보기 등 동작을 경험할 수 있다. 또한, 재구성된 3차원 모델에서, 사용자에게 실제 씬과 기본적으로 동일한 사용자 경험을 제공할 수 있다. 그러나 사람들이 3차원 재구성 씬을 갈수록 많이 사용함에 따라, 3차원 씬에서 인터랙션에 대한 요구 사항도 더 높아지고 있으나, 현재의 기술은, 사용자가 브라우징 시 인터랙션이 결핍되어, 사용자에게 보다 다양한 3차원 씬에 기반한 인터랙션을 제공할 수 없으므로 사용자 경험이 매우 떨어진다.

본 발명에 따른 정보 재생 방법은, 3차원 모델 중의 공간 이미지를 인식 처리하여 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻고, 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하며, 디스플레이 영역 내에서 정보 재생층을 중첩하고 디스플레이 정보를 재생하며, 정보 재생층에서 재생되는 디스플레이 정보에 대해 대응되는 인터랙션 동작을 수행하고; 3차원 모델 중의 정보 재생 장치에서 정보 재생층을 중첩시켜 3차원 모델에서 더 강화된 정보 인터랙션을 구현함으로써, 사용자가 3차원 모델에서 리얼 씬과 보다 가까워질 수 있도록 하여 사용자 경험을 향상시킨다.

예시적 시스템

도 1은 본 발명의 실시예의 정보 재생 방법 또는 정보 재생 장치를 적용할 수 있는 예시적 시스템 아키텍처(100)를 도시하였다.

도 1에 도시된 바와 같이, 시스템 아키텍처(100)는 단말 장치(101), 네트워크(102) 및 서버(103)를 포함할 수 있다. 네트워크(102)는 단말 장치(101)와 서버(103) 사이에서 통신 링크를 제공하는 매체이다. 네트워크(102)는 유선 통신 링크, 무선 통신 링크 또는 광섬유 케이블 등과 같이 다양한 연결 유형을 포함할 수 있다.

사용자는 단말 장치(101)를 이용하여 네트워크(102)를 통해 서버(103)와 메시지의 수신 또는 송신 등을 위한 인터랙션을 진행할 수 있다. 단말 장치(101)에는 예를 들어, 쇼핑 애플리케이션, 검색 애플리케이션, 웹 브라우저 애플리케이션, 인스턴트 커뮤니케이션 툴 등 다양한 통신 클라이언트 애플리케이션이 설치될 수 있다.

단말 장치(101)는 다양한 전자기기일 수 있으며, 모바일 폰, 노트북, 디지털 라디오 수신기, PDA(개인 디지털 어시스턴트), PAD(태블릿 컴퓨터), PMP(휴대용 멀티 미디어 플레이어), 차량 탑재 단말(예를 들어, 차량 탑재 내비게이션 단말) 등 이동 단말 및 디지털 TV, 데스크 컴퓨터 등 고정 단말을 포함하나 이에 한정되지 않는다.

서버(103)는 예를 들어, 단말 장치(101)에 의해 업로드된 이미지를 처리하는 백그라운드 이미지 처리 서버와 같이 다양한 서비스를 제공하는 서버일 수 있다. 백그라운드 이미지 처리 서버는 수신된 이미지를 처리하여 처리 결과(예를 들어, 물체의 제안 정보)를 얻고 단말 장치로 피드백할 수 있다.

여기서, 본 발명의 실시예에 따른 정보 푸시 방법은 서버(103)에 의해 수행될 수 있고, 단말 장치(101)에 의해 수행될 수도 있으며, 상응하게, 정보 푸시 장치는 서버(103)에 마련될 수 있고, 단말 장치(101)에 마련될 수도 있다. 예를 들어, 도 1의 단말 장치(101)의 수는 복수개일 수 있고, 그중에 하나의 단말 장치는 다른 단말 장치로부터 공간 이미지를 얻고 정보 푸시 방법을 수행한다.

도 1의 단말 장치, 네트워크 및 서버의 수량는 예시적인 것일 뿐임을 이해해야 한다. 구현 필요에 따라 임의 수량의 단말 장치, 네트워크 및 서버가 구비될 수 있다.

예시적 방법

도 2는 본 발명의 정보 재생 방법의 일 실시예의 흐름도이다. 본 실시예는 전자기기(예를 들어, 도 1에 도시된 서버 또는 단말 장치)에 적용될 수 있으며, 도 2에 도시된 바와 같이, 다음과 같은 단계를 포함한다.

단계 201에서, 3차원 모델에서의 공간 이미지를 인식 처리하여 공간 이미지 중의 정보 디스플레이 장치 및 정보 디스플레이 장치의 디스플레이 영역을 얻는다.

일 실시예에서, 3차원 모델은 하우스 3차원 모델 등일 수 있고, 전자기기는 목표 사용자 단말(예를 들어, 도 1에 도시된 단말 장치)에 의해 표시되는 3차원 모델 중의 공간 이미지를 인식 처리할 수 있다. 여기서, 목표 사용자 단말은 목표 사용자가 사용하는 단말이고, 목표 사용자는 3차원 공간을 브라우징하는 사용자이다. 공간 이미지는 하우스와 같은 3차원 공간을 사전 촬영한 이미지일 수 있고, 일반 2차원 이미지일 수 있거나, 파노라마 이미지일 수도 있다. 공간 이미지는 다양한 물체 이미지를 포함할 수 있다. 예를 들어, 공간 이미지가 하우스 내부를 촬영한 이미지인 경우, 공간 이미지는 소파, 티 테이블, 텔레비전, 식탁과 같은 다양한 가구의 이미지를 포함할 수 있다.

다양한 가구를 구비하는 공간 이미지에 대해, 전자기기는 다양한 방법을 이용하여 공간 이미지 중의 물체 정보를 결정할 수 있다. 예를 들어, 전자기기는 종래의 목표 검출 방법(예를 들어, 신경망에 기반한 목표 검출 방법)을 이용하여 공간 이미지를 인식함으로써 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻을 수 있다. 정보 디스플레이 장치는 디스플레이 동작을 수행할 수 있는 사전 설정된 장치, 예를 들어, 텔레비전, 디스플레이, 프로젝터 스크린 등일 수 있고, 디스플레이 영역은 텔레비전, 디스플레이, 스크린 등의 디스플레이 영역, 예를 들어, 텔레비전의 스크린 영역 등일 수 있다. 또한, 정보 디스플레이 장치는 벽면 상의 일부 특정 영역과 같은 평탄한 표면의 일부 특정 영역, 예를 들어, 벽면 상에 그려진 하나의 영역; 경면 또는 유리 표면의 전체 또는 일부 특정 영역을 포함할 수도 있다. 정보 디스플레이 장치는 리얼 물리 세계에서 디스플레이 인터페이스로 적용될 수 있는 임의 물체의 3차원 모델 표면을 포함할 수 있다.

단계 202에서, 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정한다.

일 실시예에서, 디스플레이 영역과 대응되는 디스플레이 위치 정보는 3차원 모델에서 이 디스플레이 영역의 4개 끝점(정점)의 공간 좌표 등을 포함할 수 있다.

단계 203에서, 디스플레이 위치 정보에 기반하여 디스플레이 영역 내에서 정보 재생층을 중첩하여 정보 재생층에서 디스플레이 정보를 재생한다.

일 실시예에서, 디스플레이 영역 내에서 정보 재생층을 중첩하고, 이 정보 재생층은 디스플레이 정보를 재생한다. 디스플레이 정보는 기정 해상도를 가지는 정적 이미지, 스트리밍 미디어 정보 또는 인간-컴퓨터 인터랙션 인터페이스 중의 하나 또는 다수를 포함할 수 있으며, 본 발명은 이에 대해 한정하지 않는다. 예를 들어, 텔레비전의 디스플레이 영역의 디스플레이 위치 정보를 통해 영상이 부착되어야 하는 위치를 판단하고, 그 다음 영상을 3차원 모델 중의 텔레비전의 디스플레이 영역에 부착하여 3차원 모델 중의 가상 텔레비전이 영상 재생 기능을 가지도록 하여 리얼 텔레비전이 되도록 한다.

일 실시예에서, 사용자의 재생 제어 명령에 응답하여, 정보 재생층에서 재생되는 디스플레이 정보에 대해 대응되는 인터랙션 동작을 수행한다. 사용자의 재생 제어 명령은 일시 정지, 재생, 전환 및 재생 속도 변환 등일 수 있고, 사용자의 재생 제어 명령에 응답하여, 정보 재생층에서 재생되는 디스플레이 정보에 대해 대응되는 일시 정지, 재생, 전환 및 재생 속도 변환 등 인터랙션 동작을 수행한다. 예를 들어, 3차원 공간의 텔레비전에서 영상을 재생하도록 하고 인터랙션 동작이 새롭게 추가된 경우, 사용자가 텔레비전에서 재생하는 영상과 인터랙션하여, 사용자가 그 환경에 위치한 듯한 느낌을 보다 강하게 느낄 수 있도록 한다.

정보 재생층에 인터랙션 버튼을 마련하고, 인터랙션 버튼을 통해 사용자에 의해 발송된 재생 제어 명령에 응답하여 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행할 수 있으며, 인터랙션 동작은, 일시 정지, 재생, 전환 및 재생 속도 변환 중의 하나 또는 복수를 포함한다.

일부 선택 가능한 구현 방식에서, 도 3은 본 발명의 정보 재생 방법의 일 실시예에서 디스플레이 위치를 결정하는 흐름도이며, 도 3에 도시된 바와 같이, 다음과 같은 단계를 포함한다.

단계 2011에서, 3차원 모델을 이미지 인식 모델에 입력하고, 이미지 인식 모델을 이용하여 공간 이미지에서 정보 디스플레이 장치 및 디스플레이 영역을 인식하며, 3차원 모델에서 정보 디스플레이 장치 및 디스플레이 영역의 위치를 결정한다.

일 실시예에서, 이미지 인식 모델은 딥 러닝 모델일 수 있고, 딥 러닝 모델은 다양하고, 예를 들어, CNN, DBN, RNN, RNTN, 자동 인코더, GAN 등을 포함한다. 사전 설정된 딥 러닝 모델은 3층 뉴런 모델을 포함하고, 3층 뉴런 모델은 입력층 뉴런 모델, 중간층 뉴런 모델 및 출력층 뉴런 모델을 포함하며, 각 층의 뉴런 모델의 출력은 다음 층의 뉴런 모델의 입력으로 이용된다. 3층 뉴런 모델은 완전 연결 구조를 가지는 복수의 신경망층의 서브 네트워크 구조일 수 있으며, 중간층 뉴런 모델은 완전 연결층이다.

정보 디스플레이 장치가 캘리브레이팅된 3차원 공간 정보(깊이 정보 포함)의 3차원 모델 샘플에 기반하여 트레이닝 샘플을 생성하고, 정보 디스플레이 장치의 3차원 공간 정보에서 디스플레이 영역을 캘리브레이팅하며, 3차원 공간 정보는 딥 러닝 방법을 이용하고 트레이닝 샘플에 기반하여 사전 설정된 딥 러닝 모델을 트레이닝함으로써 이미지 인식 모델을 얻는다. 예를 들어, 캘리브레이팅된 텔레비전, 디스플레이 등 정보 디스플레이 장치의 3차원 공간 정보의 3차원 모델 샘플을 얻고, 정보 디스플레이 장치의 3차원 공간 정보에서 디스플레이 영역을 캘리브레이팅하며, 3차원 모델 샘플에 기반하여 트레이닝 샘플을 생성하고, 트레이닝 샘플에 기반하여 이미지 인식 모델에 대해 충분한 트레이닝 진행 후, 이 모델은 임의의 3차원 모델에 대해 정보 디스플레이 장치 및 디스플레이 영역을 인식할 수 있고, 3차원 모델에서 정보 디스플레이 장치 및 디스플레이 영역의 위치를 결정할 수 있다.

일 실시예에서, 정보 디스플레이 장치 이미지의 위치가 캘리브레이팅된 파노라마 이미지 샘플에 기반하여 트레이닝 샘플을 생성할 수도 있으며, 정보 디스플레이 장치 이미지에서 디스플레이 영역을 캘리브레이팅하고, 딥 러닝 방법을 이용하고 트레이닝 샘플에 기반하여 사전 설정된 딥 러닝 모델을 트레이닝함으로써 이미지 인식 모델을 얻는다. 예를 들어, 캘리브레이팅된 텔레비전, 디스플레이 등 이미지의 위치의 파노라마 이미지 샘플을 얻고, 정보 디스플레이 장치의 이미지에서 디스플레이 영역을 캘리브레이팅하며, 파노라마 이미지 샘플에 기반하여 트레이닝 샘플을 생성하고, 트레이닝 샘플에 기반하여 이미지 인식 모델에 대해 충분한 트레이닝 진행 후, 이 모델은 임의의 파노라마 이미지에 대해 정보 디스플레이 장치 및 디스플레이 영역을 인식할 수 있고, 파노라마 이미지에서 정보 디스플레이 장치 및 디스플레이 영역의 위치를 결정할 수 있다.

일 실시예에서, 이미지 인식 모델을 트레이닝하는 수행 주체는 기계 학습 기법을 이용하여 사전 설정된 트레이닝 샘플 집합 중의 트레이닝 샘플에 포함된 샘플 공간 이미지를 입력으로하고, 입력된 샘플 공간 이미지와 대응되는 표기 물체 특성 정보(물체 특성 정보는 물체의 외관 특성, 예를 들어 물체의 유형, 스타일 등 특성을 특성화할 수 있음)를 목표 출력으로 하여, 초기 모델(예를 들어, 다양한 구조의 컨볼루션 신경망)을 트레이닝할 수 있고, 매 회 트레이닝 시 입력된 샘플 공간 이미지에 대해 실제 출력을 얻을 수 있다. 여기서, 실제 출력은 초기 모델에 의해 실제로 출력되는 데이터이며, 물체 특성 정보를 특성화한다. 그 다음, 상기 수행 주체는 경사 하강법 및 역전파법을 이용하여, 실제 출력과 목표 출력에 기반하여 초기 모델의 파라미터를 조정하며, 매 회 파라미터 조정 후 얻은 모델을 다음 트레이닝의 초기 모델로 하고, 사전 설정된 트레이닝 마감 조건을 만족할 경우 트레이닝을 마감함으로써 이미지 인식 모델을 트레이닝하여 얻을 수 있다. 그리고, 사전 설정된 트레이닝 마감 조건은, 트레이닝 시간이 사전 설정 시간을 초과하는 것; 트레이닝 횟수가 사전 설정 횟수를 초과하는 것; 사전 설정된 손실 함수(예를 들어, 크로스 엔트로피 손실 함수)를 이용하여 얻은 로스값이 사전 설정 로스값 임계값 미만인 것 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.

단계 2012에서, 3차원 모델과 대응되는 3차원 포인트 클라우드 정보를 얻는다.

일 실시예에서, 원격단 또는 로컬로부터 3차원 포인트 클라우드 정보를 얻을 수 있다. 3차원 포인트 클라우드 정보는 3차원 모델 중 픽셀에 대응되는 3차원 좌표값을 포함할 수 있다. 예를 들어, 3차원 모델 구축 시, 깊이 카메라를 이용하여 하우스 등 3차원 공간의 이미지를 촬영하여 공간 이미지를 얻고, 공간 이미지를 깊이 이미지로하여, 공간 이미지에 대응되는 깊이 정보를 얻을 수 있다. 깊이 정보는 공간 이미지 중의 물체 이미지와 카메라의 결상면 사이의 거리를 특성화한다. 깊이 이미지 중의 각 픽셀은 하나의 깊이값에 대응되고, 깊이값은 픽셀이 지시하는 위치와 카메라의 결상면 사이의 거리를 특성화한다. 전자기기는 깊이 정보에 의해 특성화되는 거리에 따라 3차원 포인트 클라우드 정보를 결정할 수 있다.

단계 2013에서, 3차원 포인트 클라우드 정보와 3차원 모델에서 디스플레이 영역의 위치에 기반하여 디스플레이 위치 정보를 결정하되, 여기서, 디스플레이 위치 정보는 3차원 모델에서의 공간 좌표를 포함한다.

일 실시예에서, 공간 이미지 중의 각각 물체 이미지는 하나의 3차원 포인트 클라우드 집합에 대응될 수 있고, 이 3차원 포인트 클라우드 집합 중의 각각 3차원 포인트 클라우드는 물체 상의 하나의 포인트를 특성화한다. 3차원 포인트 클라우드 정보와 3차원 모델에서 디스플레이 영역의 위치에 따라 3차원 모델에서 정보 디스플레이 장치의 디스플레이 영역의 각각 정점의 공간 좌표를 결정할 수 있다. 예를 들어, 이미지 인식 모델을 통해 텔레비전 및 텔레비전의 디스플레이 스크린을 인식하고, 디스플레이 스크린의 위치 정보를 결정하며, 3차원 포인트 클라우드 정보와 3차원 모델에서 디스플레이 스크린의 위치에 따라 3차원 모델에서 이 디스플레이 스크린의 4 개의 정점의 공간 좌표를 결정하고, 네 개의 공간 좌표를 통해 3차원 모델에서 텔레비전의 디스플레이 스크린의 구체적 위치를 결정한다. 도 4는 본 발명의 정보 재생 방법의 일 실시예에서 정보 디스플레이 장치가 시야 범위에 있는지 여부를 판단하는 흐름도이며, 도 4에 도시된 바와 같이, 다음과 같은 단계를 포함한다.

단계 2031에서, 현재 가상 사용자 시야 정보를 얻고, 시야 정보는 가상 사용자의 현재의 위치 정보 및 가상 사용자의 시각 범위 정보를 포함한다.

일 실시예에서, 전자기기는 가상 사용자의 위치 및 가상 사용자의 시야 범위에 따라 가상 사용자의 시야 정보를 결정할 수 있다. 사용자가 3차원 모델에서 브라우징 시, 하나의 가상 사용자가 3차원 모델에서 사용자의 리얼 위치를 항시 시뮬레이션하며, 육안의 시각 범위는 일반적으로 60°-120° 사이의 고정된 각도이나, 사용자가 다른 위치에서 보게 되는 3차원 모델도 다르므로, 가상 사용자의 시야 정보를 결정하면, 가상 사용자의 위치 및 시각 범위가 필요된다.

단계 2032에서, 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 있는지 여부를 판단한다.

본 실시예에서, 전자기기는 물체의 좌표 정보를 얻을 수 있고, 단계 2031에서 가상 사용자의 시야 정보를 얻였으며, 가상 사용자의 시야 정보와 3차원 모델을 교차 처리 후, 가상 사용자의 시야 범위 내에 위치하는 물체 정보를 얻을 수 있다.

일 실시예에서, 전자기기는 3차원 모델에서 정보 디스플레이 장치의 끝점의 공간 좌표를 얻고; 가상 사용자의 시야 내에 위치한 끝점의 공간 좌표의 수량이 사전 설정된 임계값을 초과하는 경우, 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 있다고 판단한다. 예를 들어, 정보 디스플레이 장치의 끝점 중 2개가 가상 사용자의 시야 범위 내에 있는 경우, 이 정보 디스플레이 장치가 가상 사용자의 시야 범위에 있다고 판단하도록 설정할 수 있다. 즉, 임계값을 2로 설정하며, 실제 상황에 따라 3, 4와 같은 자연수로 설정할 수도 있음은 물론이다.

가상 사용자의 시야 범위 내에 위치한 끝점의 공간 좌표의 수량이 사전 설정된 임계값 보다 작거나 같은 경우, 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 없음을 판단할 수 있다. 이 경우에서, 디스플레이 정보를 일시적으로 재생하지 않도록 설정할 수 있으며, 예를 들어, 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 없는 것으로 판단하면, 디스플레이 정보의 재생을 일시 정지하고, 가상 사용자의 시야 범위에서 디스플레이 영역을 볼 수 있을 때 다시 재생한다. 이 경우에서, 여전히 디스플레이 정보를 재생하도록 설정할 수도 있으며, 단지 가상 사용자가 시야 범위의 제한으로 인해 불 수 없을 뿐이다.

정보 재생층에서 디스플레이 정보의 재생은 다양한 방법을 사용할 수 있다. 예를 들어, 현재 가상 사용자의 시야 정보를 얻고, 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 있는지 여부를 판단하며, 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 위치한 경우, 정보 재생층에 디스플레이 정보를 로딩하고 자동 재생하거나, 또는, 사용자의 재생 명령에 응답하여 재생한다. 디스플레이 정보의 재생은 자동 재생과 수동 트리거링 두 가지 재생 형태를 이용할 수 있다. 예를 들어, 사용자가 3차원 모델에서 브라우징 시, 3차원 모델 중의 텔레비전이 사용자의 가시 범위 내에 위치하면 텔레비전의 영상은 자동으로 재생되는 것이며, 또는 텔레비전이 사용자의 가시 범위 내에 위치하고, 사용자가 3차원 모델에서 텔레비전을 클릭하면, 텔레비전의 재생을 트리거링할 수 있다.

정보 재생층에 재생 버튼을 렌더링하고, 재생 버튼의 트리거링에 응답하여 상응한 재생 동작을 수행한다. 정보 재생층에 인터랙션 버튼을 추가로 렌더링하여 리얼 플레이어를 시뮬레이션할 수 있다. 사용자는 이 재생 버튼에 클릭, 선택 등 동작을 수행하여, 리얼 공간에서의 사용자 인터랙션을 실현할 수 있다. 예를 들어, 일시 정지, 재생, 전환 또는 재생 속도 변환 등 인터랙션 버튼을 렌더링할 수 있고, 사용자가 이미지, 스트리밍 미디어 또는 인간-컴퓨터 인터랙션 인터페이스를 재생 시, 인터랙션 동작을 수행하여 영상을 일시 정지하도록 할 수 있다. 자동 일시 정지, 수동 일시 정지를 포함하며, 자동 일시 정지는, 영상 재생 시간을 보다 구체적으로 자체 정의할 수 있으며, 일정한 시간이 되면, 영상은 자동으로 일시 정지되고; 수동 일시 정지는, 사용자가 수동으로 텔레비전을 클릭하여 재생을 일시 정지할 수 있으며, 사용자가 수동으로 텔레비전을 클릭하지 않으면 영상은 반복 재생된다.

일 실시예에서, 3차원 모델에서 복수의 디스플레이 영역을 인식하였을 경우, 각각 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어한다. 이러한 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보는 모두 동일할 수 있고, 모두 다를 수도 있으며, 일부가 동일할 수도 있다.

3차원 모델에서 복수의 디스플레이 영역을 인식하였을 경우는 다음과 같은 경우를 포함할 수 있다. (1) 3차원 모델에서는 하나의 디스플레이 장치를 포함하고, 이 디스플레이 장치는 복수의 디스플레이 영역을 포함한다(예를 들어, 이 디스플레이 장치는 멀티 스크린 장치임). (2) 3차원 모델에서는 복수의 디스플레이 장치를 포함(예를 들어, 3차원 모델에서는 텔레비전, 컴퓨터 디스플레이, 홈 시어터 등 복수의 디스플레이 장치를 포함함)하고, 각 디스플레이 장치는 하나 또는 복수의 디스플레이 영역을 포함한다. 예를 들어, 동일한 3차원 모델에서는 복수의 텔레비전을 포함하고, 서로 다른 텔레비전이 서로 다른 영상을 재생하도록 제어한다.

사용자가 사전 설정된 시간대 내에서 복수의 3차원 모델을 브라우징한 경우, 복수의 3차원 모델과 대응되는 디스플레이 정보를 재생해야 할 목표 디스플레이 영역을 결정하고, 각 목표 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보가 모두 다르도록 제어한다. 예를 들어, 사용자가 30분 내에 복수의 3차원 모델(하우스 3차원 모델)을 브라우징하면, 사용자가 브라우징하는 각 3차원 모델 중의 텔레비전에서 재생되는 영상은 모두 다르다.

일 실시예에서, 디스플레이 위치 정보는 3차원 모델에서 디스플레이 영역의 끝점(예를 들어, 네 개의 끝점)의 공간 좌표를 포함한다. 끝점(네 개의 끝점)에 기반하여 디스플레이 정보의 재생을 위한 디스플레이 평면(즉, 디스플레이 영역)을 결정할 수 있으나, 결정된 디스플레이 평면은 경사진 것일 수 있으며, 이는 사용자의 시청감을 떨어뜨린다. 사용자가 시청하는 디스플레이 정보(예를 들어, 하나의 이미지)의 경사도를 감소시키기 위해, 다음과 같은 방법을 이용할 수 있다.

우선, 끝점의 공간 좌표에 기반하여 결정된 디스플레이 영역을 복수의 서브 디스플레이 영역으로 구획한다. 예를 들어, 네 개의 끝점에 기반하여 하나의 직사각형 디스플레이 영역을 결정하고, 이 직사각형 디스플레이 영역을 복수의 서브 디스플레이 영역으로 구획하며, 이러한 서브 디스플레이 영역은 복수의 스트립 형상 서브 영역 또는 복수의 삼각형 서브 영역 또는 복수의 블록형 서브 영역으로 구현될 수 있다. 이러한 서브 영역은 크기가 동일할 수 있고, 크기가 완전히 동일하지 않을 수도 있으며, 예를 들어, 구체적인 디스플레이 요구에 따라, 수량이 비교적 적은 희소 서브 영역 및 수량이 비교적 많은 밀집 서브 영역을 포함한다.

이어서, 디스플레이 영역에서 재생될 디스플레이 정보를 디스플레이 위치에서 복수의 서브 디스플레이 영역과 일대일로 대응되는 복수의 서브 디스플레이 정보로 구획한다. 예를 들어, 상기 단계에서 이미 디스플레이 영역을 스트립 형상의 복수의 서브 영역으로 구획하였으면, 디스플레이될 이미지를 스트립 형상의 복수의 서브 영역과 위치 상 일대일로 대응되는 스트립 형상의 복수의 서브 이미지로 구획한다.

이어서, 각 서브 디스플레이 영역에서 상응한 서브 디스플레이 정보가 디스플레이하도록 제어한다. 예를 들어, 가장 좌측의 서브 디스플레이 영역에서 가장 좌측의 서브 이미지를 디스플레이하고, 중간의 서브 디스플레이 영역에서 중간의 서브 이미지를 디스플레이하며, 가장 우측의 서브 디스플레이 영역에서 가장 우측의 서브 이미지를 디스플레이한다.

이와 같이, 결정된 디스플레이 영역(디스플레이 평면)이 경사질 수 있는 경우, 영역을 구획하여 디스플레이하는 방식을 통해 가상 사용자가 시청하는 디스플레이 정보의 경사도를 대폭 감소하여, 사용자의 시청감을 향상시키고, 사용자 경험을 강화시킬 수 있다.

예시적 장치

일 실시예에서, 도 5A에 도시된 바와 같이, 본 발명은, 디스플레이 영역 인식 모듈(501), 디스플레이 위치 결정 모듈(502), 디스플레이 정보 재생 모듈(503) 및 디스플레이 정보 인터랙션 모듈(504)을 포함하는 정보 재생 장치를 제공한다.

디스플레이 영역 인식 모듈(501)은 3차원 모델에서의 공간 이미지를 인식 처리하여 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻는다. 디스플레이 위치 결정 모듈(502)은 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정한다. 디스플레이 정보 재생 모듈(503)은 디스플레이 위치 정보에 기반하여 디스플레이 영역 내에서 정보 재생층을 중첩하여 정보 재생층에서 디스플레이 정보를 재생한다.

도 5B에 도시된 바와 같이, 정보 재생 장치는 디스플레이 정보 인터랙션 모듈(504)을 더 포함하며, 사용자의 재생 제어 명령에 응답하여, 정보 재생층에서 재생되는 디스플레이 정보에 대해 대응되는 인터랙션 동작을 수행한다.

일 실시예에서, 디스플레이 영역 인식 모듈(501)은 3차원 모델을 이미지 인식 모델에 입력하고, 이미지 인식 모델을 이용하여 공간 이미지에서 정보 디스플레이 장치 및 디스플레이 영역을 인식하며, 3차원 모델에서 정보 디스플레이 장치 및 디스플레이 영역의 위치를 결정한다. 디스플레이 영역 인식 모듈(501)은 정보 디스플레이 장치가 캘리브레이팅된 3차원 모델 샘플에 기반하여 트레이닝 샘플을 생성하되, 여기서, 정보 디스플레이 장치에서 디스플레이 영역을 캘리브레이팅한다. 디스플레이 영역 인식 모듈(501)은 딥 러닝 방법을 이용하고 트레이닝 샘플에 기반하여 사전 설정된 딥 러닝 모델을 트레이닝함으로써 이미지 인식 모델을 얻는다.

디스플레이 위치 결정 모듈(502)은 3차원 모델과 대응되는 3차원 포인트 클라우드 정보를 얻고, 3차원 포인트 클라우드 정보와 3차원 모델에서 디스플레이 영역의 위치에 기반하여 3차원 모델에서의 공간 좌표를 포함하는 디스플레이 위치 정보를 결정한다.

디스플레이 정보 재생 모듈(503)은 현재 가상 사용자 시야 정보를 얻고, 시야 정보는 가상 사용자의 현재의 위치 정보 및 가상 사용자의 시각 범위 정보를 포함한다. 디스플레이 정보 재생 모듈(503)은 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 있는지 여부를 판단하고, 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 위치한 경우, 정보 재생층에 디스플레이 정보를 로딩하고 자동 재생하거나, 또는, 사용자의 재생 명령에 응답하여 재생한다.

디스플레이 정보 재생 모듈(503)은 3차원 모델에서 정보 디스플레이 장치의 끝점의 공간 좌표를 얻고, 가상 사용자의 시야 내에 위치한 끝점의 공간 좌표의 수량이 사전 설정된 임계값을 초과하는 경우, 정보 디스플레이 장치가 가상 사용자의 시야 범위 내에 있다고 판단한다.

일 실시예에서, 디스플레이 정보 인터랙션 모듈(504)은 정보 재생층에 인터랙션 버튼을 마련하고, 인터랙션 버튼을 통해 사용자에 의해 발송된 재생 제어 명령에 응답하여 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하며, 여기서, 인터랙션 동작은, 일시 정지, 재생, 전환 및 재생 속도 변환 중의 하나 또는 복수를 포함한다.

3차원 모델에서 복수의 디스플레이 영역을 인식하였을 경우, 디스플레이 정보 재생 모듈(503)은 각 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보가 모두 다르도록 제어한다. 사용자가 사전 설정된 시간대 내에서 복수의 3차원 모델을 브라우징한 경우, 디스플레이 정보 재생 모듈(503)은 복수의 3차원 모델과 대응되는 디스플레이 정보를 재생해야 할 목표 디스플레이 영역을 결정하고, 각 목표 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보가 모두 다르도록 제어한다.

정보 재생 장치는 디스플레이 제어 전략을 포함하는 디스플레이 정보 제어 모듈을 더 포함할 수 있다. 일부 경우에서, 끝점(예를 들어, 네 개의 끝점)에 기반하여 디스플레이 정보의 재생을 위한 디스플레이 평면(즉, 디스플레이 영역)을 결정할 수 있으나, 결정된 디스플레이 평면은 경사진 것일 수 있으며, 이는 사용자의 시청감을 떨어뜨린다. 디스플레이 정보 제어 모듈에 포함된 디스플레이 제어 전략은 사용자가 시청하는 디스플레이 정보(예를 들어, 하나의 이미지)의 경사도를 감소시킬 수 있다.

디스플레이 정보 제어 모듈은, 끝점의 공간 좌표에 기반하여 결정된 디스플레이 영역을 복수의 서브 디스플레이 영역으로 구획하고; 디스플레이 영역에서 재생되는 디스플레이 정보를 디스플레이 위치에서 복수의 서브 디스플레이 영역과 일대일로 대응되는 복수의 서브 디스플레이 정보로 구획하며; 그리고 각 서브 디스플레이 영역에서 상응한 서브 디스플레이 정보가 디스플레이되도록 제어하게 구성된다. 이와 같이, 결정된 디스플레이 영역(디스플레이 평면)이 경사질 수 있는 경우, 디스플레이 정보 제어 모듈은 영역을 구획하여 디스플레이하는 방식을 통해 가상 사용자가 시청하는 디스플레이 정보의 경사도를 대폭 감소하여, 사용자의 시청감을 향상시키고, 사용자 경험을 강화시킬 수 있다.

도 6은 본 발명의 전자기기의 일 실시예의 구조도이며, 도 6에 도시된 바와 같이, 전자기기(61)는 하나 또는 복수의 프로세서(611) 및 메모리(612)를 포함한다.

프로세서(611)는 중앙처리장치(CPU) 또는 데이터 처리 능력 및/또는 명령 수행 능력을 가지는 기타 형태의 처리 장치일 수 있으며, 전자기기(61)의 기타 구성 요소를 제어하여 목표 기능을 수행하도록 할 수 있다.

메모리(612)는 하나 또는 복수의 컴퓨터 프로그램 제품을 포함할 수 있고, 컴퓨터 프로그램 제품은 휘발성 메모리 및/또는 비휘발성 메모리와 같은 다양한 형태의 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 휘발성 메모리는 예를 들어, 랜덤 액세스 메모리(RAM) 및/또는 캐시 메모리(CACHE) 등을 포함할 수 있다. 비휘발성 메모리는 예를 들어, 리드 온리 메모리(ROM), 하드 디스크 및 플래시 메모리 등을 포함할 수 있다. 컴퓨터 판독 가능 저장 매체에는 하나 또는 복수의 컴퓨터 프로그램 명령이 저장될 수 있으며, 프로세서(611)는 프로그램 명령을 실행하여 상술한 본 발명의 각 실시예의 정보 재생 방법 및/또는 기타 목표 기능을 구현할 수 있다. 컴퓨터 판독 가능 저장 매체는 입력 신호, 신호 성분, 노이즈 성분 등 다양한 내용을 저장할 수 있다.

일 예시에서, 전자기기(61)는, 입력 장치(613) 및 출력 장치(614) 등을 더 포함할 수 있으며, 이러한 구성 요소는 버스 시스템 및/또는 기타 형태의 연결 메카니즘(미도시)을 통해 연결된다. 또한, 상기 입력 장치(613)는 키보드, 마우스 등을 더 포함할 수 있다. 상기 출력 장치(614)는 외부로 다양한 정보를 출력할 수 있다. 상기 출력 장치(614)는 예를 들어, 디스플레이, 스피커, 프린터, 그리고 통신 네트워크 및 이와 연결되는 원격 출력 장치 등을 포함할 수 있다.

물론 간략화를 위해, 도 6에서는 상기 전자기기(61) 중 본 발명과 관련된 구성 요소의 일부만 도시하였고, 버스, 입출력 인터페이스 등 구성 요소를 생략하였다. 또한, 구체적인 응용에 따라 전자기기(61)는 임의의 기타 적절한 구성 요소를 포함할 수도 있다.

상기 방법 및 장치를 제외하고, 본 발명의 실시예는 기계 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품을 제공하며, 상기 기계 판독 가능 매체는 기계에 의해 상기 정보 재생 방법의 각 동작이 수행되도록 하는 컴퓨터 프로그램 명령(코드)을 포함한다. 예를 들어, 컴퓨터 프로그램 명령은 프로세서에 의해 실행될 때 프로세서가 본 명세서의 상기 "예시적 방법" 부분에서 설명한 본 발명의 다양한 실시예에 따른 정보 재생 방법의 단계를 수행하도록 한다.

컴퓨터 프로그램 제품은 하나 또는 다수의 프로그램 디자인 언어의 임의 조합으로 본 발명의 실시예의 동작을 수행하는 프로그램 코드를 작성할 수 있으며, 상기 프로그램 디자인 언어는 예를 들어, Java, C++ 등 대상을 향한 프로그램 디자인 언어를 포함하고, C언어 또는 유사한 프로그램 디자인 언어와 같은 상규적인 절차형 프로그램 디자인 언어를 더 포함한다. 프로그램 코드는 사용자 컴퓨터 장치에서 완전히 수행되거나, 일부가 사용자 장치에서 수행되거나, 별도의 소프트웨어 패키지로 수행되거나, 일부가 사용자 컴퓨터 장치에서 수행되고 일부가 원격 컴퓨터 장치에서 수행되거나, 또는 원격 컴퓨터 장치 또는 서버에서 완전히 수행될 수 있다.

또한, 본 발명의 실시예는 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체일 수도 있고, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행될 때 상기 프로세서가 본 명세서의 상기 "예시적 방법" 부분에서 설명된 본 발명의 다양한 실시예에 따른 정보 재생 방법의 단계를 수행하도록 한다.

상기 컴퓨터 판독 가능 저장 매체는 하나 또는 다수의 판독 가능 매체의 임의 조합을 이용할 수 있다. 판독 가능 매체는 판독 가능 신호 매체 또는 판독 가능 저장 매체일 수 있다. 판독 가능 저장 매체는 예를 들어, 전기, 자기, 광, 전자기, 적외선 또는 반도체의 시스템, 장치 또는 소자, 또는 임의의 상기 조합들을 포함할 수 있으나 이에 한정되지 않는다. 판독 가능 저장 매체의 보다 구체적인 예시(철저하지 못한 리스트)는, 하나 또는 복수의 도선을 가지는 전기적 연결, 휴대식 디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 소거 가능 프로그램 가능 리드 온리 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대식 컴팩트 리드 온리 메모리(CD-ROM), 광 메모리 소자, 자기 메모리 소자, 또는 상기의 임의 적합한 조합을 포함할 수 있다.

이상, 구체적인 실시예와 결합하여 본 발명의 기본 원리를 설명하였으나, 본 발명에서 언급된 장점, 우위, 효과 등은 예시적인 것이며 한정되는 것이 아님에 유의해야 하며, 이러한 장점, 우위 및 효과 등은 본 발명의 각 실시예가 반드시 구비해야 하는 것으로 간주되지 말아야 한다. 또한, 상기 발명의 구체적인 세부사항은 예시적인 역할과 이해의 편리를 위한 것이며, 한정하기 위한 것이 아니다. 상기 세부사항은 본 발명이 반드시 상기 구체적인 세부사항을 이용하여 구현되는 것으로 한정하지 않는다.

상기 실시예의 정보 재생 방법, 장치 및 전자기기, 저장 매체는, 3차원 모델에서의 정보 디스플레이 장치 및 디스플레이 영역을 얻고, 디스플레이 영역의 위치 정보에 기반하여 디스플레이 영역 내에서 정보 재생층을 중첩하고 디스플레이 정보를 재생하며, 정보 재생층에서 재생되는 디스플레이 정보에 대해 대응되는 인터랙션 동작을 수행하고; 3차원 모델 중의 정보 디스플레이 장치에서 정보 재생층을 중첩시켜 3차원 모델에서 정보 인터랙션을 구현함으로써, 사용자가 3차원 모델에서 리얼 씬과 보다 가까워질 수 있도록 하여 사용자 경험을 향상시킨다.

본 명세서의 각 실시예는 모두 점진적 방식을 이용하여 설명되었으며, 각 실시예의 중점적인 설명은 모두 기타 실시예와의 차이점이며, 각 실시예 사이의 동일하거나 유사한 부분은 서로 참조될 수 있다. 시스템 실시예는 방법 실시예와 기본적으로 대응되므로, 비교적 간단하게 설명하였으며, 관련된 부분은 방법 실시예의 일부 설명을 참조할 수 있다.

본 발명에서 언급된 소자, 장치, 기기, 시스템의 블록도는 예시적인 예이며, 반드시 블로도에 도시된 방식으로 연결, 배치, 설정되어야 함을 요구하거나 암시하지 않는다. 당업자에게 있어서, 임의의 방식으로 이러한 소자, 장치, 기기 및 시스템을 연결, 배치, 설정할 수 있다. "포괄", "포함", "구비" 등 용어는 개방적 단어이며, "포함하지만 이에 한정되지 않음"을 의미하며, 서로 바뀌어 사용될 수 있다. 여기서 사용된 단어 "또는" 및 "및"은 단어 "및/또는"을 의미하며, 문맥상 명확하게 그렇지 않다고 지시하지 않는 한, 서로 바뀌어 사용될 수 있다. 여기서 사용되는 단어 "와 같은"은 "와 같으나 이에 한정되지 않음"을 의미하며, 서로 바뀌어 사용될 수 있다.

본 발명의 방법 및 장치는 다양한 형태로 구현될 수 있다. 예를 들어, 소프트웨어, 하드웨어, 펌웨어 또는 소프트웨어, 하드웨어, 펌웨어의 임의 조합을 통해 본 발명의 방법 및 장치를 구현할 수 있다. 상기 방법의 단계의 상기 순서는 설명을 위한 것일 뿐이며, 본 발명의 방법의 단계는 기타 방식으로 특별히 설명되지 않는 한 상기 구체적인 설명 순서에 한정되지 않는다. 또한, 일부 실시예에서, 본 발명을 기록 매체에 저장된 프로그램으로 실시할 수 있으며, 이러한 프로그램은 본 발명의 방법을 구현할 수 있는 기계 판독 가능 명령을 포함한다. 따라서 본 발명은 본 발명에 따른 방법을 수행하는 프로그램을 저장하는 기록 매체를 더 포함한다.

또한, 본 발명의 장치, 기기 및 방법에서, 각 부재 또는 각 단계는 분해 및/또는 재조합될 수 있다. 이러한 분해 및/또는 재조합은 본 발명의 동등한 효과의 해결수단으로 간주되어야 한다.

당업자가 본 발명을 제조 또는 사용할 수 있도록 개시된 측면의 상기 설명을 제공한다. 이러한 측면에 대한 다양한 변경 등은 당업자에게 있어서 자명한 것이며, 여기서 정의된 일반 원리는 본 발명의 범위를 벗어나지 않으면서 기타 측면에 응용될 수 있다. 따라서 본 발명은 여기서 제시된 측면에 한정되려는 의도가 아니라, 여기서 개시된 원리 및 신규 특성과 일치한 가장 넓은 범위를 따른다.

예시와 설명의 목적을 위해 상술한 설명을 제공하였다. 또한, 여기서의 설명은 본 발명의 실시예를 여기서 개시한 형태로 한정하고자 하는 것이 아니다. 이상에서 이미 다양한 예시적 측면 및 실시예를 설명하였으나 당업자라면 이들이 일부 변형, 수정, 변경, 추가 및 서브 조합임을 인식할 수 있을 것이다.

Claims

3차원 모델에서의 공간 이미지를 인식 처리하여 상기 공간 이미지 중의 정보 디스플레이 장치 및 상기 정보 디스플레이 장치의 디스플레이 영역을 얻는 단계;
상기 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하는 단계; 및
상기 디스플레이 위치 정보에 기반하여 상기 디스플레이 영역 내에서 정보 재생층을 중첩하여 상기 정보 재생층에서 디스플레이 정보를 재생하는 단계;를 포함하는 정보 재생 방법.
제1항에 있어서,
상기 3차원 모델에서의 공간 이미지를 인식 처리하여 상기 공간 이미지 중의 정보 디스플레이 장치 및 디스플레이 영역을 얻는 단계는,
상기 3차원 모델을 이미지 인식 모델에 입력하고, 상기 이미지 인식 모델을 이용하여 상기 공간 이미지에서의 상기 정보 디스플레이 장치 및 상기 정보 디스플레이 장치의 상기 디스플레이 영역을 인식하며, 상기 3차원 모델에서 상기 정보 디스플레이 장치 및 상기 디스플레이 영역의 위치를 결정하는 단계를 포함하는 방법.
제2항에 있어서,
상기 정보 디스플레이 장치가 캘리브레이팅된 3차원 공간 정보의 3차원 모델 샘플에 기반하여 트레이닝 샘플을 생성하되,여기서, 상기 정보 디스플레이 장치의 3차원 공간 정보에는 상기 정보 디스플레이 장치의 디스플레이 영역이 캘리브레이팅되는 단계; 및
딥 러닝 방법을 이용하고 상기 트레이닝 샘플에 기반하여 사전 설정된 딥 러닝 모델을 트레이닝함으로써 상기 이미지 인식 모델을 얻는 단계;를 더 포함하는 방법.
제1항에 있어서,
상기 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하는 단계는,
상기 3차원 모델과 대응되는 3차원 포인트 클라우드 정보를 얻는 단계; 및
상기 3차원 포인트 클라우드 정보와 상기 3차원 모델에서 상기 디스플레이 영역의 위치에 기반하여 상기 디스플레이 위치 정보를 결정하는 단계;를 포함하되,
여기서, 상기 디스플레이 위치 정보는 상기 3차원 모델에서 상기 디스플레이 영역의 끝점의 공간 좌표를 포함하는 방법.
제1항에 있어서,
상기 정보 재생층에서 디스플레이 정보를 재생하는 단계는,
현재 가상 사용자 시야 정보를 얻고, 상기 시야 정보는 상기 가상 사용자의 현재의 위치 정보 및 상기 가상 사용자의 시각 범위 정보를 포함하는 단계;
상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있는지 여부를 판단하는 단계; 및
상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 위치한 경우, 상기 정보 재생층에 상기 디스플레이 정보를 로딩하고 자동 재생하거나, 또는, 사용자의 재생 명령에 응답하여 재생하는 단계;를 포함하는 방법.
제5항에 있어서,
상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있는지 여부를 판단하는 단계는,
상기 3차원 모델에서 상기 정보 디스플레이 장치의 끝점의 공간 좌표를 얻는 단계; 및
상기 가상 사용자의 시야 내에 위치한 상기 끝점의 공간 좌표의 수량이 사전 설정된 임계값을 초과하는 경우, 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있다고 판단하는 단계;를 포함하는 방법.
제1항에 있어서,
사용자의 재생 제어 명령에 응답하여 상기 정보 재생층에서 재생되는 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하는 단계를 더 포함하는 방법.
제7항에 있어서,
사용자의 재생 제어 명령에 응답하여 상기 정보 재생층에서 재생되는 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하는 상기 단계는,
상기 정보 재생층에 인터랙션 버튼을 마련하고, 상기 인터랙션 버튼을 통해 사용자에 의해 입력된 재생 제어 명령에 응답하여 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하는 단계를 포함하되,
여기서, 상기 인터랙션 동작은, 일시 정지, 재생, 전환 및 재생 속도 변환 중의 하나 또는 복수를 포함하는 방법.
제1항에 있어서,
인식된 상기 디스플레이 영역이 복수의 디스플레이 영역을 포함하는 경우, 각각 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어하는 단계를 더 포함하며,
선택 가능하게, 상기 각각 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어하는 단계는,
각각 디스플레이 영역의 정보 재생층에서 서로 다른 디스플레이 정보가 재생되도록 제어하는 단계를 포함하는 방법.
제1항에 있어서,
사용자가 복수의 3차원 모델을 브라우징한 경우, 상기 복수의 3차원 모델과 대응되는 디스플레이 정보를 재생해야 할 목표 디스플레이 영역을 결정하고, 각 목표 디스플레이 영역의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어하는 단계를 더 포함하고,
선택 가능하게, 각 목표 디스플레이 영역의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어하는 단계는,
각 목표 디스플레이 영역의 정보 재생층에서 서로 다른 디스플레이 정보가 재생되도록 제어하는 단계를 포함하는 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 디스플레이 정보는, 정적 이미지, 스트리밍 미디어 정보 또는 인간-컴퓨터 인터랙션 인터페이스 중의 하나 또는 복수 중 적어도 하나를 포함하는 방법.
제1항에 있어서,
상기 디스플레이 위치 정보는 상기 3차원 모델에서 상기 디스플레이 영역의 끝점의 공간 좌표를 포함하고,
상기 끝점의 공간 좌표에 기반하여 결정된 디스플레이 영역을 복수의 서브 디스플레이 영역으로 구획하는 단계;
상기 디스플레이 영역에서 재생되는 디스플레이 정보를 디스플레이 위치에서 상기 복수의 서브 디스플레이 영역과 일대일로 대응되는 복수의 서브 디스플레이 정보로 구획하는 단계; 및
각 서브 디스플레이 영역에서 상응한 서브 디스플레이 정보가 디스플레이되도록 제어하는 단계;를 더 포함하는 방법.
3차원 모델에서의 공간 이미지를 인식 처리하여 상기 공간 이미지 중의 정보 디스플레이 장치 및 상기 정보 디스플레이 장치의 디스플레이 영역을 얻는 디스플레이 영역 인식 모듈;
상기 디스플레이 영역과 대응되는 디스플레이 위치 정보를 결정하는 디스플레이 위치 결정 모듈; 및
상기 디스플레이 위치 정보에 기반하여 상기 디스플레이 영역 내에서 정보 재생층을 중첩하여 상기 정보 재생층에서 디스플레이 정보를 재생하는 디스플레이 정보 재생 모듈;을 포함하는 정보 재생 장치.
제13항에 있어서,
상기 디스플레이 영역 인식 모듈은,
상기 3차원 모델을 이미지 인식 모델에 입력하고, 상기 이미지 인식 모델을 이용하여 상기 공간 이미지에서 상기 정보 디스플레이 장치 및 상기 정보 디스플레이 장치의 상기 디스플레이 영역을 인식하며, 상기 3차원 모델에서 상기 정보 디스플레이 장치 및 상기 디스플레이 영역의 위치를 결정하는 장치.
제14항에 있어서,
상기 디스플레이 영역 인식 모듈은,
상기 정보 디스플레이 장치가 캘리브레이팅된 3차원 공간 정보의 3차원 모델 샘플에 기반하여 트레이닝 샘플을 생성하되, 여기서, 상기 정보 디스플레이 장치의 3차원 공간 정보에는 상기 정보 디스플레이 장치의 디스플레이 영역이 캘리브레이팅되고;
딥 러닝 방법을 이용하고 상기 트레이닝 샘플에 기반하여 사전 설정된 딥 러닝 모델을 트레이닝함으로써 상기 이미지 인식 모델을 얻는 장치.
제13항에 있어서,
상기 디스플레이 위치 결정 모듈은,
상기 3차원 모델과 대응되는 3차원 포인트 클라우드 정보를 얻고;
상기 3차원 포인트 클라우드 정보와 상기 3차원 모델에서 상기 디스플레이 영역의 위치에 기반하여 상기 디스플레이 위치 정보를 결정하되,
여기서, 상기 디스플레이 위치 정보는 상기 3차원 모델에서 상기 디스플레이 영역의 끝점의 공간 좌표를 포함하는 장치.
제13항에 있어서,
상기 디스플레이 정보 재생 모듈은,
현재 가상 사용자 시야 정보를 얻고, 상기 시야 정보는 상기 가상 사용자의 현재의 위치 정보 및 상기 가상 사용자의 시각 범위 정보를 포함하고;
상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있는지 여부를 판단하며;
상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 위치한 경우, 상기 정보 재생층에 상기 디스플레이 정보를 로딩하고 자동 재생하거나, 또는, 사용자의 재생 명령에 응답하여 재생하는 장치.
제17항에 있어서,
상기 디스플레이 정보 재생 모듈은,
상기 3차원 모델에서 상기 정보 디스플레이 장치의 끝점의 공간 좌표를 얻는 데 더 사용되고;
상기 가상 사용자의 시야 내에 위치한 상기 끝점의 공간 좌표의 수량이 사전 설정된 임계값을 초과하는 경우, 상기 정보 디스플레이 장치가 상기 가상 사용자의 시야 범위 내에 있다고 판단하는 장치.
제13항에 있어서,
사용자의 재생 제어 명령에 응답하여 상기 정보 재생층에서 재생되는 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하는 디스플레이 정보 인터랙션 모듈;을 더 포함하는 장치.
제19항에 있어서,
상기 디스플레이 정보 인터랙션 모듈은,
상기 정보 재생층에 인터랙션 버튼을 마련하고, 상기 인터랙션 버튼을 통해 사용자에 의해 입력된 재생 제어 명령에 응답하여 상기 디스플레이 정보에 대해 상응한 인터랙션 동작을 수행하되,
여기서, 상기 인터랙션 동작은, 일시 정지, 재생, 전환 및 재생 속도 변환 중의 하나 또는 복수를 포함하는 장치.
제13항에 있어서,
상기 디스플레이 정보 재생 모듈은,
인식된 상기 디스플레이 영역이 복수의 디스플레이 영역을 포함하는 경우, 각 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어하며,
선택 가능하게, 상기 각 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어하는 것은,
각 디스플레이 영역의 정보 재생층에서 서로 다른 디스플레이 정보가 재생되도록 제어하는 것을 포함하는 장치.
제13항에 있어서,
상기 디스플레이 정보 재생 모듈은,
사용자가 복수의 3차원 모델을 브라우징한 경우, 상기 복수의 3차원 모델과 대응되는 디스플레이 정보를 재생해야 할 목표 디스플레이 영역을 결정하고, 각각 목표 디스플레이 영역 내의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어하고,
선택 가능하게, 각 목표 디스플레이 영역의 정보 재생층에서 재생되는 디스플레이 정보를 각각 제어하는 것은,
각 목표 디스플레이 영역의 정보 재생층에서 서로 다른 디스플레이 정보가 재생되도록 제어하는 것을 포함하는 장치.
제13항에 있어서,
상기 디스플레이 위치 정보는 상기 3차원 모델에서 상기 디스플레이 영역의 끝점의 공간 좌표를 포함하고, 상기 장치는,
상기 끝점의 공간 좌표에 기반하여 결정된 디스플레이 영역을 복수의 서브 디스플레이 영역으로 구획하고;
상기 디스플레이 영역에서 재생되는 디스플레이 정보를 디스플레이 위치에서 상기 복수의 서브 디스플레이 영역과 일대일로 대응되는 복수의 서브 디스플레이 정보로 구획하며; 그리고
각 서브 디스플레이 영역에서 상응한 서브 디스플레이 정보가 디스플레이되도록 제어하는 디스플레이 정보 제어 모듈;을 더 포함하는 장치.
제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
프로세서; 및
상기 프로세서에 의해 수행 가능한 명령을 저장하는 메모리;를 포함하며,
상기 프로세서는 상기 메모리로부터 상기 수행 가능한 명령을 판독하고, 상기 명령을 수행하여 제1항 내지 제12항 중 어느 한 항에 따른 방법을 구현하는 전자기기.
실행 시 기계에 의해 제1항 내지 제12항 중 어느 한 항에 따른 방법이 수행될 수 있도록 하는 수행 가능한 명령이 포함된 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품.