KR101820349B1

KR101820349B1 - 화상 표시 방법 및 장치

Info

Publication number: KR101820349B1
Application number: KR1020167027050A
Authority: KR
Inventors: 루이 아이; 탕우 두; 즈하오얀 지앙; 리 리우; 시안펭 랑
Original assignee: 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date: 2015-03-31
Filing date: 2015-12-28
Publication date: 2018-01-19
Also published as: US20170186212A1; EP3279803A1; EP3279803B1; WO2016155377A1; JP2017518556A; CN104699842A; US10410397B2; JP6298540B2; CN104699842B; KR20160130793A; EP3279803A4

Abstract

본 출원은 화상 표시 방법 및 장치를 개시한다. 상기 방법의 일 구체적인 실시예는 동일한 정경을 포함한 원본 화상 집합을 획득하는 단계와, 원본 화상 집합으로부터 상기 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하고, 재구성 화상 집합 중의 재구성 화상들을 이용하여 정경의 3D 구조를 재구성하는 단계와, 재구성 화상 집합으로부터 표시하고자 하는 화상 집합을 선택하는 단계와, 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하는 단계와, 화상 표시 서열 중의 화상들을 연속적으로 표시하는 단계를 포함한다. 해당 실시예는 동일한 정경을 포함한 화상을 획득하여 화상들 사이의 연관 관계에 따라 화상의 표시 서열을 확정하고, 확정된 표시 순서에 따라 화상을 연속적으로 표시함으로써, 화상을 표시함에 있어서의 화상 속 정경의 공간적 연속성을 증강시킨다.

Description

화상 표시 방법 및 장치{PICTURE PRESENTATION METHOD AND APPARATUS}

본 출원은 컴퓨터 기술 분야에 관한 것으로, 구체적으로는 화상 처리 분야에 관한 것이며, 특히 화상 표시 방법 및 장치에 관한 것이다.

본 출원은 2015년 03월 31일에 제출한, 출원 번호가 "201510150163.2"인 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 전체로서 본 발명에 원용된다.

현재, 일부 애플리케이션에서는 사용자가 공유한 동일한 정경을 포함한 다수의 화상(예를 들어, 사용자가 관광지에서 찍은 사진)을 표시하여 사용자가 공유한 화상들 사이의 연관성을 증가함으로써, 사용자 경험을 향상시킨다. 이미 알려진 기술에 있어서, 사용자가 업로드한 화상을 획득한 후, 동일한 정경을 포함한 화상들을 무질서하게 배열하므로 화상을 통해 표시되는 화상 속 정경이 단일해질 뿐만 아니라, 나아가 화상 속 정경의 특점들을 전체적으로 반영할 수 없으므로 화상이 표현하는 정경의 내용이 풍부하지 못하고 사용자가 화상을 브라우징함에 있어서의 경험이 저하시킨다.

본 출원은 상기 배경 기술 부분에서 언급된 기술적 문제를 해결하기 위해 안출한 것으로, 화상 표시 방법 및 장치를 제공하고자 한다.

제1 방면에 있어서, 본 출원은 화상 표시 방법을 제공하며, 상기 방법은, 동일한 정경을 포함한 원본 화상 집합을 획득하는 단계와, 원본 화상 집합으로부터 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하고, 재구성 화상 집합 중의 재구성 화상들을 이용하여 3D 특징 포인트를 포함하는 정경의 3D 구조를 재구성하는 단계와, 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 기정 역치보다 큰 표시하고자 하는 화상 집합을 선택하는 단계와, 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하는 단계와, 화상 표시 서열 중의 화상들을 연속적으로 표시하는 단계를 포함한다.

제2 방면에 있어서, 본 출원은 화상 표시 장치를 제공하며, 상기 장치는, 동일한 정경을 포함한 원본 화상 집합을 획득하도록 구성된 획득 모듈; 원본 화상 집합으로부터 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하고, 재구성 화상 집합 중의 재구성 화상들을 이용하여 정경의 3D 구조를 재구성하도록 구성되되, 정경의 3D 구조는 3D 특징 포인트를 포함하는 재구성 모듈; 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 기정 역치보다 큰 표시하고자 하는 화상 집합을 선택하도록 구성된 선택 모듈; 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하도록 구성된 확정 모듈; 및 화상 표시 서열 중의 화상들을 연속적으로 표시하도록 구성된 표시 모듈을 포함한다.

본 출원에 제공된 화상 표시 방법 및 장치는, 동일한 정경을 포함한 화상을 획득하여 화상들 사이의 연관 관계에 근거하여 화상의 표시 서열을 확정하고, 확정된 표시 순서에 따라 화상을 연속적으로 표시하여 화상을 표시함에 있어서의 화상 속 정경의 공간적 연속성을 증강시킴으로써 화상이 표현하는 정경의 내용을 풍부하게 하고, 나아가, 화상들 사이에 과도 화상을 삽입함으로써 화상 속의 정경이 공간상 연속적으로 표시되는 과정에서 매끄러운 과도를 실현하도록 한다.

본 출원의 기타 특징, 목적 및 장점들은 아래 첨부된 도면을 참조하여 진행한 비한정적 실시예들에 대한 상세한 설명으로부터 더욱 명확해 질 것이다.
도 1은 본 출원에 따른 화상 표시 방법의 일 실시예의 흐름도를 나타낸다.
도 2는 본 출원에 따른 화상 표시 방법의 다른 일 실시예의 흐름도를 나타낸다.
도 3은 본 출원에 따른 화상 표시 방법 중 과도 화상을 삽입시키는 과정의 일 예시적 개략도를 나타낸다.
도 4는 본 출원에 따른 화상 표시 장치의 일 실시예의 구조적 개략도를 나타낸다.
도 5는 본 출원에 적합한 컴퓨터 시스템의 구조적 개략도를 나타낸다.

이하, 첨부된 도면 및 실시예들을 결합하여 본 출원에 대한 더욱 상세한 설명을 진행하기로 한다. 여기에 설명된 구체적인 실시예들은 단지 관련된 발명을 해석하기 위한 것일 뿐, 해당 발명을 한정하기 위한 것이 아님을 이해할 것이다. 또한, 설명의 편의를 위하여 첨부된 도면에서는 오직 발명에 관련되는 부분만 도시하였다.

본 출원의 실시예 및 실시예 중의 특징들은 모순되지 않는 한 서로 조합될 수 있음을 자명할 것이다. 이하, 첨부된 도면을 참조하고 실시예들을 결합하여 본 출원에 대한 상세한 설명을 진행하기로 한다.

도 1을 참조하면, 도 1은 본 출원에 따른 화상 표시 방법의 일 실시예의 흐름(100)을 나타낸다. 해당 방법은 아래와 같은 단계들을 포함한다.

단계(101)에서, 동일한 정경을 포함한 원본 화상 집합을 획득한다.

본 실시예에 있어서, 동일한 정경(예를 들어, 관광지)을 포함한 원본 화상은 사용자가 공유한 UGC(User Generated Content; 사용자 생성 내용) 화상일 수 있다. 일 실시예에 있어서, 서로 다른 사이트에서 주동적으로 화상을 포획하는 방식으로 동일한 정경을 포함한 원본 화상을 획득할 수 있다. 예를 들어, 서로 다른 사이트에서 화상 명칭에 동일한 관광지의 명칭이 포함된 원본 화상을 포획함으로써 동일한 관광지를 포함한 원본 화상을 획득할 수 있다.

본 실시예의 일부 선택적인 실시예에 있어서, 동일한 정경을 포함한 원본 화상 집합을 획득하는 단계는, 정경에 대응되는 지리적 위치 정보를 포함하는 정경 선택 명령을 수신하는 단계와, 지리적 위치 정보에 근거하여 지리적 위치 정보에 대응되는 원본 화상 집합을 획득하는 단계를 포함한다. 먼저 서로 다른 여러 개의 정경(예를 들어, 관광지)에 관한 화상들을 사용자에게 표시할 수 있고, 화상에 대한 사용자의 선택 조작(예를 들어, 클릭 조작)에 따라 사용자가 브라우징하고자 하는 정경을 확정할 수 있다. 사용자가 브라우징하고자 하는 정경을 확정한 후, 진일보로 해당 정경에 대응되는 주소 정보를 확정하며, 여기서 정경과 정경의 주소 정보 사이의 대응관계는 미리 설정될 수 있다. 정경의 주소 정보를 확정한 후, 원래의 정보에 기록된 촬영 위치 정보와 정경의 주소 정보를 매칭시켜 촬영 위치 정보에 기록된 촬영 위치와 정경의 주소 정보가 일치한 화상을 선택함으로써 동일한 정경을 포함한 원본 화상을 선택할 수 있다.

본 실시예의 일부 선택적인 실시예에 있어서, 동일한 정경을 포함한 원본 화상 집합을 획득하는 단계 이후, 원본 화상 집합에 대해 선처리 조작을 진행하는 단계를 더 포함하고, 여기서, 선처리 조작은 원본 화상 집합에서 화상 품질이 기정 값보다 낮은 원본 화상을 필터링하는 조작 및 원본 화상 집합 중의 원본 화상의 촬영 위치를 정상적인 촬영 자태로 교정하는 조작 중 적어도 임의의 하나를 포함한다.

화상 속의 EXIF(Exchangeable Image File; 교환 가능한 이미지 파일) 정보에 근거하여 원본 화상에 대해 필터링 조작을 진행함으로써 화상 형성 품질이 비교적 낮은 화상을 필터링할 수 있다. 이와 동시에, 원본 화상에 대해 이미지 교정 조작을 진행할 수 있다. 즉 이미지가 정상적인 촬영 자태로 조정되도록 원본 화상 속의 이미지에 대해 회전 조작을 진행할 수 있다. 화상을 선택하는 방식을 이용하여 정경의 3D 구조의 재구성과 연관성이 낮은 화상을 제거할 수 있다.

단계(102)에서, 원본 화상 집합으로부터 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하고, 재구성 화상 집합 중의 재구성 화상들을 이용하여 정경의 3D 구조를 재구성한다.

본 실시예에 있어서, 동일한 정경을 포함한 원본 화상을 획득한 후, 동일한 정경을 포함한 원본 화상을 이용하여 정경의 3D 구조를 재구성할 수 있다. 동일한 정경을 포함한 각 원본 화상에서 일정한 수량의 특징 포인트를 선택하여 정경의 3D 구조의 재구성에 사용할 수 있다. 특징 포인트는 원본 화상 속의 정경의 윤곽을 나타내는 포인트일 수 있다. 원본 화상 속의 정경이 관광지 용문석굴인 경우를 예로 들면, 특징 포인트는 원본 화상 속의 정경의 윤곽을 나타내는 포인트일 수 있으며, 용문석굴 내의 부처상의 다수의 대상(예를 들어, 부처상의 얼굴 부분, 눈 부분, 손 부분)의 윤곽 상에서 특징 포인트를 선택할 수 있다. 특징 포인트를 이용하여 정경의 3D 구조를 재구성한 후, 사용자가 UGC 화상을 브라우징하는 인터페이스에 정경의 3D 구조를 표시하고, 동시에 정경의 3D 구조의 상응한 위치에서 정경의 3D 구조를 합성하기 위한 화상의 촬영 위치를 표기할 수도 있으며, 이로써 화상과 정경 사이의 연관성을 진일보 향상시킬 수 있다.

본 실시예의 일부 선택적인 실시예에 있어서, 원본 화상 집합으로부터 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하는 단계는, 원본 화상 집합 중 원본 화상의 스케일 불변 특징 포인트를 추출하는 단계와, 원본 화상들 사이의 스케일 불변 특징 포인트의 매칭 관계에 근거하여 원본 화상 집합으로부터 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하는 단계를 포함한다.

선택적으로, 원본 화상의 SIFT(Scale-Invariant Feature Transform; 스케일 불변 특징 변환) 특징 포인트에 기반하여, 원본 화상으로부터 정경의 3D 구조를 재구성하기 위한 재구성 화상을 선택할 수 있다. 먼저 원본 화상들 사이의 SIFT 특징 포인트의 매칭 관계에 따라 원본 화상들 사이에 연관 관계가 존재하는지를 확정할 수 있다. 아래에 하나의 원본 화상과 기타 원본 화상들 사이에 연관 관계가 존재하는지를 확정하는 방식을 예로 들어 상기 과정에 대한 설명을 진행하기로 한다. 하나의 원본 화상과 기타 원본 화상들 사이에 연관 관계가 존재하는지를 확정하는 방식으로서, 해당 원본 화상을 기타 원본 화상의 SIFT 특징 포인트를 매칭시켜, 예를 들어 2개의 특징 포인트 사이의 유클리디언 거리를 계산하는 방식을 이용하여, 화상들 사이의 매칭되는 SIFT 특징 포인트의 수량을 확정할 수 있다. 매칭되는 SIFT 특징 포인트의 수량이 기정 역치보다 클 경우, 상기 원본 화상과 기타 원본 화상들 사이에 연관 관계가 존재함을 확정할 수 있다. 상기 방식에 의하면, 다수의 원본 화상 중의 각 원본 화상과 기타 원본 화상 중의 기타 원본 화상들 사이에 연관 관계가 존재하는지를 각각 확정할 수 있다.

예를 들어, 먼저 원본 화상들 사이의 연관 관계를 나타내는 데이터 구조 중의 K-D 트리 구조를 구축할 수 있고, 여기서, 각 원본 화상은 K-D 트리에서 하나의 절점으로 표시될 수 있으며, K-D 트리 구조를 이용하여 절점들 사이의 연관 관계를 획득하여 절점에 대응되는 원본 화상들 사이의 연관 관계를 확정할 수 있다.

원본 화상들 사이의 연관 관계를 확정한 후, 연관 관계가 존재하는 원본 화상에 근거하여 정경의 3D 구조를 재구성하기 위한 화상(또는 재구성 화상)을 선택할 수 있다. 예를 들어, 데이터 구조 중의 그래픽 구조를 이용하되, 여기서 연관 관계를 가지는 원본 화상 중의 각 원본 화상은 그래픽 구조에서 하나의 절점으로 표시되고, 원본 화상들 사이의 연관 관계는 연결선으로 표시될 수 있다. 절점들 사이의 연결 관계를 나타내는 다수의 서브 그래프들로부터 절점의 수량이 가장 많은 서브 그래프를 선택할 수 있다. 해당 서브 그래프에서 절점에 대응되는 원본 화상을 정경의 3D 구조를 재구성하는 재구성 화상으로 간주한다.

본 실시예의 일부 선택적인 실시예에 있어서, 재구성 화상 집합 중의 재구성 화상들을 이용하여 3D 특징 포인트를 포함하는 정경의 3D 구조를 재구성하는 단계는, 재구성 화상 집합 중의 재구성 화상의 스케일 불변 특징 포인트에 기반하여 카메라 파라미터를 복원하는 단계와, 재구성 화상의 스케일 불변 특징 포인트 및 카메라 파라미터에 기반하여 정경의 3D 구조를 재구성하는 단계를 포함하되, 카메라 파라미터는 카메라 내부 파라미터와 카메라 외부 파라미터를 포함하고, 카메라 내부 파라미터는 초점 거리 및 주요 포인트 오프셋(principal point offset)을 포함한다. 여기서, 주요 포인트 오프셋은, 카메라 렌즈의 주축과 카메라 센서 어레이가 위치한 평면의 교점에서부터 화상의 중심점까지의 거리일 수 있다. 카메라 외부 파라미터는 카메라 좌표계가 표준 좌표계(world coordinate system)에 대한 회전 및 평행 이동을 나타낼 수 있고, 카메라 외부 파라미터는 카메라 내부 파라미터에 의해 확정될 수 있다.

선택적으로, 재구성 화상 집합 중의 재구성 화상의 스케일 불변 특징 포인트에 기반하여, 카메라 파라미터를 복원하는 과정에서, 복원된 카메라 파라미터를 최적화시키되, 우선적으로 카메라 외부 파라미터를 최적화시킬 수 있다.

단계(103)에서, 재구성 화상 집합으로부터 표시하고자 하는 화상 집합을 선택하되, 표시하고자 하는 화상 집합에 포함된 3D 특징 포인트의 수량은 기정 역치보다 크다.

본 실시예에 있어서, 정경의 3D 구조를 재구성한 다음, 정경의 3D 구조를 재구성하기 위한 화상들(또는 재구성 화상들)로부터 사용자에게 표시하게 될 일부 화상(또는 표시하고자 하는 화상)을 선택할 수 있다. 본 실시예에서, 재구성 화상들로부터 다수의 표시하고자 하는 화상을 선택할 수 있고, 선택된 다수의 표시하고자 하는 화상은 아래의 조건을 만족하는 화상일 수 있다. 즉, 선택된 다수의 표시하고자 하는 화상들 사이에 포함된 상이한 특징 포인트들은 재구성된 정경의 3D 구조를 커버할 수 있다. 표시하고자 하는 화상의 특징 포인트들이 정경의 3D 구조의 재구성에 사용되므로, 다수의 표시하고자 하는 화상들의 특징 포인트들과 정경의 3D구조의 3D 특징 포인트들 사이의 대응 관계를 확정할 수 있다. 선택된 다수의 표시하고자 하는 화상들 사이에 포함된 상이한 특징 포인트들이 재구성된 정경의 3D 구조를 커버할 수 있을 경우, 표시하고자 하는 화상들은 정경을 더욱 풍부하게 표현할 수 있다. 즉, 표시하고자 하는 화상은 정경의 다수의 각도로부터 정경을 표시할 수 있다.

본 실시예의 일부 선택적인 실시예에 있어서, 단계(103)는, 재구성 화상들로부터 포함한 3D 특징 포인트의 수량이 기타 임의의 재구성 화상에 포함된 3D 특징 포인트의 수량보다 많은 표시하고자 하는 기준 화상을 선택하는 단계와, 표시하고자 하는 기준 화상에 근거하여 재구성 화상으로부터 제1 기정 조건을 만족하는 다수의 표시하고자 하는 후속적인 화상들을 순차적으로 선택하는 단계를 포함하되, 제1 기정 조건은 표시하고자 하는 후속적인 화상과 바로 전에 선택된 표시하고자 하는 후속적인 화상들 사이에 포함된 상이한 3D 특징 포인트의 수량이 표시하고자 하는 후속적인 화상으로 선택되지 않은 재구성 화상과 바로 전에 선택된 표시하고자 하는 후속적인 화상들 사이에 포함된 상이한 3D 특징 포인트의 수량보다 많은 것을 포함할 수 있다.

선택적으로, 표시하고자 하는 화상에 포함된 3D 특징 포인트는 3D 특징 포인트에 대응되고 정경의 3D 구조의 재구성에 관련되는 SIFT 특징 포인트를 의미할 수 있고, 여기서, 해당 SIFT 특징 포인트는 재구성 화상들 사이의 매칭되는 SIFT 특징 포인트일 수 있다. 재구성 화상들 사이의 매칭되는 SIFT 특징 포인트를 이용하여 정경의 3D 구조를 재구성할 경우, SIFT 특징 포인트와 정경의 3D 구조의 3D 특징 포인트 사이에는 대응 관계가 존재한다.

이하, 다수의 재구성 화상들 속의 정경(예를 들어, 용문석굴)의 하나의 대상(예를 들어, 부처상의 눈 부분 대상)을 예로 들어 표시하고자 하는 화상을 선택하는 과정에 대한 설명을 진행하기로 한다. 먼저 재구성 화상들로부터 첫 번째로 표시하고자 하는 화상으로 선택되는 화상으로서 3D 특징 포인트를 가장 많이 포함한 화상을 선택할 수 있고, 이어서, 두 번째로 표시하고자 하는 화상으로 선택될 화상은 그와 첫 번째로 표시하고자 하는 화상들 사이에 포함된 상이한 3D 특징 포인트가 기타 재구성 화상에 대비하여 가장 많아야 되는 조건을 만족해야 한다. 상기와 같은 원리에 따라, 표시하고자 하는 화상에 포함된 상이한 3D 특징 포인트의 수량이 역치에 도달할 때까지, 즉, 표시하고자 하는 화상 집합에 포함된 상이한 3D 특징 포인트의 수량이 기정 역치보다 클 때까지, 표시하고자 하는 화상을 순차적으로 선택한다.

단계(104)에서, 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성한다.

본 실시예에 있어서, 사용자에게 표시하게 될 표시하고자 하는 화상을 확정한 후, 표시하고자 하는 화상들의 표시 순서를 확정하여 표시하고자 하는 화상들을 사용자에게 보여줄 수 있다. 표시하고자 하는 화상의 촬영 위치, 촬영 각도와 같은 표시하고자 하는 화상의 관련 정보에 근거하여 표시하고자 하는 화상들의 표시 순서를 확정할 수 있다.

본 실시예의 일부 선택적인 실시예에 있어서, 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하는 단계는, 표시하고자 하는 화상들 사이의 속성 파라미터의 연관 관계에 따라 표시하고자 하는 화상들의 표시 순서를 확정하되, 표시하고자 하는 화상의 속성 파라미터는 촬영 위치 파라미터 및 촬영 각도 파라미터를 포함하는 단계와, 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하는 단계를 포함한다.

이하, 표시하고자 하는 화상들의 촬영 위치 파라미터 및 촬영 각도 파라미터에 근거하여 표시하고자 하는 화상들의 표시 순서를 확정하는 것을 예로 들어 표시하고자 하는 화상들의 표시 순서를 확정하는 과정에 대한 설명을 진행하기로 한다. 표시하고자 하는 화상들의 표시 순서를 확정함에 있어서, 예를 들어 아래와 같은 방식을 이용할 수 있다. 즉, 표시하고자 하는 화상들의 촬영 위치로부터 정경(예를 들어, 용문석굴)까지의 거리에 근거하여, 해당 거리가 먼 곳으로부터 가까운 곳으로의 순서에 따라 표시하고자 하는 화상들을 배열함으로써, 표시하고자 하는 화상들의 표시 순서, 즉, 용문석굴과의 거리가 먼 곳으로부터 가까운 곳으로의 표시 순서를 확정하여 표시하고자 하는 화상들을 화상 속의 정경을 멀리서부터 가까이로 사용자에게 표시시킴으로써, 화상 속의 정경이 공간상의 연속성을 구비하게 하고 화상이 표현하는 내용을 더욱 풍부하게 할 수 있다.

또한, 촬영 각도에 따라 표시하고자 하는 화상들의 표시 순서를 확정할 수도 있다. 예를 들어, 정경(예를 들어, 용문 석굴)의 축선에 대한 촬영 각도의 편이각(deviation angle)에 근거하여, 해당 편이각이 커지는 순서에 따라 표시하고자 하는 화상들의 표시 순서를 확정하여 표시하고자 하는 화상들이 서로 다른 시각으로 화상 속의 정경을 사용자에게 표시시킴으로써, 화상 속의 정경이 공간상의 연속성을 구비하도록 할 수 있다.

상기 표시하고자 하는 화상들의 표시 순서를 확정함에 있어서 사용되는 관련 정보들은 서로 조합되어 공동으로 표시하고자 하는 화상들의 표시 순서를 확정할 수 있으며, 예를 들어, 표시하고자 하는 화상의 촬영 위치 및 촬영 각도에 의해 표시하고자 하는 화상들의 표시 순서를 확정할 수 있을 뿐만 아니라, 또한 예를 들어 촬영 위치 및 촬영 각도의 속성 파라미터에 대해 서로 다른 가중치를 설정하여 최종 표시 순서를 확정할 수도 있다.

단계(105)에서, 화상 표시 서열 중의 화상들을 연속적으로 표시한다.

본 실시예에 있어서, 표시하고자 하는 화상들의 표시 순서를 확정한 후, 연속적으로 화상 표시 서열 중의 화상들을 순서에 따라 표시할 수 있다. 연속적으로 화상 서열 중의 화상들을 표시함에 있어서, 각 화상들을 회전시켜 진일보로 여러 각도로부터 화상 속의 정경을 표시하고 화상이 표현하는 정경 내용을 보강시킬 수 있다.

본 출원의 상기 실시예에 제공된 화상 표시 방법은, 동일한 정경을 포함한 화상들을 획득하여 화상들 사이의 연관 관계에 따라 화상의 표시 순서를 확정하고, 확정된 표시 순서에 따라 화상을 연속적으로 표시하여 화상을 표시함에 있어서의 화상 속 정경의 공간적 연속성을 증강시킴으로써, 화상이 표현하는 정경의 내용을 풍부하게 하고, 나아가, 화상들 사이에 과도 화상을 삽입시킴으로써, 화상 속의 정경이 공간상 연속적으로 표시되는 과정에서 매끄러운 과도를 실현하도록 한다.

도 2를 참조하면, 도 2는 본 출원에 따른 화상 표시 방법의 다른 일 실시예의 흐름(200)을 나타낸다. 해당 방법은 아래와 같은 단계들을 포함한다.

단계(201)에서, 동일한 정경을 포함한 원본 화상 집합을 획득한다.

단계(202)에서, 원본 화상 집합으로부터 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하고, 재구성 화상 집합 중의 재구성 화상들을 이용하여 정경의 3D 구조를 재구성한다.

단계(203)에서, 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 기정 역치보다 큰 표시하고자 하는 화상 집합을 선택한다.

단계(204)에서, 표시하고자 하는 화상들 사이의 렌더링 코스트에 근거하여 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상들의 표시 순서에 따라 서로 인접한 각 2개의 표시하고자 하는 화상들 사이에 과도 화상을 삽입시켜 화상 표시 서열을 생성한다.

본 실시예에 있어서, 표시하고자 하는 화상을 확정한 후, 표시하고자 하는 화상들 사이의 렌더링 코스트에 근거하여 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상을 연속적으로 표시할 경우, 표시하고자 하는 화상에 과도 화상(또는 가상 화상)을 삽입시켜 표시하고자 하는 화상이 연속적으로 표시될 때 매끄러운 표시 과정을 구현함으로써, 매끄러운 과도를 형성할 수 있다.

도 3을 참조하면, 도 3은 본 출원에 따른 화상 표시 방법 중 과도 화상을 삽입시키는 과정의 일 예시적 개략도이다. 도 3은 정경 대상(301), 표시하고자 하는 화상(302), 및 표시하고자 하는 화상(302)들 사이에 위치한 과도 화상(303)을 나타낸다. 본 실시예에 있어서, 표시하고자 하는 화상(302)들 사이에 과도 화상(303)을 삽입하는 것을 렌더링 과정이라고 지칭할 수 있고, 표시하고자 하는 화상들 사이에 삽입된 과도 화상(303)은 표시하고자 하는 화상을 기반으로 생성된 것이며, 상이한 2개의 표시하고자 하는 화상(302) 사이에 과도 화상(303)을 삽입하는 과정은 서로 다른 렌더링 코스트에 대응된다. 표시하고자 하는 화상들 사이의 렌더링 코스트에 근거하여 표시하고자 하는 화상들의 표시 순서를 확정함으로써, 비교적 작은 렌더링 코스트를 대가로 표시하고자 하는 화상들 사이에 과도 화상을 삽입시키는 것을 실현하여 매끄러운 과도 효과를 형성할 수 있다.

본 실시예의 일부 선택적인 실시예에 있어서, 표시하고자 하는 화상들 사이의 렌더링 코스트에 근거하여 표시하고자 하는 화상들의 표시 순서를 확정하는 단계 전에, 표시하고자 하는 화상의 렌더링 관련 파라미터에 근거하여 렌더링 관련 파라미터 중의 각 렌더링 관련 파라미터에 대응되는 서브 렌더링 코스트를 각각 산출하는 단계와, 각 렌더링 관련 파라미터에 대응되는 서브 렌더링 코스트에 근거하여 표시하고자 하는 화상들 사이의 렌더링 코스트를 확정하는 단계를 더 포함하되, 렌더링 관련 파라미터는 왜곡도 파라미터, 촬영 위치 파라미터, 촬영 각도 파라미터, 해상도 파라미터 및 광학 흐름 파라미터 중 적어도 하나를 포함한다.

본 실시예에 있어서, 렌더링 관련 파라미터 중의 왜곡도 파라미터는, 2개의 표시하고자 하는 화상(302) 사이에 과도 화상(303)을 삽입하는 과정에서 표시하고자 하는 화상(302)에 포함된 3D 특징 포인트를 가상 카메라의 화상 형성면(imaging plane)에 매핑 시 생성되는 변형량을 나타낸다.

선택적으로, 서로 인접한 표시하고자 하는 화상(302) 사이의 왜곡도에 대응되는 서브 렌더링 코스트는, 표시하고자 하는 화상(302)에 포함된 3D 특징 포인트를 가상 카메라의 화상 형성면에 매핑 할 때 표시하고자 하는 화상(302)이 직사각형으로부터 비다각형으로 변하면서 변화된 각도의 크기에 따라 확정될 수 있다. 촬영 위치 파라미터에 대응되는 서브 렌더링 코스트는 표시하고자 하는 화상(302)의 촬영 위치의 좌표에 따라 확정될 수 있다. 예를 들어, 서로 인접한 2개의 표시하고자 하는 화상(302)의 촬영 위치의 좌표는 각각 (X1, Y1, Z1) 및 (X2, Y2, Z2)이고, 촬영 위치 파라미터에 대응되는 서브 렌더링 코스트는 수학식

을 이용하여 산출할 수 있다. 촬영 각도에 대응되는 서브 렌더링 코스트는 서로 인접한 표시하고자 하는 화상(302)의 촬영 각도 사이의 차이값의 절대값에 의해 확정될 수 있다. 광학 흐름에 대응되는 렌더링 코스트는 서로 인접한 표시하고자 하는 화상들 사이의 매칭되는 SIFT 특징 포인트가 두 장의 사진 상에서 위치한 화소 위치에 근거하여 확정될 수 있다. 예를 들어, 서로 인접한 2개의 표시하고자 하는 화상들 사이의 매칭되는 SIFT 특징 포인트는 한 쌍의 특징 포인트를 구성할 수 있고, 해당 특징 포인트의 화소 좌표는 각각 (Xi1, Yi1) 및 (Xi2, Yi2)로 표시되며, 여기서 i는 이러한 한 쌍의 매칭되는 특징 포인트가 다수 개 쌍의 매칭되는 특징 포인트에서의 위치를 표시하면, 광학 흐름에 대응되는 렌더링 서브 코스트는 아래 수학식을 이용하여 산출할 수 있다.

, 해상도에 대응되는 렌더링 코스트는 카메라 평면에서의 3D 포인트의 화상 형성 범위에 따라 확정될 수 있다.

선택적으로, 상기 파라미터에 대응되는 렌더링 서브 코스트를 확정한 후, 각 파라미터에 대응되는 렌더링 서브 코스트를 0-1의 범위 내로 정규화할 수 있다.

일 실시예에 있어서, 정규화 시, 파라미터에 대해 서로 다른 가중치를 설정할 수 있다. 예를 들어, 왜곡도 파라미터의 가중치를 최대치로 설정하고, 촬영 위치 및 촬영 각도의 가중치를 그 다음 크기로 설정하며, 광학 흐름 및 해상도 파라미터의 가중치를 상대적으로 작게 설정할 수 있다. 상기와 같은 가중치의 설정에 따르면, 화상이 지나치게 변화되고 줌잉(zooming) 현상이 발생되는 것을 방지할 수 있다. 이에 따라, 파라미터의 가중치 및 정규화된 서브 렌더링 코스트 값에 기반하여 렌더링하고자 하는 화상들 사이의 렌더링 코스트를 확정할 수 있다. 각 표시하고자 하는 화상과 기타 표시하고자 하는 화상들 사이의 렌더링 코스트를 확정한 후, 그래픽 구조를 이용하여 각 표시하고자 하는 화상을 그래프에서 하나의 절점으로 표시할 수 있고, 절점들 사이의 렌더링 코스트 값은 절점들 사이의 연결선 상의 가중치로 나타낼 수 있다. 절점들 사이의 연결선 상의 가중치를 기반으로 최단 경로 알고리즘, 예를 들어, 데이크스트라(Dijkstra) 알고리즘을 이용하여, 다수의 절점들의 연결선 상의 가중치의 합이 최소치를 가지는 경우에 대응되는 경로를 산출함으로써, 해당 경로를 표시하고자 하는 화상의 순서를 나타내는 경로로 확정할 수 있고, 해당 경로 상의 절점에 대응되는 순서가 바로 표시하고자 하는 화상들의 표시 순서이다.

본 실시예의 일부 선택적인 실시예에 있어서, 표시하고자 하는 화상들의 표시 순서에 따라 서로 인접한 각 2개의 표시하고자 하는 화상들 사이에 과도 화상을 삽입시켜 화상 표시 서열을 생성하는 단계는, 표시하고자 하는 화상들의 표시 순서에 따라 서로 인접한 각 2개의 표시하고자 하는 화상의 촬영 위치 사이의 적어도 하나의 위치에 가상 카메라 화상 형성면을 포함하는 가상 카메라를 삽입시키고, 카메라의 내부 파라미터에 대해 내삽 조작을 진행하여 가상 카메라의 내부 파라미터를 획득하는 단계와, 가상 카메라의 내부 파라미터에 기반하여, 표시하고자 하는 화상에 포함된 3D 특징 포인트를 가상 카메라의 화상 형성면에 각각 매핑시켜 화상 표시 서열을 생성하는 단계를 포함한다.

단계(205)에서, 화상 표시 서열 중의 화상들을 연속적으로 표시한다.

본 실시예에 있어서, 표시하고자 하는 화상들의 표시 순서를 확정한 후, 연속적으로 화상 표시 서열 중의 화상들을 순서에 따라 표시할 수 있다. 화상 서열 중의 표시하고자 하는 화상들을 연속적으로 표시하는 과정에서, 표시 서열에서 표시하고자 하는 화상들 사이에 위치한 과도 화상을 삽입시킨다. 즉, 표시하고자 하는 화상들 사이에 가상 카메라를 삽입시키고, 가상 카메라와 표시하고자 하는 화상에 대응되는 실제 카메라 사이의 카메라 파라미터 사이의 관계에 따라 표시하고자 하는 화상에 포함된 3D 특징 포인트를 가상 카메라의 가상 화상 형성면에 매핑시킨다. 이에 따라, 표시 서열 중의 표시하고자 하는 화상을 연속적으로 표시하면서 과도 화상을 삽입시킴으로써, 표시 과정에서의 화상의 매끄러운 과도를 실현한다.

도 4를 참조하면, 도 4는 본 출원에 따른 화상 표시 장치의 일 실시예의 구조적 개략도를 나타낸다. 화상 표시 장치(400)는 동일한 정경을 포함한 원본 화상 집합을 획득하도록 구성된 획득 모듈(401); 원본 화상 집합으로부터 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하고, 재구성 화상 집합 중의 재구성 화상들을 이용하여 3D 특징 포인트를 포함하는 정경의 3D 구조를 재구성하도록 구성된 재구성 모듈(402); 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 기정 역치보다 큰 표시하고자 하는 화상 집합을 선택하도록 구성된 선택 모듈(403); 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하도록 구성된 확정 모듈(404); 및 화상 표시 서열 중의 화상들을 연속적으로 표시하도록 구성된 표시 모듈(405)을 포함한다.

본 실시예의 일부 선택적인 실시예에 있어서, 재구성 모듈(402)은 재구성 화상 선택 서브 모듈을 더 포함하고, 화상 선택 서브 모듈은 원본 화상 집합 중 원본 화상의 스케일 불변 특징 포인트를 추출하도록 구성된다. 화상 선택 서브 모듈은 원본 화상들 사이의 스케일 불변 특징 포인트의 매칭 관계에 따라 원본 화상 집합으로부터 상기 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하도록 더 구성된다.

본 실시예의 일부 선택적인 실시예에 있어서, 재구성 모듈(402)은 정경 재구성 서브 모듈을 더 포함하고, 정경 재구성 서브 모듈은 상기 재구성 화상 집합 중의 재구성 화상의 스케일 불변 특징 포인트에 근거하여 카메라 파라미터를 복원하도록 구성되되, 상기 카메라 파라미터는 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함하고, 상기 카메라 내부 파라미터는 초점 거리 및 주 오프셋을 포함한다. 정경 재구성 서브 모듈은 재구성 화상의 스케일 불변 특징 포인트 및 카메라 파라미터에 기반하여 정경의 3D 구조를 재구성하도록 더 구성된다.

본 실시예의 일부 선택적인 실시예에 있어서, 선택 모듈(403)은 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 재구성 화상 집합 중의 기타 재구성 화상에 포함된 3D 특징 포인트의 수량보다 많은 표시하고자 하는 기준 화상을 선택하도록 구성된다. 선택 모듈(403)은 표시하고자 하는 기준 화상에 근거하여 재구성 화상 집합으로부터 제1 기정 조건을 만족하는 다수의 표시하고자 하는 후속적인 화상을 순차적으로 선택하도록 더 구성되되, 제1 기정 조건은 표시하고자 하는 후속적인 화상과 바로 전에 선택된 표시하고자 하는 후속적인 화상들 사이에 포함된 상이한 3D 특징 포인트의 수량이 표시하고자 하는 후속적인 화상으로 선택되지 않은 재구성 화상과 바로 전에 선택된 표시하고자 하는 후속적인 화상들 사이에 포함된 상이한 3D 특징 포인트의 수량보다 많은 것을 포함한다.

본 실시예의 일부 선택적인 실시예에 있어서, 확정 모듈(404)은 표시하고자 하는 화상들 사이의 속성 파라미터의 연관 관계에 따라 표시하고자 하는 화상들의 표시 순서를 확정하고, 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하도록 구성되되, 표시하고자 하는 화상의 속성 파라미터는 촬영 위치 파라미터 및 촬영 각도 파라미터를 포함한다.

본 실시예의 일부 선택적인 실시예에 있어서, 확정 모듈(404)은 표시하고자 하는 화상들 사이의 렌더링 코스트에 근거하여 표시하고자 하는 화상들의 표시 순서를 확정하도록 더 구성되되, 렌더링 코스트는 표시하고자 하는 화상들 사이에 과도 화상을 삽입시키는 코스트를 가리킨다. 확정 모듈(404)은 표시하고자 하는 화상들의 표시 순서에 따라 서로 인접한 각 2개의 표시하고자 하는 화상들 사이에 과도 화상을 삽입시켜 화상 표시 서열을 생성하도록 더 구성된다.

본 실시예의 일부 선택적인 실시예에 있어서, 확정 모듈(404)은 렌더링 코스트 확정 서브 모듈을 포함하고, 렌더링 코스트 확정 서브 모듈은 표시하고자 하는 화상의 렌더링 관련 파라미터에 근거하여 렌더링 관련 파라미터 중의 각 렌더링 관련 파라미터에 대응되는 서브 렌더링 코스트를 각각 산출하도록 구성되되, 렌더링 관련 파라미터는 왜곡도 파라미터, 촬영 위치 파라미터, 촬영 각도 파라미터, 해상도 파라미터 및 광학 흐름 파라미터 중 적어도 하나를 포함한다. 렌더링 코스트 확정 서브 모듈은 각 렌더링 관련 파라미터에 대응되는 서브 렌더링 코스트에 근거하여 표시하고자 하는 화상들 사이의 렌더링 코스트를 확정하도록 더 구성된다.

본 실시예의 일부 선택적인 실시예에 있어서, 확정 모듈(404)은 과도 화상 삽입 서브 모듈을 포함하고, 과도 화상 삽입 서브 모듈은 표시하고자 하는 화상들의 표시 순서에 따라 서로 인접한 각 2개의 표시하고자 하는 화상의 촬영 위치 사이의 적어도 하나의 위치에 가상 카메라를 삽입시키고, 카메라 내부 파라미터에 대해 내삽 조작을 진행하여 가상 카메라의 내부 파라미터를 획득하도록 구성되되, 가상 카메라는 가상 카메라 화상 형성면을 포함한다. 과도 화상 삽입 서브 모듈은 가상 카메라의 내부 파라미터에 기반하여, 과도 화상을 삽입시키도록 표시하고자 하는 화상에 포함된 3D 특징 포인트를 가상 카메라의 화상 형성면에 각각 매핑시켜 화상 표시 서열을 생성하도록 더 구성된다.

본 실시예의 일부 선택적인 실시예에 있어서, 획득 모듈(401)은 정경에 대응되는 지리적 위치 정보를 포함하는 정경 선택 명령을 수신하고, 지리적 위치 정보에 근거하여 지리적 위치 정보에 대응되는 원본 화상 집합을 획득하도록 더 구성된다.

본 실시예의 일부 선택적인 실시예에 있어서, 장치(400)는 선처리 모듈을 더 포함하고, 선처리 모듈은 원본 화상 집합에 대해 선처리 조작을 진행하도록 구성된다. 선처리 모듈은 이미지 필터링 서브 모듈 및 이미지 교정 서브 모듈 중의 적어도 하나를 포함한다. 이미지 필터링 서브 모듈은 원본 화상 집합에서 화상 품질이 기정 값보다 낮은 원본 화상을 필터링하도록 구성되고, 이미지 교정 서브 모듈은 원본 화상 집합 중의 원본 화상의 촬영 위치를 교정하도록 구성된다.

도 5는 본 출원의 실시예에 제공된 컴퓨터 시스템의 구조적 개략도를 나타낸다.

이하 도 5를 참조하면, 도 5는 본 출원의 실시예의 장치를 실현하기에 적합한 컴퓨터 시스템(500)의 구조적 개략도를 나타낸다.

도 5에 도시된 바와 같이, 컴퓨터 시스템(500)은 중앙 처리 유닛(501; CPU)을 포함하며, 읽기 전용 메모리 장치(502; ROM)에 저장된 프로그램 또는 저장부(508)로부터 랜덤 액세스 메모리 장치(503; RAM)에 로딩된 프로그램에 의해 각종 적당한 동작과 처리를 실행할 수 있다. ROM(502)에 저장된 프로그램 또는 저장부(508)로부터 RAM(503)에 로딩된 프로그램이 CPU(501)로 실행될 경우, CPU(501)는 본 출원에 기재된 방법을 수행한다. RAM(503)에는 시스템(500)을 작동하기에 필요한 각종 프로그램 및 데이터가 더 저장되어 있다. CPU(501), ROM(502) 및 RAM(503)은 버스라인(504)을 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(505)도 버스라인(504)에 연결된다.

I/O 인터페이스(505)에 연결되는 부재로서, 키보드, 마우스 등을 포함하는 입력부(506)와, 예를 들어 음극선관(CRT), 액정 표시 장치(LCD) 등 및 스피커 등을 포함하는 출력부(507)와, 하드 드라이버 등을 포함하는 저장부(508)와, 예를 들어 LAN 카드, 모뎀 등의 네트워크 인터페이스 카드를 포함하는 통신부(509)가 포함된다. 통신부(509)는 인터넷과 같은 네트워크를 통해 통신처리를 실행한다. 구동부(510)도 수요에 따라 I/O 인터페이스(505)에 연결된다. 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 장치 등과 같은 착탈 가능한 매체(511)는 수요에 따라 이들 매체로부터 판독된 컴퓨터 프로그램을 저장부(508)에 설치하도록 수요에 따라 구동부(510)에 설치된다.

특히, 본 개시의 실시예에 의하면, 흐름도를 참조하여 설명한 상기 과정들은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 판독 가능한 매체에 유형적으로 포함된 컴퓨터 프로그램을 포함하며, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 컴퓨터 코드를 포함한다. 이러한 실시예에 있어서, 해당 컴퓨터 프로그램은 통신부(509)를 경유하여 네트워크로부터 다운로드되어 설치될 수 있고 및/또는 착탈 가능한 매체(511)로부터 설치될 수 있다.

첨부된 도면 중의 흐름도 및 블록도는 본 출원의 각 실시예에 따른 시스템 및 방법의 구현 가능한 체계구조, 기능 및 조작을 도시한다. 이러한 방면에서, 흐름도 또는 블록도 중의 각각은 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 코드의 일부분은 규정된 로직 기능을 구현하기 위한 하나 또는 다수의 실행 가능한 명령을 포함한다. 일부 대체 구현에 있어서, 블록에 표기된 기능은 첨부된 도면에 표기된 순서와 상이한 순서로 발생할 수도 있음을 유의하여야 한다. 예를 들어, 순차적으로 표시된 두 개의 블록은 실제적으로 기본상 동시에 실행될 수도 있고, 경우에 따라 반대된 순서에 따라 실행될 수도 있으며, 이는 관련된 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각 블록 및 블록도 및/또는 흐름도 중의 블록의 조합은 규정된 기능 또는 조작을 실행하는 하드웨어 기반의 전용 시스템으로 구현되거나, 전용 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있음을 유의하여야 한다.

다른 일 방면에 있어서, 본 출원은 컴퓨터 판독 가능한 저장 매체를 더 제공하며, 상기 컴퓨터 판독 가능한 저장 매체는 상술한 실시예 중의 장치에 포함된 컴퓨터 판독 가능한 저장 매체이거나, 독립적으로 존재하며 단말기 장치에 설치되지 않은 컴퓨터 판독 가능한 저장 매체일 수도 있다. 상기 컴퓨터 판독 가능한 저장 매체는 하나 또는 다수의 프로그램을 저장하고, 해당 프로그램은 하나 또는 다수의 프로세서에 의해 본 출원에 기재된 방법을 실행하도록 구성된다.

이상의 설명은 오직 본 출원의 비교적 바람직한 실시예 및 운용한 기술적 원리에 대한 설명이다. 해당 기술분야의 당업자는 본 출원에 관련된 발명의 범위가 상기 기술적 특징들의 특정 조합으로 이루어진 기술적 방안들에 한정되는 것이 아니라 본 발명의 주지를 벗어나지 않고서 상기 기술적 특징들 또는 그들의 균등한 특징들의 임의의 조합으로 이루어진 기타 기술적 방안들, 예를 들어, 상기 특징을 본 출원에 개시되어 있으나 이에 한정되지 않는 유사한 기능을 구비한 기술적 특징과 서로 대체하여 이루어진 기술적 방안도 포함하고 있음을 자명할 것이다.

Claims

동일한 정경을 포함한 원본 화상 집합을 획득하는 단계;
상기 원본 화상 집합으로부터 상기 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하고, 상기 재구성 화상 집합 중의 재구성 화상들을 이용하여 3D 특징 포인트를 포함하는 상기 정경의 3D 구조를 재구성하는 단계;
상기 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 기정 역치 보다 큰 표시하고자 하는 화상 집합을 선택하는 단계;
상기 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 상기 표시하고자 하는 화상들의 촬영 위치 파라미터 및 촬영 각도 파라미터에 따라 확정하고, 상기 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하는 단계; 및
상기 화상 표시 서열 중의 화상들을 연속적으로 표시하는 단계를 포함하는 것을 특징으로 하는 화상 표시 방법.
제1항에 있어서,
상기 재구성 화상 집합 중의 재구성 화상들을 이용하여 3D 특징 포인트를 포함하는 상기 정경의 3D 구조를 재구성하는 단계는,
상기 원본 화상 집합 중 원본 화상의 스케일 불변 특징 포인트를 추출하는 단계; 및
상기 원본 화상들 사이의 스케일 불변 특징 포인트의 매칭 관계에 따라 상기 원본 화상 집합으로부터 상기 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하는 단계를 포함하는 것을 특징으로 하는 화상 표시 방법.
제2항에 있어서,
상기 재구성 화상 집합 중의 재구성 화상들을 이용하여 3D 특징 포인트를 포함하는 상기 정경의 3D 구조를 재구성하는 단계는,
상기 재구성 화상 집합 중의 재구성 화상의 스케일 불변 특징 포인트에 근거하여 카메라 파라미터를 복원하는 단계; 및
상기 재구성 화상의 스케일 불변 특징 포인트 및 상기 카메라 파라미터에 기반하여 상기 정경의 3D 구조를 재구성하는 단계를 더 포함하되,
상기 카메라 파라미터는 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함하고, 상기 카메라 내부 파라미터는 초점 거리 및 주요 포인트 오프셋을 포함하는 것을 특징으로 하는 화상 표시 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 기정 역치 보다 큰 표시하고자 하는 화상 집합을 선택하는 단계는,
상기 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 재구성 화상 집합 중의 기타 재구성 화상에 포함된 3D 특징 포인트의 수량보다 많은 표시하고자 하는 기준 화상을 선택하는 단계; 및
상기 표시하고자 하는 기준 화상에 근거하여 상기 재구성 화상 집합으로부터 제1 기정 조건을 만족하는 다수의 표시하고자 하는 후속적인 화상을 순차적으로 선택하는 단계를 포함하되,
상기 제1 기정 조건은 상기 표시하고자 하는 후속적인 화상과 바로 전에 선택된 표시하고자 하는 후속적인 화상들 사이에 포함된 상이한 3D 특징 포인트의 수량이 표시하고자 하는 후속적인 화상으로 선택되지 않은 재구성 화상과 바로 전에 선택된 표시하고자 하는 후속적인 화상들 사이에 포함된 상이한 3D 특징 포인트의 수량보다 많은 것을 포함하는 것을 특징으로 하는 화상 표시 방법.
삭제
제4항에 있어서,
상기 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 확정하고, 상기 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하는 단계는,
상기 표시하고자 하는 화상들 사이의 렌더링 코스트에 근거하여 상기 표시하고자 하는 화상들의 표시 순서를 확정하는 단계; 및
상기 표시하고자 하는 화상들의 표시 순서에 따라, 서로 인접한 각 2개의 상기 표시하고자 하는 화상들 사이에 과도 화상을 삽입시켜 화상 표시 서열을 생성하는 단계를 포함하되,
상기 렌더링 코스트는 상기 표시하고자 하는 화상들 사이에 과도 화상을 삽입시키는 코스트를 가리키는 것을 특징으로 하는 화상 표시 방법.
제6항에 있어서,
상기 표시하고자 하는 화상들 사이의 렌더링 코스트에 근거하여 상기 표시하고자 하는 화상들의 표시 순서를 확정하는 단계 전에,
상기 표시하고자 하는 화상의 렌더링 관련 파라미터에 근거하여 상기 렌더링 관련 파라미터 중의 각 렌더링 관련 파라미터에 대응되는 서브 렌더링 코스트를 각각 산출하는 단계; 및
상기 각 렌더링 관련 파라미터에 대응되는 서브 렌더링 코스트에 근거하여, 상기 표시하고자 하는 화상들 사이의 렌더링 코스트를 확정하는 단계를 더 포함하되,
상기 렌더링 관련 파라미터는 왜곡도 파라미터, 촬영 위치 파라미터, 촬영 각도 파라미터, 해상도 파라미터 및 광학 흐름 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 화상 표시 방법.
제7항에 있어서,
상기 표시하고자 하는 화상들의 표시 순서에 따라, 서로 인접한 각 2개의 상기 표시하고자 하는 화상들 사이에 과도 화상을 삽입시켜 화상 표시 서열을 생성하는 단계는,
상기 표시하고자 하는 화상들의 표시 순서에 따라, 서로 인접한 각 2개의 상기 표시하고자 하는 화상의 촬영 위치 사이의 적어도 하나의 위치에 가상 카메라 화상 형성면을 포함하는 가상 카메라를 삽입시키고, 각 2개의 상기 표시하고자 하는 화상을 촬영한 상기 카메라의 내부 파라미터에 대해 내삽 조작을 진행하여 상기 가상 카메라의 내부 파라미터를 획득하는 단계; 및
상기 가상 카메라의 내부 파라미터에 기반하여, 서로 인접한 각 2개의 상기 표시하고자 하는 화상에 포함된 3D 특징 포인트를 상기 가상 카메라 화상 형성면에 각각 매핑시킴으로써 상기 과도 화상을 삽입시켜 화상 표시 서열을 생성하는 단계를 포함하는 것을 특징으로 하는 화상 표시 방법.
제1항에 있어서,
상기 동일한 정경을 포함한 원본 화상 집합을 획득하는 단계는,
상기 정경에 대응되는 지리적 위치 정보를 포함하는 정경 선택 명령을 수신하는 단계; 및
상기 지리적 위치 정보에 근거하여 상기 지리적 위치 정보에 대응되는 원본 화상 집합을 획득하는 단계를 포함하는 것을 특징으로 하는 화상 표시 방법.
제9항에 있어서,
상기 동일한 정경을 포함한 원본 화상 집합을 획득하는 단계 이후,
원본 화상 집합에 대해 선처리 조작을 진행하는 단계를 더 포함하되,
상기 선처리 조작은,
상기 원본 화상 집합으로부터 화상 품질이 기정 값보다 낮은 원본 화상을 필터링하는 조작 및 상기 원본 화상 집합 중의 원본 화상의 촬영 위치를 정상적인 촬영 자태로 교정하는 조작 중 적어도 임의의 하나를 포함하는 것을 특징으로 하는 화상 표시 방법.
동일한 정경을 포함한 원본 화상 집합을 획득하도록 구성된 획득 모듈;
상기 원본 화상 집합으로부터 상기 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하고, 상기 재구성 화상 집합 중의 재구성 화상들을 이용하여 상기 정경의 3D 구조를 재구성하도록 구성되되, 상기 정경의 3D 구조는 3D 특징 포인트를 포함하는 재구성 모듈;
상기 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 기정 역치보다 큰 표시하고자 하는 화상 집합을 선택하도록 구성된 선택 모듈;
상기 표시하고자 하는 화상 집합 중의 표시하고자 하는 화상들의 표시 순서를 상기 표시하고자 하는 화상들의 촬영 위치 파라미터 및 촬영 각도 파라미터에 따라 확정하고, 상기 표시하고자 하는 화상들의 표시 순서에 따라 화상 표시 서열을 생성하도록 구성된 확정 모듈; 및
상기 화상 표시 서열 중의 화상들을 연속적으로 표시하도록 구성된 표시 모듈을 포함하는 것을 특징으로 하는 화상 표시 장치.
제11항에 있어서,
상기 재구성 모듈은 재구성 화상 선택 서브 모듈을 더 포함하고,
상기 재구성 화상 선택 서브 모듈은, 상기 원본 화상 집합 중의 원본 화상의 스케일 불변 특징 포인트를 추출하도록 구성되고,
상기 재구성 화상 선택 서브 모듈은, 상기 원본 화상들 사이의 스케일 불변 특징 포인트의 매칭 관계에 따라 상기 원본 화상 집합으로부터 상기 정경의 3D 구조를 재구성하기 위한 재구성 화상 집합을 선택하도록 더 구성되는 것을 특징으로 하는 화상 표시 장치.
제12항에 있어서,
상기 재구성 모듈은 정경 재구성 서브 모듈을 더 포함하고,
상기 정경 재구성 서브 모듈은, 상기 재구성 화상 집합 중의 재구성 화상의 스케일 불변 특징 포인트에 기반하여 카메라 파라미터를 복원하도록 구성되되, 상기 카메라 파라미터는 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함하고, 상기 카메라 내부 파라미터는 초점 거리 및 주요 포인트 오프셋을 포함하고,
상기 정경 재구성 서브 모듈은, 상기 재구성 화상의 스케일 불변 특징 포인트 및 상기 카메라 파라미터에 기반하여 상기 정경의 3D 구조를 재구성하도록 더 구성되는 것을 특징으로 하는 화상 표시 장치.
제11항 내지 제13항 중 어느 한 항에 있어서,
상기 선택 모듈은, 상기 재구성 화상 집합으로부터 포함한 3D 특징 포인트의 수량이 재구성 화상 집합 중의 기타 재구성 화상에 포함된 3D 특징 포인트의 수량보다 많은 표시하고자 하는 기준 화상을 선택하도록 구성되고,
상기 선택 모듈은, 상기 표시하고자 하는 기준 화상에 근거하여 상기 재구성 화상 집합에서 제1 기정 조건을 만족하는 다수의 표시하고자 하는 후속적인 화상을 순차적으로 선택하도록 더 구성되되, 상기 제1 기정 조건은 상기 표시하고자 하는 후속적인 화상과 바로 전에 선택된 표시하고자 하는 후속적인 화상들 사이에 포함된 상이한 3D 특징 포인트의 수량이 표시하고자 하는 후속적인 화상으로 선택되지 않은 재구성 화상과 바로 전에 선택된 표시하고자 하는 후속적인 화상들 사이에 포함된 상이한 상기 3D 특징 포인트의 수량보다 많은 것을 포함하는 것을 특징으로 하는 화상 표시 장치.
삭제
제14항에 있어서,
상기 확정 모듈은, 상기 표시하고자 하는 화상들 사이의 렌더링 코스트에 근거하여 상기 표시하고자 하는 화상들의 표시 순서를 확정하도록 더 구성되되, 상기 렌더링 코스트는 상기 표시하고자 하는 화상들 사이에 과도 화상을 삽입시키는 코스트를 가리키고,
상기 확정 모듈은, 상기 표시하고자 하는 화상들의 표시 순서에 따라 서로 인접한 각 2개의 상기 표시하고자 하는 화상들 사이에 과도 화상을 삽입시켜 화상 표시 서열을 생성하도록 더 구성되는 것을 특징으로 하는 화상 표시 장치.
제16항에 있어서,
상기 확정 모듈은 렌더링 코스트 확정 서브 모듈을 포함하고,
상기 렌더링 코스트 확정 서브 모듈은, 상기 표시하고자 하는 화상의 렌더링 관련 파라미터에 기반하여 상기 렌더링 관련 파라미터 중의 각 렌더링 관련 파라미터에 대응되는 서브 렌더링 코스트를 각각 산출하도록 구성되되, 상기 렌더링 관련 파라미터는 왜곡도 파라미터, 촬영 위치 파라미터, 촬영 각도 파라미터, 해상도 파라미터 및 광학 흐름 파라미터 중 적어도 하나를 포함하고,
상기 렌더링 코스트 확정 서브 모듈은, 상기 각 렌더링 관련 파라미터에 대응되는 서브 렌더링 코스트에 근거하여 상기 표시하고자 하는 화상들 사이의 렌더링 코스트를 확정하도록 더 구성되는 것을 특징으로 하는 화상 표시 장치.
제17항에 있어서,
상기 확정 모듈은 과도 화상 삽입 서브 모듈을 포함하고,
상기 과도 화상 삽입 서브 모듈은, 상기 표시하고자 하는 화상들의 표시 순서에 따라 서로 인접한 각 2개의 상기 표시하고자 하는 화상의 촬영 위치 사이의 적어도 하나의 위치에 가상 카메라 화상 형성면을 포함하는 가상 카메라를 삽입시키고, 상기 카메라 내부 파라미터에 대해 내삽 조작을 진행하여 상기 가상 카메라의 내부 파라미터를 획득하도록 구성되며,
상기 과도 화상 삽입 서브 모듈은, 상기 가상 카메라 내부 파라미터에 기반하여 상기 표시하고자 하는 화상에 포함된 3D 특징 포인트를 상기 가상 카메라 화상 형성면에 각각 매핑시킴으로써 상기 과도 화상을 삽입시켜 화상 표시 서열을 생성하도록 더 구성되는 것을 특징으로 하는 화상 표시 장치.
제11항에 있어서,
상기 획득 모듈은,
상기 정경에 대응되는 지리적 위치 정보를 포함하는 정경 선택 명령을 수신하고, 상기 지리적 위치 정보에 근거하여 상기 지리적 위치 정보에 대응되는 원본 화상 집합을 획득하도록 더 구성되는 것을 특징으로 하는 화상 표시 장치.
제19항에 있어서,
상기 원본 화상 집합에 대해 선처리 조작을 진행하도록 구성되는 선처리 모듈을 더 포함하되,
상기 선처리 모듈은, 이미지 필터링 서브 모듈 및 이미지 교정 서브 모듈 중 적어도 하나를 포함하며,
상기 이미지 필터링 서브 모듈은, 상기 원본 화상 집합으로부터 화상 품질이 기정 값보다 낮은 원본 화상을 필터링하도록 구성되고,
상기 이미지 교정 서브 모듈은, 상기 원본 화상 집합 중의 원본 화상의 촬영 위치를 교정하도록 구성되는 것을 특징으로 하는 화상 표시 장치.
프로세서; 및
메모리 장치를 포함하되,
상기 메모리 장치에는 상기 프로세서로 실행될 수 있는 컴퓨터 판독 가능한 명령이 저장되어 있고, 상기 컴퓨터 판독 가능한 명령이 실행될 경우, 상기 프로세서는 제1항, 제2항, 제3항, 제9항 또는 제10항 중 어느 한 항에 따른 방법을 실행하는 것을 특징으로 하는 기기.
비휘발성 컴퓨터 저장 매체에 있어서,
상기 컴퓨터 저장 매체에는 프로세서로 실행될 수 있는 컴퓨터 판독 가능한 명령이 저장되어 있고, 상기 컴퓨터 판독 가능한 명령이 프로세서로 실행될 경우, 상기 프로세서는 제1항, 제2항, 제3항, 제9항 또는 제10항 중 어느 한 항에 따른 방법을 실행하는 것을 특징으로 하는 비휘발성 컴퓨터 저장 매체.