KR20180035869A - 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체 - Google Patents
정경 재구성 방법, 장치, 단말기 장치 및 저장 매체 Download PDFInfo
- Publication number
- KR20180035869A KR20180035869A KR1020187005930A KR20187005930A KR20180035869A KR 20180035869 A KR20180035869 A KR 20180035869A KR 1020187005930 A KR1020187005930 A KR 1020187005930A KR 20187005930 A KR20187005930 A KR 20187005930A KR 20180035869 A KR20180035869 A KR 20180035869A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- reconstructed
- feature region
- scene
- scenery
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000009877 rendering Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000007704 transition Effects 0.000 claims description 20
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
정경 재구성 방법, 장치, 단말기 장치 및 저장 매체가 개시되며, 상기 방법은, 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하는 단계(11); 특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하는 단계(12); 상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하는 단계(13); 및 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 단계(14);를 포함한다. 일부 인식 불가능하고(invalid) 불안정한 특징 영역을 필터링으로 제거하여, 오직 상기 재구성하고자 하는 정경에 관련된 풍경물 특징 영역에만 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행함으로써, 재구성 효율 및 정확성을 향상시킨다.
Description
본 발명의 실시예는 이미지 처리 기술 분야에 관한 것으로, 특히는 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체에 관한 것이다.
본 특허 출원은 2015년 08월 03일에 제출한 출원인이 바이두 온라인 네트워크 테크놀러지 (베이징) 유한회사이고 발명의 명칭이 “정경 재구성 방법 및 장치”인 제201510483318.4호 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본원 출원에 원용된다.
일부 역사적 문화 유적지들은 시간이 흐름에 따라 천천히 마모되어 풍채를 잃게 되며, 심지어 자연 재해에 의해 순식간에 폐허로 될 수도 있다. 기술의 발전과 관광업의 흥행에 함께, 일반인들은 소비자 수준의 카메라로 특정 순간, 특정 시각(柬角)에서의 이러한 역사적 문화 유적지의 풍채를 캡처하였고, 수많은 사람들은 촬영한 콘텐츠를 인터넷에 전파함으로써 모든 사람들이 그가 보았던 아름다운 경치를 감상할 수 있도록 한다.
이러한 배경 하에서, 반대로, 강력한 검색 엔진이나 특정 수집 방법을 통해 수많은 사용자가 촬영한 대량의 이미지를 수집할 수 있으며, 이러한 이미지들은 하루 중 서로 다른 시각에 분포되거나, 일년 중 서로 다른 계절에 분포되기도 하며, 심지어 서로 다른 해에 분포되기도 한다. 따라서, 이미지 선별 및 재구성을 통해 대중들로 하여금 하나의 큰 시간적 척도 및 공간적 척도에서 이러한 유적지들의 풍채를 감상하도록 할 수 있다.
그러나, 수집된 이미지 중에 대량의 잡다한 이미지와 무효 이미지가 존재하므로, 기존의 기술에서는 이를 수동으로 제거하여야 하는 바, 이에 따라 막대한 인건비가 발생하게 된다. 또한, 재구성 과정에서 이미지 데이터량의 증가에 따라 재구성 시간이 기하급수적으로 늘어나게 되므로, 재구성 효율이 비교적 낮다.
본 발명의 실시예는 재구성 효율을 향상시킬 수 있는 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체를 제공한다.
제1 양태에 있어서, 본 발명의 실시예는 정경 재구성 방법을 제공하며, 상기 정경 재구성 방법은,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하는 단계;
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하는 단계;
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하는 단계; 및
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 단계;를 포함한다.
제2 양태에 있어서, 본 발명의 실시예는 정경 재구성 장치를 더 제공하며, 상기 정경 재구성 장치는,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하기 위한 이미지 획득 모듈;
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하기 위한 특징 추출 모듈;
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하기 위한 특징 인식 모듈; 및
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하기 위한 재구성 모듈;을 포함한다.
제3 양태에 있어서, 본 발명의 실시예는 정경 재구성을 실현하는 단말기 장치를 더 제공하며, 상기 정경 재구성을 실현하는 단말기 장치는,
하나 또는 다수의 프로세서;
저장 장치; 및
하나 또는 다수의 모듈;을 포함하되, 상기 하나 또는 다수의 모듈은 상기 저장 장치에 저장되고, 상기 하나 또는 다수의 프로세서에 의해 실행될 경우,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하고,
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하고,
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하고,
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 동작을 진행한다.
제4 양태에 있어서, 본 발명의 실시예는 비 휘발성 컴퓨터 저장 매체를 더 제공하며, 상기 컴퓨터 저장 매체에는 하나 또는 다수의 모듈이 저장되고, 상기 하나 또는 다수의 모듈이 정경 재구성 방법을 실행하는 기기에 의해 실행될 경우, 상기 기기로 하여금,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하고,
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하고,
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하고,
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 동작을 실행하도록 한다.
본 발명의 실시예의 기술적 해결 방안은, 일부 인식 불가능하고 불안정한 특징 영역을 필터링하고, 오직 상기 재구성하고자 하는 정경에 관련된 풍경물 특징 영역에만 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행함으로써, 재구성 효율 및 정확성을 향상시킨다.
도1은 본 발명의 제1 실시예에서 제공하는 정경 재구성 방법의 예시적 흐름도이다.
도2는 본 발명의 제2 실시예에서 제공하는 정경 재구성 장치의 구조 개략도이다.
도3은 본 발명의 제3 실시예에서 제공하는 정경 재구성을 실현하는 단말기 장치의 구조 개략도이다.
도2는 본 발명의 제2 실시예에서 제공하는 정경 재구성 장치의 구조 개략도이다.
도3은 본 발명의 제3 실시예에서 제공하는 정경 재구성을 실현하는 단말기 장치의 구조 개략도이다.
아래에, 첨부된 도면 및 실시예를 결부하여 본 발명에 대한 상세한 설명을 진행하기로 한다. 본 명세서에서 설명된 구체적인 실시예는 단지 본 발명을 해석하기 위한 것일 뿐, 본 발명을 한정하기 위한 것이 아님을 이해하여야 한다. 또한, 도면에는 본 발명의 모든 구성을 나타내는 것이 아니라, 설명의 편의를 위하여 오직 본 발명에 관련된 부분만 나타내었음을 미리 해명하고자 한다.
본 발명의 실시예에서 제공하는 정경 재구성 방법의 실행 주체는 본 발명의 실시예에서 제공하는 정경 재구성 장치 또는 상기 정경 재구성 장치가 집적된 서버 장치일 수 있으며, 해당 정경 재구성 장치는 하드웨어 또는 소프트웨어를 이용하여 실현될 수 있다.
제1 실시예
도1은 본 발명의 제1 실시예에서 제공하는 정경 재구성 방법의 예시적 흐름도이며, 도1에 도시된 바와 같이, 구체적으로 아래와 같은 단계들을 포함한다.
S11에서, 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득한다.
여기서, 본 실시예에 있어서, 상기 재구성하고자 하는 정경은 일부 관광지, 역사 유적지 및 건축물 등일 수 있다. 상기 제1 이미지 집합에는 상기 재구성하고자 하는 정경에 매칭되는 적어도 하나의 이미지가 포함된다. 구체적으로, 인터넷으로 상기 재구성하고자 하는 정경에 관련된 키워드를 입력하여 획득할 수 있으며, 사용자 생성 콘텐츠(User Generated Content, UGC) 이미지 라이브러리로부터 획득할 수도 있다.
여기서, UGC 이미지 라이브러리에는 사용자가 인터넷 상에서 공유한 이미지 콘텐츠가 저장되며, 이러한 이미지 콘텐츠는 대부분 사용자가 촬영한 사진으로부터 유래된 것이고, 사용자가 제작한 이미지일 수도 있다. 시중에서 판매되는 카메라가 다양하고 촬영시간, 지점 및 방식이 상이함으로 인해, UGC 이미지 라이브러리에는 서로 다른 시각, 시간(사계절의 변환 또는 밤낮의 교체), 조명 조건(흐림, 맑음, 비 또는 눈) 하에서의 동일 정경의 상이한 모습이 기록되며, 사용자가 업로딩하는 데이터량이 급증함에 따라, UGC 이미지 라이브러리는 커버 범위가 ?“? 데이터 획득 코스트가 낮은 등 장점을 가진다. 따라서, 상기 UGC 이미지 라이브러리로부터 상대적으로 가치있는 이미지 콘텐츠를 획득할 수 있다.
S12에서, 특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출한다.
여기서, 이용 가능한 특징 추출 알고리즘은 코너 검출 알고리즘 및 지역적 불변 특징 포인트 추출 방법 등을 포함한다.
또한, 이미지 중의 특징의 독립성 및 유효성을 강화시키기 위하여, 이미지에 대해 특징 추출을 진행하기 전에, 이미지에 대해 전처리를 진행하여야 하며, 주요한 처리는 이미지 특징 분할이다. 즉, 이미지를 특정된 특유의 성질을 가지는 여러개의 영역으로 분할하고, 타깃 대상물(예컨대, 이미지 중의 인물 영역, 경치 지역 및 풍경물 영역 등)을 추출한다. 본 실시예에 있어서, 이용 가능한 이미지 분할 방법으로는, 주요하게 임계값 기반의 분할 방법, 영역 기반의 분할 방법, 가장자리 기반의 분할 방법 및 특정 이론 기반의 분할 방법 등이 있다.
S13에서, 상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득한다.
상술한 단계S12에서, 이미지 중의 특징 영역을 추출한 다음, 후속적으로 특징 영역을 구분하고 상기 이미지 중 상기 재구성하고자 하는 정경에 매칭되는 특징 영역, 즉 풍경물 특징 영역을 확정하도록 특징 영역에 대해 인식을 진행하여야 한다. 본 단계에서, 이미지 통계 특징 기반의 이미지 인식 알고리즘, HOG 특징 기반의 타깃 인식 알고리즘의 연구 및 국부적인 특징 기반의 물체 인식 알고리즘 등 특징 인식 알고리즘을 통해 이미지 특징 영역에 대해 인식을 진행할 수 있다.
S14에서, 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성한다.
여기서, 풍경물 특징 영역은 상기 재구성하고자 하는 정경 중의 어느 한 명소에 매칭되는 정경의 윤곽일 수 있다. 상기 재구성하고자 하는 정경 중의 명소가 용문석굴(질쳔石窟)인 것을 예로 들면, 용문석굴(질쳔石窟) 중의 불상의 다수의 대상물(예컨대, 불상의 얼굴, 눈, 손)의 윤곽으로부터 특징 영역을 추출할 수 있다.
구체적인 3차원 재구성 과정은 기존의 일부 재구성 방법을 이용할 수 있으며, 여기서 이에 대해 더이상 설명하지 않기로 한다. 3차원 재구성을 통해, 각 이미지가 위치한 공간 위치 정보를 복원하였으나, 이러한 이미지는 정적으로 이산된 것이므로, 정경의 표시에 불리하며, 이러한 이미지들이 공간 상에서의 보다 좋은 연속성을 확보하기 위하여, 상기 재구성하고자 하는 정경의 3차원 특징을 더 잘 표시하여야 한다. 본 실시예의 이미지 렌더링 기술은 렌더링될 인접한 이미지 사이에 더미(dummy) 이미지를 삽입시켜 상기 재구성하고자 하는 정경을 렌더링하여 생성한다.
구체적으로, 이전의 이미지 특징 영역 및 3차원 재구성 기술을 통해, 그중의 2장의 이미지의 촬영 시 카메라의 실제 위치 정보를 복원할 수 있으며, 가상 3D 전이 효과를 실현하기 위하여, 렌더링 시 더미 카메라 위치를 삽입하여야 하며, 아울러 UGC 영상의 차이성으로 인해, 카메라 내장 파라미터에 대해 보간 처리를 진행할 필요도 있다. 두 프레임의 이미지 사이에 공통의 3차원 포인트가 존재하므로, 이러한 포인트는 더미 카메라의 이미지 형성면에 투영될 수 있으며, 이로써 2장의 이미지와 더미 이미지 사이의 투영 관계를 형성할 수 있다. 예컨대, 어느 하나의 이미지(A) 근처에 상대적으로 많은 공간적으로 연관되는 이미지(B)가 존재하나, 이미지 중의 정경의 3차원 구성에 현저한 전후 차별이 존재하지 않을 경우, 렌더링될 2개의 이미지(A) 및 이미지(B)에 대해, 그들 사이에 존재하는 공통의 3차원 포인트를 더미 카메라의 이미지 형성면에 투영시키고, 이어서 이미지(A), 이미지(B) 및 더미 카메라의 이미지 형성면 상의 특징 영역에 대해 각각 트라이앵글 네트워크 구성을 진행하며, 이로써 이러한 이미지(A), 이미지(B) 및 더미 카메라의 이미지 형성면 상에 일일이 대응되는 삼각형 영역이 형성되며, 여기서 삼각형의 내부를 평면으로 볼 수 있다. 이어서, 더미 카메라의 이미지 형성면에서, 삼각형 영역의 대응 관계에 따라 이미지(A), 이미지(B)로부터 각각 픽셀을 획득하여 더미 카메라의 이미지 형성면 상의 삼각형 영역에 채워, 이로써 완전한 더미 이미지를 형성하고, 이렇게 전이함으로써 3차원 공간 구조가 상대적으로 정확하고 디테일이 풍부한 전이 효과를 형성할 수 있다.
렌더링 과정에서, 더미 카메라가 2개의 실제 카메라 사이에서 이동하므로, 더미 카메라가 어느 하나의 실제 카메라에 접근할 경우, 해당 카메라가 더미 카메라에 투영되어 생성되는 변형이 상대적으로 작은 바, 서로 다른 가중치를 설정하여 더미 전이의 효과가 최선에 달하게 할 수 있다.
본 실시예는 인식 불가능하고 불안정한 특징 영역을 필터링하여 제거하고, 오직 상기 재구성하고자 하는 정경에 관련된 풍경물 특징 영역에만 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행함으로써 재구성 효율 및 정확성을 향상시킨다.
예시적으로, 상기 특징 영역은 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역 중 적어도 하나를 더 포함한다.
구체적으로, 상기 특징 영역에 대해 인식을 진행하는 과정에서, 상기 이미지가 포함하는 특징 영역에 대해 분류를 진행할 수 있으며, 클러스터링 알고리즘을 이용하여 상기 이미지가 포함하는 특징 영역을 인물 특징 영역, 물체 특징 영역, 경치 특징 영역 및 풍경물 특징 영역 중 적어도 하나로 분할할 수 있다.
여기서, 인물 특징 영역은 인물을 주제로 하는 특징 영역을 가리키고, 물체 특징 영역은 물체를 주제로 하는 특징 영역을 가리키고, 경치 특징 영역은 자연 경치(예컨대, 하늘, 구름, 나무 등)를 주제로 하는 특징 영역을 가리키고, 풍경물 특징 영역은 상기 재구성하고자 하는 정경에 위치하고 상기 재구성하고자 하는 정경에 관련된 특징 영역을 가리키는 바, 명소, 건축물 등을 포함한다.
따라서, 3차원 재구성의 데이터량을 감소하고 재구성 효율을 향상시키기 위하여, 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하는 단계 전에,
이미지로부터 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역을 삭제하는 단계;를 더 포함한다.
구체적으로, 이미지 중의 특징 영역을 추출한 다음, 3차원 재구성의 데이터량을 감소하고 재구성 효율을 향상시키기 위하여, 추출된 특징 영역에 대해 필터링을 진행하여야 한다. 구체적으로, 이미지에 나무, 인물 및 구름이 존재할 경우, 나무, 구름, 인물에 대응되는 픽셀 영역에서 대량의 인식 불가능하고 불안정한 특징 포인트가 추출되는데, 이러한 상기 재구성하고자 하는 정경에 무관한 특징들을 제거함으로써 3차원 재구성에 소요되는 시간을 감소할 수 있다.
예시적으로, 처리 데이터량을 더 감소하기 위하여, 획득한 이미지 집합 중의 인식 불가능한 이미지를 진일보로 삭제할 수 있으며, 구체적으로, 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하는 단계는,
이미지 인식 기술을 이용하여 인터넷 또는 사용자 생성 콘텐츠 UGC 이미지 라이브러리로부터 상기 재구성하고자 하는 정경에 관련된 제2 이미지 집합을 검색하는 단계; 및
제2 이미지 집합 중 기정 요구에 부합되지 않는 이미지를 삭제하고, 나머지 이미지를 상기 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합으로 하는 단계;를 포함한다.
여기서, 상기 기정 요구에 부합되지 않는 이미지는 크기가 요구에 부합되지 않는 이미지, 인물을 주체로 하는 이미지, 경치(예컨대, 나무, 구름 및 하늘 등)를 주체로 하는 이미지, 물체(여행지 기념품)를 주체로 하는 이미지, 점포를 주체로 하는 이미지 및 선택된 풍경물과 무관한 잘못 표기된 이미지 등을 포함한다.
구체적으로, 클러스터링 알고리즘을 이용하여 상술한 제2 이미지 집합 중의 이미지에 대해 분류를 진행하는데, 분류 과정에서, 이미지에 포함된 정경의 복잡성으로 인해, 하나의 이미지에 다양한 유형의 정보가 포함될 수 있으며, 따라서 하나의 이미지가 여러가지 유형으로 분류될 수 있다. 일부 유용한 이미지가 삭제되는 것을 피면하고 분류의 정확성을 확보하기 위하여, 본 실시예는 먼저 아래와 같은 문헌 1 중의 방법을 이용하여 이미지에 대해 예비 분할을 진행하고, 하늘, 나무, 인물을 주체로 하는 이미지를 포함하여 기정 요구에 부합되지 않는 이미지를 삭제한다. 문헌 1: Cheng M M, Zheng S, Lin W Y, et al. ImageSpirit: Verbal guided image parsing[J]. ACM Transactions on Graphics (TOG), 2014, 34(1): 3.(Ming-Ming Cheng, Shuai Zheng, Wen-Yan Lin, Vibhav Vineet, Paul Sturgess, Nigel Crook, Niloy Mitra, Philip Torr; ImageSpirit: 어의적 지도 기반의 이미지 해석, 미국 컴퓨터 학회 그래픽 학보(TOG) , 2014)
이어서, 아래와 같은 문헌 2 중의 방법을 이용하여 나머지 이미지 집합의 이미지 상에서 특징 영역을 추출하고, 특징 영역에 따라 나머지 이미지 집합의 이미지에 대해 다시 클러스터링 처리를 진행하고, 이어서 이로부터 클러스터링이 가장 많은 한 세트의 이미지 집합을 찾아내어, 해당 세트의 이미지 집합 중의 이미지 수량이 설정된 임계값 범위를 초과할 경우, 이러한 한 세트의 이미지 집합에 상기 재구성하고자 하는 정경의 절대다수의 이미지의 콘텐츠가 모여있는 것으로 볼 수 있으며, 이미지의 재구성에 직접 이용될 수 있다. 문헌 2: Kim E, Li H, Huang X. A hierarchical image clustering cosegmentation framework[C]//Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012: 686-693.(Edward Kim, Hongsheng Li, Xiaolei Huang; 다중 스케일 이미지 클러스터링 기반의 공동 분할 프레임워크; 컴퓨터 비전 및 패턴 인식 학술 회의; 2012)
그러나, 동일한 풍경물에 대해 다수의 촬영 각도가 대응될 수 있으며, 이는 다수의 클러스터링 센터가 나타날 수 있음을 의미하고, 이때, 특징 매칭 알고리즘을 이용하여 유형 사이의 연결성을 판단하여야 하며, 어느 한 세트의 이미지 집합 중의 이미지의 특징과 상기 클러스터링이 가장 많은 한 세트의 이미지 집합의 특징이 매칭되는 수량이 기정 임계값를 초과할 경우, 해당 세트의 이미지 집합도 이미지의 재구성에 이용한다.
예시적으로, 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하는 단계 이후, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 단계 전에,
이미지 중에 포함된 풍경물 특징 영역의 수량이 기정 수량을 초과하는 이미지를 키 프레임으로 선택하는 단계;
키 프레임 이미지에 표시된 정경의 공간 관계 및 이미지 촬영 시간에 따라, 키 프레임의 인접 관계를 확정하는 단계; 및
확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행하는 단계;를 더 포함한다.
예시적으로, 확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행하는 단계는,
인접한 키 프레임 간에 시간적 차이가 존재할 경우, 인접한 키 프레임 사이에 차이 시간 구간 내의 전이 이미지를 삽입하는 단계; 및
인접한 키 프레임 간에 공간적 차이가 존재할 경우, 상기 키 프레임과 공간적으로 연관된 이미지를 전이 이미지로 선택하는 단계;를 포함한다.
여기서, 이미지 촬영 시간은 상기 이미지를 해석하여 이미지 헤더 정보로부터 획득할 수 있다. 또한, 일부 이미지의 원래 촬영 정보가 유포되는 과정에서 이미 손실되어 이미지 촬영 시간을 직접 획득할 수 없는 경우에 대해, 본 실시예는 이미지 휘도 변화에 따라 기계 학습 방법을 통해 이미지를 아침, 점심, 저녁의 3가지 유형으로 구분할 수 있다.
상술한 재구성에 참여하는 이미지 집합 중의 이미지가 공간적 분포가 균일하지 않으므로, 이러한 이미지가 시간적으로도 명확한 분포 규칙이 존재하지 않는다.
대량의 이미지로부터 공간적으로 표현이 가장 풍부한 한 세트의 이미지를 선택하기 위하여, 본 실시예는 이미지 사이의 렌더링 코스트를 산출하고, 최단 경로 계획법을 이용하여 선택한다. 이를 위해, 렌더링 코스트는 이미지의 공간 위치, 시각 방향, 광학 필드, 변형율, 해상도 등 내용을 포함할 뿐만 아니라, 이미지 간의 시간적 차이성을 산출하기도 있다.
구체적으로, 먼저 제1 이미지 집합으로부터 키 프레임으로 일부 이미지를 선택하여야 하며, 키 프레임의 선택 규칙은 이미지 중에 포함된 풍경물 특징 영역의 수량이 기정 수량을 초과하는 이미지를 선택하는 바, 아울러 키 프레임 촬영 위치 근처에는 대량의 이미지가 존재하며, 또한, 키 프레임도 상이한 시간 범위 내에 분포되어야 한다.
키 프레임 선택 방법은 구체적으로, 먼저 일 프레임의 이미지를 선택하되, 해당 이미지에는 3차원 포인트가 가장 많이 포함되고, 이어서 이를 시작 프레임으로 다음 일 프레임의 이미지를 검색하며, 다음 일 프레임의 이미지가 키 프레임으로 선택되는 조건은 새로 추가된 3차원 포인트가 충분히 많아야 되는 것이며, 아울러 해당 프레이의 일정한 공간 범위 내에 충분히 많은 기타 이미지가 존재하는지를 산출하여야 하고, 이어서 해당 프레임 이미지와 이전의 프레임의 이미지 간의 시간적 차이성을 산출하고, 차이가 크지 않을 경우, 해당 이미지 근처로부터 차이성이 비교적 큰 이미지를 찾아 현재 이미지를 대체하여 키 프레임으로 하며, 수집된 이미지 콘텐츠가 반드시 충분히 풍부한 것이 아닐 수 있으므로, 각 제약 조간의 중요성이 서로 다르고, 여기서 키 프레임이 충분히 많은 특징 포인트를 포함하여야 한다는 것이 가장 중요하다. 상술한 키 프레임을 선택하는 방법을 통해, 마찬가지로 키 프레임의 수량을 점차적으로 증가시키고, 선택된 키 프레임의 수량이 일정한 임계값을 만족한 후 키 프레임의 선택을 종료한다.
선택된 키 프레임에 있어서, 재구성 정경을 대체적으로 밖에 커버할 수 없으나, 인접한 키 프레임 사이에서 영상 렌더링 기술을 통해 직접 전이를 진행할 수 없으므로, 키 프레임 사이에 한 세트의 영상을 찾아 키 프레임 사이의 원활한 전이를 실현하여야 하며, 또한, 키 프레임 간에 일정한 차이성이 존재하므로, 이미지를 선택할 때 될수록 이미지 사이의 차이성을 이용하여야 한다.
구체적으로, 키 프레임(A)으로부터 한 세트의 이미지를 찾아 키 프레임(B)으로 렌더링하여야 한다고 가정할 경우, 선택된 전이 이미지를 p1, p2…pn로 표기하는데, 먼저 키 프레임(A)과 키 프레임(B) 사이에 시간적 차이가 존재하는지를 판단하며, 키 프레임(A)이 아침의 이미지에 해당되고 키 프레임(B)이 저녁의 이미지에 해당된다고 가정할 경우, 선택된 전이 이미지(p)는 될수록 이러한 시간 구간 내에 위치하여야 하며, 이로써 시각 상에서 비교적 양호한 연속성을 유지할 수 있으며, 낮과 밤이 빈번히 전환되지 않고; 이어서 키 프레임(A) 근처에 충분히 많은 이미지가 존재할 경우, 이는 이미지(A) 근처에서 비교적 좋은 공간 정보를 나타낼 수 있음을 의미하고, 따라서, 이미지(A) 근처에서 비교적 많은 이미지를 선택할 수 있고, 비교적 좋은 이미지 렌더링 방법을 이용하여 정경의 3차원 구성을 두드러지게 나타낼 수 있다.
예시적으로, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 단계는,
상기 제1 이미지 집합 중의 각 이미지의 촬영 시간에 따라, 상이한 시간의 재구성 정경을 렌더링하여 생성하는 단계;를 포함한다.
제1 이미지 집합 중의 이미지가 상이한 시간에 촬영되고, 심지어 상이한 시기에 촬영되므로, 이미지의 촬영 시간에 따라, 상이한 시간의 재구성 정경을 렌더링하여 생성할 수 있다.
상술한 각 실시예에서도 일부 인식 불가능하고 불안정한 특징 영역을 필터링하고, 단지 상기 재구성하고자 하는 정경에 관련된 풍경물 특징 영역에만 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행함으로써, 재구성 효율 및 정확성을 향상시킨다.
또한, 경로 계획 기법을 통해, 렌더링할 때의 이미지의 연속성을 한층 더 확보하고 시각 효과를 향상시킨다.
제2 실시예
도2는 본 발명의 제2 실시예에서 제공하는 정경 재구성 장치의 예시적 구성도이며, 도2에 도시된 바와 같이, 구체적으로, 이미지 획득 모듈(21), 특징 추출 모듈(22), 특징 인식 모듈(23) 및 재구성 모듈(24)을 포함한다.
상기 이미지 획득 모듈(21)은 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하도록 구성된다.
상기 특징 추출 모듈(22)은 특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하도록 구성된다.
상기 특징 인식 모듈(23)은 상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하도록 구성된다.
상기 재구성 모듈(24)은 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하도록 구성된다.
본 실시예에서 제공하는 정경 재구성 장치는 상술한 각 실시예에서 제공하는 정경 재구성 방법을 실행하도록 이용되며, 그의 기술적 원리와 생성하는 기술적 효과는 유사하므로 이에 대한 중복된 설명은 생략하기로 한다.
예시적으로, 상술한 실시예를 기초로, 상기 특징 영역은 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역 중 적어도 하나를 더 포함하며, 따라서, 상기 장치는 특징 삭제 모듈(25)을 더 포함한다.
상기 특징 삭제 모듈(25)은, 상기 재구성 모듈(24)이 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하기 전에, 이미지로부터 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역을 삭제하도록 구성된다.
예시적으로, 상술한 실시예를 기초로, 상기 이미지 획득 모듈(21)은 구체적으로,
이미지 인식 기술을 이용하여 인터넷 또는 사용자 생성 콘텐츠 UGC 이미지 라이브러리로부터 상기 재구성하고자 하는 정경에 관련된 제2 이미지 집합을 검색하고; 제2 이미지 집합 중 기정 요구에 부합되지 않는 이미지를 삭제하고, 나머지 이미지를 상기 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합으로 하도록 구성된다.
예시적으로, 상술한 실시예를 기초로, 상기 장치는, 키 프레임 선택 모듈(26), 인접 키 프레임 확정 모듈(27) 및 경로 계획 모듈(28)을 더 포함한다.
상기 키 프레임 선택 모듈(26)은, 상기 재구성 모듈(24)이 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행한 다음, 상기 재구성하고자 하는 정경을 렌더링하여 생성하기 전에, 이미지 중에 포함된 풍경물 특징 영역의 수량이 기정 수량을 초과하는 이미지를 키 프레임으로 선택하도록 구성된다.
상기 인접 키 프레임 확정 모듈(27)은 키 프레임 이미지에 표시된 정경의 공간 관계 및 이미지 촬영 시간에 따라, 키 프레임의 인접 관계를 확정하도록 구성된다.
상기 경로 계획 모듈(28)은 확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행하도록 구성된다.
예시적으로, 상술한 실시예를 기초로, 상기 경로 계획 모듈(28)은 구체적으로,
인접한 키 프레임 간에 시간적 차이가 존재할 경우, 인접한 키 프레임 사이에 차이 시간 구간 내의 전이 이미지를 삽입하고; 인접한 키 프레임 간에 공간적 차이가 존재할 경우, 상기 키 프레임과 공간적으로 연관된 이미지를 전이 이미지로 선택하도록 구성된다.
예시적으로, 상술한 실시예를 기초로, 상기 재구성 모듈(24)은 구체적으로,
상기 제1 이미지 집합 중의 각 이미지의 촬영 시간에 따라, 상이한 시간의 재구성 정경을 렌더링하여 생성하도록 구성된다.
상술한 각 실시예에서 제공하는 정경 재구성 장치도 또한 상술한 각 실시예에서 제공하는 정경 재구성 방법을 실행하도록 이용되며, 그의 기술적 원리와 생성하는 기술적 효과는 유사하므로 이에 대한 중복된 설명은 생략하기로 한다.
제3 실시예
도3은 본 발명의 제3 실시예에서 제공하는 정경 재구성을 실현하는 단말기 장치의 예시적 하드웨어 구성도이며, 해당 단말기 장치는 하나 또는 다수의 프로세서(31), 저장 장치(32), 하나 또는 다수의 모듈을 포함하며, 상기 하나 또는 다수의 모듈(예컨대, 도2에 도시된 정경 재구성 장치 중의 이미지 획득 모듈(21), 특징 추출 모듈(22), 특징 인식 모듈(23), 재구성 모듈(24), 특징 삭제 모듈(25), 키 프레임 선택 모듈(26), 인접 키 프레임 확정 모듈(27) 및 경로 계획 모듈(28))은 상기 저장 장치(32)에 저장되고; 도3에서 하나의 프로세서(31)를 예로 드는 바, 단말기 장치 중의 프로세서(31) 및 저장 장치(32)는 버스라인 또는 기타 연결 방식을 통해 연결될 수 있으며, 도3에서는 버스라인을 통해 연결되는 것을 예로 든다.
상기 하나 또는 다수의 프로세서(31)에 의해 실행될 경우,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하고,
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하고,
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하고,
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 동작을 진행한다.
상술한 단말기 장치는 본 발명의 제1 실시예에서 제공하는 방법을 실행할 수 있으며, 실행 방법에 대응되는 기능 모듈 및 유익한 효과를 구비한다.
예시적으로, 상기 특징 영역은 더 바람직하게 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역 중의 적어도 하나이며, 이러할 경우, 상기 프로세서(31)는 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하기 전에, 이미지로부터 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역을 삭제한다.
예시적으로, 상기 프로세서(31)는 이미지 인식 기술을 이용하여 인터넷 또는 사용자 생성 콘텐츠 UGC 이미지 라이브러리로부터 상기 재구성하고자 하는 정경에 관련된 제2 이미지 집합을 검색하고; 제2 이미지 집합 중 기정 요구에 부합되지 않는 이미지를 삭제하고, 나머지 이미지를 상기 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합으로 한다.
예시적으로, 상기 프로세서(31)는 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행한 다음, 상기 재구성하고자 하는 정경을 렌더링하여 생성하기 전에, 이미지 중에 포함된 풍경물 특징 영역의 수량이 기정 수량을 초과하는 이미지를 키 프레임으로 선택하고; 키 프레임 이미지에 표시된 정경의 공간 관계 및 이미지 촬영 시간에 따라, 키 프레임의 인접 관계를 확정하고; 확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행한다.
예시적으로, 상기 프로세서(31)는 인접한 키 프레임 간에 시간적 차이가 존재할 경우, 인접한 키 프레임 사이에 차이 시간 구간 내의 전이 이미지를 삽입하고; 인접한 키 프레임 간에 공간적 차이가 존재할 경우, 상기 키 프레임과 공간적으로 연관된 이미지를 전이 이미지로 선택한다.
예시적으로, 상기 프로세서(31)는 상기 제1 이미지 집합 중의 각 이미지의 촬영 시간에 따라, 상이한 시간의 재구성 정경을 렌더링하여 생성한다.
제4 실시예
본 실시예는 비휘발성 컴퓨터 저장 매체를 제공하고, 상기 컴퓨터 저장 매체에는 하나 또는 다수의 모듈이 저장되고, 상기 하나 또는 다수의 모듈이 애플리케이션 프로그램 수정 방법을 수행하는 기기에 의해 실행될 경우, 상기 기기로 하여금,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하는 동작;
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하는 동작;
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하는 동작; 및
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 동작;을 실행하도록 한다.
상기 저장 매체에 저장된 모듈이 상기 장치에 의해 실행될 경우, 상기 특징 영역은 바람직하게 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역 중의 적어도 하나를 더 포함하고,
이러할 경우, 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하는 동작 이전에, 바람직하게,
이미지로부터 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역을 삭제하는 동작을 더 포함한다.
상기 저장 매체에 저장된 모듈이 상기 장치에 의해 실행될 경우, 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하는 동작은 바람직하게,
이미지 인식 기술을 이용하여 인터넷 또는 사용자 생성 콘텐츠 UGC 이미지 라이브러리로부터 상기 재구성하고자 하는 정경에 관련된 제2 이미지 집합을 검색하는 동작; 및
제2 이미지 집합 중 기정 요구에 부합되지 않는 이미지를 삭제하고, 나머지 이미지를 상기 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합으로 하는 동작;을 포함한다.
상기 저장 매체에 저장된 모듈이 상기 장치에 의해 실행될 경우, 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하는 동작 이후, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 동작 전에 바람직하게,
이미지 중에 포함된 풍경물 특징 영역의 수량이 기정 수량을 초과하는 이미지를 키 프레임으로 선택하는 동작;
키 프레임 이미지에 표시된 정경의 공간 관계 및 이미지 촬영 시간에 따라, 키 프레임의 인접 관계를 확정하는 동작; 및
확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행하는 동작;을 더 포함한다.
상기 저장 매체에 저장된 모듈이 상기 장치에 의해 실행될 경우, 확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행하는 동작은 바람직하게,
인접한 키 프레임 간에 시간적 차이가 존재할 경우, 인접한 키 프레임 사이에 차이 시간 구간 내의 전이 이미지를 삽입하는 동작; 및
인접한 키 프레임 간에 공간적 차이가 존재할 경우, 상기 키 프레임과 공간적으로 연관된 이미지를 전이 이미지로 선택하는 동작;을 포함한다.
상기 저장 매체에 저장된 모듈이 상기 장치에 의해 실행될 경우, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 동작은 바람직하게,
상기 제1 이미지 집합 중의 각 이미지의 촬영 시간에 따라, 상이한 시간의 재구성 정경을 렌더링하여 생성하는 동작을 포함한다.
이상의 설명은 본 발명의 구체적인 실시예 및 이용하는 기술 원리일 뿐, 본 발명의 보호 범위를 상기 기재된 특정 실시예로 한정하지 않음을 해당 기술 분야에서의 당업자는 자명할 것이며, 해당 기술분야의 당업자는 본 발명의 보호 범위를 벗어나지 않으면서 이에 대한 각종 확연한 변경, 재조정 및 대체를 진행할 수 있음을 유의하여야 한다. 따라서, 이상의 실시예들로 본 발명에 대해 비교적 상세한 설명을 진행하였으나, 본 발명은 오직 이상의 실시예들에 한정되는 것이 아니라, 본 발명의 원리를 위배하지 않는 한, 더 많은 기타 균등한 실시예들을 더 포함할 수 있으며, 본 발명의 보호 범위는 첨부된 청구범위의 보호 범위로 정의된다.
Claims (14)
- 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하는 단계;
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하는 단계;
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하는 단계; 및
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 단계;를 포함하는 것을 특징으로 하는 정경 재구성 방법. - 제1항에 있어서,
상기 특징 영역은 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역 중의 적어도 하나를 더 포함하고,
이러할 경우, 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하는 단계 이전에,
이미지로부터 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역을 삭제하는 단계;를 더 포함하는 것을 특징으로 하는 정경 재구성 방법. - 제1항에 있어서,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하는 단계는,
이미지 인식 기술을 이용하여 인터넷 또는 사용자 생성 콘텐츠 UGC 이미지 라이브러리로부터 상기 재구성하고자 하는 정경에 관련된 제2 이미지 집합을 검색하는 단계; 및
제2 이미지 집합 중 기정 요구에 부합되지 않는 이미지를 삭제하고, 나머지 이미지를 상기 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합으로 하는 단계;를 포함하는 것을 특징으로 하는 정경 재구성 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하는 단계 이후, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 단계 전에,
이미지 중에 포함된 풍경물 특징 영역의 수량이 기정 수량을 초과하는 이미지를 키 프레임으로 선택하는 단계;
키 프레임 이미지에 표시된 정경의 공간 관계 및 이미지 촬영 시간에 따라, 키 프레임의 인접 관계를 확정하는 단계; 및
확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행하는 단계;를 더 포함하는 것을 특징으로 하는 정경 재구성 방법. - 제4항에 있어서,
확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행하는 단계는,
인접한 키 프레임 간에 시간적 차이가 존재할 경우, 인접한 키 프레임 사이에 차이 시간 구간 내의 전이 이미지를 삽입하는 단계; 및
인접한 키 프레임 간에 공간적 차이가 존재할 경우, 상기 키 프레임과 공간적으로 연관된 이미지를 전이 이미지로 선택하는 단계;를 포함하는 것을 특징으로 하는 정경 재구성 방법. - 제1항에 있어서,
상기 재구성하고자 하는 정경을 렌더링하여 생성하는 단계는,
상기 제1 이미지 집합 중의 각 이미지의 촬영 시간에 따라, 상이한 시간의 재구성 정경을 렌더링하여 생성하는 단계;를 포함하는 것을 특징으로 하는 정경 재구성 방법. - 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하기 위한 이미지 획득 모듈;
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하기 위한 특징 추출 모듈;
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하기 위한 특징 인식 모듈; 및
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하기 위한 재구성 모듈;을 포함하는 것을 특징으로 하는 정경 재구성 장치. - 제7항에 있어서,
상기 특징 영역은 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역 중의 적어도 하나를 더 포함하며,
따라서, 상기 재구성 모듈이 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하기 전에, 이미지로부터 인물 특징 영역, 물체 특징 영역 및 경치 특징 영역을 삭제하기 위한 특징 삭제 모듈;을 더 포함하는 것을 특징으로 하는 정경 재구성 장치. - 제7항에 있어서,
상기 이미지 획득 모듈은 구체적으로,
이미지 인식 기술을 이용하여 인터넷 또는 사용자 생성 콘텐츠 UGC 이미지 라이브러리로부터 상기 재구성하고자 하는 정경에 관련된 제2 이미지 집합을 검색하고; 제2 이미지 집합 중 기정 요구에 부합되지 않는 이미지를 삭제하고, 나머지 이미지를 상기 재구성하고자 하는 정경에 매칭되는 제1 이미지 집합으로 하도록 구성되는 것을 특징으로 하는 정경 재구성 장치. - 제7항 내지 제9항 중 어느 한 항에 있어서,
상기 재구성 모듈이 상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하는 단계 이후, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 단계 이전에, 이미지 중에 포함된 풍경물 특징 영역의 수량이 기정 수량을 초과하는 이미지를 키 프레임으로 선택하기 위한 키 프레임 선택 모듈;
키 프레임 이미지에 표시된 정경의 공간 관계 및 이미지 촬영 시간에 따라, 키 프레임의 인접 관계를 확정하기 위한 인접 키 프레임 확정 모듈; 및
확정된 인접한 키 프레임에 기반하여 상기 재구성하고자 하는 정경에 대해 경로 계획을 진행하기 위한 경로 계획 모듈;을 포함하는 것을 특징으로 하는 정경 재구성 장치. - 제10항에 있어서,
상기 경로 계획 모듈은 구체적으로,
인접한 키 프레임 간에 시간적 차이가 존재할 경우, 인접한 키 프레임 사이에 차이 시간 구간 내의 전이 이미지를 삽입하고; 인접한 키 프레임 간에 공간적 차이가 존재할 경우, 상기 키 프레임과 공간적으로 연관된 이미지를 전이 이미지로 선택하도록 구성되는 것을 특징으로 하는 정경 재구성 장치. - 제7항에 있어서,
상기 재구성 모듈은 구체적으로,
상기 제1 이미지 집합 중의 각 이미지의 촬영 시간에 따라, 상이한 시간의 재구성 정경을 렌더링하여 생성하도록 구성되는 것을 특징으로 하는 정경 재구성 장치. - 정경 재구성을 실현하는 단말기 장치에 있어서,
하나 또는 다수의 프로세서;
저장 장치; 및
하나 또는 다수의 모듈;을 포함하되,
상기 하나 또는 다수의 모듈은 상기 저장 장치에 저장되고, 상기 하나 또는 다수의 프로세서에 의해 실행될 경우,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하고,
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하는 동작,
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하는 동작,
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 동작;을 진행하는 것을 특징으로 하는 정경 재구성을 실현하는 단말기 장치. - 비 휘발성 컴퓨터 저장 매체에 있어서,
상기 컴퓨터 저장 매체에는 하나 또는 다수의 모듈이 저장되고, 상기 하나 또는 다수의 모듈이 정경 재구성 방법을 실행하는 기기에 의해 실행될 경우, 상기 기기로 하여금,
재구성하고자 하는 정경에 매칭되는 제1 이미지 집합을 획득하는 동작,
특징 추출 알고리즘을 이용하여 상기 제1 이미지 집합 중의 이미지의 적어도 하나의 특징 영역을 추출하는 동작,
상기 특징 영역에 대해 인식을 진행하여 이미지 중의 풍경물 특징 영역을 획득하는 동작,
상기 이미지 중의 풍경물 특징 영역에 기반하여 상기 재구성하고자 하는 정경에 대해 3차원 재구성을 진행하고, 상기 재구성하고자 하는 정경을 렌더링하여 생성하는 동작;을 실행하도록 하는 것을 특징으로 하는 비 휘발성 컴퓨터 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510483318.4 | 2015-08-03 | ||
| CN201510483318.4A CN105139445B (zh) | 2015-08-03 | 2015-08-03 | 场景重建方法及装置 |
| PCT/CN2015/096623 WO2017020467A1 (zh) | 2015-08-03 | 2015-12-08 | 场景重建方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180035869A true KR20180035869A (ko) | 2018-04-06 |
| KR102033262B1 KR102033262B1 (ko) | 2019-10-16 |
Family
ID=54724777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187005930A KR102033262B1 (ko) | 2015-08-03 | 2015-12-08 | 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10467800B2 (ko) |
| EP (1) | EP3324368B1 (ko) |
| JP (1) | JP6553285B2 (ko) |
| KR (1) | KR102033262B1 (ko) |
| CN (1) | CN105139445B (ko) |
| WO (1) | WO2017020467A1 (ko) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109076148B (zh) | 2016-04-12 | 2021-02-05 | 奎蒂安特有限公司 | 日常场景重建引擎 |
| CN107657660A (zh) * | 2017-09-15 | 2018-02-02 | 南开大学 | 一种基于等距正视摄影测量约束的无人机视觉快速三维重建方法 |
| CN108030452A (zh) * | 2017-11-30 | 2018-05-15 | 深圳市沃特沃德股份有限公司 | 视觉扫地机器人及建立场景地图的方法 |
| US11875476B2 (en) | 2018-05-02 | 2024-01-16 | Quidient, Llc | Codec for processing scenes of almost unlimited detail |
| CN108765487B (zh) * | 2018-06-04 | 2022-07-22 | 百度在线网络技术（北京）有限公司 | 重建三维场景的方法、装置、设备和计算机可读存储介质 |
| CN109934777B (zh) * | 2019-01-09 | 2023-06-02 | 深圳市三宝创新智能有限公司 | 图像局部不变特征提取方法、装置、计算机设备及存储介质 |
| CN110134801A (zh) * | 2019-04-28 | 2019-08-16 | 福建星网视易信息系统有限公司 | 一种作品名称与多媒体文件的匹配方法及存储介质 |
| CN111383337B (zh) * | 2020-03-20 | 2023-06-27 | 北京百度网讯科技有限公司 | 用于识别对象的方法和装置 |
| CN111556291B (zh) * | 2020-04-23 | 2021-07-13 | 东电创新(北京)科技发展股份有限公司 | 一种便携式一体化视频采集及回传系统 |
| CN112750203B (zh) * | 2021-01-21 | 2023-10-31 | 脸萌有限公司 | 模型重建方法、装置、设备及存储介质 |
| CN113050643A (zh) * | 2021-03-19 | 2021-06-29 | 京东鲲鹏(江苏)科技有限公司 | 无人车路径规划方法、装置、电子设备和计算机可读介质 |
| US11961184B2 (en) * | 2021-09-17 | 2024-04-16 | Samsung Electronics Co., Ltd. | System and method for scene reconstruction with plane and surface reconstruction |
| CN114549766B (zh) * | 2022-04-24 | 2022-09-09 | 成都纵横自动化技术股份有限公司 | 一种实时ar可视化方法、装置、设备及存储介质 |
| CN115222896B (zh) * | 2022-09-20 | 2023-05-23 | 荣耀终端有限公司 | 三维重建方法、装置、电子设备及计算机可读存储介质 |
| CN116452776B (zh) * | 2023-06-19 | 2023-10-20 | 国网浙江省电力有限公司湖州供电公司 | 基于视觉同步定位与建图系统的低碳变电站场景重建方法 |
| CN117538881B (zh) * | 2024-01-10 | 2024-05-07 | 海底鹰深海科技股份有限公司 | 一种声呐水体成像波束形成方法、系统、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003153894A (ja) * | 2001-11-26 | 2003-05-27 | Ziosoft Inc | ３次元画像処理方法、装置およびプログラム |
| US20040184655A1 (en) * | 2003-03-19 | 2004-09-23 | Remo Ziegler | Three-dimensional scene reconstruction from labeled two-dimensional images |
| JP2007026036A (ja) * | 2005-07-15 | 2007-02-01 | Dainippon Printing Co Ltd | 物体の三次元形状データの削減装置および削減方法 |
| CN101777059A (zh) * | 2009-12-16 | 2010-07-14 | 中国科学院自动化研究所 | 一种提取地标性场景摘要的方法 |
| CN103139479A (zh) * | 2013-02-25 | 2013-06-05 | 广东欧珀移动通信有限公司 | 一种结束全景预览扫描方法及装置 |
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| US20130258064A1 (en) * | 2012-04-03 | 2013-10-03 | Samsung Techwin Co., Ltd. | Apparatus and method for reconstructing high density three-dimensional image |
| KR20140088462A (ko) * | 2013-01-02 | 2014-07-10 | 주식회사 오렌지큐브 | 실시간 렌더링 3d 오브젝트 인터렉티브 멀티비전 시스템 및 그의 실시간 렌더링 3d 오브젝트 처리방법 |
| CN104699842A (zh) * | 2015-03-31 | 2015-06-10 | 百度在线网络技术（北京）有限公司 | 图片展示方法和装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5598515A (en) * | 1994-01-10 | 1997-01-28 | Gen Tech Corp. | System and method for reconstructing surface elements of solid objects in a three-dimensional scene from a plurality of two dimensional images of the scene |
| KR100721536B1 (ko) * | 2005-12-09 | 2007-05-23 | 한국전자통신연구원 | 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법 |
| JP4923101B2 (ja) * | 2006-03-22 | 2012-04-25 | ピルツ ゲーエムベーハー アンド コー．カーゲー | 画像間の空間対応を判別して三次元再構成をする方法および装置 |
| US8655052B2 (en) * | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
| JP4963105B2 (ja) | 2007-11-22 | 2012-06-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像を記憶する方法、装置 |
| CN101739721B (zh) * | 2010-01-21 | 2012-01-11 | 西北工业大学 | 基于时变和无序多图像的四维场景建模方法 |
| JP5821526B2 (ja) | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN104463962B (zh) * | 2014-12-09 | 2017-02-22 | 合肥工业大学 | 基于gps信息视频的三维场景重建方法 |
-
2015
- 2015-08-03 CN CN201510483318.4A patent/CN105139445B/zh active Active
- 2015-12-08 US US15/749,642 patent/US10467800B2/en active Active
- 2015-12-08 EP EP15900236.9A patent/EP3324368B1/en active Active
- 2015-12-08 KR KR1020187005930A patent/KR102033262B1/ko active IP Right Grant
- 2015-12-08 JP JP2018506162A patent/JP6553285B2/ja active Active
- 2015-12-08 WO PCT/CN2015/096623 patent/WO2017020467A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003153894A (ja) * | 2001-11-26 | 2003-05-27 | Ziosoft Inc | ３次元画像処理方法、装置およびプログラム |
| US20040184655A1 (en) * | 2003-03-19 | 2004-09-23 | Remo Ziegler | Three-dimensional scene reconstruction from labeled two-dimensional images |
| JP2007026036A (ja) * | 2005-07-15 | 2007-02-01 | Dainippon Printing Co Ltd | 物体の三次元形状データの削減装置および削減方法 |
| CN101777059A (zh) * | 2009-12-16 | 2010-07-14 | 中国科学院自动化研究所 | 一种提取地标性场景摘要的方法 |
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| US20130258064A1 (en) * | 2012-04-03 | 2013-10-03 | Samsung Techwin Co., Ltd. | Apparatus and method for reconstructing high density three-dimensional image |
| KR20140088462A (ko) * | 2013-01-02 | 2014-07-10 | 주식회사 오렌지큐브 | 실시간 렌더링 3d 오브젝트 인터렉티브 멀티비전 시스템 및 그의 실시간 렌더링 3d 오브젝트 처리방법 |
| CN103139479A (zh) * | 2013-02-25 | 2013-06-05 | 广东欧珀移动通信有限公司 | 一种结束全景预览扫描方法及装置 |
| CN104699842A (zh) * | 2015-03-31 | 2015-06-10 | 百度在线网络技术（北京）有限公司 | 图片展示方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3324368B1 (en) | 2019-10-23 |
| US10467800B2 (en) | 2019-11-05 |
| US20180225864A1 (en) | 2018-08-09 |
| WO2017020467A1 (zh) | 2017-02-09 |
| JP6553285B2 (ja) | 2019-07-31 |
| KR102033262B1 (ko) | 2019-10-16 |
| JP2018526736A (ja) | 2018-09-13 |
| CN105139445A (zh) | 2015-12-09 |
| CN105139445B (zh) | 2018-02-13 |
| EP3324368A4 (en) | 2018-05-23 |
| EP3324368A1 (en) | 2018-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102033262B1 (ko) | 정경 재구성 방법, 장치, 단말기 장치 및 저장 매체 | |
| Kelly et al. | BigSUR: Large-scale structured urban reconstruction | |
| US10074214B2 (en) | Systems and methods for generating 3D scenes with time element for display | |
| Li et al. | Reconstructing building mass models from UAV images | |
| Kyriakaki et al. | 4D reconstruction of tangible cultural heritage objects from web-retrieved images | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| Xiao et al. | Image-based façade modeling | |
| Agarwal et al. | Building rome in a day | |
| Snavely | Scene reconstruction and visualization from internet photo collections: A survey | |
| Konrad et al. | Automatic 2d-to-3d image conversion using 3d examples from the internet | |
| US9047706B1 (en) | Aligning digital 3D models using synthetic images | |
| Li et al. | Diminished reality using appearance and 3D geometry of internet photo collections | |
| KR20140108828A (ko) | 카메라 트래킹 장치 및 방법 | |
| Wang et al. | Image-based building regularization using structural linear features | |
| CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
| Nguyen et al. | High-definition texture reconstruction for 3D image-based modeling | |
| Xiao et al. | Video based 3D reconstruction using spatio-temporal attention analysis | |
| KR102633159B1 (ko) | 이미지 프로세싱을 이용한 3차원 모델 복원 장치 및 방법 | |
| Apostolidis et al. | CERTH at MediaEval 2014 Synchronization of Multi-User Event Media Task. | |
| US20210295478A1 (en) | Method and apparatus for recognizing landmark in panoramic image and non-transitory computer-readable medium | |
| Nguyen et al. | A hybrid image-based modelling algorithm | |
| Derdaele et al. | Exploring past and present: VR reconstruction of the berlin gendarmenmarkt | |
| Yamasaki et al. | Motion segmentation of 3D video using modified shape distribution | |
| Yang et al. | Low-rank SIFT: An affine invariant feature for place recognition | |
| Dai | Dealing with the two difficult scenes in image-based 3D reconstruction: night and glass reflection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |