KR102231381B1 - 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법 - Google Patents

다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법 Download PDF

Info

Publication number
KR102231381B1
KR102231381B1 KR1020190147262A KR20190147262A KR102231381B1 KR 102231381 B1 KR102231381 B1 KR 102231381B1 KR 1020190147262 A KR1020190147262 A KR 1020190147262A KR 20190147262 A KR20190147262 A KR 20190147262A KR 102231381 B1 KR102231381 B1 KR 102231381B1
Authority
KR
South Korea
Prior art keywords
image
images
information
unit
virtual reality
Prior art date
Application number
KR1020190147262A
Other languages
English (en)
Inventor
김현수
Original Assignee
김현수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김현수 filed Critical 김현수
Priority to KR1020190147262A priority Critical patent/KR102231381B1/ko
Application granted granted Critical
Publication of KR102231381B1 publication Critical patent/KR102231381B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법에 관한 것이다.
본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법은, 영상/정보 검색부에 의해 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색하여 연관되는 정보와 영상을 확보하는 단계와; 확보된 정보와 영상으로부터 영상/정보 분석부에 의해 영상 및 정보를 분석하여 영상 관련 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 추출하는 단계와; 추출된 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 기반으로 영상/정보 분석부에 의해 상기 검색된 영상들 내에 포함된 고정 시설물이나 마크점들을 모두 추출하는 단계와; 영상/정보 합성부에 의해 상기 추출된 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결하는 단계; 및 VR 영상 제작부에 의해 연결이 가능한 영상들을 합성하여 최종적으로 하나의 VR 영상을 제작하는 단계를 포함한다.

Description

다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법{System and method for manufacturing videos for VR(virtual reality) using multiple two-dimensional images}
본 발명은 가상 현실(Virtual Reality; VR)용 영상 제작 시스템 및 방법에 관한 것으로서, 더 상세하게는 시간적 공간적 제약이 있는 VR이나 하나의 카메라로 촬영한 영상처리 방식이 아닌, 많은 사람들이 동시에 하나의 장소를 촬영한 영상 데이터를 분석, 합성, 동기화 과정을 통해 VR용 영상을 제작함으로써, 영상 내에서 1인칭 고정 시점이 아닌 여러 촬영 장소로 이동하면서 VR 영상을 감상할 수 있는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법에 관한 것이다.
종래 VR용 영상은 값비싼 전용 카메라 시스템이나 360°카메라를 이용해야 하고, 원하는 장소의 VR 영상을 획득하기 위해서는 반드시 그곳에 가서 영상을 획득해야 하는 번거로움이 있었다.
종래의 VR 영상 제작을 위한 영상 합성 방식은 한 곳의 촬영 장소에서 동시에 서로 다른 방향을 바라보고 있는 카메라로 촬영한 영상을 이어붙이는 파노라마 합성 방식이었다. 이 방식은 하나의 카메라에서 촬영한 영상의 좌우의 말단 영상과 좌우의 다른 카메라에서 촬영한 영상의 좌우의 패턴 매칭을 통해 연결하는 단순한 기법이다. 이 방식은 촬영한 장소가 정해져 있고, 동시에 같은 장소에서 촬영했기 때문에 영상의 시간 동기도 매우 쉽게 구현할 수 있으나, 촬영지를 중심으로 1인칭 시점만 표현할 수밖에 없는 단점이 있다.
한편, 한국 등록특허공보 제10-1638956호(특허문헌 1)에는 "항공촬영 및 지상촬영 영상을 이용한 가상 현실 동영상 제작방법"이 개시되어 있는 바, 이에 따른 항공촬영 및 지상촬영 영상을 이용한 가상 현실 동영상 제작방법은, (a) 항공촬영설비를 이용하여 임의의 영역에 대한 항공촬영 배경 영상을 준비하되, 상기 항공촬영 배경 영상은 임의의 고도영역으로부터 기설정된 임의의 지표영역을 최종 구간으로 얻어지도록 항공촬영 배경 영상을 준비하는 단계; (b) 상기 (a)단계의 임의의 영역에 대한 지상촬영 배경 영상을 준비하되, 상기 지상촬영 배경 영상은 상기 (a)단계의 기설정된 임의의 지표영역에서 시작되는 지상촬영 배경 영상을 준비하는 단계; (c) 상기 (b) 단계의 지상촬영 배경 영상의 상태변화에 대응되도록 오브젝트 상태변화 영상을 준비하는 단계; 및 (d) 상기 항공촬영 배경 영상, 지상촬영 배경 영상 및 오브젝트 상태변화 영상을 합성하여 가상현실 동영상을 제작하는 단계;를 포함하며, 상기 (c)단계에서는, 가상현실 동영상 제작을 위한 오브젝트 상태 촬영설비를 이용하여 오브젝트의 전진이동상태 변화, 후진이동상태 변화, 회전상태 변화, 승강상태 변화, 경사상태 변화 중 적어도 하나를 촬영하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 항공촬영 배경 영상, 지상촬영 배경 영상 및 오브젝트 상태변화 동영상의 합성을 통해, 사용자가 원하는 장소를 실감나는 3차원 가상현실의 동영상으로 구현할 수 있는 장점이 있기는 하나, 이 또한 촬영지를 중심으로 1인칭 시점만 표현할 수밖에 없는 문제점을 내포하고 있다.
한국 등록특허공보 제10-1638956호(2016.07.12. 공고)
본 발명은 상기와 같은 종래 기술의 문제점을 개선하기 위하여 창출된 것으로서, 시간적, 공간적 제약이 있는 VR이나 하나의 카메라로 촬영한 영상처리 방식이 아닌, 많은 사람들이 동시에 하나의 장소를 촬영한 영상 데이터를 분석, 합성, 동기화 과정을 통해 VR용 영상을 제작함으로써, 영상 내에서 1인칭 고정 시점이 아닌 여러 촬영 장소로 이동하면서 VR 영상을 감상할 수 있는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법을 제공함에 그 목적이 있다.
또한, 본 발명의 다른 목적은 지구 표면 좌표 체계인 경위도 좌표 체계를 활용하여 정보 검색으로 확보된 특정 시설물, 시설내 표지판, 시설내 특징점들의 경위도 좌표를 추출하여 이를 영상과 매핑하는 기법을 도입함으로써, 제작된 VR 영상 내에서 자유롭게 촬영 지점으로 좌표 이동에 의한 이동 감상이 가능한 영상을 제작할 수 있는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템은,
사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색하여 연관되는 정보와 영상을 확보하는 영상/정보 검색부와;
상기 영상/정보 검색부에 의해 확보된 정보와 영상으로부터 영상 및 정보를 분석하여 영상 관련 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 추출하고, 상기 추출된 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 기반으로 상기 검색된 영상들 내에 포함된 고정 시설물이나 마크점들을 모두 추출하는 영상/정보 분석부와;
상기 영상/정보 분석부에 의해 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결하는 영상/정보 합성부와;
연결이 가능한 영상들을 합성하여 최종적으로 하나의 VR 영상을 제작하는 VR 영상 제작부; 및
상기 영상/정보 검색부, 영상/정보 분석부, 영상/정보 합성부, VR 영상 제작부의 상태를 각각 체크 및 각각의 동작을 제어하는 제어부를 포함하는 점에 그 특징이 있다.
여기서, 바람직하게는 상기 영상/정보 검색부에 의한 검색 결과, 상기 영상/정보 분석부에 의한 분석 결과, 상기 영상/정보 합성부에 의해 합성된 영상 및 상기 VR 영상 제작부에 의해 제작된 최종 VR 영상을 각각 표시하는 영상/정보 표시부를 더 포함할 수 있다.
또한, 상기 영상/정보 검색부가 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색함에 있어서, 각종 포털 사이트나 검색 사이트, 유튜브 중 적어도 어느 하나를 통해 검색할 수 있다.
또한, 상기 영상/정보 합성부가 상기 각 영상들의 동기화를 수행함에 있어서, 각 영상들의 시간적 동기, 장소별 동기, 좌표별 동기화를 수행할 수 있다.
또한, 상기 영상/정보 합성부가 검색된 영상을 분석하고 연결함에 있어서, 피사체를 중심으로 360°방향 영상을 모두 채울 때까지 검색된 영상을 분석하고 연결할 수 있다.
또한, 상기 영상/정보 합성부가 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결함에 있어서, 좌표를 가지고 있는 한 영상 내의 특징점이 다른 영상에서도 추출되면, 그 다른 영상의 특징점에도 동일한 좌표를 부여하고 이를 기반으로 두 영상을 합성하는 주요 인자로 사용할 수 있다.
이때, 연결된 상기 다른 영상내에서 좌표를 가지고 있는 또 다른 특징점이 발견되면 이 특징점을 가지고 있는 다른 영상을 찾아내어 동일한 방식으로 영상을 연결하는데 사용할 수 있다.
또한, 상기 영상/정보 검색부, 영상/정보 분석부, 영상/정보 합성부, VR 영상 제작부 및 제어부는 일체화된 하나의 모듈로 구성될 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법은,
영상/정보 검색부, 영상/정보 분석부, 영상/정보 합성부, VR 영상 제작부, 및 제어부를 포함하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템을 기반으로 한 영상 제작 방법으로서,
a) 상기 영상/정보 검색부에 의해 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색하여 연관되는 정보와 영상을 확보하는 단계와;
b) 상기 확보된 정보와 영상으로부터 상기 영상/정보 분석부에 의해 영상 및 정보를 분석하여 영상 관련 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 추출하는 단계와;
c) 상기 추출된 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 기반으로 상기 영상/정보 분석부에 의해 상기 검색된 영상들 내에 포함된 고정 시설물이나 마크점들을 모두 추출하는 단계와;
d) 상기 영상/정보 합성부에 의해 상기 추출된 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결하는 단계; 및
e) 상기 VR 영상 제작부에 의해 연결이 가능한 영상들을 합성하여 최종적으로 하나의 VR 영상을 제작하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템은 영상/정보 표시부를 더 포함할 수 있고, 상기 영상/정보 표시부에 의해 상기 영상/정보 검색부에 의한 검색 결과, 상기 영상/정보 분석부에 의한 분석 결과, 상기 영상/정보 합성부에 의해 합성된 영상 및 상기 VR 영상 제작부에 의해 제작된 최종 VR 영상을 각각 표시하는 단계를 더 포함할 수 있다.
또한, 상기 단계 a)에서 사용자가 원하는 영상 정보를 각종 포털 사이트나 검색 사이트를 통해 문자, 영상을 기반으로 검색할 수 있다.
또한, 상기 단계 d)에서 상기 각 영상들의 동기화를 수행함에 있어서, 각 영상들의 시간적 동기, 장소별 동기, 좌표별 동기화를 수행할 수 있다.
또한, 상기 단계 d)에서 상기 검색된 영상을 분석하고 연결함에 있어서, 피사체를 중심으로 360°방향 영상을 모두 채울 때까지 검색된 영상을 분석하고 연결할 수 있다.
또한, 상기 단계 d)의 상기 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결하는 단계는, N개의 영상 각각에 대해 영상과 구글 지도를 매핑하는 단계와; 영상 내의 특징점을 추출하는 단계와; 추출된 특징점에 대한 경위도 좌표를 추출하고 매핑하는 단계와; 영상 내의 특징점 좌표 및 방향을 매핑하는 단계; 및 상기 영상 내의 특징점 좌표 및 방향이 매핑된 각 영상을 연결하는 단계를 포함할 수 있다.
또한, 상기 단계 d)에서 상기 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결함에 있어서, 좌표를 가지고 있는 한 영상 내의 특징점이 다른 영상에서도 추출되면, 그 다른 영상의 특징점에도 동일한 좌표를 부여하고 이를 기반으로 두 영상을 합성하는 주요 인자로 사용할 수 있다.
이때, 연결된 다른 영상내에서 좌표를 가지고 있는 또 다른 특징점이 발견되면 이 특징점을 가지고 있는 다른 영상을 찾아내어 동일한 방식으로 영상을 연결하는데 사용할 수 있다.
이와 같은 본 발명에 의하면, 시간적 공간적 제약이 있는 VR이나 하나의 카메라로 촬영한 영상처리 방식이 아닌, 많은 사람들이 동시에 하나의 장소를 촬영한 영상 데이터를 분석, 합성, 동기화 과정을 통해 VR용 영상을 제작함으로써, 영상 내에서 1인칭 고정 시점이 아닌 여러 촬영 장소로 이동하면서 VR 영상을 감상할 수 있는 장점이 있다.
도 1은 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법에 있어서, 영상 분석 및 합성 과정의 서브 루틴을 나타낸 도면이다.
도 4는 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법에 있어서, 특정 장소의 경위도 좌표 추출 및 매핑 과정을 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템(100)은 영상/정보 검색부(110), 영상/정보 분석부(120), 영상/정보 합성부(130), VR 영상 제작부(140) 및 제어부(150)를 포함하여 구성된다.
영상/정보 검색부(110)는 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색하여 연관되는 정보와 영상을 확보한다. 여기서, 이와 같은 영상/정보 검색부(110)가 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색함에 있어서, 각종 포털 사이트나 검색 사이트, 유튜브 중 적어도 어느 하나를 통해 검색할 수 있다.
영상/정보 분석부(120)는 상기 영상/정보 검색부(110)에 의해 확보된 정보와 영상으로부터 영상 및 정보를 분석하여 영상 관련 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 추출하고, 상기 추출된 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 기반으로 상기 검색된 영상들 내에 포함된 고정 시설물이나 마크점들을 모두 추출한다.
영상/정보 합성부(130)는 상기 영상/정보 분석부(120)에 의해 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결한다. 여기서, 이와 같은 영상/정보 합성부(130)가 상기 각 영상들의 동기화를 수행함에 있어서, 각 영상들의 시간적 동기, 장소별 동기, 좌표별 동기화를 수행할 수 있다. 또한, 상기 영상/정보 합성부(130)가 검색된 영상을 분석하고 연결함에 있어서, 피사체를 중심으로 360°방향 영상을 모두 채울 때까지 검색된 영상을 분석하고 연결할 수 있다. 또한, 상기 영상/정보 합성부 (130)가 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결함에 있어서, 좌표를 가지고 있는 한 영상 내의 특징점이 다른 영상에서도 추출되면, 그 다른 영상의 특징점에도 동일한 좌표를 부여하고 이를 기반으로 두 영상을 합성하는 주요 인자로 사용할 수 있다. 이때, 연결된 상기 다른 영상내에서 좌표를 가지고 있는 또 다른 특징점이 발견되면 이 특징점을 가지고 있는 다른 영상을 찾아내어 동일한 방식으로 영상을 연결하는데 사용할 수 있다.
VR 영상 제작부(140)는 연결이 가능한 영상들을 합성하여 최종적으로 하나의 VR 영상을 제작한다.
제어부(150)는 상기 영상/정보 검색부(110), 영상/정보 분석부(120), 영상/정보 합성부(130), VR 영상 제작부(140)의 상태를 각각 체크 및 각각의 동작을 제어한다. 이와 같은 제어부(150)로는 마이크로프로세서가 사용될 수 있다.
여서서, 이상과 같은 영상/정보 검색부(110), 영상/정보 분석부(120), 영상/정보 합성부(130), VR 영상 제작부(140) 및 제어부(150)는 일체화된 하나의 모듈로 구성될 수 있다.
여기서, 또한 바람직하게는 본 발명의 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템(100)은 상기 영상/정보 검색부(110)에 의한 검색 결과, 상기 영상/정보 분석부(120)에 의한 분석 결과, 상기 영상/정보 합성부(130)에 의해 합성된 영상 및 상기 VR 영상 제작부(140)에 의해 제작된 최종 VR 영상을 각각 표시하는 영상/정보 표시부(160)를 더 포함할 수 있다. 여기서, 이와 같은 영상/정보 표시부(160)로는 LCD 패널 등이 사용될 수 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템을 기반으로 한 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법에 대해 설명해 보기로 한다.
도 2는 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법의 실행 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법은, 전술한 바와 같은 영상/정보 검색부(110), 영상/정보 분석부(120), 영상/정보 합성부(130), VR 영상 제작부(140) 및 제어부(150)를 포함하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템(100)을 기반으로 한 영상 제작 방법으로서, 먼저 상기 영상/정보 검색부(110)에 의해 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색하여 연관되는 정보와 영상을 확보한다(단계 S201). 여기서, 사용자가 원하는 영상 정보를 각종 포털 사이트나 검색 사이트를 통해 문자, 영상을 기반으로 검색할 수 있다.
이렇게 하여 정보와 영상이 확보되면, 그 확보된 정보와 영상으로부터 상기 영상/정보 분석부(120)에 의해 영상 및 정보를 분석하여 영상 관련 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 추출한다. 또한, 추출된 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 기반으로 상기 영상/정보 분석부(120)에 의해 상기 검색된 영상들 내에 포함된 고정 시설물이나 마크점들을 모두 추출한다(단계 S202).
그런 후, 상기 영상/정보 합성부(130)에 의해 상기 추출된 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결한다(단계 S203). 여기서, 상기 각 영상들의 동기화를 수행함에 있어서, 각 영상들의 시간적 동기, 장소별 동기, 좌표별 동기화를 수행할 수 있다. 또한, 상기 검색된 영상을 분석하고 연결함에 있어서, 피사체를 중심으로 360°방향 영상을 모두 채울 때까지 검색된 영상을 분석하고 연결할 수 있다. 또한, 상기 추출된 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결함에 있어서, 좌표를 가지고 있는 한 영상 내의 특징점이 다른 영상에서도 추출되면, 그 다른 영상의 특징점에도 동일한 좌표를 부여하고 이를 기반으로 두 영상을 합성하는 주요 인자로 사용할 수 있다. 이때, 연결된 다른 영상내에서 좌표를 가지고 있는 또 다른 특징점이 발견되면 이 특징점을 가지고 있는 다른 영상을 찾아내어 동일한 방식으로 영상을 연결하는데 사용할 수 있다.
이상에 의해 검색된 영상의 분석 및 연결이 이루어지면, 상기 VR 영상 제작부(140)에 의해 연결이 가능한 영상들을 합성하여 최종적으로 하나의 VR 영상을 제작한다(단계 S203, S204).
여기서, 이상과 같은 본 발명의 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템(100)은 영상/정보 표시부(160)를 더 포함할 수 있고, 이와 관련하여 본 발명의 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법은 상기 영상/정보 표시부(160)에 의해 상기 영상/정보 검색부(110)에 의한 검색 결과, 상기 영상/정보 분석부(120)에 의한 분석 결과, 상기 영상/정보 합성부(130)에 의해 합성된 영상 및 상기 VR 영상 제작부(140)에 의해 제작된 최종 VR 영상을 각각 표시하는 단계를 더 포함할 수 있다.
한편, 도 3은 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법에 있어서, 영상 분석 및 합성 과정의 서브 루틴을 나타낸 도면이다.
도 3을 참조하면, 이는 상기 단계 S203의 상기 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결하는 단계의 구체적인 프로세스를 나타낸 것으로서, 먼저 N개의 영상(영상1, ..., 영상N) 각각에 대해 영상과 구글 지도를 매핑한다(단계 S301). 그런 다음,영상 내의 특징점을 추출한다(단계 S302). 그런 후, 추출된 특징점에 대한 경위도 좌표를 추출하고 매핑한다(단계 S303). 그리고 영상 내의 특징점 좌표 및 방향을 매핑한다(단계 S304). 그런 후, 상기 영상 내의 특징점 좌표 및 방향이 매핑된 각 영상을 연결한다(단계 S305). 이후에는 다시 도 2의 단계 S203으로 회귀한다.
도 4는 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법에 있어서, 특정 장소의 경위도 좌표 추출 및 매핑 과정을 나타낸 도면이다.
도 4를 참조하면, 이는 상기 도 3에서의 단계 S303에 대응하는 것으로서, 경기장 내의 주요 위치점(401) 및 개인 촬영 위치(402)를 추출하게 된다.
이상의 설명과 같이, 본 발명에 따른 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법은 시간적 공간적 제약이 있는 VR이나 하나의 카메라로 촬영한 영상처리 방식이 아닌, 많은 사람들이 동시에 하나의 장소를 촬영한 영상 데이터를 분석, 합성, 동기화 과정을 통해 VR용 영상을 제작함으로써, 영상 내에서 1인칭 고정 시점이 아닌 여러 촬영 장소로 이동하면서 VR 영상을 감상할 수 있는 장점이 있다.
또한, 본 발명의 시스템 및 방법은 지구 표면 좌표 체계인 경위도 좌표 체계를 활용하여 정보 검색으로 확보된 특정 시설물, 시설내 표지판, 시설내 특징점들의 경위도 좌표를 추출하여 이를 영상과 매핑하는 기법을 도입함으로써, 제작된 VR 영상 내에서 자유롭게 촬영 지점으로 좌표 이동에 의한 이동 감상이 가능한 영상을 제작할 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: (본 발명)다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템
110: 영상/정보 검색부 120: 영상/정보 분석부
130: 영상/정보 합성부 140: VR 영상 제작부
150: 제어부 160: 영상/정보 표시부

Claims (16)

  1. 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색하여 연관되는 정보와 영상을 확보하는 영상/정보 검색부와;
    상기 영상/정보 검색부에 의해 확보된 정보와 영상으로부터 영상 및 정보를 분석하여 영상 관련 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 추출하고, 상기 추출된 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 기반으로 상기 검색된 영상들 내에 포함된 고정 시설물이나 마크점들을 모두 추출하는 영상/정보 분석부와;
    상기 영상/정보 분석부에 의해 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결하는 영상/정보 합성부와;
    연결이 가능한 영상들을 합성하여 최종적으로 하나의 VR 영상을 제작하는 VR 영상 제작부; 및
    상기 영상/정보 검색부, 영상/정보 분석부, 영상/정보 합성부, VR 영상 제작부의 상태를 각각 체크 및 각각의 동작을 제어하는 제어부를 포함하고,
    상기 영상/정보 합성부가 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결함에 있어서, 좌표를 가지고 있는 한 영상 내의 특징점이 다른 영상에서도 추출되면, 그 다른 영상의 특징점에도 동일한 좌표를 부여하고 이를 기반으로 두 영상을 합성하는 주요 인자로 사용하며,
    연결된 상기 다른 영상내에서 좌표를 가지고 있는 또 다른 특징점이 발견되면 이 특징점을 가지고 있는 다른 영상을 찾아내어 동일한 방식으로 영상을 연결하는데 사용하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템.
  2. 제1항에 있어서,
    상기 영상/정보 검색부에 의한 검색 결과, 상기 영상/정보 분석부에 의한 분석 결과, 상기 영상/정보 합성부에 의해 합성된 영상 및 상기 VR 영상 제작부에 의해 제작된 최종 VR 영상을 각각 표시하는 영상/정보 표시부를 더 포함하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템.
  3. 제1항에 있어서,
    상기 영상/정보 검색부가 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색함에 있어서, 각종 포털 사이트나 검색 사이트, 유튜브 중 적어도 어느 하나를 통해 검색하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템.
  4. 제1항에 있어서,
    상기 영상/정보 합성부가 상기 각 영상들의 동기화를 수행함에 있어서, 각 영상들의 시간적 동기, 장소별 동기, 좌표별 동기화를 수행하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템.
  5. 제1항에 있어서,
    상기 영상/정보 합성부가 검색된 영상을 분석하고 연결함에 있어서, 피사체를 중심으로 360°방향 영상을 모두 채울 때까지 검색된 영상을 분석하고 연결하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 영상/정보 검색부, 영상/정보 분석부, 영상/정보 합성부, VR 영상 제작부 및 제어부는 일체화된 하나의 모듈로 구성된 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템.
  9. 영상/정보 검색부, 영상/정보 분석부, 영상/정보 합성부, VR 영상 제작부, 및 제어부를 포함하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템을 기반으로 한 영상 제작 방법으로서,
    a) 상기 영상/정보 검색부에 의해 사용자가 원하는 영상 정보를 문자, 영상을 기반으로 검색하여 연관되는 정보와 영상을 확보하는 단계와;
    b) 상기 확보된 정보와 영상으로부터 상기 영상/정보 분석부에 의해 영상 및 정보를 분석하여 영상 관련 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 추출하는 단계와;
    c) 상기 추출된 고정 시설물이나 마크점의 실제 경도 및 위도 좌표를 기반으로 상기 영상/정보 분석부에 의해 상기 검색된 영상들 내에 포함된 고정 시설물이나 마크점들을 모두 추출하는 단계와;
    d) 상기 영상/정보 합성부에 의해 상기 추출된 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결하는 단계; 및
    e) 상기 VR 영상 제작부에 의해 연결이 가능한 영상들을 합성하여 최종적으로 하나의 VR 영상을 제작하는 단계를 포함하고,
    상기 단계 d)에서 상기 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결함에 있어서, 좌표를 가지고 있는 한 영상 내의 특징점이 다른 영상에서도 추출되면, 그 다른 영상의 특징점에도 동일한 좌표를 부여하고 이를 기반으로 두 영상을 합성하는 주요 인자로 사용하며,
    연결된 상기 다른 영상내에서 좌표를 가지고 있는 또 다른 특징점이 발견되면 이 특징점을 가지고 있는 다른 영상을 찾아내어 동일한 방식으로 영상을 연결하는데 사용하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법.
  10. 제9항에 있어서,
    상기 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템은 영상/정보 표시부를 더 포함하고, 상기 영상/정보 표시부에 의해 상기 영상/정보 검색부에 의한 검색 결과, 상기 영상/정보 분석부에 의한 분석 결과, 상기 영상/정보 합성부에 의해 합성된 영상 및 상기 VR 영상 제작부에 의해 제작된 최종 VR 영상을 각각 표시하는 단계를 더 포함하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법.
  11. 제9항에 있어서,
    상기 단계 a)에서 사용자가 원하는 영상 정보를 각종 포털 사이트나 검색 사이트를 통해 문자, 영상을 기반으로 검색하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법.
  12. 제9항에 있어서,
    상기 단계 d)에서 상기 각 영상들의 동기화를 수행함에 있어서, 각 영상들의 시간적 동기, 장소별 동기, 좌표별 동기화를 수행하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법.
  13. 제9항에 있어서,
    상기 단계 d)에서 상기 검색된 영상을 분석하고 연결함에 있어서, 피사체를 중심으로 360°방향 영상을 모두 채울 때까지 검색된 영상을 분석하고 연결하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법.
  14. 제9항에 있어서,
    상기 단계 d)의 상기 추출된 상기 고정 시설물이나 마크점들을 특징점으로 하여 각 영상들의 동기화를 수행하여 검색된 영상을 분석하고 연결하는 단계는,
    N개의 영상 각각에 대해 영상과 구글 지도를 매핑하는 단계와;
    영상 내의 특징점을 추출하는 단계와; 추출된 특징점에 대한 경위도 좌표를 추출하고 매핑하는 단계와;
    영상 내의 특징점 좌표 및 방향을 매핑하는 단계; 및
    상기 영상 내의 특징점 좌표 및 방향이 매핑된 각 영상을 연결하는 단계를 포함하는 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 방법.
  15. 삭제
  16. 삭제
KR1020190147262A 2019-11-18 2019-11-18 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법 KR102231381B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190147262A KR102231381B1 (ko) 2019-11-18 2019-11-18 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190147262A KR102231381B1 (ko) 2019-11-18 2019-11-18 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102231381B1 true KR102231381B1 (ko) 2021-03-23

Family

ID=75223605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147262A KR102231381B1 (ko) 2019-11-18 2019-11-18 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102231381B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101638956B1 (ko) 2015-04-20 2016-07-12 라영수 항공촬영 및 지상촬영 영상을 이용한 가상 현실 동영상 제작방법
KR101754700B1 (ko) * 2016-05-17 2017-07-19 주식회사 카이 Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법
KR20180029690A (ko) * 2016-09-13 2018-03-21 주식회사 유브이알 매물에 관한 가상현실영상 제공방법 및 제공서버, 매물에 관한 가상현실영상 제작방법 및 제작서버
KR20180088538A (ko) * 2017-01-23 2018-08-06 고범준 Ｖｒ 영상 생성 방법, ｖｒ 영상 처리 방법 및 ｖｒ 영상 처리 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101638956B1 (ko) 2015-04-20 2016-07-12 라영수 항공촬영 및 지상촬영 영상을 이용한 가상 현실 동영상 제작방법
KR101754700B1 (ko) * 2016-05-17 2017-07-19 주식회사 카이 Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법
KR20180029690A (ko) * 2016-09-13 2018-03-21 주식회사 유브이알 매물에 관한 가상현실영상 제공방법 및 제공서버, 매물에 관한 가상현실영상 제작방법 및 제작서버
KR20180088538A (ko) * 2017-01-23 2018-08-06 고범준 Ｖｒ 영상 생성 방법, ｖｒ 영상 처리 방법 및 ｖｒ 영상 처리 시스템

Similar Documents

Publication Publication Date Title
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
EP3798983B1 (en) Camera orientation tracking method and apparatus, device, and system
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
US10650590B1 (en) Method and system for fully immersive virtual reality
US9392248B2 (en) Dynamic POV composite 3D video system
KR101295471B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US10022626B2 (en) Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method, for performing augmented reality
WO2012029576A1 (ja) 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
US20140192164A1 (en) System and method for determining depth information in augmented reality scene
CN106683195B (zh) 一种基于室内定位的ar场景渲染方法
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
CN111833457A (zh) 图像处理方法、设备及存储介质
JP6374754B2 (ja) 画像合成装置及びそのプログラム
US20150326847A1 (en) Method and system for capturing a 3d image using single camera
JP6812181B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN113470190A (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
CN113377205B (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
KR102231381B1 (ko) 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
KR101421442B1 (ko) 입체카메라 촬영위치 추적방법 및 그 시스템
KR100231712B1 (ko) 무인정찰기 시스템의 운용 방법
KR101983727B1 (ko) 증강현실 가상 스튜디오 시스템 및 그 구현 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant