KR101794709B1 - 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR101794709B1
KR101794709B1 KR1020160038336A KR20160038336A KR101794709B1 KR 101794709 B1 KR101794709 B1 KR 101794709B1 KR 1020160038336 A KR1020160038336 A KR 1020160038336A KR 20160038336 A KR20160038336 A KR 20160038336A KR 101794709 B1 KR101794709 B1 KR 101794709B1
Authority
KR
South Korea
Prior art keywords
image
point
arbitrary
time
generating
Prior art date
Application number
KR1020160038336A
Other languages
English (en)
Other versions
KR20170111964A (ko
Inventor
조정현
김익재
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020160038336A priority Critical patent/KR101794709B1/ko
Publication of KR20170111964A publication Critical patent/KR20170111964A/ko
Application granted granted Critical
Publication of KR101794709B1 publication Critical patent/KR101794709B1/ko

Links

Images

Classifications

    • H04N13/0282—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H04N13/0011—
    • H04N13/0014—
    • H04N13/0278—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

임의 시점의 영상 생성 방법은, 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출하는 단계; 새로운 시점의 영상을 생성하기 위한 임의 시점을 입력하는 단계; 상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 단계; 상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(Interpolation)하여 상기 임의 시점에서의 영상을 생성하는 단계; 및 상기 임의 시점에서의 영상을 출력하는 단계를 포함한다. 이에 따라, 촬영된 영상의 시점과 다른 새로운 시점에서의 영상을 신속하고 정확하게 생성할 수 있다.

Description

임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR GENERATING IMAGE AT AN ARBITRARY VIEWPOINTRANDOM POINT, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 단안(monocular) 카메라로부터 획득한 실제 영상을 기반으로 새로운 시점의 영상을 생성하기 위한 방법론이다.
최근, 비디오 카메라 및 스마트 폰에서 획득한 영상을 기반으로 스테레오스코픽(stereoscopic) 영상을 자동 생성하거나 새로운 경로에서 다른 시점에서 바라보는 실감 가상현실(virtual reality; VR) 영상을 재생성하는 수요가 증대하고 있다. 특히, 최근 드론을 활용하여 기존에는 경험해보지 못했던 시점에서 물체를 조망하는 영상을 제작하고자 하는 수요가 증대하고 있다.
종래 기술로서 다시점(multiscopic) 영상 또는 단시점 영상으로부터 양안의 스테레오스코픽 영상을 생성하기 위해 이미지를 보정하고 변형(warping)하는 방법론을 제시한다(선행기술문헌의 특허문헌 1). 그러나, 상기 종래 기술은 보다 정확한 스테레오스코픽 영상을 생성하는 방법에 초점이 맞춰져 있어서, 양안의 시점 차이 정도의 국소적인 보간이 가능할 뿐이다.
또한, 선행기술문헌의 특허문헌 2의 기술은 가상 공간의 다시점 영상 입력으로부터 가상 공간의 새로운 시점의 영상을 빠르게 생성하는 이미지 변형 기술 및 이미지 전처리 기술을 제시한다. 그러나, 상기 종래 기술은 가상 공간의 물체를 이미 알고 있는 상황에서 주어진 시점의 영상들로부터 새로운 시점의 영상을 생성하는데 필요한 세부 기술을 제시하므로, 피사체의 3차원 복원 결과를 알 수 없는 상황에서의 임의 시점 영상을 생성할 수는 없다.
또한, 단안(monocular) 카메라로 획득된 영상들로부터 새로운 시점의 영상을 생성하기 위해 우선 다시점 기하학(multiview geometry)을 계산하여 각 시점의 깊이 영상 정보를 구하고, 해당 시점 영상을 다시 슈퍼픽셀(super-pixel)로 분할하는 기술이 제시되었다(선행기술문헌의 비특허문헌 1). 이 기술은 각각의 시점에서 계산된 슈퍼픽셀들 간의 국소적인(local) 변형을 통해 새로운 시점의 영상을 생성한다.
그러나, 이 경우 3차원 카메라 정보로부터 가상 시점에 가까운 뷰를 선택하고, 이미지를 슈퍼픽셀 단위로 분해하고, 슈퍼픽셀 단위의 국소적인 시점 변화를 계산하고, 이를 합성하여 최종 영상을 계산한다. 이러한 방법은 과정이 매우 복잡하고, 최종 영상 출력까지 시간이 지연된다.
또한, 이러한 종래 기술은 나무와 같이 복잡한 물체, 유리창 또는 자동차와 같이 반사가 심한 물체가 있는 영상의 경우, 다시점 기하학 방법을 사용하여 3차원 모델을 계산하고 3차원 모델을 임의 시점에서 렌더링하는데 한계가 있다. 따라서, 영상 기반의 임의 시점 렌더링 기술 개발이 필요한 실정이다.
US 2013-0057644 A1 US 5613048 A
Depth Synthesis and Local Warps for Plausible Image-based Navigation (Gaurav Chaurasia et at., ACM Transactions on Graphics, 2013)
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 카메라의 동선을 달리했을 때의 영상을 빠르고 효율적으로 생성할 수 있는 임의 시점의 영상 생성 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 임의 시점의 영상 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 임의 시점의 영상 생성 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 임의 시점의 영상 생성 방법은, 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출하는 단계; 새로운 시점의 영상을 생성하기 위한 임의 시점을 입력하는 단계; 상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 단계; 상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(interpolation)하여 상기 임의 시점에서의 영상을 생성하는 단계; 및 상기 임의 시점에서의 영상을 출력하는 단계를 포함한다.
본 발명의 실시예에서, 상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 단계는, 상기 임의 시점에서 노출되는 피사체의 영역을 최대한 포함하는 시점부터 차례로 적어도 두 개 이상의 보간용 시점을 선택할 수 있다.
본 발명의 실시예에서, 상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 단계는, 상기 임의 시점에서의 영상의 시점 변화가 N차원인 경우, 적어도 2N 개의 보간용 시점을 선택할 수 있다.
본 발명의 실시예에서, 상기 입력되는 다시점 영상은 정적인 피사체의 모노스코픽(monoscopic) 영상이거나 또는 동적인 피사체의 멀티스코픽(multiscopic) 영상일 수 있다.
본 발명의 실시예에서, 상기 임의 시점의 영상 생성 방법은, 상기 입력되는 다시점 영상을 변환하고 카메라 정보를 확인하는 전처리 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출하는 단계는, 다시점 기하학 기법을 이용할 수 있다.
본 발명의 실시예에서, 상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(interpolation)하여 상기 임의 시점에서의 영상을 생성하는 단계는, 특징점 기반의 이미지 모핑(morphing) 기법을 사용할 수 있다.
본 발명의 실시예에서, 상기 임의 시점에서의 영상을 출력하는 단계는, 상기 임의 시점의 동선 변화에 따라 연속적인 영상을 출력할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 임의 시점의 영상 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 임의 시점의 영상 생성 장치는, 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출하는 정보 추출부; 새로운 시점의 영상을 생성하기 위한 임의 시점을 입력하는 임의 시점 입력부; 상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 시점 자동 선택부; 상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(interpolation)하여 상기 임의 시점에서의 영상을 생성하는 보간부; 및 상기 임의 시점에서의 영상을 출력하는 출력부를 포함한다.
본 발명의 실시예에서, 상기 시점 자동 선택부는, 상기 임의 시점에서 노출되는 피사체의 영역을 최대한 포함하는 시점부터 차례로 적어도 두 개 이상의 보간용 시점을 선택할 수 있다.
본 발명의 실시예에서, 상기 시점 자동 선택부는, 상기 임의 시점에서의 영상의 시점 변화가 N차원인 경우, 적어도 2N 개의 보간용 시점을 선택할 수 있다.
본 발명의 실시예에서, 상기 입력되는 다시점 영상은 정적인 피사체의 모노스코픽(monoscopic) 영상이거나 또는 동적인 피사체의 멀티스코픽(multiscopic) 영상일 수 있다.
본 발명의 실시예에서, 임의 시점의 영상 생성 장치는, 상기 입력되는 다시점 영상을 변환하고 카메라 정보를 확인하는 전처리부를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 정보 추출부는, 다시점 기하학 기법을 이용하여 카메라의 위치와 자세(pose) 정보를 추출할 수 있다.
본 발명의 실시예에서, 상기 보간부는, 특징점 기반의 이미지 모핑(morphing) 기법을 이용하여 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간할 수 있다.
본 발명의 실시예에서, 상기 출력부는, 상기 임의 시점의 동선 변화에 따라 연속적인 영상을 출력할 수 있다.
이와 같은 임의 시점의 영상 생성 방법에 따르면, 단안 카메라로 획득된 영상으로부터 카메라의 위치와 포즈를 정렬하고, 정렬된 카메라 정보를 이용하여 새로운 시점에 노출되는 피사체의 영역을 최대로 포함하는 시점의 영상들을 자동 선택하고, 이를 3차원적으로 보간하는 방법으로 임의 시점의 영상을 생성한다.
이에 따라, 본 발명은 피사체의 3차원 복원 결과를 알 수 없는 상황에서도 신속하고 정확하게 임의시점 영상을 생성할 수 있다. 나아가, 본 발명은 정지 물체를 촬영하는 드론(Drone) 영상이나 동적 물체를 동시에 촬영하는 드론 편대 영상에 적용하여 임의 시점 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 임의 시점의 영상 생성 장치의 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 임의 시점의 영상 생성 장치의 블록도이다.
도 3은 본 발명에 따른 1차원 시점 변화 시 보간용 시점 선택을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 2차원 시점 변화 시 보간용 시점 선택을 설명하기 위한 도면이다.
도 5는 도 3에서 선택된 보간용 시점의 영상 보간을 통해 생성한 임의 시점 영상의 예시이다.
도 6은 본 발명의 일 실시예에 따른 임의 시점의 영상 생성 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 임의 시점의 영상 생성 장치의 블록도이다.
본 발명에 따른 임의 시점의 영상 생성 장치(10, 이하 장치)는 촬영된 다시점(multiscopic) 영상을 보간하는 방식으로 임의 시점을 렌더링(rendering)한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 장치(10)는 정보 추출부(200), 임의 시점 입력부(300), 시점 자동 선택부(400), 보간부(500) 및 출력부(600)를 포함한다.
본 발명의 상기 장치(10)는 임의 시점의 영상을 생성하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 정보 추출부(200), 상기 임의 시점 입력부(300), 상기 시점 자동 선택부(400), 상기 보간부(500) 및 상기 출력부(600)의 구성은 상기 장치(10)에서 실행되는 임의 시점의 영상을 생성하기 위한 소프트웨어에 의해 제어될 수 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 정보 추출부(200), 상기 임의 시점 입력부(300), 상기 시점 자동 선택부(400), 상기 보간부(500) 및 상기 출력부(600)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
상기 정보 추출부(200)는 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출한다. 이때, 상기 정보 추출부(200)는 다시점 영상 기법을 통해 카메라의 위치와 자세를 정렬할 수 있다. 또는, 상기 정보 추출부(200)는 카메라의 센서 정보를 이용하여 카메라의 위치와 자세를 정렬할 수도 있다.
입력되는 영상은 다시점 영상으로서, 모노스코픽(monoscopic) 영상이거나 멀티스코픽(multiscopic) 영상일 수 있다. 모노스코픽 영상은 하나의 카메라로 피사체 주변을 돌며 찍은 영상이고, 멀티스코픽 영상은 피사체 주변을 다수개의 카메라로 찍은 영상이다. 예를 들어, 정적인 피사체의 경우 모노스코픽 영상일 수 있고, 동적인 피사체의 경우 멀티스코픽 영상일 수 있다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 장치(20)로서, 전처리부(100)를 더 포함한다. 도 2의 장치(20)는 전처리부(100)를 더 포함하는 것을 제외하고 도 1의 장치(10)와 실질적으로 동일하므로, 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
상기 전처리부(100)는 상기 입력되는 다시점 영상을 변환하고 카메라 정보를 확인한다. 구체적으로, 상기 전처리부(100)는 상기 입력되는 다시점 영상을 스테레오스코픽 영상에 적합한 형식으로 변환하고, 화각(angle of view) 등 카메라의 사양을 파악할 수 있다.
상기 임의 시점 입력부(300)는 카메라에 의해 촬영되지 않은 새로운 시점의 영상을 생성하기 위한 임의 시점을 입력한다. 상기 임의 시점은 사용자가 선택할 수도 있으나, 새로운 동선의 영상을 생성하기 위해 자동 선택될 수도 있다.
상기 시점 자동 선택부(400)는 상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택한다. 상기 시점 자동 선택부(400)는 상기 임의 시점에서 노출되는 피사체의 영역을 최대한 포함하는 시점부터 차례로 적어도 두 개 이상의 보간용 시점을 선택한다. 또한, 생성하고자 하는 임의 시점 영상의 시점 변화가 N차원인 경우, 적어도 2N 개의 보간용 시점을 선택할 수 있다.
도 3을 참조하면, 임의 시점(R)이 선택될 때, 자동으로 2 개의 보간용 시점이 선택되는 것을 보여준다. 도 3의 예는 모노스코픽 영상으로 시점 변화가 좌우 1차원인 경우이다.
예를 들어, 제1 시점(V1), 제2 시점(V2), 제3 시점(V3) 및 제4 시점(V4)에서 촬영된 영상이 있는 경우, 임의 시점(R)에 노출되는 피사체 영역(AR)을 가장 많이 포함하는 시점은 제1 시점(V1)이고, 그 다음이 제3 시점(V3)이 된다.
이에 따라, 보간용 시점 2 개가 필요한 경우, 제1 시점(V1)과 제3 시점(V3)이 보간용 시점으로 선택되고, 제1 시점(V1)의 영상과 제3 시점(V3)의 영상을 이용하여 임의 시점(R)의 영상을 생성한다.
본원발명에서는 거리 기준이 아닌 임의 시점에서 노출되는 피사체의 영역을 충분히 포함하는지 여부로 보간용 시점을 선택한다. 도 3에서도 거리상 제2 시점(V2)이 제1 시점(V1)보다 임의 시점(R)에 가까우나 보간용 시점으로 선택되지 않는다.
도 4를 참조하면, 임의 시점(R)이 선택될 때, 자동으로 4 개의 보간용 시점이 선택되는 것을 보여준다. 도 4의 예는 멀티스코픽 영상으로 시점 변화가 상하좌우 2차원인 경우이다.
예를 들어, 제5 시점(V5), 제6 시점(V6), 제7 시점(V7), 제8 시점(V8) 및 제9 시점(V9)에서 촬영된 영상이 있는 경우, 각 시점에서 촬영된 영역은 각각 제5 영역(A5), 제6 영역(A6), 제7 영역(A7), 제8 영역(A8) 및 제9 영역(A)이다. 임의 시점(R)에 노출되는 피사체 영역(AR)을 가장 많이 포함하는 순서는 제9 시점(V9), 제8 시점(V8), 제7 영역(A7), 제5 시점(V5), 제6 시점(V6)이다.
이에 따라, 보간용 시점 4개가 필요한 경우, 제9 시점(V9), 제8 시점(V8), 제7 영역(A7) 및 제5 시점(V5)이 보간용 시점으로 선택되고, 제9 시점(V9), 제8 시점(V8), 제7 영역(A7) 및 제5 시점(V5)들의 영상을 이용하여 임의 시점(R)의 영상을 생성한다.
만약 피사체 영역(AR)을 포함하는 순위가 충돌하는 경우에는, 충돌하는 시점들 중 임의 시점(R)으로부터 가까운 시점부터 선택할 수도 있을 것이다.
상기 보간부(500)는 상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(interpolation)하여 상기 임의 시점에서의 영상을 생성한다. 이 경우, 특징점 기반의 이미지 모핑(morphing) 기법을 사용하여 영상을 보간할 수 있다.
도 3의 경우, 제1 시점(V1)의 영상과 제3 시점(V3)의 영상을 보간하여 임의 시점(R)의 영상을 생성한다. 그 결과를 도 5에 도시하였다.
상기 출력부(600)는 상기 임의 시점에서의 영상을 출력한다. 상기 설명한 방법에 따라, 새로운 시점의 영상을 생성하고, 시점 변화를 통해 연속적인 스테레오스코픽(stereoscopic) 영상을 출력할 수 있다.
예를 들어, 드론의 경우 재촬영의 부담이 크기 때문에 한번 촬영 후 카메라의 동선을 달리했을 때에도 새로운 시점 영상을 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 임의 시점의 영상 생성 방법의 흐름도이다.
본 실시예에 따른 임의 시점의 영상 생성 방법은, 도 1의 장치(10) 또는 도 2의 장치(20)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10) 및 도 2의 장치(20)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 임의 시점의 영상 생성 방법은 임의 시점의 영상을 생성하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 6을 참조하면, 본 실시예에 따른 임의 시점의 영상 생성 방법은, 촬영 대상이 동적인 피사체인지 아닌지 확인한다(단계 S10). 만약, 촬영 대상이 동적인 피사체가 아니라면, 즉 움직이지 않는 정적인 피사체라면 모노스코픽(monoscopic) 영상을 촬영한다(단계 S20).
반면, 촬영 대상이 동적인 피사체라면, 즉 움직이는 동적인 피사체라면 멀티스코픽(multiscopic) 영상을 촬영한다(단계 S30). 그러나, 상기 단계 S10 내지 단계 S30은 생략 가능하며, 이미 촬영된 영상을 입력받아 임의 시점의 영상 생성 방법을 구현할 수 있다.
이를 위해, 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출한다(단계 S50). 이때, 다시점 영상 기법을 통해 카메라의 위치와 자세를 정렬할 수 있다. 또는, 카메라의 센서 정보를 이용할 수도 있다.
단계 S50 이전에, 본 실시예에 따른 임의 시점의 영상 생성 방법은, 상기 입력되는 다시점 영상을 변환하고 카메라 정보를 확인하는 전처리 단계(단계 S40)를 더 포함할 수 있다. 전처리 단계는, 상기 입력되는 다시점 영상을 스테로오스코픽 영상에 적합한 형식으로 변환하고, 화각(angle of view) 등 카메라의 사양을 파악할 수 있다.
단계 S50에서 카메라의 위치와 자세의 정렬이 완료되면, 새로운 시점의 영상을 생성하기 위한 임의 시점을 입력한다(단계 S60). 상기 임의 시점은 사용자가 선택할 수도 있으나, 새로운 동선의 영상을 생성하기 위해 자동 선택될 수도 있다.
임의 시점이 입력되면, 상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택한다(단계 S70). 보간용 시점은 상기 임의 시점에서 노출되는 피사체의 영역을 최대한 포함하는 시점부터 차례로 선택될 수 있다. 이때, 생성하고자 하는 임의 시점 영상의 시점 변화가 N차원인 경우, 적어도 2N 개의 보간용 시점을 선택할 수 있다.
도 3의 설명에서, 임의 시점(R)이 선택되고, 시점 변화가 1차원(좌우)일 때, 자동으로 2 개의 보간용 시점이 선택되는 예를 설명하였고, 도 4의 설명에서, 임의 시점(R)이 선택되고, 시점 변화가 2차원(상하좌우)일 때, 자동으로 4 개의 보간용 시점이 선택되는 예를 설명하였다. 본원발명에서는 거리 기준이 아닌 상기 임의 시점에서 노출되는 피사체의 영역을 충분히 포함하는지 여부로 보간용 시점을 선택한다.
만약 피사체 영역(AR)을 포함하는 순위가 충돌하는 경우에는, 충돌하는 시점들 중 임의 시점(R)으로부터 가까운 시점부터 선택할 수도 있을 것이다.
상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(interpolation)하여 상기 임의 시점에서의 영상을 생성한다(단계 S80). 이 경우, 특징점 기반의 이미지 모핑(morphing) 기법을 사용하여 영상을 보간할 수 있다. 도 3의 제1 시점(V1)의 영상과 제3 시점(V3)의 영상을 보간하여 임의 시점(R)의 영상을 생성한 결과를 도 5에 도시하였다.
상기 임의 시점에서의 영상을 출력한다(단계 S90). 제1 임의 시점에서의 영상이 출력되면, 곧바로 제1 임의 시점에서 일정간격 이격된 제2 임의 시점이 입력되고, 상기 단계 S60부터 다시 수행될 수 있다. 이에 따라, 새로운 시점의 영상을 생성하고, 시점 변화를 통해 연속으로 스테레오스코픽(stereoscopic) 영상을 출력할 수 있다.
예를 들어, 드론의 경우 재촬영의 부담이 크기 때문에 한번 촬영 후 카메라의 동선을 달리했을 때에도 새로운 시점 영상을 생성할 수 있다.
이와 같은, 임의 시점의 영상 생성 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 실감 가상현실(virtual reality; VR) 영상을 제작하는데 주요한 기술로 활용될 수 있으며, 특히 최근 드론을 활용하여 기존에는 경험해보지 못했던 시점에서 물체를 조망하는 영상을 제작하고자 하는 수요가 증대하고 있다. 본 발명은 기 촬영된 드론 영상을 가공하여 드론의 재촬영 없이도 새로운 경로의 영상을 생성하는 기술로서, 드론 영상 처리에 중요한 기술로 활용될 수 있다.
10, 20: 임의 시점의 영상 생성 장치
100: 전처리부
200: 정보 추출부
300: 임의 시점 입력부
400: 시점 자동 선택부
500: 보간부
600: 출력부

Claims (17)

  1. 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출하는 단계;
    새로운 시점의 영상을 생성하기 위한 임의 시점을 입력하는 단계;
    상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 단계;
    상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(interpolation)하여 상기 임의 시점에서의 영상을 생성하는 단계; 및
    상기 임의 시점에서의 영상을 출력하는 단계를 포함하고,
    상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 단계는, 상기 임의 시점에서 노출되는 피사체의 영역을 최대한 포함하는 시점부터 차례로 적어도 두 개 이상의 보간용 시점을 선택하는, 임의 시점의 영상 생성 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 단계는,
    상기 임의 시점에서의 영상의 시점 변화가 N차원인 경우, 적어도 2N 개의 보간용 시점을 선택하는, 임의 시점의 영상 생성 방법.
  4. 제1항에 있어서,
    상기 입력되는 다시점 영상은 정적인 피사체의 모노스코픽(monoscopic) 영상이거나 또는 동적인 피사체의 멀티스코픽(multiscopic) 영상인, 임의 시점의 영상 생성 방법.
  5. 제1항에 있어서,
    상기 입력되는 다시점 영상을 변환하고 카메라 정보를 확인하는 전처리 단계를 더 포함하는, 임의 시점의 영상 생성 방법.
  6. 제1항에 있어서, 상기 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출하는 단계는,
    다시점 기하학 기법을 이용하는, 임의 시점의 영상 생성 방법.
  7. 제1항에 있어서, 상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(interpolation)하여 상기 임의 시점에서의 영상을 생성하는 단계는,
    특징점 기반의 이미지 모핑(morphing) 기법을 사용하는, 임의 시점의 영상 생성 방법.
  8. 제1항에 있어서, 상기 임의 시점에서의 영상을 출력하는 단계는,
    상기 임의 시점의 동선 변화에 따라 연속적인 영상을 출력하는, 임의 시점의 영상 생성 방법.
  9. 제1항 및 제3항 내지 제8항 중 어느 하나의 항에 따른 임의 시점의 영상 생성 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  10. 입력되는 다시점 영상을 분석하여 카메라의 위치와 자세(pose) 정보를 추출하는 정보 추출부;
    새로운 시점의 영상을 생성하기 위한 임의 시점을 입력하는 임의 시점 입력부;
    상기 임의 시점에서의 영상을 생성하기 위한 적어도 두 개 이상의 보간용 시점을 선택하는 시점 자동 선택부;
    상기 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간(interpolation)하여 상기 임의 시점에서의 영상을 생성하는 보간부; 및
    상기 임의 시점에서의 영상을 출력하는 출력부를 포함하고,
    상기 시점 자동 선택부는,
    상기 임의 시점에서 노출되는 피사체의 영역을 최대한 포함하는 시점부터 차례로 적어도 두 개 이상의 보간용 시점을 선택하는, 임의 시점의 영상 생성 장치.
  11. 삭제
  12. 제10항에 있어서, 상기 시점 자동 선택부는,
    상기 임의 시점에서의 영상의 시점 변화가 N차원인 경우, 적어도 2N 개의 보간용 시점을 선택하는, 임의 시점의 영상 생성 장치.
  13. 제10항에 있어서,
    상기 입력되는 다시점 영상은 정적인 피사체의 모노스코픽(monoscopic) 영상이거나 또는 동적인 피사체의 멀티스코픽(multiscopic) 영상인, 임의 시점의 영상 생성 장치.
  14. 제10항에 있어서,
    상기 입력되는 다시점 영상을 변환하고 카메라 정보를 확인하는 전처리부를 더 포함하는, 임의 시점의 영상 생성 장치.
  15. 제10항에 있어서, 상기 정보 추출부는,
    다시점 기하학 기법을 이용하여 카메라의 위치와 자세(pose) 정보를 추출하는, 임의 시점의 영상 생성 장치.
  16. 제10항에 있어서, 상기 보간부는,
    특징점 기반의 이미지 모핑(morphing) 기법을 이용하여 적어도 두 개 이상의 보간용 시점에서의 영상들을 보간하는, 임의 시점의 영상 생성 장치.
  17. 제10항에 있어서, 상기 출력부는,
    상기 임의 시점의 동선 변화에 따라 연속적인 영상을 출력하는, 임의 시점의 영상 생성 장치.
KR1020160038336A 2016-03-30 2016-03-30 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 KR101794709B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160038336A KR101794709B1 (ko) 2016-03-30 2016-03-30 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160038336A KR101794709B1 (ko) 2016-03-30 2016-03-30 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (2)

Publication Number Publication Date
KR20170111964A KR20170111964A (ko) 2017-10-12
KR101794709B1 true KR101794709B1 (ko) 2017-11-08

Family

ID=60140052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160038336A KR101794709B1 (ko) 2016-03-30 2016-03-30 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (1)

Country Link
KR (1) KR101794709B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102558294B1 (ko) 2020-12-31 2023-07-24 한국과학기술연구원 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246667A (ja) * 2003-02-14 2004-09-02 Keiogijuku 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム
JP2015114716A (ja) * 2013-12-09 2015-06-22 シャープ株式会社 画像データ再生装置および画像データ生成装置
JP2015225529A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246667A (ja) * 2003-02-14 2004-09-02 Keiogijuku 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム
JP2015114716A (ja) * 2013-12-09 2015-06-22 シャープ株式会社 画像データ再生装置および画像データ生成装置
JP2015225529A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
KR20170111964A (ko) 2017-10-12

Similar Documents

Publication Publication Date Title
KR101818778B1 (ko) 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
US9412151B2 (en) Image processing apparatus and image processing method
US10789765B2 (en) Three-dimensional reconstruction method
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
JP2020535547A (ja) 深度推定方法及び装置、電子機器、プログラム並びに媒体
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
CN104205826B (zh) 用于重建高密度三维图像的设备和方法
KR20140108828A (ko) 카메라 트래킹 장치 및 방법
US10726612B2 (en) Method and apparatus for reconstructing three-dimensional model of object
US20230252664A1 (en) Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium
CN104539925A (zh) 基于深度信息的三维场景增强现实的方法及系统
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4737763B2 (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
KR102141319B1 (ko) 다시점 360도 영상의 초해상화 방법 및 영상처리장치
JP7116262B2 (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
CN101754042A (zh) 图像重构方法和图像重构系统
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
JP6128748B2 (ja) 画像処理装置及び方法
US20140111511A1 (en) System and method for multiple hypotheses testing for surface orientation during 3d point cloud extraction from 2d imagery
JP2014035597A (ja) 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法
WO2014030571A1 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
JP2013066058A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant