KR102133090B1 - 실시간 3차원 360 영상 복원 방법 및 그 장치 - Google Patents

실시간 3차원 360 영상 복원 방법 및 그 장치 Download PDF

Info

Publication number
KR102133090B1
KR102133090B1 KR1020180100996A KR20180100996A KR102133090B1 KR 102133090 B1 KR102133090 B1 KR 102133090B1 KR 1020180100996 A KR1020180100996 A KR 1020180100996A KR 20180100996 A KR20180100996 A KR 20180100996A KR 102133090 B1 KR102133090 B1 KR 102133090B1
Authority
KR
South Korea
Prior art keywords
angle
image
wide
images
generated
Prior art date
Application number
KR1020180100996A
Other languages
English (en)
Other versions
KR20200024393A (ko
Inventor
김민혁
장현중
구현진
최인창
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180100996A priority Critical patent/KR102133090B1/ko
Publication of KR20200024393A publication Critical patent/KR20200024393A/ko
Application granted granted Critical
Publication of KR102133090B1 publication Critical patent/KR102133090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

실시간 3차원 360 영상 복원 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 360 영상 복원 방법은 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 단계; 미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 단계; 상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 단계; 및 상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 단계를 포함한다.

Description

실시간 3차원 360 영상 복원 방법 및 그 장치 {Real-Time Reconstruction Method of Spherical 3D 360 Imaging and Apparatus Therefor}
본 발명은 360 영상 복원 기술에 관한 것으로, 보다 구체적으로는 광각 카메라들에 의해 실시간 촬영된 광각 영상들을 360 거리 영상(또는 360 거리 맵)과 360 컬러 영상으로 복원할 수 있는 실시간 3차원 360 영상 복원 방법 및 그 장치에 관한 것이다.
3D 프린트, 가상현실(VR), 증강현실(AR), 게임 등의 서비스 군의 활황으로 3차원 장면을 재건하는 기술에 대한 요구는 증가하였으나, 상대적으로 현실의 장면을 3차원 장면으로 재건하는 기술은 미비하다. 상기 요구의 증가로 인해, 연속된 2D 영상을 이용하여 3차원 장면을 재건하는 여러 알고리즘이 개발되고 있다.
한편, 연속된 2D 영상을 이용하여 3차원 장면을 재건하는 작업에는 많은 연산이 소요된다. 각각의 연속된 영상에서의 특이점 계산, 특이점의 매칭 계산, 및 매칭된 영상들의 위치 계산 등 많은 연산이 필요하다. 그리고 일반적으로 연속된 영상이 고화질의 동영상일 경우, 더욱 많은 연산 과정이 필요하다. 이러한 이유로 연속된 2D 영상을 이용하여 실시간으로 만족할 만한 3차원 장면을 재건하는 것이 어렵다는 문제가 있다.
본 발명의 실시예들은, 광각 카메라들에 의해 실시간 촬영된 광각 영상들을 360 거리 영상과 360 컬러 영상으로 복원할 수 있는 실시간 3차원 360 영상 복원 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 360 영상 복원 방법은 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 단계; 미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 단계; 상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 단계; 및 상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 단계를 포함한다.
나아가, 본 발명의 일 실시예에 따른 360 영상 복원 방법은 상기 생성된 360 거리 영상과 상기 보정 영상들에 기초하여 360 컬러 영상을 생성하는 단계를 더 포함할 수 있다.
상기 보정 영상들을 생성하는 단계는 상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성할 수 있다.
상기 시차 맵들을 생성하는 단계는 상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성할 수 있다.
상기 360 거리 영상을 생성하는 단계는 상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성할 수 있다.
상기 수신하는 단계는 미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신할 수 있다.
본 발명의 다른 일 실시예에 따른 360 영상 복원 방법은 미리 설정된 방향에 대해 촬영된 광각 영상들을 수신하는 단계; 미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 보정 영상들을 생성하는 단계; 상기 생성된 보정 영상들을 이용하여 시차 맵(disparity map)을 생성하는 단계; 및 상기 생성된 시차 맵에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상과 360 컬러 영상을 생성하는 단계를 포함한다.
상기 수신하는 단계는 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 상기 광각 영상들을 수신하고, 상기 보정 영상들을 생성하는 단계는 상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성할 수 있다.
상기 시차 맵들을 생성하는 단계는 상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 복수의 시차 맵들을 생성할 수 있다.
상기 360 거리 영상과 360 컬러 영상을 생성하는 단계는 상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성할 수 있다.
상기 360 거리 영상과 360 컬러 영상을 생성하는 단계는 상기 360 거리 영상과 상기 보정 영상들에 기초하여 상기 360 컬러 영상을 생성할 수 있다.
본 발명의 일 실시예에 따른 360 영상 복원 장치는 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 수신부; 미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 보정부; 상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 시차 맵 생성부; 및 상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 영상 생성부를 포함한다.
상기 영상 생성부는 상기 생성된 360 거리 영상과 상기 보정 영상들에 기초하여 360 컬러 영상을 생성할 수 있다.
상기 보정부는 상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성할 수 있다.
상기 시차 맵 생성부는 상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성할 수 있다.
상기 영상 생성부는 상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성할 수 있다.
상기 수신부는 미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신할 수 있다.
본 발명의 실시예들에 따르면, 광각 카메라들 예를 들어, 360 광각 카메라 또는 360 어안 카메라에 의해 실시간 촬영된 광각 영상들을 360 거리 영상과 360 컬러 영상으로 복원할 수 있다.
본 발명의 실시예들에 따르면, 복수의 광각렌즈 카메라들 또는 복수의 어안렌즈 카메라들로부터 오는 신호를 분석하여 3차원 거리(또는 깊이)와 고해상도 컬러를 가지고 있는 3차원 360 영상을 실시간으로 복원할 수 있다.
이러한 본 발명은 3차원 360 영상을 실시간에 필요로 하는 다양한 증강 현실 또는 가상 현실 어플리케이션에 사용될 수도 있고, 드론, 무인 차량 등 다양한 기술에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 360 영상 복원 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명에서 사용하는 360 광각 카메라에 대한 일 예시도를 나타낸 것이다.
도 3은 영상 보정 기법을 이용하여 보정 이미지를 생성하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 영상 보정 기법을 통해 생성된 보정 이미지들에 대한 일 예시도를 나타낸 것이다.
도 5는 보정 이미지를 이용하여 생성된 시차 맵에 대한 일 예시도를 나타낸 것이다.
도 6은 시차로부터 거리를 계산하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 7은 시차 맵을 이용하여 생성된 거리 맵에 대한 일 예시도를 나타낸 것이다.
도 8은 본 발명에 의해 생성된 360 거리 영상과 360 컬러 영상을 실측 영상과 비교한 일 예시도를 나타낸 것이다.
도 9는 도 8의 일정 영역을 확대한 360 컬러 영상을 비교한 일 예시도를 나타낸 것이다.
도 10은 본 발명의 일 실시예에 따른 360 영상 복원 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 실시예들은, 광각 카메라들 예를 들어, 360 광각 카메라 또는 360 어안 카메라에 의해 실시간 촬영된 광각 영상들을 이용한 영상 보정(image rectification)과 스테레오 매칭을 수행하고, 스테레오 매칭을 통해 생성된 시차 맵들을 이용하여 360 거리 영상과 360 컬러 영상을 생성하는 것을 그 요지로 한다.
여기서, 본 발명은 영상 보정을 통해 광각 영상들 각각에 대하여 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성할 수 있다. 예를 들어, 본 발명은 6개의 광각 영상들이 수신되는 경우 12개의 보정 영상들을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 360 영상 복원 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 360 영상 복원 방법은 복수의 광각 카메라들 예를 들어, 일정 간격으로 일정 각도 단위로 배치된 복수의 어안 카메라들을 포함하는 360 카메라에 의해 촬영된 광각 영상들을 수신한다(S110).
예컨대, 단계 S110은 도 2에 도시된 바와 같이 60도 단위로 일정 간격 배치된 6개의 광각 카메라들 각각에 의해 촬영된 광각 영상들을 수신할 수 있다.
본 발명은 360 카메라에 배치된 각 카메라 모듈 즉, 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터들과 카메라들 간의 거리, 각도 등에 대한 정보를 포함하는 외부(extrinsic) 파라미터들을 이용하여 카메라들 간의 관계를 미리 교정(calibration)하고, 이러한 교정을 통해 광각 카메라들 각각으로부터 촬영된 광각 영상들이 교정되어 수신될 수 있다. 즉, 단계 S110은 미리 저장된 상기 광각 카메라들 각각에 대한 내부 파라미터와 외부 파라미터에 기초하여 촬영된 광각 영상들을 교정(calibration)하고, 상기 교정된 광각 영상들을 수신한다. 이하 본 발명의 상세한 설명에서의 광각 영상들은 카메라들 각각의 내부 파라미터와 카메라들 간의 외부 파라미터에 의해 교정된 광각 영상들을 의미할 수 있다.
단계 S110에 의해 광각 영상들 예를 들어, 60도 간격으로 배치된 광각 카메라들(CAM0 내지 CAM5) 각각에 의해 촬영된 6개의 광각 영상들이 수신되면, 미리 설정된 영상 보정(image rectification) 기법을 이용하여 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성한다(S120).
여기서, 단계 S120은 광각 영상들을 각각에 대하여 위도와 경도를 이용한 영상 보정 기법을 통해 광각 영상들 각각에 대한 한 쌍의 보정 영상들(rectified images)을 생성할 수 있다. 물론, 단계 S120은 위도와 경도를 이용한 영상 보정 기법에 한정하지 않으며, 본 발명의 방법에서 스테레오 매칭을 수행하기 위한 보정 영상들을 생성할 수 있는 다양한 보정 기법을 이용할 수 있다.
예컨대, 단계 S120은 도 3에 도시된 바와 같이, CAM0에 의해 촬영된 광각 영상에 대하여, CAM0과 우측에 이웃하는 카메라 즉, CAM1이 동일한 방향을 바라보도록 보정함으로써, CAM0에 의해 촬영된 광각 영상에 대하여 우측으로 일정 각도 예를 들어, 30도 회전된 보정 영상을 생성할 수 있다. 즉, CAM0과 CAM1이 동일한 방향을 바라보도록, CAM0의 방향을 우측으로 30도 회전하고 CAM1의 방향을 좌측으로 30도 회전함으로써, CAM0에 의해 촬영된 광각 영상에 대하여 우측으로 30도 회전된 보정 영상을 생성하고, CAM1에 의해 촬영된 광각 영상에 대하여 좌측으로 30도 회전된 보정 영상을 생성할 수 있다. 이러한 과정이, CAM0과 CAM1, CAM1과 CAM2, CAM2와 CAM3, CAM3과 CAM4, CAM4와 CAM5 그리고 CAM5와 CAM0에 대하여 이루어짐으로써, 도 4에 도시된 바와 같이 CAM0 내지 CAM5의 광각 영상들 각각에 대하여 우측으로 30도 회전된 보정 영상과 좌측으로 30도 회전된 보정 영상을 생성할 수 있다. 다시 말해, 도 4a에 도시된 우측 회전(right rotation)에 의해 생성된 보정 영상은 이웃하는 우측 카메라와 동일한 방향을 바라보도록 영상 보정 기법을 수행함으로써, 해당 카메라의 광각 영상에 대한 우측으로 일정 각도 회전된 보정 영상을 의미하는 것이고, 도 4b에 도시된 좌측 회전(left rotation)에 의해 생성된 보정 영상은 이웃하는 좌측 카메라와 동일한 방향을 바라보도록 영상 보정 기법을 수행함으로써, 해당 카메라의 광각 영상에 대한 좌측으로 일정 각도 회전된 보정 영상을 의미하는 것이다.
단계 S120에 의해 광각 영상들 예를 들어, 6개의 광각 영상들 각각에 대한 보정 영상들 예를 들어, 12개의 보정 영상들이 생성되면, 생성된 보정 영상들을 이용한 스테레오 매칭(stereo matching)에 기초하여 복수의 시차 맵들 예를 들어, 6개의 시차 맵들을 생성한다(S130).
예를 들어, 단계 S130은 도 5에 도시된 바와 같이, CAM0의 우측 회전된 보정 영상과 CAM1의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(a)을 생성하고, CAM1의 우측 회전된 보정 영상과 CAM2의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(b)을 생성하며, CAM2의 우측 회전된 보정 영상과 CAM3의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(c)을 생성하고, CAM3의 우측 회전된 보정 영상과 CAM4의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(d)을 생성하며, CAM4의 우측 회전된 보정 영상과 CAM5의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(e)을 생성하고, CAM5의 우측 회전된 보정 영상과 CAM0의 좌측 회전된 보정 영상을 이용한 스테레오 매칭을 통해 두 보정 영상들에 대한 시차 맵(f)을 생성할 수 있다.
여기서, 단계 S130에 의해 생성된 시차 맵의 각 픽셀 값은 해당 보정 영상을 촬영한 두 카메라 간의 각도 차이(angle disparity)일 수 있는데, 해당 픽셀에 대한 왼쪽 카메라에 맺힌 각도와 오른쪽 카메라에 맺힌 각도 차이를 의미할 수 있다.
이러한 과정을 통해 생성된 시차 맵은 노이즈를 포함할 수 있기 때문에 이러한 노이즈를 제거하기 위한 프로세싱이 추가적으로 이루어질 수 있다. 예를 들어, 단계 S130에 의해 생성된 시차 맵들 각각은 비용 군집화(cost aggregation)에 기반하여 시차 맵들 각각에 포함된 노이즈를 제거할 수 있으며, 노이즈 제거를 통해 시차 맵에 구멍과 같은 디펙트(defect)가 발생하거나 시차 값에 차이가 날 수 있기 때문에 이러한 디펙트나 차이가 나는 부분을 채워주기 위한 과정이 필요할 수 있다. 예를 들어, 해당 시차 맵을 생성하는데 사용되는 보정 영상들과 디펙트를 채워주기 위한 프로세싱 예를 들어, 영상 전파(propagation) 기법을 이용하여 해당 디펙트를 채워줌으로써, 도 5에 도시된 것과 같은 최종 6개의 시차 맵을 생성할 수 있다.
단계 S130에 의해 스테레오 매칭에 의한 복수의 시차 맵들이 생성되면, 생성된 복수의 시차 맵들 예를 들어, 6개의 시차 맵들에 기초하여 광각 영상들에 대응하는 360 거리 영상(또는 360 거리 맵)과 360 컬러 영상을 생성한다(S140).
본 발명에서의 거리 맵은 360 카메라 전체의 중심으로부터 각 픽셀들의 실제 위치까지의 거리 값으로 이루어진 맵을 의미할 수 있다.
여기서, 단계 S140은 시차 맵들에 기초하여 광각 영상들에 대응하는 360 거리 영상을 생성하고, 생성된 360 거리 영상과 보정 영상들에 기초하여 360 컬러 영상을 생성할 수 있다.
이 때, 단계 S140은 도 5에 도시된 시차 맵들 각각에 대하여, 거리 값을 계산하여 시차 맵들 각각에 대응하는 거리 맵들(도 7)을 생성하고, 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 광각 영상들에 대응하는 360 거리 영상을 생성할 수 있으며, 이렇게 생성된 360 거리 영상과 보정 영상들을 이용한 백워드 와핑(backward warping)에 기초하여 광각 영상들에 대응하는 360 컬러 영상을 생성할 수 있다.
단계 S140은 복수의 시차 맵들 각각에 대하여, 거리 값을 계산하여 도 7과 같은 시차 맵들 각각에 대응하는 거리 맵들을 생성하는데, 시차 맵의 각 픽셀에 대한 시차 값으로부터 거리 값을 계산함으로써, 거리 맵을 생성할 수 있다.
즉, 단계 S140은 도 5a에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7a에 도시된 거리 맵을 생성하고, 도 5b에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7b에 도시된 거리 맵을 생성하며, 5c에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7c에 도시된 거리 맵을 생성하고, 도 5d에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7d에 도시된 거리 맵을 생성하며, 5e에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7e에 도시된 거리 맵을 생성하고, 도 5f에 도시된 시차 맵을 이용한 거리 값 계산을 통해 도 7f에 도시된 거리 맵을 생성한다.
예컨대, 시차 맵의 각 픽셀에 대한 시차 값은 해당 시차 맵을 생성하는데 사용된 보정 영상을 촬영한 두 카메라 간의 각도 차이(
Figure 112018085076582-pat00001
)이기 때문에 해당 픽셀의 거리 값(dl, dr)은 도 6에 도시된 바와 같이, 사인 법칙을 이용하여 각도 차이로부터 계산될 수 있다. 즉, 해당 픽셀의 거리 값(dl, dr)은 아래 <수학식 1>에 나타낸 사인 법칙을 통해 아래 <수학식 2>와 같이 계산될 수 있다.
[수학식 1]
Figure 112018085076582-pat00002
여기서, b는 두 카메라 간의 거리를 의미할 수 있다.
[수학식 2]
Figure 112018085076582-pat00003
시차 맵들 각각에 대하여, 거리 값 계산을 통해 시차 맵들 각각에 대응하는 거리 맵들이 생성되면, 6개의 거리 맵들 하나의 360 거리 영상 또는 360 거리 맵으로 생성하기 위하여, 6개의 거리 맵들에 대한 포워드 와핑을 수행함으로써, 6개의 거리 맵들이 합쳐진 하나의 360 거리 영상이 생성된다.
이렇게 생성된 360 거리 영상에 대하여, 인페인팅(inpainting) 과정과 필터링 예를 들어, 미디언 필터링(median filtering) 과정을 수행함으로써, 촬영된 광각 영상들에 대한 최종 360 거리 영상(spherical distance map)을 실시간으로 생성할 수 있다.
상기 과정을 통해 광각 영상들에 대한 최종 360 거리 영상이 생성되면, 생성된 최종 360 거리 영상과 보정 영상들에 대한 정보를 이용한 백워드 와핑에 기초하여 최종 360 컬러 영상을 실시간으로 생성할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 방법은 도 2에 도시된 바와 같이, 360 카메라를 구성하는 복수의 광각 카메라들(CAM0 내지 CAM5)에 의해 촬영된 광각 영상들에 대한 360 스테레오 매칭(spherical stereo matching)을 통해 3차원 거리와 고해상도 컬러를 가지는 3차원 360 영상을 실시간으로 복원 또는 재구성할 수 있다.
도 8은 본 발명에 의해 생성된 360 거리 영상과 360 컬러 영상을 실측 영상과 비교한 일 예시도를 나타낸 것이고, 도 9는 도 8의 일정 영역을 확대한 360 컬러 영상을 비교한 일 예시도를 나타낸 것이다.
도 8과 도 9에 도시된 바와 같이, 본 발명에 의해 생성된 360 영상(a)과 실측(ground truth) 360 영상(b)을 비교할 때, 본 발명의 방법에 의해 생성된 360 영상이 실측 360 영상에 비해 확대된 부분에서 일부 차이가 발생하지만, 실측 360 영상에 가깝게 복원된 것을 알 수 있다. 즉, 본 발명에 따른 방법은 광각 영상들에 대한 360 스테레오 매칭을 통해 실측 360 영상에 가까운 고해상도의 360 영상을 복원할 수 있으며, 이를 통해 3차원 360 영상을 실시간에 필요로 하는 다양한 증강 현실 또는 가상 현실 등에 용이하게 적용할 수 있다.
물론, 본 발명에 따른 방법은 증강 현실과 가상 현실 등의 어플리케이션에 한정되지 않으며, 360 영상을 필요로 하는 다양한 분야에 적용할 수 있다.
이와 같이, 본 발명의 실시예에 따른 방법은 360 광각 카메라 또는 360 어안 카메라에 의해 실시간 촬영된 광각 영상들을 360 거리 영상과 360 컬러 영상으로 복원할 수 있으며, 구체적으로 복수의 광각렌즈 카메라들 또는 복수의 어안렌즈 카메라들로부터 오는 신호를 분석하여 3차원 거리(또는 깊이)와 고해상도 컬러를 가지고 있는 3차원 360 영상을 실시간으로 복원함으로써, 실측 360 영상에 가깝게 복원할 수 있다.
도 10은 본 발명의 일 실시예에 따른 360 영상 복원 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 9의 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 360 영상 복원 장치(1000)는 수신부(1010), 보정부(1020), 시차 맵 생성부(1030) 및 영상 생성부(1040)를 포함한다.
수신부(1010)는 360 카메라를 구성하는 복수의 광각 카메라들 각각에 의해 촬영된 광각 영상들을 수신한다.
여기서, 수신부(1010)는 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터들과 외부(extrinsic) 파라미터들을 이용하여 카메라들 간의 관계를 미리 교정(calibration)하고, 이러한 교정을 통해 광각 카메라들 각각으로부터 촬영된 광각 영상들을 교정함으로써, 교정된 광각 영상들을 수신할 수 있다.
보정부(1020)는 미리 설정된 영상 보정(image rectification) 기법을 이용하여 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성한다.
여기서, 보정부(1020)는 이웃하는 카메라들과 동일한 방향을 바라보도록 광각 영상들 각각을 보정함으로써, 광각 영상들 각각에 대한 두 개의 보정 영상들을 생성할 수 있다.
예를 들어, 보정부(1020)는 이웃하는 우측 카메라와 동일한 방향을 바라보도록, 해당 카메라의 방향을 우측으로 30도 회전하고 이웃 하는 우측 카메라의 방향을 좌측으로 30도 회전함으로써, 해당 카메라에 의해 촬영된 광각 영상에 대하여 우측으로 30도 회전된 보정 영상을 생성하고, 이웃하는 우측 카메라에 의해 촬영된 광각 영상에 대하여 좌측으로 30 회전된 보정 영상을 생성할 수 있으며, 이웃하는 좌측 카메라와 동일한 방향을 바라보도록, 해당 카메라의 방향을 좌측으로 30도 회전하고 이웃 하는 좌측 카메라의 방향을 우측으로 30도 회전함으로써, 해당 카메라에 의해 촬영된 광각 영상에 대하여 좌측으로 30도 회전된 보정 영상을 생성하고, 이웃하는 좌측 카메라에 의해 촬영된 광각 영상에 대하여 우측으로 30 회전된 보정 영상을 생성할 수 있다. 보정부는 상술한 바와 같이, 360 카메라를 구성하는 모든 카메라들 각각에 대하여 이러한 영상 보정 기법을 이용함으로써, 해당 광각 영상에 대한 두 개의 보정 영상을 생성할 수 있다.
시차 맵 생성부(1030)는 광각 영상들 각각에 대응하는 보정 영상들이 생성되면 보정 영상들 이용한 스테레오 매칭(stereo matching)에 기초하여 복수의 시차 맵들 예를 들어, 6개의 시차 맵들을 생성한다.
여기서, 시차 맵 생성부(1030)는 스테레오 매칭을 통해 최초로 생성된 시차 맵들 각각이 노이즈를 포함할 수 있기 때문에 이러한 노이즈를 제거하기 위한 프로세싱이 추가적으로 수행할 수 있으며, 시차 맵들 각각의 질을 향상시키기 위한 추가 작업 또한 수행할 수 있다. 예를 들어, 시차 맵 생성부는 시차 맵들 각각에 대하여 비용 군집화(cost aggregation)를 수행함으로써, 시차 맵들 각각에 포함된 노이즈를 제거할 수 있으며, 노이즈 제거를 통해 시차 맵에 구멍과 같은 디펙트(defect)가 발생하거나 시차 값에 차이가 날 수 있기 때문에 이러한 디펙트나 차이가 나는 부분을 채워주기 위한 영상 전파(propagation) 기법을 수행함으로써, 질이 향상된 최종 시차 맵들을 생성할 수 있다.
영상 생성부(1040)는 복수의 시차 맵들 예를 들어, 6개의 시차 맵들에 기초하여 광각 영상들에 대응하는 360 거리 영상과 360 컬러 영상을 생성한다.
여기서, 영상 생성부(1040)는 시차 맵들에 기초하여 광각 영상들에 대응하는 360 거리 영상을 생성하고, 생성된 360 거리 영상과 보정부(1020)에 의해 생성된 보정 영상들에 기초하여 360 컬러 영상을 생성할 수 있다.
이 때, 영상 생성부(1040)는 시차 맵들 각각에 대하여, 거리 값을 계산하여 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 광각 영상들에 대응하는 360 거리 영상을 생성할 수 있으며, 이렇게 생성된 360 거리 영상과 보정 영상들을 이용한 백워드 와핑(backward warping)에 기초하여 광각 영상들에 대응하는 360 컬러 영상을 생성할 수 있다.
나아가, 영상 생성부(1040)는 시차 맵들에 대응하는 거리 맵들을 이용하여 360 거리 영상이 생성되면, 360 거리 영상에 대하여 인페인팅(inpainting) 과정과 필터링 예를 들어, 미디언 필터링(median filtering) 과정을 추가적으로 수행함으로써, 촬영된 광각 영상들에 대한 최종 360 거리 영상을 실시간으로 생성할 수 있다.
비록, 도 10의 장치에서 그 설명이 생략되었더라도, 도 10을 구성하는 각 구성 수단은 도 1 내지 도 9에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 일정 간격으로 일정 각도 단위로 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 단계;
    미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 단계;
    상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 단계; 및
    상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 단계
    를 포함하며,
    상기 보정 영상들을 생성하는 단계는
    상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하며,
    상기 보정 영상들을 생성하는 단계는
    해당 카메라와 이웃하는 우측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 우측으로 일정 각도로 회전시키고 상기 우측 카메라를 좌측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제1 보정 영상을 생성하고, 상기 해당 카메라와 이웃하는 좌측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 좌측으로 일정 각도로 회전시키고 상기 좌측 카메라를 우측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제2 보정 영상을 생성하며,
    상기 시차 맵들을 생성하는 단계는
    상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성하고,
    상기 생성된 시차 맵의 각 픽셀 값은
    해당 시차 맵을 생성하는데 사용된 두 보정 영상을 촬영한 두 광각 카메라 간의 각도 차이이며,
    상기 시차 맵들을 생성하는 단계는
    상기 생성된 시차 맵들 각각에 대하여, 비용 군집화(cost aggregation)에 기반하여 상기 생성된 시차 맵들 각각에 포함된 노이즈를 제거하고, 노이즈 제거에 의해 발생된 디펙트를 영상 전파(propagation) 기법을 이용하여 채워줌으로써, 최종 시차 맵들을 생성하는 360 영상 복원 방법.
  2. 제1항에 있어서,
    상기 생성된 360 거리 영상과 상기 보정 영상들에 기초하여 360 컬러 영상을 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 360영상 복원 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 360 거리 영상을 생성하는 단계는
    상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성하는 것을 특징으로 하는 360영상 복원 방법.
  6. 제1항에 있어서,
    상기 수신하는 단계는
    미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신하는 것을 특징으로 하는 360영상 복원 방법.
  7. 일정 간격으로 일정 각도 단위로 미리 설정된 방향에 대해 촬영된 광각 영상들을 수신하는 단계;
    미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 보정 영상들을 생성하는 단계;
    상기 생성된 보정 영상들을 이용하여 시차 맵(disparity map)을 생성하는 단계; 및
    상기 생성된 시차 맵에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상과 360 컬러 영상을 생성하는 단계
    를 포함하고,
    상기 수신하는 단계는
    미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 상기 광각 영상들을 수신하고,
    상기 보정 영상들을 생성하는 단계는
    상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하며,
    상기 보정 영상들을 생성하는 단계는
    해당 카메라와 이웃하는 우측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 우측으로 일정 각도로 회전시키고 상기 우측 카메라를 좌측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제1 보정 영상을 생성하고, 상기 해당 카메라와 이웃하는 좌측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 좌측으로 일정 각도로 회전시키고 상기 좌측 카메라를 우측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제2 보정 영상을 생성하며,
    상기 시차 맵을 생성하는 단계는
    상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 복수의 시차 맵들을 생성하고,
    상기 생성된 시차 맵의 각 픽셀 값은
    해당 시차 맵을 생성하는데 사용된 두 보정 영상을 촬영한 두 광각 카메라 간의 각도 차이이며,
    상기 시차 맵을 생성하는 단계는
    상기 생성된 시차 맵들 각각에 대하여, 비용 군집화(cost aggregation)에 기반하여 상기 생성된 시차 맵들 각각에 포함된 노이즈를 제거하고, 노이즈 제거에 의해 발생된 디펙트를 영상 전파(propagation) 기법을 이용하여 채워줌으로써, 최종 시차 맵들을 생성하는 360 영상 복원 방법.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 360 거리 영상과 360 컬러 영상을 생성하는 단계는
    상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성하는 것을 특징으로 하는 360영상 복원 방법.
  11. 제7항에 있어서,
    상기 360 거리 영상과 360 컬러 영상을 생성하는 단계는
    상기 360 거리 영상과 상기 보정 영상들에 기초하여 상기 360 컬러 영상을 생성하는 것을 특징으로 하는 360영상 복원 방법.
  12. 일정 간격으로 일정 각도 단위로 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 수신부;
    미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 보정부;
    상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 시차 맵 생성부; 및
    상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 영상 생성부
    를 포함하며,
    상기 보정부는
    상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하며,
    상기 보정부는
    해당 카메라와 이웃하는 우측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 우측으로 일정 각도로 회전시키고 상기 우측 카메라를 좌측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제1 보정 영상을 생성하고, 상기 해당 카메라와 이웃하는 좌측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 좌측으로 일정 각도로 회전시키고 상기 좌측 카메라를 우측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제2 보정 영상을 생성하며,
    상기 시차 맵 생성부는
    상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성하고,
    상기 생성된 시차 맵의 각 픽셀 값은
    해당 시차 맵을 생성하는데 사용된 두 보정 영상을 촬영한 두 광각 카메라 간의 각도 차이이며,
    상기 시차 맵 생성부는
    상기 생성된 시차 맵들 각각에 대하여, 비용 군집화(cost aggregation)에 기반하여 상기 생성된 시차 맵들 각각에 포함된 노이즈를 제거하고, 노이즈 제거에 의해 발생된 디펙트를 영상 전파(propagation) 기법을 이용하여 채워줌으로써, 최종 시차 맵들을 생성하는 360 영상 복원 장치.
  13. 제12항에 있어서,
    상기 영상 생성부는
    상기 생성된 360 거리 영상과 상기 보정 영상들에 기초하여 360 컬러 영상을 생성하는 것을 특징으로 하는 360영상 복원 장치.
  14. 삭제
  15. 삭제
  16. 제12항에 있어서,
    상기 영상 생성부는
    상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성하는 것을 특징으로 하는 360영상 복원 장치.
  17. 제12항에 있어서,
    상기 수신부는
    미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신하는 것을 특징으로 하는 360영상 복원 장치.
KR1020180100996A 2018-08-28 2018-08-28 실시간 3차원 360 영상 복원 방법 및 그 장치 KR102133090B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180100996A KR102133090B1 (ko) 2018-08-28 2018-08-28 실시간 3차원 360 영상 복원 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180100996A KR102133090B1 (ko) 2018-08-28 2018-08-28 실시간 3차원 360 영상 복원 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200024393A KR20200024393A (ko) 2020-03-09
KR102133090B1 true KR102133090B1 (ko) 2020-07-13

Family

ID=69802050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180100996A KR102133090B1 (ko) 2018-08-28 2018-08-28 실시간 3차원 360 영상 복원 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102133090B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110148858A1 (en) * 2008-08-29 2011-06-23 Zefeng Ni View synthesis with heuristic view merging
KR102434567B1 (ko) * 2015-02-09 2022-08-23 삼성전자주식회사 스테레오 영상들의 보정 방법, 및 그 방법을 수행하는 장치
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Also Published As

Publication number Publication date
KR20200024393A (ko) 2020-03-09

Similar Documents

Publication Publication Date Title
US9918011B2 (en) Omnistereo imaging
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
JP2018534698A (ja) Ｒｇｂｄカメラ姿勢のラージスケール判定のための方法およびシステム
KR101969082B1 (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
KR20130104691A (ko) 영상 처리 장치 및 방법
US20170180705A1 (en) Capture and render of virtual reality content employing a light field camera array
KR102192347B1 (ko) 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치
JPH1062140A (ja) 形状の再構成方法および形状の再構成装置
KR101938067B1 (ko) Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치
CN111862225A (zh) 图像标定方法、标定系统以及具有该系统的车辆
KR102133090B1 (ko) 실시간 3차원 360 영상 복원 방법 및 그 장치
KR102295857B1 (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
KR100944293B1 (ko) 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법
KR102132527B1 (ko) Avm 시스템 및 avm 시스템에서, 영상 사이의 매칭점 검출 방법
Mičušík et al. Omnidirectional camera model and epipolar geometry estimation by ransac with bucketing?
WO2015128918A1 (ja) 撮像装置
JP2005275789A (ja) 三次元構造抽出方法
US11893704B2 (en) Image processing method and device therefor
CA3025180A1 (en) Stereoscopic image capture
KR100961616B1 (ko) 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템
KR102236473B1 (ko) 영상 처리 방법 및 그 장치
Thevenon et al. Dense pixel matching between unrectified and distorted images using dynamic programming
WO2018078222A1 (en) Multiple view colour reconstruction
CN115797229B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant