KR20220145083A

KR20220145083A - 360도 영상 화질 개선 장치 및 방법

Info

Publication number: KR20220145083A
Application number: KR1020210051723A
Authority: KR
Inventors: 김규헌; 이성배; 박성환
Original assignee: 한국전력공사; 경희대학교 산학협력단
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2022-10-28

Abstract

360도 영상 화질 개선 장치가 개시된다. 본 발명의 360도 영상 화질 개선 장치는 360도 영상 중 설정 크기의 뷰포트 단위로 분할된 영상에서 카메라 렌즈의 곡률에 따라 사전에 계산된 다중-호모그래피를 저장하는 다중 호모그래피 모듈; 뷰포트를 설정하는 뷰포트 설정 모듈; 뷰포트 설정 모듈에 의해 설정된 뷰포트와 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 뷰포트에 대한 2차원 와핑을 수행하는 뷰포트 2차원 와핑 모듈; 뷰포트 2차원 와핑 모듈에 의해 출력된 뷰포트를 딥러닝을 활용하여 영상 화질 개선을 위한 수퍼 레졸루션을 수행하는 수퍼 레졸루션 모듈; 360도 영상을 출력하는 360도 영상 출력 모듈; 및 뷰포트 단위 출력과 360도 영상 전체 출력 중에서 사용자가 원하는 출력 형태에 따라 수퍼 레졸루션 모듈의 결과 영상을 출력하거나 360도 영상 출력 모듈을 통해 360도 영상을 출력하도록 하는 출력 모드 모듈을 포함하는 것을 특징으로 한다.

Description

360도 영상 화질 개선 장치 및 방법{APPARATUS AND METHOD OF SUPER RESOLUTION FOR 360-DEGREE VIDEO}

본 발명은 360도 영상 화질 개선 장치 및 방법에 관한 것으로서, 더욱 상세하게는 딥러닝 기반 화질 개선 알고리즘(Super Resolution)을 적용하여 네트워크 대역폭 비용을 위해 활용하는 저화질 360도 영상을 고화질 360도 영상으로 재생성하는 360도 영상 화질 개선 장치 및 방법에 관한 것이다.

카메라와 디스플레이 기술의 발전으로 몰입형(Immersive) 미디어 콘텐츠에 대한 관심이 높아지고 있다. 360도 영상은 특정 시점을 기준으로 모든 방향의 현실 세계의 모습을 표현 가능한 영상으로써, 게임, 스포츠, 쇼핑 등 다양한 산업에서 활용되고 있으며, 교육, 군사, 보안, 의료, 제조 등 다양한 전문 분야로의 확산까지 전망되고 있다.

한편, 360도 영상은 다수의 카메라를 통해서 촬영된 영상을 하나의 영상으로 합성하는 방법과 광각 렌즈가 부착된 카메라를 통해서 촬영하는 방법으로 구분되며, 사용자의 목적에 따라서 선택적으로 활용된다. 다수의 카메라를 통해서 촬영된 영상을 합성한 다시점 360도 영상은 카메라 간에 촬영 시간 동기화가 필수적이며, 영상을 합성하는데 오랜 시간이 소요되어 실시간으로 활용하는데 제한 사항이 있다. 이에 많은 산업 분야에서 실시간으로 영상 처리가 가능한 광각 렌즈 기반의 360도 영상을 활용하고 있다.

그러나 광각 렌즈 기반 360도 영상은 렌즈의 곡률로 인해서 영상 내 사물이 렌즈의 중앙 부분에서 멀게 위치할수록 둥글고 확장되는 방사 왜곡이 발생하기 때문에, 영상이 실제와 다르게 나타난다는 제한 사항이 있다. 또한, 360도 영상은 일반적인 영상보다 넓은 시야각의 영상 정보를 담고 있는 고해상도 영상이기에, 네트워크를 통해 전송 시 전송 대역폭 비용이 크다는 제한 사항이 있다.

본 발명의 배경기술은 대한민국 등록특허공보 10-2110136호(2020.05.07)의 '특징점 누적 기반 호모그래피를 이용한 고정형 비디오 스티칭 장치 및 방법'에 개시되어 있다.

본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 딥러닝 기반 화질 개선 알고리즘(Super Resolution)을 적용하여 네트워크 대역폭 비용을 위해 활용하는 저화질 360도 영상을 고화질 360도 영상으로 재생성하는 360도 영상 화질 개선 장치 및 방법을 제공하는 데 있다.

본 발명의 일 측면에 따른 360도 영상 화질 개선 장치는 360도 영상 중 설정 크기의 뷰포트 단위로 분할된 영상에서 카메라 렌즈의 곡률에 따라 사전에 계산된 다중-호모그래피를 저장하는 다중 호모그래피 모듈; 뷰포트를 설정하는 뷰포트 설정 모듈; 상기 뷰포트 설정 모듈에 의해 설정된 뷰포트와 상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 뷰포트에 대한 2차원 와핑을 수행하는 뷰포트 2차원 와핑 모듈; 상기 뷰포트 2차원 와핑 모듈에 의해 출력된 뷰포트를 딥러닝을 활용하여 영상 화질 개선을 위한 수퍼 레졸루션을 수행하는 수퍼 레졸루션 모듈; 360도 영상을 출력하는 360도 영상 출력 모듈; 및 뷰포트 단위 출력과 360도 영상 전체 출력 중에서 사용자가 원하는 출력 형태에 따라 상기 수퍼 레졸루션 모듈의 결과 영상을 출력하거나 상기 360도 영상 출력 모듈을 통해 360도 영상을 출력하도록 하는 출력 모드 모듈을 포함하는 것을 특징으로 한다.

본 발명의 상기 뷰포트 설정 모듈은 사용자의 제어명령에 따라 사전에 정의된 뷰포트 영역과 사용자에 의해 정의된 뷰포트 영역 중 어느 하나를 뷰포트로 설정하는 것을 특징으로 한다.

본 발명의 상기 사전에 정의된 뷰포트 영역의 뷰포트는 360도 영상을 기 설정된 설정 크기 단위로 분할한 영상이고, 상기 다중 호모그래피 모듈에 저장된 호모그래피와 일대일로 대응되는 것을 특징으로 한다.

본 발명의 상기 뷰포트 2차원 와핑 모듈은 상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 상기 사전에 정의된 뷰포트 영역으로 설정된 뷰포트를 2차원 변환하는 것을 특징으로 한다.

본 발명의 상기 사용자에 의해 정의된 뷰포트 영역의 뷰포트는 사용자에 의해 선택된 360도 영상의 변환점을 토대로 선택되고, 상기 변환점은 뷰포트 공간과 출력 공간에서 4개 이상의 지점을 동일한 순서쌍으로 선택되는 것을 특징으로 한다.

본 발명의 상기 뷰포트 설정 모듈은 상기 사용자에 의해 정의된 뷰포트 영역이 뷰포트로 선택되면 상기 변환점을 바탕으로 호모그래피를 추정하는 것을 특징으로 한다.

본 발명의 상기 뷰포트 2차원 와핑 모듈은 상기 추정된 호모그래피를 바탕으로 상기 사용자에 의해 정의된 뷰포트 영역으로 정의된 뷰포트를 2차원 변환하는 것을 특징으로 한다.

본 발명의 상기 수퍼 레졸루션 모듈은 실제 영상과 예측 영상의 구조적 차이값으로 정의되는 손실 함수를 바탕으로 학습을 수행하는 것을 특징으로 한다.

본 발명의 상기 구조적 차이값은, 실제 영상의 구조값과 예측 영상의 구조값의 차이의 절댓값인 것을 특징으로 한다.

본 발명의 상기 360도 영상 출력 모듈은 상기 출력 모드 모듈에 의해 360도 영상 전체 출력이 선택되면 호모그래피의 역행렬을 활용하여 사전 정의 뷰포트 영상들을 360 영상 형태로 변환하는 2차원 역변환 모듈; 및 상기 2차원 역변환 모듈에서 출력된 영상을 사전 정의된 영역에 해당하는 2차원 와핑, 딥러닝 기반 수퍼 레졸루션 및 2차원 역변환을 수행한 후, 사전 정의된 영역의 순서에 따라 합성하여 360도 영상을 생성하는 출력하는 패치 통합 모듈을 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 360도 영상 화질 개선 방법은 뷰포트 설정 모듈이 뷰포트를 설정하는 단계; 뷰포트 2차원 와핑 모듈이 상기 뷰포트 설정 모듈에 의해 설정된 뷰포트와 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 뷰포트에 대한 2차원 와핑을 수행하는 단계; 수퍼 레졸루션 모듈이 상기 뷰포트 2차원 와핑 모듈에 의해 출력된 뷰포트를 딥러닝을 활용하여 영상 화질 개선을 위한 수퍼 레졸루션을 수행하는 단계; 및 출력 모드 모듈이 뷰포트 단위 출력과 360도 영상 전체 출력 중에서 사용자가 원하는 출력 형태에 따라 수퍼 레졸루션 모듈로부터 출력된 뷰포트 영상과 360 영상 출력 모듈이 360도 영상 중 어느 하나를 출력하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 상기 뷰포트를 설정하는 단계는, 사용자의 제어명령에 따라 사전에 정의된 뷰포트 영역과 사용자에 의해 정의된 뷰포트 영역 중 어느 하나를 뷰포트로 설정하는 것을 특징으로 한다.

본 발명의 상기 뷰포트에 대한 2차원 와핑을 수행하는 단계는, 상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 상기 사전에 정의된 뷰포트 영역으로 설정된 뷰포트를 2차원 변환하는 것을 특징으로 한다.

본 발명의 상기 뷰포트를 설정하는 단계에서, 상기 뷰포트 설정 모듈은 상기 사용자에 의해 정의된 뷰포트 영역이 뷰포트로 선택되면 상기 변환점을 바탕으로 호모그래피를 추정하는 것을 특징으로 한다.

본 발명의 상기 뷰포트에 대한 2차원 와핑을 수행하는 단계는, 상기 추정된 호모그래피를 바탕으로 상기 사용자에 의해 정의된 뷰포트 영역으로 정의된 뷰포트를 2차원 변환하는 것을 특징으로 한다.

본 발명의 상기 수퍼 레졸루션을 수행하는 단계는, 실제 영상과 예측 영상의 구조적 차이값으로 정의되는 손실 함수를 바탕으로 학습을 수행하는 것을 특징으로 한다.

본 발명의 상기 수퍼 레졸루션 모듈로부터 출력된 뷰포트 영상과 360 영상 출력 모듈이 360도 영상 중 어느 하나를 출력하는 단계에서, 360도 영상 전체 출력이 선택되면 상기 360도 영상 출력 모듈은 호모그래피의 역행렬을 활용하여 사전 정의 뷰포트 영상들을 360 영상 형태로 변환하고, 사전 정의된 영역에 해당하는 2차원 와핑, 딥러닝 기반 수퍼 레졸루션 및 2차원 역변환을 수행한 후, 사전 정의된 영역의 순서에 따라 합성하여 360도 영상을 생성하는 출력하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 360도 영상 화질 개선 장치 및 방법은 딥러닝 기반 화질 개선 알고리즘(Super Resolution)을 적용하여 네트워크 대역폭 비용을 위해 활용하는 저화질 360도 영상을 고화질 360도 영상으로 재생성하므로, 네트워크 대역폭을 최소화한 저비용 고효율의 감시 시스템을 구축할 수 있도록 한다.

본 발명의 일 측면에 따른 360도 영상 화질 개선 장치 및 방법은 뷰포트 단위의 호모그래피 추정과 사용자 선택 뷰포트 호모그래피 추정, 및 2차원 공간 변환을 적용하여 현실적이고 실용적인 영상을 재생성한다.

본 발명의 일 측면에 따른 360도 영상 화질 개선 장치 및 방법은 기존의 평가 방법보다 인간의 주관적 평가와 일치하는 평가 결과를 획득할 수 있도록 한다.

본 발명의 일 측면에 따른 360도 영상 화질 개선 장치 및 방법은 LD-L1 손실 함수를 통하여 학습을 진행하여 보다 선명한 고화질 영상을 획득할 수 있다.

본 발명의 일 측면에 따른 360도 영상 화질 개선 장치 및 방법은 영역 별로 호모그래피를 추정하여 사물의 본래 모습으로 변환하여 감시가 가능하다. 또한, 본 발명에서는 사물의 본래 모습으로 변환한 영상에 대하여 화질 개선을 적용하기 때문에 보다 정확한 감시 시스템의 구축이 가능하다. 또한, 360도 카메라를 통해서 촬영한 카메라를 서버에 전송하여, 서버단(수신단)에서 화질 개선(Super Resolution)을 적용하여 활용하기에 대역폭 비용을 절감할 수 있다.

본 발명의 일 측면에 따른 360도 영상 화질 개선 장치 및 방법은 드론, 운행 로봇, 정지형 360도 감시소 등에 적용되어 송전탑, 지하 선로, 풍력 발전소 등의 위험 지역에 대하여 안전한 감시 시스템을 구현할 수 있도록 하고, 지속적인 감시가 필요한 장비에 대하여 모니터링 시스템을 구현할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치의 블럭 구성도이다.
도 2는 본 발명의 일 실시예에 따른 뷰포트 기반의 화질 개선 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 360도 영상 화질 개선 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 뷰포트 선택 모듈의 뷰포트 선택 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 뷰포트 선택 모듈의 사전 정의 뷰포트 선택 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 뷰포트 설정 모듈에서 사용자가 뷰포트를 정의하는 경우의 실시 예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 LD-L1이 화질 평가 기술로써 활용되었을 때 평가 결과를 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 2차원 역변환 모듈의 기술 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예를 검증하기 위한 입력 영상으로써, 영상으로 개인 정보가 노출되는 것을 방지하기 위하여 도 2에서 나타난 자동차 번호판을 대신하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 360도 영상 화질 개선 예시를 나타내는 도면이다.

이하에서는 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치는 광각 렌즈가 부착된 카메라를 통해서 촬영된 저화질 360도 영상을 딥러닝 기반 화질 개선 알고리즘, 예컨대 수퍼 레졸루션(Super Resolution)에 적용하는 것을 특징으로 하고 있으며, 이하에서는 이를 구현하기 위한 기술에 대해 언급한다.

도 1은 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치의 블럭 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치는 네트워크 전송 시 대역폭 비용의 최소화를 위하여 광각 렌즈 기반의 저화질 360도 영상을 입력으로 하며, 설정 크기의 뷰포트 단위로 분할된 영상에서 카메라 렌즈의 곡률에 따라 사전에 계산된 다중-호모그래피를 저장하는 다중-호모그래피 모듈(110), 화면에 출력할 영상 뷰포트를 설정하는 뷰포트 설정 모듈(120), 선택된 뷰포트의 호모그래피를 바탕으로 2차원 와핑(Warping)을 수행하는 뷰포트 2차원 와핑 모듈(130), 딥러닝을 활용하여 영상의 화질을 개선하는 딥러닝 기반 수퍼 레졸루션 모듈(140), 영상 출력 포맷을 결정하는 출력 모드 모듈(150), 및 초고화질의 360도 영상을 출력하는 360도 영상 출력 모듈(180)을 포함한다. 360도 영상 출력 모듈(180)은 2차원 역변환 모듈(160) 및 패치 통합 모듈(170)을 포함한다.

도 2는 본 발명의 일 실시예에 따른 뷰포트 기반의 화질 개선 예를 설명하기 위한 도면이다.

도 2를 참조하면, 360도 전체 영상은 360도 영상의 뷰포트 단위 영상보다 영상 크기 대비 정보량이 적기 때문에, 360도 영상 전체를 화질 개선하는 것은 효율적이지 못하다.

일예로, 차량 감시 시스템의 360도 전체 영상은 차량의 유입이나 특정 사건의 발생과 같은 상황 파악을 목적으로 활용되는 영상으로써, 영상의 화질이 높지 않아도 해당 역할을 수행하는데 제한 사항이 적다.

그러나, 도 2에 도시한 바와 같이, 차량의 번호판이나 차량 탑승자의 얼굴과 같이 360도 영상 내 특정 영역은 정확한 감시를 위해 화질 개선이 필요하다.

이에, 본 실시예에서는 효율적인 감시 시스템 구축을 위하여 사용자가 선택한 뷰포트만을 2차원 와핑하여 수퍼 레졸루션을 적용하고 이를 화면에 출력한다.

또한, 본 실시예에서는 사용자가 360도 영상 전체에 대한 화질 개선을 희망하는 경우에는, 360도 영상을 패치 단위로 분할하고, 360도 영상을 일반 영상의 형태와 유사하게 2차원 변환하며, 일반적인 영상을 바탕으로 학습된 CNN(Convolutional Neural Network) 기반의 수퍼 레졸루션 네트워크에서 화질 개선을 진행하여 높은 화질 개선 성능을 확보할 수 있다.

또한, 본 실시예에서는 2차원 와핑을 통해 일반 영상과 비슷하게 변환된 360도 영상은 CNN 기반 딥러닝의 피처 디스크립션(Feature Description) 측면에서 이득을 얻을 수 있기 때문에 오브젝트 디텍션(Object Detection)과 같은 다른 딥러닝 기반 태스크(Task)를 추가적으로 활용할 수 있다. 이에, 본 실시예는 추가적인 딥러닝 기반 Task가 추가될 수 있도록 확장 가능한 구조로 설계되었다.

이하 본 발명의 일 실시예에 따른 360도 영상 화질 개선 방법을 상세하게 설명한다.

도 3 은 본 발명의 일 실시예에 따른 360도 영상 화질 개선 방법의 순서도이다.

도 3 을 참조하면, 먼저 뷰포트 설정 모듈(120)은 광각 렌즈 기반 360도 동영상을 입력받고(S110), 호모그래피를 이용하여 360도 영상 중에서 사용자가 시청하고 싶은 영역의 영상을 뷰포트 영상으로 설정한다(S120,S130).

도 4는 본 발명의 일 실시예에 따른 뷰포트 선택 모듈의 뷰포트 선택 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 뷰포트 설정 모듈(120)은 360도 영상 중에서 사용자가 시청하고 싶은 영역의 영상을 뷰포트 영상으로 설정한다.

이 경우, 뷰포트 설정 모듈(120)은 사용자의 제어명령에 따라, 사전에 정의된 뷰포트 영역 중에서 뷰포트를 설정할 것인지, 또는 정의된 영역이 아닌 다른 영역을 뷰포트로 새로 정의할 것인지를 선택한다(S132).

사전에 정의된 뷰포트 영역 중 어느 하나가 선택되면, 뷰포트 설정 모듈(120)은 360도 영상을 기 설정된 설정 크기 단위로 분할한 영상 중에서 출력할 뷰포트 영상을 선택한다(S134). 이때 각각의 분할된 영상은 사전에 계산되어 다중 호모그래피 모듈(110)에 저장된 호모그래피와 일대일로 대응된다. 예컨대, 사전 정의 뷰포트는 도 5에 나타나는 바와 같다.

도 5는 본 발명의 일 실시예에 따른 뷰포트 선택 모듈의 사전 정의 뷰포트 선택 예를 설명하기 위한 도면이다.

도 5를 참조하면, 360도 영상이 8개의 영역으로 사전 정의된 예가 도시되었다. 해당 각 영역의 호모그래피는 촬영된 영상 내 사물의 형태에서 추출한 특징점과 일반 영상에서의 사물에서 추출한 특징점을 활용하여 아래의 수학식 1을 통해 계산된다. 이때 수학식 1에서 나타나는 x, y는 뷰포트 영상에서 이동 변환 전 X축 좌표, Y축 좌표에 해당하며, x’, y’은 이동 변환 후 X축 좌표, Y축 좌표이다. 또한, 수학식 1에서 나타나는 9개의 h는 호모그래피 행렬을 구성하는 성분 값에 해당한다.

도 6은 본 발명의 일 실시예에 따른 뷰포트 설정 모듈에서 사용자가 뷰포트를 정의하는 경우의 실시 예를 설명하기 위한 도면이다.

한편, 사전에 정의된 뷰포트 영역 중에서 뷰포트가 선택되지 않는 경우, 뷰포트 설정 모듈(120)은 사용자의 제어명령에 따라 사용자 설정 뷰포트를 설정한다(S136).

이 경우, 뷰포트 설정 모듈(120)은 사용자의 선택에 따라 360도 영상에서 뷰포트 영역과 변환점들을 선택한다. 즉, 뷰포트 설정 모듈(120)은 사용자가 직접 뷰포트 영역을 설정한다.

변환점들은 뷰포트 공간과 출력 공간 각각에서 선택되는 영상의 X축과 Y축 위치 좌표 지점으로써, 뷰포트 공간과 출력 공간에서 4개 이상의 지점을 동일한 순서쌍으로 선택한다.

도 2를 참조하면, 뷰포트 설정 모듈(120)은 사용자는 도 6에서 나타나는 영상과 같이 입력 영상의 일부분을 뷰포트 영상으로 설정을 할 수 있다. 이때, 사용자는 뷰포트 영상에서 노란색 영역 안에 있는 4개 이상의 변환점 P1, P2, P3, P4를 선택하고, 해당 순서와 동일한 순서로 출력 공간에서 P1’, P2’, P3’, P4’을 선택할 수 있다.

뷰포트 설정 모듈(120)은 사용자가 뷰포트를 선택한 경우 도 6에서 선택한 변환점 P1, P2, P3, P4와 출력 공간에서 선택한 변환점 P1', P2', P3', P4'을 바탕으로 수학식 1에서 나타나는 바와 같이 해당 뷰포트의 호모그래피를 추정한다.

뷰포트 2차원 와핑 모듈(130)은 뷰포트의 호모그래피를 이용하여 뷰포트를 2차원 와핑 변환한다(S140).

여기서, 뷰포트 2차원 와핑 모듈(130)은 뷰포트 선택 모듈(120)에서 사전 정의 뷰포트 서브모듈(122)이 선택된 경우, 선택된 뷰포트에 대응되는 호모그래피를 다중 호모그래피 모듈(110)에서 전달받아 해당 뷰포트를 2차원 변환한다.

반면에, 뷰포트 2차원 와핑 모듈(130)은 사용자 선택 뷰포트 서브모듈(123)이 선택된 경우, 호모그래피 추정 서브모듈(124)에서 추정한 호모그래피를 바탕으로 해당 뷰포트를 2차원 변환한다.

이어 딥러닝 기반 수퍼 레졸루션 모듈(140)은 딥러닝 기반 수퍼 레졸루션(Super Resolution)을 수행(S150)함으로써, 낮은 해상도의 영상을 보다 고해상도의 영상으로 재생성한다.

수퍼 레졸루션은 CNN을 바탕으로 Residual Network, Recursive Network, Densely Connected Network, Multi-branch, Attention based Network, Multiple Degradation Network, GAN Network 등의 구조가 추가적으로 활용될 수 있다.

이하 설명에서는 간략하게 L1 또는 L2 손실 함수를 활용하는 CNN 네트워크로 설명한다.

한편, CNN을 주로 활용하는 수퍼 레졸루션 기술에서는 영상의 Feature를 순방향으로 풀링(Pooling)하여 Feature를 전달하는 구조가 이용된다. 이때 광각 렌즈 기반의 360도 영상은 렌즈의 곡률로 인해서 영상의 위치에 따라 사물의 형태가 바뀐다는 제한 사항이 있고, 이로 인해 광각 렌즈 기반의 360도 영상에서는 CNN을 활용한 Task 성능이 일반 영상에 적용한 경우보다 낮게 나타난다.

이를 극복하기 위하여 본 실시예에서는 2차원 변환을 통해서 360도 영상을 일반적인 영상과 비슷한 형태로 변환하였고, 이를 딥러닝 기반 수퍼 레졸루션에 적용함으로써 딥러닝 네트워크의 화질 개선 성능을 향상시켰다.

또한, 본 실시예에 있어서, 2차원 변환을 통해서 360도 영상을 일반 영상과 같이 변환하는 것은, 오브젝트 디텍션(Object Detection)과 같이 CNN을 활용하는 또 다른 딥러닝 Task에서 성능 향상을 기대할 수 있다.

한편, 딥러닝 기반 수퍼 레졸루션 네트워크의 학습(Training)에서 보편적으로 L1 또는 L2 손실 함수를 활용한다. 그러나, L1 또는 L2 손실 함수를 활용할 경우, 결과 영상이 높은 PSNR(Peak Signal-to-noise ratio) 측정값을 가지지만 영상이 전체적으로 흐림 효과(Blur Effect)가 나타난다는 제한 사항이 있다.

이에 본 실시예에서는 아래의 수학식 2로 정의되는 손실 함수를 바탕으로 학습을 진행한다.

여기서, 계수 α는 0보다 크고 0.5보다 작은 가중치 변수로써, 기존 L1 손실 함수에 영상의 구조적 차이를 나타내는 LD 값을 추가한 식 구조이다.

영상의 구조적 차이를 나타내는 LD 값은 아래의 수학식 3에서 나타나는 바와 같이 실제 영상(f)의 구조값과 예측 영상(g)의 구조값의 차이의 절댓값으로 정의된다. 이때 X와 Y는 영상의 가로와 세로 크기를 나타내며, i와 j는 각각 3x3로 나타나는 구조 행렬을 표현하기 위한 변수로써 각각 1, 2, 3의 값을 가질 수 있지만, 두 변수가 모두 2인 경우는 고려하지 않는다.

이때, 수학식 3에서 나타나는 D 인자는 주변 정보와의 차분 값을 나타내는 인자로써, 아래의 수학식 4와 같이 나타난다.

수학식 4에서 나타나는 구조 값은 하나의 영상(f)의 모든 픽셀에 대하여 개별적으로 계산되며, X축 좌표 x와 Y축 좌표 y를 기준으로 인접한 픽셀과의 차이로 정의된다. 이때 변수 i와 j는 인접한 픽셀을 참조하기 위한 변수이며, i와 j가 모두 2인 경우는 고려하지 않는다.

또한, 수학식 2에서 나타나는 L1은 실제 값과 예측 값의 픽셀 차이 값을 바탕으로 아래의 수학식 5와 같이 나타난다. 이때 X와 Y는 영상의 가로와 세로 크기를 나타내며, x와 y는 픽셀 좌표에 해당한다.

상기한 수학식 2로 정의된 LD-L1 손실 함수를 수학식 6에서 나타나는 바와 같이 영상 평가 방법으로 재정의하는 경우, LD-L1 손실 함수로 학습한 딥러닝 네트워크의 성능이 기존 L1, L2 손실 함수로 학습한 딥러닝 네트워크의 결과보다 개선된 이유를 확인할 수 있다.

기존 L1, L2 손실 함수는 실제 영상과 예측 영상의 픽셀 차이 값을 활용하기 때문에 두 방법 모두 PSNR 영상 평가 방법과 유사하다고 할 수 있다. 이때 도 7에서 나타나는 바와 같이 PSNR 영상 평가는 인간의 주관적 평가와 일치하지 않은 영상 평가 결과를 나타내기 때문에, L1, L2 손실 함수로 학습된 딥러닝 네트워크는 인간의 주관적 평가에서 좋지 않은 영상을 생성한다.

반면, LD-L1 영상 평가 방법은 도 7에서 나타나는 바와 같이 인간의 주관적 평가와 일치하는 영상 평가 방법으로 나타나기 때문에, LD-L1 손실 함수로 학습된 딥러닝 네트워크는 인간의 주관적 평가에 적합한 영상을 생성한다. 한편, 수학식 6에서 활용된 a의 값은 0.1이며, MAX는 영상 픽셀에 할당할 수 있는 최대값인 255가 설정되었다.

다음으로, 출력 모드 모듈(150)은 뷰포트 단위 출력과 360도 영상 전체 출력 중에서 사용자가 원하는 출력 형태를 선택한다. 뷰포트 단위의 출력을 선택하는 경우에는, 출력 모드 모듈(150)은 딥러닝 기반 수퍼 레졸루션 모듈(140)의 결과 영상이 그대로 사용자에게 출력한다(S170).

반면, 출력 모드 모듈(150)에서 360도 영상 전체 출력을 선택하는 경우에는 앞서 구한 호모그래피의 역행렬을 활용하여 2차원 역변환 모듈(160)에서 기존의 360 영상 형태로 변환한다. 이때 360도 영상 전체를 출력으로 선택하기 위해서는 뷰포트 설정 모듈(120)에서 사전 설정 뷰포트 서브모듈(122)을 선택한 경우에만 사용할 수 있다. 사전에 설정된 뷰포트 모습이 도 5와 같이 8개의 영역으로 구분되어 있다고 가정하면, 각각의 분할 영상은 다중 호모그래피 모듈(110)에서 각자의 영역에 대응되는 호모그래피 정보를 받아서 뷰포트 2차원 와핑, 딥러닝 기반 수퍼 레졸루션을 적용한다.

즉, 2차원 역변환 모듈(160)은 딥러닝 기반 수퍼 레졸루션 기술이 적용된 사전 정의 뷰포트 영상들과 해당 영역들의 호모그래피 값들을 이용하여 2차원 역변환을 수행한다(S180).

다중 호모그래피 모듈(110)에 저장된 호모그래피는 딥러닝 기반 수퍼 레졸루션이 적용되기 전 영상의 호모그래피를 나타내기 때문에, 2차원 역변환 모듈(160)은 도 10 에 도시된 바와 같이, 영상을 가로, 세로 각각에 대하여 증가된 배수로 분할하여 2차원 역변환을 진행하고, 이를 통합한다.

도 8을 일례로, 딥러닝 기반 수퍼 레졸루션 기술을 통해서 가로 크기가 2배, 세로 크기가 2배로 커졌다고 가정한다면, 도 8에서 나타나는 바와 같이 영상을 가로를 2개의 영역, 세로를 2개의 영역으로 구분하여 총 4개의 분할 영역으로 나누어 수퍼 레졸루션이 적용되기 전의 영상 사이즈를 맞춘다.

이에, 각각의 분할 영역에 대하여 호모그래피 역행렬를 곱해 2차원 역행렬을 진행하고, 분할되기 전 순서에 맞게 다시 통합하여 2차원 역변환 모듈은 마무리된다.

도 8은 본 발명의 2차원 역변환 모듈의 기술 과정을 설명하기 위한 도면이다.

패치 통합 모듈(170)은 2차원 역변환 모듈(160)의 결과 영상에서, 사전 정의된 영역에 해당하는 다수의 영상을 각자 2차원 와핑, 딥러닝 기반 수퍼 레졸루션, 2차원 역변환을 진행하고, 이를 사전 정의된 영역의 순서에 맞게 합성하여 초고화질 360도 영상을 생성하여 출력한다(S190,S200).

도 9는 본 발명의 실시 예를 검증하기 위한 입력 영상으로써, 영상으로 개인 정보가 노출되는 것을 방지하기 위하여 도 2에서 나타난 자동차 번호판을 대신하는 도면이다.

이와 같이, 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치 및 방법은 딥러닝 기반 화질 개선 알고리즘(Super Resolution)을 적용하여 네트워크 대역폭 비용을 위해 활용하는 저화질 360도 영상을 고화질 360도 영상으로 재생성하므로, 네트워크 대역폭을 최소화한 저비용 고효율의 감시 시스템을 구축할 수 있도록 한다.

또한, 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치 및 방법은 뷰포트 단위의 호모그래피 추정과 사용자 선택 뷰포트 호모그래피 추정, 및 2차원 공간 변환을 적용하여 현실적이고 실용적인 영상을 재생성한다.

또한, 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치 및 방법은 기존의 평가 방법보다 인간의 주관적 평가와 일치하는 평가 결과를 획득할 수 있도록 한다.

또한, 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치 및 방법은 LD-L1 손실 함수를 통하여 학습을 진행하여 보다 선명한 고화질 영상을 획득할 수 있다.

또한, 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치 및 방법은 영역 별로 호모그래피를 추정하여 사물의 본래 모습으로 변환하여 감시가 가능하다. 또한, 본 발명에서는 사물의 본래 모습으로 변환한 영상에 대하여 화질 개선을 적용하기 때문에 보다 정확한 감시 시스템의 구축이 가능하다. 또한, 360도 카메라를 통해서 촬영한 카메라를 서버에 전송하여, 서버단(수신단)에서 화질 개선(Super Resolution)을 적용하여 활용하기에 대역폭 비용을 절감할 수 있다.

또한, 본 발명의 일 실시예에 따른 360도 영상 화질 개선 장치 및 방법은 드론, 운행 로봇, 정지형 360도 감시소 등에 적용되어 송전탑, 지하 선로, 풍력 발전소 등의 위험 지역에 대하여 안전한 감시 시스템을 구현할 수 있도록 하고, 지속적인 감시가 필요한 장비에 대하여 모니터링 시스템을 구현할 수 있도록 한다.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.

110: 다중 호모그래피 모듈 120: 뷰포트 설정 모듈
130: 뷰포트 2차원 와핑 모듈 140: 수퍼 레졸루션 모듈
150: 출력 모드 모듈 160: 2차원 역변환 모듈
170: 패티 통합 모듈 180: 360도 영상 출력 모듈

Claims

360도 영상 중 설정 크기의 뷰포트 단위로 분할된 영상에서 카메라 렌즈의 곡률에 따라 사전에 계산된 다중-호모그래피를 저장하는 다중 호모그래피 모듈;
뷰포트를 설정하는 뷰포트 설정 모듈;
상기 뷰포트 설정 모듈에 의해 설정된 뷰포트와 상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 뷰포트에 대한 2차원 와핑을 수행하는 뷰포트 2차원 와핑 모듈;
상기 뷰포트 2차원 와핑 모듈에 의해 출력된 뷰포트를 딥러닝을 활용하여 영상 화질 개선을 위한 수퍼 레졸루션을 수행하는 수퍼 레졸루션 모듈;
360도 영상을 출력하는 360도 영상 출력 모듈; 및
뷰포트 단위 출력과 360도 영상 전체 출력 중에서 사용자가 원하는 출력 형태에 따라 상기 수퍼 레졸루션 모듈의 결과 영상을 출력하거나 상기 360도 영상 출력 모듈을 통해 360도 영상을 출력하도록 하는 출력 모드 모듈을 포함하는 360도 영상 화질 개선 장치.
제 1 항에 있어서, 상기 뷰포트 설정 모듈은
사용자의 제어명령에 따라 사전에 정의된 뷰포트 영역과 사용자에 의해 정의된 뷰포트 영역 중 어느 하나를 뷰포트로 설정하는 것을 특징으로 하는 360도 영상 화질 개선 장치.
제 2 항에 있어서, 상기 사전에 정의된 뷰포트 영역의 뷰포트는
360도 영상을 기 설정된 설정 크기 단위로 분할한 영상이고, 상기 다중 호모그래피 모듈에 저장된 호모그래피와 일대일로 대응되는 것을 특징으로 하는 360도 영상 화질 개선 장치.
제 3 항에 있어서, 상기 뷰포트 2차원 와핑 모듈은
상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 상기 사전에 정의된 뷰포트 영역으로 설정된 뷰포트를 2차원 변환하는 것을 특징으로 하는 360도 영상 화질 개선 장치.
제 2 항에 있어서, 상기 사용자에 의해 정의된 뷰포트 영역의 뷰포트는
사용자에 의해 선택된 360도 영상의 변환점을 토대로 선택되고, 상기 변환점은 뷰포트 공간과 출력 공간에서 4개 이상의 지점을 동일한 순서쌍으로 선택되는 것을 특징으로 하는 360도 영상 화질 개선 장치.
제 5 항에 있어서, 상기 뷰포트 설정 모듈은
상기 사용자에 의해 정의된 뷰포트 영역이 뷰포트로 선택되면 상기 변환점을 바탕으로 호모그래피를 추정하는 것을 특징으로 하는 360도 영상 화질 개선 장치.
제 6 항에 있어서, 상기 뷰포트 2차원 와핑 모듈은
상기 추정된 호모그래피를 바탕으로 상기 사용자에 의해 정의된 뷰포트 영역으로 정의된 뷰포트를 2차원 변환하는 것을 특징으로 하는 360도 영상 화질 개선 장치.
제 1 항에 있어서, 상기 수퍼 레졸루션 모듈은
실제 영상과 예측 영상의 구조적 차이값으로 정의되는 손실 함수를 바탕으로 학습을 수행하는 것을 특징으로 하는 360도 영상 화질 개선 장치.
제 8 항에 있어서, 상기 구조적 차이값은,
실제 영상의 구조값과 예측 영상의 구조값의 차이의 절댓값인 것을 특징으로 하는 360도 영상 화질 개선 장치.
제 1 항에 있어서, 상기 360도 영상 출력 모듈은
상기 출력 모드 모듈에 의해 360도 영상 전체 출력이 선택되면 호모그래피의 역행렬을 활용하여 사전 정의 뷰포트 영상들을 360 영상 형태로 변환하는 2차원 역변환 모듈; 및
상기 2차원 역변환 모듈에서 출력된 영상을 사전 정의된 영역에 해당하는 2차원 와핑, 딥러닝 기반 수퍼 레졸루션 및 2차원 역변환을 수행한 후, 사전 정의된 영역의 순서에 따라 합성하여 360도 영상을 생성하는 출력하는 패치 통합 모듈을 포함하는 것을 특징으로 하는 360도 영상 화질 개선 장치.
뷰포트 설정 모듈이 뷰포트를 설정하는 단계;
뷰포트 2차원 와핑 모듈이 상기 뷰포트 설정 모듈에 의해 설정된 뷰포트와 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 뷰포트에 대한 2차원 와핑을 수행하는 단계;
수퍼 레졸루션 모듈이 상기 뷰포트 2차원 와핑 모듈에 의해 출력된 뷰포트를 딥러닝을 활용하여 영상 화질 개선을 위한 수퍼 레졸루션을 수행하는 단계; 및
출력 모드 모듈이 뷰포트 단위 출력과 360도 영상 전체 출력 중에서 사용자가 원하는 출력 형태에 따라 수퍼 레졸루션 모듈로부터 출력된 뷰포트 영상과 360 영상 출력 모듈이 360도 영상 중 어느 하나를 출력하는 단계를 포함하는 360도 영상 화질 개선 방법.
제 11 항에 있어서, 상기 뷰포트를 설정하는 단계는,
사용자의 제어명령에 따라 사전에 정의된 뷰포트 영역과 사용자에 의해 정의된 뷰포트 영역 중 어느 하나를 뷰포트로 설정하는 것을 특징으로 하는 360도 영상 화질 개선 방법.
제 12 항에 있어서, 상기 사전에 정의된 뷰포트 영역의 뷰포트는
360도 영상을 기 설정된 설정 크기 단위로 분할한 영상이고, 상기 다중 호모그래피 모듈에 저장된 호모그래피와 일대일로 대응되는 것을 특징으로 하는 360도 영상 화질 개선 방법.
제 13 항에 있어서, 상기 뷰포트에 대한 2차원 와핑을 수행하는 단계는,
상기 다중 호모그래피 모듈에 저장된 호모그래피를 바탕으로 상기 사전에 정의된 뷰포트 영역으로 설정된 뷰포트를 2차원 변환하는 것을 특징으로 하는 360도 영상 화질 개선 방법.
제 12 항에 있어서, 상기 사용자에 의해 정의된 뷰포트 영역의 뷰포트는
사용자에 의해 선택된 360도 영상의 변환점을 토대로 선택되고, 상기 변환점은 뷰포트 공간과 출력 공간에서 4개 이상의 지점을 동일한 순서쌍으로 선택되는 것을 특징으로 하는 360도 영상 화질 개선 방법.
제 15 항에 있어서, 상기 뷰포트를 설정하는 단계에서,
상기 뷰포트 설정 모듈은 상기 사용자에 의해 정의된 뷰포트 영역이 뷰포트로 선택되면 상기 변환점을 바탕으로 호모그래피를 추정하는 것을 특징으로 하는 360도 영상 화질 개선 방법.
제 16 항에 있어서, 상기 뷰포트에 대한 2차원 와핑을 수행하는 단계는,
상기 추정된 호모그래피를 바탕으로 상기 사용자에 의해 정의된 뷰포트 영역으로 정의된 뷰포트를 2차원 변환하는 것을 특징으로 하는 360도 영상 화질 개선 방법.
제 11 항에 있어서, 상기 수퍼 레졸루션을 수행하는 단계는,
실제 영상과 예측 영상의 구조적 차이값으로 정의되는 손실 함수를 바탕으로 학습을 수행하는 것을 특징으로 하는 360도 영상 화질 개선 방법.
제 18 항에 있어서, 상기 구조적 차이값은,
실제 영상의 구조값과 예측 영상의 구조값의 차이의 절댓값인 것을 특징으로 하는 360도 영상 화질 개선 방법.
제 11 항에 있어서, 상기 수퍼 레졸루션 모듈로부터 출력된 뷰포트 영상과 360 영상 출력 모듈이 360도 영상 중 어느 하나를 출력하는 단계에서,
360도 영상 전체 출력이 선택되면 상기 360도 영상 출력 모듈은 호모그래피의 역행렬을 활용하여 사전 정의 뷰포트 영상들을 360 영상 형태로 변환하고, 사전 정의된 영역에 해당하는 2차원 와핑, 딥러닝 기반 수퍼 레졸루션 및 2차원 역변환을 수행한 후, 사전 정의된 영역의 순서에 따라 합성하여 360도 영상을 생성하는 출력하는 것을 특징으로 하는 360도 영상 화질 개선 방법.