KR102192433B1 - 360도 영상의 수평 수직 보정을 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 360도 영상의 수평 수직 보정을 위한 장치 및 방법에 관한 것이다. 본 발명에 따른 360도 영상의 수평 수직 보정을 하는 방법은, 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 단계와; 상기 단계에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 단계와; 상기 단계에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 단계를 포함하는 것을 특징으로 한다.

Description

360도 영상의 수평 수직 보정을 위한 장치 및 방법{APPARATUS AND METHOD FOR UPRIGHT ADJUSTMENT OF 360 PANORAMAS}

본 발명은 360도 영상을 처리하기 위한 장치 및 방법에 관한 것으로, 보다 상세하게는 왜곡된 360도 영상의 수평 수직 보정을 위한 장치 및 방법에 관한 것이다.

최근 가상현실(Virtual Reality, VR)에 기반한 각종 장치 및 서비스가 제공되고 있다.

예를 들어 VR을 즐길 수 있는 각종 헤드 마운트 디스플레이가 정식 출시되고 있는데, 이런 하드웨어보다 VR의 현실화에 더 중요한 것은 이 헤드셋으로 즐길 콘텐츠이다.

이 콘텐츠 수급에 현재 굉장히 중요한 역할을 하는 것이 바로 360도 동영상이다.

360도 동영상은 상하 좌우는 물론 앞뒤 방향까지, 모든 시야를 동시에 담은 영상으로서, 이러한 360 동영상의 매력은 현실감이다.

즉, 스마트폰, VR HMD(Virtual Reality Head Mount Display) 기기로 360도 동영상을 보면 시점을 자유자재로 변경할 수 있고 영상 확대 및 축소도 가능하다. 운동 경기나 콘서트 현장, 여행지의 360도 동영상을 보면 흡사 사용자가 그 곳에 있는듯한 현실감을 느낄 수 있는 것이다.

최근에는 이러한 360도를 촬영하는 카메라들이 개발됨에 따라 전문가 수준의 지식이 없는 일반 소비자들도 쉽게 360도 영상을 얻을 수 있게 되었다.

그러나 360도 카메라의 경우 보통 손에 들고 찍게 되는데, 카메라의 세로축이 지면과 수직하지 않게 되어 영상에 왜곡이 생기는 경우가 많다.

이렇게 왜곡된 영상을 상술한 Head Mount Display(HMD)와 같은 Virtual Reality(VR) 장비들을 이용하여 감상하게 되면 넘어질 거 같은 느낌을 주어 사용자를 불편하게 하거나 어지럽게 만든다.

따라서 360도 영상의 수평 정합 보정은 사용자 경험을 증대시키기 위해 필수적이어서 이를 해결하는 방안들이 여럿 제시된 바 있다.

그러나 기존 방법들은 360도 영상 자체에서 직선들을 추출하여 수평 보정을 하게 되는데, 이 방법들의 경우에는 자연경관이나 복잡한 물체가 많은 장면의 경우 수평 보정이 이루어 지지 않는 문제점이 있다.

즉, 종래의 방식들에 의하면 360도 영상의 수평 수직을 제대로 보정하기 위한 과정이 번거롭거나 그 교정이 정확히 이루어지지 않는 문제점이 있는 것이다.

공개특허 제10-2018-0088005호

본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 360도 영상의 수평 수직을 정확하고 용이하게 보정 및 교정하여 360도 영상 시청자의 불편을 최소화하도록 하기 위한 장치 및 방법을 제공하는 것이다.

상기한 목적을 달성하기 위해 본 발명에 따른 360도 영상의 수평 수직 보정을 처리하는 장치는, 입력된 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 이미지 추출부와; 상기 이미지 추출부에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 회전 정도 판단부와; 상기 회전 정도 판단부에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 360도 영상 처리부를 포함하여 구성된다.

또, 상기한 목적을 달성하기 위해 본 발명에 따른 360도 영상의 수평 수직 보정을 하는 방법은, 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 단계와; 상기 단계에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 단계와; 상기 단계에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 단계를 포함하여 이루어진다.

이상 설명한 바와 같이 본 발명에 따르면, 360도 영상의 왜곡(기울어짐 발생)을 정확하게 용이하게 교정 또는 바로잡을 수 있어서, 예를 들어 360 영상을 이용하여 가상현실(VR) 서비스를 이용하는 고객들의 불편을 최소화시킬 수 있다.

특히, 기존에 존재하는 방법들은 360도 영상 그 자체에서 edge 직선들을 찾아내고 이들의 분포를 통해 소실점을 찾아내는 방법으로 영상의 수평 수직 보정을 진행하였으나. 본 발명에 따르면 이러한 소실점의 추정 없이, 다운샘플링된 2D 영상들이 어떻게 회전되어 있는지에 대한 분포를 수학적 모델에 적용함으로써, 360도 영상을 보다 정확하게 교정할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 기능 블록도이고,
도 2는 도 1의 영상 처리 장치가 처리하는 360도 영상을 구 형태로 도식화하여 나타낸 도면이고,
도 3은 도 2를 평면상에 펼쳐 놓은 상태에서 다운샘플링된 2D 이미지들의 위치를 나타내 도면이고,
도 4는 도 2 및 도 3에 따라 다운샘플링된 2D 이미지와 360도 영상 간의 수학적 모델을 설명하기 위한 도면이고,
도 5는 도 4를 참조하여 도출한 수식이고,
도 6은 실제 왜곡이 발생한(기울어진 상태로 촬영된) 360도 영상의 일 예이고,
도 7은 도 6에서 4 개의 다운 샘플링 이미지를 추출한 상태를 나타낸 도면이고,
도 8은 도 6의 360도 영상을 기울기 보정을 통해 바로잡은 상태를 나타낸 도면이고,
도 9 기계 학습을 위한 360도 영상과 그 영상에서 다운 샘플링 이미지를 추출할 영역을 나타낸 도면이고,
도 10은 기계 학습을 위해 도 9로부터 추출한 다운 샘플링 이미지들의 일 예이고,
도 11은 본 발명의 일 실시예에 따른 영상 처리 장치의 제어흐름도이다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.

이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.

특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.

본 발명의 일 실시예에 따른 360도 영상의 수평 수직 보정 장치(이하, "영상 처리 장치"라고 함)는 360도 영상을 분석하여 교정하는 기능을 수행하는 것으로서, 특히 360도 영상이 촬영상의 문제 등으로 인해 수평과 수직이 제대로 맞지 않게 촬영된 경우 이를 제대로 교정 처리하는 기능을 수행한다.

이러한 영상 처리 장치(100)의 기능 블록의 일 예는 도 1에 도시된 바와 같다.

동 도면에 도시된 바와 같이 영상 처리 장치(100)는 영상 입력부(110), 이미지 추출부(120), 회전 정도 판단부(130), 360도 영상 처리부(140), 회전 정도 학습부(150)를 포함하여 구성될 수 있다.

여기서 영상 입력부(110)는 상술한 바와 같이 교정 처리될 360도 영상을 입력받는 기능을 수행하는 것으로서, 예를 들어 통신 모듈을 구비하여 외부로부터 360도 영상을 수신하거나, 또는 기 구비된 저장부(미 도시함)로부터 360도 영상을 추출하여 입력받는 역할을 수행할 수 있다.

본 실시예에서 360도 영상은 VR 체험을 위한 360 동영상의 각 프레임에 해당할 수 있다.

이처럼 영상 입력부(110)에 입력되는 360도 영상이 구형으로 형상화되는 일 예는 도 2에 도시된 바와 같다.

도 2에서 파란색 원이 실제 지평면을, 파란색 세로축이 실제 촬영된 장소의 수직축을 의미하고, 빨간색 원이 촬영된 영상의 수평면을, 빨간색 직선이 촬영된 영상의 수직축을 의미한다.

본 실시예에 따른 영상 처리 장치(100)는 이러한 파란색 원과 파란색 세로축을 360도 이미지로부터 찾아내어 해당 360 영상을 해당 파란색 지평면 및 세로축에 일치되도록 조정 또는 교정하는 기능을 수행하는 것이다.

이미지 추출부(120)는 영상 입력부(110)에 입력된 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 '다운 샘플링 이미지'를 추출하는 기능을 수행한다.

여기서 다운 샘플링 이미지는 360도 영상의 일부를 추출한 일종의 2D 이미지 즉, 평면 이미지에 해당하는 것이다.

예를 들어 이미지 추출부(120)는 360도 영상의 중심점을 포함하는 가상 평면(예를 들어 지평면)을 따라 기 설정된 각도 간격으로 기준 벡터를 선정하고, 각각의 기준 벡터를 중심으로 기 설정된 각도의 상하 좌우 FOV(Field of View)에 해당하는 영상을 프로젝션 시켜 다운 샘플링 이미지를 추출할 수 있다.

즉, 360도 영상의 경우에는 촬영한 순간의 모든 방향이 담겨 있기 때문에 중심을 지정하고 주위 FoV를 얼마나 샘플링할지 정하면 2D 평면 영상으로 다운샘플링이 가능하고(다운 샘플링 이미지 추출), 이는 지구본 표면에 종이를 두고 지구 중심에서 지구 표면을 종이로 투영시키는 것과 같다.

도 3은 360도 영상을 세계지도와 같이 펼쳐놓은 상태에서 각도별 추출된 다운 샘플링 이미지를 나타낸 도면이다.

도 3에서 실제 세계의 지평선은 파란색 곡선과 같이 휘어져 있는 것을 볼 수 있는데, 이미지 추출부(120)는 360도 영상의 중심선 즉 빨간색 직선을 따라가면서 2D 평면 영상들로 다운샘플링을 하게 되고, 도 3에서는 이러한 다운 샘플링 이미지 4개의 작은 사각형에서 볼 수 있는 것처럼 지평선이 돌아가 있거나, 위아래에 있게 된다.

한편, 회전 정도 판단부(130)는 이미지 추출부(120)에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 기능을 수행한다.

즉, 회전 정도 판단부(130)는 앞서 설명한 바와 같이 도 3의 4 개의 다운 샘플링 이미지의 지평선이 돌아가 있는 정도를 이용하여 이미지의 회전 정도 즉, 기울어진 정도를 판단할 수 있는 것이다.

이러한 결과를 수학적 모델로 표현하면 도 4와 같음을 알 수 있다.

도 4는 도 3에서 다운샘플링된 특정 작은 사각형을 실제 세계와 비교한 것이다.

여기서 alpha는 해당 다운샘플링된 모델이 가지는 경도(longitude)이고 beta^는 해당 2D 영상의 기울어진 각도이다.

alpha라는 기준 동경을 설정하고 Delta alpha라는 변위를 사용하여 표현하였는데, 이를 수학적으로 모델링하면 도 5의 수식과 같이 모델링이 된다.

이러한 수식을 살펴보면, 결국 다운샘플링된 2D 평면 영상들의 회전각을 알아내기만 하면 360도 영상의 회전각(즉, beta)을 판단할 수 있음을 알 수 있다.

도 6과 도 7은 실제 360도 영상을 이용한 예이다.

도 6은 360도 영상을 도 3과 같이 펼쳐놓은 상태와 그로부터 다운 샘플링 이미지를 추출할 영역을 특정한 상태를 나타낸 도면이다.

도 6의 360도 영상을 보면 촬영된 영상의 수평선이 실제 수평선과 일치하지 않고 왜곡되어 있음을 알 수 있다.

이러한 것은 예를 들어 360도 촬영 카메라가 지평면과 정확하게 수평을 이루지 않은 상태에서 피사체를 촬영하는 경우 발생할 수 있다.

도 7은 도 6의 다운 샘플링 이미지 영역을 추출하여 지평면과의 기울어진 정도를 판별하는 상태를 나타낸 도면이다.

회전 정도 판단부(130)가 각각의 다운 샘플링 이미지에 대한 기울어진 정도(예를 들어 수평면에 대응되는 직선에 대해 기울어진 정도)를 판단함에 있어서 일종의 기계 학습 시스템을 이용할 수도 있다.

즉, 회전 정도 판단부(130)는 기계 학습에 의해 구축된 기계 학습 시스템을 이용하여 이미지 추출부(120)에서 추출한 각각의 다운 샘플링 이미지에 대한 기울어진 정도를 판단할 수 있는 것이다.

여기서 기계 학습 시스템은 무수히 많은 이미지에 대한 기계 학습을 통해 각 다운 샘플링 이미지에 대한 기울어진 정도를 판별할 수 있도록 구축된 것으로서, 예를 들어 기계 학습 시스템은 ResNet 이라는 딥러닝 모델을 이용하는 것일 수 있는데, 특히 ResNet34 모델을 이용한 것일 수 있다.

즉, 기존 ResNet 모델의 경우에는 Image Classification이라는 영상에 어떤 피사체가 담겨져 있는가 라는 문제를 풀기 위한 모델이었는데, 본 실시예에서는 이러한 기존 모델의 마지막 단을 수정하여 영상의 기울어진 각도를 숫자로 추정할 수 있도록 만든 것일 수 있다.

이러한 모델이 기계 학습 하도록 하기 위해서는 올바른 데이터셋이 필요한데, 기울어지지 않은(즉, 왜곡이 발생하지 않은) 360도 영상을 이용하여 데이터셋이 추출될 수도 있다.

예를 들어 도 9에는 수평선을 제대로 맞춘 360도 영상이 도시되었는데, 앞서 설명한 왜곡이 발생한(즉, 수평선이 제대로 맞지 않은) 360도 영상으로부터 다운 샘플링 이미지를 추출하는 경우에는 360도 영상의 중심선에 있는 2D 영상만 다운 샘플링 하였으나, 실제 360도 영상에는 회전 왜곡이 존재하므로 약간 위, 약간 아래의 랜덤 범위에서 시계방향, 반시계방향으로 틀어진 랜덤 범위의 2D 영상들을 추출하여 도 10과 같이 다수의(일 예로 100만장 이상)의 2D 영상들(다운 샘플링 이미지)이 추출되도록 하면 된다.

도 10과 같이 생성된 각 2D 영상들(다운 샘플링 이미지)을 이용하여 회전각 추정 모델에 대해 기계 학습을 시키면 되면 본 실시예에서 필요한 기계 학습 시스템이 구축될 수 있는 것이다.

따라서 회전 정도 판단부(130)는 이러한 기계 학습 시스템을 이용하여, 앞서 이미지 추출부(120)에서 추출한 각각의 다운 샘플링 이미지가 기 설정된 직선(일 예로 수평선)에 대해 기울어진 정도(일 예로 기울어진 각도)를 판단할 수 있는 것이다.

물론, 이러한 딥러닝에 기반한 처리 과정은 일 예에 불과하고, 딥러닝을 사용하지 않고도 각 다운 샘플링 이미지 상에서의 회전각(일 예로 수평선에 대해서 기울어진 각도)만 알 수 있는 방식이라면, 모두 본 발명에 포함될 수 있다.

한편, 360도 영상 처리부(140)는 회전 정도 판단부(130)에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 360도 영상의 수평 수직 보정을 수행하는 기능을 수행한다.

예를 들어 360도 영상 처리부(140)는 회전 정도 판단부(130)에서 판단된 각각의 다운 샘플링 이미지의 기울어진 각도 중 최댓값을 기초로 360도 영상의 기울임 정도를 산출하고, 각각의 다운 샘플링 이미지의 기울어진 각도 변화 패턴을 기초로 360도 영상의 기울임 방향을 판단한 후, 그 360도 영상의 기울임 정도와 360도 영상의 기울임 방향을 이용하여 360도 영상의 수평 수직 보정을 수행할 수 있다.

360도 영상을 소정의 각도만큼 회전 또는 변경시키는 기술 그 자체는 공지된 기술에 해당하므로 보다

이하에서는 도 11을 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 전체적인 제어 흐름을 설명한다.

본 실시예를 설명함에 있어서, 영상 처리 장치(100)에는 다운 샘플링 이미지가 입력되는 경우 해당 다운 샘플링 이미지의 기울어진 각도(예를 들어 수평선 또는 수직선을 기준으로 기울어진 정도)를 판단하는 기계 학습 시스템이 포함되거나 이와 연동하여 결과를 수신하도록 구성되어 있다고 가정한다.

360도 영상이 입력되면(단계 S1) 영상 처리 장치(100)는 그 360 영상으로부터 기 설정된 간격의 각도별 다운 샘플링 이미지를 추출한다(단계 S3). 예를 들어 영상 처리 장치(100)는 수평면을 기준으로 60도 간격으로 총 6개의 다운 샘플링 이미지를 추출할 수 있다.

이때 추출되는 각 다운 샘플링 이미지의 가로 세로 크기는 미리 정해져 있을 수 있다.

이어서 영상 처리 장치(100)는 상술한 기계 학습 시스템을 이용하여 각각의 다운 샘플링 이미지를 분석하여 기울어진 각도를 판단한다(단계 S5).

이렇게 각각의 다운 샘플링 이미지에 대한 기울어진 각도가 판단이 되면, 영상 처리 장치(100)는 그 기울어진 각도의 최대치를 기초로 원 360도 영상의 기울임 각도를 산정하고(단계 S7), 또한 다운 샘플링 이미지들의 기울어진 각도의 변화 패턴을 기초로 360도 영상의 기울임 방향을 선정한다(단계 S9).

예를 들어 다운 샘플링 이미지의 기울어진 각도를 -90도 ~ 90도 의 각도로 나타내는 경우, 그 다운 샘플링 이미지의 기울어진 각도의 부호(양수, 음수)가 변하는 형태를 확인하여 360도 영상의 기울임 방향을 판단할 수 있다. 이는 앞서 설명한 도 2 내지 도 8을 참조하면 자명하다.

이어서 영상 처리 장치(100)는 판단된 360도 영상의 기울임 각도와 기울임 방향을 이용하여 원 영상 즉, 360도 영상을 교정 및 변환시킬 수 있다(단계 S11).

이처럼 360도 동영상의 각 프레임인 360도 영상이 교정 및 변환된 후에, 이를 조합하여 360도 동영상을 생성하게 되면, 360도 동영상을 이용한 VR 체험자들에게 거부감 없는 가상 현실 체험을 할 수 있도록 할 수 있다.

한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.

이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 영상 처리 장치(100)의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.

또한, 본 발명은 상기한 특정 실시예에 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 변형 및 수정하여 실시할 수 있는 것이다. 이러한 변형 및 수정이 첨부되는 특허청구범위에 속한다면 본 발명에 포함된다는 것은 자명할 것이다.

100 : 영상 처리 장치 110 : 영상 입력부
120 : 이미지 추출부 130 : 회전 정도 판단부
140 : 360도 영상 처리부 150 : 회전 정도 학습부

Claims (10)

1. 360도 영상의 수평 수직 보정을 하는 방법에 있어서,
   (a) 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 단계와;
   (b) 상기 (a) 단계에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 각 다운 샘플링 이미지의 기울어진 정도를 판단하는 단계와;
   (c) 상기 (b) 단계에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 단계를 포함하고,
   상기 (b) 단계에서는 기 설정된 직선을 기준으로 한 각각의 다운 샘플링 이미지의 기울어진 각도를 판단하고,
   상기 (c) 단계에서는 상기 (b) 단계에서 판단된 각각의 다운 샘플링 이미지의 기울어진 각도 중 최댓값을 기초로 상기 360도 영상의 기울임 정도를 산출하고, 상기 다운 샘플링 이미지의 기울어진 각도 변화 패턴을 기초로 상기 360도 영상의 기울임 방향을 판단하며, 상기 360도 영상의 기울임 정도와 상기 360도 영상의 기울임 방향을 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 방법.
2. 제1항에 있어서,
   상기 (b) 단계에서는 기계 학습에 의해 구축된 기계 학습 시스템을 이용하여 상기 (a) 단계에서 추출한 각각의 다운 샘플링 이미지에 대한 기울어진 정도를 판단하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 방법.
3. 제1항에 있어서,
   상기 (a) 단계에서는 상기 360도 영상의 중심점을 포함하는 가상 평면을 따라 기 설정된 각도 간격으로 기준 벡터를 선정하고, 각각의 기준 벡터를 중심으로 기 설정된 각도의 상하 좌우 FOV에 해당하는 영상을 프로젝션 시켜 다운 샘플링 이미지를 추출하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 방법.
4. 삭제
5. 제1항 내지 제3항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
6. 하드웨어와 결합되어 제1항 내지 제3항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 응용 프로그램.
7. 360도 영상의 수평 수직 보정을 처리하는 장치 있어서,
   입력된 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 이미지 추출부와;
   상기 이미지 추출부에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 각 다운 샘플링 이미지의 기울어진 정도를 판단하는 회전 정도 판단부와;
   상기 회전 정도 판단부에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 360도 영상 처리부를 포함하고,
   상기 회전 정도 판단부는 기 설정된 직선을 기준으로 한 각각의 다운 샘플링 이미지의 기울어진 각도를 판단하고,
   상기 360도 영상 처리부는 상기 회전 정도 판단부에서 판단된 각각의 다운 샘플링 이미지의 기울어진 각도 중 최댓값을 기초로 상기 360도 영상의 기울임 정도를 산출하고, 상기 각각의 다운 샘플링 이미지의 기울어진 각도 변화 패턴을 기초로 상기 360도 영상의 기울임 방향을 판단하며, 상기 360도 영상의 기울임 정도와 상기 360도 영상의 기울임 방향을 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 장치.
8. 제7항에 있어서,
   상기 회전 정도 판단부는 기계 학습에 의해 구축된 기계 학습 시스템을 이용하여 상기 이미지 추출부에서 추출한 각각의 다운 샘플링 이미지에 대한 기울어진 정도를 판단하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 장치.
9. 제7항에 있어서,
   상기 이미지 추출부는 상기 360도 영상의 중심점을 포함하는 가상 평면을 따라 기 설정된 각도 간격으로 기준 벡터를 선정하고, 각각의 기준 벡터를 중심으로 기 설정된 각도의 상하 좌우 FOV에 해당하는 영상을 프로젝션 시켜 다운 샘플링 이미지를 추출하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 장치.
10. 삭제

Images