KR20230096690A

KR20230096690A - 영상 처리 방법 및 이를 이용한 상황 인식 장치

Info

Publication number: KR20230096690A
Application number: KR1020210186426A
Authority: KR
Inventors: 박장한
Original assignee: 한화시스템 주식회사
Priority date: 2021-12-23
Filing date: 2021-12-23
Publication date: 2023-06-30

Abstract

본 발명은 영상 처리 방법 및 이를 이용한 상황 인식 장치에 관한 것으로서, 보다 상세하게는 영상을 실시간으로 처리하고, 전송하기 위한 영상 처리 방법 및 이를 이용한 상황 인식 장치에 관한 것이다.
본 발명의 실시 예에 따른 영상 처리 방법은, 제1 영상을 상호 중첩된 영역을 가지는 복수의 제2 영상으로 분할하는 과정; 분할된 복수의 제2 영상을 전송하는 과정; 분할된 각각의 제2 영상으로부터 객체를 탐지하는 과정; 및 탐지된 객체의 정보를 전송하는 과정;을 포함한다.

Description

영상 처리 방법 및 이를 이용한 상황 인식 장치{METHOD FOR PROCESSING IMAGE AND APPARATUS FOR MONITORING SITUATION USING THE SAME}

본 발명은 영상 처리 방법 및 이를 이용한 상황 인식 장치에 관한 것으로서, 보다 상세하게는 영상을 실시간으로 처리하고, 전송하기 위한 영상 처리 방법 및 이를 이용한 상황 인식 장치에 관한 것이다.

전차 등과 같은 유인 또는 무인 운용 차량에는 탐지 영역을 촬영하고, 촬영된 영상으로부터 표적 등의 객체(object)를 탐지하기 위한 상황 인식 장치가 탑재된다.

종래의 상황 인식 장치는 네트워크 과부하를 방지하기 위하여 중앙 처리 유닛(CPU; Central Processing unit)에서 영상을 압축하여 전송하고, 그래픽 처리 유닛(GPU;Graphic Processing unit)에서 압축된 영상을 복원한 후 객체를 탐지하는 과정을 수행한다.

그러나, 이와 같은 과정에 의하여 영상으로부터 객체를 탐지하는 경우, 영상을 압축하는데 소요되는 시간 및 압축된 영상을 복원하는데 소요되는 시간으로 인해 필연적으로 시간 지연이 발생하게 된다. 특히, 고해상도 영상의 경우 영상의 압축 및 복원에는 훨씬 많은 시간이 소요되어 이와 같은 문제점은 보다 심각해진다.

KR

10-2021-0060411

A

본 발명은 영상으로부터 실시간으로 객체를 탐지하고, 탐지된 객체의 정보를 영상과 함께 실시간으로 전송할 수 있는 영상 처리 방법 및 이를 이용한 상황 인식 장치를 제공한다.

본 발명의 실시 예에 따른 영상 처리 방법은, 중앙 처리 유닛에서, 제1 영상을 상호 중첩된 영역을 가지는 복수의 제2 영상으로 분할하는 과정; 그래픽 처리 유닛으로, 분할된 복수의 제2 영상을 전송하는 과정; 상기 그래픽 처리 유닛에서, 분할된 각각의 제2 영상으로부터 객체를 탐지하는 과정; 및 상기 중앙 처리 유닛으로, 탐지된 객체의 정보를 전송하는 과정;을 포함한다.

상기 제1 영상은 무압축 영상을 포함할 수 있다.

상기 복수의 제2 영상으로 분할하는 과정은, 상기 제1 영상을 가로 및 세로 방향으로 각각 분할할 수 있다.

상기 복수의 제2 영상으로 분할하는 과정은, 상기 제1 영상을 가로 및 세로 방향으로 동일한 픽셀 수를 가지도록 분할할 수 있다.

상기 복수의 제2 영상으로 분할하는 과정은, 상기 제1 영상을 각각 416×416 픽셀의 크기를 가지는 복수의 제2 영상으로 분할할 수 있다.

상기 복수의 제2 영상으로 분할하는 과정은, 상기 제1 영상을 가로 방향으로 중첩된 영역의 크기가 각각 동일하고, 세로 방향으로 중첩된 영역의 크기가 각각 동일하도록 분할할 수 있다.

상기 복수의 제2 영상을 전송하는 과정 전에, 상기 중앙 처리 유닛의 메모리부에 분할된 복수의 제2 영상을 저장하는 과정;을 더 포함할 수 있다.

상기 복수의 제2 영상을 저장하는 과정은, 상기 제1 영상의 종류 정보 및 상기 제1 영상 내에서의 상기 제2 영상의 위치 정보와 함께 분할된 복수의 제2 영상을 저장할 수 있다.

상기 제1 영상은 복수로 마련되며, 상기 제1 영상의 종류 정보는 복수의 제1 영상 중 상기 제2 영상으로 분할된 제1 영상을 구분하기 위한 식별 정보를 포함할 수 있다.

복수의 제1 영상은 탐지 영역을 분할하여 촬영한 영상을 포함할 수 있다.

상기 탐지 영역은 촬영 위치를 중심으로 하는 360° 범위의 영역을 포함할 수 있다.

상기 제2 영상의 위치 정보는 상기 제1 영상 내에서의 상기 제2 영상의 일측 상단의 위치와 타측 하단의 위치를 포함할 수 있다.

상기 객체를 탐지하는 과정은, 상기 제2 영상에 YOLO(You Only Look Once) 알고리즘을 적용하여 객체를 탐지할 수 있다.

복수의 제2 영상을 합성하여 제3 영상을 생성하는 과정; 및 상기 제3 영상에 탐지된 객체의 정보를 반영하여 전시하는 과정;을 더 포함할 수 있다.

또한, 본 발명의 실시 예에 따른 상황 인식 장치는, 탐지 영역의 영상을 획득하기 위한 영상 획득부; 및 상기 영상 획득부로부터 영상을 수신하고, 전술한 어느 하나의 영상 처리 방법에 따라 영상을 처리하기 위한 영상 처리부;를 포함한다.

한편, 본 발명의 실시 예에 따른 기록 매체는 전술한 어느 하나의 영상 처리 방법을 수행하기 위한 컴퓨터 프로그램을 저장한 기록 매체를 포함한다.

본 발명의 실시 예에 따르면, 분할된 영상을 이용하여 객체를 탐지함으로써 실시간으로 객체의 탐지 및 영상의 전송을 수행할 수 있다.

또한, YOLO 알고리즘을 이용하여 객체를 탐지함으로써 영상에 포함된 객체를 신속 정확하게 탐지할 수 있다.

도 1은 본 발명의 실시 예에 따른 상황 인식 장치가 탐지 영역에 대한 복수의 제1 영상을 획득하는 모습을 나타내는 도면.
도 2는 본 발명의 실시 예에 따른 영상 처리 방법을 개략적으로 나타내는 도면.
도 3은 복수의 제1 영상을 각각 복수의 제2 영상으로 분할하는 모습을 나타내는 도면.
도 4는 제1 영상이 상호 중첩된 영역을 가지는 복수의 제2 영상으로 분할된 모습을 나타내는 도면.
도 5는 본 발명의 실시 예에 따라 분할된 각각의 제2 영상에서 객체를 탐지하는 과정을 나타내는 도면.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 발명의 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 발명을 상세하게 설명하기 위해 도면은 과장되어 도시될 수 있으며, 도면상에서 동일 부호는 동일한 요소를 지칭한다.

도 1은 본 발명의 실시 예에 따른 상황 인식 장치가 탐지 영역에 대한 복수의 제1 영상을 획득하는 모습을 나타내는 도면이다.

전차 등과 같은 유인 또는 무인 운용 차량에는 탐지 영역을 촬영하고, 촬영된 영상으로부터 표적 등의 객체(object)를 탐지하기 위한 상황 인식 장치가 탑재된다. 도시되지는 않았으나, 이와 같은 상황 인식 장치는 유인 또는 무인 운용 차량을 중심으로 360° 범위의 탐지 영역의 영상을 획득하기 위한 영상 획득부 및 상기 영상 획득부로부터 영상을 수신하여 처리하기 위한 영상 처리부를 포함할 수 있다. 또한, 상황 인식 장치는 상기 영상 획득부로부터 처리된 영상을 사용자에게 디스플레이하기 위한 전시부를 더 포함할 수 있다.

영상 획득부는, 예를 들어 수직 방향으로 연장되는 축을 중심으로 360° 회전 가능하게 설치되어 유인 또는 무인 운용 차량을 중심으로 360° 범위의 탐지 영역의 영상을 획득할 수 있다. 영상 획득부는 EO 카메라(Electrooptic camera) 및 IR 카메라(Infrared camera)를 포함할 수 있다.

도 1에 도시된 바와 같이, 영상 획득부는 각각 6대의 EO 카메라 및 IR 카메라를 포함할 수 있다. 각 카메라는, 탐지 영역이 분할된 복수의 감시 영역(A-zone, B-zone, C-zone, D-zone, E-zone, F-zone)에 대해 각각 영상을 획득하고, 획득한 영상을 영상 처리부로 전송할 수 있다. 이때, 복수의 감시 영역 간에는 서로 중첩되는 겹침 영역이 존재하며, 겹침 영역을 이용하여 복수의 감시 영역에 대해 획득된 영상은 360° 범위의 하나의 파노라마 영상으로 합성될 수 있다.

영상 처리부는 영상 획득부로부터 영상을 수신하고, 수신된 영상을 처리하여 영상 내에서 객체를 탐지할 수 있다. 이러한 영상 처리부는 중앙 처리 유닛(CPU; Central Processing unit) 및 그래픽 처리 유닛(GPU;Graphic Processing unit)을 포함할 수 있다.

종래의 상황 인식 장치는 네트워크 과부하를 방지하기 위하여 중앙 처리 유닛에서 영상을 압축하여 그래픽 처리 유닛으로 전송하고, 그래픽 처리 유닛에서 압축된 영상을 복원하여 객체를 탐지하는 과정을 수행하여, 영상을 압축하는데 소요되는 시간 및 압축된 영상을 복원하는데 소요되는 시간으로 인해 필연적으로 시간 지연이 발생하는 문제점이 있었다. 이에, 본 발명의 실시 예에 따른 상황 인식 장치는, 중앙 처리 유닛과 그래픽 처리 유닛 간에 영상을 시간 지연 없이 고속으로 전송하고, Edge AI(Artificial Intelligence) 기반으로 실시간으로 객체를 인식할 수 있는 영상 처리 방법을 사용하여 촬영된 영상으로부터 객체를 탐지한다. 이하에서, 이와 같은 본 발명의 실시 예에 따른 영상 처리 방법에 대하여 보다 상세하게 설명한다.

도 2는 본 발명의 실시 예에 따른 영상 처리 방법을 개략적으로 나타내는 도면이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 영상 처리 방법은 제1 영상을 상호 중첩된 영역을 가지는 복수의 제2 영상으로 분할하는 과정(S100), 분할된 복수의 제2 영상을 전송하는 과정(S200), 분할된 각각의 제2 영상으로부터 객체를 탐지하는 과정(S200) 및 탐지된 객체의 정보를 전송하는 과정(S300)을 포함한다.

복수의 제2 영상으로 분할하는 과정(S100)은 제1 영상을 상호 중첩된 영역을 가지는 복수의 제2 영상으로 분할한다. 이와 같이, 복수의 제2 영상으로 분할하는 과정(S100)은 전술한 영상 처리부의 중앙 처리 유닛에서 수행될 수 있다.

제1 영상은 전술한 복수의 감시 영역(A-zone, B-zone, C-zone, D-zone, E-zone, F-zone)에 대해 어느 하나의 감시 영역을 촬영한 영상일 수 있다. 즉, 제1 영상은 상황 인식 장치가 탐지하는 탐지 영역을 소정의 개수, 예를 들어 6개로 분할하여 촬영한 영상을 포함할 수 있다. 이때, 탐지 영역은 촬영 위치를 중심으로 하는 360° 범위의 영역일 수 있다.

이와 같은, 제1 영상은 1920×1080 픽셀의 크기로 16:9의 비율을 가지는 Full HD(High Definition) 영상일 수 있다. 즉, 제1 영상은 가로 방향으로 1920개의 픽셀과 세로 방향으로 1080개의 픽셀을 가지는 무압축 Full HD 영상일 수 있다.

복수의 제2 영상으로 분할하는 과정(S100)은 압축되지 않은 상태에서 제1 영상을 상호 중첩된 영역을 가지는 복수의 제2 영상으로 분할한다. 즉, 본 발명의 실시 예에 따른 영상 처리 방법은 제1 영상을 압축되지 않은 상태에서 처리하여, 영상을 압축하는 과정과 압축된 영상을 복원하는 과정이 생략된다. 이에, 영상의 압축과 복원에 소요되는 시간을 없애 시간 지연 없이 고속으로 영상을 처리할 수 있다.

복수의 제2 영상으로 분할하는 과정(S100)은 제1 영상을 가로 및 세로 방향으로 각각 분할할 수 있다. 또한, 복수의 제2 영상으로 분할하는 과정(S100)은 상기 제1 영상을 가로 및 세로 방향으로 동일한 픽셀 개수를 가지는 복수의 제2 영상으로 분할할 수 있으며, 가로 방향으로 중첩된 영역의 크기가 각각 동일하고, 세로 방향으로 중첩된 영역의 크기가 각각 동일하도록 분할할 수 있다. 이하에서, 도 3 및 도 4를 참조하여 제1 영상을 복수의 제2 영상으로 분할하는 과정을 보다 상세하게 설명하기로 한다.

도 3은 복수의 제1 영상을 각각 복수의 제2 영상으로 분할하는 모습을 나타내는 도면이고, 도 4는 제1 영상이 상호 중첩된 영역을 가지는 복수의 제2 영상으로 분할된 모습을 나타내는 도면이다.

영상 획득부로부터 복수의 감시 영역(A-zone, B-zone, C-zone, D-zone, E-zone, F-zone)에 대해 획득한 영상은 영상 처리부로 전송되며, 중앙 처리 유닛은 복수의 감시 영역에 대하여 각각 획득된 제1 영상을 복수의 제2 영상으로 분할한다. 제1 영상은 객체 검출이 이루어지는 그래픽 처리 유닛의 내부 메모리 크기를 초과하는 용량을 가지므로, 제1 영상은 그래픽 처리 유닛의 내부 메모리 크기 이하의 용량을 가지는 복수의 제2 영상으로 분할된다.

예를 들어, 제1 감시 영역(A-zone)에 대하여 획득한 1920×1080 픽셀 크기의 Full HD 영상은 18개의 제2 영상(A01 내지 A18)으로 분할할 수 있다. 또한, 제2 감시 영역(B-zone)에 대하여 획득한 1920×1080 픽셀 크기의 Full HD 영상은 18개의 제2 영상(B01 내지 B18)으로 분할할 수 있다. 이는 제3 감시 영역(C-zone) 내지 제 6 감시 영역(F-zone)에 대하여도 동일하게 적용될 수 있다.

이때, 제1 영상은 가로 및 세로 방향으로 각각 분할할 수 있다. 즉, 도 4에 도시된 바와 같이, 제1 감시 영역(A-zone)에 대하여 획득한 제1 영상은 가로 방향을 따라 6개, 세로 방향을 따라 3개로 분할되어 총 18개의 제2 영상(A01 내지 A18)으로 분할될 수 있다.

한편, 제1 영상은 가로 및 세로 방향으로 동일한 픽셀 개수를 가지는 복수의 제2 영상으로 분할할 수 있다. 후술할 객체를 탐지하는 과정에서 사용되는 AI 알고리즘은 일반적으로 32 배수의 픽셀 개수를 가지는 416 픽셀 크기의 영상에 대하여 적용된다. 종래에는 Full HD 영상을 정방형의 영상으로 크기를 줄여 AI 알고리즘을 적용하였으나, Full HD 영상은 16:9 또는 4:3의 픽셀 비율을 가지므로 정방형의 영상으로 크기를 줄이게 되면 영상 왜곡이 발생하게 된다. 또한, 이 경우 4×4 정도의 크기를 가지는 작은 객체는 하나의 점으로 표현되어 정보가 없어지는 문제가 발생하게 된다.

이에, 본 발명의 실시 예에서는 제1 영상을 가로 및 세로 방향으로 동일한 픽셀 개수를 가지는 복수의 제2 영상으로 분할함으로써 이와 같은 문제점을 해결할 수 있다. 예를 들어, 제2 영상은 AI 알고리즘 적용시 가장 정확하고 빠르게 객체 검출이 가능한 416×416 픽셀의 크기를 가질 수 있다.

또한, 복수의 제2 영상으로 분할하는 과정(S100)은 제1 영상을 가로 방향으로 중첩된 영역의 크기가 각각 동일하고, 세로 방향으로 중첩된 영역의 크기가 각각 동일하도록 분할할 수 있다. 영상의 분할 및 합성에 있어서는, 영상의 규칙성이 매우 중요하다. 따라서, 제1 영상을 동일한 크기를 가지는 복수의 제2 영상으로 분할하고, 각각의 제2 영상이 인접한 제2 영상과 중첩된 크기가 동일하도록 분할하는 경우 복수의 제2 영상을 가로 및 세로 방향으로 각각 동일한 규칙으로 배열할 수 있게 되어 분할 및 합성 과정에서 영상이 왜곡되는 것을 효과적으로 방지할 수 있다.

예를 들어, 제1 감시 영역(A-zone)에 대하여 획득한 제1 영상은 도 4에 도시된 바와 같이 416×416 픽셀의 크기로 가로 방향을 따라 6개, 세로 방향을 따라 3개로 분할할 수 있다. 제1 영상이 상단으로부터 하단까지 1080개의 픽셀을 가지고, 좌측단으로부터 우측단까지 1920개의 픽셀을 가지는 경우, 분할된 제2 영상 중 A01 영상은 상단으로부터 하측으로 1번째 내지 416번째 픽셀들, 좌측단으로부터 우측으로 3번째 내지 418번째 픽셀들로 이루어질 수 있다. 이때, 좌측단으로부터 1번째 내지 2번째 픽셀로 이루어지는 영역은 제2 영상으로부터 제외될 수 있다. 전술한 바와 같이, 복수의 감시 영역(A-zone, B-zone, C-zone, D-zone, E-zone, F-zone) 간에는 서로 중첩되는 겹침 영역이 존재하므로 이와 같이 좌측단으로부터 1번째 내지 2번째 픽셀로 이루어지는 영역을 제2 영상으로부터 제외하더라도 객체의 검출에는 문제되지 않는다.

이때, 제2 영상 중 A02 영상은 상단으로부터 하측으로 1번째 내지 416번째 픽셀들, 좌측으로부터 우측으로 303번째 내지 718번째 픽셀들로 이루어질 수 있다. 이에, 제2 영상 중 A01 영상과 A02 영상 간에는 좌측으로부터 우측으로 303번째 내지 418번째 픽셀이 중첩되게 된다. 또한, 제2 영상 중 A03 영상은 상단으로부터 하측으로 1번째 내지 416번째 픽셀들, 좌측으로부터 우측으로 603번째 내지 1018번째 픽셀들로 이루어질 수 있다. 이에, 제2 영상 중 A02 영상과 A03 영상 간에는 좌측으로부터 우측으로 603번째 내지 1018번째 픽셀이 중첩되게 된다. 이는 가로 방향으로 배열된 제2 영상들에 대하여 동일한 규칙으로 적용되며, 가로 방향으로 배열된 제2 영상들은 모두 좌측으로부터 우측으로 116개의 중첩된 픽셀을 가진다. 여기서, A06 영상은 상단으로부터 하측으로 1번째 내지 416번째 픽셀들, 좌측으로부터 우측으로 1503번째 내지 1918번째 픽셀들로 이루어져, 좌측으로부터 1919번째 내지 1920번째 픽셀로 이루어지는 영역은 제2 영상으로부터 제외될 수 있다.

한편, 제2 영상 중 A07 영상은 상단으로부터 하측으로 333번째 내지 748번째 픽셀들, 좌측단으로부터 우측으로 3번째 내지 418번째 픽셀들로 이루어질 수 있다. 이에, 제2 영상 중 A01 영상과 A07 영상 간에는 상측으로부터 하측으로 333번째 내지 416번째 픽셀이 중첩되게 된다. 또한, 제2 영상 중 A13 영상은 상단으로부터 하측으로 665번째 내지 1080번째 픽셀들, 좌측단으로부터 우측으로 3번째 내지 418번째 픽셀들로 이루어질 수 있다. 이에, 제2 영상 중 A07 영상과 A13 영상 간에는 상측으로부터 하측으로 665번째 내지 748번째 픽셀이 중첩되게 된다. 이는 세로 방향으로 배열된 제2 영상들에 대하여 동일한 규칙으로 적용되며, 세로 방향으로 배열된 제2 영상들은 모두 상측으로부터 하측으로 84개의 중첩된 픽셀을 가진다.

이와 같이, 본 발명의 실시 예에서는 제1 영상을 동일한 크기를 가지는 복수의 제2 영상으로 분할하고, 각각의 제2 영상이 인접한 제2 영상과 가로 방향 및 세로 방향으로 각각 중첩된 크기가 동일하도록 분할하여 복수의 제2 영상을 가로 및 세로 방향으로 각각 동일한 규칙으로 배열할 수 있게 되고, 분할 및 합성 과정에서 영상이 왜곡되는 것을 효과적으로 방지할 수 있다.

복수의 제2 영상으로 분할하는 과정(S100) 이후에는 분할된 복수의 제2 영상을 중앙 처리 유닛의 메모리부에 저장하는 과정을 수행할 수 있다. 여기서, 복수의 제2 영상을 저장하는 과정은, 제2 영상으로 분할된 제1 영상의 종류 정보 및 상기 제1 영상 내에서의 상기 제2 영상의 위치 정보와 함께 분할된 복수의 제2 영상을 중앙 처리 유닛의 메모리부에 저장할 수 있다.

전술한 바와 같이, 제1 영상은 복수의 감시 영역(A-zone, B-zone, C-zone, D-zone, E-zone, F-zone)을 각각 촬영한 영상으로써 복수로 마련될 수 있다. 이때, 제2 영상으로 분할된 제1 영상의 종류 정보는 복수의 제1 영상 중 제2 영상으로 분할된 제1 영상을 구분하기 위한 식별 정보를 포함할 수 있다. 예를 들어, 제1 감시 영역(A-zone)을 촬영한 제1 영상으로부터 분할된 제2 영상들은 "A"의 식별자가 부여되어 메모리부에 저장될 수 있고, 제2 감시 영역(B-zone)을 촬영한 제2 영상들은 "B"의 식별자가 부여되어 메모리부에 저장될 수 있다.

또한, 제2 영상의 위치 정보는 제1 영상 내에서 제2 영상들의 위치를 구분하기 위한 식별 정보를 포함할 수 있다. 예를 들어, 제1 영상을 가로 방향을 따라 6개, 세로 방향을 따라 3개로 분할하는 경우 상단의 6개의 제2 영상에 대하여는 "01" 내지 "06"의 식별자가, 중단의 6개의 제2 영상에 대하여는 "07" 내지 "12"의 식별자가, 하단의 6개의 제2 영상에 대하여는 "13" 내지 "18"의 식별자가 부여되어 메모리에 저장될 수 있다.

정리하면, 제1 감시 영역(A-zone)에 대하여 획득한 제1 영상을 가로 방향을 따라 6개, 세로 방향을 따라 3개로 분할하는 경우, 제2 영상들에는 제1 영상의 종류와 제2 영상의 위치를 나타내기 위하여, "A01" 내지 "A18"의 식별자가 부여되어 중앙 처리 유닛의 메모리부에 저장될 수 있다.

여기서, 제2 영상의 위치 정보는 제1 영상 내에서의 제2 영상의 일측 상단의 위치와 타측 하단의 위치를 포함할 수도 있다. 즉, "A01"의 식별자를 가지는 제2 영상에 대하여는, 제2 영상의 위치 정보로 제1 영상에 대한 제2 영상의 좌측 상단의 픽셀 위치 좌표, 즉 (3, 1)과, 제1 영상에 대한 제2 영상의 우측 하단의 픽셀 위치 좌표, 즉 (418, 416)이 식별자와 함께 중앙 처리 유닛의 메모리부에 저장될 수 있다. 또한, "A02"의 식별자를 가지는 제2 영상에 대하여는, 제2 영상의 위치 정보로 제1 영상에 대한 제2 영상의 좌측 상단의 픽셀 위치 좌표, 즉 (303, 1)과, 제1 영상에 대한 제2 영상의 우측 하단의 픽셀 위치 좌표, 즉 (718, 416)이 식별자와 함께 중앙 처리 유닛의 메모리부에 저장될 수 있다. 이와 같이, 본 발명의 실시 예에서는 중앙 처리 유닛의 메모리부에 분할된 복수의 제2 영상을 메모리 맵(memory map)의 형태로 저장함으로써 제2 영상에 대한 정보를 효율적으로 관리할 수 있다.

복수의 제2 영상을 전송하는 과정(S200)은 중앙 처리 유닛에서 분할된 복수의 제2 영상을 그래픽 처리 유닛으로 전송한다. 여기서, 복수의 제2 영상을 전송하는 과정(S200)은 중앙 처리 유닛으로부터 분할된 복수의 제2 영상을 딥 스트림(deep stream) 방식으로 전송할 수 있다.

객체를 탐지하는 과정(S300)은 분할된 각각의 제2 영상으로부터 그래픽 처리 유닛에서 객체를 탐지한다. 객체를 탐지하는 과정(S300)은 그래픽 처리 유닛의 딥 러닝(deep learning) 모델에서 제2 영상에 포함된 객체를 탐지할 수 있다. 예를 들어, 객체를 탐지하는 과정(S300)은 제2 영상에 YOLO(You Only Look Once) 알고리즘을 적용하여 객체를 탐지할 수 있다. YOLO 알고리즘은 영상이 주어지면 영상에서 배경과 사물을 구분하고, 구분된 사물이 어떤 사물인지를 인지하여 객체로 검출하는 알고리즘을 말한다. 객체를 탐지하는 과정(S300)에서 사용되는 YOLO 알고리즘은, YOLO 알고리즘을 사용하여 객체를 탐지하는 공지된 다양한 구성이 적용될 수 있으며, 이에 대한 상세한 설명은 생략하기로 한다.

객체의 정보를 전송하는 과정은(S400)은 그래픽 처리 유닛에서 순차적으로 탐지된 객체의 정보를 중앙 처리 유닛으로 전송한다. 탐지된 객체의 정보는 해당 영상에 반영되어 중앙 처리 유닛의 메모리부에 저장될 수 있으며, 이후, 중앙 처리 유닛은 탐지된 객체의 정보가 반영된 복수의 제2 영상을 합성하여 제3 영상, 예를 들어 360° 범위의 하나의 파노라마 영상을 생성하고 도 5에 도시된 바와 같이 사용자에게 전시할 수 있다.

한편, 본 발명의 실시 예에 따른 영상 처리 방법은 상기의 방법을 수행하게 하는 컴퓨터 프로그램을 저장한 기록 매체에도 적용될 수 있다.

즉, 본 발명의 실시 예에 따른 영상 처리 방법은 기록 매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록 매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터 간에 연결된 네트워크를 통해 전송될 수도 있다.

상기에서, 본 발명의 바람직한 실시 예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확하게 설명하기 위한 것일 뿐이며, 본 발명의 실시 예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시 예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안 되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

Claims

중앙 처리 유닛에서, 제1 영상을 상호 중첩된 영역을 가지는 복수의 제2 영상으로 분할하는 과정;
그래픽 처리 유닛으로, 분할된 복수의 제2 영상을 전송하는 과정;
상기 그래픽 처리 유닛에서, 분할된 각각의 제2 영상으로부터 객체를 탐지하는 과정; 및
상기 중앙 처리 유닛으로, 탐지된 객체의 정보를 전송하는 과정;을 포함하는 영상 처리 방법.
청구항 1에 있어서,
상기 제1 영상은 무압축 영상을 포함하는 영상 처리 방법.
청구항 1에 있어서,
상기 복수의 제2 영상으로 분할하는 과정은,
상기 제1 영상을 가로 및 세로 방향으로 각각 분할하는 영상 처리 방법.
청구항 3에 있어서,
상기 복수의 제2 영상으로 분할하는 과정은,
상기 제1 영상을 가로 및 세로 방향으로 동일한 픽셀 수를 가지도록 분할하는 영상 처리 방법.
청구항 1에 있어서,
상기 복수의 제2 영상으로 분할하는 과정은,
상기 제1 영상을 각각 416×416 픽셀의 크기를 가지는 복수의 제2 영상으로 분할하는 영상 처리 방법.
청구항 1에 있어서,
상기 복수의 제2 영상으로 분할하는 과정은,
상기 제1 영상을 가로 방향으로 중첩된 영역의 크기가 각각 동일하고, 세로 방향으로 중첩된 영역의 크기가 각각 동일하도록 분할하는 영상 처리 방법.
청구항 1에 있어서,
상기 복수의 제2 영상을 전송하는 과정 전에,
상기 중앙 처리 유닛의 메모리부에 분할된 복수의 제2 영상을 저장하는 과정;을 더 포함하는 영상 처리 방법.
청구항 7에 있어서,
상기 복수의 제2 영상을 저장하는 과정은,
상기 제1 영상의 종류 정보 및 상기 제1 영상 내에서의 상기 제2 영상의 위치 정보와 함께 분할된 복수의 제2 영상을 저장하는 영상 처리 방법.
청구항 8에 있어서,
상기 제1 영상은 복수로 마련되며,
상기 제1 영상의 종류 정보는 복수의 제1 영상 중 상기 제2 영상으로 분할된 제1 영상을 구분하기 위한 식별 정보를 포함하는 영상 처리 방법.
청구항 9에 있어서,
복수의 제1 영상은 탐지 영역을 분할하여 촬영한 영상을 포함하는 영상 전송 방법.
청구항 10에 있어서,
상기 탐지 영역은 촬영 위치를 중심으로 하는 360° 범위의 영역을 포함하는 영상 전송 방법.
청구항 8에 있어서,
상기 제2 영상의 위치 정보는 상기 제1 영상 내에서의 상기 제2 영상의 일측 상단의 위치와 타측 하단의 위치를 포함하는 영상 처리 방법.
청구항 1에 있어서,
상기 객체를 탐지하는 과정은,
상기 제2 영상에 YOLO(You Only Look Once) 알고리즘을 적용하여 객체를 탐지하는 영상 처리 방법.
청구항 1에 있어서,
복수의 제2 영상을 합성하여 제3 영상을 생성하는 과정; 및
상기 제3 영상에 탐지된 객체의 정보를 반영하여 전시하는 과정;을 더 포함하는 영상 처리 방법.
탐지 영역의 영상을 획득하기 위한 영상 획득부; 및
상기 영상 획득부로부터 영상을 수신하고, 청구항 1 내지 14 중 어느 한 청구항에 기재된 영상 처리 방법에 따라 영상을 처리하기 위한 영상 처리부;를 포함하는 상황 인식 장치.
청구항 1 내지 청구항 14 중 어느 한 청구항에 기재된 영상 처리 방법을 수행하기 위한 컴퓨터 프로그램을 저장한 기록 매체.