KR20160064831A - 관심 객체 기반 병렬 영상 분석 장치 및 그 방법 - Google Patents

Abstract

본 발명은 관심객체 기반 병렬영상분석장치로, 분석대상영상을 분할하여 관심객체를 포함하는 크기를 갖는 분할 영상을 생성하는 영상 분할부와, 상기 분할 영상에 관심객체가 포함되었는지를 여부를 분석하는 둘 이상의 코어들로 구성되는 영상병렬분석부를 포함한다.

Description

관심 객체 기반 병렬 영상 분석 장치 및 그 방법{Apparatus and Method for Interesting Object Based Parallel Video Analysis}

본 발명은 영상 분석 기술에 관한 것으로, 특히 성능 향상을 위해 분석 과정을 병렬화하기 위한 장치 및 방법에 관한 것이다.

주거지역이나 도로주변에 설치되어 영상 데이터를 실시간으로 제공하는 CCTV 등과 같은 카메라 장치가 있다. 이러한 카메라 장치에 의해 획득되는 실시간 영상 데이터를 다양한 방식으로 처리함으로써, 영상 속 인물이나 물체 등에 대한 정보를 획득하여 범죄, 교통사고 및 화재 등에 대한 정보를 얻어 신속한 후처리를 가능하게 한다.

하지만, 영상 데이터에 나타나는 객체들에 대한 정보를 획득하기 위해서 다양한 종류의 연산을 적용할 때, 영상 데이터에 순차적인 방식으로 연산을 적용시킴에 따라 영상 데이터 분석에 많은 시간이 소요되는 문제점이 있다. 또한, 실시간 영상을 분석하기 위해 CPU를 활용하는 경우 계산 능력이 떨어지는 문제점이 발생한다.

물론, 기존의 하드웨어가 발전하고 있고 고성능 프로세서를 탑재한 CPU들이 출시되고 있지만 실시간으로 영상을 처리하기에는 한계가 있다. 이러한 문제점과 제약 사항하에서 상기 연산의 성능을 높이기 위해 영상을 공간적으로 분할하여 각각의 분할 영상에 대한 연산을 병렬로 처리할 필요가 있다.

본 발명은 영상 데이터 분석 시간을 단축시키기 위한 관심 객체 기반 병렬 영상 분석 장치 및 방법을 제공한다.

본 발명은 기존의 CPU 및 GPU를 포함한 병렬 처리 프로세서로도 실시간 영상을 처리할 수 있는 관심객체 기반 병렬 영상 분석 장치 및 방법을 제공한다.

본 발명은 관심객체 기반 병렬영상분석장치로, 분석대상영상을 분할하여 관심객체를 포함하는 크기를 갖는 분할 영상을 생성하는 영상 분할부와, 상기 분할 영상에 관심객체가 포함되었는지를 여부를 분석하는 둘 이상의 코어들로 구성되는 영상병렬분석부를 포함한다.

본 발명은 관심객체 기반 병렬영상분석장치에서의 병렬 영상 분석 방법으로, 분석대상영상을 분할하여 관심객체를 포함하는 크기를 갖는 분할 영상을 생성하는 단계와, 상기 분할 영상을 병렬로 처리하여 관심객체가 포함되었는지를 여부를 분석하는 단계를 포함한다.

본 발명에 따라, 관심객체의 크기에 적응적으로 분석대상이 되는 영상을 분할하여 분할된 영상에서 관심객체를 포함하는지 분석하는 과정을 병렬로 처리하여 영상 데이터 분석 시간을 단축시킬 수 있다. 본 발명에 따라, 기존의 CPU로도 실시간 영상을 처리할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 관심객체기반 병렬영상분석장치의 구성도이다.
도 2 및 도 3은 본 발명에 따른 분석대상영상을 병렬로 분석하는 과정을 도시한 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 관심객체기반 병렬영상분석 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 분할 영상 크기 결정 단계를 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 분할 위치 결정 단계를 설명하기 위한 순서도이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 관심객체기반 병렬영상분석장치의 구성도이고, 도 2 및 도 3은 본 발명에 따른 분석대상영상을 병렬로 분석하는 과정을 도시한 예시도이다.

도 1을 참조하면, 관심객체기반 병렬영상분석장치(이하 '장치'로 기재함)는 영상 분할부(110) 및 영상 병렬 분석부(120)를 포함한다.

영상 분할부(110)는 분석대상영상을 분할하여 관심객체를 포함하는 크기를 갖는 분할 영상을 생성한다. 즉, 분할 영상이 서로 중복되는 영역을 포함하지 않도록 분할할 경우에는 분할 영상이 관심객체의 일부분만을 포함할 수 있다. 그러나, 본 발명의 실시 예에서는 관심 객체가 하나의 분할 영상에 모두 포함될 수 있도록 분할하게 된다. 이를 위해 영상 분할부(110)는 상세하게는 크기 결정부(111), 위치 결정부(112) 및 분할부(113)를 포함한다.

크기 결정부(111)는 분할 영상의 크기를 관심객체의 가로 길이의 2배보다 1픽셀이 작은 가로 길이와, 관심객체의 세로 길이의 2배보다 1픽셀 작은 세로 길이로 결정한다. 즉, 본원 발명은 분할 영상 중 하나가 m x n의 크기를 갖는 관심 객체를 포함하도록 하기 위해, 분할 영상의 크기를 (2m-1) x (2n-1)로 결정한다. 예컨대, 도 2를 참조하면, 관심 객체의 크기가 3x3일 경우, 분할 영상의 크기는 5x5로 산출된다.

그런데, 전술한 바와 같이 결정된 분할 영상의 가로 길이 (2m-1)가 분석 대상 영상의 가로 길이 M보다 크거나, 분할 영상의 세로 길이 (2n-1)가 분석 대상 영상의 세로 길이 N 보다 클 수가 있다. 또는, 분할 영상의 가로 길이 및 세로 길이가 분석대상영상의 가로 길이 및 세로 길이보다 모두 클 수가 있다. 이럴 경우, 크기 결정부(111)는 분석대상영상 및 분할 영상의 가로 길이 및 세로 길이들 중 작은 값으로 가로 길이 및 세로 길이를 결정한다.

위치 결정부(112)는 관심 객체의 크기만큼 우측 또는 하측으로 이동시키며 분할 시작 위치를 결정한다. 예컨대, 도 2를 참조하면, 8x8의 크기를 갖는 분석 대상 영상(200)을 분할함에 있어, 첫 번째 분할 영상(210)은 분석 대상 영상의 좌측 및 상측 시작점인 1번 픽셀로부터 우측 및 하측으로 5x5 크기를 갖게 된다. 그리고, 두 번째 분할 영상(220)은 시작점에서 관심 객체의 가로 길이, 즉 3 픽셀만큼 좌측에서 우측으로 이동된 지점, 즉 4번 픽셀로부터 우측 및 하측으로 5x5 크기를 갖게 된다. 다음으로, 세 번째 분할 영상(230)은 시작점에서 관심 객체의 세로 길이, 즉 3 픽셀만큼 상측에서 하측으로 이동된 지점, 즉 25번 픽셀로부터 우측 및 하측으로 5x5 크기를 갖게 된다. 마지막으로, 네 번째 분할 영상(240)은 시작점에서 관심 객체의 가로 길이 및 세로 길이, 즉 3 픽셀만큼 좌측에서 우측으로, 상측에서 하측으로 이동된 지점, 즉 28번 픽셀로부터 우측 및 하측으로 5x5 크기를 갖게 된다. 도 2에서는 우측으로 그 시작 위치를 먼저 이동시키는 것으로 설명하고 있으나, 이는 본 발명의 일 실시 예일 뿐, 그 이동 순서는 이에 한정되지 않는다. 본 발명에 다른 실시 예에 따라, 하측으로 그 시작 위치를 먼저 이동시킬 수도 있다.

그런데, 도 2에 도시된 예에서는 분석대상영상의 크기가 8x8이고, 관심객체 크기가 3x3인 예를 들어 설명하였으므로, 두 번째 내지 네번째 분할 영상이 분석대상영상 내에 포함될 수 있었다. 그러나, 도 3에 도시된 바와 같이 분석대상영상의 크기가 7x7일 경우, 전술한 바와 같은 방식에 의한 분할 영상의 위치는 분석대상영상의 범위를 넘어서게 된다. 즉, 두 번째 분석대상영상은 5x5가 아니라 4x5의 크기를 갖게 되는 것이다.

따라서, 본 발명의 일 실시 예에 따라, 위치 결정부(112)는 분할 영상의 위치가 분석대상영상에 모두 포함되는지를 판단하고, 포함되지 않는 부분이 분석대상영상에 모두 포함되도록 위치를 재결정한다. 예컨대, 도 3에서와 같이 분석대상 영상이 7x7일 경우, 두 번째 분할 영상은 분석 대상 영상을 벗어나게 된다. 따라서, 두 번째 분할 영상이 분석 대상 영상에 포함되도록, 두번째 분할 영상의 위치를 이동시킨다.

다시 도 1을 참조하면, 분할부(113)은 결정된 크기로 결정된 위치에서 순서대로 분석대상영상을 분할하여 출력한다.

영상병렬분석부(120)는 분할 영상에 대해 관심객체를 분석하는 둘 이상의 코어들을 포함한다. 즉, 각각의 코어들은 CPU 또는 GPU 코어로, 각 분할영상에서 관심객체를 포함하는지 여부를 분석하여, 그 분석결과를 출력한다. 예컨대, 도 2를 참조하면, 코어들이 4개일 경우, 제 1 분할 영상은 제 1 코어에서 분석되고, 제 2 분할 영상은 제 2 코어에서 분석되고, 제 3 분할영상은 제 3 코어에서 분석되고, 제 4 분할 영상은 제 4 코어에서 분석된다. 또한, 각 분할영상은 관심객체의 크기별로 추가 분할되어 다중 코어에서 분석된다. 이럴 경우, 하나의 분석대상영상이 영상병렬분석부(120)에 의해 병렬로 한번에 분석되므로, 그 분석 시간이 현저히 감소될 수 있다.

도 4는 본 발명의 일 실시 예에 따른 관심객체기반 병렬영상분석 방법을 설명하기 위한 순서도이다.

도 4를 참조하면, 장치(100)는 분석대상영상이 입력됨에 따라, 분석대상영상을 분할하여 관심객체를 포함하는 크기를 갖는 분할 영상을 생성한다(S410). 상세하게는, 장치(100)는 관심 객체가 하나의 분할 영상에 모두 포함될 수 있도록 분할영상의 크기를 결정한다(S411). S411에 대해서는 하기의 도 5를 참조하여, 상세히 살펴보기로 한다.

장치(100)는 관심 객체의 크기만큼 우측 또는 하측으로 이동시키며 분할 시작 위치를 결정한다(S412). S412에 대해서는 하기의 도 6을 참조하여 상세히 설명하기로 한다.

다시 도 1을 참조하면, 장치(100)는 결정된 크기로 결정된 위치에서 순서대로 분석대상영상을 분할한다(S413).

장치(100)는 분할영상들 각각 병렬 처리하여 관심객체를 포함하는지 여부를 분석하여, 그 분석결과를 출력한다. 예컨대, 도 2를 참조하면, 코어들이 4개일 경우, 제 1 분할 영상은 제 1 코어에서 분석되고, 제 2 분할 영상은 제 2 코어에서 분석되고, 제 3 분할 영상은 제 3 코어에서 분석되고, 제 4 분할 영상은 제 4 코어에서 분석된다. 또한, 각 분할 영상은 관심객체 크기별로 추가 분할되어 다중 코어에서 분석된다. 이럴 경우, 하나의 분석대상영상이 병렬로 한번에 분석되므로, 그 분석 시간이 현저히 감소될 수 있다.

도 5는 본 발명의 일 실시 예에 따른 분할 영상 크기 결정 단계를 설명하기 위한 순서도이다.

도 5를 참조하면, 장치(100)는 분할 영상의 크기를 관심객체의 가로 길이의 2배보다 1픽셀이 작은 가로 길이와, 관심객체의 세로 길이의 2배보다 1픽셀 작은 세로 길이로 결정한다(S510).

그런데, 전술한 바와 같이 결정된 분할 영상의 가로 길이 (2m-1)가 분석 대상 영상의 가로 길이 M보다 크거나, 분할 영상의 세로 길이 (2n-1)가 분석 대상 영상의 세로 길이 N 보다 클 수가 있다. 또는, 분할 영상의 가로 길이 및 세로 길이가 분석대상영상의 가로 길이 및 세로 길이보다 모두 클 수가 있다. 따라서, 장치(100)는 분석대상영상 및 분할 영상의 가로 길이 및 세로 길이를 비교한다.

즉, 장치(100)는 산출된 가로 길이가 분석대상영상의 가로 길이 이상인지의 여부를 판단한다(S520). S520의 판단 결과 산출된 가로 길이가 분석대상영상의 가로 길이 이상일 경우, 장치(100)는 분석대상영상의 가로 길이로 분할 영상의 가로 길이를 결정한다(S530). 반면, S520의 판단 결과 산출된 가로 길이가 분석대상영상의 가로 길이 이상이 아닐 경우, 장치(100)는 산출된 가로 길이로 분할 영상의 가로 길이를 결정한다(S540).

또한, 장치(100)는 산출된 세로 길이가 분석대상영상의 세로 길이 이상인지의 여부를 판단한다(S550). S520의 판단 결과 산출된 세로 길이가 분석대상영상의 세로 길이 이상일 경우, 장치(100)는 분석대상영상의 세로 길이로 분할 영상의 세로 길이를 결정한다(S560). 반면, S520의 판단 결과 산출된 세로 길이가 분석대상영상의 세로 길이 이상이 아닐 경우, 장치(100)는 산출된 세로 길이로 분할 영상의 세로 길이를 결정한다(S570).

도 6은 본 발명의 일 실시 예에 따른 분할 위치 결정 단계를 설명하기 위한 순서도이다.

도 6을 참조하면, 장치(100)는 분석 대상 영상을 분할함에 있어, 첫 번째 분할 영상은 분석 대상 영상의 좌측 및 상측 시작점인 1번 픽셀을 시작 위치로 결정한다(S610). 그리고, 장치(100)는 다음 분할 영상의 시작 위치는 시작점에서 관심 객체의 가로 길이만큼 좌측에서 우측으로 이동된 지점으로 결정한다(S620).

그리고, 장치(100)는 분할 영상이 분석 대상 영상의 범위를 벗어나는지를 판단한다(S630). S630의 판단 결과 포함되는 부분이 있지 않을 경우, 장치(100)는 S620으로 진행한다. 반면, S630의 판단 결과 포함되지 않는 부분이 있을 경우, 장치(100)는 시작 위치를 분석 대상 영상에 포함되도록 위치를 재결정한다. 예컨대, 도 3에서와 같이 분석대상 영상이 7x7일 경우, 두 번째 분할 영상은 분석 대상 영상을 벗어나게 된다. 따라서, 두 번째 분할 영상이 분석 대상 영상에 포함되도록, 두번째 분할 영상의 위치를 이동시킨다.그런 후, 장치(100)는 하측으로 분할되지 않는 부분이 존재하는지를 판단한다(S650). 예컨대, 분석 대상 영상의 세로 길이가 분할 영상의 세로 길이보다 짧을 경우에는 하측으로 분할되지 않은 부분이 존재하지 않기 때문이다.

S650 단계의 판단 결과 하측으로 분할되지 않는 부분이 존재하지 않을 경우에는 종료되고, 하측으로 분할되지 않는 부분이 존재할 경우, 장치(100)는 시작점에서 관심 객체의 세로 길이만큼 상측에서 하측으로 이동된 지점을 다음 분할 영상의 시작 위치로 결정한다(S660).

그리고, 장치(100)는 분할 영상이 분석 대상 영상의 범위를 벗어나는지를 판단한다(S670). S670의 판단 결과 포함되는 부분이 있지 않을 경우, 장치(100)는 S620으로 진행한다. 반면, S670의 판단 결과 포함되지 않는 부분이 있을 경우, 장치(100)는 시작 위치를 분석 대상 영상에 포함되도록 상측으로 위치를 재결정한(S680) 후, S620으로 진행한다.

그런데, 여기서는 우측으로 그 시작 위치를 먼저 이동시키는 것으로 설명하고 있으나, 이는 본 발명의 일 실시 예일 뿐, 그 이동 순서는 고정되지 않는다. 본 발명에 다른 실시 예에 따라, 하측으로 그 시작 위치를 먼저 이동시킬 수도 있다.

Claims (10)

1. 분석대상영상을 분할하여 관심객체를 포함하는 크기를 갖는 분할 영상을 생성하는 영상 분할부와
   상기 분할 영상에 관심객체가 포함되었는지를 여부를 분석하는 둘 이상의 코어들로 구성되는 영상병렬분석부를 포함함을 특징으로 하는 관심객체 기반 병렬영상분석장치.
   
2. 제 1항에 있어서, 상기 영상 분할부는
   상기 분할 영상의 크기를 상기 관심객체의 가로 길이의 2배보다 1픽셀이 작은 가로 길이와, 상기 관심객체의 세로 길이의 2배보다 1픽셀 작은 세로 길이로 결정하는 크기 결정부와,
   상기 결정된 분할 영상의 크기로 분할하기 위한 분할 시작 위치를 결정하는 위치 결정부와,
   상기 분석 대상 영상을 상기 결정된 시작 위치에서 상기 결정된 크기를 갖는 분할 영상으로 분할하는 분할부를 포함함을 특징으로 하는 관심객체 기반 병렬영상분석장치.
   
3. 제 2항에 있어서, 상기 크기 결정부는
   상기 결정된 분할 영상의 가로 길이가 분석대상영상의 가로 길이 보다 클 경우, 분석대상영상의 가로 길이를 분할 영상의 가로 길이로 결정하고, 상기 결정된 분할 영상의 세로 길이가 분석대상영상의 세로 길이 보다 클 경우, 분석대상영상의 세로 길이를 분할 영상의 세로 길이로 결정함을 특징으로 하는 관심객체 기반 병렬영상분석장치.
   
4. 제 1항에 있어서, 상기 위치 결정부는
   관심 객체의 크기만큼 우측 또는 하측으로 이동시키며 분할 시작 위치를 결정함을 특징으로 하는 관심 객체 기반 병렬 영상 분석 장치.
   
5. 제 4항에 있어서, 상기 위치 결정부는
   상기 분할영상이 분석대상영상을 벗어나는 경우, 상기 분할 영상이 분석 대상영상에 포함되도록 분할 영상의 시작 위치를 좌측 또는 상측으로 이동시킴을 특징으로 하는 관심객체 기반 병렬 영상 분석 장치.
   
6. 관심객체 기반 병렬영상분석장치에서의 병렬 영상 분석 방법에 있어서,
   분석대상영상을 분할하여 관심객체를 포함하는 크기를 갖는 분할 영상을 생성하는 단계와
   상기 분할 영상을 병렬로 처리하여 관심객체가 포함되었는지를 여부를 분석하는 단계를 포함함을 특징으로 하는 관심객체기반 병렬영상분석 방법.
   
7. 제 6항에 있어서, 상기 분할 영상을 생성하는 단계는
   상기 관심객체의 가로 길이의 2배보다 1픽셀이 작은 가로 길이와, 상기 관심객체의 세로 길이의 2배보다 1픽셀 작은 세로 길이로 상기 분할 영상의 크기를 결정하는 단계와,
   상기 결정된 분할 영상의 크기로 분할하기 위한 시작 위치를 결정하는 단계와,
   상기 분석 대상 영상을 상기 결정된 시작 위치에서 상기 결정된 크기를 갖는 분할 영상으로 분할하는 단계를 포함함을 특징으로 하는 관심객체 기반 병렬영상분석방법.
   
8. 제 7항에 있어서, 상기 크기를 결정하는 단계는
   상기 결정된 분할 영상의 가로 길이가 분석대상영상의 가로 길이 보다 클 경우, 분석대상영상의 가로 길이를 분할 영상의 가로 길이로 결정하고, 상기 결정된 분할 영상의 세로 길이가 분석대상영상의 세로 길이 보다 클 경우, 분석대상영상의 세로 길이를 분할 영상의 세로 길이로 결정함을 특징으로 하는 관심객체 기반 병렬영상분석방법.
   
9. 제 7항에 있어서, 상기 시작 위치 결정하는 단계는
   관심 객체의 크기만큼 우측 또는 하측으로 이동시키며 분할 시작 위치를 결정함을 특징으로 하는 관심 객체 기반 병렬 영상 분석 방법.
   
10. 제 9항에 있어서, 상기 시작 위치를 결정하는 단계는
    상기 분할영상이 분석대상영상을 벗어나는 경우, 상기 분할 영상이 분석 대상영상에 포함되도록 분할 영상의 시작 위치를 좌측 또는 상측으로 이동시킴을 특징으로 하는 관심객체 기반 병렬 영상 분석 방법.

Images