KR102261881B1 - 스킵 코드를 이용한 효율적인 객체 검출 방법 및 장치 - Google Patents

Abstract

본 실시예들은 비디오의 매 프레임마다 객체의 좌표 정보에 따른 좌표 변화량의 결과에 따라 스킵 코드를 출력하고 스킵 코드를 이용하여 계산 복잡도와 처리 시간을 개선할 수 있는 객체 검출 장치 및 방법을 제공한다.

Description

스킵 코드를 이용한 효율적인 객체 검출 방법 및 장치 {Method and Apparatus for Efficient Object Detection Using Skip Code}

본 발명이 속하는 기술 분야는 스킵 코드를 이용한 효율적인 객체 검출 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

기존의 객체 검출 방식은 객체 검출 모델을 활용하여 영상에서 사용자가 지정한 특정 객체의 인식 및 위치 정보를 출력하며, 출력된 정보를 바탕으로 사용자가 의도한 연산 처리를 수행한다. 기존의 방식을 그대로 비디오 처리에 적용하면, 사용자가 지정한 특정 객체들의 움직임의 변화량이 적거나 없는 경우에도 매 프레임마다 연산을 반복 수행해야 한다. 동일한 결과를 출력하기 위해서 객체 검출 모델과 사용자가 의도한 연산 처리를 반복함에 따라 리소스가 제한적인 모바일 디바이스는 메모리 및 시간적인 측면에서 손해가 발생한다.

한국등록특허공보 제10-2029741호 (2019.10.01) 한국공개특허공보 제10-2019-0109629호 (2019.09.26)

본 발명의 실시예들은 비디오의 매 프레임마다 객체의 좌표 정보에 따른 좌표 변화량의 결과에 따라 스킵 코드를 출력하고 스킵 코드를 이용하여 계산 복잡도와 처리 시간을 개선하는 데 주된 목적이 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 객체 검출 방법에 있어서, 입력 비디오의 N(상기 N은 자연수) 번째 프레임에서 객체의 경계에 해당하는 좌표 및 상기 좌표의 변화량을 기준으로 스킵 코드를 생성하는 단계, 및 상기 스킵 코드를 전송하는 단계를 포함하는 객체 검출 방법을 제공한다.

본 실시예의 다른 측면에 의하면, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 객체 검출 장치에 있어서, 상기 프로세서는 입력 비디오의 N(상기 N은 자연수) 번째 프레임에서 객체의 경계에 해당하는 좌표 및 상기 좌표의 변화량을 기준으로 스킵 코드를 생성하고, 상기 프로세서는 상기 스킵 코드를 전송하는 것을 특징으로 하는 객체 검출 장치를 제공할 수 있다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 비디오의 매 프레임마다 객체의 좌표 정보에 따른 좌표 변화량의 결과에 따라 스킵 코드를 출력하고 스킵 코드를 이용하여 계산 복잡도와 처리 시간을 개선할 수 있는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 일 실시예에 따른 객체 검출 장치를 예시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 객체 검출 방법을 예시한 흐름도이다.
도 3은 본 발명의 실시예들에 따른 객체 검출 장치가 프레임마다 생성된 스킵 코드에 따라 영상 처리 방식을 상이하게 적용하는 것을 예시한 도면이다.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.

객체 검출 기술은 영상에서 사용자가 지정한 객체의 인식 및 영상 내 좌표 정보를 추출하는 기술을 의미하며, 자율 주행 자동차, 스마트 팩토리, 인공지능 CCTV 기술 등과 같은 다양한 기술 분야에 적용된다.

신경망 기반의 객체 검출 모델이 높은 성능을 보유하고 있으나, 신경망 자체가 요구하는 높은 메모리 복잡도 및 계산 복잡도로 인해 실제 산업 현장에서 주된 기술 구현에 대한 컴퓨팅 자원보다도 높은 자원을 보유하는 역설적인 문제가 있다.

기존의 객체 검출 기술은 비디오 데이터에 대해서 객체 검출 모델을 활용하여 사용자가 지정한 특정 객체의 인식 및 위치 정보만을 출력하며, 출력된 정보를 바탕으로 사용자가 의도한 기술을 적용한다. 기존의 객체 검출 기술은 사용자가 지정한 특정 객체들의 움직임의 변화량이 적거나 없는 경우에도 매 프레임을 계산해야 하므로, 동일한 결과를 출력하기 위해서 딥 러닝 기반의 객체 검출 모델과 사용자가 의도한 기술을 반복적으로 처리하게 되어 메모리 및 시간적인 손해가 발생한다.

LSTM(Long Short Term Memory)와 같은 시계열 정보에 대한 추가적인 신경망을 활용하, 이전 프레임의 정보를 활용한 연구가 진행되고 있지만, 이는 행동 인식(Action Recognition)과 같은 고차원의 시계열정보 처리를 위한 네트워크 설계가 주를 이루고 있고, 본 명세서에서 다루고자 하는 문제 상황에 LSTM을 통해서 문제를 해결한다면, 데이터 세트의 구성 및 LSTM 구동을 위한 컴퓨팅 전력이 별도로 요구된다.

본 발명은 비디오의 매 프레임마다 객체의 좌표 정보에 따른 좌표 변화량의 결과에 따라 스킵 코드를 출력하고 스킵 코드를 통해 객체 검출 모델의 결과값만을 활용하므로 별다른 컴퓨팅 전력의 추가 없이 신속한 연산이 가능하다.

도 1은 본 발명의 일 실시예에 따른 객체 검출 장치를 예시한 블록도이다.

객체 검출 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다.

프로세서(120)는 객체 검출 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 객체 검출 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 객체 검출 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(140)를 포함하여 객체 검출 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.

객체 검출 장치(110)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치는 입출력 인터페이스(150)를 통해 객체 검출 장치(110)의 다른 컴포넌트들에 연결될 수 있다.

신경망 기반의 객체 검출 처리 후 기술의 처리 간소화를 위해서 본 실시예에 따른 객체 검출 장치는 비디오의 프레임 내에서 사용자가 지정한 객체의 인식 및 위치 정보, 스킵 코드를 출력한다. 스킵 코드는 스킵 데이터와 스킵 플래그를 포함할 수 있다. 스킵 데이터는 윈도우 박스의 크기 정보와 윈도우 박스의 기준 좌표를 포함하고, 스킵 플래그는 이진 정보를 포함한다.

도 2는 본 발명의 다른 실시예에 따른 객체 검출 방법을 예시한 흐름도이다. 객체 검출 방법은 객체 검출 장치 또는 컴퓨팅 디바이스 등에 의해 수행될 수 있다.

객체 검출 방법은 입력 비디오의 N(N은 자연수) 번째 프레임에서 객체의 경계에 해당하는 좌표 및 좌표의 변화량을 기준으로 스킵 코드를 생성하는 단계(S210), 및 스킵 코드를 전송하는 단계(S220)를 포함한다.

입력 비디오에서 딥 러닝 기반의 객체 검출 모델이 객체를 검출한다. 객체 검출 모델은 레이어가 연결된 네트워크이며 가중치 및 바이어스를 학습하는 모델이다. 특징 추출 모델은 CNN(Convolutional Neural Network) 등의 신경 네트워크로 구현될 수 있다. 특징 추출 모델은 컨볼루션 필터, 어텐션 가중치 등을 적용하여 특징 맵을 생성할 수 있다. 객체 검출 모델은 손실 함수를 최적화하여 클래스 분류를 수행할 수 있다.

스킵 코드를 생성하는 단계(S210)는 객체를 둘러싼 윈도우 박스의 중앙, 좌측 상단, 및 우측 하단에서 각각의 변화량을 합친 전체 변화량을 기준으로 스킵 코드에 스킵 플래그를 설정한다.

F()는 객체 검출 모델, v_i는 입력 영상의 i 번째 프레임을 의미한다. 수학식 1의 오른쪽은 객체 검출 모델의 결과를 나타낸다. 사용자가 지정한 인식 객체의 개수를 classes로 정의하고, [w,h,x,y,skip]_j은 j 번째 클래스가 영상 내에서 가지는 위치 정보를 표현하는 경계 박스의 높이 h, 너비 w, 중앙 좌표 x,y 그리고 스킵 코드로 나타낼 수 있다.

중앙 변화 상태, 좌측 상단 변화 상태, 및 우측 하단 변화 상태는 수학식 2 내지 수학식 4와 같이 표현될 수 있다.

d_center는 특정 객체의 경계 박스가 가지는 중앙 좌표의 이전 프레임과의 변화량을 의미하며, d_{left _top}, d_{right _bottom}은 경계 박스의 좌측 상단 및 우측 하단 좌표의 변화량을 의미한다. 3개의 수식으로 정의된 각각의 변화량을 전부 합쳐서 전체 변화량을 정의하며 전체 변화량은 수학식 5와 같이 표현된다.

프로세서는 d_total의 변화량을 측정하여 스킵 코드를 출력한다.

α는 제2 임계치이고, β는 제1 임계치이다. 제2 임계치는 제1 임계치보다 크게 설정된다.

스킵 코드를 생성하는 단계(S210)는 전체 변화량이 제1 임계치보다 작은 제1 조건을 만족하거나 전체 변화량이 제2 임계치보다 큰 제2 조건을 만족하면 스킵 플래그를 1로 설정하고, 제1 조건과 제2 조건을 만족하지 않으면 상기 스킵 플래그를 0으로 설정한다. 이동량이 없는 고정체 또는 이동량이 적은 이동체이면 스킵하도록 하고, 연속 프레임에서 단위 시간당 변화량이 너무 많을 때도 스킵하도록 한다. 인간의 시각적 인지 반응과 모바일 디바이스의 하드웨어를 고려한 결과이다.

송수신되는 스킵 코드는 스킵 데이터와 스킵 플래그를 포함할 수 있다. 스킵 플래그가 전체 변화량에 따른 결과이고, 스킵 데이터는 윈도우 박스의 크기, 기준 좌표, 각각의 변화량 상태를 포함할 수 있다. 중앙 변화 상태, 좌측 상단 변화 상태, 및 우측 하단 변화 상태에 대해서 000부터 111까지 3 비트로 표현할 수도 있다.

프로세서는 윈도우 박스의 높이와 너비를 전송할 수 있고, 윈도우 박스의 중앙 좌표를 전송할 수 있다. 9 개의 상태를 구분하여 전송할 수 있다. 처리 모듈은 정보를 모두 수신하여 9 개의 상태에 따라 구분하여 적응적으로 처리할 수 있다.

본 실시예들은 객체 경계의 변화량을 측정하여 생성한 스킵 코드에 따라 특정 객체의 이동량이 매우 적거나 없을 때 객체 검출 모델의 후속 처리 기술에 대한 계산 복잡도와 처리 시간을 획기적으로 감소시킬 수 있는 추가 정보를 생성한다.

이후 연산 처리 단계는 스킵 코드를 수신한 후 스킵 코드에 포함된 스킵 플래그에 따라 현재 프레임에 대한 연산 처리를 생략하고, 이전 프레임의 연산 처리 결과를 활용한다. 예컨대, 객체가 차지하는 2차원 영역에 동일한 3차원 움직임 효과를 적용할 수 있다. 스킵 코드에 포함된 스킵 데이터에 따라 윈도우 박스의 크기 변화 및 윈도우 박스의 기준 좌표 변화에 따라 3차원 움직임 효과를 상이하게 적용할 수 있다. 중앙 기준 좌표는 동일하고 크기만 변화하거나, 좌측 상단 좌표 또는 우측 하단 좌표가 고정되고 크기만 변화할 수도 있다.

도 3은 본 발명의 실시예들에 따른 객체 검출 장치가 프레임마다 생성된 스킵 코드에 따라 영상 처리 방식을 상이하게 적용하는 것을 예시한 도면이다.

본 발명을 통해서 스마트 및 지능형 CCTV와 같은 객체 검출 모델 기반의 다양한 애플리케이션의 효율적인 처리가 가능하다.

기존의 객체 검출 기반의 애플리케이션은 n 번째 프레임과 n+1 번째의 프레임에서 사용자가 다루는 객체의 위치 및 형태의 변화가 없을지라도, 동일한 영상에 대해 영상 처리(예컨대, 메인 프로그램)을 다시 수행하는 형태로 구성되며, 이는 시간 및 계산복잡도 측면에서 효율적이지 못하다.

본 발명은 효율적인 메인 프로그램 운용이 가능하다. n+1 번째 프레임에서 초록색 원 객체만 움직였을 경우에, 이전 객체 모델의 결과값과의 비교를 통해서 초록색 원에 대해서만 메일 프로그램은 수행하고 별도의 변화가 없는 파란색 세모에 대해서는 이전 프레임의 결과값을 활용하여, 메인 프로그램의 효율적 처리가 가능하다.

객체 검출 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.

객체 검출 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.

도 2에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

1. 컴퓨팅 디바이스에 의한 객체 검출 방법에 있어서,
   입력 비디오의 N(상기 N은 자연수) 번째 프레임에서 객체의 경계에 해당하는 좌표 및 상기 좌표의 변화량을 기준으로 스킵 코드를 생성하는 단계; 및
   상기 스킵 코드를 전송하는 단계를 포함하며,
   상기 스킵 코드는 스킵 데이터와 스킵 플래그를 포함하며,
   상기 스킵 코드를 생성하는 단계는,
   상기 객체를 둘러싼 윈도우 박스의 중앙, 좌측 상단, 및 우측 하단에서 각각의 변화량을 합친 전체 변화량을 기준으로 상기 스킵 코드에 상기 스킵 플래그를 설정하고,
   상기 전체 변화량이 제1 임계치보다 작은 제1 조건을 만족하거나 상기 전체 변화량이 제2 임계치(상기 제2 임계치는 상기 제1 임계치보다 큼)보다 큰 제2 조건을 만족하면 상기 스킵 플래그를 1로 설정하고, 상기 제1 조건과 상기 제2 조건을 만족하지 않으면 상기 스킵 플래그를 0으로 설정하며,
   상기 스킵 데이터는 상기 윈도우 박스의 크기, 기준 좌표, 각각의 변화량 상태를 포함하며,
   상기 스킵 코드를 전송하는 단계는, 상기 중앙의 변화 상태, 상기 좌측 상단의 변화 상태, 및 상기 우측 하단의 변화 상태에 대해서 000부터 111까지 3 비트로 표현하여 9 개의 상태를 구분하여 상기 스킵 데이터를 전송하는 것을 특징으로 하는 객체 검출 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 입력 비디오에서 딥 러닝 기반의 객체 검출 모델이 상기 객체를 검출하고,
   상기 스킵 코드를 수신한 후 상기 스킵 코드에 포함된 스킵 플래그에 따라 현재 프레임에 대한 연산 처리를 생략하고, 이전 프레임의 연산 처리 결과를 활용하는 것을 특징으로 하는 객체 검출 방법.
5. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 객체 검출 장치에 있어서,
   상기 프로세서는 입력 비디오의 N(상기 N은 자연수) 번째 프레임에서 객체의 경계에 해당하는 좌표 및 상기 좌표의 변화량을 기준으로 스킵 코드를 생성하고,
   상기 프로세서는 상기 스킵 코드를 전송하며,
   상기 스킵 코드는 스킵 데이터와 스킵 플래그를 포함하며,
   상기 프로세서는,
   상기 객체를 둘러싼 윈도우 박스의 중앙, 좌측 상단, 및 우측 하단에서 각각의 변화량을 합친 전체 변화량을 기준으로 상기 스킵 코드에 상기 스킵 플래그를 설정하고,
   상기 전체 변화량이 제1 임계치보다 작은 제1 조건을 만족하거나 상기 전체 변화량이 제2 임계치(상기 제2 임계치는 상기 제1 임계치보다 큼)보다 큰 제2 조건을 만족하면 상기 스킵 플래그를 1로 설정하고, 상기 제1 조건과 상기 제2 조건을 만족하지 않으면 상기 스킵 플래그를 0으로 설정하며,
   상기 스킵 데이터는 상기 윈도우 박스의 크기, 기준 좌표, 각각의 변화량 상태를 포함하며,
   상기 프로세서는 상기 중앙의 변화 상태, 상기 좌측 상단의 변화 상태, 및 상기 우측 하단의 변화 상태에 대해서 000부터 111까지 3 비트로 표현하여 9 개의 상태를 구분하여 상기 스킵 데이터를 전송하는 것을 특징으로 하는 객체 검출 장치.

Images