KR102152006B1 - 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램 - Google Patents

동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램 Download PDF

Info

Publication number
KR102152006B1
KR102152006B1 KR1020180076073A KR20180076073A KR102152006B1 KR 102152006 B1 KR102152006 B1 KR 102152006B1 KR 1020180076073 A KR1020180076073 A KR 1020180076073A KR 20180076073 A KR20180076073 A KR 20180076073A KR 102152006 B1 KR102152006 B1 KR 102152006B1
Authority
KR
South Korea
Prior art keywords
image frames
image
pedestrian
reconstructed
same person
Prior art date
Application number
KR1020180076073A
Other languages
English (en)
Other versions
KR20200010658A (ko
Inventor
이기천
성성현
이윤진
Original Assignee
한양대학교 산학협력단
주식회사 다누시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단, 주식회사 다누시스 filed Critical 한양대학교 산학협력단
Priority to KR1020180076073A priority Critical patent/KR102152006B1/ko
Publication of KR20200010658A publication Critical patent/KR20200010658A/ko
Application granted granted Critical
Publication of KR102152006B1 publication Critical patent/KR102152006B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Abstract

본 발명의 실시 예에 따른 동일인 인식 방법은 수신된 복수의 이미지 프레임들 각각으로부터 보행자 영역을 검출하는 단계, 검출된 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 복수의 신체 영역들을 구분하여, 상기 복수의 이미지 프레임들 각각을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하는 단계, 분할된 상기 복수의 이미지 프레임들 각각의 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성하여, 상기 복수의 이미지 프레임들에 대하여 재구성된 병합 재구성 이미지를 생성하는 단계 및 생성된 상기 병합 재구성 이미지에 컨볼루션 신경망(Convolutional Neural Network(CNN)) 알고리즘을 적용하여 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계를 포함한다.

Description

동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램{METHOD FOR IDENTIFING PERSON, COMPUTING SYSTEM AND PROGRAM USING THE SAME}
본 발명의 기술적 사상은 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램에 관한 것으로, 보다 상세하게는 복수의 이미지 프레임들 각각의 보행자 영역에서 복수의 신체 영역들을 구분하여 재구성된 이미지들을 병합한 뒤에 CNN 알고리즘을 적용시킨 결과값을 이용함으로써 복수의 이미지 프레임들 내에 포함된 보행자가 동일인인지 여부를 판단하는 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램에 관한 것이다.
영상에서 보행자 검출하거나 보행자를 추적하기 위한 기술은 계속해서 발전하고 있다.
그 중에서도, 직전 프레임과 현재 프레임의 위치 정보를 활용하여 가까운 사람을 동일인이라 인식하여 보행자를 추적하는 보행자 추적 방법은 다수의 사람이 동시에 영상에 등장하는 경우나 두 명의 보행자가 겹치는 순간이 발생하는 경우 등에서 오류를 발생시키는 문제점이 있다.
본 발명의 기술적 사상이 이루고자 하는 과제는 복수의 이미지 프레임들 각각의 보행자 영역에서 복수의 신체 영역들을 구분하여 재구성된 이미지들을 병합한 뒤에 CNN 알고리즘을 적용시킨 결과값을 이용함으로써 복수의 이미지 프레임들 내에 포함된 보행자가 동일인인지 여부를 판단하는 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램을 제공하는 것이다.
본 발명의 기술적 사상에 의한 일 양태에 따른 동일인 인식 방법은 수신된 복수의 이미지 프레임들 각각으로부터 보행자 영역을 검출하는 단계, 검출된 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 복수의 신체 영역들을 구분하여, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하는 단계, 분할된 상기 복수의 이미지 프레임들 각각의 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성하여, 상기 복수의 이미지 프레임들에 대하여 재구성된 병합 재구성 이미지를 생성하는 단계 및 생성된 상기 병합 재구성 이미지에 컨볼루션 신경망(Convolutional Neural Network(CNN)) 알고리즘을 적용하여 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계를 포함할 수있다.
예시적인 실시 예에 따르면, 상기 보행자 영역을 검출하는 단계는, 상기 복수의 이미지 프레임들 각각을 정해진 크기의 셀들로 분할하고, 분할된 셀들에서의 그레디언트(gradient) 방향에 대한 히스토그램(histogram) 특징에 기초하여 상기 보행자 영역을 검출할 수 있다.
예시적인 실시 예에 따르면, 상기 복수의 이미지 프레임들 각각을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하는 단계는, 상기 분할된 셀들에 대한 상기 히스토그램 특징에 제1필터를 적용하여 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 상기 복수의 신체 영역들을 구분하는, 동일인 인식 방법.
예시적인 실시 예에 따르면, 상기 동일인 인식 방법은, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역을 분할한 결과로 도출된 상기 서브 이미지 프레임들에 기초하여 상기 제1필터를 학습시키는 단계를 더 포함하는, 동일인 인식 방법.
예시적인 실시 예에 따르면, 상기 병합 재구성 이미지를 생성하는 단계는, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에 대하여, 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성한 제1재구성 이미지와 제2재구성 이미지를 생성하는 단계 및 상기 제1재구성 이미지와 상기 제2재구성 이미지를 병합하여 상기 복수의 이미지 프레임들에 대하여 재구성된 상기 병합 재구성 이미지를 생성하는 단계를 포함할 수 있다.
예시적인 실시 예에 따르면, 상기 제1재구성 이미지와 상기 제2재구성 이미지 각각은, 가로와 세로의 비율이 1:2 또는 2:1로 구성될 수 있다.
예시적인 실시 예에 따르면, 상기 병합 재구성 이미지를 생성하는 단계는, 상기 병합 재구성 이미지의 가로와 세로의 비율이 같아지는 방향으로 상기 제1재구성 이미지와 상기 제2재구성 이미지를 병합하여 상기 병합 재구성 이미지를 생성할 수 있다.
예시적인 실시 예에 따르면, 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계는, 상기 병합 재구성 이미지에 상기 컨볼루션 신경망 알고리즘을 적용한 결과 값에 따라, 상기 복수의 이미지 프레임들 내의 보행자가 동일인일 확률을 판단하는 단계 및 판단된 확률과 기준값을 비교하여, 비교 결과에 따라 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계를 포함할 수 있다.
예시적인 실시 예에 따르면, 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계는, 상기 컨볼루션 신경망 알고리즘은 제2필터를 이용하여 수행되는 컨볼루션 연산 과정과 상기 컨볼루션 연산의 결과를 서브 샘플링(sub sampling)하기 위한 풀링(pooling) 연산과정을 포함하며, 상기 컨볼루션 연산 과정에 사용되는 상기 제2필터의 크기는 상기 서브 이미지 프레임들 각각의 크기에 기초하여 결정될 수 있다.
예시적인 실시 예에 따르면, 상기 컨볼루션 연산 과정에 사용되는 상기 제2필터의 크기는, 상기 서브 이미지 프레임들 각각의 크기와 동일하게 설정될 수 있다.
본 발명의 기술적 사상에 의한 일 양태에 따른 컴퓨팅 시스템은 수신된 복수의 이미지 프레임들 각각으로부터 보행자 영역을 검출하고, 검출된 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 복수의 신체 영역들을 구분하는 영역 처리 모듈, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하고, 분할된 상기 복수의 이미지 프레임들 각각의 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성하여, 상기 복수의 이미지 프레임들에 대하여 재구성된 병합 재구성 이미지를 생성하는 이미지 재구성 모듈 및 생성된 상기 병합 재구성 이미지에 컨볼루션 신경망(Convolutional Neural Network(CNN)) 알고리즘을 적용하여 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 동일인 판단 모듈을 포함할 수 있다.
예시적인 실시 예에 따르면, 상기 영역 처리 모듈은, 상기 복수의 이미지 프레임들 각각을 정해진 크기의 셀들로 분할하고, 분할된 셀들에서의 그레디언트(gradient) 방향에 대한 히스토그램(histogram) 특징에 기초하여 상기 보행자 영역을 검출할 수 있다.
예시적인 실시 예에 따르면, 상기 이미지 재구성 모듈은, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에 대하여, 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성한 제1재구성 이미지와 제2재구성 이미지를 생성하는 단계 및 상기 제1재구성 이미지와 상기 제2재구성 이미지를 병합하여 상기 복수의 이미지 프레임들에 대하여 재구성된 상기 병합 재구성 이미지를 생성할 수 있다.
예시적인 실시 예에 따르면, 상기 동일인 판단 모듈은, 상기 병합 재구성 이미지에 상기 컨볼루션 신경망 알고리즘을 적용한 결과 값에 따라 상기 복수의 이미지 프레임들 내의 보행자가 동일인일 확률을 판단하고, 판단된 확률과 기준값을 비교하여, 비교 결과에 따라 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단할 수 있다.
본 발명의 기술적 사상에 의한 일 양태에 따른 프로세서(processor)와 결합되어 동일인 인식 방법을 수행하기 위한 매체에 저장된 프로그램은, 수신된 복수의 이미지 프레임들 각각으로부터 보행자 영역을 검출하는 단계, 검출된 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 복수의 신체 영역들을 구분하여, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하는 단계, 분할된 상기 복수의 이미지 프레임들 각각의 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성하여, 상기 복수의 이미지 프레임들에 대하여 재구성된 병합 재구성 이미지를 생성하는 단계 및 생성된 상기 병합 재구성 이미지에 컨볼루션 신경망(Convolutional Neural Network(CNN)) 알고리즘을 적용하여 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계를 수행하는 프로그램 코드를 포함할 수 있다.
본 발명의 실시 예에 따른 방법과 장치는 복수의 이미지 프레임들 각각의 보행자 영역에서 복수의 신체 영역들을 구분하여 재구성된 이미지들을 병합한 뒤에 CNN 알고리즘을 적용시킨 결과값을 동일인 인식에 이용함으로써 데이터 처리량을 줄이면서도 동일인 인식의 정확도를 향상시킬 수 있는 효과가 있다.
특히, 본 발명의 실시 예에 따른 방법과 장치는 복수의 이미지 프레임들 각각의 보행자 영역을 추출하며 보행자 영역 내에서도 복수의 신체 영역들을 구분하여 재구성된 이미지들을 병합하여 CNN 알고리즘을 적용시키기 때문에, 이미지 내의 보행자가 위치한 주변 환경이 달라지더라도 동일인 인식의 정확도를 담보할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 동일인 인식 방법의 플로우차트이다.
도 3은 도 1의 컴퓨팅 시스템이 수신하는 복수의 이미지 프레임들 중의 어느 하나의 이미지 프레임의 예시이다.
도 4는 보행자 영역을 검출하기 위하여 도 3에 도시된 이미지 프레임을 전처리한 결과의 예시이다.
도 5는 도 4에 도시된 전처리된 이미지 프레임에서 보행자 영역과 보행자 영역 내의 복수의 신체 영역들을 구분하기 위한 필터를 나타낸 도면이다.
도 6은 도 3의 이미지 프레임에서 보행자 영역과 보행자 영역 내의 복수의 신체 영역들이 구분되는 예시이다.
도 7은 도 1의 컴퓨팅 시스템이 수신하는 복수의 이미지 프레임들로부터 추출된 보행자 영역의 다른 예시이다.
도 8은 도 7의 보행자 영역 각각이 서브 이미지 프레임들로 분할되어 재구성된 재구성 이미지들의 예시이다.
도 9는 도 8의 재구성 이미지들을 병합하여 병합 재구성 이미지가 생성된 예시이다.
본 발명의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processer), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Drive Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 기능이나 동작의 처리에 필요한 데이터를 저장하는 메모리(memory)와 결합되는 형태로 구현될 수도 있다.
그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
이하, 본 발명의 기술적 사상에 따른 실시 예들을 차례로 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템의 블록도이다. 도 2는 본 발명의 일 실시 예에 따른 동일인 인식 방법의 플로우차트이다. 도 3은 도 1의 컴퓨팅 시스템이 수신하는 복수의 이미지 프레임들 중의 어느 하나의 이미지 프레임의 예시이다. 도 4는 보행자 영역을 검출하기 위하여 도 3에 도시된 이미지 프레임을 전처리한 결과의 예시이다. 도 5는 도 4에 도시된 전처리된 이미지 프레임에서 보행자 영역과 보행자 영역 내의 복수의 신체 영역들을 구분하기 위한 필터를 나타낸 도면이다. 도 6은 도 3의 이미지 프레임에서 보행자 영역과 보행자 영역 내의 복수의 신체 영역들이 구분되는 예시이다. 도 7은 도 1의 컴퓨팅 시스템이 수신하는 복수의 이미지 프레임들의 다른 예시이다. 도 8은 도 7의 복수의 이미지 프레임들 각각이 서브 이미지 프레임들로 분할되어 재구성된 재구성 이미지들의 예시이다. 도 9는 도 8의 재구성 이미지들을 병합하여 병합 재구성 이미지가 생성된 예시이다.
도 1을 참조하면, 컴퓨팅 시스템(100)은 영역 처리 모듈(110), 이미지 재구성 모듈(120), 동일인 판단 모듈(130), 및 메모리(140)를 포함할 수 있다.
컴퓨팅 시스템(100)은 이미지 프레임을 획득할 수 있는 타 시스템, 예컨대 CCTV 시스템의 일부 또는 상기 타 시스템과 연결되는 형태로 구성될 수 있다.
실시 예에 따라, 컴퓨팅 시스템(100) 내의 데이터 처리과정은 컴퓨팅 시스템(100)에 포함된 하드웨어(hardware), 예컨대, 메모리(140)와 프로세서(processor; 미도시)를 기반으로 수행될 수 있다. 이 때, 영역 처리 모듈(110), 이미지 재구성 모듈(120), 및 동일인 판단 모듈(130)은 상기 프로세서의 일부 기능으로 구현될 수 있다. 예컨대, 본 발명의 실시 예에 따른 동일인 인식 방법은 프로그램 코드로 구현되어 메모리(140)에 저장될 수 있으며, 메모리(140)는 상기 프로세서와 결합되어 본 발명의 실시 예에 따른 동일인 인식 방법을 수행시킬 수 있다.
영역 처리 모듈(110)은 복수의 이미지 프레임들을 수신할 수 있다(S10).
본 명세서에서 '이미지'이라 하면 동영상 이미지와 정지영상 이미지를 모두 포함하는 개념을 의미할 수 있다.
실시 예에 따라, 복수의 이미지 프레임들은 컴퓨팅 시스템(100)에서 직접 획득한 이미지 프레임들일 수도 있고, 컴퓨팅 시스템(100)과 연결된 이미지 획득 장치 또는 타 시스템으로부터 전달된 이미지 프레임들일 수도 있다.
도 3을 함께 참조하면, 영역 처리 모듈(110)은 적어도 한명 이상의 보행자가 포함된 이미지 프레임, 예컨대 도 3에 도시된 이미지와 같은 이미지 프레임을 수신할 수 있다.
영역 처리 모듈(110)은 보행자 영역 검출 모듈(112)과 신체영역 구분 모듈(114)을 포함할 수 있다.
보행자 영역 검출모듈(112)은 수신된 복수의 이미지 프레임들 각각에서 보행자 영역을 검출할 수 있다(S20).
실시 예에 따라, 보행자 영역 검출모듈(112)은 수신된 복수의 이미지 프레임들 각각의 보행자 영역을 검출하기 위하여, 복수의 이미지 프레임들 각각을 전처리할 수 있다.
도 4를 함께 참조하면, 보행자 영역 검출모듈(112)은 복수의 이미지 프레임들 각각을 정해진 크기의 셀들로 분할하고 분할된 셀들에서의 그레디언트(gradient) 방향에 대한 히스토그램(histogram) 특징을 추출함으로써 복수의 이미지 프레임들 각각을 전처리 할 수 있다. 예컨대, 도 3의 이미지 프레임을 정해진 크기의 셀들로 분할하고 분할된 셀들에서의 그레디언트 방향에 대한 히스토그램 특징을 나타낸 결과가 도 4와 같이 나타날 수 있다.
실시 예에 따라, 보행자 영역 검출모듈(112)은 HOG(Histogram of Oriented Gradients for human detection) 기법에서의 히스토그램화 과정을 이용하여 복수의 이미지 프레임들 각각을 전처리할 수 있으며, 전처리된 이미지 프레임들 각각에 대하여 보행자 영역을 검출할 수 있다.
신체영역 구분 모듈(114)은 S20 단계를 통하여 검출된 보행자 영역에서 복수의 신체 영역들을 구분할 수 있다(S30).
실시 예에 따라, 복수의 이미지 프레임들 각각이 정해진 크기의 셀들로 분할되고 분할된 셀들에서의 그레디언트 방향에 대한 히스토그램 특징으로 추출되는 경우, 신체영역 구분 모듈(114)은 상기 히스토그램 특징에 필터를 적용함으로써 보행자 영역에서 복수의 신체 영역들을 구분할 수 있다.
도 5를 함께 참조하면, 신체영역 구분 모듈(114)은 도 5에 도시된 필터를 이용하여 보행자 영역에서 복수의 신체 영역들을 구분할 수 있다.
실시 예에 따라, 신체영역 구분 모듈(114)에서 신체영역 구분 과정에서 사용되는 필터는 보행자 영역에서 구분하고자 하는 신체영역의 패턴에 관한 정보를 포함할 수 있다.
다른 실시 예에 따라, 신체영역 구분 모듈(114)에서 신체영역 구분 과정에서 사용되는 필터는 신체영역 구분 모듈(114)에 의해 구분된 신체영역들의 결과(예컨대, 도 8의 서브 이미지 프레임들(IMG_SUB1, IMG_SUB2)에 기초하여 학습될 수 있다.
도 6을 함께 참조하면, 도 4에 도시된 전처리된 이미지 프레임에 대하여 보행자 영역을 구분하고, 도 5에 도시된 필터를 적용하여 보행자 영역 내의 신체 영역들을 구분한 결과, 도 6에서와 같이 이미지 프레임 내의 제1보행자 영역(RG_T1)이 복수의 제1신체 영역들(RG_P1)로 구분되고, 제2보행자 영역(RG_T2)이 복수의 제2신체 영역들(RG_P2)로 구분될 수 있다.
이미지 재구성 모듈(120)은 영역 처리 모듈(110)의 보행자 영역 검출 모듈(112)에 의하여 검출된 복수의 이미지 프레임들 각각의 보행자 영역과, 신체영역 구분 모듈(114)에 의하여 구분된 보행자 영역 내의 복수의 신체 영역들을 기초로 하여 이미지를 재구성할 수 있다.
이미지 재구성 모듈(120)은 이미지 분할 모듈(122)과 이미지 병합 모듈(124)을 포함할 수 있다.
이미지 분할 모듈(122)은 S30 단계에서 구분된 보행자 영역 내의 복수의 신체 영역들을 기초로, 복수의 이미지 프레임들 각각의 보행자 영역을 서브 이미지 프레임들로 분할할 수 있다(S40).
도 7을 함께 참조하면, 본 발명의 다른 실시 예에 따라 복수의 이미지 프레임들 각각으로부터 검출된 보행자 영역이 추출된 예가 도시되어 있다.
도 7에 도시된 제1보행자 영역(IMG1)과 제2보행자 영역(IMG2) 각각은 서로 다른 이미지 프레임으로부터 추출된 보행자 영역일 수 있다.
도 8을 함께 참조하면, 도 7의 제1보행자 영역(IMG1)은 신체영역 구분 모듈(114)에 의하여 구분된 복수의 신체영역들 별로 총 8개의 제1서브이미지 프레임들(IMG_SUB1)로 분할될 수 있으며, 도 7의 제2보행자 영역(IMG2)은 신체영역 구분 모듈(114)에 의하여 구분된 복수의 신체영역들 별로 총 8개의 제2서브이미지 프레임들(IMG_SUB2)로 분할될 수 있다.
실시 예에 따라, 신체영역 구분 모듈(114)에 의하여 구분된 복수의 신체영역들 각각은 서로 중첩되는 영역을 포함할 수도 있고 각각의 신체영역별로 크기가 서로 다를 수도 있으므로, 상기 구분된 신체영역들 각각은 이미지 분할 모듈(122)에 의하여 분할되는 경계와 일치하지 않을 수 있다. 이 경우, 이미지 분할 모듈(122)은 신체영역 구분 모듈(114)에 의하여 구분된 복수의 신체영역들에 기초하여 보행자 영역을 분할하기 위한 분할 경계를 재설정할 수 있다.
실시 예에 따라, 이미지 분할 모듈(122)은 도 8에 도시된 예와 같이 보행자 영역을 균등한 크기로 분할할 수도 있고, 이와 달리 보행자 영역을 불균등한 크기로 분할할 수도 있다.
실시 예에 따라, 구분된 신체영역들의 위치와 개수에 따라 보행자 영역을 분할할 개수를 결정할 수도 있다.
이미지 병합 모듈(124)은 복수의 이미지 프레임들 각각의 보행자 영역(IMG1, IMG2)에 대하여 분할된 서브 이미지 프레임들(IMG_SUB1, IMG_SUB2)을 서로 상응하는 복수의 신체 영역의 순서로 재구성할 수 있다.
도 7의 제1보행자 영역(IMG1)은 복수의 제1서브 이미지 프레임들(IMG_SUB1)로 분할되어 도 8의 제1재구성 이미지(IMG_AR1)로 재구성되며, 제2보행자 영역(IMG2)은 복수의 제2서브 이미지 프레임들(IMG_SUB2)로 분할되어 도 8의 제2재구성 이미지(IMG_AR2)로 재구성될 수 있다.
실시 예에 따라, 제1재구성 이미지(IMG_AR1)와 제2재구성 이미지(IMG_AR2)를 생성하기 위한 신체 영역의 순서는 사용자에 의해 미리 설정될 수 있다.
실시 예에 따라, 제1재구성 이미지(IMG_AR1)와 제2재구성 이미지(IMG_AR2) 각각은 가로와 세로의 비율이 1:2 또는 2:1로 구성될 수 있다.
도 9를 함께 참조하면, 이미지 병합 모듈(124)은 제1재구성 이미지(IMG_AR1)와 제2재구성 이미지(IMG_AR2)를 병합하여 병합 재구성 이미지(IMG_T)를 생성할 수 있다(S50).
실시 예에 따라, 이미지 병합 모듈(124)은 병합 재구성 이미지(IMG_T)의 가로와 세로의 비율이 같아지는 방향으로 제1재구성 이미지(IMG_AR1)와 제2재구성 이미지(IMG_AR2)를 병합하여 병합 재구성 이미지(IMG_T)를 생성할 수 있다.
에컨대, 이미지 병합 모듈(124)은 제1재구성 이미지(IMG_AR1)와 제2재구성 이미지(IMG_AR2) 각각의 가로와 세로의 비율이 1:2인 경우, 제1재구성 이미지(IMG_AR1)와 제2재구성 이미지(IMG_AR2)를 가로 방향으로 병합하고, 제1재구성 이미지(IMG_AR1)와 제2재구성 이미지(IMG_AR2) 각각의 가로와 세로의 비율이 2:1인 경우, 제1재구성 이미지(IMG_AR1)와 제2재구성 이미지(IMG_AR2)를 세로 방향으로 병합할 수 있다.
동일인 판단 모듈(130)은 S50단계를 통하여 생성된 병합 재구성 이미지(IMG_T)에 컨볼루션 신경망(Convolutional Neural Network(CNN)) 알고리즘을 적용하여 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단할 수 있다(S60).
동일인 판단 모듈(130)은 CNN 학습 모듈(132)와 CNN 처리 모듈(134)을 포함할 수 있다.
CNN 학습 모듈(132)은 CNN 처리 모듈(134)의 컨볼루션 신경망 알고리즘 적용 결과를 이용하여 컨볼루션 신경망 알고리즘에 사용되는 요소들을 학습시킬 수 있다. 예컨대, CNN 학습 모듈(132)은 컨볼루션 신경망 알고리즘에 사용되는 필터를 학습시킬 수 있다.
CNN 처리 모듈(134)은 병합 재구성 이미지(IMG_T)에 컨볼루션 신경망 알고리즘을 적용하여 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단할 수 있다.
실시 예에 따라, CNN 처리 모듈(134)은 병합 재구성 이미지(IMG_T)에 컨볼루션 신경망 알고리즘을 적용한 결과 값에 따라 복수의 이미지 프레임들 내의 보행자가 동일인일 확률을 판단하고, 판단된 확률과 기준값의 비교 결과에 따라 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단할 수 있다. 예컨대, CNN 처리 모듈(134)은 판단된 확률이 기준값을 초과하는 경우 복수의 이미지 프레임들 내의 보행자가 동일인인 것으로 판단할 수 있다.
CNN 처리 모듈(134)에서 사용되는 컨볼루션 신경망 알고리즘은 필터를 이용하여 수행되는 컨볼루션 연산과 컨볼루션 연산의 결과를 서브 샘플링(sub sampling)하기 위한 풀링(pooling) 연산과정을 포함할 수 있다.
실시 예에 따라, 상기 컨볼루션 연산에 사용되는 필터의 크기는 서브 이미지 프레임(예컨대, 도 8의 IMG_SUB1 또는 IMG_SUB2)의 크기에 기초하여 결정될 수 있다. 예컨대, , 상기 컨볼루션 연산에 사용되는 필터의 크기는 서브 이미지 프레임(예컨대, 도 8의 IMG_SUB1 또는 IMG_SUB2)의 크기와 동일하게 설정될 수 있다.
실시 예에 따라, CNN 처리 모듈(134)에서 사용되는 컨볼루션 신경망 알고리즘에서 컨볼루션 레이어와 풀링 레이어의 후단에는 출력된 매트릭스의 좌측 절반과 우측 절반 각각 또는 상측 절반과 하측 절반 각각의 평균값을 도출할 수 있는 평균 풀링(average pooling) 레이어를 포함할 수 있다. 또한, 평균 풀링 레이어의 후단에는 평균 풀링 레이어의 출력 결과를 통하여 좌측 절반의 이미지와 우측 절반의 이미지, 또는 상측 절반의 이미지와 하측 절반의 이미지 내의 보행자가 서로 동일인일 확률을 나타내는 값으로 표현해주는 소프트맥스(softmax) 레이어가 구성될 수 있다.
실시 예에 따라, CNN 처리 모듈(134)은 컨볼루션 신경망 알고리즘의 수행을 통하여 복수의 이미지 프레임들 내의 보행자가 동일인일 확률을 판단하는 데에 최적화된 필터를 학습할 수 있다.
메모리(140)는 컴퓨팅 시스템(100)의 영역 처리 모듈(110), 이미지 재구성 모듈(120), 및 동일인 판단 모듈(130)의 연산에 필요한 데이터 또는 연산 결과에 따른 데이터를 저장할 수 있다.
실시 예에 따라, 메모리(140)는 본 발명의 실시 예에 따른 동일인 인식 방법을 수행하기 위한 프로그램을 저장할 수 있다.
이상, 본 발명의 기술적 사상을 다양한 실시 예들을 들어 상세하게 설명하였으나, 본 발명의 기술적 사상은 상기 실시 예들에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.
100 : 컴퓨팅 시스템
110 : 영역 처리 모듈
120 : 이미지 재구성 모듈
130 : 동일인 판단 모듈
140 : 메모리

Claims (15)

  1. 컴퓨팅 시스템이, 수신된 복수의 이미지 프레임들 각각으로부터 보행자 영역을 검출하는 단계;
    상기 컴퓨팅 시스템이, 검출된 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 복수의 신체 영역들을 구분하여, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하는 단계;
    상기 컴퓨팅 시스템이, 분할된 상기 복수의 이미지 프레임들 각각의 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성하여, 상기 복수의 이미지 프레임들에 대하여 재구성된 병합 재구성 이미지를 생성하는 단계; 및
    상기 컴퓨팅 시스템이, 생성된 상기 병합 재구성 이미지에 컨볼루션 신경망(Convolutional Neural Network(CNN)) 알고리즘을 적용하여 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계를 포함하는, 동일인 인식 방법.
  2. 제1항에 있어서,
    상기 보행자 영역을 검출하는 단계는,
    상기 컴퓨팅 시스템이, 상기 복수의 이미지 프레임들 각각을 정해진 크기의 셀들로 분할하고, 분할된 셀들에서의 그레디언트(gradient) 방향에 대한 히스토그램(histogram) 특징에 기초하여 상기 보행자 영역을 검출하는, 동일인 인식 방법.
  3. 제2항에 있어서,
    상기 복수의 이미지 프레임들 각각을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하는 단계는,
    상기 컴퓨팅 시스템이, 상기 분할된 셀들에 대한 상기 히스토그램 특징에 제1필터를 적용하여 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 상기 복수의 신체 영역들을 구분하는, 동일인 인식 방법.
  4. 제3항에 있어서,
    상기 동일인 인식 방법은,
    상기 컴퓨팅 시스템이, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역을 분할한 결과로 도출된 상기 서브 이미지 프레임들에 기초하여 상기 제1필터를 학습시키는 단계를 더 포함하는, 동일인 인식 방법.
  5. 제4항에 있어서,
    상기 병합 재구성 이미지를 생성하는 단계는,
    상기 컴퓨팅 시스템이, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에 대하여, 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성한 제1재구성 이미지와 제2재구성 이미지를 생성하는 단계; 및
    상기 컴퓨팅 시스템이, 상기 제1재구성 이미지와 상기 제2재구성 이미지를 병합하여 상기 복수의 이미지 프레임들에 대하여 재구성된 상기 병합 재구성 이미지를 생성하는 단계를 포함하는, 동일인 인식 방법.
  6. 제5항에 있어서,
    상기 제1재구성 이미지와 상기 제2재구성 이미지 각각은,
    가로와 세로의 비율이 1:2 또는 2:1로 구성되는, 동일인 인식 방법.
  7. 제6항에 있어서,
    상기 병합 재구성 이미지를 생성하는 단계는,
    상기 컴퓨팅 시스템이, 상기 병합 재구성 이미지의 가로와 세로의 비율이 같아지는 방향으로 상기 제1재구성 이미지와 상기 제2재구성 이미지를 병합하여 상기 병합 재구성 이미지를 생성하는, 동일인 인식 방법.
  8. 제7항에 있어서,
    상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계는,
    상기 컴퓨팅 시스템이, 상기 병합 재구성 이미지에 상기 컨볼루션 신경망 알고리즘을 적용한 결과 값에 따라, 상기 복수의 이미지 프레임들 내의 보행자가 동일인일 확률을 판단하는 단계; 및
    상기 컴퓨팅 시스템이, 판단된 확률과 기준값을 비교하여, 비교 결과에 따라 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계를 포함하는, 동일인 인식 방법.
  9. 제8항에 있어서,
    상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계는,
    상기 컨볼루션 신경망 알고리즘은 제2필터를 이용하여 수행되는 컨볼루션 연산 과정과 상기 컨볼루션 연산의 결과를 서브 샘플링(sub sampling)하기 위한 풀링(pooling) 연산과정을 포함하며,
    상기 컨볼루션 연산 과정에 사용되는 상기 제2필터의 크기는 상기 서브 이미지 프레임들 각각의 크기에 기초하여 결정되는, 동일인 인식 방법.
  10. 제9항에 있어서,
    상기 컨볼루션 연산 과정에 사용되는 상기 제2필터의 크기는,
    상기 서브 이미지 프레임들 각각의 크기와 동일하게 설정되는, 동일인 인식 방법.
  11. 수신된 복수의 이미지 프레임들 각각으로부터 보행자 영역을 검출하고, 검출된 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 복수의 신체 영역들을 구분하는 영역 처리 모듈;
    상기 복수의 이미지 프레임들 각각의 상기 보행자 영역을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하고, 분할된 상기 복수의 이미지 프레임들 각각의 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성하여, 상기 복수의 이미지 프레임들에 대하여 재구성된 병합 재구성 이미지를 생성하는 이미지 재구성 모듈; 및
    생성된 상기 병합 재구성 이미지에 컨볼루션 신경망(Convolutional Neural Network(CNN)) 알고리즘을 적용하여 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 동일인 판단 모듈을 포함하는, 컴퓨팅 시스템.
  12. 제11항에 있어서,
    상기 영역 처리 모듈은,
    상기 복수의 이미지 프레임들 각각을 정해진 크기의 셀들로 분할하고, 분할된 셀들에서의 그레디언트(gradient) 방향에 대한 히스토그램(histogram) 특징에 기초하여 상기 보행자 영역을 검출하는, 컴퓨팅 시스템.
  13. 제12항에 있어서,
    상기 이미지 재구성 모듈은,
    상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에 대하여, 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성한 제1재구성 이미지와 제2재구성 이미지를 생성하고,
    상기 제1재구성 이미지와 상기 제2재구성 이미지를 병합하여 상기 복수의 이미지 프레임들에 대하여 재구성된 상기 병합 재구성 이미지를 생성하는, 컴퓨팅 시스템.
  14. 제13항에 있어서,
    상기 동일인 판단 모듈은,
    상기 병합 재구성 이미지에 상기 컨볼루션 신경망 알고리즘을 적용한 결과 값에 따라 상기 복수의 이미지 프레임들 내의 보행자가 동일인일 확률을 판단하고, 판단된 확률과 기준값을 비교하여, 비교 결과에 따라 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는, 컴퓨팅 시스템.
  15. 프로세서(processor)와 결합되어 동일인 인식 방법을 수행하기 위한 매체에 저장된 프로그램으로서,
    수신된 복수의 이미지 프레임들 각각으로부터 보행자 영역을 검출하는 단계;
    검출된 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역에서 복수의 신체 영역들을 구분하여, 상기 복수의 이미지 프레임들 각각의 상기 보행자 영역을 상기 복수의 신체 영역들에 상응하는 서브 이미지 프레임들로 분할하는 단계;
    분할된 상기 복수의 이미지 프레임들 각각의 상기 서브 이미지 프레임들을 서로 대응되는 신체 영역의 순서로 재구성하여, 상기 복수의 이미지 프레임들에 대하여 재구성된 병합 재구성 이미지를 생성하는 단계; 및
    생성된 상기 병합 재구성 이미지에 컨볼루션 신경망(Convolutional Neural Network(CNN)) 알고리즘을 적용하여 상기 복수의 이미지 프레임들 내의 보행자가 동일인인지 여부를 판단하는 단계를 수행하는 프로그램 코드를 포함하는, 프로그램.
KR1020180076073A 2018-06-29 2018-06-29 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램 KR102152006B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180076073A KR102152006B1 (ko) 2018-06-29 2018-06-29 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180076073A KR102152006B1 (ko) 2018-06-29 2018-06-29 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램

Publications (2)

Publication Number Publication Date
KR20200010658A KR20200010658A (ko) 2020-01-31
KR102152006B1 true KR102152006B1 (ko) 2020-09-04

Family

ID=69369157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180076073A KR102152006B1 (ko) 2018-06-29 2018-06-29 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램

Country Status (1)

Country Link
KR (1) KR102152006B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102355006B1 (ko) * 2020-03-10 2022-01-24 연세대학교 산학협력단 다중 cctv 환경에서의 보행자 추적 장치 및 방법
CN112148981A (zh) * 2020-09-29 2020-12-29 广州小鹏自动驾驶科技有限公司 同人识别方法、装置、设备和存储介质
CN112686228B (zh) * 2021-03-12 2021-06-01 深圳市安软科技股份有限公司 行人属性识别方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101569411B1 (ko) 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438303B1 (ko) * 2002-01-17 2004-07-01 엘지전자 주식회사 객체 추출방법
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101569411B1 (ko) 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200010658A (ko) 2020-01-31

Similar Documents

Publication Publication Date Title
US20200175250A1 (en) Feature extraction and matching for biometric authentication
EP3333768A1 (en) Method and apparatus for detecting target
Varshney et al. Comparative study of image segmentation techniques and object matching using segmentation
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
KR101932009B1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
US11600008B2 (en) Human-tracking methods, systems, and storage media
KR101322168B1 (ko) 실시간 얼굴 인식 장치
US9965695B1 (en) Document image binarization method based on content type separation
KR102152006B1 (ko) 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램
US11527000B2 (en) System and method for re-identifying target object based on location information of CCTV and movement information of object
US8687895B2 (en) Image processing apparatus, image processing method, and computer-readable medium
CN111079613B (zh) 姿势识别方法和装置、电子设备及存储介质
CN104573680A (zh) 图像检测方法、图像检测装置以及交通违法检测系统
WO2017108222A1 (en) Image processing system
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN106529437B (zh) 一种人脸检测的方法和装置
CN113728357B (zh) 图像处理方法、图像处理装置以及图像处理系统
JP6377214B2 (ja) テキスト検出方法および装置
Lin et al. Face detection based on skin color segmentation and SVM classification
Saranya et al. An approach towards ear feature extraction for human identification
CN109800758A (zh) 一种极大值区域检测的自然场景文字检测方法
KR101551190B1 (ko) 영상의 유해성을 나타내는 인체의 구성요소 검출 방법
KR102512435B1 (ko) 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램
KR101426039B1 (ko) 얼굴/물체 인식을 위한 특징점 검출 장치 및 방법
Bhuvaneshwari et al. An Enhancing Canny Edge Detection Using SUSAN Filter Based On Deep Learning Algorithm For Improved Image Edge Detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant