KR102183963B1 - 보행자 감지 장치 및 거리 측정 방법 - Google Patents

보행자 감지 장치 및 거리 측정 방법 Download PDF

Info

Publication number
KR102183963B1
KR102183963B1 KR1020190058760A KR20190058760A KR102183963B1 KR 102183963 B1 KR102183963 B1 KR 102183963B1 KR 1020190058760 A KR1020190058760 A KR 1020190058760A KR 20190058760 A KR20190058760 A KR 20190058760A KR 102183963 B1 KR102183963 B1 KR 102183963B1
Authority
KR
South Korea
Prior art keywords
image
pedestrian
feature
distance
detection result
Prior art date
Application number
KR1020190058760A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020190058760A priority Critical patent/KR102183963B1/ko
Application granted granted Critical
Publication of KR102183963B1 publication Critical patent/KR102183963B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

보행자 감지 장치 및 거리 측정 방법은 입력 영상에서 HOG(Histogram of Gradients) 특징과 캐스케이드(Cascade) 분류기를 이용하여 보행자를 검출하고 스테레오 비전 시스템을 이용한 보행자와 카메라의 거리 추정을 수행하고, 빠르고 정확한 보행자 감지가 가능한 효과가 있으며, 보행자 검출을 위한 캐스케이드 분류기의 병렬 처리 방법을 제공하여 처리 시간을 크게 단축할 수 있는 효과가 있다.

Description

보행자 감지 장치 및 거리 측정 방법{Apparatus for Detecting Pedestrian and Method for Measuting Distance Pedestrian}
본 발명은 보행자 감지 방법에 관한 것으로서, 특히 입력 영상에서 HOG(Histogram of Gradients) 특징과 캐스케이드(Cascade) 분류기를 이용하여 보행자를 검출하고 스테레오 비전 시스템을 이용한 보행자와 카메라의 거리 추정을 수행하는 보행자 감지 장치 및 거리 측정 방법에 관한 것이다.
최근 감시와 보안을 목적으로 CCTV 설치가 활발해지면서 지능형 영상분석의 수요가 늘어남에 따라 컴퓨터 비전을 이용한 자동화 응용범위가 증가하고 있다. 객체 검출과 객체 인식은 컴퓨터 비전을 이용한 지능형 영상 감시 시스템의 구축을 위한 필수적 기술로 추적 및 안전 감시 등에서 광범위하게 응용될 수 있다.
그러나 객체의 검출과 객체 인식은 영상 내의 객체의 형태 변화와 조명변화, 장애물에 의한 가려짐 등에 의해 매우 어려운 문제이다.
특히 보행자, 즉 도로 위에서 길을 걷고 있는 사람은 움직임에 대한 정해진 방향이 없고 옷차림 및 색상과 형태도 다양하여, 영상 내에서 보행자를 검출하는 것은 더욱 쉽지 않은 것이 사실이다. 현재 보행자 검출에 대한 많은 연구가 진행되고 있고, 그 연구 결과물이 CCTV를 이용한 영상 감시 시스템과 지능형 자동차에서 보행자 보호시스템 등에 적용되고 있다.
영상에서 보행자 검출의 성능을 향상시키기 위해 다양한 영상 특징들이 복합적으로 사용되고, 다양한 크기의 보행자를 검출하기 위해 수많은 반복적인 검색이 필요하다. 그럼에도 불구하고, 종래의 보행자 검출 방법은 복잡한 영상 추출 알고리즘으로 보행자를 검출하는 수행 속도가 느리고, 검출 정확도가 떨어지는 문제점이 있다.
한국 등록특허번호 제10-1663574호
이와 같은 문제점을 해결하기 위하여, 본 발명은 입력 영상에서 HOG(Histogram of Gradients) 특징과 캐스케이드(Cascade) 분류기를 이용하여 보행자를 검출하고 스테레오 비전 시스템을 이용한 보행자와 카메라의 거리 추정을 수행하는 보행자 감지 장치 및 거리 측정 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 보행자 감지 장치는,
입력된 원본 영상을 일정한 크기의 탐색 원도우로 복수개 분할하고, 각각의 탐색 원도우를 복수의 블록으로 분할하는 입력 영상 처리부;
상기 원본 영상의 특징 영상을 추출하고, 상기 추출한 특징 영상의 적분 영상을 생성하는 적분 영상 생성부;
상기 적분 영상 생성부에서 생성된 적분 영상의 기울기, 기울기 크기 및 방향성을 이용하여 상기 분할된 탐색 원도우의 각 블록의 히스토그램을 구하고, 상기 구한 히스토그램을 병합하여 HOG 특징 벡터를 생성하는 HOG(Histogram of Gradients) 특징 벡터부; 및
복수의 강한 분류기가 순차적으로 연결된 형태로 구성되고, 상기 HOG 특징 벡터를 입력받아 순차적으로 연결된 각각의 강한 분류기의 응답값이 포지티브 응답으로 모두 일치할 경우, 검출하고자 하는 보행자 객체로 판정하는 캐스케이드 분류기를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 보행자 감지 장치는,
입력된 원본 영상을 일정한 크기의 탐색 원도우로 복수개 분할하고, 각각의 탐색 원도우를 복수의 블록으로 분할하는 입력 영상 처리부;
상기 원본 영상의 특징 영상을 추출하고, 상기 추출한 특징 영상의 적분 영상을 생성하는 적분 영상 생성부;
상기 적분 영상 생성부에서 생성된 적분 영상의 기울기, 기울기 크기 및 방향성을 이용하여 상기 분할된 탐색 원도우의 각 블록의 히스토그램을 구하고, 상기 구한 히스토그램을 병합하여 HOG 특징 벡터를 생성하는 HOG(Histogram of Gradients) 특징 벡터부;
복수의 강한 분류기가 순차적으로 연결된 형태로 구성되고, 상기 HOG 특징 벡터를 입력받아 순차적으로 연결된 각각의 강한 분류기의 응답값이 포지티브 응답으로 모두 일치할 경우, 검출하고자 하는 보행자 객체를 직사각형의 보행자 검출 결과 영역으로 판정하는 캐스케이드 분류기;
스테레오 정합을 위한 좌측 영상과 우측 영상을 촬영하는 스테레오 카메라부;
로컬 블록 매칭 알고리즘에 의해 스테레오 이미지 매칭을 수행하여 상기 좌측 영상과 상기 우측 영상의 이미징 포인트 간의 절대차의 합(Sum of Absoulte Difference)을 측정하고, 상기 측정한 절대차의 합을 이용하여 상기 원본 영상과 상기 스테레오 카메라부의 제1 거리를 계산하는 제어부; 및
상기 직사각형의 보행자 검출 결과 영역에서 특징점을 검출하고, 상기 계산된 제1 거리를 이용하여 상기 검출된 특징점과 상기 스테레오 카메라부 간의 최종 거리를 추정하는 거리 추정부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 보행자 거리 측정 방법은,
입력된 원본 영상을 일정한 크기의 탐색 원도우로 복수개 분할하고, 각각의 탐색 원도우를 복수의 블록으로 분할하는 단계;
상기 원본 영상의 특징 영상을 추출하고, 상기 추출한 특징 영상의 적분 영상을 생성하는 단계;
상기 생성된 적분 영상의 기울기, 기울기 크기 및 방향성을 이용하여 상기 분할된 탐색 원도우의 각 블록의 히스토그램을 구하고, 상기 구한 히스토그램을 병합하여 HOG(Histogram of Gradients) 특징 벡터를 생성하는 단계; 및
상기 HOG 특징 벡터를 복수의 강한 분류기가 순차적으로 연결된 형태의 캐스케이드 분류기에 대입하여 순차적으로 연결된 각각의 강한 분류기의 응답값이 포지티브 응답으로 모두 일치할 경우, 검출하고자 하는 보행자 객체로 판정하는 단계를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 입력 영상에서 HOG(Histogram of Gradients) 특징과 캐스케이드(Cascade) 분류기를 이용하여 보행자를 검출함으로써 빠르고 정확한 보행자 감지가 가능한 효과가 있다.
본 발명은 보행자 검출을 위한 캐스케이드 분류기의 병렬 처리 방법을 제공하여 처리 시간을 크게 단축할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 보행자 감지 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예의 적분 영상을 계산하기 위한 2단계의 알고리즘을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 1차원 배열의 프리픽스 합에 대한 병렬 계산을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 수직 방향의 픽셀 값을 수평 방향으로 치환한 후, 치환된 영상에 대해 수평 방향으로 픽셀값을 더한 수평 프리픽스 합을 계산하는 방법을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 프리픽스 합의 병렬 계산을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 그래디언트 방향의 9-bin 히스토그램 생성에 대한 개념을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 캐스케이드 분류기의 개념을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 탐색 윈도우의 특징 벡터와 약한 분류기의 관계를 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 보행자 검출 과정 시 각각의 탐색 원도우를 캐스케이드 분류기에 대응하여 병렬로 처리하는 모습을 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 입력 영상에서 보행자를 감지하기 위한 전반적인 제어 흐름을 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 보행자 감지 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예의 적분 영상을 계산하기 위한 2단계의 알고리즘을 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 1차원 배열의 프리픽스 합에 대한 병렬 계산을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 수직 방향의 픽셀 값을 수평 방향으로 치환한 후, 치환된 영상에 대해 수평 방향으로 픽셀값을 더한 수평 프리픽스 합을 계산하는 방법을 나타낸 도면이며, 도 5는 본 발명의 실시예에 따른 프리픽스 합의 병렬 계산을 나타낸 도면이다.
본 발명의 실시예에 따른 보행자 감지 장치(100)는 스테레오 카메라부(110), 입력 영상 처리부(120), 적분 영상 생성부(130), 공유 메모리부(140), 제어부(150), 히스토그램 그래디언트(Histogram of Gradients, 이하 'HOG'라 칭함) 특징 벡터부(160), 캐스케이드 분류기(170) 및 거리 추정부(190)를 포함한다.
GPU(Graphic Processing Unit)에서는 보행자 감지 장치(100)를 포함시킬 수도 있다.
제어부(150)는 스테레오 카메라부(110), 입력 영상 처리부(120), 적분 영상 생성부(130), 공유 메모리부(140), HOG 특징 벡터부(160), 캐스케이드 분류기(170) 및 거리 추정부(190)의 전반적인 동작 제어 기능을 담당한다.
스테레오 카메라부(110)는 좌측 카메라(111)와 우측 카메라(112)로 이루어져 있으며, 좌측 영상과 우측 영상을 촬영하여 원본 영상을 획득한다.
입력 영상 처리부(120)는 입력된 원본 영상을 일정한 크기의 탐색 원도우로 복수개 분할하고, 각각의 탐색 원도우를 복수의 블록으로 분할한다.
적분 영상 생성부(130)는 입력된 원본 영상의 각 채널 특징마다 적분 영상을 생성한다. 적분 영상 생성부(130)는 원본 영상에서 관심 영역인 보행자 후보를 추출하는 전처리 과정을 거친 후, 특징 영상을 추출할 수 있다.
적분 영상 생성부(130)는 원본 영상의 특징 영상의 적분 영상을 생성한 후, 상기 특징 영상의 적분 영상과 영상 확대/축소 스케일 값을 이용하여 확대/축소된 특징 영상의 적분 영상을 예측한다.
적분 영상은 현재 픽셀에 이전 픽셀까지의 합이 더해진 영상이고, 사각형 영상의 특징을 계산하는데 매우 적합하다.
확대/축소된 특징 영상의 적분 영상을 예측하는 방법은 다음의 [수학식 1]과 같이 정의된다.
여기서, I는 원본 영상, I(x', y')는 원본 영상에서의 (x', y') 픽셀의 값, ii는 원본 영상의 적분 영상, ii(x,y)는 적분 영상의 (x,y) 픽셀의 값을 의미하고, 원본 영상 I의 (0,0) 픽셀부터 (x,y) 픽셀까지의 모든 픽셀 값을 더한 총합을 의미한다.
(x, y) 픽셀에서의 적분 영상의 값은 다음의 [수학식 1]과 같이 나타낼 수 있다.
Figure 112019051300104-pat00001
도 2에 도시된 바와 같이, 제1 실시예의 적분 영상 생성부(130)는 적분 영상을 계산하기 위한 2단계의 알고리즘을 수행한다. 첫 번째 단계는 원본 영상의 각 픽셀값에 수평 방향으로 픽셀값을 더한 수평 프리픽스 합을 계산하고, 두 번째 단계는 상기 첫 번째 단계에서 계산된 픽셀값에 대한 수직 방향으로 픽셀값을 더한 수직 프리픽스 합을 계산한다.
제1 실시예의 적분 영상 생성부(130)는 각 행 또는 열의 프리픽스 합이 데이터를 교환할 필요없이 독립적으로 계산되므로 적분 영상의 병렬 구현에 적합하다.
도 3에 도시된 바와 같이, 1차원 배열의 프리픽스 합에 대한 병렬 계산을 나타낸 것이다.
제2 실시예의 적분 영상 생성부(130)는 도 3과 같이, 1차원 배열의 프리픽스 합의 병렬 계산의 의사 코드를 이용하여 적분 영상을 생성한다.
1차원 배열의 프리픽스 합의 병렬 계산의 의사 코드는 다음과 같다.
Figure 112019051300104-pat00002
적분 영상 생성부(130)는 공유 메모리부(140)에 T[2][N]을 할당하고, 입력 배열 X[N]을 공유 메모리부(140)의 첫 번째 행에 복사한다. 여기서, N은 입력 배열의 구성요소 개수이고, 매개 변수 k는 루프 개수를 제어하는데 사용되며, 각 루프 이후에 k는 두 배가 된다.
적분 영상 생성부(130)는 첫 번째 루프(Loop)에서 temp 0은 1이고, temp 1은 0이고, T[2][N]의 첫 번째 행의 프리픽스 합이 두 번째 행에 배치된다.
적분 영상 생성부(130)는 두 번째 루프에서 temp 0과 temp 1의 값이 서로 바뀌고, 첫 번째 행과 두 번째 행의 역할도 바뀌고 두 번째 행의 프리픽스 합이 첫 번째 행에 추가된다.
적분 영상 생성부(130)는 이러한 핑퐁 연산의 경우 k가 N보다 크거나 같을 때까지 프리픽스 합의 병렬 계산을 여러 번 수행하여 적분 영상을 생성한다.
제3 실시예의 적분 영상 생성부(130)는 큰 입력 배열을 작은 서브 배열로 분할하고, 프리픽스 합의 병렬 계산의 의사 코드를 이용하여 각 서브 배열의 프리픽스 합을 계산한 후, 보조 배열을 할당하고, 각각의 프리픽스 합의 마지막 구성요소를 넣는다. 이어서, 적분 영상 생성부(130)는 서브 배열을 보조 배열(Auxiliary Array)에 대응하는 위치로 변환하고, 보조 배열의 프리픽스 합을 계산한다.
프리픽스 합의 병렬 계산의 의사 코드는 다음과 같다.
Figure 112019051300104-pat00003
적분 영상 생성부(130)는 보조 배열의 각 구성요소를 해당 서브 배열의 모든 구성요소에 추가한다. 결과 배열은 원본 입력 배열의 프리픽스 합과 동일하다.
적분 영상을 계산하기 위해서는 수평 방향의 수평 프리픽스 합을 계산하고, 수직 방향의 수직 프리픽스 합을 계산할 필요가 있다.
수직 프리픽스 합을 계산하는 방법은 영상에서 픽셀값을 수직 방향으로 계산하는 직접 계산하는 방식과, 도 4에 도시된 바와 같이, 영상에서 수직 방향의 픽셀 값을 수평 방향으로 치환한 후, 치환된 영상에 대해 수평 방향으로 픽셀값을 더한 수평 프리픽스 합을 계산하는 치환 연산이 있다.
본 발명의 적분 영상 생성부(130)는 수직 프리픽스 합을 계산하는 경우 치환 연산 방식을 GPU(Graphic Processing Unit)에서 병렬로 구현한다.
도 5에 도시된 바와 같이, 적분 영상 생성부(130)는 원본 영상의 픽셀 행렬을 작은 보조 행렬들로 분할되고, 각각의 보조 행렬을 공유 메모리부(140)에 복사하고, 1차원 배열의 프리픽스 합의 병렬 계산의 의사 코드를 이용하여 프리픽스 합의 병렬 계산하며(S0, S0+s1, S0+s1+s2,...), 출력 행렬에 대응하는 위치들로 치환, 복사된다.
제3 실시예의 적분 영상 생성부(130)는 도 5와 같이, 병렬 행렬 치환의 의사 코드를 이용하여 적분 영상을 생성한다. 여기서, DIM은 서브 사각형 행렬의 행(또는 열)의 개수이고, 공유 메모리부(140)의 크기는 공유 메모리의 뱅크 충돌을 피하기 위하여 DIM × (DIM + 1)을 형성한다.
HOG 특징 벡터부(160)는 적분 영상 생성부(130)에서 생성된 적분 영상의 기울기, 기울기의 크기와 방향성을 이용하여 분할된 탐색 윈도우의 각 블록의 히스토그램을 구하고, 구한 히스토그램을 병합하여 HOG 특징 벡터를 생성한다.
HOG 특징 벡터부(160)는 기울기의 방향성과 크기를 계산한 후, 히스토그램을 구성하기 전에 입력 영상 처리부(120)를 통해 Cell과 Block을 정의하여 입력 영상을 탐색 원도우로 분할할 수 있다.
입력 영상 처리부(120)는 입력 영상을 C×C의 Cell과 B×B의 Block으로 이루어진 탐색 윈도우를 복수개로 구성할 수 있다.
입력 영상 처리부(120)는 각각의 탐색 윈도우를 16×16 블록들로 분할하고, 각 블록을 2×2 셀로 구성되고, 각 셀을 그래디언트 크기로 가중치가 부여된 그래디언트 방향의 9-bin 히스토그램으로 표시된다.
히스토그램을 구성할 때 기울기의 방향 성분을 이용하여 bin을 나타내는데, 기울기의 방향 성분은 크게 0 내지 180도, 0 내지 360도로 나타내며, 보통 0 내지 180도를 20도 만큼 나눈 9개의 bin으로 구성할 수 있다.
C×C 픽셀 크기의 Cell 내부 히스토그램은 B×B 셀 크기의 Block으로 구성하고, 블록에 대하여 정규화를 수행할 수 있다.
각 블록에 대한 정규화 방법은 L2-Hys를 적용할 수 있다. 영상 내 분할한 블록에 대해 정규화된 히스토그램을 구하는 과정은 하기의 [수학식 2] 내지 [수학식 4]와 같다.
여기서, Block은 2×2 Cell로 구성되어 있고 Cell 하나당 k=9개 bin이 있다고 가정한다. v는 주어진 블록에 대해 정규화된 히스토그램 특징 벡터를 나타내며, vi는 i번째 Block의 정규화된 특징 벡터, vc는 Cell의 특징 벡터, vb는 Block 내 특징 벡터를 나타낸다.
Figure 112019051300104-pat00004
Figure 112019051300104-pat00005
Figure 112019051300104-pat00006
HOG 디스크립터(Descriptor)는 이미지의 모든 위치와 스케일에서 탐색 윈도우를 이동시키고, 각 탐색 윈도우에 대한 HOG 디스크립터를 계산하는 슬라이딩 윈도우 알고리즘을 이용하여 계산된다.
각각의 탐색 윈도우는 16×16 블록들로 분할되고, 8 픽셀 간격을 이동하여 블록 오버랩이 50%가 되도록 한다.
도 6에 도시된 바와 같이, 그래디언트 방향의 9-bin 히스토그램 생성에 대한 개념을 보여준다. 각 블록의 디스크립터는 4개의 셀의 디스크립터를 연결한 것이다.
보행자 감지의 경우, 각 Block당 정규화된 특징 벡터 v는 36(2×2×9)개의 차원을 가질 때, 탐색 윈도우는 일반적으로 64×128 크기의 입력 영상에서 7×15=105 블록이 만들어지며, 각 탐색 윈도우의 HOG 특징 벡터는 105×((2×2)×9)=3780의 차원으로 생성될 수 있다.
캐스케이드(Cascade) 분류기(170)는 HOG 특징 벡터부(160)에서 생성된 HOG 특징 벡터를 입력받고, 입력 영상에서 보행자를 감지한다.
캐스케이드 분류기(170)는 도 7에 도시된 바와 같이, 복수의 강한 분류기(171)를 순차적으로 연결하여 각 강한 분류기(171)에서 도출되는 결과값이 모두 일치할 경우에 분류하고자 하는 객체(보행자)로 판정하는 방식이다. 즉, 순차적으로 연결된 복수의 강한 분류기(171) 중 어느 하나에서 결과값이 일치하지 않는 경우 분류하고자 하는 객체(보행자)가 아닌 것으로 판정하게 된다.
본 발명의 캐스케이드 분류기(170)는 복수의 강한(Strong) 분류기(171)를 순차적으로 연결하고, 각각의 강한 분류기는 특정 개수의 약한(Weak) 분류기(172)로 구성된다.
여기서, 약한 분류기(172)는 탐색 윈도우(180)의 특징 벡터의 하나의 차원(Dimension)를 나타낸다.
각각의 약한 분류기(172)는 사각형 특징(172a), 구성요소 특징(172b), 노드 임계값(172c), 왼쪽 Leaf(172d), 오른쪽 Leaf(172e)을 포함한다.
사각형 특징(172a)은 탐색 윈도우(180)의 복수의 셀을 포함하는 직사각형 영역의 HOG 블록을 지정한다.
0에서 35까지의 구성요소 특징은 HOG 블록의 특징 벡터 차원을 나타낸다.
적분 영상 생성부(130)는 HOG 특징 벡터의 병렬 계산을 위해 원본 영상과 동일한 크기를 갖는 10개의 적분 영상을 생성한다.
0에서 8까지 번호가 매겨진 적분 영상은 각각 9 bin 히스토그램 그래디언트에 해당하며, 나머지 9개는 규모(Magnitude) 영상의 적분 영상이다.
예를 들어, 도 8을 참조하여 약한 분류기(172)를 보면, 사각형 특징(172a)은 cell 0, cell 1, cell 2, cell 3을 포함하는 직사각형 영역의 HOG 블록을 나타내고, 구성요소 특징(172b)은 HOG 블록에서 cell 1(직사각형 ABCD)(181b)의 5번째 bin에 속하고, 약한 분류기(172)에 대한 탐색 윈도우(180)의 응답값은 다음의 [수학식 5]를 이용하여 계산될 수 있다.
Figure 112019051300104-pat00007
m은 구성요소 특징이 속하는 bin의 번호이고, m은 5와 동일하고, iim과
Figure 112020082794130-pat00024
는 m번째와 9번째의 적분 영상이다.
iim(A), iim(B), iim(C), iim(D)는 m번째 적분 영상의 A, B, C, D의 픽셀값이고,
Figure 112020082794130-pat00025
(E),
Figure 112020082794130-pat00026
(F),
Figure 112020082794130-pat00027
(G),
Figure 112020082794130-pat00028
(H)는 9번째 적분 영상의 E, F, G, H의 픽셀값이다.
분자의 결과는 m번째 적분 영상에서 직사각형 ABCD의 정수값이고, 분모의 결과는 9번째 적분 영상에서 직사각형 EFGH의 정수값이다.
캐스케이드 분류기(170)는 [수학식 3]의 결과가 약한 분류기(172)의 노드 임계값(172c)보다 작으면, 약한 분류기(172)의 출력이 왼쪽 리프(Leaf)(172d)이고, 그렇지 않은 경우 오른쪽 리프(Leaf)(172e)이다.
모든 약한 분류기(172)의 합은 강한 분류기(171)에 대한 탐색 윈도우(180)의 응답값이다.
응답값이 강한 분류기(171)의 임계값보다 큰 경우, 탐색 윈도우(180)는 양의 값으로 결정되고, 그렇지 않으면, 음의 값으로 결정된다.
캐스케이드 분류기(170)는 복수의 강한 분류기(171)가 순차적으로 연결된 형태로 구성되고, 각각의 강한 분류기(171)에서 순차적으로 분류 및 판정 처리가 수행되고, 각각의 강한 분류기(171)에서 감지하고자 하는 보행자 객체로 판정되는 경우, 최종적으로 보행자로 판정된다.
각각의 강한 분류기(171) 중 어느 하나라도 보행자 객체가 아닌 객체로 판정될 경우, 이후의 강한 분류기들에서 분류 및 판정 처리를 수행할 필요가 없다.
본 발명의 보행자 감지 장치(100)는 학습에 이용될 입력 영상을 입력받고, 입력 영상에서 HOG 특징 벡터를 생성하여 영상을 인식하고, HOG 특징 벡터를 캐스케이드 분류기(170)에 입력하여 단위 학습을 수행하는 절차를 진행한다.
단위 학습을 수행하는 절차는 HOG 특징 벡터를 캐스케이드 분류기(170)에 입력하고, 순차적으로 연결된 각각의 강한 분류기(171)의 응답값이 포지티브 응답으로 모두 일치할 경우, 감지하고자 하는 보행자 객체로 판정되며, 하나의 강한 분류기(171)라도 네거티브 응답이 출력되는 경우, 보행자 객체가 아닌 것으로 판정된다.
도 9에 도시된 바와 같이, 각각의 탐색 윈도우(180)는 캐스케이드 분류기(170)에 의해 보행자 감지 과정을 수행하게 된다. 캐스케이드 분류기(170)는 각각의 탐색 윈도우(180)의 계산이 서로 독립적이기 때문에 입력 영상의 모든 탐색 윈도우(180)를 병렬로 처리할 수 있다.
다시 말해, 복수의 캐스케이드 분류기(170)는 각각의 탐색 원도우(180)에 독립적으로 대응되어 병렬로 처리되며, 동시에 빠른 속도로 보행자 객체를 분류할 수 있게 된다.
탐색 원도우(180)는 복수의 순차적으로 연결된 강한 분류기(171)에 의해 처리되고, 각각의 강한 분류기(171)는 내부에 병렬로 연결된 복수의 약한 분류기(172)에 의해 개별적으로 탐색 원도우(180)의 응답값을 계산하며, 양의 값으로 결정되면 포지티브 응답(보행자)으로 판정될 수 있다.
캐스케이드 분류기(170)는 각각의 강한 분류기(171)의 응답값이 포지티브 응답으로 모두 일치할 경우, HOG 특징 벡터를 직사각형의 보행자 감지 결과 영역으로 출력한다.
제어부(150)는 스테레오 정합을 위한 좌측 영상과 우측 영상을 2개의 영상 프레임 중 좌측 영상 프레임의 N×N 단위 블록과 우측 영상 프레임의 M×M 단위 블록을 서로 대응하는 대응 픽셀의 픽셀값을 로컬 블록 매칭 알고리즘에 의해 스테레오 이미지 매칭을 수행하여 상기 대응 픽셀 사이의 거리를 계산하고, 이를 기초로 차이 맵(Disparity Map)를 생성한다.
로컬 블록 매칭(Local Block Matching) 알고리즘은 제1 영상 프레임의 단위 블록에 매칭되는 단위 블록을 나머지 제2 영상 프레임에서 검색하는 것으로, 제1 영상 프레임의 단위 블록과 제2 영상 프레임의 단위 블록 사이의 차이가 최소가 되는 블록을 제2 영상 프레임에서 검색한다. 여기서, 제1 영상 프레임의 단위 블록과 제2 영상 프레임의 단위 블록 사이에서 최소 차이를 가지는 단위 블록은 절대차의 합(Sum of Absoulte Difference)으로 계산된다. 여기서, SAD는 두 개의 영상의 이미징 포인트 간의 비유사성(Disparity)을 측정하는데 사용된다.
로컬 블록 매칭 알고리즘은 검색 영역에서 SAD를 기준 포인트로 하고 가장 유사한 포인트를 찾는 것이다.
제어부(150)는 로컬 블록 매칭 알고리즘을 이용하여 좌측 카메라(111)와 우측 카메라(112)에서 일치하는 이미징 포인트 쌍을 찾고, 삼각 측량법을 이용하여 3D 영상 포인트와 카메라부(110) 사이의 거리를 계산한다.
스테레오 카메라부(110)는 병렬 양안 비전 시스템으로 매칭 포인트의 검색 영역은 전체 영상에서 영상 라인으로 축소될 수 있다.
왼쪽 영상의 기준 포인트 P는 P를 중심으로 이웃한 (2m+1)×(2m+1)를 만든다. 여기서, m은 임의의 정수이다.
그런 다음, 제어부(150)는 오른쪽 영상의 포인트 P와 같은 선상의 각 포인트에 대해 이웃을 만들고, SAD가 최소로 되는 포인트를 찾아서 포인트 P와 매칭되는 포인트로 선택한다.
두 포인트의 SAD는 다음의 [수학식 6]에 의해 계산될 수 있다. [수학식 6]은 두 개의 이웃한 픽셀들 간의 절대차의 합(Sum of Absoulte Difference)을 계산할 수 있다.
Figure 112019051300104-pat00008
여기서, I1은 좌측 영상, Ir은 우측 영상, I1(x1,y1)은 좌측 영상의 픽셀(xr, yr)의 값, Ir(xr,yr)은 좌측 영상의 픽셀(xr, yr)의 값이다.
3D 영상 포인트와 카메라부(110) 간의 직교 거리(Z)는 다음의 [수학식 7]를 이용하여 계산될 수 있다.
Figure 112019051300104-pat00009
여기서, b는 좌측 카메라(111)와 우측 카메라(112)의 광학 중심 사이의 거리인 기준선, f는 초점 거리, 좌측 카메라(111)와 우측 카메라(112)의 초점 거리가 동일하다고 가정, d는 이미징 포인트의 일치된 쌍의 x 좌표의 차이를 나타낸다.
거리 추정부(190)는 직사각형의 보행자 검출 결과 영역에서 특징점을 검출하고, 카메라부(110)와 보행자 간의 거리를 추정한다.
거리 추정부(190)는 직사각형의 보행자 검출 결과 영역과 보행자의 머리 영역 사이의 관계를 나타내는 [수학식 8]을 이용하여 직사각형의 보행자 검출 결과 영역의 특징점들에서 보행자의 머리 영역의 특징점을 선택한다.
Figure 112019051300104-pat00010
여기서, rect0은 직사각형의 보행자 검출 결과 영역, rect1은 머리 영역, (rect0.x, rect0.y)는 rect0의 왼쪽 위 모서리, (rect1.x, rect1.y)는 rect1의 왼쪽 위 모서리를 나타낸다.
거리 추정부(190)는 rect1인 머리 영역의 각 특징점 (x, y)에서 카메라부(110) 간의 거리를 다음의 [수학식 9]를 이용하여 계산할 수 있다.
Figure 112019051300104-pat00011
여기서, Q는 캘리브레이션 절차에 의해 계산된 4×4 원근 변환 행렬, d는 특징점 (x, y)와 매칭점 사이의 불일치, (X, Y, Z)는 특징점 (x, y)에 대응하는 3D 영상 포인트이다.
거리 추정부(190)는 머리 영역(rect1)에 있는 특징점들과 카메라부(100)의 사이의 거리를 각각 계산하고, 각각 계산된 거리의 평균값을 카메라부(110)와 보행자 간의 최종 거리로 추정한다.
즉, 머리 영역(rect1)에 있는 특징점들은 어떤 특징점이 최적인지 결정하기 어렵기 때문에 모든 특징점과 카메라부 사이의 거리를 계산하여 평균값으로 카메라부와 보행자 간의 최종 거리로 추정하는 것이 바람직하다.
도 10은 본 발명의 실시예에 따른 입력 영상에서 보행자를 감지하기 위한 전반적인 제어 흐름을 나타낸 도면이다.
입력 영상 처리부(120)는 입력된 원본 영상을 일정한 크기의 탐색 원도우로 복수개 분할하고, 각각의 탐색 원도우를 복수의 블록으로 분할한다.
적분 영상 생성부(130)는 상기 원본 영상의 특징 영상을 추출하고, 상기 추출한 특징 영상의 적분 영상을 생성한다.
HOG 특징 벡터부(160)는 적분 영상 생성부(130)에서 생성된 적분 영상의 기울기, 기울기 크기 및 방향성을 이용하여 상기 분할된 탐색 원도우의 각 블록의 히스토그램을 구하고, 상기 구한 히스토그램을 병합하여 HOG 특징 벡터를 생성한다.
캐스케이드 분류기(170)는 복수의 강한 분류기가 순차적으로 연결된 형태로 구성되고, 상기 HOG 특징 벡터를 입력받아 순차적으로 연결된 각각의 강한 분류기의 응답값이 포지티브 응답으로 모두 일치할 경우, 감지하고자 하는 보행자 객체로 판정한다.
제어부(150)는 로컬 블록 매칭 알고리즘에 의해 스테레오 이미지 매칭을 수행하여 상기 좌측 영상과 상기 우측 영상의 이미징 포인트 간의 절대차의 합(Sum of Absoulte Difference)을 측정하고, 상기 측정한 절대차의 합을 이용하여 상기 원본 영상과 상기 스테레오 카메라부(110)의 제1 거리를 계산한다.
거리 추정부(190)는 직사각형의 보행자 검출 결과 영역에서 특징점을 검출하고, 상기 계산된 제1 거리를 이용하여 검출된 특징점과 스테레오 카메라부(110) 간의 최종 거리를 추정한다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 보행자 감지 장치 110: 스테레오 카메라부
111: 좌측 카메라 112: 우측 카메라
120: 입력 영상 처리부 130: 적분 영상 생성부
140: 공유 메모리부 150: 제어부
160: HOG 특징 벡터부 170: 캐스케이드 분류기
171: 강한 분류기 172: 약한 분류기
180: 탐색 윈도우 190: 거리 추정부

Claims (11)

  1. 입력된 원본 영상을 일정한 크기의 탐색 원도우로 복수개 분할하고, 각각의 탐색 원도우를 복수의 블록으로 분할하는 입력 영상 처리부;
    상기 원본 영상의 특징 영상을 추출하고, 상기 추출한 특징 영상의 적분 영상을 생성하는 적분 영상 생성부;
    상기 적분 영상 생성부에서 생성된 적분 영상의 기울기, 기울기 크기 및 방향성을 이용하여 상기 분할된 탐색 원도우의 각 블록의 히스토그램을 구하고, 상기 구한 히스토그램을 병합하여 HOG 특징 벡터를 생성하는 HOG(Histogram of Gradients) 특징 벡터부; 및
    복수의 강한 분류기가 순차적으로 연결된 형태로 구성되고, 상기 HOG 특징 벡터를 입력받아 순차적으로 연결된 각각의 강한 분류기의 응답값이 포지티브 응답으로 모두 일치할 경우, 검출하고자 하는 보행자 객체로 판정하는 캐스케이드 분류기를 포함하고,
    상기 캐스케이드 분류기는 상기 각각의 강한 분류기의 응답값이 포지티브 응답으로 모두 일치할 경우, 상기 HOG 특징 벡터를 직사각형의 보행자 검출 결과 영역으로 판정하고,
    상기 직사각형의 보행자 검출 결과 영역에서 특징점을 검출하고, 상기 검출된 특징점과 상기 원본 영상을 촬영한 카메라부 간의 거리를 추정하는 거리 추정부를 더 포함하며,
    상기 거리 추정부는 상기 직사각형의 보행자 검출 결과 영역과 보행자의 머리 영역 사이의 관계를 나타내는 하기의 수학식 1을 이용하여 상기 직사각형의 보행자 검출 결과 영역의 특징점들에서 상기 보행자의 머리 영역의 특징점을 선택하고, 상기 머리 영역의 각 특징점에서 상기 카메라부 간의 거리를 추정하는 것을 특징으로 하는 보행자 감지 장치.
    [수학식 1]
    Figure 112020082794130-pat00029

    여기서, rect0은 직사각형의 보행자 검출 결과 영역, rect1은 머리 영역, (rect0.x, rect0.y)는 rect0의 왼쪽 위 모서리, (rect1.x, rect1.y)는 rect1의 왼쪽 위 모서리를 나타냄.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 거리 추정부는 상기 머리 영역에 있는 특징점들과 상기 카메라부의 사이의 거리를 각각 계산하고, 상기 각각 계산된 거리의 평균값을 상기 카메라부와 보행자 간의 최종 거리로 추정하는 것을 특징으로 하는 보행자 감지 장치.
  5. 제1항에 있어서,
    상기 캐스케이드 분류기는 복수개로 구성되고, 상기 각각의 캐스케이드 분류기는 상기 각각의 탐색 윈도우에 독립적으로 대응되어 병렬로 처리되는 것을 특징으로 하는 보행자 감지 장치.
  6. 삭제
  7. 입력된 원본 영상을 일정한 크기의 탐색 원도우로 복수개 분할하고, 각각의 탐색 원도우를 복수의 블록으로 분할하는 단계;
    상기 원본 영상의 특징 영상을 추출하고, 상기 추출한 특징 영상의 적분 영상을 생성하는 단계;
    상기 생성된 적분 영상의 기울기, 기울기 크기 및 방향성을 이용하여 상기 분할된 탐색 원도우의 각 블록의 히스토그램을 구하고, 상기 구한 히스토그램을 병합하여 HOG(Histogram of Gradients) 특징 벡터를 생성하는 단계; 및
    상기 HOG 특징 벡터를 복수의 강한 분류기가 순차적으로 연결된 형태의 캐스케이드 분류기에 대입하여 순차적으로 연결된 각각의 강한 분류기의 응답값이 포지티브 응답으로 모두 일치할 경우, 검출하고자 하는 보행자 객체로 판정하는 단계를 포함하고,
    상기 보행자 객체로 판정하는 단계는,
    상기 캐스케이드 분류기는 상기 각각의 강한 분류기의 응답값이 포지티브 응답으로 모두 일치할 경우, 상기 HOG 특징 벡터를 직사각형의 보행자 검출 결과 영역으로 판정하고,
    상기 직사각형의 보행자 검출 결과 영역에서 특징점을 검출하고, 상기 검출된 특징점과 상기 원본 영상을 촬영한 카메라부 간의 거리를 추정하는 단계를 더 포함하며,
    상기 직사각형의 보행자 검출 결과 영역과 보행자의 머리 영역 사이의 관계를 나타내는 하기의 수학식 2를 이용하여 상기 직사각형의 보행자 검출 결과 영역의 특징점들에서 상기 보행자의 머리 영역의 특징점을 선택하는 단계; 및
    상기 머리 영역의 각 특징점에서 상기 카메라부 간의 거리를 추정하는 단계를 더 포함하는 것을 특징으로 하는 보행자 거리 측정 방법.
    [수학식 2]
    Figure 112020082794130-pat00030

    여기서, rect0은 직사각형의 보행자 검출 결과 영역, rect1은 머리 영역, (rect0.x, rect0.y)는 rect0의 왼쪽 위 모서리, (rect1.x, rect1.y)는 rect1의 왼쪽 위 모서리를 나타냄.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 적분 영상을 생성하는 단계는,
    상기 원본 영상의 각 픽셀값에 수평 방향으로 픽셀값을 더한 수평 프리픽스 합을 계산하는 제1 단계; 및
    상기 제1 단계에서 계산된 픽셀값을 수평 방향으로 치환한 후, 상기 치환된 영상에 대해 수평 방향으로 픽셀값을 더한 수평 프리픽스 합을 계산하는 제2 단계를 더 포함하는 것을 특징으로 하는 보행자 거리 측정 방법.
  11. 삭제
KR1020190058760A 2019-05-20 2019-05-20 보행자 감지 장치 및 거리 측정 방법 KR102183963B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190058760A KR102183963B1 (ko) 2019-05-20 2019-05-20 보행자 감지 장치 및 거리 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190058760A KR102183963B1 (ko) 2019-05-20 2019-05-20 보행자 감지 장치 및 거리 측정 방법

Publications (1)

Publication Number Publication Date
KR102183963B1 true KR102183963B1 (ko) 2020-11-27

Family

ID=73641635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190058760A KR102183963B1 (ko) 2019-05-20 2019-05-20 보행자 감지 장치 및 거리 측정 방법

Country Status (1)

Country Link
KR (1) KR102183963B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663574B1 (ko) 2014-12-01 2016-10-07 계명대학교 산학협력단 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663574B1 (ko) 2014-12-01 2016-10-07 계명대학교 산학협력단 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bodam Nam외 2인, "Pedestrian detection system based on stereo vision for mobile robot", IEEE, Frontiers of Computer Vision, (2011.03.28.) 1부.* *
Cristina Ruiz Sancho, "Pedestrian Detection using a boosted cascade of Histogram of Oriented Gradients", UPC,(2014.08.31.) 1부.* *
Jianxin Wu외 1인, "Chapter 8 Object Detection",(2012.12.31.) 1부.* *

Similar Documents

Publication Publication Date Title
Lian et al. Density map regression guided detection network for rgb-d crowd counting and localization
Xiong et al. Spatiotemporal modeling for crowd counting in videos
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
KR20140045854A (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
KR20130058286A (ko) 보행자 검출기의 보행자 검출 방법
Jiang et al. Multiple pedestrian tracking using colour and motion models
Denman et al. Multi-spectral fusion for surveillance systems
Krotosky et al. Person surveillance using visual and infrared imagery
KR20150136225A (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
Ma et al. A lightweight neural network for crowd analysis of images with congested scenes
Cai et al. A target tracking method based on KCF for omnidirectional vision
KR102270009B1 (ko) 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
KR100994722B1 (ko) 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
KR102183963B1 (ko) 보행자 감지 장치 및 거리 측정 방법
KR20120116699A (ko) 클러스터링 기법을 이용한 이동물체 검출장치 및 방법
Wang et al. Anchor free network for multi-scale face detection
Zhang et al. Moving pedestrian detection based on motion segmentation
JP2014048702A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
Umamaheswaran et al. Stereo vision based speed estimation for autonomous driving
KR102450466B1 (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법
KR101582983B1 (ko) 크기 불변 특징 벡터를 이용한 고속 객체 검출 장치 및 방법
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
KR101588648B1 (ko) 지능형 영상 감시를 위한 보행자 검출 및 추적 방법
Wu Accurate Vehicle Detection Using Multi-Camera Data Fusion and Machine Learning
Hassanpour et al. People Re-identification in Non-overlapping Field-of-views using Cumulative Brightness Transform Function and Body Segments in Different Color Spaces

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant