KR20230094075A - 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents

영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 Download PDF

Info

Publication number
KR20230094075A
KR20230094075A KR1020210183243A KR20210183243A KR20230094075A KR 20230094075 A KR20230094075 A KR 20230094075A KR 1020210183243 A KR1020210183243 A KR 1020210183243A KR 20210183243 A KR20210183243 A KR 20210183243A KR 20230094075 A KR20230094075 A KR 20230094075A
Authority
KR
South Korea
Prior art keywords
gradient
frame
image
input image
pixel
Prior art date
Application number
KR1020210183243A
Other languages
English (en)
Inventor
허의남
엠디 알람깃 호씬
엠디 딜로와르 호씬
이승진
엠디 임티아즈 호세인
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020210183243A priority Critical patent/KR20230094075A/ko
Publication of KR20230094075A publication Critical patent/KR20230094075A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 영상 내 객체 감지 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력 영상으로부터 그래디언트(gradient) 영상을 생성하는 단계, 입력 영상의 프레임 시퀀스 및 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하는 단계, 및 입력 영상의 프레임 시퀀스, 그래디언트 영상의 프레임 시퀀스, 입력 영상의 기본 샘플, 및 그래디언트 영상의 기본 샘플에 기반하여 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하는 단계를 포함한다.

Description

영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치{METHOD FOR DETECTING OBJECT IN IMAGE AND COMPUTING DEVICE FOR EXECUTING THE METHOD}
본 발명의 실시예는 영상 내 객체 감지 기술과 관련된다.
움직이는 객체 감지 기술은 수년 동안 중요한 연구 관심사로서 공항 모니터링, 해상 모니터링, 영상 감시, 및 객체 추적 등에 사용되고 있다. 또한, 움직이는 객체 감지 기술은 그 이외에도 클라우드 컴퓨팅, IoT, 에지 컴퓨팅, 로봇 공학, 스마트 환경, 스마트 홈, 스마트 시티, 자율 주행 등 다양한 분야로 그 적용 분야가 확대되고 있는 추세이다.
그러나, 조명 변화, 그림자, 간헐적인 개체 움직임, 불안정한 영상, 낮은 프레임 속도 등의 문제와 흐리거나 눈이 내리는 날씨, 난기류, 열 등과 같이 분석이 어려운 배경 장면이 있는 영상에서는 높은 정확도로 움직이는 객체(즉, 전경)을 감지하기 어렵다.
한국등록특허공보 제10-1716365호(2017.03.15)
본 발명의 실시예는 영상 내 객체를 정확히 감지할 수 있는 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 영상 내 객체 감지 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력 영상으로부터 그래디언트(gradient) 영상을 생성하는 단계; 상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하는 단계; 및 상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하는 단계를 포함한다.
상기 입력 영상은, 논-스무딩(Non-Smoothing) 영상이고, 상기 그래디언트 영상을 생성하는 단계는, 상기 입력 영상의 프레임에 대해 수평 방향 그래디언트 프레임을 생성하는 단계; 상기 입력 영상의 프레임에 대해 수직 방향 그래디언트 프레임을 생성하는 단계; 상기 수평 방향 그래디언트 프레임 및 상기 수직 방향 그래디언트 프레임에 기반하여 비 정규화된 그래디언트 프레임을 생성하는 단계; 및 상기 비 정규화된 그래디언트 프레임을 정규화하여 정규화된 그래디언트 프레임을 생성하는 단계를 포함할 수 있다.
상기 수평 방향 그래디언트 프레임은, 하기의 수학식 1을 통해 생성되고, 상기 수직 방향 그래디언트 프레임은, 하기의 수학식 2를 통해 생성될 수 있다.
(수학식 1)
Figure pat00001
Figure pat00002
Hc : 수평 방향 그래디언트 프레임
Ic : 입력 영상
Kh : 소벨 수평 커널
(수학식 2)
Figure pat00003
Figure pat00004
Vc : 수직 방향 그래디언트 프레임
Kv : 소벨 수직 커널
상기 비정규화된 그래디언트 프레임의 픽셀(mc)은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
Figure pat00005
hc : 수평 방향 그래디언트 프레임의 픽셀
vc : 수직 방향 그래디언트 프레임의 픽셀
상기 정규화된 그래디언트 프레임의 픽셀(gc)은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
Figure pat00006
max(Mc) : 비 정규화된 그래디언트 프레임에서 최대 기울기 크기
상기 분류하는 단계는, 기 설정된 유사도 카운터에 의해 카운트 된 유사도 수가 기 설정된 임계 유사도 수 미만인지에 따라 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경 또는 배경으로 분류하고, 상기 유사도 카운터는, 상기 입력 영상의 현재 프레임에서 소정 픽셀의 이웃에 위치하고 임의로 선택되는 픽셀들의 상기 현재 프레임 이전의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 것일 수 있다.
상기 분류하는 단계는, 상기 입력 영상의 현재 프레임에서 좌표 (x,y)를 가지는 픽셀을 하기 수학식에 의해 전경 또는 배경으로 분류할 수 있다.
(수학식)
Figure pat00007
mj(x,y) : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터
Mmin : 기 설정된 임계 유사도 수
N : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수로서 2 이상의 자연수
f(x,y) = 1이면 해당 픽셀(x,y)은 전경, f(x,y) = 0이면 해당 픽셀(x,y)은 배경
상기 분류하는 단계는, 상기 입력 영상에서 해당 픽셀(x,y)과 상기 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 컬러 강도 유사도 거리를 산출하는 단계; 상기 그래디언트 영상에서 해당 픽셀(x,y)과 상기 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 그래디언트 유사도 거리를 산출하는 단계; 및 상기 컬러 강도 유사도 거리가 기 설정된 컬러 강도 임계 값을 초과하고 상기 그래디언트 유사도 거리가 기 설정된 그래디언트 임계 값을 초과하는 제1 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하는 단계를 포함할 수 있다.
상기 분류하는 단계는, 상기 컬러 강도 유사도 거리와 상기 그래디언트 유사도 거리를 기 설정되는 조합 가중치 팩터에 따라 조합하여 적응적 조합 거리를 산출하는 단계; 상기 적응적 조합 거리가 상기 기 설정된 그래디언트 임계 값을 초과하는 제2 조건을 만족하는지 확인하는 단계; 및 상기 제1 조건을 만족하거나 상기 제2 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하는 단계를 더 포함할 수 있다.
상기 유사도 카운터 mj(x,y)는 하기 수학식에 의해 유사도 개수를 카운트 할 수 있다.
(수학식)
Figure pat00008
dc,j p(x,y) : 컬러 강도 유사도 거리(p=i인 경우) 및 그래디언트 유사도 거리(p=g인 경우)를 각각 포함하는 개별 유사도 거리
hp(x,y) : 기 설정된 컬러 강도 임계값(p=i인 경우) 및 그래디언트 임계값(p=g인 경우)을 포함하는 임계값
dc,j f(x,y) : 적응적 조합 거리
hg(x,y) : 그래디언트 임계값
상기 적응적 조합 거리(dc,j f(x,y))는 하기의 수학식에 의해 산출될 수 있다.
(수학식)
Figure pat00009
αc : 조합 가중치 팩터
dc,j i(x,y) : 컬러 강도 유사도 거리
dc,j g(x,y) : 그래디언트 유사도 거리
상기 조합 가중치 팩터(αc)는 하기의 수학식에 의해 결정될 수 있다.
(수학식)
Figure pat00010
max(Gc) : 그래디언트 영상의 프레임의 최대 기울기 크기
gc(x,y) : 해당 픽셀(x,y)의 기울기 크기
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 입력 영상으로부터 그래디언트(gradient) 영상을 생성하기 위한 명령; 상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하기 위한 명령; 및 상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하기 위한 명령을 포함한다.
상기 입력 영상은, 논-스무딩(Non-Smoothing) 영상이고, 상기 그래디언트 영상을 생성하기 위한 명령은, 상기 입력 영상의 프레임에 대해 수평 방향 그래디언트 프레임을 생성하기 위한 명령; 상기 입력 영상의 프레임에 대해 수직 방향 그래디언트 프레임을 생성하기 위한 명령; 상기 수평 방향 그래디언트 프레임 및 상기 수직 방향 그래디언트 프레임에 기반하여 비 정규화된 그래디언트 프레임을 생성하기 위한 명령; 및 상기 비 정규화된 그래디언트 프레임을 정규화하여 정규화된 그래디언트 프레임을 생성하기 위한 명령을 포함할 수 있다.
상기 수평 방향 그래디언트 프레임은, 하기의 수학식 1을 통해 생성되고, 상기 수직 방향 그래디언트 프레임은, 하기의 수학식 2를 통해 생성될 수 있다.
(수학식 1)
Figure pat00011
Figure pat00012
Hc : 수평 방향 그래디언트 프레임
Ic : 입력 영상
Kh : 소벨 수평 커널
(수학식 2)
Figure pat00013
Figure pat00014
Vc : 수직 방향 그래디언트 프레임
Kv : 소벨 수직 커널
상기 비정규화된 그래디언트 프레임의 픽셀(mc)은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
Figure pat00015
hc : 수평 방향 그래디언트 프레임의 픽셀
vc : 수직 방향 그래디언트 프레임의 픽셀
상기 정규화된 그래디언트 프레임의 픽셀(gc)은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
Figure pat00016
max(Mc) : 비 정규화된 그래디언트 프레임에서 최대 기울기 크기
상기 분류하기 위한 명령은, 기 설정된 유사도 카운터에 의해 카운트 된 유사도 수가 기 설정된 임계 유사도 수 미만인지에 따라 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경 또는 배경으로 분류하고, 상기 유사도 카운터는, 상기 입력 영상의 현재 프레임에서 소정 픽셀의 이웃에 위치하고 임의로 선택되는 픽셀들의 상기 현재 프레임 이전의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 것일 수 있다.
상기 분류하기 위한 명령은, 상기 입력 영상의 현재 프레임에서 좌표 (x,y)를 가지는 픽셀을 하기 수학식에 의해 전경 또는 배경으로 분류할 수 있다.
(수학식)
Figure pat00017
mj(x,y) : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터
Mmin : 기 설정된 임계 유사도 수
N : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수로서 2 이상의 자연수
f(x,y) = 1이면 해당 픽셀(x,y)은 전경, f(x,y) = 0이면 해당 픽셀(x,y)은 배경
상기 분류하기 위한 명령은, 상기 입력 영상에서 해당 픽셀(x,y)과 상기 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 컬러 강도 유사도 거리를 산출하기 위한 명령; 상기 그래디언트 영상에서 해당 픽셀(x,y)과 상기 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 그래디언트 유사도 거리를 산출하기 위한 명령; 및 상기 컬러 강도 유사도 거리가 기 설정된 컬러 강도 임계 값을 초과하고 상기 그래디언트 유사도 거리가 기 설정된 그래디언트 임계 값을 초과하는 제1 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하기 위한 명령을 포함할 수 있다.
상기 분류하기 위한 명령은, 상기 컬러 강도 유사도 거리와 상기 그래디언트 유사도 거리를 기 설정되는 조합 가중치 팩터에 따라 조합하여 적응적 조합 거리를 산출하기 위한 명령; 상기 적응적 조합 거리가 상기 기 설정된 그래디언트 임계 값을 초과하는 제2 조건을 만족하는지 확인하기 위한 명령; 및 상기 제1 조건을 만족하거나 상기 제2 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하기 위한 명령을 더 포함할 수 있다.
상기 유사도 카운터 mj(x,y)는 하기 수학식에 의해 유사도 개수를 카운트 할 수 있다.
(수학식)
Figure pat00018
dc,j p(x,y) : 컬러 강도 유사도 거리(p=i인 경우) 및 그래디언트 유사도 거리(p=g인 경우)를 각각 포함하는 개별 유사도 거리
hp(x,y) : 기 설정된 컬러 강도 임계값(p=i인 경우) 및 그래디언트 임계값(p=g인 경우)을 포함하는 임계값
dc,j f(x,y) : 적응적 조합 거리
hg(x,y) : 그래디언트 임계값
상기 적응적 조합 거리(dc,j f(x,y))는 하기의 수학식에 의해 산출될 수 있다.
(수학식)
Figure pat00019
αc : 조합 가중치 팩터
dc,j i(x,y) : 컬러 강도 유사도 거리
dc,j g(x,y) : 그래디언트 유사도 거리
상기 조합 가중치 팩터(αc)는 하기의 수학식에 의해 결정될 수 있다.
(수학식)
Figure pat00020
max(Gc) : 그래디언트 영상의 프레임의 최대 기울기 크기
gc(x,y) : 해당 픽셀(x,y)의 기울기 크기
개시되는 실시예에 의하면, 논 스무딩 입력 영상뿐만 아니라 그래디언트 영상을 함께 고려하고, 적응적 조합 거리를 이용하여 각 픽셀을 전경 또는 배경으로 분류함으로써, 입력 영상 내 객체를 보다 정확히 감지할 수 있게 된다. 그리고, 딥러닝 기반의 객체 감지 방법과는 달리, 별도의 훈련 데이터가 필요 없고, 입력 영상의 첫 번째 프레임부터 객체 감지를 수행할 수 있기 때문에, 메모리 사용량을 줄이면서 실시간으로 객체를 감지할 수 있게 된다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 객체 감지 방법을 나타낸 흐름도
도 3은 본 발명의 일 실시예에서 입력 영상의 프레임 시퀀스로부터 그래디언트 프레임 시퀀스를 생성하는 상태를 나타낸 도면
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 영상에서 움직이는 객체를 감지하기 위한 컴퓨팅 장치일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 객체 감지 방법을 나타낸 흐름도이다. 도 2에 도시된 방법은 전술한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 101에서, 컴퓨팅 장치(12)는 입력 영상으로부터 그래디언트(gradient) 영상을 생성할 수 있다. 즉, 컴퓨팅 장치(12)는 입력 영상의 프레임 시퀀스로부터 그래디언트 프레임 시퀀스를 생성할 수 있다. 도 3은 본 발명의 일 실시예에서 입력 영상의 프레임 시퀀스로부터 그래디언트 프레임 시퀀스를 생성하는 상태를 나타낸 도면이다.
여기서, 입력 영상은 RGB 컬러 영상이 사용될 수 있다. 이하에서, RGB 컬러 영상의 입력 영상은 Ic로 표시될 수 있다. RGB 색상 공간은 추가 색상 변환 비용이 들지 않고 평균적으로 실내 및 실외 영상에서 객체 감지에 강력하므로 입력 영상으로 RGB 컬러 영상을 사용할 수 있다. 그러나, 이에 한정되는 것은 아니며 입력 영상은 그레이(Gray) 영상이 사용될 수도 있음은 물론이다.
그리고, 입력 영상(Ic)은 논-스무딩(Non-Smoothing) 영상을 사용할 수 있다. 즉, 스무딩(smoothing) 기능(예를 들어, 가우디 스무딩, 중앙값 스무딩, 평균 스무딩 등)은 노이즈 감소 외에 필수 변경 정보를 왜곡하므로, 입력 영상(Ic)은 논-스무딩(Non-Smoothing) 영상을 사용할 수 있다. 즉, 입력 영상(Ic)은 스무딩 필터를 통해 평활화 되지 않은 영상일 수 있다. 논-스무딩 영상을 통해 후술하는 온전한 기울기 크기(gradient magnitude)를 얻을 수 있게 된다.
구체적으로, 컴퓨팅 장치(12)는 입력 영상(Ic)의 프레임에 대해 수평 방향 그래디언트 프레임 및 수직 방향 그래디언트 프레임을 각각 생성할 수 있다. 예시적인 실시예에서, 컴퓨팅 장치(12)는 소벨 수평 커널(sobel horizontal kernel) 및 소벨 수직 커널(sobel vertical kernel)을 입력 영상(Ic)에 적용하여 수평 방향 그래디언트 프레임 및 수직 방향 그래디언트 프레임을 각각 생성할 수 있다.
컴퓨팅 장치(12)는 아래의 수학식 1에 의해 수평 방향 그래디언트 프레임(Hc)을 생성하고, 아래의 수학식 2에 의해 수직 방향 그래디언트 프레임(Vc)을 생성할 수 있다.
(수학식 1)
Figure pat00021
Figure pat00022
(수학식 2)
Figure pat00023
Figure pat00024
수학식 1 및 수학식 2에서 *는 컨볼루션(convolution) 기호를 의미한다. 그리고, 이하에서 대문자 표기는 프레임 단위를 나타내고, 소문자 표기는 픽셀 단위를 나타내기 위한 것일 수 있다.
컴퓨팅 장치(12)는 수평 방향 그래디언트 프레임(Hc) 및 수직 방향 그래디언트 프레임(Vc)에 기반하여 비 정규화된 그래디언트 프레임을 산출할 수 있다. 여기서, 비 정규화된(non-normalized) 그래디언트 프레임을 Mc로 표시한다면, 비 정규화된 그래디언트 프레임의 픽셀(즉, 비 정규화된 그래디언트 픽셀)은 mc로 표시할 수 있다. 비 정규화된 그래디언트 픽셀(mc)은 하기의 수학식 3으로부터 산출할 수 있다.
(수학식 3)
Figure pat00025
hc : 수평 방향 그래디언트 프레임의 픽셀
vc : 수직 방향 그래디언트 프레임의 픽셀
컴퓨팅 장치(12)는 각 그래디언트 픽셀이 0에서 255 사이의 값을 갖도록 비 정규화된 그래디언트 프레임을 정규화 할 수 있다. 이때, 정규화된 그래디언트 프레임은 Gc로 표시될 수 있다. 정규화된 그래디언트 프레임(Gc)은 정규화된 그래디언트 픽셀들로 이루어지며, 컴퓨팅 장치(12)는 아래의 수학식 4를 통해 정규화된 그래디언트 픽셀(gc)을 산출할 수 있다.
(수학식 4)
Figure pat00026
max(Mc) : 비 정규화된 그래디언트 프레임에서 최대 기울기 크기
단계 103에서, 컴퓨팅 장치(12)는 입력 영상(Ic)의 프레임 시퀀스 및 그래디언트 영상(Gc)의 프레임 시퀀스 중 첫 번째 프레임을 각각 기본 샘플로 설정할 수 있다.
여기서, 입력 영상(Ic)의 기본 샘플을 Bc I로 표시하고, 그래디언트 영상(Gc)의 기본 샘플을 Bc G로 표시할 수 있다. 그리고, (x,y) 좌표를 갖는 기본 샘플의 픽셀은 소문자로 표시할 수 있다. 즉, 입력 영상의 기본 샘플에서 (x,y) 좌표를 갖는 픽셀은 bc i(x,y)로 표시하고, 그래디언트 영상의 기본 샘플에서 (x,y) 좌표를 갖는 픽셀은 bc g(x,y)로 표시할 수 있으며, bc i(x,y) 및 bc g(x,y)는 하기의 수학식 5로 나타낼 수 있다.
(수학식 5)
Figure pat00027
Figure pat00028
여기서, 0, 1, 2, 3, ??, N-1은 기본 샘플의 인덱스를 나타낼 수 있다. N은 좌표(x,y)를 가지는 픽셀의 이웃에서 임의로 선택된 기본 샘플의 픽셀 수를 의미할 수 있다.
한편, 객체 감지의 초기 단계에서, 입력 영상 및 그래디언트 영상의 첫 번째 프레임을 각각 기본 샘플(Bc I) 및 기본 샘플(Bc G)로 설정하였으나, 시간이 경과함에 따라 기본 샘플(Bc I) 및 기본 샘플(Bc G)은 다른 것으로 업데이트 될 수 있다.
단계 105에서, 컴퓨팅 장치(12)는 입력 영상(Ic)의 기본 샘플(Bc I) 및 그래디언트 영상(Gc)의 기본 샘플(Bc G)에 기반하여 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류할 수 있다. 여기서, 전경으로 분류되는 픽셀들의 집합을 통해 입력 영상 내 객체를 감지할 수 있게 된다.
구체적으로, 컴퓨팅 장치(12)는 다음의 수학식 6을 통해 입력 영상의 현재 프레임(현재 프레임은 관측의 대상이 되는 프레임을 의미한다)에서 소정의 좌표(x, y)를 가지는 픽셀(즉, 관찰된 픽셀(observed pixel))을 전경 또는 배경으로 분류할 수 있다.
(수학식 6)
Figure pat00029
여기서, f(x,y)가 1이면 해당 픽셀이 전경으로 분류되고, f(x,y)가 0이면 해당 픽셀이 배경으로 분류되게 된다.
수학식 6에서, Mmin은 전경 또는 배경을 결정하기 위한 기 설정된 임계 유사도 수를 나타낼 수 있다. mj(x,y)는 유사도의 수를 카운트하기 위한 유사도 카운터일 수 있다. 즉, mj(x,y)는 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터일 수 있다. 여기서, 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수는 N(N은 2 이상의 자연수)개일 수 있다.
수학식 6에 의하면, 컴퓨팅 장치(12)는 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 N개의 픽셀들의 유사도의 개수를 총합한 값이 기 설정된 임계 유사도 수 미만이면 해당 픽셀(x,y)을 전경(즉, f(x,y) = 1)으로 분류하고, 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 N개의 픽셀들의 유사도의 개수를 총합한 값이 기 설정된 임계 유사도 이상이면 해당 픽셀(x,y)을 배경(즉, f(x,y) = 0)으로 분류할 수 있다.
한편, 유사도 카운터 mj(x,y)는 하기의 수학식 7로 나타낼 수 있다.
(수학식 7)
Figure pat00030
수학식 7에서 mj(x,y)가 0이면 비유사도(예를 들어, change)를 나타내는 것으로 유사도 수가 카운트가 되지 않고, mj(x,y)가 1이면 유사도(예를 들어, no change)를 나타내는 것으로 유사도 수를 카운트하게 된다.
즉, mj(x,y)가 0(즉, 유사도 카운트 값이 0)이라는 것은 해당 픽셀(x,y)의 이웃에서 선택된 j번째 픽셀의 이전 프레임과 비교 결과가 비유사도(즉, 이전 프레임과 비교하여 변경됨)로서 유사도 수가 카운트가 되지 않음을 나타낼 수 있다.
또한, mj(x,y)가 1(즉, 유사도 카운트 값이 1)이라는 것은 해당 픽셀(x,y)의 이웃에서 선택된 j번째 픽셀의 이전 프레임과 비교 결과가 유사도(즉, 이전 프레임과 비교하여 변경되지 않음)로서 유사도 수가 카운트 됨을 나타낼 수 있다.
수학식 7에서,
Figure pat00031
연산자는 논리적 OR 연산자를 나타낸다. hp(x,y), p∈{i,g}는 컬러 강도 임계값(color intensity threshold)(hi(x,y)) 및 그래디언트 임계값(gradient threshold)(hg(x,y))을 각각 포함하는 임계값을 나타낸다.
또한, dc,j p(x,y), p∈{i,g}, c∈{R,G,B}, j∈[0, N-1]는 컬러 강도 유사도 거리(dc,j i(x,y)) 및 그래디언트 유사도 거리(dc,j g(x,y))를 각각 포함하는 개별 유사도 거리를 나타낸다.
컬러 강도 유사도 거리(dc,j i(x,y))는 입력 영상의 프레임(즉, 현재 프레임)에서 해당 픽셀(x,y)과 입력 영상의 기본 샘플(예를 들어, 입력 영상의 첫 번째 프레임)에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리를 나타낼 수 있다. 예를 들어, 상기 유사도 거리는 입력 영상의 프레임에서 해당 픽셀(x,y)과 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에 위치하는 j번째 픽셀 간의 L1 유사도 거리일 수 있다.
그래디언트 유사도 거리(dc,j g(x,y))는 그래디언트 영상의 프레임(즉, 현재 프레임)에서 해당 픽셀(x,y)과 그래디언트 영상의 기본 샘플(예를 들어, 그래디언트 영상의 첫 번째 프레임)에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리를 나타낼 수 있다. 예를 들어, 상기 유사도 거리는 그래디언트 영상의 프레임에서 해당 픽셀(x,y)과 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에 위치하는 j번째 픽셀 간의 L1 유사도 거리일 수 있다.
한편, 개별 유사도 거리 dc,j p(x,y)는 하기의 수학식 8로 나타낼 수 있다. 여기서, p∈{i,g}, c∈{R,G,B}이다.
(수학식 8)
Figure pat00032
수학식 8에서, p가 i인 경우, pc(x,y)는 ic(x,y)를 나타내는 것으로 입력 영상의 프레임에서 (x,y) 좌표의 픽셀을 의미하게 된다. 그리고, 개별 유사도 거리 dc,j p(x,y)는 컬러 강도 유사도 거리(dc,j i(x,y))를 의미하게 된다. 즉, 수학식 8에서, p가 i인 경우, 수학식 8은 다음의 수학식 8-1과 같이 표현될 수 있다.
(수학식 8-1)
Figure pat00033
그리고, 수학식 7에서
Figure pat00034
부분은
Figure pat00035
가 된다. 따라서, 컬러 강도 유사도 거리(dc,j i(x,y))가 기 설정된 컬러 강도 임계값(hi(x,y))을 초과하는지를 확인하는 것이 된다.
한편, p가 g인 경우, pc(x,y)는 gc(x,y)를 나타내는 것으로 그래디언트 영상의 프레임에서 (x,y) 좌표의 픽셀을 의미하게 된다. 그리고, 개별 유사도 거리 dc,j p(x,y)는 그래디언트 유사도 거리(dc,j g(x,y))를 의미하게 된다. 즉, 수학식 8에서, p가 g인 경우, 수학식 8은 다음의 수학식 8-2와 같이 표현될 수 있다.
(수학식 8-2)
Figure pat00036
그리고, 수학식 7에서
Figure pat00037
부분은
Figure pat00038
가 된다. 따라서, 그래디언트 유사도 거리(dc,j g(x,y))가 기 설정된 그래디언트 임계값(hg(x,y))을 초과하는지를 확인하는 것이 된다.
또한, 수학식 7에서 dc,j f(x,y)는 컬러 강도 유사도 거리(dc,j i(x,y)) 및 그래디언트 유사도 거리(dc,j g(x,y))의 적응적 조합 거리를 나타낸다. 적응적 조합 거리(dc,j f(x,y))는 하기의 수학식 9로 나타낼 수 있다.
(수학식 9)
Figure pat00039
αc, c∈{R,G,B}는 조합 가중치 팩터로서, 하기의 수학식 10에 의해 동적으로 결정될 수 있다. 조합 가중치 팩터(αc)는 그래디언트 영상의 프레임(Gc)의 각 픽셀에 대해 개별적으로 계산될 수 있다.
(수학식 10)
Figure pat00040
max(Gc) : 그래디언트 프레임의 최대 기울기 크기
gc(x,y) : 해당 픽셀의 기울기 크기
수학식 9에 의하면, 객체의 경계(예를 들어, 높은 그래디언트 값을 갖는 경우)에 대해 그래디언트 정보는 색상 강도보다 더 가중되는 반면, 객체의 나머지 부분(예를 들어, 낮은 그래디언트 값을 갖는 경우)에 대해서는 그래디언트 정보가 색상 강도 보다 덜 가중되게 된다.
즉, 적응적 조합 거리(dc,j f(x,y))는 컬러 강도 유사도 거리(dc,j i(x,y))와 그래디언트 유사도 거리(dc,j g(x,y))가 합하여진 것으로, 조합 가중치 팩터에 따라 컬러 강도 유사도 거리(dc,j i(x,y)) 및 그래디언트 유사도 거리(dc,j g(x,y))에 부여되는 가중치가 동적으로 달라지게 된다.
한편, 수학식 7을 살펴보면, 유사도 카운터 mj(x,y)는
Figure pat00041
가 되는 제1 조건을 만족하거나
Figure pat00042
가 되는 제2 조건을 만족할 때 유사도 카운트 값이 0이 되게 된다. 즉, 개별 유사도 거리(dc,j p(x,y))가 기 설정된 임계값(hp(x,y))을 초과하거나, 적응적 조합 거리(dc,j f(x,y))가 기 설정된 그래디언트 임계값(hg(x,y))을 초과하는 경우, 유사도 카운트 값이 0이 되게 된다.
여기서, 제1 조건 또는 제2 조건을 만족할 때, 유사도 카운트 값이 0이 되도록 함으로써, 입력 영상에서 경계 부분의 변화를 효과적으로 감지할 수 있게 된다. 그러나, 이에 한정되는 것은 아니며 제1 조건만 만족하는 경우에도 유사도 카운트 값이 0이 되도록 할 수도 있다. 여기서, 제1 조건은 컬러 강도 유사도 거리(dc,j i(x,y))가 기 설정된 컬러 강도 임계값(hi(x,y))을 초과하면서 그래디언트 유사도 거리(dc,j g(x,y))가 기 설정된 그래디언트 임계값(hg(x,y))을 초과하는 경우를 의미할 수 있다.
개시되는 실시예에 의하면, 논 스무딩 입력 영상뿐만 아니라 그래디언트 영상을 함께 고려하고, 적응적 조합 거리를 이용하여 각 픽셀을 전경 또는 배경으로 분류함으로써, 입력 영상 내 객체를 보다 정확히 감지할 수 있게 된다. 그리고, 딥러닝 기반의 객체 감지 방법과는 달리, 별도의 훈련 데이터가 필요 없고, 입력 영상의 첫 번째 프레임부터 객체 감지를 수행할 수 있기 때문에, 메모리 사용량을 줄이면서 실시간으로 객체를 감지할 수 있게 된다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10 : 컴퓨팅 환경
12 : 컴퓨팅 장치
14 : 프로세서
16 : 컴퓨터 판독 가능 저장 매체
18 : 통신 버스
20 : 프로그램
22 : 입출력 인터페이스
24 : 입출력 장치
26 : 네트워크 통신 인터페이스

Claims (25)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    입력 영상으로부터 그래디언트(gradient) 영상을 생성하는 단계;
    상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하는 단계; 및
    상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하는 단계를 포함하는, 영상 내 객체 감지 방법.
  2. 청구항 1에 있어서,
    상기 입력 영상은, 논-스무딩(Non-Smoothing) 영상이고,
    상기 그래디언트 영상을 생성하는 단계는,
    상기 입력 영상의 프레임에 대해 수평 방향 그래디언트 프레임을 생성하는 단계;
    상기 입력 영상의 프레임에 대해 수직 방향 그래디언트 프레임을 생성하는 단계;
    상기 수평 방향 그래디언트 프레임 및 상기 수직 방향 그래디언트 프레임에 기반하여 비 정규화된 그래디언트 프레임을 생성하는 단계; 및
    상기 비 정규화된 그래디언트 프레임을 정규화하여 정규화된 그래디언트 프레임을 생성하는 단계를 포함하는, 영상 내 객체 감지 방법.
  3. 청구항 2에 있어서,
    상기 수평 방향 그래디언트 프레임은, 하기의 수학식 1을 통해 생성되고,
    상기 수직 방향 그래디언트 프레임은, 하기의 수학식 2를 통해 생성되는, 영상 내 객체 감지 방법.
    (수학식 1)
    Figure pat00043

    Figure pat00044

    Hc : 수평 방향 그래디언트 프레임
    Ic : 입력 영상
    Kh : 소벨 수평 커널
    (수학식 2)
    Figure pat00045

    Figure pat00046

    Vc : 수직 방향 그래디언트 프레임
    Kv : 소벨 수직 커널
  4. 청구항 3에 있어서,
    상기 비정규화된 그래디언트 프레임의 픽셀(mc)은 하기의 수학식을 통해 산출하는, 영상 내 객체 감지 방법.
    (수학식)
    Figure pat00047

    hc : 수평 방향 그래디언트 프레임의 픽셀
    vc : 수직 방향 그래디언트 프레임의 픽셀
  5. 청구항 4에 있어서,
    상기 정규화된 그래디언트 프레임의 픽셀(gc)은 하기의 수학식을 통해 산출하는, 영상 내 객체 감지 방법.
    (수학식)
    Figure pat00048

    max(Mc) : 비 정규화된 그래디언트 프레임에서 최대 기울기 크기
  6. 청구항 1에 있어서,
    상기 분류하는 단계는,
    기 설정된 유사도 카운터에 의해 카운트 된 유사도 수가 기 설정된 임계 유사도 수 미만인지에 따라 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경 또는 배경으로 분류하고,
    상기 유사도 카운터는, 상기 입력 영상의 현재 프레임에서 소정 픽셀의 이웃에 위치하고 임의로 선택되는 픽셀들의 상기 현재 프레임 이전의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 것인, 영상 내 객체 감지 방법.
  7. 청구항 6에 있어서,
    상기 분류하는 단계는,
    상기 입력 영상의 현재 프레임에서 좌표 (x,y)를 가지는 픽셀을 하기 수학식에 의해 전경 또는 배경으로 분류하는, 영상 내 객체 감지 방법.
    (수학식)
    Figure pat00049

    mj(x,y) : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터
    Mmin : 기 설정된 임계 유사도 수
    N : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수로서 2 이상의 자연수
    f(x,y) = 1이면 해당 픽셀(x,y)은 전경, f(x,y) = 0이면 해당 픽셀(x,y)은 배경
  8. 청구항 7에 있어서,
    상기 분류하는 단계는,
    상기 입력 영상에서 해당 픽셀(x,y)과 상기 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 컬러 강도 유사도 거리를 산출하는 단계;
    상기 그래디언트 영상에서 해당 픽셀(x,y)과 상기 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 그래디언트 유사도 거리를 산출하는 단계; 및
    상기 컬러 강도 유사도 거리가 기 설정된 컬러 강도 임계 값을 초과하고 상기 그래디언트 유사도 거리가 기 설정된 그래디언트 임계 값을 초과하는 제1 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하는 단계를 포함하는, 영상 내 객체 감지 방법.
  9. 청구항 8에 있어서,
    상기 분류하는 단계는,
    상기 컬러 강도 유사도 거리와 상기 그래디언트 유사도 거리를 기 설정되는 조합 가중치 팩터에 따라 조합하여 적응적 조합 거리를 산출하는 단계;
    상기 적응적 조합 거리가 상기 기 설정된 그래디언트 임계 값을 초과하는 제2 조건을 만족하는지 확인하는 단계; 및
    상기 제1 조건을 만족하거나 상기 제2 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하는 단계를 더 포함하는, 영상 내 객체 감지 방법.
  10. 청구항 9에 있어서,
    상기 유사도 카운터 mj(x,y)는 하기 수학식에 의해 유사도 개수를 카운트 하는, 영상 내 객체 감지 방법.
    (수학식)
    Figure pat00050

    dc,j p(x,y) : 컬러 강도 유사도 거리(p=i인 경우) 및 그래디언트 유사도 거리(p=g인 경우)를 각각 포함하는 개별 유사도 거리
    hp(x,y) : 기 설정된 컬러 강도 임계값(p=i인 경우) 및 그래디언트 임계값(p=g인 경우)을 포함하는 임계값
    dc,j f(x,y) : 적응적 조합 거리
    hg(x,y) : 그래디언트 임계값
  11. 청구항 10에 있어서,
    상기 적응적 조합 거리(dc,j f(x,y))는 하기의 수학식에 의해 산출되는, 영상 내 객체 감지 방법.
    (수학식)
    Figure pat00051

    αc : 조합 가중치 팩터
    dc,j i(x,y) : 컬러 강도 유사도 거리
    dc,j g(x,y) : 그래디언트 유사도 거리
  12. 청구항 11에 있어서,
    상기 조합 가중치 팩터(αc)는 하기의 수학식에 의해 결정되는, 영상 내 객체 감지 방법.
    (수학식)
    Figure pat00052

    max(Gc) : 그래디언트 영상의 프레임의 최대 기울기 크기
    gc(x,y) : 해당 픽셀(x,y)의 기울기 크기
  13. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    입력 영상으로부터 그래디언트(gradient) 영상을 생성하기 위한 명령;
    상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하기 위한 명령; 및
    상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하기 위한 명령을 포함하는, 컴퓨팅 장치.
  14. 청구항 13에 있어서,
    상기 입력 영상은, 논-스무딩(Non-Smoothing) 영상이고,
    상기 그래디언트 영상을 생성하기 위한 명령은,
    상기 입력 영상의 프레임에 대해 수평 방향 그래디언트 프레임을 생성하기 위한 명령;
    상기 입력 영상의 프레임에 대해 수직 방향 그래디언트 프레임을 생성하기 위한 명령;
    상기 수평 방향 그래디언트 프레임 및 상기 수직 방향 그래디언트 프레임에 기반하여 비 정규화된 그래디언트 프레임을 생성하기 위한 명령; 및
    상기 비 정규화된 그래디언트 프레임을 정규화하여 정규화된 그래디언트 프레임을 생성하기 위한 명령을 포함하는, 컴퓨팅 장치.
  15. 청구항 14에 있어서,
    상기 수평 방향 그래디언트 프레임은, 하기의 수학식 1을 통해 생성되고,
    상기 수직 방향 그래디언트 프레임은, 하기의 수학식 2를 통해 생성되는, 컴퓨팅 장치.
    (수학식 1)
    Figure pat00053

    Figure pat00054

    Hc : 수평 방향 그래디언트 프레임
    Ic : 입력 영상
    Kh : 소벨 수평 커널
    (수학식 2)
    Figure pat00055

    Figure pat00056

    Vc : 수직 방향 그래디언트 프레임
    Kv : 소벨 수직 커널
  16. 청구항 15에 있어서,
    상기 비정규화된 그래디언트 프레임의 픽셀(mc)은 하기의 수학식을 통해 산출하는, 컴퓨팅 장치.
    (수학식)
    Figure pat00057

    hc : 수평 방향 그래디언트 프레임의 픽셀
    vc : 수직 방향 그래디언트 프레임의 픽셀
  17. 청구항 16에 있어서,
    상기 정규화된 그래디언트 프레임의 픽셀(gc)은 하기의 수학식을 통해 산출하는, 컴퓨팅 장치.
    (수학식)
    Figure pat00058

    max(Mc) : 비 정규화된 그래디언트 프레임에서 최대 기울기 크기
  18. 청구항 13에 있어서,
    상기 분류하기 위한 명령은,
    기 설정된 유사도 카운터에 의해 카운트 된 유사도 수가 기 설정된 임계 유사도 수 미만인지에 따라 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경 또는 배경으로 분류하고,
    상기 유사도 카운터는, 상기 입력 영상의 현재 프레임에서 소정 픽셀의 이웃에 위치하고 임의로 선택되는 픽셀들의 상기 현재 프레임 이전의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 것인, 컴퓨팅 장치.
  19. 청구항 18에 있어서,
    상기 분류하기 위한 명령은,
    상기 입력 영상의 현재 프레임에서 좌표 (x,y)를 가지는 픽셀을 하기 수학식에 의해 전경 또는 배경으로 분류하는, 컴퓨팅 장치.
    (수학식)
    Figure pat00059

    mj(x,y) : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터
    Mmin : 기 설정된 임계 유사도 수
    N : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수로서 2 이상의 자연수
    f(x,y) = 1이면 해당 픽셀(x,y)은 전경, f(x,y) = 0이면 해당 픽셀(x,y)은 배경
  20. 청구항 19에 있어서,
    상기 분류하기 위한 명령은,
    상기 입력 영상에서 해당 픽셀(x,y)과 상기 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 컬러 강도 유사도 거리를 산출하기 위한 명령;
    상기 그래디언트 영상에서 해당 픽셀(x,y)과 상기 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 그래디언트 유사도 거리를 산출하기 위한 명령; 및
    상기 컬러 강도 유사도 거리가 기 설정된 컬러 강도 임계 값을 초과하고 상기 그래디언트 유사도 거리가 기 설정된 그래디언트 임계 값을 초과하는 제1 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하기 위한 명령을 포함하는, 컴퓨팅 장치.
  21. 청구항 20에 있어서,
    상기 분류하기 위한 명령은,
    상기 컬러 강도 유사도 거리와 상기 그래디언트 유사도 거리를 기 설정되는 조합 가중치 팩터에 따라 조합하여 적응적 조합 거리를 산출하기 위한 명령;
    상기 적응적 조합 거리가 상기 기 설정된 그래디언트 임계 값을 초과하는 제2 조건을 만족하는지 확인하기 위한 명령; 및
    상기 제1 조건을 만족하거나 상기 제2 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
  22. 청구항 21에 있어서,
    상기 유사도 카운터 mj(x,y)는 하기 수학식에 의해 유사도 개수를 카운트 하는, 컴퓨팅 장치.
    (수학식)
    Figure pat00060

    dc,j p(x,y) : 컬러 강도 유사도 거리(p=i인 경우) 및 그래디언트 유사도 거리(p=g인 경우)를 각각 포함하는 개별 유사도 거리
    hp(x,y) : 기 설정된 컬러 강도 임계값(p=i인 경우) 및 그래디언트 임계값(p=g인 경우)을 포함하는 임계값
    dc,j f(x,y) : 적응적 조합 거리
    hg(x,y) : 그래디언트 임계값
  23. 청구항 22에 있어서,
    상기 적응적 조합 거리(dc,j f(x,y))는 하기의 수학식에 의해 산출되는, 컴퓨팅 장치.
    (수학식)
    Figure pat00061

    αc : 조합 가중치 팩터
    dc,j i(x,y) : 컬러 강도 유사도 거리
    dc,j g(x,y) : 그래디언트 유사도 거리
  24. 청구항 23에 있어서,
    상기 조합 가중치 팩터(αc)는 하기의 수학식에 의해 결정되는, 컴퓨팅 장치.
    (수학식)
    Figure pat00062

    max(Gc) : 그래디언트 영상의 프레임의 최대 기울기 크기
    gc(x,y) : 해당 픽셀(x,y)의 기울기 크기
  25. 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    입력 영상으로부터 그래디언트(gradient) 영상을 생성하는 단계;
    상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하는 단계; 및
    상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하는 단계를 수행하도록 하는, 컴퓨터 프로그램.
KR1020210183243A 2021-12-20 2021-12-20 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 KR20230094075A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210183243A KR20230094075A (ko) 2021-12-20 2021-12-20 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183243A KR20230094075A (ko) 2021-12-20 2021-12-20 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR20230094075A true KR20230094075A (ko) 2023-06-27

Family

ID=86947290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183243A KR20230094075A (ko) 2021-12-20 2021-12-20 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치

Country Status (1)

Country Link
KR (1) KR20230094075A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101716365B1 (ko) 2015-05-14 2017-03-15 군산대학교산학협력단 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101716365B1 (ko) 2015-05-14 2017-03-15 군산대학교산학협력단 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US10198823B1 (en) Segmentation of object image data from background image data
US9965719B2 (en) Subcategory-aware convolutional neural networks for object detection
Rosin Unimodal thresholding
JP6458394B2 (ja) 対象追跡方法及び対象追跡装置
US9767596B2 (en) Method and apparatus for processing depth image
WO2019114036A1 (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN111488826A (zh) 一种文本识别方法、装置、电子设备和存储介质
US20130101208A1 (en) Background understanding in video data
US20210124928A1 (en) Object tracking methods and apparatuses, electronic devices and storage media
US20220237403A1 (en) Neural network based scene text recognition
CN112149476B (zh) 目标检测方法、装置、设备和存储介质
WO2009152509A1 (en) Method and system for crowd segmentation
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质
Abdelali et al. Fast and robust object tracking via accept–reject color histogram-based method
CN113177497B (zh) 视觉模型的训练方法、车辆识别方法及装置
KR101517538B1 (ko) 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR20230094075A (ko) 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
He et al. A Pedestrian Detection Method Using SVM and CNN Multistage Classification.
JP2014203133A (ja) 画像処理装置、画像処理方法
Yang et al. Visual detection and tracking algorithms for human motion
Iyidir et al. Adaptive visual obstacle detection for mobile robots using monocular camera and ultrasonic sensor
Kim et al. Background modeling using adaptive properties of hybrid features