KR20230094075A - 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents
영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 Download PDFInfo
- Publication number
- KR20230094075A KR20230094075A KR1020210183243A KR20210183243A KR20230094075A KR 20230094075 A KR20230094075 A KR 20230094075A KR 1020210183243 A KR1020210183243 A KR 1020210183243A KR 20210183243 A KR20210183243 A KR 20210183243A KR 20230094075 A KR20230094075 A KR 20230094075A
- Authority
- KR
- South Korea
- Prior art keywords
- gradient
- frame
- image
- input image
- pixel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000014509 gene expression Effects 0.000 claims description 26
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000009499 grossing Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims 3
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 영상 내 객체 감지 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력 영상으로부터 그래디언트(gradient) 영상을 생성하는 단계, 입력 영상의 프레임 시퀀스 및 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하는 단계, 및 입력 영상의 프레임 시퀀스, 그래디언트 영상의 프레임 시퀀스, 입력 영상의 기본 샘플, 및 그래디언트 영상의 기본 샘플에 기반하여 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하는 단계를 포함한다.
Description
본 발명의 실시예는 영상 내 객체 감지 기술과 관련된다.
움직이는 객체 감지 기술은 수년 동안 중요한 연구 관심사로서 공항 모니터링, 해상 모니터링, 영상 감시, 및 객체 추적 등에 사용되고 있다. 또한, 움직이는 객체 감지 기술은 그 이외에도 클라우드 컴퓨팅, IoT, 에지 컴퓨팅, 로봇 공학, 스마트 환경, 스마트 홈, 스마트 시티, 자율 주행 등 다양한 분야로 그 적용 분야가 확대되고 있는 추세이다.
그러나, 조명 변화, 그림자, 간헐적인 개체 움직임, 불안정한 영상, 낮은 프레임 속도 등의 문제와 흐리거나 눈이 내리는 날씨, 난기류, 열 등과 같이 분석이 어려운 배경 장면이 있는 영상에서는 높은 정확도로 움직이는 객체(즉, 전경)을 감지하기 어렵다.
본 발명의 실시예는 영상 내 객체를 정확히 감지할 수 있는 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 영상 내 객체 감지 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력 영상으로부터 그래디언트(gradient) 영상을 생성하는 단계; 상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하는 단계; 및 상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하는 단계를 포함한다.
상기 입력 영상은, 논-스무딩(Non-Smoothing) 영상이고, 상기 그래디언트 영상을 생성하는 단계는, 상기 입력 영상의 프레임에 대해 수평 방향 그래디언트 프레임을 생성하는 단계; 상기 입력 영상의 프레임에 대해 수직 방향 그래디언트 프레임을 생성하는 단계; 상기 수평 방향 그래디언트 프레임 및 상기 수직 방향 그래디언트 프레임에 기반하여 비 정규화된 그래디언트 프레임을 생성하는 단계; 및 상기 비 정규화된 그래디언트 프레임을 정규화하여 정규화된 그래디언트 프레임을 생성하는 단계를 포함할 수 있다.
상기 수평 방향 그래디언트 프레임은, 하기의 수학식 1을 통해 생성되고, 상기 수직 방향 그래디언트 프레임은, 하기의 수학식 2를 통해 생성될 수 있다.
(수학식 1)
Hc : 수평 방향 그래디언트 프레임
Ic : 입력 영상
Kh : 소벨 수평 커널
(수학식 2)
Vc : 수직 방향 그래디언트 프레임
Kv : 소벨 수직 커널
상기 비정규화된 그래디언트 프레임의 픽셀(mc)은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
hc : 수평 방향 그래디언트 프레임의 픽셀
vc : 수직 방향 그래디언트 프레임의 픽셀
상기 정규화된 그래디언트 프레임의 픽셀(gc)은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
max(Mc) : 비 정규화된 그래디언트 프레임에서 최대 기울기 크기
상기 분류하는 단계는, 기 설정된 유사도 카운터에 의해 카운트 된 유사도 수가 기 설정된 임계 유사도 수 미만인지에 따라 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경 또는 배경으로 분류하고, 상기 유사도 카운터는, 상기 입력 영상의 현재 프레임에서 소정 픽셀의 이웃에 위치하고 임의로 선택되는 픽셀들의 상기 현재 프레임 이전의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 것일 수 있다.
상기 분류하는 단계는, 상기 입력 영상의 현재 프레임에서 좌표 (x,y)를 가지는 픽셀을 하기 수학식에 의해 전경 또는 배경으로 분류할 수 있다.
(수학식)
mj(x,y) : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터
Mmin : 기 설정된 임계 유사도 수
N : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수로서 2 이상의 자연수
f(x,y) = 1이면 해당 픽셀(x,y)은 전경, f(x,y) = 0이면 해당 픽셀(x,y)은 배경
상기 분류하는 단계는, 상기 입력 영상에서 해당 픽셀(x,y)과 상기 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 컬러 강도 유사도 거리를 산출하는 단계; 상기 그래디언트 영상에서 해당 픽셀(x,y)과 상기 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 그래디언트 유사도 거리를 산출하는 단계; 및 상기 컬러 강도 유사도 거리가 기 설정된 컬러 강도 임계 값을 초과하고 상기 그래디언트 유사도 거리가 기 설정된 그래디언트 임계 값을 초과하는 제1 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하는 단계를 포함할 수 있다.
상기 분류하는 단계는, 상기 컬러 강도 유사도 거리와 상기 그래디언트 유사도 거리를 기 설정되는 조합 가중치 팩터에 따라 조합하여 적응적 조합 거리를 산출하는 단계; 상기 적응적 조합 거리가 상기 기 설정된 그래디언트 임계 값을 초과하는 제2 조건을 만족하는지 확인하는 단계; 및 상기 제1 조건을 만족하거나 상기 제2 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하는 단계를 더 포함할 수 있다.
상기 유사도 카운터 mj(x,y)는 하기 수학식에 의해 유사도 개수를 카운트 할 수 있다.
(수학식)
dc,j p(x,y) : 컬러 강도 유사도 거리(p=i인 경우) 및 그래디언트 유사도 거리(p=g인 경우)를 각각 포함하는 개별 유사도 거리
hp(x,y) : 기 설정된 컬러 강도 임계값(p=i인 경우) 및 그래디언트 임계값(p=g인 경우)을 포함하는 임계값
dc,j f(x,y) : 적응적 조합 거리
hg(x,y) : 그래디언트 임계값
상기 적응적 조합 거리(dc,j f(x,y))는 하기의 수학식에 의해 산출될 수 있다.
(수학식)
αc : 조합 가중치 팩터
dc,j i(x,y) : 컬러 강도 유사도 거리
dc,j g(x,y) : 그래디언트 유사도 거리
상기 조합 가중치 팩터(αc)는 하기의 수학식에 의해 결정될 수 있다.
(수학식)
max(Gc) : 그래디언트 영상의 프레임의 최대 기울기 크기
gc(x,y) : 해당 픽셀(x,y)의 기울기 크기
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 입력 영상으로부터 그래디언트(gradient) 영상을 생성하기 위한 명령; 상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하기 위한 명령; 및 상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하기 위한 명령을 포함한다.
상기 입력 영상은, 논-스무딩(Non-Smoothing) 영상이고, 상기 그래디언트 영상을 생성하기 위한 명령은, 상기 입력 영상의 프레임에 대해 수평 방향 그래디언트 프레임을 생성하기 위한 명령; 상기 입력 영상의 프레임에 대해 수직 방향 그래디언트 프레임을 생성하기 위한 명령; 상기 수평 방향 그래디언트 프레임 및 상기 수직 방향 그래디언트 프레임에 기반하여 비 정규화된 그래디언트 프레임을 생성하기 위한 명령; 및 상기 비 정규화된 그래디언트 프레임을 정규화하여 정규화된 그래디언트 프레임을 생성하기 위한 명령을 포함할 수 있다.
상기 수평 방향 그래디언트 프레임은, 하기의 수학식 1을 통해 생성되고, 상기 수직 방향 그래디언트 프레임은, 하기의 수학식 2를 통해 생성될 수 있다.
(수학식 1)
Hc : 수평 방향 그래디언트 프레임
Ic : 입력 영상
Kh : 소벨 수평 커널
(수학식 2)
Vc : 수직 방향 그래디언트 프레임
Kv : 소벨 수직 커널
상기 비정규화된 그래디언트 프레임의 픽셀(mc)은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
hc : 수평 방향 그래디언트 프레임의 픽셀
vc : 수직 방향 그래디언트 프레임의 픽셀
상기 정규화된 그래디언트 프레임의 픽셀(gc)은 하기의 수학식을 통해 산출할 수 있다.
(수학식)
max(Mc) : 비 정규화된 그래디언트 프레임에서 최대 기울기 크기
상기 분류하기 위한 명령은, 기 설정된 유사도 카운터에 의해 카운트 된 유사도 수가 기 설정된 임계 유사도 수 미만인지에 따라 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경 또는 배경으로 분류하고, 상기 유사도 카운터는, 상기 입력 영상의 현재 프레임에서 소정 픽셀의 이웃에 위치하고 임의로 선택되는 픽셀들의 상기 현재 프레임 이전의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 것일 수 있다.
상기 분류하기 위한 명령은, 상기 입력 영상의 현재 프레임에서 좌표 (x,y)를 가지는 픽셀을 하기 수학식에 의해 전경 또는 배경으로 분류할 수 있다.
(수학식)
mj(x,y) : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터
Mmin : 기 설정된 임계 유사도 수
N : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수로서 2 이상의 자연수
f(x,y) = 1이면 해당 픽셀(x,y)은 전경, f(x,y) = 0이면 해당 픽셀(x,y)은 배경
상기 분류하기 위한 명령은, 상기 입력 영상에서 해당 픽셀(x,y)과 상기 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 컬러 강도 유사도 거리를 산출하기 위한 명령; 상기 그래디언트 영상에서 해당 픽셀(x,y)과 상기 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 그래디언트 유사도 거리를 산출하기 위한 명령; 및 상기 컬러 강도 유사도 거리가 기 설정된 컬러 강도 임계 값을 초과하고 상기 그래디언트 유사도 거리가 기 설정된 그래디언트 임계 값을 초과하는 제1 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하기 위한 명령을 포함할 수 있다.
상기 분류하기 위한 명령은, 상기 컬러 강도 유사도 거리와 상기 그래디언트 유사도 거리를 기 설정되는 조합 가중치 팩터에 따라 조합하여 적응적 조합 거리를 산출하기 위한 명령; 상기 적응적 조합 거리가 상기 기 설정된 그래디언트 임계 값을 초과하는 제2 조건을 만족하는지 확인하기 위한 명령; 및 상기 제1 조건을 만족하거나 상기 제2 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하기 위한 명령을 더 포함할 수 있다.
상기 유사도 카운터 mj(x,y)는 하기 수학식에 의해 유사도 개수를 카운트 할 수 있다.
(수학식)
dc,j p(x,y) : 컬러 강도 유사도 거리(p=i인 경우) 및 그래디언트 유사도 거리(p=g인 경우)를 각각 포함하는 개별 유사도 거리
hp(x,y) : 기 설정된 컬러 강도 임계값(p=i인 경우) 및 그래디언트 임계값(p=g인 경우)을 포함하는 임계값
dc,j f(x,y) : 적응적 조합 거리
hg(x,y) : 그래디언트 임계값
상기 적응적 조합 거리(dc,j f(x,y))는 하기의 수학식에 의해 산출될 수 있다.
(수학식)
αc : 조합 가중치 팩터
dc,j i(x,y) : 컬러 강도 유사도 거리
dc,j g(x,y) : 그래디언트 유사도 거리
상기 조합 가중치 팩터(αc)는 하기의 수학식에 의해 결정될 수 있다.
(수학식)
max(Gc) : 그래디언트 영상의 프레임의 최대 기울기 크기
gc(x,y) : 해당 픽셀(x,y)의 기울기 크기
개시되는 실시예에 의하면, 논 스무딩 입력 영상뿐만 아니라 그래디언트 영상을 함께 고려하고, 적응적 조합 거리를 이용하여 각 픽셀을 전경 또는 배경으로 분류함으로써, 입력 영상 내 객체를 보다 정확히 감지할 수 있게 된다. 그리고, 딥러닝 기반의 객체 감지 방법과는 달리, 별도의 훈련 데이터가 필요 없고, 입력 영상의 첫 번째 프레임부터 객체 감지를 수행할 수 있기 때문에, 메모리 사용량을 줄이면서 실시간으로 객체를 감지할 수 있게 된다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 객체 감지 방법을 나타낸 흐름도
도 3은 본 발명의 일 실시예에서 입력 영상의 프레임 시퀀스로부터 그래디언트 프레임 시퀀스를 생성하는 상태를 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 객체 감지 방법을 나타낸 흐름도
도 3은 본 발명의 일 실시예에서 입력 영상의 프레임 시퀀스로부터 그래디언트 프레임 시퀀스를 생성하는 상태를 나타낸 도면
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 영상에서 움직이는 객체를 감지하기 위한 컴퓨팅 장치일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 객체 감지 방법을 나타낸 흐름도이다. 도 2에 도시된 방법은 전술한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 101에서, 컴퓨팅 장치(12)는 입력 영상으로부터 그래디언트(gradient) 영상을 생성할 수 있다. 즉, 컴퓨팅 장치(12)는 입력 영상의 프레임 시퀀스로부터 그래디언트 프레임 시퀀스를 생성할 수 있다. 도 3은 본 발명의 일 실시예에서 입력 영상의 프레임 시퀀스로부터 그래디언트 프레임 시퀀스를 생성하는 상태를 나타낸 도면이다.
여기서, 입력 영상은 RGB 컬러 영상이 사용될 수 있다. 이하에서, RGB 컬러 영상의 입력 영상은 Ic로 표시될 수 있다. RGB 색상 공간은 추가 색상 변환 비용이 들지 않고 평균적으로 실내 및 실외 영상에서 객체 감지에 강력하므로 입력 영상으로 RGB 컬러 영상을 사용할 수 있다. 그러나, 이에 한정되는 것은 아니며 입력 영상은 그레이(Gray) 영상이 사용될 수도 있음은 물론이다.
그리고, 입력 영상(Ic)은 논-스무딩(Non-Smoothing) 영상을 사용할 수 있다. 즉, 스무딩(smoothing) 기능(예를 들어, 가우디 스무딩, 중앙값 스무딩, 평균 스무딩 등)은 노이즈 감소 외에 필수 변경 정보를 왜곡하므로, 입력 영상(Ic)은 논-스무딩(Non-Smoothing) 영상을 사용할 수 있다. 즉, 입력 영상(Ic)은 스무딩 필터를 통해 평활화 되지 않은 영상일 수 있다. 논-스무딩 영상을 통해 후술하는 온전한 기울기 크기(gradient magnitude)를 얻을 수 있게 된다.
구체적으로, 컴퓨팅 장치(12)는 입력 영상(Ic)의 프레임에 대해 수평 방향 그래디언트 프레임 및 수직 방향 그래디언트 프레임을 각각 생성할 수 있다. 예시적인 실시예에서, 컴퓨팅 장치(12)는 소벨 수평 커널(sobel horizontal kernel) 및 소벨 수직 커널(sobel vertical kernel)을 입력 영상(Ic)에 적용하여 수평 방향 그래디언트 프레임 및 수직 방향 그래디언트 프레임을 각각 생성할 수 있다.
컴퓨팅 장치(12)는 아래의 수학식 1에 의해 수평 방향 그래디언트 프레임(Hc)을 생성하고, 아래의 수학식 2에 의해 수직 방향 그래디언트 프레임(Vc)을 생성할 수 있다.
(수학식 1)
(수학식 2)
수학식 1 및 수학식 2에서 *는 컨볼루션(convolution) 기호를 의미한다. 그리고, 이하에서 대문자 표기는 프레임 단위를 나타내고, 소문자 표기는 픽셀 단위를 나타내기 위한 것일 수 있다.
컴퓨팅 장치(12)는 수평 방향 그래디언트 프레임(Hc) 및 수직 방향 그래디언트 프레임(Vc)에 기반하여 비 정규화된 그래디언트 프레임을 산출할 수 있다. 여기서, 비 정규화된(non-normalized) 그래디언트 프레임을 Mc로 표시한다면, 비 정규화된 그래디언트 프레임의 픽셀(즉, 비 정규화된 그래디언트 픽셀)은 mc로 표시할 수 있다. 비 정규화된 그래디언트 픽셀(mc)은 하기의 수학식 3으로부터 산출할 수 있다.
(수학식 3)
hc : 수평 방향 그래디언트 프레임의 픽셀
vc : 수직 방향 그래디언트 프레임의 픽셀
컴퓨팅 장치(12)는 각 그래디언트 픽셀이 0에서 255 사이의 값을 갖도록 비 정규화된 그래디언트 프레임을 정규화 할 수 있다. 이때, 정규화된 그래디언트 프레임은 Gc로 표시될 수 있다. 정규화된 그래디언트 프레임(Gc)은 정규화된 그래디언트 픽셀들로 이루어지며, 컴퓨팅 장치(12)는 아래의 수학식 4를 통해 정규화된 그래디언트 픽셀(gc)을 산출할 수 있다.
(수학식 4)
max(Mc) : 비 정규화된 그래디언트 프레임에서 최대 기울기 크기
단계 103에서, 컴퓨팅 장치(12)는 입력 영상(Ic)의 프레임 시퀀스 및 그래디언트 영상(Gc)의 프레임 시퀀스 중 첫 번째 프레임을 각각 기본 샘플로 설정할 수 있다.
여기서, 입력 영상(Ic)의 기본 샘플을 Bc I로 표시하고, 그래디언트 영상(Gc)의 기본 샘플을 Bc G로 표시할 수 있다. 그리고, (x,y) 좌표를 갖는 기본 샘플의 픽셀은 소문자로 표시할 수 있다. 즉, 입력 영상의 기본 샘플에서 (x,y) 좌표를 갖는 픽셀은 bc i(x,y)로 표시하고, 그래디언트 영상의 기본 샘플에서 (x,y) 좌표를 갖는 픽셀은 bc g(x,y)로 표시할 수 있으며, bc i(x,y) 및 bc g(x,y)는 하기의 수학식 5로 나타낼 수 있다.
(수학식 5)
여기서, 0, 1, 2, 3, ??, N-1은 기본 샘플의 인덱스를 나타낼 수 있다. N은 좌표(x,y)를 가지는 픽셀의 이웃에서 임의로 선택된 기본 샘플의 픽셀 수를 의미할 수 있다.
한편, 객체 감지의 초기 단계에서, 입력 영상 및 그래디언트 영상의 첫 번째 프레임을 각각 기본 샘플(Bc I) 및 기본 샘플(Bc G)로 설정하였으나, 시간이 경과함에 따라 기본 샘플(Bc I) 및 기본 샘플(Bc G)은 다른 것으로 업데이트 될 수 있다.
단계 105에서, 컴퓨팅 장치(12)는 입력 영상(Ic)의 기본 샘플(Bc I) 및 그래디언트 영상(Gc)의 기본 샘플(Bc G)에 기반하여 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류할 수 있다. 여기서, 전경으로 분류되는 픽셀들의 집합을 통해 입력 영상 내 객체를 감지할 수 있게 된다.
구체적으로, 컴퓨팅 장치(12)는 다음의 수학식 6을 통해 입력 영상의 현재 프레임(현재 프레임은 관측의 대상이 되는 프레임을 의미한다)에서 소정의 좌표(x, y)를 가지는 픽셀(즉, 관찰된 픽셀(observed pixel))을 전경 또는 배경으로 분류할 수 있다.
(수학식 6)
여기서, f(x,y)가 1이면 해당 픽셀이 전경으로 분류되고, f(x,y)가 0이면 해당 픽셀이 배경으로 분류되게 된다.
수학식 6에서, Mmin은 전경 또는 배경을 결정하기 위한 기 설정된 임계 유사도 수를 나타낼 수 있다. mj(x,y)는 유사도의 수를 카운트하기 위한 유사도 카운터일 수 있다. 즉, mj(x,y)는 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터일 수 있다. 여기서, 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수는 N(N은 2 이상의 자연수)개일 수 있다.
수학식 6에 의하면, 컴퓨팅 장치(12)는 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 N개의 픽셀들의 유사도의 개수를 총합한 값이 기 설정된 임계 유사도 수 미만이면 해당 픽셀(x,y)을 전경(즉, f(x,y) = 1)으로 분류하고, 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 N개의 픽셀들의 유사도의 개수를 총합한 값이 기 설정된 임계 유사도 이상이면 해당 픽셀(x,y)을 배경(즉, f(x,y) = 0)으로 분류할 수 있다.
한편, 유사도 카운터 mj(x,y)는 하기의 수학식 7로 나타낼 수 있다.
(수학식 7)
수학식 7에서 mj(x,y)가 0이면 비유사도(예를 들어, change)를 나타내는 것으로 유사도 수가 카운트가 되지 않고, mj(x,y)가 1이면 유사도(예를 들어, no change)를 나타내는 것으로 유사도 수를 카운트하게 된다.
즉, mj(x,y)가 0(즉, 유사도 카운트 값이 0)이라는 것은 해당 픽셀(x,y)의 이웃에서 선택된 j번째 픽셀의 이전 프레임과 비교 결과가 비유사도(즉, 이전 프레임과 비교하여 변경됨)로서 유사도 수가 카운트가 되지 않음을 나타낼 수 있다.
또한, mj(x,y)가 1(즉, 유사도 카운트 값이 1)이라는 것은 해당 픽셀(x,y)의 이웃에서 선택된 j번째 픽셀의 이전 프레임과 비교 결과가 유사도(즉, 이전 프레임과 비교하여 변경되지 않음)로서 유사도 수가 카운트 됨을 나타낼 수 있다.
수학식 7에서, 연산자는 논리적 OR 연산자를 나타낸다. hp(x,y), p∈{i,g}는 컬러 강도 임계값(color intensity threshold)(hi(x,y)) 및 그래디언트 임계값(gradient threshold)(hg(x,y))을 각각 포함하는 임계값을 나타낸다.
또한, dc,j p(x,y), p∈{i,g}, c∈{R,G,B}, j∈[0, N-1]는 컬러 강도 유사도 거리(dc,j i(x,y)) 및 그래디언트 유사도 거리(dc,j g(x,y))를 각각 포함하는 개별 유사도 거리를 나타낸다.
컬러 강도 유사도 거리(dc,j i(x,y))는 입력 영상의 프레임(즉, 현재 프레임)에서 해당 픽셀(x,y)과 입력 영상의 기본 샘플(예를 들어, 입력 영상의 첫 번째 프레임)에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리를 나타낼 수 있다. 예를 들어, 상기 유사도 거리는 입력 영상의 프레임에서 해당 픽셀(x,y)과 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에 위치하는 j번째 픽셀 간의 L1 유사도 거리일 수 있다.
그래디언트 유사도 거리(dc,j g(x,y))는 그래디언트 영상의 프레임(즉, 현재 프레임)에서 해당 픽셀(x,y)과 그래디언트 영상의 기본 샘플(예를 들어, 그래디언트 영상의 첫 번째 프레임)에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리를 나타낼 수 있다. 예를 들어, 상기 유사도 거리는 그래디언트 영상의 프레임에서 해당 픽셀(x,y)과 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에 위치하는 j번째 픽셀 간의 L1 유사도 거리일 수 있다.
한편, 개별 유사도 거리 dc,j p(x,y)는 하기의 수학식 8로 나타낼 수 있다. 여기서, p∈{i,g}, c∈{R,G,B}이다.
(수학식 8)
수학식 8에서, p가 i인 경우, pc(x,y)는 ic(x,y)를 나타내는 것으로 입력 영상의 프레임에서 (x,y) 좌표의 픽셀을 의미하게 된다. 그리고, 개별 유사도 거리 dc,j p(x,y)는 컬러 강도 유사도 거리(dc,j i(x,y))를 의미하게 된다. 즉, 수학식 8에서, p가 i인 경우, 수학식 8은 다음의 수학식 8-1과 같이 표현될 수 있다.
(수학식 8-1)
한편, p가 g인 경우, pc(x,y)는 gc(x,y)를 나타내는 것으로 그래디언트 영상의 프레임에서 (x,y) 좌표의 픽셀을 의미하게 된다. 그리고, 개별 유사도 거리 dc,j p(x,y)는 그래디언트 유사도 거리(dc,j g(x,y))를 의미하게 된다. 즉, 수학식 8에서, p가 g인 경우, 수학식 8은 다음의 수학식 8-2와 같이 표현될 수 있다.
(수학식 8-2)
또한, 수학식 7에서 dc,j f(x,y)는 컬러 강도 유사도 거리(dc,j i(x,y)) 및 그래디언트 유사도 거리(dc,j g(x,y))의 적응적 조합 거리를 나타낸다. 적응적 조합 거리(dc,j f(x,y))는 하기의 수학식 9로 나타낼 수 있다.
(수학식 9)
αc, c∈{R,G,B}는 조합 가중치 팩터로서, 하기의 수학식 10에 의해 동적으로 결정될 수 있다. 조합 가중치 팩터(αc)는 그래디언트 영상의 프레임(Gc)의 각 픽셀에 대해 개별적으로 계산될 수 있다.
(수학식 10)
max(Gc) : 그래디언트 프레임의 최대 기울기 크기
gc(x,y) : 해당 픽셀의 기울기 크기
수학식 9에 의하면, 객체의 경계(예를 들어, 높은 그래디언트 값을 갖는 경우)에 대해 그래디언트 정보는 색상 강도보다 더 가중되는 반면, 객체의 나머지 부분(예를 들어, 낮은 그래디언트 값을 갖는 경우)에 대해서는 그래디언트 정보가 색상 강도 보다 덜 가중되게 된다.
즉, 적응적 조합 거리(dc,j f(x,y))는 컬러 강도 유사도 거리(dc,j i(x,y))와 그래디언트 유사도 거리(dc,j g(x,y))가 합하여진 것으로, 조합 가중치 팩터에 따라 컬러 강도 유사도 거리(dc,j i(x,y)) 및 그래디언트 유사도 거리(dc,j g(x,y))에 부여되는 가중치가 동적으로 달라지게 된다.
한편, 수학식 7을 살펴보면, 유사도 카운터 mj(x,y)는 가 되는 제1 조건을 만족하거나 가 되는 제2 조건을 만족할 때 유사도 카운트 값이 0이 되게 된다. 즉, 개별 유사도 거리(dc,j p(x,y))가 기 설정된 임계값(hp(x,y))을 초과하거나, 적응적 조합 거리(dc,j f(x,y))가 기 설정된 그래디언트 임계값(hg(x,y))을 초과하는 경우, 유사도 카운트 값이 0이 되게 된다.
여기서, 제1 조건 또는 제2 조건을 만족할 때, 유사도 카운트 값이 0이 되도록 함으로써, 입력 영상에서 경계 부분의 변화를 효과적으로 감지할 수 있게 된다. 그러나, 이에 한정되는 것은 아니며 제1 조건만 만족하는 경우에도 유사도 카운트 값이 0이 되도록 할 수도 있다. 여기서, 제1 조건은 컬러 강도 유사도 거리(dc,j i(x,y))가 기 설정된 컬러 강도 임계값(hi(x,y))을 초과하면서 그래디언트 유사도 거리(dc,j g(x,y))가 기 설정된 그래디언트 임계값(hg(x,y))을 초과하는 경우를 의미할 수 있다.
개시되는 실시예에 의하면, 논 스무딩 입력 영상뿐만 아니라 그래디언트 영상을 함께 고려하고, 적응적 조합 거리를 이용하여 각 픽셀을 전경 또는 배경으로 분류함으로써, 입력 영상 내 객체를 보다 정확히 감지할 수 있게 된다. 그리고, 딥러닝 기반의 객체 감지 방법과는 달리, 별도의 훈련 데이터가 필요 없고, 입력 영상의 첫 번째 프레임부터 객체 감지를 수행할 수 있기 때문에, 메모리 사용량을 줄이면서 실시간으로 객체를 감지할 수 있게 된다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10 : 컴퓨팅 환경
12 : 컴퓨팅 장치
14 : 프로세서
16 : 컴퓨터 판독 가능 저장 매체
18 : 통신 버스
20 : 프로그램
22 : 입출력 인터페이스
24 : 입출력 장치
26 : 네트워크 통신 인터페이스
12 : 컴퓨팅 장치
14 : 프로세서
16 : 컴퓨터 판독 가능 저장 매체
18 : 통신 버스
20 : 프로그램
22 : 입출력 인터페이스
24 : 입출력 장치
26 : 네트워크 통신 인터페이스
Claims (25)
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
입력 영상으로부터 그래디언트(gradient) 영상을 생성하는 단계;
상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하는 단계; 및
상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하는 단계를 포함하는, 영상 내 객체 감지 방법.
- 청구항 1에 있어서,
상기 입력 영상은, 논-스무딩(Non-Smoothing) 영상이고,
상기 그래디언트 영상을 생성하는 단계는,
상기 입력 영상의 프레임에 대해 수평 방향 그래디언트 프레임을 생성하는 단계;
상기 입력 영상의 프레임에 대해 수직 방향 그래디언트 프레임을 생성하는 단계;
상기 수평 방향 그래디언트 프레임 및 상기 수직 방향 그래디언트 프레임에 기반하여 비 정규화된 그래디언트 프레임을 생성하는 단계; 및
상기 비 정규화된 그래디언트 프레임을 정규화하여 정규화된 그래디언트 프레임을 생성하는 단계를 포함하는, 영상 내 객체 감지 방법.
- 청구항 1에 있어서,
상기 분류하는 단계는,
기 설정된 유사도 카운터에 의해 카운트 된 유사도 수가 기 설정된 임계 유사도 수 미만인지에 따라 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경 또는 배경으로 분류하고,
상기 유사도 카운터는, 상기 입력 영상의 현재 프레임에서 소정 픽셀의 이웃에 위치하고 임의로 선택되는 픽셀들의 상기 현재 프레임 이전의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 것인, 영상 내 객체 감지 방법.
- 청구항 6에 있어서,
상기 분류하는 단계는,
상기 입력 영상의 현재 프레임에서 좌표 (x,y)를 가지는 픽셀을 하기 수학식에 의해 전경 또는 배경으로 분류하는, 영상 내 객체 감지 방법.
(수학식)
mj(x,y) : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터
Mmin : 기 설정된 임계 유사도 수
N : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수로서 2 이상의 자연수
f(x,y) = 1이면 해당 픽셀(x,y)은 전경, f(x,y) = 0이면 해당 픽셀(x,y)은 배경
- 청구항 7에 있어서,
상기 분류하는 단계는,
상기 입력 영상에서 해당 픽셀(x,y)과 상기 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 컬러 강도 유사도 거리를 산출하는 단계;
상기 그래디언트 영상에서 해당 픽셀(x,y)과 상기 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 그래디언트 유사도 거리를 산출하는 단계; 및
상기 컬러 강도 유사도 거리가 기 설정된 컬러 강도 임계 값을 초과하고 상기 그래디언트 유사도 거리가 기 설정된 그래디언트 임계 값을 초과하는 제1 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하는 단계를 포함하는, 영상 내 객체 감지 방법.
- 청구항 8에 있어서,
상기 분류하는 단계는,
상기 컬러 강도 유사도 거리와 상기 그래디언트 유사도 거리를 기 설정되는 조합 가중치 팩터에 따라 조합하여 적응적 조합 거리를 산출하는 단계;
상기 적응적 조합 거리가 상기 기 설정된 그래디언트 임계 값을 초과하는 제2 조건을 만족하는지 확인하는 단계; 및
상기 제1 조건을 만족하거나 상기 제2 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하는 단계를 더 포함하는, 영상 내 객체 감지 방법.
- 하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
입력 영상으로부터 그래디언트(gradient) 영상을 생성하기 위한 명령;
상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하기 위한 명령; 및
상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하기 위한 명령을 포함하는, 컴퓨팅 장치.
- 청구항 13에 있어서,
상기 입력 영상은, 논-스무딩(Non-Smoothing) 영상이고,
상기 그래디언트 영상을 생성하기 위한 명령은,
상기 입력 영상의 프레임에 대해 수평 방향 그래디언트 프레임을 생성하기 위한 명령;
상기 입력 영상의 프레임에 대해 수직 방향 그래디언트 프레임을 생성하기 위한 명령;
상기 수평 방향 그래디언트 프레임 및 상기 수직 방향 그래디언트 프레임에 기반하여 비 정규화된 그래디언트 프레임을 생성하기 위한 명령; 및
상기 비 정규화된 그래디언트 프레임을 정규화하여 정규화된 그래디언트 프레임을 생성하기 위한 명령을 포함하는, 컴퓨팅 장치.
- 청구항 13에 있어서,
상기 분류하기 위한 명령은,
기 설정된 유사도 카운터에 의해 카운트 된 유사도 수가 기 설정된 임계 유사도 수 미만인지에 따라 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경 또는 배경으로 분류하고,
상기 유사도 카운터는, 상기 입력 영상의 현재 프레임에서 소정 픽셀의 이웃에 위치하고 임의로 선택되는 픽셀들의 상기 현재 프레임 이전의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 것인, 컴퓨팅 장치.
- 청구항 18에 있어서,
상기 분류하기 위한 명령은,
상기 입력 영상의 현재 프레임에서 좌표 (x,y)를 가지는 픽셀을 하기 수학식에 의해 전경 또는 배경으로 분류하는, 컴퓨팅 장치.
(수학식)
mj(x,y) : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀의 이전 프레임과 비교한 결과인 유사도의 개수를 카운트하기 위한 유사도 카운터
Mmin : 기 설정된 임계 유사도 수
N : 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 픽셀의 개수로서 2 이상의 자연수
f(x,y) = 1이면 해당 픽셀(x,y)은 전경, f(x,y) = 0이면 해당 픽셀(x,y)은 배경
- 청구항 19에 있어서,
상기 분류하기 위한 명령은,
상기 입력 영상에서 해당 픽셀(x,y)과 상기 입력 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 컬러 강도 유사도 거리를 산출하기 위한 명령;
상기 그래디언트 영상에서 해당 픽셀(x,y)과 상기 그래디언트 영상의 기본 샘플에서 해당 픽셀(x,y)의 이웃에서 임의로 선택되는 j번째 픽셀 간의 유사도 거리인 그래디언트 유사도 거리를 산출하기 위한 명령; 및
상기 컬러 강도 유사도 거리가 기 설정된 컬러 강도 임계 값을 초과하고 상기 그래디언트 유사도 거리가 기 설정된 그래디언트 임계 값을 초과하는 제1 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하기 위한 명령을 포함하는, 컴퓨팅 장치.
- 청구항 20에 있어서,
상기 분류하기 위한 명령은,
상기 컬러 강도 유사도 거리와 상기 그래디언트 유사도 거리를 기 설정되는 조합 가중치 팩터에 따라 조합하여 적응적 조합 거리를 산출하기 위한 명령;
상기 적응적 조합 거리가 상기 기 설정된 그래디언트 임계 값을 초과하는 제2 조건을 만족하는지 확인하기 위한 명령; 및
상기 제1 조건을 만족하거나 상기 제2 조건을 만족하는지에 따라 상기 유사도 카운터가 유사도 개수를 카운트 하기 위한 명령을 더 포함하는, 컴퓨팅 장치.
- 비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
입력 영상으로부터 그래디언트(gradient) 영상을 생성하는 단계;
상기 입력 영상의 프레임 시퀀스 및 상기 그래디언트 영상의 프레임 시퀀스 중 첫 번째 프레임을 각각 입력 영상의 기본 샘플 및 그래디언트 영상의 기본 샘플로 설정하는 단계; 및
상기 입력 영상의 프레임 시퀀스, 상기 그래디언트 영상의 프레임 시퀀스, 상기 입력 영상의 기본 샘플, 및 상기 그래디언트 영상의 기본 샘플에 기반하여 상기 입력 영상의 프레임 시퀀스에서 각 픽셀을 전경(foreground) 또는 배경(background)으로 분류하는 단계를 수행하도록 하는, 컴퓨터 프로그램.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210183243A KR20230094075A (ko) | 2021-12-20 | 2021-12-20 | 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210183243A KR20230094075A (ko) | 2021-12-20 | 2021-12-20 | 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230094075A true KR20230094075A (ko) | 2023-06-27 |
Family
ID=86947290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210183243A KR20230094075A (ko) | 2021-12-20 | 2021-12-20 | 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230094075A (ko) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101716365B1 (ko) | 2015-05-14 | 2017-03-15 | 군산대학교산학협력단 | 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법 |
-
2021
- 2021-12-20 KR KR1020210183243A patent/KR20230094075A/ko unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101716365B1 (ko) | 2015-05-14 | 2017-03-15 | 군산대학교산학협력단 | 실시간 가축 도난 감지를 위한 모듈화 기반의 지능형 영상 감시 시스템 및 그 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10198823B1 (en) | Segmentation of object image data from background image data | |
US9965719B2 (en) | Subcategory-aware convolutional neural networks for object detection | |
Rosin | Unimodal thresholding | |
JP6458394B2 (ja) | 対象追跡方法及び対象追跡装置 | |
US9767596B2 (en) | Method and apparatus for processing depth image | |
WO2019114036A1 (zh) | 人脸检测方法及装置、计算机装置和计算机可读存储介质 | |
CN111488826A (zh) | 一种文本识别方法、装置、电子设备和存储介质 | |
US20130101208A1 (en) | Background understanding in video data | |
US20210124928A1 (en) | Object tracking methods and apparatuses, electronic devices and storage media | |
US20220237403A1 (en) | Neural network based scene text recognition | |
CN112149476B (zh) | 目标检测方法、装置、设备和存储介质 | |
WO2009152509A1 (en) | Method and system for crowd segmentation | |
US11367206B2 (en) | Edge-guided ranking loss for monocular depth prediction | |
CN111950345A (zh) | 摄像头的识别方法、装置、电子设备和存储介质 | |
Abdelali et al. | Fast and robust object tracking via accept–reject color histogram-based method | |
CN113177497B (zh) | 视觉模型的训练方法、车辆识别方法及装置 | |
KR101517538B1 (ko) | 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체 | |
KR101592087B1 (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 | |
KR20230094075A (ko) | 영상 내 객체 감지 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
CN113762027B (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
He et al. | A Pedestrian Detection Method Using SVM and CNN Multistage Classification. | |
JP2014203133A (ja) | 画像処理装置、画像処理方法 | |
Yang et al. | Visual detection and tracking algorithms for human motion | |
Iyidir et al. | Adaptive visual obstacle detection for mobile robots using monocular camera and ultrasonic sensor | |
Kim et al. | Background modeling using adaptive properties of hybrid features |