KR101899242B1 - 질감정보를 이용한 돈방의 배경 제거 방법 및 장치 - Google Patents
질감정보를 이용한 돈방의 배경 제거 방법 및 장치 Download PDFInfo
- Publication number
- KR101899242B1 KR101899242B1 KR1020170038698A KR20170038698A KR101899242B1 KR 101899242 B1 KR101899242 B1 KR 101899242B1 KR 1020170038698 A KR1020170038698 A KR 1020170038698A KR 20170038698 A KR20170038698 A KR 20170038698A KR 101899242 B1 KR101899242 B1 KR 101899242B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- space
- gabor filter
- area
- noise
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003628 erosive effect Effects 0.000 claims abstract description 42
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 241000282887 Suidae Species 0.000 description 51
- 241000282898 Sus scrofa Species 0.000 description 38
- 238000010586 diagram Methods 0.000 description 17
- 241001071864 Lethrinus laticaudis Species 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 4
- 235000015277 pork Nutrition 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 241000283074 Equus asinus Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 208000007212 Foot-and-Mouth Disease Diseases 0.000 description 1
- 241000710198 Foot-and-mouth disease virus Species 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
질감정보를 이용한 돈방의 배경 제거 방법 및 장치가 제시된다. 본 발명에서 제안하는 질감정보를 이용한 돈방의 배경 제거 방법은 카메라를 통해 공간 내 객체를 촬영하여 깊이 정보 영상을 획득하고, 획득된 영상의 깊이 정보를 보정하는 단계, 깊이 정보가 보정된 영상을 가버필터에 투영시켜 바닥 영역을 제거하는 단계, 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행하는 단계, 차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행하는 단계 및 침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행하는 단계를 포함한다.
Description
본 발명은 질감정보를 이용하여 돈방의 배경을 제거하는 영상처리 방법 중 하나로서, 벽 영역을 제거하여 돈방의 배경과 돼지를 구분하기 위한 방법 및 장치에 관한 것이다.
최근 IT기술의 발전으로 IT와 농축산업의 융합분야에 대한 연구가 활발하게 진행되고 있다. 한편 국내 농가의 돈사는 여러 돼지들을 밀집 사육하는 구조이다. 이러한 구조는 구제역과 같은 전염병이 발생했을 때 매우 취약하다. 이러한 취약점을 해결하기 위하여 돼지들의 세밀한 관리가 필요하다. 그러나 국내 돈사는 관리자 1명당 약 2,000두 규모의 돼지를 관리하므로 현실적으로 불가능하다. 이러한 문제를 해결하기 위하여 감시 카메라를 이용하여 여러 돼지에 대하여 자동으로 돈사 내 이상 상황을 감시 할 수 있는 연구가 필요하다. 특히, 감시 카메라 환경에서 돈사 내 돼지들의 개별 행동을 자동으로 관리하는 연구는 효율적인 자돈 관리 측면에서 중요한 이슈로 떠오르고 있다.
예를 들어, 카메라로부터 취득한 컬러 영상에 대하여 GMM(Gaussian Mixture Model)을 이용한 돼지의 활동량을 분석하는 방법이 보고되었다. 그러나 이러한 방법은 보온등과 같은 강한 조명의 영향으로 돼지가 탐지되지 않는 문제점이 발생하였다. 이러한 문제를 해결하기 위하여 깊이 정보를 이용한 돼지 영역 탐지 방법이 제안되었다. 그러나 제안된 방법은 돈방 내 돼지와 배경의 깊이 정보가 비슷한 경우 돼지만을 정확히 탐지하는데 한계가 있었다. 따라서 돈방 내의 배경(예를 들어, 바닥 또는 벽)을 제거함으로써 돼지만을 정확히 탐지하는 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 개별 돼지만을 탐지해야 하는 상황에서 돈방의 배경은 돼지의 탐지 정확도를 감소시키므로 돈방 내의 배경(예를 들어, 바닥 또는 벽)을 제거함으로써 돼지만을 정확히 탐지하는 방법 및 장치를 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 질감정보를 이용한 돈방의 배경 제거 방법은 카메라를 통해 공간 내 객체를 촬영하여 깊이 정보 영상을 획득하고, 획득된 영상의 깊이 정보를 보정하는 단계, 깊이 정보가 보정된 영상을 가버필터에 투영시켜 바닥 영역을 제거하는 단계, 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행하는 단계, 차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행하는 단계 및 침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행하는 단계를 포함한다.
가버필터의 커널에 관한 복수의 파라미터 조합 중, 바닥 영역과 객체 영역에 대한 제거 정도의 차이가 가장 큰 파라미터를 선택하여 도출된 가버필터의 커널을 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상에 투영시킨다.
객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행하는 단계는 객체가 포함된 공간의 영상을 가버필터에 투영시킨 후 반전된 영상에서 객체가 포함되지 않은 공간의 영상을 가버필터에 투영시킨 후 반전된 영상을 뺌으로써 차영상을 획득한다.
차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행하는 단계는 벽 영역을 제거하기 위해 객체에 대한 면적을 계산하여 미리 정해진 객체의 면적보다 작은 객체들을 잡음으로 간주하여 제거한다.
객체와 잡음 간의 구분이 명확하지 않아 제거되지 않은 영역은 객체에 대한 윤곽선 길이를 계산하여 미리 정해진 객체의 윤곽선 길이보다 큰 객체들을 잡음으로 간주하여 제거한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 질감정보를 이용한 돈방의 배경 제거 장치는 카메라를 통해 공간 내 객체를 촬영하여 깊이 정보 영상을 획득하고, 획득된 영상의 깊이 정보를 보정하는 깊이 정보 보정부, 깊이 정보가 보정된 영상을 가버필터에 투영시켜 바닥 영역을 제거하는 필터링부, 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행하는 차영상 수행부, 차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행하는 침식 연산부 및 침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행하는 팽창 연산부를 포함한다.
필터링부는 가버필터의 커널에 관한 복수의 파라미터 조합 중, 바닥 영역과 객체 영역에 대한 제거 정도의 차이가 가장 큰 파라미터를 선택하여 도출된 가버필터의 커널을 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상에 투영시킨다.
차영상 수행부는 객체가 포함된 공간의 영상을 가버필터에 투영시킨 후 반전된 영상에서 객체가 포함되지 않은 공간의 영상을 가버필터에 투영시킨 후 반전된 영상을 뺌으로써 차영상을 획득한다.
침식 연산부는 벽 영역을 제거하기 위해 객체에 대한 면적을 계산하여 미리 정해진 객체의 면적보다 작은 객체들을 잡음으로 간주하여 제거한다.
객체와 잡음 간의 구분이 명확하지 않아 제거되지 않은 영역은 객체에 대한 윤곽선 길이를 계산하여 미리 정해진 객체의 윤곽선 길이보다 큰 객체들을 잡음으로 간주하여 제거한다.
본 발명의 실시예들에 따르면 가버필터와 면적 정보, 길이 정보를 이용하여 배경을 제거함으로써 돈방 내의 돼지만을 정확히 탐지할 수 있고, 돈사 내 돼지만 탐지가 가능해짐으로써 향후 돼지들을 추적(tracking) 및 관리할 수 있다. 뿐만 아니라 기존의 질감정보를 이용한 배경 제거 기법에 비하여 수행 시간이 우수하여, 24시간 돼지 모니터링 환경에서 돼지의 정확한 분리에 효과적이다.
도 1은 본 발명의 일 실시예에 따른 질감정보를 이용한 돈방의 배경 제거 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 가버필터 투영 후 영상을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 차영상 기법 수행 후 영상을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 침식 연산 수행 후 영상을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 침식 연산의 전후를 비교하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 면적정보를 이용하여 잡음을 제거한 영상을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 팽창 연산 수행 후 영상을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 팽창 연산의 전후를 비교하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 질감정보를 이용한 돈방의 배경 제거 장치의 구성을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 가버필터를 이용한 배경 제거 알고리즘을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 가버필터 투영 후 영상을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 차영상 기법 수행 후 영상을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 침식 연산 수행 후 영상을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 침식 연산의 전후를 비교하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 면적정보를 이용하여 잡음을 제거한 영상을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 팽창 연산 수행 후 영상을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 팽창 연산의 전후를 비교하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 질감정보를 이용한 돈방의 배경 제거 장치의 구성을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 가버필터를 이용한 배경 제거 알고리즘을 나타내는 도면이다.
본 발명에서는 돈방 내 배경의 질감 정보를 이용하여 가버필터를 설계한 후, 배경을 제거하는 방법을 제안한다. 영상정보에서 돈방의 바닥영역을 제거하기 위하여 필터링 기법 중 가버필터를 사용할 수 있다.
가버필터란 외곽선 검출을 위하여 사용되는 필터로써, 사람의 시각체계가 반응하는 것과 가장 유사한 특징을 가지고 있다. 이 필터를 사용하면 바닥영역은 잘 제거되지만, 벽 영역은 질감정보를 가지지 않아 제거가 되지 않는다. 그러므로 돼지가 없는 돈방의 영상을 가버필터에 투영시키면 벽 영역만 남게 되는데, 이 때 이 영상과 차영상 기법을 이용하여 벽 영역을 제거하는 방법을 제안한다.
먼저, 돈방의 배경인 바닥 질감과 돼지 질감을 구분하는 최적의 가버필터를 이용하여 돈방의 바닥 영역을 제거한다. 이후 제거되지 않는 벽 영역은 면적 정보와 길이 정보를 이용하여 제거하는 후처리를 수행한다. 즉, 가버필터를 이용하여 돈방 내 바닥 영역을 제거하고 후처리를 통한 벽 영역의 잡음을 제거함으로써 돼지만을 정확히 탐지하는 방법을 제안한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 질감정보를 이용한 돈방의 배경 제거 방법을 설명하기 위한 흐름도이다.
제안하는 질감정보를 이용한 돈방의 배경 제거 방법은 카메라를 통해 공간 내 객체를 촬영하여 깊이 정보 영상을 획득하고, 획득된 영상의 깊이 정보를 보정하는 단계(110), 깊이 정보가 보정된 영상을 가버필터에 투영시켜 바닥 영역을 제거하는 단계(120), 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행하는 단계(130), 차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행하는 단계(140), 침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행하는 단계(150)를 포함한다.
단계(110)에서, 카메라를 통해 공간 내 객체를 촬영하여 깊이 정보 영상을 획득하고, 획득된 영상의 깊이 정보를 보정한다. 예를 들어, 돈사 내 돈방 4m 높이에 kinect카메라를 설치하고, 돈방 내 돼지를 촬영하여 깊이 정보 영상을 획득할 수 있다. 설치된 카메라에서 획득한 돈사 내의 깊이 정보 영상에서 깊이 정보를 보정할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가버필터 투영 후 영상을 나타내는 도면이다.
단계(120)에서, 깊이 정보가 보정된 영상을 가버필터에 투영시켜 바닥 영역을 제거한다. 먼저, 깊이 정보가 보정된 영상에 가버필터의 커널을 투영하여, 바닥 영역은 제거되고 돼지 영역은 제거되지 않는 최적의 가버필터를 설계한다. 즉, 가버필터의 커널에 대한 여러 가지 파라미터 조합 중에서, 바닥 영역과 돼지 영역에 대한 제거 정도의 차이가 가장 큰 파라미터의 수치를 선택한다. 이후, 도출된 필터의 커널을 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상에 투영시킨다.
도 2a는 돼지가 있는 돈방의 영상을 가버필터에 투영시킨 영상을 나타내는 도면이다. 도 2b는 돼지가 있는 돈방의 영상을 가버필터에 투영시킨 영상을 나타내는 도면이다. 도 2a와 도 2b의 영상을 이용하여 차영상 기법을 수행할 수 있다.
도 3은 본 발명의 일 실시예에 따른 차영상 기법 수행 후 영상을 나타내는 도면이다.
단계(130)에서, 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행한다. 예를 들어, 도 2a와 도 2b의 영상을 이용하여 차영상 기법을 수행할 수 있다. 이때, 객체가 포함된 공간의 영상을 가버필터에 투영시킨 후 반전된 영상에서 객체가 포함되지 않은 공간의 영상을 가버필터에 투영시킨 후 반전된 영상을 뺌으로써 차영상을 획득한다.
다시 말해, 돼지가 있는 돈방의 영상과 돼지가 없는 돈방의 영상을 가버필터에 각각 투영시킨 후, 이를 반전하여 차영상 기법 수행한다. 도 2a 및 도 2b에서 돼지는 빗금으로 나타내고, 배경은 흰색으로 나타내었다. 돼지의 값(예를 들어, 180~210)에서 배경 값(예를 들어, 250~255)을 빼면 0이고, 배경에서 배경을 빼면 0이기 때문에 영상에서 돼지가 사라지므로 각 영상을 반전하여 차영상 기법을 수행한다.
도 4는 본 발명의 일 실시예에 따른 침식 연산 수행 후 영상을 나타내는 도면이다.
단계(140)에서, 차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행한다. 이때, 침식 연산을 수행하여 돼지와 붙어 있는 잡음 영역을 분리한다. 침식 연산이란 형태학 연산의 한 종류로 자연현상의 침식 작용처럼 객체의 표면을 깎는 연산을 말한다.
도 5는 본 발명의 일 실시예에 따른 침식 연산의 전후를 비교하기 위한 도면이다.
도 5a는 침식 연산 전 영상을 간략하게 나타낸 도면이다. 흰색 부분은 배경을 나타내고, 검은색 부분은 객체를 나타낸다. 도 5b는 침식 연산 후 영상을 간략하게 나타낸 도면이다. 흰색 부분은 배경을 나타내고, 검은색 부분은 객체를 나타낸다. 도 5a와 도 5b를 비교하면, 도 5a에 나타낸 객체들에 대해 침식 연산을 수행한 후, 객체 주변의 잡음들이 제거된 영상을 도 5b와 같이 나타낼 수 있다.
도 6은 본 발명의 일 실시예에 따른 면적정보를 이용하여 잡음을 제거한 영상을 나타내는 도면이다.
객체와 잡음 간의 구분이 명확하지 않아 제거되지 않은 영역은 객체에 대한 윤곽선 길이를 계산하여 미리 정해진 객체의 윤곽선 길이보다 큰 객체들을 잡음으로 간주하여 제거한다.
돈방 내 돼지가 없는 깊이 정보 영상에 가버필터 적용하면 도 2에 나타낸 영상과 유사하게 바닥 영역은 대부분 제거되지만 벽 영역은 대부분 제거되지 않는다. 따라서 돈방 내 돼지가 있는 영상과 돈방 내 돼지가 없는 영상에 대하여 차영상 기법을 수행하면 벽 영역의 일정 부분이 제거된다. 이후 면적 정보와 길이 정보를 이용하여 남아 있는 벽 영역의 잡음과 돼지 영역을 구분함으로써 벽 영역의 잡음을 제거하는 후처리를 수행한다.
도 4에 남아있는 벽 영역을 제거하기 위해 객체에 대한 면적을 계산하여 미리 정해진 객체의 면적보다 작은 객체들을 잡음으로 간주하여 제거한다. 다시 말해, 각 객체의 크기를 측정하여 크기가 돼지보다 작은 객체들을 제거한다. 예를 들어, 크기가 돼지보다 작은 객체들은 배경인 검은색으로 변경할 수 있다.
도 7은 본 발명의 일 실시예에 따른 팽창 연산 수행 후 영상을 나타내는 도면이다.
단계(150)에서, 침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행한다.
도 7은 도 6에 나타낸 잡음을 제거한 영상에 대하여 팽창 연산을 수행한 결과이다. 팽창 연산을 수행하여 침식 연산으로 인하여 줄어든 크기를 복구시켜 돈방의 배경이 제거된 돼지 영상 획득한다. 팽창 연산이란 형태학 연산의 한 종류로 자연현상의 팽창이 부피가 늘어나는 것처럼 객체의 크기가 커지는 연산을 말한다.
도 8은 본 발명의 일 실시예에 따른 팽창 연산의 전후를 비교하기 위한 도면이다.
도 5a는 팽창 연산 전 영상을 간략하게 나타낸 도면이다. 흰색 부분은 배경을 나타내고, 검은색 부분은 객체를 나타낸다. 도 8b는 팽창 연산 후 영상을 간략하게 나타낸 도면이다. 흰색 부분은 배경을 나타내고, 검은색 부분은 객체를 나타낸다. 도 8a와 도 8b를 비교하면, 도 8a에 나타낸 객체들에 대해 팽창 연산을 수행한 후, 침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행한 영상을 도 8b와 같이 나타낼 수 있다.
도 9는 본 발명의 일 실시예에 따른 질감정보를 이용한 돈방의 배경 제거 장치의 구성을 나타내는 도면이다.
제안하는 질감정보를 이용한 돈방의 배경 제거 장치(900)는 깊이 정보 보정부(910), 필터링부(920), 차영상 수행부(930), 침식 연산부(940), 팽창 연산부(950)를 포함한다.
깊이 정보 보정부(910)는 카메라를 통해 공간 내 객체를 촬영하여 깊이 정보 영상을 획득하고, 획득된 영상의 깊이 정보를 보정한다. 예를 들어, 돈사 내 돈방 4m 높이에 kinect카메라를 설치하고, 돈방 내 돼지를 촬영하여 깊이 정보 영상을 획득할 수 있다. 설치된 카메라에서 획득한 돈사 내의 깊이 정보 영상에서 깊이 정보를 보정할 수 있다.
필터링부(920)는 깊이 정보가 보정된 영상을 가버필터에 투영시켜 바닥 영역을 제거한다. 먼저, 깊이 정보가 보정된 영상에 가버필터의 커널을 투영하여, 바닥 영역은 제거되고 돼지 영역은 제거되지 않는 최적의 가버필터를 설계한다. 즉, 가버필터의 커널에 대한 여러 가지 파라미터 조합 중에서, 바닥 영역과 돼지 영역에 대한 제거 정도의 차이가 가장 큰 파라미터의 수치를 선택한다. 이후, 도출된 필터의 커널을 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상에 투영시킨다.
도 2a는 돼지가 있는 돈방의 영상을 가버필터에 투영시킨 영상을 나타내는 도면이다. 도 2b는 돼지가 있는 돈방의 영상을 가버필터에 투영시킨 영상을 나타내는 도면이다. 도 2a와 도 2b의 영상을 이용하여 차영상 기법을 수행할 수 있다.
차영상 수행부(930)는 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행한다. 예를 들어, 도 2a와 도 2b의 영상을 이용하여 차영상 기법을 수행할 수 있다. 이때, 객체가 포함된 공간의 영상을 가버필터에 투영시킨 후 반전된 영상에서 객체가 포함되지 않은 공간의 영상을 가버필터에 투영시킨 후 반전된 영상을 뺌으로써 차영상을 획득한다.
다시 말해, 돼지가 있는 돈방의 영상과 돼지가 없는 돈방의 영상을 가버필터에 각각 투영시킨 후, 이를 반전하여 차영상 기법 수행한다. 도 2a 및 도 2b에서 돼지는 빗금으로 나타내고, 배경은 흰색으로 나타내었다. 돼지의 값(예를 들어, 180~210)에서 배경 값(예를 들어, 250~255)을 빼면 0이고, 배경에서 배경을 빼면 0이기 때문에 영상에서 돼지가 사라지므로 각 영상을 반전하여 차영상 기법을 수행한다.
침식 연산부(940)는 차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행한다. 이때, 침식 연산을 수행하여 돼지와 붙어 있는 잡음 영역을 분리한다. 침식 연산이란 형태학 연산의 한 종류로 자연현상의 침식 작용처럼 객체의 표면을 깎는 연산을 말한다.
객체와 잡음 간의 구분이 명확하지 않아 제거되지 않은 영역은 객체에 대한 윤곽선 길이를 계산하여 미리 정해진 객체의 윤곽선 길이보다 큰 객체들을 잡음으로 간주하여 제거한다.
돈방 내 돼지가 없는 깊이 정보 영상에 가버필터 적용하면 도 2에 나타낸 영상과 유사하게 바닥 영역은 대부분 제거되지만 벽 영역은 대부분 제거되지 않는다. 따라서 돈방 내 돼지가 있는 영상과 돈방 내 돼지가 없는 영상에 대하여 차영상 기법을 수행하면 벽 영역의 일정 부분이 제거된다. 이후 면적 정보와 길이 정보를 이용하여 남아 있는 벽 영역의 잡음과 돼지 영역을 구분함으로써 벽 영역의 잡음을 제거하는 후처리를 수행한다.
팽창 연산부(950)는 침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행한다. 팽창 연산을 수행하여 침식 연산으로 인하여 줄어든 크기를 복구시켜 돈방의 배경이 제거된 돼지 영상 획득한다. 팽창 연산이란 형태학 연산의 한 종류로 자연현상의 팽창이 부피가 늘어나는 것처럼 객체의 크기가 커지는 연산을 말한다.
도 10은 본 발명의 일 실시예에 따른 가버필터를 이용한 배경 제거 알고리즘을 나타내는 도면이다.
돈방 내 돼지가 없는 깊이 정보 영상에 가버필터 적용하면 도 2에 나타낸 영상과 유사하게 바닥 영역은 대부분 제거되지만 벽 영역은 대부분 제거되지 않는다. 따라서 돈방 내 돼지가 있는 영상과 돈방 내 돼지가 없는 영상에 대하여 차영상 기법을 수행하면 벽 영역의 일정 부분이 제거된다. 이후 면적 정보와 길이 정보를 이용하여 남아 있는 벽 영역의 잡음과 돼지 영역을 구분함으로써 벽 영역의 잡음을 제거하는 후처리를 수행한다.
축산 농가에서 돈사의 효율적인 관리를 위해 감시 카메라 환경에서 돈사 내 돼지들의 개별 행동을 관리하는 연구가 중요한 이슈로 떠오르고 있다. 또한, 돼지들의 개별 행동을 분석하기 위하여 돈사 내 돼지들을 정확히 탐지할 필요가 있다. 컬러 영상을 이용한 돈사 내 돼지 탐지는 돈사 내 조도의 영향으로 돼지들이 정확히 탐지되지 않기 때문에 조도의 영향을 받지 않는 깊이 정보 센서를 이용한다. 한편, 깊이 정보 영상에서의 돼지 탐지는 돈방의 배경으로 인한 돼지의 탐지 정확도를 감소시키는 요인으로써 돼지의 탐지 정확도를 증가시키기 위하여 돈방의 배경을 제거하는 방법이 필요하다. 본 발명에서는 깊이 정보 영상에 가버필터를 이용하여 바닥 영역을 제거하고 벽 영역의 잡음에 대한 후처리를 통하여 배경을 제거하는 방법을 제안하였다. 실험 결과, 가버필터와 면적 정보, 길이 정보를 이용하여 배경을 제거함으로써 돈방 내의 돼지만을 정확히 탐지하였다. 뿐만 아니라 본 발명에서의 제안 방법은 기존의 텍스쳐 기법에 비하여 수행 시간이 우수함을 확인하였다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (10)
- 카메라를 통해 공간 내 객체를 촬영하여 깊이 정보 영상을 획득하고, 획득된 영상의 깊이 정보를 보정하는 단계;
깊이 정보가 보정된 영상을 가버필터에 투영시켜 바닥 영역을 제거하는 단계;
객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행하는 단계;
차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행하는 단계; 및
침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행하는 단계
를 포함하고,
가버필터의 커널에 관한 복수의 파라미터 조합 중, 바닥 영역과 객체 영역에 대한 제거 정도의 차이가 가장 큰 파라미터를 선택하여 도출된 가버필터의 커널을 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상에 투영시키는
배경 제거 방법. - 삭제
- 제1항에 있어서,
객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행하는 단계는,
객체가 포함된 공간의 영상을 가버필터에 투영시킨 후 반전된 영상에서 객체가 포함되지 않은 공간의 영상을 가버필터에 투영시킨 후 반전된 영상을 뺌으로써 차영상을 획득하는
배경 제거 방법. - 제1항에 있어서,
차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행하는 단계는,
벽 영역을 제거하기 위해 객체에 대한 면적을 계산하여 미리 정해진 객체의 면적보다 작은 객체들을 잡음으로 간주하여 제거하는
배경 제거 방법. - 제4항에 있어서,
객체와 잡음 간의 구분이 명확하지 않아 제거되지 않은 영역은 객체에 대한 윤곽선 길이를 계산하여 미리 정해진 객체의 윤곽선 길이보다 큰 객체들을 잡음으로 간주하여 제거하는
배경 제거 방법. - 카메라를 통해 공간 내 객체를 촬영하여 깊이 정보 영상을 획득하고, 획득된 영상의 깊이 정보를 보정하는 깊이 정보 보정부;
깊이 정보가 보정된 영상을 가버필터에 투영시켜 바닥 영역을 제거하는 필터링부;
객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상을 가버필터에 각각 투영시킨 후, 반전하여 차영상 기법을 수행하는 차영상 수행부;
차영상 기법을 수행한 영상에서 객체로부터 잡음 영역을 분리하기 위해 침식 연산을 수행하는 침식 연산부; 및
침식 연산을 수행함으로써 줄어든 크기를 복구하기 위해 팽창 연산을 수행하는 팽창 연산부
를 포함하고,
필터링부는,
가버필터의 커널에 관한 복수의 파라미터 조합 중, 바닥 영역과 객체 영역에 대한 제거 정도의 차이가 가장 큰 파라미터를 선택하여 도출된 가버필터의 커널을 객체가 포함된 공간의 영상 및 객체가 포함되지 않은 공간의 영상에 투영시키는
배경 제거 장치. - 삭제
- 제6항에 있어서,
차영상 수행부는,
객체가 포함된 공간의 영상을 가버필터에 투영시킨 후 반전된 영상에서 객체가 포함되지 않은 공간의 영상을 가버필터에 투영시킨 후 반전된 영상을 뺌으로써 차영상을 획득하는
배경 제거 장치. - 제6항에 있어서,
침식 연산부는,
벽 영역을 제거하기 위해 객체에 대한 면적을 계산하여 미리 정해진 객체의 면적보다 작은 객체들을 잡음으로 간주하여 제거하는
배경 제거 장치. - 제9항에 있어서,
객체와 잡음 간의 구분이 명확하지 않아 제거되지 않은 영역은 객체에 대한 윤곽선 길이를 계산하여 미리 정해진 객체의 윤곽선 길이보다 큰 객체들을 잡음으로 간주하여 제거하는
배경 제거 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170038698A KR101899242B1 (ko) | 2017-03-27 | 2017-03-27 | 질감정보를 이용한 돈방의 배경 제거 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170038698A KR101899242B1 (ko) | 2017-03-27 | 2017-03-27 | 질감정보를 이용한 돈방의 배경 제거 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101899242B1 true KR101899242B1 (ko) | 2018-09-14 |
Family
ID=63599446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170038698A KR101899242B1 (ko) | 2017-03-27 | 2017-03-27 | 질감정보를 이용한 돈방의 배경 제거 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101899242B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222664A (zh) * | 2019-06-13 | 2019-09-10 | 河南牧业经济学院 | 一种基于视频活跃性分析的智能化猪圈养监视系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090041804A (ko) * | 2007-10-24 | 2009-04-29 | 중앙대학교 산학협력단 | 3차원 가상 신발 착용 시스템 및 이의 운용방법 |
| KR20160054150A (ko) * | 2014-11-05 | 2016-05-16 | 한밭대학교 산학협력단 | 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법 |
-
2017
- 2017-03-27 KR KR1020170038698A patent/KR101899242B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090041804A (ko) * | 2007-10-24 | 2009-04-29 | 중앙대학교 산학협력단 | 3차원 가상 신발 착용 시스템 및 이의 운용방법 |
| KR20160054150A (ko) * | 2014-11-05 | 2016-05-16 | 한밭대학교 산학협력단 | 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222664A (zh) * | 2019-06-13 | 2019-09-10 | 河南牧业经济学院 | 一种基于视频活跃性分析的智能化猪圈养监视系统 |
| CN110222664B (zh) * | 2019-06-13 | 2021-07-02 | 河南牧业经济学院 | 一种基于视频活跃性分析的智能化猪圈养监视系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102275452B1 (ko) | 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치 | |
| US9311550B2 (en) | Device and method for image processing | |
| US10839521B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| US9842269B2 (en) | Video processing apparatus, video processing method, and recording medium | |
| CN110070611B (zh) | 一种基于深度图像融合的人脸三维重建方法和装置 | |
| US20180260963A1 (en) | Apparatus, method and image processing device for smoke detection in image | |
| EP3048579B1 (en) | Structure analysis method for recovering missing structures in an image after object removal | |
| JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
| US9165193B2 (en) | Video processing apparatus and method for managing tracking object | |
| JP7006702B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| TW201810186A (zh) | 用於更新背景模型之方法及裝置 | |
| CN109859250B (zh) | 一种航空红外视频多目标检测与跟踪方法及装置 | |
| US10186030B2 (en) | Apparatus and method for avoiding region of interest re-detection | |
| JP6652051B2 (ja) | 検出システム、検出方法及びプログラム | |
| JP2010002976A (ja) | 画像監視装置 | |
| JP7163718B2 (ja) | 干渉領域検出装置と方法及び電子機器 | |
| KR101899242B1 (ko) | 질감정보를 이용한 돈방의 배경 제거 방법 및 장치 | |
| KR101891439B1 (ko) | 영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치 | |
| Zhang et al. | Tracking-assisted weakly supervised online visual object segmentation in unconstrained videos | |
| KR20150111459A (ko) | 전자현미경 영상의 입자 분할 방법 및 장치 | |
| KR101436695B1 (ko) | 깊이 영상을 이용한 손 검출 장치 및 방법 | |
| KR102435957B1 (ko) | 다양한 샘플을 이용하여 개선한 확률기반 사물검출기 | |
| KR20140123399A (ko) | 사용자 영상의 신체 부위를 검출하는 장치 및 방법 | |
| CN114612710A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| KR101908938B1 (ko) | 배경모델 기반 시간축 최소값 필터링 및 로그 히스토그램을 이용한 전경 객체 검출 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |