KR101576426B1 - 어안 렌즈를 이용한 감시 장치 및 방법 - Google Patents

어안 렌즈를 이용한 감시 장치 및 방법 Download PDF

Info

Publication number
KR101576426B1
KR101576426B1 KR1020150089723A KR20150089723A KR101576426B1 KR 101576426 B1 KR101576426 B1 KR 101576426B1 KR 1020150089723 A KR1020150089723 A KR 1020150089723A KR 20150089723 A KR20150089723 A KR 20150089723A KR 101576426 B1 KR101576426 B1 KR 101576426B1
Authority
KR
South Korea
Prior art keywords
image
pixel
interpolation
interpolated
background
Prior art date
Application number
KR1020150089723A
Other languages
English (en)
Inventor
백준기
김형태
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020150089723A priority Critical patent/KR101576426B1/ko
Application granted granted Critical
Publication of KR101576426B1 publication Critical patent/KR101576426B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

어안 렌즈를 이용한 감시 장치 및 방법이 개시된다. 개시된 어안 렌즈를 이용한 감시 장치는 어안 렌즈를 통해 입력된 원형의 입력 영상에 대한 보간을 수행하여 직사각형의 카메라 센서에 대응되는 타원형의 보간 영상을 생성하는 보간부; 및 상기 보간 영상에 대한 중심축을 기준으로 상측 파노라마 영상 및 하측 파노라마 영상을 생성하는 파노라마 영상 생성부 - 상기 하측 파노라마 영상은 상기 보간 영상의 상하를 기준으로 하여 상하 반전된 영상임 -;를 포함한다.

Description

어안 렌즈를 이용한 감시 장치 및 방법{Apparatus and Method for surveillance using fish eyes lens}
본 발명의 실시예들은 어안 렌즈를 이용한 감시 장치 및 방법으로서, 더욱 상세하게는 하나의 어안 렌즈 카메라를 통해 넓은 영역을 감시할 수 있고, 정확한 객체정보를 추출할 수 있는 감시 장치 및 방법에 관한 것이다.
카메라 기반의 감시 시스템은 사용하는 카메라의 종류에 따라 어안렌즈 카메라 기반의 감시 시스템, PTZ(Pan Tilt Zoom) 카메라 기반의 감시 시스템 및 복합 카메라 기반의 감시 시스템으로 구분된다.
어안렌즈를 사용한 감시 시스템은 광각 렌즈인 어안 렌즈(fish eyes lens)를 사용하기 때문에, 넓은 영역을 하나의 카메라를 사용하여 감시할 수 있다는 장점이 있다. 그러나 광각렌즈에 의한 왜곡으로 촬영된 영상에 방사형 왜곡이 발생할 수 있다.
따라서, 종래의 어안렌즈를 사용한 감시 시스템은 어안 렌즈 왜곡에 의한 왜곡 보정을 수행한다. 그러나, 왜곡 보정을 수행하는 과정에서 영상의 주변부에 열화(degradation)가 발생하여 영상의 화질을 저해하고, 특히, 180도가 넘는 어안 렌즈의 경우 수학적 모델을 사용한 왜곡 보정이 불가능하다는 문제점이 있다.
PTZ 카메라를 사용한 감시 시스템은 카메라의 위치 내지 각도를 제어하여 하나의 카메라로 넓은 영역을 감시할 수 있는 장점이 있다.
그러나, 하나의 카메라를 회전시켜서 감시를 수행하기 때문에 동시에 여러 영역을 촬영할 수 없는 단점이 있다. 또한, 어안 렌즈와 같은 렌즈 자체의 왜곡은 없지만, 제한된 화각을 가지고 넓은 영역을 감시해야 하기 때문에 동시에 여러 객체가 서로 다른 영역에서 검출될 경우 모든 객체를 추적하는 것이 불가능하며, 카메라가 관찰하고 있는 부분이 아닌 곳에서 출몰하는 객체의 경우 검출자체가 불가능한 단점이 있다.
복합 카메라 기반의 감시 시스템은 어안 렌즈 카메라와 PTZ 카메라가 가지는 문제점을 극복하기 위해 제안된 방법이다. 즉, 복합 카메라 기반의 감시 시스템은 객체 검출에 어안 렌즈 카메라를 이용하고 객체 추적에 PTZ 카메라를 이용한다.
그러나, 복합 카메라 기반의 감시 시스템은 단가가 높고, 동기화를 위한 추가적인 처리가 필요하다. 또한, 카메라 센서의 경우 일반적으로 직사각형의 형태인데, 어안 렌즈 카메라의 경우, 화각의 손실이 발생하거나 센서의 손실이 발생하는 문제점 있다.
이러한 문제를 해결하기 위해, 아나모프 렌즈(anamorphic lens) 카메라를 이용한 감시 시스템이 있다. 이 시스템은 렌즈를 특수 설계하여 렌즈를 통과한 영상이 카메라 센서에 맞춰진 타원의 형태를 가지게 하는 방법이다.
그러나 카메라 센서에 따라서 렌즈를 설계해야 하기 때문에 카메라의 가격이 비싸다는 단점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 하나의 어안 렌즈 카메라를 통해 넓은 영역을 감시할 수 있고, 정확한 객체정보를 추출할 수 있는 감시 장치 및 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 어안 렌즈를 통해 입력된 원형의 입력 영상에 대한 보간을 수행하여 직사각형의 카메라 센서에 대응되는 타원형의 보간 영상을 생성하는 보간부; 및 상기 보간 영상에 대한 중심축을 기준으로 상측 파노라마 영상 및 하측 파노라마 영상을 생성하는 파노라마 영상 생성부 - 상기 하측 파노라마 영상은 상기 보간 영상의 상하를 기준으로 하여 상하 반전된 영상임 -;를 포함하는 것을 특징으로 하는 어안 렌즈를 이용한 감시 장치가 제공된다.
상기 보간부는 상기 원형의 입력 영상의 중심점을 기준으로 보간이 수행될 픽셀의 거리 및 각도를 이용하여 상기 타원형의 보간 영상을 생성할 수 있다.
상기 보간부는 아래의 수학식에 기초하여 상기 보간을 수행할 수 있다.
Figure 112015061209570-pat00001
여기서,
Figure 112015061209570-pat00002
는 픽셀의 밝기값(intensity value),
Figure 112015061209570-pat00003
는 상기 보간이 수행될 픽셀의 좌표,
Figure 112015061209570-pat00004
는 상기 보간이 수행될 픽셀과 인접한 좌상 픽셀의 좌표,
Figure 112015061209570-pat00005
는 상기 보간이 수행될 픽셀과 인접한 우상 픽셀의 좌표,
Figure 112015061209570-pat00006
는 상기 보간이 수행될 픽셀과 인접한 좌하 픽셀의 좌표,
Figure 112015061209570-pat00007
는 상기 보간이 수행될 픽셀과 인접한 우하 픽셀의 좌표,
Figure 112015061209570-pat00008
는 상기 보간이 수행될 픽셀의 각도를 각각 의미함.
GMM(Gaussian Mixture Model) 기반의 배경 생성 알고리즘을 이용하여 배경 영역을 생성하고, 상기 배경 영역 및 상기 파노라마 영상들을 영상 차이를 이용하여 상기 파노라마 영상들에 포함된 객체를 검출하는 검출부;를 더 포함하되, 상기 GMM 기반의 배경 생성 알고리즘에서의 배경 업데이트를 위한 파라미터는 하기의 수학식과 같이 표현될 수 있다.
Figure 112015061209570-pat00009
여기서,
Figure 112015061209570-pat00010
(
Figure 112015061209570-pat00011
)는 상기 배경 업데이트를 위한 속도 파라미터와 대응되는 학습률(learning rate),
Figure 112015061209570-pat00012
는 상기 GMM 기반의 배경 생성 알고리즘에 따른 가우시안 분산에서의 상기 파노라마 영상들과 분류된 배경 영역 사이의 표준 편차, 상기 S는 임계값을 각각 의미함.
또한, 본 발명의 다른 실시예에 따르면, 어안 렌즈를 통해 입력된 원형의 입력 영상에 대한 보간을 수행하여 직사각형의 카메라 센서에 대응되는 타원형의 보간 영상을 생성하는 단계; 및 상기 보간 영상에 대한 중심축을 기준으로 상측 파노라마 영상 및 하측 파노라마 영상을 생성하는 단계 - 상기 하측 파노라마 영상은 상기 보간 영상의 상하를 기준으로 하여 상하 반전된 영상임 -;를 포함하는 것을 특징으로 하는 어안 렌즈를 이용한 감시 방법이 제공된다.
본 발명에 따르면, 하나의 어안 렌즈 카메라를 통해 넓은 영역을 감시할 수 있고, 정확한 객체정보를 추출할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 어안 렌즈를 이용한 감시 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 어안 렌즈를 이용한 감시 방법의 흐름도를 도시한 도면이다.
도 3는 본 발명의 일 실시예에 따른 원형의 입력 영상 및 타원형의 보간 영상의 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 보간부의 보간 동작의 개념을 설명하기 위한 도면이다.
도 5는 종래의 선형 보간을 이용한 타원형의 보간 영상과 본 발명의 일 실시예에 따른 방향성 적응 선형 보간을 이용한 타원형의 보간 영상을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 입력 영상에 대한 보간 영상, 상측 파노라마 영상 및 하측 파노라마 영상을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 파노라마 영상의 생성 개념을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 검출부의 동작을 설명하기 위한 도면이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 추출부의 동작을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 어안 렌즈를 이용한 감시 장치의 개략적인 구성을 도시한 도면이다.
도 1를 참조하면, 본 발명의 일 실시예에 따른 감시 장치(100)는 입력부(110), 보간부(120), 파노라마 영상 생성부(130), 검출부(140) 및 추적부(150)를 포함한다.
그리고, 도 2는 본 발명의 일 실시예에 따른 어안 렌즈를 이용한 감시 방법의 흐름도를 도시한 도면이다.
이하, 도 1 및 도 2를 참조하여 각 구성 요소 별 기능 및 각 단계 별로 수행되는 과정을 상세하게 설명한다.
먼저, 단계(210)에서, 입력부(110)는 어안 렌즈를 사용한 카메라로부터 입력 영상을 입력받는다. 이 때, 입력 영상은 원형 형태일 수 있다.
도 3의 (a)에서는 어안 렌즈를 통해 입력된 원형의 입력 영상의 일례를 도시하고 있다.
다음으로, 단계(220)에서, 보간부(120)는 원형의 입력 영상에 대한 보간(interpolation)을 수행하여 직사각형의 카메라 센서에 대응되는 타원형의 보간 영상을 생성한다.
도 3의 (b)에서는 원형의 입력 영상을 보간하여 생성된 타원형의 보간 영상의 일례를 도시하고 있다.
즉, 상기에서 설명한 바와 같이, 카메라 센서의 경우 일반적으로 직사각형의 형태인데, 어안 렌즈 카메라의 경우 화각의 손실이 발생하거나 센서의 손실이 발생하는 문제점 있다. 따라서, 보간부(120)는 DAT(Digital Anamorphic Transform)를 수행하여 상기한 문제점을 해결한다.
본 발명의 일 실시예에 따르면, 보간부(120)는 원형의 입력 영상의 중심점을 기준으로 보간이 수행될 픽셀의 거리 및 각도를 이용하여 타원형의 보간 영상을 생성할 수 있다.
보다 상세하게, 도 4를 참조하면, 보간부(120)는 아래의 수학식 1에 기초하여 보간을 수행할 수 있다. 이 때, 보간은 방향성 적응 선형 보간(directionally adaptive bilinear interpolation)이다.
Figure 112015061209570-pat00013
여기서,
Figure 112015061209570-pat00014
는 픽셀의 밝기값(intensity value),
Figure 112015061209570-pat00015
는 타원형의 보간 영상의 홀(hole) 즉, 보간이 수행될 픽셀의 좌표,
Figure 112015061209570-pat00016
는 보간이 수행될 픽셀과 인접한 좌상 픽셀의 좌표,
Figure 112015061209570-pat00017
는 보간이 수행될 픽셀과 인접한 우상 픽셀의 좌표,
Figure 112015061209570-pat00018
는 보간이 수행될 픽셀과 인접한 좌하 픽셀의 좌표,
Figure 112015061209570-pat00019
는 보간이 수행될 픽셀과 인접한 우하 픽셀의 좌표,
Figure 112015061209570-pat00020
는 보간이 수행될 픽셀의 각도를 각각 의미한다.
도 5에서는 종래의 선형 보간을 이용한 타원형의 보간 영상(a)과, 본 발명의 일 실시예에 따른 방향성 적응 선형 보간을 이용한 타원형의 보간 영상(b)을 각각 도시하고 있다.
도 5를 참조하면, 종래의 선형 보간을 이용한 타원형의 보간 영상의 경우(도 5의 (a)) 재깅 아티팩트(jagging artifact)가 발생하지만, 본 발명의 일 실시예에 따른 방향성 적응 선형 보간을 이용한 타원형의 보간 영상의 경우(도 5의 (b)) 재깅 아티팩트가 발생하지 않는 장점이 있다.
계속하여, 단계(230)에서, 파노라마 영상 생성부(130)는 보간 영상에 대한 중심축을 기준으로 상측 파노라마 영상 및 하측 파노라마 영상을 생성한다.
도 6에서는 본 발명의 일 실시예에 따른 입력 영상에 대한 보간 영상(도 6의 (a)), 상측 파노라마 영상(도 6의 (b)) 및 하측 파노라마 영상(도 6의 (c))을 각각 도시하고 있다. 여기서, 하측 파노라마 영상은 보간 영상의 상하를 기준으로 하여 상하 반전된 영상이다.
이하, 도 7를 참조하여 파노라마 영상의 생성 개념을 상세하게 설명하기로 한다.
설명의 편의를 위해, 도 7에서는 원형의 영상을 기준으로 한 파노라마 영상의 생성 개념을 도시하고 있으나, 이는 타원형의 영상에서도 유사하게 적용될 수 있다.
도 7를 참조하면, 파노라마 영상은 양방향 파노라마(two-way panorama) 즉, 상측 파노라마 영상 및 하측 파노라마 영상으로 구분될 수 있으며, 이는 아래의 수학식 2와 같은 각도
Figure 112015061209570-pat00021
에 의해 결정될 수 있다.
Figure 112015061209570-pat00022
여기서,
Figure 112015061209570-pat00023
는 원의 반경,
Figure 112015061209570-pat00024
는 원통형 파노라마의 수평 좌표를 각각 의미한다.
또한, 양방향 파노라마와 원형 어안 이미지 간의 관계(relation)는 수학식 3과 같이 표현된다.
Figure 112015061209570-pat00025
여기서,
Figure 112015061209570-pat00026
는 원형 어안 렌즈 영상의 수평 좌표,
Figure 112015061209570-pat00027
는 원형 어안 렌즈 영상의 수직 좌표,
Figure 112015061209570-pat00028
는 파노라마 영상의 수직 위치를 각각 의미한다.
그리고, 파노라마 영상의 수평 위치는 아래의 수학식 4과 같이 표현될 수 있다.
Figure 112015061209570-pat00029
여기서,
Figure 112015061209570-pat00030
는 상측 반구,
Figure 112015061209570-pat00031
는 하측 반구를 각각 의미한다.
그 후, 단계(240)에서, 검출부(140)는 파노라마 영상들 즉, 양방향 파노라마 영상에 포함된 객체를 검출한다.
본 발명에 따르면, 검출부(140)는 GMM(Gaussian Mixture Model) 기반의 배경 생성 알고리즘을 이용하여 배경 영역을 생성하고, 배경 영역 및 파노라마 영상들을 영상 차이를 이용하여 파노라마 영상들에 포함된 객체를 검출한다. 이에 대해 보다 상세하게 설명하면 다음과 같다.
가우시안 혼합 모델, 즉 GMM는 주어진 데이터의 집합의 분포 밀도를 단 하나의 확률밀도함수로 모델링하는 방법을 개선한 밀도 추정 방법으로서, 평균과 분산의 파라미터를 가지는 여러 개의 가우시안 함수로 데이터의 분포를 모델링하는 방법이다. 이 방법은 온라인 근사법을 이용하여 모델의 계수를 갱신하는데, 계수의 값을 조절하여 다양한 환경에 적응하는 배경을 추출할 수 있다.
여기서, 각 픽셀의 최근 히스토리를 K개의 GMM으로 나타내면 아래의 수학식 5과 같이 표현할 수 있다.
Figure 112015061209570-pat00032
여기서,
Figure 112015061209570-pat00033
는 GMM을 이용한 배경 영역의 확률,
Figure 112015061209570-pat00034
는 t번째 프레임의 밝기값,
Figure 112015061209570-pat00035
는 t번째 프레임에서의 i번째 가우시안 분포의 가중치,
Figure 112015061209570-pat00036
는 t번째 프레임에서의 i번째 가우시안 분포의 평균,
Figure 112015061209570-pat00037
는 번째 프레임에서의 i번째 가우시안 분포의 분산을 각각 의미한다.
그리고,
Figure 112015061209570-pat00038
는 가우시안 확률 분포 함수를 나타내며, 이는 아래의 수학식 6와 같이 표현될 수 있다.
Figure 112015061209570-pat00039
여기서, d는
Figure 112015061209570-pat00040
의 차원을 의미한다(일례로,
Figure 112015061209570-pat00041
=3).
그리고, 배경 영역의 업데이트는 아래의 수학식 7에 따른 기준을 만족할 때 수행된다.
Figure 112015061209570-pat00042
여기서, T는 미리 설정된 임계값을 의미하며, 이는 가우시안 분포 각각의 분산에 기초하여 결정된다.
만약, 수학식 7이 만족되는 경우, 가우시안 분포의 가중치는 업데이트되며, 이는 수학식 8과 같이 표현될 수 있다.
Figure 112015061209570-pat00043
여기서,
Figure 112015061209570-pat00044
는 정합 함수(Matching Function),
Figure 112015061209570-pat00045
(
Figure 112015061209570-pat00046
)는 학습률(learning rate)를 의미한다.
이 때,
Figure 112015061209570-pat00047
가 높은 값(일례로, 1에 근접한 값)을 가지면 배경 영역의 업데이트가 빨리 수행되고,
Figure 112015061209570-pat00048
가 낮은 값(일례로, 0에 근접한 값)을 가지면 배경 영역의 업데이트가 늦게 수행되는 것으로서,
Figure 112015061209570-pat00049
는 배경 업데이트를 위한 속도 파라미터와 대응된다.
한편, 조명이나 카메라 시점이 갑자기 변경하는 경우 배경 영역이 부 부정확하게 되며, 이는 어안 렌즈 카메라에서 광각의 영상을 촬영하는 경우 자주 발생한다.
이러한 문제를 해결하기 위해, 표준 편차의 조건을 이용하여 배경 영역의 픽셀이 식별되며, 이는 수학식 9과 같이 표현된다.
Figure 112015061209570-pat00050
여기서,
Figure 112015061209570-pat00051
는 GMM 기반의 배경 생성 알고리즘에 따른 가우시안 분산에서의 파노라마 영상들과 분류된 배경 영역 사이의 표준 편차, S는 경험적인 임계값을 각각 의미한다.
Figure 112015061209570-pat00052
가 수학식 9의 조건을 만족하는 경우,
Figure 112015061209570-pat00053
는 아래의 수학식 10과 같이 업데이트된다.
Figure 112015061209570-pat00054
상기에서 설명한 내용을 통해 배경 영역이 업데이트되고, 양방향 파노라마 영상들과 배경 영역의 영상을 차분하여 객체가 검출될 수 있다.
이하, 도 8을 참조하여 검출부(140)의 동작을 상세하게 설명한다.
도 8은 배경 영역의 생성의 결과를 도시한 도면으로서, 도 8의 (a)는 입력 영상에 따른 배경 영역, 도 8의 (b)는 종래의 방법(Zivkovic)에 따른 배경 영역, 도 8의 (c)는 본 발명에 따른 배경 영역을 각각 도시하고 있다.
또한, 도 8에서, 첫번째 열은 이벤트가 일어나기 전의 초기 상황, 두번째 열은 이벤트가 시작된 시점의 상황, 세번째 열은 카메라 패닝(camera panning)의 프로세스의 상황, 마지막 열은 첫번째 열로부터 15초 뒤에 상황을 각각 도시하고 있다.
도 8을 참조하면, 본 발명의 경우 종래의 방법보다 배경 영역의 업데이트 속도가 더 빠르며, 연산량이 감소되는 것을 확인할 수 있다.
마지막으로, 단계(250)에서, 추척부(150)는 검출된 객체를 추적한다. 이에 대해 상세하게 설명하면 다음과 같다.
검출된 객체는 정규화된 히스토그램을 사용하여 설명될 수 있다. 또한, 어안 렌즈의 기하학적인 왜곡으로 인해, 영상 내에서의 객체의 크기는 영상의 중심으로부터 객체까지의 거리에 따라 변화한다. 따라서, 어안 렌즈 기반의 객체 추적은 객체의 크기에 영향을 받지 않는 정규화된 히스토그램을 이용하여 수행될 수 있다.
따라서, 추적부(150)는 객체에 대한 히스토그램을 생성한다. 이 때, 도 9에 도시된 바와 같은 슬리이딩 윈도우를 이용하여 후보 히스토그램이 생성된다. 타겟에 대한 새로운 히스토그램은 후보 히스토그램과 타겟 히스토그램 사이의 상관관계를 이용하여 생성된다. 도 10에서는 두 가지의 히스토그램(상측 부분) 및 이들의 상관관계(하측 부분)를 도시하고 있다.
이 때, 자기 상관관계(auto-correlation)은 아래의 수학식 11과 같이 표현될 수 있다.
Figure 112015061209570-pat00055
Figure 112015061209570-pat00056
는 기대값(expected value),
Figure 112015061209570-pat00057
는 정규화된 타겟 히스토그램,
Figure 112015061209570-pat00058
는 정규화된 후보 히스토그램,
Figure 112015061209570-pat00059
는 타겟 히스토그램의 분산,
Figure 112015061209570-pat00060
는 후보 히스토그램의 분산을 각각 의미한다.
도 11은 본 발명의 일 실시예에 따른 객체 추적의 결과를 도시한 도면이다. 이 때, 타겟은 위에서 아래로 움직인다. 도 11을 참조하면, 본 발명의 경우, 전체 어안 렌즈 영상 내의 객체의 위치에 무관하게 객체 검출 및 추출이 가능함을 확인할 수 있다.
정리하면, 본 발명은 하나의 카메라를 사용하여 넓은 영역을 감시할 수 있는 장치이다. 기존의 광각 렌즈를 사용한 카메라에서 나타나는 화각 손실 및 센서 손실을 DAT를 사용하여 해결하였으며, 양방향 파노라마를 생성을 통해 감시 시스템에 적합한 영상 생성 및 왜곡 보정을 하였다. 또한, 빠른 배경 영역 생성 및 업데이트가 가능한 객체 검출 알고리즘을 통해 어안 렌즈 카메라를 사용한 시스템에 적합한 영역 기반 객체 검출 및 객체 추적을 수행하였다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 어안 렌즈를 통해 입력된 원형의 입력 영상에 대한 보간을 수행하여 직사각형의 카메라 센서에 대응되는 타원형의 보간 영상을 생성하는 보간부; 및
    상기 보간 영상에 대한 중심축을 기준으로 상측 파노라마 영상 및 하측 파노라마 영상을 생성하는 파노라마 영상 생성부 - 상기 하측 파노라마 영상은 상기 보간 영상의 상하를 기준으로 하여 상하 반전된 영상임 -;를 포함하되,
    상기 보간부는 아래의 수학식에 기초하여 상기 보간을 수행하는 것을 특징으로 하는 어안 렌즈를 이용한 감시 장치.

    Figure 112015107086967-pat00096


    여기서,
    Figure 112015107086967-pat00097
    는 픽셀의 밝기값(intensity value),
    Figure 112015107086967-pat00098
    는 상기 보간이 수행될 픽셀의 좌표,
    Figure 112015107086967-pat00099
    는 상기 보간이 수행될 픽셀과 인접한 좌상 픽셀의 좌표,
    Figure 112015107086967-pat00100
    는 상기 보간이 수행될 픽셀과 인접한 우상 픽셀의 좌표,
    Figure 112015107086967-pat00101
    는 상기 보간이 수행될 픽셀과 인접한 좌하 픽셀의 좌표,
    Figure 112015107086967-pat00102
    는 상기 보간이 수행될 픽셀과 인접한 우하 픽셀의 좌표,
    Figure 112015107086967-pat00103
    는 상기 보간이 수행될 픽셀의 각도를 각각 의미함.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    GMM(Gaussian Mixture Model) 기반의 배경 생성 알고리즘을 이용하여 배경 영역을 생성하고, 상기 배경 영역 및 상기 파노라마 영상들을 영상 차이를 이용하여 상기 파노라마 영상들에 포함된 객체를 검출하는 검출부;를 더 포함하되,
    상기 GMM 기반의 배경 생성 알고리즘에서의 배경 업데이트를 위한 파라미터는 하기의 수학식과 같이 표현되는 것을 특징으로 하는 어안 렌즈를 이용한 감시 장치.

    Figure 112015061209570-pat00069


    여기서,
    Figure 112015061209570-pat00070
    (
    Figure 112015061209570-pat00071
    )는 상기 배경 업데이트를 위한 속도 파라미터와 대응되는 학습률(learning rate),
    Figure 112015061209570-pat00072
    는 상기 GMM 기반의 배경 생성 알고리즘에 따른 가우시안 분산에서의 상기 파노라마 영상들과 분류된 배경 영역 사이의 표준 편차, 상기 S는 임계값을 각각 의미함.
  5. 어안 렌즈를 통해 입력된 원형의 입력 영상에 대한 보간을 수행하여 직사각형의 카메라 센서에 대응되는 타원형의 보간 영상을 생성하는 단계; 및
    상기 보간 영상에 대한 중심축을 기준으로 상측 파노라마 영상 및 하측 파노라마 영상을 생성하는 단계 - 상기 하측 파노라마 영상은 상기 보간 영상의 상하를 기준으로 하여 상하 반전된 영상임 -;를 포함하되,
    상기 보간 영상을 생성하는 단계는 아래의 수학식에 기초하여 상기 보간을 수행하는 것을 특징으로 하는 어안 렌즈를 이용한 감시 방법.
    Figure 112015107086967-pat00104

    여기서,
    Figure 112015107086967-pat00105
    는 픽셀의 밝기값(intensity value),
    Figure 112015107086967-pat00106
    는 상기 보간이 수행될 픽셀,
    Figure 112015107086967-pat00107
    는 상기 보간이 수행될 픽셀과 인접한 좌상 픽셀,
    Figure 112015107086967-pat00108
    는 상기 보간이 수행될 픽셀과 인접한 우상 픽셀,
    Figure 112015107086967-pat00109
    는 상기 보간이 수행될 픽셀과 인접한 좌하 픽셀,
    Figure 112015107086967-pat00110
    는 상기 보간이 수행될 픽셀과 인접한 우하 픽셀,
    Figure 112015107086967-pat00111
    는 상기 보간이 수행될 픽셀의 각도를 각각 의미함.
  6. 삭제
  7. 삭제
  8. 제5항에 있어서,
    GMM(Gaussian Mixture Model) 기반의 배경 생성 알고리즘을 이용하여 배경 영역을 생성하고, 상기 배경 영역 및 상기 파노라마 영상들을 영상 차이를 이용하여 상기 파노라마 영상들에 포함된 객체를 검출하는 단계;를 더 포함하되,
    상기 GMM 기반의 배경 생성 알고리즘에서의 배경 업데이트를 위한 파라미터는 하기의 수학식과 같이 표현되는 것을 특징으로 하는 어안 렌즈를 이용한 감시 방법.

    Figure 112015061209570-pat00081


    여기서,
    Figure 112015061209570-pat00082
    (
    Figure 112015061209570-pat00083
    )는 상기 배경 업데이트를 위한 속도 파라미터와 대응되는 학습률(learning rate),
    Figure 112015061209570-pat00084
    는 상기 GMM 기반의 배경 생성 알고리즘에 따른 가우시안 분산에서의 상기 파노라마 영상들과 분류된 배경 영역 사이의 표준 편차, S는 임계값을 각각 의미함.
KR1020150089723A 2015-06-24 2015-06-24 어안 렌즈를 이용한 감시 장치 및 방법 KR101576426B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150089723A KR101576426B1 (ko) 2015-06-24 2015-06-24 어안 렌즈를 이용한 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150089723A KR101576426B1 (ko) 2015-06-24 2015-06-24 어안 렌즈를 이용한 감시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101576426B1 true KR101576426B1 (ko) 2015-12-11

Family

ID=55020721

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150089723A KR101576426B1 (ko) 2015-06-24 2015-06-24 어안 렌즈를 이용한 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101576426B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122765A (zh) * 2017-05-22 2017-09-01 成都通甲优博科技有限责任公司 一种高速公路服务区全景监控方法及系统
CN107885166A (zh) * 2017-10-31 2018-04-06 北京航空航天大学 一种空间圆锥曲线通用插补方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122765A (zh) * 2017-05-22 2017-09-01 成都通甲优博科技有限责任公司 一种高速公路服务区全景监控方法及系统
CN107122765B (zh) * 2017-05-22 2021-05-14 成都通甲优博科技有限责任公司 一种高速公路服务区全景监控方法及系统
CN107885166A (zh) * 2017-10-31 2018-04-06 北京航空航天大学 一种空间圆锥曲线通用插补方法
CN107885166B (zh) * 2017-10-31 2020-01-21 北京航空航天大学 一种空间圆锥曲线通用插补方法

Similar Documents

Publication Publication Date Title
US11151384B2 (en) Method and apparatus for obtaining vehicle loss assessment image, server and terminal device
US20230077355A1 (en) Tracker assisted image capture
EP3338248B1 (en) Systems and methods for object tracking
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
US20200058075A1 (en) Method and apparatus for obtaining vehicle loss assessment image, server and terminal device
KR101299237B1 (ko) 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
TW202201944A (zh) 保持用於幀中的目標物件的固定尺寸
JP6525545B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN110008795B (zh) 图像目标追踪方法及其系统与计算机可读取记录介质
US20200267309A1 (en) Focusing method and device, and readable storage medium
US9838604B2 (en) Method and system for stabilizing video frames
JP2015104016A (ja) 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
KR20160113887A (ko) 영상안정화장치 및 방법
US20200250803A1 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
CN107111764B (zh) 由对象在成像装置的视野中的深度触发的事件
US8406468B2 (en) Image capturing device and method for adjusting a position of a lens of the image capturing device
JP6065629B2 (ja) 物体検知装置
CN115760912A (zh) 运动目标跟踪方法、装置、设备及计算机可读存储介质
KR101576426B1 (ko) 어안 렌즈를 이용한 감시 장치 및 방법
JP2005346425A (ja) 自動追尾装置及び自動追尾方法
JP6799325B2 (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
CN116580182B (zh) 一种自动调整的目标检测的方法、系统、设备及存储介质
KR101460317B1 (ko) 불안정한 카메라 환경에서의 이동 객체 검출 장치 및 방법
KR101760892B1 (ko) 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 5