KR101514366B1 - 감시 카메라 시스템의 영상합성 장치 및 그 방법 - Google Patents

감시 카메라 시스템의 영상합성 장치 및 그 방법 Download PDF

Info

Publication number
KR101514366B1
KR101514366B1 KR1020140123566A KR20140123566A KR101514366B1 KR 101514366 B1 KR101514366 B1 KR 101514366B1 KR 1020140123566 A KR1020140123566 A KR 1020140123566A KR 20140123566 A KR20140123566 A KR 20140123566A KR 101514366 B1 KR101514366 B1 KR 101514366B1
Authority
KR
South Korea
Prior art keywords
image
images
coordinate system
threshold value
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020140123566A
Other languages
English (en)
Inventor
문병섭
박범진
김지수
노창균
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020140123566A priority Critical patent/KR101514366B1/ko
Application granted granted Critical
Publication of KR101514366B1 publication Critical patent/KR101514366B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 영상을 합성하기 위한 장치는, 교량이나 터널을 감시하는 영역 내의 다수의 카메라로부터 압축된 영상을 입력받는 영상 입력부, 입력받은 상기 압축된 영상들을 3차원 좌표계 영상들로 복원하고 그 복원된 3차원 좌표계 영상들 각각의 특징점들을 기반으로 소정의 변환 행렬의 값을 계산한 후 계산된 변환 행렬을 이용하여 상기 복원된 3차원 좌표계 영상들을 2차원 좌표계 영상들로 각각 변형하는 영상 변형부, 상기 복원된 3차원 좌표계 영상들 각각에서 일정한 개수의 특징점을 추출하는 특징점 검출부, 및 상기 영상 변형부가 변형한 영상들을 합성하여 하나의 합성영상을 생성하는 영상 합성부를 포함하여 구성된다.
본 발명은 다수의 카메라로부터 획득된 3차원 공간 평면의 영상을 미리 정의된 변환 행렬을 이용하여 2차원 공간 평면의 영상으로 변형하고 그 변형된 영상들을 합성하여 하나의 합성 영상을 생성함으로써, 카메라의 위치나 설치 각도에 관계없이 전체 영역에 대한 영상을 획득할 수 있는 효과가 있다. 또한, 영상합성을 위해서는, 다수의 카메라로부터 획득된 3차원 좌표계 영상 이미지 상에서 최소한 4점의 좌표(예: 미리 정의된 표식점 또는 랜드마크)는 미리 알고 있어야 하는데, 본 발명은 이러한 4점의 좌표에 해당하는 특징점들(feature points)을 자동으로 추출하는 적응적 해리스 코너 포인트 방식을 고안하였다.

Description

감시 카메라 시스템의 영상합성 장치 및 그 방법 {APPARATUS FOR COMBING IMAGE IN SURVEILLANCE CAMERA SYSTEM AND METHOD THEREOF}
본 발명은 영상 합성 장치에 관한 것으로, 특히, 다수의 감시 카메라로부터 획득된 영상들을 합성하여 하나의 합성 영상을 생성하도록 하는 감시 카메라 시스템의 영상합성 장치 및 그 방법에 관한 것이다.
일반적으로 감시 카메라 시스템은 특정 지역을 감시하기 위하여 다수의 카메라를 사용한다. 각각의 카메라로부터 획득된 영상은 개별적인 모니터에 출력되어 감시자는 그 개별적인 모니터를 이용하여 전체적인 지역을 감시하게 된다.
각각의 카메라는 모두 다양한 각도와 방향으로 설치되기 때문에 각각의 모니터에서 출력되는 영상을 관찰하여서는 실제 모니터에 나타나는 영상과 물리적으로 존재하는 영역 사이의 관계를 파악하기가 어렵다.
따라서 감시자는 모니터에 출력되는 영상만을 확인하는 것으로 감시하고자 하는 전체 영역에 대한 이미지를 쉽게 떠올릴 수 없기 때문에 전체 영역에 대한 감시가 쉽지 않을 뿐만 아니라 감시자 또한 쉽게 피로해진다.
또한 감시하는 특정 영역 안의 특정 이동체를 지속적으로 모니터링하고자 할 경우 감시하고자 하는 전체 영역에 대한 이미지를 쉽게 확인할 수 없기 때문에 특정 지역 안의 이동체를 지속적으로 모니터링하는데 상당한 어려움이 있다.
이러한, 문제점들을 해결하기 위해, 구간 별 설치된 카메라를 통해 이동체의 전체 구간 움직임을 쉽게 추척하고 모니터할 수 있는 영상합성 장치가 개발되었고, 한국공개특허 10-2013-0070329(이하, 선행기술)에 그 영상합성 장치에 관한 내용이 개시되어 있다.
그러나 이러한, 종래 영상합성 장치의 경우, 다수의 영상 이미지를 하나로 합성할 때 영상의 왜곡현상을 일으키며, 카메라가 확보할 수 있는 도로의 거리 및 비선형구간이 늘어날수록 발생되는 영상 왜곡의 정도는 더 커지는 문제점을 가지고 있었다.
한국공개특허 제10-2013-0070329(발명의 명칭: 감시 카메라 시스템에서 영상을 합성하기 위한 장치 및 방법)
본 발명의 목적은, 다수의 카메라로부터 획득된 3차원 공간 평면의 영상을 미리 정의된 변환 행렬을 이용하여 2차원 공간 평면의 영상으로 변형하고, 그 변형된 영상들을 합성하여 하나의 합성 영상을 생성하도록 하는 감시 카메라 시스템의 영상합성 장치 및 그 방법을 제공하는데 있다.
본 발명의 다른 목적은, 다수의 카메라로부터 획득된 3차원 영상들로부터 일정한 개수의 특징점을 추출하는 감시 카메라 시스템의 영상합성 장치 및 그 방법을 제공하는데 있다.
본 발명의 부가적인 특성 및 이점들은 아래의 설명에 기재될 것이며, 부분적으로는 상기 설명에 의해 명백해지거나 본 발명의 실행을 통해 숙지될 것이다. 본 발명의 목표 및 다른 이점들은 특히 아래 기재된 설명 및 부가된 도면뿐만 아니라 청구항에서 지적한 구조에 의해 구현될 것이다.
본 발명은 다수의 카메라로부터 획득된 3차원 공간 평면의 영상을 미리 정의된 변환 행렬을 이용하여 2차원 공간 평면의 영상으로 변형하고 그 변형된 영상들을 합성하여 하나의 합성 영상을 생성함으로써, 카메라의 위치나 설치 각도에 관계없이 전체 영역에 대한 영상을 획득할 수 있는 효과가 있다.
또한, 본 발명은 카메라의 위치나 설치 각도에 관계없이 전체 영역에 대한 영상을 획득하기 때문에 감시자가 직관적으로 전체 영역을 감시할 수 있는 효과가 있다.
또한, 본 발명은 감시자가 직관적으로 전체 영역을 감시할 수 있기 때문에 전체 영역 안에서 움직이는 이동체를 쉽게 추척 및 모니터링할 수 있는 효과가 있다.
또한, 영상합성을 위해서는, 다수의 카메라로부터 획득된 3차원 좌표계 영상 이미지 상에서 최소한 4점의 좌표(예: 미리 정의된 표식점 또는 랜드마크)는 미리 알고 있어야 하는데, 본 발명은 이러한 4점의 좌표에 해당하는 특징점들(feature points)을 자동으로 추출하는 적응적 해리스 코너 포인트 방식을 고안하였다.
도1은 본 발명의 일 실시예에 따른 감시 카메라 시스템을 나타내는 도면.
도2는 본 발명에 따른 영상합성 장치의 블록 구성도.
도3은 2차원 평면으로 투영된 3차원 공간상의 점을 나타내는 도면.
도4는 본 발명의 일 실시예에 따른 영상의 변환을 설명하기 위한 도면.
도5는 본 발명의 일 실시예에 따른 영상의 합성을 설명하기 위한 도면.
도6은 각 영상 이미지에서 특징점을 추출하는 절차에 관한 흐름도.
도7은 본 발명에 따른 특징점 검출부의 동작에 관한 흐름도.
도8은 본 발명의 일 실시예에 따른 영상을 합성하기 위한 방법을 나타내는 도면.
상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 영상을 합성하기 위한 장치는,
교량이나 터널을 감시하는 영역 내의 다수의 카메라로부터 압축된 영상을 입력받는 영상 입력부, 입력받은 상기 압축된 영상들을 3차원 좌표계 영상들로 복원하고 그 복원된 3차원 좌표계 영상들 각각의 특징점들을 기반으로 소정의 변환 행렬의 값을 계산한 후 계산된 변환 행렬을 이용하여 상기 복원된 3차원 좌표계 영상들을 2차원 좌표계 영상들로 각각 변형하는 영상 변형부, 상기 복원된 3차원 좌표계 영상들 각각에서 일정한 개수의 특징점을 추출하는 특징점 검출부, 및 상기 영상 변형부가 변형한 영상들을 합성하여 하나의 합성영상을 생성하는 영상 합성부를 포함하여 구성되며, 상기 소정의 변환 행렬은 높이(z축)에 제로값('0')을 할당하는 3X3 행렬이다.
바람직하게, 상기 특징점 검출부(224)는 상기 복원된 3차원 좌표계 영상들을 그레이 레벨 채널로 변환하고, 그레이 레벨 채널로 변환된 이미지에 대해 가우시안 필터링을 수행하고, 상기 필터링된 영상 이미지에 적응적 해리스 코너 포인트 방식을 적용하여, 일정한 개수의 특징점을 추출하는 것을 특징으로 한다.
바람직하게, 상기 적응적 해리스 코너 포인트 방식은, 가우시안 필터링된 영상을 입력받고 수식을 구성하는 파라미터들을 초기화하는 과정과, 문턱값(Ti)을 적용하여 상기 해리스 코너 포인트 방식에 따라 특징점들을 추출하는 과정과, 상기 추출된 특징점 개수(N(Ti))와 사용자가 추출하고자 하는 특징점 개수(Ntarget)의 차이(S)가 소정의 허용범위(r)를 넘는지 여부를 비교하는 과정과, 상기 차이(S)가 허용범위(r)를 넘고 동시에 상기 N(Ti)이 Ntarget보다 작은 경우, 문턱값(Ti)을 σ만큼 감소시키는 과정과, 상기 차이(S)가 허용범위(r)를 넘고 동시에 상기 N(Ti)이 Ntarget와 같거나 큰 경우, 문턱값(Ti)을 σ만큼 증가시키는 과정과, 상기 문턱값(Ti)이 σ만큼 감소 또는 증가되면, 상기 초기화 이후의 과정들을 반복 수행하는 과정을 포함하여 이루어지며, 상기 σ는 문턱값(T)을 조절하는 증분량(Step size)인 것을 특징으로 한다.
바람직하게, 상기 문턱값(Ti)을 σ만큼 감소시키는 과정은 이전의 과정에서 문턱값(Ti-1)이 그 이전 과정의 문턱값(Ti-2)보다 증가된 것인 경우, σ를 λ배 만큼 감소시키는 과정을 포함하며, 상기 λ는 입력영상의 특징적인 변화를 의미하는 고유값으로, 0과 1사이의 값을 갖는 상수인 것을 특징으로 한다.
바람직하게, 상기 문턱값(Ti)을 σ만큼 증가시키는 과정은 이전의 과정에서 문턱값(Ti-1)이 그 이전 과정의 문턱값(Ti-2)보다 감소된 것인 경우, σ를 λ배 만큼 감소시키는 과정을 포함하며, 상기 λ는 입력영상의 특징적인 변화를 의미하는 고유값으로, 0과 1사이의 값을 갖는 상수인 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 영상을 합성하기 위한 방법은,
교량이나 터널을 감시하는 영역 내의 다수의 카메라로부터 압축된 영상을 입력받는 단계, 입력받은 상기 압축된 영상들을 3차원 좌표계 영상들로 복원하는 단계, 상기 복원된 3차원 좌표계 영상들 각각에서 일정한 개수의 특징점을 추출하는 단계, 상기 추출된 특징점들을 기반으로, 높이(z축)에 제로값('0')을 할당하는 3X3의 변환 행렬의 값을 계산한 후 계산된 변환 행렬을 이용하여 상기 복원된 3차원 좌표계 영상들을 2차원 좌표계 영상들로 각각 변형하는 단계, 상기 변형된 상기 다수의 영상들을 합성하여 하나의 합성영상을 생성하는 단계를 포함하여 이루어진다.
이하, 본 발명의 바람직한 실시예를 도면을 참조하여 설명하면 다음과 같다.
우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다.
이하에서는, 본 발명의 실시예에 따른 감시 카메라 시스템에서 영상을 합성하기 위한 장치 및 그 방법을 첨부한 도 1 내지 도 6을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다. 또한, 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
특히, 본 발명에서는 다수의 카메라로부터 획득된 3차원 공간 평면의 영상을 미리 정의된 변환 행렬을 이용하여 2차원 공간 평면의 영상으로 변형하고 그 변형된 영상들을 합성하여 하나의 합성 영상을 생성하도록 하는 새로운 방안을 제안한다.
도1은 본 발명의 일실시예에 따른 감시 카메라 시스템을 나타내는 도면이다.
도1에 도시한 바와 같이, 본 발명에 따른 감시 카메라 시스템은 감시 영역에 설치되는 다수의 카메라(100), 및 영상 합성 장치(200) 등을 포함하여 구성될 수 있다.
카메라(100)는 감시하고자 하는 전체 영역을 모두 관찰할 수 있도록 배치될 수 있다. 이때, 카메라(100)의 위치와 방향은 상관이 없는데, 감시하고자 하는 전체 영역을 모두 확보할 수 있는 영상을 획득할 수 있도록 배치되어야 한다.
카메라(100)는 획득된 영상을 압축하여 유선 또는 무선 네트워크를 통해 영상 합성 장치(200)로 전송할 수 있다.
영상 합성 장치(200)는 카메라로부터 입력받은 압축된 영상을 복원하고 그 복원된 영상을 미리 정의된 변환식 또는 변환 행렬을 이용하여 변형(wrapping)하고 그 변형된 영상들을 합성하여 하나의 합성 영상을 생성할 수 있다.
도 2는 도 1에 도시된 영상 합성 장치(200)의 상세한 구성을 나타내는 도면이다.
도 2에 도시한 바와 같이, 본 발명에 따른 영상 합성 장치(200)는 영상 입력부(210), 영상 변형부(220), 특징점 검출부(224), 영상 합성부(230), 및 영상 저장부(240) 등을 포함하여 구성될 수 있다.
상기 영상 입력부(210)는 카메라로부터 압축된 영상을 유선 또는 무선으로 입력받을 수 있다.
상기 영상 변형부(220)는 압축된 영상을 복원하여 그 복원된 영상을 미리 정의된 변환 행렬을 이용하여 변형할 수 있는데, 여기서, 변환 행렬은 3차원 공간상의 좌표를 2차원 이미지상의 좌표로 변형하거나 2차원 이미지상의 좌표를 3차원 공간상의 좌표로 변형할 수 있다.
이러한 변환 행렬을 도 3 내지 도 5를 참조하여 구체적으로 설명하면 다음과 같다.
도 3은 2차원 평면으로 투영된 3차원 공간상의 점을 나타내는 도면이다.
도 3에 도시한 바와 같이, 3차원 공간상의 점(X,Y,Z)가 카메라를 통해 2차원 평면상의 점(x,y)로 투영될 수 있다고 가정하면, 이때의 3차원 공간상의 좌표 (X,Y,Z)와 2차원 평면상의 좌표(x,y) 사이의 관계는 다음의 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
Figure 112014088103920-pat00001
(x,y)는 카메라 센서 상의 좌표이므로 이것을 이미지의 픽셀 좌표로 변경하면 다음의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
Figure 112014088103920-pat00002
여기서, (u,v)는 이미지 상의 좌표를 나타내고, (u0,v0)는 카메라 광축이 이미지에 투영되는 곳의 좌표를 나타낼 수 있다. 그리고 ku, kv는 x축과 y축 각각에 대하여 카메라 센서 상의 좌표와 이미지 좌표 사이의 비율을 나타낼 수 있다.
상기 [수학식 2]를 행렬로 표현하면 다음의 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
Figure 112014088103920-pat00003
3차원 공간상의 좌표는 회전과 이동이 이루어지므로 3차원 공간상의 회전과 이동을 고려하여 상기 [수학식 3]을 표현하면 다음의 [수학식 4]와 같이 나타낼 수 있다.
[수학식 4]
Figure 112014088103920-pat00004
여기서, 회전은 회전 행렬
Figure 112014088103920-pat00005
로 이루어지고, 이동은 이동 행렬
Figure 112014088103920-pat00006
로 이루어진다.
3차원 회전 행렬 R은 3차원 공간상에서 x,y,z축에 대한 회전을 표현한 행렬로 만일 각 축에 대한 회전량을
Figure 112014088103920-pat00007
(z축)
Figure 112014088103920-pat00008
(y축),
Figure 112014088103920-pat00009
(x축)이라 하면, 회전 행렬 R은 다음의 [수학식 5]와 같이 나타낼 수 있다.
[수학식 5]
Figure 112014088103920-pat00010
상기 [수학식 5]에서 주간 행렬을 모두 곱하여 3차원 공간상의 좌표 (X,Y,Z)와 2차원 이미지 상의 좌표 (u,v) 사이의 관계를 정리하면 다음의 [수학식 6]과 같이 나타낼 수 있다.
[수학식 6]
Figure 112014088103920-pat00011
상기 [수학식 6]에서 행렬 P는 카메라 내부 변수, f, ku, kv, u0, v0와 카메라의 회전과 이동에 관계된 변수
Figure 112014088103920-pat00012
가 모두 포함되어 있는 행렬로, 3차원 물체가 2차원 평면상에 투영되어 변화한다면 임의의 형태로 변형되는 것이 아니라 상기 [수학식 6]에 의하여 형태의 변화가 제한받게 된다.
실제로 행렬 P를 계산하기 위하여 카메라 내부 변수와 외부 변수를 측정하는 것은 거의 불가능하기 때문에 실제 3차원 공간상의 좌표와 2차원 이미지상의 좌표를 측정하여 계산해야 한다. 이러한 3차원 공간상의 좌표와 2차원 이미지상의 좌표와의 관계식으로부터 다음의 [수학식 7]을 유도할 수 있다.
[수학식 7]
Figure 112014088103920-pat00013
,
Figure 112014088103920-pat00014
,
Figure 112014088103920-pat00015
상기 [수학식 7]을 이용하면 3차원 공간상의 좌표와 이에 대응하는 2차원 이미지상의 좌표로부터 변환 행렬 P를 계산할 수 있다. 만일 3차원 공간상의 좌표가 동일한 평면위에 있다고 가정하면 다음의 [수학식 8]과 같이 단순화시킬 수 있다.
[수학식 8]
Figure 112014088103920-pat00016
만일 3차원 공간상의 좌표가 동일한 평면 위에 존재하지 않는다면 3차원 공간 물체의 높이 정보까지 알아야만 영상을 합성할 수 있다. 하지만 감시카메라는 상당히 높은 곳에 설치되기 때문에 카메라에서 지면까지의 거리에 비하여 차량의 높이는 무시할 수 있기 때문에 [수학식 8]에서처럼 카메라로부터 들어오는 영상이 동일한 평면상에 존재한다고 가정하여도 무방할 수 있다.
3차원 공간상의 좌표가 동일 평면 위에 있다고 가정하면 행렬 P를 계산하기 위해서는 3차원 공간상의 점과 이에 대응되는 이미지상의 4점이 필요하다.
도4는 본 발명의 일 실시예에 따른 영상의 변환을 설명하기 위한 도면이다.
도4의 (a)에 도시한 바와 같이, 영상의 변환은 3x3 변환행렬 P를 이용하여 이루어진다. 즉, 도4의 (b)에 도시된 바와 같이 3차원 좌표계의 이미지에서 2차원 좌표계의 이미지로 변형되거나 2차원 좌표계의 이미지에서 3차원 좌표계의 이미지로 변형될 수 있다. 도4의 (b)는 실제 3차원 좌표계의 영상을 2차원 좌표계의 영상으로 변형한 예시도이다.
여기서, 카메라로부터 들어온 이미지(3차원 좌표계 영상들)에서 4점에 대한 좌표를 알고 있다면 이 4점으로부터 변환 행렬 P를 계산할 수 있고, 역으로 변환 행렬 P를 이용하면 카메라 이미지 상의 모든 점을 3차원 좌표계 이미지로 변환할 수 있다.
종래 기술의 경우, 카메라 영상에서 최소한 4점의 좌표(예: 미리 정의된 표식점이거나 잘 알려진 랜드마크 등)를 미리 알고 있다고 가정하였는데, 본 발명은 상기 최소한 4점의 좌표(이하, '특징점(feature point)'이라 한다)를 상기 카메라 영상에서 자동으로 검출한다.
상기 본 발명에 따른 특징점 검출부(224)는 해리스 코너 포인트 방식에 따라 상기 복원된 3차원 좌표계 영상들 각각에서 특징점들을 자동으로 추출한다. 특히, 문턱값(Ti)을 적용하는 적응적 해리스 코너 포인트 방식에 따라 특징점들을 추출한다.
본 발명의 특징점 검출부(224)는 영상 이미지에 상관없이 자동으로 문턱값을 조절하여 일정한 개수의 특징점을 추출하게 된다.
상기 영상 합성부(230)는 도5에 도시된 바와 같이, 변형된 영상들을 합성하여 하나의 합성 영상을 생성한다. 도5는 본 발명에 따른 영상합성을 설명하기 위한 예시도이다.
카메라가 2개일 경우 각각의 개별 카메라에 의해 촬영된 영상에 대한 변환 행렬 P를 계산하여 2차원 평면상으로 합성하게 된다.
영상을 합성하는 과정에서 영상과 영상이 겹쳐지는 부분이 발생할 수 있다. 이 부분을 얼마나 부드럽게 합성하는가는 합성된 영상의 질을 보장하게 된다. 겹쳐지는 부분에서 영상을 부드럽게 합성하는 것을 영상 블랜딩(image blending)이라고 한다.
이러한 불랜딩 기법에는 다양한 방법들이 존재하게 되는데, 예컨대, 두 영상의 평균값을 사용하는 방법과 각 영상으로부터의 거리에 따라 미리 설정된 가중치를 이용하는 방법 등이 있다. 물론, 본 발명은 반드시 이에 한정되지 않는다.
상기 영상 저장부(240)는 이렇게 생성된 합성 영상을 주기적으로 저장할 수 있다. 이렇게 저장된 합성 영상들은 필요에 따라 감시자 또는 관리자에게 제공될 수 있다.
도6은 각 영상 이미지에서 특징점을 추출하는 절차에 관한 흐름도이다.
본 발명에 따라 각 카메라 영상을 합성(정합)하기 위해서는 각 영상 이미지 상에서 최소한 4점의 좌표(예: 미리 정의된 표식점 또는 랜드마크)는 미리 알고 있어야 하는데, 본 예시는 상기 4점의 좌표(예: 미리 정의된 표식점 또는 랜드마크)을 대체하기 위해, 각 영상 이미지에서 특징점(feature point)을 추출하는 방법을 나타낸 것이다.
터널 내의 각 촬영 구간에서의 카메라의 설치환경이나 도로환경(예: 영상 취득용 카메라의 설치요건, 카메라의 설치 각도, 뷰포인트, 도로의 기하구조 등)에 따라 영상의 합성 시의 정확도에는 차이가 발생한다.
터널 내 설치된 다수의 카메라로부터 들어온 영상을 하나로 합성하는 과정에서, 카메라 1대가 확보할 수 있는 도로의 거리(길이)와 비선형 구간이 늘어날수록 영상의 왜곡현상도 늘어난다. 따라서, 정량적으로 분석하여 최적의 뷰포인트를 선정하고, 곡선의 오차각을 보정해야 한다.
곡선구간을 직선화하는 경우, 행렬의 회전각도가 선형이어야 하며, 비선형인 경우에는 각도 변환 시에 매 구간마다 각도를 선정해야 한다. 비선형 구간의 영상을 합성할 때, 각 카메라 구간별 교차구간을 인식하기 위한 특징점(feature point)을 획득하기 위해 마크 등록이 필요하며, 균일 곡선 구간을 획득하기 위한 최적의 각도를 선정해야 한다.
3차원 공간상의 좌표를 2차원의 좌표로 변형하고, 선형과 비선형 구간의 객체(object)를 추가적으로 변형하여 영상왜곡을 제거한다.
본 발명에 따른 특징점 검출부(224)는 일단, 상기 복원된 3차원 좌표계 영상들을 그레이 레벨 채널로 변환하고, 도6에 도시된 바와 같이, 그레이 레벨 채널로 변환된 이미지에 대해 가우시안 필터링을 수행한다. (S10 ~ S20)
상기 그레이 레벨 채널로 변환은 다중 채널(예: RGB(Red Green Blue) 채널 등)의 색 이미지를 그레이 레벨(Black and White)의 채널로 변환하는 절차를 의미한다.
상기 가우시안 필터링은 영상 이미지를 평활화하는 작업이며, 일정한 분포를 가진 이미지를 생성하기 위한 것이다. 가우시안 필터링의 평활화는 영상 이미지를 평탄하게 하는 것이 아니라 명암값 분포를 재분배하는 것으로서, 다음 단계의 특징점 추출을 용이하게 하기 위해 수행된다.
가우시안 필터링을 거친 영상 이미지에서 특징점을 추출한다. (S30) 본 발명에 다른 특징점 추출방법은, 해리스 코너 포인트 방식(Harris Corner point method)이다.
특징점 연산자가 가져야 할 조건으로는 특징성(distinctness), 불변성(invariance), 안정성(stability), 판독성(interpretability)의 4가지 조건이 있다. 상기 특징성은 인접한 점들과 구별할 수 있는 특이점들의 추출이 가능해야 한다는 것이고, 상기 불변성은 기하학적, 방사학적 왜곡에 불변하는 구별성이 있는 점의 추출이 가능해야 한다는 것이다. 그리고 상기 안정성은 잡영(noise)에 대해서도 큰 영향을 받지 않아야 한다는 것이며, 상기 판독성은 경계선, 모서리와 같이 판독이 가능한 점들이 효율적으로 추출되어야 한다는 것이다.
해리스 코너 포인트 방식은 이러한 4가지 조건에 맞는 특징점 추출을 가능하게 하는 연산방식으로서, 특징점의 추출을 위한 응답함수는 하기 수학식9와 같다.
[수학식 9]
Figure 112014088103920-pat00017
특징점의 추출을 위한 해리스 코너 포인트 방식의 응답함수(H(x,y))는 영상의 가로방향과 세로방향에 대한 1차, 2차 미분값으로 구성된 국부구조 행렬(Cstr)을 이용한다.
여기서, 상기 Cstr는 국부구조 행렬이고, 상기 det(Cstr)는 행렬 Cstr의 행렬식(determinant) 값이며, traceCstr는 행렬 Cstr의 대학합이다. 또한, 상기 α는 Harris에 의해서 제안된 매개변수(0.04)이며, 하기 수학식10에 따라 구할 수 있다.
[수학식 10]
Figure 112014088103920-pat00018
상기 Cstr에서 x축과 y축의 2차 미분은 입력영상의 2차원 방향성을 나타내는 공분산 행렬(covariance matrix)을 나타낸다. 이미지 상의 어떤 점에서 행렬 Cstr의 고유 값이 크다면 임의의 방향에 대한 작은 움직임은 밝기 값을 변화시키며 이것은 해당 이미지 상에서의 특징점을 나타낸다.
고유값 λ1, λ2 는 입력영상의 특징적인 변화를 의미하며 특징점이 존재한다는 것을 의미한다. 상기 두 고유값 λ1, λ2 (λ1≥λ2≥0)의 비를 k(k= λ1 / λ2)라고 가정하면 하기 수학식11과 같은 응답함수를 얻을 수 있다.
[수학식 11]
Figure 112014088103920-pat00019
여기서, 상기 α는 해리스 코너 포인트 방식에서 제안된 매개변수(0.04) 이며, α가 0≤α≤1/(1+x)2≤0.25인 경우 H≥0 이다. 상기 수학식11의 응답함수 연산자에서 α가 커지면 커질수록 응답함수 H(x, y)가 작아지게 되고 이는 곧 적은 수의 특징점을 추출하게 된다. 이와 반대로 α가 작아질수록 H(x, y)는 커지게 되며 많은 수의 특징점을 추출하게 된다.
Harris 연산자에서 특징점은 H(x,y)>Hth일 경우 추출되며, 이때 상기 Hth는 특징 점의 강도(strength)를 나타내는 임계값을 의미한다.
도7은 본 발명에 따른 특징점 검출부의 동작에 관한 흐름도이다.
본 발명에 따른 특징점 검출부(224)는 적응적 특징점 검출을 수행한다.
각기 다른 영상 이미지에 동일한 문턱값을 적용할 경우 각 이미지에 따라 추출되는 특징 점의 수가 상이하게 된다. 이때 특징점이 너무 적을 경우 올바른 대응 특징점이 부족하여 정합에 실패할 가능성이 높으며, 반대로 특징점이 너무 많을 경우 연산량이 증가하고 잘못된 대응 특징점이 발생할 가능성이 커지게 되는 문제가 발생한다. 이와 같은 문제를 해결하기 위해서 본 발명에 따른 특징점 검출부(224)는 영상 이미지에 상관없이 자동으로 문턱값을 조절하여 일정한 개수의 특징점을 추출한다.
도7에 도시된 바와 같이, 상기 특징점 검출부(224)는 우선, 가우시안 필터링된 영상을 입력받고 수식을 구성하는 파라미터들을 초기화한다. (S110)
그리고, 문턱값(Ti)을 적용하여 상기 해리스 코너 포인트 방식에 따라 특징점들을 추출한다. (S120)
이후, 상기 특징점 검출부(224)는 상기 추출된 특징점 개수(N(Ti))와 사용자가 추출하고자 하는 특징점 개수(Ntarget)의 차이(S)가 소정의 허용범위(r)를 넘는지 여부를 비교한다. (S130)
상기 T는 응답함수 H(x, y)의 문턱 값이고, N(T)는 문턱값(T)를 적용하여 추출된 특징점의 개수이다. 상기 N(T)는 T에 대한 감소함수이므로 상기 문턱값(T)을 조절함으로써 추출되는 코너 개수를 조절할 수 있다. Ntarget과 r는 각각 사용자가 추출하고자 하는 특징 점의 개수와 허용 범위이다.
상기 비교(S130) 결과, 상기 차이(S)가 허용범위(r)를 넘고 동시에 상기 N(Ti)이 Ntarget보다 작은 경우, 특징점 검출부(224)는 상기 문턱값(Ti)을 σ만큼 감소시킨다. (S160) 이때, 특징점 검출부(224)는 이전의 과정에서 문턱값(Ti-1)이 그 이전 과정의 문턱값(Ti -2)보다 증가된 것인 경우, σ를 λ배 만큼 감소시킨다. (S150) 여기서, 상기 λ는 입력영상의 특징적인 변화를 의미하는 고유값으로, 0과 1사이의 값을 갖는 상수이다. 또한, 상기 σ는 문턱값(T)을 조절하는 증분량(Step size)이다.
한편, 상기 차이(S)가 허용범위(r)를 넘고 동시에 상기 N(Ti)이 Ntarget와 같거나 큰 경우, 특징점 검출부(224)는 문턱값(Ti)을 σ만큼 증가시킨다. (S180) 이때 만일, 이전의 과정에서 문턱값(Ti-1)이 그 이전 과정의 문턱값(Ti-2)보다 감소된 것인 경우, σ 를 λ배 만큼 감소시킨다. (S170)
이상의 과정들(S160, S180)을 거치며, 상기 문턱값(Ti)이 σ만큼 감소 또는 증가되면, 특징점 검출부(224)는 상기 과정들(S120~S180)을 반복 수행한다. 상기 과정들(S120~S180)이 반복 수행됨으로써, 문턱값(T)이 조절되고, 또한 추출되는 특징점의 개수가 조절될 수 있다. 최종적으로 추출되는 특징점의 개수는 Ntarget - r와 Ntarget + r 사이가 된다.
도8은 본 발명의 일 실시예에 따른 영상을 합성하기 위한 방법을 나타내는 도면이다.
도8에 도시한 바와 같이, 본 발명에 따른 영상을 합성하기 위한 장치(이하, 영상 합성 장치라고 한다)는 카메라로부터 압축된 영상을 유선 또는 무선으로 입력받을 수 있다(S610).
다음으로, 영상 합성 장치는 압축된 영상들을 복원하여(S620) 그 복원된 영상들을 미리 정의된 변환 행렬을 이용하여 각각 변형할 수 있다(S630). 즉, 영상 합성 장치는 복원된 3차원 좌표계의 영상을 2차원 좌표계의 영상으로 변형할 수 있다.
다음으로, 영상 합성 장치는 변형된 영상들을 합성하여 하나의 합성 영상을 생성할 수 있다(S640). 이때, 영상 합성 장치는 영상들을 합성하는 과정에서 합성되는 영상들 간에 겹쳐지는 부분은 겹쳐지는 영상들의 평균값을 사용하여 하나로 합성할 수 있다. 그리고 합성 영상 장치는 영상들을 합성하는 과정에서 합성되는 영상들 간에 겹쳐지는 부분은 겹쳐지는 영상들 각각으로부터의 거리에 따라 미리 설정되는 가중치를 사용하여 하나로 합성할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 발명에 의한 감시 카메라 시스템에서 영상을 합성하기 위한 장치 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 도면에 도시된 실시 예(들)를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형이 이루어질 수 있으며, 상기 설명된 실시예(들)의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
이상의 본 발명은 다수의 카메라로부터 획득된 3차원 공간 평면의 영상을 미리 정의된 변환 행렬을 이용하여 2차원 공간 평면의 영상으로 변형하고 그 변형된 영상들을 합성하여 하나의 합성 영상을 생성함으로써, 카메라의 위치나 설치 각도에 관계없이 전체 영역에 대한 영상을 획득할 수 있는 효과가 있다.
또한, 본 발명은 카메라의 위치나 설치 각도에 관계없이 전체 영역에 대한 영상을 획득하기 때문에 감시자가 직관적으로 전체 영역을 감시할 수 있는 효과가 있다.
또한, 본 발명은 감시자가 직관적으로 전체 영역을 감시할 수 있기 때문에 전체 영역 안에서 움직이는 이동체를 쉽게 추척 및 모니터링할 수 있는 효과가 있다.
또한, 영상합성을 위해서는, 다수의 카메라로부터 획득된 3차원 좌표계 영상 이미지 상에서 최소한 4점의 좌표(예: 미리 정의된 표식점 또는 랜드마크)는 미리 알고 있어야 하는데, 본 발명은 이러한 4점의 좌표에 해당하는 특징점들(feature points)을 자동으로 추출하는 적응적 해리스 코너 포인트 방식을 고안하였다.
100: 카메라
200: 영상 합성 장치
210: 영상 입력부
220: 영상 변형부
224: 특징점 검출부
230: 영상 합성부
240: 영상 저장부

Claims (16)

  1. 교량이나 터널을 감시하는 영역 내의 다수의 카메라로부터 압축된 영상을 입력받는 영상 입력부(210),
    입력받은 상기 압축된 영상들을 3차원 좌표계 영상들로 복원하고 그 복원된 3차원 좌표계 영상들 각각의 특징점들을 기반으로 소정의 변환 행렬의 값을 계산한 후 계산된 변환 행렬을 이용하여 상기 복원된 3차원 좌표계 영상들을 2차원 좌표계 영상들로 각각 변형하는 영상 변형부(220),
    상기 복원된 3차원 좌표계 영상들 각각에서 일정한 개수의 특징점을 추출하는 특징점 검출부(224), 및
    상기 영상 변형부가 변형한 영상들을 합성하여 하나의 합성영상을 생성하는 영상 합성부(230)를 포함하여 구성되며,
    상기 소정의 변환 행렬은 높이(z축)에 제로값('0')을 할당하는 3X3 행렬이며,
    상기 영상 합성부(230)는 상기 영상들을 합성하는 과정에서 합성되는 상기 영상들 간에 겹쳐지는 부분은 미리 설정된 블랜딩 기법을 사용하여 하나로 합성하는 것을 특징으로 하는 영상을 합성하기 위한 장치.
  2. 제1항에 있어서, 상기 특징점 검출부(224)는
    상기 복원된 3차원 좌표계 영상들을 그레이 레벨 채널로 변환하고,
    그레이 레벨 채널로 변환된 이미지에 대해 가우시안 필터링을 수행하고,
    상기 필터링된 영상 이미지에 적응적 해리스 코너 포인트 방식을 적용하여, 일정한 개수의 특징점을 추출하는 것을 특징으로 하는 영상을 합성하기 위한 장치.
  3. 제2항에 있어서, 상기 적응적 해리스 코너 포인트 방식은
    가우시안 필터링된 영상을 입력받고 수식을 구성하는 파라미터들을 초기화하는 과정과,
    문턱값(Ti)을 적용하여 상기 해리스 코너 포인트 방식에 따라 특징점들을 추출하는 과정과,
    상기 추출된 특징점 개수(N(Ti))와 사용자가 추출하고자 하는 특징점 개수(Ntarget)의 차이(S)가 소정의 허용범위(r)를 넘는지 여부를 비교하는 과정과,
    상기 차이(S)가 허용범위(r)를 넘고 동시에 상기 N(Ti)이 Ntarget보다 작은 경우, 문턱값(Ti)을 σ만큼 감소시키는 과정과,
    상기 차이(S)가 허용범위(r)를 넘고 동시에 상기 N(Ti)이 Ntarget와 같거나 큰 경우, 문턱값(Ti)을 σ만큼 증가시키는 과정과,
    상기 문턱값(Ti)이 σ만큼 감소 또는 증가되면, 상기 초기화 이후의 과정들을 반복 수행하는 과정을 포함하여 이루어지며,
    상기 σ는 문턱값(T)을 조절하는 증분량(Step size)인 것을 특징으로 하는 영상을 합성하기 위한 장치.
  4. 제3항에 있어서, 상기 문턱값(Ti)을 σ만큼 감소시키는 과정은
    이전의 과정에서 문턱값(Ti-1)이 그 이전 과정의 문턱값(Ti-2)보다 증가된 것인 경우, σ를 λ배 만큼 감소시키는 과정을 포함하며, 상기 λ는 입력영상의 특징적인 변화를 의미하는 고유값으로, 0과 1사이의 값을 갖는 상수인 것을 특징으로 하는 영상을 합성하기 위한 장치.
  5. 제3항에 있어서, 상기 문턱값(Ti)을 σ만큼 증가시키는 과정은
    이전의 과정에서 문턱값(Ti-1)이 그 이전 과정의 문턱값(Ti-2)보다 감소된 것인 경우, σ를 λ배 만큼 감소시키는 과정을 포함하며, 상기 λ는 입력영상의 특징적인 변화를 의미하는 고유값으로, 0과 1사이의 값을 갖는 상수인 것을 특징으로 하는 영상을 합성하기 위한 장치.
  6. 삭제
  7. 제1 항에 있어서, 상기 영상 합성부(230)는,
    상기 영상들을 합성하는 과정에서 합성되는 상기 영상들 간에 겹쳐지는 부분은 겹쳐지는 상기 영상들의 평균값을 사용하여 하나로 합성하는 것을 특징으로 하는 영상을 합성하기 위한 장치.
  8. 제1 항에 있어서, 상기 영상 합성부(230)는,
    상기 영상들을 합성하는 과정에서 합성되는 상기 영상들 간에 겹쳐지는 부분은 겹쳐지는 상기 영상들 각각으로부터의 거리에 따라 미리 설정되는 가중치를 사용하여 하나로 합성하는 것을 특징으로 하는 영상을 합성하기 위한 장치.
  9. 교량이나 터널을 감시하는 영역 내의 다수의 카메라로부터 압축된 영상을 입력받는 단계,
    입력받은 상기 압축된 영상들을 3차원 좌표계 영상들로 복원하는 단계,
    상기 복원된 3차원 좌표계 영상들 각각에서 일정한 개수의 특징점을 추출하는 단계,
    상기 추출된 특징점들을 기반으로, 높이(z축)에 제로값('0')을 할당하는 3X3의 변환 행렬의 값을 계산한 후 계산된 변환 행렬을 이용하여 상기 복원된 3차원 좌표계 영상들을 2차원 좌표계 영상들로 각각 변형하는 단계,
    상기 변형된 상기 다수의 영상들을 합성하여 하나의 합성영상을 생성하는 단계를 포함하여 이루어지며,
    상기 합성영상을 생성하는 단계는 상기 영상들을 합성하는 과정에서 합성되는 상기 영상들 간에 겹쳐지는 부분은 미리 설정된 블랜딩 기법을 사용하여 하나로 합성하는 것임을 특징으로 하는 영상을 합성하기 위한 방법.
  10. 제9항에 있어서, 상기 특징점을 추출하는 단계는,
    상기 복원된 3차원 좌표계 영상들을 그레이 레벨 채널로 변환하는 단계,
    상기 그레이 레벨 채널로 변환된 이미지에 대해 가우시안 필터링을 수행하는 단계,
    상기 필터링된 영상 이미지에 적응적 해리스 코너 포인트 방식을 적용하여, 일정한 개수의 특징점을 추출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상을 합성하기 위한 방법.
  11. 제10항에 있어서, 상기 적응적 해리스 코너 포인트 방식을 적용한 특징점 추출단계는,
    가우시안 필터링된 영상을 입력받고 수식을 구성하는 파라미터들을 초기화하는 단계와,
    문턱값(Ti)을 적용하여 상기 해리스 코너 포인트 방식에 따라 특징점들을 추출하는 단계와,
    상기 추출된 특징점 개수(N(Ti))와 사용자가 추출하고자 하는 특징점 개수(Ntarget)의 차이(S)가 소정의 허용범위(r)를 넘는지 여부를 비교하는 단계와,
    상기 차이(S)가 허용범위(r)를 넘고 동시에 상기 N(Ti)이 Ntarget보다 작은 경우, 문턱값(Ti)을 σ만큼 감소시키는 단계와,
    상기 차이(S)가 허용범위(r)를 넘고 동시에 상기 N(Ti)이 Ntarget와 같거나 큰 경우, 문턱값(Ti)을 σ만큼 증가시키는 단계와,
    상기 문턱값(Ti)이 σ만큼 감소 또는 증가되면, 상기 초기화 이후의 과정들을 반복 수행하는 단계를 포함하여 이루어지며,
    상기 σ는 문턱값(T)을 조절하는 증분량(Step size)인 것을 특징으로 하는 영상을 합성하기 위한 방법.
  12. 제11항에 있어서, 상기 문턱값(Ti)을 σ만큼 감소시키는 단계는
    이전의 과정에서 문턱값(Ti-1)이 그 이전 과정의 문턱값(Ti-2)보다 증가된 것인 경우, σ를 λ배 만큼 감소시키는 단계를 포함하며, 상기 λ는 입력영상의 특징적인 변화를 의미하는 고유값으로, 0과 1사이의 값을 갖는 상수인 것을 특징으로 하는 영상을 합성하기 위한 방법.
  13. 제11항에 있어서, 상기 문턱값(Ti)을 σ만큼 증가시키는 단계는
    이전의 과정에서 문턱값(Ti-1)이 그 이전 과정의 문턱값(Ti-2)보다 감소된 것인 경우, σ를 λ배 만큼 감소시키는 단계를 포함하며, 상기 λ는 입력영상의 특징적인 변화를 의미하는 고유값으로, 0과 1사이의 값을 갖는 상수인 것을 특징으로 하는 영상을 합성하기 위한 방법.
  14. 삭제
  15. 제9항에 있어서, 상기 합성영상을 생성하는 단계는,
    상기 영상들을 합성하는 과정에서 합성되는 상기 영상들 간에 겹쳐지는 부분은 겹쳐지는 상기 영상들의 평균값을 사용하여 하나로 합성하는 것을 특징으로 하는 영상을 합성하기 위한 방법.
  16. 제9항에 있어서, 상기 합성영상을 생성하는 단계는,
    상기 영상들을 합성하는 과정에서 합성되는 상기 영상들 간에 겹쳐지는 부분은 겹쳐지는 상기 영상들 각각으로부터의 거리에 따라 미리 설정되는 가중치를 사용하여 하나로 합성하는 것을 특징으로 하는 영상을 합성하기 위한 방법.
KR1020140123566A 2014-09-17 2014-09-17 감시 카메라 시스템의 영상합성 장치 및 그 방법 Expired - Fee Related KR101514366B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140123566A KR101514366B1 (ko) 2014-09-17 2014-09-17 감시 카메라 시스템의 영상합성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140123566A KR101514366B1 (ko) 2014-09-17 2014-09-17 감시 카메라 시스템의 영상합성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101514366B1 true KR101514366B1 (ko) 2015-04-23

Family

ID=53053875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140123566A Expired - Fee Related KR101514366B1 (ko) 2014-09-17 2014-09-17 감시 카메라 시스템의 영상합성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101514366B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112815909A (zh) * 2020-12-31 2021-05-18 山东高速工程检测有限公司 隧道变形测量方法及系统、测量机器人

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026123A (ko) * 2008-08-29 2010-03-10 주식회사 세인시스템 이동 물체의 특징점을 이용하는 영상 검지 방법
KR20100135573A (ko) * 2009-06-17 2010-12-27 주식회사 인투텍 차량 이동속도 추적장치와 그 방법 및 그 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR20130070329A (ko) * 2011-12-19 2013-06-27 한국건설기술연구원 감시 카메라 시스템에서 영상을 합성하기 위한 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026123A (ko) * 2008-08-29 2010-03-10 주식회사 세인시스템 이동 물체의 특징점을 이용하는 영상 검지 방법
KR20100135573A (ko) * 2009-06-17 2010-12-27 주식회사 인투텍 차량 이동속도 추적장치와 그 방법 및 그 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR20130070329A (ko) * 2011-12-19 2013-06-27 한국건설기술연구원 감시 카메라 시스템에서 영상을 합성하기 위한 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112815909A (zh) * 2020-12-31 2021-05-18 山东高速工程检测有限公司 隧道变形测量方法及系统、测量机器人
CN112815909B (zh) * 2020-12-31 2022-05-17 山东高速工程检测有限公司 隧道变形测量方法及系统、测量机器人

Similar Documents

Publication Publication Date Title
KR101548639B1 (ko) 감시 카메라 시스템의 객체 추적장치 및 그 방법
US11188768B2 (en) Object detection apparatus, object detection method, and computer readable recording medium
US8384911B2 (en) Measurement device and measurement method
US9165341B2 (en) Method for generating super-resolution images having improved image resolution and measuring device
US8059887B2 (en) System and method for providing mobile range sensing
CN110493488B (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
CN107077743A (zh) 用于阵列相机的动态校准的系统和方法
US10803609B2 (en) Image distance calculator and computer-readable, non-transitory storage medium storing image distance calculation program
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
US20150049937A1 (en) Method and apparatus for processing images
JP6199022B2 (ja) ビデオ画像シーケンスにおいて移動物体を検出するための方法および装置
US20210407189A1 (en) Information processing apparatus, information processing method, and program
CN104112280A (zh) 生成空间和光谱对象模型的方法
Reulke et al. Determination and improvement of spatial resolution of the CCD-line-scanner system ADS40
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
KR20190105760A (ko) 영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법
KR101972582B1 (ko) Ptz 촬상장치 기반 변위 측정 시스템 및 방법
KR101799143B1 (ko) 타깃 사이즈를 추정하기 위한 시스템 및 방법
KR102096576B1 (ko) 영상 합성 방법 및 장치
KR101514366B1 (ko) 감시 카메라 시스템의 영상합성 장치 및 그 방법
CN103728022A (zh) 一种坏像元的校正方法
JP4935769B2 (ja) 平面領域推定装置及びプログラム
KR101313134B1 (ko) 감시 카메라 시스템에서 영상을 합성하기 위한 장치 및 그 방법
JP2017181114A (ja) 放射線強度分布測定システム及び方法
CN113989428A (zh) 一种基于深度视觉的冶金库区全局三维重建方法及装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140917

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20141121

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20140917

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141208

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150301

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150416

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150417

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180406

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190416

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190416

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200408

Start annual number: 6

End annual number: 6

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20220127