KR101864318B1 - 감시 이미지 처리 장치 및 방법 - Google Patents

Abstract

본 발명은 이미지 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 감시 이미지로부터 고화질 이미지를 추출하여 디스플레이 하는 감시 이미지 처리 장치 및 방법에 관한 것이다. 감시 이미지 처리 장치는 제1 노출 시간을 갖는 이미지 및 제2 노출 시간을 갖는 이미지를 촬영하고 저장하는 카메라부 및 특정 시간대 이미지 확인을 위한 입력을 수신하면, 입력된 특정 시간 대에 해당하는 제1 노출 시간을 갖는 이미지의 배경과 일치하는 제2 노출 시간을 갖는 이미지의 배경을 검색한 후, 검색된 제2 노출 시간을 갖는 이미지와 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 가능한 신호로 출력하는 사용자 제어 시스템을 포함한다.

Description

감시 이미지 처리 장치 및 방법{Apparatus and method for processing monitoring image}

본 발명은 이미지 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 감시 이미지로부터 고화질 이미지를 추출하여 디스플레이 하는 감시 이미지 처리 장치 및 방법에 관한 것이다.

일반적으로 단노출 이미지는 대상에 대한 윤곽 정보는 식별할 수 있지만, 밝기가 부족하고, 장노출 이미지는 밝고 노이즈가 상대적으로 적지만, 주변 환경에 의한 카메라의 흔들림, 움직이는 사물의 속도에 의해 흐릿하게 보이는 현상이 존재한다.

도 1과 같이 종래의 이미지 처리 장치에서는 카메라(110) 및 레코더(120)를 이용하여 이미지를 촬영 및 저장한 후, 이를 전송하여 디스플레이부(130)를 통해 사용자가 이미지를 확인하고 있다. 그러나, 빠른 움직임을 보이는 물체나 장시간 노출 시간이 필요한 환경에서는 이미지 전체의 화질은 좋으나, 움직이는 물체에 대한 윤곽이 흐릿해 지는 현상이 발생하고 있다.

이를 개선하기 위해, 장노출 이미지와 단노출 이미지를 추출하여 합성하는 기술이 존재하나, 이러한 기술들은 장노출 이미지와 단노출 이미지가 동일한 배경을 가지고 있을 때 이미지 보정을 활용할 수 있는 방법이며, 각각의 이미지 비율 정도를 구성하는 방법에 대해서는 언급하고 있지 않다. 따라서 감시카메라와 같이 시간에 따라 움직이면서 동이미지를 촬영할 경우, 배경이 지속적으로 바뀌게 되어 상기 기술을 이용하는 시스템에서는 활용할 수 없다.

본 발명이 해결하고자 하는 기술적인 과제는 단노출 이미지의 촬영 시점을 정하고, 상기 정해진 촬영 시점을 이용한 단노출 이미지로 생성한 파노라마 이미지를 이용하여 단노출 이미지와 장노출 이미지 사이의 배경 차이를 해결하면서 고화질의 감시 이미지를 획득할 수 있는 이미지 처리 장치 및 방법을 제공하는데 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 이미지 처리 장치는 제1 노출 시간을 갖는 이미지 및 제2 노출 시간을 갖는 이미지를 촬영하고 저장하는 카메라부; 및 특정 시간대 이미지 확인을 위한 입력을 수신하면, 상기 입력된 특정 시간 대에 해당하는 상기 제1 노출 시간을 갖는 이미지의 배경과 일치하는 상기 제2 노출 시간을 갖는 이미지의 배경을 검색한 후, 상기 검색된 제2 노출 시간을 갖는 이미지와 상기 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 가능한 신호로 출력하는 사용자 제어 시스템;을 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 제1 노출 시간은 상기 제2 노출 시간 보다 더 긴 것을 특징으로 한다.

본 발명에 있어서, 상기 카메라부는 상기 제2 노출 시간을 갖는 이미지에 대해, 전후 이미지의 일부가 겹치도록 촬영하는 것을 특징으로 한다.

본 발명에 있어서, 상기 사용자 제어 시스템은 상기 입력된 특정 시간 대에 해당하는 제1 노출 시간을 갖는 이미지의 배경과 일치하는 상기 제2 노출 시간을 갖는 이미지의 배경을 검색하는 검색부; 및 상기 검색된 제2 노출 시간을 갖는 이미지와 상기 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 가능한 신호로 출력하는 합성부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 사용자 제어 시스템은 상기 특정 시간대 이미지 확인을 위한 입력을 수신하면, 상기 입력된 특정 시간 대의 제2 노출 시간을 갖는 이미지를 이용하여 파노라마 이미지를 생성하는 파노라마 이미지 생성부;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 검색부는 상기 입력된 특정 시간 대에 해당하는 제1 노출 시간을 갖는 이미지의 배경과 일치하는 상기 제2 노출 시간을 갖는 이미지의 배경을 상기 파노라마 이미지로부터 검색하는 것을 특징으로 한다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 이미지 처리 방법은 제1 노출 시간을 갖는 이미지 및 제2 노출 시간을 갖는 이미지를 촬영 및 저장하는 단계; 특정 시간대 이미지 확인을 위한 입력을 수신하는 단계; 상기 입력된 특정 시간 대에 해당하는 상기 제1 노출 시간을 갖는 이미지의 배경과 일치하는 상기 제2 노출 시간을 갖는 이미지의 배경을 검색하는 단계; 및 상기 검색된 제2 노출 시간을 갖는 이미지와 상기 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 하는 단계;를 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 제1 노출 시간은 상기 제2 노출 시간 보다 더 긴 것을 특징으로 한다.

본 발명에 있어서, 상기 촬영 및 저장하는 단계에서 상기 제2 노출 시간을 갖는 이미지에 대해, 전후 이미지의 일부가 겹치도록 촬영하는 것을 특징으로 한다.

본 발명에 있어서, 상기 특정 시간대 이미지 확인을 위한 입력을 수신하는 단계 후, 상기 입력된 특정 시간 대의 제2 노출 시간을 갖는 이미지를 이용하여 파노라마 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 검색하는 단계는 상기 입력된 특정 시간 대에 해당하는 제1 노출 시간을 갖는 이미지의 배경과 일치하는 상기 제2 노출 시간을 갖는 이미지의 배경을 상기 파노라마 이미지로부터 검색하는 것을 특징으로 한다.

상술한 바와 같이 본 발명에 따르면, 단노출 이미지의 촬영 시점을 정하고, 상기 정해진 촬영 시점을 이용한 단노출 이미지로 생성한 파노라마 이미지를 이용하여 단노출 이미지와 장노출 이미지 사이의 배경 차이를 해결하면서 고화질의 감시 이미지를 획득할 수 있다.

도 1은 종래의 감시 이미지 처리 장치의 구성을 보이는 블록도 이다.
도 2는 본 발명에 따른 감시 이미지 처리 장치의 구성을 보이는 블록도 이다.
도 3은 도 2 중 이미지 처리부의 상세 블록도 이다.
도 4는 도 2 중 제1 및 제2 노출 시간을 갖는 이미지 촬영을 설명하는 도면이다.
도 5는 도 2의 감시 이미지 처리 결과를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 감시 이미지 처리 방법의 동작을 보이는 흐름도 이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 2는 본 발명에 따른 감시 이미지 처리 장치의 구성을 보이는 블록도로 이다.

도 2를 참조하면, 감시 이미지 처리 장치는 카메라(200), 레코더(300) 및 사용자 제어 시스템(400)을 포함한다.

카메라(200)는 수평회전(즉, 패닝) 및 수직회전(즉, 틸팅)과 줌업/줌다운이 가능한 팬틸트줌(pan-tilt-zoom; PTZ) 카메라 이다. PTZ 카메라에 의하면, 수평회전과 수직회전 및 줌업/줌다운을 원격제어 할 수 있기 때문에, 원격지에 있는 운용자가 감시 영역을 변경할 수 있고, 필요에 따라서 특정 대상만 추적하면서 집중감시 할 수도 있다.

레코더(300)는 카메라(200)에서 촬영된 이미지를 저장한다. 본 발명에서 레코더(300)는 카메라(200) 내부에 포함될 수도 있고, 도 2와 같이 카메라(200) 외부에 각각 구비될 수도 있다.

본 발명에서 카메라(200)는 제1 노출 시간을 갖는 이미지 및 전후 이미지의 일부가 겹치도록 제2 노출 시간을 갖는 이미지를 촬영하고, 레코더(300)는 촬영된 제1 노출 시간을 갖는 이미지 및 제2 노출 시간을 갖는 이미지를 저장한다.

여기서, 제1 노출 시간을 갖는 이미지는, 1/100초 이상의 노출 시간을 갖는 이미지로, 장노출 이미지라 할 수 있다. 또한 제2 노출 시간을 갖는 이미지는, 1/100초 이하의 노출 시간을 갖는 이미지로, 단노출 이미지라고 할 수 있다. 즉, 제1 노출 시간은 제2 노출 시간보다 길 수 있다.

도 4는 도 2 중 제1 및 제2 노출 시간을 갖는 이미지 촬영을 설명하는 도면이다.

도 4a는 제1 노출 시간을 갖는 이미지 및 제2 노출 시간을 갖는 이미지의 촬영을 보이는 도면으로, 4장의 제1 노출 시간을 이미지를 갖는 이미지를 촬영하고, 1장의 제2 노출 시간을 갖는 이미지를 촬영한 예를 도시하고 있다. 도 4b는 카메라(200)의 이동 방향에 따라 제1 노출을 갖는 이미지 및 제2 노출 시간을 갖는 이미지의 주기를 결정하는 방법의 예를 도시하고 있다. 특히, 도 4b에 도시된 바와 같이, 카메라(200)의 이동 속도에 맞추어 일정 시간 간격으로 제2 노출 시간을 갖는 이미지를 획득하면, 제2 노출 시간을 갖는 이미지들을 활용하여 구면 좌표계를 기반으로 하는 파노라마 이미지를 얻을 수 있다.

도 4를 참조하면, 종래 기술의 문제점 중 하나인 제1 노출 시간을 갖는 이미지와 제2 노출 시간을 갖는 이미지간의 배경 차이는, 카메라(200) 이동을 활용한 제2 노출 시간을 갖는 이미지로 파노라마 이미지를 구성한 후, 파노라마 이미지에서 제1 노출 시간을 갖는 이미지의 배경과 동일한 부분을 갖는 제1 노출 시간을 갖는 이미지를 추출함으로써 해결할 수 있다. 이하 상세한 설명은 도 3을 참조하여 설명하기로 한다.

제2 노출 시간을 갖는 이미지를 이용하여 선명한 참조 이미지로 구현할 수 있으며, 제2 노출 시간을 갖는 이미지의 획득 주기는 카메라(200)의 이동 속도를 참고로 하여 파노라마 이미지 구현을 위해 필요한 주기로 결정할 수 있다. 즉, 제2 노출 시간을 갖는 이미지의 촬영에 대해, 전후 이미지의 일부가 겹치도록 촬영할 수 있다. 예를 들어 이전 제2 노출 시간을 갖는 이미지의 1/4이 겹치는 시점에서 현재의 제2 노출 시간을 갖는 이미지를 촬영할 수 있다. 따라서, 제2 노출을 갖는 이미지는 전/후 이미지가 모두 1/4씩 겹쳐서 촬영될 수 있다. 제2 노출 시간을 갖는 이미지 촬영 시에 제1 노출 시간을 갖는 이미지의 손실이 발생하지만, 손실된 제2 노출 시간을 갖는 이미지는 전체 이미지 처리에 거의 영향을 미치지 않는다.

사용자 제어 시스템(400)은 사용자로부터 특정 시간대 이미지 확인을 위한 입력을 수신하면, 입력된 특정 시간 대에 해당하는 제1 노출 시간을 갖는 이미지의 배경과 일치하는 제2 노출 시간을 갖는 이미지의 배경을 검색한 후, 검색된 제2 노출 시간을 갖는 이미지와 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 가능한 신호로 출력한다.

이러한 사용자 제어 시스템(400)은 사용자 입력부(410), 이미지 처리부(420) 및 디스플레이부(430)를 포함한다.

사용자 입력부(310)는 사용자가 레코더(300)에 저장된 이미지를 확인하기 위한 일련의 정보 입력 및 특정 시점에 대해 보다 선명한 이미지를 확인하고 싶을 때 일련의 특정 시점 정보 입력을 수행한다.

이미지 처리부(420)는 사용자 입력부(310)를 통하여 특정 시간 대에 해당하는 정보가 입력되면, 레코더(300)에 저장된 제1 노출 시간을 갖는 이미지 및 제2 노출 시간을 갖는 이미지를 불러와, 입력된 특정 시간 대에 해당하는 제2 노출 시간을 갖는 이미지를 이용하여 파노라마 이미지를 생성한다. 이후 파노라마 이미지로부터 제1 노출 시간을 갖는 이미지의 배경과 일치하는 제2 노출 시간을 갖는 이미지의 배경을 검색한 후, 검색된 제2 노출 시간을 갖는 이미지와 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 가능한 신호로 출력한다.

디스플레이부(430)는 제1 노출 시간을 갖는 이미지와, 제1 노출 시간과 동일한 배경을 갖는 파노라마 이미지 중 제2 노출 시간을 갖는 이미지가 합성되어 디스플레이 된다. 디스플레이부(430)에는 일반적으로 제1 노출 시간을 갖는 이미지만 디스플레이 되어 주변 환경에 의한 카메라의 흔들림, 움직이는 사물의 속도에 의해 흐릿하게 보이는 현상이 존재하게 되는데, 본 발명에서는 제2 노출 시간을 갖는 이미지로 생성한 파노라마 이미지를 이용하여 제2 노출 시간을 갖는 이미지와 제1 노출 시간을 갖는 이미지를 합성하여, 둘 사이의 배경 차이를 해결하면서 고화질의 감시 이미지를 디스플레이 할 수 있게 된다.

도 3은 도 2 중 이미지 처리부(420)의 상세 블록도가 도시되어 있다.

도 3을 참조하면, 이미지 처리부(420)는 파노라마 이미지 생성부(421), 검색부(422) 및 합성부(423)를 포함한다.

파노라마 이미지 생성부(421)는 사용자 입력부(410)를 통하여 특정 시간대의 이미지 확인을 위한 정보가 입력되면, 레코더(300)로부터 제2 노출 시간을 갖는 이미지를 불러와 파노라마 이미지를 생성한다.

검색부(422)는 사용자가 입력한 특정 시간대에 해당하는 제1 노출 시간을 갖는 이미지의 배경과 일치하는 제2 노출 시간을 갖는 이미지의 배경을 파노라마 이미지로부터 검색한다. 이는 제1 노출 시간을 갖는 이미지와 배경이 일치하는 파노라마 이미지의 제2 노출 시간을 갖는 이미지로부터 윤곽선 정보를 추출하기 위함이다.

합성부(423)는 검색된 파노라마 이미지 내의 제2 노출 시간을 갖는 이미지와 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 가능한 신호로 출력한다.

도 5는 도 2의 감시 이미지 처리 결과를 설명하기 위한 도면이 도시되어 있다. 도 5a는 제1 노출 시간을 갖는 이미지로써, 주변 환경에 의한 카메라의 흔들림, 움직이는 사물의 속도에 의해 흐릿하게 보이는 현상이 존재함을 알 수 있다. 도 5b 제2 노출 시간을 갖는 이미지로써, 윤곽 정보는 식별할 수 있지만, 밝기가 부족함을 알 수 있다. 도 5c는 제1 노출 시간을 갖는 이미지와 제2 노출 시간을 갖는 이미지를 합성한 결과로써, 제1 노출 시간을 갖는 이미지에서 발생하는 움직이는 대상이 흐릿하게 보이는 현상 및 제2 노출 시간을 갖는 이미지에서 발생하는 밝기 부족 현상을 해결한 고화질의 선명한 이미지가 획득됨을 알 수 있다.

도 6은 본 발명에 따른 감시 이미지 처리 방법의 동작을 보이는 흐름도 이다.

도 6을 참조하면, 먼저 카메라(200)는 제1 노출 시간을 갖는 이미지 및 전후 이미지의 일부가 겹치도록 제2 노출 시간을 갖는 이미지를 촬영하여 저장한다(S10). 여기서, 제1 노출 시간을 갖는 이미지는, 1/100초 이상의 노출 시간을 갖는 이미지로, 장노출 이미지라 할 수 있다. 또한 제2 노출 시간을 갖는 이미지는, 1/100초 이하의 노출 시간을 갖는 이미지로, 단노출 이미지라고 할 수 있다. 즉, 제1 노출 시간은 제2 노출 시간보다 길 수 있다. 또한 제2 노출 시간을 갖는 이미지 촬영에 대해, 예를 들어 이전 제2 노출 시간을 갖는 이미지의 1/4이 겹치는 시점에서 현재의 제2 노출 시간을 갖는 이미지를 촬영할 수 있다. 따라서, 제2 노출을 갖는 이미지는 전/후 이미지가 모두 1/4씩 겹쳐서 촬영될 수 있다.

이후, 사용자 제어 시스템은(400)은 사용자로부터 특정 시간대 이미지 확인을 위한 입력 정보를 수신한다(S20단계). 여기서 입력 정보는 특정 시간대의 시간 정보일 수 있다.

특정 시간 대에 해당하는 정보가 입력되면, 사용자 제어 시스템(400)은 레코더(300)에 저장된 제1 노출 시간을 갖는 이미지 및 제2 노출 시간을 갖는 이미지를 불러와, 입력된 특정 시간 대에 해당하는 제2 노출 시간을 갖는 이미지를 이용하여 파노라마 이미지를 생성한다(S30단계).

파노라마 이미지 생성이 완료되면, 사용자 제어 시스템(400)은 사용자가 입력한 특정 시간대에 해당하는 제1 노출 시간을 갖는 이미지의 배경과 일치하는 제2 노출 시간을 갖는 이미지의 배경을 파노라마 이미지로부터 검색한다(S40단계). 이는 제1 노출 시간을 갖는 이미지와 배경이 일치하는 파노라마 이미지의 제2 노출 시간을 갖는 이미지로부터 윤곽선 정보를 추출하기 위함이다.

검색이 완료되면, 사용자 제어 시스템(400)은 검색된 파노라마 이미지 내의 제2 노출 시간을 갖는 이미지와 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 한다(S50단계). 제2 노출 시간을 갖는 이미지로 생성한 파노라마 이미지를 이용하여 제2 노출 시간을 갖는 이미지와 제1 노출 시간을 갖는 이미지를 합성하여, 둘 사이의 배경 차이를 해결하면서 고화질의 감시 이미지를 디스플레이 할 수 있게 된다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.

200: 카메라
300: 레코더
400: 사용자 제어 시스템
410: 사용자 입력부
420: 이미지 처리부
421: 파노라마 이미지 생성부
422: 검색부
423: 합성부
430: 디스플레이부

Claims (11)

1. 제1 노출 시간을 갖는 이미지 및 제2 노출 시간을 갖는 이미지를 촬영하고 저장하는 카메라부; 및
   특정 시간대 이미지 확인을 위한 입력을 수신하면, 상기 입력된 특정 시간 대에 해당하는 상기 제2 노출 시간을 갖는 이미지를 이용하여 파노라마 이미지를 생성하고, 상기 파노라마 이미지로부터 상기 제1 노출 시간을 갖는 이미지의 배경과 일치하는 상기 제2 노출 시간을 갖는 이미지의 배경을 검색한 후, 상기 검색된 제2 노출 시간을 갖는 이미지와 상기 제1 노출 시간을 갖는 이미지를 합성하여 디스플레이 가능한 신호로 출력하는 사용자 제어 시스템;을 포함하는 감시 이미지 처리 장치.
2. 제 1항에 있어서,
   상기 제1 노출 시간은 상기 제2 노출 시간 보다 더 긴 것을 특징으로 하는 감시 이미지 처리 장치.
3. 제 1항에 있어서, 상기 카메라부는
   상기 제2 노출 시간을 갖는 이미지에 대해, 전후 이미지의 일부가 겹치도록 촬영하는 것을 특징으로 하는 감시 이미지 처리 장치.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images