KR101558419B1 - 복수의 카메라를 이용한 영상처리장치 및 제어방법 - Google Patents

Abstract

본 발명은 복수의 카메라 각각에서 획득된 영상 중 필요한 부분만 추출하여 하나의 영상으로 병합하는 발명에 관한 것으로서, 제 1 방향을 촬영하여 제 1 영상을 생성하는 제 1 카메라, 제 2 방향을 촬영하여 제 2 영상을 생성하는 제 2 카메라 및 상기 제 1 영상의 적어도 일부인 제 1 추출영상 및 상기 제 2 영상의 적어도 일부인 제 2 추출영상을 추출하고, 상기 제 1 추출영상 및 상기 제 2 추출영상을 병합하여 제 3 영상을 생성하는 제어부를 포함하되, 상기 제 1 추출영상은 기 설정된 비율과 크기로 형성되어 사용자의 관찰대상인 제 1 객체를 포함하고, 상기 제 2 추출영상은 기 설정된 비율과 크기로 형성되어, 상기 사용자의 관찰대상인 제 2 객체를 포함하며, 상기 제어부는 상기 제 1 추출영상과 상기 제 2 추출영상의 비율 및 크기에 따라 상기 제 1 추출영상 및 상기 제 2 추출영상의 배열을 변경하여 병합하는 것을 특징으로 한다.

Description

복수의 카메라를 이용한 영상처리장치 및 제어방법{IMAGE PROCESSING UNIT AND CONTOLLING METHODS USING PLURAL CAMERAS}

본 발명은 복수의 카메라를 이용한 영상처리장치 및 영상처리방법에 관한 것이다. 보다 구체적으로, 복수의 카메라 각각에서 획득된 영상 중 필요한 부분만 추출하여 하나의 영상으로 병합하는 영상처리장치 및 영상처리방법에 관한 것이다.

최근 CCTV등 카메라를 이용하여 영상을 촬영하는 경우가 많아 지고 있다. 예를 들면, 주차장에서 주차된 차량의 훼손 여부를 감시하는 용도로 사용되거나, 방범을 위하여 도로, 골목 등에 설치되기도 한다.

또한, 현재는 기술의 발달로 인하여 차량에 블랙박스를 설치하여 차량이 주행하거나 또는 주차중인 때, 차량의 사주변을 촬영하여 메모리에 기록하고 있는 실정이다.

특히, 주차장은 다수의 카메라가 설치가 되고 있으며, 차량용 블랙박스의 경우에도 차량의 사주변을 촬영하는 다수의 카메라를 이용하고 있는 실정이다. 또한 방범용 CCTV의 경우도, 다수의 위치에 카메라가 설치되고 있다.

한편, 다수의 카메라가 사용되는 환경에서, 카메라의 설치비용을 감소시키거나, 카메라에서 생성된 영상이 차지하는 데이터 용량을 작게 하기 위하여 어안렌즈를 이용한 전방위 카메라를 이용하기도 한다.

하지만, 도 1a를 참조하면, 전방위 카메라는 초점거리에 의하여 영상의 양측에 왜곡이 발생되고, 영상의 왜곡은 영상처리를 통한다 하여도 완벽하게 복원되지 못하는 문제점이 발생되고 있다.

한편, 도 1b를 참조하면, 일반적인 카메라의 경우 전방위카메라에서 발생되는 영상왜곡의 문제는 없지만, 동일한 범위를 감시하기 위해서는 더욱 많은 수의 카메라를 설치하게 되며, 설치된 카메라에서 생성되는 영상이 많아지게 되므로 이를 저장하거나 전송하는 경우 저장공간의 부족현상 발생 및 네트워크 트래픽에 과부하가 발생될 수 있다.

특히, 영상의 경우 해상도의 크기에 비례하여 용량이 증가되고 있고, 촬영된 영상의 모든 부분이 필요한 것은 아닌바, 영상 내 불필요한 부분을 제거하고, 복수의 카메라에서 촬영된 영상을 병합하는 방법을 통해 저장공간의 부족현상을 보완하는 기술이 요구되고 있다.

대한민국 특허청 공개특허공보 10-2011-0101120 대한민국 특허청 공개특허공보 10-2012-0133996

본 발명은 상기와 같은 종래의 문제를 해결하기 위하여 안출된 것으로서, 복수의 카메라에서 촬영된 영상 중 일부를 병합하는 영상 처리 장치 및 영상 처리 방법을 사용자에게 제공하기 위한 것이다.

구체적으로, 복수의 카메라에서 촬영된 영상 각각에서 일부를 추출하고, 추출된 영상의 병합을 통해 사용자가 필요한 영상을 작은 용량으로 제공할 수 있는 영상 처리 장치 및 영상 처리 방법을 사용자에게 제공하기 위한 것이다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 실현하기 위한 본 발명의 일례와 관련된 복수의 카메라를 이용한 영상 처리 장치는 제 1 방향을 촬영하여 제 1 영상을 생성하는 제 1 카메라, 제 2 방향을 촬영하여 제 2 영상을 생성하는 제 2 카메라 및 상기 제 1 영상의 적어도 일부인 제 1 추출영상 및 상기 제 2 영상의 적어도 일부인 제 2 추출영상을 추출하고, 상기 제 1 추출영상 및 상기 제 2 추출영상을 병합하여 제 3 영상을 생성하는 제어부를 포함하되, 상기 제 1 추출영상은 기 설정된 비율과 크기로 형성되어 사용자의 관찰대상인 제 1 객체를 포함하고, 상기 제 2 추출영상은 기 설정된 비율과 크기로 형성되어, 상기 사용자의 관찰대상인 제 2 객체를 포함하며, 상기 제어부는 상기 제 1 추출영상과 상기 제 2 추출영상의 비율 및 크기에 따라 상기 제 1 추출영상 및 상기 제 2 추출영상의 배열을 변경하여 병합하도록 제어할 수 있다.

또한, 제어부는, 제 1 객체의 외형적 특성을 이용하여 제 1 영상에서 제 1 객체를 판단하고, 판단된 제 1 객체의 외형에 따라 제 1 추출영상을 추출하며, 제 2 객체의 외형적 특성을 이용하여 제 2 영상에서 제 2 객체를 판단하고, 판단된 제 2 객체의 외형에 따라 제 2 추출영상을 추출할 수 있다.

또한, 제어부는, 제 1 추출영역이 제 1 영상내에서 이동하며 제 1 추출영상을 추출하고, 제 2 추출영역이 제 2 영상내에서 이동하며 제 2 추출영상을 추출하는 스캔드라이브 기능을 제어할 수 있다.

또한, 제어부는, 제 1 영상내의 제 1 객체의 움직임을 감지하고, 상기 제 1 객체의 움직임에 따라 상기 제 1 영상에서 제 1 추출영상을 추출하며, 제 2 영상내의 제 2 객체의 움직임을 감지하고, 상기 제 2 객체의 움직임에 따라 상기 제 2 영상에서 제 2 추출영상을 추출하도록 스캔드라이브 기능을 제어할 수 있다.

또한, 제 1 추출영상 및 제 2 추출영상의 세로 픽셀이 가로 픽셀보다 많은 경우, 제어부는, 상기 제 1 추출영상 및 상기 제 2 추출영상을 가로방향으로 병합하여 제 3 영상을 생성하도록 제어할 수 있다.

또한, 제 1 추출영상 및 제 2 추출영상의 가로 픽셀이 세로 픽셀보다 많은 경우, 제어부는, 상기 제 1 추출영상 및 상기 제 2 추출영상을 세로방향으로 병합하여 제 3 영상을 생성하도록 제어할 수 있다.

또한, 제 1 객체 및 제 2 객체는 적어도 하나이고, 제어부는, 제 1 영상 및 제 2 영상에서 상기 제 1 객체 및 상기 제 2 객체에 각각 대응 되도록 제 1 추출영상 및 제 2 추출영상을 추출하며, 상기 제 1 추출영상과 상기 제 2 추출영상의 크기 및 비율에 따라 상기 제 1 추출영상과 상기 제 2 추출영상의 배열을 변경하여 병합하도록 제어할 수 있다.

또한, 제 2 객체는 제 1 객체의 적어도 일부이고, 제 2 카메라는 줌 렌즈를 구비하며, 제어부는, 상기 제 2 카메라가 상기 제 2 객체에 초점을 맞추어 제 2 영상을 촬영하도록 제어할 수 있다.

또한, 제어부는, 제 2 추출 영상을 제 1 추출영상의 적어도 일부에 위치되도록 상기 제 1 추출영상 및 상기 제 2 추출영상을 병합하여 제 3 영상을 생성하도록 제어할 수 있다.

또한, 제 1 객체가 제 1 영상에서 차지하는 비율이 기 설정된 범위 이하인 경우, 제어부는 상기 제 1 추출영상의 선명도를 증가하도록 제어할 수 있다.

한편, 상술한 과제를 실현하기 위한 본 발명의 일례와 관련된 복수의 카메라를 이용한 영상 처리 방법은, 제 1 카메라가 제 1 방향을 촬영하여 제 1 영상을 생성하고, 제 2 카메라가 제 2 방향을 촬영하여 제 2 영상을 생성하는 단계, 제어부가, 상기 제 1 영상의 적어도 일부인 제 1 추출영상 및 상기 제 2 영상의 적어도 일부인 제 2 추출영상을 추출하는 단계, 상기 제어부가 상기 제 1 추출영상 및 상기 제 2 추출영상을 상기 제 1 추출영상과 상기 제 2 추출영상의 비율 및 크기에 따라 상기 제 1 추출영상 및 상기 제 2 추출영상을 배열하는 단계, 상기 제어부가 상기 제 1 추출영상 및 상기 제 2 추출영상을 병합하여 제 3 영상을 생성하는 단계 및 상기 제어부가 상기 제 3 영상을 저장 또는 전송하는 단계를 포함할 수 있다.

본 발명은 상기와 같은 종래의 문제를 해결하기 위하여 안출된 것으로서, 복수의 카메라에서 촬영된 영상 중 일부를 병합하는 영상 처리 장치 및 영상 처리 방법을 사용자에게 제공할 수 있다.

구체적으로, 복수의 카메라에서 촬영된 영상 각각에서 일부를 추출하고, 추출된 영상의 병합을 통해 사용자가 필요한 영상을 작은 용량으로 제공할 수 있는 영상 처리 장치 및 영상 처리 방법을 사용자에게 제공할 수 있다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시례를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1a는 종래에 사용되는 어안렌즈를 구비한 전방위 카메라 및 전방위 카메라를 통해 얻어진 이미지 일례이다.
도 1b는 종래에 사용되는 일반적인 2대의 카메라 및 이를 통해 얻어진 이미지 일례이다.
도 2는 본 발명에 적용될 수 있는 영상 처리 장치의 블록 구성도 일례를 나타낸 것이다.
도 3은 본 발명에 적용될 수 있는 영상 처리 장치 및 영상 처리 장치에 의해 병합된 영상 일례를 나타낸 것이다.
도 4는 본 발명에 적용될 수 있는 영상 처리 장치 및 영상 처리 장치에 의해 병합된 영상의 다른 일례를 나타낸 것이다.
도 5는 본 발명에 적용될 수 있는 영상 처리 장치의 영상 처리 방법 일례를 나타낸 순서도이다.
도 6a은 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 일부를 스캔드라이브 기능을 통해 추출하여 병합하는 일례를 나타낸 것이다.
도 6b은 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 일부를 스캔드라이브 기능을 통해 추출하여 병합하는 다른 일례를 나타낸 것이다.
도 7a는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 일부를 스캔드라이브 기능을 통해 추출시, 객체의 동체를 추적하여 병합하는 일례를 나타낸 것이다.
도 7b는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 일부를 스캔드라이브 기능을 통해 추출시, 객체의 동체를 추적하여 병합하는 다른일례를 나타낸 것이다.
도 8a는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지의 병합방식 일례를 나타낸 것이다.
도 8b는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지의 병합방식 다른 일례를 나타낸 것이다.
도 9는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 복수의 선택영역의 병합방식 일례를 나타낸 것이다.
도 10a은 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 선택영역의 병합방식 일례를 나타낸 것이다.
도 10b은 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 선택영역의 병합방식 다른 일례를 나타낸 것이다.
도 11a는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지를 PIP(Picture in Picture)로 병합하는 일례를 나타낸 것이다.
도 11b는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지를 PIP(Picture in Picture)로 병합하는 다른 일례를 나타낸 것이다.

이하, 도면을 참조하여 본 발명의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 일 실시례는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.

최근 CCTV등을 이용하여 영상을 촬영하고, 녹화하는 경우가 다수 발생하고 있다. 이는 주차장에서 발생된 사고 등을 기록하여 분쟁을 해결하는데 많은 도움을 줄 수 있으며 범죄예방에 유효하다.

하지만, CCTV등의 경우 다수의 카메라를 사용하는 게 일반적이고, 다수의 카메라에서 촬영된 영상은 필연적으로 데이터 용량을 크게 사용하게 되며, 촬영된 영상을 저장하거나 전송하는 경우 저장공간의 부족현상 발생 및 네트워크 트래픽에 과부하가 발생되고 있는 실정이다.

그래서, 본 발명은 영상 내 불필요한 부분을 제거하고, 필요한 부분만 포함하는 영상을 병합하는 방법을 통해 저장공간의 부족현상을 보완하는 영상 처리 장치 및 영상 처리 방법을 제안하고자 한다.

<영상 처리 장치의 구성>

이하에서는, 본 발명의 전후방카메라를 이용한 영상 처리 장치 및 영상 처리 방법을 구체적으로 설명한다.

도 2는 본 발명에 적용될 수 있는 영상 처리 장치의 블록 구성도 일례를 나타낸 것이다.

도 2를 참조하면, 상기 영상 처리 장치는 카메라(100), 출력부(200), 메모리(300), 인터페이스부(400), 통신부(500), 제어부(600), 전원공급부(700), 센서부(800)를 포함할 수 있다.

단, 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 영상 처리 장치가 구현될 수 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

카메라(100)는 복수로 구성될 수 있다. 본 명세서에서는 한 쌍으로 구성된 카메라(100)를 전제로 하여 설명하고 있지만, 이에 한정될 것은 아니고, 보다 많은 수의 카메라(100)를 포함하고 있는 경우에도 적용될 수 있음은 자명하다.

카메라(100)는 사용자가 촬영 혹은 감시를 하고자 하는 객체에 대해서 지속적으로 촬영하여 정지영상 또는 동영상 등의 화상 프레임을 생성한다. 현재 동영상을 촬영하는 카메라의 경우, FULL HD의 해상도 및 4K해상도를 구비한 동영상을 생성할 수 있다.

한편, 출력부(200)는 시각 또는 청각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 알림부 등이 포함될 수 있다.

이때, 디스플레이부는 영상 처리 장치(1000)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 영상 처리 장치(1000)과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 카메라(100)에서 촬영된 정지영상이나 동영상, 통신부(500)를 통하여 송/수신된 영상, UI, GUI 등을 표시할 수 있다.

상기 디스플레이부는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 본체의 디스플레이부가 차지하는 영역을 통해 단말기 본체의 후방에 위치한 사물을 볼 수 있다.

디스플레이부와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부의 특정 부위에 가해진 압력 또는 디스플레이부의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(600)로 전송한다. 이로써, 제어부(600)는 디스플레이부의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

상기 근접 센서는 상기 터치스크린에 의해 감싸지는 영상 처리 장치(1000)의 내부 영역 또는 상기 터치스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

경고부는 영상 처리 장치(1000)의 이벤트 발생을 알리기 위한 신호를 출력한다.

알림부는 오디오 신호나 비디오 신호 이외에 다른 형태, 예를 들어 경고 안내 문서 등을 출력할 수도 있으며, 이 경우 경고 안내 문서를 출력하기 위한 프린터가 연결될 수 있다.

상기 비디오 신호는 디스플레이부를 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부는 알림부의 일종으로 분류될 수도 있다.

메모리(300)는 제어부(600)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상, 송수신 메시지 히스토리 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(300)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 메시지, 각 멀티미디어에 대한 사용빈도)도 함께 저장될 수 있다. 또한, 상기 메모리(300)에는 상기 영상 처리 장치(1000)에서 출력되는 다양한 패턴의 음향에 관한 데이터를 저장할 수도 있다.

상기와 같은 메모리(300)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 처리 장치(1000)는 인터넷(internet)상에서 상기 메모리(300)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(400)는 영상 처리 장치(1000)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(400)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 영상 처리 장치(1000) 내부의 각 구성 요소에 전달하거나, 영상 처리 장치(1000) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트 등이 인터페이스부(400)에 포함될 수 있다.

통신부(500)는 영상 처리 장치(1000)와 유/무선 통신 시스템 사이 또는 영상 처리 장치(1000)와 영상 처리 장치(1000)에 위치한 네트워크 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.

예를 들어, 통신부(500)는 유/무선 인터넷 모듈(510), 근거리 통신 모듈(520) 및 위치정보 모듈(530) 등을 포함할 수 있다.

유/무선 인터넷 모듈(510)은 유/무선 인터넷 접속을 위한 모듈을 말하는 것으로, 영상 처리 장치(1000)에 내장되거나 외장될 수 있다.

상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), WCDMA(Wideband Code Division Multiple Access), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등이 이용될 수 있다.

근거리 통신 모듈(520)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

위치 정보 모듈(530)은 영상 처리 장치(1000)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.

한편, 제어부(600)는 통상적으로 영상 처리 장치(1000)의 전반적인 동작을 제어한다. 예를 들어 카메라(100)의 촬영제어, 조명부(900)의 조명제어, 출력부(200)의 출력제어, 통신부(500)의 통신제어, 메모리(300)의 데이터 읽기 및 쓰기 제어, 전원공급부(700)의 전원 공급 제어를 위한 관련된 제어 및 처리를 수행한다.

상기 제어부(600)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다

그리고, 제어부(600)는 센서부(800)를 제어할 수 있고, 센서부(800)를 통해 얻어진 측정치를 이용하여 영상 처리 장치(1000)의 다른 구성요소를 제어할 수 있다.

또한, 제어부(600)는 카메라(100)에서 분석된 조도값과 상기 센서부(800)에서 측정된 조도값의 조합에 대응하여 기 설정된 조명값에 따라 상기 조명부(900)의 조도가 변화되도록 제어할 수 있다.

한편, 전원공급부(800)는 제어부(700)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.

한편, 센서부(800)는 주변 및 조명부(900)에서 방출된 빛을 측정하는 조도센서, 카메라(100) 혹은 영상 처리 장치(1000)의 근처에 객체의 근접여부를 판단하는 근접센서, 카메라(100)가 촬영시 초점을 맞추기 위해 카메라로부터 위상차이를 판단하는 위상차센서를 포함할 수 있다.

이때, 근접센서의 경우 일례로서 초음파 방식을 사용할 수 있다. 초음파 센서는 초음파를 이용하여, 소정 영역에 존재하는 객체에 대해 감지하고, 센싱신호를 발생하며, 발생된 센싱신호를 제어부(600)로 전달하는 기능을 제공한다.

또한, 위상차센서의 경우 센서로 들어오는 대상에 대해 위상의 변화를 감지하고 감지된 위상값을 제어부(600)로 전달하는 기능을 제공한다.

한편, 조명부(900)는 적어도 하나의 발광 전구로 구성될 수 있으며, 복수의 발광 다이오드(Light-Emitting Diode, LED)로 구성될 수 있다.

또한, 조명부(900)는 제어부(600)의 신호에 따라 조명의 조도를 변화시킬 수 있다.

발광다이오드(LED)란 갈륨비소 등의 화합물에 전류를 흘려 빛을 발산하는 반도체소자로, m 반도체의 p-n 접합구조를 이용하여 소수캐리어(전자 또는 정공)를 주입하고 이들의 재결합에 의하여 발광시킨다.

전기에너지를 빛 에너지로 전환하는 효율이 높기 때문에 최고 90%까지 에너지를 절감할 수 있어, 에너지 효율이 5% 정도밖에 되지 않는 백열등, 형광등을 대체할 수 있는 차세대 광원으로 주목되고 있다.

LED는 아래 위에 전극을 붙인 전도물질에 전류가 통과하면 전자와 정공이라고 불리는 플러스 전하입자가 이 전극 중앙에서 결합해 빛의 광자를 발산하는 구조로 이루어져 있는데, 이 물질의 특성에 따라 빛의 색깔이 달라진다.

다만, 전술한 조명부(900)의 형태는 단순한 예시를 열거한 것에 불과하며 본 발명의 내용이 이에 한정되는 것은 아니다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(600) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(300)에 저장되고, 제어부(600)에 의해 실행될 수 있다.

<영상 처리 장치의 영상 처리 방법>

도 3은 본 발명에 적용될 수 있는 영상 처리 장치의 일례를 나타낸 것이고, 도 4는 본 발명에 적용될 수 있는 영상 처리 장치의 다른 일례를 나타낸 것이며, 도 5는 본 발명에 적용될 수 있는 영상 처리 장치의 영상 처리 방법 일례를 나타낸 순서도이다.

도 3 및 도 4를 참조하면, 복수의 카메라(100)에서 촬영된 영상을 추출하여 병합한 영상을 알 수 있다.

즉 도 3의 경우, 복수의 카메라(100)에서 촬영된 영상 각각에서, 사용자가 촬영하여 저장하고자 하는 객체인 주차장에 주차된 자동차만을 촬영된 영상에서 추출하고, 추출된 각각의 영상을 하나의 영상으로 병합할 수 있다.

또한, 도 4의 경우, 복수의 카메라(100)에서 촬영된 영상 각각에서, 사용자가 촬영하여 저장하고자 하는 객체인 주행 중인 차량의 전, 후방 일부를 촬영된 영상에서 추출하고, 추출된 각각의 영상을 하나의 영상으로 병합할 수 있다

이하, 도 5를 참조하여 영상 처리 장치(1000)의 영상 처리 방법을 구체적으로 살펴본다.

영상 처리 장치(1000)의 영상 처리 방법은, 영상 처리 장치(1000)에 전원공급부(700)가 전력을 공급함으로서 시작된다.

영상 처리 장치(1000)에 전력이 공급된 후, 복수의 객체(5000,6000) 각각을 복수의 카메라(100)가 촬영(S110)하는 단계가 진행된다.

본 명세서에서는 두 대의 카메라(100)에서 촬영된 영상을 기초로 하여 설명하지만, 보다 많은 카메라(100)에서 촬영된 영상에도 적용될 수 있음은 자명하다.

예를 들어 구체적으로 설명하면, 도 3에 나타난 바와 같이, 복수의 카메라(100)는 각각 사용자가 촬영하여 저장하고자 하는 객체인 주차장에 주차된 자동차(5000,6000)를 주차장의 일부와 함께 촬영하게 된다.

여기서 촬영된 자동차(5000,6000)가 없는 주차장의 일부는 사용자에게는 필요없는 부분이고, 이를 포함하여 영상이 생성되므로, 사용자에게는 불필요한 부분에 의하여 촬영 데이터가 커지게 된다.

다른 예를 들면, 도 4에 나타난 바와 같이, 복수의 카메라(100)는 주행 중인 차량의 전, 후방을 촬영하게 된다. 이때, 촬영된 영상의 양측은 사용자에게는 필요없는 부분이고, 이를 포함하여 영상이 생성되므로, 사용자에게는 불필요한 부분에 의하여 촬영 데이터가 커지게 된다.

복수의 객체 각각을 복수의 카메라(100)가 촬영 후, 촬영된 영상 각각에서 상기 객체를 포함한 기 설정된 영역을 추출(S120)하는 단계가 진행된다. 이는 카메라(100)에서 각각 촬영된 영상은 불필요한 영역이 포함되어 있어, 데이터 용량을 크게 차지하므로 줄이기 위한 것이다.

기 설정된 영역은 카메라(100)에 의해 촬영된 영상(2000,3000)의 특징에 따라 달라지게 된다. 도 3의 경우와 같이 촬영의 목적인 객체가 가로변이 길게 배열되어 있는 경우는 가로변이 긴 형태로 영역이 추출되고, 도 4의 경우와 같이 촬영의 목적인 객체가 세로변이 길게 배열된 경우는 세로변이 긴 형태로 영역이 추출된다.

또한, 사용자에게 불필요한 영역이 많은 경우, 영상 중 일부분만을 추출할 수 있으며, 전체 영역에서 사용자에게 필요하다고 인정되는 경우는 촬영된 영상 전체를 사용할 수 있다.

그리고, 추출을 위한 비율은 세로 픽셀이 가로 픽셀보다 큰 경우, 추출영역은 가로 픽셀이 촬영된 영상(2000,3000)의 절반으로 구성됨이 바람직하고, 가로 픽셀이 세로 픽셀보다 큰 경우, 추출영역은 세로 픽셀이 촬영된 영상(2000,3000)의 절반으로 구성됨이 바람직하다.

아울러, 촬영된 영상에서 기 설정된 영역은 사용자에 의해서 선택될 수 있고, 제어부의 내부적인 알고리즘에 따라 자동으로 설정될 수 있다. 이때, 제어부의 내부적인 알고리즘에 따라 영역을 설정하는 방법에 대한 구체적인 내용은 아래에서 다시 설명한다.

한편, 촬영된 영상 각각에서 상기 객체를 포함한 기 설정된 영역을 추출한 후, 추출된 영역을 병합(S130)하는 단계가 진행된다.

병합의 형태는 가로방향 또는 세로 방향으로 병합될 수 있고, 1x2, 2x1, 2x2와 같은 형태로 병합될 수 있으며, PIP(Picture in Picture)의 방식으로 병합될 수 있다.

병합의 형태에 대해서는 아래에서 다시 설명한다.

한편, 추출된 영역을 병합한 후, 병합된 영상을 메모리(300)에 저장 또는 외부로 전송(S140)하는 단계가 진행된다.

병합된 영상은 데이터의 크기가 원본 영상의 데이터 크기보다 작아지게 되므로 이를 저장하여 관리하기가 수월하고, 외부로 전송하는 경우도, 대역폭을 적게 사용하기 때문에 용이하게 전송이 가능하다.

즉 사용자에게 필요한 정보를 보다 적은 용량으로 저장, 관리 및 전송이 가능한 효과를 갖게 된다.

상기와 같은 방법을 통해 영상 처리 장치(1000)는, 복수의 카메라(100)에서 촬영된 영상을 추출, 병합하여 저장, 관리 및 전송을 할 수 있게 된다.

한편, 본 영상 처리 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

<촬영된 영상의 추출방법>

이하에서는 카메라(100)를 통해 촬영된 영상에서, 사용자에게 불필요한 부분을 제거하고, 저장하고자 하는 부분만을 추출하는 방법에 대해 도면을 참조하여 구체적으로 설명하고자 한다.

이하에서는, 자동차에 대하여 일례를 소개하지만, 이에 한정될 것은 아니고, 당해 분야의 통상의 기술자에게 용이한 경우 다른 대상(예를 들면 인체 등)에 대해서도 적용가능함은 자명하다.

본 발명의 영상 추출방법과 관련된 일례로서 주차장에 주차된 자동차를 예를 들어 설명한다.

주차장에 설치된 복수의 카메라(100)는 기 설정된 방향으로 주차장의 일부를 지속적으로 촬영하고, 주차장의 일부에 대하여 영상을 생성하게 된다. 이때 영상 촬영의 목적은 주차된 차량의 훼손을 방지하고, 차량 훼손이 발생된 경우 해당상황을 촬영 및 저장하여 발생된 민원을 해결하기 위한 것이다.

즉 촬영된 영상에서 사용자에게 필요한 부분은, 주차된 차량의 외관상 변화가 되며, 주차된 차량과 무관한 단순한 주차장은 사용자에게 불필요한 부분이 된다. 그러므로 촬영된 영상에서 주차된 차량과 무관한 주차장 촬영부분은 영상 데이터의 크기를 증가시킬 뿐이어서 이를 제거하는 경우 영상데이터의 크기를 작게 만들 수 있다.

카메라(100)에서 촬영된 영상(2000,3000)에서 주차된 자동차가 사용자의 주요 관찰대상이 되므로, 자동차의 외형적 특성을 이용하여 카메라(100)에서 촬영된 영상(2000, 3000) 내에서 자동차를 판단한다.

자동차의 전면, 후면, 측면 등 다양한 형태의 외형적 특성을 통해 카메라(100)에서 촬영된 영상(2000,3000)에서 자동차를 판단하고 인식할 수 있다.

일례로서, 차량(5000)을 인식하기 위한 차량 인식 알고리즘을 이용하여 상기 검지영상으로부터 특징벡터를 추출할 수 있다. 차량 인식 알고리즘으로는 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients), Haar-like features 및 Gabor filter 중 어느 하나가 이용될 수 있다.

차량 인식 알고리즘에 의하여 추출된 특징벡터는 기 저장된 학습 데이터와 비교될 수 있다. 상기 학습 데이터는 일반적인 차량 영상에 대한 특징벡터를 포함하고 있으므로, 감시영상의 주차면의 영역에 촬영된 객체가 차량인지 판단할 수 있으며 차량에 대한 인식을 할 수 있다.

도 1b 및 도 3을 참조하면, 주차장에 주차된 자동차를 판단하고 인식한 경우, 주차된 차량을 제외한 영상 내의 주차장의 일부를 영상에서 제거할 수 있고, 주차된 차량을 추출하여 추출영상(2100,3100)을 생성할 수 있다.

특히 추출영상(2100,3100)을 생성할 때, 주차장에 주차된 자동차는 영상에서 가로축이 영상의 전체를 차지하고, 세로축은 영상의 절반 정도만이 차지하고 있으므로, 주차된 자동차만을 영상에서 추출하기 위해서는 가로축이 세로축보다 긴 영상으로 생성할 수 있다.

또한, 도 4를 참조하면 추출영상(2100,3100)을 생성할 때, 주행중인 자동차는 영상의 중단이 사용자에게 주요 관찰대상이 되고, 양단의 영상들은 사용자에게 상대적으로 불필요한 관찰대상이 된다. 그러므로 추출영상(2100,3100)은 카메라(100)에 의해 촬영된 영상(2000,3000)에서 양단을 제외하고, 중단부분만을 추출할 수 있게 된다. 즉, 중단부분만을 추출하므로 추출된 영상은 세로축이 가로축보다 긴 영상으로 생성된다.

특히, 추출되는 영상의 중단부분은 차량의 전, 후방이 포함되어 촬영되므로, 제어부(600)는 차량의 전, 후방을 인식하고, 인식된 차량의 전,후방으로부터 기 설정된 영역의 너비를 추출하여 추출영상(2100,3100)을 생성하게 된다.

즉 상기와 같이 카메라(100)에 의해 촬영된 영상(2000,3000)에서 기 설정된 영역을 추출하여 추출영상(2100,3100)을 생성할 수 있게 된다.

한편, 본 발명의 영상 추출방법과 관련된 일례로서 스캔드라이브(Scan Drive)방식에 대해 설명한다.

도 6a은 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 일부를 스캔드라이브 기능을 통해 추출하여 병합하는 일례를 나타낸 것이고, 도 6b은 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 일부를 스캔드라이브 기능을 통해 추출하여 병합하는 다른 일례를 나타낸 것이다.

도 6a 및 도 6b를 참조하면, 스캔드라이브는 카메라(100)에서 촬영된 영상(2000,3000)내에서 기 설정된 크기 및 비율을 갖는 추출영상(2100, 3100)을 추출할때, 기 설정된 영역(2200, 3200)이 카메라(100)에서 촬영된 영상(2000,3000)내에서 이동하는 것을 의미한다.

즉, 영상내에서 기 설정된 영역을 추출하기 위해 사용자의 관찰대상이 되는 객체(5000,6000)의 동작, 이동 등에 대응하여 기 설정된 영역이 이동하는 것이다.

이때, 이동방향은 상하, 좌우 방향 모두 가능하고, 실시간으로 추출가능하다.

한편, 본 발명의 영상 추출방법과 관련된 일례로서 기 설정된 구간에 이동중인 자동차를 예를 들어 설명한다. 즉 영상내의 객체의 이동을 감지하고 객체의 이동에 따른 추출을 위한 기 설정된 영역이 변경되는 것에 대해 설명한다.

도 7a는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 일부를 스캔드라이브 기능을 통해 추출시, 객체의 동체를 추적하여 병합하는 일례를 나타낸 것이고, 도 7b는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 일부를 스캔드라이브 기능을 통해 추출시, 객체의 동체를 추적하여 병합하는 다른일례를 나타낸 것이다.

도 7a 및 도 7b를 참조하면, 카메라(100)에 의해 촬영된 영상(2000,3000) 각각에 제 1 객체(5000), 제 2 객체(6000)이 포함될 수 있고, 제 1 객체(5000) 및 제 2 객체(6000)는 카메라(100)에 의해 촬영된 영상(2000,3000)내에서 이동하는 경우 이동에 따라 영상이 추출될 수 있다. 이때, 이동형태는 좌우방향, 상하방향을 모두 포함하며, 이는 촬영되는 대상의 형태 및 카메라(100)의 설치형태에 따라 변경될 수 있다.

일례로서 CCTV의 경우, CCTV의 촬영방향이 도로의 측면에서 촬영하면 제 1 객체(5000) 또는 제 2 객체(6000)의 이동방향은 카메라(100)에 의해 촬영된 영상(2000,3000)의 좌우가 되고, CCTV의 촬영방향이 도로의 정면에서 촬영하면 제 1 객체(5000) 또는 제 2 객체(6000)의 이동방향은 카메라(100)에 의해 촬영된 영상(2000,3000)의 상하가 된다.

제어부(600)는 카메라(100)에 의해 촬영된 영상(2000,3000) 각각에서 제 1 객체(5000) 및 제 2 객체(6000)의 외형을 인식할 수 있고, 카메라(100)에 의해 촬영된 영상(2000,3000)내에서 움직임을 판단할 수 있다.

제어부(600)가 제 1 객체(5000) 및 제 2 객체(6000)의 움직임을 판단하는 경우, 카메라(100)에 의해 촬영된 영상(2000,3000)내에서 제 1 객체(5000) 및 제 2 객체(6000)의 움직임에 따라 기 설정된 크기 및 비율의 추출영역(2200, 3200)이 이동하고, 이동하는 추출영역 내에 해당되는 영상을 추출하여 제 1 추출영상(2100) 및 제 2 추출영상(3100)을 생성할 수 된다.

한편, 본 발명의 영상 추출방법과 관련된 일례로서 줌 카메라를 이용하여 객체를 촬영하고, 추출하는 방법에 대하여 주차중인 자동차를 예를 들어 설명한다.

일례로서, 주차중인 자동차가 주차위반에 해당되는 경우, 제 1 카메라(100a)는 주차중인 자동차(5000)의 전면을 촬영하고, 제 2 카메라(100b)는 줌기능을 구비하여 주차위반에 해당된 자동차의 번호판(6000)을 촬영하게 된다.

이때, 제 2 카메라(100b)는 200만 화소 이상의 스피드 돔 카메라를 이용할 수 있으며, 팬, 틸트, 줌 동작을 수행하여 주정차 금지구역 내에서 불법으로 주정차하고 있는 차량의 번호판을 촬영할 수 있다. 또한, 제 2 카메라(100b)는 LPR(License Plate Recognition) 카메라를 사용할 수 있다. LPR 카메라는 x축, y축, z축 방향으로 각각 틸팅할 수 있는 틸팅장치를 구비한다. 이와 같은 LPR 카메라는 지정된 x, y 좌표로 카메라를 회전시켜 차량에 대해 줌인(zoom-in) 영상 또는 줌아웃(zoom-out) 영상을 촬영할 수 있는 구성을 갖고 있다.

상기와 같은 카메라(100)를 이용하여 자동차의 외형과 번호판을 동시에 각각 촬영하고, 제 1 영상(2000) 및 제 2 영상(3000)을 생성하게 된다.

그리고, 생성된 제 1 영상(2000)의 경우 자동차의 외형을 이용하여 제 1 영상(2000) 중 일부를 추출하여 제 1 추출영상(2100)을 생성하며, 제 2 영상(3000)의 경우 촬영된 자동차(5000)의 번호판(6000)을 추출하여 제 2 추출영상(3100)을 생성하게 된다.

이때, 제 2 카메라(100b)가 줌 기능을 포함하지 못하고 있는 경우, 디지털 줌(Digital zoom)방식을 이용하여 번호판(6000)을 촬영할 수 있다. 이때 디지털 줌은, 제 2 카메라(100b)의 화소가 높은 경우 촬영된 영상을 잘라내는 방법으로 생성할 수 있고, 제 2 카메라(100b)의 화소가 낮은 경우 선명도와 대비를 높이는 방법을 통해 영상을 복원할 수 있다.

한편, 카메라(100)에서 촬영된 영상(2000,3000) 각각에는 복수의 제 1 객체(5000) 및 제 2 객체(6000)가 포함될 수 있고, 제어부는 복수의 제 1 객체(5000) 및 제 2 객체(6000) 각각을 포함하도록 추출하여 복수의 추출영상(2100,3100)을 생성할 수 있다.

<추출된 영상의 병합방법>

이하에서는 추출영상(2100,3100)의 병합방법에 대해 도면을 참조하여 구체적으로 설명하고자 한다.

도 8a는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지의 병합방식 일례를 나타낸 것이고, 도 8b는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지의 병합방식 다른 일례를 나타낸 것이며, 도 9는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 중 복수의 선택영역의 병합방식 일례를 나타낸 것이고, 도 10a은 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 선택영역의 병합방식 일례를 나타낸 것이며, 도 10b은 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지 선택영역의 병합방식 다른 일례를 나타낸 것이고. 도 11a는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지를 PIP(Picture in Picture)로 병합하는 일례를 나타낸 것이며. 도 11b는 본 발명에 적용될 수 있는 카메라를 통해 얻어진 이미지를 PIP(Picture in Picture)로 병합하는 다른 일례를 나타낸 것이다.

또한 이하에서는, 자동차에 대하여 일례를 소개하지만, 이에 한정될 것은 아니고, 당해 분야의 통상의 기술자에게 용이한 경우 다른 대상(인체 등)에 대해서도 적용가능함은 자명하다.

추출된 영상의 병합은, 병합영상(4000)이 차지하는 데이터의 크기를 최소화하는 방향으로 병합된다. 병합영상(4000)의 데이터의 크기는 가로픽셀의 크기와 세로픽셀 크기의 곱에 정비례하므로, 이를 줄이는 방향으로 추출된 영상이 병합이 진행된다.

도 1b 및 도 3을 참조하면, 위에서 살펴본 바와 같이, 주차된 자동차만을 영상에서 추출하기 위해서는 가로축이 세로축보다 긴 영상으로 생성된다.

이때, 도 8a를 참조하면, 추출된 추출영상(2100,3100)의 가로축이 세로축보다 긴 영상으로 생성된 경우, 추출영상(2100,3100)의 병합은 병합영상(4000)의 데이터의 크기를 최소화하는 방향으로 진행되므로 세로방향으로 병합된다.

한편, 도 4를 참조하면 추출영상(2100,3100)은 카메라(100)에 의해 촬영된 영상(2000,3000)에서 양단을 제외하고, 중단부분만을 추출하고, 추출된 영상은 세로축이 가로축보다 긴 영상으로 생성된다.

이때, 도 8b를 참조하면, 추출된 추출영상(2100,3100)의 세로축이 가로축보다 긴 영상으로 생성된바, 추출영상(2100,3100)의 병합은 병합영상(4000)의 데이터의 크기를 최소화하는 방향으로 진행되므로 가로방향으로 병합된다.

한편, 추출영상(2100,3100)이 복수인 경우, 각각의 크기와 비율을 고려하여 병합영상(4000)의 데이터가 최소화하는 방향으로 추출영상(2100,3100)의 배열을 변경할 수 있다.

일례로서 도 9를 참조하면, 제 1 추출영상(2100)의 가로축과 세로축의 크기가 동일하고, 제 2 추출영상(3100)이 가로축이 세로축보다 크기가 큰 영상이며 2개 인경우, 제 1 추출영상(2100)은 병합영상(4000)의 좌측에, 제 2 추출영상(3100) 각각은 상하로 병합되어 병합영상(4000)의 우측에 위치될 수 있다.

상기와 같은 방법을 응용하는 경우, 병합영상(4000)은 제 1 추출영상(2100)과 제 2 추출영상(3100)의 배열이 1x1, 1x2, 2x1, 2x2 형태를 구비할 수 있다.

한편, 도 10a 및 도 10b를 참조하면, 제 1 추출영상(2100)은 제 1 영상(2000)의 일부에 해당하고, 제 2 추출영상(3100)은 제 2 영상(3000)의 일부에 해당하는 경우, 병합영상(4000)의 크기가 제 1 추출영상(2100) 및 제 2 추출영상(3100)의 병합된 크기보다 크도록 설정된 경우, 제 1 추출영상(2100) 및 제 2 추출영상(3100)의 대비, 선명도를 조절하여 디지털 줌(Digital zoom)을 구현하도록 하고 병합할 수 있다.

한편, 도 11a 및 도 11b를 참조하면, 제 1 추출영상(2100)은 제 1 영상(2000) 전체에 해당하고, 제 2 추출영상(3100)은 제 2 영상(3000)의 일부에 해당하는 경우, 병합영상(4000)은 PIP(Picture in Picture)방식으로 병합될 수 있다. 이때 PIP는 제 1 추출영상(2100)의 일부에 제 2 추출영상(3100)이 위치되도록 병합영상(4000)이 생성되는 것을 의미한다.

일례로서, 주차중인 자동차가 주차위반에 해당되는 경우, 제 1 카메라(100a)는 주차중인 자동차(5000)의 전면을 촬영하고, 제 2 카메라(100b)는 줌기능(또는 디지털 줌)을 구비하여 주차위반에 해당된 자동차의 번호판(6000)을 촬영한 경우, 자동차(5000)의 외형과 번호판(6000)을 동시에 각각 촬영하여 제 1 영상(2000) 및 제 2 영상(3000)을 생성하게 된다.

그리고, 생성된 제 1 영상(2000)의 경우 자동차의 외형을 이용하여 제 1 영상(2000) 중 일부를 추출하여 제 1 추출영상(2100)을 생성하며, 제 2 영상(3000)의 경우 촬영된 자동차(5000)의 번호판(6000)을 추출하여 제 2 추출영상(3100)을 생성하게 된다.

이때, 자동차(5000)의 외형을 포함하는 제 1 추출영상(2100)은 제 1 영상(2000)과 동일할 수 있고, 번호판(6000)을 추출하여 생성된 제 2 추출영상(3100)은 제 1 추출영상(2100)의 일부에 위치된다.

이와 같은 방식으로 PIP방식의 병합영상(4000)이 생성될 수 있다.

한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시례들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

1000 : 영상 처리 장치,
100 : 카메라,
100a : 제 1 카메라,
100b : 제 2 카메라,
200 : 출력부,
300 : 메모리,
400 : 인터페이스부,
500 : 통신부,
510 : 유선/무선 인터넷 모듈,
520 : 근거리 통신 모듈,
530 : 위치 정보 모듈,
600 : 제어부,
610 : 영상 처리 모듈,
700 : 전원공급부,
800 : 센서부,
900 : 조명부,
2000 : 제 1 영상,
2100 : 제 1 추출영상,
2200 : 제 1 추출영역,
3000 : 제 2 영상,
3100 : 제 2 추출영상,
3200 : 제 2 추출영역,
4000 : 병합영상,
5000 : 제 1 객체,
6000 : 제 2 객체.

Claims (10)

1. 제 1 방향을 촬영하여 제 1 영상을 생성하는 제 1 카메라;
   제 2 방향을 촬영하여 제 2 영상을 생성하는 제 2 카메라; 및
   상기 제 1 영상의 적어도 일부인 제 1 추출영상 및 상기 제 2 영상의 적어도 일부인 제 2 추출영상을 추출하고, 상기 제 1 추출영상 및 상기 제 2 추출영상을 병합하여 제 3 영상을 생성하는 제어부;를 포함하되,
   상기 제 1 추출영상은 기 설정된 비율과 크기로 형성되어 사용자의 관찰대상인 제 1 객체를 포함하고,
   상기 제 2 추출영상은 기 설정된 비율과 크기로 형성되어, 상기 사용자의 관찰대상인 제 2 객체를 포함하며,
   상기 제어부는 상기 제 1 추출영상과 상기 제 2 추출영상의 비율 및 크기에 따라 상기 제 1 추출영상 및 상기 제 2 추출영상의 배열을 변경하여 병합하고,
   상기 제 1 추출영상 및 상기 제 2 추출영상의 세로 픽셀이 가로 픽셀보다 많은 경우,
   상기 제어부는,
   상기 제 1 추출영상 및 상기 제 2 추출영상을 가로방향으로 병합하여 상기 제 3 영상을 생성하도록 제어하고,
   상기 제 1 추출영상 및 상기 제 2 추출영상의 가로 픽셀이 세로 픽셀보다 많은 경우,
   상기 제어부는,
   상기 제 1 추출영상 및 상기 제 2 추출영상을 세로방향으로 병합하여 상기 제 3 영상을 생성하도록 제어하는 것을 특징으로 하는, 영상 처리 장치.
   
2. 제 1 항에 있어서,
   상기 제어부는,
   상기 제 1 객체의 외형적 특성을 이용하여 상기 제 1 영상에서 제 1 객체를 판단하고, 판단된 제 1 객체의 외형에 따라 상기 제 1 추출영상을 추출하며,
   상기 제 2 객체의 외형적 특성을 이용하여 상기 제 2 영상에서 제 2 객체를 판단하고, 판단된 제 2 객체의 외형에 따라 상기 제 2 추출영상을 추출하는 것을 특징으로 하는, 영상 처리 장치.
   
3. 제 1 항에 있어서,
   상기 제어부는,
   제 1 추출영역이 상기 제 1 영상내에서 이동하며 상기 제 1 추출영상을 추출하고,
   제 2 추출영역이 상기 제 2 영상내에서 이동하며 상기 제 2 추출영상을 추출하는 스캔드라이브 기능을 제어하는 것을 특징으로 하는, 영상 처리 장치.
   
4. 제 3 항에 있어서,
   상기 제어부는,
   상기 제 1 영상내의 상기 제 1 객체의 움직임을 감지하고, 상기 제 1 객체의 움직임에 따라 상기 제 1 추출영역이 이동하여 상기 제 1 영상에서 상기 제 1 추출영상을 추출하며,
   상기 제 2 영상내의 상기 제 2 객체의 움직임을 감지하고, 상기 제 2 객체의 움직임에 따라 상기 제 2 추출영역이 이동하여 상기 제 2 영상에서 상기 제 2 추출영상을 추출하도록 상기 스캔드라이브 기능을 제어하는 것을 특징으로 하는, 영상 처리 장치.
   
5. 삭제
6. 제 1 항에 있어서,
   상기 제 1 객체는 적어도 하나이고,
   상기 제 2 객체는 적어도 하나이며,
   상기 제어부는,
   상기 제 1 영상 및 상기 제 2 영상에서 상기 제 1 객체 및 상기 제 2 객체에 각각 대응 되도록 제 1 추출영상 및 제 2 추출영상을 추출하고,
   상기 제 1 추출영상과 상기 제 2 추출영상의 크기 및 비율에 따라 상기 제 1 추출영상과 상기 제 2 추출영상의 배열을 변경하여 병합하도록 제어하는 것을 특징으로 하는, 영상 처리 장치.
   
7. 제 1 항에 있어서,
   상기 제 2 객체는 상기 제 1 객체의 적어도 일부이고,
   상기 제 2 카메라는 줌 렌즈를 구비하며,
   상기 제어부는,
   상기 제 2 카메라가 상기 제 2 객체에 초점을 맞추어 상기 제 2 영상을 촬영하도록 제어하는 것을 특징으로 하는, 영상 처리 장치.
   
8. 제 1 항에 있어서,
   상기 제어부는,
   상기 제 2 추출 영상을 상기 제 1 추출영상의 적어도 일부에 위치되도록 상기 제 1 추출영상 및 상기 제 2 추출영상을 병합하여 상기 제 3 영상을 생성하도록 제어하는 것을 특징으로 하는, 영상 처리 장치.
   
9. 제 1 항에 있어서,
   상기 제 1 객체가 상기 제 1 영상에서 차지하는 비율이 기 설정된 범위 이하인 경우,
   상기 제어부는 상기 제 1 추출영상의 선명도를 증가하도록 제어하는 것을 특징으로 하는, 영상 처리 장치.
   
10. 제 1 카메라가 제 1 방향을 촬영하여 제 1 영상을 생성하고, 제 2 카메라가 제 2 방향을 촬영하여 제 2 영상을 생성하는 단계;
    제어부가, 상기 제 1 영상의 적어도 일부인 제 1 추출영상 및 상기 제 2 영상의 적어도 일부인 제 2 추출영상을 추출하는 단계;
    상기 제어부가 상기 제 1 추출영상 및 상기 제 2 추출영상을 상기 제 1 추출영상과 상기 제 2 추출영상의 비율 및 크기에 따라 상기 제 1 추출영상 및 상기 제 2 추출영상을 배열하는 단계;
    상기 제어부가 상기 제 1 추출영상 및 상기 제 2 추출영상을 병합하여 제 3 영상을 생성하는 단계; 및
    상기 제어부가 상기 제 3 영상을 저장 또는 전송하는 단계; 를 포함하되,
    상기 제 1 추출영상 및 상기 제 2 추출영상의 세로 픽셀이 가로 픽셀보다 많은 경우,
    상기 제어부는,
    상기 제 1 추출영상 및 상기 제 2 추출영상을 가로방향으로 병합하여 상기 제 3 영상을 생성하도록 제어하고,
    상기 제 1 추출영상 및 상기 제 2 추출영상의 가로 픽셀이 세로 픽셀보다 많은 경우,
    상기 제어부는,
    상기 제 1 추출영상 및 상기 제 2 추출영상을 세로방향으로 병합하여 상기 제 3 영상을 생성하도록 제어하는 것을 특징으로 하는, 영상 처리 방법.
    

Images