KR100901041B1

KR100901041B1 - 전방위 영상 장치 및 그 방법

Info

Publication number: KR100901041B1
Application number: KR1020080110186A
Authority: KR
Inventors: 이병용; 이광철; 최재석; 장기호; 장영진; 김금란
Original assignee: (주)엠엔씨테크날러지; 대한민국(기상청장)
Priority date: 2008-04-14
Filing date: 2008-11-07
Publication date: 2009-06-04
Also published as: KR100890710B1

Abstract

본 발명은 전방위 영상 장치및 그 방법에 관한 것으로 어안 렌즈(Fisheye Lens)와 소프트웨어 처리를 통하여 파노라마 영상을 얻을 수 있도록 함으로써, 반사 거울을 통한 영상 시청의 경우에 필연적으로 생길 수밖에 없는 사각의 문제점을 해결하고 넓은 범위를 감시할 수 있는 감시 장치를 구성할 수 있다.

전방위, 감시, 어안렌즈, 파노라마, 기상

Description

전방위 영상 장치 및 그 방법{Omni-directional Imaging Apparatus And Method thereof}

본 발명은 고해상도 파노라마 동영상을 획득하기 위한 전방위 영상 장치에 관한 것으로, 상세하게는 어안렌즈를 이용하여 고해상도의 파노라마 동영상을 획득하고 이를 네트워크를 통하여 실시간으로 디스플레이할 수 있는 전방위 영상 장치 및 그 방법에 관한 것이다.

최근에 다양하게 실용화되고 있는 감시카메라 등과 같은 시각 센서의 분야에서, 넓은 시야각(Field Of View)을 얻을 목적으로, 원추형 미러, 구형 미러, 쌍곡면 미러 등과 같이 회전체 형상의 미러를 실용적으로 사용하기 위한 전방위(omni-directional) 영상 장치 연구가 활발히 수행되고 있다.

전방위 영상 장치는 고정 시점(視點)을 기준으로 360도 전방향 영상을 촬영할 수 있는 카메라 시스템을 말한다. 즉, 전방위 영상 장치는 여러 대의 기존 카메라 역할을 단 1대의 시스템으로 수행할 수 있는 특징이 있다.

이러한 전방위 영상 시스템은 건축물, 자연 경관, 천체 등의 촬영과 같은 전통적인 분야뿐만 아니라, 기상청에서의 구름의 분포도 측정용이나 CCD(charge- coupled device) 카메라를 이용한 보안감시 시스템, 부동산이나 호텔, 관광지 등의 가상 여행(virtual tour), 또는 이동 로봇이나 무인 항공기 등에서 지도 작성(map building) 및 장애물 회피(collision avoidance)용 등의 분야에 적용하기 위한 많은 연구와 개발이 이루어지고 있다.

이러한 전방위 영상 시스템 중에서 평면적으로 두 대 이상의 카메라를 설치하여 각기 다른 방향의 영상을 얻은 후, 특별하게 고안된 소프트웨어로 개별 영상들을 부드럽게 연결하여 360도 전체의 영상을 얻는 방법을 사용하는 여러 대 카메라 형 전방위 영상 시스템이 소개된 바 있다.

도 1은 이러한 종래의 여러 대 카메라 형 전방위 영상 감시시스템의 개념도로서, 화상처리부(2)는 촬상부(1)로부터 출력된 복수의 카메라 화상을 입력으로 하고, 이들을 합성하여, 가상시점에서 보았을 때의 합성화상을 생성한다.

이 합성화상은, 예를 들면 액정 디스플레이와 같은 표시부(3)에 의해서 표시된다.

그러나 이렇게 얻어진 전방위 영상은 개별 카메라의 시점(viewpoint)의 불일치 문제 때문에 연결 부위가 부자연스럽게 되는 문제점이 있다. 또한 실시간으로 비디오 영상을 출력해야 하는 보안, 감시 또는 로봇 등의 분야에서는 영상처리(image processing)에 많은 시스템 자원이 소모되는 문제점이 있다.

이러한 문제점을 해결하기 위하여 렌즈의 윗부분에 곡면 반사 거울을 배치시켜 360도 전방위 영상을 촬영하는 반사 거울형 전방위 영상 시스템이 도 2a 내지 도2c에 소개되어 있다.

도 2a에 도시한 바와 같이, 종래의 반사 거울형 전방위 영상 시스템(100)은 단면의 모양이 쌍곡선(hyperbola)에 가까운 회전 대칭형의 거울(102) 및 이 거울(102)의 회전대칭축(106) 상에 위치하며 거울(102)을 바라보는 방향으로 배치된 카메라(104)로 구성된다. 이때, 거울(102) 주변의 360도 모든 방향에서 회전대칭축(106)을 향하여 입사되며, 들림각(angle of elevation) 또는 천저각 φ를 갖는 입사광(110)은 거울(102) 상의 한 점 P에서 반사되어 회전대칭축(106)에 대해 천정각(zenith angle) θ를 갖는 반사광(108)으로서 카메라(104)에 포착된다.

도 2b는 도 2a에 도시한 종래의 전방위 영상 시스템(100)을 통해 획득한 예시적인 전원 풍경의 개념도이다. 도 2b에 도시한 바와 같이, 필름이나 이미지 센서(image sensor) 자체의 모양은 정방형(square) 또는 직사각형(rectangle)의 모양이지만 전방위 영상 시스템(100)을 통해 획득한 전방위 이미지(200)는 고리(ring) 모양이다. 도 2b에서 빗금친(hatching) 영역을 제외한 나머지 부분이 전방위 이미지(200)이다. 도 2b에서, 중앙의 빗금친 원(220)은 카메라(104) 몸체가 시야를 가려서 촬영되지 못한 카메라 뒤쪽 영역(즉, 들림각 φ가 0도 근방인 영역)을 나타낸다. 이 원안에는 거울(102)에 비친 카메라(104) 자체의 이미지가 존재한다. 한편, 네 귀퉁이의 빗금친 부분에는 전방위 렌즈가 존재하지 않았을 때 포착되는 카메라 전방의 이미지가 포착된다. 도 2b를 참조하면, 영상 처리 소프트웨어를 이용하여 도 2b의 절단선(210)을 기준으로 고리형의 전방위 이미지(200)를 정상적인 시점의(perspectively normal) 이미지로 변환한 이미지가 도시되어 있다.

도 2c에 도시한 바와 같이, 영상 처리된 이미지(230)는 일반적인 사각형 형 태의 평면 이미지(planar image)이다. 따라서, 전방위 영상 시스템(100)은 한 대의 카메라(104)로 사방의 이미지를 획득할 수 있으므로, 이를 감시 분야에 적용할 경우 통상적인 감시 카메라에 수반되는 감시의 사각지대 없이 주변을 모두 감시하는 것이 가능해진다. 더욱이, 반사굴절형 전방위 영상 시스템(100)은 거울(102)과 같은 반사형 광학소자를 사용하기 때문에, 통상적인 굴절 렌즈에 수반하는 색수차(chromatic aberration)를 제거할 수 있다. 카메라(104)에 부착된 렌즈(105)는 통상의 표준 렌즈(standard lens) 또는 광각 렌즈(wide angle lens)를 사용하기 때문에 각종 수차가 잘 보정된 우수한 렌즈 중에서 고를 수 있다.

즉, 소프트웨어를 이용하여 전체적으로 영상 왜곡이 적고 자연스러운 파노라마 영상을 얻을 수 있는 것이다.

그러나, 이런 시스템은 영상의 중심 부분에 반사 거울을 지지하기 위한 구조물 및 렌즈에 의한 보이지 않는 부분(사각)이 생기기 때문에 사각이 없어야 하는 기상청의 구름분포도 측정용 카메라 분야 등에는 사용하기 힘들다.

본 발명은 상기와 같이 반사 거울을 통하여 보는 영상의 경우에 필연적으로 생길 수밖에 없는 사각의 문제점을 해결하기 위하여 시야각이 넓은 어안 렌즈(Fisheye Lens)와 소프트웨어 처리를 통하여 사각이 없는 전방위 영상 시스템을 제공하고자 하는 것이다.

이와 같은 과제를 해결하기 위한 본 발명은 시야각(Field Of View)이 180도 이상되는 어안 렌즈, 상기 어안 렌즈를 통해 들어온 원형의 광학상을 원형의 화상 데이터로 변환하여 디지털로 출력하는 촬상소자인 씨모스(CMOS) 센서, 복수 개의 디램(DRAM)을 포함하고 소프트웨어 처리, 표시 및 표시 제어기를 실행하는 화상 변환기로 구성된 메인 프로세서, 상기 씨모스 센서의 출력 영상 데이터를 한 화면 데이터씩 제1 디램에 저장하는 시시디 아이에프(CCD IF) 블록, 상기 제1 디램에 저장된 영상 데이터를 비디오 엔코더(Video Encoder)를 이용하여 엠펙4(MPEG4)로 압축하여 저장하여 제3 디램, 상기 제1 디램에 저장된 영상 데이터를 리사이즈 엔진을 이용하여 작은 영상으로 변환하여 제2 디램 및 상기 제2 디램에 저장된 영상 데이터를 TV에서 입력 받을 수 있는 아날로그 신호로 변환하여 출력하는 NTSC/PAL 엔코더(Encoder)를 포함하여 구성하되 상기 제3 디램에 저장된 압축된 영상 데이터를 네트워크 인터페이스를 이용하여 PC로 전송하거나 HDD 인터페이스를 이용하여 HDD에 바로 저장할 수 있도록 처리하도록 구성한다.

상기 PC로 전송된 데이터는 엠펙4 동영상 디코딩 기술, 디코딩된 영상 데이터를 파노라마 영상으로 변환하는 기술, 변환된 영상을 실시간으로 처리하는 기술을 적용하여 파노라마 영상 또는 특정 부분이 확대된 형태의 영상만을 따로 저장할 수 있도록 처리하는 것이 바람직하다.

그리고 상기 메인 프로세서는 영상 부호화 기술 중 하나인 동작감지기(Motion Detection) 기술을 이용하여 움직임이 없는 경우 영상 데이터를 저장하지 않고 있다가 특정 부분의 움직임이 확인되면 영상을 저장할 수 있도록 하는 것이 더욱 바람직하다.

또한, 상기 메인 프로세서는 특정 시간대에만 영상 데이터를 촬영할 수 있도 록 예약녹화 기능을 이용하여 저장되는 데이터량을 줄이고 영상 분석 시간을 줄일 수 있도록 할 수 있다.

이와 같은 과제를 해결하기 위한 본 발명은 (a)어안 렌즈를 통해 들어온 원형의 광학상을 BT656 인터페이스를 이용하여 원형의 화상 데이터로 변환하여 YCbCr 422 포맷으로 입력받는 단계, (b)상기 씨모스센서에서 입력받은 데이터(1600x1200)를 실제 상이 맺힌 영역(1200x1200)을 찾아 편집하는 단계, (c)상기 편집된 화상을 엠펙4 코덱을 이용하여 인코딩하는 단계, (d)영상 데이터의 저장 유무를 판단하기 위하여 녹화모드를 확인하는 단계, (e)상기 단계에서 항상 녹화모드로 판정되면 네트웍과 유에스비(USB)하드가 모두 연결되어 있는 가를 판단하여 모두 연결된 경우에만 영상을 PC로 전송하고 이때 녹화 플래그를 데이터와 함께 전송하는 단계, (f)상기 (e)단계에서 전송된 영상을 엠펙4 동영상 디코딩 기술, 디코딩된 영상 데이터를 파노라마 영상으로 변환하는 기술, 변환된 영상을 실시간으로 처리하는 기술을 적용하여 파노라마 영상 또는 특정 부분이 확대된 형태의 영상만을 따로 저장할 수 있도록 처리하는 단계, (g)상기 (d)단계에서 모션 녹화모드로 판단되면 설정된 영역에 물체의 움직임이 감지되었을 경우 모션 녹화 플래그를 인에이블하여 네트웍 전송이나 유에스비하드 저장시 녹화 유무를 판단할 수 있게 하는 단계 및 (h)상기 (d)단계에서 스케쥴 녹화모드로 판단되면 설정된 시간에 예약 녹화 플래그를 인에이블하여 네트웍 전송이나 유에스비하드 저장시 녹화 유무를 판단할 수 있게 하는 단계를 포함하여 이루어지게 한다.

본 발명은 시야각이 180도 이상되는 어안 렌즈(Fisheye Lens)로 구성된 전방위 영상 장치를 이용하기 때문에, 사각을 없애고 넓은 범위를 볼 수 있는 장점이 있어 특히 넓은 영역을 동시에 감시하여야 하는 감시 시스템에 있어서 그 효용성이 크다.

또한, 파노라마 영상의 특정 부분을 확대할 수 있도록 함으로써 여러 대의 일반 카메라를 설치한 것과 같은 효과를 볼 수 있다.

그리고, 동작감지기(Motion Detection) 기술을 이용하여 특정 부분의 움직임이 확인되면 영상을 저장하기 때문에 저장되는 데이터량을 획기적으로 줄일 수 있고 전체 영상을 분석하는 시간을 줄일 수 있을 뿐만 아니라 특정 시간대에만 영상 데이터를 촬영할 수 있도록 예약녹화 기능을 이용하면 저장되는 데이터량을 줄이고 영상 분석 시간을 줄일 수 있는 효과가 있다.

또한, 소형화를 통하여 네트웍크를 통하여 고화질로 영상을 표시할 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 설명한다.

도 3은 본 발명의 시스템 연결도로서, 어안 렌즈(Fisheye Lens)를 이용한 카메라 시스템(300)(이하, NCAM이라 한다)에서 촬영한 파노라마 영상 데이터를 네트워크를 통해 PC(500)로 전송한 다음 엠펙4(MPEG4) 동영상 디코딩 기술과 디코딩된 영상 데이터를 파노라마 영상으로 변환하는 기술, 변환된 영상을 실시간으로 처리하는 기술을 적용하여 추후 필요에 의해 여러 가지 형태로 표현 가능하도록 처리하여 디스플레이 장치에서 파노라마 영상을 확인할 수 있도록 구성된다.

또한, 신호처리기술을 이용하면 특정 부분이 확대된 형태의 영상만을 따로 저장하여 디스플레이할 수도 있다.

그리고 유에스비 하드(USB HDD)(410)를 연결하면 영상 데이터를 별도의 장치 필요없이 바로 유에스비 하드로 저장할 수 있으며, 현재 처리하고 있는 영상 정보는 TV 모니터(420)를 통해 확인할 수 있다.

상기의 카메라 시스템(300)은 어안 렌즈(310), 씨모스(CMOS;Complementary Metal-Oxide Semiconductor)센서(320), 메인 프로세서(330), 그리고 전송 장치(340) 등으로 구성할 수 있으며 도 4를 참고하여 상세히 설명한다.

도 4는 본 발명의 어안 렌즈(Fisheye Lens)를 이용한 카메라 시스템의 상세 하드웨어 블럭도로서, 어안 렌즈(310)를 통해 들어온 원형의 광학상은 촬상소자인 CMOS 센서(320)를 통해서 원형의 화상 데이터로 변환되어 디지털로 메인 프로세서(330)로 전송된다. 어안 렌즈(310)는 시스템의 특성상 시야각(Field Of View)이 넓은 것(180도 이상)을 사용하되 광각 볼록렌즈를 사용한다. 또한, 넓은 범위를 촬영할 수 있는 어안 렌즈의 특성을 살리고 소프트웨어 처리 후에 좀 더 선명한 영상을 얻을 수 있기 위해 CMOS 센서의 화소수를 높여야 한다.

씨모스 센서(320)를 통해 디지털로 촬영된 원형의 화상 데이터는 메인 프로세서(Main Processor)(330)에서 엠펙4 코덱을 이용하여 동영상으로 인코딩된다. 엠펙4(MPEC4;Moving Picture Experts Group 4) 코덱(CODEC)은 기존의 감시용 카메라 등에 널리 쓰였던 제이펙(JPEG;Joint Photographic Expert Group)에 비해 압축 효율이 높다. 압축률이 높은 코덱을 사용하면 데이터 처리 및 전송에 필요한 자원이 줄어들고 최종 저장되는 데이터량도 줄일 수는 장점이 있다.

또한, 씨모스 센서(320)는 어안 렌즈(310)를 통해 들어온 원형의 광학상을 BT656 인터페이스를 이용하여 원형의 화상 데이터로 변환하여 YCbCr 422 포맷으로 출력하도록 구성된다.

플래시 메모리(372)와 제1 디램(DRAM;Dynamic Random Access Memory)(374), 제2 디램(376) 그리고 제3 디램(378)으로 구성된 메모리부(370)에는 소프트웨어 처리, 표시 및 표시 제어기를 실행하는 화상 변환기를 포함할 수 있도록 하여 메인프로세서(330)에서 상기 카메라부의 촬영된 왜곡되어 있는 영상을 복구시키는 특수한 기법(Map Projection)을 사용하여 영상을 복구시키도록 구성하여 사각 파노라마 화상 또는 투시 화상 등의 인간이 좀더 보기 쉬운 화상으로 처리된다.

그리고, 선명한 영상과 어두운 지역 또는 밤에 촬영된 영상의 품질을 높이기 위하여 Day & Night, 화이드발란스(White Balance), 역광보정 및 자체 노이즈 저감 기능을 씨모스 센서 및 소프트웨어에 적용하도록 하는 것이 바람직하다.

또한, 메인 프로세서(330)에서는 이미지 처리 소프트웨어를 통해 이미지 내의 특정 장소에 실제로 있는 것처럼 고개를 돌리거나(pan), 위 아래를 내려다보거나(tilt), 줌인(zoom in) 또는 줌아웃(zoom out), 특정 부분의 영상을 확대하여 디스플레이하는 등의 기능을 선택할 수 있도록 하는 것이 더욱 바람직하다.

상기에서와 같이 원형의 광학상을 사각 파노라마 화상 또는 투시 화상 등의 인간이 좀더 보기 쉬운 화상으로 변환하는 상기 화상 변환처리는 삼각함수를 이용해 극좌표를 직교 좌표로 변환시키는 많은 좌표변환을 필요로 하나 이것은 본 발명 에서 특정부분이 아니므로 상세한 설명은 생략한다.

상기 인코딩된 영상 데이터는 이더넷(Ethernet Interface)(340)을 통해 티시피아이피(TCP/IP;Transmission Control Protocol/Internet Protocol)프로토콜을 사용하여 PC로 전송한다. 선명한 영상을 얻기 위해 많은 데이터를 전송하기 때문에 이더넷을 통해 전송되는 데이터량이 많기 때문에 카메라와 PC간의 연결은 네트워크 지연이 별로 없는 전용망으로 구성하는 것이 바람직하다.

또한, 씨모스 센서를 통해 디지털로 촬영된 영상은 일반적인 신호처리 기술을 이용하여 NTSC/PAL엔코더(360)에서 NTSC/PAL 형태의 아날로그 신호로 변경하여 별도로 출력함으로써 디스플레이장치를 통하여 현재 촬영되는 영상의 상태를 바로 확인할 수 있다.

한편, 외부 저장 장치와 같은 유에스비 하드(410)를 추가로 구성하면 인코딩된 영상 데이터를 별도의 추가 장비 없이 유에스비 인터페이스(350)를 통하여 유에스비 하드(410)에 바로 저장할 수 있다. USB High Speed 드라이버 제작 및 USB 장치 관리 기술 및 파일 시스템 기술이 필요하지만 일반적인 것이므로 설명을 생략한다. 이 기능은 저비용, 고효율의 감시용 영상 촬영 및 저장이 필요한 환경에 적합하게 개발되도록 하는 것이 바람직하다.

그리고, 본 발명은 영상 부호화 기술 중 하나인 동작감지기(Motion Detection) 기술을 이용함으로써, 움직임이 없는 경우 영상 데이터를 저장하지 않고 있다가 특정 부분의 움직임이 확인되면 영상을 저장할 수 있다. 이 기능을 사용하면 대부분의 시간 동안 움직임이 없는 경우 저장되는 데이터량을 획기적으로 줄일 수 있고 전체 영상을 분석하는 시간을 줄일 수 있다.

이를 위하여 동작 감지기(390)는 탐색할 영상 화면내에서 윈도의 크기 또는 위치를 이동할 수 있도록 하여 상기 윈도내 영상의 콘트라스트(대조), 색 등의 변화를 검출하고, 신호를 출력함에 따라 화면 내에서의 움직이는 물체를 자동으로 검출하거나 상기 윈도내 움직임만을 검출하여 신호를 출력하도록 구성된다.

즉, 동작감지기(390)의 검출신호 유무에 따라 메인 프로세서(330)는 화면데이터를 상기 제1 디램에 저장할 것인지 그 유무를 판단하고, 씨모스 센서에서 입력받은 데이터(1600x1200)를 실제 상이 맺힌 영역(1200x1200)으로 편집하여 제1 디램에 저장하도록 제어한다.

그리고, 메인프로세서(330)는 네트워크 인터페이스인 이더넷 인터페이스(340)에 네트워크가 연결되고 유에스비 인터페이스(350)에 유에스비가 동시에 연결된 경우에는 유에스비 인터페이스(350)를 통하여 유에스비에 데이터를 저장하지 않고 네트워크 인터페이스(340)를 통하여 데이터를 전송하도록 하고, 네트워크 인터페이스(340)에 네트워크가 연결되어 있지 않은 경우에만 유에스비에 데이터를 저장하도록 제어하는 것이 바람직하다.

도 5를 참조하여 본 발명의 영상 데이터 이동경로를 상세하게 설명한다.

씨모스 센서(320)는 BT656 인터페이스를 이용하여 YCbCr 422 포맷으로 영상 데이터를 시시디 아이에프(CCD IF;Charge-Coupled Device Intermediate Frequency)(322) 블록으로 출력한다. 시시디 아이에프(322) 블록에서는 BT656 인터페이스로 YCbCr 422 포맷으로 영상 데이터를 입력 받아 제1 디램(374)에 YCbCr 422 포맷으로 한 화면 데이터씩 저장한다.

제1 디램(374)에 저장된 영상 데이터는 TV로 바로 출력하기에는 너무 큰 영상이다. 따라서 리사이즈 엔진(Resize Engine)(324)을 통해서 720x480 픽셀 등 작은 영상으로 변환하여 다시 제2 디램(376)으로 저장한다. 그러나, 기상청의 구름 분포도 측정에서와 같이 정밀한 영상을 원하는 경우에는 상기 픽셀의 크기를 가변할 수 있음은 물론이다.

제2 디램(376)에 저장된 영상 데이터를 NTSC/PAL 엔코더(360)를 통해서 아날로그 신호로 변환하여 출력하면 TV와 같은 디스플레이장치에서 영상을 확인할 수 있도록 한다. 상기 NTSC/PAL 엔코더(360)는 외부 칩을 사용할 수도 있고 전용의 비디오 프로세서일 경우 칩 내부에 있는 블록을 사용할 수도 있다.

한편 제1 디램(374)에 저장된 영상 데이터는 비디오 엔코더(Video Encoder)(380)를 이용하여 소프트웨어 엠펙4로 압축하여 제3 디램(378)에 저장한다. 이렇게 제3 디램(378)에 저장된 압축된 영상 데이터는 네트워크 인터페이스(340)를 이용하여 PC(500)로 전송하거나 유에스비 인터페이스(350)를 이용하여 유에스비 하드(410)에 바로 저장할 수 있다.

바람직하게 메인프로세서(330)는 네트워크 인터페이스(340)에 네트워크가 연결되고 유에스비 인터페이스(350)에 유에스비가 동시에 연결된 경우에는 유에스비에는 데이터를 저장하지 않고 네트워크 인터페이스(340)를 통하여 데이터를 전송하고 네트워크가 연결되어 있지 않은 경우에만 유에스비에 데이터를 저장하도록 제어한다.

이때, PC에 저장되는 데이터는 어안 렌즈에서 보이는 영상과 같은 원형 영상 데이터일 수 있다. 따라서, PC에 저장된 데이터는 엠펙4 동영상 디코딩 기술, 디코딩된 영상 데이터를 파노라마 영상으로 변환하는 기술, 변환된 영상을 실시간으로 처리하는 기술 등을 적용하여 추후 필요에 의해 여러 가지 형태로 표현 가능하다. 파노라마 영상 또는 특정 부분이 확대된 형태의 영상만을 따로 저장할 수도 있다.

또한, 특정 시간대에만 영상 데이터를 촬영할 수 있도록 예약녹화 기능을 이용하면 저장되는 데이터량을 줄이고 영상 분석 시간을 줄일 수 있다.

이하, 도면을 참조하여 본 발명의 일례에 의한 전방위 영상 처리 방법에 대하여 설명한다.

도 6은 본 발명의 전방위 영상 처리 방법을 설명하기 위한 흐름도로서, 도시된 바와 같이, 어안 렌즈(310)를 통해 들어온 원형의 광학상을 씨모스 센서(320)에서 BT656 인터페이스를 이용하여 원형의 화상 데이터로 변환하여 YCbCr 422 포맷으로 입력받는다(S600).

씨모스 센서(320)에서 입력받은 데이터(1600x1200)를 실제 상이 맺힌 영역(1200x1200)을 찾아 메인 프로세서가 편집을 하고(S602), 편집된 화상을 엠펙4 코덱을 이용하여 인코딩한다(S604).

단계 S606에서는 상기 영상 데이터의 저장을 할 것인지 아닌지를 판단하기 위하여 녹화모드를 확인하고, 단계 S606에서 항상 녹화모드로 판정되면 네트웍이 연결되어 있는 지를 판단하고(S620), 네트웍이 연결되고 USB하드가 모두 연결되어 있는 가를 판단하여 모두 연결된 경우에만 데이터와 함께 녹화 플래그를 전송하고(S621) 전송이 완료되면(S622) 종료한다.

이후, PC는 전송된 영상을 엠펙4 동영상 디코딩 기술, 디코딩된 영상 데이터를 파노라마 영상으로 변환하는 기술, 변환된 영상을 실시간으로 처리하는 기술 등을 적용하여 파노라마 영상 또는 특정 부분이 확대된 형태의 영상만을 따로 저장할 수 있도록 처리할 수 있다.

또한, 단계 606에서 모션 녹화모드로 판단되면 설정된 영역에 동작감지기(390)에서 물체의 움직임이 감지되었을 경우 모션 녹화 플래그를 인에이블하여 네트웍 전송이나 유에스비 하드 저장시 녹화 유무를 판단할 수 있게 한다(S610).

그리고 단계 S606에서 스케쥴 녹화모드로 판단되면 설정된 시간에 예약 녹화 플래그를 인에이블하여 네트웍 전송이나 유에스비 하드 저장시 녹화 유무를 판단할 수 있게 한다(S614).

단계 S620과 단계 S630에서 네트웍도 연결되지 않고 유에스비 하드도 연결되지 않은 경우는 영상데이터를 초기화하고(S650), 단계 S640에서 항상 녹화모드가 아닌 경우는 녹화플래그가 셋팅되어 있는 가를 판단하여(S660), 녹화 플래그가 셋팅되어 있지 않는 경우는 단계 S650으로 연결되고 녹화 플래그가 셋팅되어 있는 경우는 유에스비 하드로 데이터를 저장하도록 제어하고(S662) 저장이 완료되면 종료한다(S670).

이상에서 본 발명은 기재된 구체 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

도 1은 종래의 여러 대 카메라 형 전방위 영상 감시시스템의 개념도,

도 2a는 종래의 반사굴절(catadioptric) 전방위 영상 시스템의 개략도

도 2b는 도 2a에 도시한 종래의 전방위 영상 시스템을 통해 획득한 예시적인 전원 풍경의 개념도,

도 2c는 도 2a의 영상을 투시적으로 정상인 영상으로 변환한 영상의 개념도,

도 3은 본 발명의 시스템 연결도,

도 4는 본 발명의 하드웨어 구성도,

도 5는 본 발명의 영상 데이터 이동경로를 표시한 도면

그리고,

도 6은 본 발명의 전방위 영상 처리 방법을 설명하기 위한 흐름도이다.

<주요 도면 부호의 간단한 설명>

300 : 카메라 시스템 310 : 어안렌즈

320 : CMOS센서 330 : 메인 프로세서

340 : 전송장치 410 : USB HDD

500 : PC

Claims

시야각(Field Of View)이 180도 이상되는 어안 렌즈;

상기 어안 렌즈를 통해 들어온 원형의 광학상을 원형의 화상 데이터로 변환하여 디지털로 출력하는 촬상소자인 씨모스(CMOS) 센서;

상기 씨모스 센서의 출력 영상 데이터를 한 화면 데이터씩 제1 디램에 저장하는 시시디 아이에프(CCD IF) 블록;

상기 제1 디램에 저장된 영상 데이터를 비디오 엔코더를 이용하여 엠펙4로 압축하여 저장하는 제3 디램;

상기 제1 디램에 저장된 영상 데이터를 리사이즈 엔진을 이용하여 작은 영상으로 변환하여 저장하는 제2 디램;

상기 제2 디램에 저장된 영상 데이터를 TV에서 입력받을 수 있는 아날로그 신호로 변환하여 출력하는 NTSC/PAL 엔코더;

탐색할 영상 화면내에서 윈도의 크기 또는 위치를 이동할 수 있도록 하여 상기 윈도내 영상의 콘트라스트(대조), 색 등의 변화를 검출하고, 신호를 출력함에 따라 화면 내에서의 움직이는 물체를 자동으로 검출하거나 상기 윈도내 움직임만을 검출하여 신호를 출력하는 동작 감지기; 및

각 구성요소를 제어하는 리눅스 기반의 프로그램이 저장되어 있는 플래쉬 메모리;

를 포함하여 구성하되 상기 제3 디램에 저장된 압축된 영상 데이터를 네트워크 인터페이스를 이용하여 PC로 전송하거나 유에스비 인터페이스를 이용하여 저장장치에 바로 저장할 수 있도록 처리하는 것을 특징으로 하는 전방위 영상 장치.
제1항에 있어서,

상기 PC는 전송된 데이터를 엠펙4 동영상 디코딩 기술, 디코딩된 영상 데이터를 파노라마 영상으로 변환하는 기술, 파노라마 영상 또는 특정 부분이 확대된 형태의 영상을 재생하는 기술 중의 어느 하나로 처리하는 것을 특징으로 하는 전방위 영상 장치.
제 2 항에 있어서,

상기 동작감지기의 검출신호 유무에 따라 상기 화면데이터를 상기 제1 디램에 저장할 것인지 그 유무를 판단하고, 상기 씨모스센서에서 입력받은 데이터(1600x1200)를 실제 상이 맺힌 영역(1200x1200)으로 편집하여 제1 디램에 저장하도록 제어하고, 상기 플래쉬메모리의 프로그램으로 각 소프트웨어 처리, 표시 및 표시제어기를 실행하는 화상변환기로 구성된메인 프로세서는 영상 부호화 기술 중 하나인 동작감지기(Motion Detection) 기술을 이용하여 움직임이 없는 경우 영상 데이터를 저장하지 않고 있다가 특정 부분의 움직임이 확인되면 영상을 저장할 수 있도록 제어하는 것을 특징으로 하는 전방위 영상 장치.
제 3 항에 있어서,

상기 메인 프로세서는

상기 네트워크 인터페이스에 네트워크가 연결되고 상기 유에스비인터페이스에 유에스비가 동시에 연결된 경우에는 상기 유에스비에는 데이터를 저장하지 않고 네트워크 인터페이스를 통하여 데이터를 전송하고 상기 네트워크가 연결되어 있지 않은 경우에만 유에스비에 데이터를 저장하도록 제어하고 특정 시간대에만 영상 데이터를 촬영할 수 있도록 예약녹화 기능을 이용하여 저장되는 데이터량을 줄이고 영상 분석 시간을 줄일 수 있도록 하는 것을 특징으로 하는 전방위 영상 장치.
(a)어안 렌즈를 통해 들어온 원형의 광학상을 BT656 인터페이스를 이용하여 원형의 화상 데이터로 변환하여 YCbCr 422 포맷으로 입력받는 단계;

(b)상기 입력받은 데이터를 실제 상이 맺힌 영역(1200x1200)을 찾아 편집하는 단계;

(c)상기 편집된 화상을 엠펙4(MPEG4) 코덱을 이용하여 인코딩하는 단계;

(d)영상 데이터의 저장 유무를 판단하기 위하여 녹화모드를 확인하는 단계;

(e)상기 (d)단계에서 항상 녹화모드로 판정되면 네트웍과 유에스비하드가 모두 연결되어 있는 가를 판단하여 모두 연결된 경우에만 영상을 PC로 전송하고 이때 녹화 플래그를 데이터와 함께 전송하는 단계;

(f)상기 (e)단계에서 전송된 영상을 엠펙4 동영상 디코딩 기술, 디코딩된 영상 데이터를 파노라마 영상으로 변환하는 기술, 변환된 영상을 실시간으로 처리하는 기술을 적용하여 파노라마 영상 또는 특정 부분이 확대된 형태의 영상만을 따로 저장할 수 있도록 처리하는 단계;

(g)상기 (d)단계에서 모션 녹화모드로 판단되면 설정된 영역에 물체의 움직임이 감지되었을 경우 모션 녹화 플래그를 인에이블하여 네트웍 전송이나 유에스비하드 저장시 녹화 유무를 판단할 수 있게 하는 단계; 및

(h)상기 (d)단계에서 스케쥴 녹화모드로 판단되면 설정된 시간에 예약 녹화 플래그를 인에이블하여 네트웍 전송이나 유에스비하드 저장시 녹화 유무를 판단할 수 있게 하는 단계;

를 포함하여 이루어지는 전방위 영상 처리 방법.